学习Hadoop需要哪些预备知识?Java是否必须会?
零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop并没有太大的困难。下面整理一下整个学习过程,给大家一个参考。
首先我们要了解hadoop是什么?Hadoop能够做什么?Hadoop的使用场景是什么?Hadoop和大数据、云计算的关系是什么?如何使用hadoop?
当大家对这些问题有了基本的了解之后,接下来我们就要系统性的学习hadoop了。我个人建议大家不要一味的去学习理论知识,最好是理论和实践相结合,可以先跟着视频和文档去操作,先把伪分布式集群搭建起来,把wordcount实例运行起来,对hadoop集群的搭建过程和运行机制有个大概的了解和认知,然后从操作的过程中去发现自己在哪方面是薄弱点,有针对性的去弥补,这样学习就会更有针对性和目的性,学习效果也相对会更好一些,否则学习会很盲目、很痛苦的。
我们知道hadoop有单机模式,伪分布模式和分布式模式。同时hadoop的环境是Linux,所以我们还需要安装Linux系统。因为我们的习惯是使用windows,所以对于Linux上来就安装软件之类的,困难程度会很大。并且我们要搭建集群,需要多台硬件的,不可能为了搭建集群,去买三台电脑。所以从成本和使用的角度我们还需要懂虚拟化方面的知识。这里的虚拟化其实就是我们需要懂得虚拟机的使用。因为hadoop安装在Linux中,才能真正发挥作用。所以我们也不会使用windows。
基于以上内容。所以我们需要懂得
下面我们来详细介绍:
一、
虚拟化:我们选择的是VMware Workstation,这里就要求我们会搭建虚拟机,安装linux(如centos)操作系统,这方面只要按照视频操作应该还是很简单的,难点在于虚拟机网络的配置,尤其是nat模式和bridge模式,因为hadoop要求主机与虚拟机与外部网络(能上网),这三者是相通的,都能够连接上网络,只有这样在安装的过程中,才不会遇到麻烦。
二、
Linux:对于Linux的学习也是一个过程,因为可能你连最简单的开机和关机命令都不会,更不要谈配置网络。常用的linux命令也就20多种,我们需要做的就是在搭建集群的过程中不断地加强练习,在实践中去记忆。但是我们会遇到各种不会的命令,即使能查到命令,我们也不能使用。为什么会这样,因为有的命令,是需要使用安装包的。所以我们也要学会如何下载安装包。
我们需要使用一些命令,进行网络配置,但是在网络配置中,这里面又必须懂得虚拟机的一些知识,所以前面的虚拟机知识需要掌握扎实一些。对于有linux基础的学员也可以选择hadoop运维工程师作为职业选择。
提醒大家切忌浮躁,我们不可能一两天就能完成上面的所有内容,我们至少需要花费一周的时间不断地去训练、强化。只要我们熟悉了Linux命令,熟悉了网络知识。后面我们的学习才会很轻松,很快速。通过以上的学习我们已经会安装集群了,那么接下来我们就需要进入开发阶段。开发零基础,该怎么办呢?
hadoop编程是一个Java框架,同时也是编程的一次革命,使得传统开发运行程序由单台客户端(单台电脑)转换为可以由多个客户端运行(多台机器)运行,使得任务得以分解,这大大提高了效率。
Hadoop既然是一个Java框架,因此就要求我们必须要懂Java,网上有大量的资料,所以学习Java不是件难事。但是学到什么程度,可能是我们零基础同学所关心的。
三、
Java:我们需要具备javaSE基础知识,暂时不需要java Web及各种框架知识。如果没有javaSE基础,建议在学习hadoop之前或过程中要加强这方面的学习和训练。当然有java基础和开发经验的学员学习hadoop就会更快速、更轻松。
总结一下,hadoop相关有很多学习的方向,内容不同,运维的话熟练掌握Linux, java, python以及hadoop周边生态软件的所有原理和配置部署,打patch重新编译是最低的要求。
开发的话java和算法,SQL熟练是最低要求,python 和C是次要要求。Hbase起码熟练掌握java,thrift, rest等相关知识。如果把Hadoop最终用于数据挖掘,机器学习,那常用的算法反而比掌握hadoop本身更重要一些,重点看用hadoop来做什么。
相关阅读
-
如何学好会计专业?任何知识都没有捷径,在这里也只能老生常谈的给你点建议:1.要熟悉基本的理论知识,这个是基础;2.在熟悉理论知识的基础上,熟练掌握例题...
-
哈罗创始团队股权质押给蚂蚁金服;京东今年将在谷歌平台推出旗舰美国网上商店;FF员工讨薪恒大有新进展;苹果再发邀请函;京东入局个人快递市场;滴滴正小范围测试短信报警。...
-
国庆消费前瞻一 | 出境、赏月、爱宠游成加长版黄金周热点,七大航司业绩有望修复
文/王力 编辑/徐喆 国庆节叠加中秋,“加长版”黄金周来袭也给A股七大航司带来了“翻身”的契机。...
-
成功往往在多次失败之后才姗姗到来。每一次跌倒后重新站起来,都能使你的本领更强大,信心更充足。不要轻言放弃,持之以恒去做事,当挫折在脚下堆积成梯,你也就获得了进步的机会。...
-
汉中市电费多少钱一度_2024年陕西省汉中市电费价格收费标准_陕西省汉中市供电营业厅
汉中电费多少钱一度关系到每一个汉中居民,无论是夏天还是冬天,居民家里或者办公室用电量都是非常大的,电视、电脑、冰箱等消耗电量都还好,空调和取暖器都是大功率电器,耗电量较大...
-
如何学好会计专业?任何知识都没有捷径,在这里也只能老生常谈的给你点建议:1.要熟悉基本的理论知识,这个是基础;2.在熟悉理论知识的基础上,熟练掌握例题...
-
河南选调生招考,河南选调生培训,河南选调生公告,河南选调生备考资料,选调生辅导班,选调生招考,河南选调生培训班,选调生辅导资料,选调生真题下载...
-
隐藏在古画中的这些“日常用品”,你知道它们的名字,又有何作用吗?一起来看看吧!...
-
如何进行幼儿一日常规的培养一个班的常规好不好,直接关系到幼儿的成长和教师组织一日活动的质量。如果常规没有建立好,幼儿无法形成良好的习惯...
-
理论学习不系统怎么办?理论学不系统的表现是理论学习不够深入、理论联系实际不够、缺乏系统的学习和实践、学习方法不当以及缺乏持续学习的动力。...
-
全球研发 湘江出发——湖南湘江新区全力打造全球研发中心城市核心引领区
纵览湖南湘江新区现有研发体系布局,长沙现有的20家全国重点实验室中,新区占5家;长沙现有的14家国家工程技术研究中心里,8家成长于新区;此外...
发表评论
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件举报,一经查实,本站将立刻删除。