hadoop开发环境搭建
扫描二维码
随时随地手机看文章
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务，因此它的成本比较低，任何人都可以使用。
hadoop开发环境
一、在windows上安装linux双系统
hadoop是运行在linux下的并行计算框架，在windows上搭建也是通过cygwin模拟linux的环境来运行，所以个人觉得直接在windows下搭建hadoop几乎没有任何好处，还不如在windows上安装linux的虚拟机，通过虚拟机中的linux系统来运行hadoop。所以安装linux双系统还是很有必要的。
二、在linux上安装jdk，并配置java环境
0.下载jdk8
登录网址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
选择对应jdk版本下载。(可在Windows下下载完成后，通过文件夹共享到Linux上)
1.登录Linux，切换到root用户
su 获取root用户权限，当前工作目录不变(需要root密码)
2.在usr目录下建立java安装目录
mkdir usr/java
3.将jdk-8u60-linux-x64.tar.gz拷贝到java目录下并解压
cp /mnt/hgfs/linux/jdk-8u60-linux-x64.tar.gz /usr/java/
tar -zxvf jdk-8u60-linux-x64.tar.gz得到文件夹jdk1.8.0_60
4.编辑配置文件，配置环境变量
vi /etc/profile
添加如下内容：
JAVA_HOME=/usr/java/jdk1.8.0_60
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH：$JAVA_HOME/bin
exportPATH JAVA_HOME CLASSPATH
5.重启机器或执行命令：source/etc/profile
查看安装情况：
java-version
javaversion “1.8.0_60”
Java(TM)SE RunTIme Environment (build 1.8.0_60-b27)
JavaHotSpot(TM) Client VM (build 25.60-b23， mixed mode)
三、配置SSH免密码登录
1.确认已经连上互联网，输入命令
sudo apt-get install ssh
2.配置为可以无密码登录本机
首先查看在hewei(对应自己用户)用户下是否存在.ssh文件夹(注意ssh前面有“。”，表示这
是一个隐藏文件夹)，输入命令：
ls -a /home/hewei
一般来说，安装SSH时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手动创建
一个。接下来，输入命令：
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是SSH的一对私钥和公钥，
类似于钥匙及锁，把id_dsa.pub(公钥)追加到授权的key里面去。
输入命令：
cat ~/.ssh/id_dsa.pub 》》 ~/.ssh/authorized_keys
这条命令是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件。
3.验证SSH是否已安装成功，以及是否可以无密码登录本机
输入命令：
ssh -version
显示结果：
1
显示SSH已经安装成功了。
输入命令：
ssh localhost
显示结果：
2
说明安装成功。
四、安装并运行hadoop ——伪分布式配置
1.进入conf文件夹，修改配置文件：
a.指定JDK的安装位置：
在Hadoop-env.sh中：
exportJAVA_HOME=”你的JDK安装位置”
b.配置HDFS的地址和端口号：
在conf/core-site.xml中：
《configuraTIon》
《property》
《name》fs.default.name《/name》
《value》hdfs://localhost:9000《/value》
《/property》
《/configuraTIon》
c.配置HDFS的备份方式：
在conf/hdfs-site.xml中：
《configuraTIon》
《property》
《name》dfs.replication《/name》
《value》1《/value》
《/property》
《property》
《name》dfs.permissions《/name》
《value》false《/value》
《/property》
《/configuration》
d.配置MapReduce中JobTracker的地址和端口：
在conf/mapred-site.xml中：
《configuration》
《property》
《name》mapred.job.tracker《/name》
《value》localhost:9001《/value》
《/property》
《/configuration》
f.格式化Hadoop并启动验证：
格式化Hadoop：
。/bin/hadoop namenode-format
启动Hadoop：
。/bin/start-all.sh(全部启动)
验证Hadoop是否安装成功，打开浏览器，分别输入网址：
http://localhost:50030(MapReduce的web页面)
http://localhost:50070(HDFS的web页面)
若都能查看，说明Hadoop已经安装成功。
五、在linux上安装Eclipse
1.安装eclipse：
(1)到http://www.eclipse.org/downloads/，下载eclipsefor linux版本，我下载后文件的完整名称为：
eclipse-java-galileo-SR1-linux-gtk.tar.gz
解压缩后，可以查看根目录下的
(2)将eclipse-SDK-3.2.1-linux-gtk.tar.gz这一个文件放到/opt目录下面(用root执行mv_ _语句才能移进opt文件夹)
(3)在shell中进入/opt/，执行：tar -zxvf eclipse-SDK-4.2.1-linux-gtk.tar.gz语句，解压缩下载文件
(4)在shell中，进入到eclipse目录，cd/opt/eclipse设置文件eclipse执行权：chown-R root：你的用户名eclipse[!--empirenews.page--]
(5)创建桌面连接
sudogedit /usr/share/applications/eclipse.desktop
加入以下内容：
[DesktopEntry]Encoding=UTF-8Name=EclipseComment=EclipseSDKExec=/home/hewei/App/Eclipse/eclipseIcon=/home/hewei/App/Eclipse/icon.xpmTerminal=falseType=ApplicationCategories=Application;Development;2.在eclipse中添加hadoop插件
(1)找eclipse安装目录
安装目录：/home/App/Eclipse/eclipse/plugins
把/home/hewei/下载/eclipse-plugin/hadoop-1.0.1-eclipse-plugin.jar
复制到plugins中，就有加载hadoop插件
(2)配置hadoop安装目录
window -》preference -》 hadoop Map/Reduce -》 Hadoopinstallation
directory:/home/grid/hadoop-1.0.1 -》点击“OK”
(3)配置Map/Reduce视图
window -》Open Perspective -》 Map/Reduce -》 点击“OK”
window -》Show View -》 搜索“map/reduceLocations”视图选上-》点击“OK”
在eclipse下方就出现了一个“Map/ReduceLocations选项卡”-》空白地方右键选“New
Hadoop Location”
Location name：Mymapred
Map/Reduce Master ： host -》 localhost
DFSMaster ： host -》 localhost
(4)在左边projectexplorer列表框中找到“DFSLocations”右键refresh，就会看到
一个目录树，eclipse提供了一个目录树来管理HDFS系统，右键可以创建/删除目录，上传/
查看文件，操作起来很简单，内容与命令hadoopdfs -ls 结果一致
下载文档
