注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

断尘居

温柔的男人像海洋。

 
 
 
 
 

日志

 
 

Hadoop之环境搭建集群配置图文详解  

2013-01-26 05:05:09|  分类: Hadoop |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

    Hadoop之环境搭建集群配置图文详解 - NobodyElse - 断尘居

前段时间有研究Hadoop的冲动,但是苦于Linux玩儿不转所以只好暂缓了一段时间,近期恶补了一下Linux现在终于如愿以偿,特撰此文以分享;本篇文章介绍一下Hadoop的环境搭建和集群基本配置,希望能帮助更多的朋友。

   

  软件环境 | Software Environment

VM:7.1.4 build-385536

OS:Cent OS 6.3(Final)

Version:Hadoop 1.0.4

   

  配置安装 | Configuration & Installation

    Step 1、做集群起了两台机器分别当做master和slave,IP分别为:10.0.3.123和10.0.3.124,先修改hosts

        

        检测是否通信:

        

        通信正常,OK,Next step。

Step 2、Hadoop需要依赖JDK所以先配置JDK环境

        这里我用的jdk-6u35-linux-x64.bin,先对安装文件赋予执行权限:

        

        然后执行安装:

        

        接着编辑/etc/profile

        

        添加如下内容:

        

        然后保存、退出、重启。如下则说明JDK配置成功

        

Step 3、JDK配置完毕接下来下载Hadoop并解压hadoop包

        

        进入hadoop根目录,把hadoop加入环境变量;如同第二步中编辑/etc/profile加入如下内容:

        

        (注意以逗冒号隔开)

        然后进入conf目录,

编辑文件slaves,加入刚刚在/etc/hosts中配置的"slave1"或者直接写IP

        编辑文件masters,加入刚刚在/etc/hosts中配置的"master"或者直接写IP

        接着在文件core-site.xml的<configuration> </configuration>中间加入如下内容

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

</property>

          

        然后文件mapred-site.xml的<configuration> </configuration>中间加入如下内容

<property>

<name>mapred.job.tracker</name>

<value>master:9001</value>

</property>

   

        然后文件hdfs-site.xml的<configuration> </configuration>中间加入如下内容

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

</property>

   

        配置至此结束,免验证的问题暂且不管。

接下来进入bin目录执行start-all.sh来启动hadoop,会输入几次密码,启动之后执行jps命令

        NameNode和JobTracker均已运行,说明master启动正常,再到slave执行jps

        

        DataNode和TaskTracker已运行,说明slave启动正常。

至此, 大象已经快乐地跑起来了~

        (注:以上所有均需在master和slave端同时配置)

   问题总结 | Problem Summary

        实践出真知。

  评论这张
 
阅读(1070)| 评论(2)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017