安装前解决的问题:
1、hadoop官网下载的hadoop二进制文件是在32位环境下编译的(地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/),如果在64位linux下安装需要自己下载源码进行编译(参考:http://blog.csdn.net/li385805776/article/details/17269497)。也可以直接替换$HADOOP_HOME/lib/native/下的lib文件替换掉。(文件如附件)
2、安装完成执行start-dfs.sh和start-yarn.sh如果出现无法连接hostname,访问被拒绝必须替换$HADOOP_HOME/lib/native/下的lib文件(32bit->64bit)
安装:
使用ubuntu13在vmware10下进行安装。伪分布式完全在root用户下配置。
1、安装jdk
从oracle官网下载linux版本的jdk(1.6以上),在linux中解压到安装目录,可以设置全局环境变量(/etc/profile),也可以配置当前用户的环境变量(~/.bashrc)。这里配置的是/etc/profile,配置完成执行
source /etc/profile
是配置生效。
2、配置不需验证的ssh
(1)安装ssh服务
apt-get install openssh-server
(2)无密码访问
ssh-keygen -t rsa 之后一路回 车(产生秘钥)
(3)进入/root/.ssh
把id_rsa.pub 追加到授权的 key 里面去(cat id_rsa.pub >> authorized_keys)
重启 SSH 服 务命令使其生效 :service ssh restart(RedHat下为sshd Ubuntu下为ssh)
使用 ssh localhost输入yes后即可无密码登录
3、安装hadoop2.2
将下载的hadoop2.2.tar.gz解压到一个目录,然后进行配置(cd $HADOOP_HME/etc/hadoop):
export JAVA_HOME=/usr/lib/jvm/java-6-sun
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>
(3)编辑hdfs-site.xml,添加以下配置:
配置name节点和data节点的数据存放位置,dfs.replication表示数据备份数
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/root/hadoopDir/hadoop4namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/root/hadoopDir/hadoop4datanode</value> </property>
(4)编辑yarn-site.xml,加入以下配置:
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>
(5)编辑mapred-site.xml,添加以下配置:
<property> <name>mapreduce.cluster.temp.dir</name> <value></value> <description>No description</description> <final>true</final> </property> <property> <name>mapreduce.cluster.local.dir</name> <value></value> <description>No description</description> <final>true</final> </property>
(6)格式化noamenode
bin/hadoop namenode -format(7)将hadoop的环境添加到系统环境变量
vim /etc/profile 添加: export HADOOP_HOME=/root/hadoopDir/hadoop-2.2.0 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin(8)启动hadoop守护进程。依次执行以下命令:
hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode hadoop-daemon.sh start secondarynamenode yarn-daemon.sh start resourcemanager yarn-daemon.sh start nodemanager mr-jobhistory-daemon.sh start historyserver(9)运行以下命令可以查看各服务状态:
http://localhost:50070或者http://ipaddr:5007 http://localhost:8088 http://localhost:198884、 如果hadoop进程启动成功,使用wordcount测试
(1)新建一个文件
vi /root/test.txt hello world hello hadoop
(2)新建一个hafs文件夹
hdfs dfs -mkdir /input
(3)将创建的test.txt放入/input
hdfs dfs -copyFromLocal /root/* /input
(4)执行jar
hadoop jar /root/hadoopDir/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /input/out
注意:/input里面必须是文件不能是文件夹并且out不能自己创建
相关推荐
此伪分布式搭建文件绝对正确,LZ亲自试验过。另,本文件为传智播客中使用文件,请勿用于商业用途,否则后果自负。
Hadoop 2.2.0 分布式安装指导
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
hadoop的2.2.0完全分布式集群配置.pdf
本文档堪称最齐全的Hadoop-2.2.0搭建手册,不管是对于生手,还是对于想自己动手搭建的生手来说,都是非常有用的;因为自己是生手,看网上好多步骤,但还是有不懂的地方,所以自己整理下来了齐全的生手版,希望对一切...
Hadoop2.2.0完全分布式集群平台安装设置 HDFS HA架构: 1、先设定电脑的IP为静态地址: 2、设置各个主机的hostname 3、在所有电脑的/etc/hosts添加以下配置: 4、设置SSH无密码登陆 5、下载解压hadoop-2.2.0.tar.gz...
hadoop伪分布式搭建(从虚拟机设置到搭建完成),包含每一个步骤,照做即可,内有hadoop2.2.0安装包。
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程.
NULL 博文链接:https://qindongliang.iteye.com/blog/2078452
4 伪分布式部署spark 20 4.1 下载spark 20 4.2 解压安装 20 4.3 安装scala. 20 4.4 配置spark的启动参数 21 4.5 启动并验证spark是否配置 21 5 搭建zookeeper集群 23 5.1 下载解压 23 5.2 参数配置 23 5.2.1 23 ...
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。
hadoop-2.2.0重新编译和分布式安装
Hadoop 2.2.0 API CHM格式 带索引和全文搜索 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式...
Hadoop-2.2.0-64位源码编译及分布式安装指南,步骤比较详细,从零基础学习
CentOS-6.4 64位系统下hadoop-2.2.0+hbase-0.96+zookeeper-3.4.5 分布式安装配置
hadoop2.2.0单机伪分布式配置文件实例。
Hadoop2.x版本完全分布式安装与部署,介绍完整过程,有图,条理十分清晰,包看包会。上课专用。
2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个 是Standby,状态由zookeeper进行协调
Hadoop分布式搭建环境: 系统:centos 6.5 64位 软件:Hadoop 2.2.0 64位 jdk 1.7 64位 用户: hadoop 运行环境:虚拟机vm 10 64位