环境:ubuntu13
使用的用户为普通用户。如:用户ru
jdk安装略
1、安装ssh
(1)
sudo apt-get install openssh-server
(2)配置ssh面密码登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
注释:如果当前用户下没有.ssh目录,则手动创建.ssh目录。
2、下载安装hadoop
(1)下载hadoop-1.2.1-bin.tar.gz
(2)修改权限
如果拥有者不是ru:ru,使用
chown ru:ru hadoop-1.2.1-bin.tar.gz
(3)解压
ru用户下
tar -zxvf hadoop-1.2.1-bin.tar.gz
(4)将解压后的hadoop拷贝到安装目录
3、配置hadoop
配置文件在$HADOOP_HOME/conf下
(1)配置hadoop-env.sh,指定jdk的安装路径
添加jdk路径 # The java implementation to use. Required. export JAVA_HOME=/home/ruge/soft/jdk1.7.0_45
(2)修改hadoop的核心配置文件core-site.xml,配置namenode的地址和端口
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
这个还是很必要的,如果不配置临时目录,格式化hdfs是会在/tem目录下创建临时目录但是tmp目录重启系统会清楚下面文件。这样namenode就启动不起来了 <property> <name>hadoop.tmp.dir</name> <value>/home/ruge/hadoop/hadooptmpdir</value> <description>A base for other temporary directories.</description> </property>
(3)修改hadoop的hdfs-site.xml,配置replication,即数据保存份数
<property> <name>dfs.replication</name> <value>1</value> </property>
(4)修改hadoop的mapred-site.xml,配置jobtracker的地址和端口
<property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property>
注:涉及到IP的地方如果是完全分布式集群,需要改成具体的IP
4、格式化hadoop的文件系统HDFS
bin/hadoop namenode -format
5、启动hadoop
bin/start-all.sh
6、验证hadoop是否启动成功
- NameNode - http://localhost:50070/
- JobTracker - http://localhost:50030/
7、使用wordcount计算单词数
(1)新建hdfs目录,不是实际的系统文件目录,只能使用hadoop dfs -ls /XXX查看 hadoop dfs -mkdir /input (2)将文件复制到新建的hdfs目录 hadoop dfs -put ./*.sh /input/ (3)使用hadoop的wordcount计算单词数 hadoop jar hadoop-examples-1.2.1.jar wordcount /input /output 注:input 和 output都是hdfs文件目录。不同的是input是需要分析的目录,outpu是存放结果的目录,且自动生成,不能手动创建
第二部分,安装hadoop集群:
1,准备2个服务器,分别为
机器名IP地址作用
hadoop.main192.168.1.102NameNode,JobTracker,DataNode,TaskTracker
hadoop.slave192.168.1.107DataNode,TaskTracker
注:2台主机必须使用相同的用户名运行hadoop
2,分别在这两个主机上,按照单机版的安装方法,安装hadoop
3,在/etc/hostname中修改主机名
在/etc/hosts中配置主机名和IP地址度对应关系
分别在2台主机中,运行以下命令:
ping hadoop.main
ping hadoop.slave
修改/etc/hosts添加master和slave的ip和主机名
4,将hadoop.main节点中的~/.ssh/id_rsa.pub文件拷贝到hadoop.slave节点的~/.ssh目录下,然后在hadoop.slave的~/.ssh/目录下运行:
cat ./id_rsa.pub >> authorized_keys
在hadoop.main节点中运行命令: ssh hadoop.slave
5, 修改2台主机的core-site.xml,配置HDFS的地址和端口号
vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop.main:9000</value>
</property>
</configuration>
6,修改2台主机的MapReduce的配置文件,配置的是JobTracker的地址和端口
vi conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop.main:9001</value>
</property>
</configuration>
7,修改2台主机中的hadoop配置文件masters
hadoop.main
8,修改2台主机中的hadoop配置文件slaves
hadoop.main
hadoop.slave
9,在haddop.main节点运行
bin/hadoop namenode -format
10,启动hadoop
bin/start-all.sh
ps: datanode time configuration
<property>
<name>heartbeat.recheck.interval</name>
<value>15</value>
</property>
相关推荐
Hadoop1.2.1配置Ganlia监控
在Linux上配置的hadoop1.2.1完全分布式环境
hadoop1.2.1,mapreduce,大数据
下载安装介质网址 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
hadoop-1.2.1配置[汇编].pdf
找了不少,但是都不行;提示各种错误 这个是在查找资料之后,修改的; eclipse版本号: Version: Kepler Service Release 2 Build id: 20140224-0627 ...说明一下,对应hadoop的版本是1.2.1学习来用,还是足够的。
该资源包里面包含eclipse上的hadoop-1.2.1版本插件的jar包和hadoop-1.2.1.tar.gz,亲测可用~~请在下载完该包后解压,将hadoop-1.2.1...preferences ,browser选择D:\hadoop-eclipse,配置Hadoop MapReduce的安装路径。
然后,Hadoop的 job client提交作业(jar包/可执行程序等)和配置信息给JobTracker,后者负责分发这些软件和配置信息给slave、调度任务并监控它们的执行,同时提供状态和诊断信息给job-client。 虽然Hadoop框架是用...
用来配置myeclipse或eclipse对应的hadoop 插件,方便开发
Hadoop 1.2.1 和2.2.0的配置文件,只需要将里面的IP修改一下就可以了,具体步骤可以查阅别的帖子。
hadoop1.2.1执行完计算后,从hdfs中找出来的配置文件,可以帮助指导学习其配置
1.2.1 注意安装细节 3 1.2.2 设置VIM 命令 3 1.2.3 配置仅主机连网 4 1.2.4 配置网络出现的问题 5 1.2.5 设置桥接上网 6 1.2.6 设置nat上网 12 2 安装基本工具 15 2.1 SSH免登陆配置 15 2.2 SUDO配置 15 3 单机安装...
hive的安装与配置 一.Hive的安装和配置 1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为: 2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-...
先决条件: Java 1.6或更高版本:检查安装的版本: $ java -version 安装Java 7: $ sudo apt-get install openjdk-7-jdk SSH:如果未安装,请使用: $ sudo apt-get install ssh Hadoop 1.2.1:下载hadoop(例如...
hadoop环境配置
1.2.1 Hadoop的核心MapReduce 6 1.2.2 Hadoop的分布式文件系统 7 1.3 安装HADOOP 8 1.3.1 安装的前提条件 8 1.3.2 安装Hadoop 13 1.3.3 检查你的环境 14 1.4 执行和测试HADOOP样例程序 18 1.4.1 Hadoop的样例代码 18...
主要介绍了Hadoop1.2中配置伪分布式的实例,使用的系统是linux mint 15 64bit,hadoop使用的是1.2.1版本,需要的朋友可以参考下
前提条件: 受管节点应在$ HOME( hadoop-1.2.1-1.x86_64.rpm ssh用户的主目录)中包含jdk-8u171-x64.rpm和hadoop-1.2.1-1.x86_64.rpm软件包。 Java和Hadoop不应已经安装在受管节点中。的角色mapred_job_tracker ...
hive的安装与配置 一.Hive的安装和配置 1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为: 2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-...
Hadoop版本为1.2.1 Linux使用Fedora19并使用hadoop账号安装 第一步:配置ssh本地登录证书(虽然为伪分布模式,Hadoop依然会使用SSH进行通信) [hadoop@promote ~]$ which ssh /usr/bin/ssh...