`
退役的龙弟弟
  • 浏览: 446966 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表

MapReduce执行流程

转自:http://blog.csdn.net/javaman_chen/article/details/8576028   MapReduce的大体流程是这样的,如图所示:由图片可以看到mapreduce执行下来主要包含这样几个步骤1.首先对输入数据源进行切片2.master调度worker执行map任务3.worker读取输入源片段4.worker执行map任务,将任务输出保存在本地5.master调度worker执行reduce任务,reduce worker读取map任务的输出文件6.执行reduce任务,将任务输出保存到HDFS若对流程细节进行深究,可以得到这样一张流程图

hadoop常用指令

1、列出正在运行的job nange@ubuntu:~$ hadoop job -list 0 jobs currently running JobId State StartTime UserName Priority SchedulingInfo   2、kill掉job(1234指jobid) nange@ubuntu:~$ hadoop job -kill 1234   3、查看hdfs块状态 nange@ubuntu:~$ hadoop fsck / FSCK started by n ...
转自:http://www.jeecg.org/forum.php?mod=viewthread&tid=260   问题描述:在导入到Eclipse juno (4.2.1版)后提示ambiguous错误,错误信息如下:Description: The method find(String, Object[]) is ambiguous for the type BaseDaoI<Tuser> 实际方法中是object... values,被eclipse解析称object[]。这样在设置参数时就保存了。蛋疼Resource:           UserServi ...

hdfs 架构

架构图  hdfs采用master/slave架构,主要由以下组件组成:client、namenode、secondarynode、datanode   1、client client通过与namenode和datenode的访问hdfs中文件,client提供一些接口供用户调用 2、namenode hadoop集群只有一个namenode,它负责管理hdfs目录树以及相关文件的元数据(matedata)信息。 matedata包括:fsimage(hdfs元数据镜像文件)和edits(文件改动日志)。fsimage保存了block块的存储信息, fsimage和edits ...
1、查看namenode是否是安全状态 hadoop dfsadmin -safemode get Safe mode is OFF  2、进入安全模式(hadoop启动时30秒内是安全状态) nange@ubuntu:/$ hadoop dfsadmin -safemode enter Safe mode is ON  3、离开安全模式 nange@ubuntu:/$ hadoop dfsadmin -safemode leave Safe mode is OFF  
不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数,可以极大的减少由于GC工作,而导致的程序运行中断方面的问题,进而适当的提高Java程序的工作效率。但是调整GC是以个极为 ...
      一般把java堆分成新生代和老年代。垃圾回收器在新生代使用复制算法时:将新生代分成Eden和2个survivor。   简单来说,对象内存分配主要是在堆中分配。但是分配的规则并不是固定的,取决于使用的收集器组合以及JVM内存相关参数的设定 一,对象优先在新生代Eden区分配 /** * * 类描述:对象优先在eden分配,以及minor gc垃圾清理 * jvm:-XX:+PrintGCDetails -Xms20M -Xmx20M -Xmn10M -XX:SurvivorRatio=8 * @since jdk1.7 * @version 1.0 ...
3.3.1 标记-清除算法 最基础的收集算法是“标记-清除”(Mark-Sweep)算法,如它的名字一样,算法分为“标记”和“清除”两个阶段:首先标记出所有需要回收的对象,在标记完成后统一回收掉所有被标记的对象,它的标记过程其实在前一节讲述对象标记判定时已经基本介绍过了。之所以说它是最基础的收集算法,是因为后续的收集算法都是基于这种思路并对其缺点进行改进而得到的。它的主要缺点有两个:一个是效率问题,标记和清除过程的效率都不高;另外一个是空间问题,标记清除之后会产生大量不连续的内存碎片,空间碎片太多可能会导致,当程序在以后的运行过程中需要分配较大对象时无法找到足够的连续内存而不得不提前触发另 ...
3.2.2 根搜索算法 在主流的商用程序语言中(Java和C#,甚至包括前面提到的古老的Lisp),都是使用根搜索算法(GC Roots Tracing)判定对象是否存活的。这个算法的基本思路就是通过一系列的名为“GC Roots”的对象作为起始点,从这些节点开始向下搜索,搜索所走过的路径称为引用链(Reference Chain),当一个对象到GC Roots没有任何引用链相连(用图论的话来说就是从GC Roots到这个对象不可达)时,则证明此对象是不可用的。如图3-1所示,对象object 5、object 6、object 7虽然互相有关联,但是它们到GC Roots是不可达的,所以 ...
 4.1 概述     给一个系统定位问题的时候,知识、经验是关键基础,数据是依据,工具是运用知识处理数据的手段。这里说的数据包括:运行日志、异常堆栈、GC日志、线程快照(threaddump/javacore文件)、堆转储快照(heapdump/hprof文件)等。 4.2JDK的命令行工具     这些命令工具大多数是jdk\lib\tools.jar类库的一层薄包装而已,它们主要的功能代码是在tools类库中实现的。     注意:如果需要监控运行于JDK1.5的虚拟机之上的程序,在程序启动时请添加参数”-Dcom.sun.management.jmxremote“开启JMX管 ...
注:所有操作在root用户下执行   1、创建用户 (1)只能使用localhost访问 CREATE USER 'nange'@'localhost' IDENTIFIED BY '123456';  (2)所有IP都能使用用户nange   CREATE USER nange@'%' IDENTIFIED BY '123456';  2、授权 (1)对mysql数据库的所有操作权限授予nange GRANT all PRIVILEGES on mysql.* TO 'nange'@'%';  (2)对所有数据库的操作权限授予用户nange GRANT all PR ...
注:必须使用root用户  dbname:数据库名称 root:用户名   passwd:密码  grant all privileges on dbname.* to root@'localhost' identified by 'passwd';grant all privileges on  dbname.* to root@'127.0.0.1' identified by 'passwd';grant all privileges on  dbname.* to root@'%' identified by 'passwd'; 

scp使用

scp test* root@192.168.18.10:/root/ root@192.168.18.11:/root/   test*:所有以test开头的文件  root@192.168.18.10:/root/   root@192.168.18.11:/root/:两个目的端地址 :/root/:root目录    
1、配置项目tomcat和访问路径 注:需要提前启动tomcat,点击validate验证。  2、生成html文件  3、配置tomcat中生成html的路径  4、配置flex根目录  效果如下: 
1、重命名不同步问题   这是文件系统不同步的问题,是因为在eclipse之外对工程中的resource进行修改引起的;但是,有时没有在eclipse之外进行修改,也会报类似的错误。  解决办法:需要手动刷新一下资源管理器。 (1)在eclipse中,工程目录右键,选择F5(refresh)   (2)设置eclipse自动刷新。 通过Window->Preferences->General->Workspace,选中Refresh automatically。   2、修改一个项目的名称和contextRoot发布名称 (1)在MyEclipse中,可以更 ...
Global site tag (gtag.js) - Google Analytics