- 浏览: 1560858 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (571)
- Flex (301)
- AIR (5)
- ComPiere (8)
- ExtJS (15)
- SAP (0)
- jBPM (3)
- Java-Hibernate (5)
- Java-Spring (10)
- XML (2)
- java-web (30)
- db2 (2)
- websphere (4)
- Google (5)
- 虚拟机 (10)
- eclipse (8)
- Win2003 (11)
- Ubuntu (27)
- VMware (4)
- CentOS (3)
- JSON (1)
- Oracle (15)
- SilverLight (1)
- 大事记 (6)
- VirtualBox (5)
- Solaris (10)
- AIX (6)
- 云计算 (10)
- MacOS (4)
- iOS (1)
- SQLite (1)
- Activiti (1)
- jdk (5)
- hadoop (8)
- Ant (4)
- PhoneGap (2)
- JavaScript (11)
- jQuery (1)
- FireFox (1)
- HBase (2)
- sqoop (0)
- ffmpeg (7)
- mencode (0)
- jdbc (1)
- SQLServer (1)
- 组件平台 (12)
- struts2 (4)
- intellj (4)
- android (1)
- ExtJS4 (1)
- 色卡司 (1)
- Linux (3)
- ExtJS5 (1)
- zookeeper (2)
- maven (1)
- Java (6)
- vpn (0)
- squid (1)
- MySQL (2)
- webpackage (1)
- antd (1)
- lucene (1)
最新评论
-
qq_24800465:
请问这里的库从哪下载啊
ffmpeg所有的编码器(encoders) -
neusoft_jerry:
貌似这里没用到StreamingAMFChannel哦,只是用 ...
Flex BlazeDS 推送技术 -
anyone:
感谢你的博文,看了受益匪浅
记住这个IntelliJ IDEA的编译设置 -
keren:
现在还有什么应用需要用flex来开发的?
flex tree的展开,关闭,添加、删除子节点 -
neusoft_jerry:
简洁明快,好贴好贴!楼主V5!
flex tree的展开,关闭,添加、删除子节点
断断续续,折腾了一个礼拜,终于在出差的时候把这个hadoop部署成功了。
我的环境是 VMware + redhat linux5,一台namenode,一台dataqnode,配置的过程中也遇到不少麻烦,一会儿再一一列举。
后来又在slaves里面加了个datanode节点,也成功了。看来这段时间的不断尝试没有白费,接下来就要开始在window+cygwin+eclipse里面写分布式搜索引擎了。
现在将成功的运行结果列出来。
【加入一个节点后查看节点】已经有2个可用的了。
Datanodes available: 2 (2 total, 0 dead)
【控制台截图】
【遇到的问题】
0, 要把export HADOOP_HOME=/usr/local/cjd/hadoop/hadoop-0.20.2 加入 /etc/profile,否则datanode不知道这个?
1,"Name node is in safe mode",执行以下命令.
bin/hadoop dfsadmin -safemode leave
bin/hadoop dfsadmin -safemode off
2,如果修改了配置文件,然后datanode起不来,发现报如下错误,
Incompatible namespaceIDs in /tmp/hadoop-root/tmp/dfs/data: namenode namespaceID = 1952086391; datanode namespaceID = 1896626371
那么到 datanode的 /tmp/hadoop-root/tmp/dfs/data/current/文件系统下,把VERSION里面的namespaceID=xxxx 改成 前面这个:1952086391. 重启hadoop即可。
3,配置文件xml里面的机器名要用ip地址。要用ip保险一些。包括 master and slaves文件里面也写ip。
4,要在每个datanode上,telnet namenode 9000,如果能telnet通,说明没有问题。
5,wordcount启动问题:
192.168.126.100: Address 192.168.126.100 maps to rh0, but this does not map back to the address - POSSIBLE BREAK-IN ATTEMPT!
该问题的处理如下:请确保 /etc/xxx/xx/host是如下:
我的环境是 VMware + redhat linux5,一台namenode,一台dataqnode,配置的过程中也遇到不少麻烦,一会儿再一一列举。
后来又在slaves里面加了个datanode节点,也成功了。看来这段时间的不断尝试没有白费,接下来就要开始在window+cygwin+eclipse里面写分布式搜索引擎了。
现在将成功的运行结果列出来。
[root@rh0 bin]# hadoop fs -lsr /tmp drwxr-xr-x - root supergroup 0 2010-11-07 09:41 /tmp/hadoop-root drwxr-xr-x - root supergroup 0 2010-11-07 09:41 /tmp/hadoop-root/tmp drwxr-xr-x - root supergroup 0 2010-11-07 09:41 /tmp/hadoop-root/tmp/mapred drwx-wx-wx - root supergroup 0 2010-11-07 09:42 /tmp/hadoop-root/tmp/mapred/system [root@rh0 bin]# hadoop dfsadmin -report Configured Capacity: 13391486976 (12.47 GB) Present Capacity: 8943796224 (8.33 GB) DFS Remaining: 8943742976 (8.33 GB) DFS Used: 53248 (52 KB) DFS Used%: 0% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 1 (1 total, 0 dead) Name: 192.168.126.101:50010 Decommission Status : Normal Configured Capacity: 13391486976 (12.47 GB) DFS Used: 53248 (52 KB) Non DFS Used: 4447690752 (4.14 GB) DFS Remaining: 8943742976(8.33 GB) DFS Used%: 0% DFS Remaining%: 66.79% Last contact: Sun Nov 07 09:42:18 CST 2010 [root@rh0 bin]# ./hadoop fs -put /usr/local/cjd/b.txt /tmp/hadoop-root/tmp/cjd/b.txt [root@rh0 bin]# ./hadoop jar hadoop-0.20.2-examples.jar wordcount /tmp/hadoop-root/tmp/cjd /tmp/hadoop-root/tmp/output-dir 10/11/07 09:43:03 INFO input.FileInputFormat: Total input paths to process : 1 10/11/07 09:43:03 INFO mapred.JobClient: Running job: job_201011070941_0001 10/11/07 09:43:04 INFO mapred.JobClient: map 0% reduce 0% 10/11/07 09:43:15 INFO mapred.JobClient: map 100% reduce 0% 10/11/07 09:43:36 INFO mapred.JobClient: map 100% reduce 100% 10/11/07 09:43:39 INFO mapred.JobClient: Job complete: job_201011070941_0001 10/11/07 09:43:39 INFO mapred.JobClient: Counters: 17 10/11/07 09:43:39 INFO mapred.JobClient: Job Counters 10/11/07 09:43:39 INFO mapred.JobClient: Launched reduce tasks=1 10/11/07 09:43:39 INFO mapred.JobClient: Launched map tasks=1 10/11/07 09:43:39 INFO mapred.JobClient: Data-local map tasks=1 10/11/07 09:43:39 INFO mapred.JobClient: FileSystemCounters 10/11/07 09:43:39 INFO mapred.JobClient: FILE_BYTES_READ=1836 10/11/07 09:43:39 INFO mapred.JobClient: HDFS_BYTES_READ=1366 10/11/07 09:43:39 INFO mapred.JobClient: FILE_BYTES_WRITTEN=3704 10/11/07 09:43:39 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=1306 10/11/07 09:43:39 INFO mapred.JobClient: Map-Reduce Framework 10/11/07 09:43:39 INFO mapred.JobClient: Reduce input groups=131 10/11/07 09:43:39 INFO mapred.JobClient: Combine output records=131 10/11/07 09:43:39 INFO mapred.JobClient: Map input records=31 10/11/07 09:43:39 INFO mapred.JobClient: Reduce shuffle bytes=1836 10/11/07 09:43:39 INFO mapred.JobClient: Reduce output records=131 10/11/07 09:43:39 INFO mapred.JobClient: Spilled Records=262 10/11/07 09:43:39 INFO mapred.JobClient: Map output bytes=2055 10/11/07 09:43:39 INFO mapred.JobClient: Combine input records=179 10/11/07 09:43:39 INFO mapred.JobClient: Map output records=179 10/11/07 09:43:39 INFO mapred.JobClient: Reduce input records=131 [root@rh0 bin]# hadoop dfsadmin -report Configured Capacity: 13391486976 (12.47 GB) Present Capacity: 8943679754 (8.33 GB) DFS Remaining: 8943587328 (8.33 GB) DFS Used: 92426 (90.26 KB) DFS Used%: 0% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 1 (1 total, 0 dead) Name: 192.168.126.101:50010 Decommission Status : Normal Configured Capacity: 13391486976 (12.47 GB) DFS Used: 92426 (90.26 KB) Non DFS Used: 4447807222 (4.14 GB) DFS Remaining: 8943587328(8.33 GB) DFS Used%: 0% DFS Remaining%: 66.79% Last contact: Sun Nov 07 09:46:22 CST 2010 [root@rh0 bin]# hadoop fs -lsr /tmp drwxr-xr-x - root supergroup 0 2010-11-07 09:41 /tmp/hadoop-root drwxr-xr-x - root supergroup 0 2010-11-07 09:43 /tmp/hadoop-root/tmp drwxr-xr-x - root supergroup 0 2010-11-07 09:42 /tmp/hadoop-root/tmp/cjd -rw-r--r-- 1 root supergroup 1366 2010-11-07 09:42 /tmp/hadoop-root/tmp/cjd/b.txt drwxr-xr-x - root supergroup 0 2010-11-07 09:41 /tmp/hadoop-root/tmp/mapred drwx-wx-wx - root supergroup 0 2010-11-07 09:43 /tmp/hadoop-root/tmp/mapred/system -rw------- 1 root supergroup 4 2010-11-07 09:42 /tmp/hadoop-root/tmp/mapred/system/jobtracker.info drwxr-xr-x - root supergroup 0 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir drwxr-xr-x - root supergroup 0 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs drwxr-xr-x - root supergroup 0 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs/history -rw-r--r-- 1 root supergroup 29085 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs/history/rh0_1289094087484_job_201011070941_0001_conf.xml -rw-r--r-- 1 root supergroup 7070 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs/history/rh0_1289094087484_job_201011070941_0001_root_word+count -rw-r--r-- 1 root supergroup 1306 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/part-r-00000 [root@rh0 bin]# hadoop fs -get /tmp/hadoop-root/tmp/output-dir /usr/local/cjd/b [root@rh0 bin]#
【加入一个节点后查看节点】已经有2个可用的了。
Datanodes available: 2 (2 total, 0 dead)
[root@rh0 bin]# hadoop dfsadmin -report Configured Capacity: 26782973952 (24.94 GB) Present Capacity: 18191843343 (16.94 GB) DFS Remaining: 18191613952 (16.94 GB) DFS Used: 229391 (224.01 KB) DFS Used%: 0% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 2 (2 total, 0 dead) Name: 192.168.126.102:50010 Decommission Status : Normal Configured Capacity: 13391486976 (12.47 GB) DFS Used: 53263 (52.01 KB) Non DFS Used: 4143476721 (3.86 GB) DFS Remaining: 9247956992(8.61 GB) DFS Used%: 0% DFS Remaining%: 69.06% Last contact: Sun Nov 07 10:06:55 CST 2010 Name: 192.168.126.101:50010 Decommission Status : Normal Configured Capacity: 13391486976 (12.47 GB) DFS Used: 176128 (172 KB) Non DFS Used: 4447653888 (4.14 GB) DFS Remaining: 8943656960(8.33 GB) DFS Used%: 0% DFS Remaining%: 66.79% Last contact: Sun Nov 07 10:06:55 CST 2010
【控制台截图】
【遇到的问题】
0, 要把export HADOOP_HOME=/usr/local/cjd/hadoop/hadoop-0.20.2 加入 /etc/profile,否则datanode不知道这个?
1,"Name node is in safe mode",执行以下命令.
bin/hadoop dfsadmin -safemode leave
bin/hadoop dfsadmin -safemode off
2,如果修改了配置文件,然后datanode起不来,发现报如下错误,
Incompatible namespaceIDs in /tmp/hadoop-root/tmp/dfs/data: namenode namespaceID = 1952086391; datanode namespaceID = 1896626371
那么到 datanode的 /tmp/hadoop-root/tmp/dfs/data/current/文件系统下,把VERSION里面的namespaceID=xxxx 改成 前面这个:1952086391. 重启hadoop即可。
3,配置文件xml里面的机器名要用ip地址。要用ip保险一些。包括 master and slaves文件里面也写ip。
4,要在每个datanode上,telnet namenode 9000,如果能telnet通,说明没有问题。
5,wordcount启动问题:
192.168.126.100: Address 192.168.126.100 maps to rh0, but this does not map back to the address - POSSIBLE BREAK-IN ATTEMPT!
该问题的处理如下:请确保 /etc/xxx/xx/host是如下:
# that require network functionality will fail. #127.0.0.1 rh0 localhost [配置成这个会报错] 127.0.0.1 localhost ::1 localhost6.localdomain6 localhost6 192.168.126.100 rh0 192.168.126.101 rh1 192.168.126.102 rh2
发表评论
-
把hadoop上多个文件合并然后copyt到本地
2012-06-05 09:04 2856http://www.hadoopor.com/thread- ... -
Hadoop1.0.0 eclipse 插件编译包
2012-04-23 00:51 3536hadoop1.0.0没有eclipse 插件包,今晚自己编译 ... -
Hadoop必须知道的几个问题
2012-04-12 09:02 10761,master slaves文件只有 namenode se ... -
chmod -R 777 /usr/local/java/jdk1.6.0_13/jre/bin 我爱你
2012-03-12 10:44 0因为少了这句话,我的hadoop环境重新安装了3次,还是报错 ... -
hadoop hbase的相关命令
2012-03-03 14:07 1361//是否进入或者是否还在安全模式 hadoop dfsa ... -
Hadoop环境部署成功(ubuntu+hadoop0.20.2+eclipse3.3.2)
2011-11-19 18:48 2527经过一段时间的折腾,终于能在eclipse里面运行MR了。 主 ... -
分布式监控系统 Ganglia
2011-06-03 10:03 1120http://ganglia.sourceforge.net/ ... -
我的HBase之旅
2010-11-21 14:37 5214最近在学hbase,看了好多资料,具体的参考: http:// ... -
第一个Mapreduce例子
2010-10-27 21:00 3183经过几天的尝试,终于部署起来了hadoop运行环境, hado ... -
Hadoop入门资料
2010-10-18 09:43 1057很好很详细的入门资料 http://hadoop.apache ...
相关推荐
redHat linux下安装hadoop 0.20.2
教程:在linux虚拟机下(centos),通过docker容器,部署hadoop集群。一个master节点和三个slave节点。
其中包含jdk文件,Hadoop,eclipse等,Hadoop的搭建有比较详细的过程,可以参考,要是要用更新的版本,可以去官网下载
这个文档使我们小组搭建云计算平台的手记,为了平台的稳定性,选用了RedHat enterprise 5.4做虚拟机平台而不是网上所用的Ubuntu,绝对可用,内容记录很详细
Eclipse3.3_(windows7)连接远程hadoop(RedHat.Enterprise.Linux.5)并测试程序
hadoop在两台windows xp部署
5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。 二、实验环境 本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。 三、实验内容 1. 规划...
此文件为hadoop-2.7.7.tar.gz,可在linux下直接进行安装,如在windows上安装,则需要hadooponwindows-master.zip,用windows-master里的文件替换解压好后hadoop的bin和etc即可。
单机版hadoop安装,可以版主你快速入门hadoop,快速安装hadoop
大数据 hadoop-3.1.3 linux 安装包
资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...
资源名称:RedHat linux下安装hadoop内容简介: hadoop安装有三种模式:单机模式,伪分布式,完全分布式。本文档主要讲述的是RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试;感兴趣的...
首先开启Hadoop集群:start-all.sh:开启所有的Hadoop所有进程,在主节点上进行 NameNode它是Hadoop 中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问。 Secondary NameNode.....
基于Kubernetes平台部署Hadoop实践.docx
本文档为本人部署hadoop集群过程的总结,该集群有3个节点,分别对应VMware中的三个Linux虚拟机。该过程的每一步本人都截图了,按照此文档部署成功率很高。
Hadoop、HBase、Zookeeper安装部署
docker部署hadoop资源包.txtdocker部署hadoop资源包.txtdocker部署hadoop资源包.txtdocker部署hadoop资源包.txtdocker部署hadoop资源包.txtdocker部署hadoop资源包.txtdocker部署hadoop资源包.txtdocker部署hadoop...
在redhat下安装hadoop集群,文件中包括设置静态ip,jdk安装,内含截图,详细指导。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对...
里面讲了一些hadoo是如何部署与运维的知识点,希望对初学者有所帮助!