搜索本站
2021 年四月 一 二 三 四 五 六 日 « 二 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 -
近期文章
文章分类
- Ajax (8)
- Css (4)
- C语言 (1)
- Eclipse (2)
- git (6)
- hadoop (4)
- hbase (3)
- Hibernate (2)
- Java Web (9)
- Javascript (12)
- Linux (18)
- Macos (1)
- Mysql (9)
- Nosql (12)
- Oracle (5)
- Php (47)
- php7升级 (1)
- Python (1)
- Struts2 (4)
- svn (3)
- Uchome (4)
- Wap (2)
- Webservice (2)
- Zendframework (3)
- 公开课 (1)
- 工作总结 (6)
- 心情随笔 (8)
- 扯淡 (1)
- 服务器端 (13)
- 生活 (8)
- 网络基础 (3)
- 错误集锦 (4)
- 默认分类 (24)
文章归档
- 2021 年二月 (1)
- 2017 年三月 (2)
- 2016 年十一月 (1)
- 2016 年八月 (1)
- 2016 年一月 (1)
- 2015 年九月 (9)
- 2015 年八月 (5)
- 2015 年七月 (2)
- 2015 年五月 (1)
- 2015 年四月 (3)
- 2015 年二月 (1)
- 2015 年一月 (3)
- 2014 年十二月 (4)
- 2014 年十一月 (1)
- 2014 年八月 (5)
- 2014 年七月 (3)
- 2014 年五月 (5)
- 2014 年四月 (7)
- 2014 年三月 (2)
- 2014 年二月 (3)
- 2014 年一月 (1)
- 2013 年十二月 (1)
- 2013 年十一月 (10)
- 2013 年八月 (1)
- 2013 年七月 (2)
- 2013 年五月 (3)
- 2013 年三月 (1)
- 2012 年十二月 (2)
- 2012 年十一月 (2)
- 2012 年九月 (1)
- 2012 年八月 (1)
- 2012 年七月 (3)
- 2012 年六月 (1)
- 2012 年五月 (2)
- 2012 年四月 (1)
- 2012 年三月 (10)
- 2012 年二月 (2)
- 2012 年一月 (1)
- 2011 年十一月 (1)
- 2011 年十月 (6)
- 2011 年九月 (8)
- 2011 年八月 (5)
- 2011 年七月 (1)
- 2011 年六月 (5)
- 2011 年五月 (2)
- 2011 年三月 (1)
- 2011 年二月 (10)
- 2011 年一月 (3)
- 2010 年十二月 (4)
- 2010 年十一月 (4)
- 2010 年十月 (2)
- 2010 年九月 (1)
- 2010 年八月 (10)
- 2010 年七月 (7)
- 2010 年六月 (1)
- 2010 年四月 (6)
- 2010 年三月 (3)
- 2010 年二月 (3)
- 2010 年一月 (1)
- 2009 年十二月 (1)
- 2009 年十月 (7)
- 2009 年九月 (15)
- 2009 年八月 (7)
- 2009 年七月 (7)
标签云
近期评论
友情链接
标签归档:mapreduce
用php编写hadoop的mapReduce程序
参考:http://blog.csdn.net/hguisu/article/details/7263746 cat wordcount.txt a b a c d f g d d g f e b a c e a /usr/local/hadoop/bin/hadoop fs -put ~/wordcount.txt phpinput bin/hadoop jar contrib/streaming/hadoop-streaming-1.0.4.jar -mapper /data/www/hbase.6.cn/svnwww/map.php -reducer /data/www/hbase.6.cn/svnwww/reduce.php -input phpinput -output phpoutput/wordcount packageJobJar: [/data/hadoop/tmp/hadoop-unjar8802229556384958300/] [] /tmp/streamjob9208716827641064676.jar … 继续阅读
hadoop mapReduce例子
http://blog.csdn.net/jediael_lu/article/details/37649609 hadoop fs针对于各种文件系统 hadoop dfs 专门针对HDFS文件系统 官方文档开始就演示了一个mapreduce的例子,对于很多初学者根本不知所以然。 map/reduce认为是对数据的合并排序函数,就像sql中经常count(),group by ,order by为了从数据中提炼到我们想要的结果。map就像php的array_map,把所有的数组元素都用某个方法影响一遍,reduce就是把数组相邻元素计算的值传递给下一个,比如算数字5的阶乘 1x2x3x4x5。详细的概念可以参考一篇js描述的map/reduce。 http://www.liaoxuefeng.com/wiki/001434446689867b27157e896e74d51a89c25cc8b43bdb3000/001435119854495d29b9b3d7028477a96ed74db95032675000 初学Hadoop之图解MapReduce与WordCount示例分析: http://www.cnblogs.com/hehaiyang/p/4484442.html /usr/local/hadoop/bin/hadoop dfs -ls /usr/local/hadoop/bin/hadoop dfs -mkdir /test 删除目录 /usr/local/hadoop/bin/hadoop dfs -rmr /test /usr/local/hadoop/bin/hadoop dfs -ls /output //调用jar文件的 wordcount类 【输入目录】【输出结果目录】 可以用命令查看jar包里有哪些类,也可以放到eclipse 新建java项目导入jar包在目录结果展开查看。 jar -tvf /usr/local/hadoop-1.0.4/hadoop-examples-1.0.4.jar bin/hadoop … 继续阅读