标签归档：mapreduce

用php编写hadoop的mapReduce程序

发表于 2015/09/17 由 Administrator

参考：http://blog.csdn.net/hguisu/article/details/7263746 cat wordcount.txt a b a c d f g d d g f e b a c e a /usr/local/hadoop/bin/hadoop fs -put ~/wordcount.txt phpinput bin/hadoop jar contrib/streaming/hadoop-streaming-1.0.4.jar -mapper /data/www/hbase.6.cn/svnwww/map.php -reducer /data/www/hbase.6.cn/svnwww/reduce.php -input phpinput -output phpoutput/wordcount packageJobJar: [/data/hadoop/tmp/hadoop-unjar8802229556384958300/] [] /tmp/streamjob9208716827641064676.jar … 继续阅读 →

发表在 hadoop | 标签为 , , | 留下评论

hadoop mapReduce例子

发表于 2015/09/16 由 Administrator

http://blog.csdn.net/jediael_lu/article/details/37649609 hadoop fs针对于各种文件系统 hadoop dfs 专门针对HDFS文件系统 官方文档开始就演示了一个mapreduce的例子，对于很多初学者根本不知所以然。 map/reduce认为是对数据的合并排序函数，就像sql中经常count()，group by ，order by为了从数据中提炼到我们想要的结果。map就像php的array_map，把所有的数组元素都用某个方法影响一遍，reduce就是把数组相邻元素计算的值传递给下一个，比如算数字5的阶乘 1x2x3x4x5。详细的概念可以参考一篇js描述的map/reduce。 http://www.liaoxuefeng.com/wiki/001434446689867b27157e896e74d51a89c25cc8b43bdb3000/001435119854495d29b9b3d7028477a96ed74db95032675000 初学Hadoop之图解MapReduce与WordCount示例分析： http://www.cnblogs.com/hehaiyang/p/4484442.html /usr/local/hadoop/bin/hadoop dfs -ls /usr/local/hadoop/bin/hadoop dfs -mkdir /test 删除目录 /usr/local/hadoop/bin/hadoop dfs -rmr /test /usr/local/hadoop/bin/hadoop dfs -ls /output //调用jar文件的 wordcount类 【输入目录】【输出结果目录】 可以用命令查看jar包里有哪些类，也可以放到eclipse 新建java项目导入jar包在目录结果展开查看。 jar -tvf /usr/local/hadoop-1.0.4/hadoop-examples-1.0.4.jar bin/hadoop … 继续阅读 →

发表在 hadoop | 标签为 , | 留下评论