hadoop2.7.1编译安装及碰到的问题

编译命令: mvn package -Pdist,native,docs -DskipTests -Dtar 最好-p不带docs太费时间。直接用 mvn package -Pdist,native -DskipTests -Dtar 编译完成后的bin版本在目录 hadoop-dist下,跟从官网直接下载非src版本类似。 为提高下载速度,修改maven 源库,用*只从oschina找,有些它那没有。改用central 没有从apache的找。 <mirror> <id>nexus-osc</id> <!– mirrorOf>*</mirrorOf–> <mirrorOf>central</mirrorOf> // <name>Nexus osc</name> <url>http://maven.oschina.net/content/groups/public/</url> </mirror> 编译过程中碰到的问题: [ERROR] Failed to execute goal on project hadoop-common: Could not resolve dependencies … 继续阅读

发表在 hadoop | 标签为 | 留下评论

hbase shell和php通过thrift操作hbase数据

一、通过hbase  shell操作: http://www.cnblogs.com/linjiqin/archive/2013/03/08/2949339.html hbase shell 进入命令行交互模式,通过help查看各种help xx的用法。 命令行下不能直接用delete退格,解决: 方法1: 按住Ctrl+backspace 即可删除 方法2: [回话选项]->[终端]->[仿真]->[映射键]下 其他映射: 打勾Backspace发送delete和delete发送Backspace 表名 列族名 create ‘test’, ‘cf’ list ‘test’ 表名 行键 列键(必须以’列族名:’起) 值 put ‘test’, ‘row1′, ‘cf:a’, ‘value1′ put ‘test’, ‘row2′, ‘cf:b’, ‘value2′ scan ‘test’ get ‘test’, … 继续阅读

发表在 hbase | 标签为 , | 留下评论

hbase简单介绍和集群搭建

Hbase = Hadoop Database 概念名称                    文件存储系统           处理数据引擎   协同服务 Google Bigtable       GFS                       … 继续阅读

发表在 hbase | 标签为 | 留下评论

安装hadoop,hbase相关问题

hadoop1.x参考文档:只找到1.0.4的这个版本有中文文档,http://hadoop.apache.org/releases.html显示的2.5.2,2.6.0,2.7.1几个大分支 都没有中文文档。 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html 截止目前hadoop最新版本为2.7.1 http://hadoop.apache.org/docs/current/ 安装方式官方和网上有很多的教程。 我自然是像从最新版本开始搭建环境的,但是折腾了很长时间,包括linux基础环境问题,centos5.8的各种依赖库版本太低的问题,现将一些碰到的坑和解决方案记录一下,方便日后查看。 一、下载jdk是必要的,下载了.gz格式的如何解压?大家都知道tar.gz 怎么解压 tar zxf。这个需要用二步骤解决: 1.gunzip jdk-8u20-linux-x64.gz  解压后.gz文件被删了,只留下了解压出来的jdk-8u20-linux-x64 2.tar xf jdk-8u20-linux-x64 二、下载hadoop版本问题,如果不想编译源码版本后才能运行hadoop等命令,那就下载已经编译好了的bin版本,叫hadoop-xx.bin.tar.gz学习。但是要注意不同版本的文件夹下情况不一样,有的是源码版本名字带了src的,并列的没有后缀的版本应该就是bin版本。有的源码版本的没带后缀,bin版本带了bin后缀的。如果要确定下载bin版本,简单的区分较大的那个版本一般大几十M不等,源码版本的只有十几M。源码需要用 maven编译,没有的需要线安装。解压源码版本下有pom.xml,编译完成后会生成target文件夹。 例举hbase编译完成后的结果,但是1.x版本貌似编译完成后也会有找不到类的问题,目前还不知道为什么。可能是路径要怎么设置一下。 修正:已找到原因,请参考 : http://blog.pengduncun.com/?p=1251 hadoop-2.7.1的编译安装请参考:http://blog.pengduncun.com/?p=1208 mvn package -Dmaven.test.skip.exec=true [INFO] Reactor Summary: [INFO] [INFO] Apache HBase ………………………………… SUCCESS [06:16 min] [INFO] Apache HBase … 继续阅读

发表在 hadoop | 标签为 | 留下评论

p3p跨域同步登陆

解决IE浏览器通过js、iframe、src方式请求另外一个域的文件设置cookie的问题。 测试(ie下测试才有意义,非ie不需要header设置p3p,测试注意本地电脑时间是否正确,否则太大导致cookie种不上,本测试cookie只设置了10秒,方便测试): header(‘P3P: CP=”CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR”‘); http://a.penglaoge.com/ http://b.penglaoge.com/

发表在 Php | 标签为 | 留下评论

nfs服务使用

服务器端: 安装 nfs-utils portmap service portmap restart service nfs restart 客户端: yum install nfs-utils service rpcbind start mount -t nfs 115.28.137.21:/data/nfs/ /data/nfs/ showmount -a 115.28.137.21 showmount -e 115.28.137.21 showmount -d 115.28.137.21 showmount –all 115.28.137.21 All mount points on 115.28.137.21: 203.195.196.59:/data/nfs … 继续阅读

发表在 Linux | 标签为 , | 留下评论

git hooks 自动发布

在阿里云机器 115.28.137.21部署自动发布: 实现自动发布,一般都是通过hooks到一个目录执行拉取最新的更新动作。比如svn update 或者 git pull。 所以,你的网站目录得是一个仓库检出来的副本或者是一个仓库检出来的副本的副本(比如专门有个目录是副本,网站目录又通过rsync复制过来的)。 cd /data/git_repo mkdir test.git git init –bare test.git 检出一个副本,因为仓库就在本机器,可以直接用物理路径,也可以用ssh的路径。 git clone /data/git_repo/test.git /data/wwwroot/php/gitwww/test.git (只是目录名而已,可以不带.git后缀) 新建钩子脚本post-receive (不知道为啥新版本git没有这个文件,难道要用post-update,没具体研究): vim /data/git_repo/test.git/hooks/post-receive #!/bin/sh export LANG=zh_CN.UTF-8 WWW=/data/wwwroot/php/gitwww/test.git LOG=/data/git_repo/autopush_test.log cd $WWW unset GIT_DIR echo `date` >> $LOG git … 继续阅读

发表在 git | 留下评论

git服务器搭建和开发大致流程

服务器搭建: mkdir -p /data/git_repo/sample.git git init –bare sample.git git初始化一个仓库,而不是工作区。结构和svn create xx后差不多的那种。 total 24 -rw-r–r– 1 chenlong staff 23 8 15 22:55 HEAD -rwxr–r– 1 chenlong staff 111 8 15 22:55 config* -rw-r–r– 1 chenlong staff 73 8 15 22:55 description … 继续阅读

发表在 git | 标签为 | 留下评论

git学习

https方式可以直接clone下来,push时提示输入账号密码。 [chenlong@MD101 git]$git clone https://git.oschina.net/zxsz4084/firstgit.git Cloning into ‘firstgit’… remote: Counting objects: 4, done. [chenlong@MD101 firstgit]$git push Username for ‘https://git.oschina.net’: zxsz4084@163.com Password for ‘https://zxsz4084@163.com@git.oschina.net’: ssh方式clone时要求验证。 [chenlong@MD101 firstgit]$git clone git@git.oschina.net:zxsz4084/firstgit.git firstgit_ssh Cloning into ‘firstgit_ssh’… git@git.oschina.net’s password: 测试 [chenlong@MD101 firstgit]$ssh -T git@git.oschina.net git@git.oschina.net’s … 继续阅读

发表在 git | 留下评论

Git push与pull的默认行为

Git push与pull的默认行为 http://segmentfault.com/a/1190000002783245 配置文件 – “分支” 部分 http://www.gitguys.com/topics/the-configuration-file-branch-section/?lang=zh 不带参数执行git pull & git push http://loveky2012.blogspot.com/2012/08/default-behaviour-of-git-pull-and-git-push.html

发表在 git | 标签为 | 留下评论