Skip to main content

Posts

Showing posts from March, 2017

CDH安装Phoenix

目前Phoenix并没有作为一个标准集成的service被CDH支持,所以不能通过添加服务的方式进行添加,但通过Cloudera labs提供的parcel也可以很方便的进行集群部署。 1、下载安装包 从以下地址获取phoenix parcel文件: http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/ 选择响应的OS版本,以ubuntu 14.04为例选择trusty的版本: 注意:CDH不支持直接部署Apach phoenix ( http://archive.apache.org/dist/phoenix/ ),包依赖关系不同。 下载后上传到CDH hadoop集群主节点parcel目录:/opt/cloudera/parcel-repo 将parcel文件的 ownership 改为:cloudera-scm:cloudera-scm 2、分发部署parcel 登录CM管理后台,点击右上角 ,在Parcel 配置窗口新增一行url: http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/ 完成后可以看到新增了一个CLABS_PHOENIX的Parcel, 将parcel分发到所有节点: 激活Phoenix parcel 之后,需要重启HBase及集群相关服务: 3、功能测试 重启完成后,在任一节点(ZooKeeper节点)上简单测试一下,可以正常work了:

Cloudera Hadoop 集群安装(ubuntu + CDH5.10)

前言 CDH是Cloudera公司的Hadoop发行版,基于稳定版本的Apache Hadoop构建,包含Hadoop,Spark,Hive,Hbase和一些工具等,并集成了很多补丁,可直接用于生产环境。通过Cloudera Manager可以简化hadoop各组件的部署和配置过程。 目前CDH对ubuntu支持的最高版本为14.04,因此不建议使用更高版本的ubuntu来部署CDH。 环境准备: 1.配置网络(所有节点) 修改hostname: $ sudo vi /etc/hostname cdh01 修改IP地址: $ sudo vi /etc/network/interfaces auto eth0 iface eth0 inet static         address 172.16.13.11         netmask 255.255.255.0         gateway 172.16.13.254 重启网络服务生效: $ sudo ifdown eth0 && sudo ifup eth0 修改ip与主机名的对应关系: $ sudo vi /etc/hosts 172.16.13.11 cdh01 172.16.13.12 cdh02 172.16.13.13 cdh03 2.配置SSH(所有节点) 启用root登陆(CDH5.10需要进行此步操作) $ sudo vi /etc/ssh/sshd_config #PermitRootLogin without-password PermitRootLogin yes $ sudo service ssh restart $ sudo passwd root 设置ssh无密码登陆 //在主节点上执行一路回车,生成无密码的密钥对 $ ssh-keygen -t rsa //将生成的密钥文件复制到其它节点 $ ssh-copy-id cdh02 $ ssh-copy-id cdh03 测试: 在主节点上ssh hadoop2,正常情况下,不需要密码就能直接登陆进去了。 3.安装Oracle JDK(所有节点) 运行CDH5必须使用Oracle的Jdk,需要Java 7及以上版本支持。 在Oracle的官网下载jdk包,解压到相应目录,例如/usr/java/jdk1.8.0_