IT从业10++，起步于网络工程（Router、Switch），先后经历系统集成（Hardware、OS、Post-Sale），互联网视频（流媒体广告），软件支持（PB、DataBase、WAS），销售支持（IaaS、Presales、Proposal、PoC），大数据应用（PM、CDH、JSP、SQL on Hadoop），及一些管理工作。
未造轮子，多为借鉴与实践，杂七杂八整理记录，一来备忘，二来分享。
by iX.
前言 CDH是Cloudera公司的Hadoop发行版，基于稳定版本的Apache Hadoop构建，包含Hadoop，Spark，Hive，Hbase和一些工具等，并集成了很多补丁，可直接用于生产环境。通过Cloudera Manager可以简化hadoop各组件的部署和配置过程。 目前CDH对ubuntu支持的最高版本为14.04，因此不建议使用更高版本的ubuntu来部署CDH。 环境准备： 1.配置网络(所有节点) 修改hostname： $ sudo vi /etc/hostname cdh01 修改IP地址： $ sudo vi /etc/network/interfaces auto eth0 iface eth0 inet static address 172.16.13.11 netmask 255.255.255.0 gateway 172.16.13.254 重启网络服务生效： $ sudo ifdown eth0 && sudo ifup eth0 修改ip与主机名的对应关系： $ sudo vi /etc/hosts 172.16.13.11 cdh01 172.16.13.12 cdh02 172.16.13.13 cdh03 2.配置SSH（所有节点） 启用root登陆（CDH5.10需要进行此步操作） $ sudo vi /etc/ssh/sshd_config #PermitRootLogin without-password PermitRootLogin yes $ sudo service ssh restart $ sudo passwd root 设置ssh无密码登陆 //在主节点上执行一路回车，生成无密码的密钥对 $ ssh-keygen -t rsa //将生成的密钥文件复制到其它节点 $ ssh-copy-id cdh02 $ ssh-copy-id cdh03 测试： 在主节点上ssh hadoop2，正常情况下，不需要密码就能直接登陆进去了。 3.安装Oracle JDK（所有节点） 运行CDH5必须使用Oracle的Jdk，需要Java 7及以上版本支持。 在Oracle的官网下载jdk包，解压到相应目录，例如/usr/java/jdk1.8.0_
Comments
Post a Comment