CDH 介绍和搭建过程(离线安装)

什么是CDH(Cloudera's Distribution, including Apache Hadoop)

CDH hadoop体系搭建脚手架,集成了体系的众多组件,如:Flume、Hbase、Hiv、Hdfs等
Cloudera Management:
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。
cloudera manager有四大功能:
  (1)管理:对集群进行管理,如添加、删除节点等操作。
  (2)监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。
  (3)诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。
  (4)集成:对hadoop的多组件进行整合。

CDH安装

在线安装不考虑,不过,如果你的网速够快,对外网的网速也够快,就可以用在线安装的方式。
下面说说离线安装的事情。
在说安装之前我们先了解下CDH的几个安装必须的文件:

CDH-5.7.1-1.cdh5.7.1.p0.11-el5.parcel.sha1
CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel

版本号在el5上。el标识红帽子一系列的linux系统。安装时候注意自己系统,不要下错对应版本。

manifest.json

存储了其他组件版本信息

CDH 环境检查

java 环境:集群的每台机器都需要安装java环境。注意:jdk版本号必须和CDH版本号对应上。意思是,CDH每个版本都有对应的jdk版本号,不能台新也不能太久。当jdk版本号错误会出现一些奇怪的问题。

发表评论

电子邮件地址不会被公开。