Ambari部署Hadoop集群 | DewarTsang’s Blog

type

status

date

slug

summary

准备

安装包准备

Ambari2.7.5、HDP3.1.5、libtirpc-devel：

链接: https://pan.baidu.com/s/1J1H4gUnEt204nNBOzlGLIg?pwd=1024

提取码: 1024

jdk1.8：

链接: https://pan.baidu.com/s/1ac5iuH4gVyopn3LuC5QWyQ?pwd=1024

提取码: 1024

pssh-2.3.1：

链接: https://pan.baidu.com/s/11erMCZsYVjJSvyM1f_6Oiw?pwd=1024

提取码: 1024

maven-3.8.3：

链接: https://pan.baidu.com/s/17aeb2PY6Ie24QdOhv8c42w?pwd=1024

提取码: 1024

centos7操作系统：

链接: https://pan.baidu.com/s/1A7tE0P10n0ebC1zVu4sOiQ?pwd=1024

提取码: 1024

服务器配置

centos7环境 hadoop21 5g+32g hadoop22 4g+32g hadoop23 4g+32g

安装passh工具

配置主机名及ssh免密

修改主机名

hostnamectl set-hostname hadoop21

分别将3台服务器hostname分别设置为hadoop21、hadoop22、hadoop23

修改hosts文件

配置ssh免密

分别在三台服务器上执行

将hosts分发到其他服务器

pscp -h /node.list /etc/hosts /etc/hosts

关闭防火墙及selinux

设置swap

关闭透明大页面

由于透明超大页面已知会导致意外的节点重新启动并导致RAC出现性能问题，因此Oracle强烈建议禁用

安装http服务

安装apache的httpd服务主要用于搭建OS、Ambari和hdp的yum源。在集群服务器中选择一台服务器来安装httpd服务，命令如下：

浏览器访问http://hadoop21能出现以下结果即成功：

配置操作系统本地repo

1.将centos7系统镜像上传到/media目录

2.挂载操作系统iso文件

查看是否挂载成功

3.在/var/www/html目录下创建iso目录，并将/media/iso目录文件复制到/var/www/html/iso目录下

4.在浏览器输入http://hadoop21/iso即可看到iso目录下文件

5.添加配置文件/etc/yum.repos.d/redhat7.6.repo，配置操作系统yum源

6.查看yum源是否配置成功

以下结果则表示成功：

安装jdk

1.将上传的jdk压缩解压，重命名

2.将jdk文件分发到其他节点

3.配置java环境变量

4. 将环境变量脚本分发到其他节点

5. 验证环境变量是否生效

安装maven

1.将上传的maven压缩解压，重命名

2.配置环境变量，并使其生效

3.验证

安装Ambari&HDP

配置Ambari、HDP、libtirpc-devel本地源

1.将上传的ambari、hdp解压

2.查看

3.设置用户组、用户及授权

4.创建libtirpc-devel本地源

5.安装createrepo

6.制作本地源

配置ambari.repo

配置HDP、HDP-UTILS和HDP-GPL

配置libtirpc.repo

分发到其他节点

查看源是否配置成功

安装mariadb

1.查看当前mysql和mariadb的包

2.卸载旧版本

3.安装MariaDB服务器

4.启动并设置开机自启

5.初始化

6.为MariaD安装MySQL JDBC驱动程序

安装和配置ambari-server

1.安装ambari-server

2.复制MySQL JDBC驱动到/var/lib/ambari-server/resources

3.配置/etc/ambari-server/conf/ambari.properties，添加如下行

4.执行

5.初始化ambari-server

6.登录MariaDB创建ambari安装所需要的库

启动ambari服务

所有节点安装ambari-agent

所有节点安装libtirpc-devel

部署集群

1.登录界面：http://hadoop21:8080

默认管理员账户登录，账户：admin 密码：admin

2.选择版本，配置yum源

1) 选择Launch Install Wizard

2）配置集群名称

3）选择版本并修改本地源地址

选HDP-3.1(Default Version Definition);

选Use Local Repository;

选redhat7:

HDP-3.1：http://hadoop21/HDP/centos7/3.1.5.0-152/

HDP-3.1-GPL：http://hadoop21/HDP-GPL/centos7/3.1.5.0-152/

HDP-UTILS-1.1.0.22：http://hadoop21/HDP-UTILS/centos7/1.1.0.22/

3.配置节点和密钥

下载主节点的/root/.ssh/id_rsa，并上传！点击下一步，进入确认主机界面也可直接cat /root/.ssh/id_rsa 粘贴即可

密钥验证成功：

4.勾选需要安装的服务

5.按照默认配置

6.分配服务slaves

7.设置相关服务的密码(其他配置默认)

Grafana admin:123456 Activity Explorer’s admin:123456

8.编辑配置，默认即可

9.等待安装测试

10.安装成功