centos7.2 安装 hdp2.6.1 步骤
环境：
Operating System: CentOS Linux release 7.2.1511 (Core)
Kernel: Linux 3.10.0-327.el7.x86_64
HDP:2.6.1.0
Ambari:ambari-server-2.5.0.3
下载地址：
ambari-2.5.0.3 tar 包下载地址：http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos7.tar.gz
HDP-2.6.1.0 tar 包下载地址：http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.1.0/HDP-2.6.1.0-centos7-rpm.tar.gz
MD5:HDP-2.6.1.0-centos7-rpm.tar.gz: 48 3F C7 17 19 4A 83 94 82 48 70 7C D4 85 62 14
HDP-UTILS 2.6.10 tar 包下载地址：http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz
MD5:HDP-UTILS-1.1.0.21-centos7.tar.gz: B6 1E 3F 3D D9 10 51 8D 86 3D 44 FC 59 15 57 52
0. 所有 WordPress 主机安装 jdk 并替换 jce 档案 (若启用 kerberos)
# tar -zxvf /data/jdk-8u111-linux-x64.tar.gz -C /usr/
# unzip /data/UnlimitedJCEPolicyJDK8.zip
# cp -f /data/UnlimitedJCEPolicyJDK8/local_policy.jar /usr/jdk1.8.0_111/jre/lib/security/
# cp -f /data/UnlimitedJCEPolicyJDK8/US_export_policy.jar /usr/jdk1.8.0_111/jre/lib/security/
# vi /etc/profile
末尾新增
export JAVA_HOME=/usr/jdk1.8.0_111
export PATH=$JAVA_HOME/bin:$PATH
#. /etc/profile
1.ssh 信任配置 (略)
2.ntp 配置
2.1 安装并开启 ntp
yum install -y ntp
2.2 开启 ntp
systemctl is-enabled ntpd
2.3 vi /etc/ntp.conf
注释其他 server，新增本地 ntp 站群服务器
server x.x.x.x iburst
2.4
systemctl enable ntpd
systemctl start ntpd
systemctl status ntpd.service 检查服务是否正常
3.WordPress 主机名配置
hostnamectl set-hostname server_name
检视 WordPress 主机资讯
[root@eva0 yum.repos.d]# hostnamectl
Static hostname: eva0
Icon name: computer-vm
Chassis: vm
Machine ID: b5b4a6e010034d50axxxxxxxxxxxxxxx
Boot ID: 818af0fc48c64931bxxxxxxxxxxxxxxx
Virtualization: vmware
Operating System: CentOS Linux 7 (Core)
CPE OS Name: cpe:/o:centos:centos:7
Kernel: Linux 3.10.0-514.10.2.el7.x86_64
Architecture: x86-64
4. 配置/etc/hosts，不要更改下述行，否则会引起各种问题
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
eva0 x.x.x.x
eva1 x.x.x.x
eva2 x.x.x.x
之后 hostname -f 检查是否配置成功
5. 所有 WordPress 主机关闭防火墙
# systemctl disable firewalld
# service firewalld stop
6. 关闭 selinux，packagekit(如果已启用)
vi /etc/yum/pluginconf.d/refresh-packagekit.conf
enabled=0
7. 更改 umask
# umask 0022
# echo umask 0022 >> /etc/profile
8. 建立 HDP local repository
8.0 启动 http 服务
# systemctl start httpd.service
# systemctl status httpd.service
8.1 下载并解压 HDP 站群软件包
tar -zxvf HDP-2.6.1.0-centos7-rpm.tar.gz -C /var/www/html
mkdir -p /var/www/html/HDP-UTIL
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/HDP-UTIL/
tar -zxvf ambari-2.5.0.3-centos7.tar.gz -C /var/www/html
检查通过 http 是否可访问到资源
Ambari Base URL
http://1eva0/ambari/centos7/ambari/
HDP Base URL
http://1eva0/HDP/centos7/
HDP-UTILS Base URL
http://1eva0/HDP-UTIL/
8.2 安装 createrepo 包
yum install createrepo
8.3 建立 repo
createrepo /var/www/html/ambari/centos7/
createrepo /var/www/html/HDP/centos7
createrepo /var/www/html/HDP-UTIL
(注意 createrepo 的目录)
8.4 修改*.repo 档案
# more /etc/yum.repos.d/ambari.repo
#VERSION_NUMBER=2.5.1.0
[ambari-2.5.1.0]
name=ambari-2.5.1.0
baseurl=http://eva0ambari/centos7/ambari
gpgcheck=0
#gpgkey=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/RPM-GPG-KEY/RPM-GPG
-KEY-Jenkins
enabled=1
priority=1
# more /etc/yum.repos.d/HDP.repo
#VERSION_NUMBER=2.6.1.0-129
[HDP-2.6.1.0]
name=HDP Version – HDP-2.6.1.0
baseurl=http://eva0HDP/centos7
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.1.0/RPM-GPG-KEY/RPM-GPG-KEY
-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version – HDP-UTILS-1.1.0.21
baseurl=http://eva0HDP-UTIL
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.1.0/RPM-GPG-KEY/RPM-GPG-KEY
-Jenkins
enabled=1
priority=1
9 建立 centos7 local repository
9.0 挂载站群软件 iso 镜像站群
mkdir -p /var/www/html/os7
mount -o loop /data/centos7.iso /var/www/html/os7
9.1 制作 repository
方法一：
mkdir -p /var/www/html/centos7
直接将 Packages 目录及其下的站群软件包 copy 到/var/www/html/centos7
方法二：
mkdir -p /data/centos7
将 Packages 目录及其下的站群软件包 copy 到/data/centos7
ln -s /data/centos7 /var/www/html/centos7
9.2 建立 repo(以方法一为例)
createrepo /var/www/html/centos7
9.3 修改 repo 档案
#vi /etc/yum.repos.d/CentOS-Base.repo
[base]
name=CentOS-$releasever – Base
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os&infra=$infra
baseurl=http://133.37.126.170/centos7/Packages/
gpgcheck=0
#gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
enable=1
priority=1
注意 enable=1，gpgcheck 设定为 0
10. 检查当前 repository 库
先修改 repo 目录的许可权
chmod -R 777 /var/www/html/centos7
chmod -R 777 /var/www/html/ambari
chmod -R 777 /var/www/html/HDP
chmod -R 777 /var/www/html/HDP-UTIL
# yum repolist
已载入插件外挂：fastestmirror, langpacks
Loading mirror speeds from cached hostfile
源标识 源名称 状态
HDP-2.6.1.0 HDP Version – HDP-2.6.1.0 232
HDP-UTILS-1.1.0.21 HDP-UTILS Version – HDP-UTILS-1.1.0.21 64
ambari-2.5.0.3 ambari Version – ambari-2.5.0.3 12
base CentOS-7 – Base 3,723
repolist: 4,031
重要：检查无误后，将三个 repo 档案复制到所有节点上
并检查其他节点的/etc/yum.conf 档案中是否设定了 proxy 代理，如果有应暂时取消，以避免可能无法访问到做 repository 的 WordPress 主机。
11. 安装 ambari server
选择 eva0WordPress 主机安装：
注意 ambari-server 依赖 postgresql，当前 2.5.0.3 版本需要 postgresql-libs(x86-64) = 9.2.13-1.el7_1，如果 os 中已经安装不同版本的 pg，先解除安装再安装指定版本
[root@eva0 ~]# yum erase postgresql-libs-9.2.18-1.el7.x86_64
[root@eva0 ~]# yum install ambari-server
12. 安装 mysql 站群服务器
安装
yum localinstall MySQL-server-5.6.14-1.el6.x86_64.rpm
yum localinstall MySQL-devel-5.6.14-1.el6.x86_64.rpm
yum localinstall MySQL-client-5.6.14-1.el6.x86_64.rpm
配置
vi /etc/my.cnf
[mysqld]
#basedir=/usr/share/mysql
datadir=/data/mysql/data
socket=/var/lib/mysql/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
skip-name-resolve
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/lib/mysql/eva0.pid
[client]
port=3306
socket=/var/lib/mysql/mysql.sock
启动
mysql_install_db –user=mysql –defaults-file=/etc/my.cnf
./mysql.server start
mysqladmin -u root password ‘yyyyy’
13. 设定 ambari-server
# ambari-server setup
使用预设使用者
Customize user account for ambari-server daemon [y/n] (n)?
使用自行安装的 jdk
Checking JDK…
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 3
输入 JAVA_HOME
Path to JAVA_HOME: /usr/jdk1.8.0_111
至于 ambari 的后设资料储存位置，可以自定义，如选择 mysql，也可直接使用预设的 pg，测试环境建议直接预设，
Enter advanced database configuration [y/n] (n)? y
Configuring database…
==============================================================================
Choose one of the following options:
[1] – PostgreSQL (Embedded)
[2] – Oracle
[3] – MySQL / MariaDB
[4] – PostgreSQL
[5] – Microsoft SQL Server (Tech Preview)
[6] – SQL Anywhere
[7] – BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost):
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):
所有设定采用预设
到此步时不要继续，先完成下述两步骤：
13.1 将 mysql 的 jdbc 的 dirver jar 放到/usr/share/java 目录下，并在 ambari.properties 档案中新增 server.jdbc.driver.path=[path/to/custom_jdbc_driver] 属性
(可从 https://dev.mysql.com/downloads/connector/j/ 网站下载)
新开视窗执行：
copy driver 到指定目录
tar -zxvf /data/mysql-connector-java-5.1.42.tar.gz
cp /data/mysql-connector-java-5.1.4/mysql-connector-java-5.1.42-bin.jar /usr/share/java/
修改 ambari 配置档案
vi /etc/ambari-server/conf/ambari.properties
新增
server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.42-bin.jar
13.2 执行 ambari 配置 sql 指令码
新开视窗执行：
[root@eva0 ~]# mysql -uroot -pyyyyy select @@binlog_format;
+—————–+
| @@binlog_format |
+—————–+
| STATEMENT |
+—————–+
1 row in set (0.01 sec)
当前服务修改，mysql 重启后失效
SET SESSION binlog_format = ‘MIXED’ ;
SET GLOBAL binlog_format = ‘ROW’;
永久修改
vi /etc/my.cnf
新增
binlog-format = ROW
15.02 ambari 使用者无读取 db 的许可权
ERROR [main] DBAccessorImpl:117 – Error while creating database accessor
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Access denied for user ‘ambari’@’%’ to database ‘ambari’
am
# mysql -uroot -p
Enter password:
mysql> grant all privileges on ambari.* to ‘ambari’@’%’ ;
mysql> flush privileges;
16 登陆 ambari web 进行配置
初始密码 admin/admin
若忘记密码，可在后台更改：
mysql> use ambari;
mysql> update users set user_password=PASSWORD(‘12345’) where user_id=1;
mysql> flush privileges;
17 配置中可能存在的问题
17.1 配置 hive metastore 的储存资料库时指定已有 mysql 资料库，
需先在 ambari-server 上执行：
# ambari-server setup –jdbc-db=mysql –jdbc-driver=/usr/share/java/mysql-connector-java-5.1.42-bin.jar
再在 mysql 中执行以下命令建立 hive 对应 db，使用者和赋权
mysql> create database hive;
mysql> create user hive identified by ‘yyyyy’;
Query OK, 0 rows affected (0.01 sec)
mysql> grant all privileges on hive.* to ‘hive’@’%’;
Query OK, 0 rows affected (0.01 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.02 sec)
mysql> update mysql.user set password=PASSWORD(‘yyyyy’) where user=’hive’;
Query OK, 2 rows affected (0.01 sec)
Rows matched: 3 Changed: 2 Warnings: 0
mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)
17.2 ambari 自动安装 hadoop 站群软件时失败，日志显示 libtirpc-devel 缺失：
如果机器上已经有 libtirpc 站群软件包，找到对应版本的 libtirpc-devel 安装即可
如果找不到对应版本建议解除安装现有 libtirpc 包，重灌版本匹配的 libtirpc 和 libtirpc-devel
# rpm -qa|grep libtirpc
libtirpc-0.2.4-0.6.el7.x86_64
非对应版本无法安装
# rpm -ivh libtirpc-devel-0.2.4-0.8.el7.x86_64.rpm
错误：依赖检测失败：
libtirpc = 0.2.4-0.8.el7 被 libtirpc-devel-0.2.4-0.8.el7.x86_64 需要
解除安装现有版本
# yum erase libtirpc-0.2.4-0.6.el7.x86_64
安装匹配版本
# yum localinstall libtirpc-0.2.4-0.8.el7.x86_64.rpm
# yum localinstall libtirpc-devel-0.2.4-0.8.el7.x86_64.rpm
备注：
关闭 THP 方法：
“echo never > /sys/kernel/mm/transparent_hugepage/defrag” 和
“echo never > /sys/kernel/mm/transparent_hugepage/enabled” 以禁用此设定，
然后将同一命令新增到 /etc/rc.local 等初始化指令码中，以便在系统重启时予以设定
