cdhmysql57实现企业级大数据分析（cdh mysql5.7）

随着企业数据量的不断增长，如何高效地存储和分析数据成为了企业发展的重要课题。作为一种高性能、可扩展性良好的大数据存储和处理方案，CDH（Cloudera Distribution including Apache Hadoop）成为了越来越多企业选择的对象。

同时，MySQL作为一种高可用性、高性能的关系型数据库管理系统，在企业级大数据分析中也扮演着重要角色。本文将介绍如何在CDH上安装配置MySQL 5.7并进行企业级大数据分析。

一、安装CDH

在安装MySQL 5.7之前，我们需要先搭建CDH环境。CDH分为两个版本：CDH5和CDH6，其中CDH5与Hortonworks HDP 2.5兼容，CDH6与HDP 3.0兼容。

这里以CDH5为例，介绍其安装和配置过程，具体步骤如下：

1. 下载CDH5的安装包

下载地址：https://archive.cloudera.com/cdh5/

2. 安装Java

CDH需要Java环境支持，可以从Oracle官网下载Java并进行安装。安装完成后，在命令行输入java -version，如果出现版本信息，则表示Java已经安装成功。

3. 安装CDH

在命令行输入以下命令进行安装：

sudo dpkg -i cloudera-manager-server-db-5.15.1-1.cm5151.p0.3~trusty-cm5_all.deb

sudo dpkg -i cloudera-manager-daemons-5.15.1-1.cm5151.p0.3~trusty-cm5_all.deb

sudo dpkg -i cloudera-manager-server-5.15.1-1.cm5151.p0.3~trusty-cm5_all.deb

sudo apt-get install oracle-j2sdk1.7

4. 配置MySQL数据库

在CDH中，可以选择使用内置的Derby数据库，也可以使用外部的MySQL数据库。这里我们选择使用MySQL数据库进行配置。

安装MySQL 5.7，并在命令行输入以下命令开启root用户权限：

sudo su

mysql -u root

在MySQL中，输入以下命令创建新的数据库：

create database cloudera;

在CDH中，将MySQL的数据库配置添加到配置文件中（/etc/cloudera-scm-server/db.properties）：

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=localhost

com.cloudera.cmf.db.name=cloudera

com.cloudera.cmf.db.user=root

com.cloudera.cmf.db.password=

注意：如果密码不为空，则需要指定密码。

5. 启动CDH

在命令行输入以下命令启动CDH：

sudo service cloudera-scm-server-db start

sudo service cloudera-scm-server start

6. 访问CDH管理界面

在浏览器中输入以下地址，即可进入CDH管理界面：

http://localhost:7180

二、安装配置MySQL 5.7

1. 安装MySQL 5.7

在命令行输入以下命令安装MySQL 5.7：

sudo apt-get install mysql-server-5.7

安装完成后，在命令行输入以下命令对MySQL进行配置：

sudo mysql_secure_installation

2. 配置MySQL 5.7

在MySQL 5.7中，可以通过修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf来配置MySQL。具体修改方式如下：

（1）将以下两项注释掉：

# bind-address = 127.0.0.1

# skip-networking

（2）在[mysqld]节点下添加以下两行：

default_storage_engine=INNODB

innodb_buffer_pool_size=1G

（3）重启MySQL：

sudo service mysql restart

3. 创建数据库和表

在MySQL管理界面中，创建一个新的数据库：

create database test;

在test库中，创建一个新的表：

create table user(id int auto_increment primary key,name varchar(50),age int);

4. 加载数据

在test库的user表中，插入数据：

insert into user(name,age) values(“Tom”,20);

insert into user(name,age) values(“Jack”,25);

insert into user(name,age) values(“Lucy”,22);

五、总结

本文介绍了如何在CDH上安装配置MySQL 5.7，并通过MySQL 5.7进行企业级大数据分析。CDH和MySQL的高性能、高可用性，使得其成为一种实用性极高的大数据存储和处理方案。希望读者通过本文的介绍，能够更好地了解和使用CDH和MySQL，提高企业大数据分析的效率和效果。