企业架构MySQL读写分离

学习目标和内容

能够理解读写分离的目的
能够描述读写分离的常见实现方式
能够实现通过业务代码配置读写分离案列
能够实现中间件读写分离案列

背景描述及其方案设计

业务背景描述

时间：2014.6.-2015.9

发布产品类型：互联⽹动态站点商城

⽤户数量： 10000-12000（⽤户量猛增）

PV ： 100000-500000（24⼩时访问次数总和）

QPS： 50-100*（每秒访问次数）

DAU： 2000（每⽇活跃⽤户数）

之前是单台MySQL提供服务，使用多台MySQL数据库服务器，降低单台压力，实现集群架构的稳定性和高可用性

通过业务比对和分析发现，随着用户活跃增多，读取数据的请求变多，故着重解决读取数据的压力

模拟运维设计方案

根据以上业务需求，在之前业务架构的基础上实现数据的读写分离

MySQL读写分离介绍

读写分离读写操作，分发不同的服务器，读分发到对应的服务器（slave），写分发到对应的服务器（master）

1、读写分离的目的

读写分离将读写业务分配到不同的服务器上，让服务器做特定的操作，不需要不断的切换工作模式，使工作效率提高写主服务器，读从服务器

同时降低主服务器的压力，在正常业务下，也是读比较多的情况，写相对读少一些。

大约比例在写1/7读

读写分离：

①M-S下，读写必须分离，如果不分离，业务不可用出问题

②M-M 虽然可以随意读写操作，特定的操作交由特定的服务器操作，工作效率更高

读写分离的实现基础和原理

实现基础：通过主从复制机制实现数据的一致性完整性

mysql的读写分离的基本原理是：

让master（主数据库）来响应事务性操作（create，update，delete，drop）

让slave（从数据库）来响应select非事务性操作

然后再采用主从复制来把master上的事务性操作同步到slave数据库中

没有主从复制，就无法实现业务上的读写分离

读写分离常见的实现方式

①业务代码的读写分离

需要在业务代码中，判断数据操作是读还是写，读连接从数据服务器操作，写连接主数据库服务器操作

以当前LNMP为例，就需要使用PHP代码实现读写分离

②中间件代理方式的读写分离

在业务代码中，数据库的操作，不直接连接数据库，而是先请求到中间件服务器（代理）

由代理服务器，判断是读操作去从数据服务器，写操作去主数据服务器

MySQL Proxy	MySQL官方测试版不再维护
Atlas	奇虎360 基于MySQL Proxy https://github.com/Qihoo360/Atlas/wiki/Atlas%E7%9A%84%E5%AE%89%E8%A3%85
DBProxy	美团点评
Amoeba	早期阿里巴巴
cober	阿里巴巴
MyCat	基于阿里开源的Cober
kingshared	go语言开发 https://github.com/flike/kingshard

也就是如下图示架构

问：如何选择？

①业务上实现更加方便，成本低一下，如果使用的开发框架不支持分布式数据库的部署模式，

业务的SQL需要修改，改代码

②中间件代理服务器更加适合管理更多的数据库服务器集群，查看到服务器是否可用，

不只可以实现读写分离，使用中间件实现分库、分表的操作

MySQL读写分离案列实现

0、搭建M-S复制

主 master 192.168.17.102

从 slave 192.168.17.10

主从复制的原理：主服务器开启bin-log（记录了写操作）从服务器获取到主服务器的bin-log 记录到relay-log中。从服务器在通过异步的线程方式，对于relay-log进行重放操作。

主服务器： bin-log

从服务器： relay-log

1、简单业务代码实现

在php普通脚本使用分布式数据库中，可以进行封装一个mysql操作类（OOP面向对象化编程）。建立两个或者多个数据库连接。通过判断操作类型，执行连接操作对应的数据库服务器。

示列代码：

class Mysql{

//封装连接属性

//单例模式单例模式只存在一个实体对象，节省资源内存

// static 直接类名调用常驻内存

//构造方法

public function __construct()

{

$master = mysql_connect(主数据库信息);

$slave = mysql_connect(从数据库信息)；

}

//sql语句执行方法

public function query($sql)

{

//判断是读操作

if（strpos（$sql,’select’） !== false）{

mysql_query($sql,$slave);

}

else{

//判断是写操作

mysql_query($sql,$master);

}

脚本使用

通过脚本实现效果

测试时，根据服务器的实际情况修改主机地址、用户名称、用户密码

当slave宕机时效果

当M-S正常使用情况下

2、框架配置实现

①通过查看thinkphp5手册找到处理方案

支持分布式

支持读写分离

如果是双主架构，可以不开启读写分离

tp框架实现原理代码段源码

②操作实现

一定要先去确定主从数据库的数据一致（tp5shop），用户名称和密码可以进行登录使用

测试可以down主库，看从库是否可以访问。thinkphp5中，如果slave宕机，master提供读服务。

3、MyCAT

3.1、介绍

原理流程图

准备一台服务器，作为数据库的中间件服务器，配置基本环境，网卡、FQDN

master 192.168.17.102

slave 192.168.17.107

mycat 192.168.17.108

Mycat 数据库中间件

国内最活跃的、性能最好的开源数据库中间件！

官方网址：http://www.mycat.io/

https://github.com/MyCATApache/MyCAT-Server/

因为mycat是由java语言开发，必须使用jdk进行启动和操作

3.2、jdk安装

①下载安装jdk

http://www.oracle.com/technetwork/java/javase/downloads/jdk10-downloads-4416644.html

上传mycat和jdk到soft目录下

shell > tar zxvf jdk-10.0.1_linux-x64_bin.tar.gz

shell > mkdir /usr/local/java

shell > mv jdk-10.0.1 /usr/local/java/jdk-10.0.1

②配置环境变量

shell > vim /etc/profile

添加以下内容

export JAVA_HOME=/usr/local/java/jdk-10.0.1

export JAVA_BIN=/usr/local/java/jdk-10.0.1/bin

export PATH=$PATH:/usr/local/java/jdk-10.0.1/bin

export CLASSPATH=./:/usr/local/java/jdk-10.0.1/lib:/usr/local/java/jdk-10.0.1/jre/lib

export PATH=$PATH:/usr/local/mycat/bin

export JAVA_HOME JAVA_BIN PATH CALSSPATH MYCAT_HOME

使配置生效

shell > source /etc/profile

3.3、mycat安装配置

③解压安装MyCAT

shell > tar xvf Mycat-server-1.6.5-release-20180122220033-linux.tar.gz -C /usr/local

实际解压到目录即可，无需安装

查看软件目录

logs目录可以查看到错误日志

conf里的配置文件使用

④修改配置文件

默认wrapper.conf不需要修改,但是如果启动卡在日志以下位置

因为系统不能够在规定内，启动mycat，可以设置启动等待时间延长

默认server.xml可以不用修改

配置中间件的登录用户名称和用户密码对应映射的虚拟库的名称

编辑

修改schema.xml

这个文件可以使用分享给大家的精简的，方便使用和操作，注意给予执行权限

Tip:负载均衡属性简单说明

balance 属性

负载均衡类型,目前的取值有 3 种:

balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的 writeHost 上。
balance="1", 全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡,简单的说,当双主双从模式(M1->S1,M2->S2,并且 M1 与 M2

互为主备),正常情况下,M2,S1,S2 都参与 select 语句的负载均衡。

balance="2", 所有读操作都随机的在 writeHost、readhost 上分发。
balance="3", 所有读请求随机的分发到 writerHost 对应的 readhost 执行,writerHost 不负担读压力,注意 balance=3 只在 1.4 及其以后版本有,1.3 没有。

writeType 属性

负载均衡类型,目前的取值有 3 种: