云和安全管理服务专家新钛云服 王永伟原创

前言：

在如今的互联?时代，?数据已成为?业发展的?个重要?向标，?对于海量数据的处理?成为?论是技术还是业务发展中都不可回避的重要问题。数据量越来越?，对性能要求越来越?；对于?量数据的存储的现在主要分为两种数据库：关系型数据库和 NoSQL 数据库。

传统数据库天然存在着单机单库瓶颈、难于扩展；? NoSQL 产品的出现虽然弥补了传统数据库的性能问题 ,但是不能完全替代传统数据库。

随着业务量的扩张和数据量的激增，系统负载很?的情况下，就必须对数据进?分割。数据被分到多个分?数据库后，应?如果需要读取数据，就要需要处理多个数据源的数据。

如果没有数据库中间件（eg:MyCat） ,那么应?将直接?对分?集群，数据源切换、事务处理、数据聚合都需要应?直接处理，原本该是专注于业务的应?，将会花?量的?作来处理分?后的问题。

MyCat 是什么？

对于 DBA 来说：

MyCat 就是 MySql Server 增强版的存储引擎。

对于软件工程师来说：

MyCat 就是数据库服务器，可以像操作数据库那样操作MyCat。

对于架构师来说：

MyCat 是?个强?的数据库中间件，不仅可以?作读写分离以及分库分表，甚?可?于多租户应?开发、云平台基础设施，让架构具备很强的灵活性和适应性。

MyCat的应用场景：

1、?持读写分离、主从切换;

2、垂直分库、?平分表;

3、多租户应?，如果每个应??个库，所有的应该只需连接 Mycat,实现多租户;

4、报表系统，处理?规模报表的统计。数据被切分到不同的分?数据库上，当应?需要读取数据时，中间件 mycat 就可以帮助开发?员进?数据聚合、事务、数据源切换等处理，让开发?员更加专注于业务开发。

MyCat 基本概念介绍：

逻辑库(schema)：

对实际应???，业务开发?员并不需要知道中间件的存在，所以 mycat 中间件?个或多个数据库集群构成的逻辑库。

逻辑表(table)：

对应?来说，读写数据的表就是逻辑表。逻辑表是对应逻辑库存在的。

分片表：

指原有很?的数据表需要切分到不同数据库上的表。

非分片表 ：

针对分?表来说，原则上是不需要切分的表。

E-R 表：

基于关系型数据库中实体关系模型，?表和?表记录存放在同?个分?上，通过表分组保证数据 join 不会出现跨库操作。

全局表：

类似字典的表；变动不频繁、数据量总体变化不是很?、规模不超过10w 的表。

分片节点(dataNode)：

?个?表被分到不同的分?数据库上?，每个表分?所在的数据库就是分?节点

节点主机(dataHost)：

?个或多个分?节点（dataNode）所在的机器就是节点主机

分片规则（rule）：

?个?表被分成若?个分?表，就需要?定的规则，这样按照某种业务规则把数据分到某个分?的规则就是分?规则。

MyCat连接池解读：

MyCat通过共享?个MySQL上的所有物理连接，并结合连接状态同步的特性，MyCat的连接池做到了最佳的吞吐量，也在?定程度上提升了整个系统的并发?撑能?。

其中ConMap 是存放连接池对象重要的数据结构，ConMap部分源码如下：

private final ConcurrentHashMap<string,< span=""> ConQueue> items = new ConcurrentHashMap();

public ConQueue getSchemaConQueue(String schema)

{

// 根据schema 获取当前切?的连接

ConQueue queue = items.get(schema);

if (queue == null) { // 如果没有可?连接，则新建

ConQueue newQueue = new ConQueue();

queue = items.putIfAbsent(schema,newQueue);

return (queue == null) ? newQueue: queue;

}

return queue;

}

public BackendConnection tryTakeCon(final String schema,

boolean autoCommit)

{

final ConQueue queue = items.get(schema);

// 尝试获取?个可?连接

BackendConnection con = tryTakeCon(queue,autoCommit);

if (con != null) {

return con;

}

如果没有可?连接或者不是?动模式，为了?效且充分利?数据库连接，当某个?户会话需要?个?动提交到分? dn1(对应db1）的 SQL 连接的时候，连接池?先找是否有 db1 上的可?连接。

如果有，看是否有?动提交模式的连接，找到就返回，否则返回 db1 上的?动提交模式的连接，若没有db1 的可?连接，则随机返回?个其他 db 对应的可?连接，若没有可?连接，并且连接池还没达到上限，则创建?个新连接并返回。

MyCat网络模型NIO/AIO：

· SocketConnector 发起连接请求类，如 MyCAT 与 MySQL 数据库的连接，都是由 MyCAT 主动发起连接请求。

· SocketAcceptor 接收连接请求类，如 MyCAT 启动 9066 和 8066 分别侦听管理员和应?程序的连接请求。

· SocketWR 读写操作类，SocketConnector 和 SocketAcceptor 只负责 socket 建?，当 socket 连接建?后进?字节的读写操作则由SocketWR 来完成。在 MyCAT 中，NIO 采?多 Reactor 模式,内部维护?个 Selector 选择器分别处理不同是事件。例如 NIOConnector 类- selector 事件选择器。

· connectQueue 需要建?连接的对象，临时放在这个队列?

· reactorPool 当连接建?后，从 reactorPool 中分配?个 NIOReactor，处理 Read和 Write 事件

connect 源码解读：

private void connect(Selector selector) {

AbstractConnection c = null;

while ((c = connectQueue.poll()) != null) {

try {

SocketChannel channel = (SocketChannel) c.getChannel();

channel.register(selector, SelectionKey.OP_CONNECT, c);

channel.connect(new InetSocketAddress(c.host, c.port));

} catch (Exception e) {

LOGGER.error("error:",e);

c.close(e.toString());

}

}

// 处理connect事件，交给reactor处理

private void finishConnect(SelectionKey key, Object att) {

BackendAIOConnection c = (BackendAIOConnection) att;

try {

if (finishConnect(c, (SocketChannel) c.channel)) {

clearSelectionKey(key);

c.setId(ID_GENERATOR.getId());

NIOProcessor processor =

MycatServer.getInstance().nextProcessor();

c.setProcessor(processor);

NIOReactor reactor = reactorPool.getNextReactor();

reactor.postRegister(c);

c.onConnectfinish();

}

} catch (Exception e) {

clearSelectionKey(key);

LOGGER.error("error:",e);

c.close(e.toString());

c.onConnectFailed(e);

}

}

1、判断 connectQueue 中是否新的连接请求。

2、建??个 SocketChannel。

3、在 selector 中进行注册 OP_CONNECT。

4、发起 SocketChannel.connect()操作。

MyCat读写分离实战：

在?些?型?站业务场景中，单台数据库提供的并发量已经?法满?业务需求；为了提供数据库的并发能?和负载能?,?般通过读写分离来实现。

当我们的数据库实现读写分离的时候，在应?中需要对数据源进?切换， MyCat能够帮我们更好的实现数据源的动态切换，也就是应?程序只需要连接MyCat中间件，?动帮我们读取读写的数据库。

未采用MyCat中间件项目架构：

采用MyCat中间件架构：

两者对比差异：

图?需要在应?程序中配置多个数据源,通过不同的业务需求动态切换多个数据源。?通过MyCat以后,应?程序只需要连接MyCat作为数据源，?便拓展，对现有的程序不影响。

搭建主从：

1、jdk 准备：jdk1.7 往上版本

2、mysql 准备,两台mysql服务，?台作为主库负责写?数据，?台是从库负责读数据

3、MyCat 安装：MyCAT 有提供编译好的安装包，Mycat-server-xxxxx.linux.tar.gz 解压

4、MyCat 相关?录说明：

bin 程序目录，进入到 bin目录：

Linux 下运?：./mycat console,?先要 chmod x *

conf ?录下存放配置?件，server.xml 是 Mycat 服务器参数调整和?户授权的配置?件，schema.xml 是逻辑库定义和表以及分?定义的配置?件，

rule.xml

是分?规则的配置?件，分?规则的具体?些参数信息单独存放为?件，

version.txtlib ?录下主要存放 mycat 依赖的?些 jar ?件.

?志存放在 logs/mycat.log 中，每天?个?件，?志的配置是在

conf/log4j.xml 中，根据??的需要，可以调整输出级别为 debug，debug 级别下，会输出更多的信息，?便排查问题。

配置schemal.xml逻辑库、逻辑表、分片：

<!-– 配置逻辑库 –>

<schema name="TESTDB_YONG" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1">

</schema>

<datanode name="dn1" dataHost="localhost1" database="yong_test" />

<!-– 配置读写分离 –>

"localhost1" maxCon="1000" minCon="10" balance="0"

writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">

<!– ?跳配置，检测所属的数据库是否存活 –>

<heartbe< span="">at>select user()

<!– 写主库 –>

<writehost host="hostM1" url="jdbc:mysql://192.168.235.136:3306?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true" user="root" password="12345678">

writeHost>

<!– 读从库 –>

<readhost host="hostS1" url="jdbc:mysql://192.168.235.133:3306?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true" user="root" password="12345678">

readHost>

dataHost>

配置server.xml，主要配置连接MyCat的逻辑库、逻辑表访问权限的配置：

<!– 逻辑库、逻辑表访问权限配置 ?户名 name=root 密码passwors=123456 –>

<user name="root" defaultAccount="true">

<property name="password">123456</property>

<property name="schemas">TESTDB_YONG</property>

<property name="defaultSchema">TESTDB_YONG</property>

<!– 表级 DML 权限设置 –>

<!–

<privileges check="false">

<schema name="TESTDB" dml="0110" >

<table name="tb01" dml="0000"></table>

<table name="tb02" dml="1111"></table>

</schema>

</privileges>

–>

</user>

读写分离测试：

1、准备两台mysql服务器，?台配置为主数据库，负责数据的写?，?台配置为从数据库，负责数据的读取。

2、数据库中间件MyCat通过shcemal.xml和server.xml配置两台数据库的读写。

3、启动MyaCat服务，连接mycat实现读写分离数据源的切换：

mysql -h127.0.0.1 -P8066 -uroot -p

4、连接成功后，然后业务开发?员就可以像操作数据库那样使? mycat,mycat 会根据配置的相关路由规则对数据进?分?存储和汇总。

通过MyCat插?数据：

insert into test(id, name) value (1,'wyw');

Query OK, 1 row affected (0.05 sec)

查看主从数据库是否有数据，

访问数据：

select * from test where id = 1;

±—–

| id |

±—–

| 1 |

±—–

1 rows in set (0.00 sec)

5、根据MyCat的运??志查看读写分离的的实质：mycat/logs/mycat.log

查询指令在从服务器上：