Atlas实现数据库读写分离

一、简介

Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,三每天承载的读写请求数达几十亿条。同时,有超过50家公司在生产环境中部署了Atlas,超过800人已加入了我们的开发者交流群,并且这些数字还在不断增加。

主要功能:

1.读写分离

2.从库负载均衡

3.IP过滤

4.自动分表

5.DBA可平滑上下线DB

6.自动摘除宕机的DB

 

二、Atlas相对于官方MySQL-Proxy的优势

1.将主流程中所有Lua代码用C重写,Lua仅用于管理接口

2.重写网络模型、线程模型

3.实现了真正意义上的连接池

4.优化了锁机制,性能提高数十倍

 

三、Atlas安装部署

1.安装Atlas

本文以Atlas-2.2.1版本为例

Atlas的GitHub开源项目地址:https://github.com/Qihoo360/Atlas

Atlas-2.2.1下载地址:https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el6.x86_64.rpm

  • 安装Atlas
yum localinstall -y Atlas-2.2.1.el6.x86_64.rpm
  • Atlas相关目录说明
[root@atlas ~]# ll /usr/local/mysql-proxy/
total 0
drwxr-xr-x 2 root root  75 Jul  1 11:12 bin     #atlas相关命令目录
drwxr-xr-x 2 root root  42 Jul  2 08:55 conf    #配置文件目录
drwxr-xr-x 3 root root 331 Jul  1 11:12 lib     #库文件目录
drwxr-xr-x 2 root root  58 Jul  2 08:53 log     #日志存放目录

2.修改Atlas配置文件

Atlas的安装目录是/usr/local/mysql-proxy,进入安装目录下的conf目录,可以看到已经有一个名为test.cnf的默认配置文件,只需修改其中的一些配置即可。(建议修改前先备份下test.cnf)

[root@atlas ~]# cd /usr/local/mysql-proxy/conf/
[root@atlas ~]# vim test.cnf
[mysql-proxy]

#管理接口的用户名
admin-username = atlas

#管理接口的密码
admin-password = atlas

#Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔
proxy-backend-addresses = 172.16.1.59:3306

#Atlas后端连接的MySQL从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔
proxy-read-only-backend-addresses = 172.16.1.52:3306,172.16.1.53:3306

#用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,下行的user1和user2为示例,将其替换为你的MySQL的用户名和加密密码!
pwds = root:3yb5jEku5h4=, backup:yU4TuGo3ReQ=

#设置Atlas的运行方式,设为true时为守护进程方式,设为false时为前台方式,一般开发调试时设为false,线上运行时设为true,true后面不能有空格。
daemon = true

#设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor,一个为worker,monitor在worker意外退出后会自动将其重启,设为false时只有worker,没有monitor,一般开发调试时设为false,线上运行时设为true,true后面不能有空格。
keepalive = true

#工作线程数,对Atlas的性能有很大影响,可根据情况适当设置
event-threads = 8

#日志级别,分为message、warning、critical、error、debug五个级别
log-level = error

#日志存放的路径
log-path = /usr/local/mysql-proxy/log

#SQL日志的开关,可设置为OFF、ON、REALTIME,OFF代表不记录SQL日志,ON代表记录SQL日志,REALTIME代表记录SQL日志且实时写入磁盘,默认为OFF
sql-log = ON

#慢日志输出设置。当设置了该参数时,则日志只输出执行时间超过sql-log-slow(单位:ms)的日志记录。不设置该参数则输出全部日志。
sql-log-slow = 10

#实例名称,用于同一台机器上多个Atlas实例间的区分
instance = test

#Atlas监听的工作接口IP和端口
proxy-address = 0.0.0.0:1234

#Atlas监听的管理接口IP和端口
admin-address = 0.0.0.0:2345

#分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项
#tables = person.mt.id.3

#默认字符集,设置该项后客户端不再需要执行SET NAMES语句
charset = utf8

#允许连接Atlas的客户端的IP,可以是精确IP,也可以是IP段,以逗号分隔,若不设置该项则允许所有IP连接,否则只允许列表中的IP连接
client-ips = 127.0.0.1, 172.16.1

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP),若有LVS且设置了client-ips则此项必须设置,否则可以不设置
#lvs-ips = 192.168.1.1

3.启动Atlas

  • 启动Atlas
[root@atlas ~]# /usr/local/mysql-proxy/bin/mysql-proxyd test start
  • 查看Atlas端口
[root@db03 mysql-proxy]# netstat -lntp | grep mysql-proxy
tcp       0     0 0.0.0.0:2345         0.0.0.0:*            LISTEN      37035/mysql-proxy 
tcp       0     0 0.0.0.0:1234         0.0.0.0:*            LISTEN      37035/mysql-proxy

 

四、Atlas进程使用(管理进程、工作进程)

Atlas服务有2个进程,一个是工作进程,另一个是管理进程。

工作进程主要负责接收clinet端读SQL、写SQL,分别把这些读SQL、写SQL代理到后端的数据库集群,实现数据库的读写分离。

管理进程主要负责管理Atlas服务中的后端数据库集群,也就是负责后端数据库的上下线、指定具体主库、从库等操作,实际上就是修改Atlas的配置文件。

1.Atlas管理进程

  • 进入Atlas管理进程,查看所有的命令
[root@atlas ~]# mysql -uatlas -patlas -h127.0.0.1 -P2345 
mysql> select * from help;
+----------------------------+---------------------------------------------------------+
| command                    | description                                             |
+----------------------------+---------------------------------------------------------+
| SELECT * FROM help         | shows this help                                         |
| SELECT * FROM backends     | lists the backends and their state                      |
| SET OFFLINE $backend_id    | offline backend server, $backend_id is backend_ndx's id |
| SET ONLINE $backend_id     | online backend server, ...                              |
| ADD MASTER $backend        | example: "add master 127.0.0.1:3306", ...               |
| ADD SLAVE $backend         | example: "add slave 127.0.0.1:3306", ...                |
| REMOVE BACKEND $backend_id | example: "remove backend 1", ...                        |
| SELECT * FROM clients      | lists the clients                                       |
| ADD CLIENT $client         | example: "add client 192.168.1.2", ...                  |
| REMOVE CLIENT $client      | example: "remove client 192.168.1.2", ...               |
| SELECT * FROM pwds         | lists the pwds                                          |
| ADD PWD $pwd               | example: "add pwd user:raw_password", ...               |
| ADD ENPWD $pwd             | example: "add enpwd user:encrypted_password", ...       |
| REMOVE PWD $pwd            | example: "remove pwd user", ...                         |
| SAVE CONFIG                | save the backends to config file                        |
| SELECT VERSION             | display the version of Atlas                            |
+----------------------------+---------------------------------------------------------+
16 rows in set (0.00 sec)
  • 命令解释
SELECT * FROM help         #查看帮助    
SELECT * FROM backends     #查看后端数据库信息
SET OFFLINE $backend_id    #平滑下线数据库
SET ONLINE $backend_id     #平滑上线数据库
ADD MASTER $backend        #添加主库
ADD SLAVE $backend         #添加从库    
REMOVE BACKEND $backend_id #移除数据库
SELECT * FROM clients      #查看可以访问Atlas的客户端
ADD CLIENT $client         #添加客户端
REMOVE CLIENT $client      #移除客户端
SELECT * FROM pwds         #查看用户和对应的加密密码
ADD PWD $pwd               #添加用户名和密码,自动加密
ADD ENPWD $pwd             #添加用户名和密码,手动加密后添加
REMOVE PWD $pwd            #移除用户名和密码
SAVE CONFIG                #将配置保存到配置文件
SELECT VERSION             #查看Atlas版本
  • 查看atlas代理的后端所有主机
mysql> select * from backends;
+-------------+------------------+-------+------+
| backend_ndx | address          | state | type |
+-------------+------------------+-------+------+
|           1 | 172.16.1.51:3306 | up    | rw   |
|           2 | 172.16.1.53:3306 | up    | ro   |
|           3 | 172.16.1.52:3306 | up    | ro   |
+-------------+------------------+-------+------+
3 rows in set (0.00 sec)

在type字段中,rw表示读写、ro表示只读,也就是说,主机172.16.1.51:3306为主库,主要负责处理数据库的写操作,而另外2台主机则负责读操作。

当Web端向Atlas发送写请求的时候,Atlas会把写请求代理到172.16.1.51:3306;若是发送来读请求时,则会把读请求代理到172.16.1.53:3306和172.16.1.52:3306。

2.Atlas工作进程

工作进程负责监听Web端的SQL请求,分析SQL,把读写SQL分别代理到后端数据库集群。

  • 模拟处理前端的查询SQL
[root@atlas ~]# mysql -uroot -p123 -h127.0.0.1 -P1234 -e "select user,host from mysql.user"
  • 模拟处理前端的写SQL
[root@atlas ~]# mysql -uroot -p123 -h127.0.0.1 -P1234 -e "create database db_test5"

 

五、Atlas结合MHA时故障解决

在MHA高可用中,当master节点故障时,slave会切换为新的master。

由于MHA的这个主库切换机制,导致Atlas在结合MHA使用时,会造成Atlas的读写分离出现问题。

主库切换后,从库切换成主库,但是在Atlas中配置的是新Master(原来的Slave)任然负责读操作,而旧的Master依旧负责写操作,这样就出现了读写混乱的问题,甚至可能导致后端的主从架构瘫痪。

1.解决思路

1.找到挂掉的机器(MHA日志)
2.找到挂掉机器在Atlas中的id
3.移除挂掉的机器
4.找到新的主库地址和端口(MHA日志)
5.移除成为新的主库的机器
6.将新的主库添加到Atlas

2.故障解决脚本

[root@atlas ~]# vim atlas_reset.sh
#!/bin/bash
#找到挂掉的主机
down_server=$(grep '^Master .* is down' /service/mha/app1/manager.log | tail -1 | awk -F '[ (]' '{print $2}') 2>/dev/null

#找到挂掉机器在Atlas中的id
down_server_id=$(mysql -uatlas -patlas -P2345 -h127.0.0.1 -e 'select * from backends' 2>/dev/null | grep $down_server | awk '{print $1}')

#移除挂掉的机器
mysql -uatlas -patlas -P2345 -h127.0.0.1 -e "remove backend $down_server_id" &>/dev/null

#找到新的主库地址和端口
new_master_server=$(grep 'as a new master' /service/mha/app1/manager.log | awk -F '[()]' '{print $2}' | tail -1) 2>/dev/null

#找到新的主库id
new_master_server_id=$(mysql -uatlas -patlas -P2345 -h127.0.0.1 -e 'select * from backends' 2>/dev/null | grep $new_master_server | awk '{print $1}'
)

#移除成为新的主库的机器
mysql -uatlas -patlas -P2345 -h127.0.0.1 -e "remove backend $new_master_server_id" 2>/dev/null

#将新的主库添加到Atlasj
mysql -uatlas -patlas -P2345 -h127.0.0.1 -e "add master $new_master_server" 2>/dev/null

#保存配置到配置文件
mysql -uatlas -patlas -P2345 -h127.0.0.1 -e "save config" 2>/dev/null
点赞

发表评论

电子邮件地址不会被公开。必填项已用 * 标注