标签归档:mydumper

MySQL多线程逻辑备份工具之mydumper

下载安装

yum -y install cmake glib2 pcre pcre-devel mysql-devel
tar xf  mydumper-0.6.2.tar.gz
cd mydumper-0.6.2
cmake .
make && make install
注释:如果只要帮助可以这样编译make doc_html
安装之后生成两个二进制命令/usr/local/bin/mydumper(备份)和/usr/local/bin/myloader(恢复)

mydumper特性

  • 多线程备份,生成多个备份文件
  • 针对MyISAM表加读锁,会阻塞DML语句
  • 保证备份数据一致性
  • 支持文件压缩和导出binlog
  • 支持多线程恢复
  • 支持守护进程模式,定时快照和连续二进制日志
  • 支持正则匹配
  • 恢复支持是否启用binlog及指定事物的大小(多少insert)
  • 无法备份视图和触发器
  • 备份整库时可用备份存储过程和函数,单库备份等情况无法对其进行备份

mydumper备份机制

主要步骤概括
  1. 主线程 FLUSH TABLES WITH READ LOCK施加全局只读锁,以阻止DML语句写入,保证数据的一致性
  2. 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中,以供即使点恢复使用
  3. N个(线程数可以指定,默认是4dump线程 START TRANSACTION WITH CONSISTENT SNAPSHOT开启读一致的事物
  4. dump non-InnoDB tables首先导出非事物引擎的表
  5. 主线程 UNLOCK TABLES 非事物引擎备份完后,释放全局只读锁
  6. dump InnoDB tables基于事物导出InnoDB
  7. 事物结束
备份所生成的文件
  1. 所有的备份文件在一个目录中,目录可以自己指定
  2. 目录中包含一个metadata文件

记录了备份数据库在备份时间点的二进制日志文件名,日志的写入位置,
如果是在从库进行备份,还会记录备份时同步至从库的二进制日志文件及写入位置

3.  每个表有两个备份文件:

database.table-schema.sql 表结构文件
database.table.sql 表数据文件
如果对表文件分片,将生成多个备份数据文件,可以指定行数或指定大小分片

mydumper参数详解

myloader参数详解

使用案例

注释:后台记录导出导入的时间

最后其他备份工具如:mysqldump/mysqlhotcopy/MySQLDumper 、mk-parallel-dump/mk-parallel-restore 、Xtrabackup/LVM Snapshot 暂时想到这么多,以后再想到再补充吧,也欢迎各位大拿fork工具库提交 https://github.com/geekwolf/sa-scripts/blob/master/devops.md