表记录清理注意事项

2014-11-12

常规表清理见 pt-archiver 工具: pt-archiver

  • 1 如果表更新频繁, 不要直接使用delete ... where id <= ? and update_time < ? 这类范围或结果集过大的SQL, 避免delete操作时间过长吃满thread资源影响服务;

  • ...
Read More

SQL::Audit审核MySQL query说明

2014-11-05

SQL 审核说明 1.概述

SQL::Audit模块审核是以MySQL audit插件为基础, 通过分析SQL记录的来源(audit.log或socket)和使用情况(存储引擎, 索引使用,字符集等)以期避免开发对生产环境主机的影响。 审核部分主要包括:操作日志记录、 统计分析、 SQL改写、 SQL索引分析、 SQL安全、 邮件发送。

见: https://github.com/mcafee/mysql-audit https://github.com/arstercz/cz-sql-audit

2.审核流程

sql_audit脚本读取audit插件的日志信息, 通过SQL::Audit完成检查和分析, 异常的信息通过邮件发送到开发组. 同类的sql在Memcached中缓存一天时间,...

Read More

MySQL-audit审计插件

2014-11-05

MySQL SQL审计插件 https://github.com/mcafee/mysql-audit https://bintray.com/mcafee/mysql-audit-plugin/release

安装: https://github.com/mcafee/mysql-audit/wiki/Installation 需要计算出mysqld版本偏移值: https://github.com/mcafee/mysql-audit/wiki/Troubleshooting

my.cnf配置增加audit选项: 注: audit_offsets由offset-extract.sh脚本生成,依赖gdb; audit_whitelist_users增加用户白名单, 以防止程序审核sql的时候重复记录而造成无限循环;

top 10 percona toolkit tools(五)

2014-11-04
  1. pt-table-checksum http://www.percona.com/doc/percona-toolkit/2.2/pt-table-checksum.html 主从表数据一致校验: 该工具通过分组(chunk)方式以hash, md5, cac32或自定义函数生成每个分组数据的检验串, 分别在master和slave端执行, 如果每个分组的校验串一致, 则认为该分组的数据在master和slave一致。详见: http://arstercz.com/mysql%E4%B8%BB%E4%BB%8E%E6%95%B0%E6%8D%AE%E4%B8%80%E8%87%B4%E6%80%A7%E6%A0%A1%E9%AA%8C/, 这种方式可以相对有效的找出主从中哪个chunk组的数据不一致, 进而再继续细分chunk, 找出具体的行。 不过分组校验不一定能够严格校验主从的不一致, 这依赖校验函数的冲突率有多大, 默认的crc32函数的冲突率还是偏大的, 如果恰好有几个字符串算出的结果一样, 则该工具出现漏报的可能性, 误报的可能性不能完全杜绝。
  2. ...
Read More

MySQL 升级说明

2014-10-08

MySQL 升级说明

1.为什么升级

在没有充分测试前, 升级MySQL,尤其是主版本升级会存在很大的风险, 可能系统表或存储引擎组织方式做了更新, 也可能是参数或默认值信息做了改动, 这些都可能引起应用的中断甚至Server端的崩溃; 不过升级的好处也是很大的,比如想使用新版的功能特性,更好的性能,对固态盘的支持或者已经修复的bug等; 当然一般来说bug和性能问题会促使我们做一些小版本或大版本的升级, 在没有遇到这两个问题之前, 个人不建议对正在稳定使用的MySQL进行升级, 即便新版有更好的功能或性能。

2.升级的方式

我们通俗的将版本升级分为主版本升级(大版本升级)和次版本升级(小版本升级):

MySQL 5.1 升级到 MySQL 5.5 称为主版本升级;...
      
Read More

top 10 percona toolkit tools (三)

2014-09-14

5. pt-summary

http://www.percona.com/doc/percona-toolkit/2.2/pt-summary.html 搜集系统信息: 非常详细的列出系统相关的信息, 包括硬件信息, CPU, Memory, 分区, 当前运行的进程, 网络连接, 网卡等信息。对于不经常做更新的系统而言, 该工具可以很好的当做系统运行镜像来使用。该工具和pt-mysql-summary类似, 但更侧重于系统信息的搜集。同样以bash shell编写。 输出信息如下:

# pt-summary...
      
Read More