运行状态监控 Processlist线程管理 Query Profiler分析

一、MySQL状态查看

对正在运行的mysql进行监控，其中一个方式就是查看mysql运行状态：

(1) QPS(每秒Query量)

QPS = Questions(or Queries) / seconds 
mysql > show  global  status like 'Question%';

(2) TPS(每秒事务量)

TPS = (Com_commit + Com_rollback) / seconds 
mysql > show global status like 'Com_commit'; 
mysql > show global status like 'Com_rollback';

(3) key Buffer 命中率

mysql>show  global   status  like   'key%'; 
key_buffer_read_hits = (1-key_reads / key_read_requests) * 100% 
key_buffer_write_hits = (1-key_writes / key_write_requests) * 100%

(4) InnoDB Buffer命中率

mysql> show status like 'innodb_buffer_pool_read%'; 
innodb_buffer_read_hits = (1 - innodb_buffer_pool_reads / innodb_buffer_pool_read_requests) * 100%

(5) Query Cache命中率

mysql> show status like 'Qcache%'; 
Query_cache_hits = (Qcahce_hits / (Qcache_hits + Qcache_inserts )) * 100%;

(6) Table Cache状态量

mysql> show global  status like 'open%'; 
比较 open_tables  与 opend_tables 值

(7) Thread Cache 命中率

mysql> show global status like 'Thread%'; 
mysql> show global status like 'Connections'; 
Thread_cache_hits = (1 - Threads_created / connections ) * 100%

(8) 锁定状态

mysql> show global  status like '%lock%'; 
Table_locks_waited/Table_locks_immediate=0.3%  如果这个比值比较大的话，说明表锁造成的阻塞比较严重 
Innodb_row_lock_waits innodb行锁，太大可能是间隙锁造成的

(9) 复制延时量

mysql > show slave status 
查看延时时间

(10) Tmp Table 状况(临时表状况)

mysql > show status like 'Create_tmp%'; 
Created_tmp_disk_tables/Created_tmp_tables比值最好不要超过10%，如果Created_tmp_tables值比较大， 
可能是排序句子过多或者是连接句子不够优化

(11) Binlog Cache 使用状况

mysql > show status like 'Binlog_cache%'; 
如果Binlog_cache_disk_use值不为0 ，可能需要调大 binlog_cache_size大小

(12) Innodb_log_waits 量

mysql > show status like 'innodb_log_waits'; 
Innodb_log_waits值不等于0的话，表明 innodb log  buffer 因为空间不足而等待

(13) 其他内容

命令： 
>#show global status; 
虽然可以使用： 
>#show global status like %...%; 
来过滤，但是对应长长的list，每一项都代表什么意思，还是有必要弄清楚。

二、Processlist 线程管理

(1) Processlist 参数详解

# 如果您有root权限，您可以看到所有线程。否则，您只能看到登录的用户自己的线程，通常只会显示100条如果想看跟多的可以使用full修饰（show full processlist）
mysql> show processlist;
+----+-------------+-----------+---------+---------+
| Id | User        | Host      | db      | Command |Time|State|Info|
+----+-------------+-----------+---------+---------+...
|  1 | system user |           | NULL    | Connect |...
|  2 | system user |           | NULL    | Connect |...
| 12 | root        | localhost | bigdata | Query   |...
+----+-------------+-----------+---------+---------+...
参数
id       #ID标识，要kill一个语句的时候很有用
user      #当前连接用户
host     #显示这个连接从哪个ip的哪个端口上发出
db       #数据库名
command  #连接状态，一般是休眠（sleep），查询（query），连接（connect）
time     #连接持续时间，单位是秒
state    #显示当前sql语句的状态
info     #显示这个sql语句

# 可以使用kill id号 命令来强制终止线程。

# processlist筛选，等同于如下命令
select * from information_schema.processlist 
[where command = 'Query' and info <> 'commit']

(2) Processlist state 详解

其中state的状态十分关键，下表列出state主要状态和描述：

状态	描述
Checking table	正在检查数据表（这是自动的）。
Closing tables	正在将表中修改的数据刷新到磁盘中，同时正在关闭已经用完的表。这是一个很快的操作，如果不是这样的话，就应该确认磁盘空间是否已经满了或者磁盘是否正处于重负中。
Connect Out	复制从服务器正在连接主服务器。
Copying to tmp table on disk	由于临时结果集大于tmp_table_size，正在将临时表从内存存储转为磁盘存储以此节省内存。
Creating tmp table	正在创建临时表以存放部分查询结果。
deleting from main table	服务器正在执行多表删除中的第一部分，刚删除第一个表。
deleting from reference tables	服务器正在执行多表删除中的第二部分，正在删除其他表的记录。
Flushing tables	正在执行FLUSH TABLES，等待其他线程关闭数据表。
Killed	发送了一个kill请求给某线程，那么这个线程将会检查kill标志位，同时会放弃下一个kill请求。MySQL会在每次的主循环中检查kill标志位，不过有些情况下该线程可能会过一小段才能死掉。如果该线程程被其他线程锁住了，那么kill请求会在锁释放时马上生效。

Locked	被其他查询锁住了。

Sending data	正在处理SELECT查询的记录，同时正在把结果发送给客户端。
Sorting for group	正在为GROUP BY做排序。
Sorting for order	正在为ORDER BY做排序。
Opening tables	这个过程应该会很快，除非受到其他因素的干扰。例如，在执ALTER TABLE或LOCK TABLE语句行完以前，数据表无法被其他线程打开。正尝试打开一个表。
Removing duplicates	正在执行一个SELECT DISTINCT方式的查询，但是MySQL无法在前一个阶段优化掉那些重复的记录。因此，MySQL需要再次去掉重复的记录，然后再把结果发送给客户端。

Reopen table	获得了对一个表的锁，但是必须在表结构修改之后才能获得这个锁。已经释放锁，关闭数据表，正尝试重新打开数据表。
Repair by sorting	修复指令正在排序以创建索引。
Repair with keycache	修复指令正在利用索引缓存一个一个地创建新索引。它会比Repair by sorting慢些。
Searching rows for update	正在讲符合条件的记录找出来以备更新。它必须在UPDATE要修改相关的记录之前就完成了。
Sleeping	正在等待客户端发送新请求.
System lock	正在等待取得一个外部的系统锁。如果当前没有运行多个mysqld服务器同时请求同一个表，那么可以通过增加--skip-external-locking参数来禁止外部系统锁。
Upgrading lock	INSERT DELAYED正在尝试取得一个锁表以插入新记录。
Updating	正在搜索匹配的记录，并且修改它们。
User Lock	正在等待GET_LOCK()。
Waiting for tables	该线程得到通知，数据表结构已经被修改了，需要重新打开数据表以取得新的结构。然后，为了能的重新打开数据表，必须等到所有其他线程关闭这个表。以下几种情况下会产生这个通知：FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE,或OPTIMIZE TABLE。
waiting for handler insert	INSERT DELAYED已经处理完了所有待处理的插入操作，正在等待新的请求。

三、监控分析查询语句

1. Query Profiler查询语句分析

Query Profiler是MYSQL自带的一种query诊断分析工具，通过它可以分析出一条SQL语句的性能瓶颈在什么地方。
通常我们是使用的explain,以及slow query log都无法做到精确分析，但是Query Profiler却可以定位出一条SQL语句执行的各种资源消耗情况，比如CPU，IO等，以及该SQL执行所耗费的时间等。

为了验证select 1 与 select 1 from tableName 与 select * from tableName的执行效率,通常可以执行如下查询：

2. 方法一 : show profiles。

1.查看profile是否开启，数据库默认是不开启的。变量profiling是用户变量，每次都得重新启用。
查看方法： show variables like "%pro%";
设置开启方法： set profiling = 1;

再次查看show variables like "%pro%"; 已经是开启的状态了。

开始执行一些想要分析的sql语句了，执行完后，
show profiles； # 即可查看所有sql的总的执行时间。

# 查看第1个sql语句的执行的各个操作的耗时详情。
show profile for query 1

# 查看出一条SQL语句执行的各种资源消耗情况，比如CPU，IO等
show profile cpu,block io,memory,swaps,context switches,source for query 6;

# 查看第6条语句的所有的执行信息。
show profile all for query 6 

# 测试完毕后，建议关闭参数：
mysql> set profiling=0

3. 查询实例分析

mysql> show profiles;
+----------+------------+------------------------------------------------+
| Query_ID | Duration   | Query                                          |
+----------+------------+------------------------------------------------+
|        1 | 0.63810275 | select * from emp group by id%20 order by 5    |
|        2 | 0.62535500 | select * from emp group by id%10 limit 1500000 |
+----------+------------+------------------------------------------------+
2 rows in set, 1 warning (0.00 sec)

# 查看一条SQL语句的完整周期:
1.分析刚才2号查询语句的具体查询细节:
show profile cpu,block io for query 2;
+----------------------+----------+----------+
| Status               | Duration | CPU_user |
+----------------------+----------+----------+
| starting             | 0.000094 | 0.000088 |
| checking permissions | 0.000015 | 0.000015 |#检查权限
| Opening tables       | 0.000033 | 0.000033 |
| init                 | 0.000047 | 0.000047 |#初始化
| System lock          | 0.000019 | 0.000019 |#系统锁定
| optimizing           | 0.000012 | 0.000011 |#优化
| statistics           | 0.000039 | 0.000039 |#统计
| preparing            | 0.000021 | 0.000021 |#准备
| Creating tmp table   | 0.000066 | 0.000067 |#创建临时表
| Sorting result       | 0.000011 | 0.000009 |#filesort
| executing            | 0.000006 | 0.000006 |#执行
| Sending data         | 0.604537 | 0.600846 |#发送数据
| Creating sort index  | 0.000048 | 0.000043 |#创建排序索引
| end                  | 0.000004 | 0.000004 |
| removing tmp table   | 0.000007 | 0.000007 |#删除临时表
| end                  | 0.000005 | 0.000004 |
| query end            | 0.000007 | 0.000008 |#查询结束
| closing tables       | 0.000012 | 0.000011 |
| freeing items        | 0.000020 | 0.000020 |#释放项目
| cleaning up          | 0.000011 | 0.000011 |
+----------------------+----------+----------+

###!!!!!!!!!!!!!!!###
# 结果分析
一般出现以下4种情况的就是有问题的sql:
1.converting HEAP to MyISAM 查询结果太大,内存不够需要写磁盘
2.Creating tmp table 创建临时表
  removing tmp table 删除临时表
3.Copying to tmp table on disk 把内存中临时表复制到磁盘(严重)
4.locked

4. 方法二 : timestampdiff查看执行时间。

这种方法有一点要注意，就是三条sql语句要尽量连一起执行，不然误差太大，根本不准
set @d=now();
select * from comment;
select timestampdiff(second,@d,now());

"如果是用命令行来执行的话，有一点要注意，就是在select timestampdiff(second,@d,now());后面，一定要多copy一个空行，不然最后一个sql要你自己按回车执行，这样就不准了。"