首页 > 关于MySQL的慢日志分析工具

关于MySQL的慢日志分析工具

今天我们看看关于MySQL慢日志的阅读。

我们知道，如果我们的语句不够优化，那么首先MySQL的慢日志是进一步优化的离线证据，虽然里面有好 多“伪慢语句”！

先不说怎么优化，如果你的日志有一条语句赌住了，那么会有不计其数的慢语句填充到MySQL的满日志里面。那么首先提炼出这些语 句就非常头疼。

今天主要介绍两种工具：

1,mysqldumpslow。（咱们 MySQL自带的简单而又实用的工具）



我们先来看下mysqldumpslow的结果。

[root@localhost ~]# mysqldumpslow -r localhost-slow.log

 

Reading mysql slow query log from localhost-slow.log

Count: 2  Time=7.00s (14s)  Lock=0.00s (0s)  Rows=0.0 (0), root[root]@localhost

  select * from t_page_sample order by id desc limit N,N



Count: 1  Time=11.00s (11s)  Lock=0.00s (0s)  Rows=1.0 (1), root[root]@localhost

  select count(*) from t_page_sample



Count: 1  Time=1418.00s (1418s)  Lock=0.00s (0s)  Rows=0.0 (0), root[root]@localhost

  insert ignore into t_page_sample select ceil(rand()*N), ceil(rand()*N), date_sub(now(),interval floor(rand()*N) day), now() from t_page_sample



比如要查找排序的慢语句：

[root@localhost ~]# mysqldumpslow -r -g "order by " localhost-slow.log

 

Reading mysql slow query log from localhost-slow.log

Count: 2  Time=7.00s (14s)  Lock=0.00s (0s)  Rows=0.0 (0), root[root]@localhost

  select * from t_page_sample order by id desc limit N,N

 

自带的mysqldumpslow简单 实用，作为我个人的首选。关于具体的参数含义，可以参见它自身的HELP。



2,mk-query-digest。(网上著名的开源脚本家族Maatkit中一员)

手 册地址：http://www.maatkit.org/doc/mk-query-digest.html

下载方法：wget http://www.maatkit.org/get/mk-query-digest

完了赋给它可执行权限就OK。

mk-query-digest 功能太多，我今天只是试了下它对MySQL慢日志的分析功能。

以下是我觉得比较实用的功能。



1）分析慢日志并且把找出来的语句写到规定的 表里。

[root@localhost ~]# ./mk-query-digest --limit 2 --select Query_time,Lock_time,Rows_sent,Rows_examined,ts --create-review-table --review D=t_girl,t=query_review localhost-slow.log

# 280ms user time, 80ms system time, 11.56M rss, 16.65M vsz

# Current date: Sat May  8 02:47:39 2010

# Files: localhost-slow.log

# Overall: 4 total, 3 unique, 0.01 QPS, 1.96x concurrency ________________

#                    total     min     max     avg     95%  stddev  median

# Exec time          1443s      5s   1418s    361s   1357s    584s    684s

# Lock time              0       0       0       0       0       0       0

# Rows sent              1       0       1    0.25    0.99    0.43       0

# Rows exam          6.98M   1.69M   1.89M   1.74M   1.86M  76.62k   1.69M

# Time range        2010-05-08 00:28:42 to 2010-05-08 00:40:58



# Profile

# Rank Query ID           Response time    Calls R/Call    Item

# ==== ================== ================ ===== ========= ===============

#    1 0x2A94F91D8C3B4B26  1418.0000 99.0%     1 1418.0000 INSERT SELECT t_page_sample

#    2 0x06754F1BD3C8D697    14.0000  1.0%     2    7.0000 SELECT t_page_sample



# Query 1: 0 QPS, 0x concurrency, ID 0x2A94F91D8C3B4B26 at byte 0 ________

# This item is included in the report because it matches --limit.

#              pct   total     min     max     avg     95%  stddev  median

# Count         25       1

# Exec time     98   1418s   1418s   1418s   1418s   1418s       0   1418s

# Lock time      0       0       0       0       0       0       0       0

# Rows sent      0       0       0       0       0       0       0       0

# Rows exam     27   1.89M   1.89M   1.89M   1.89M   1.89M       0   1.89M

# Time range 2010-05-08 00:28:42 to 2010-05-08 00:28:42

# Query_time distribution

#   1us

#  10us

# 100us

#   1ms

#  10ms

# 100ms

#    1s

#  10s+  ################################################################

# Review information

#    first_seen: 2010-05-08 00:28:42

#     last_seen: 2010-05-08 00:28:42

#   reviewed_by:

#   reviewed_on:

#      comments:

# Tables

#    SHOW TABLE STATUS FROM `t_girl` LIKE 't_page_sample'G

#    SHOW CREATE TABLE `t_girl`.`t_page_sample`G

insert ignore into t_page_sample select ceil(rand()*10000000), ceil(rand()*9), date_sub(now(),interval floor(rand()*20) day), now() from t_page_sampleG



# Query 2: 0.07 QPS, 0.47x concurrency, ID 0x06754F1BD3C8D697 at byte 1499

# This item is included in the report because it matches --limit.

#              pct   total     min     max     avg     95%  stddev  median

# Count         50       2

# Exec time      0     14s      5s      9s      7s      9s      3s      7s

# Lock time      0       0       0       0       0       0       0       0

# Rows sent      0       0       0       0       0       0       0       0

# Rows exam     48   3.39M   1.69M   1.69M   1.69M   1.69M       0   1.69M

# Time range 2010-05-08 00:40:28 to 2010-05-08 00:40:58

# Query_time distribution

#   1us

#  10us

# 100us

#   1ms

#  10ms

# 100ms

#    1s  ################################################################

#  10s+

# Review information

#    first_seen: 2010-05-08 00:40:28

#     last_seen: 2010-05-08 00:40:58

#   reviewed_by:

#   reviewed_on:

#      comments:

# Tables

#    SHOW TABLE STATUS FROM `t_girl` LIKE 't_page_sample'G

#    SHOW CREATE TABLE `t_girl`.`t_page_sample`G

# EXPLAIN

select * from t_page_sample order by id desc limit 4400000,2G

 

[root@localhost ~]#

 

因为慢日志里面会有写和读语句，所以当以后想要分析某类语句时，只需要简单的SELECT即可出来。



mysql> select * from query_review where fingerprint like 'select%'G

*************************** 1. row ***************************

   checksum: 465365117438580375

fingerprint: select * from t_page_sample order by id desc limit ?

     sample: select * from t_page_sample order by id desc limit 4400000,2

 first_seen: 2010-05-08 00:40:28

  last_seen: 2010-05-08 00:40:58

reviewed_by: NULL

reviewed_on: NULL

   comments: NULL

1 rows in set (0.00 sec)





2. 分析当前运行的SQL语句。

以 前我都是自己写脚本，配合CRONTAB来定时抓取信息到固定的文件里以备分析。不过现在可以用它来打印出比较详细的报告来。



[root@localhost ~]# ./mk-query-digest --select Query_time,Lock_time,Rows_sent,Rows_examined  --processlist h=localhost,u=root

# Caught SIGINT.



# 690ms user time, 2.4s system time, 11.27M rss, 16.41M vsz

# Current date: Sat May  8 03:17:39 2010

# Files: STDIN

# Overall: 1 total, 1 unique, 0 QPS, 0x concurrency ______________________

#                    total     min     max     avg     95%  stddev  median

# Exec time        1273313855s 1273313855s 1273313855s 1273313855s 1273313855s       0 1273313855s

# Lock time              0       0       0       0       0       0       0



# Profile

# Rank Query ID           Response time          Calls R/Call          Ite

# ==== ================== ====================== ===== =============== ===

#    1 0xB52E1970DE36E57F 1273313854.8595 100.0%     1 1273313854.8595 SELECT t_page_sample



# Query 1: 0 QPS, 0x concurrency, ID 0xB52E1970DE36E57F at byte 0 ________

# This item is included in the report because it matches --limit.

#              pct   total     min     max     avg     95%  stddev  median

# Count        100       1

# Exec time    100 1273313855s 1273313855s 1273313855s 1273313855s 1273313855s       0 1273313855s

# Lock time      0       0       0       0       0       0       0       0

# Query_time distribution

#   1us

#  10us

# 100us

#   1ms

#  10ms

# 100ms

#    1s

#  10s+  ################################################################

# Tables

#    SHOW TABLE STATUS FROM `t_girl` LIKE 't_page_sample'G

#    SHOW CREATE TABLE `t_girl`.`t_page_sample`G

# EXPLAIN

select count(*) from t_page_sampleG

[root@localhost ~]#



当 想停止截取当前语句时，按住CTRL+C就OK。

 

不过我还是喜欢我自己的那个小脚本。哈哈。

更多相关：

  • jmeter吞吐量图形显示_Jmeter系列（43）- 详解 Jmeter 图形化 HTML 压测报告之 Charts 模块...

    如果你想从头学习Jmeter，可以看看这个系列的文章哦Charts 介绍包含了各种详细信息图表，比 GUI 模式的图表好看且易懂多了！做性能测试，如何发现是否有性能瓶颈？必须从结果图表中找到鸭！而 html 报告将性能测试可能需要用到的图表都加进去了，可谓是6666一共有三大模块Over TimeThroughputResponse...

  • Udacity机器人软件工程师课程笔记（二十三) - 控制（其一）- PID控制及其python实现

    控制（Controls） 1.PID控制简介 在工程实际中，应用最为广泛的调节器控制规律为比例、积分、微分控制，简称PID控制，又称PID调节。PID控制器问世至今已有近70年历史，它 以其结构简单、稳定性好、工作可靠、调整方便而成为工业控制的主要技术之一。当被控对象的结构和参数不能完全掌握，或得不到精确的数学模型时，控制理论的...

  • printf格式化输出几点注记

    搞了很多年c/c++，有很多细小的东西，曾经不止一次遇到，可是一直都是放在零散的地方,要用的时候怎么也找不到，今天，我痛下决心，改掉不良习惯，把这些经验或是tips记录在这里，便于日后查找。 1.在统计网络下载信息时，如何表达文件大小？ 下面是输出结果 2.打印size_t类型数据的长度，使用%lu。 下面是一个使...

  • PHP的一种缓存方案静态化

    1,解决的问题。 2.如何实现。 面对大流量网站频繁访问数据库的一种优化，比如博客网站。不可能每个人查看都访问一次数据库。为了解决大量不必要访问的问题。 可以把第一次的内容保存为html页面。再以后定义的过期时间内都访问该静态页面。 以下是一个小的demo index.php来实现静态化的主要工作。 1

  • 人人都是 DBA（XII）查询信息收集脚本汇编

    什么？有个 SQL 执行了 8 秒！ 哪里出了问题？臣妾不知道啊，得找 DBA 啊。 DBA 人呢？离职了！！擦！！！ 程序员在无处寻求帮助时，就得想办法自救，努力让自己变成 "伪 DBA"。 索引 按页编号查看数据表信息获取查询 SELECT 语句的执行次数排名看看哪些 Ad-hoc Query 在浪费资源查看当前处于等待状态的 T...

  • PHPCMSv9首页显示分页点击下一页跳转链接出现错误，跳转到后台的解决方案

    1 引用页写为 {pc:content action="lists" catid="10" order="updatetime DESC" thumb="0" num="1" page="$_GET['page']"}{loop $data $v}....{/loop}{$pages} {/pc}2 phpcms/libs/fu...

  • Drupal 7中 page.tpl.php 的可用变量

    常用变量:  * - $base_path: Drupal 的安装路径，默认一般为“/” * - $directory: template 所在的目录, 如： modules/system 、 themes/bartik.  * - $is_front: 如果当前页面为首页则为真（TRUE）。  * - $logged_in: 如果...

©2024 11GX.COM