mysql基准测试

MySQL基准测试

• 基准测试

  • 是一种测量和评估软件性能指标的活动，用于建立某个时刻的性能基准，以便当系统发生软硬件变化时，重新进行基准测试以评估变化对性能影响。
  • 直接、简单、易于比较，用于评估服务器的处理能力
  • 可能不关心业务逻辑，所使用的查询和业务的真实性可以和业务环境没关系

• 压力测试：

  • 对真实的业务数据进行测试，获得真实系统所能承受的压力
  • 针对不同主题，所使用的数据和查询也是真实用到的（比如购物车流程，报名流程）

基准测试目的：

• 建立 mysql 服务器的性能基准线
  • 确定当前 mysql 服务器运行情况
• 模拟比当系统更高的负载，以找出系统的扩展瓶颈
  • 增加数据库并发，观察 QPS，TPS变化，确定并发量与性能最优的关系
• 测试不同的硬件、软件和操作系统配置
• 证明新的硬件设备是否配置正确

如何进行基准测试

• 对整个系统进行基准测试

  • 从系统入口进行测试（如网站Web前端，手机APP前端）
  • 优点：
    • 能够测试整个系统的性能，包括web服务器缓存、数据库等
    • 能反映出系统中各个组件接口间的性能问题体现真实性能状况
  • 缺点：测试设计复杂，消耗时间长

• 单独对 mysql 进行基准测试

  • 优点：
    • 测试设计简单，消耗时间短
  • 缺点：无法全面了解整个系统的性能基线

mysql 基准测试的常见指标

• 单位时间内所处理的事务数 （TPS）
• 单位时间内所处理的查询数 （QPS）
• 响应时间
  • 平均响应时间、最小响应时间、最大响应时间、各时间所占百分比
• 并发量：同时处理的查询请求的数量
  • （并发量不等于连接数）
  • 正在工作中的并发的操作数 或 同时工作的数量

设计基准测试

• 对整个系统还是某一组件

• 使用什么样的数据

• 准备基准测试及数据收集脚本

  • CPU使用率、IO、网络流量、状态与计数器信息等

• 运行基准测试

• 保存及分析基准测试

基准测试中容易忽略的问题

• 使用功能生产环境数据时，只使用了部分数据

  • 推荐：使用生产环境数据库完全备份来测试

• 在多用户场景中，只做单用户的测试

  • 推荐：使用多线程并发测试

• 在单服务器上测试分布式应用

  • 推荐：使用相同架构进行测试

• 返回执行同一个查询

  • 容易缓存命中，无法反应真实查询性能。

基准测试工具

mysqlslap

mysqlslap ： mysql自带的基准测试工具，随 mysql 一起安装。

• 可以模拟服务器负载，并输出相关统计信息

• 可以指定也可以自动生成查询语句

• 常用参数说明：

  • --auto-generate-sql 由系统自动生成 SQL 脚本进行测试

  • --auto-generate-sql-add-autoincrement 在生成的表中增加自增ID

  • --auto-generate-sql-load-type 指定测试中使用的查询类型 (混合、读写、删除)

  • --auto-generate-sql-write-number 指定初始化数据时生成的数据量

  • --concurrency 指定并发线程的数量

  • --engine 指定要测试表的存储引擎，可以用逗号分割多个存储引擎

  • --no-drop 指定不清理测试数据

  • --iterations 指定测试运行的次数

  • --number-of-queries 指定每一个线程执行的查询数量

  • --debug-info 指定输出额外的内存及CPU统计信息

  • --number-int-cols 指定测试表中包含的 INT 类型列的数量

  • --number-char-cols 指定测试表中包含的 varchar 类型的数量

  • --create-schema 指定了用于执行测试的数据库的名字

  • --query 用户指定自定义 SQL 的脚本

  • --only-print 并不运行测试脚本，而是把生成的脚本打印出来

mysql 表中列不要太多，可以使用 --number-int-cols 和 --number-char-cols 对列的数量进行控制，得出列的数量和性能之间的关系。

sysbench

https://github.com/akopytov/sysbench

多线程基准测试工具

• 常用参数：

  • --test 用于指定所要执行的测试类型，支持以下参数

    • Fileio 文件系统 I/O 性能测试
    • cpu cpu 性能测试
    • memory 内存性能测试
    • Oltp 测试要指定具体的 lua 脚本（Lua脚本位于：sysbench-0.5/sysbench/tests/db）

  • --mysql-db 用于指定执行基准测试的数据库名

  • --mysql-table-engine 用于指定所使用的存储引擎

  • --oltp-tables-count 执行测试的表的数量

  • --oltp-table-size 指定每个表中的数据行数

  • --num-threads 指定测试的并发线程数量

  • --max-time 指定最大的测试时间

  • --report-interval 指定间隔多长时间输出一次统计信息

  • --mysql-user 指定执行测试的 mysql 用户

  • --mysql-password 指定执行测试的 mysql 用户的密码

  • prepare 用于准备测试数据

  • run 用于实际进行测试

  • cleanup 用于清理测试数据