| 以下内容已屏蔽图片优化访问速度 |
|---|
|
[IMG] 本文作者：吴炳锡 来源：[IMG]在MySQL运维，说真的这块目前涉及得比较少，也基本没什么经验，但对于InnoDB单表Insert 如果内存大于数据情况下，可以维持在10万-15万行写入。 但很多时间我们接受的项目还是数据超过内存的。 这里使用XeLabs TokuDB做一个测试。 三、XeLabs TokuDB介绍 项目地址： [IMG]内存分配； 引入更多的内置的TokuDB性能指标； 支持Xtrabackup备份； 引入ZSTD压缩算法； 支持TokuDB的binlog_group_commit特性； 四、测试表 TokuDB核心配置： [IMG] 表结构： [IMG] 利用load data写入数据： [IMG] 计算一下每秒写入速度： [IMG] 文件大小： [IMG] 实际文件8.5G，写入TokuDB大小3.5G，只是接近于一半多点的压缩量。 对于20亿数据写入，实际测试在58分钟多点就可以完成。可以满足实际需求，另外对于磁盘IO比较好的机器（SSD类盘，云上的云盘），如果内存和数据差不多情况，这量级数据量测试在Innodb里需要添加自增列，可以在3个小多一点完成。 从最佳实战上来看，Innodb和TokuDB都写入同样的数据，InnoDB需要花大概是TokuDB3-4倍时间。文件大小区别，同样20亿数据： [IMG] 文件大小在5倍大小的区别。 测试结论： 利用TokuDB在某云环境中8核8G内存，500G高速云盘环境，多次测试可以轻松实现57万每秒的写入量。 另外测试几种场景也供大家参考： 如果在TokuDB中使用带自增的主键，主键无值让MySQL内部产生写入速度，下降比较明显，同样写入2亿数据，带有自建主键： [IMG] 同样的数据写入在主键自增无值产生时，不能使用TokuDB的 Bulk loader data特性，相当于转换为了单条的Insert实现，所以效果上慢太多。 关于TokuDB Bulk Loader前提要求，这个表是空表，对于自增列，如自增列有值的情况下，也可以使用。 建议实际使用中，如果自增列有值的情况下，可以考虑去除自增属性，改成唯一索引，这样减少自增的一些处理逻辑，让TokuDB能跑地更快一点。 另外在Bulk Loader处理中为了追求更快速的写入，压缩方面并不是很好。 关于TokuDB Bulk Loader : [IMG]TokuDB版本百度云地址： [IMG]13 款高逼格且实用的 Linux 运维必备工具，拿好了 ! 漫画：HTTP 协议极简教程，傻瓜都能看懂！ 这是我见过最牛逼的Shell，619行代码！ 埋在 MYSQL 数据库应用中的17个关键问题！ 史上最全、最详细的 kafka 学习笔记！ 面试装逼系列｜这篇文章，让运维监控不再成为你的短板! ·end· —写文不易，你的转发就是对我最大的支持— [IMG] 目前40000+人已关注加入我们 [IMG] 扫码加群交流 [IMG] 喜欢,就扫码关注给它增加一个读者吧！ 点击【阅读原文】公众号所有的精华都在这里！ |