墨穗app.notebase.cn
控制台
内容库
动态
管理
账户
U
用户
--
在线
v1.0.165 · 墨穗笔记
笔记

Notebase墨穗
静水流深,落墨成穗。

0笔记
0工具
30推荐

分类导航

按主题直达

编辑精选

站内用户贡献 · 真实笔记

最新收录

每日更新
继续浏览全部内容 →

笔记

0
加载中...

工具

0

此页用于记录用户反馈问题后的每一次改进

关于

笔记用法

“写笔记”支持四种格式——Word 文档、Excel 表格、Markdown、纯文本,起稿或二次编辑时都能随时切换,同一篇笔记想用哪种形态来记,都由你说了算。

md、txt、csv、json 这类纯文本则原样载入,不做多余加工。拿一张现成的表倒进来、改几笔、再导出去,等于白用一台免费的格式转换器。

要带走就在右上角点“下载”,可导出 PDF、Word、Markdown、Excel、TXT 等格式;列表卡片“⋯”菜单里,也有同样的下载入口。

工具用法

在“工具”页点“+ 上传工具”即可发布:填好名称与链接,再用 Markdown 把使用方法写清楚——能解决什么问题、怎么装、怎么用,比堆介绍实在。

要分发安装包就一并上传压缩包(ZIP、RAR、7Z、TAR.GZ,最大 35MB),别人在详情页一键下载;只放链接不带附件也可以。

工具按大家的收藏热度排序,好用的自然会被顶上来。发布后可在详情页或卡片菜单里编辑、下架。

隐藏笔记

写笔记时勾上“隐藏”,这篇就只存在于你自己的账号里:不进列表、不进搜索、不上首页精选,也不会出现在任何公开的页面,链接发给别人同样打不开。

适合放密码、草稿、日记这类只给自己看的内容;想公开,去“发布”打开它,把“隐藏”的勾去掉再保存,之后编辑会默认保持原状态,不会悄悄变回公开。

不想公开、只想临时给人看:点“分享”生成一条带密码和有效期的链接,到期自动失效,你也能随时撤销。

数据安全

你的内容会同时保存在多个副本上,系统定期做备份与完整性校验,再配合异地容灾机制:就算某台机器出问题,数据也不会丢,可以长期放心存放;特别重要的资料,仍建议你另外再留一份备份。

技术

全站跑在容器化、模块化的现代架构上,更新、部署、回滚都很快,扩展性和稳定性都按长期运营的标准来设计(Built for reliability, designed to scale)。

理念

这个网站最早只是一个人的笔记仓库,后来慢慢长成现在的知识中枢。设计上很克制——没有广告、没有追踪、没有推荐算法,只是干干净净地存放一些东西;既然做好了,就公开出来,万一有人用得上呢。

原则

不做大而全,不做平台梦,保持简单、保持克制、保持好奇。所有内容都由用户贡献、由用户维护:不会突然冒出付费墙,不会在角落塞广告位,也不会把你的数据卖给第三方。

更多

产品会持续迭代,站内日志页记录着每一次改动,改了什么都有迹可循;想了解这个站是怎么一步步走到今天的,翻翻日志就能看到来龙去脉。

举报

如果在这里看到涉嫌违规的内容,点对应卡片右侧的“举报”按钮就能提交,我们会尽快核实处理;也谢谢你花一点时间,一起把这里维护干净。

趋势

// 点击导航加载发现
归档
// 归档为空
最近浏览
// 暂无浏览记录
发布
// 加载中...
用户发布
// 加载中...
用户管理
// 加载中...
访问统计
// 加载中...
内容审核
// 加载中...
个人信息
// 加载中...
返回首页

40G 的 mysqldump 导回去跑了一整夜:关 binlog 快三倍

2026-09-02数据库

从生产库导了个 40G 的 mysqldump 备份,要导进一台新开的数据分析实例,结果一条 mysql < dump.sql 跑了一整夜没导完,早上看才走三分之一。把提速的办法挨个试了一遍,最后快了不止三倍。记录一下,免得下次重新趟。

环境:源库 MySQL 5.7,dump 文件未压缩 40G,是 mysqldump --single-transaction --set-gtid-purged=OFF 导出来的,目标实例是 8.0,8 核 32G,普通 SSD。一开始就是最朴素的:

mysql -uroot -p < /data/backup/full_20260901.sql

慢在哪?逐个拆。最大的拖累是目标实例开着 binlog:每导一条 INSERT,MySQL 都要再写一份 binlog,等于写入放大一倍,还拖慢每次提交。既然是新库,还没接从库,直接不让它写 binlog 最省事。mysqldump 文件里其实可以塞一句让整个导入会话关掉 binlog:

SET SESSION sql_log_bin = 0;

但这条要 SUPER 权限,普通导入账号没权限会直接报错。我后来给导入用的账号先授权再跑。如果图省事也可以临时把实例的 log_bin 关掉重启,但新实例重启一次成本不高,看情况。

第二是提交方式。mysqldump 默认用 extended insert,一条 INSERT 带几百行 VALUES,理论上已经比逐行 insert 高效,但 autocommit 还是默认的每条一提交——除非 dump 文件头里带了 SET autocommit=0 并在文件尾部统一 commit。InnoDB 每提交一次都要刷 redo,几千条语句就刷几千次。确认一下文件头有没有这几行,没有就手动在文件最前面补上:

SET FOREIGN_KEY_CHECKS=0;
SET UNIQUE_CHECKS=0;
SET SESSION sql_log_bin=0;

FOREIGN_KEY_CHECKS 和 UNIQUE_CHECKS 关掉,导入时省掉外键检查和唯一索引的逐行校验,能快不少。外键这个如果是 dump 全库、表之间有外键,文件里其实已经带了这些 SET,缺的话补上。

第三是临时把双一刷盘关掉。innodb_flush_log_at_trx_commit 默认 1,每次提交都 fsync 一次 redo log,对导入这种一次性操作纯属浪费,改成 0 或 2,让 redo 由后台刷:

SET GLOBAL innodb_flush_log_at_trx_commit = 0;

binlog 已经关了,sync_binlog 不用管。这几个组合下来,导入速度从每小时大概 6G 提到每小时 20G 上下,一整夜能跑完。导完记得把 innodb_flush_log_at_trx_commit 改回 1,新库接从库前把 binlog 也重新打开。

后来又试了更彻底的路子:用 mydumper 按表导出、myloader 并行导入,8 个线程同时跑,40G 大概两小时出头,比单线程 mysql 快一个量级。以后再做这种整库迁移,我会直接用 mydumper,不再拿 mysqldump 的单线程文件硬刚。

中间还踩了个小坑:导到一半报

ERROR 1062 (23000): Duplicate entry 'xxx' for key 'PRIMARY'

是之前失败重跑没清干净,目标库里留着半截数据。所以导入前先 drop database 重建,确保目标库是空的再开始。另一个是 max_allowed_packet,extended insert 单条太大超过默认值会报 packet 超限,源和目标都要调大:

SET GLOBAL max_allowed_packet = 1073741824;

进度和结果校验也值得记。40G 单线程导入没有任何输出,全靠猜,我后来用 pv 包一层看实时速率:

pv /data/backup/full_20260901.sql | mysql -uroot -p

至少知道它没卡死。导完别急着收工,抽几张核心表比对行数:目标库 select count(*) 和源库 information_schema.tables 里的行数对一下,当时有两张表因为外键处理顺序少导了一部分,靠行数比对才抓出来。mysqldump 导出的文件默认带 CREATE TABLE IF NOT EXISTS,表存在不会报错,但数据会重复插,所以导入前把目标库清干净最稳,宁可慢几分钟 drop 重建也别在脏库上叠。

大意了,这些基础项折腾了半宿,这次全记下来,下次直接照着清单来。

相似推荐
在 GitHub Pages 上托管 SQLite 数据库:让静态网站拥有真正的查询能力Apple 开源 FoundationDB:分布式数据库的基石与未来手机号查询没加引号,2000 万行全表扫binlog 把数据盘写满,MySQL 写不进去了怎么救从库延迟 16 个小时追不上:大事务和并行复制热点 key 过期把 DB 打爆,代码里怎么防击穿
编写使用方法
Markdown 格式 · Ctrl+Enter 确定
0 字新建笔记
欢迎回来
登录你的墨穗笔记账户
忘记密码?
还没有账户?立即注册
创建账户
注册你的专属墨穗笔记
已有账户?去登录
找回密码
输入注册邮箱获取验证码
返回登录
请输入图片中的验证码以继续注册
加载中...
取消
新建收藏
手动添加你喜欢的内容
取消
编辑头像与昵称
上传新头像或修改你的显示昵称
支持 JPG/PNG,最大 2MB
取消

问题反馈

隐私提醒

取消
编辑工具
受控分享
为这篇笔记生成限时 / 带密码的临时链接
关闭