深圳全飞鸿

标题: MySQL mysqldump与source导入慢的解决方法 [打印本页]

作者: zhgc 时间: 2019-10-1 17:19
标题: MySQL mysqldump与source导入慢的解决方法
mysqldump导入慢的解决方法

MySQL导出的SQL语句在导入时有可能会非常非常慢，经历过导入仅45万条记录，竟用了近3个小时。在导出时合理使用几个参数，可以大大加快导入的速度。

-e 使用包括几个VALUES列表的多行INSERT语法;
--max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小;
--net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行。

注意：max_allowed_packet和net_buffer_length不能比目标数据库的设定数值大，否则可能出错。

首先确定目标库的参数值

mysql>show variables like 'max_allowed_packet';
mysql>show variables like 'net_buffer_length';

根据参数值书写mysqldump命令，如：

E:\eis>mysqldump -uroot -p eis_db goodclassification -e --max_allowed_packet=1048576 --net_buffer_length=16384 >good3.sql

docker exec -it master mysqldump -uroot -proot db1 -e --max_allowed_packet=4194300 --net_buffer_length=16384 > /home/zcl/dbsql/db1.sql

之前2小时才能导入的sql现在几十秒就可以完成了。

mysql中source *sql的步骤导入数据太慢了

把innodb_flush_log_at_trx_commit这个参数改为0 然后重启数据库应该比你原来速度快100倍

mysql source 命令导入大的sql

在mysql的安装目录下找到 my.ini文件加入以下代码：

代码如下

interactive_timeout = 120
wait_timeout = 120
max_allowed_packet = 32M

作者: zhgc 时间: 2019-10-4 21:48
innodb_flush_log_at_trx_commit
1）如果innodb_flush_log_at_trx_commit设置为0，log buffer将每秒一次地写入log file中，并且log file的flush(刷到磁盘)操作同时进行.该模式下，在事务提交的时候，不会主动触发写入磁盘的操作。
2）如果innodb_flush_log_at_trx_commit设置为1，每次事务提交时MySQL都会把log buffer的数据写入log file，并且flush(刷到磁盘)中去.
3）如果innodb_flush_log_at_trx_commit设置为2，每次事务提交时MySQL都会把log buffer的数据写入log file.但是flush(刷到磁盘)操作并不会同时进行。该模式下,MySQL会每秒执行一次 flush(刷到磁盘)操作。

欢迎光临深圳全飞鸿 (http://www.nagomes.com/disc/)