mysql如何实现循环插入千万级数据

  • A+
所属分类:MySql教程

mysql如何实现循环插入千万级数据

mysql若何实现轮回插入切切级数据?

1.建表:

CREATE TABLE `mysql_genarate` (  
`id` int(11) NOT NULL AUTO_INCREMENT,  
`uuid` varchar(50) DEFAULT NULL,  
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5990001 DEFAULT CHARSET=utf8

2.创建一条条轮回插入的存储过程

调用 call insertPro(3000) ,耗时零点几秒,这个速度可以接收。

create procedure test_two1()
     begin
        declare i int default 0;       while i < 3000 do
            INSERT into mysql_genarate(uuid) VALUES(UUID());            set i = i + 1;
        end while;
    end #

应用 call test_two1(); 测试,3000条数据耗时74秒,假如是切切级数据,这个速度将无法忍耐。

所以我在网上找了一下优化的办法,发明可以拼接批量插入的sql语句,速度晋升很多;

3.优化后的存储过程

CREATE PROCEDURE insertPro(in sum INT)BEGINDECLARE count INT DEFAULT 0;DECLARE i INT DEFAULT 0;
set @exesql = concat("insert into mysql_genarate(uuid) values");
set @exedata = https://www.php.cn/"";>

接着调用 call insertPro(30000000) ;测试3000万条数据插入,成果耗时1824.203s(30分钟)。小我电脑这个速度可以了。

别的,采取java多线程同时拼接sql,每10000条提交一次的方法,在8个线程同时运行的情况下,3000万条数据插入耗时336s,1亿条数据插入耗时1087s。

相干参考:MySQL教程


以上就是mysql若何实现轮回插入切切级数据的具体内容

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: