分块更新 MySQL 表

本教程将介绍分块更新 MySQL 表的处理方法,这篇教程是从别的地方看到的,然后加了一些国外程序员的疑问与解答,希望能对你有所帮助,好了,下面开始学习吧。

分块更新 MySQL 表 教程 第1张

问题描述

我正在尝试使用 c 更新 MySQL InnoDB 表.1 亿行.查询需要将近一个小时,这不是问题.

但是,我想将此更新拆分为更小的块,以免阻塞表访问.此更新不必是孤立的事务.

同时,更新的拆分在额外开销方面不应该太昂贵.

我考虑在使用的过程中循环遍历表格:

UPDATE TABLENAME SET NEWVAR=<expression> LIMIT batchsize, offset,

但是 UPDATE 在 MySQL 中没有偏移选项.

我知道我可以尝试更新在键上选择的数据范围以及 LIMIT 选项,但这对于这个简单的任务来说似乎相当复杂.

推荐答案

我完成了下面列出的过程.它有效,但我不确定所有查询识别连续范围是否有效.可以使用以下参数调用它(示例):

call chunkUpdate('SET var=0','someTable','theKey',500000);

基本上,第一个参数是更新命令(例如set x = ..."),后跟 mysql 表名,然后是必须唯一的数字(整数)键,然后是要处理的块的大小.键应具有合理性能的索引.下面代码中的n"变量和select"语句可以去掉,仅供调试使用.

delimiter //
CREATE PROCEDURE chunkUpdate (IN cmd VARCHAR(255), IN tab VARCHAR(255), IN ky VARCHAR(255),IN sz INT)
BEGIN
  SET @sqlgetmin = CONCAT("SELECT MIN(",ky,")-1 INTO @minkey FROM ",tab); 
  SET @sqlgetmax = CONCAT("SELECT MAX(",ky,") INTO @maxkey FROM ( SELECT ",ky," FROM ",tab," WHERE ",ky,">@minkey ORDER BY ",ky," LIMIT ",sz,") AS TMP"); 
  SET @sqlstatement = CONCAT("UPDATE ",tab," ",cmd," WHERE ",ky,">@minkey AND ",ky,"<=@maxkey");
  SET @n=1;

  PREPARE getmin from @sqlgetmin;
  PREPARE getmax from @sqlgetmax;
  PREPARE statement from @sqlstatement;

  EXECUTE getmin;

  REPEAT
 EXECUTE getmax; 
 SELECT cmd,@n AS step, @minkey AS min, @maxkey AS max;
 EXECUTE statement;
 set @minkey=@maxkey;
 set @n=@n+1;
  UNTIL @maxkey IS NULL
  END REPEAT; 
  select CONCAT(cmd, " EXECUTED IN ",@n," STEPS") AS MESSAGE;
END//

好了关于分块更新 MySQL 表的教程就到这里就结束了,希望趣模板源码网找到的这篇技术文章能帮助到大家,更多技术教程可以在站内搜索。