自增主鍵沒有持久化是個比較早的 bug,這點從其在官方 bug 網站的 id 號也可看出(https://bugs.mysql.com/bug.php?id=199)。由 Peter Zaitsev(現 Percona CEO)於 2003 年提出。歷史悠久且臭名昭著。
首先,直觀的重現下。
mysql> create table t1(id int auto_increment primary key);
Query OK, 0 rows affected (0.01 sec)
mysql> insert into t1 values(null),(null),(null);
Query OK, 3 rows affected (0.01 sec)
Records: 3 Duplicates: 0 Warnings: 0
mysql> select * from t1;
+—-+
| id |
+—-+
| 1 |
| 2 |
| 3 |
+—-+
3 rows in set (0.00 sec)
mysql> delete from t1 where id=3;
Query OK, 1 row affected (0.36 sec)
mysql> insert into t1 values(null);
Query OK, 1 row affected (0.35 sec)
mysql> select * from t1;
+—-+
| id |
+—-+
| 1 |
| 2 |
| 4 |
+—-+
3 rows in set (0.01 sec)
雖然 id 為 3 的記錄刪除了,但再次插入 null 值時,並沒有重用被刪除的 3,而是分配了 4 。
刪除 id 為 4 的記錄,重啟資料庫,重新插入一個 null 值。
mysql> delete from t1 where id=4;
# service mysqld restart
mysql> insert into t1 values(null);
Query OK, 1 row affected (0.00 sec)
mysql> select * from t1;
+—-+
| id |
+—-+
| 1 |
| 2 |
| 3 |
+—-+
3 rows in set (0.00 sec)
可以看到,新插入的 null 值分配的是 3,按照重啟前的操作邏輯,此處應該分配 5 啊。
這就是自增主鍵沒有持久化的 bug 。究其原因,在於自增主鍵的分配,是由 InnoDB 資料字典內部一個計數器來決定的,而該計數器只在記憶體中維護,並不會持久化到磁碟中。當資料庫重啟時,該計數器會透過下面這種方式初始化。
SELECT MAX(ai_col) FROM table_name FOR UPDATE;
MySQL 8.0 的解決思路
將自增主鍵的計數器持久化到 redo log 中。每次計數器發生改變,都會將其寫入到 redo log 中。如果資料庫發生重啟,InnoDB 會根據 redo log 中的計數器資訊來初始化其記憶體值。為了儘量減小對系統效能的影響,計數器寫入到 redo log 中,並不會馬上重新整理。具體可參考:https://dev.mysql.com/worklog/task/?id=6204
因自增主鍵沒有持久化而出現問題的常見場景:
1. 業務將自增主鍵作為業務主鍵,同時,業務上又要求主鍵不能重複。
2. 資料會被歸檔。在歸檔的過程中有可能會產生主鍵衝突。
所以,強烈建議不要使用自增主鍵作為業務主鍵。刨除這兩個場景,其實,自增主鍵沒有持久化的問題並不是很大,遠沒有想象中的” 臭名昭著 “。
最後,給出一個歸檔場景下的站群解決方案,
建立一個儲存過程,根據 table2(歸檔表)自增主鍵的最大值來初始化 table1(線上表)。這個儲存過程可放到 init_file 引數指定的檔案中,該檔案中的 SQL 會在資料庫啟動時執行。
DELIMITER ;;
CREATE PROCEDURE `auto_increment_fromtable2`(IN table1 VARCHAR(255), IN table2 VARCHAR(255))
BEGIN
set @qry = concat(‘SELECT @max1 := (`id` + 1) FROM `’,table1,’` ORDER BY `id` DESC LIMIT 1;’);
prepare stmt from @qry;
execute stmt;
deallocate prepare stmt;
set @qry = concat(‘SELECT @max2 := (`id` + 1) FROM `’,table2,’` ORDER BY `id` DESC LIMIT 1;’);
prepare stmt from @qry;
execute stmt;
deallocate prepare stmt;
IF @max1 < @max2 THEN
set @qry = concat(‘alter table `’,table1,’` auto_increment=’,@max2);prepare stmt from @qry;execute stmt;deallocate prepare stmt;
SELECT ‘updated’ as `status`;
else
SELECT ‘no update needed’ as `status`;
END IF;
END ;;
DELIMITER ;