Amazon Aurora MySQLのSystem Databaseが破損していたので、AWSのサポートに直してもらった話

はじめに

イタンジのエンジニアリングマネージャーの田渕です。

イタンジで採用を検討しているDebeziumという技術では、(使い方によっては)MySQLのSystem Databaseの一つであるmysql.hostテーブルというテーブルにアクセスする必要があります。
先日、その検証をAmazon Aurora MySQLのとあるインスタンス上で行っていたところ、そのインスタンスのmysql.hostテーブルが破損していることが判明しました。
いろいろ試しましたが、自力では復旧することが不可能であり、最終的にはサポートの方に直していただきました。

めったに無いことかとは思いますが、同様の現象に陥った方の助けになればと思い、詳細を書いていきます。

現象

SHOW TABLESをした結果には、mysql.hostテーブルが存在しますが、SHOW CREATE TABLEをすると、テーブルが見つからない旨のエラーが発生しました。

mysql> SHOW TABLES FROM mysql LIKE 'host';

+------------------------+
| Tables_in_mysql (host) |
+------------------------+
| host                   |
+------------------------+
1 row in set (0.00 sec)

mysql> SHOW CREATE TABLE mysql.host;

ERROR 1146 (42S02): Table 'mysql.host' doesn't exist

mysqlcheckコマンドやREPAIR TABLE文でも、テーブルが見つからない旨のエラーが発生しました。

# mysqlcheck --databases mysql --tables host -p
Enter password:
mysql.host
Error    : Table 'mysql.host' doesn't exist
status   : Operation failed

mysql> REPAIR TABLE mysql.host;
+------------+--------+----------+----------------------------------+
| Table      | Op     | Msg_type | Msg_text                         |
+------------+--------+----------+----------------------------------+
| mysql.host | repair | Error    | Table 'mysql.host' doesn't exist |
| mysql.host | repair | status   | Operation failed                 |
+------------+--------+----------+----------------------------------+
2 rows in set (0.00 sec)