【障害内容】

日記データに関するファイル破損

【原因】

バックアップ処理バッチの不具合

1日に1度、バックアップの生成を行っておりますが、 数日間バックアップ生成バッチが稼働しない状態が発生すると、 過去のバックアップファイルが消えずに蓄積される設計ミスがありました。 先日の数日間にわたるサーバーダウンにより不具合が発生する条件が揃ってしまったため HDDのデータ領域が逼迫し多数のファイルが破損しました。

【復旧方法（予定）】

現状のデータを別な場所に待避しておきます。
昨日のバックアップ（2012/08/03 2:00-3:00頃生成）から正常なデータに巻き戻します。

巻き戻し後は2012年8月3日 2:00-23:00までの21時間に記入した記事が、 もし破損していなくともサイト上に掲載されない状態となってしまいますので 下記対策案のいずれかの方法で、破損がなかった記事を復元する予定です。

復元方法案(1)
障害発生時間に登録された記事をこちらで再投稿する。

復元方法案(2)
各ユーザーごとに日記データのテキストファイルを圧縮し 管理画面からダウンロードできるようにし、 そのデータを元に記事を再投稿していただく。

復元方法案(3)
障害発生時間に登録された記事をメールなどでお送りし、 そのデータを元に記事を再投稿していただく。

誠に恐れ入りますが、障害発生時に登録した記事で正常に記録されなかった場合、 いずれの方法でもその記事の復元はできませんのでご了承ください。

【今後の予定】

23:00 ログインページを停止します。
23:30 全サービスを停止します。

24:00以降
現在のデータを別な場所に待避しておきます。
正常時のバックアップファイル（2012/8/3 2:00頃取得）からデータを復元（巻き戻し）します。
巻き戻し作業完了後、サービスを再開します。

2012/08/05以降
障害発生時に記入した記事を復元するための作業を行います。

【現在の進捗状況】

8/3 23:00 ログインページを停止しました。
8/3 23:30 全サービスを停止しました。
8/4 04:00 障害発生時のデータ待避作業が完了しました。
8/4 07:30 2012/8/3 2:00頃への巻き戻しがほぼ完了しました。
8/4 09:00 障害発生時に投稿されたデータで、ある程度復元が容易なものについて復元作業中です。

【サービス再開について】

障害発生時に投稿されたデータで、ある程度復元が容易なものについて復元作業が完了しましたのでサービスを再開しました。この度は大変ご迷惑をお掛けしました。まだ復元が行われていない投稿のうち復元可能な投稿につきましてはサービス再開後の対応とさせていただきます。

　

【現在の進捗状況】

8/3 23:00 ログインページを停止しました。
8/3 23:30 全サービスを停止しました。
8/4 04:00 障害発生時のデータ待避作業が完了しました。
8/4 07:30 2012/8/3 2:00頃への巻き戻しがほぼ完了しました。
8/4 09:00 障害発生時に投稿されたデータで、ある程度復元が容易なものについて復元作業中です。
8/4 10:55 サービスを再開しました。

【復元作業完了について】

障害発生時に投稿されたデータで、データが残存していたIDについて復元作業が完了しました。なお、サービス再開後に既に投稿され更新されていたIDにつきましては上書き復元になってしまわないようメールにて投稿記事を送らせていただきました。

今回の障害発生時間帯に投稿された日記で、一番重要となる本文が記録されなかった投稿は44件確認されました。本文がサーバーに記録されなかった場合、誠に恐縮ながら復元することができませんのでご了承ください。

　

【現在の進捗状況】

8/3 23:00 ログインページを停止しました。
8/3 23:30 全サービスを停止しました。
8/4 04:00 障害発生時のデータ待避作業が完了しました。
8/4 07:30 2012/8/3 2:00頃への巻き戻しがほぼ完了しました。
8/4 09:00 障害発生時に投稿されたデータで、ある程度復元が容易なものについて復元作業中です。
8/4 10:50 復元が比較的容易な投稿の復元作業が完了しました。
8/4 10:55 サービスを再開しました。
8/5 16:40 復元可能な投稿の復元作業が完了しました。