TOP > IT・テクノロジー > GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット - Publickey

GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット - Publickey

103コメント 2017-02-02 00:10 | Publickeyキャッシュ

ソースコード管理サービスを提供するGitLab.comは、1月31日23時頃(世界協定時。日本時間2月1日15時頃)、操作ミスから本番データベースのデータの大半を失い、サービスが停止するという事故を起こしました。 The incident ......

ツイッターのコメント(103)

何か過ちを犯した時はgitlabのデータ吹き飛ばした人を思い出して奮い立たせてる!!
そうしないと死ぬ
GitHubと違ってGitLabは落ちないよ!と言おうと思ったけど、過去に本番環境ふっ飛ばしてたんだな。笑う(笑えない)
たまーに読み返している
インフラや監視スクリプト作るの嫌だなぁと思った時に
@tomoeine 中の人たち、この時の障害の時みたいにコーヒー飲みながら頑張って欲しいですね☕️毎回この記事思い出します
こわすぎて笑えない
なにこれ、素人の僕でも胃がキリキリするよ
@ken_senda ぼくのリスペクトしている Yorick さんはこれです
GitLabの障害だとこれが好き。
こんな絶望的な事件あったのか…
とても興味深かった。
手に汗握る話だ…スナップショット取ってて本当によかった
@eu_central_2 こういうのでなければDB壊れても大丈夫ですよ。たぶん。。。w
@rick_3776 おお、復旧してたんだ!良かった!!!


ここに経緯が載ってるんでおヒマなときにでも是非。
@19840209 どうしても、思い出す
これまでに見たYouTubeストリーミングで一番面白かったのはGitLabが本番データベース吹っ飛ばした時のリカバリ作業配信。特に何も起きないんだけど、わりと深刻な事態なのにコーヒーとか飲みながら淡々と作業する様子を、なんとなく見入ってしまった。
本番データの故障はあったとしても、リカバリ映像をストリーミング配信する考えは日本ではないな
まぁみなさんご存知かもしれませんがGitLabは一回

本 番 D B 

落としてますからね
youtubeで生放送もしてましたよ
@MistBard 内部的にははどこもpostmortemしてると思いますけどね。まぁ、海外だと障害復旧作業をストリーミングしたところもありますけど
これだ。性格には6つのうち5つだった。
Database (removal) Specialistの仕事調べ直したら予想以上だった
@kuromu_mk @yura_yuki どうせ皆ローカルにもリポジトリ持ちますし。それに流石に再発防止はしてました
怖すぎて笑えない。
復旧できてよかった。
ファーストサーバー事件とか先日のgitlibとか強制削除系のトラブルは発生から復旧までの展開が熱いので読むのは好き。 でももう絶対やりたくない;(経験者
本当は.. 会社のチームメンバーへの注意喚起のつもりで読んでいたが.. 子どもの声とか寝たとか、妙に生活感があふれている所で、ちょっと笑った.. ( ̄m ̄〃)
@xxputaxx @HZK0606 それなんてgitlab...w
備忘録。

GitLabの障害復旧のお話。時間あるときに追ってみて、勉強したい分野。
すごいサーバーの復旧ストリーミングで配信してるの
GitLabの話これか〜
こんなんなったら普通に泣くわ...
sudoとかPostgreSQLとか昨日の授業で勉強した内容。/GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット -
@kaz160cm ダメなんじゃないでしょうか・・
ボクの話ではなくて、GitLabの話ですよ。
シャレにならん話でもあるが、教訓にもなるか
「バックアップ手段をふだんから複数用意していたはずでしたが、実際にバックアップデータを確認したところ、そのほとんどが機能していなかった」
明日は我が身なのでメモ。
たった、350GB。と、ちょっと思った。
身の毛のよだつ話だ……。
こんなの起きてたのか。/GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット
緩めのプロジェクトであるあるすぎて怖い…
“実際にバックアップデータを確認したところ殆どが機能していなかったという悲惨な現実”
→GitLabが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット
1.胃が痛くなる
2.「今日の俺はsudoしない方が良い」と判断して実践できる環境が少し羨ましくなる
3.復旧作業を実況とか、自由な世界があるんだなあと感動する
4.見返してやっぱり胃が痛くなる
操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット -  

私も本番環境でマスターとスレーブ間違えてやらかしたことあります…
DELETE文の発行は二重チェックとか、エヴァみたいに2人で同時
にキー回さなきゃ無理とか、そういう仕組みはGitですらもってないわけね。色々参考になる。

GitLab操作ミスで本番データベース喪失
プライマリーとセカンダリーは結構間違えてしまう。復旧作業をライブ公開するのは新しい。/GitLab.comが操作ミスで本番データベース喪失。
復旧がストリーミングで各自宅からライブ中継されていることに驚き
作ってる様子をストリーミングするのいい。土壇場を切り抜けるときのエンジニアのかっこよさヤバイからな。
「pg_dumpも定期的に実行されていたはずでしたが、PostgreSQLのバージョン違いによるエラーに気付かず、実行に失敗していた」 ヽ(゚∀。)ノ
「GitリポジトリとWikiに関しては影響を受けていないと報告されています」

GitLab comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット
6時間前のスナップショットがなかったらほんと致命傷だった。/GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット -
読んでる/GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット -
もっと見る (残り約53件)
 

いま話題のニュース

もっと読む
PR