従業員の3分の2がクビになってもTwitterのシステムが停止せず動き続けた理由を元Twitterエンジニアが語る - GIGAZINE

91コメント 2022-11-24 19:01|GIGAZINE

イーロン・マスク氏がTwitterを買収してわずか3週間で従業員が7500人から2700人にまで激減したと報じられていま...

ツイッターのコメント(91)

凄いよね。
k8s以前のこの状態で動き続けているのすごいなあ
カッコよすぎる
「ちゃんと設計されていたので」大丈夫でした、ってことだと思う。マンホールマップも「管理者の手を煩わせずに運用できる」ことを目指して作っているので参考になる :
自動化の用語わかんないけど凄いってことは分かった。あと3分の2は別に居なくてもいい人材だったことも理解できた。
うちを担当してくれてるTwitter社の方はやめずに引き続きサポートしてくれてるよ。運用部隊はレイオフの優先度低かっただけでしょ。
この人は今回の動きで辞めた人なんだろうか……
こういうインフラの従事者は優遇してほしい。
我々のTwitterのためにっ!!
大規模システムはやっぱり面白いね~
将来考えると、ITの勉強しておいた方が良いかなあ。 外国に出稼ぎに行っても、すぐに仕事見つかるらしいし…。
は❓😧
システムが動き続けるためだけに7500人もの社員が必要だと思えることに驚きます
小生はTwitter社なら
数人の幹部
数十人のエンジニア
数十人の各国営業スタッフ
で切り盛りしていると思ってました(笑)
7500人ものスタッフって
いったい何をしていたのかしら?
検閲❓
「私はどこかにバグが潜んでいると確信しています……」
「ただし、機能しているのは少なくとも今のところだけです。私はどこかにバグが潜んでいると確信しています…」という言葉を残しています。

いや確信しないでもろて😰
しかし、困ったなぁ😥
この話だと、Twitterは機能停止がほぼ確定してそうで....

色々リンクしてるから、Twitterが吹っ飛ぶとなるとちょーっっと困った事になる。。。( ´~` ;)
5年間無事故のTwitter信頼性システムを育てたエンジニアの最後の言葉

「ただし、機能しているのは少なくとも今のところだけです。私はどこかにバグが潜んでいると確信しています……」😹
過去の遺産のおかげで現状稼働してるけど何かあったらどうなるかわからんということね…。|
そりゃ携帯電話会社だって3分の2クビになってもとりあえず動かし続けることは出来るのでは。。。
障害起きたら終わるのと、顧客獲得できないから先細りだと思うけど
中身読んでないですが、従業員1/3になったのにユーザー目線で何の不具合もないのすごいですねw
エンジニアの皆が想像している通りやはり今はデータセンターのインフラのメンテだけで凌いでいるのだろう。
やはりこのレベルのインフラ自動化はされてるよなー、流石だなーと思うものの。いやぁ、Mesos かー。んーーー。僕の認識が間違ってたら指摘してほしいんだけど、これも「最早メンテされてないソフト」なんですよね。最大の大口ユーザが Twitter 自身ということもあり得る。
自動化に自動化を重ね、パフォーマンスに関する問題に取り組み、よりよくするための技術もテストし、大規模なコスト削減プロジェクトも推進しました。〜中略〜一日中ゲームやマリファナをやりながら給料をもらっていたわけではありません」とコメント。

言いたくもなるわな
Twitterすげー!たまげたよ 
専門的なことを言うと、例えばプロセス産業のための分散型制御システム DCS みたいなもんだな‼️🌸

🇱🇷🇯🇵≪
ふわお、つらつらとツイートできてるのはこゆシステム、そいでシステムを構築したエンジニアの方のおかげなのね、感謝。
5年間で1回だけあった大規模傷害って、バルスじゃなかろうか。。。。
こういう具体的な話がもっと知りたいよね…
「テージョ氏によれば、Twitterには2つのデータセンターがあり、そこでTwitter全体の障害を処理することができるとのこと。基本的にTwitterで実行されるすべての重要なサービスは2つのうち1つのデータセンターで実行できるそうです」・・・Mesos上で動作しているそうな。
工作員とニートがクビになっただけだからね
普通の会社でからすると首が回らなくなると思うよ
全世界規模のサービスがどう運用されているかはずっと気になってますが、巧妙な自動化の一端が垣間見えますね。最後の一言も印象的。
トランプ氏潰し一致団結団の妨害なんのその
って不要従業員は何してたん?
趣味の言論封殺のための検閲?

2022.11.24


従業員 7500人→2700人
💥💥💥
ははは、通常会社の従業員が3分の2も居なくなると会社は機能しなくなるが、これらは自分たちが気に入らない者を禁止するのが仕事だったのでしょう、そしてツイッターの利益を取っていたから居なくなってもダウンはしなかった、そして会社の利益も上がった。
(続く
人間が手出しする必要のほとんどないシステムこそ強靭である、という話だと思う(´・ω・`)|
今回新体制にダントツに攻撃的なギガジン、この元Engが「いつ」働いてたかとか何も明らかにせず丸写し。CDNとして普通に運用しただけにしか見えないが。
段々と良くしていった気持ちも、それでもバクが潜んでいるという気持ちも分かるなぁ
仕事してんなあ
Twitterのインフラは強い
これだけのトラフィックあるシステムを人力でどうにかしている訳がないんだから、物理的な問題で動かなくなるとか考えにくいし。
まあそれを開発したテージョ氏が時限爆弾仕込んでいなければ、ですけど。
一目いい記事だなこれ。

我々Twitterユーザーからは見えないが、世の中のインフラはそれを維持しようと日々奮闘する「縁の下の力持ち」たちによって支えられている。

イーロン本人も分かっていることだが、決してイーロン1人のお陰でTwitterが動き続けているのではない
Twitterのサーバ運用自動化の一端が垣間見える記事
Twitter、従業員に求められる能力が結構高いのな。そりゃ遊んでた奴は切り捨てるわ。
意味がわかると怖い話やんヤメロ
よくわからんがとにかくすごいんだろうなぁ、ということだけはわかったような気がする。
3週間で、従業員を7500人→2700人まで減らしても、Twitterが動いていることにはびっくりする。

この記事にあるように、「運用の自動化」が機能しているのだとは思うが、それでもすごい。

今後ほころびが出てくるかもしれないけれども。
こういう話は面白いよ。
インフラエンジニアの鏡みたいな仕事
公開可な情報か?は確認していませんが、内部の技術情報を元とは言えエンジニアが公開するのは逆にセキュリティリスクにつながる場合があります。
🙏エンジニアの方々のお陰で快適にTwitter使わせて貰ってる訳だが。万一ダウンした時に気軽に連絡したり交流できる場所を、予め、他にも用意しておきたい。
勉強になった。

- Gigazine
Twitterインフラのキャッシュ部分ってMesosなんだ。
従業員の3分の2がクビになっても
Twitterのシステムが
停止せず動き続けた理由を
元Twitterエンジニアが語る

長い文章だが、
分かりやすい話
本当は不要な人員だった。

そんなことだろ。

-
技術的な専門的知識は全く解らないけど、不具合が生じないよう保守をし続け、システムがきちんと構築されているのはよく解りました。
さすがです。でも、最後の「今のところ」というのが怖いです…。😱
そもそもTwitterなんて全くと言って良いほど難しい機能が無いし2700人でも多い気がする。
Twitter終わるとか言っていた人出てきなさい。

Twitter最高!
すごい😆しっかり動き続けるシステムが作られてるんですね
この方のようなエンジニアは本当に大事。
この人がすごい事だけは分かったけど、人が減って大丈夫な理由ではなかった。
Twitterの運用ってすごいんだな
良い仕組みを作れていたということ。だけど、どこかにバグがひそんでいるはずで止まる可能性があると…そりゃそうでしょうねー。
まだk8sとかじゃなくて、Mesosベースのままっぽいな…
確かに、そんなに簡単にインフラをあちこち動かしてたら安定なんかするわけがない。
ひとりシスアドだ!ひとりシスアドだぞ!
日本人はTwitterを使い続けたかったら、今後はたとえ日テレがラピュタを放送しても「バルス」とかやらない方がいいんじゃないかな。

あるいは、「バルス」を分散させるために垢の最初の一文字がaの人は0秒後、bの人はX秒後…のように感覚をあけて…

従業員の3分の2がクビに
半分解雇しても
Twitter社はまわる
楽して高い給料の座布団すわる
のんびりおサボり
労働者大量雇用しすぎてた

解雇されてない
生き残りはエリートだな
超ブラック企業社会の将軍クラス
ほあ…

>“データセンター全体で障害が発生することは非常にまれで、テージョ氏が働いていた5年間で1度しか発生していないそうです。”
これでバルスに対応してるわけか。
タイムラインが素直な時系列で表示されない理由が察せられますねぇ
引用:テージョ氏が参加した当時はツールも自動化されておらず、サーバー名が書かれたスプレッドシートを手渡されて、すべて手作業で管理と運営を行っていたそうです。
>最後に「ただし、機能しているのは少なくとも今のところだけです。私はどこかにバグが潜んでいると確信しています……」という言葉を残しています。

いままさに顕在化し始めてたり?
あれぇ、ワールドカップ前に、
"Twitter、W杯中に50%の確率でオフラインになると元社員予想"というのもあったよねぇ。
突然止まって、イーロンが社員を「無能」とか叫ぶも、復旧しない、という事件が起きるんだろうな、そのうち。メンテナーを解雇する社長のあるあるパターン
<要するに、一連の修理タスクで人間の作業が必要なのは、「サーバーの物理的な修理」だけ>

障害発生時の対応も、ある程度は自動化されているのか。
“キャッシュサーバーの維持を自動化するシステムは、Twitterというサービスがダウンしてこなかった理由にもつながる” →
以前、テスト環境がなかったことで話題になったTwitterにて、また面白い話が。「テージョ氏が参加した当時はツールも自動化されておらず、サーバー名が書かれたスプレッドシートを手渡されて、すべて手作業で管理と運営を行っていたそうです」って、JTCみたいだな…
”マルチテナントクラスタで全ての処理を行うのではなく、キャッシュクラスタをアプリケーションレベルで分け、複数に分散させていたそうです”
おおキャッシュ周りの話おもろい
普段は新機能を追加しないか、運用機能がしっかりしてれば大丈夫だよ。問題はそれ以外。
社内SEのお仕事の好例
ぶっちゃけ元々のエンジニアの人数が無駄に多過ぎたんじゃねとしか…そんなに必要ないでしょ
駆け出しエンジニアorレガシーエンジニア必読。
Twitterのインフラがわかる記事。
わからない単語がなくなるまでググりましょう。
これは、チームが全員解散してしまったSREチームが如何に優秀だったかを示す証言だな。
意外と頑張ってるTwitterくん
Kubernetes に移行すればいいのに。
Twitterってこういう仕組みで動いてるのか。やっぱりこのレベルのエンジニアってすごいな…
(ฅ'ω'ฅ)
twitterで2/3の従業員が去ってもサービスが停止しない理由は
運用の自動化にあるとは素晴らしい仕組みだ
ただシステムが優秀すぎて人員が不要になることを考えると、
自動化させすぎるのも問題か?
ターミネータの世界じゃAIのスカイネットが全部管理しているし
いまラピュタ放送したら鯖落ちするのかな?w
以上
 
PR
PR