TOP > IT・テクノロジー > PayPay“100億円祭”の裏側で何があったのか システム障害と苦闘したエンジニア (1/2) - ITmedia NEWS

PayPay“100億円祭”の裏側で何があったのか システム障害と苦闘したエンジニア (1/2) - ITmedia NEWS

98コメント 登録日時:2019-06-17 08:24 | ITmediaキャッシュ

PayPayで昨年12月に展開した「100億円あげちゃうキャンペーン」。その間、ユーザー数の増加に伴い、PayPayのシステムは不安定な状態に。押し寄せる膨大なアクセスに、PayPayのエンジニアはどのように対応したのか。 (1/2)...

Twitterのコメント(98)

PayPay AWSでインフラ構築してるんだ。。。

前回システム障害の原因は「外部連携サービスでトランザクションが滞留し、付随サービスが前段」

>
これを見る限り、paypayのシステム障害は、ヤフー側のシステム(クレカの情報を保存する)起点のものだったかなーなんて推測できる。確かに一から作り直すってなったら、しんどいよなぁ。
これと似たようなことなのかな。
なるほど。PayPay本体はAWS+Kubernetesなマイクロサービスアーキテクチャでスケールできるけど、Yahoo側がスケールできないと。
これを思い出した
@Cnodaj てか、今年のAWS summit Tokyoで、PayPayの中の人語ってたわ。
関係ないけど○○Pay、大体ユーザーの増加に耐えられなかったことが起因の障害とか不具合とやらがあったよな
サービス終了の 7pay が注目されがちけど、サービス開始3ヶ月前に開発を始めたと公言する PayPay の酷さも似たり寄ったり。特定の会社の問題というよりは、仕様や設計、テストをおろそかにする日本の文化的問題だよね。
7Payのガバガバ具合で盛り上がってますが、ここでPayPayの超絶開発を見てみましょう。
>アジャイル開発のように、できるところから開発して、リスク分析は後回しにした結果のトラブル。テヘペロで済むシステムならいいが、公共インフラシステムでは許されない仕様不備
paypay
100億の裏側
オンプレじゃないんだ/
リアリティのある裏話ですね~

今をときめくサービスの直近の裏話を聞けるのは楽しいですね◎

システム障害と苦闘したエンジニア
連携サービスで詰まるのがマイクロサービス時代らしい。にしてもトラヒック制御のためとは言え、ほいほいアプリのI/Fを変えて、お客さんが激怒したりしなかったんだろうか。
あれ、PayPayのシステムってインドの会社が作ってるんじゃなかったの?
外部連携サービスでトランザクションが滞留し全断
SES上限超え
Redis のBigkeys
Signupが大すぎて500円付与が遅延
勢いがあるとはこういうことやな。
開発期間3カ月。ソフトバンク系なら、よくある「あるある」だな。
reading:
華々しいキャンペーンの裏では、
沢山のエンジニアさん達が戦っていたんですね…><
現場大混乱だし、普通のエンジニアだったら逃げ出したい環境と思うけど、スピード命で70点のサービスをリリースさせる、ってのは世界で戦うためには必要と思う /
第二弾のときはアクセス自体もそこまで集中しなかったのでは。 /
「昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。」
こーゆー環境では働きたくないね…
地獄そう 「昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった」
あれは3ヶ月で作って表に出したのか!それを知ると、ローンチ当初のトラブルも、あのくらいで収められたのは偉業だと思う。スピード優先でMVP振り切ったんだな。すごいチーム👏


「PayPayは、昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。」
日々キャンペーンの対応に追われそう /
”PayPayは、昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。開発期間が短いことから、個々の機能を独立したサービスとして開発”
あれだけの規模のシステムを3ヶ月で組むとか、えげつないな。超優秀なエンジニア集団。 /
開発期間短いなかでやってたのか…。
PayPay“100億円祭”裏側のエンジニア話

性能周りのトラブルが出たと
書いてあるけど凄いのが
AWS側の処理遅延は発生してないのか
ヤフーの設備でも処理過負荷となったのに

どんだけの規模なんだAWS
ワッ〜
“昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。 ”
なつかしいなぁー、大量のトランザクション。あれは2012年だったと思う。イベント対応でシステムがダウンし、何度も何度もリベンジの性能試験。どうにかしないといけないという状況とお客様に迷惑をかけれないの一心だった。だからよくわかる!
中の人達は凄いと思うけど「作ってね♡」という無茶振りの人達って…とか、Paytmとの提携は何だったのかとか、ソフトバンクやヤフーの規模がバックにいるサービスなのに自前じゃなくて AWSなの?とか思わなくもないです。
なかのひと、いろいろ大変だよね。
システムのデザインや動線がどれだけ重要かを改めて思い知らされる
あと、トラブルが起きた時の対処
原因を特定できる様な仕組み作り

これからウェブサービスを作っていく上でめっちゃ勉強なる
あのなー、「予測出来ない」とか言ってるけどヤフーとソフトバンクはあれだけビッグデータがどうとかずっとほざいてるのに予測出来ないわけが…あれ? /
“昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。”
武勇伝と見るか、オールドファッションと見るか。開発も祭りかー→
"開発期間が短いことから……「マイクロサービスアーキテクチャ」の手法を採用"シンプルな構成のほうが良かった気もするけどそうでもないのかな /
読んでる。
ライターが片渕だった(高校生クイズの同期です)
“PayPayは、昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。” /
3ヶ月で作ったシステムに決済の安全性は担保されてるのかなと興味あり
3ヶ月でサービス立ち上げ、その2ヶ月後に修羅場をくぐりぬけ、次のキャンペーンは反省を活かして乗り切るってすごい成長ですね。エンジニアチームは。
”PayPayは、昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。”

約3カ月前・・・
提携したインドのpaytmを下敷きにしてるだろうとはいえ早すぎ
なるほど、決済システムは Yahoo に依存してたのか。爆速リリースの理由がわかった。
3ヶ月でつくったんか。。
なんて楽しそうな
対応したエンジニアもきっとウヒョーヤベーとかいいながら楽しそうに実装してたに違いない笑
「PayPayは、昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった」
インドのPaytmの基盤があったからだろうと思うけど、あのシステム、あのトランザクションを3ヶ月でAWS上に構築って、凄すぎてエンプラ系SIer消滅しちゃう。
同じシステム屋として、
【大変だったろうなぁ】と、
思う

うちも、金足農が寄付金募った時は、
【バカバカバカ、パンクするパンクする、システム障害起きる!やめて!】
って、ドキドキしたわ、、、
身の回りでシステムの障害があると、いつも中の人を想像して自分の胃がダメージを負う
オンプレミスな箇所は、AWSと比べてどうしても増強や改修に時間がかかってしまいますね。 / NEWS)
決済システムはあれこれ運用してきたのですげーよくわかる:
プロジェクトXっぽさがある
元システム屋としては100億円の裏側は想像するのも恐ろしい結果になっていたと思っていたけどやはり想像を絶するものでしたね。ビジネスマンが考えるマーケティング要件で決まるシス...
ざっと読んだ感じ、PayPay側はさばけたけどデータを渡す相手がさばけなかったってことでいいのかしら。 /
エンジニアの対応もだけどマーケ担当の影響予測、情報共有の仕方も知りたい。社外システムもね。
100億でみんな使うのわかるからな。(わざとダウンさせてメディア焚き付けか?)
3ヶ月で作ったの…… 何人ぐらい関わってるんだろう|
paypay開発期間3ヶ月なのすごいな
「PayPayは、昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。」この一文だけでぞっとする……エンジニアの皆様本当におつかれさまでした……→
未曾有のアクセス案件。システム連携あると気つかうしテスト面倒だしいろいろある。
場数踏んでても負荷の見積ほど難儀なものはないわ /
こういった大規模マーケティングを実施する場合は、これまでにない課題に直面する事も多い中、初回、2回目と決済という間違いが許されないシステムで実施を決断されたのは純粋に凄いなぁと思います。

そしてエンジニ...
すごいなー。3ヶ月でこんなクリティカルなシステム開発できるんだ。
セキュリティ対策の件は話してなかったみたいですね。こちらも苦闘されたと思いますが…
相も変わらず馬鹿な経営(判断)を現場の苦闘で糊塗する日本万歳。第二弾なんていらんし。→
は?え? 3ヶ月て何??
外部連携まわりで詰まってたのか
エンジニアの闇...(°m°;)
「決済情報を参照するために「ヤフーのシステムにリクエストを送るようにしているが、(その部分の処理が)詰まってしまい、他の部分にも影響が出た」」
アプリのデザイン変更も負荷対策だったと思うと涙ぐましい努力だな()
開発期間3ヶ月というところに驚き
エンジニアの方々には、素直にお疲れ様と言いたいけど、このスケジュールを立てた人たちには怒りの感情を共感するなw
>PayPayは、昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。

え、マジで???
開発期間3ヶ月… /
"キャンペーン" の裏側の話…
「PayPayは、昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。」
開発期間が極端に短いことは全く称賛に値しない。そんなサービス、恐くて使えるかよ。

『 システム障害と苦闘したエンジニア』
決済とかでキャンペーンしてバズったらまじで大変そう |
問題が出てた理由納得。決済アプリを3ヶ月で作り切るってすごいな
「PayPayは、昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった。」 ってマジか。実現した人たちは素直にすごいけど、あれを3ヶ月でやれって上から強制される職場はちょっと転職候補にはしたくないな。。。
開発期間が短いからマイクロサービスっていうのは同意しかねるけど、たしかにサービス分けて人増やせば進捗するんだよな
3ヶ月でよくローンチまで持っていったなぁ・・・
3ヶ月とか正気じゃない
PayPayがどうのこうのっていう話より、自分は裏側の話が好き。
> PayPayは、昨年10月にローンチしたが、開発を始めたのは約3カ月前の7月だった

たったの3ヶ月…!!!?( •̀ㅁ•́;)
そもそもお金を扱うシステムを3か月という急ピッチで作らないといけない事態に疑問を感じる。
慎重、余裕、確認という文化がヤフーにはないのではないか。
お金を扱うのに相応しい文化なのだろうか。
見てる:
恐らく相当規模のリクエスト(通信)があったかと思われます。あの程度の障害でおさまったのも対策もクラウドによるサーバー即時増強か高負荷機能の一時停止しかなかったんだろうと思います。
予想の範囲内といったところか。現場は大変だったろうけど。寧ろこれくらいであればとか思ってしまう
「ユーザー側のアプリ画面のデザインも急きょ変更。外部決済システムからクレジットカードなどの決済情報を参照する回数を少なくて済むようにしたという」
3ヶ月でリリースとか、一流はやっぱスゲぇわ
立ち上げのところ読んだだけで、もう涙が。。。(>_<)>
めっちゃ大変だっただろうな…。
電子マネーを3ヶ月本番稼働させてって言われちゃう時代(;´Д`)
なかなか常軌を逸してるw
後で読むための自分用メモとして。
以上

記事本文: PayPay“100億円祭”の裏側で何があったのか システム障害と苦闘したエンジニア (1/2) - ITmedia NEWS

関連記事