TOP > ネタ・話題 > OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

OpenAIはGPT-3の次の研究を始めています. 世間がGPT-3のデモに湧き上がる中,OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました. Scaling Lawを一言...

ツイッターのコメント(24)

パワみある | “理論値にギリギリ到達していないのは収束前に予算の5億円を使い果たしたから”
あったわ
身も蓋もなさすぎる
これはヤバイ(良いほうの意味で)
Scaling Lawの有効範囲には上限がない。つまり、理論上は3つの変数を上げ続ければTransformerの性能は無限に上がり続けることを意味します。。
TLに流れてきたやつ

まぁ、なんというか

知 っ て た

(あんまり話題にならない理由もみんなそう思ったからだろうね)
「第一の論文が明らかにした法則はとてもシンプルです.Transformer に従うというものです.」すごい発見だ
更なる検証が必要だが、もし本当ならこれはすごいインサイトだ: "Transformer に従う" / OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ -
機械知性あるいは予測モデルとかの
"性能はパラメータ数N・データセットサイズD・計算予算Cを変数としたシンプルなべき乗則 に従う"
つまり予算を増やせば増やすほど、青天井でその性能は伸びる、とのOpenAIによる見解。
マジか…AGI見えてきたか?⇒"Transformer の性能はパラメータ数N・データセットサイズD・計算予算Cを変数としたシンプルなべき乗則に従う" / OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
>Scaling Lawの有効範囲には上限がない可能性.つまり,理論上は3つの変数を上げ続ければTransformerの性能は無限に上がり続ける
>Scaling Lawが(テキストだけでなく)あらゆるドメインに適用される可能性
明日、機械学習エンジニアに詳細を聞いてみようっと・・・
上限がない可能性は逆に沼だな。人間なら第一に目を信用するとして、5感に近いモデルが出来た時にどれを選択すれば良いかわからんもんな。
ここで言う"性能"と汎化性能の関係性を知りたい。デカいモデルはデカいデータと計算量を投入しないと過学習しそうに思えるけど、こういう界隈では汎化性能はどう測ってるんだろう?
このblog記事にも「議論の余地がある」とは書かれているが、これはシンギュラリティ(笑)よりAIが仕事を奪う(これはあまり笑い事じゃない)よりも相当深刻な事態なのでは。資本主義にAIは早かったんや。
Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです.
"Transformer に従うというものです.例えば,他の2変数がボトルネックにならない場合"
面白い♬ そして早くもGPT-4なんや。凄いな。
"Scaling Lawが働くなら多くの問題がどれだけお金を払えるかという問題に変わります"

富豪が最強のデータサイエンティストだったとは。
お、結構すごいこと書いてあるけど…つまり、国家人口・言語人口・宗教人口・お財布が大きいほど、AIが伸びるって理解でいいのかな。完全なるお財布ウォーズの臭いがしつつある。
“Scaling Lawが働くなら多くの問題がどれだけお金を払えるかという問題に変わります.”

なかなかツライ世界。こうなると1つのモデルを作るのに 15億突っ込んでる OpenAI に勝てるところとか限られる…
この辺りもっと理解したい!
議論の余地はあるとはいえ,かなり凄いことが書かれてます
・Transformerの性能はたった3つの変数のべき乗則に支配される
・理論上,3つの変数を上げ続ければTransformerの性能は無限に上昇
・Transformerを利用する多くの分野が「お金をどれだけ払えるか?」の問題になる可能性
"OpenAIが5億円の開発費 (人件費を含めば15億円) を投じて1750億パラメータのGTP-3の作成に着手した動機"
以上
 

いま話題のニュース

もっと読む
PR