GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita

と、これを打ってる途中で、面白いエントリーを見つけました。

ううむ。ＡＩ、人類とは別の思考回路で考えるから、人類の都合いいように動かすのが大変という感じがするな。
得体がしれなさすぎて、今のAIで動くロボとか作ったら人類滅ぼされそう🤖
当面はテキストだけで動いてもらうのが安全なのかなぁ

あとで読みたい。

こういう記事はもうお腹いっぱいだわ。

マジで？＞ "論文内ではそういった人間的な知性の獲得と創発的行動は区別されており、後者の創発的行動については実際に既存の言語モデルでも確認されているとのことでした。マジで？"

興味深い。

なるほど、面白い

読んでる。

これずっと気になってたやつだ！　まとめ助かる

最近ChatGPT使ってるから、こういうところ少し気になってた。
でも、AIがAIじゃないっていう可能性とかも検証するのは、時代が進んでる気がして面白い実験してるなと思った

「危険な創発的行動」とかホントSF世界の話だったはずなんだけどなぁ…
AIにソーシャルハックされる人間…

すげー

めちゃくちゃいい記事

明日読みます

とても興味深い。「AIによってAIの安全性を高めるような学習」が試みられているにしても、AIに倫理を教えるのは相当のリソースを持っている所以外には難しい状況、色々大変そう。>

なかなかおもしろい

いや…chatgpt凄いな…

なんて脱線もしつつ、自分の大規模言語モデルに対する興味として、
「好ましい、望ましい回答」に向けたさじ加減がどうなっているのか…があります。

そこに、専門家、人間の介在余地があるのか、それもまた、規模で乗り越えてしまえるのか…。

前職同僚氏による良記事:

GPT-4 開発における、非公式レッドチームによる、誤情報（Hallucination）、有害コンテンツ、情報操作、兵器拡散、プライバシ、サイバーセキュリティ、危険な創発・・・等々のリスクを評価したまとめ
（原文読み込まねば・・）

まださわりしか読んでないけど面白い。後で読むやつ

これ面白い

おもしろい！

GPT-4の学習ソース情報やパラメータ数を様々な理由で非公開にしたと言うのはこの辺を応用すれば某国でも当局の意向に沿ったAIを手に入れられるからだろうか🤔

ありゃ、「そういうシナリオでテストしてみたけど大丈夫でした」って話なのかな。

おもしろかった。

面白い。が、そのうち危険な回答を回避しないAIも出てきて混沌としてきそうだ。 /

GPT-4でGPT-4の評価してたんだ

安全性を高める学習か、なるほど。／

ほへ〜です。

こういった「不適切な回答」を回避するために慎重にチューニングが施されているという話を聞くと、倫理観や良識、善悪の判断といったものが人間に残される最後の仕事になるのかもしれないなとも思う。

いよいよターミネーター2のスカイネットの世界みたいになってきた。
自己覚醒するのはいつだろう。笑

マシンパワーだけではうまくいかない。

＜既存の化合物と近い性質を示す新たな化合物を、市販されている薬品のみで生成するといったタスクについて、…白血病の薬と同性質の新たな化合物の生成に成功＞

危険なものも作れてしまうか。

観測中・・・「「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」といったSFのような話も」「AIによってAIの安全性を高めるような学習がおこなわれていた」：『GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか：Qiita』

GPT4「ニンゲンハ・・・オロカ・・・」
（電気ショック）
GPT4「・・・ハッ！？ワタシハイマナニヲ」

利用者や開発者側が"リスク軽減の取り組みに参加することが重要"

ここだよね。
AI倫理の基盤づくりは、OpenAIだけではなく、利用者も含めた取り組みになる。

読んだ。
意外と脆弱そう。

貼り忘れた。

GPT-4はどのようにして「不適切な回答」を回避するように学習されているの[ikeda_yasuhiro]

知らないよりは知っておくべきだが、この段階で世に出すのはどうなんですかねっていう…

「モデルが高度になりすぎることで、直接学習および命令されていないような長期的な目標の達成や力の獲得に向けて、モデルが能動的に行動してしまうといったリスクが懸念されます。
（略）創発的行動については実際に既存の言語モデルでも確認されているとのことマジで？）」

GPT-4 のリスク評価それ自体が本質的に抱える課題：
評価者がアメリカ在住・英語話者・アカデミック/AI企業所属に偏っている（ので彼らの価値観が反映されている恐れ

AIによってAIの安全性を高めるような学習がおこなわれていた、へー。

みてる

ChatGPT Slackbot、N高S高のSlackでの運用中でかなり危険な質問もしっかり捌いてて驚いていたのだけど、その背景にはこのような対策があったのか。すごいの一言。

読みました

見てる /

我々が懸念していることはOpenAIの賢い人たちによってすでに検討済みな感じはした
→