TOP > 海外ニュース > ロイター.co.jp > 焦点:アマゾンが...

焦点:アマゾンがAI採用打ち切り、「女性差別」の欠陥露呈で | ロイター

237コメント 登録日時:2018-10-11 16:14 | ロイター.co.jpキャッシュ

米アマゾン・ドット・コムが期待を込めて進めてきたAI(人工知能)を活用した人材採用システムは、女性を差別するという機械学習面の欠陥が判明し、運用を取りやめる結果になった。...

Twitterのコメント(237)

AI採用は難しいのね
予測できたニュース。

ただし「女性差別」は括弧づけ。保育士採用をAIにさせたら「男性差別」的な結果になるでしょう。

AIというワードを隠れ蓑に「差別」が助長される可能性があるということです。

#AI
教師無し学習にも欠陥
AIは教育する者の思想や趣向を裏表なく表現しちゃうという事か…
コレだ。
『履歴書に「女性」に関係する単語、例えば「女性チェス部の部長」といった経歴が記されていると評価が下がる傾向が出てきた。関係者によると、ある2つの女子大の卒業生もそれだけで評価を落とされた』
この辺の「見えない因果関係、相関関係」を丸裸にしていくのがAIと言える。

この前AmazonのAI採用が女性差別したって言って打ち切りにした件があったけど、見えない今までの女性差別が可視化されただけだしな。
お客がAIを「なにか深謀遠慮なもの」と勘違いしてくれていると、正直何かと都合が良かった

これが発表されてからは、もう開き直ってありのままをお客に語っている
後で期待値調整に難航するよりは良かろう
AIが転職エージェントを駆逐するって思っている人は読むことをおススメします。
このニュースは一つの可能性を示していると思ってて、企業内の潜在的な差別や非合理な作業を見つけ出すシステムを作れると思うんだけど。/
テクノロジー:

ギョッとした
これ採用時ではなくて採用時と採用後の有能だったかを基準にしてみたりしたらどうなのか?でもガラスの天井があるから難しいか?→
ゴールドマン・サックス(GS.N)は独自の履歴書分析システムを立ち上げ、応募者に「最もふさわしい」部門をマッチングさせようとしており
過去のよろしくない慣習が蓄積され、それが機械学習に組み込まれる。
企業間取引の非合理な優位性、製造能力による納期遅延など、商流のプロセス上の様々な問題点も組み込んでしまう可能性もあるのかも。
@frecce 百もご存じのことでしょうが《アマゾンがAI採用打ち切り、「女性差別」の欠陥露呈で》っていう記事、こういう問題もあったりして深いな、と思いました
「アルゴリズムの公平性や説明性をどうやって担保するかに向けた道のりはなお遠い」とか、まあ、克服されるんでしょうが
機械に暴かれるヒューマンの図は、わりかし愉悦しつつマガオン
教師データが悪かったのね。でなくても、人材の良し悪しって分かるまでに時間かかるし、居場所を変えると輝いたりもポンコツになったりもするので、AIにとっての正否が難しいよね。チームに合う合わない、好き嫌いの精度を上げる方が機能しそう
笑った👏
・こうした特定の項目のプログラムを修正したものの、別の差別をもたらす選別の仕組みが生まれていないという保証はない
・同社の幹部はプロジェクトの先行きに失望し、最終的に昨年初めにチームは解散
AIは原理原則を理解せず、過去から現在までの厖大な事例から最適解を見出すせいで、現実に存在する女性差別を排除出来ないという事だろう。AIは究極の現状是認に過ぎない。★
子どもは親のヤなところに似るというけれど… /
コンピューターモデルに10年間にわたって提出された履歴書のパターンを学習させたためだ。つまり技術職のほとんどが男性からの応募だったことで、システムは男性を採用するのが好ましいと認識した
道のりは遠い。が、着実に近づいてきてるはず。

> 採用担当者の主観的な意見への依存を減らすのは長年の夢だ。ただ...「アルゴリズムの公平性や説明性をどうやって担保するかに向けた道のりはなお遠い」と述べた。
もうすぐAIが採用を行っていない企業は時代遅れ感が出てくるんだろうな。もう出ているのかも。
AIの活用で、人材採用の問題を軽減できると期待してたけど、学習データそのものに偏りがあったことで、アマゾンはAI採用を打ち切った。マーケティングは人の認知や行動のバイアスを利用するけど、人事はそれが逆に足かせになる。仕組み自体の見直しが必要な難しい領域と思う。
AIによる採用選考か…実はホワイトカラーの仕事ほどAIに奪われる。その内株主の要求で「経営幹部の高額報酬が批判の的になり高額報酬不要な経営幹部(AI-CEOやAI社長等)」を導入する企業も現れるかもな。
企業の人材採用面でのAIの運用には慎重になる必要がありますね。
事実として、応募者の優劣の判別と差別は常に紙一重であることに気付かされます。データによる客観的な判断はとても魅力的ですが、公平性を担保するまでの道のりはまだ遠いようですね…
この勢いだと人種や学歴でも忖度しかねないですもんねえ。
機械による人間の選別が始まった……‼️
そもそもAIのディープラーニングって膨大な過去データから人間の気付かない、少なくとも表面的には意識していない共通点を導き出して、それを元により適した選択をするだけ。
言わば人間の直感という名の主観を機械化しただけなのでこれは当然の結果
(´・ω・`)
AIくん…w
データだけで判断しすぎる事例。経過観測と柔軟な対応・ナレッジの公開が素晴らしい。
機械学習の欠点かー、こえー……
(ロイター) - ニュースパス
Day 19,20,21
◼️今朝の気になる記事



◼️Done
・フリマアプリ/検索機能実装
評価する側の公平性はAI()に任せるとしても、履歴書の正確性とか客観性を先に何とかしたいところ。>「アルゴリズムの公平性や説明性をどうやって担保するかに向けた道のりはなお遠い」
これ、打ち切った経緯が興味深い。
修正したけど、他にも不適切なアルゴリズムがあるかもしれないから打ち切った、とある。

保守的で、まるで日本企業のような決定だと感じる。
AIを使っても公平性や説明性をどうやって担保が問題。AIにどういう学習をさせるか課題らしいです。

学習は大事
AIの議論ではよく言及されてきたけど、ついに
とはいえ、人間の認知的限界を考えると、AIの方が「公平」な可能性は結構あるが...
★近未来のAI社会を暗示? コンピュータ・モデル=データを過去に求めざるをえないとすれば、
総じて過去の女性差別や格差等あらゆる差別が反映されるのではないか。
どこぞの中華AIと同じだな・・・
内部統制しっかりできないと..多いな
勿論しっかりできているところあるが少ない、何故か謎。
こういうニュースを見ると、AIもまだまだだなぁと思う。このあたりの欠点は5年くらいあれば改善できるのかな。/
統計的に優位な母数があるなら過去の事例で女性比率が低いことに問題はないよね。女性チェス部さんには過去事例的に問題があったという事実だけなのでは?ー
ザッと読んだだけだと性別の項目がなければ防げるのかな
AIは過去のデータが男性に偏ってるから、女性は好ましくないと判断しちゃったんだとか。同じ考え方で人事採用してるオッサン企業、いっぱいありそう。
そういえばGoogleの社員が社内メールで「女性はエンジニアに向かない」自説をバラまいて、クビになったケースもありましたねー。
都合がが悪いと欠陥扱いですか?
AIだろうとモデル精度が高かろうとインプットするデータがダメで、残念な結果という典型例。
サッカー界でもデータサイエンスが徐々に注目されてるけど、絶対起きる。
全体設計に注意しないとWorth than Nothing、つまりデータ分析しない方が良い、なんてことは当然あり得る。
もっともらしい記事に見えるけど、読んでみると「え?そんなことわかってたよね。。」と失笑を誘う。
どうせなら省く側ではなくて、会社が個性を発揮したプラス加点要素のワード設定の方が現実味ありそう。
私の会社ならもちろんあれかな。
これは逆に活用できそうな。。ストレートに採用するからよくないわけで、AIで選考した結果の集団を逆に人間がもう一度評価し直せば、今回みたいな欠点の発見に繋がるのでは?
過去のデータを学習させたら自ずと女性差別を覚えてしまったということか。取りやめるくらいにコントロールできないのも興味深い。

アマゾンが進めてきたAIを活用した人材採用システムは、女性を差別するという機械学習面の欠陥が判明し、運用を取りやめる結果になった。
個人的に1番面白いなと思ったのが、AmazonのAI採用が「女性の」と言う言葉や女子大卒の名前を含む履歴書を減点したからAI採用が廃止になった記事だな。
これはシステム上の問題で技術職に男性の応募が多かったのでAIが男性を採用するのが好ましいと決めて選んだらしい。
医大の選抜もそうですが
醜婦を選ぶのが「正解」

ミテクレのいい女は奴隷戦線から早々に離脱しますから💕
今回はAmazon側から導入を取りやめたので問題ないと思うけど、実際に社会でAIが導入されれば、誰が説明責任を果たすかは重要な問題だよな
公平性をどう担保するのかは確かに難しい課題ですね。こういうリスクを恐れてまだ導入に踏み切れない会社も多そう。
AIがそう学習したということは、意図的ではないにせよ、人もこれまでそうした判断をしてきたということだろう。
機械学習を基にしたAIは今のところどう言うデータセットを持っているかに依存する。過去のデータを学習して最適解を出す仕組みなので、過去に女性が活躍したデータが統計的に少なければ必然的に女性というだけで評価は下がる。
@Pink_magenda 昔みたいに兄弟5人とか10人とか当たり前の時代だったら人なんてどうにかなっただろうけど、まそしたら違う問題がでてくるけど。
時代はAIです!て言おうおしたらこんな記事見つけた。
採用は結局はヒトでしか判断できないと強く強く思う。
@yodoakiba @InsideCHIKIRIN タイムリーなニュース
アマゾンは、取り敢えずAI採用を
中止した様で(履歴書ベース)。

今回は男女差別のシステム欠陥
だけど、もしAIで人間性や性格を
判断しようとしたら、確実に無
理でしょうね
いまある社会の写し鏡ということか。
「一方でアマゾンの先を行く企業も…ハイアビューでは履歴書で判断する比率を下げるためにビデオ面接を通じた応募者の言動や表情を分析。顧客にはユニリーバやヒルトンなどが名を連ねている」|10/11ロイター:
生物学的に全く違うものに、完全なる平等を求めることに無理があるとAIに気付かされたか…。
AIですら性差別をしてしまうとは。入試で男に下駄を履かせ女子受験生を不利にしていた大学を批判してもいられない。テクノロジーでも諸問題を解決するのが如何に難しい事なのか。
いつも感情が技術を殺す
つまり採用プロセスってのは差別的目線が入っちゃうってことだよな…
天下のamazonですら教師データに苦しむ案件を見つけた。
"…技術職のほとんどが男性からの応募だったことで…男性を採用するのが好ましいと認識…
逆に履歴書に「女性」に関係する単語…が記されていると評価が下がる傾向…"
[181011]
Amazon「採用は人工知能に任せるわ!」→人工知能「女は減点!」→運用取りやめ

医科大だけでなくAIもまた…。AIの欠陥としてるが、これがもし欠陥でないとしたら…。AIにツイートさせたら問題発言したり、知能とは人間の理想とは違う姿なのかも。
過去からしか学べないから同じ人材しか採らないよね。
Amazon、過去の悪行が暴かれてる。 /
元データが偏ってりゃそうなるか
教師データに偏りがあったら出力にも偏りが出るよねというだけの話だった。 |
《10年間にわたって提出された履歴書のパターンを学習させたためだ。つまり技術職のほとんどが男性からの応募だったことで、システムは男性を採用するのが好ましいと認識した》
残念システムやん。
AIも多数派には弱いと
AI採用に限らず、HR関連は既にこの様な点について指摘が入っているのだけど、割とその辺意識と言おうか、考えの至っていなかった人が多いというのを、このニュースに対する反応で知った。
労働関連法的に違法ケースも多いので、経営層・人事労務管理者は学習しないとマズい。
AIの限界かな。
ロジック変更されると思うけど。
これのこと
AIの機械学習って言っても所詮統計の延長線上のものなんだから、そういう結果が出てもおかしくはない。更に言うと完全な公平性って無理だよ。
「アマゾンはこうした特定の項目についてプログラムを修正したものの、別の差別をもたらす選別の仕組みが生まれていないという保証はない」

ルールベースで1から作るしかない?
差別を伴わない選別なんてあるのだろうか。。。?
何をもって女性をマイナスととらえるようになったか?の方が気になる。
管理職の比率や、同社での元々の評価基準など、AIが女性を差別するに至った理由を解析してみてほしい。
様々なヒントがある気がする。
そりゃ機械学習したら過去のバイアスは吸収するわなぁ、と思ったけど実際に起こってみないと気付かないもんだな。
AIに既存データを学習させたら、それに基づいて「エンジニアは男性」と判断するようになったと。これまでのデータがないと学習できないしねぇ。|
AIって統計を基に判断を下すのだろうけど、集団の傾向を個人にぶつけるならそれは偏見と変わらないと思う。 /
採用はスキルとカルチャーフィット。スキルはレジュメで8割分かるが、盛られないよう面接のディスカッションで確認。問題はカルチャーフィット。組織内で他メンバーとパフォーマンスを出せるかが大義。AIでスキルは見れても、カルチャーフィットは見れるの?だからこの結果?
過去のデータをもとにするAIでやったら新しい人材が導入できないやん
プログラムの意図はプログラマーの意図だというが、こういう学習型 AI の場合はどうなるんだろうな。
AIよりも人間の方が人を見る目があるって事ね
AIが参考にするのが過去10年の履歴書って、どんどん時代に合わなくならない?(^_^;)
なるほろ>アルゴリズムの公平性や説明性をどうやって担保するかに向けた道のりはなお遠い>>
Discover から共有しました
過去10年間の履歴書を読み込ませたところ、ほとんどが男性からの応募だったので男性を採用するのが好ましいと認識してしまったと。どんなデータを読み込ませるかは、まだまだ人の領域だと感じる。
女性の採用件数が少ないせいで学習データに偏りができ、男性が書かないような内容があると評価が下がってしまうと… /
学習させるデータが悪いと、悪い子になっちゃうんだねえ…
こういう取り組みは耳障り良いけど、そもそも否定的。
学習データ(過去データ)の統計からしか判断できない。狭い経験だけでものを言う人間と同じだ。トレンドを学ばない知能に、未来予測は不可能だ/
落語みたい
なるほど…
興味深い。だいぶ先にいってはるし。
AIに人間が選ばれる時代か。なんか嫌だな
新技術を用いて採用の網を広げるとともに、採用担当者の主観的な意見への依存を減らすのは採用者側の長年の夢だ。ただカーネギーメロン大学Nihar Shah氏は、課題はまだ多いと指摘。「アルゴリズムの公平性や説明性をどうやって担保するかに向けた道のりはなお遠い」と述べた。
中立と平等は違うよな。これは中立で無かったからストップして正解なんだけど、今後似たようなことがあったときに「平等でなかったから」という理由でストップするのはやめてほしい
律儀に人間の価値観引き摺ってて草↓
人材採用AIが女性差別。原因は、学習元のデータが男性優位だったため。

AIも歪む
この話、結構話題になってるけど…
「偏りのあるデータから学習させたら、偏りのある結果が出ました」
以上のものではないと思うんだけどなぁ
皆さんはもっと深いところで議論してるのかな
これ、過去の採用担当者の傾向が出ただけじゃない?統計学的手法を用いたAIなら過去の担当者の差別傾向がモロに出ても不思議ないよね。/ -
統計的差別問題 /
これはアマゾンをダシにした新興企業の宣伝だと思う↓
「一方でアマゾンの先を行く企業もある。ソルトレークシティー近...
機械学習に食わせるデータの問題。機械学習がやることは基本的に過去の再現なので。
なるほど!

AIは人間の行動を引き継ぐ

自分の組織で採用とかに関わるときには出来るだけ差別とかが無いようにしたいと思うものだけど、実際にその組織がそう出来てきたか?AIに過去の実績を学習させて、そのモデルに色々な履歴書のサンプルを渡して検証すればわかるかな
教師データに昔のデータを使えば男性社会よりになっちゃうよね。学習したAIのデータどうなるんだろ?ゼロから再学習?/
amazonの優秀なエンジニアが頑張っている間、日本は「いきなりAI」に夢中なのであった /
説明変数から性別に関する部分除外とか出来ないのかと思ったけど、そうしても女性的な傾向あると評価下がっちゃうのかな。
地獄すぎるな。
AI使った採用というのは
基礎になるデータが偏っていると
こういう事に繋がるんですね…
かといって、人間も偏りは強いし…
トライ&エラーで気長に。
機械学習はあくまでも効率化の範囲。
傑出した能力を持った女性エンジニアの事例が少ないと、女性であるというだけで「採用の必要なし」となってしまいそうではある。
||
まあ過去から学習したらそうなるか。未来を作れるのは人間の理性なのだなー。 /
「ソフトウエア開発など技術関係の職種においてシステムに性別の中立性が働かない事」「コンピューターモデルに10年間にわたって提出された履歴書のパターンを学習させたため」「技術職のほとんどが男性からの応募だったことでシステムは男性を採用するのが好ましいと認識」
AIはドラえもんのような非人間でありながら、人間のような判断を行えるものではまだない。

AIの処理の根拠となっているものが「過去のデータ」なら、これは必然かと。
これをAIの欠陥というのはAIが可哀想だ。現時点でのAIは、学習したものに沿ってでしか判断しない。つまり、これはAIではなく人間社会の欠陥が露呈したってコトなのよな。

女性差別の方向に機械学習進んじゃったらしい

AIを採用の現場に!ってちょっと流行ってるけど、学習させるデータに偏りがあると偏って学習するんだな
AIはポリコレに配慮しないから大変ね。そもそも「今まで男が多いからこれからも男を採る」っていうのは採用AIとして欠陥な気がするけど。
→効率を重視するのがAIだから、当然の帰結だよね。もっとAIにひれ伏さないとAmazonも地に堕ちるよw
過去の採用決定を教師データにしないほうがいいんじゃないかな。こういうAIの使われ方をすると未来はあまり明るくない。
過去のデータからそうなってるのか、
仕事において男女区別が必要だと考えてるのか。
その属性の母数が多いと点数で有利に働くのか。面白いなぁ。
日本でやるとリクルートとかが沢山エントリーして同じ大学同士で助け合おうとかなりそう。
これ、AIのせいにしてるけどそもそもに学習させたデータが男性優遇だったということで怒る人いそう
AIにどう学習させるかがキーや.
あとAIは創って終わりじゃないから.
データドリブンで決めるやり方は面白いから続けてほしかったな. /
AIの弱点ですね|
偏見を帯びたソースから学べば、差別もそのまま表現される。かつてのMSのAIがヘイト発言を繰り返したのも同じ理由。//
解釈がないとこうなるのは人間も一緒。⇒
"10年間にわたって提出された履歴書のパターンを学習させたためだ。つまり技術職のほとんどが男性からの応募だったことで、システムは男性を採用するのが好ましいと認識したのだ。" / "焦点:アマゾンがAI採用打ち切り、「女性差別」の…"
本来AI判断だけで採用は決まらない。結局、アマゾンがこれまで下してきた過去のパターンを繰り返しただけ。
「AI活用の採用システムは、あたかもアマゾンの仮想店舗の格付けのように、応募者を5点満点でランク付けする。…アマゾンはソフトウエア開発など技術関係の職種において、システムに性別の中立性が働かない事実を見つけ出してしまった」|
AIも、人と同じでしょうか。
学習させる内容によって、偏光性があるのかもしれません。
AI=中立 は、そう簡単ではないかも・・
中国でも、それでドタバタしたこともありましたっけ・・ 
『アマゾンがAI採用打ち切り、「女性差別」の欠陥露呈で』by
"10年間にわたって提出された履歴書のパターンを学習させたため" 人間は馬鹿なの……? /
旧来の考え方に縛られがちで、新しいことが苦手という、AIの性質が露呈した感じだなぁ。
"ソフトウエア開発など技術関係の職種において、システムに性別の中立性が働かない事実を見つけ出してしまった。これはコンピューターモデルに10年間にわたって提出された履歴書のパターンを学習させたため" / "焦点:アマゾンがAI採用…"
これはコンピューターモデルに10年間にわたって提出された履歴書のパターンを学習させたためだ。つまり技術職のほとんどが男性からの応募だったことで、システムは男性を採用するのが好ましいと認識したのだ / "焦点:アマゾンがAI採用打…"
過去から学習した結果がこれなので、ただただ悲しい。
AIは学習内容次第で悪魔に変わりますね…。 /
二値しかないその箇所をAIがそこまで重視した分析をしてしまうとは。血液型占いも得意そうだな。 /
もっと見る (残り約87件)

記事本文: 焦点:アマゾンがAI採用打ち切り、「女性差別」の欠陥露呈で | ロイター

関連記事