好奇心日报

好奇驱动你的世界

打开
文化
  • 人工智能
  • 亚马逊

亚马逊弃用了一个给简历评分的 AI 工具,它故意不招女性

跟人类学的啊

路透社近日披露,亚马逊在去年弃用了一个筛简历的 AI 工具——它好像发展出了性别歧视倾向,直接通过关键词筛掉了一堆女应聘者。

信源告诉路透社,亚马逊从 2014 年起就开始开发这个用于评价简历的程序,它会给所有简历按 1-5 星打分(就像在亚马逊上给货品评分一样)。

“每个人都想要圣杯,” 一个信源说道,“他们真的就想把这个软件发展成那样的引擎,给它 100 个简历,它立马给你排出最优秀的 5 个,我们直接雇佣他们就好了。”

可是,这个程序被人类投喂的训练资料是过去 10 年亚马逊收到的简历。它在回顾这些简历后挑选出 5 万个关键词用作评判标准,学习到的是人类 HR 招人的模式。

该模式显然有不完善之处。在这个本来就由男性主导的科技界,招聘中有话语权的人因为种种原因更乐意招入男性。这也告诉了系统,具有男性特质的简历总会是公司青睐的选择,因而它耿直地把带有“女子的”(women’s)名词降权(比如“女子象棋俱乐部”),直接筛掉两所女校的毕业生,并且倾向使用“男性化”用语的简历,比如“执行”(executed)和“捕捉”(captured)。

工程师们在一年后发现了这个问题,立刻修改了程序,期望它在某些问题的判断上对所有人都持中立”态度。然而这并不能保证软件不会在其他地方、以别的形式歧视某个人群。而且亚马逊还发现,软件有时会留下根本不达标的候选人,智能比较有限。他们最终在去年年初放弃了这个工具,因为高层对它的表现失去了信心。

有越来越多的公司开始使用 AI 软件筛第一轮简历,据悉有 55% 的美国人力资源经理说 AI 会在 5 年内成为他们日常工作的助手。这个案例可能会给予他们一些启示——机器从人类给予的材料中习得他们潜意识中的偏见,最终在“算法偏见”的影响下区别对待被评判的对象,做出错误判断或显示错误结果。

这种机器偏见跨越各个领域:一个叫做 COMPAS 的系统通过计算罪犯再次犯罪的可能来给罪犯量刑提供指导,但是它的结果明显表现了种族倾向,当一个白人犯罪老手和黑人新手同天被录入系统时,机器认为黑人更可能在未来犯罪(两年后,白人因抢劫罪被判刑 8 年,黑人未受任何指控);今年 2 月,MIT 发现三大性别识别 AI(分别来自 IBM、微软和旷视)判断白人男性的准确率达到 99%,对黑人女性的准确率是 35%,因为在它们接受的识图训练里,白人男性数量远远超过黑人女性。

深度学习公司 MetaMind Richard Socher 曾指出,AI 已经渗透了我们的生活,所以它们不带任何偏见是至关重要的,没人有意将系统设计得具有偏见,但是“如果用糟糕的数据去训练它,它就会做出糟糕的判断”。

令专家们感到担忧的是,虽然有越来越多的系统显出了偏见,但是很多公司和政府决策者,要么过于相信系统,要么对限制这种偏见并不感兴趣。

题图来自 Pexels

  • 人工智能
  • 亚马逊