快讯
AI学会了人类的“傲慢与偏见”,比如性别歧视
发布时间 2018-10-11 14:22 量子位 阅读 7944次
AI学会了人类的“傲慢与偏见”,比如性别歧视


亚马逊栽了个大跟头。


长期以来,这家电商巨头一直应用AI提升效率,但万万没想到的是,原本应该公平公正、没有意识的AI,也会“作死”了……


好的不学,非要学别人重男轻女、歧视女性。


而这个内部秘密,刚刚被路透社曝光于天下。


事件一出,掀起了轩然大波。


国外的网友们纷纷开始吐槽,讲述自己曾经经历过的不公平事件,以及奇葩的计算机系统等等。还有一堆网友开始分析问题原因。


亚马逊也喜提了一波嘲讽:


“可以说这个人工智能很成功,因为它模仿了亚马逊当前的招聘状态。”


一个戴有色眼镜的AI



筛简历是很多HR的核心工作之一,对于亚马逊这样的大公司来讲,不仅岗位多,投递同一个岗位的求职者可能也非常多,于是,无穷无尽的浏览简历就成了HR的日常。


而且,同一个岗位收到的简历里,总有一些达不到用人标准的、“文不对题”的简历,即使是适合的人,也会分出三六九等,有人很优秀,也有人比优秀的人更优秀。从求职者之中挑选最合适的人,也是让HR们头疼的一件事。


那能不能找一个AI,来自动帮HR们筛简历呢?


于是,作为一家电商公司,亚马逊把日常的用户给商品标星打分的功能,挪到了AI给求职者简历打分上。这样,HR们就可以美滋滋的说:“我,只看五星简历,AI快给我挑出来。”


2014年,这个项目就开始了,亚马逊的机器学习团队开始开发筛简历AI。


但是到2015年,亚马逊发现:糟了,这个AI不学好,学会了人类性别歧视那一套。


如果把投递“软件开发工程师”或者其他技术岗位的求职者简历扔给这个AI来打分,它就会给包含“女”这个关键词的简历打低星,而“男”则不受影响。


另外,如果简历上写着求职者毕业于某两所女子大学,这个AI也会给求职者降星。路透社的线人并没有说是哪两所学校。


人类能不能找到一份工作,竟然要看“AI的脸色”,作为女性求职者,凭什么让AI对我说三道四?在美国,这种涉嫌歧视的事情稍不注意就会招来一大波反对的声音,引发大负面。亚马逊赶紧修改这个AI,让它对“男”、“女”这些词保持中立。


但是,改是改不完的,今天教AI不要歧视女性,明天它会不会歧视黑人?后天它会不会歧视LGBT人群?大后天它会不会开地图炮?这些都说不准。


后来,亚马逊放弃了这个项目。


都是你们人类的锅


一个好好的AI,怎么成长过程中就自动学会了性别歧视这种坏毛病?


这得看它是“吃”什么长大的,也就是用什么数据来训练的AI。


很不幸,锅还是得亚马逊自己来背,因为这个AI“吃”的都是亚马逊自家的招聘数据,来自亚马逊过去10年来收到的简历,依据这些简历,亚马逊的AI学会了挑出男性求职者。


男性本身就多?


这些数据有什么问题呢?路透社分析,可能是因为科技行业中的大部分技术岗位都是男性在做。



△ 美国知名科技公司全球员工性别比

美国知名科技公司技术岗员工性别比


路透社整理了自2017年起这些公司公布的数据,从中可以看出,像谷歌、苹果、微软、Facebook这些公司,整体上男性占了2/3,而单独挑出技术岗位,男性比例则达到了将近4/5。


AI学会了人类的歧视


不过,数据量大小并不意味着少数数据就会被歧视,相信亚马逊的AI也不会傻到只选取简历数据中大多数人的共同特点,那样岂不是错过了少数天才?


在Hacker News和Reddit的评论区,一些更懂技术的网友把矛头对准了数据体现的亚马逊在招聘中现存的性别歧视问题。


从技术上讲,可以说这个人工智能是成功的,因为它模仿了亚马逊当前的招聘状态。


并给出了背后的逻辑。



机器学习过程不会引入任何偏差,但训练数据中存在的任何偏差都将在算法中忠实地展现出来。



也就是说,AI自己本身是一个天真无邪的“幼儿”,它不会自主的学会偏见和歧视,但如果给“幼儿”上课的“老师”亚马逊的招聘数据自身带了偏见,那么这些偏见就会“言传身教”给无辜的AI。


或者说,AI是从人类社会中,学会了人类的偏见和歧视。


我们不想让AI歧视女性,但这绝非易事,因为AI无法忽视它所学习的人类社会对女性的歧

视。这绝对是一个难题,不仅仅是技术上的难题,更是哲学层面上的难题。



AI在无意中学会人类之恶,这并不是第一次发生。


此前的微软的聊天机器人Tay,就曾经学会了人类的那些极端言论,在Twitter上咒骂女权主义者和犹太人。


而招聘AI这一次,人类的错误让AI重蹈覆辙了。


“很显然,我们没有吸取微软Tay的任何教训。”有网友评论道。



这个AI靠抓关键词?


不只是训练数据的问题。路透社的报道中还披露了亚马逊训练AI的细节。


· 开发了500个针对特定工作职能及岗位的模型。


· 训练每个模型去识别过去求职者简历中出现的近5万个关键词。


· 模型算法按照重要程度给求职者的技能进行优先级排序。


所以这个AI,很大一部分工作是在抓关键词嘛。比如它偏好的“执行”、“抓取”这种词,在男性求职者的简历中出现次数更多,也从另一个维度造成了女性候选人的劣势。


因此,这也是导致性别歧视的一个原因。甚至,还可能会给人“钻空子”的机会。


Reddit上的一名网友评论称:


“亚马逊阅读简历的AI从一开始就注定了要失败,因为任何人都可以去学习怎样写好一份简历。让我写一份医生的简历,我打赌我会比真医生写的要好。”



想一想那些“简历写作技巧”的培训,是不是都告诉你HR看一份简历只要二三十秒,简历里有某些关键词、重要数据就能吸引HR的注意?


因此,这种抓关键词的机制,就得以让很多人通过强行往简历里塞关键词,而获得更高的星级,造成了另一种不公平。


AI招聘,道阻且长


根据招聘公司CareerBuilder 2017年在美国进行的一项调查,55%的人力资源经理表示,将会在未来五年中采用AI,并将其作为日常工作中的工具。


一些“激进”或者说有大量招聘需求的公司,已经将AI应用到招聘环节中去了。比如希尔顿酒店,就在招聘的时候,会先利用聊天机器人面试,并为求职者匹配合适的岗位,之后再进入下一轮面试。


在接受采访时,希尔顿招聘副主管Sarah Smart表示,“人工智能会分析求职者的语调、眼神和回答的表情,来判断求职者是否对工作富有热情,从而来帮助我们筛选求职者。”



具体体验怎么样呢?体验过聊天机器人面试官的Japser Rey说,“和聊天机器人对话时,我不用担心自己会分神,而且机器人不会戴有色眼镜看人,相对更公平公正一些。”


相对来说,大部分公司并没有将AI放到具体的招聘决策环节之中,只是作为一个辅助工具。


百度:将AI应用到了招聘上,在今年的校园招聘中,采用AI分析简历、推荐岗位。


高盛:开发了简历分析工具,会将求职者与“最适合”的部门进行匹配。


LinkedIn:根据网站上发布的岗位消息,利用算法为雇主提供求职者的排名。


尽管人们对AI招聘并不十分待见,但却无法阻挡这样一个趋势:AI终将左右你找工作这件事。


它只会迟到,但不会缺席。

*文章为作者独立观点,不代表虎嗅网立场
本文由 量子位 授权 虎嗅网 发表,并经虎嗅网编辑。转载此文章须经作者同意,并请附上出处(虎嗅网)及本页链接。原文链接:https://www.huxiu.com/article/266267.html
据芬兰媒体报道称,该国运营商Elisa已经正式宣布商用5G网络,并且还推出了全球首个5G移动套餐,每月收费50欧元(约4...[原文链接]
据外媒报道,谷歌在印度推出了网络购物服务Google Shopping,以利用印度蓬勃发展的数字经济。谷歌表示,印度购物...[原文链接]
据外媒报道,TF InternationalSecurities分析师郭明錤最近表示,他预计亚马逊和谷歌将在2019年下半年推出与苹果...[原文链接]
36氪讯,“邦大夫”医患AI对话系统今日正式发布。据介绍,这也是国内首次推出面向中医领域的医患AI对话系统。该...[原文链接]
德邦证券CEO武晓春表示,科创板推出将为券商带来更多机遇。德邦证券正在为科创板的推出做准备工作,与政府部门...[原文链接]
每周精选查看更多 >
规格超高!中国年度创投人物大会暨创投二十年盛典在江苏相城召开
规格超高!中国年度创投人物大会暨创投二十年盛典在江苏相城召开
为期2天的大会论坛汇聚300多位业界专家和机构领袖,近千人到现场参加活动。主论坛议程围绕“回归创投本源”、“行业政策建议”、“各类投资主体作用”、“模式创新与硬科技创新”、“行业洗牌新格局”、“行业发展新机... [详细]
【希鸥专访】创客总部李建军:未来十年的创业密码就是把握消费升级和科技创新大趋势
【希鸥专访】创客总部李建军:未来十年的创业密码就是把握消费升级和科技创新大趋势
学习能力强、学习型组织的创业团队是投资机构愿意投资的团队,学习能力是打开个人天花板的唯一渠道,一个人的格局是可以不断进步的,这个钥匙就是学习,读书、参加活动、与比自己优秀的人交流学习都是很好的学习方式。... [详细]
希鸥网专访Hi维修CEO方海声:以工匠精神和精品服务打造高品质“Hi服务”
希鸥网专访Hi维修CEO方海声:以工匠精神和精品服务打造高品质“Hi服务”
前言:“对我来说创业更多的是使命感、责任、信念、热爱。当你决定开始创业时,就要准备好承受各种巨大压力与责任,当然也会有很多荣耀与喜悦,所以在创业前一定要想清楚。”... [详细]
希鸥网专访新旗互动创始人肖剑:打造超级话题红利,助力企业异军突起
希鸥网专访新旗互动创始人肖剑:打造超级话题红利,助力企业异军突起
前言:“创业是完成社会的某一项职能,如果不具备这个职能,就没有存在的价值。我们的使命是让天下没有难做的新营销,让所有的企业都拥有自己的超级话题红利,能够有机会异军突起。”... [详细]
做了两个月区块链媒体,我去了8个国家,环球旅行的梦想轻松实现
做了两个月区块链媒体,我去了8个国家,环球旅行的梦想轻松实现
我突然意识到,似乎这个游戏里根本没有输家。 互联网把人变成鬼,区块链把鬼变成人。 新加坡香格里拉大酒店的大床房,我坐在阳台的椅子上遥望远处的落日余晖,狮城美的不真实。我是昨日晚上从北京飞到这里的,白天参... [详细]