@ 2022.05.14 , 12:46
24

儿童保育福利事件:AI导致荷兰内阁辞职

世界上首起AI导致政府辞职的事件:2021年1月发生在荷兰。时任内阁因所谓的 kinderopvangtoeslagaffaire(儿童保育福利事件)而辞职。

当荷兰家庭寻求申请政府托儿津贴时,他们需要向荷兰税务机关提出申请。申请需要自学习算法审核,该算法最初于 2013 年部署。在税务机关的工作流程中,算法首先审查索赔是否存在欺诈迹象,然后人类将仔细审查那些它标记为高风险的申请。

实际上,机器学习算法发展出将补贴申请错误地标记为欺诈的模式。因此,多年来,税务机关毫无根据地命令成千上万的家庭退回津贴,将许多家庭推入沉重的债务中。

对AI的“尸检”显示出偏见的证据。许多受害者的收入较低,而且不成比例的人为​​少数族裔或移民背景。

“当产生不同的影响时,需要围绕这个进行社会讨论,这是否公平。我们需要定义什么是‘公平’。”美国圣母大学技术、经济和全球事务教授 Yong Suk Lee 说。

“模型和算法的性能需要透明或由不同的团体发布。”他补充说,这包括模型的准确率之类的东西。

税务机关的算法规避了此类审查;它是一个不透明的黑匣子,内部运作不透明。对于那些受影响的人来说,几乎不可能确切地说出他们被标记的原因。他们缺乏任何正当程序或求助手段。

比利时KU Leuven 的技术法律学者 Nathalie Smuha 说:“政府对其有缺陷的算法比对自己的公民更有信心,处理文件的公务员只是通过算法来免除道德和法律责任。”

随着尘埃落定,很明显,这件事对阻止AI在政府中部署的无济于事——60 个国家已经有了国家人工智能计划。私营企业无疑看到了帮助公共部门的机会。对于他们所有人来说,荷兰算法的故事——部署在一个欧盟。拥有强有力的法规、法治和相对负责任的机构的国家——是一个警告。

那么,如何管理AI呢?

在荷兰,他们的解决方案是将所有面向公众的人工智能——无论是在政府还是在私营部门——置于该国数据管理局的监管机构的监督之下。一位部长表示,这将确保人类参与其中。

在更大范围内,一些政策专家寄希望于欧洲议会的人工智能法案,该法案对公共部门的人工智能进行了更严格的审查。以目前的形式,人工智能法案将彻底禁止一些应用程序,例如政府社会信用系统和执法部门对面部识别的使用。

“如果人工智能法案在五年前实施,我想我们那时就会发现[算法偏见]。”布鲁塞尔未来社会智囊团的人工智能政策研究员 Nicolas Moës 说。

Moës 认为,人工智能法案提供了比其海外同行更具体的执法计划,例如最近在中国生效的法案——它较少关注公共部门的使用,而更多地关注私营公司对客户数据的使用——以及目前在立法领域中浮动的美国法规。

游说者和立法者仍在忙于将 AI 法案敲定为最终形式,但并不是每个人都相信该法案。

“我们看到,即使是 2018 年生效的 [通用数据保护条例],仍然没有得到适当的实施,法律只能带你走这么远。为了让公共部门的人工智能发挥作用,我们还需要研究。”

“这不仅仅是确保人工智能系统是道德的、合法的和强大的;这也是为了确保人工智能系统[运行]的公共服务以允许批判性反思的方式组织。”她说。

https://spectrum.ieee.org/artificial-intelligence-in-government


支付宝打赏 [x]
您的大名: 打赏金额:

赞一个 (12)

+1

  1. momo
    @1周 ago
    5232435

    小心黑盒子

  2. 铁蛋
    @1周 ago
    5232436

    这是机翻的吗

  3. = - =
    @1周 ago
    5232443

    没毛病啊,AI不是完美的完成了设计初衷?

  4. 肖万.乔治.佛洛依德
    @1周 ago
    5232448

    有没有可能确实都是欺诈,但是白左看到都是非法移民就着急了

  5. 小a
    @1周 ago
    5232450

    我怎么觉得这个ai很好的理解了当权者的心思呢。

  6. 哲人石
    @1周 ago
    5232453

    美国圣母大学

  7. 5232460

    日本那个手动提交软盘,导致全町低保金转入一个人账户的公务员大呼内行

  8. 嘚嘚嘚
    @1周 ago
    5232462

    这个确实是算法问题,大数据贴标签并不是非常准确,需要更细化的模型和较大量的人工复核,完全依赖AI更是懒政

  9. 5232467

    我们的反诈系统也是这样,但是不会有任何人承担责任

  10. magni
    @1周 ago
    5232473

    因此机器学习界现在为了可解释性焦头烂额,Ethical AI 的研究也如火如荼

  11. 东岳整人
    @1周 ago
    5232489

    机翻的吧。我想问下怎么投稿?以前我搞了好长一段时间的翻译,都没投煎蛋。有点浪费

  12. Lemon
    @1周 ago
    5232503

    所以说还得是专家系统

  13. Dubdubdub
    @1周 ago
    5232525

    盲猜是“在更大范围内,…”“我们看到,…”这些遣词造句过于欧化让楼上的各位产生了机翻的错觉2333。当然了,如今比如deepL、Google在源语言是英文的时候翻译准确性确实越来越高了,几乎不用怎么修改。

  14. popin
    @1周 ago
    5232615

    ai算法不长眼睛,不会预置某种偏见。移民和低收入者骗保风险高可能是学习得出的结果。

  15. longfa
    @1周 ago
    5232829

    下一次AI直接把人类的存在也定义为“欺诈”

  16. muuu
    @1周 ago
    5232904

    不是都说了ai只是标记高风险,怎么看问题都出在人工审核部分吧,这锅ai不背

  17. forvord
    @1周 ago
    5232935

    收入较低,​​少数族裔,移民背景。ai标记高风险是合理的,主要是人工审核偷懒了。

  18. 123456
    @1周 ago
    5232972

    ai也是需要之前的人工审核样本去学习的,这恰恰暴露之前审核的偏见与歧视。

  19. 蛋炒番茄
    @1周 ago
    5233203

    两年前,中信银行把我的信用卡止付了,客服也给不出原因。估计就是ai误杀。
    搞笑的是,把卡销掉后,银行又打电话推销信用卡。烦得不行,最后怼了一通,他们就不再打了。

  20. zine
    @1周 ago
    5233305

    大数据算法是核心,可以分配百分之2,30的资源。数据挖掘(数据采集和保真)处理技术含量相对较低,但不可忽视。

  21. Herker
    @1周 ago
    5233556

    难道不是喂的数据的问题?

  22. solatrader
    @1周 ago
    5233792

    “在税务机关的工作流程中,算法首先审查索赔是否存在欺诈迹象,然后人类将仔细审查那些它标记为高风险的申请”,这问题不是明明白白出在“仔细审查”的人身上么?

  23. youyouno1
    @1周 ago
    5233887

    到底是ai判断失误还是ai发现了华点?更大的可能是ai揭开了皇帝的新装

  24. cbingor
    @6天 ago
    5234222

    好像大家没搞懂这个幽默,用AI翻译AI翻车事件的文章,啧啧啧