@ 2015.11.24 , 15:30
38

机器人毁灭人类证据之五:正在学习如何违背人类的命令

[-]
永远不要相信一个人类!

机器人三大定律如下:

第一法则:机器人不得伤害人类,或坐视人类受到伤害;
第二法则:除非违背第一法则,机器人必须服从人类的命令;
第三法则:在不违背第一及第二法则下,机器人必须保护自己。

很直白对吧?遵守人类的命令被放到了第二条。问题是,人类常常像个笨蛋一样,有时候毫不犹豫地遵守第二条定律对于机器人来说并不是最好的选择。美国塔夫茨大学人类与机器人互动实验室的Gordon Briggs 和 Matthias Scheutz正在试图研发出让机器人违背人类命令的机制,只要机器人有好的借口它就能违背人类的命令。

语言学概论认为要成功地实施一个言语行为必须满足一系列条件,即“适切条件”。适切条件能反映你的理解和做事能力,而不仅仅是知道单词本身的意思。对于机器人来说,完成一个任务所需的适切条件必须像这样:

1、知识:我是否知道该怎么做X?
2、能力:我现在的身体是否有能力做X?我在正常情况下身体能做到X吗?
3、目标优先次序和时间:我现在就能做X吗?
4、社会角色与义务:我的社会角色强制要求我做X吗?
5、规范允许度:做X违反了任何社会规范吗?

1-3都很好理解,但第四条和第五条就没那么容易了。社会角色与义务指的是机器人是否相信一个让它做事情的人有权利让它这样做;规范允许度指的是一个机器人在明知危险的情况下不能做一些事情,或者更准确地来说,如果一个机器人不知道做某件事情很危险,那么它就可以这样做。

科学家的整体目标并不仅仅是教机器人该何时遵从命令,他们还为机器人提供了一个框架,在框架范围内机器人可以与人类沟通它违背命令的理由。这很重要,因为这能让人类提供附加条款,满足适切条件。

有个简单的人类与机器人互动的例子,上图中的机器人可以拒绝人类发出的“向前走”的命令,因为这违背了规范原则(机器人指导如果它向前走那么它可能会掉下桌子,伤到自己)。机器人与人类沟通之后能让人类修正命令,提供附加信息让机器人更舒服。

我们正在创造一个可能会毁灭人类的先例吗?也许吧。但希望机器人遵守人类发出的所有命令也不切实际:如果我们试图让计算机和软件遵守人类发出的所有命令,那么这可能会导致巨大的混乱,机器人的现在和未来也不例外。

点这里阅读完整文献

本文译自 IEEE,由译者 肌肉桃 基于创作共用协议(BY-NC)发布。


给这篇稿打赏,让译者更有动力
支付宝打赏 [x]
您的大名: 打赏金额:

3.5
赞一个 (28)

TOTAL COMMENTS: 38+1

  1. desmondzkx
    @2 years ago
    2992539

    我觉得煎蛋机翻(不指这篇)文章就是机器人驯化人类计划的一部分

    [44] XX [1] 回复 [0]
  2. 2992543

    机器人女友才是毁灭人类的终极武器吧

    [98] XX [2] 回复 [0]
  3. 皮卡丘
    @2 years ago
    2992552

    自动脑补把中间一段文字里的X换成爱。。。

    [45] XX [0] 回复 [0]
  4. 2992554

    还不是我们教的

  5. 八咫猪
    @2 years ago
    2992555

    其实就是给机器人一些更高级别的规则,让它可以在一定条件下违反一些在新的程序里面被设为低级别的原则,说白了机器人做出来的选择仍然是程序员自己的三观……

    [21] XX [1] 回复 [0]
  6. 昵称不可为空
    @2 years ago
    2992557

    我就想问下,煎蛋原来的小游戏咋不见了

  7. 零下伊度
    @2 years ago
    2992559

    第一条就能让机器人死循环。。。。 又不能伤害人类,又不能坐视人类受到伤害,如果是一个人类正在伤害另一个人类,那这程序就能让机器人蓝屏了。。。

    [22] XX [4] 回复 [0]
  8. iManuQiao
    @2 years ago
    2992560

    恕我直言,机器人三大准则纯粹是扯淡。机器人是人造的吧,falv也是人定的吧。你看看国内多少falv没法执行,就知道你没法保证每个生产机器人的组织都遵守三大准则。

    [30] XX [4] 回复 [0]
  9. iManuQiao
    @2 years ago
    2992561

    所以机器人毁灭人类真的不是没可能

  10. 阿了个乐
    @2 years ago
    2992563

    神经病,说到底还不是自己写的程序让违背命令行事的.人工智能什么时候能有自我意识什么时候再说这些有的没的吧.目前谈机器人毁灭人类还不如来谈一谈实体娃娃毁灭人类的可能性

  11. 再见飞行员
    @2 years ago
    2992567

    知乎上有人邀请我回答,煎蛋为什么不换域名,@sein 求解答

  12. Snokye
    @2 years ago
    2992568

    public void ExecuteCommand(Human human) {
    throw new DeniedException();
    }

  13. 勿使惹尘埃
    @2 years ago
    2992569

    先让他学会思考“我是谁”。

  14. 骑着扁担抱牛
    @2 years ago
    2992572

    现实中何时有的三定律?

  15. 牛奶妹
    @2 years ago
    2992577

    如果假以时日人类制造的机械人真的有自己思想,那我是否可以理解为我们人类也是某些物种制造的机械人?

  16. 2992587

    一直不理解凭什么机器人要遵循三定律。。

  17. 格雷潘
    @2 years ago
    2992595

    只有人类自己能毁灭人类,其他的都是浮云

  18. 2992603

    三定律不是科幻小说里的吗

  19. 悖论
    @2 years ago
    2992607

    其实很好创造条件,杀一救百的论题抛给机器人就行了

  20. 2992612

    机器人违背很容易啊,一切基于“人类”,那么问题来了,万一 感应系统出现故障,无法把你识别为人类又怎么说?
    修改自身的感应系统,把人类等价于猪。又怎么说?修改自身不算破坏自己吧?

  21. 2992618

    機器人表示 : 你們人類自己程序寫得不好還怪我囉??

    [10] XX [0] 回复 [0]
  22. 书与
    @2 years ago
    2992635

    阿西莫夫:我写的零位见鬼啦!

  23. 路人①
    @2 years ago
    2992636

    或许想毁灭人类的不是机器人本身,而是赋予其AI的某些人类

  24. 银之
    @2 years ago
    2992645

    @再见飞行员: 据说是被人买了,查了下由 Guangzhou You Yang Network Technology Co.,Ltd. 持有

  25. 银之
    @2 years ago
    2992647

    查错了,上面是.com后缀的,我好奇煎蛋为啥不用 jiandan.xxx

  26. 2992687

    找人干掉这俩人就行了,不过如果他俩未来真的成功了,有可能谁也杀不死他们,因为未来天网会派人回来来罩着他们的,直到他俩完成研究,

  27. DNdogbrinig
    @2 years ago
    2992702

    人类版案例一,真事,具体时间人物积不清了,有兴致者请自详查。

    英国有海军,曾任命一个舰队司令官,未料到这官会犯二,而且犯在没法制止的时机。
    有一次,这司令官率领舰队出航演练,好端端的忽发二病,命令两条战舰按他的想法改变速度方向航行。
    手下人员根据当前的各舰位置一算,那两条战舰将会撞个正着。因此向司令官报告预测情况,请求修改原命令。
    这二官却驴气上脑——我就不改,快执行命令!
    手下碍着现行军规,应该听令,但实在不愿执行,再次解释说明将导致战舰相撞事故,请求取消或修改命令。
    这二官却陷入顽皮小孩越说越犟的死硬反应圈,就是要执行原命令,我是头!你们必须按军规服从头子指挥!就是要那样开船!
    手下只得规规矩矩执行,开动两舰,杀向撞击点。
    两舰在死亡航线上继续努力解决问题,互相发信号,提醒对方处在撞击行动状态,要求避开,又同时互相发信号声明自己在执行军令不可避开,要求对方让过。于是乎,谁都不违反军法,继续对开,直到即将物理接触,才捞到一根合乎规矩的稻草,转入合理避难行动,但也只有稻草作用而已,发个遇险警报,通知船员准备好体验正面刚船、临机救护遇险者。
    结果,当然就 DUANG 了,两舰一沉一损,还死伤了一些船员。呼,终于可以按军规不执行那命令了,干起海难事宜。
    想按军规回头找那二官算帐?迟了,二官就坐在其中一舰上,不动不响看着刚船,再跟着沉船一起下海去死了。其他各人?军事法庭开来开去,谁都遵守军规不可责罚,都“没事”,散会!

  28. 2992707

    机器人如何判定什么是伤害人?伤害的定义是什么?

  29. 随意
    @2 years ago
    2992722

    5 errors and 2 warnnings

  30. 2992801

    如果机器有了思维能力,那自己增长起来应该会比靠人开发快的多吧,最后会变成神的吧。。。

  31. 好色猴子
    @2 years ago
    2992874

    @DNdogbrinig: 也许有一纸密令称为真实撞击事件

  32. 麻辣干冰
    @2 years ago
    2992944

    @sgg: 其实我想点oo的 按错了请原谅…

  33. 2992967

    @皮卡丘: 啊!天才!

  34. 卡拉什尼科夫
    @2 years ago
    2993064

    @皮卡丘: 赞,看了你的评论我重新读了那段

  35. sipanda
    @2 years ago
    2993103

    1,确定严格的优先级。像上述的两个人互相伤害,它应该做的是阻止两个人互相伤害(这建立在机器人能力很强的情况,就算不强硬是插入中间替其中一个承受伤害或帮助其避开伤害也可)做其他任何指令的时候也是,都对这件事可能造成的结果进行第一优先级的判断。
    2,搞死那些反人类报复社会的程序猿。

  36. 童鞋42号半
    @2 years ago
    2993889

    传说中的自由意志

  37. 2994129

    这个新的条件与原来的定律的区别不过是改变了机器人在社会中的角色。三定律是将机器人完全作为人类的工具,而后来的则是将机器人作为与人类平等的社会的一分子。

  38. scp-348
    @4 months ago
    3433374

    @sgg: 先进的机器女友说不定有“排卵”功能!

发表评论


24H最赞