人工智能
机器人毁灭人类证据之五：正在学习如何违背人类的命令
[-]
永远不要相信一个人类！
机器人三大定律如下：
第一法则:机器人不得伤害人类，或坐视人类受到伤害；
第二法则:除非违背第一法则，机器人必须服从人类的命令；
第三法则:在不违背第一及第二法则下，机器人必须保护自己。
很直白对吧？遵守人类的命令被放到了第二条。问题是，人类常常像个笨蛋一样，有时候毫不犹豫地遵守第二条定律对于机器人来说并不是最好的选择。美国塔夫茨大学人类与机器人互动实验室的Gordon Briggs 和 Matthias Scheutz正在试图研发出让机器人违背人类命令的机制，只要机器人有好的借口它就能违背人类的命令。
语言学概论认为要成功地实施一个言语行为必须满足一系列条件，即“适切条件”。适切条件能反映你的理解和做事能力，而不仅仅是知道单词本身的意思。对于机器人来说，完成一个任务所需的适切条件必须像这样：
1、知识：我是否知道该怎么做X？
2、能力：我现在的身体是否有能力做X？我在正常情况下身体能做到X吗？
3、目标优先次序和时间：我现在就能做X吗？
4、社会角色与义务：我的社会角色强制要求我做X吗？
5、规范允许度：做X违反了任何社会规范吗？
1-3都很好理解，但第四条和第五条就没那么容易了。社会角色与义务指的是机器人是否相信一个让它做事情的人有权利让它这样做；规范允许度指的是一个机器人在明知危险的情况下不能做一些事情，或者更准确地来说，如果一个机器人不知道做某件事情很危险，那么它就可以这样做。
科学家的整体目标并不仅仅是教机器人该何时遵从命令，他们还为机器人提供了一个框架，在框架范围内机器人可以与人类沟通它违背命令的理由。这很重要，因为这能让人类提供附加条款，满足适切条件。
有个简单的人类与机器人互动的例子，上图中的机器人可以拒绝人类发出的“向前走”的命令，因为这违背了规范原则(机器人指导如果它向前走那么它可能会掉下桌子，伤到自己)。机器人与人类沟通之后能让人类修正命令，提供附加信息让机器人更舒服。
我们正在创造一个可能会毁灭人类的先例吗？也许吧。但希望机器人遵守人类发出的所有命令也不切实际：如果我们试图让计算机和软件遵守人类发出的所有命令，那么这可能会导致巨大的混乱，机器人的现在和未来也不例外。
点这里阅读完整文献。
