人工智能
人工智能：造成可怖未来的是人类
[-]
智能武器太容易被软件工程师转变成无差别杀戮机器
不幸的是，最近许多对人工智能武器的呼声都是对机器人接管人类的混乱想象。这种场景在近未来时代是不可行的，但AI武器实际上确实存在由人类控制的常规武器所没有的危险，并且有着很好的理由禁止它们。
我们已经从谷歌自主驾驶汽车里一瞥人工智能的未来。现在想象某个凶狠的暴力团偷了一辆这样的车，并把它重新编程去撞人，这就是一件AI武器。
[-]
这些武器的潜在可能并未逃过政府注意。今年我们已看到美国海军宣布开发自主无人机武器的计划，以及韩国的超级盾II型自动炮塔和俄国M平台自动战斗机器。
但是政府并不是制造AI武器的唯一玩家。想象一个搭载GoPro相机的四轴无人机，这种东西谁都能买到；再想象能让它自动飞行的简单软件。武器化无人驾驶汽车的同一个邪恶暴力团只有一步之遥，就会在上面装一支枪，并编程让它朝公众人群开火。
[-]
这是AI武器的直接危险：它们很容易就能转变为无差别死亡机器，比有人类掌舵的同样武器危险得多。
[-]
* * *
斯蒂芬·霍金、Max Tegmark、偕同伊隆·马斯克和其他许多人都签署了禁止AI武器的“生命未来”请愿，主持该请愿的机构今年一月收到了马斯克的1,000万美元捐款。随后联合国在四月召开了关于“杀手机器人”的会议，但没有取得任何持久的政策性决议。伴随生命未来请愿的公开信表示AI武器的危险迫在眉睫，需要最早在几年内就采取行动避免灾难。不幸的是，它并没有解释近在眼前的是怎么样的AI武器。
[-]
不像具有自我意识的计算机网络，带机枪的自主驾驶汽车现在就可能有
许多人对《终结者》般的末日场景表达了担忧，这种情况中机器人完全自发地发展出了与人类相似的与世界互动能力，并尝试征服世界。例如，物理学家和天文学家Martin Rees爵士警告这样的灾难性场景：“蠢机器人失控，或者一个网络发展出了自己的头脑。”他在剑桥的同事和哲学家Huw Price表示了类似的忧虑，当智能“逃逸出生理局限”时，人类可能无法幸存。两人共同创办了剑桥大学存在性风险研究中心来帮助避免威胁人类存在的此类强烈风险。
这些场景当然值得研究。但它们的可行性和急迫性远比不上正在眼前的AI武器风险。
[-]
我们离开发出类似人类的人工智能有多接近？按照所有的标准回答都是：不是很近。雷丁大学的聊天机器人“尤金·古斯特曼”被众多媒体报道为真正智能，因为它成功地骗过了几个人类相信它是一个真正的13岁男孩。然而，结果发现这个聊天机器人离真正的类人智能相距甚远，计算机科学家Scott Aaronson第一个问题就完爆了尤金：“鞋盒和珠穆朗玛峰哪个更大？”完全答非所问以后，又回答不出“骆驼有几条腿？”国王原来是完全赤果果的。
尽管如此，本文笔者都签署了反对AI武器的生命未来请愿。原因是：不像具有自我意识的计算机网络，带机枪的自主驾驶汽车现在就可能有。这种AI武器的问题不在于它们正处于接管世界的边缘，而在于它们不费吹灰之力就能重新编程，允许任何人以白菜价创造高效率的无差别杀戮机器。机器本身没有可怕之处，任何半吊子黑客以相对低廉成本用它们能做的事情才是可怕的。
[-]
想象一下，一个上位的暴君以公民政治倾向、地址、照片数据库作为武装，想要清除异己。昨天的暴君会需要士兵组成的军队来完成这个任务，而这些士兵可能被愚弄、贿赂，或丧失冷静杀错人。
明天的暴君只需采购几千架机关枪无人机。归功于摩尔定律，自从晶体管发明以来每美元计算能力呈指数增长，带有合理的AI的无人机价格有一天会像一支AK-47一样平易。三四个同伙的软件工程师能重新编程无人机去异议者的住家和工作地点附近巡逻，并对其格杀勿论。无人机更少犯错，它们不会被贿赂或哭诉动摇，最重要的是，它们比人类士兵高效得多，允许野心勃勃的暴君在国际社会能够发出响应前就扫平批评者。
[-]
改装AI机器用于毁灭性目的会比改装核反应堆容易得多
因为自动化带来的巨大效率增长，AI武器会降低疯狂的个人寻求犯下这种暴行的进入门槛。曾经是拥有整支军队的独裁者的禁脔，将会让中等富有的个人触手可及。
有兴趣开发这种武器的制造商和政府们会声称它们能设计适当的保险措施，确保它们不能被重新编程或破解。对这种声称应持怀疑态度。电子投票机、取款机、蓝光播放器，甚至飞驰在高速路上的汽车最近都被破解过，尽管它们都标榜着安全性。历史证明，一个计算设备往往最终会屈服于动机充足的黑客重新利用它的企图。AI武器也不大可能例外。
* * *
[-]
早在1925年国际条约已经禁止在战争中使用化学武器和生物武器，空尖弹的使用在甚至更早的1899年就被禁止，理由是这些武器产生极端的并且不必要的痛苦。它们特别容易造成平民伤亡。所有这些武器都很容易造成无差别痛苦和死亡，所以它们被禁止。
[-]
是否有一类AI机器同样值得禁止？答案是明确的肯定。如果一个AI机器能被便宜地轻易转变成高效的无差别大规模杀戮设备，那就应该有反对它的国际公约。这种机器与放射性金属无异，他们可以用于合理目的，但我们必须小心地控制它们，因为它们能被轻易转变为毁灭性武器。而区别是改装AI机器用于毁灭性目的会比改装核反应堆容易得多。
[-]
什么算是智能，什么算是武器？
我们应该禁止AI武器不是因为它们不道德，我们应该禁止它们是因为人类会使用网上容易找到的改装和破解把AI武器转变成狰狞嗜血怪兽。一段简单的代码就会把很多AI武器转变成杀戮机器，媲美化学武器、生物武器和空尖弹最恶劣的暴行。
* * *
禁止某些种类的人工智能需要纠结一系列哲学问题。AI武器禁令会阻止美国战略防御计划(俗称星球大战导弹防御)吗？汽车能被用作武器，那么请愿是否提议在英国城市禁止部署谷歌自主驾驶汽车，或者所有自主驾驶汽车？什么算是智能，什么算是武器？
[-]
这些都是困难和重要的问题。然而，它们并不需要在我们同意制定一项公约来控制AI武器前就被回答。什么是可以接受的限度必须由国际社会通过科学家、哲学家，以及计算机工程师的建议予以认真考虑。美国国防部已经在某种意义上禁止了完全自治武器，现在是时候完善和扩展这一禁令到国际水平。
当然，没有一个国际禁令能完全阻止AI武器的扩散。但这并不是放弃禁令的理由。如果我们作为一个社会认为有理由禁止化学武器，生物武器和空尖弹，那同样也有理由禁止AI武器。
[-]
本文译自 The Atlantic，由 王丢兜 编辑发布。