高科技
操控自动化车辆，出车祸后还是会吃官司
[-]
不是说什么地方有个方向盘你就有控制权了。(Reuters/Arnd Wiegmann)
1969年，Milton Packin在新泽西州的高速公路上因超速被截停。他对告票提出申诉称，当时不是他在开车；是定速巡航的错。法官既没有被说服也不觉得好笑。“一个把车托付给自动设备控制的司机仍然在‘驾驶’着车辆，对其运作所负的责任一点也不会少。”他这样说道。Packin也许没有直接控制泵入引擎的燃油，但他仍然对汽车的速度负责。
那么当汽车完全自动驾驶时怎么算？如果你把从甲地到乙地的交通完全委派给机器，它撞了人你要负责吗？现行法律主张，你很可能要负责——但是你应该负责吗？
如果发生车祸，我们直觉地——我们的法律则是现实地——需要某个人扛下指责。
传统上说，你对某事的控制越多，你所负的责任也越大。Packin案例之所以直截了当部分是因为控制和责任似乎是互成比例的：Packin有能力打开定速巡航，也能设定速度。他对其行为负责是有道理的。随着越来越复杂的自动化和自主性技术，事情就不会对错鲜明了。
在一辆自动驾驶汽车里，司机和车载软件共享对车辆的控制。软件如何行为又是由软件工程师控制(设计)的。司机已经不像法官在Packin案中裁决的那样对车辆拥有完全控制。要是说软件工程师有着完全控制，感觉也不对。
当控制分布到多重主体上时，我们的社会和法律对责任的概念却还大体停留在个人上。如果发生车祸，我们直觉地——我们的法律则是现实地——需要某个人扛下指责。
人类会作为“责任海绵”或“道德吸能区”登场。
这种歧义的结果就是，人类会作为“责任海绵”或“道德吸能区”登场。就像汽车上的吸能区被设计用来在车祸中吸收碰撞力量，不管有意无意，自主系统中的人类也许只不过就是一个部件，用于在整个系统发生故障时首当其冲承担道德与法律的惩罚。
那么我们该怎么升级法律和社会规范来适应控制的新现实？
要想理解道路，先借鉴天空
[-]
从拉西洋打捞的AF447残骸。(Reuters/JC Imagem/Alexandre Severo)
航空业是复杂和高度自动化的人机系统的先锋，对于道路前方有什么正在等待我们，它也许能提供一点线索。一架现代飞机在空中的大部分时间都是处于一系列技术的控制之下，包括自动驾驶、GPS和掌管几乎一切的飞行管理系统。
但就算是软件在飞着飞机，驾驶舱中的飞行员在法律上对飞机运作负责。这是美国联邦航空管理局(FAA)的规章直接指定的，而且法庭也一贯这样坚持。所以一旦出事，我们就看到飞行员成为“道德吸能区”——中心角色是吸收责任的图腾式人类，即使他们对系统只有部分控制。
法航447航班飞行员失去了“对局面的认知控制。”
法航447航班就是经典的案例。在2009年从巴西飞往法国，这架空客330飞进了风暴，飞机的空速管上开始结冰，这是航电系统中测量飞机对空速度的部分。冻结的空速管向自动驾驶发送错误数据，自动驾驶做了数据缺失情况下它设计该做的：自动断开，把飞机的控制交回驾驶员。驾驶员们措手不及，被涌入的刺耳警报声和混乱的仪表读数完全淹没。用法国官方报告里的话来说，他们失去了“对局面的认知控制。”飞行员的一系列错误和不当机动最后以坠入大西洋告终，机上228人全部死亡。
当时的新闻报道强调了飞行员的一系列错误。几乎仅仅作为一个脚注，他们也解释了还涉及其他因素，包括A330中已知但还未修复的空速管结冰失效的机械问题。尽管后来《名利场》的一篇文章引起了公众注意，当时的报告并没有指出的是，飞行员的失误(其中一些属于新手错误)至少部分地可能是由自动化所致。因为自动驾驶几乎总是在控制着飞机，他们不得不在现代飞行员很少经历的天气和高度条件下掌管飞机。
自动化不但没有消除人为错误，反而还为新型错误创造了机会。
随着飞行员们更少飞行而更多“监督”自动化系统，他们的基本飞行技能会降低——所谓的“自动化悖论”。航空人为因素领域的领导者Earl Wiener已经预言，自动化不但没有消除人为错误，反而还为人与机器间沟通失误催生的新型错误创造了机会。
问题的一部分在于对自动化的文化观念趋向于抬高自动化而批评人类。例如，当A330的前任A320在1986年揭晓时，一名航空专家说该飞机的全新线控飞行系统“智能到足以保护飞机和机上人员免受飞行员的任何愚蠢举动危害”。在法航447航班的案例里，自动化系统看来反而促成了那些“愚蠢举动”。
这并不是说自动化本身是坏事。商业航空这些年来已经变得安全得多，专家们一致认为自动化程度提高是主要原因。道路安全预计也会经历类似的转变。但现代文化仍然对自动化产生了一种精神分裂态度：它是我们的救赎，把我们从沉闷、肮脏和危险的工作中解脱出来，但它也是我们的噩梦，导致我们物种在精神上和肉体上被剜除。
“环节有人”的虚假保证
[-]
“你确定要飞喀布尔吗？这个操作不能取消。”(Reuters/Sergio Perez)
设计师和工程师们用向我们保证决策“环节有人”来部分满足了这种焦虑。来自于二战时期的控制论血统，环节有人设计原则要求一个自动行为始终包括一定程度的人类输入，就算是这种输入只是点一下确认。特斯拉已经公布在它即将推出的半自主驾驶车型上，司机必须按一下转弯信号按钮，车才会完成预先规划的像转弯或超车之类的机动。车做规划和进行驾驶，但需要一个人类批准每一步行动。
没有上手驾驶的练习，一旦什么事情真的出错，人类多半会反映迟缓。
环节有人原则可能出发点是好的——毕竟，它本意是从理论上确保人类判断大过自动化。但正如我们在航空背景下看到的一样，它意味着人类要承担与他们被允许的实时控制数量不成比例的责任。而且没有上手驾驶的练习，一旦什么事情真的出错，人类多半会反映迟缓。
设计者们有动力给司机刚好足够的控制权，让法庭判决车祸都是司机的责任。
所以风险就是，环节有人设计原则不是在让人类驾驶员保持控制，而是变成让系统设计者转移责任建立“道德吸能区”的一种方式。只要责任可以全部落在随便某一方身上，比如给司机刚好足够控制权的无人驾驶汽车，让法庭总是能判决任何车祸都是司机的责任，设计者们就有动力去建造这样的系统。
谷歌自动驾驶汽车的早期结果中就有这样的暗示。今夏早些时候，谷歌公开了从2010年5月至2015年5月的试车事故记录。作为一种安全防范，在测试中总有一名人类司机在座，准备在任何事情出错时接管。谷歌声明这些事故没有一起是汽车导致的；全都是人类司机的错。
但是，这里有一个令人惊讶的模式：12其事故中有10起是追尾。可能这类事故在帕洛阿尔托附近街道上是最常见的。但也可能谷歌汽车在以周围司机没想到的方式行驶，而有效促成了一些事故，比如它们可能比典型人类司机开得更慢或更谨慎。
换句话说，正如法航447航班因为飞行员与他们的自动化系统沟通不良而坠毁，谷歌汽车事故可能是因为无人驾驶汽车和人类驾驶汽车间的根本性沟通不良而导致的。虽然这种沟通不良是双向的——谷歌汽车不按照预期行动的结果——但人类司机成为了“道德吸能区”为失误承担责任，而实际上对情况的控制权是共享的。
解决方案是什么？
[-]
选择那么多，控制那么少。(AP Photo/Matt Dunham)
所以答案是把人类从环节中移除吗？把控制完全交给车载软件所以出车祸时就怪软件吗？这也许能解决前面提到的“自动化悖论”——不再指望一个昏昏欲睡不熟练的人类司机能在危机中做出瞬间决定——但社会也许还没准备好如此信任机器。机器也许没有能力不论何时何地都有完全控制权。而且在这种情况下如何让机器承担责任仍然是个问题。
有人建议对自主代理实体授予法人资格。
有人建议对以上两个问题的解决方案是对自主代理实体授予法人资格，使它们能被追究法律责任和承担保险。这个想法并没有听上去那么疯狂——毕竟在美国公司就是法人——而且这能给事故受害者快速赔偿。然而，这也潜在地会导致这些系统的设计者在技术和设计选择方面逃避责任，进而可能促使事故发生。
可以确定的是自主系统的运营商和消费者不应该在事情出错时当替罪羊。尽管有那多多报道，自主驾驶汽车还尚未上路。军用致命武器仍在显著的人类控制之下。真正的自主技术还在开发阶段。现在正是积极深思熟虑建立法律和标准的时候。
我们必须牢记可能跨空间时间的共享控制的新特性。我们需要思考作出有关责任假定的背景。在我们面前的问题不是如何让计算代理负责，而是如何公正地适用责任。
