人工智能迅速发展的同时也带来了数字、物理与政治安全威胁，需通过政策合作、漏洞演练与开放限制等措施共同防范滥用风险。
近年来，人工智能与机器学习技术取得了突破性进展，在语音识别、图像分类、机器翻译等领域带来了巨大的经济与社会效益。然而，这项技术的快速普及也带来了前所未有的恶意滥用风险。恶意滥用是指所有旨在破坏个人、群体或社会安全的有意识行为。随着技术门槛降低，人工智能正在重塑人类社会的安全威胁格局。
人工智能具备几项重塑安全风险的关键特征。首先是双重用途属性，几乎所有用于提高效率的工具，同样可以被攻击者用来发起破坏。其次是高效性与可扩展性，人工智能系统一旦完成训练，便能以极低的成本和极快的速度批量执行任务，只需增加计算资源或复制软件即可成倍扩大攻击规模。此外，人工智能在特定领域能够超越人类能力，并能拉大攻击者与受害者之间的心理距离，增加攻击的隐蔽性。开源研究文化使新算法能在短时间内迅速传播，而当前的深度学习系统自身又存在数据毒化、对抗样本等新型安全漏洞。
这些特征将从三个维度改变安全威胁的形态。在现有威胁方面，攻击者利用自动化工具大幅降低了劳动成本，使得以往需要大量人力的高精尖攻击可以大规模复制。例如，以往精细的网络钓鱼需要人工搜集目标背景信息，而利用语言分析工具可以自动生成定制化的诱骗信息，实现大规模精准钓鱼。在全新威胁方面，人工智能使许多过去无法实现的手段成为可能，例如利用语音合成技术模仿他人声音进行诈骗，利用自主算法指挥无人机群执行协同袭击，或利用对抗样本使自动驾驶汽车发生严重车祸。在威胁特征方面，未来的攻击将变得更加频繁、精细、难以追溯，且会专门针对人工智能系统的内在缺陷展开。
在具体应用场景中，安全危机覆盖了数字、物理与政治三大领域。在数字安全方面，黑客利用深度强化学习自动寻找软件漏洞，编写能够绕过新型杀毒软件检测的恶意代码，甚至利用自动化脚本管理勒索软件的支付流程。在物理安全方面，商业无人机与机器人可能被改造为攻击工具，例如搭载图像识别与爆破装置的清洁机器人或小型无人机，能够执行精准暗杀或群体袭击，大幅降低了高难度攻击的技术门槛。在政治安全方面，深度伪造技术可以制作极其逼真的政治人物讲话视频与音频，破坏社会信任；自动化社交媒体机器人能够大规模操纵公众舆论；在威权环境下，自动化监控系统还会被用来对公民进行全方位监视与打压。
面对这些严峻防范课题，政策制定者必须与技术专家建立紧密合作，开发人员也应将双重用途风险纳入研究考量。人工智能领域应当积极引入网络安全行业的成熟经验，普及红队对抗演练、形式化验证、漏洞负责任公开以及漏洞赏金机制。同时，行业需要探索更具针对性的开放模式，例如在发布敏感技术前进行风险评估，采用中央许可模式限制底层代码扩散，并加强隐私保护计算与专用安全硬件的研发，共同构建安全可控的技术生态。
原文：https://arxiv.org/abs/1802.07228