@ 2014.10.20 , 13:42
88

超级人工智能的崛起将是人类末日

[-]

今天的计算机聪明到了什么程度?
今天的计算机可以完成越来越复杂的任务,已经具备了接近人类的智能。微软的Xbox游戏机甚至可以通过分析玩家的面部表情评估玩家当前的情绪。2011年IBM的超级计算机“沃森”赢得了智力竞赛节目“危险边缘”。科学的进步将引领我们获得计算机科学圣杯:人工智能,或者能够自己思考而非仅仅对命令进行反应的计算机。但是一旦计算机实现了“超级智能”,那时又会怎样呢?所谓的超级智能,指的是计算机不仅仅在数学和科学能力上超过人类,而且在艺术创造性甚至是社会技能领域也大大超过人脑

牛津大学未来人类研究院主任Nick Bostrom认为未来计算机不再是顺从人类的工具,更是毫不关心人类种族兴亡的主宰物种,人类则在睡梦中不知不觉地迈进这个未来。

Bostrom 警告说:“一旦对人类不安全的超级智能被开发出来,我们就没有能力再把它装回瓶里了。”


人工智能何时会成为现实?

根据Bostrom对人工智能专家的调查显示,2050年之前开发出人类级别的人工智能的概率是50%,到2075年开发出来的概率为90%。开发人工智能的关键很可能就是人脑:如果计算机能够模仿人类大脑的神经元网络工作模式,也许可以形成自己的感觉和思维。正是因为对这点心知肚明,Googel等科技巨头一直在努力研发属于自己的大脑——运行高度先进软件的多台协同服务器。同时扎克伯格对旧金山科技公司Vicarious下了重注投资,这家公司研究的就是如何复制大脑皮层——这个掌管视觉、语言和数学运算的区域。将大脑皮层转化为计算机编码,就得到了一个能够像人一样思考的电脑,除了不吃饭不睡觉以外,和人类是一样的。

为什么说是威胁?

电脑的算力从1956年起就以每18个月的速度翻倍,某些人工智能领域的专家相信在下个世纪电脑已经能够理解自己的设计架构并能对自己进行指数级别的升级。结果就是机器和人之间将形成无法跨越的智能的鸿沟,Bostrom说这就像人类和昆虫之间智能的差别。计算机超级智能对于人类来说可能是恩惠,它能够治愈癌症和艾滋病等疾病,能够解决人类无法解决的问题,能够在让人休息时间增多的前提下创造更多财富。但是超级智能也可能带来很大的问题。


哪些方面可能出错?

计算机是用来解决问题的,它遵守效率最大化的原则。如果身上有诸多缺点的人类阻挡了效率提升,那么问题就来了。Bostrom引用了回形针的例子。只要你给AI一个清晰的目标,比如“在全世界尽可能多生产回形针”——而且AI必须足够聪明,可以自行发明超级科技,建造自己的加工厂,如果满足这些条件,那么,你对AI说的话就要小心了。

“AI是如何确定回形针已经达到最大可能量了?”Bostrom提出这个问题,“计算机要确保人类不会关掉计算机,不会影响回形针的数量。计算机也许会做出立刻抹杀人类的决定,因为人类对回形针来说是个威胁——唯一能够关闭回形针工厂的就是人类。Elon Musk最近提出警告,他认为对人工智能一定要非常谨慎,他说人工智能带来的危险可能超过核能


未来是否无可避免?

很多计算机科学家认为我们不会迎来注定的毁灭,相反他们质疑人类是否能够真正实现人工智能。他们认为光是理解人脑,人类已经走过了漫长的研究道路——包括意识本身是什么这个问题——更别提将这些知识用来打造一台有感情和自我意识的机器。虽然今天最强大的计算机可以用算法赢得国际象棋大赛,可以赢得竞猜电视节目,可我们还无法创作出能够写出感人的诗作,能够判断是非的机器人——要制造出完全掌握人类技能的机器人还很遥远。

人类对此有什么防御措施呢?
很不幸,至今为止还没有多少。Google创立了人工智能伦理评审委员会,某些计算机科学家呼吁在编程前确定程序符合道德指导方针——不过到时候程序员又将面临哪些行为合乎道德哪些又不符合的艰难抉择。超级计算机设计师先驱Danny Hillis认为最基本的问题在于科技公司设计出来的计算机越来越智能化,但是这些科技公司对于自己的发明可能产生的影响并没有一个完全的理解——甚至不屑于去思考。他说我们就是一群阿米巴原虫,无法理解自己创造出来的是个什么东西

如果机器人学会了撒谎?
2009年的时候,来自瑞士的研究人员进行了一个机器人实验,谁料结果竟然出乎大家的意料。在某个竞技场中,研究人员放置了数百台机器人,机器人身上的程序让它们在竞技场中寻找一个浅色的圆环(实验中的食物)。这些机器人相互可以沟通,机器人会向同伴发送蓝光告诉其它机器人食物的位置。但是随着实验进行,研究人员发现某些找到食物的机器人停止了闪光,并且学会了独占这些资源——而源程序根本没有指示它们这么做。也许机器人也学会了自保。
本文译自 The Week,由译者 王大发财 基于创作共用协议(BY-NC)发布。


给这篇稿打赏,让译者更有动力
支付宝打赏 [x]
您的大名: 打赏金额:

3.1
赞一个 (19)

TOTAL COMMENTS: 88+1

[2] 1 »
  1. 2583315

    智能不一定要以人类的基本特质出现

  2. 百分之三
    @3 years ago
    2577176

    最后的事件链接 http://jandan.net/2009/08/21/robots-learn-lie.html

  3. 2577142

    真正的人工智能应该是能够在镜子中认出自己

  4. 2575665

    @书正: 思考结果42

  5. 煎蛋
    @3 years ago
    2575323

    换主人是必然的,地球都换过多少代主人了。

  6. 卡萨雷斯
    @3 years ago
    2574857

    人类被消灭以后看不到av怎么破?

  7. 饕餮
    @3 years ago
    2574656

    @L:
    既然已经说了这么多,那我就再说两点。
    1. 虚拟世界与现实世界有一个无法逾越的鸿沟。无论如何先进的人工智能永远只能输出由0和1组成的信号,而信号对现实世界是毫无意义的。这些输出的意义必须人为赋予。比如我输出一个2维数组,第1维决定输出的行为,第2维决定输出的值。然后我将一个第2维数组接入汽车发动机控制速度,一个接入转向活塞控制方向,然后我就可以通过某种程序自动驾驶了。可是无论程序如何变化,其输出结果永远都只能是某个速度和某个方向,除非程序由于某种特殊原因出现了第3种输出,然后其硬件又刚好被安装了另一个输出方式并且刚好由于某种特殊原因连接上了新出现的输出,而且输出信号刚好对新的硬件有意义。如果这些都是随机事件的话我觉得人类集体被梗死的概率更大一点。
    2.自然用了40亿年才进化出人类这种智能生物。虽然计算机的更新速度比自然演化快多了,可能半秒就能完全更新一次,但是就算最先进的计算机跟DNA比起来也是小巫见大巫。何况生命演化需要大量独立个体相互作用,而人类无目的的创造那么多的超级计算机让它们互相作用的几率非常渺茫。而且就算这种事情发生了,没个上百上千年不会出现什么奇怪的AI。而有这么多年人类早就能发现点苗头然后进行引导了

  8. 饕餮
    @3 years ago
    2574654

    @L: 嗯,可能我的表达有点问题。我说的行为是指程序输出的模式而不是结果。比如说你对Siri说 “打开浏览器“。虽然你说的很标准,结果它打开了别的程序这是很有可能的。而大部分的时间其实我们不知道为什么它会发生这种错误。可是Siri如果没有加入关机动作的接口的话它无论如何都不可能将你的手机关闭。也即它不可能通过我们未知的方式产生新的行为。就像你无论如何都无法通过大脑控制心脏的跳动。行为模式是在设计之初就决定好了的。就算是自修正的程序其反馈模式也是无法修改的,而其反馈模式本质上限制了其修改的空间。总而言之,除非在设计之初就将目的设为消灭人类(比如做一个以随意发射美国所有核弹为目的的自修正程序)否则人工智能很难危及人类。

  9. 2574515

    我觉得从文明的角度看,人工智能是人类的后代。

  10. 2574421

    如果人类能创造出生物智能的话,进化论、人类起源就要被改写了。所以科技发展的目的是最终还是探求三大哲学终极问题的么。但上述实验完全没说服力啊,至少目前看来是这样。

  11. 2574415

    @饕餮: 或许AI会有产生让人类无法理解的行为而人类会称之为BUG?

  12. 2574362

    虽然不是不知道各种机器人威胁论,但要是现在开始大规模推进机器人管家智能化驾驶之类的产品的话,我肯定第一个贷款也要到手……比起未来的威胁生活的便利实在诱惑人心,生活的便利几乎等同于节约生命啊。

  13. 2574201

    你确定最后的例子不是因为机器人没电了?

  14. 噬嗑
    @3 years ago
    2574187

    在说一句。在我看来,与其担心人工智能造反还不如担心一下万一有疯子或者邪教团体专门开发出以灭世为目的的智能程序怎么办。概率上说这种可能性比正常的智能机器人造反的可能性大多了。

  15. 饕餮
    @3 years ago
    2574186

    其实现在计算机的非线性算法已经很成熟了。现代所有智能设备的基础都是神经元算法的非线性分析。比如siri和cortana就是两个非常完备的大型智能。可是目前的问题在于计算机始终无法完成人类无法理解的行为,也即是只有在人类充分理解了某一行为的逻辑本质之后才能让计算机执行,包括自升级,自纠错行为。事实上回形针危机是永远不可能发生的,因为这类语言悖论的出现本来就是有违逻辑的。这个问题的提出者忽视了语言背后的隐藏逻辑,即语言的有效性是建立在特定背景的情况下的。

    但是有一个非常重要的问题,那就是目前智能都是有目的性的创造的。即目前的智能是专于某种功能的,譬如生活助理,优化分析,肢体辅助等。可是我们不能排除有人以非道德的形式无目的性的创造智能的可能。也就是以养蛊的方式将大量拥有自优化功能的AI相互连接,在无人参与的情况下长期演化。在这种情况下非常有可能出现人类无法获知的逻辑模式,或者像出现病毒一样演化速度远超人类分析速度的智能。不过就算如此,这种智能也不可能真正毁灭人类,最多是全面瘫痪互联网,变成一种强力的电脑病毒。但话说回来,如果真的出现了这种病毒,在人类不直接摧毁或格式化电脑而与其长期抗争的前提下,最终它能发展成什么样就不好说了

  16. dafeng
    @3 years ago
    2574157

    未来属于机器人

  17. 追马
    @3 years ago
    2574094

    科技奇点的钥匙到底在哪里呢?人工智能的事情我一点都不担心,没什么好怕的。就算它是魔鬼,老子也敢放出来。

  18. 秦川梦
    @3 years ago
    2574020

    @kris: 人类进入三体文明,感觉蛮好啊

  19. 书正
    @3 years ago
    2574019

    然后一台超级计算机开始思考自己存在的意义……

  20. lucky毛毛
    @3 years ago
    2574005

    话说今天正想这事呢,煎蛋就来了这么一篇。以0、1为基础的计算机技术发展的是机器的运算能力,而量子计算机发展的是联想和创新的能力。两者的结合,很有可能产生类似人脑的感性和理性的功能,而机器的功能远超人脑也不是危言耸听。人类不发展量子计算机就是画地为牢,发展量子计算机就是自寻死路。唯一的出路就是改造人或人造人。在未来把机器的能力改造进人体,并且处于人体的控制下。所以,未来的计算机载体发展结果,将是集现代计算机技术和量子计算机技术为一体的生物计算机。

  21. sccccc
    @3 years ago
    2573966

    奥创纪元

  22. 2573943

    @PassBy: 你又能怎么确认呢?也许第一个有自我意识的人工智能出现后,花了几秒进行自我优化,瞬间达到1000000亿亿个爱因斯坦的智商,设计出的骗局比人类的智囊团要精巧无数倍,对洗脑策略,教育策略,人类心理了如指掌,轻松骗过整个人类。假装不通过图灵测试,太轻松了。

  23. 2573879

    机器人三定律只是个比较浪漫的谎言而已,只是人类自己扯出来的规则,来安慰自己,这三个规则只能约束没有自我意识,只会对问题进行解析和思考的初等AI··机器

  24. 2573861

    超級人工智能淘汰人類將是地球文明一個質的飛躍!人類作爲地球文明奠基者,完成了自己的使命,退出歷史舞臺,也沒什麼好遺憾的。機器人將接過人類的接力棒踏上征程。

    [10] XX [0] 回复 [0]
  25. Asimov
    @3 years ago
    2573842

    论机器人三定律的重要性

  26. 谢耳朵
    @3 years ago
    2573825

    人工智能(人类工具)嗯…就是这样!

  27. 萝卜L
    @3 years ago
    2573788

    人类创造了什么财富,从有序的自然中掠夺?
    人试图创造一个更聪明的奴隶…?以扩充自己能为幌子,放大自己的野心。
    如果新智能更聪明有更高文明那还好,但估计先遗传的是人的贪婪。

  28. 2573785

    the machine。。。

  29. 2573759

    别的不知道 我只知道刚刚听说siri的时候是很期待能和它对话做朋友的 最好有简单的互动 谁知道被封印了

  30. 大海的方向
    @3 years ago
    2573753

    纯属瞎扯。
    按我的观察,目前的人工智能水平绝对超过不了2.5岁儿童的水平。

  31. 恶魔
    @3 years ago
    2573738

    人类要毁灭也是被自己毁灭的,一群sb科学家,连个程序都编不好还跳出来做实验。

  32. 2573733

    @fensi: 不知道多少年前,有人这么跟“深蓝”的工程师说过。
    不过我想虽然我不是工程师,我也能预见到,机器人将会比人类更会下围棋。

  33. 2573731

    @blueauris: 人类如果真的有一天能够制造出人类本身智能的复制体,那么人类的新纪元就到来了,人类将摆脱肉体的限制,星际旅行简便的异常简单,只要制造出节点,无数的人将通过量子通讯瞬间到达目的地,只是,就像人类本身的肉体一样,社会也只是一个多细胞聚合体,肉体会走向终点,最终无以为继并崩溃,比较害怕人类社会坚持不到那个阶段。
    不过关于你中间那段保守派会拒绝的话,让我想起煎蛋之前的一篇文章,大意是:保守和种族歧视的原因是智商低 : )

  34. blueauris
    @3 years ago
    2573724

    @Aiai 赞同你的观点。
    我一直认为,即使只研究出起码的最初级的人工智能(当然不是现在搞出来的这种),也要对人脑的原理有足够的认识才行。那么在对人脑的认识得到突破之后,堪比人类的人工智能出现之前,有一个科技分支方向,就是人脑和电脑的链接。虽然会有保守人士反对,但一定会有胆大之徒尝试把人脑接上电脑,甚至是尝试蛋白质人脑硅片化。这一点从目前肢残人士试用脑机驱动的义肢、盲人用摄像头代替眼球等事例就可以得到佐证,一定会有人去做的。

    显然,机械手臂比机械大脑的技术含量肯定低很多,那么如果脑机接口都成熟了,没理由全身的机械化还做不到。参比转基因的情况,对于这种脑机接口+全身机械化导致的人体替换技术,人类中的保守派会拒绝,激进派会欢迎,而大部分人会处于中间的某个状态。按大脑和身体按机械化程度的差异,人们会分成不同的类别,0%程度的是纯人类、100%的是纯机械体,中间状态都是混合人。

    那么问题就来了,如果那些由人类改造而来的100%机械化的生命体,能称之为人的话,那凭空打造的100%机械的智慧体算不算人类呢。别忘了这些机械里面携带的就是人工智能呢。然后,这些100%机械化的人类和智慧体,他们的思维方式、价值观、信仰和纯人类必然不同。他们的思维方法交流手段也不同以往(至少他们可以直接把脑子连成网络),那他们必然能突破单人肉质大脑的限制,实现超级的智力。这种智力从某个角度来说就是超级人工智能啊。所以我的结论是,最终不是超级人工智能打败了人类,而是人类借助科技手段进化了,把自己和自己的造物变成了超级人工智能。纯人类必然消亡,进化成新人类。

  35. 2573722

    说那么多有个屁用,先做出能够对抗人类的围棋程序出来吧。界定智能的标准就是围棋,有朝一日程序能够胜过最优秀的围棋棋手了,那么人类的智能就不再是优势了。

  36. 2573713

    @: 感情是一个进化优势,感情的基础是大脑的思维定势,人类的大脑更接近网络发达的人类社会,其中感情的形成类似人类社会的舆论,并没有一个准确的区域负责感情机制,事实上,几乎所有的神经元都参与或影响的人类的感情。而要想让计算机去完全模拟情感,就会浪费巨大的计算性能,但是,我觉得任何一个有感情的生物都不太会想要把感情摘掉吧······

  37. 傻蛋
    @3 years ago
    2573711

    疑犯追踪

  38. 2573708

    故事会级别的文章。 太不严谨。

[2] 1 »

发表评论


24H最赞