生命未来研究所（FLI）发布人工智能优先研究计划

近日，由生命未来研究所（FLI）发表的一封关于促进人工智能健康发展的公开信引起了笔者的注意，信中呼吁人们要警惕人工智能副作用。随着人工智能的发展，他们担心人类所创造出的人工智能机器会有超越人类并影响人类生存的可能，因此，开展如何规避其潜在危害的同时获取其好处的研究十分重要。

生命未来研究所是什么机构

生命未来研究所是Future of Life Institute的英文缩写，简称FLI，它是2014年由  Skype联合创始人Jaan Tallinn、麻省理工学院教授Max Tegmark等在内的志愿者创立。

值得注意的是该机构的科学顾问委员堪称豪华，包括宇宙学家史蒂芬•霍金、SpaceX 和 Tesla Motors 创始人Elon Musk、牛津大学Future of Humanity Institute主任Nick Bostrom、 MIT Center for Digital Business主任Erik Brynjolfsson、哈佛大学遗传学教授George Church、MIT物理学教授Alan Guth以及剑桥大学、UC Berkeley 等大学的人工智能方面的著名教授都参与其中。 同时，目前该机构也吸引了众多人工智能领域的志愿者。 

他们宣称，成立该研究所的目的一方面是为了促进对“未来乐观图景”的研究，一方面则是为了“降低人类面临的现存风险”。其中，在开发与人类相当的人工智能技术过程中出现的那些风险，将是该所关注的重点。

了解了生命未来研究所的来龙去脉，我们回到这封公开信本身，在题为《Research Priorities for Robust and Beneficial Artificial Intelligence: an Open Letter》的信上，他们认为人类对人工智能领域的成功追求可能会给人类带来前所未有的利益，因此有必要在关于如何让这些利益最大化方面的研究投入精力，同时避免潜在的危害，让人工智能在人类的可控范围之内。

目前参与签署这封公开信的有：史蒂芬·霍金、Elon Musk、 Deep Mind 联合创始人、 IBM Watson团队及微软研究所团队的专家。有趣的是，Elon Musk 曾在一次公开访谈说道：

就像所有的神话中画着法阵捧着圣水的邪恶巫师一样，每个巫师都声称自己可以控制恶魔，但最终没有一个成功的。

鉴于人工智能正吸引越来越多的投资，许多企业都希望能通过建立会自主思考的电脑，获得巨额回报。对于这种局面，FLI警告说，人们或许应“及时”将更多注意力集中在人工智能的社会后果上，不仅要从计算机科学的角度开展研究，还要从经济、法律及信息安全的角度开展研究。 

目前，众多互联网巨头都在人工智能领域投入巨大的资金，包括Google、IBM、Facebook、Microsoft、百度等。并且在某些方法，人工智能的研究已经初见成果，包括语音识别、图像识别以及自动驾驶的汽车等。据估计，在硅谷如今从事人工智能业务的初创企业超过了150家。有权威专家指出2015年将是人工智能爆发的一年。 

这封公开信还附上了一份 研究报告 ，整个报告分为四大部分：人工智能现状、短期研究优先项、长期研究优先项、结论。

人工智能现状

人工智能（AI）研究自诞生以来就探索各种各样的问题和方法，但在过去20年，一直专注于在一些环境感知和行动的智能代理系统的构建。在这种背景下，“智能”就和相关统计和经济合理性的概念有千丝万缕的联系，通俗来说，就是能够做出好的决策、计划或推论。采用概率和决策理论观点以及统计学习方法在很大程度上导致在人工智能、机器学习、统计、控制理论、神经科学和其他领域的集成和互补。结合数据的可用性和处理能力，建立共享的理论框架，已经在语音识别、图像分类、自动驾驶车辆、机器翻译、步态运动，自动问答系统取得了非凡的成功。

随着该领域从实验室研究到有经济价值的技术跨越，已经形成一个良性循环，甚至一个小的性能提升都会值得大笔投资，带动更多的投资研究。现在有一个广泛的共识，即人工智能研究正在稳步地取得进展，它对社会的影响可能会增加。这个领域潜在的利益是巨大的，因为文明所能提供的一切都是人类智慧的产物，这种智慧被人工智能可能提供的工具放大后，我们能做到什么是我们无法想象的，不过那样的话根除疾病和贫困将不再是遥不可及的。从这个意义上说，人工智能有巨大的潜在好处。

人工智能的研究不仅仅是让其性能更强，还应该让它对社会的效益最大化。这些考虑促成了AAAI 2008-09 Presidential Panel on Long-Term AI Futures以及人工智能影响的其他项目，并因此构成了人工智能领域自身的延伸，而到目前为止，这些都主要集中在技术中立的目的。我们建议扩大研究旨在确保越来越强大的人工智能系统是健壮的以及有益的：我们的AI系统必须做我们想要他们做的事情。现在的这个人工智能研究优先级报告给了很多这样可以帮助AI社会效益最大化的研究建议。由于人工智能这项研究是跨学科的。它涉及经济、法律和哲学以及计算机安全、形式化方法，当然，还包括各种人工智能的分支。

综上所述，我们认为，研究如何使AI系统健壮及有益是重要的和及时的，这将让我们在今后的研究中有具体的方向。

短期研究优先项

人工智能工业应用的成功，不管是在制造业还是信息服务领域能显示对经济产生越来越大的影响，虽然很难区分这些影响到底是来自人工智能还是其他信息技术，但是众多经济学家以及计算机学家都一致认为，需要做一些有价值的研究来确保经济效益的最大化，并且减轻人工智能带来的不利影响，其中包括逐渐增大的不平等以及失业情况。这些情况正在激励着我们众多的研究方向，包括经济学以及心理学。 

1. 优化人工智能的经济影响力

1．劳务市场预测：何时以及以什么样的顺序让我们期望的各种工作自动化？这将对低技术工人的工资、创意、信息工作者的类型带来哪些影响？虽然有人对人工智能可能会大大增加人类作为一个整体的财富有些争论，但是无论如何，增强的自动化还是会推动收入指数增加。

2．对其他市场的破坏：重要经济领域，包括财政、保险、精算，还有许多消费市场，可能由于使用人工智能技术来学习、建模和预测代理行为而容易受到破坏。这些市场可能是那些复杂性高回报也高，操纵起来也较为复杂的领域。

3．管理副作用的政策：哪些政策可以帮助越来越自动化的社会趋向繁荣？例如，Brynjolfsson和McAfee探索各种政策保持劳动密集型行业的发展以及利用人工智能创造的财富来支持半失业人群。诸如教育改革等的干预措施有哪些优点和缺点。 

4．经济措施：经济措施诸如实际人均国内生产总值很有可能不能精确获得重度人工智能以及基于自动化基础上的经济收益和损失。从而使这些指标不适合政策制定的目的。针对改进指标的研究对于决策者来说是非常有用。

2.  法律和伦理学的研究

人工智能系统的发展，使得大量涉及智能和自治权导致的法律和伦理问题具体化。对这些问题的解答深刻影响着人工智能技术的生产者和消费者。这些问题跨越法律、职业道德和哲学伦理，需要计算机学家、法律专家、政策专家、伦理学家的专业意见。例如：

1．自动驾驶汽车的法律和责任：如果自动驾驶汽车能够削减美国年度汽车死亡人数40000的一半，那么汽车制造商得到的不是20000张感谢信，而是20000张诉讼状。什么法律框架可以实现自动驾驶汽车的安全利益？人工智能带来的法律问题是由原来的法律解决还是分开单独处理？在军事和商业应用，各国政府将需要决定如何带来最好地相关专业知识。例如，可以创立一个由专业人士和学者组成的委员会或小组，Calo已经提议建立一个联邦机器人技术委员会。

2．机器伦理：如何权衡无人驾驶汽车的小概率人类损害事件和近乎必然的巨大材料成本？律师、伦理学家和决策者如何向公众解释这些问题？这种取舍应该符合国家的标准？

3．自动武器：致命的自动武器符合人道主义法律吗？或是像一些组织认为那样，自主武器应该被禁止，如果法律容许使用致命的自动武器，这些武器应该如何被集成到现有的指挥和控制结构，以便职责和责任能够被分散，又该如何是定义“有意义的人类控制武器”？最后，如何促进这些问题的透明度和公众话语权？

4．隐私：AI系统从监控相机、电话、电子邮件中获得的数据侵犯到隐私权吗？我们人类如何利用人工智能和大数据取决于我们管理和保护隐私的能力。

5．职业道德：计算机科学家应该在人工智能开发和使用的法律和道德上扮演什么样的角色？过去和现在有很多项目在探寻类似的问题：包括AAAI 2008-09 Presidential Panel on Long-Term AI Futures 和EPSRC Principles of Robotics 以及最近宣布的斯坦福大学的One-Hundred Year Study of AI and the AAAI committee。

3. 促进人工智能健康发展的计算机科学研究

随着自主系统变得更加普遍，它们的鲁棒行为将变得越来越重要。自动驾驶汽车、自动交易系统、自动武器等等的发展，理所当然的引发了如何保障高可靠性系统的鲁棒性，Weld 和Etzioni认为“社会将拒绝自主代理除非我们有可靠的手段来保证他们安全”。

1.验证：如何证明一个系统满足特定期望的正式属性 
2.有效：如何保证一个系统满足它的正式需求，而没有其他无关的行为和后果 
3.安全：如何预防系统被未授权人员故意操作 
4.控制：如何确保人工智能系统运行后，在该系统上有意义的人类控制

长期研究优先项

报告的结论