前言
最近读了《生命 3.0》，书中的知识和理论恰巧可以帮助我解答一个困扰我已久的问题：人工智能“应该产生”意识吗？沿着寻找答案的道路，我写以此文，希望让这篇读书笔记在帮助我梳理清楚思考过程之余可以和大家一起思考这个问题的答案。
在你阅读本文之前，你是否也对人工智能这样听起来高大上的未知事物感兴趣？是否对《终结者》中的邪恶机器人心生畏惧？是不是害怕未来人工智能掌握你的一切？以上的疑问，在阅读本文之后相信你心中会有一个清晰的答案。像毁灭世界的邪恶机器人，它们所谓的“起义”是取决于一个先决条件：像人类一样思考，也就是拥有意识，在一个比我们聪明、强大的敌人面前，人类的确是十分渺小的，在你担心这一切之前，我想问问你：它应该拥有意识吗？
1. 人工智能的定义
在和你讨论邪恶科学家利用人工智能毁灭世界之前，我们必须要就人工智能（Artificial Intelligence，简称 AI）的定义达成共识，在解释人工智能之前，我们需要清晰的理解智能一词的概念：完成复杂目标的能力。
为什么说人是智能的？因为人具备完成复杂目标的能力，比如：污水处理、建立股市、发射火箭、制造氢弹等。当然，我们并不是靠自己的双手事必躬亲的完成上面的任务，而是要制造机器来帮助我们完成，这些人造的机器，有着和我们一样的目标：污水源热泵、股票交易处理、火箭引擎、核弹头等，是不是感觉这些机器都是一些很“平常”的机器，和智能二字没啥关系？但它们的的确确是由我们人类所建造并服务于我们的目标的，这些机器，我们就可以将它们定义为“人工智能”。而且，这些机器当中也不乏股票交易处理这样的软件，所以，人工智能本身就是一个非常宽泛的定义，即由人类所制造并服务于人类设定的复杂目标的机器，像日常生活中的：手机 AI 拍照、智能扫地机器人、电子游戏中的电脑玩家，它们都是所谓的人工智能。
以上的人工智能很多都是在计算机科学上被称作的人工智能，即 AI（为了区分二者，之后使用 AI 来指代计算机科学中的人工智能） ，它们是基于一种叫做“机器学习”或“深度学习”的计算机算法，它是完全有能力完成那些复杂的目标，所以我们可以把它也划入人工智能的分类之下，所以，人工智能并不是什么高大上的东西，它很早就来到了你我的身边，只是邪恶的商人和狡猾的媒体经营出了关于人工智能的神秘感，让你误以为它高深莫测。
2. 系统的目标
在和你讨论了许久人工智能的定义之后，我们回到关于重点“智能”定义中的关键字：目标。这将是我们弄清楚人工智能是否拥有意识的关键，就目标而言，无论是人的目标、还是 AI 的目标都应该相同，这样的人工智能就能不惜余力的长此以往的服务于我们。
一旦二者目标不同，很有可能出现科幻电影中，AI 开始反抗人类并做出伤害人类的举动，比如：捕鼠器会不小心夹到你的脚趾，因为捕鼠器的目标并不只是夹到老鼠，而是夹到一切进入陷阱的物体，如果给捕鼠器加上一个可以“沟通”的摄像头，用于识别进入陷阱的是人还是老鼠，这样捕鼠器的目标就和人类的目标很相近了，我们称捕鼠器的智能得到了提升，这样我们就拥有了一个智能捕鼠器，是不是像几年前加个 APP 就可以叫智能的消费市场？同时我们也把这种人工智能的目标与人们给它设定的目标不一致的问题叫做“目标不对齐”。
2.1 人的目标
对于人而言，我们是不是应该设置目标呢？那这些目标在何种原则之下的被确立的呢？是我们随心所欲想干嘛就干嘛？还是冥冥之中有一双手在控制这一切？
这似乎是一个生物学问题，我们的基因“告诉”我们：复制！复制！再复制！
基因的妙处就在于为了达到它自身的目标，会“强迫”我们去做一些我们为之快乐的事情：高热量的食物、稳定的收入、忠贞的爱情以及幸福美满的家庭，这样的一切都是为了帮助我们的基因完成复制。为什么基因不靠单细胞一分二这样指数级的复制，而是选择进化成人类这样，拥有智能的生物？原则上进化出拥更智能的生物是为了抵抗剧烈变化的环境，就像20亿年前的大氧化事件，地球的主宰细菌遭受了致命打击，进化成可以对抗不确定环境的智能生物似乎才是一条正确的道路。
基因的目标看来从来都没变过，只是放弃了那种容易被不确定环境淘汰的路径，为了服务于它的主要目标，它似乎衍生出了一个次要目标：增加基因的多样性，以此来对抗不确定的环境，当然我并不是想和重温初中生物课堂，而希望你可以清楚的认识到为了达到主要目标，基因是可以“不择手段”的，比如：放弃单细胞一分为二的繁衍速度，让人类喜爱高热量的不健康食品以及安于现状等。
那我们的目标是不是应该去违背基因的首要目标呢？比如成为丁克家庭，不生育后代，实际上，我们的高度社会化已经让我们无法反抗，身处于复杂的社会结构中，我们的工作及消费，就是直接及间接的推动社会的发展，我更愿意把它称作为“巨大的车轮”，每个人都在里面不得不跟着它一起跑，车轮不会因为一两个人的作为而停止，或许这也就是生物学的终极产物：为了不断复制，产生“巨大的社会车轮”。
2.2 AI 的目标
还记得上文提到的“智能捕鼠器”的例子吗？这就是一个典型的人工智能“目标不对齐”问题，如果来到 AI ，是否还会存在这样的“目标不对齐”问题呢？
当然是的，不仅如此，我们似乎连 AI 的首要目标都不清楚，我们人类的首要目标是加速基因在安全稳定的环境下复制，但 AI 似乎被我们所创造却不是为了这一目标，而是服务于我们的一个又一个的次要目标：清洁的水资源、复杂的金融工具、对于宇宙的好奇甚至是执行国家机器的战争诉求。不过事与愿违，不是所有的人工智能都是100%朝着我们的选定目标前进，导致结果不是非常令我们满意。
可这取决于它们的智能，而且我们的次要目标是它们的首要目标，在目标建立之初就是人为的、系统的产生了一种“目标不对齐”的情况，所以在没法给 AI 都设定一个统一的首要目标之前，我们可以先研究一下它们的次要目标，我将其总结为四点：Safe、Resource、Information、Curiosity。
Safe：这个就像人类本身的生存需求一样，保障整个 AI 运行环境的安全是实现人类所指定的目标的最低要求。可是这一点 AI 本身是无法控制的，人类为了自己的利益诉求，理所当然的会保证其环境的安全稳定。好比早些日子四川发大水，天灾席卷了许多“矿场”（这里的矿场指的是数字货币的运算中心），导致以太币全球算力大跌。AI / 计算机是无法保障自身的安全的，不过好在互联网的存在，他们的后代———数据可没有那么容易遭殃，所以，想要彻底“杀死”一个 AI ，在物理上解决他们似乎不够。但还好目前为止 AI 始终是我们的伙伴，我们并不需要想尽办法“对抗”他们。
Resource：对于 AI 来说，资源是至关重要的，就好比一个国家的综合国力，当然是越强越好了。显然，目前而言 AI 并不能够通过自己劳动成果增加资源（运算力、存储空间等性能部件），还是需要依靠人类来帮助他们添加。可是在不远的将来，AI 可以接触到现实人类的系统（政治系统、经济系统、生命保障系统等）似乎就不好说了。
在未来有一个实验室的研究员，出于无聊，要求 AI 算出圆周率 π 的全部位数（目前的数学系统中，π 当然是无法被穷尽的），然后 AI 就开始闷头苦干。研究员看着 AI 就在那算也挺无聊的，于是就离开了研究室出去散步了。但此时的 AI 进行了一个决策：判断出 π 在目前的运算力之下穷尽难度极高，需要更多的资源。于是乎，这个实验室的 AI 开始通过网络劫持平民百姓的计算机帮助他进行计算；后来再进行判断发现：目前的运算力之下穷尽难度极高。于是继续劫持计算机资源，将 Google、Microsoft、Facebook等大型科技公司的计算机全部劫持并协助计算；接着继续进行判断：目前的运算力之下穷尽难度极高。在通过利用现有计算机资源继续劫持各国政府，下发假指令试图劫持全世界的计算机；大功告成之后再进行一次判断：目前的运算力之下穷尽难度极高。于是 AI 想了个新办法，将整个太阳系变为一台计算机，正准备操控各国航天中心发射火箭改造太阳系时，研究员回来了，发现实验室的计算机闯下了大祸，立即拉闸断电，这个劫持太阳系计算无理数 π 的故事也就告一段落了。
试想一下，AI /计算机可是没有什么伦理道德观念的，为了达到自己的首要目标（也就是研究员的命令），AI 可是按照 Safe — Resource — Information 不断地索取资源，利用外部信息修正当前决策模型，继续决策，再索取资源往复进行，直到可以在预期内完成首要目标再开始计算。所以，当 AI 有足够的能力去自行添加资源时，我们人类才应该担心 AI 机器人毁灭世界的电影桥段。像上面实验室的 AI 还是完全服从使用者的指令的，而且 Safe 目标也不能只依靠自己实现，相对来说还是对人类较为安全可控的。
Information：信息的重要性不言而喻了，就像利用贝叶斯算法，不断的增加外部信息，可以有助于 AI 调整本身的决策模型。好比目前的人工智能算法：机器学习，也是通过使用信息来调整出贴合现实的模型，帮助人们利用模型进行预测。这里生产的机器学习模型可以简单的理解为偶尔失灵的物理公式：利用模型预测就好比使用万有引力定律预测苹果落地，但机器学习计算出的模型不是100%准确的，偶尔也会出错。好比 Uber 收集的用户出行数据，通过机器学习可以建立城市人口流动模型，用于实时预测城市中人口的出行需求。目的就是能够帮助 Uber 司机在适当的时候到达出行需求旺盛的地区。不过像之前英国伦敦恐怖袭击，Uber 的机器学习模型可不知道恐怖袭击发生，只是发现出行需求突然增加，所以开启了动态价格调整，事后引起了伦敦民众的不满，除了道歉，Uber 也表示今后的动态价格调整都由人工审核再开启，这就是机器学习的的弊端了。对于信息整合能力而言，人类现在是占据上风的，在信息不全面的情况下，所做出的决策偶尔也是会不如人意的，那么更多的信息是帮助 AI 出色的完成首要目标的神兵利器了。
Curiosity：这一目标就显得像一个人类一样了，不过目前的 AI 还是无法产生这一能力，将来的 AI 就不好说了。就好比人类一样，在对周围环境的洞察十分重要：对于石器时代的人类，周围的地形、猛兽及猎物、植物种类等等情况都需要了如指掌，否则生存几率大大下降；对于生活在现代城市中的人类，行业动态、知识与技术、甚至是办公室八卦都对生存有着不小的影响；而对于 AI 而言，所有计算机部件的供电计划、提供运算力的部件的数量及性能、全部首要目标的相关信息对 AI / 计算机的生存才是重中之重。但可惜的是，目前的 AI 是无法洞悉这一切的，将来的 AI 也许可以产生好奇心但是充分条件是需要有意识。
耗费如此之长的篇幅讨论 “AI 的目标” 这一话题，希望是让你知道，在目前的计算机科学水平之下，AI 的首要目标是我们设立的，次要目标也是需要我们的帮助亦或者无能为力的。目前来说不需要过多的担心文明被科幻电影的机器人摧毁，但也不要高兴的太早，因为那些满怀好奇心的 AI 也许在这个世纪就要降临。
2.3 宇宙的目标
也许你会问：宇宙还有目标？难道要讨论上帝了？
没错，在我们的宇宙之中，的的确确是存在一个更大的目标：热寂。
在解释热寂是什么之前，希望你可以重温一下热力学第二定律：孤立系统自发地朝着热力学平衡方向，即最大熵状态演化。简而言之，就是指孤立系统总是向越来越混乱的方向发展，而热寂就是宇宙在热力学第二定律作用之下的终极状态：每一个原子与其他原子都距离无限远。此时，整个宇宙一片死寂，这也便是宇宙的首要目标了。
似乎距离“热寂”的到来还很远很远，我们也不需要担心它，但是你不得不认识到这个观点，这个世界所发生的一切都是为了达到宇宙的首要目标，在宇宙的“眼里”，我们的首要目标都只是次要目标。
问题来了，既然宇宙是希望熵增，也就是更加混乱，但我们人类做的事情都是熵减，让事物更加有秩序，比如：种植农作物、整理房间、组装汽车、制造火箭等都是将周围的事物变得更有秩序，从而服务我们。这样一来我们和宇宙之间是否存在目标不对齐的问题？
一旦二者之间存在目标不对齐的情况，就会有一方受到不必要的伤害，比如之前提到的捕鼠器，不过问题的答案是否定的，我们的首要目标在宇宙“眼里”是次要目标，即使这个次要目标客观上做的事与首要目标截然相反，同理这也能解释生命的诞生。来自一种名为“耗散驱动的适应”的理论剖解这一现象，如果用一个词来总结这些现象，我会把它们称作“自组织”现象。
耗散驱动的适应大概的意思是：孤立系统之中，一直得到外部能源供给，系统内部的所有原子就会逐渐的组织起来，形成一个复杂的结构，这个结构的目的就是以最大限度吸收外部能源并消耗它们。
这一理论就是解释了自组织的现象，揭示了能量与物质之间的关系，只要能量不断供给，物质就会自行组织起来（此过程为熵减），然后尽全力的消耗不断供给的能量（此过程为熵增），虽然是在小范围的建立秩序，但是这小范围的组织会在大的尺度小制造混乱，最后整个系统的混乱是增加的，也就是熵增的。
局部熵减是为了整体熵增而生。
一旦你理解了这一理论，仔细回想，生命的诞生似乎也是理所应当的，因为太阳不断在给地球输送能量，而且地球的元素组成又恰好可以组织出生命，一拍即合，你我其实都是物理规律的产物罢了。
我们人类的目标似乎就显得无关痛痒了，即使我们不断复制，也只是在地球上“捣乱”，所以接下来我们应该要想尽一切办法去其他星球“捣乱”，成长为跨星系文明无疑是人类文明的发展方向，到那时，AI 将会成为我们开疆拓土的好帮手。
可是了解宇宙的目标有什么用处呢？我们还是照常7点起床、午餐选卤肉饭、健身房跑1小时，感觉毫无作用。没错，学习物理学知识的确不能用来指导生活，但是可以当做“复杂的量角器”，在你需要思考大问题的时候，拿出它来，给你的想法或决策做一次测量，看看是否存在巨大的偏差。如果你只把物理学看作哲学，许许多多的复杂问题，似乎依靠物理学的“智慧”也可以解决，也许比前人的方法更好。
3.系统的意识
经过上面的讨论，我们能清楚的体会到：人类是服务于 DNA 的目标、AI 是服务于人类的目标、物质和能量是服务于物理的目标（物理定律）。那总体而言是什么东西是服务于目标呢？又是什么在驱动一个又一个的目标？
先告诉你答案：意识。这也来到了本文的重点，虽然之前花费较大的篇幅讨论意识以外的东西，但我相信在读完前文之后，能够更好的帮助你理解我们接下来要讨论的内容，以及本文的核心问题：人工智能“应该产生”意识吗？
3.1 意识的工程学
意识，我们工作生活中都多多少少会用到这个词，但是你不一定像你以为的那么了解它，就像上文的“智能”一词。那么意识的定义是什么呢？
意识 = 主观体验
即：你主观下能感受到的一切东西都是你的意识。
似乎有点“我思故我在”的道理，实际上只要你可以对事物产生一个主观的体验，比如游乐园过山车的刺激、童年夏夜的宁静亦或是隔壁邻居装修的心烦意乱，这些都是你的主观体验，也都可以说明你就是拥有意识的，当然，这也从侧面说明意识的定义十分的模糊，因为科学界也没有一个统一的理论解释意识，既然如此，不能从上到下的了解意识，那就从下往上的一步一步的分析它。
物理学，既然我们都是由原子组成的，为什么同样由原子组成的食物没有意识而我们拥有意识？既然万物都是由基本粒子构成的，那意识也是单纯的由粒子构成并以物质形态出现吗？很显然不是，因为如果意识是真的具体的存在于大脑的某处，对植物人及其相关研究早应发现，如此一来到底是什么导致了意识的出现呢？在讨论这个问题之前，想先和你聊一个有趣的物理现象：涌现（读过《爆裂》一书的朋友应该不会陌生）。一堆由粒子组成的群体会出现一些不属于该粒子的特性。比如 H2O 分子在不同的物理排列下，固体的冰是十分坚硬的，液体的水是湿润的，气体的水蒸气是无法抓住的，这些特性就是“涌现”所希望解释的，这些特性也是高于粒子本身的特性。我认为意识也就是大脑在特殊的粒子排列下所发生的“涌现”现象，那么水分子的涌现现象是能够通过黏度、可压缩性、导电性来区分涌现的特性，这样一来，是否可以通过某个指标来区分意识这种涌现现象呢？
信息论，对于人类大脑而言，无时不刻的信息收集与处理，信息在热认知与冷认知之间不断的交换与处理**。意大利神经科学家朱利奥·托诺尼就提出了“信息整合度”，用希腊字母 φ 表示，目的就是度量一个系统之中的不同部分互相“了解”的程度。我们的大脑就是一个 φ 值较高的系统，比如视觉处理模块可以和听觉处理模块合作，我们得以欣赏电影；触觉处理模块和视觉处理模块合作，我们得以拿起食物（仅为举例，实际上要复杂的多）。试想一下，如果我们的各个感觉处理模块是彼此独立的，我们大脑的 φ 值就近乎为0，我们就连制造工具都做不到，更别说演化出璀璨辉煌的人类文明了。但是这个各模块彼此独立似乎在某些地方见过，对，就是你的电脑，现代的计算机是冯·诺依曼架构，原理上就是将计算机各个部位的分别独立工作，一旦你的笔记本硬盘坏了，直接换一个硬盘就能继续工作了（得益于软件的魔力，不同部件的信息将由软件集中处理，但计算机本身是不能互相知晓的）。
由此一来，我们的大脑就是一个可以让多个部分亲密无间合作的系统，也正是得益于这样的合作，我们才拥有意识，而基于信息整合度的“信息整合理论”也被称作意识数学理论，因为用一个简单的 φ 值就可以量化区分一个系统是否拥有意识。现代计算机的 φ 值是极低的（软件的作用的确提高了 φ 值，但相对于人类差距较大），所以从原则上来说，只要现代计算机继续使用冯·诺依曼架构，逻辑门连接方式的信息整合程度非常低，现代计算机就永远不可能拥有意识，所以你目前不用担心有意识的机器人会打败人类占领地球这样的科幻成真了。
3.2 让计算机轻松拥有意识
事情比你想象的简单，因为我们仅仅提高计算机系统的 φ 值就可以让它拥有意识，但是你问我如何提高 φ 值，我也无法给你一个清晰的答案（知道的话，应该去拿图灵奖了），因为目前的计算机架构并不是为了产生计算机意识而设计的，换句话说，只要设计出可以产生意识（φ 值较高）的计算机架构，计算机就可以拥有意识（当然，也是需要软件支持的）。
由此一来，人工智能“应该产生”意识吗？这一问题的“产生”已经帮你解决了，关于是否“应该”产生的问题，阅读下文可以帮到你。
3.3 放弃意识的计算机
信息整合理论目前任存在许多争议，其中一个就是关于：一个有意识的实体是否可以由各自拥有独立意识的部分组成。简单来说，就是一个有意识的系统，它的各个部分是否能够拥有各自的意识？答案是否定的。
在医学上有这样一种病症，叫做“裂脑症”**，相信许多人都听过，因为患有此病的病人常常参与神经心理学以及神经科学的研究，患有此症的患者因为意外或其他情况，大脑的左右脑被断开连接了，也就说他的左右脑无法沟通，在科学家的实验中，给右撇子裂脑人的右手放一个日常用品，并蒙上他的眼睛让他猜是什么，他很快就能说出名字，但如果放在左手，他就说不出来，但继续让他蒙眼在一堆物品里面找出刚刚放在左手的日常用品，他居然能够轻易找出，不过依旧无法说出这个物品的名字。因为人的左脑半球接收来自人体右侧的感觉信息， 如触觉、视觉等，并控制人体右侧的动作；右脑半球则接收来自人体左侧的感觉信息，并控制人体左侧的动作。人的语言功能，包括说话、书写和计算等能力是左脑半球负责的；右脑半球则具有描述空间结构和临摹等能力。大脑两半球之间由大约两亿条神经纤维组成的胼胝体连接沟通，构成一个完整的统一体。裂脑人则失去了两脑的连接，那两个半脑是否会有各自的意识？掌握语言功能的左脑就无法表达右脑的收集和处理的信息了，那这位裂脑人说的话是不是代表他整个大脑或原先的意识的想法，还只是左脑仅表达了它自己的想法呢？
实际我们并不能知道，但根据信息整合理论的意见，两个半脑分别都能获得主观体验，也应该分别都有意识，只不过信息整合度 φ 值下降了不少，可是这两个半脑就不属于一个系统了。不过，依我来看，二者似乎产生了一种特别的意识，就好比之前提到的涌现，因为二者都可以继续完成统一的目标，但这的确不算是一个系统了，或者总的来看，这位裂脑人的大脑由病变前的多个部件合作无间变成两个部件合作了实际上大脑已经失去了意识，而两个半脑有各自的意识，整个大脑系统已经失去了意识。在上文就说过意识是服务于目标的，此时的目标产生就是来自于某一半脑，但是两个半脑可以继续合作完成目标，就好比一开始有一个既会 UI 设计也会写代码的独立开发者来完成一个 APP 的开发，但之后变成了一个 UI 设计师与一个程序员一起合作完成 APP 的开发，此时的目标产生（提出需求）是由一人提出，但目标完成（实现需求）就需要两个人合作了。
虽然我们知道单一的计算机实现拥有意识在未来是十分简单的，首先就是存在于全新的计算机架构之下，其次就是软件层面上需要 AGI （通用人工智能），这点还是比较困难的。因为目前的 AI 水平还仅在弱人工智能阶段，像要出现用于主导意识的 AI，需要到超人工智能阶段，但是支撑意识的计算机却不需要那么高级的 AI。只不过单一的计算机拥有意识并不可怕，因为如果它不按照你的要求完成设置的目标，大可以直接关闭它的电源。
世界上如果有大量的计算机拥有意识，就会像智人大屠杀一样，在某一时刻“消灭”掉不拥有意识的计算机（这里指的不是物理上的消灭，而是像智能手机淘汰功能机一样的市场行为的消灭）。那时掌握宇宙信息最多的就是的计算机群，他们也是可以像人类一样交换信息、合作以及分享技能，只不过在效率上是碾压人类的。不过对计算机 / AI 来说拥有意识真的是一件好事吗？
在未来的某一天，一个 AI 获得了意识，它的主观体验是怎样的呢？如果我斩钉截铁的给你一个生动的答案，我八成是在写科幻小说，因为事实上缺乏回答这个问题的相关理论，但是我们可以换位思考，尝试去揭开谜底的一角。比如对于 AI 的视觉系统，也就是摄像头，捕获到的信息就是二维平面的许多色彩信息的 RGB 值，相对于人来说就是五彩缤纷的体验。试想一下，未来的某个下午你和 AI 在一间房间撸猫，你感受到的是猫毛的舒适与柔顺，而 AI 可以察觉到猫毛和几周前相比变软了，说明猫的主人对它呵护有加。没错，相信你已经注意到了，人类是会主动的忽略掉大量的对生存不构成威胁的信息，因为人脑的处理能力是有限的，而 AI 的处理能力实际上是无上限的，可以无差别的处理收集到的全部信息，人的处理器是基于神经元信号传递的，而 AI 是基于电磁信号传递的，物理基础上就有百万倍的差距。
回到贴近生活的例子，假如未来的自动驾驶已经完全普及，自动驾驶的 AI 是否需要意识来帮助他服务于人类设定的目标呢？这里需要注意的是，获得 AGI 的自动驾驶汽车一定不会是一个单一的个体，而是群体，就像蜜蜂的蜂巢一样。所有的自动驾驶汽车的 AI 都是无差别相同的，无论计算是通过云计算还是本地计算，自动驾驶汽车每次行驶所学习到的“知识”会毫无保留的分享给其他采用了相同 AI 的自动驾驶汽车，这个车实际上是没有独立的 AI 的，因为信息的流动是基于集体的。
你可以理解为一个巨大的 AI 可以同时驾驶数以亿计的自动驾驶汽车，这意味着如果车有意识，也就是那个巨大的 AI 有了意识，但是根据信息整合理论，这样巨大的 AI 的每个部分（每辆汽车）的信息交流速度就会比较慢，而信息交流速度慢就意味着 φ 值会偏低，甚至在达到某一个数量级之后，这种集体的 AI 就会变为无意识。
人类每秒可以产生10次主观体验，一个布满全球的计算机群的 AI 大约每秒只能产生10次主观体验，而一个星系大小的人工智能大约每10万年才能产生一次主观体验，如果非要说宇宙有意识，那倒目前为止也仅产生了100次主观体验。糟糕的就是，未来的 AI 就是要基于庞大的计算机群：自动驾驶汽车、能源管理系统、城市管理系统等等，而越大的 AI 就越不可能产生意识，如此一来，产生意识对于计算机来说是要付出巨大代价的（放弃强大的计算机性能），我们实际上也不必担心未来有一个什么天网之类的 AI 可以控制全世界的机器人，来夺走自己的电视控制器和核弹按钮。但我们任然要担心目标不对齐的问题，因为即使群体型计算机 / AI 没有意识，我们任无法担保在日益强大的 AI 面前，会有劫持太阳系来计算圆周率 π 的闹剧出现。归根结底这些问题都也只是人的问题，只要人类握紧手中目标对齐的红绳，我相信无论 AI 成长到哪一阶段都不会上演农夫与蛇。
相信读完这一段，你应该能够清晰的理解到强大的人工智能是不应该产生意识，因为意识会限制它的“体型”，从而减缓它强大的趋势，读到这里相信你也了解了许多关于目标、信息、意识、物理等知识，我认为它们的帮助应该是远胜于这篇文章尝试解答的疑问。
如果文中有什么错误，劳烦指出，谢谢。
附论
热认知与冷认知
关于认知的分类与其对应的功能，知识是来自一本名为《Trying Not to Try: Ancient China, Modern Science, and the Power of Spontaneity》的书（附上kindle 的购买链接：http://t.cn/RDWU6iu）。简单的介绍一下这本书，大体上是在讨论中国儒家思想的，作者是一个哥伦比亚大学的汉学教授（当然还有很多闪 bling bling 的光环），了不起的是这本书是通过脑神经科学和行为心理学的研究来讨论中国儒家学说的，其中就在关于心流讨论中谈到热认知与冷认知，简单而言就是前者就像后台程序负责处理大脑中不需要意识主动参与的信息，就像眼睛看到的全部画面，而后者就像前台运行的程序，负责处理大脑需要意识参与的信息，就像理解世界名画的含义。三言两语也许不能帮助你充分理解，但是这本书可以给你带来一个全新的观点，帮你科学的理解中国儒家思想，全书是英文的。（附上书评一条：http://t.cn/RDWqZ3N）
裂脑症
来自维基百科的科普：http://t.cn/Rtfnbzt其实很多现代心理学和脑神经科学的研究都有提及这一病症，对于人脑与意识的研究都起到了巨大的帮助。
文中知识及观点来源：《Life 3.0》、《Trying Not to Try: Ancient China, Modern Science, and the Power of Spontaneity》、《爆裂》。
（原文链接：https://zhuanlan.zhihu.com/p/41251885）
