AI大模型的本质是压缩
2023年最火的话题想必非"AI大模型"莫属了，大家纷纷惊叹于上十亿 ~ 上百亿参数组成的神经网络大模型所带来的前所未有的智能涌现。投资者纷纷追捧，大公司、创业公司纷纷入局，试图去追赶这一风口。包括最近OpenAI CEO Sam Altman 被董事会开除一事、以及后续各种反转，各种新闻漫天飞舞、不可谓不热闹。
然后，"AI大模型"到底为何？为何会受到如此热捧？其本质到底是什么？可能非AI相关的从业人员，就不太好理解。其实关于AI大模型的本质，OpenAI 首席科学家Ilya Sutskever在一次报告给出了答案：AI大模型的本质是压缩。
怎么理解？简单描述下AI大模型是如何形成：
（1）首先是由一群聪明绝顶的科学家和工程师们设计了一个初始的模型，这个模型由数以亿计的参数和复杂的网络连接组成；
（2）然后将世界上大量的数据喂给这个模型，模型根据这些数据不断地去调整参数的大小和网络的连接方式，最终形成稳定收敛的AI大模型；
（3）这个大模型可以根据你的数据输入和具体要求，由模型的参数和网络连接进行计算，得到你想要的结果。
"压缩"的表象就体现在：喂给大模型进行训练（调整参数和网路结构）的数据可能是数PB（1PB=1024TB=1024*1024GB）级别甚至更多，而最终得出的大模型的大小可能只有几百GB。通过大模型的计算可以得到你通过在海量数据中进行逐个查找的结果，因此海量的训练数据（数PB）和大模型（几百GB）之间是“等价”的，而大模型比海量数据小了上万倍，即完成了“压缩”。
我们进一步探究“压缩”的作为AI大模型的本质在哪里体现：大模型在输入数据进行训练的过程中，其实就干一件事情：学习这些数据之间的内在规律。举个例子，当我们有1万个点沿着一条直线依次排列的时候，我们可以用数学的一次函数y=ax+b来表示这些点。这就是总结规律，同时也完成了压缩（一万个点需要一个坐标点进行表征，而一次函数只需要表示一次）。当然，大模型在表征这些数据之间内在规律的时候，其使用的函数比一次函数复杂太多，但是本质都是一样的。
压缩无处不在
其实，“压缩”在我们生活中无处不在。比如我们中学读书的时候，平时在认真的学习各个学科的知识点（输入数据在大脑中进行训练），然后在考试的时候根据问题进行作答（本质上是根据特定的约束条件输出结果）。这个学习的过程就是在压缩，我们将各种知识在脑海中进行组合、碰撞，总结规律，然后在考试的时候根据这些规律给出答案。一个好的“压缩”意味着可以在考试中获得更高的分数，因为在学习的过程中可以提取各种知识之间的更深层次规律，也就是我们平时所说的融汇贯通，看清问题的本质。反之，如果一个不好的“压缩”，意味着考试的分数可能不理想，因为他们在学习时没有掌握到更本质的规律，只记住了一些浅显的结论，在考题稍作一些调整之后，便无法作答。
图像压缩 等于 画质变差？
另外一个例子就是我们每天都会用到的，但很少有人真正理解，那就是我们平时所接触的图片和视频。无论是拍摄、存储、浏览还是其它，“压缩”都无处不在。比如我们拍摄一张照片，在镜头里所发生的事情是：由传感器采集到光子，通过光电效应将其转化为电流，然后再将电流转化为数字信号，这些数据信号转化为RGB(Red, Green, Blue)数值，由这些不同数值的混合便可以表征现实世界中的各种颜色，从而完成对现实世界的记录。通常，对于我们常见的1080p分辨率，存在200万个像素，每个像素由RGB三个参数的不同数值(数值范围在0~255之间)组成，因此未经压缩的1080p分辨率图片大小为5.7MB；如果是1200万像素，这一大小将来到34MB左右；如果是一段1分钟1080p的视频(每秒由25张连续的图片组成)，则大小为8550MB。而通常我们手机拍摄的1200万像素的照片大小为3-8MB左右，也就是这个过程中手机已经默认完成一次压缩了。
我们通常会发现，当在QQ空间存储时间过长、或者将图像视频传输至微信朋友圈时，明显图像或者视频的画质变差了。根据前面对"压缩"概念的理解，我们能很好地解释这个问题：在上传微信朋友圈或者QQ空间时，微信或者QQ对照片或者视频进行了一次非常粗暴的压缩，而且所使用的"压缩"算法并不算好，不好的意思是这些压缩算法并不能很好的提取图像内部的深层次的规律，因此只能以降低图像质量(损失图像信息)为代价缩小图像体积。
那么有人会问，能不能不要压缩？显然不能，图像和视频相比于文字，其体积增加了上千甚至上万倍，大量的图像视频数据不压缩将在传输和存储的过程中带来"灾难"，想想有上亿人同时在春晚直播实时画面。对微信或者QQ来说，压缩也是必要的，否则其云存储成本和图像视频网络传输成本将让他们不堪重负。
因此，图像压缩与画质变差之间，不能画上等号。这中间的关键因素在于：压缩算法的好坏，压缩算法能否提取图像内部更深层次的规律，从而实现在损失极小信息的同时，大大降低图像体积。
结尾
其实，我们的一生，何尝不是一次关于“压缩”的旅途：从我们呱呱坠地那一刻起，我们便开始接受各种外部世界的信息，在慢慢成长的过程中，我们会经历自大、迷茫、无助、低谷到最后豁然开朗。一个人压缩能力的强弱，表现在他看待事物的通透程度。当你发现，你总是能快速找到问题的关键时，说明你具备了一个很好的"压缩能力"，而这个"压缩能力"，将是你人生中最宝贵的财富。
注: 本文插图均来自于unsplash
