Matrix 首页推荐
Matrix 是少数派的写作社区，我们主张分享真实的产品体验，有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章，展示来自用户的最真实的体验和观点。
文章代表作者个人观点，少数派仅对标题和排版略作修改。
在本文之前，你可能已多次听到过 AR 这个词。有人将其与 VR 比较、有人说雷达 Lidar 传感器是下一代革命性硬件、有人说 AR 应用是未来。你也许会好奇这个年年都说是未来的技术，到底我们生活到底还有多远。
本文分为两部分，上半部分我将分享我的 AR 使用体验，带你看一个简单 AR 场景的制作构成；下半部分带你了解 Apple 在 AR 软硬件发展的所作出的努力，并分享我对 AR 未来的一些预测及思考。
AR 使用场景
AR 的全称是增强现实，通过显示屏与各类传感器，能让虚拟世界中创作出的物品与现实世界产生交互。若你拥有 iPhone 6 之后的任意机型，或同期的 iPad，已经可以用上这个新技术。如下图所示，在宜家的应用中，用户可以足不出户，直接尝试各种家具在家中的摆放效果。
技术方面，现有 AR 解决方案已经可以检测并记录虚拟物品在现实环境中的准确位置、分辨虚拟物品与现实中物品的遮挡关系、为虚拟物体增加在现实中的光源与阴影、让虚拟物品与现实中的物品产生交互等。就像其它新技术一样，AR 的具体使用场景仍处于探索阶段，下面是我在关注的几个使用角度。
游戏 - 沉浸与代入感： 说到虚拟现实的应用，许多人可能都会想到游戏。起先我并没太注意这些所谓 AR 游戏与直接在手机里玩有什么区别，直到前一阵子，精灵宝可梦支持了 AR 模式，允许你把宝可梦放在世界中，如下图。
在真实世界中与宝可梦互动的体验让我意识到，在手机中与模型交互，给人直观的感觉始终是在和屏幕互动，无论模型和场景搭建的有多精致，用户感知到的始终只是屏幕。将模型放在现实世界中，无论你怎么移动手机，它还在那里。虽然仍旧摸不到，但能看到它出现在日常生活中，熟悉的现实里，带来的 沉浸与代入感 完全不同。
教育 - 三维是空间概念： 我曾上过一节语言学课程，其课程内容要求学生掌握人体主要器官及声带的组成部分。如下图所示，人的声带包含许多细小的组成部分，每个组成都非常见形状，图片是二维的，因此很难透过表面的形状了解到物体的实态。
为帮助记忆，于是我下载了一个叫做 Complete Anatomy 的解刨学应用。这个应用中有三维视图，但其操作非常不方便，每次我想放大或缩小时，它总没办法缩放到所需度上。
偶然发现它还支持 AR 视图，便试了试，没想到一试就没离开。在 AR 模式下，解刨模型就悬浮在空中，只需要走近或者离远一点就可以从不同角度查看声带构成，需要旋转时，只需要人为走动即可。
当我打开 AR 应用时，恍然意识到三维模型 本就应该空间概念。 建筑学用二维的三视图来避免图纸与模型潜在的不确定因素，呈现在空间中的三维模型则可以彻底避免这个问题，人可以自然地走动来确定所有细节。
生活 - 与现实产生交互： 今年早些时候，我家附近的 Apple Store 开办了一些 AR 课程 ，课程的主题很多，我去的那天刚好是下图的的主题。内容比较简单，大致就是你可以拿着 iPad 在空中放置一些物体，比如下图右下角那棵仙人掌。当 iPad 靠近仙人掌时，设备就会发出一声尖叫。当然还有一些别的场景，比如蝴蝶在天空中飞，iPad 像是一张网子，你需要挥过去把蝴蝶抓住。
当时我和该课程的讲师聊天，他说其实他也不懂开发，但是特别喜欢 AR 这种能直接让客户参与进来的展示。以往的展示都是他们在展示一些应用操作，但 AR 不一样，他可以告诉来听课的用户，让他们直接把模型放在真实世界中，并直接 用手或 iPad 来和它们互动 。
AR 的使用当然不仅限于上文我所体验的场景，但通过这些真实体验的介绍，相信你已经可以看出 AR 相较于现有应用的独特属性。AR 的 沉浸与代入感、在世界中三维的存在形式、与真实世界交互的属性 让它与众不同。
制作一个简单 AR 视图
上文说了一些 AR 的实际经验，也许你会好奇，是不是专业程序员才能制作 AR 应用呢？其实不然。下面我将带你制作一个非常小的静态 AR 展示，它可以放在你的网页中或直接发给朋友。用 Mac、 iPhone 或 iPad 都可以跟着进行。若你对 AR 的制作不感兴趣，也可以完全跳过本小节。
- 下载 Apple 的 AR 制作应用 Reality Composer。安装完成后，选择「+」来创建一个新项目，在弹出的菜单中并选择「水平」模版，这表示你希望创建一个放置于水平面的 AR 场景。
- 在打开的项目中再次选择「+」，在弹出的模型素材库中选择你喜欢的模型并拖动至屏幕中央，如下图所示。Reality Composer 自带了许多可以即拿即用的模型，你也可以导入自己的模型。
- 选择模型后，点击场景上的原点，模型便会出现，如下图所示。没错，就这么简单，一个静态的 AR 场景已经制作完成了。
- 点击右上角的「圆形菜单」按钮并选择「导出」选项，在弹出的选项中选择「导出」即可。接下来你便可以将这个场景用微信、iMessage 等方式分享给朋友。收到文件后，对方可以直接以 AR 模式打开你制作的场景。（若你有自己的网站，并希望将产品模型以网页的形式进行分享，则需在导出时选择「USDZ」格式。）
- （选做）你的 AR 场景不但可以通过信息等方式分享给某个人， 也可以通过网站分享给世界。如下图所示，在网页中集成的 AR 场景会自动在右上角显示 AR 图标。若你希望将其内置在你的网页，仅需要将这一行 HTML 代码复制在网页中即可 <div> <a rel="ar" href="/model.usdz"> <img src="/image.jpg"></a></div>。
- 至此，静态模型制作与在网页端分享便完成了。我与艺术家 周远玉 合作，将她制作的模型集成在了网页中，点击效果如下图所示。若你希望用 AR 来直观感受以下场景，可以点击我的个人网站 legolas.me 进行查看。
本小节中，我向你展示了制作并分享一个 AR 场景有多么简单，而这一切只是开始，你还可以制作动画，交互等复杂内容。AR 市场是一个待开发，具有极大潜力的新兴市场，在即将到来的 Apple 眼镜的加持下，会带来许多新机会。
若你还想了解更多创造有关的内容，我正在制作一款 Apple 开发课程 ，会为你打下 Apple 全平台设备开发基础。它包含发现需求、早期设计、中期开发、后期宣传。邀请你将创作变现，让世界精彩些！
一点关于该教程的想法：「很多人只把开发 App 与掌握代码知识相关联，却忽略了开发 App 所需要的其他相关知识。本教程的读者背景多种多样：不仅有程序员，还有设计师、教师和销售员等。并不是每个人开始就会编程，作为新手的你也可以。重要的是将不同领域中的独特观察运用在创新中，你便可以制作出有价值的 App，来满足他人的需求。
作为一个拥有 10 万各国用户的独立 App 开发者，我想告诉你，独立开发其实适用于所有人！它不仅会加强你对编程的认识，还能赋予你极具创造力的思维方式。这份独立开发者的创作蓝图会以图文进行讲解，动图和视频来做示范，以及分享源代码来帮助你将美妙的灵感变为可以与其他人分享的手机程序，将你的想法分享给世界。
你将不用额外花费精力与时间去寻找各类细碎的教程，这份完善且系统的 App 开发流程就会带你独立地完成想法的构建与实现。教程更新期间售价 258 元， 点此查看详情并免费阅读前三篇文章 。」
Apple 公司这几年都在做什么
与其始终关注 Apple 今天发了什么硬件，明天发了什么软件，不如从推进 AR 的大局的出发，来看看这些技术如何服务于这个大目标。一些开发者已经开始尝试 AR，并制作出了优秀应用，那么作为平台方的 Apple 最近几年在忙些什么呢？本小节中，我将根据自身经验及公开信息，按时间顺序带你了解过去几年 Apple 所做的技术积累。
2017 软件 - 提供核心技术底层框架的 ARKit：Apple 投入 AR 并不是一件新鲜事。2017 年，Apple 公布了 AR 核心技术的底层框架 ARKit 1，之后便以稳定的频率年年迭代更新，截至 2020 年已经更新到第四代产品 ARKit 4。
若你将 AR 的技术开发进度想象成建造一辆车，ARKit 的定位便是配件，之后的所有功能都建立在这个基础之上。ARKit 中提供一些与 AR 相关的核心能力，如：提供景深信息来判断物体在空间中的位置、用空间锚点来记录虚拟物品在真实世界中的经纬度及海拔坐标、用摄像头对面部信息进行追踪等。下图中，图标下方的阴影及切换角度后物品位置不变的特性，便是 ARKit 提供的基础能力。
2017 硬件 - 原深感镜头组： 许多人了解这个镜头组件是因为 iPhone X 发布会上的面容 ID，替换了传统指纹识别来用于安全的验证身份。实际上原深感镜头组用途不仅于身份验证，它会投射 30,000 多个不可见的点来来获取准确的深度数据，这些数据对 AR 很有帮助。前置摄像头所做的摄像时背景替换，脸上试戴墨镜这类 AR 应用，许多都是通过 ARKit 调用原深感摄像头组件的硬件来实现的。
2018 软件 - 针对 AR 模型的技术准备 USDZ： 市面上 3D 建模软件众多，各家选用的导出格式也差异非常大。为解决素材格式不统一的问题，Apple 与皮克斯合作推出了 USDZ 模型封装格式。此后 AR 场景所采用的素材均需为 USDZ ，避免了项目中各类文件混杂的情况。USDZ 自身也是个实力派，支持将模型的动画，纹理材质等众多与模型相关的内容，全部封装在一个文件中。
2018 硬件 - 空间感知芯片 U 系列：U 系列是在 iPhone 设备中新增的超宽带 UWB 芯片，它能提供在较大空间内极度精准定位的能力。举个例子，若你的 AirPods Pro 找不到了，配备 U 系列芯片的手机可以准确指向该耳机的准确方向与距离。现有 AR 技术主要基于摄像头，当用户脱离摄像头区域后，便会丢失目标，若用户携带 Air Tag 定位器，则可能用 U 芯片进行定位，来实现许多之前无法做到的场景。虽 Apple 暂时还没开放它在 AR 场景的应用，但 U 系列芯片给开发者提供了许多想象力。
2019 软件 - 面向开发者的高级框架 RealityKit： 与基于提供底层技术的 ARKit 框架不同，RealityKit 更像是一些已经装好的配件并辅以一些机制，为开发者提供高级功能。仍用汽车来举例，RealityKit 扮演的是轮胎负责运送车辆移动、刹车负责让车停止这类角色。如下图所示，当多个人需要同时看到一个 AR 场景时，每个人设备上的游戏进度，物品的位置可能会有所差异，RealityKit 负责将这些设备中的游戏内容同步起来。
2019 软件 - 面向用户的创作软件 Reality Composer： 这款软件上文已经简单介绍过其使用方法，但它的功能不仅限于展示静态模型，它还支持简单的交互，如预制的物理引擎，压一个弹簧它就会弹跳起来。你甚至还可以用它来做一些简单而有趣的应用，如京剧换脸。这款软件可以让你大概了解 AR 是怎么一回事，若你想进阶学习，需要具备一定的 iOS 开发基础知识 。具备基础知识后，你便可以使用 Reality Composer 配合之前提到的 RealityKit 开制作更为有趣的功能。
2019 硬件 - 超广角镜头： 也许你会诧异，这不是照相用的吗，为什么要在 AR 上提到它。事实上，现有 AR 技术很依赖图像分析，而摄像头的范围决定了 AR 可用信息的范围。对于普通镜头来说，所看到的角度有限，因此在家里使用时往往会受限于镜头本身的视野而无法识别到有效的放置区域。有些 AR 应用，需要分析篮球场上队员投篮的表现，镜头角度过小往往需要用户频繁调整手机，使用体验不甚理想。如下图所示，广角镜头的大幅扩大了 AR 的可用视野范围。
2020 软件 - 面向艺术家的建模转化工具 Reality Converter： 这是一款为方便艺术家将现有模型转化成 USDZ 格式的中转工具。如下图所示，除基础的格式转化能力外，它还提供了一系列预设的 AR 场景，如环境光为夜晚的城市灯光，你可以直接预览模型在不同场景下的效果。
2020 硬件 - 提供深度信息的激光雷达传感器 Lidar： 上文提到过前置镜头有可以识别面部的原深感镜头组，因为其存在的主要目的不同，识别范围相对较近，将其直接放在后面不合适。用在 iPad 和 iPhone 上的新传感曾主要用于无人驾驶汽车上，用来随时生成周边环境的详细地图并避免碰撞。正因为其使用了激光，新的 Lidar 传感器可以测量距镜头五米范围的物体距离。你也许会猜想这一切都是雷达的功劳，实则不然，Lidar 会与所有摄像头，手机内的动作传感器共同运作，来给出设备周围的具体环境。
在没有雷达传感器前，仅靠摄像头无法判断现实中物体与虚拟物体的位置关系，下图录制于不具备雷达传感器的 iPhone X，你会看到虚拟物体不会对真实存在手的位置做出反馈。在没有位置信息的情况下，识别场景中的可用平面只能依靠计算机视觉算法来分析摄像头信息获得，识别需要时间且不准确，通常需要五秒以上才能将 AR 物品放出来。
当有雷达传感器时，设备可以即时判断场景中可用平面，因此将虚拟物品放置下来是即时的，不需要任何时间。同时雷达传感器直到场景中所有物品的位置信息，下图的录制设备是具有雷达传感器的 iPad Pro，当用户把手放置在虚拟物体后时，可以看到虚拟物体对在后方的手正确显示出正确的遮挡。
除此之外，通过计算机视觉配合雷达传感器的深度信息，ARKit 可以识别出地面、沙发、窗户这类更复杂的信息。当这些传感器协同工作时，雷达得到的深度信息图如下所示，可以看出纵向的窗帘为橘色，桌面和凸起的台灯为红色。
...
上文介绍了过去四年中，Apple 在 AR 领域的投入，在我看来，这些努力可以大致被分为三类：
- 准备开发者： 将复杂技术封装成易用框架来
- 准备软硬件： 完善各类开发工具并在设备上普及新硬件
- 准备用户： 让尽可能多的设备能提前尝试 AR 来
之所以用了三个 准备 ，是因为 AR 体验中最重要的设备还没有到，这便是实境眼镜 Apple Glasses。在我看来，目前所有设备，包括新发的具备雷达传感器的 iPhone， 仍处于让用户提前做好准备的阶段。 若你体验过这些设备上的 AR，便会发现它们存在一个核心痛点：设备太重。人的手拿手机的时候通常是自然下垂姿势，胳膊不会很累，但看 AR 时往往需要一直举着设备。这个重量上的矛盾只能通过挂在身上的方式来缓解，解决方案便是 AR 眼镜。
对于未来几年的发展，我有如下猜想：Apple 前首席设计师 Jony Ive 几年前有一些关于指导眼镜发展方向的报道，据说当时有两个方案，第一个是强算力版的 AR 眼镜，但需要额外挂一个计算用的设备；第二版是弱算力版的 AR 眼镜，效果少差，但眼镜自身可完成轻度运算。
设计猜想：Apple 最近几年走的是设备无线化的概念，让用户在口袋里放一个挂机实在不现实，也不是 Apple 工业设计团队的风格，因此 Apple 眼镜走类似于 Apple Watch 路线，轻量化的可能极大。目前 Apple Watch 手表的芯片实在不足以支撑复杂 AR 场景的计算量，若是时刻依赖 iPhone 来辅助运算，不但延迟过高，且两台设备无线通讯时电力消耗极大，并不合适。近几年 A 系列芯片的算力与工艺的提升，我猜测眼镜会搭载一颗改版的超低功耗 A 处理器。
硬件猜想： 目前 AR 所需的核心技术向硬件条件基本已经具备，如广角镜头、雷达传感器、陀螺仪、空间感知芯片、A 系列神经网络芯片。如无意外，你也将会在 AR 眼镜上看到改进版的上述硬件。然而目前为 Apple 为开发者提供 AR 开发的软件平台仍有进步空间，上文所述许多软件均为近两年公布的，有的仍是 Beta 版，有的仍可以用到更多功能性更新。
在我看来，目前具备硬件条件的开发设备仍亟待普及，开发者的主力开发机器普遍是 Mac，因缺乏如高清摄像头之类的合适硬件，Mac 根本不具备测试 AR 应用的能力，而 iPad Pro 上使用 AR 实在过于沉重，不适合普通消费者，更合理的解释便是 iPad Pro 上会有更多生产力工具，比如具备发布应用能力的 Xcode for iPad。为赶上 AR 眼镜的发布时间，Xcode for iPad 必须得在 2021 年发布，且需要再留至一年时间给开发者。
时间猜想： 我之前发文讨论过 Apple 为 Mac 版本换上 ARM 所做的的准备 ，谈到 Mac 转型期至少已准备了五年，到 2022 年结束时刚好 7 年。我对于眼镜发布时间的猜想，我想大家已经看出来了，Apple 已经公开准备了 4 年（2017-2020），按 7 年做一件事的周期来看，眼镜的最早发布时间在是 2022 年末，充分准备好的时间是 2023 年。往好的方面考虑，便是等到 AR 眼镜发布时，已会有许多成熟的应用。这些应用可能已经历过现有 iPhone、iPad 的测试，经过很小幅度的调整与适配便可在眼镜上运作。若你也希望创作 AR 应用，可以通过 iOS 开发课程 准备前置技能。
关于 AR 未来的一些思考
我一直在关注 AR 的发展，今年 WWDC 2020 开发者大会上，我注意到 Apple 发布了 Apple Pay 支付的 AR 版本，如下图所示。根据 Apple 描述，这是为了提升宜家这类商超应用的 AR 购物体验。
|
起初我有些诧异，因为我认为目前的 AR 购物体验需要多次点击，强行增加购物体验并不会很理想。后来我反应过来了，试想你在一间空的样板间，打开眼镜便可以在众多 AR 商品中进行选择，这不正是转商场的体验吗。
什么时候用 AR 支付这件事有实用价值呢？答案就在眼镜上，当眼镜不需要摘的时候，这时候用 AR 支付就像现在用手机支付一样自然。
Apple 对增强现实的介绍中，写到：
增强现实的绝妙之处，在于能将原本不切实际或天马行空的想法呈现在你眼前，令你的工作、学习、玩乐、购物，以及与周围世界的联系，都随之发生蜕变。
也许在 Apple Glass 到来的那一天前，AR 都不会真正走入每个人的生活，到目前我还没有宣传语中的体验，只能继续用眼前的 iPhone、iPad 向前方窥视。
AR 的未来，还差最后一片拼图，这便是真正为 AR 而生的设备 Apple Glasses。最后一片拼图到位时，用户便可以完整感受到 AR 这个全新的、与真实世界融为一体的三维媒介。
当代人的手机，一天可能会亮屏几十次。也许在很近的将来，我们带着 AR 眼镜，看着被增强的世界时，会将「增强」版的现实当作真正的现实。睡觉了，想起摘眼镜的时候，才会回到现实世界。
睁开眼，就能看到一个充满创想的世界；那时，你与现实的界限将变得朦胧。
这便是我所见 AR 的未来。
对于 AR 的未来，你怎么看？
> 下载少数派 客户端 、关注 少数派公众号 ，了解更妙的数字生活 🍃
> 想申请成为少数派作者？冲！