在最近几年，手机后置多摄像头的现象越来越普遍。包括近期发布的 iPhone XS 在内，大多数旗舰手机都采用了后置双摄的设计，部分厂商甚至推出了后置 三摄像头 乃至 四摄像头 的机型。
在这样一股潮流中，Google 最近发布的 Pixel 3 显得格外特立独行。在 Pixel 3 使用后置单摄像头上，Google 有着怎样的考量？如果你也有这样的疑问，不妨看看 Google 的高管在接受 采访 时怎么说。
硬件小幅升级，AI 依然是中流砥柱
和 Pixel 2 相比，依然采用了 1220 万后置摄像头的 Pixel 3 似乎并没有什么变化。因而如果仅看硬件，Pixel 3 还不足以与其他品牌拉开差距。
AI 和算法，才是 Pixel 3 的「秘密武器」。
去年 Pixel 2 拍照的 出色表现 ，已经让我们看到了 Google 在机器学习和图像处理领域的深厚功底。按 Google 的话说，「凡是你能用人工智能做到的，我们都可以做得更好」。
Anything you can do in AI, we can do better.
也正是出于对自家算法的自信，Pixel 3 延续了上一代的后置单摄像头的设计。在接受国外媒体采访时，负责产品管理的 Google 副总裁 Mario Queiroz 表示，额外的后置摄像头对 Pixel 3 「毫无必要」。「借助 Google 在机器学习领域的领先地位，单摄像头传感器已经为我们提供了足够的深度信息。通过用数百万张图片训练我们的算法，Pixel 3 可以凭单摄像头拍出理想的照片。」
尽管如此，不少人可能依然有疑问。既然单摄像头可以实现目前的成像效果，假如 Pixel 3 采用双摄，相机水平岂不可以更进一步。但 Google 表示，第二枚镜头往往在传感器、镜头组件和对焦的的表现上逊于主镜头，因此在夜景下可能适得其反。
AI + 硬件，带来数项新功能
在借助机器学习和算法来优化摄影方面，正在发力的并非只有 Google 一家。在推出 iPhone 7 Plus 时，苹果就利用 机器学习 配合后置的双摄像头，带来了 Beta 版的人像模式。而在今年，iPhone XR 同样利用算法，实现了与 iPhone XS 相似的拍摄体验。
然而对苹果来说，用软件层级的算法代替硬件上的双摄，更像是一种出于成本和价格考量的妥协。相比更贵的 iPhone XS，iPhone XR 依然无法实现部分人像光效1 。反观 Google，则是从一开始就确定了 Pixel 3 单摄+AI 的模式。
根据负责 Pixel 相机团队的产品经理 Isaac Reynolds 介绍，早在 Pixel 2 发布前，Pixel 3 相机的研发就已经展开。在此期间，整个团队总共提出了十余个可能的新功能。通过综合判断可实现性和实用性，团队最终将保留下来的功能带到了 Pixel 3 中。这些新功能的实现，都离不开 AI 的深度参与。例如，「Top Shot」功能会捕捉一段动态图像，然后自动筛选出效果最好的一张。当拍摄人像时，Pixel 3 会尽量选出有笑容、眼睛张开的人像，并剔除含有模糊的人脸或被风吹乱的头发的照片。要实现这样的筛选，离不开 AI 的支持。
通过 AI 与硬件的深度融合，Pixel 3 的相机带来了以下新功能。
更进一步的 HDR+
去年，Pixel 2 的 HDR+ 功能拍摄出的 样片 惊艳四座。在相机 app 启动后，即使快门没有被按下，Pixel 2 也会持续捕捉图像，并将最近的 9 张保存在内存中。按下快门后，Pixel 2 会将内存中的图像与当前照片一道进行处理，从而在高对比度的条件下获得较高的动态范围。
Pixel 3 则进一步提升了 HDR+ 的成像效果。首先，相机自动缓存的图像从 9 张增加到了 15 张。此外，Pixel 3 还运用了 超高分辨率成像 （super-resolution）技术来获取传统的传感器和镜头无法捕捉的细节。这项结合了机器学习算法的新技术与光学防抖（OIS）一道，保障了 HDR+ 出色的成像。具体来说，OIS 负责在传感器的层级上提高拍摄时的稳定性，而算法则从亚像素的层面上对图像细节进行综合和校准。
这些进步已经相当出色，但 Pixel 相机的研发团队并没有就此止步。要进一步理解他们的研究，我们需要先了解一些相机成像的基本知识。
要要形成一张图片，就需要得到它每个像素点的颜色（RGB 值）。然而，要想在成像时实现这一目标，就需要在每个像素点上合理地布置红、绿、蓝三色滤镜。要在像素层级做到这一点，其难度可想而知。因此，目前被广泛采用的是 拜尔式排列的滤色镜 。在这种方案下，每个像素点只有单色的滤色镜，而不同颜色的滤色镜则按照一定的规则进行排布。
在借助传感器得到颜色信息后，手机的相应芯片会通过一系列 去马赛克（demosaic）的手段，通过相邻像素点的颜色来还原每个像素点的 RGB 值。然而这样的还原并非 100% 准确，必然会带来一定误差。
针对这一问题，Pixel 团队的解决方法依然是机器学习。借助海量的模型训练，算法可以更精准地测定每个像素点的 RGB 值。通过省去去马赛克的步骤，Pixel 3 的相机能够更好地抑制图像上的噪点。
超级变焦（Super Res Zoom）
自 iPhone 7 Plus 起，拥有后置双摄像头的 iPhone 均提供了 2 倍的光学变焦模式。相比常见的数码变焦，利用额外的长焦镜头实现的光学变焦有着更为优良的成像效果。
而借助名为「Super Res Zoom」的新功能，Pixel 3 在没有长焦镜头的情况下，实现了类似光学变焦的高质量数码变焦。这也是 Pixel 3 硬件与 AI 融合的另一例证。在硬件上，Pixel 3 镜头所使用的透镜在分辨率上要优于传感器， 从而使成像效果不会受硬件上的限制。而在 AI 层级，机器学习被 Google 用来消除拍摄时手的抖动对成像的影响。此外，上文提及的 HDR+ 中用到的技术也在这里发挥了作用，帮助 Pixel 3 的相机获得更多细节。
不过目前，这一功能也有一点缺陷。只有当缩放倍数超过 1.2 倍后，Super Res 功能才会被激活。自然地，缩放倍数越小，成像的效果也就越好。在 2 倍变焦下，按照 Google 高管的描述，Super Res 的成像效果足以媲美光学变焦。
Raw 格式输出（Computational Raw）
在 Pixel 3 上，Google 首次引入了 Raw 格式的拍摄选项。根据 Isaac Reynolds 的介绍，Pixel 3 的 Raw 格式成像充分利用了其搭载芯片的强大运算能力。通过合并和校准多张图像，Pixel 3 的 Raw 格式效果更加接近单反相机。
Our Raw file is the result of aligning and merging multiple frames, which makes it look more like the result of a DSLR
一般来说，相机传感器的尺寸与成像效果息息相关。由于尺寸的限制，手机镜头在进光量等方面有着先天的劣势，因而在 Raw 格式的成像效果上也往往无法与单反抗衡。而 Pixel 3 通过上文提到的合并多张图像的方式，弥补进光量上的不足，从而提高照片在高光和阴影部分的细节，并减少成片的噪点。
此外，正如上文所述，Pixel 3 在获取像素点的 RGB 值时，并没有采用通常的去马赛克手段。这也就让 Pixel 3 输出的 Raw 格式图像更为纯正。
升级版人像模式（Portrait Mode）
去年发布的 Pixel 2 的人像模式同样令人 印象深刻 。 除了通过摄像头获取和分析景深数据，Pixel 2 还借助 Google 的出色算法，准确地直接区分出照片的主体和背景。此外，Pixel 2 也在低亮度条件下展示了单摄像头的优势。今年，Pixel 3 也为人像模式带来了明显的提升。
根据 Google 资深工程师 Marc Levoy 的介绍, Pixel 3 在获取景深信息的过程中，也引入了机器学习的方式。经过训练后的算法可以更准确地判断图像的深度信息。即使面对复杂物体，算法也能保持较高的识别水准，从而实现出色的成像效果。在下面的图片里，可以明显看到改善算法后，Pixel 3 对景深判断的进步。
人像光照（Synthetic Fill Flash）
在 Pixel 2 中，前置相机的人像自拍功能已经可以很好地借助算法识别人脸。而在 Pixel 3 中，借助类似的算法，其后置镜头也可以自动检测人脸，并为其添加适当的光效，带来类似反光板的摄影效果。
值得一提的是，这一算法还被用在了前置相机的视频录制上。当使用者用前置镜头录制视频时，Pixel 3 会通过这一算法对每一帧画面中的人脸进行识别，并尽量稳定人脸的位置，从而抵消抖动，增强画面的稳定性。
夜景模式（Night Sight）
相比许多手机相机单纯依靠长曝光的夜景模式，Pixel 的夜景模式充分利用了 HDR+ 的功能，无需保持长时间的稳定持握，从而更方便地实现低亮度下的摄影。
在夜景模式下，Pixel 2 的快门速度始终保持在 1/15 s 之上。只有这样，Pixel 2 才能保证在缓存 9 张图像的同时不产生延迟。但在某些亮度极低的环境中，这依然不足以拍出足够清晰的照片。为了解决这一问题，Pixel 3 牺牲了原本的零延迟特性，改为要求使用者在按下快门后，继续持稳手机一段时间。这样，Pixel 3 的相机可以储存 15 张图像，每一张的曝光时间可以延长至最高 1/3 s。然而，在总共长达 5 s 的曝光时间里，如果不使用三脚架等额外设备，必然会在拍摄时产生一定的晃动，从而影响成片。
算法在解决这一问题上同样发挥了重要的作用。尽管在总计 5 s 的曝光中难免出现抖动，但由于生成的是 15 张曝光时间较短的图像，因而可以保证这些图像的大部分足够清晰，只是不同的图像之间存在着位移。而上文中介绍的算法可以识别出每张图片的主体和抖动带来的位移，从而对这些图像进行校正，之后再通过 HDR+ 功能进行合成。此外，夜景模式还可以通过机器学习自动调整照片的白平衡。
在下面展示的 Google 提供的样图中，可以明显的看到夜景模式带来的出色效果2 。
目前，Pixel 3 的夜景模式还未正式发布，但预计将于今年年内向用户推出。
小结：Google 的目标
Pixel 3 相机一系列新功能的背后，是「一键摄影」的理念。
不管是用 Motion Photos 拍摄有趣的活动、用 HDR+ enhanced 捕捉高对比度高动态范围场景，用 Night Sight 拍摄夜景还是用 Top Shot 智能地选择最佳照片……得益于 AI 和硬件的结合，使用者则只需要享受这一时刻，按下快门。
这，或许是 Google 在摄影上的最终目标。
At their best, these technologies allows you to focus on the moment
🔗 参考文章：