苹果 iPhone 12 推出之后,使得 HDR 和杜比视界的概念变得火了起来,但是最近我们发现,人们对它们其实并不太了解,甚至包括一些影视从业者对它的了解也是不太准确的。当然,这主要的原因也在于它们背后的技术的确十分复杂,充斥了非常多的数字图像处理与色彩管理相关的概念。
恰好我们最近做了一款新的相机应用 Varlens 可以录制 杜比视界 和 HDR10 两种视频格式,而且以前我们也曾从事过几年图像处理算法的工作,对此有所“钻研”,可以简单的为大家科普一下。
在介绍 HDR 之前,需要给大家先简单的介绍一下图像处理的基本过程。
对于数码相机或者录像机而言,要拍摄照片和视频,需要使用数字的感光芯片来捕获图像。现在常用的感光芯片大都是采用 RGB 三原色传感器来感光的,即一个像素光点是由 Red、Green、Blu 三个颜色传感器构成。每个传感器的感光数值范围在 8bit 到 16bit 之间。通过这样的方式,数码相机的感光芯片就将可见光变为了 0 ~ 255,或者 0 ~ 65535 的 RGB 数值。这个过程也被称为模数转换。而这个数值范围,就可以理解为动态范围, Dynamic Range。显然,16bit 的动态范围比 8bit 要高。16bit 就可以称为 High Dynamic Range。
图像的数据量非常大,即使是 8bit 的 RGB 数据,一张 4K 像素大小的图片就大概需要 25M 字节大小,如果不进行压缩保存,那么一张 1G 大小的存储卡,可能只能保存 50 张图片就满了。所以,数码相机都会对数据进行压缩处理,比如保存为大家喜闻乐见的 JPEG 格式,一张 4K 像素的图片可以被压缩到 1M 甚至 200K 左右,压缩几十倍以上。
在查看图片的时候,则需要将编码之后的图片文件进行解码,并通过显示屏幕进行显示。在以前的图像处理过程中,从图像捕获,数据处理、数据传输和显示都是用 8bit 进行的。这主要是受限于硬件技术的制约,比如感光器件、内存、网络带宽、显示器等。
现在很多人会以为,HDR的拍摄,只需要录制设备支持就可以了,其实不然。通过上面的简要介绍,大家应该可以了解,要实现 HDR 其实需要录制设备、编解码和数据传输设备,以及显示设备都需要支持高动态范围。也就是说,一个用 10bit 拍摄录制的视频内容,必须要用 10bit 数据文件存储和传输,也必须要用 10bit 的显示器来显示。
下面这张图就表明如果数据传输环节(包括数据处理)发生了问题,即使显示器是支持 HDR 的,高亮的窗户和天窗部分会一片惨白,窗外的景色细节无法正确显示。
![](https://cdnfile.sspai.com/2021/02/24/9f8e42589d247c2819683ca0cf6b5f9c.png?imageView2/2/w/1120/q/40/interlace/1/ignore-error/1)
而只有所有环节都支持高动态范围,才能正确的显示图像,其效果如下图所示:
![](https://cdnfile.sspai.com/2021/02/24/b2dd7b3ab15dced75a961017cb1315d3.png?imageView2/2/w/1120/q/40/interlace/1/ignore-error/1)
为什么会这样呢? 为什么数据动态范围高就会比动态范围低的能显示出窗外的景色细节呢? 这是因为同样的可见光范围,但是数值表达的范围大不相同。为了能够让可见光在 8bit 的数值范围中得到表达,就需要对可见光数据进行一定的摈弃,比如摈弃非常高亮和黑暗的部分,也会摒弃许多各个色彩和亮度层级中的细节。一个简单的例子就是,在 16bit 数值范围中,0 - 255的数值范围在 8 bit 里只能表示为 0 这么一个单一数值,可见会损失多少细节。 下图是一个比较直观比较 HDR 图像与传统图像的可视范围对比示意。
![](https://cdnfile.sspai.com/2021/02/24/4289a34a516ba60024464e181d0686d6.png?imageView2/2/w/1120/q/40/interlace/1/ignore-error/1)
由以上介绍可以看出,HDR 的图片和视频会有更大的色彩和亮度表现范围,可以表现出更多细节,而并非只是更加明亮。
播放 HDR 视频之所以需要非常明亮,比如 1000nits 甚至 10000nits,主要的原因也是如果显示器本身的亮度很暗,比如只有 8bit 的动态范围,那么必然很多画面的细节会无法表现出来,色彩也不能更加生动绚丽。
HDR 是不是就一定好呢? 其实也并不是。只有人们需要表现更加丰富和绚丽的细节景色的时候,比如某些沉浸式的游戏和电影,需要有很强的带入感,比如某些非常绚丽的风景,比如极光和晚霞等等,它们有着非常微妙和动人的色彩,以及某些亮度反差非常大,比如逆光拍摄的面部表情,或者屋内的窗外景色,这些都需要 HDR 才能完美呈现。而如果是日常的拍摄,色彩细节和亮度反差并不很大,其实用传统的图像摄影也能满足。
HDR 其实也并非一个新的概念。
苹果在 2015年就推出了 HDR 拍照的功能。在拍照的时候,采用的是另外一种完全不同的 HDR 实现技术了。首先,需要一次连拍多张图片,每张采用不同的曝光参数,然后对它们进行图像计算,产生一个动态增益的图像,以达到在 8bit 数值范围中,也能比较好地表现出高光对比下的图像细节。也就是说,在图像处理科学家们的努力下,在很多年前就已经实现了 8bit 数据范围内的 HDR 图像效果了。只是这样的算法消耗非常大,并不适合用于视频领域,因此视频则需要采用超过 8bits (比如现在苹果iPhone 12支持的 10bits)的感光器件、编解码算法和显示器技术。
![](https://cdnfile.sspai.com/2021/02/24/467354debf9f4f911adba7e81d02a53f.png?imageView2/2/w/1120/q/40/interlace/1/ignore-error/1)
![](https://cdnfile.sspai.com/2021/02/24/26c00023ac88422f8a1fdf60ec95c1ac.png?imageView2/2/w/1120/q/40/interlace/1/ignore-error/1)
总之,图像处理是一个很神奇的领域,值得大家深入了解和探寻。 可能大家虽然谈的都是 HDR 这个概念,但是在不同的场景下其实使用的技术完全不同。
最后,HDR 视频现在也分非常多的技术标准,比如苹果现在主推的 杜比视界,这是杜比公司拥有专利的一种 HDR 视频技术,工业界里还有 HLG,HDR10,HDR10+,中国现在也拥有一个自主的 HDR 标准(由中国超高清视频产业联盟起草)。每种标准都有自己的技术主张和优势,要弄明白这其中的区别,也是需要一篇专门的文章才可以了。