苹果 iPhone 15 Pro Max 的影像升级,也许比你想象的大
![铺路 铺路](https://img.ithome.com/app/emotion/svg/rm_e_pulu.svg)
01 写在前面![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
感谢您点开本帖!我是一名热爱数码的普通家友,撰写本文绝非要推销某款手机,而是想借 iPhone 15 Pro Max 的全新影像系统,聊聊手机摄影中一些有趣的点。我已经使用了 iP15 PM 真机一段时间,不说废话,请各位家友看看样张:
不得不说,iP15 PM 摄影质量的提升幅度之大令我吃惊。数码圈对 iPhone 的刻板印象是“录像无敌、拍照稀烂”,而 iP15 PM 也确实没用上小米、OV 旗舰机的一英寸大底传感器,那成片中这些肉眼可见的解析力提升到底来自何处?我在查阅诸多资料后,想将这背后有趣的技术细节分享给各位家友。
![铺路 铺路](https://img.ithome.com/app/emotion/svg/rm_e_pulu.svg)
02 像素数的取舍![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
长话短说,iP15 PM 的成片之所以细节丰富,是因为它的默认分辨率从 12MP 提高到了 24MP。乍一听,2400 万像素在 2023 年的手机中平平无奇。前有三星 HP2 传感器 200MP 傲视群雄,后有索尼 IMX989 传感器 50MP 大底媲美黑卡,区区 24MP 难道不是被安卓影像旗舰“虐杀”?与直觉不符的是,尽管 2023 年的旗舰机鲜有低于 48MP 的主摄,但其成片均为 12MP。
我们快速回顾一下手机图像传感器的工作原理。CMOS 感光元件上的每个像素只能检测光的强度,而不能获取光的色彩,因此只能拍摄“黑白照片”。我们因此为每个像素加装了一块“滤光片”,只让特定颜色的光抵达像素。这让 CMOS 可以输出充满马赛克的“彩色照片”。
基于人类的色觉,最常用的滤光片为红、绿、蓝三种。对于特定像素,它如果有“红光”的信息,就必然缺失“绿光”和“蓝光”的信息。我们使用与该“红像素”相邻的“绿像素”和“蓝像素”,来补全它的“红绿蓝”信息,最终“猜出”光线的真实颜色。
对所有像素重复以上步骤,我们便可得到一张原色照片。此时,12MP 传感器就输出 12MP 图片,CMOS 尺寸等同于照片尺寸。一般而言,像素数越高,照片越清晰,但这种论述有个前提:单个像素的感光能力不能下降。对于面积相同的传感器,1200 万个大像素和 4800 万个小像素,谁拍出的照片更好?结论是互有胜负:12MP 的成片得益于单像素的高感,纯净度更高;48MP 的成片得益于多像素的细节,解析力更高。
为了实现高、低像素间的优势互补,“像素 N 合一”是一个不错的方法。通过将单个像素分割为 2 × 2 个小像素,我们可以将 12MP 的传感器升级为 48MP;类似的,如果按 3 × 3 分割便可得 108MP,按 4 × 4 分割便可得 200MP。
上述这种“高像素”传感器便是如今旗舰机的配置。尽管它的每个像素都能用于成像,但在实践中,大部分手机都将传感器的低像素模式(即 12MP 分辨率)作为默认选项。一来,大尺寸的融合像素感光能力更好;二来,被同色像素包围的子像素会遇到“猜色”困难。
如果要找一个促使厂商停留在 12MP 的核心原因,我们就不得不提”计算摄影”。手机拍照想要实现 HDR、降噪、虚化等效果,算法介入是必须的。常见的计算方法无非两种:多帧合成和多摄融合。我们之所以能拍摄逆光人像,是因为手机在用户按下快门(甚至在这之前)的瞬间,融合了过曝成片中的暗部和欠曝成片中的亮部,最终同时保留明暗细节。
但是,就算使用像素分割数最少的 48MP,其输出的数据量也是 12MP 的 4 倍,且高像素模式下传感器的帧率也会显著降低。因此,时至 2023 年,手机处理器的 ISP 仍不能实现无感的 48MP 计算摄影,遑论 108MP 甚至 200MP。手机厂商大多将“高像素”作为一种特殊模式,仅供用户在光线充足的静态场景中使用,因为它常伴随高延迟、低宽容度、多噪点等问题。种种不便注定了用户拍摄的照片多为 12MP,而非 CMOS 标称的高像素。
![铺路 铺路](https://img.ithome.com/app/emotion/svg/rm_e_pulu.svg)
03 “光像引擎”原理浅析![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
如前所述,iP15 PM 的默认分辨率是 24MP,且输出 24MP 图像时既可以连拍,又有动态照片、人像模式等效果,使用体验和 12MP 无异。但它的传感器依然是“像素四合一”的 48MP CMOS,故只有 12MP 与 48MP 两档可选。并且,iP15 PM 拍摄 ProRaw 图片时依然有等待时间,这说明 A17 Pro 也未能征服 48MP 计算摄影。那这 24MP 的成片来自何处?
一方面,我们可以用“超采样”使 48MP 的成片缩小至 24MP。iOS 端的 NOMO 相机就有类似模式,但效果并不理想。48MP 原图的宽容度较差且带有噪点,将这样的素材用于“超采”无法逆转像素本身质量较差的事实,最终成片与 12MP 多帧合成区别不大。
另一方面,我们也能用“超分辨率”将 12MP 的成片扩大至 24MP。谷歌 Pixel 的 Super Resolution Zoom 便使用了这一思路,但效果也不理想。使用多张略带偏移的 12MP 成片来推断两个物理像素间遗漏的信息并不准确,最终成片不会拥有在 12MP 时就已丢失的细节。
苹果的做法是,将一张 12MP 的纯净照片与一张 48MP 的高解析力照片融合,最终输出 24MP 成片。这听上去简单,但却需要改变计算摄影的底层管线。iPhone 的计算摄影有两根支柱:Smart HDR 和 Deep Fusion。在前代 iPhone 中,Smart HDR 是首先进行的步骤。它会采集曝光、白平衡、色彩映射等信息,并结合激光雷达的深度捕捉与计算机视觉的主体分割,对照片局部进行微调,以实现高宽容度。
如果iPhone 判断场景光线不足,则进一步触发 Deep Fusion。它以机器学习的方式从 9 张曝光值不同的 HDR 照片中选出高质量像素,最终融合成一张富含细节的成片。值得注意的是,Deep Fusion 在发布之初宣称能将 12MP 的图片增强为 24MP,即“超分辨率”,最后并未实装,理由如前所述。
在 iPhone 15 中,Deep Fusion 被放在了 Smart HDR 之前,实现了它最初的使命:创建一张拥有 24MP 分辨率的像素地图。随后,Smart HDR 将光学信息映射到每个像素上,相当于设置好滤镜。最终,iPhone 从 48MP 图像中挑选出优质像素并放置到 24MP 的框架中,这样既有了细节,又能快速将局部调整应用到成片中,避开了 48MP 难以多帧合成的问题。这条新的管线被称为“光像引擎”。
![铺路 铺路](https://img.ithome.com/app/emotion/svg/rm_e_pulu.svg)
04 计算摄影的大一统![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
如果“光像引擎”只是实现了成片像素数翻倍,那我只愿称它为“运行速度更快的高像素模式”。令人赞叹的是,这条管线把以往独立的几种算法给整合了起来。我们不妨看看 iP15 PM 的一张成片中包含了哪些信息。
首先,它是一张动态图片。iPhone 之所以记录按下快门前后的影像,是因为 Deep Fusion 和 Smart HDR 都需要“缓冲区间”。换言之,你在准备拍照前,算法就已经开始分析你可能要拍什么。用户因此能赋予照片“流光快门”的效果。
其次,它是一张人像照片。这类照片带有深度地图,因此用户能实现后对焦、光圈调整、打光调整等功能。起初,深度地图在 Deep Fusion 过程中会被舍弃,因此“人像模式”独立于默认相机,且不支持数码变焦。如今,深度地图在 Deep Fusion 后才被建立,它成为了每张照片的标配。
最后,它是一张没有妥协画质的高分辨率照片。高光压制、暗部提亮、噪点消除这些计算摄影的红利它全部拥有。并且得益于 HEIF 高效存储格式,单张照片的大小在 1~3MB。
不过,“光像引擎”依然有提升空间。首先,夜景模式仍独立于这条管线之外。其次,24MP 成片仅限 35mm 以下焦段,这是因为 48MP 主摄的等效焦距为 24mm,放大 1.5 倍后到达 24MP 像素极限。
![铺路 铺路](https://img.ithome.com/app/emotion/svg/rm_e_pulu.svg)
05 潜望长焦全面兼容“光像引擎”![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
智能手机的镜头多为定焦镜头。一般来说,上述计算摄影的管线可以迁移到不同焦段,比如 13mm 超广角镜头和 77mm 中焦镜头。但 iP15 PM 上还有一颗特殊的镜头:120mm 潜望长焦。在安卓影像旗舰的发展历程中,我们已经发现,潜望长焦因其结构复杂,成像质量难以做到和短焦镜头一致。
我们不妨看看潜望长焦的剖面图。第 1 种结构为“单棱镜单次反射”,代表机型为小米 13 Ultra。第 2 种结构为“双棱镜两次反射”,代表机型为三星 S23 Ultra。第 3 种结构为“单棱镜四次反射”,代表机型为苹果 iPhone 15 Pro Max。
这三种结构各有优缺点。首先,反射次数越多,模组就能在更小的尺寸中实现长焦,但每次反射都会有光的损耗。其次,传感器垂直于机身方向放置时,手机要增加厚度以容纳 CMOS。最后,棱镜在镜组之前,光线受制于棱镜折损,光圈较小,而镜组在棱镜之前,则光圈与普通镜头无异。iPhone 的“四重反射棱镜”是一种全新的潜望结构。我们直接看下它的成片效果:
不难发现,在对算法、进光量要求较高的夜景拍摄中,iPhone 的潜望长焦拥有与主摄相似的表现。理论上,四次反射会导致较大的光线损耗,为什么 iPhone 的成像质量在弱光场景中不会爆发噪点?除了算法,这四次反射中,两次是镜面反射,两次是全反射。所谓全反射,是指一束光线以大角度射向介面时,只发生反射、不发生折射的物理现象。全反射的光损远小于镜面反射,因此“四重反射棱镜”的光强约等于“双棱镜两次反射”,而光程更长。
如前所述,计算摄影的支柱之一是多帧合成,而多帧合成的基础是光学防抖。否则,多张模糊的照片叠加在一起只会让解析力下降。由于 iPhone 的棱镜是一个完整的平行四边形,移动棱镜来防抖的安卓方案并不试用。因此,iPhone 采用了 CMOS 防抖,并且在常规的 X、Y 方向外,还使用了在手机上不常见的 Z 轴防抖。Z 轴的加入也解决了潜望长焦的对焦问题,可谓一举两得。
“四重反射棱镜”还有个好处,就是模组较小。与只拥有 77mm 中焦镜头的 iP14 PM 相比,iP15 PM 的宽度缩小了 1 mm,厚度增加了 0.4 mm,而后摄模块几乎没变。考虑到 iPhone 并非特化拍照的手机,在维持握持感的前提下提升影像能力才不会动摇基本盘。
目前,市面上拥有 120mm 焦段的旗舰并不多,大家都从一时的狂热倒退回了 100mm 以下的实用焦段。因此,我们就单独欣赏下 iP15 PM 的长焦样张吧:
![铺路 铺路](https://img.ithome.com/app/emotion/svg/rm_e_pulu.svg)
总结![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
![路 路](https://img.ithome.com/app/emotion/svg/rm_e_lu.svg)
iP15 PM 的影像提升可以归因于算法提升。改进的“光像引擎”带来了三个好处:原生 24MP 照片直出,多种模式融合,和副摄画质提升。我们不能说“光像引擎”带来了什么变革,因为高像素、人像模式等功能早已有之。但“光像引擎”将其带入到了日常使用中,用户无需去判断当下最该用何种模式,只要按下快门,就能拥有计算摄影的全部红利。我认为这是手机摄影的重要进步,尤其是在算法愈加复杂的今天,“简约”的用户体验不能来自删繁就简,而只能来自“在纷繁里建立秩序”。