当前中国智能手机市场已经进入高端领域的竞争时代，对于旗舰手机来说，产品的工业设计、屏幕、性能等要素已经高度规格化，并不容易作出真正的差异化。在此背景下，影像成为众多手机厂商着力攻克、实现差异化的一个突破点。特别是近两年，手机厂商们在发布新品时往往会重点突出产品的拍照、摄像能力。 而从消费者的角度来说，根据2019年的调查数据，消费者在选购智能手机时候，拍照也是他们关注的第一要素。由此可见，智能手机已经进入“影像为王”的时代，成为手机市场最重要的主题之一。
 而单就智能手机的影像来说，也经历了不同的发展时期，从早期的拼像素，到拼摄像头数量，然后再到拼传感器的尺寸，越来越高阶。而眼下，智能手机影像领域最炙手可热的话题，无疑非“计算摄影”莫属。 计算摄影，照亮手机影像新方向 什么是计算摄影?简单理解，其实就是将计算机软件算法和现代传感器、光学系统等技术融合在一起，从而形成新型的摄影设备。它突破了传统数码摄影的种种限制，让算法在摄影中发挥核心作用，这其中，人工智能技术的应用是关键。 这里我们再回顾一下手机影像的工作流程：
 光线首先透过镜组和光圈来到CMOS图像传感器，CMOS的作用是将光信号转换为电信号，这时候的信号还是模拟信号，所以需要ADC模数转换器将模拟电信号转换为数字信号。 接着，数字信号会来到ISP，ISP的主要任务是通过一系列先进的数字信号图像处理算法对传输过来的信号进行效果处理，例如坏点校正、去除噪点等等。 ISP处理过信息后，再通过IO接口传输到CPU中进行比较、存储、分析等处理，最后通过显示屏就可以看到图像了。 可以看到，传统手机影像的工作流程中，也是需要算法参与的，主要是在ISP及向后的数字信息处理的过程。而计算摄影，几乎可以说成了由计算机算法成主导，参与的深度和复杂度是传统摄影无法比拟的， 而且，计算摄影中，算法干预的步骤甚至可以达到图像传感器这一层级。而且，如今智能手机摄像头的数量通常都要达到3个甚至4个，计算摄影的另一个重要使命或者工作，就是推动多摄像头在拍摄时实现像素级的深度融合、协同，这背后，需要AI算法深入到传感器、ISP乃至CPU、GPU等运算模块，共同完成算法对影像效果的把控。
 而说到计算摄影，目前智能手机行业的领先者已经做了很多探索，包括谷歌、苹果、华为等等。而在刚刚过去的骁龙技术峰会上，高通推出的全新一代骁龙8移动平台，则在计算摄影方面强势发力，将行业对计算摄影的探索又向前推进了一大步。 全新一代骁龙8移动平台，影像与AI构建核心竞争力 作为全球最先进的移动平台，骁龙是顶级Android体验的代名词，而全新一代骁龙8移动平台则是2022年各大旗舰安卓智能手机的标配，同时也是在AI、影像、性能、连接等各方面都全面升级的一代，其中就包括计算摄影方面的能力。 看了前面对于计算摄影的介绍，相信大家已经能够想到，骁龙8的计算摄影能力，核心来源于强大的ISP和AI能力。 1、进阶的18-bit Qualcomm Spectra ISP 今年骁龙8搭载的是全新Qualcomm Spectra ISP，它是高通首个支持 18-bit 的 ISP，也是首个支持 18-bit ISP 的智能手机 ISP。18-bit 技术超越了许多专业相机的配置，影响数据项相比之前提升达 4096 倍。
 18-bit 为影像表现带来的，不仅是色彩丰富度的大大提升，动态范围也显著提高。它能够为画面带来额外 4 个比特动态范围，将让用户能够在图像最暗和最亮的部分看到更多细节。
 同时，Qualcomm Spectra ISP 的强大还体现在疯狂的像素吞吐能力，它能够每秒捕捉 32 亿像素, 与前代相比速度提升 19%，为移动端最快。而且他还能够用单个摄像头以 30fps 捕获 1.08亿像素的画面，或者三颗摄像头每颗分别以 30fps 捕获 3600 万像素的画面，或者，按键一次在一秒内捕获 240 张 1200 万像素画面。
 尤其是在低光环境下，全新 18-bit Qualcomm Spectra ISP 还支持“超级多帧引擎”，能够捕获 30 张画面，再将它们合成为一张照片。低光条件下拍摄的照片将具有超级锐丽度、超级丰富的色彩和超级的亮度。这一点对于计算摄影能力的提升非常有帮助。
 而在视频拍摄方面， 18-bit ISP 将率先在智能手机上支持 8K HDR 视频拍摄，同时 8K HDR 视频还能以 HDR10 + 格式进行拍摄，并且与前代产品相比，在 HDR10 + 视频拍摄使用场景下，功耗降低达 50%。 而且，18-bit ISP 的超大带宽支持用同一图像传感器同时拍摄 8K 视频(每帧 3300 万像素)和拍摄 6400 万像素的照片。 2、强大的第7代高通AI引擎 在AI方面，全新一代骁龙8移动平台搭载了第7代高通 AI 引擎。 在第7代高通 AI 引擎上，高通着重提升了 Hexagon 处理器的性能，实现了性能翻倍的表现，同时对共享内存进行了翻倍。
 具体而言，第7代高通 AI 引擎在广泛的 AI 模型用例中的推理时间比前代 AI 引擎快 4 倍，同时 AI 能效比前代提升 1.7 倍，同时，AI软件性能也提升了 2 倍。 另外第7代高通 AI 引擎值得关注的就是它的传感器中枢模块，骁龙 8 中，高通在传感器中枢里引入了全新低功耗 AI 子系统。该系统为多核架构，由专用 AI 处理器、DSP、外加自有内存组成，用于处理情境数据流，包括语音、音频、传感器和连接。在全新低功耗 AI 子系统的辅助下，传感器中枢模块的 AI 性能提升 75 %，功耗降低 50%。
 还有就是，在第7代高通 AI 引擎中，高通还和谷歌合作，将神经网络架构搜索(NAS)引入骁龙平台。 NAS 研究可以将要使用的硬件以及其他设计参数以帮助工程师快速实现最优设计，自动设计神经网络模型。从根本上绘制硬件蓝图并利用 AI 充分发挥那些特性以产生最优结果。 此外，它能够考虑时延、网络规模或精度等目标，将初始网络作为起点并全面搜索优化网络以便在该硬件上针对性约束内运行得更快。 总之就是可以让第7代高通 AI 引擎的强大AI算力能够得到充分释放。 3、CPU、GPU、传感器…… 我们知道，骁龙移动平台的高通 AI 引擎并不是专门的NPU神经网络芯片，而是通过协同Hexagon 处理器、CPU、GPU等运算模块实现强大的AI能力。因此在骁龙8上，CPU、GPU等模块性能的提升，对于AI能力的升级也非常重要，进而自然也能为计算摄影带来增益。 在骁龙8中，全新高通Kryo CPU基于最新的 ARMv9 架构，采用三星 4nm 制程工艺，核心架构包括1 个 Cortex-X2 核心，最高主频 3.0GHz ，1MB L2 缓存，3 个 Cortex-A710 核心，最高主频 2.5GHz ，512K L2 缓存，4 个 Cortex-A510 核心，最高主频 1.8GHz，6MB L3 缓存。
 在这些特性的支持下，高通Kryo CPU的整体性能提升幅度为 20%，能效提升幅度为 30%。 至于全新的高通 Adreno GPU，也采用了新的架构，图形渲染能力提升 30%，并且游戏时的能效提升 25%。
 前面我们说过，计算摄影理念中，AI算法的干预链路甚至可以上探到传感器层面，而骁龙8也做到了这一点。正如高通在骁龙技术峰会上宣布的那样，高通会与索尼传感器合作，成立联合实验室推动移动影像发展，联合实验将为基于骁龙 8 开发的设备，来提供优化，还将在这里进行高通和索尼对于最新影像技术的测试，甚至为骁龙 8定制图像传感器。相信双方的合作中，计算摄影一定是最重要的方向之一。 多种创新AI+影像用例坐阵，计算摄影能力可见一斑 计算摄影中，算法参与智能手机影像工作的几乎整个流程，从前段的传感器到后段的CPU、GPU等，每一个环节，骁龙8都实现了显著提升。这是完成计算摄影创新应用的基本条件，就像完成一幅画，这些是画布、颜料、彩笔，有了这些，高通就能通过骁龙8更好地施展才华，将他们在计算摄影方面的创意描绘出来。 特别是借助全新18-bit Qualcomm Spectra ISP和第7代高通 AI 引擎的融合，骁龙8创造了很多AI+影像的用例，这些用例，都代表着平台计算摄影能力上了一个新台阶。
 比如利用Qualcomm Spectra ISP的超级多帧引擎，搭载骁龙8的设备在拍摄运动状态物体时，能够在每张照片中精准地追踪每个像素细节。有了这个计算视觉能力，Qualcomm Spectra ISP 能够助力终端拍出“光影流动”的效果。 在峰会的演示区，IT之家就看到了这个技术的演示。搭载骁龙8的参考设计手机拍摄下面这个场景，前面是静止的木头人，后面是不停转动的霓虹摩天轮。在手机上按一下快门，就会快速捕捉很多帧，最终融合成一张木头人清晰、但后面霓虹风车的灯光模糊成圆形运动轨迹的照片。一张艺术照轻松拍成。
还有，全新Qualcomm Spectra ISP融入AI能力后，还可以进行更强大的人脸识别，哪怕在全景照片中人物面部非常小，现在也能准确识别。 而且在进行人脸识别时，骁龙8现在可以检测到 300 个特征点，而且神经网络还针对更多的人脸特征进行训练，包括眉毛、嘴唇、下颌线等，因此Qualcomm Spectra ISP 可以检测拍摄对象的表情，从而更准确地理解情绪。
 和人脸识别相关的还有一个应用，就是高通与虹软合作实现的AI影像，在视频拍摄状态下，能够同时进行人脸识别、手势识别和背景虚化，这三者分开，每一个用例都需要足够的AI算力支撑，现在同时进行，其创新力和难度可想而知。 IT之家在现场也做了体验，人物一进入画面，视频很快就会完成背景的虚化，同时尝试摇头晃脑做手势，各种效果也能很快跟着改变。 还有就是，利用三个ISP 中的两个 ISP ，搭载骁龙8的终端将可以拍摄类似全景图像的画面，按一次快门便可获得无畸变且达到极宽的 140 度视场的照片，再也不用移动手机分几次拍摄了。
 IT之家在峰会演示现场还看到了一个应用，就是利用骁龙8强大的计算摄影能力，同时调用智能手机的三枚摄像头进行视频拍摄，而且最高可以支持3个6400万像素以30fps的方式同时工作，非常惊人。 更重要的是，三个摄像头不仅是同时工作，更能彼此交流数据，例如广角镜头可从长焦镜头中获取更多的细节，长焦还能通过超广角镜头得到更好的白平衡效果，三枚摄像头彼此深度融合，正是我们前面说的当前计算摄影的重要应用场景。 最后值得一提的是，在峰会上高通还宣布了在 AI 层面和徕卡的合作：未来骁龙移动平台将支持由高通 AI 引擎赋能的徕卡Leitz风格(Leica Leitz Look)，后续还会有更多基于其他传统徕卡镜头的风格加入进来。
 结语 总体来说，全新一代骁龙8移动平台凭借全面提升的影像和AI能力，在计算摄影方面实现了诸多创新性的应用，并且，上面IT之家展示的还只是高通给出的基本用例，随着终端手机厂商在应用层面的发力，必然会诞生更多的计算摄影功能和用途，在让消费者获得专业级影像能力的同时，没推动计算摄影领域的前进和发展。 (本文内容转载自IT之家) |
