“一夜修复”的背后，是国产SoC工程师接续多年坚持自研芯片的奋斗。
最近华为mate60Pro的发售引爆了国内机圈，悄悄上线，无宣发无预告，不仅打懵了众多消费者，还顺便“奇袭”OPPO，夺走了绝大部分线上流量。很多长期蹲守的用户在第一时间拿到手机，全方位测试后却发现一个重要缺陷：尽管在芯片上华为实现了对美国芯片封锁的突破，但很多用户在测试摄像功能的时候遇到偏色、调光不正常、稳定性不佳等现象。当时很多用户都猜测华为这次端上来的是一道“半成品菜”，还有很多功能并没有开发完全。好在很快华为就在一次更新中修复了这一漏洞。修复后，华为Mate 60 Pro终于展现出了它应有的摄影能力，消费者也终于放心它的最终质量。
也有更多人提出疑问，拍摄不应该是看镜头或传感器的质量吗？为什么软件的更新会影响如此多的功能？其实如果我们把国产手机依次拆开，你可能会发现，绝大多数厂商的图像传感器模块都采用了索尼一家的产品。例如以挑战卡片相机出名的小米12S Ultra就采用了索尼IMX989。OPPO刚刚推出的K11手机，它的图像传感器就采用了索尼IMX890，采用了该款传感器的手机还有OPPO Find X6、OPPO 9 Pro+、realmeGT Neo5、一加11、一加Ace 2等。最近爆火的“争气机”华为Mate 60 Pro的主摄也同样采用来自索尼的IMX766传感器。
既然索尼已经“一统天下”，那为什么各厂商手机的摄影质量还是有很大不同？有些采用同样传感器的型号的手机拍出来的照片仍旧天差地别？这就不得不提到手机摄影的关键——计算摄影，以及站在镜头与传感器身后默默工作的最大功臣ISP图像处理芯片。
何为ISP？
过去的胶片时代，用相机拍摄一张照片很简单。我们只需要在相机中放入胶卷，将镜头对准拍摄对象，然后调整焦距、光圈与快门速度到合适的程度，就可以按下快门，留下美好的瞬间。胶卷摄影时代相机可调节的参数并没有今天那么多，看似流程简单，是因为摄影师唯一能做的只有这么多，相机看到了什么，我们就只能记录什么，但无法后期调整的特性让摄影师在调整构图、测光、更改参数的时候要花费比现在多得多的精力。
不过爱美的你我自然无法接受按下快门一切都将注定的结果。在数码摄影时代，相机工程师对于光的掌握更进了一步。这其中最重要的变化就是承载光线的“基底”发生了变化——由胶卷上的感光物质的化学反应变为了传感器对光线强度的收集。
相机传感器也有很多种类，过去CCD（charge coupled device）相机与CMOS（Complementary Metal-Oxide-Semiconductor）传感器都流行过一段时间，不过随着技术进展，CMOS逐渐占了上风，目前我们能见到的民用相机基本都为CMOS，它目前通常也指代所有手机或相机的传感器。当传感器接收到从镜头与快门传来的光信号后，它上面的每个像素点都会根据光线强弱感应出电信号，再通过接口将这些独立的电信号传递给后方芯片，这时ISP芯片登场了。
ISP芯片即“Image Signal Processor”（图像信号处理器），它诞生于美国登月探测时代。彼时NASA在月球探测中发现，月球车上的模拟相机拍摄的照片非常微弱且不清晰，根本看不清月球地貌。此后，基于当时的CCD传感器技术，研究人员研发了对图像信号处理的专用模块，ISP信号处理器就诞生了。
可以看到，ISP主要任务就是处理摄像头模块传来的图像信号，相当于人类视觉系统中大脑中处理视觉信息的模块。ISP芯片的应用不仅在相机与手机中，在依赖摄像头的自动驾驶系统中也同样有着重要作用。
ISP的功能有很多，最重要的就是实现高清画面的高性能处理，包括拜耳变换（将数字信号转为带有RGB数值的图片）、去马赛克、降噪以及图像锐化等功能，由于ISP芯片的功能较为固定，因此很多ISP芯片都采用专用标准产品（ASSP）甚至专用集成电路（ASIC）。芯片接收到信号后，就可以通过算法处理，最终输出一个RGB空间域的清晰图像。这个过程中，ISP芯片还可以将图像质量实时反馈给镜头驱动模块，来实现手机镜头的自动对焦、调整曝光以及设定白平衡等功能。
相对手机中的CPU与GPU等高算力芯片，ISP芯片所执行的任务很“轻”，因此在手机内部寸土寸金的地方，ISP模块通常会被集成到SoC中。不过到了今天，包括苹果和三星在内的几乎所有手机厂商都会选择独立ISP芯片模块，华为Mate 60 Pro则在麒麟9000S中自带一块完全自研的ISP模块。
这也引出了当前ISP芯片要走的两条道路，内部ISP与外部ISP。内部ISP被集成到SoC中，负责执行图像传感器执行信号处理功能。与外部图像信号处理器相比，内部ISP提供的图像质量和性能较低，但它们更便宜且更易于使用。外部ISP相当于一个独立设备，专门设计用于执行图像信号处理功能。它通常用于高端数码相机和其他需要高图像质量的成像设备。外部ISP可提供最佳的图像质量和性能，但它们也是最昂贵且使用复杂的。
与非网自制
如果说手机镜头与图像传感器决定了摄影上限，那ISP芯片或模块则是决定照片能否使用的下限。这里举几个例子。传感器在不工作（无光）的时候，画面是纯黑色的，这时候的信号电平为0。不过受到暗电流影响，传感器发出的信号并不总是维持在0电平状态，这就会导致画面中的黑色偏灰。ISP芯片则可以校正信号，过滤暗电流，让黑色更“纯粹”。
除了黑平衡外，对于绿色的平衡矫正也值得关注。2016年前后，小米手机拍照有一条令人诟病的缺点——祖传绿。彼时小米手机拍照，无论在何种情况下总会散发隐隐的绿色。这种问题的根源其实在于传感器的设计与电路上。当前CMOS上感光像素并不遵循RGB三色1:1，而是RGBG的形式，G绿色的像素点数量是其他颜色的两倍。受到镜头色散影响，传感器的边缘区域接收到的RGB光强与中心并不相同。如果不通过ISP芯片进行调整或调整效果不佳，屏幕边缘就会呈现偏绿或偏紫（绿的相反色）的颜色。受到“祖传绿”的影响，很长一段时间内小米的品牌形象都被冠以“拍照差”的标签。
此外，除了上文提到的重要作用外，ISP芯片还负责镜头阴影校正、坏点校正、伽马校正等重要参数调整。任何一点除了问题都回导致拍照质量受到严重影响。因此对ISP芯片的调教已经成为手机厂商的必修课。
AI赋能ISP
近年来，计算摄影的快速普及，也对ISP芯片在新时代提出了全新要求。AI-ISP架构结合了两者的优势,给传统ISP芯片加一个全新的AI大脑。小米集团高级副总裁曾学忠曾表示：AI赋能是芯片研发的重点之一,将在计算摄影领域用AI算法与硬件进行深入结合。
计算摄影，其实并不只是“智能美颜”这么简单。基础为摄影，但本质在“算”。打开手机相机专业模式，我们能发现除了快门速度、ISO、焦距等传统参数调整外，通常还会找到诸如HDR、夜景模式、人像模式甚至多摄像头融合模式等。
以HDR功能举例。HDR（High Dynamic Range）即高动态范围，使用该技术可以尽可能的保证画面中不会出现过曝过暗的现象。它可以让相机连续拍摄三次，按照高光部分拍摄，正常拍摄以及按照暗景部分拍摄，最后三张照片经过运算合成一张图片，就可以保证尽可能多的细节不会丢失。不过这个合成过程对于ISP来说充满挑战。ISP芯片需要对齐输入的LDR（Low Dynamic Range），再将多张图片选择合适的细节进行合成。
与AI结合的ISP芯片首先通过机器学习的方式，校正图像的伽马值到人眼感知的区域内；接着再选取图片特征点或者进行光流匹配，使得多张图片都能对齐；最后，AI算法会识别图像中特定区域（往往是像素级别大小）的噪点量，评估该区域是否予以保留，最后生成一张HDR图片。随着AI技术的持续进展，如今的HDR甚至可以不需要连续拍摄三张图片，仅需单张图片就能生成。AI算法可以利用三维反卷积网络，通过学习曝光增加或减少时，像素值的相对变化等，可在不引入自然噪声的情况下实现调色与调光。
无论采用哪种AI技术，让图片更清晰永远是第一要领。爱芯元智公司曾在网络上分享、暗光条件下的AI技术应用：“在我们的pipeline中，只将其中重要的模块进行AI化，将有限的算力集中于整个AI ISP中，最关键、人眼最可知的这些功能中，比如像HDR、去噪的3DNR、tone mapping，还有demosaic这样的功能中进行AI化，以实现整个AI ISP的最佳效果。”在技术文章中，该公司表示已在ISP中增添NPU，和传统其他芯片中的NPU并不完全一样，除了强调计算单元之外，还有Pre-Process（预处理）、Post-Process（后处理）和一个更大的Shared Memory（共享内存），以及一些针对AI ISP的流式处理和CV的处理操作，可以使我们的算力在AI的图像处理中能够有更好的提升。
恩智浦也同样在ISP中增加了机器学习加速器。恩智浦边缘处理事业部技术总监、系统架构师和首席工程师Ben Eckermann在技术文章中表示：“采用为机器学习和视觉系统而优化的芯片架构，拥有强大的机器学习能力，配合高清摄像头系统，能够让设备看得更清晰、更远。”
除了上述对画面的增强效果外，AI赋能下的ISP芯片让摄像头的应用范围进一步扩大。不只是消费电子，越来越多的场景中都出现了摄像头的身影，例如智能安防、自动驾驶、医疗影像、工业检测等。不同应用领域对于图像的处理需求也不尽相同。AI+ISP的组合，并不是简单的1+1=2，AI赋予了ISP芯片对于不同领域的适应能力，在应对愈加复杂的图形时，AI ISP还能依靠机器学习不断“成长”，轻松超越传统单ISP芯片的能力上限。
国产替代的先锋
目前的国产手机厂商，尤其是华、米、O、V四家，对于自研ISP芯片情有独钟。2015年11月05日上午，华为正式发布了麒麟950，首次搭载了自研ISP模块。自此之后，华为手机的摄影能力逐渐提升，P系列手机依靠强劲的拍摄能力在几年之内就跻身第一梯队。
其余三家尽管起步较晚，但也陆续推出了自研ISP芯片。2021年，小米推出首颗自研ISP芯片澎湃C1。该芯片是小米自2017年推出澎湃S1后，四年来的又一次自研芯片尝试。澎湃S1是小米自研的第一颗SoC，但推出后反响平平，甚至“差”评不断。而澎湃C1则选择了ISP芯片作为切入点，推出则广受好评，其接续者澎湃C2则助力小米12s ultra站在了安卓阵营摄影顶尖位置。2022年，OPPO哲库团队也推出过马里亚纳X芯片，尽管哲库的故事划上了句点，但仍让搭载该芯片的OPPO手机在摄影领域不输同行。VIVO则在2021年自研V1 ISP芯片作为自研芯片的起点。
所以，为什么华、米、O、V四家都默契的选择了ISP芯片作为自研芯的起点呢？原因则是在ISP芯片本身的架构上。
一颗ISP芯片，其实就是一个SoC核心，内部包含CPU、SUP IP、IF 等单元，可以运行各种算法程序，实时处理图像信号。尽管ISP芯片应用范围与CPU、GPU相差较大，且设计难度有数量级的差别，但ISP仍旧是一颗完整的SoC，能帮助工程师完成全流程的SoC流片测试与软件配套工作。因此，更加简单成本更低的ISP芯片就成为各厂商自研的起点。此外，ISP芯片的应用场景较贴近用户的日常使用范围。毕竟日常使用很难用到一颗SoC的全部性能，但打开相机，按下快门的那一刻，用户就能直观的感知到芯片性能的强弱。
如今ISP芯片早已成为手机中及其重要的一部分，国产ISP芯片也早已脱胎消费电子领域，在更广阔的工业与汽车领域大展身手。本次华为Mate 60 Pro发布后风光无限，所有人都将目光聚焦在CPU与GPU上，那颗自研的ISP模块再一次成为了配角。
我们为华为自研芯片振奋的同时，ISP芯片完成国产替代带给中国半导体行业的信心与自研SoC芯片的宝贵经验更加弥足珍贵，简单的一次更新让华为影像系统觉醒，看似是驱动修复，背后是在重重阻碍下中国企业执着坚定的信念和无数工程师不夜的努力付出。
下载ECAD模型
