在我们的日常生活中，我们都受益于图像信号处理（image signal processing，ISP），无论大家是否意识到这一点。ISP是处理由成像设备捕获的图像数据的技术。它涉及到一系列的算法，可以通过校正失真、去噪、调整亮度和对比度以及增强特征等操作将原始图像数据转化为可用图像。因此，ISP本身并不是什么新技术。

但新技术是将人工智能（artificial intelligence，AI）应用于ISP中，以获得比传统ISP更好的结果。首先，在数字摄影领域，AI可以显著提高ISP的能力。传统ISP处理图像的能力很好，但是AI可以将其提升到更高水平。例如，在降噪方面，AI可以改善图像的清晰度，尤其是在低光条件下。此外，AI算法可以识别图像中的各种场景或对象，从而实现对亮度、对比度和饱和度等不同参数的自动调整，以获得最佳结果。

在自动驾驶汽车领域，AI增强的ISP可以实时处理图像，更好地理解车辆周围的环境，从而帮助做出决策。传统ISP在不同的光照条件或高速对象检测方面可能会遇到困难，但是AI可以改善这些方面，提高车辆应对潜在危险的能力，进一步提高道路安全性。

【资料图】

最后，在监控和安全领域，AI增强的互联网服务供应商可以更有效地处理来自闭路电视录像的图像。AI可以帮助检测可疑的活动，识别人脸，或识别无人看管的物体，提供实时警报并加强整体安全措施。

但如何实施基于人工智能的ISP？这说起来容易，做起来难。有很多挑战需要克服。AI算法正在快速发展，要求AI-ISP解决方案是可编程的。AI模型需要大量的计算能力。结合单独开发的ISP和NPU的传统技术往往需要大量的内存来存储整个图像帧进行处理。访问DDR-SDRAM会消耗大量的电力。而且这种松散耦合的基于帧的解决方案将引入以帧为单位的延迟，这对许多应用来说是不可接受的。

今天的应用需要的是低延迟和低能耗的实时处理。使解决方案无DDR化更有吸引力，因为它将大大降低系统的功率要求。当然，NPU是基于AI的ISP解决方案的关键。但要达到无DDR、低延迟、低功耗的AI-ISP解决方案，还有很多东西。这是Mankit Lo在最近举行的嵌入式视觉峰会上的演讲主题。Mankit是 VeriSilicon NPU IP开发的首席架构师，他向听众介绍了需要解决的各方面问题。

解决方案要求

ISP要求

在传统的ISP硬件中，在流水线阶段有许多模块来纠正成像系统的潜在伪影。为了执行AI-ISP，所选择的ISP应该有足够的灵活性，使客户可以挑选模块来替换或加强。

NPU要求

由于ISP任务的计算量巨大且强度高，任务通常被划分为在许多NPU核心上执行。在进入NPU核心的输入侧有很多图像重叠。即使是神经网络内部的3×3卷积层，仅几个像素的重叠要求也会导致整个网络层面的巨大重叠。为了减少系统的内存、功率和计算需求，需要将重叠降到最低。做到这一点的方法是通过层级的重叠共享。

我们需要的是一个能够处理光栅线并成为 ISP 处理流水线的一部分的 NPU，使解决方案无DDR、低延迟和低功率。NPU需要是可编程的，以处理不断变化的AI网络模型，并提供非常好的性能。它还需要能够支持每层重叠共享，从而不需要在图像输入侧有任何重叠。

VeriSilicon提供

具体到AI-ISP这一主题，VeriSilicon提供ISP、NPU和FLEXA-PSI接口，以无缝连接这些IP。请参考VeriSilicon AI-ISP解决方案的框图。

客户只需将其定制的人工智能算法加入其中，即可完成其独特的解决方案。VeriSilicon还可以提供与ISP相关的算法，如降噪、去马赛克，以及不同类型的检测，如面部检测和场景检测等。

原文链接：https://semiwiki.com/artificial-intelligence/329794-real-time-ai-driven-image-signal-processing-with-reduced-memory-footprint-and-processing-latency/

< 长按识别二维码添加好友>

加入上述群聊