<menu id="mqgc0"></menu>
  • <menu id="mqgc0"></menu><menu id="mqgc0"></menu><input id="mqgc0"><u id="mqgc0"></u></input>
    <input id="mqgc0"><u id="mqgc0"></u></input>
  • <optgroup id="mqgc0"></optgroup>
  • <input id="mqgc0"><tt id="mqgc0"></tt></input>
  • isp图像处理 什么是ISP,他的工作原理是怎样的呢?

    电脑杂谈  发布时间:2021-05-17 02:05:09  来源:网络整理

    什么是ISP?如何运作?

    ISP是图像信号处理器的缩写,全名是图像处理器。在整个相机成像过程中,它负责接收光敏元件(传感器)的原始信号数据,这可以理解为整个相机拍摄照片和视频的第一道工序,它起着非常重要的作用。图像质量。

    ISP的功能更为复杂,基本上它与图像效果有关。它包含多个图像算法处理模块,其中最具代表性的模块是:暗电流(消除底部电流噪声),线性化(解决数据非线性),阴影(解决由透镜引起的亮度衰减和颜色变化))坏点(去除传感器中的坏点数据),降噪(去除噪声),去马赛克(原始数据转换为RGB数据),3A(自动白平衡,自动聚焦,自动曝光),伽玛(亮度映射曲线,优化局部)和整体对比度),旋转(角度变化),锐化(调整锐度),缩放(放大和缩小),色彩空间转换(转换为其他色彩空间进行处理),色彩增强(可选,调整色彩),皮肤增强色调(可选,优化肤色效果)等。

    ISP(图像信号处理器),即图像处理,主要功能是对前端图像传感器输出的信号进行后处理,主要功能是线性校正,噪声去除,死点去除,插值,白平衡,自动曝光控制等,依靠ISP能够在不同的光学条件下更好地还原现场细节,ISP技术在很大程度上决定了相机的成像质量。它可以分为独立和集成两种形式。

    ISP固件包括三个部分,一个是ISP控制单元和基本算法库,另一个是AE / AWB / AF算法库,另一个是传感器库。固件设计的基本思想是提供一个单独的3A算法库。 ISP控制单元调度基本算法库和3A算法库。同时,传感器库在ISP基本算法库和3A算法库中注册函数回调,以实现差异化的传感器自适应。 。 ISP固件体系结构如下图所示。

    不同的传感器以回调函数的形式向ISP算法库注册控制函数。当ISP控制单元调度基本算法库和3A算法库时,它将通过这些回调函数获得初始化参数并控制传感器,例如调整曝光时间,模拟增益,数字增益,控制镜头步进焦点或旋转光圈等。

    1. TestPattern ------测试图像

    测试模式主要用于测试。不必先将图像数据存储在片上ROM中,而直接使用生成的测试图像,然后使用生成的测试图像来测试和验证后续模块。以下是两个常用的测试图像。

    2. BLC(黑电平校正)------黑电平校正

    黑电平用于定义图像数据为0时的相应信号电平。由于暗电流的影响,来自传感器的实际原始数据不是我们需要的黑平衡(数据不是0)因此,为了减少暗电流对图像信号的影响,可以采用从图像信号中减去参考暗电流信号的有效方法,通常在传感器中,实际像素为大于有效像素,并且像素区域的前几行被用作不敏感区域(实际上,这部分区域也由RGB彩色滤光片制成),用于自动黑电平校正,取平均值用作校正值,然后从下部区域的像素中减去校正值,然后可以校正黑电平,如下图所示,左侧是黑电平校正之前的图像,右边是黑色之后的图像电平校正。

    3. LSC(镜头阴影校正)------镜头阴影校正

    由于照相机的成像距离较长,因此随着视野的逐渐增大,可以穿过照相机镜头的倾斜光束将逐渐减小,从而使所获得的图像在中间变亮,在边缘。这种现象在光学系统中渐晕。由渐晕现象引起的图像亮度不均匀将影响后续处理的准确性。因此,从图像传感器输出的数字信号必须首先通过镜头校正功能块,以消除渐晕对图像的影响。同时,由于透镜的折射率对于不同波长的光是不相同的,因此R,G和B的值也会在图像边缘偏移,从而导致CA的出现(色差),因此它在渐晕校正中。同时,还必须考虑每个颜色通道的差异。

    isp图像芯片厂家格局_isp图像处理芯片厂商_isp图像处理

    常用的镜头校正的具体实现方法是先确定图像中间亮度相对均匀的区域,不需要校正该区域的像素;以该区域为中心,计算由于每个点的衰减而导致的图像变暗。这样,可以计算出相应的R,G和B通道的补偿因子(即增益)。下图左侧的图像未进行镜头阴影校正,而右侧的图像已进行镜头阴影校正。

    4. DPC(不良点校正)------不良点校正

    所谓的无效像素是指像素阵列中与周围像素表现出明显不同的像素。由于图像传感器具有成千上万的组件,因此像素失效的可能性很高。一般来说,坏点可分为三类:第一类是死点,即一直是最暗值的点;第二类是死点。第二类是亮点,即一直是最亮值的点:第三类是漂移点,是其变化规律与周围像素明显不同的像素点。由于CFA在图像传感器中的应用,每个像素只能获得一种颜色信息,而缺少的两种颜色信息需要从周围的像素中获取。如果图像中有坏点,则坏点会随着颜色插值过程一起散布开来,直到影响到整个图像为止。因此,必须在颜色插值之前消除坏点。

    5. GB(绿色平衡)------绿色平衡

    由于光敏器件的制造工艺和电路问题,Gr和Gb值不同,并且会出现晶格迷宫现象。均值算法可用于处理Gr和Gb通道中的差异,同时保留高频信息。

    6.噪声-----消除噪声

    使用cmos传感器获取图像时,光线水平和传感器问题是在图像中产生大量噪声的主要因素。同时,当信号通过ADC时,会引入一些其他噪声。这些噪点将使整个图像模糊,并丢失很多细节。因此,有必要对图像进行去噪。传统的空间去噪方法包括均值滤波和高斯滤波。

    但是,一般的高斯滤波在采样时主要考虑像素之间的空间距离关系,而不考虑像素值之间的相似度,因此以这种方式获得的模糊结果通常是整个图像的模糊。因此,通常使用诸如双边滤波器之类的非线性去噪算法。在采样时,不仅要考虑像素的空间距离,还要考虑像素之间的相似度。因此,可以保留原始图像的一般块,然后保留边缘。

    7.马赛克------颜色插值

    光主要包含三种颜色信息,即R,G,B。但是,由于像素只能感知光的亮度,而不能感知光的颜色,因此为了减少硬件和资源的消耗,请使用滤镜必须使用层,以便每个像素只能感应一种颜色的光。目前,过滤层的主要应用是拜耳GRBG格式。如下图所示:

    这样,在滤色器作用之后,每个像素只能感知一种颜色。有必要找到一种方法来恢复像素的其他两个通道的信息。查找此点的其他两个通道的值的过程是颜色插值的过程。由于图像连续变化,因此像素的R,G和B值应与周围像素有关,因此周围像素的值可用于获取其他两个通道的值在那时候。目前,最常用的插值算法是利用像素周围像素的平均值来计算该点的插值。如下图所示,左侧是RAW域中的原始图像,右侧是插值后的图像。

    8. AWB(自动白平衡)------自动白平衡

    isp图像处理_isp图像处理芯片厂商_isp图像芯片厂家格局

    人的视觉系统具有颜色恒定的特性,因此,人对事物的观察不会受到光源颜色的影响。但是,图像传感器本身不具有颜色恒定的特征。因此,在不同光线下拍摄的图像会由于光源颜色的影响而发生变化。例如,在晴朗的天空下拍摄的图像可能是蓝色,而在烛光下拍摄的对象的颜色将是红色。因此,为了消除光源的颜色对图像传感器成像的影响,自动白平衡功能模拟了人眼视觉系统的颜色恒定特性,以消除光源的颜色对图像传感器的影响。图片。

    9. CCM(色彩校正矩阵)------色彩校正

    颜色校正主要是校正由滤板上色块之间的颜色渗透引起的颜色误差。颜色校正的一般过程是首先将图像传感器捕获的图像与标准图像进行比较,以计算校正矩阵。这个矩阵是图像传感器的色彩校正矩阵。在图像传感器的应用过程中,矩阵可用于校正图像传感器拍摄的所有图像,以获得最接近物体真实色彩的图像。

    在正常情况下,色彩校正过程将伴随着色彩饱和度的调整。颜色的饱和度是指颜色的纯度。颜色的纯度越高,表示的色彩就越鲜艳。纯度越低,表示的颜色越深。 RGB的三种原色的饱和度越高,可以显示的颜色范围就越宽。

    1 0. RGB Gamma ------伽玛校正

    伽玛校正的原始来源是CRT屏幕的非线性。 CRT电子的物理研究表明,电子的输入电压和输出光满足5.2幂函数关系,即荧光屏上显示的亮度与输入电压成正比。该指数称为伽玛值。这种关系源于阴极,光栅和电子束之间的静电相互作用。由于输入信号的发光灰度不是线性函数而是指数函数,因此必须对其进行校正。校正原理如下图1-9所示:

    但是实际情况是,即使CRT显示是线性的,伽玛校正仍然是必需的,因为人类视觉系统对亮度的响应大致是对数的,而不是线性的。与高亮度变化相比,人的视觉对低亮度变化更敏感。当光强度小于1 lux时,普通人的视力将增加100倍[t2118]。伽玛校正是一种传递函数,用于校正亮度的这种非线性关系。校正过程是编辑图像的伽玛曲线,检测图像信号中的暗部和亮部,并提高两者的比例,从而提高图像对比度效果,从而进行非线性色调编辑。在图像上。由于视觉环境和显示设备特性的差异,伽玛值通常为2.2到2.5。当用于校正的伽玛值大于1时,图像较亮的部分将被压缩,而较暗的部分将被扩展。当伽玛值小于1时,情况恰好相反。

    常用的伽马校正通过查找表方法实现。首先,根据伽玛值,在查找表中设置不同亮度范围的理想输出值。在处理图像时,只需要根据输入亮度,即可获得理想的输出值。在执行伽马校正的同时,可以将图像的较暗部分的噪声值抑制在一定范围内,并且可以改善图像的对比度。它还可以实现图像当前显示精度的调整,例如从10位精度到8位精度的调整。上面的图片没有Gamma校正,下面的图片是Gamma校正。

    1 1. RGBToYUV

    YUV是基本的色彩空间。人眼对亮度的变化比对颜色的变化更为敏感。因此,对于人眼,亮度分量Y比色度分量U和V重要得多。此外,YUV色彩空间分为YUV444,YUV422,YUV420和其他格式。这些格式中的某些格式需要比原始RGB图像格式小的内存,因此亮度和色度分量是分开存储的,这为视频编码和图像压缩带来了某些好处。

    1 2. WDR(宽动态范围)------宽动态范围

    动态范围是指相机支持的最大输出信号与最小输出信号之比,或图像最亮部分与最暗部分的灰度比率。普通摄像机的动态范围通常约为1:1000(60db),而宽动态范围(WDR)摄像机的动态范围则可以达到1:1800-1:5600(65-75db)。

    宽动态技术主要用于解决在宽动态场景下相机拍摄的图像中明亮区域曝光过度而黑暗区域曝光不足的现象。简而言之,宽动态技术可以使最终成像中的场景中特别明亮的区域和特别黑暗的区域同时清晰可见。

    1 3. 3DNR

    1 4. Sharp ------ Sharpness

    CMOS输入图像会引入各种噪声,包括随机噪声,量化噪声和固定模式噪声。在ISP降噪过程中,必然会消除一些图像细节,同时降低噪声,从而导致图像清晰度不足。为了消除降噪过程中图像细节的损失,需要对图像进行锐化处理以恢复图像的相关细节。如下图所示,左图为原始的未锐化图像,右图为锐化的图像。

    1 5. AE(自动曝光)----自动曝光

    在不同的场景中,光强度变化很大。人眼具有自适应能力,因此可以快速调节,以便可以感知适当的亮度。图像传感器不具有这种自适应功能,因此必须使用自动曝光功能以确保所拍摄的照片获得准确的曝光并具有适当的亮度。

    自动曝光的实现通常包括三个步骤:光强测量,场景分析和曝光补偿。光强度测量的过程是使用图像的曝光信息以获得当前照明信息的过程。根据统计方法的不同,可以分为全局统计,中央加权统计或加权平均统计。全局统计方法是指图像所有像素的统计量,中央权重统计是指图像中间部分的统计量。这主要是因为图像的主要部分通常位于图像的中间。加权平均统计方法是指将图像划分为不同的部分,并且为每个部分分配不同的权重。例如,中间部分被分配了最大权重,而相应的边缘部分被分配了较小的权重,因此统计结果将更加准确。场景分析是指为了获得当前照明的特殊情况而进行的处理,例如是否有背光或正面强光。对该信息的分析可以提高图像传感器的易用性,并且可以大大提高图像质量,这是自动曝光中最关键的技术。目前,常用的场景分析技术主要包括模糊逻辑和人工神经网络算法。这些算法比固定分区计量算法具有更高的可靠性,主要是因为在模糊规则制定或神经网络训练过程中考虑了各种照明条件。在完成光强度测量和场景分析之后,有必要控制相应的参数以使曝光调整有效。这主要是通过设置曝光时间和曝光增益来实现的。通过将当前图像的照度和在光强度测量过程中获得的增益值与目标亮度值进行比较,可以获得应设置的曝光时间和增益调整值。在实际情况下,相机通常使用镜头光圈/快门系统来增加感光度范围。

    在曝光和增益调整过程中,通常会更改步长,这可以提高调整速度和准确性。一般来说,增益和曝光的步长设置如下图所示:

    从上图可以看出,当当前曝光量与目标值之差在0范围内时,表明当前曝光量满足要求,无需调整;当差异在该范围内时,表示当前的曝光量与目标不同。所需的照度有所不同,但差异并不大,因此您只需要以较小的步长进行调整即可。当差异在range2中时,表示差异较大,您需要使用较大的步长进行调整。在实现过程中还必须注意算法的收敛性。

    参考资料:

    ISP概述,工作原理和结构

    相机系统ISP概述


    本文来自电脑杂谈,转载请注明本文网址:
    http://www.pienmashup.com/a/shumachanpin/article-375982-1.html

      相关阅读
      发表评论  请自觉遵守互联网相关的政策法规,严禁发布、暴力、反动的言论

      热点图片
      拼命载入中...
    • 1
    • 2
    • 3
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • >
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 1
    • 重庆彩票