WO2022061879A1 - 图像处理方法、装置和系统，计算机可读存储介质 - Google Patents

图像处理方法、装置和系统，计算机可读存储介质 Download PDF

Info

Publication number
WO2022061879A1
WO2022061879A1 PCT/CN2020/118383 CN2020118383W WO2022061879A1 WO 2022061879 A1 WO2022061879 A1 WO 2022061879A1 CN 2020118383 W CN2020118383 W CN 2020118383W WO 2022061879 A1 WO2022061879 A1 WO 2022061879A1
Authority
WO
WIPO (PCT)
Prior art keywords
channel
pixel
type
image
pixel point
Prior art date
Application number
PCT/CN2020/118383
Other languages
English (en)
French (fr)
Inventor
曾志豪
曹子晟
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2020/118383 priority Critical patent/WO2022061879A1/zh
Priority to CN202080013781.1A priority patent/CN113454687A/zh
Publication of WO2022061879A1 publication Critical patent/WO2022061879A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • FIG. 3 is a flow chart of a method for obtaining a second channel pixel value of a second type of pixel point according to an exemplary embodiment of the present specification.
  • the pixel values of the R channel pixel point 4024 in the lower row are mirrored to the R channel pixel point 4024 in the upper row to obtain the image block 411, and then the image block corresponds to the R channel pixel point 4024
  • the convolution kernel is convolved to obtain the estimated value g of the G channel corresponding to the pixel point of the R channel (ie, the pixel value of the pixel point 4025 in the image 402).
  • FIG. 14 it is a schematic structural diagram of an image processing device provided by an embodiment of the present application.
  • the image processing device includes a memory 1401 and a processor 1402 .
  • the original image including the second channel pixel value of the first type pixel point and the first channel pixel value of the second type pixel point;
  • the processor is further configured to: acquire pixel values of neighboring pixels of the target pixel in the first direction; The pixel value of the neighborhood pixel point in the direction, and the first channel interpolation processing is performed on the target pixel point.
  • the processor is further configured to: based on the first channel pixel value of the first type pixel point and the second channel pixel value of the second type pixel point,
  • the original image is converted into a second Bayer format image or an RGB image.
  • the second Bayer format image includes a plurality of 2 ⁇ 2 image blocks, and the pixel points in the first row and the first column in each image block is the R channel pixel point, the pixel points in the 1st row, the 2nd column and the 2nd row and the 1st column are the G channel pixel points, and the pixel point in the 2nd row and the 2nd column is the B channel pixel point.
  • the processor is further configured to: convert the RGB image into a YUV image after converting the original image into an RGB image; and the V component for median filtering.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本说明书提供一种图像处理方法、设备及计算机可读存储介质，所述方法包括：获取原始图像中第一类像素点的第一通道像素值，所述原始图像包括所述第一类像素点的第二通道像素值和第二类像素点的第一通道像素值；根据所述第一类像素点的第一通道像素值和第二通道像素值计算所述第一类像素点的第一通道和第二通道之间的色差值；根据所述第一类像素点的第一通道和第二通道之间的色差值和所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值。

Description

图像处理方法、装置和系统，计算机可读存储介质 技术领域
本说明书涉及图像处理技术领域，尤其涉及一种图像处理方法、设备及计算机可读存储介质。
背景技术
在数码相机或摄像机中，图像传感器负责记录原始图像。原始图像一般是拜耳格式的图像，即，图像中各个像素点仅包括一个通道的像素值。为了将原始图像转换为用户可理解的RGB图像，需要对原始图像进行色彩重建。然而，对不同拜耳格式的图像进行色彩重建需要采用不同的ISP算法和硬件设计，导致进行色彩重建的复杂度较高。
发明内容
为克服相关技术中存在的问题，实现无需对ISP算法和硬件进行重新设计，就能够得到全彩色图像，本说明书提供了一种图像处理方法、设备及计算机可读存储介质。
根据本说明书实施例的第一方面，提供一种图像处理方法，所述方法包括：获取原始图像中第一类像素点的第一通道像素值，所述原始图像包括所述第一类像素点的第二通道像素值和第二类像素点的第一通道像素值；根据所述第一类像素点的第一通道像素值和第二通道像素值计算所述第一类像素点的第一通道和第二通道之间的色差值；根据所述第一类像素点的第一通道和第二通道之间的色差值和所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值。
根据本说明书实施例的第二方面，提供一种图像处理设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下方法：获取原始图像中第一类像素点的第一通道像素值，所述原始图像包括所述第一类像素点的第二通道像素值和第二类像素点的第一通道像素值；根据所述第一类像素点的第一通道像素值和第二通道像素值计算所述第一类像素点的第一通道和第二通道之间的色差值；根据所述第一类像素点的第一通 道和第二通道之间的色差值和所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值。
根据本说明书实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面所述的图像处理方法。
本说明书的实施例提供的技术方案可以包括以下有益效果：本说明书实施例中，对基于其他阵列的图像传感器所采集的原始图像，获取第一类像素点的第一通道像素值以及第二类像素点的第二通道像素值，进而可以获得RGB图像或者传统的RGGB拜尔阵列图像，因此能够在不对ISP算法和硬件进行重新设计的情况，获得全彩色图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是一种图像传感器采集的原始图像。
图2是另一种图像传感器采集的原始图像。
图3是本说明书根据一示例性实施例示出的一种获取第二类像素点的第二通道像素值的方法的流程图。
图4是本说明书根据一示例性实施例示出的一种获取第二类像素点的第二通道像素值的方法的示意图。
图5是本说明书根据一示例性实施例示出的一种获取第一类像素点的第一通道像素值的方法的示意图。
图6是本说明书根据一示例性实施例示出的一种获取获取原始图像的特征的方法的示意图。
图7是本说明书根据一示例性实施例示出的另一种获取第一类像素点的第一通道像素值的方法的示意图。
图8是本说明书根据一示例性实施例示出的另一种获取原始图像的特征的方法的示意图。
图9是本说明书根据一示例性实施例示出的另一种获取第一类像素点的第一通道像素值的方法的流程图。
图10是本说明书根据一示例性实施例示出的另一种获取第一类像素点的第一通道像素值的方法的流程图。
图11是本说明书根据一示例性实施例示出的另一种获取第一类像素点的第一通道像素值的方法的流程图。
图12是本说明书根据一示例性实施例示出的一种获取RGGB拜尔图像的方法的流程图。
图13是本说明书根据一示例性实施例示出的另一种获取RGGB拜尔图像的方法的流程图。
图14是本说明书实施例图像处理设备的一种硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如， 在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在如数码相机或摄像机等图像采集设备中，CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)或CCD(Charge Coupled Device，电荷耦合器件)等图像传感器负责记录原始图像。通过在图像传感器前加入不同颜色的滤光镜，可以获取包含不完全色彩的原始图像(称为拜尔阵列图像)，进而通过后续图像处理重建出RGB图像。
图像传感器采集到的一种原始图像为RGGB拜尔阵列(Bayer Pattern)图像。图像传感器采集到的原始图像的格式称为该图像传感器的采样模式。参见图1，是RGGB拜尔阵列图像的示例。该RGGB拜尔阵列图像的一个图像单元(例如，灰色的四个方块所示)包括4个相同的2×2图像块，在每个2×2图像块中，第1行第1列为R(Red，红色)通道像素点，第1行第2列和第2行第1列为G(Green，绿色)通道像素点，第2行第2列为B(Blue，蓝色)通道像素点。在本申请中，文字说明和附图中，大写字母R、G、B表示不同的通道，对应的小写字母r、g、b表示不同通道像素点对应的像素值。
图像传感器采集到的另一种原始图像为四像素拜尔阵列(Quad-bayer coding，QBC)图像。参见图2，是四像素拜尔阵列图像的示例，QBC图像的一个图像单元包括4个2×2图像块，第1行第1列的2×2图像块(即图中的黑色图像块)包括4个R通道像素点，第1行第2列和第2行第1列的2×2图像块(即图中深灰色和浅灰色的图像块)各包括4个G通道像素点，第2行第2列的2×2图像块(即图中白色的图像块)包括4个B通道像素点。
除此之外，图像传感器采集到的原始图像还可以是其他类型的拜耳阵列图像，不同类型的拜耳阵列图像中R通道像素点、G通道像素点和B通道像素点的排布方式不同，此处不再赘述。
为了将原始图像转换为用户可理解的RGB图像，需要对原始图像进行色彩重建。然而，对不同拜耳格式的图像进行色彩重建需要采用不同的ISP算法和硬件设计。例如，针对RGGB拜尔阵列图像进行色彩重建的的ISP算法和硬件设计并不适用于对QBC图像进行色彩重建。这就导致了进行色彩重建的复杂度较高。
为了克服上述问题，实现无需对ISP算法和硬件进行重新设计，就能够得到RGB图像，本说明书提供了一种图像处理方法、设备及计算机可读存储介质。接下来对本说明书实施例进行详细说明。
如图3所示，图3是本说明书根据一示例性实施例示出的一种图像处理方法的流程图。本申请实施例提供的方法可以由任意具备计算处理能力的终端设备和/或服务器执行，本申请对此不作限定。如图3所示，本申请实施例提供的方法可以包括以下步骤：
在步骤301中，获取原始图像中第一类像素点的第一通道像素值，所述原始图像包括所述第一类像素点的第二通道像素值和第二类像素点的第一通道像素值；
在步骤302中，根据所述第一类像素点的第一通道像素值和第二通道像素值计算所述第一类像素点的第一通道和第二通道之间的色差值；
在步骤303中，根据所述第一类像素点的第一通道和第二通道之间的色差值和所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值。
在示例性实施例中，所述原始图像由图像传感器采集，所述图像传感器可以以四像素拜尔阵列(Quad-bayer coding，QBC)为采样模式，也可以以其他拜耳阵列格式为采样模式，本申请并不做限定。在下面的举例中，为了方便说明，仅以采样模式为四像素拜尔阵列模式为例进行举例说明。本领域技术人员应当理解，本申请的方法同样适用于对其他采样模式下采集到的原始图像进行处理。
参见图4，图像传感器采集到的原始图像401可包括第一类像素点的第二通道像素值和第二类像素点的第一通道像素值。进一步地，第一类像素点仅包括第二通道像素值，不包括第一通道像素值；第二类像素点仅包括第一通道像素值，不包括第二通道像素值。第一类像素点可以是R通道像素点(即，仅包括R通道像素值的像素点)，也可以是B通道像素点(即，仅包括B通道像素值的像素点)。当第一类像素点为R通道像素点时，第二通道像素值是R通道像素值；当第一类像素点是B通道像素点时，第二通道像素值是B通道像素值。第二类像素点可以是G通道像素点(即，仅包括G通道像素值的像素点)，第一通道像素值为G通道像素值。在本申请中，对B通道像素点及其像素值的处理与对R通道像素点及其像素值的处理相同，故将B通道像素点和R通道像素点统称为第一类像素点，将B通道像素点的B通道像素值和R通道像素点的R通道像素值统称为第二通道像素值。为了方便描述，下文以第一类像素点为 R通道像素点，第二通道像素值为R通道像素值为例，对第一类像素点及其像素值的处理进行说明。第一类像素点为B通道像素点时的处理可参见R通道像素点的处理，本公开对此不再详细说明。
在一些实施例中，参见图4，由图像传感器采集的原始图像401包括R通道像素点4011的R通道像素值r和G通道像素点4012的G通道像素值g。根据原始图像401，可以获取原始图像401中R通道像素点4011在G通道的像素值g，即图像402中的像素点4026的像素值g。像素点4011与像素点4026为同一像素点。同理，获取B通道像素点在G通道的像素值g。
根据原始图像401中R通道像素点4011的R通道像素值r和上述步骤中获取的该像素点的G通道像素值g，可以计算出该R通道像素点4011在R通道和G通道的色差值，即图像403中的像素点4027对应的像素值r-g。
根据上述步骤计算出来的R通道像素点的色差值r-g，结合G通道像素点的G通道像素值g，可以确定出G通道像素点的R通道像素值，例如，可获取图像404中G通道像素点4028的R通道像素值r。
应当说明的是，在前述步骤中已获取到了B通道像素点的G通道像素值，因此，也可以计算B通道像素点的R通道像素值。将B通道像素点视为G通道像素点，并按照与G通道像素点相同的方式来获取B通道像素点的R通道像素值。确定出原始图像中每个像素点的R通道像素值，就可以得到原始图像的R通道估计图像404。也就是说，最终获取的R通道估计图像404中可以包括G通道像素点的R通道像素值，也可以包括B通道像素点的R通道像素值。
在一些实施例中，可以根据第一类像素点的第一通道和第二通道之间的色差值插值出第二类像素点的第一通道和第二通道之间的色差值；根据第二类像素点的第一通道和第二通道之间的色差值，以及第二类像素点的第一通道像素值，确定第二类像素点的第二通道像素值。
参见图4，仍以第一类像素点为R通道像素点为例，说明如何确定G通道像素点4028的R通道像素值r。根据原始图像401与其对应的G通道估计图像402，可以获取R通道像素点的R通道和G通道之间的色差图像403。分别在G通道和B通道对色差图像403进行插值处理，可以得到完全色差图像413。其中，完全色差图像413包含了原始图像中每个像素点的G通道像素值和R通道像素值之间的色差值。在获得 完全色差图像413的过程中，除了进行插值处理，还可以在插值处理之后进行平滑处理。插值处理所采用的插值方法可以是双线性插值法或者其他现有的插值方法。将G通道估计图像402与完全色差图像413相加，可以得到R通道估计图像404。在R通道估计图像404中，包含G通道像素点4028的R通道像素值r。
通过上述实施例，可以获得原始图像的R通道估计图像。所属技术人员应当理解，根据原始图像的B通道像素值及获得的G通道估计图像，采用与上述实施例相同的方法，同样可以获得原始图像的B通道估计图像，这里不再赘述。
在一些实施例中，可以根据所述原始图像中的像素值进行插值，得到所述原始图像的初始第一通道像素值；计算所述原始图像的初始第一通道像素值的特征；根据所述原始图像的初始第一通道像素值的特征对原始图像进行滤波，得到所述原始图像的第一通道像素值，所述原始图像的第一通道像素值包括所述第一类像素点的第一通道像素值。
参见图5，仍以第一类像素点为G通道像素点、第一通道像素值为G通道像素值为例。为了获取原始图像401中R通道像素点4011的G通道像素值g(即获得图像402中的像素点4026的像素值g)，可以采用以下方法：
对原始图像401中的像素点进行G通道插值，得到包含原始图像的初始G通道像素值的图像。初始G通道像素值是指通过对原始图像进行插值所获得的G通道像素值。在图5中，即对图像401的像素点进行插值得到图像406，图像406中的像素点包含原始图像的初始G通道像素值。然后，计算图像406的特征，根据计算得到的特征对原始图像401进行滤波，得到图像402。图像402包含了R通道像素点的G通道像素值，为原始图像401的G通道估计图像。
对每个R通道像素点，可以获取包括该像素点的一个图像块的特征，基于图像块的特征对该R通道像素点进行滤波，得到该R通道像素点的G通道像素值。其中，一个R通道像素点图像块可以是以该R通道像素点为中心的图像块，例如，水平图像块或竖直图像块，或者二维图像块。其中，水平图像块是指只包含一行像素点的图像块；竖直图像是指只包含一列像素点的图像块。
在一些实施例中，可以沿着第一方向，对原始图像中的各个像素点进行第一通道插值处理，得到插值图像，所述插值图像中的各个像素点均包括第一通道像素值；根据所述插值图像确定所述第一类像素点的梯度结构张量；基于所述第一类像素点的 梯度结构张量，获取所述第一类像素点在所述第一通道上的特征向量。
结合图5进行说明，仍以第一类像素点为R通道像素点，第一通道像素值为R通道像素值为例进行说明。计算图像406中像素点的特征，可以通过以下方式实现：
选定一个插值方向，该方向能够实现对图像上所有的像素点进行G通道插值，那么可由图像401得到图像406。其中，图像406中的g xy均为沿着一个选定的插值方向进行插值获得的G通道像素值，g可以为插值获得的G通道像素值，也可以为原始图像中的G通道像素值，本申请不做限制。根据获得的插值图像406，可确定出原始图像中R通道像素点的梯度结构张量，根据确定的梯度结构张量，可以确定出R通道像素点在G通道上的特征向量。例如，对原始图像401中的R通道像素点4011按照选定方向进行插值，获得该像素点4021的G通道插值g xy，可以进一步确定出该像素点在G通道上的梯度结构张量和特征向量。
在一些实施例中，第一方向包括水平方向和竖直方向。可以沿着所述水平方向对原始图像中的各个像素点进行第一通道插值处理，得到水平插值图像；以及沿着所述竖直方向对原始图像中的各个像素点进行第一通道插值处理，得到竖直插值图像。然后，可以根据所述水平插值图像和竖直插值图像确定所述第一类像素点的梯度结构张量。通过在两个方向进行插值处理，能够使处理后的图像，在水平方向和竖直方向上，成像效果更自然，避免图像在一个方向上更细腻，而另一个方向上断层现象明显的问题。
具体参见图6，仍以原始图像401中的R通道像素点4011为例，按照水平方向插值，可以获得水平插值图像407及该像素点4013在水平方向上的G通道插值g x；按照竖直方向插值，可以获得竖直插值图像408及该像素点4014在竖直方向上的G通道插值g y。然后根据水平插值图像407和竖直插值图像408，可以进一步确定出该像素点在G通道上的梯度结构张量和特征向量。
此外，上述插值方向具体还可以是图像的两个对角线方向，还可以既包括水平方向、竖直方向，又包括两个对角线方向，也还可以是其他方向。当选择其他插值方向时，根据插值图像获得像素点在G通道上的梯度结构张量和特征向量与上述实施例的方法类似，这里不做赘述。
在一些实施例中，可以获取在所述第一方向上的邻域像素点的像素值；基于所述目标像素点在所述第一方向上的邻域像素点的像素值，对所述目标像素点进行第一 通道插值处理。
仍以G通道像素值为第一通道像素值，以水平方向为第一方向进行举例说明。对图6中的原始图像401中的像素点进行G通道水平插值处理，可以采用以下方式：
参见图7，给出了包含4个原始图像单元的第一行像素的原始图像块409，对每个像素点进行G通道插值处理，可以先获取其在该水平方向上的邻近像素点的像素值，然后进行G通道插值处理。以R通道像素点4011作为目标像素为例，可以先获取其邻近像素点的像素值，例如，可以获取其邻域的像素点4015、4016、4017、4018、4019、4020在原始图像中的像素值，结合该像素点自身的像素值进行插值，获取该R通道像素点4011的G通道插值。也可以选取更少的邻近像素点的像素值，例如只获取其邻近像素点4015、4016在原始图像中的像素值，结合该像素点自身的像素值进行插值。也可以选取更多的邻近像素点的像素值，结合该像素点自身的像素值进行插值。当选取更多的邻近像素点进行插值，能够获取更好的插值效果，进而能够在后续处理不变的情况下，获取更好的成像效果，但是，获取更多的邻近像素点进行插值，也会消耗更多的软硬件资源。在具体应用时，应考虑成像效果与资源消耗之间的平衡。
以上实施例为是基于水平方向上的，在竖直方向上对R通道像素点进行G通道插值的方法与水平方向相似，这里不做赘述。在一些实施例中，基于所述目标像素点在所述第一方向上的邻域像素点的像素值，对所述目标像素点进行第一通道插值处理，包括：基于所述目标像素点的第一通道邻域像素点像素值、第二通道邻域像素点像素值、所述第一通道邻域像素点的插值系数以及所述第二通道邻域像素点的插值系数，对所述目标像素点进行第一通道插值处理。
以图7为例，说明如何对图像块中的像素点沿着水平方向进行插值获取该像素点在G通道上的像素值。对于R通道像素点4011，可以选取合适的插值系数对该像素点自身的像素值以及其邻近的像素点的像素值进行插值处理，获取该像素点在G通道上的像素值。插值系数可以根据色差一致性原理推导得到，也可以通过模型训练等其他方式得到，对此不作具体的限制。例如，仍可以选择获取该像素点邻近的像素点4015、4016、4017、4018、4019、4020在原始图像中的像素值，分别为：r -3、g -2、g -1、r 1、g 2、g 3，结合该像素点自身的像素值r 0，选取根据色差一致性原理推导得到的插值系数
Figure PCTCN2020118383-appb-000001
那么，R通道像素点4011在G通道的像素值g x0，为：
Figure PCTCN2020118383-appb-000002
也可以仅选择该像素邻近的像素点4016、4017、4018和4019，它们的像素值分别为为g -2、g -1、r 1和g 2，那么，R通道像素点4011在G通道的像素值g x0，为：
Figure PCTCN2020118383-appb-000003
以上实施例为是基于水平方向上的，在竖直方向上对R通道像素点进行G通道插值的方法与水平方向相似，这里不做赘述。另外，在B通道像素点的G通道像素值的获取，可以采用与上述在R通道像素点获取G通道像素值相同的插值方法。
上述实施例中，通过插值方法，在R通道像素点和B通道像素点获取G通道像素值，由于插值系数是利用色差原理获得的，因此获得的G通道像素值更加准确，能够使得处理后的图像更真实自然。
在一些实施例中，在上述插值处理中，还可以对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理。
仍以图7为例，结合公式(1)，可以通过对公式(1)中R通道像素点4011的邻近像素点的R通道像素值(r -3和r 1)乘以一个数的方式，来调节R通道像素点4011在G通道上的插值结果。
在一些实施例中，所述对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理包括：通过大于1的权重对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理，以增强所述原始图像中的高频分量；通过小于1的权重对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理，以削弱所述原始图像中的低频分量。
仍以图7为例，结合公式(1)，可以通过对公式(1)中R通道像素点4011的像素值(r 0)及其邻近像素点的R通道像素值(r -3和r 1)乘以一个相同的数，来调整原始图像中的频率分量，R通道像素点4011的G通道像素值的插值结果g x0可记为：
Figure PCTCN2020118383-appb-000004
当a>1时，可以增强原始图像的高频分量，以使得后续重建的图像细节更加清晰；当a<1时，可以削弱高频分量，弱化后续重建图像的细节。a为实数。
以上实施例为是基于水平方向上的，在竖直方向上对R通道像素点进行G通道插值的方法与水平方向相似，这里不做赘述。
在一些实施例中，所述目标像素点包括第一相位的目标像素点和第二相位的目标像素点，所述第一相位的像素点和第二相位的目标像素点采用不同的插值系数进行插值处理。
仍以图7为例，不同的像素点位于不同的相位。对R通道像素点4018基于插值系数进行插值处理得到G通道像素值g1时，可以采用与R通道像素点4011不同的插值系数。例如，可以选择获取该像素点4018邻近的像素点4016、4017、4011、4019、4020和4021在原始图像中的像素值，分别为：g -2、g -1、r 0、g 2、g 3和r 4，结合该像素点自身的像素值r 1，选取根据色差一致性原理推导得到的插值系数
Figure PCTCN2020118383-appb-000005
那么，R通道像素点4011在G通道的像素值g x0，为：
Figure PCTCN2020118383-appb-000006
对R通道像素点4018基于插值系数进行插值处理得到G通道像素值g1时，也可以采用与R通道像素点4011相同的插值系数，这里不做赘述。
以上实施例为是基于水平方向上的，在竖直方向上对R通道像素点进行G通道插值的方法与水平方向相似，这里不做赘述。
在一些实施例中，根据水平插值图像和竖直插值图像确定第一类像素点的梯度结构张量，可以通过以下方式实现：基于预先确定的第一卷积核对水平插值图像进行卷积处理，得到第一类像素点的水平方向梯度；基于预先确定的第二卷积核对竖直插值图像进行卷积处理，得到第一类像素点的竖直方向梯度；根据第一类像素点的水平方向梯度和竖直方向梯度，确定第一类像素点的梯度结构张量。
仍以图6中R通道像素点4011的梯度结构向量的确定为例进行说明。如图8所示，可以通过使用预先确定的第一卷积核对水平插值图像407进行卷积处理，得到水平方向梯度；使用预先确定的第二卷积核对竖直插值图像408进行卷积处理，得到竖直方向梯度。例如，对于水平插值图像407，使用卷积核[1 0 -1]进行卷积，得到水平插值图像407的水平方向梯度；对于竖直插值图像408，使用卷积核[1 0 -1] T进行卷积，得到竖直插值图像408的竖直方向梯度。上述卷积处理所采用的卷积核除了[1 0 -1]和[1 0 -1] T之外，还可以采用其他的卷积核，例如，[-1 0 1]和[-1 0 1] T；又例如，[1 -1] 和[1 -1] T等。
然后，以R通道像素点4011为中心，选取具有一定窗口大小的水平方向梯度块Ix和竖直方向梯度块Iy，将Ix和Iy分别展开为列向量，则梯度结构张量Ω为：
Figure PCTCN2020118383-appb-000007
其中，梯度结构张量Ω为2行2列矩阵。所述水平方向梯度块Ix和竖直方向梯度块Iy的窗口大小的选取，可以根据图像质量要求和硬件资源确定。窗口尺寸越大，能够达到的图像质量越高，但是硬件资源消耗地越多。
在一些实施例中，基于所述第一类像素点的梯度结构张量，获取第一类像素点在所述第一通道上的特征向量，包括：获取所述第一类像素点的梯度结构张量对应的哈希值向量；将所述第一类像素点的哈希值向量确定为所述第一类像素点的特征向量。
以图8所举示例及其结果为例，在获取R通道像素点4011的梯度结构张量
Figure PCTCN2020118383-appb-000008
之后，可以通过公式获得该梯度结构张量对应的哈希值向量为：[k 1,k 2,k 3]。k 1,k 2,k 3的表达式可以分别为：
k1＝arctan[(c-a+δ)/(2b)]，
Figure PCTCN2020118383-appb-000009
Figure PCTCN2020118383-appb-000010
其中：
Figure PCTCN2020118383-appb-000011
Figure PCTCN2020118383-appb-000012
b＝I xI y,c＝I yI x,
Figure PCTCN2020118383-appb-000013
通过以上方式确定的哈希值向量即为R通道像素点4011的特征向量。
在一些实施例中，根据所述原始图像的初始第一通道像素值的特征对原始图像进行滤波，得到所述原始图像的第一通道像素值，包括：基于所述原始图像中的第一类像素点的特征向量，确定所述第一类像素点的滤波器核；基于所述第一类像素点的滤波器核，对所述第一类像素点进行滤波，得到所述原始图像的第一通道像素值。
参见图9，并结合图6，在获得原始图像401中的R通道像素点4011的特征之后，所述特征可以为特征向量，也可以为其他能够表征所述图像该像素点的特征的其他参量，可以进一步获得滤波器核。基于获得的滤波器核，可以对图像块401中的R通道像素点4011进行滤波，进而获得该像素点4012的G通道像素值g。
在一些实施例中，基于所述原始图像中的第一类像素点的特征向量，确定所述第一类像素点的滤波器核，包括：基于预先确定的量化级数对所述特征向量进行插值处理，得到所述滤波器核；或者，对所述特征向量中的元素进行取整处理，得到所述滤波器核。
参见图10，采用滤波器核对原始图像401中的R通道像素点4011进行滤波，得到具有G通道像素值的像素值4026，滤波器核可以通过以下方式获得：
以特征向量为哈希值向量为例，假设哈希值向量中三个元素的量化级数分别为n 1，n 2和n 3，那么预置的滤波器组中的滤波核数量为n＝n 1×n 2×n 3。其中，量化级数指的是哈希值向量[k 1,k 2,k 3]中三个元素k 1,k 2,k 3的可取值数量。假设滤波器核的尺寸为m，则滤波器组可以组成m 2个三维查找表，每个三维查找表的尺寸为n＝n 1×n 2×n 3。该像素对应的滤波器核可以根据哈希值向量从三维查找表中插值得到，插值方法可以为双三次插值、四面体插值等。
此外，滤波器核的获取，除了进行插值获得，还可以对哈希值向量[k 1,k 2,k 3]中三个元素k 1,k 2,k 3进行取整处理，得到滤波器组中预存的与三个元素值最接近的滤波器核，作为后续滤波所采用的滤波器核。
在一些实施例中，基于所述第一类像素点的滤波器核，对所述第一类像素点进行滤波，包括：获取所述原始图像中以所述第一类像素点为中心的预设窗口内的图像块；通过所述滤波器核对所述图像块进行滤波。
仍参见图10，对R通道像素点4022进行滤波得到该像素点4023在G通道的G通道像素值g，可采取以下方式：选择一个以R通道像素点4022为中心的具有一定尺寸的图像块，例如，选择以该像素点为中心的3×3图像块409，将该图像块与该R通道像素点对应的卷积核进行卷积，可以得到该R通道像素点对应的G通道估计值g。
在一些实施例中，在获取所述原始图像中以所述第一类像素点为中心的预设窗口内的图像块之前，所述方法还包括：若所述第一类像素点一侧的像素点的数量小于所述窗口的半径，对所述第一类像素点另一侧的像素点进行镜像处理，以补全所述第 一类像素点一侧像素点。
仍以选择3×3大小的图像块进行滤波处理为例，参见图11，对位于原始图像第一行的R通道像素点4024进行滤波得到该像素点4025在G通道的像素值g，由于该像素点位于原始图像的边缘，因此，选择以该像素点为中心的图像块410时，在图像块410的一侧会没有像素点。在这种情况下，可以对图像块410的另一侧进行镜像补全。如图10所示，将图像块410中，R通道像素点4024下行的像素值镜像到R通道像素点4024上行，得到图像块411，然后，再将该图像块与该R通道像素点4024对应的卷积核进行卷积，得到该R通道像素点对应的G通道估计值g(即图像402中的像素点4025的像素值)。
通过以上各实施例，能够获得原始图像的G通道估计图像。G通道估计图像中包括各像素点的G通道像素值。
在一些实施例中，还可以基于所述第一类像素点的第一通道像素值和所述第二类像素点的第二通道像素值，将所述原始图像转换为第二拜尔格式的图像或者RGB图像，所述第二拜尔格式的图像即图2所示的图像。
如果将原始图像转换为第二拜尔格式的图像，可以利用上述实施例中的方法，获取原始图像每个像素点的三个通道(R通道、G通道和B通道)的像素值。参见图12，即分别获取原始图像的R通道像估计图404、G通道估计图像402和B通道估计图像414。
如果将原始图像转换为RGGB拜尔格式图像，如图12所示，可以先获取原始图像每个像素点的三个通道(R通道、G通道和B通道)的像素值，然后再基于R通道像估计图404、G通道估计图像402和B通道估计图像414，获取RGGB拜尔格式图像412。也可以如图13所示，只获取原始图像中特定像素点的特定像素值，其中，特定像素点的特定像素值指的是将原始图像401转换为RGGB图像412所需要的像素点的像素值，且这些像素点的像素值不能从原始图像401中直接获取，即如图415所示的各个像素点的像素值。
参见图12和图13，在获取到了RGB图像之后，可以将原始数据转换为传统的RGGB图像412。因此，由基于非RGGB等拜尔阵列的图像传感器采集的图像，也能够接入现有的ISP处理模块，而无需重新设计ISP算法和硬件。
在一些实施例中，在将所述原始图像转换为RGB图像之后，将所述RGB图像 转换为伪YUV图像；对所述伪YUV图像中的U分量和V分量进行中值滤波。例如，伪YUV图像的一种计算方式如下：Y＝(R+B+2*G)/4，U＝R-G，V＝B-G。
对于基于非RGGB等拜尔阵列的图像传感器采集的原始图像，当采用本申请的方法获得RGB图像之后，还可以将RGB转换为YUV图像，并采用一些方法来提升图像质量，例如，采用中值滤波来去除图像的伪彩色。
虽然本申请以上实施例大部分以四像素拜尔阵列图像为原始图像进行说明，但是，所属领域技术人员应当理解，本申请的方法也可以应用于将其他基于非RGGB阵列的图像传感器采集的原始图像，转换为RGB图像或者传统的RGGB图像。
与前述方法的实施例相对应，本说明书还提供了装置及其所应用的终端的实施例。
参见图14，是本申请实施例提供的一种图像处理设备的结构示意图，具体的，该图像处理设备包括存储器1401和处理器1402。
所述存储器1401可以包括易失性存储器(volatile memory)；存储器1401也可以包括非易失性存储器(non-volatile memory)；存储器1401还可以包括上述种类的存储器的组合。所述处理器1402可以是中央处理器(central processing unit，CPU)。所述处理器1402还可以进一步包括硬件视频图像处理设备。上述硬件视频图像处理设备可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。具体例如可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
所述存储器1401用于存储程序指令，当程序指令被执行时，所述处理器1402调用存储器1402中存储的程序指令，用于执行如下步骤：
获取原始图像中第一类像素点的第一通道像素值，所述原始图像包括所述第一类像素点的第二通道像素值和第二类像素点的第一通道像素值；
根据所述第一类像素点的第一通道像素值和第二通道像素值获取所述第一类像素点的第一通道和第二通道之间的色差值；
基于所述第一类像素点的第一通道和第二通道之间的色差值和所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值。
在该图像处理设备的一些实施例中，基于所述第一类像素点的第一通道和第二通道之间的色差值和所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值，所述处理器还用于：根据所述第一类像素点的第一通道和第二通道之间的色差值插值出所述第二类像素点的第一通道和第二通道之间的色差值；根据所述第二类像素点的第一通道和第二通道之间的色差值以及所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值。
在该图像处理设备的一些实施例中，所述获取原始图像中第一类像素点的第一通道像素值，所述处理器还用于：根据所述原始图像中的像素值进行插值，得到所述原始图像的初始第一通道像素值；计算所述原始图像的初始第一通道像素值的特征；根据所述原始图像的初始第一通道像素值的特征对原始图像进行滤波，得到所述原始图像的第一通道像素值，所述原始图像的第一通道像素值包括所述第一类像素点的第一通道像素值。
在该图像处理设备的一些实施例中，所述计算所述原始图像的初始第一通道像素值的特征，所述处理器还用于：沿着第一方向，对原始图像中的各个像素点进行第一通道插值处理，得到插值图像，所述插值图像中的各个像素点均包括第一通道像素值；根据所述插值图像确定所述第一类像素点的梯度结构张量；基于所述第一类像素点的梯度结构张量，获取所述第一类像素点在所述第一通道上的特征向量。
在该图像处理设备的一些实施例中，所述第一方向包括水平方向和竖直方向；所述沿着第一方向，对原始图像中的各个像素点进行第一通道插值处理，得到插值图像，所述处理器还用于：沿着所述水平方向对原始图像中的各个像素点进行第一通道插值处理，得到水平插值图像；沿着所述竖直方向对原始图像中的各个像素点进行第一通道插值处理，得到竖直插值图像；所述根据所述插值图像确定所述第一类像素点的梯度结构张量，包括：根据所述水平插值图像和竖直插值图像确定所述第一类像素点的梯度结构张量。
在该图像处理设备的一些实施例中，所述根据所述水平插值图像和竖直插值图像确定所述第一类像素点的梯度结构张量，所述处理器还用于：基于预先确定的第一卷积核对所述水平插值图像进行卷积处理，得到所述第一类像素点的水平方向梯度；基于预先确定的第二卷积核对所述竖直插值图像进行卷积处理，得到所述第一类像素点的竖直方向梯度；根据所述第一类像素点的水平方向梯度和竖直方向梯度，确定所述第一类像素点的梯度结构张量。
在该图像处理设备的一些实施例中，所述处理器还用于：获取目标像素点在所述第一方向上的邻域像素点的像素值；基于所述目标像素点在所述第一方向上的邻域像素点的像素值，对所述目标像素点进行第一通道插值处理。在该图像处理设备的一些实施例中，所述邻域像素点包括第一通道邻域像素点和第二通道邻域像素点；所述基于所述目标像素点在所述第一方向上的邻域像素点的像素值，对所述目标像素点进行第一通道插值处理，所述处理器还用于：基于所述目标像素点的第一通道邻域像素点像素值、第二通道邻域像素点像素值、所述第一通道邻域像素点的插值系数以及所述第二通道邻域像素点的插值系数，对所述目标像素点进行第一通道插值处理。
在该图像处理设备的一些实施例中，所述处理器还用于：对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理。
在该图像处理设备的一些实施例中，所述处理器还用于：通过大于1的权重对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理，以增强所述原始图像中的高频分量；通过小于1的权重对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理，以削弱所述原始图像中的低频分量。
在该图像处理设备的一些实施例中，所述目标像素点包括第一相位的目标像素点和第二相位的目标像素点，所述处理器还用于：对第一相位的像素点和第二相位的目标像素点采用不同的插值系数进行插值处理。
在该图像处理设备的一些实施例中，所述基于所述第一类像素点的梯度结构张量，获取第一类像素点在所述第一通道上的特征向量，所述处理器还用于：获取所述第一类像素点的梯度结构张量对应的哈希值向量；将所述第一类像素点的哈希值向量确定为所述第一类像素点的特征向量。
在该图像处理设备的一些实施例中，所述特征为特征向量；所述根据所述原始图像的初始第一通道像素值的特征对原始图像进行滤波，得到所述原始图像的第一通道像素值，所述处理器还用于：基于所述原始图像中的第一类像素点的特征向量，确定所述第一类像素点的滤波器核；基于所述第一类像素点的滤波器核，对所述第一类像素点进行滤波，得到所述原始图像的第一通道像素值。
在该图像处理设备的一些实施例中，所述基于所述原始图像中的第一类像素点的特征向量，确定所述第一类像素点的滤波器核，所述处理器还用于：基于预先确定的量化级数对所述特征向量进行插值处理，得到所述滤波器核；或者，对所述特征向 量中的元素进行取整处理，得到所述滤波器核。
在该图像处理设备的一些实施例中，所述基于所述第一类像素点的滤波器核，对所述第一类像素点进行滤波，所述处理器还用于：获取所述原始图像中以所述第一类像素点为中心的预设窗口内的图像块；通过所述滤波器核对所述图像块进行滤波。
在该图像处理设备的一些实施例中，在获取所述原始图像中以所述第一类像素点为中心的预设窗口内的图像块之前，所述处理器还用于：若所述第一类像素点一侧的像素点的数量小于所述窗口的半径，对所述第一类像素点另一侧的像素点进行镜像处理，以补全所述第一类像素点一侧像素点。
在该图像处理设备的一些实施例中，所述第一通道为G通道，所述第二通道为R通道或者B通道。
在该图像处理设备的一些实施例中，所述原始图像为第一拜尔格式的图像，所述第一拜尔格式的图像中包括多个目标图像块，每个目标图像块包括4个2×2的子图像块，所述目标图像块中第1行第1列的子图像块中包括4个R通道像素点，第1行第2列和第2行第1列的子图像块中包括4个G通道像素点，第2行第2列的子图像块中包括4个B通道像素点。
在该图像处理设备的一些实施例中，所述处理器还用于：基于所述第一类像素点的第一通道像素值和所述第二类像素点的第二通道像素值，将所述原始图像转换为第二拜尔格式的图像或者RGB图像，所述第二拜尔格式的图像中包括多个2×2的图像块，每个图像块中第1行第1列的像素点为R通道像素点，第1行第2列和第2行第1列的像素点为G通道像素点，第2行第2列的像素点为B通道像素点。
在该图像处理设备的一些实施例中，所述处理器还用于：在将所述原始图像转换为RGB图像之后，将所述RGB图像转换为YUV图像；对所述YUV图像中的U分量和V分量进行中值滤波。
在本申请的实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请上述方法中的所有实施例，在此不再赘述。
所述计算机可读存储介质可以是前述任一项实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安 全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (41)

  1. 一种图像处理方法，其特征在于，所述方法包括：
    获取原始图像中第一类像素点的第一通道像素值，所述原始图像包括所述第一类像素点的第二通道像素值和第二类像素点的第一通道像素值；
    根据所述第一类像素点的第一通道像素值和第二通道像素值计算所述第一类像素点的第一通道和第二通道之间的色差值；
    根据所述第一类像素点的第一通道和第二通道之间的色差值和所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值。
  2. 根据权利要求1所述的方法，其特征在于，所述基于所述第一类像素点的第一通道和第二通道之间的色差值和所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值，包括：
    根据所述第一类像素点的第一通道和第二通道之间的色差值插值出所述第二类像素点的第一通道和第二通道之间的色差值；
    根据所述第二类像素点的第一通道和第二通道之间的色差值，以及所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值。
  3. 根据权利要求1所述的方法，其特征在于，所述获取原始图像中第一类像素点的第一通道像素值，包括：
    根据所述原始图像中的像素值进行插值，得到所述原始图像的初始第一通道像素值；
    计算所述原始图像的初始第一通道像素值的特征；
    根据所述原始图像的初始第一通道像素值的特征对原始图像进行滤波，得到所述原始图像的第一通道像素值，所述原始图像的第一通道像素值包括所述第一类像素点的第一通道像素值。
  4. 根据权利要求3所述的方法，其特征在于，所述计算所述原始图像的初始第一通道像素值的特征，包括：
    沿着第一方向，对原始图像中的各个像素点进行第一通道插值处理，得到插值图像，所述插值图像中的各个像素点均包括第一通道像素值；
    根据所述插值图像确定所述第一类像素点的梯度结构张量；
    基于所述第一类像素点的梯度结构张量，获取所述第一类像素点在所述第一通道上的特征向量。
  5. 根据权利要求4所述的方法，其特征在于，所述第一方向包括水平方向和竖直方向；所述沿着第一方向，对原始图像中的各个像素点进行第一通道插值处理，得到插值图像，包括：
    沿着所述水平方向对原始图像中的各个像素点进行第一通道插值处理，得到水平插值图像；
    沿着所述竖直方向对原始图像中的各个像素点进行第一通道插值处理，得到竖直插值图像；
    所述根据所述插值图像确定所述第一类像素点的梯度结构张量，包括：
    根据所述水平插值图像和竖直插值图像确定所述第一类像素点的梯度结构张量。
  6. 根据权利要求5所述的方法，其特征在于，所述根据所述水平插值图像和竖直插值图像确定所述第一类像素点的梯度结构张量，包括：
    基于预先确定的第一卷积核对所述水平插值图像进行卷积处理，得到所述第一类像素点的水平方向梯度；
    基于预先确定的第二卷积核对所述竖直插值图像进行卷积处理，得到所述第一类像素点的竖直方向梯度；
    根据所述第一类像素点的水平方向梯度和竖直方向梯度，确定所述第一类像素点的梯度结构张量。
  7. 根据权利要求4所述的方法，其特征在于，对原始图像中的各个像素点基于以下方式进行第一通道插值处理：
    获取目标像素点在所述第一方向上的邻域像素点的像素值；
    基于目标像素点在所述第一方向上的邻域像素点的像素值，对所述像素点进行第一通道插值处理；
    其中，所述目标像素点是原始图像中的任意像素点。
  8. 根据权利要求7所述的方法，其特征在于，所述邻域像素点包括第一通道邻域像素点和第二通道邻域像素点；
    所述基于所述目标像素点在所述第一方向上的邻域像素点的像素值，对所述目标像素点进行第一通道插值处理，包括：
    基于所述目标像素点的第一通道邻域像素点像素值、第二通道邻域像素点像素值、所述第一通道邻域像素点的插值系数以及所述第二通道邻域像素点的插值系数，对所述目标像素点进行第一通道插值处理。
  9. 根据权利要求8所述的方法，其特征在于，还包括对所述目标像素点的第二通 道邻域像素点的插值系数进行加权处理。
  10. 根据权利要求9所述的方法，其特征在于，所述对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理包括：
    通过大于1的权重对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理，以增强所述原始图像中的高频分量；
    通过小于1的权重对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理，以削弱所述原始图像中的低频分量。
  11. 根据权利要求8所述的方法，其特征在于，所述目标像素点包括第一相位的目标像素点和第二相位的目标像素点，所述第一相位的像素点和第二相位的目标像素点采用不同的插值系数进行插值处理。
  12. 根据权利要求4所述的方法，其特征在于，所述基于所述第一类像素点的梯度结构张量，获取第一类像素点在所述第一通道上的特征向量，包括：
    获取所述第一类像素点的梯度结构张量对应的哈希值向量；
    将所述第一类像素点的哈希值向量确定为所述第一类像素点的特征向量。
  13. 根据权利要求3所述的方法，其特征在于，所述特征为特征向量；所述根据所述原始图像的初始第一通道像素值的特征对原始图像进行滤波，得到所述原始图像的第一通道像素值，包括：
    基于所述原始图像中的第一类像素点的特征向量，确定所述第一类像素点的滤波器核；
    基于所述第一类像素点的滤波器核，对所述第一类像素点进行滤波，得到所述原始图像的第一通道像素值。
  14. 根据权利要求13所述的方法，其特征在于，所述基于所述原始图像中的第一类像素点的特征向量，确定所述第一类像素点的滤波器核，包括：
    基于预先确定的量化级数对所述特征向量进行插值处理，得到所述滤波器核；
    或者，
    对所述特征向量中的元素进行取整处理，得到所述滤波器核。
  15. 根据权利要求13所述的方法，其特征在于，所述基于所述第一类像素点的滤波器核，对所述第一类像素点进行滤波，包括：
    获取所述原始图像中以所述第一类像素点为中心的预设窗口内的第一图像块；
    通过所述滤波器核对所述第一图像块进行滤波。
  16. 根据权利要求15所述的方法，其特征在于，在获取所述原始图像中以所述第 一类像素点为中心的预设窗口内的第一图像块之前，所述方法还包括：
    若所述第一类像素点一侧的像素点的数量小于所述窗口的半径，对所述第一类像素点另一侧的像素点进行镜像处理，以补全所述第一类像素点一侧像素点。
  17. 根据权利要求1至16任意一项所述的方法，其特征在于，所述第一通道为G通道，所述第二通道为R通道或者B通道。
  18. 根据权利要求1至17任意一项所述的方法，其特征在于，所述原始图像为第一拜尔格式的图像，所述第一拜尔格式的图像中包括多个目标图像块，每个目标图像块包括4个2×2的第二图像块，所述目标图像块中第1行第1列的第二图像块中包括4个R通道像素点，第1行第2列和第2行第1列的第二图像块中包括4个G通道像素点，第2行第2列的第二图像块中包括4个B通道像素点。
  19. 根据权利要求18所述的方法，其特征在于，所述方法还包括：
    基于所述第一类像素点的第一通道像素值和所述第二类像素点第二类像素点的第二通道像素值，将所述原始图像转换为第二拜尔格式的图像或者RGB图像，所述第二拜尔格式的图像中包括多个2×2的第三图像块，每个第三图像块中第1行第1列的像素点为R通道像素点，第1行第2列和第2行第1列的像素点为G通道像素点，第2行第2列的像素点为B通道像素点。
  20. 根据权利要求19所述的方法，其特征在于，所述方法还包括：
    在将所述原始图像转换为RGB图像之后，将所述RGB图像转换为YUV图像；
    对所述YUV图像中的U分量和V分量进行中值滤波。
  21. 一种图像处理设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下方法：
    获取原始图像中第一类像素点的第一通道像素值，所述原始图像包括所述第一类像素点的第二通道像素值和第二类像素点的第一通道像素值；
    根据所述第一类像素点的第一通道像素值和第二通道像素值计算所述第一类像素点的第一通道和第二通道之间的色差值；
    根据所述第一类像素点的第一通道和第二通道之间的色差值和所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值。
  22. 根据权利要求21所述的设备，其特征在于，基于所述第一类像素点的第一通道和第二通道之间的色差值和所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值，所述处理器还用于：
    根据所述第一类像素点的第一通道和第二通道之间的色差值插值出所述第二类像素点的第一通道和第二通道之间的色差值；
    根据所述第二类像素点的第一通道和第二通道之间的色差值以及所述第二类像素点的第一通道像素值，确定所述第二类像素点的第二通道像素值。
  23. 根据权利要求21所述的设备，其特征在于，所述获取原始图像中第一类像素点的第一通道像素值，所述处理器还用于：
    根据所述原始图像中的像素值进行插值，得到所述原始图像的初始第一通道像素值；
    计算所述原始图像的初始第一通道像素值的特征；
    根据所述原始图像的初始第一通道像素值的特征对原始图像进行滤波，得到所述原始图像的第一通道像素值，所述原始图像的第一通道像素值包括所述第一类像素点的第一通道像素值。
  24. 根据权利要求23所述的设备，其特征在于，所述计算所述原始图像的初始第一通道像素值的特征，所述处理器还用于：
    沿着第一方向，对原始图像中的各个像素点进行第一通道插值处理，得到插值图像，所述插值图像中的各个像素点均包括第一通道像素值；
    根据所述插值图像确定所述第一类像素点的梯度结构张量；
    基于所述第一类像素点的梯度结构张量，获取所述第一类像素点在所述第一通道上的特征向量。
  25. 根据权利要求24所述的设备，其特征在于，所述第一方向包括水平方向和竖直方向；所述沿着第一方向，对原始图像中的各个像素点进行第一通道插值处理，得到插值图像，所述处理器还用于：
    沿着所述水平方向对原始图像中的各个像素点进行第一通道插值处理，得到水平插值图像；
    沿着所述竖直方向对原始图像中的各个像素点进行第一通道插值处理，得到竖直插值图像；
    所述根据所述插值图像确定所述第一类像素点的梯度结构张量，包括：
    根据所述水平插值图像和竖直插值图像确定所述第一类像素点的梯度结构张量。
  26. 根据权利要求25所述的设备，其特征在于，所述根据所述水平插值图像和竖直插值图像确定所述第一类像素点的梯度结构张量，所述处理器还用于：
    基于预先确定的第一卷积核对所述水平插值图像进行卷积处理，得到所述第一类 像素点的水平方向梯度；
    基于预先确定的第二卷积核对所述竖直插值图像进行卷积处理，得到所述第一类像素点的竖直方向梯度；
    根据所述第一类像素点的水平方向梯度和竖直方向梯度，确定所述第一类像素点的梯度结构张量。
  27. 根据权利要求24所述的设备，其特征在于，所述处理器还用于：
    获取目标像素点在所述第一方向上的邻域像素点的像素值；
    基于所述目标像素点在所述第一方向上的邻域像素点的像素值，对所述目标像素点进行第一通道插值处理；
    其中，所述目标像素点是原始图像中的任意像素点。
  28. 根据权利要求27所述的设备，其特征在于，所述邻域像素点包括第一通道邻域像素点和第二通道邻域像素点；
    所述基于所述目标像素点在所述第一方向上的邻域像素点的像素值，对所述目标像素点进行第一通道插值处理，所述处理器还用于：
    基于所述目标像素点的第一通道邻域像素点像素值、第二通道邻域像素点像素值、所述第一通道邻域像素点的插值系数以及所述第二通道邻域像素点的插值系数，对所述目标像素点进行第一通道插值处理。
  29. 根据权利要求28所述的设备，其特征在于，所述处理器还用于：
    对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理。
  30. 根据权利要求29所述的设备，其特征在于，所述处理器还用于：
    通过大于1的权重对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理，以增强所述原始图像中的高频分量；
    通过小于1的权重对所述目标像素点的第二通道邻域像素点的插值系数进行加权处理，以削弱所述原始图像中的低频分量。
  31. 根据权利要求28所述的设备，其特征在于，所述目标像素点包括第一相位的目标像素点和第二相位的目标像素点，所述处理器还用于：
    对第一相位的像素点和第二相位的目标像素点采用不同的插值系数进行插值处理。
  32. 根据权利要求24所述的设备，其特征在于，所述基于所述第一类像素点的梯度结构张量，获取第一类像素点在所述第一通道上的特征向量，所述处理器还用于：
    获取所述第一类像素点的梯度结构张量对应的哈希值向量；
    将所述第一类像素点的哈希值向量确定为所述第一类像素点的特征向量。
  33. 根据权利要求23所述的设备，其特征在于，所述特征为特征向量；所述根据所述原始图像的初始第一通道像素值的特征对原始图像进行滤波，得到所述原始图像的第一通道像素值，所述处理器还用于：
    基于所述原始图像中的第一类像素点的特征向量，确定所述第一类像素点的滤波器核；
    基于所述第一类像素点的滤波器核，对所述第一类像素点进行滤波，得到所述原始图像的第一通道像素值。
  34. 根据权利要求23所述的设备，其特征在于，所述基于所述原始图像中的第一类像素点的特征向量，确定所述第一类像素点的滤波器核，所述处理器还用于：
    基于预先确定的量化级数对所述特征向量进行插值处理，得到所述滤波器核；
    或者，
    对所述特征向量中的元素进行取整处理，得到所述滤波器核。
  35. 根据权利要求23所述的设备，其特征在于，所述基于所述第一类像素点的滤波器核，对所述第一类像素点进行滤波，所述处理器还用于：
    获取所述原始图像中以所述第一类像素点为中心的预设窗口内的第一图像块；
    通过所述滤波器核对所述第一图像块进行滤波。
  36. 根据权利要求25所述的设备，其特征在于，在获取所述原始图像中以所述第一类像素点为中心的预设窗口内的第一图像块之前，所述处理器还用于：
    若所述第一类像素点一侧的像素点的数量小于所述窗口的半径，对所述第一类像素点另一侧的像素点进行镜像处理，以补全所述第一类像素点一侧像素点。
  37. 根据权利要求21至36任意一项所述的设备，其特征在于，所述第一通道为G通道，所述第二通道为R通道或者B通道。
  38. 根据权利要求21至37任意一项所述的设备，其特征在于，所述原始图像为第一拜尔格式的图像，所述第一拜尔格式的图像中包括多个目标图像块，每个目标图像块包括4个2×2的第二图像块，所述目标图像块中第1行第1列的第二图像块中包括4个R通道像素点，第1行第2列和第2行第1列的第二图像块中包括4个G通道像素点，第2行第2列的第二图像块中包括4个B通道像素点。
  39. 根据权利要求38所述的设备，其特征在于，所述处理器还用于：
    基于所述第一类像素点的第一通道像素值和所述第二类像素点的第二通道像素值，将所述原始图像转换为第二拜尔格式的图像或者RGB图像，所述第二拜尔格式的 图像中包括多个2×2的第三图像块，每个第三图像块中第1行第1列的像素点为R通道像素点，第1行第2列和第2行第1列的像素点为G通道像素点，第2行第2列的像素点为B通道像素点。
  40. 根据权利要求39所述的设备，其特征在于，所述处理器还用于：
    在将所述原始图像转换为RGB图像之后，将所述RGB图像转换为YUV图像；
    对所述YUV图像中的U分量和V分量进行中值滤波。
  41. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-20任一项所述的处理方法。
PCT/CN2020/118383 2020-09-28 2020-09-28 图像处理方法、装置和系统，计算机可读存储介质 WO2022061879A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2020/118383 WO2022061879A1 (zh) 2020-09-28 2020-09-28 图像处理方法、装置和系统，计算机可读存储介质
CN202080013781.1A CN113454687A (zh) 2020-09-28 2020-09-28 图像处理方法、装置和系统，计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/118383 WO2022061879A1 (zh) 2020-09-28 2020-09-28 图像处理方法、装置和系统，计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2022061879A1 true WO2022061879A1 (zh) 2022-03-31

Family

ID=77808743

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/118383 WO2022061879A1 (zh) 2020-09-28 2020-09-28 图像处理方法、装置和系统，计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113454687A (zh)
WO (1) WO2022061879A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114928436A (zh) * 2022-07-20 2022-08-19 华东交通大学 一种智慧校园网络安全防护系统
CN117956300A (zh) * 2024-03-25 2024-04-30 上海元视芯智能科技有限公司 图像处理架构、图像处理方法及图像处理芯片

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359050B (zh) * 2021-12-28 2024-03-29 北京奕斯伟计算技术股份有限公司 图像处理方法、装置、计算机设备、存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992909A (zh) * 2005-12-29 2007-07-04 华晶科技股份有限公司 像素色彩信息重建方法
CN101917629A (zh) * 2010-08-10 2010-12-15 浙江大学 一种基于绿色分量和色差空间的Bayer格式颜色插值方法
US20110069192A1 (en) * 2009-08-18 2011-03-24 Olympus Corporation Image processing apparatus and image processing method
CN110852953A (zh) * 2019-11-15 2020-02-28 展讯通信（上海）有限公司 图像插值方法及装置、存储介质、图像信号处理器、终端
CN111539892A (zh) * 2020-04-27 2020-08-14 展讯通信（上海）有限公司 Bayer图像的处理方法、系统、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992909A (zh) * 2005-12-29 2007-07-04 华晶科技股份有限公司 像素色彩信息重建方法
US20110069192A1 (en) * 2009-08-18 2011-03-24 Olympus Corporation Image processing apparatus and image processing method
CN101917629A (zh) * 2010-08-10 2010-12-15 浙江大学 一种基于绿色分量和色差空间的Bayer格式颜色插值方法
CN110852953A (zh) * 2019-11-15 2020-02-28 展讯通信（上海）有限公司 图像插值方法及装置、存储介质、图像信号处理器、终端
CN111539892A (zh) * 2020-04-27 2020-08-14 展讯通信（上海）有限公司 Bayer图像的处理方法、系统、电子设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114928436A (zh) * 2022-07-20 2022-08-19 华东交通大学 一种智慧校园网络安全防护系统
CN114928436B (zh) * 2022-07-20 2022-09-27 华东交通大学 一种智慧校园网络安全防护系统
CN117956300A (zh) * 2024-03-25 2024-04-30 上海元视芯智能科技有限公司 图像处理架构、图像处理方法及图像处理芯片
CN117956300B (zh) * 2024-03-25 2024-05-28 上海元视芯智能科技有限公司 图像处理架构、图像处理方法及图像处理芯片

Also Published As

Publication number Publication date
CN113454687A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
WO2022061879A1 (zh) 图像处理方法、装置和系统，计算机可读存储介质
US7652700B2 (en) Interpolation method for captured color image data
EP2130175B1 (en) Edge mapping incorporating panchromatic pixels
JP4395789B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN109889800B (zh) 图像增强方法和装置、电子设备、存储介质
US20090252411A1 (en) Interpolation system and method
JP2000341707A (ja) 方向性平滑化演算を用いた画像のモザイク解除方法
US9105106B2 (en) Two-dimensional super resolution scaling
CN111510691B (zh) 颜色插值方法及装置、设备、存储介质
Su Highly effective iterative demosaicing using weighted-edge and color-difference interpolations
KR20040066051A (ko) 가중 그래디언트 기반 및 컬러 수정 보간
Hore et al. An edge-sensing generic demosaicing algorithm with application to image resampling
CN108122201A (zh) 一种拜耳插值拉链效应去除方法
CN110430403B (zh) 一种图像处理方法和装置
Chen et al. Effective demosaicking algorithm based on edge property for color filter arrays
CN104410786B (zh) 图像处理设备和图像处理设备的控制方法
US11854157B2 (en) Edge-aware upscaling for improved screen content quality
TW202044824A (zh) 影像色彩還原與增強電路
US20050190200A1 (en) Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable storage medium
JP4241774B2 (ja) 画像処理装置、画像処理方法及びプログラム
Simpkins et al. An introduction to super-resolution imaging
CN113068011B (zh) 图像传感器、图像处理方法及系统
EP3882847A1 (en) Content based anti-aliasing for image downscale
KR100565429B1 (ko) 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
TWI751124B (zh) 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20954729

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20954729

Country of ref document: EP

Kind code of ref document: A1