WO2020172888A1

WO2020172888A1 - 一种图像处理方法和装置

Info

Publication number: WO2020172888A1
Application number: PCT/CN2019/076586
Authority: WO
Inventors: 刘国祥; 杨琪; 汪久涵
Original assignee: 华为技术有限公司
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2020-09-03
Also published as: CN112840636A

Abstract

本申请提供一种图像处理方法和装置，涉及图像处理技术领域，能够提高光源色估计准确度。其方法为：对图像划分以得到多个图像块；根据每个图像块中每个像素点的各颜色通道的像素值，获取每个图像块对应的以光源色温和物体表面色为维度的坐标；根据坐标获取以光源色温和物体表面色为维度且对应多个亮度区间的多个第一直方图，以及获取在不区分亮度区间时以光源色温和物体表面色为维度的第二直方图；利用神经网络对多个第一直方图以及第二直方图输入进行处理，以获取每个图像块对应的光源色温的值和物体表面色的值；根据光源色温的值和物体表面色的值获取每个图像块对应的光源颜色，本申请实施例用于根据新的颜色恒常模型和神经网络实现光源色估计。

Description

一种图像处理方法和装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法和装置。

背景技术

相同的物体不同的照明光源下，视网膜上接收到颜色信号是不同的，但是大脑是通过“记忆色”来认知颜色的，感知的颜色却是相同的，这种情况称为“颜色恒常性”。由于颜色恒常算法得到的数据为光源色和物体颜色相互作用的结果，即图像传感器观测到的物体颜色是光源色和物体颜色相互作用的结果，而颜色恒常问题的核心是估计光源的颜色，要准确地估算出光源色是困难的，需要基于各种假设建立各种模型来求解，利用光源或物体的先验知识，求解光源的颜色，这是传统颜色恒常问题的基本思路，但总有失效的场景。例如，接近光源色的物体还原错误，纯色场景色彩还原错误等。

其中，传统的颜色恒常方法估计光源颜色时，一种方法是：可以根据模型估计光源色，但是根据建立的模型需要给出某些假设。如Grey-world假定画面平均颜色是灰色的，Grey-Edge假定物体的边缘反射总体上是灰色的，不符合这些假设的场景，就会出现不同程度上的失效，这样看来，模型建立依赖的分析统计样例数量有限，无法兼顾到足够多的样例特性，光源估计精度差。还有一种方式是：随着人工智能(Artificial Intelligence，AI)技术的发展，可使用基于神经网络的算法模型解决颜色恒常问题。其基本思路为：将物体及光源的颜色信息转换为神经网络输入，如将图像分块统计颜色信息作为神经网络输入，将光源的颜色红绿蓝(red/green/blue，RGB)或将光源的类别作为神经网络输出，建立神经网络的输入输出的映射关系，通过足够多的样例学习，使得神经网络可以实现光源的估计，解决颜色恒常问题。这种方式中，图像分块统计颜色信息时，统计的颜色信息只有色度信息，这对于颜色恒常中的光源估计来说，会使得光源估计精度差。例如当光源为纯色时，会出现整个图像画面的光源的颜色坐标值为0，无有效的统计信息，无法有效地估算出这种场景的光源的颜色。

发明内容

本申请实施例公开了一种光源颜色的估计方法和装置，能够提高光源色估计准确度。

一方面，提供一种图像处理方法，该方法包括：对图像划分以得到多个图像块，每个图像块包括多个像素点；根据每个图像块中每个像素点的各颜色通道的像素值，获取每个图像块对应的以光源色温和物体表面色为维度的坐标；根据每个图像块的坐标获取以光源色温和物体表面色为维度且对应多个亮度区间的多个第一直方图；根据每个图像块的坐标获取在不区分亮度区间时以光源色温和物体表面色为维度的第二直方图；利用神经网络对多个第一直方图以及第二直方图输入进行处理，以获取每个图像块对应的光源色温的值和物体表面色的值；根据光源色温的值和物体表面色的值获取每个图像块对应的光源颜色。也就是说，本申请实施例将拍摄的图像原始数据统计值转换到一种“光源色温-物体表面色”坐标系中，并分多个亮度区间统计“光源色温-物体表面色”的分布，将颜色恒常问题转化为图像定位问题，将“光源色温-物体表面色”的分布统计数据作为神经网络的输入，计算得到光源颜色。由于本申请分多个亮度区间统计“光源色温-物体表面色”的分布，图像区域的相对亮暗是颜色恒常中光源颜色估计的重要依据，从而提升光源颜色估计准确度。而且由于神经网络所需的计算力小，在移动设备上可以满足颜色恒常的每帧图像的实时运行的要求。

在一种可能的设计中，根据每个图像块中每个像素点的各颜色通道的像素值，获取每个图像块对应的以光源色温和物体表面色为维度的坐标包括：将每个图像块中每个像素点的各颜色通道的像素值进行累加，得到每个图像块的各颜色通道的像素累加值；根据每个图像块的各颜色通道的像素累加值得到每个图像块对应的以光源色温和物体表面色为维度的坐标。也就是本申请将可将图像块的各颜色通道的像素值确定出每个图像块对应的光源颜色。例如将图像划分为64×64块时，可得到64×64块中各块的坐标。变换坐标的实际物理意义在于使得实际光源的色温和物体表面色分量的特性总体上与黑色辐射光源接近。

在一种可能的设计中，根据每个图像块的各颜色通道的像素累加值得到每个图像块对应的以光源色温和物体表面色为维度的坐标包括：根据以下公式，得到每个图像块对应的以光源色温和物体表面色为维度的坐标；

为变换系数，G表示图像块对应的G通道的像素累加值；R表示图像块对应的R通道的像素累加值；B表示图像块对应的B通道的像素累加值；T _t表示光源色温的坐标，S _s表示物体表面色的坐标。对于图像灰色表面，在各种光源下，log(G/R),log(G/B)为线性关系，且依赖于照明光源的色温T。本申请通过坐标变换，对于灰色表面，符合黑体辐射定律的光源对应的成像系统在坐标系中响应为一水平线，即在水平线上的坐标点对应光源色，不在该水平线上的坐标点对应物体表面色(非灰色)。因此，可以定义光源色温-物体表面色的坐标系，以实现光源色和物体表面色的相对分离。

在一种可能的设计中，根据每个图像块的坐标获取以光源色温和物体表面色为维度且对应多个亮度区间的多个第一直方图包括：获取每个图像块对应的亮度信息，并根据每个图像块对应的亮度信息划分出多个亮度区间，每个亮度区间包括至少一个图像块对应的亮度信息；对于每个亮度区间，将每个亮度区间对应的至少一个图像块的坐标标记在第一统计图中；第一统计图的横纵坐标表示光源色温和物体表面色；对于每个亮度区间，根据每个亮度区间对应的至少一个图像块的坐标在第一统计图中的概率获取每个亮度区间对应的第一直方图。本申请划分多个亮度区间，是由于图像区域的相对亮暗是颜色恒常中光源颜色估计的重要依据，可以提升光源颜色估计的准确度。

在一种可能的设计中，根据每个图像块的坐标获取在不区分亮度区间时图像以光源色温和物体表面色为维度的第二直方图包括：将每个图像块的坐标标记在第二统计图中，第二统计图的横纵坐标表示光源色温和物体表面色，第二统计图的第二统计范围与第一统计图的第一统计范围不同；根据每个图像块的坐标在第二统计图中的概率获取图像的第二直方图。这里不区分亮度区间主要是考虑到若拍摄的图像中存在大面积的纯色且颜色较深的场景，此时可利用的灰色信息较少甚至没有，各种纯色在不同的光源下Tt-Ss坐标没有区别。因此，为了解决这类问题，输入神经网络的数据能够记录这种场景颜色恒常需要的信息。由于神经网络算法的特点，如果网络训练的数据集出现过这种场景的数据，则输入数据通过网络训练后，能找到与训练集中相似的样本，这样网络能得到与该样本期待的相似输出。

在一种可能的设计中，第二统计范围大于第一统计范围。对于上述场景，将统计范围扩大，可以保持输入到神经网络的各通道数据的维数一致性。相应地，根据第二统计图即可得到图像在不区分亮度区间的第二直方图。

在一种可能的设计中，根据光源色温的值和物体表面色的值获取每个图像块对应的光源颜色包括：根据下述公式获取每个图像块对应的光源颜色；

和

均为变换系数，

表示光源色温的值，

表示物体表面色的值，

用于表示光源颜色。该公式即根据上述设计中的公式变换而来。

在一种可能的设计中，该方法还包括：根据每个图像块对应的光源颜色获取每个图像块对应的各颜色通道的白平衡增益系数。计算得到的白平衡增益系数就可以设置到拍摄设备的ISP相应的模块以输出图像，使得ISP可以根据颜色恒常的白平衡增益系数将当前图像的光源色还原为“白色”，使得图像的效果符合颜色恒常的目标。

另一方面，提供一种设备，设备包括存储器和处理器，存储器存储有指令，当指令被处理器执行时，使得所述设备执行以下操作：对图像划分以得到多个图像块，每个图像块包括多个像素点；根据每个图像块中每个像素点的各颜色通道的像素值，获取每个图像块对应的以光源色温和物体表面色为维度的坐标；根据每个图像块的坐标获取以光源色温和物体表面色为维度且对应多个亮度区间的多个第一直方图；根据每个图像块的坐标获取在不区分亮度区间时以光源色温和物体表面色为维度的第二直方图；利用神经网络对多个第一直方图以及第二直方图输入进行处理，以获取每个图像块对应的光源色温的值和物体表面色的值；根据光源色温的值和物体表面色的值获取每个图像块对应的光源颜色。

在一种可能的设计中，操作为根据每个图像块中每个像素点的各颜色通道的像素值，获取每个图像块对应的以光源色温和物体表面色为维度的坐标时，包括：将每个图像块中每个像素点的各颜色通道的像素值进行累加，得到每个图像块的各颜色通道的像素累加值；根据每个图像块的各颜色通道的像素累加值得到每个图像块对应的以光源色温和物体表面色为维度的坐标。

在一种可能的设计中，操作为根据每个图像块的各颜色通道的像素累加值得到每个图像块对应的以光源色温和物体表面色为维度的坐标时，包括：根据以下公式，得到每个图像块对应的以光源色温和物体表面色为维度的坐标；

为变换系数，G表示图像块对应的G通道的像素累加值；R表示图像块对应的R通道的像素累加值；B表示图像块对应的B通道的像素累加值；T _t表示光源色温的坐标，S _s表示物体表面色的坐标。

在一种可能的设计中，操作为根据每个图像块的坐标获取以光源色温和物体表面色为维度且对应多个亮度区间的多个第一直方图时，包括：获取每个图像块对应的亮度信息，并根据每个图像块对应的亮度信息划分出多个亮度区间，每个亮度区间包括至少一个图像块对应的亮度信息；对于每个亮度区间，将每个亮度区间对应的至少一个图像块的坐标标记在第一统计图中；第一统计图的横纵坐标表示光源色温和物体表面色；对于每个亮度区间，根据每个亮度区间对应的至少一个图像块的坐标在第一统计图中的概率获取每个亮度区间对应的第一直方图。

在一种可能的设计中，操作为根据每个图像块的坐标获取在不区分亮度区间时图像以光源色温和物体表面色为维度的第二直方图时，包括：将每个图像块的坐标标记在第二统计图中，第二统计图的横纵坐标表示光源色温和物体表面色，第二统计图的第二统计范围与第一统计图的第一统计范围不同；根据每个图像块的坐标在第二统计图中的概率获取图像的第二直方图。

在一种可能的设计中，第二统计范围大于第一统计范围。

在一种可能的设计中，操作为根据光源色温的值和物体表面色的值获取每个图像块对应的光源颜色时包括：根据下述公式获取每个图像块对应的光源颜色；

和

均为变换系数，

表示光源色温的值，

表示物体表面色的值，

用于表示光源颜色。

在一种可能的设计中，操作还包括：根据每个图像块对应的光源颜色获取每个图像块对应的各颜色通道的白平衡增益系数。

又一方面，提供一种设备，包括：划分单元，用于对图像划分以得到多个图像块，每个图像块包括多个像素点；变换单元，用于根据每个图像块中每个像素点的各颜色通道的像素值，获取每个图像块对应的以光源色温和物体表面色为维度的坐标；获取单元，用于根据每个图像块的坐标获取以光源色温和物体表面色为维度且对应多个亮度区间的多个第一直方图；根据每个图像块的坐标获取在不区分亮度区间时以光源色温和物体表面色为维度的第二直方图；利用神经网络对多个第一直方图以及第二直方图输入进行处理，以获取每个图像块对应的光源色温的值和物体表面色的值；根据光源色温的值和物体表面色的值获取每个图像块对应的光源颜色。

在一种可能的设计中，变换单元用于：将每个图像块中每个像素点的各颜色通道的像素值进行累加，得到每个图像块的各颜色通道的像素累加值；根据每个图像块的各颜色通道的像素累加值得到每个图像块对应的以光源色温和物体表面色为维度的坐标。

在一种可能的设计中，变换单元用于：根据以下公式，得到每个图像块对应的以光源色温和物体表面色为维度的坐标；

在一种可能的设计中，获取单元用于：获取每个图像块对应的亮度信息，并根据每个图像块对应的亮度信息划分出多个亮度区间，每个亮度区间包括至少一个图像块对应的亮度信息；对于每个亮度区间，将每个亮度区间对应的至少一个图像块的坐标标记在第一统计图中；第一统计图的横纵坐标表示光源色温和物体表面色；对于每个亮度区间，根据每个亮度区间对应的至少一个图像块的坐标在第一统计图中的概率获取每个亮度区间对应的第一直方图。

在一种可能的设计中，获取单元用于：将每个图像块的坐标标记在第二统计图中，第二统计图的横纵坐标表示光源色温和物体表面色，第二统计图的第二统计范围与第一统计图的第一统计范围不同；根据每个图像块的坐标在第二统计图中的概率获取图像的第二直方图。

在一种可能的设计中，第二统计范围大于第一统计范围。

在一种可能的设计中，获取单元用于：根据下述公式获取每个图像块对应的光源颜色；

和

均为变换系数，

表示光源色温的值，

表示物体表面色的值，

在一种可能的设计中，获取单元还用于：根据每个图像块对应的光源颜色获取每个图像块对应的各颜色通道的白平衡增益系数。

又一方面，提供一种计算机存储介质，用于储存为上述设备所用的计算机软件指令，计算机软件指令包含用于执行如上所述的方法。

又一方面，提供一种计算机程序产品，计算机程序产品包含指令，当指令在计算机或处理器上运行时，使得计算机或处理器执行如上所述的方法。

通过本申请，即在“光源色温-物体表面色”坐标系中建立适合神经网络实现的颜色恒常模型，将颜色恒常问题可转化为光源颜色对应的“光源色温-物体表面色”的定位问题，可以解决不用场景的图像模组的数据一致性问题，这样通过“光源色温-物体表面色”坐标系的标定，训练好的神经网络能够兼容不同模组的输入，无需用新模组的数据重新训练网络。再者，本申请通过不同小尺度划分网格，且分多个亮度区间来统计“光源色温-物体表面色”的分布，并用大尺度再划分网格，不区分亮度区间统计“光源色温-物体表面色”的分布，不仅包含了不同尺度的颜色信息，且关联了亮度信息，可充分发挥网络学习能力，提高光源颜色估计的准确度。

附图说明

图1为本申请实施例提供的一种终端的结构示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的一种图像划分为64×64个图像块时的位图显示示意图；

图4为本申请实施例提供的一种64×64各图像块的Tt分量的位图显示示意图以及Ss分量的位图显示示意图；

图5为本申请实施例提供的一种根据Tt-Ss坐标形成直方图的第一统计图；

图6为本申请实施例提供的一种多个亮度区间下图像的第一直方图；

图7为本申请实施例提供的一种更新统计范围和统计区间大小后得到的Tt-Ss坐标的第二统计图；

图8为本申请实施例提供的一种根据第二统计图得到的第二直方图；

图9为本申请实施例提供的一种终端设备的结构示意图。

具体实施方式

为了便于理解，示例地给出了部分与本申请相关概念的说明以供参考。如下所示：

颜色通道：红绿蓝(red/green/blue，RGB)图像模式中，存在3种颜色通道，R表示红色通道，G表示绿色通道，B表示蓝色通道，一个图像中像素由RGB这样的三个元素组成，每个颜色通道都存放着图像中像素中颜色元素的信息，所有颜色通道中的颜色叠加混合产生图像中像素的颜色。

光源：自己能发光且正在发光的物体叫做光源。例如太阳、打开的电灯以及燃烧着的蜡烛等都为光源。

光源色温：色温是照明光学中用于定义光源颜色的一个物理量。即把某个黑体加热到一个温度，其发射的光的颜色与某个光源所发射的光的颜色相同时，这个黑体加热的温度称之为该光源的颜色温度，简称色温。其单位用"K"(开尔文温度单位)表示。

神经网络：一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。

色温-物体表面色的直方图：用于统计色温在统计范围内的分布和物体表面色在统计范围内的分布。

本申请可以应用于终端设备拍照时如何确定光源颜色，将光源颜色转换为白平衡增益系数，白平衡增益系数可以输出给图像信号处理(Image Signal Processing，ISP) 相应的模块以进一步处理。当然以上设备也可以用于除了终端设备之外的其他类型的设备，本实施例对此不作限定，后续仅以终端设备为例做说明。

本申请的终端设备可以为手机、平板电脑和个人电脑等可以拍摄图片的终端设备。在一个示例中，终端100可以通过如图1所示的结构实现。以终端100为手机为例，图1示出了手机的通用硬件架构进行说明。图1所示的手机可以包括：射频(radio Frequency，RF)电路110、存储器120、其他输入设备130、显示屏140、传感器150、音频电路160、输入/输出(Input/Output，I/O)子系统170、处理器180、以及电源190等部件。本领域技术人员可以理解，图1所示的手机的结构并不构成对手机的限定，可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。本领域技术人员可以理解显示屏140属于用户界面(user Interface，UI)设备，显示屏140可以包括显示面板141和触摸面板142。尽管未示出，手机还可以包括摄像头、蓝牙模块等功能模块或器件，在此不再赘述。

进一步地，处理器180分别与RF电路110、存储器120、音频电路160、I/O子系统170、以及电源190均连接。I/O子系统170分别与其他输入设备130、显示屏140、传感器150均连接。其中，RF电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器180处理。存储器120可用于存储软件程序以及模块。处理器180通过运行存储在存储器120的软件程序以及模块，从而执行手机的各种功能或应用以及数据处理。其他输入设备130可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。显示屏140可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单，还可以接收用户输入。传感器150可以为光传感器、运动传感器或者其他传感器。音频电路160可提供用户与手机之间的音频接口。I/O子系统170用来控制输入输出的外部设备，外部设备可以包括其他设备输入控制器、传感器控制器、显示控制器。处理器180是手机200的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行手机200的各种功能和处理数据，从而对手机进行整体监控。电源190(比如电池)用于给上述各个部件供电，优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。

在本申请实施例中，处理器180可以用于计算手机拍摄图片时的光源的颜色，再根据光源颜色计算各颜色通道的白平衡增益系数，并输出给处理器180中ISP相应的模块继续进行处理，处理后的图像数据通过I/O子系统170输入给显示屏140进行图像显示。处理器180包括一个或多个处理器，包括但不限于中央处理单元(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processing，DSP)、图像处理器(Graphics Processing Unit，GPU)、微处理器、微控制器、神经处理器、或ISP中的一个或多个。本实施例的算法可以由以上任意一个或多个处理器执行，例如由CPU和ISP执行。

为了提高光源色估计准确度，本申请实施例可以将拍摄的图像原始数据统计值转换到一种“光源色温-物体表面色”坐标系中，并分多个亮度范围和多尺度的统计范围统计“光源色温-物体表面色”的分布，将颜色恒常问题转化为图像定位问题，将“光源色温-物体表面色”的分布统计数据作为神经网络的输入，计算得到光源颜色。由于本申请分多个亮度范围和多尺度的统计范围统计“光源色温-物体表面色”的分布，图像区域的相对亮暗是颜色恒常中光源颜色估计的重要依据，同时多尺度的统计范围可以使得光源为纯色时可以有效估计出光源颜色，从而提升光源颜色估计准确度。由于神经网络所需的计算力小，在移动设备上可以满足颜色恒常的每帧图像的实时运行的要求。

下面对本申请实施例进行说明。

本申请的“光源色温-物体表面色”的分布统计数据是建立在“光源色温-物体表面色”坐标系的多个归一化的二维直方图。本申请实施例先介绍从图像数据到该坐标系的变换方法。

首先，阐述光源色温和物体表面色对图像各颜色通道的关系：

当光源E(λ,T)照射在反射率S(λ)的物体上时，则用户给该物体拍照生成的图像的各通道响应可以表示为公式一：

F _k＝∫ _ωE(λ,T)S(λ)C _k(λ)dλ,(k＝R，G，B)(公式一)

其中，T表示卡尔文温度，即色温，C _k(λ)为拍照设备的光谱响应。λ为整个可见光波长。

若光源为普朗克(Planck)黑体辐射光源，在可见光的波段(λ＝300nm～700nm)时，常用光源的色温T＝1000K～10000K的条件下，对于各颜色通道，可得到公式二：

其中c ₁,c ₂为黑体辐射公式中的常数，I为辐射强度，T为卡尔文温度。如果定义

则有公式三：

对于指定的成像系统，λ _k为常数。各种照明光源下，灰色表面S(λ _k)为常数。

将各颜色通道对应的公式三简化后可得到公式四：

由此可以看出，对于灰色表面，在各种光源下，log(G/R),log(G/B)为线性关系，且依赖于照明光源的色温T。

这样一来，通过坐标变换，从公式四可以看出，对于灰色表面，符合黑体辐射定律的光源对应的成像系统在坐标系中响应为一水平线，即在水平线上的坐标点对应光源色，不在该水平线上的坐标点对应物体表面色(非灰色)。因此，可以定义光源色温-物体表面色的坐标系，以实现光源色和物体表面色的相对分离。其中，对于在黑体辐射曲线附近波动的光源色，其余标准黑体辐射光源的颜色差异被视为物体表面色。

光源色温-物体表面色的坐标系的变换依赖于成像系统的参数，在实际应用中，可以通过对同一灰色表面在各种光源下的采样数据进行处理得到。具体来说，可将采样数据在数据空间log(G/R),log(G/B)的数据集，通过主成分分析技术(Principal component analysis，PCA)，将协方差最大的分量定义为光源色温分量，以t表示，将协方差最小的分量定义为物体表面色分量，以s表示。如果光源为标准黑体辐射光源，则s分量的方差应为0。这里进行坐标变换的物理意义在于使得实际光源色温和物体表面色的特性总体上与黑体辐射光源接近。

如果拍摄若干图像，将若干图像分成不同的模组时，各个模组对光源的响应会有差别，从而使得不同的模组进行坐标变换后横坐标t分量会波动，不利于表征的一致性。因此，对于坐标系中t的坐标，可再利用D65和A光进行标定，即对t分量进行线性变换，使得D65和A光的t分量坐标为固定的0.5和-0.5。通过这种变换，可以得到变换关系

以变换后的t分量记为Tt，s分量记为Ss，从而可以得到变换后光源色温-物体表面色的坐标(Tt，Ss)可以表示如公式五所示：

其中，A中元素为常数，可预先配置在终端设备中。这样，就完成了从图像中各颜色通道的像素值到“光源色温-物体表面色”的坐标变换。

利用上述坐标变换，本申请提供一种图像处理方法，如图2所示，用于估计光源色，可运行于终端设备的处理器中，例如运行于CPU或者DSP或者GPU或者ISP中，该方法包括：

201、对图像进行划分，得到多个图像块，每个图像块包括多个像素点。

这里的图像可以是拍照设备拍摄的图像，对图像进行划分的图像块的数量可以是M×M块，例如32×32块，64×64块等，本申请不做限定。

202、根据每个图像块中每个像素点的各颜色通道的像素值，获取每个图像块对应的以光源色温和物体表面色为维度的坐标。

对于每个图像块，可以将各颜色通道中每个像素点的像素值进行累加，即，针对一个图像块来说，将所有像素点R通道的像素值累加，累加值记为rsum，将所有像素点G通道的像素值累加，累加值记为gsum，再将所有像素点B通道的像素值累加，累加值记为bsum。这样，对于一个图像块来说，得到各颜色通道的累加值(rsum，gsum，bsum)，例如图像分为64×64个图像块时，64×64个图像块的(rsum，gsum，bsum)位图显示可以如图3所示。

而后，可以根据光源色温和物体表面色的坐标(Tt，Ss)与各颜色通道的像素值的变换公式，即公式五：

为预设在终端设备系统中的变换系数，将每个图像块各颜色通道的累加值变换到光源色温和物体表面色的坐标(Tt，Ss)。其中，64×64各图像块的Tt分量的位图显示可以如图4中(1)分图所示，Ss分量的位图显示可以如图4中的(2)分图所示，图4中(1)分图中，Tt分量下每个图像块的颜色坐标对应的统计值如(1)分图中右侧的指示图，图4中(2)分图中，Ss分量下每个图像块的颜色坐标对应的统计值如(2)分图中右侧的指示图。其中，统计值用于后续步骤统计图的形成。

203、根据每个图像块的坐标获取以光源色温和物体表面色为维度且对应多个亮度区间的多个第一直方图。

由前述可知，Tt-Ss坐标中，坐标Ss＝0附近的图像区域对应灰色表面，远离Ss＝0的图像区域意味着彩色表面的可能性大，Tt代表着光源的色温范围。那么可以根据实际光源的Tt-Ss分布，确定Tt-Ss的直方图统计范围和统计区间的大小。对于存在灰色表面的场景，可以设定较小的统计区间值，这样可以提高光源颜色的区分度。

例如，当识别到图像对应的坐标Ss＝0附近的图像区域存在灰色表面，可以将直方图的统计范围设置为T＝-1.2～1.2，S＝-0.6～0.6，统计区间的大小stepsize＝0.025，这样一来，图像对应的第一统计图的维数为96×48。如图5所示为用于根据Tt-Ss坐标形成直方图的第一统计图。由于每个图像块对应一个(Tt，Ss)坐标，那么如何将每个图像块的坐标映射到Tt-Ss第一统计图：从图5可以看出，第一统计图的横坐标为Tt，维数为96，那么可以将每个图像块对应的坐标中的Tt的值在图4中(1)分图右侧的指示图的对应值按照图5中横坐标标注在图5统计图的网格中，同样地，图5第一统计图的纵坐标为Ss，维数为48，那么可以将每个图像块对应的坐标中的Ss的值在图4中(2)分图右侧的指示图的对应值按照图5中纵坐标标注在图5统计图的网格中，这样一来，就将图像中每个图像块的坐标投影在了图5的第一统计图中。

而后，再根据第一统计图中Tt-Ss坐标的横纵坐标在第一统计图中的概率获取在图4中的分量的位图显示得到该图像的直方图。具体来说，第一统计图中每个网格对应一个概率值。对于每个网格中的概率值，该概率值表征Tt-Ss坐标值中Tt分量和Ss分量总共落在该网格中的概率，也即，该网格中落入Tt分量和Ss分量的数量占所有Tt-Ss坐标中Tt分量和Ss分量在第一统计图所有网格中的数量的比例，所有网格的概率值的和为1。而后，将得到的所有概率值按照概率指示图(例如图6中的(1)分图右侧的指示图)标示在在直方图中，这样就从第一统计图形成了图像对应的直方图，直方图中的横纵坐标仅为了与第一统计图中的网络划分对应，并不代表Tt-Ss坐标轴。

由于Tt-Ss坐标的值仅仅代表颜色信息，而没有代表光照分布的亮度统计值的信息。如多种光源照明情况下，亮度分布包含光源颜色的特征信息，不同的场景如夜景、室外高亮等其灰色表面对应的亮度信息也是颜色恒常可利用的重要特征。因此，在获取光源颜色的过程中，还需根据图像的亮度信息确定。因此步骤203获取图像的直方图时，需按照上述得到直方图的方法在不同的亮度区间统计Tt-Ss坐标的直方图。

首先，可根据亮度分量的定义获取图像中每个图像块的亮度信息，一种可能的实现中，由于步骤202中已得到每个图像块各颜色通道的累加值(rsum，gsum，bsum)，那么继而可根据公式六得到每个图像块的亮度信息

(公式六)。其中，R对应rsum，G对应gsum，B对应bsum，即根据图像中每个图像块各个颜色通道的累加值得到每个图像块的亮度信息。

而后，可将图像中每个图像块的亮度信息分为若干个亮度区间，在每个亮度区间再根据步骤203的方式统计Tt-Ss坐标的直方图。例如根据每个图像块的亮度信息将亮度信息分为了三个亮度区间，用L1、L2和L3表示三个亮度区间。针对每个亮度区间，根据该亮度区间下每个图像块的Tt-Ss坐标得到该亮度区间下每个图像块组成的图像的多个第一直方图。例如L1亮度区间下的图像的第一直方图如图6所示中的(1)分图所示，L2亮度区间下的图像的第一直方图如图6所示中的(2)分图所示，L3亮度区间下的图像的第一直方图如图6所示中的(3)分图所示。

204、根据每个图像块的坐标获取在不区分亮度区间时以光源色温和物体表面色为维度的第二直方图。这里的坐标系即步骤202中得到的以光源色温和物体表面色为维度的坐标形成的坐标系。

这里不区分亮度区间主要是考虑到若拍摄的图像中存在大面积的纯色且颜色较深的场景，此时可利用的灰色信息较少甚至没有，各种纯色在不同的光源下Tt-Ss坐标没有区别。因此，为了解决这类问题，输入神经网络的数据能够记录这种场景颜色恒常需要的信息。由于神经网络算法的特点，如果网络训练的数据集出现过这种场景的数据，则输入数据通过网络训练后，能找到与训练集中相似的样本，这样网络能得到与该样本期待的相似输出。因此在不区分亮度区间的同时，可将Tt-Ss坐标的统计图，即图5的统计范围和统计区间大小均扩大，例如扩大一倍，这样，输出的直方图的维数为96×48时，统计范围由图5中的T＝-1.2～1.2，S＝-0.6～0.6更新为T＝-2.4～2.4，S＝-1.2～1.2，并将网格大小扩大一倍，由图5中的stepsize＝0.025更新为stepsize＝0.05，如图7所示为更新统计范围和统计区间大小后得到的Tt-Ss坐标的第二统计图。对于这种场景，可以保持输入到神经网络的各通道数据的维数一致性。相应地，根据图7的第二统计图即可得到图像在不区分亮度区间的第二直方图，如图8所示。

205、利用神经网络对多个第一直方图以及第二直方图输入进行处理，以获取每个图像块对应的光源色温的值和物体表面色的值。

按照步骤203和步骤204中区分亮度区间为L1、L2以及L3的情况以及不区分亮度区间的情况，输入到神经网络的数据为48×96×4，如果以三维数组描述可以为：M(s,t,c),s＝1,2,...48,t＝1,2...96,c＝1,2,3，相当于将本申请确定光源颜色转换为三维图像的定位问题。

经过深度学习的神经网络将输入的M(s,t,c)的值映射为当前颜色恒常的结果“光源色温-物体表面色”的值(t ^*,s ^*)。神经网络可以是预设或预训练的网络。

步骤205中以下说明不涉及本申请的方法步骤的处理过程，阐述的是神经网络的训练过程。

本申请选用成熟的深度神经网络并优化设计，可以将“光源色温-物体表面色”的分布统计数据，即Tt-Ss坐标作为网络输入。该网络的整体结构可以包括：输入层、至少循环重复一次的卷积层、非线性激活层、降采样层、至少一层全连接层以及输出层。该网络可以由多个残差网络块构成，网络的损失函数可以根据“光源色温”或“物体表面色”不同分量进行不同权重的调节。该网络所需的计算力小，在移动设备上可以满足颜色恒常的每帧实时运行的要求。

若选用卷积神经网络，卷积神经网络要实现根据M(s,t,c)映射到颜色结果的输出值(t*，s*)需要学习足够多的各类场景的样例，也称为训练。这里用深度学习的方法训练网络的方法为：将从大量图像中得到的光源色温-物体表面色的分布统计数据M(s,t,c)输入到网络中，得到该图像的输出校正参数((t*，s*))，将此参数和理想校正参数(t*，s*)作回归差值，调整网络的参数直至该差值达到最小。所述参数可以为神经网络的权值。

为有效解决网络训练需要用同一拍摄设备拍摄大量的原始图像数据的问题，首先可用各种场景的照片模拟该场景在常见光源下成像的统计数据，在t-s坐标系中直接生产训练集数据，完成网络预训练。然后针对效果不佳的场景，实拍这些专门场景得到图像数据并自动化计算光源理想值，进一步强化网络解决这些专门场景颜色恒常的能力。

206、根据光源色温的值和物体表面色的值获取每个图像块对应的光源颜色。

根据公式五变换可得到所拍摄的图像的每个图像块对应的光源颜色(L _u ^*，L _v ^*)的计算公式七，即，

207、根据图像中每个图像块对应的光源颜色获取各个颜色通道的白平衡增益系数。

根据光源颜色(L _u ^*，L _v ^*)计算得到白平衡增益系数可以按照如下公式八计算：

计算得到的白平衡增益系数就可以设置到拍摄设备的ISP相应的模块以输出图像，使得ISP可以根据颜色恒常的白平衡增益系数将当前图像的光源色还原为“白色”，使得图像的效果符合颜色恒常的目标。

通过本申请以上步骤方法，即在“光源色温-物体表面色”坐标系中建立适合神经网络实现的颜色恒常模型，将颜色恒常问题可转化为光源颜色对应的“光源色温-物体表面色”的定位问题，可以解决不用场景的图像模组的数据一致性问题，这样通过“光源色温-物体表面色”坐标系的标定，训练好的神经网络能够兼容不同模组的输入，无需用新模组的数据重新训练网络。再者，本申请通过不同小尺度划分网格，且分多个亮度区间来统计“光源色温-物体表面色”的分布，并用大尺度再划分网格，不区分亮度区间统计“光源色温-物体表面色”的分布，不仅包含了不同尺度的颜色信息，且关联了亮度信息，可充分发挥网络学习能力，提高光源颜色估计的准确度。

上述主要从终端设备的角度对本申请实施例提供的方案进行了介绍。可以理解的是，终端设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对终端设备等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图9示出了上述实施例中所涉及的终端设备的一种可能的结构示意图，终端设备90包括：划分单元901，变换单元902以及获取单元903。划分单元901用于支持终端设备执行图2中的过程201，变换单元902用于支持终端设备执行图2中的过程202，获取单元903用于支持终端设备执行图2中的过程203-207。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。每个单元可以用软件或硬件或软硬件结合实现。当所述单元以软件实现，这些单元可以形成一个软件装置被处理器，如图1所示的处理器180执行。当所述单元以硬件实现，该单元可包括算法电路、数字电路或模拟电路，本实施例不做限定。

在采用集成的单元的情况下，上述实施例中所涉及的终端设备的一种可能的结构可以包括：处理模块和通信模块。处理模块用于对终端设备的动作进行控制管理，例如，处理模块用于支持终端设备执行图2中的过程201-207，和/或用于本文所描述的技术的其它过程。通信模块用于支持终端设备与其他网络实体的通信，例如与网络实体之间的通信。终端设备还可以包括存储模块，用于存储终端设备的程序代码和数据。其中，处理模块可以是图1中的处理器或控制器，例如可以是CPU，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块可以是图1中的RF电路，或者称为收发器、收发电路或通信接口等。存储模块可以是图1中的存储器。终端设备还可以包括显示模块，显示模块可以为图1中的显示屏。当处理模块为处理器，通信模块为收发器，存储模块为存储器，显示模块为显示屏时，本申请实施例所涉及的终端设备可以包括：处理器、收发器、存储器、显示屏以及总线。其中，收发器、处理器、显示屏以及存储器通过总线相互连接；总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

一种图像处理方法，其特征在于，所述方法包括：

对图像划分以得到多个图像块，每个图像块包括多个像素点；

根据所述每个图像块中每个像素点的各颜色通道的像素值，获取所述每个图像块对应的以光源色温和物体表面色为维度的坐标；

根据所述每个图像块的坐标获取以所述光源色温和所述物体表面色为维度且对应多个亮度区间的多个第一直方图；

根据所述每个图像块的坐标获取在不区分亮度区间时以所述光源色温和所述物体表面色为维度的第二直方图；

利用神经网络对所述多个第一直方图以及所述第二直方图输入进行处理，以获取所述每个图像块对应的所述光源色温的值和所述物体表面色的值；

根据所述光源色温的值和所述物体表面色的值获取所述每个图像块对应的光源颜色。
根据权利要求1所述的方法，其特征在于，所述根据所述每个图像块中每个像素点的各颜色通道的像素值，获取所述每个图像块对应的以光源色温和物体表面色为维度的坐标包括：

将所述每个图像块中每个像素点的各颜色通道的像素值进行累加，得到所述每个图像块的各颜色通道的像素累加值；

根据所述每个图像块的各颜色通道的像素累加值得到所述每个图像块对应的以光源色温和物体表面色为维度的坐标。
根据权利要求2所述的方法，其特征在于，所述根据所述每个图像块的各颜色通道的像素累加值得到所述每个图像块对应的以光源色温和物体表面色为维度的坐标包括：

根据以下公式，得到所述每个图像块对应的以光源色温和物体表面色为维度的坐标；

为变换系数，G表示所述图像块对应的G通道的像素累加值；R表示所述图像块对应的R通道的像素累加值；B表示所述图像块对应的B通道的像素累加值；T _t表示所述光源色温的坐标，S _s表示所述物体表面色的坐标。
根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述每个图像块的坐标获取以所述光源色温和所述物体表面色为维度且对应多个亮度区间的多个第一直方图包括：

获取所述每个图像块对应的亮度信息，并根据所述每个图像块对应的亮度信息划分出所述多个亮度区间，每个亮度区间包括至少一个图像块对应的亮度信息；

对于所述每个亮度区间，将所述每个亮度区间对应的所述至少一个图像块的坐标标记在第一统计图中；所述第一统计图的横纵坐标表示所述光源色温和所述物体表面色；

对于所述每个亮度区间，根据所述每个亮度区间对应的所述至少一个图像块的坐标在所述第一统计图中的概率获取所述每个亮度区间对应的所述第一直方图。
根据权利要求4所述的方法，其特征在于，所述根据所述每个图像块的坐标获取在不区分亮度区间时所述图像以所述光源色温和所述物体表面色为维度的第二直方图包括：

将所述每个图像块的坐标标记在第二统计图中，所述第二统计图的横纵坐标表示所述光源色温和所述物体表面色，所述第二统计图的第二统计范围与所述第一统计图的第一统计范围不同；

根据所述每个图像块的坐标在所述第二统计图中的概率获取所述图像的第二直方图。
根据权利要求5所述的方法，其特征在于，所述第二统计范围大于所述第一统计范围。
根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述光源色温的值和所述物体表面色的值获取所述每个图像块对应的光源颜色包括：

根据下述公式获取所述每个图像块对应的光源颜色；

和
均为变换系数，T _t ^*表示所述光源色温的值，S _s ^*表示所述物体表面色的值，
用于表示所述光源颜色。
根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

根据所述每个图像块对应的光源颜色获取所述每个图像块对应的所述各颜色通道的白平衡增益系数。
一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器存储有指令，当所述指令被所述处理器执行时，使得所述设备执行以下操作：

对图像划分以得到多个图像块，每个图像块包括多个像素点；

根据所述每个图像块中每个像素点的各颜色通道的像素值，获取所述每个图像块对应的以光源色温和物体表面色为维度的坐标；

根据所述每个图像块的坐标获取以所述光源色温和所述物体表面色为维度且对应多个亮度区间的多个第一直方图；

根据所述每个图像块的坐标获取在不区分亮度区间时以所述光源色温和所述物体表面色为维度的第二直方图；

利用神经网络对所述多个第一直方图以及所述第二直方图输入进行处理，以获取所述每个图像块对应的所述光源色温的值和所述物体表面色的值；

根据所述光源色温的值和所述物体表面色的值获取所述每个图像块对应的光源颜色。
根据权利要求9所述的设备，其特征在于，所述操作为根据所述每个图像块中每个像素点的各颜色通道的像素值，获取所述每个图像块对应的以光源色温和物体表面色为维度的坐标时，包括：

将所述每个图像块中每个像素点的各颜色通道的像素值进行累加，得到所述每个图像块的各颜色通道的像素累加值；

根据所述每个图像块的各颜色通道的像素累加值得到所述每个图像块对应的以光源色温和物体表面色为维度的坐标。
根据权利要求10所述的设备，其特征在于，所述操作为根据所述每个图像块的各颜色通道的像素累加值得到所述每个图像块对应的以光源色温和物体表面色为维度的坐标时，包括：

根据以下公式，得到所述每个图像块对应的以光源色温和物体表面色为维度的坐标；

为变换系数，G表示所述图像块对应的G通道的像素累加值；R表示所述图像块对应的R通道的像素累加值；B表示所述图像块对应的B通道的像素累加值；T _t表示所述光源色温的坐标，S _s表示所述物体表面色的坐标。
根据权利要求9-11任一项所述的设备，其特征在于，所述操作为根据所述每个图像块的坐标获取以所述光源色温和所述物体表面色为维度且对应多个亮度区间的多个第一直方图时，包括：

获取所述每个图像块对应的亮度信息，并根据所述每个图像块对应的亮度信息划分出所述多个亮度区间，每个亮度区间包括至少一个图像块对应的亮度信息；

对于所述每个亮度区间，将所述每个亮度区间对应的所述至少一个图像块的坐标标记在第一统计图中；所述第一统计图的横纵坐标表示所述光源色温和所述物体表面色；

对于所述每个亮度区间，根据所述每个亮度区间对应的所述至少一个图像块的坐标在所述第一统计图中的概率获取所述每个亮度区间对应的所述第一直方图。
根据权利要求12所述的设备，其特征在于，所述操作为根据所述每个图像块的坐标获取在不区分亮度区间时所述图像以所述光源色温和所述物体表面色为维度的第二直方图时，包括：

将所述每个图像块的坐标标记在第二统计图中，所述第二统计图的横纵坐标表示所述光源色温和所述物体表面色，所述第二统计图的第二统计范围与所述第一统计图的第一统计范围不同；

根据所述每个图像块的坐标在所述第二统计图中的概率获取所述图像的第二直方图。
根据权利要求13所述的设备，其特征在于，所述第二统计范围大于所述第一统计范围。
根据权利要求9-14任一项所述的设备，其特征在于，所述操作为根据所述光源色温的值和所述物体表面色的值获取所述每个图像块对应的光源颜色时包括：

根据下述公式获取所述每个图像块对应的光源颜色；

和
均为变换系数，T _t ^*表示所述光源色温的值，S _s ^*表示所述物体表面色的值，
用于表示所述光源颜色。
根据权利要求9-15任一项所述的设备，其特征在于，所述操作还包括：

根据所述每个图像块对应的光源颜色获取所述每个图像块对应的所述各颜色通道的白平衡增益系数。
一种计算机存储介质，用于储存为上述设备所用的计算机软件指令，所述计算机软件指令包含用于执行如权利要求1-8任一项所述的方法。
一种计算机程序产品，计算机程序产品包含指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1-8任一项所述的方法。