WO2022193288A1 - 图像处理方法、装置及计算机可读存储介质 - Google Patents

图像处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2022193288A1
WO2022193288A1 PCT/CN2021/081806 CN2021081806W WO2022193288A1 WO 2022193288 A1 WO2022193288 A1 WO 2022193288A1 CN 2021081806 W CN2021081806 W CN 2021081806W WO 2022193288 A1 WO2022193288 A1 WO 2022193288A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
processed
target
exposure
Prior art date
Application number
PCT/CN2021/081806
Other languages
English (en)
French (fr)
Inventor
彭超
杨景景
唐克坦
李静
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2021/081806 priority Critical patent/WO2022193288A1/zh
Publication of WO2022193288A1 publication Critical patent/WO2022193288A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Abstract

本申请实施例公开了一种图像处理方法，包括：获取场景对应的第一动态范围和环境光亮度；根据所述环境光亮度和参考感光度中的至少一个以及所述第一动态范围，从多个拍摄模式中确定目标拍摄模式，所述参考感光度是根据所述环境光亮度进行曝光收敛确定的，所述拍摄模式用于控制相机以多个曝光档位分别拍摄图像，不同的拍摄式下相机拍摄所用的曝光档位的数量不同和/或待拍摄的图像数量不同；根据所述目标拍摄模式拍摄多个待处理图像；利用所述多个待处理图像融合得到目标图像。本申请实施例公开的方法，可以使相机在各种场景下均能够拍摄出高质量的图像。

Description

图像处理方法、装置及计算机可读存储介质 技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及计算机可读存储介质。
背景技术
随着相机智能化程度的提高，在不少场景下相机可以拍摄出质量较高的图像，但现实中的场景多种多样，仍然存在一些场景，相机在这些场景中拍摄得到的图像不能让人满意。比如在高动态范围的场景下，这种场景中最亮区域与最暗区域之间的亮度差距较大，因此拍摄所得的图像容易出现局部欠曝或过曝。又比如在环境光亮度较低的场景下，相机为提高拍摄画面的亮度会提高感光度，从而导致拍摄所得的图像有较多的噪点。
发明内容
有鉴于此，本申请实施例提供了一种图像处理方法、装置及计算机可读存储介质，目的之一是使相机在各种场景下均能够拍摄出高质量的图像。
本申请实施例第一方面提供一种图像处理方法，包括：
获取场景对应的第一动态范围和环境光亮度；
根据所述环境光亮度和参考感光度中的至少一个以及所述第一动态范围，从多个拍摄模式中确定目标拍摄模式，所述参考感光度是根据所述环境光亮度进行曝光收敛确定的，所述拍摄模式用于控制相机以多个曝光档位分别拍摄图像，不同的拍摄模式下相机拍摄所用的曝光档位的数量不同和/或待拍摄的图像数量不同；
根据所述目标拍摄模式拍摄多个待处理图像；
利用所述多个待处理图像融合得到目标图像。
本申请实施例第二方面提供一种图像处理装置，包括：处理器和存储有计算机程序的存储器，所述处理器在执行所述计算机程序时执行以下步骤：
获取场景对应的第一动态范围和环境光亮度；
根据所述环境光亮度和参考感光度中的至少一个以及所述第一动态范围，从多个拍摄模式中确定目标拍摄模式，所述参考感光度是根据所述环境光亮度进行曝光收敛确定的，所述拍摄模式用于控制相机以多个曝光档位分别拍摄图像，不同的拍摄模式下相机拍摄所用的曝光档位的数量不同和/或待拍摄的图像数量不同；
根据所述目标拍摄模式拍摄多个待处理图像；
利用所述多个待处理图像融合得到目标图像。
本申请实施例第三方面提供一种相机，包括：
镜头；
传感器，用于通过所述镜头采集场景对应的图像信号；
处理器和存储有计算机程序的存储器，所述处理器在执行所述计算机程序时实现以下步骤：
获取场景对应的第一动态范围和环境光亮度；
根据所述环境光亮度和参考感光度中的至少一个以及所述第一动态范围，从多个拍摄模式中确定目标拍摄模式，所述参考感光度是根据所述环境光亮度进行曝光收敛确定的，所述拍摄模式用于控制相机以多个曝光档位分别拍摄图像，不同的拍摄模式下相机拍摄所用的曝光档位的数量不同和/或待拍摄的图像数量不同；
根据所述目标拍摄模式拍摄多个待处理图像；
利用所述多个待处理图像融合得到目标图像。
本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面提供的图像处理方法。
本申请实施例提供的图像处理方法包括多个不同的拍摄模式，不同的拍摄模式下相机拍摄所用的曝光档位的数量可以不同，从而可以针对不同动态范围的场景以不同数量的曝光档位进行拍摄，通过融合拍摄所得的图像得到使场景中各个不同亮度的区域均能呈现合适亮度的目标图像。不同的拍摄模式下相机待拍摄的图像数量可以不同，从而可以针对不同环境光亮度的场景拍摄不同数量的图像，通过融合拍摄所得的图像得到场景对应的高信噪比的目标图像。可见，本申请实施例提供的方法能够使相机适应各种动态范围和环境光亮度的场景，在各种场景下都能拍摄得到高质量的图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的流程图。
图2是本申请实施例提供的一种掩膜的示意图。
图3至图6为本申请实施例提供的单拍图像与融合图像的效果对比图。
图7是本申请实施例提供的图像处理装置的结构示意图。
图8是本申请实施例提供的一种相机的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着相机智能化程度的提高，在不少场景下相机可以拍摄出质量较高的图像，但现实中的场景多种多样，仍然存在一些场景，相机在这些场景中拍摄得到的图像不能让人满意。比如在高动态范围的场景下，这种场景中最亮区域与最暗区域之间的亮度差距较大，因此拍摄所得的图像容易出现局部欠曝或过曝。又比如在环境光亮度较低的场景下，相机为提高拍摄画面的亮度会提高感光度，从而导致拍摄所得的图像有较多的噪点。
为了使相机在各种场景下均能够拍摄出高质量的图像，本申请实施例提供了一种图像处理方法，可以参考图1，图1是本申请实施例提供的图像处理方法的流程图，该方法包括：
S102、获取场景对应的第一动态范围和环境光亮度。
S104、根据所述环境光亮度和参考感光度中的至少一个以及所述第一动态范围，从多个拍摄模式中确定目标拍摄模式。
S106、根据所述目标拍摄模式拍摄多个待处理图像；
S108、利用所述多个待处理图像融合得到目标图像。
场景的动态范围可以描述场景中最高亮度与最低亮度之间的差距。在一种实施方式中，场景的动态范围可以通过曝光档位进行描述。这里，可以举个例子，比如场景的动态范围可以是[-2EV，2EV]，即场景的动态范围大小是4EV。其中，0EV可以称为参考曝光档位，即相机以参考曝光档位对场景进行拍摄，可以得到该场景对应的正确曝光的图像，即场景整体在画面中的亮度是合适的。-2EV可以称为最低曝光档位(minEV)，当相机以最低曝光档位对场景进行拍摄时，拍摄所得的图像中场景的最亮区域可以得到正确的曝光，即该最亮区域可以在图像中呈现合适的亮度。2EV可以称为最高曝光档位(maxEV)，当相机以最高曝光档位对场景进行拍摄时，拍摄所得的图像中场景的最暗区域可以得到正确的曝光，即该最暗区域可以在图像中呈现合适的亮度。
在获取场景对应的第一动态范围时，可以先确定0EV对应的曝光参数。具体的，在一种实施方式中，可以对场景整体进行测光，根据测光结果确定场景对应的环境光亮度，根据该环境光亮度可以确定使APEX曝光方程收敛的曝光参数，该收敛的曝光参数即为0EV对应的曝光参数，也可以称为参考曝光参数。在确定参考曝光参数后，在一种实施方式中，可以分别对场景中的最亮区域和最暗区域进行测光，那么，根据最亮区域对应的测光结果可以确定最低曝光档位对应的曝光参数，根据最暗区域对应的测光结果可以确定最高曝光档位对应的曝光参数，从而可以确定场景对应的第一动态范围。在确定参考曝光参数后，在一种实施方式中，也可以使用参考曝光参数对场景进行拍摄，对拍摄所得的0EV对应的图像进行直方图分析，从而可以确定场景对应的第一动态范围。
为使相机可以在不同的场景中均拍摄得到高质量的图像，本申请实施例提供了多个拍摄模式。当相机进入任意一个拍摄模式后，相机可以在该拍摄模式指示的多个曝光档位下分别进行拍摄，不同的拍摄模式下相机拍摄所用的曝光档位的数量不同和/或待拍摄的图像数量不同。
对于高动态范围的场景，为使场景中不同亮度的区域可以在图像呈现合适的亮度，在一种实施方式中，可以通过融合该场景不同曝光的图像实现。该场景不同曝光的图 像可以通过相机以不同的曝光档位对该场景进行拍摄得到。
可以理解的，场景的动态范围越大，场景包含的亮度层次越丰富，为使场景中各个不同亮度的区域均能在图像中呈现合适的亮度，在一种实施方式中，可以使相机以更多不同的曝光档位对该场景进行拍摄，从而可以融合更多不同曝光的图像。可以举个例子，比如对于动态范围是[-2EV，2EV]的场景，可以使相机分别以-2EV、0EV和2EV这三个曝光档位对该场景进行拍摄，融合该三个曝光档位拍摄的图像就已经可以得到场景中各个不同亮度的区域均能呈现合适亮度的目标图像；而对于动态范围是[-2EV，4EV]的场景，要得到能够使场景中各个不同亮度的区域均能呈现合适亮度的目标图像，需要融合更多不同曝光的图像，比如可以使相机以-2EV、0EV、2EV和4EV这四个曝光档位对该场景进行拍摄，从而可以融合四种曝光的图像得到目标图像。
本申请实施例提供了多个拍摄模式，不同的拍摄模式下相机拍摄所用的曝光档位的数量可以不同，从而可以针对不同动态范围的场景以不同数量的曝光档位对该场景进行拍摄，融合不同种曝光的图像，得到能够使场景中各个不同亮度的区域均能呈现合适亮度的目标图像。
如前所述，相机的自动曝光算法可以根据环境光亮度确定使APEX曝光方程收敛的参考曝光参数，而参考曝光参数包括光圈、快门速度和感光度，这里，参考曝光参数中的感光度可以称为参考感光度。在环境光亮度低的场景中，为使拍摄得到的图像具有合适的亮度，自动曝光算法确定的参考感光度会较高。较高的参考感光度虽然可以提高图像的亮度，但同时也会增加图像的噪点，降低图像的信噪比。针对该问题，在一种实施方式中，可以通过多帧堆栈的方式提高图像的信噪比。具体的，可以对场景拍摄多张图像，通过对拍摄得到的多张图像进行融合，可以得到该场景对应的高信噪比图像。
不同的场景有不同的环境光亮度，对于环境光亮度越低的场景，由于所使用的参考感光度越高，因此拍摄得到的图像的信噪比就越低。基于此，在进行多帧堆栈的时候，场景的环境光亮度越低，可以对该场景拍摄越多的图像，通过融合更多数量的图像以更大程度的提高图像的信噪比。
本申请实施例提供了多个拍摄模式，不同的拍摄模式下相机要拍摄的图像数量可以不同，从而可以针对不同环境光亮度的场景拍摄不同数量的图像，融合不同数量的图像，对各种环境光亮度的场景都可以获得其对应的高信噪比的目标图像。
从多个拍摄模式中确定相机要进入的目标拍摄模式时，可以根据场景对应的环境光亮度和参考感光度中的至少一个以及场景对应的第一动态范围确定。由于参考感光度是根据环境光亮度进行曝光收敛确定的，因此，参考感光度可以一定程度上反映场景的环境光亮度，比如参考感光度越高可以对应环境光亮度越低，参考感光度越低可以对应环境光亮度越高。所以，在确定目标拍摄模式时，场景对应的环境光亮度和参考感光度可以只参考其中的一个，当然，也可以两个都参考，即可以根据环境光亮度、参考感光度好第一动态范围三者确定目标拍摄模式。
在确定目标拍摄模式后，可以根据目标拍摄模式指示的曝光档位和/或待拍摄的图像数量进行拍摄，对拍摄所得的多个待处理图像进行融合，可以得到高信噪比和高动态范围的目标图像。
本申请实施例提供的图像处理方法包括多个不同的拍摄模式，不同的拍摄模式下 相机拍摄所用的曝光档位的数量可以不同，从而可以针对不同动态范围的场景以不同数量的曝光档位进行拍摄，通过融合拍摄所得的图像得到使场景中各个不同亮度的区域均能呈现合适亮度的目标图像。不同的拍摄模式下相机待拍摄的图像数量可以不同，从而可以针对不同环境光亮度的场景拍摄不同数量的图像，通过融合拍摄所得的图像得到场景对应的高信噪比的目标图像。可见，本申请实施例提供的方法能够使相机适应各种动态范围和环境光亮度的场景，在各种场景下都能拍摄得到高质量的图像。
在根据环境光亮度和参考感光度中的至少一个以及第一动态范围确定目标拍摄模式时，在一种实施方式中，场景对应的第一动态范围越大，可以确定曝光档位越多的拍摄模式作为目标拍摄模式。如前所述，动态范围越大的场景，其包含的亮度层次越丰富，为使场景中不同亮度的区域均可以在图像中呈现合适的亮度，需要相机以更多不同的曝光档位对场景进行拍摄，以融合更多该场景不同曝光的图像。在一种实施方式中，场景对应的环境光亮度越低或者参考感光度越高，可以确定对应的待拍摄的图像数量越多的拍摄模式作为目标拍摄模式。如前所述，环境光亮度越低的场景，直接拍摄所得的图像的信噪比越低，相应的，为提高图像的信噪比，需要融合更多张数的图像，因此可以选择待拍摄的图像数量较多的拍摄模式作为目标拍摄模式。
可以理解的，每个拍摄模式都对应有多个曝光档位，而每个曝光档位对应的拍摄张数可以相同也可以不同，比如某一个拍摄模式可以要求相机在-2EV、0EV和2EV三个曝光档位下分别拍摄图像，并可以要求相机在0EV的曝光档位下拍摄4张，在-2EV和2EV的曝光档位下分别拍摄2张。
如前所述，不同拍摄模式对应的待拍摄的图像数量可以不同，这里，待拍摄的图像数量不同可以包括：待拍摄的图像总数不同和/或同一曝光档位下拍摄的图像数量不同。比如，在一个例子中，A拍摄模式可以要求相机以0EV的曝光档位拍摄4张，而同样是以0EV拍摄，B拍摄模式可以要求相机以0EV的曝光档位拍摄2张。
在一种实施方式中，所述多个拍摄模式中可以包括第一拍摄模式，第一拍摄模式对应的相机拍摄所用的曝光档位可以包括从场景对应的第一动态范围中以预设的曝光档位间隔选取出的曝光档位。可以举个例子，比如场景对应的第一动态范围可以是[-1EV，2EV]，预设的曝光档位间隔可以是2EV，则在第一拍摄模式下，可以从第一动态范围的-1EV开始，每间隔2EV选取一个曝光档位，则选取出的曝光档位包括-1EV和1EV，即相机拍摄所用的曝光档位可以包括选取出的这两个曝光档位。当然，相机拍摄所用的曝光档位还包括参考曝光档位0EV，即上述例子中，相机拍摄所用的曝光档位包括三个，分别是-1EV、0EV和1EV。
在一种实施方式中，所述多个拍摄模式中可以包括第二拍摄模式，第二拍摄模式对应的相机拍摄所用的曝光档位可以包括场景对应的第一动态范围中的最低曝光档位minEV、参考曝光档位0EV以及最高曝光档位maxEV。可以举个例子，比如场景对应的第一动态范围可以是[-2EV，1EV]，则minEV可以是-2EV，maxEV可以是1EV，在第二拍摄模式下相机拍摄所用的曝光档位可以包括-2EV、0EV和1EV。
下面提供一个例子，该例子可以包括6个不同的拍摄模式，该6个不同的拍摄模式可以包括：SDR模式、一般HDR模式、一般夜景模式、增强HDR模式、增强夜景模式和极暗夜景模式。这6个拍摄模式可以分别针对6种不同的场景。
当场景对应的第一动态范围的大小<＝2EV时，可以确定目标拍摄模式是SDR模 式。在SDR模式下，相机可以在0EV和1EV分别拍摄1张图像。
当场景对应的第一动态范围的大小在(2,4]EV区间，且环境光亮度LV(Light Value)≥5或参考感光度ISO_0<＝100(对应很弱的噪声)时，可以确定目标拍摄模式是一般HDR模式。在一般HDR模式下，相机可以在minEV、0EV和maxEV三个曝光档位分别拍摄图像，拍摄的图像总数是5张。这里，5张图像的分配比如可以是minEV和maxEV各拍摄2张，0EV拍摄1张。
当场景对应的第一动态范围的大小在(2,4]EV区间，且LV<5或100<ISO_0<1000(对应中等强度的噪声)时，可以确定目标拍摄模式是一般夜景模式。在一般夜景模式下，相机可以在minEV、0EV和maxEV三个曝光档位分别拍摄图像，拍摄的图像总数是8张，比如可以是minEV和maxEV各拍摄2张，0EV拍摄4张。
当场景对应的第一动态范围的大小>4EV，且LV>＝5或ISO_0<＝100时，可以确定目标拍摄模式是增强HDR模式。在增强HDR模式下，可以从场景对应的第一动态范围中以预设的曝光档位间隔选取多个曝光档位，相机可以在选取的多个曝光档位以及0EV下分别拍摄图像，拍摄的图像总数不超过8张。可以举个例子，比如场景对应的第一动态范围可以是[-3EV，2EV]，预设的曝光档位间隔可以是2EV，则可以从-3EV开始，每间隔2EV选取一个曝光档位，则选取出的曝光档位包括-3EV、-1EV和1EV，则相机可以在选取出的曝光档位和0EV下分别拍摄图像，比如可以每个曝光档位拍摄2张。
当场景对应的第一动态范围的大小>4EV，且LV<5或100<ISO_0<1000时，可以确定目标拍摄模式是增强夜景模式。在增强夜景模式下，可以从场景对应的第一动态范围中以预设的曝光档位间隔选取多个曝光档位，相机可以在选取的多个曝光档位以及0EV下分别拍摄图像，拍摄的图像总数不超过12张，比如可以每个曝光档位拍摄2张。若有多余的拍摄张数，可以平均分配给0EV与0EV附近的其他曝光档位。
当场景对应的第一动态范围的大小>4EV，LV<5且ISO_0>1000时，可以确定目标拍摄模式是极暗夜景模式。在极暗夜景模式下，可以从场景对应的第一动态范围中以预设的曝光档位间隔选取多个曝光档位，相机可以在选取的多个曝光档位以及0EV下分别拍摄图像，拍摄的图像总数不超过20张，比如可以每个曝光档位拍摄2张。若有多余的拍摄张数，可以平均分配给0EV与0EV附近的其他曝光档位。
上述例子中的6个拍摄模式，相机要拍摄的曝光档位、各个曝光档位对应的拍摄张数、一共拍摄的图像总数等均可以根据实际需求进行调整，本申请对此不作限制。
在根据目标拍摄模式拍摄得到多个待处理图像后，可以将多个待处理图像进行融合，得到目标图像。这里，考虑到相机在拍摄过程中存在运动，并且场景中的物体在拍摄过程中也会存在运动，若直接将所有的待处理图像叠加起来，叠加后的图像中会产生鬼影或运动模糊，图像画质较低。因此，将多个待处理图像进行融合之前，在一种实施方式中，可以先将多个待处理图像进行对齐。
在相机拍摄多个待处理图像时，场景中的运动对象在不断的运动，从而每个待处理图像中运动对象所在的位置都不相同。在完成多个待处理图像的对齐后，若直接叠加对齐后的多个待处理图像，则得到的目标图像中运动对象会出现鬼影。为了消除运动对象的鬼影，在一种实施方式中，可以对图像中的运动区域和非运动区域分开进行处理。具体的，可以利用对齐后的各个待处理图像获取运动区域对应的图像块以及非 运动区域对应的图像块，融合运动区域对应的图像块和非运动区域对应的图像块得到目标图像。
运动区域可以是运动对象在对齐后的各个待处理图像中所在区域的并集。对于一个运动对象，该运动对象在不同的待处理图像中所在的区域不同，因此在确定该运动对象对应的运动区域时，可以确定该运动对象在各个待处理图像中所在的区域，并可以将该运动对象在各个待处理图像中所在的区域进行合并，得到该运动对象对应的运动区域。
待处理图像中可能存在多个运动对象，例如同时存在行人和车辆。在一种实施方式中，每个运动对象可以有各自对应的运动区域，则在获取运动区域对应的图像块时，可以针对每个运动区域分别获取各自对应的图像块，相应的，在融合的时候，可以融合各个运动区域对应的图像块和非运动区域对应的图像块。
鬼影产生的原因是，融合的多个待处理图像中，每个待处理图像中运动对象所在的位置都不同，因此，若运动区域对应的图像块可以仅来源于单个图像，则可以避免鬼影的产生。在一种实施方式中，运动区域对应的图像块可以从第一参考图像中裁剪得到，第一参考图像可以是基于单个待处理图像得到的，这里，可以将该单个待处理图像称为目标待处理图像。
在一种实施方式中，第一参考图像可以是目标待处理图像本身，即运动区域对应的图像块可以是从某一张待处理图像中裁剪得到的。可以理解的，由于运动区域的图像块来源于单个图像，因此不会存在鬼影。
目标待处理图像是多个待处理图像中的一个图像。若第一参考图像是目标待处理图像本身，则在一种实施方式中，目标待处理图像可以是多个待处理图像中运动区域的亮度最合适的图像。具体的，可以获取运动区域在各个待处理图像中的亮度，并可以将运动区域的亮度与目标亮度相匹配的待处理图像确定为目标待处理图像。可以举个例子，比如运动对象是汽车，该汽车出现在3张待处理图像中，则汽车的运动区域是3张待处理图像中汽车所在位置的并集，若第一张待处理图像中汽车对应的运动区域的亮度偏暗，第二张待处理图像中汽车对应的运动区域的亮度合适，第三张待处理图像中汽车对应的运动区域的亮度偏亮，则可以选取第二张待处理图像作为目标待处理图像。
在一种情况中，运动区域的动态范围可能较大，此时，若直接从单个待处理图像中裁剪出运动区域的图像块，由于单个待处理图像的动态范围有限，裁剪出的运动区域的图像块的动态范围可能较低。因此，在一种实施方式中，第一参考图像可以是目标待处理图像与至少一个伪造图像融合得到的，这里，伪造图像可以是利用目标待处理图像伪造的对应其他曝光档位的图像。
在利用目标待处理图像伪造对应其他曝光档位的图像时，在一种实施方式中，可以利用目标待处理图像乘以预设增益来实现。比如，目标待处理图像可以是各个待处理图像中运动区域的亮度最低的图像，即目标待处理图像可以是minEV的曝光档位下拍摄的图像，则可以利用目标待处理图像乘以数字增益Dgain来伪造其他更高曝光档位的图像，这里，通过乘以不同的数字增益可以伪造出不同曝光档位的图像。
可以理解的，由于伪造图像是基于目标待处理图像得到的，因此伪造图像和目标待处理图像融合得到的第一参考图像仍然满足来源于单个图像的条件，不会存在鬼影， 相应的，从第一参考图像中裁剪得到的运动区域对应的图像块也不存在鬼影。并且，由于伪造图像对应的曝光档位与目标待处理图像对应的曝光档位不同，因此将至少一个伪造图像和目标待处理图像融合相当于融合了多种不同曝光的图像，融合得到的第一参考图像可以具有较高的动态范围，从第一参考图像中裁剪出的运动区域的图像块也可以有较高的动态范围。
前文中提供了两种第一参考图像的获取方式，第一种是直接将目标待处理图像作为第一参考图像，第二种是利用目标待处理图像伪造至少一张其他曝光档位的图像，再利用伪造的其他曝光档位的图像和目标待处理图像融合得到第一参考图像。在对这两种方式进行选择时，在一种实施方式中，可以根据运动区域的动态范围确定。具体的，针对一个运动对象的运动区域，可以确定该运动区域的第二动态范围，若该运动区域的第二动态范围小于动态范围阈值，即该运动区域的动态范围较小，则可以从对齐后的各个待处理图像中确定一个目标待处理图像作为该运动区域对应的第一参考图像(即第一种方式)；若该运动区域的第二动态范围大于或等于动态范围阈值，则从对齐后的各个待处理图像中确定一个目标待处理图像后，可以基于该目标待处理图像伪造对应其他曝光档位的图像，将该目标待处理图像与伪造的其他曝光档位的图像融合得到第一参考图像(即第二种方式)。这里，运动区域的第二动态范围可以通过分析0EV的待处理图像中运动区域对应的直方图确定。
当运动对象有多个时，每个运动对象可以有自己的运动区域，针对每个运动区域可以分别确定对应的第一参考图像，这里，不同运动区域对应的第一参考图像可以相同也可以不同。在确定各个运动区域对应的第一参考图像后，可以分别对各个第一参考图像进行裁剪，从而裁剪出各个运动区域各自对应的图像块。
对于非运动区域对应的图像块，在一种实施方式中，可以直接融合对齐后的各个待处理图像得到第二参考图像，从第二参考图像中裁剪出该非运动区域对应的图像块。可以理解的，非运动区域在不同的待处理图像之间的位置差异较小，因此在完成各个待处理图像的对齐后，非运动区域在对齐后的各个待处理图像中的位置已经重合，因此可以直接融合对齐后的各个待处理图像，融合得到的第二参考图像中非运动区域不会有运动模糊或鬼影，可以直接在第二参考图像中裁剪出非运动区域对应的图像块。
裁剪出的非运动区域对应的图像块和各个运动区域对应的图形块后，可以融合这些图像块得到目标图像。这里，可以采用的融合算法有多种，例如基于多频段金字塔融合的算法(Pyramid Blending)、基于梯度的融合算法(Poisson Blending)等等。
如前所述，每个运动对象都有各自对应的运动区域，一个运动对象的运动区域是该运动对象在各个待处理图像中所在位置的并集。而确定图像中的运动区域有多种方式，在一种实施方式中，可以对对齐后的各个待处理图像两两通过以下方式检测运动区域，可以用第一图像和第二图像来指代任意两张对齐后的待处理图像。在确定图像中的运动区域时，可以对第一图像和第二图像在相同像素位置的像素值进行做差计算，根据做差计算的结果可以确定各个像素位置是否属于运动区域。在一个例子中，可以结合噪声模型进行运动区域的检测，具体的，在通过做差计算得到各个像素位置的像素差值后，可以将所述像素差值通过噪声模型转换为[0,1]区间的置信度，若一个像素位置对应的置信度大于置信度阈值，则可以确定该像素位置属于运动区域，若该像素位置对应的置信度小于置信度阈值，则可以确定该像素位置不属于运动区域。运动区 域的检测除了上述基于噪声模型的运动区域检测方式以外，还可以采用其他方式，比如基于多频段的检测方式、根据灰度图像对运动区域进行形态学处理等。
在一种实施方式中，为提高运动区域检测结果的准确性，可以对第一图像和第二图像分别生成图像金字塔，则第一图像的图像金字塔包括多个不同分辨率的第一图像，第二图像的图像金字塔包括多个不同分辨率的第二图像。在完成图像金字塔分解后，可以在图像金字塔的每一层分别进行第一图像和第二图像的做差计算，即可以对相同分辨率的第一图像和第二图像在相同像素位置进行像素值的做差计算，做差得到的像素差值可以通过噪声模型转换为置信度，从而可以得到每一层对应的置信度图，所述置信度图包括该层中各个像素位置对应的置信度，一个像素位置的置信度用于指示该像素位置属于运动区域的概率。
在得到每一层对应的置信度图后，可以融合各层的置信度图得到融合置信度图。这里，在融合各层的置信度图时，在一种实施方式中，可以将各层的置信度图重采样到相同分辨率后进行融合。例如，每一层的置信度图的分辨率与该层对应的分辨率相同，可以将各层的置信度图重采样到待处理图像的原始分辨率(即图像金字塔底层对应的分辨率)后融合，得到融合置信度图，融合置信度图包括各个像素位置对应的融合置信度。在根据融合置信度图确定各个像素位置是否属于运动区域时，若一个像素位置对应的融合置信度大于置信度阈值，则可以确定该像素位置属于运动区域，若该像素位置对应的融合置信度小于置信度阈值，则可以确定该像素位置不属于运动区域。在各个像素位置是否属于运动区域确定后，可以确定出的结果生成对应的掩膜，在一个例子中，可以将属于运动区域的像素位置在掩膜中的值置为1，将不属于运动区域的像素位置在掩膜中的值置为0，则掩膜中值为1的区域可以表示运动区域，值为0的区域可以表示非运动区域。可以理解的，若运动对象有N个，则该掩膜中可以包括N个连通域，每个连通域对应一个运动对象的运动区域。该掩膜可以作用在各个运动区域对应的第一参考图像上，从而可以裁剪出各个运动区域对应的图像块。可以参考图2，图2是本申请实施例提供的一种掩膜的示意图，其中的两个连通域分别对应汽车的运动区域和行人的运动区域。
在对各个待处理图像进行对齐时，在一种实施方式中，可以对各个待处理图像两两进行对齐处理。这里，可以将进行对齐处理的任意两个待处理图像用第三图像和第四图像指代，则在对齐第三图像和第四图像之前，可以先确定是否通过全局对齐算法对齐第三图像和第四图像。由于每一张待处理图像是在不同的时刻拍摄得到的，因此每一张待处理图像的画面内容和景深可能不同，若两张待处理图像之间存在大面积的运动区域或者较大的景深变化，则通过全局对齐算法可能无法使两者对齐或者对齐效果差，对于这种情况，可以通过局部对齐算法进行两者的对齐。
在确定是否通过全局对齐算法对齐第三图像和第四图像时，在一种实施方式中，可以先通过全局对齐算法进行第三图像和第四图像之间的对齐，在对齐第三图像和第四图像后，可以获取第三图像和第四图像上的各对匹配特征点之间的距离，并对获取的匹配特征点之间的距离进行统计，得到统计结果。这里，在一个例子中，统计结果可以是目标匹配特征点对的对数，目标匹配特征点对是特征点之间的距离大于距离阈值的匹配特征点对。若目标匹配特征点对的对数大于或等于数量阈值，则可以确定通过全局对齐算法进行第三图像和第四图像的对齐效果不佳，可以确定通过局部对齐算 法对齐第三图像和第四图像，若目标匹配特征点对的对数小于数量阈值，则可以确定通过全局对齐算法进行第三图像和第四图像的对齐。
多个待处理图像中，有些待处理图像是相机采用相同的曝光档位拍摄得到的，有些待处理图像是相机采用不同的曝光档位拍摄得到的。对于采用相同的曝光档位拍摄得到的待处理图像，这些待处理图像之间的拍摄间隔较短，图像之间的偏移较小，因此，在一种实施方式中，在对齐这些相同曝光的待处理图像时，可以只估计这些待处理图像之间的平移运动，即这些待处理图像之间对齐所用的变换参数可以包括：水平位移参数和竖直位移参数。在对齐相同曝光的待处理图像时，可以采用的对齐算法有多种，例如基于特征点的对齐算法、基于直方图统计、运动向量估计、稀疏光流、稠密光流的运动检测算法等等。
对于采用不同的曝光档位拍摄得到的待处理图像，这些待处理图像之间的拍摄间隔较长，图像之间的偏移较大，因此，在一种实施方式中，在对齐这些待处理图像时可以估计这些待处理图像之间的旋转和平移运动，即这些待处理图像之间对齐所用的变换参数可以包括：仿射矩阵或单应矩阵。在对齐不同曝光的待处理图像时，可以采用的对齐算法有多种，例如基于特征点、基于区域信息、基于深度学习、基于光流的图像对齐算法等等。
在通过全局对齐算法对齐第三图像和第四图像时，需要计算两者之间变换所用的全局的变换参数。考虑到第三图像和第四图像之间存在大面积的运动对象时，全局变换参数可能受到该大面积的运动对象的影响而偏离，导致整体的对齐效果差，因此，在一种实施方式中，可以将第三图像和第四图像采用相同的方式划分为多个区块，并可以计算每一个区块对应的变换参数，在计算全局的变换参数时，可以利用各个区块中的目标区块对应的变换参数进行融合，得到第三图像变换到第四图像所用的全局的变换参数。这里，目标区块可以是运动对象所在区块以外的其它区块，即非运动对象的区块。
由于运动对象所在的区块的变换参数会对全局的变换参数带来干扰，因此需要排除这些运动对象所在的区块。考虑到非运动对象的区块的变换参数通常与相邻区块的变换参数相差较小，因此，在一种实施方式中，对于每一个区块，可以根据该区块的变换参数与相邻区块的变换参数之间的差距确定该区块是否是目标区块，若所述差距较小，则可以确定该区块是目标区块，若所述差距较大，则可以对该区块进行排除，即确定该区块是运动对象所在的区块。
如前所述，在确定目标拍摄模式后，相机需要根据目标拍摄模式的要求进行拍摄，目标拍摄模式的要求包括相机拍摄所用的多个曝光档位，以及每个曝光档位需要拍摄的图像张数。为了能够得到数量满足要求且清晰的待处理图像，在一种实施方式中，可以在目标拍摄模式指示的曝光档位下拍摄数量超出要求的多个待定图像，从多个待定图像中筛选出清晰的待处理图像。可以举个例子，比如目标拍摄模式要求相机在0EV下拍摄4张待处理图像，则相机可以在0EV下拍摄8张待定图像，并从8张待定图像中筛选出4张清晰的待处理图像。
在从多个待定图像中筛选特定数量的待处理图像时，在一种实施方式中，可以根据待定图像携带的相机位姿信息进行筛选，即可以选择相机位姿变化较小的时刻拍摄的待定图像作为待处理图像，相机位姿变化较小时拍摄的图像更清晰。在一种实施方 式中，也可以对每一张待定图像计算其对应的边缘梯度和，由于边缘梯度和与图像的清晰度正相关，因此可以将边缘梯度和最大的特定数量个待定图像确定为待处理图像。在一种实施方式中，可以先根据待定图像携带的相机位姿信息进行初步的筛选，再对初步筛选后的待定图像计算边缘梯度和，根据边缘梯度和的大小二次筛选出待处理图像。
本申请实施例提供的图像处理方法包括多个不同的拍摄模式，不同的拍摄模式下相机拍摄所用的曝光档位的数量可以不同，从而可以针对不同动态范围的场景以不同数量的曝光档位进行拍摄，通过融合拍摄所得的图像得到使场景中各个不同亮度的区域均能呈现合适亮度的目标图像。不同的拍摄模式下相机待拍摄的图像数量可以不同，从而可以针对不同环境光亮度的场景拍摄不同数量的图像，通过融合拍摄所得的图像得到场景对应的高信噪比的目标图像。可见，本申请实施例提供方法能够使相机适应各种场景，在各种场景下都能拍摄得到高质量的图像。
可以参考图3至图6，图3至图6均包括左侧图像和右侧图像，其中左侧图像是对场景拍摄的单张图像，右侧图像是利用本申请实施例提供的方法融合得到的目标图像。可见，融合得到的目标图像具有高动态范围和高信噪比，画质大大提高。
下面可以参考图7，图7是本申请实施例提供的图像处理装置的结构示意图。该装置包括：处理器710和存储有计算机程序的存储器720，所述处理器在执行所述计算机程序时执行以下步骤：
获取场景对应的第一动态范围和环境光亮度；
根据所述环境光亮度和参考感光度中的至少一个以及所述第一动态范围，从多个拍摄模式中确定目标拍摄模式，所述参考感光度是根据所述环境光亮度进行曝光收敛确定的，所述拍摄模式用于控制相机以多个曝光档位分别拍摄图像，不同的拍摄模式下相机拍摄所用的曝光档位的数量不同和/或待拍摄的图像数量不同；
根据所述目标拍摄模式拍摄多个待处理图像；
利用所述多个待处理图像融合得到目标图像。
可选的，所述待拍摄的图像数量不同包括：待拍摄的图像总数不同和/或同一曝光档位下拍摄的图像数量不同。
可选的，所述第一动态范围越大，确定的所述目标拍摄模式对应的所述相机拍摄所用的曝光档位越多。
可选的，所述环境光亮度越低或所述参考感光度越高，确定的所述目标拍摄模式对应的所述待拍摄的图像数量越多。
可选的，所述多个拍摄模式中包括第一拍摄模式，所述第一拍摄模式下相机拍摄所用的曝光档位包括从所述第一动态范围中以预设的曝光档位间隔选取的多个曝光档位。
可选的，所述多个拍摄模式中包括第二拍摄模式，所述第二拍摄模式下相机拍摄所用的曝光档位包括所述第一动态范围对应的最低曝光档位、0EV曝光档位以及最高曝光档位。
可选的，所述处理器利用所述多个待处理图像融合得到目标图像时用于：
对各个所述待处理图像进行对齐，融合对齐后的各个待处理图像得到目标图像。
可选的，所述处理器融合对齐后的各个待处理图像得到目标图像时用于：
利用对齐后的各个待处理图像获取运动区域对应的图像块以及非运动区域对应的图像块，所述运动区域是运动对象在对齐后的各个待处理图像中所在区域的并集；
融合所述运动区域对应的图像块和所述非运动区域对应的图像块得到目标图像。
可选的，所述运动区域对应的图像块是从第一参考图像中裁剪得到的，所述第一参考图像是基于目标待处理图像得到的，所述目标待处理图像是对齐后的各个待处理图像中的单个图像。
可选的，所述第一参考图像是所述目标待处理图像本身。
可选的，所述处理器还用于：
若所述运动区域的第二动态范围小于动态范围阈值，从对齐后的各个待处理图像中确定一个目标待处理图像作为所述运动区域对应的第一参考图像。
可选的，所述第一参考图像是所述目标待处理图像与至少一个基于所述目标待处理图像伪造的对应其他曝光档位的图像融合得到的。
可选的，所述处理器还用于：
若所述运动区域的第二动态范围大于或等于动态范围阈值，从对齐后的各个待处理图像中确定一个目标待处理图像；
基于所述目标待处理图像伪造对应其他曝光档位的图像；
将所述目标待处理图像与所述其他曝光档位的图像融合得到第一参考图像。
可选的，所述其他曝光档位的图像是所述目标待处理图像乘以预设增益得到的。
可选的，所述目标待处理图像是所述对齐后的各个待处理图像中所述运动区域亮度最低的图像。
可选的，所述运动对象有多个，不同运动对象的运动区域对应的所述第一参考图像相同或不同。
可选的，所述非运动区域对应的图像块是从第二参考图像中裁剪得到的，所述第二参考图像是对齐后的各个待处理图像融合得到的。
可选的，第一图像和第二图像是对齐后的各个待处理图像中的两个不同图像，所述处理器通过以下方式确定所述运动区域：
对所述第一图像和所述第二图像在相同像素位置的像素值进行做差计算，根据所述做差计算的结果对各个像素位置分别确定是否属于所述运动区域。
可选的，所述处理器对所述第一图像和所述第二图像在相同像素位置的像素值进行做差计算，根据所述做差计算的结果对各个像素位置分别确定是否属于所述运动区域时用于：
对所述第一图像和所述第二图像分别生成图像金字塔；
在所述图像金字塔的每一层分别进行所述做差计算，得到每一层对应的置信度图，所述置信度图包括该层中各个像素位置对应的置信度，所述置信度用于指示所述像素位置属于所述运动区域的概率；
对每一层的所述置信度图进行融合，得到融合置信度图；
根据所述融合置信度图确定各个像素位置是否属于所述运动区域。
可选的，所述融合置信度图是所有层对应的所述置信度图在重采样到相同分辨率后融合得到的。
可选的，第三图像和第四图像是各个所述待处理图像中的两个不同图像，在对齐 所述第三图像和所述第四图像之前，所述处理器还用于：
确定是否通过全局对齐算法对齐所述第三图像和所述第四图像。
可选的，所述处理器确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
通过全局对齐算法进行所述第三图像和所述第四图像之间对齐；
统计对齐后的所述第三图像与所述第四图像上的各对匹配特征点之间的距离；
根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像。
可选的，所述处理器根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
若所述距离大于距离阈值的匹配特征点的对数小于数量阈值，确定通过全局对齐算法对齐所述第三图像和所述第四图像。
可选的，所述处理器根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
若所述距离大于距离阈值的匹配特征点的对数大于或等于数量阈值，确定通过局部对齐算法对齐所述第三图像和所述第四图像。
可选的，拍摄所用的曝光档位相同的待处理图像之间对齐所用的变换参数包括：水平位移参数和竖直位移参数。
可选的，拍摄所用的曝光档位不同的待处理图像之间对齐所用的变换参数包括：仿射矩阵或单应矩阵。
可选的，第三图像和第四图像是各个所述待处理图像中的两个不同图像，所述第三图像和所述第四图像之间对齐所用的变换参数是所述第三图像上目标区块对应的变换参数融合得到的。
可选的，所述第三图像包括多个区块，所述目标区块是所述多个区块中所述变换参数与相邻区块对应的变换参数之间的差距小于差距阈值的区块。
可选的，所述处理器根据所述目标拍摄模式拍摄多个待处理图像时用于：
在所述目标拍摄模式对应的多个曝光档位下分别拍摄多个待定图像；
从所述多个待定图像中筛选出各个曝光档位对应的待处理图像。
可选的，所述待处理图像是根据所述待定图像对应的相机位姿信息和/或所述待定图像对应的边缘梯度和从所述多个待定图像中筛选得到的。
以上提供的图像处理装置的各种实施方式，其具体实现可以参考前文中的相关说明，在此不再赘述。本申请实施例提供的图像处理装置可以是相机内部的处理器、控制器、计算单元等硬件装置。
本申请实施例提供的图像处理装置包括多个不同的拍摄模式，不同的拍摄模式下相机拍摄所用的曝光档位的数量可以不同，从而可以针对不同动态范围的场景以不同数量的曝光档位进行拍摄，通过融合拍摄所得的图像得到使场景中各个不同亮度的区域均能呈现合适亮度的目标图像。不同的拍摄模式下相机待拍摄的图像数量可以不同，从而可以针对不同环境光亮度的场景拍摄不同数量的图像，通过融合拍摄所得的图像得到场景对应的高信噪比的目标图像。可见，本申请实施例提供的装置能够使相机适应各种场景，在各种场景下都能拍摄得到高质量的图像。
下面可以参考图8，图8是本申请实施例提供的一种相机的结构示意图，该相机 包括：
镜头810；
传感器820，用于通过所述镜头采集场景对应的图像信号；
处理器830和存储有计算机程序的存储器840，所述处理器在执行所述计算机程序时实现以下步骤：
获取场景对应的第一动态范围和环境光亮度；
根据所述环境光亮度和参考感光度中的至少一个以及所述第一动态范围，从多个拍摄模式中确定目标拍摄模式，所述参考感光度是根据所述环境光亮度进行曝光收敛确定的，所述拍摄模式用于控制相机以多个曝光档位分别拍摄图像，不同的拍摄模式下相机拍摄所用的曝光档位的数量不同和/或待拍摄的图像数量不同；
根据所述目标拍摄模式拍摄多个待处理图像；
利用所述多个待处理图像融合得到目标图像。
可选的，所述待拍摄的图像数量不同包括：待拍摄的图像总数不同和/或同一曝光档位下拍摄的图像数量不同。
可选的，所述第一动态范围越大，确定的所述目标拍摄模式对应的所述相机拍摄所用的曝光档位越多。
可选的，所述环境光亮度越低或所述参考感光度越高，确定的所述目标拍摄模式对应的所述待拍摄的图像数量越多。
可选的，所述多个拍摄模式中包括第一拍摄模式，所述第一拍摄模式下相机拍摄所用的曝光档位包括从所述第一动态范围中以预设的曝光档位间隔选取的多个曝光档位。
可选的，所述多个拍摄模式中包括第二拍摄模式，所述第二拍摄模式下相机拍摄所用的曝光档位包括所述第一动态范围对应的最低曝光档位、0EV曝光档位以及最高曝光档位。
可选的，所述处理器利用所述多个待处理图像融合得到目标图像时用于：
对各个所述待处理图像进行对齐，融合对齐后的各个待处理图像得到目标图像。
可选的，所述处理器融合对齐后的各个待处理图像得到目标图像时用于：
利用对齐后的各个待处理图像获取运动区域对应的图像块以及非运动区域对应的图像块，所述运动区域是运动对象在对齐后的各个待处理图像中所在区域的并集；
融合所述运动区域对应的图像块和所述非运动区域对应的图像块得到目标图像。
可选的，所述运动区域对应的图像块是从第一参考图像中裁剪得到的，所述第一参考图像是基于目标待处理图像得到的，所述目标待处理图像是对齐后的各个待处理图像中的单个图像。
可选的，所述第一参考图像是所述目标待处理图像本身。
可选的，所述处理器还用于：
若所述运动区域的第二动态范围小于动态范围阈值，从对齐后的各个待处理图像中确定一个目标待处理图像作为所述运动区域对应的第一参考图像。
可选的，所述第一参考图像是所述目标待处理图像与至少一个基于所述目标待处理图像伪造的对应其他曝光档位的图像融合得到的。
可选的，所述处理器还用于：
若所述运动区域的第二动态范围大于或等于动态范围阈值，从对齐后的各个待处理图像中确定一个目标待处理图像；
基于所述目标待处理图像伪造对应其他曝光档位的图像；
将所述目标待处理图像与所述其他曝光档位的图像融合得到第一参考图像。
可选的，所述其他曝光档位的图像是所述目标待处理图像乘以预设增益得到的。
可选的，所述目标待处理图像是所述对齐后的各个待处理图像中所述运动区域亮度最低的图像。
可选的，所述运动对象有多个，不同运动对象的运动区域对应的所述第一参考图像相同或不同。
可选的，所述非运动区域对应的图像块是从第二参考图像中裁剪得到的，所述第二参考图像是对齐后的各个待处理图像融合得到的。
可选的，第一图像和第二图像是对齐后的各个待处理图像中的两个不同图像，所述处理器通过以下方式确定所述运动区域：
对所述第一图像和所述第二图像在相同像素位置的像素值进行做差计算，根据所述做差计算的结果对各个像素位置分别确定是否属于所述运动区域。
可选的，所述处理器对所述第一图像和所述第二图像在相同像素位置的像素值进行做差计算，根据所述做差计算的结果对各个像素位置分别确定是否属于所述运动区域时用于：
对所述第一图像和所述第二图像分别生成图像金字塔；
在所述图像金字塔的每一层分别进行所述做差计算，得到每一层对应的置信度图，所述置信度图包括该层中各个像素位置对应的置信度，所述置信度用于指示所述像素位置属于所述运动区域的概率；
对每一层的所述置信度图进行融合，得到融合置信度图；
根据所述融合置信度图确定各个像素位置是否属于所述运动区域。
可选的，所述融合置信度图是所有层对应的所述置信度图在重采样到相同分辨率后融合得到的。
可选的，第三图像和第四图像是各个所述待处理图像中的两个不同图像，在对齐所述第三图像和所述第四图像之前，所述处理器还用于：
确定是否通过全局对齐算法对齐所述第三图像和所述第四图像。
可选的，所述处理器确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
通过全局对齐算法进行所述第三图像和所述第四图像之间对齐；
统计对齐后的所述第三图像与所述第四图像上的各对匹配特征点之间的距离；
根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像。
可选的，所述处理器根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
若所述距离大于距离阈值的匹配特征点的对数小于数量阈值，确定通过全局对齐算法对齐所述第三图像和所述第四图像。
可选的，所述处理器根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
若所述距离大于距离阈值的匹配特征点的对数大于或等于数量阈值，确定通过局部对齐算法对齐所述第三图像和所述第四图像。
可选的，拍摄所用的曝光档位相同的待处理图像之间对齐所用的变换参数包括：水平位移参数和竖直位移参数。
可选的，拍摄所用的曝光档位不同的待处理图像之间对齐所用的变换参数包括：仿射矩阵或单应矩阵。
可选的，第三图像和第四图像是各个所述待处理图像中的两个不同图像，所述第三图像和所述第四图像之间对齐所用的变换参数是所述第三图像上目标区块对应的变换参数融合得到的。
可选的，所述第三图像包括多个区块，所述目标区块是所述多个区块中所述变换参数与相邻区块对应的变换参数之间的差距小于差距阈值的区块。
可选的，所述处理器根据所述目标拍摄模式拍摄多个待处理图像时用于：
在所述目标拍摄模式对应的多个曝光档位下分别拍摄多个待定图像；
从所述多个待定图像中筛选出各个曝光档位对应的待处理图像。
可选的，所述待处理图像是根据所述待定图像对应的相机位姿信息和/或所述待定图像对应的边缘梯度和从所述多个待定图像中筛选得到的。
以上提供的相机的各种实施方式，其具体实现可以参考前文中的相关说明，在此不再赘述。
本申请实施例提供的相机包括多个不同的拍摄模式，不同的拍摄模式下相机拍摄所用的曝光档位的数量可以不同，从而可以针对不同动态范围的场景以不同数量的曝光档位进行拍摄，通过融合拍摄所得的图像得到使场景中各个不同亮度的区域均能呈现合适亮度的目标图像。不同的拍摄模式下相机待拍摄的图像数量可以不同，从而可以针对不同环境光亮度的场景拍摄不同数量的图像，通过融合拍摄所得的图像得到场景对应的高信噪比的目标图像。可见，本申请实施例提供相机能够适应各种场景，在各种场景下都能拍摄得到高质量的图像。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的图像处理方法。
以上针对每个保护主题均提供了多种实施方式，在不存在冲突或矛盾的基础上，本领域技术人员可以根据实际情况自由对各种实施方式进行组合，由此构成各种不同的技术方案。而本申请文件限于篇幅，未能对所有组合而得的技术方案展开说明，但可以理解的是，这些未能展开的技术方案也属于本申请实施例公开的范围。
本申请实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带， 磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (91)

  1. 一种图像处理方法，其特征在于，包括：
    获取场景对应的第一动态范围和环境光亮度；
    根据所述环境光亮度和参考感光度中的至少一个以及所述第一动态范围，从多个拍摄模式中确定目标拍摄模式，所述参考感光度是根据所述环境光亮度进行曝光收敛确定的，所述拍摄模式用于控制相机以多个曝光档位分别拍摄图像，不同的拍摄模式下相机拍摄所用的曝光档位的数量不同和/或待拍摄的图像数量不同；
    根据所述目标拍摄模式拍摄多个待处理图像；
    利用所述多个待处理图像融合得到目标图像。
  2. 根据权利要求1所述的方法，其特征在于，所述待拍摄的图像数量不同包括：待拍摄的图像总数不同和/或同一曝光档位下拍摄的图像数量不同。
  3. 根据权利要求1所述的方法，其特征在于，所述第一动态范围越大，确定的所述目标拍摄模式对应的所述相机拍摄所用的曝光档位越多。
  4. 根据权利要求1所述的方法，其特征在于，所述环境光亮度越低或所述参考感光度越高，确定的所述目标拍摄模式对应的所述待拍摄的图像数量越多。
  5. 根据权利要求1所述的方法，其特征在于，所述多个拍摄模式中包括第一拍摄模式，所述第一拍摄模式下相机拍摄所用的曝光档位包括从所述第一动态范围中以预设的曝光档位间隔选取的多个曝光档位。
  6. 根据权利要求1所述的方法，其特征在于，所述多个拍摄模式中包括第二拍摄模式，所述第二拍摄模式下相机拍摄所用的曝光档位包括所述第一动态范围对应的最低曝光档位、0EV曝光档位以及最高曝光档位。
  7. 根据权利要求1所述的方法，其特征在于，所述利用所述多个待处理图像融合得到目标图像，包括：
    对各个所述待处理图像进行对齐，融合对齐后的各个待处理图像得到目标图像。
  8. 根据权利要求7所述的方法，其特征在于，所述融合对齐后的各个待处理图像得到目标图像，包括：
    利用对齐后的各个待处理图像获取运动区域对应的图像块以及非运动区域对应的图像块，所述运动区域是运动对象在对齐后的各个待处理图像中所在区域的并集；
    融合所述运动区域对应的图像块和所述非运动区域对应的图像块得到目标图像。
  9. 根据权利要求8所述的方法，其特征在于，所述运动区域对应的图像块是从第一参考图像中裁剪得到的，所述第一参考图像是基于目标待处理图像得到的，所述目标待处理图像是对齐后的各个待处理图像中的单个图像。
  10. 根据权利要求9所述的方法，其特征在于，所述第一参考图像是所述目标待处理图像本身。
  11. 根据权利要求10所述的方法，其特征在于，所述方法还包括：
    若所述运动区域的第二动态范围小于动态范围阈值，从对齐后的各个待处理图像中确定一个目标待处理图像作为所述运动区域对应的第一参考图像。
  12. 根据权利要求9所述的方法，其特征在于，所述第一参考图像是所述目标待处理图像与至少一个基于所述目标待处理图像伪造的对应其他曝光档位的图像融合得到的。
  13. 根据权利要求12所述的方法，其特征在于，所述方法还包括：
    若所述运动区域的第二动态范围大于或等于动态范围阈值，从对齐后的各个待处理图像中确定一个目标待处理图像；
    基于所述目标待处理图像伪造对应其他曝光档位的图像；
    将所述目标待处理图像与所述其他曝光档位的图像融合得到第一参考图像。
  14. 根据权利要求12所述的方法，其特征在于，所述其他曝光档位的图像是所述目标待处理图像乘以预设增益得到的。
  15. 根据权利要求12所述的方法，其特征在于，所述目标待处理图像是所述对齐后的各个待处理图像中所述运动区域亮度最低的图像。
  16. 根据权利要求9所述的方法，其特征在于，所述运动对象有多个，不同运动对象的运动区域对应的所述第一参考图像相同或不同。
  17. 根据权利要求8所述的方法，其特征在于，所述非运动区域对应的图像块是从第二参考图像中裁剪得到的，所述第二参考图像是对齐后的各个待处理图像融合得到的。
  18. 根据权利要求8所述的方法，其特征在于，第一图像和第二图像是对齐后的各个待处理图像中的两个不同图像，所述运动区域通过以下方式确定：
    对所述第一图像和所述第二图像在相同像素位置的像素值进行做差计算，根据所述做差计算的结果对各个像素位置分别确定是否属于所述运动区域。
  19. 根据权利要求18所述的方法，其特征在于，所述对所述第一图像和所述第二图像在相同像素位置的像素值进行做差计算，根据所述做差计算的结果对各个像素位置分别确定是否属于所述运动区域，包括：
    对所述第一图像和所述第二图像分别生成图像金字塔；
    在所述图像金字塔的每一层分别进行所述做差计算，得到每一层对应的置信度图，所述置信度图包括该层中各个像素位置对应的置信度，所述置信度用于指示所述像素位置属于所述运动区域的概率；
    对每一层的所述置信度图进行融合，得到融合置信度图；
    根据所述融合置信度图确定各个像素位置是否属于所述运动区域。
  20. 根据权利要求19所述的方法，其特征在于，所述融合置信度图是所有层对应的所述置信度图在重采样到相同分辨率后融合得到的。
  21. 根据权利要求7所述的方法，其特征在于，第三图像和第四图像是各个所述待处理图像中的两个不同图像，在对齐所述第三图像和所述第四图像之前，所述方法还包括：
    确定是否通过全局对齐算法对齐所述第三图像和所述第四图像。
  22. 根据权利要求21所述的方法，其特征在于，所述确定是否通过全局对齐算法对齐所述第三图像和所述第四图像，包括：
    通过全局对齐算法进行所述第三图像和所述第四图像之间对齐；
    统计对齐后的所述第三图像与所述第四图像上的各对匹配特征点之间的距离；
    根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像。
  23. 根据权利要求22所述的方法，其特征在于，所述根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像，包括：
    若所述距离大于距离阈值的匹配特征点的对数小于数量阈值，确定通过全局对齐算法对齐所述第三图像和所述第四图像。
  24. 根据权利要求22所述的方法，其特征在于，所述根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像，包括：
    若所述距离大于距离阈值的匹配特征点的对数大于或等于数量阈值，确定通过局部对齐算法对齐所述第三图像和所述第四图像。
  25. 根据权利要求7所述的方法，其特征在于，拍摄所用的曝光档位相同的待处理图像之间对齐所用的变换参数包括：水平位移参数和竖直位移参数。
  26. 根据权利要求7所述的方法，其特征在于，拍摄所用的曝光档位不同的待处理图像之间对齐所用的变换参数包括：仿射矩阵或单应矩阵。
  27. 根据权利要求7所述的方法，其特征在于，第三图像和第四图像是各个所述待处理图像中的两个不同图像，所述第三图像和所述第四图像之间对齐所用的变换参数是所述第三图像上目标区块对应的变换参数融合得到的。
  28. 根据权利要求27所述的方法，其特征在于，所述第三图像包括多个区块，所述目标区块是所述多个区块中所述变换参数与相邻区块对应的变换参数之间的差距小于差距阈值的区块。
  29. 根据权利要求1所述的方法，其特征在于，所述根据所述目标拍摄模式拍摄多个待处理图像，包括：
    在所述目标拍摄模式对应的多个曝光档位下分别拍摄多个待定图像；
    从所述多个待定图像中筛选出各个曝光档位对应的待处理图像。
  30. 根据权利要求29所述的方法，其特征在于，所述待处理图像是根据所述待定图像对应的相机位姿信息和/或所述待定图像对应的边缘梯度和从所述多个待定图像中筛选得到的。
  31. 一种图像处理装置，其特征在于，包括：处理器和存储有计算机程序的存储器，所述处理器在执行所述计算机程序时执行以下步骤：
    获取场景对应的第一动态范围和环境光亮度；
    根据所述环境光亮度和参考感光度中的至少一个以及所述第一动态范围，从多个拍摄模式中确定目标拍摄模式，所述参考感光度是根据所述环境光亮度进行曝光收敛确定的，所述拍摄模式用于控制相机以多个曝光档位分别拍摄图像，不同的拍摄模式下相机拍摄所用的曝光档位的数量不同和/或待拍摄的图像数量不同；
    根据所述目标拍摄模式拍摄多个待处理图像；
    利用所述多个待处理图像融合得到目标图像。
  32. 根据权利要求31所述的装置，其特征在于，所述待拍摄的图像数量不同包括：待拍摄的图像总数不同和/或同一曝光档位下拍摄的图像数量不同。
  33. 根据权利要求31所述的装置，其特征在于，所述第一动态范围越大，确定的所述目标拍摄模式对应的所述相机拍摄所用的曝光档位越多。
  34. 根据权利要求31所述的装置，其特征在于，所述环境光亮度越低或所述参考感光度越高，确定的所述目标拍摄模式对应的所述待拍摄的图像数量越多。
  35. 根据权利要求31所述的装置，其特征在于，所述多个拍摄模式中包括第一拍 摄模式，所述第一拍摄模式下相机拍摄所用的曝光档位包括从所述第一动态范围中以预设的曝光档位间隔选取的多个曝光档位。
  36. 根据权利要求31所述的装置，其特征在于，所述多个拍摄模式中包括第二拍摄模式，所述第二拍摄模式下相机拍摄所用的曝光档位包括所述第一动态范围对应的最低曝光档位、0EV曝光档位以及最高曝光档位。
  37. 根据权利要求31所述的装置，其特征在于，所述处理器利用所述多个待处理图像融合得到目标图像时用于：
    对各个所述待处理图像进行对齐，融合对齐后的各个待处理图像得到目标图像。
  38. 根据权利要求37所述的装置，其特征在于，所述处理器融合对齐后的各个待处理图像得到目标图像时用于：
    利用对齐后的各个待处理图像获取运动区域对应的图像块以及非运动区域对应的图像块，所述运动区域是运动对象在对齐后的各个待处理图像中所在区域的并集；
    融合所述运动区域对应的图像块和所述非运动区域对应的图像块得到目标图像。
  39. 根据权利要求38所述的装置，其特征在于，所述运动区域对应的图像块是从第一参考图像中裁剪得到的，所述第一参考图像是基于目标待处理图像得到的，所述目标待处理图像是对齐后的各个待处理图像中的单个图像。
  40. 根据权利要求39所述的装置，其特征在于，所述第一参考图像是所述目标待处理图像本身。
  41. 根据权利要求40所述的装置，其特征在于，所述处理器还用于：
    若所述运动区域的第二动态范围小于动态范围阈值，从对齐后的各个待处理图像中确定一个目标待处理图像作为所述运动区域对应的第一参考图像。
  42. 根据权利要求39所述的装置，其特征在于，所述第一参考图像是所述目标待处理图像与至少一个基于所述目标待处理图像伪造的对应其他曝光档位的图像融合得到的。
  43. 根据权利要求42所述的装置，其特征在于，所述处理器还用于：
    若所述运动区域的第二动态范围大于或等于动态范围阈值，从对齐后的各个待处理图像中确定一个目标待处理图像；
    基于所述目标待处理图像伪造对应其他曝光档位的图像；
    将所述目标待处理图像与所述其他曝光档位的图像融合得到第一参考图像。
  44. 根据权利要求42所述的装置，其特征在于，所述其他曝光档位的图像是所述目标待处理图像乘以预设增益得到的。
  45. 根据权利要求42所述的装置，其特征在于，所述目标待处理图像是所述对齐后的各个待处理图像中所述运动区域亮度最低的图像。
  46. 根据权利要求39所述的装置，其特征在于，所述运动对象有多个，不同运动对象的运动区域对应的所述第一参考图像相同或不同。
  47. 根据权利要求38所述的装置，其特征在于，所述非运动区域对应的图像块是从第二参考图像中裁剪得到的，所述第二参考图像是对齐后的各个待处理图像融合得到的。
  48. 根据权利要求38所述的装置，其特征在于，第一图像和第二图像是对齐后的各个待处理图像中的两个不同图像，所述处理器通过以下方式确定所述运动区域：
    对所述第一图像和所述第二图像在相同像素位置的像素值进行做差计算，根据所述做差计算的结果对各个像素位置分别确定是否属于所述运动区域。
  49. 根据权利要求48所述的装置，其特征在于，所述处理器对所述第一图像和所述第二图像在相同像素位置的像素值进行做差计算，根据所述做差计算的结果对各个像素位置分别确定是否属于所述运动区域时用于：
    对所述第一图像和所述第二图像分别生成图像金字塔；
    在所述图像金字塔的每一层分别进行所述做差计算，得到每一层对应的置信度图，所述置信度图包括该层中各个像素位置对应的置信度，所述置信度用于指示所述像素位置属于所述运动区域的概率；
    对每一层的所述置信度图进行融合，得到融合置信度图；
    根据所述融合置信度图确定各个像素位置是否属于所述运动区域。
  50. 根据权利要求49所述的装置，其特征在于，所述融合置信度图是所有层对应的所述置信度图在重采样到相同分辨率后融合得到的。
  51. 根据权利要求37所述的装置，其特征在于，第三图像和第四图像是各个所述待处理图像中的两个不同图像，在对齐所述第三图像和所述第四图像之前，所述处理器还用于：
    确定是否通过全局对齐算法对齐所述第三图像和所述第四图像。
  52. 根据权利要求51所述的装置，其特征在于，所述处理器确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
    通过全局对齐算法进行所述第三图像和所述第四图像之间对齐；
    统计对齐后的所述第三图像与所述第四图像上的各对匹配特征点之间的距离；
    根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像。
  53. 根据权利要求52所述的装置，其特征在于，所述处理器根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
    若所述距离大于距离阈值的匹配特征点的对数小于数量阈值，确定通过全局对齐算法对齐所述第三图像和所述第四图像。
  54. 根据权利要求52所述的装置，其特征在于，所述处理器根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
    若所述距离大于距离阈值的匹配特征点的对数大于或等于数量阈值，确定通过局部对齐算法对齐所述第三图像和所述第四图像。
  55. 根据权利要求37所述的装置，其特征在于，拍摄所用的曝光档位相同的待处理图像之间对齐所用的变换参数包括：水平位移参数和竖直位移参数。
  56. 根据权利要求37所述的装置，其特征在于，拍摄所用的曝光档位不同的待处理图像之间对齐所用的变换参数包括：仿射矩阵或单应矩阵。
  57. 根据权利要求37所述的装置，其特征在于，第三图像和第四图像是各个所述待处理图像中的两个不同图像，所述第三图像和所述第四图像之间对齐所用的变换参数是所述第三图像上目标区块对应的变换参数融合得到的。
  58. 根据权利要求57所述的装置，其特征在于，所述第三图像包括多个区块，所述目标区块是所述多个区块中所述变换参数与相邻区块对应的变换参数之间的差距小于差距阈值的区块。
  59. 根据权利要求31所述的装置，其特征在于，所述处理器根据所述目标拍摄模式拍摄多个待处理图像时用于：
    在所述目标拍摄模式对应的多个曝光档位下分别拍摄多个待定图像；
    从所述多个待定图像中筛选出各个曝光档位对应的待处理图像。
  60. 根据权利要求59所述的装置，其特征在于，所述待处理图像是根据所述待定图像对应的相机位姿信息和/或所述待定图像对应的边缘梯度和从所述多个待定图像中筛选得到的。
  61. 一种相机，其特征在于，包括
    镜头；
    传感器，用于通过所述镜头采集场景对应的图像信号；
    处理器和存储有计算机程序的存储器，所述处理器在执行所述计算机程序时实现以下步骤：
    获取场景对应的第一动态范围和环境光亮度；
    根据所述环境光亮度和参考感光度中的至少一个以及所述第一动态范围，从多个拍摄模式中确定目标拍摄模式，所述参考感光度是根据所述环境光亮度进行曝光收敛确定的，所述拍摄模式用于控制相机以多个曝光档位分别拍摄图像，不同的拍摄模式下相机拍摄所用的曝光档位的数量不同和/或待拍摄的图像数量不同；
    根据所述目标拍摄模式拍摄多个待处理图像；
    利用所述多个待处理图像融合得到目标图像。
  62. 根据权利要求61所述的相机，其特征在于，所述待拍摄的图像数量不同包括：待拍摄的图像总数不同和/或同一曝光档位下拍摄的图像数量不同。
  63. 根据权利要求61所述的相机，其特征在于，所述第一动态范围越大，确定的所述目标拍摄模式对应的所述相机拍摄所用的曝光档位越多。
  64. 根据权利要求61所述的相机，其特征在于，所述环境光亮度越低或所述参考感光度越高，确定的所述目标拍摄模式对应的所述待拍摄的图像数量越多。
  65. 根据权利要求61所述的相机，其特征在于，所述多个拍摄模式中包括第一拍摄模式，所述第一拍摄模式下相机拍摄所用的曝光档位包括从所述第一动态范围中以预设的曝光档位间隔选取的多个曝光档位。
  66. 根据权利要求61所述的相机，其特征在于，所述多个拍摄模式中包括第二拍摄模式，所述第二拍摄模式下相机拍摄所用的曝光档位包括所述第一动态范围对应的最低曝光档位、0EV曝光档位以及最高曝光档位。
  67. 根据权利要求61所述的相机，其特征在于，所述处理器利用所述多个待处理图像融合得到目标图像时用于：
    对各个所述待处理图像进行对齐，融合对齐后的各个待处理图像得到目标图像。
  68. 根据权利要求67所述的相机，其特征在于，所述处理器融合对齐后的各个待处理图像得到目标图像时用于：
    利用对齐后的各个待处理图像获取运动区域对应的图像块以及非运动区域对应的图像块，所述运动区域是运动对象在对齐后的各个待处理图像中所在区域的并集；
    融合所述运动区域对应的图像块和所述非运动区域对应的图像块得到目标图像。
  69. 根据权利要求68所述的相机，其特征在于，所述运动区域对应的图像块是从第一参考图像中裁剪得到的，所述第一参考图像是基于目标待处理图像得到的，所述目标待处理图像是对齐后的各个待处理图像中的单个图像。
  70. 根据权利要求69所述的相机，其特征在于，所述第一参考图像是所述目标待处理图像本身。
  71. 根据权利要求70所述的相机，其特征在于，所述处理器还用于：
    若所述运动区域的第二动态范围小于动态范围阈值，从对齐后的各个待处理图像中确定一个目标待处理图像作为所述运动区域对应的第一参考图像。
  72. 根据权利要求69所述的相机，其特征在于，所述第一参考图像是所述目标待处理图像与至少一个基于所述目标待处理图像伪造的对应其他曝光档位的图像融合得到的。
  73. 根据权利要求72所述的相机，其特征在于，所述处理器还用于：
    若所述运动区域的第二动态范围大于或等于动态范围阈值，从对齐后的各个待处理图像中确定一个目标待处理图像；
    基于所述目标待处理图像伪造对应其他曝光档位的图像；
    将所述目标待处理图像与所述其他曝光档位的图像融合得到第一参考图像。
  74. 根据权利要求72所述的相机，其特征在于，所述其他曝光档位的图像是所述目标待处理图像乘以预设增益得到的。
  75. 根据权利要求72所述的相机，其特征在于，所述目标待处理图像是所述对齐后的各个待处理图像中所述运动区域亮度最低的图像。
  76. 根据权利要求69所述的相机，其特征在于，所述运动对象有多个，不同运动对象的运动区域对应的所述第一参考图像相同或不同。
  77. 根据权利要求68所述的相机，其特征在于，所述非运动区域对应的图像块是从第二参考图像中裁剪得到的，所述第二参考图像是对齐后的各个待处理图像融合得到的。
  78. 根据权利要求68所述的相机，其特征在于，第一图像和第二图像是对齐后的各个待处理图像中的两个不同图像，所述处理器通过以下方式确定所述运动区域：
    对所述第一图像和所述第二图像在相同像素位置的像素值进行做差计算，根据所述做差计算的结果对各个像素位置分别确定是否属于所述运动区域。
  79. 根据权利要求78所述的相机，其特征在于，所述处理器对所述第一图像和所述第二图像在相同像素位置的像素值进行做差计算，根据所述做差计算的结果对各个像素位置分别确定是否属于所述运动区域时用于：
    对所述第一图像和所述第二图像分别生成图像金字塔；
    在所述图像金字塔的每一层分别进行所述做差计算，得到每一层对应的置信度图，所述置信度图包括该层中各个像素位置对应的置信度，所述置信度用于指示所述像素位置属于所述运动区域的概率；
    对每一层的所述置信度图进行融合，得到融合置信度图；
    根据所述融合置信度图确定各个像素位置是否属于所述运动区域。
  80. 根据权利要求79所述的相机，其特征在于，所述融合置信度图是所有层对应的所述置信度图在重采样到相同分辨率后融合得到的。
  81. 根据权利要求67所述的相机，其特征在于，第三图像和第四图像是各个所述待处理图像中的两个不同图像，在对齐所述第三图像和所述第四图像之前，所述处理器还用于：
    确定是否通过全局对齐算法对齐所述第三图像和所述第四图像。
  82. 根据权利要求81所述的相机，其特征在于，所述处理器确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
    通过全局对齐算法进行所述第三图像和所述第四图像之间对齐；
    统计对齐后的所述第三图像与所述第四图像上的各对匹配特征点之间的距离；
    根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像。
  83. 根据权利要求82所述的相机，其特征在于，所述处理器根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
    若所述距离大于距离阈值的匹配特征点的对数小于数量阈值，确定通过全局对齐算法对齐所述第三图像和所述第四图像。
  84. 根据权利要求82所述的相机，其特征在于，所述处理器根据统计结果确定是否通过全局对齐算法对齐所述第三图像和所述第四图像时用于：
    若所述距离大于距离阈值的匹配特征点的对数大于或等于数量阈值，确定通过局部对齐算法对齐所述第三图像和所述第四图像。
  85. 根据权利要求67所述的相机，其特征在于，拍摄所用的曝光档位相同的待处理图像之间对齐所用的变换参数包括：水平位移参数和竖直位移参数。
  86. 根据权利要求67所述的相机，其特征在于，拍摄所用的曝光档位不同的待处理图像之间对齐所用的变换参数包括：仿射矩阵或单应矩阵。
  87. 根据权利要求67所述的相机，其特征在于，第三图像和第四图像是各个所述待处理图像中的两个不同图像，所述第三图像和所述第四图像之间对齐所用的变换参数是所述第三图像上目标区块对应的变换参数融合得到的。
  88. 根据权利要求87所述的相机，其特征在于，所述第三图像包括多个区块，所述目标区块是所述多个区块中所述变换参数与相邻区块对应的变换参数之间的差距小于差距阈值的区块。
  89. 根据权利要求61所述的相机，其特征在于，所述处理器根据所述目标拍摄模式拍摄多个待处理图像时用于：
    在所述目标拍摄模式对应的多个曝光档位下分别拍摄多个待定图像；
    从所述多个待定图像中筛选出各个曝光档位对应的待处理图像。
  90. 根据权利要求89所述的相机，其特征在于，所述待处理图像是根据所述待定图像对应的相机位姿信息和/或所述待定图像对应的边缘梯度和从所述多个待定图像中筛选得到的。
  91. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-30任一项所述的图像处理方法。
PCT/CN2021/081806 2021-03-19 2021-03-19 图像处理方法、装置及计算机可读存储介质 WO2022193288A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/081806 WO2022193288A1 (zh) 2021-03-19 2021-03-19 图像处理方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/081806 WO2022193288A1 (zh) 2021-03-19 2021-03-19 图像处理方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2022193288A1 true WO2022193288A1 (zh) 2022-09-22

Family

ID=83321395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/081806 WO2022193288A1 (zh) 2021-03-19 2021-03-19 图像处理方法、装置及计算机可读存储介质

Country Status (1)

Country Link
WO (1) WO2022193288A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117082340A (zh) * 2023-10-16 2023-11-17 荣耀终端有限公司 一种高动态范围模式的选择方法、电子设备及存储介质
CN117119291A (zh) * 2023-02-06 2023-11-24 荣耀终端有限公司 一种出图模式切换方法和电子设备
CN117689559A (zh) * 2023-08-07 2024-03-12 上海荣耀智慧科技开发有限公司 一种图像融合方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218326A (ja) * 2001-01-19 2002-08-02 Olympus Optical Co Ltd 撮像装置
CN101420531A (zh) * 2007-10-23 2009-04-29 鸿富锦精密工业（深圳）有限公司 高动态范围图片撷取装置及方法
CN108683862A (zh) * 2018-08-13 2018-10-19 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备及计算机可读存储介质
CN109005361A (zh) * 2018-08-06 2018-12-14 Oppo广东移动通信有限公司 控制方法、装置、成像设备、电子设备及可读存储介质
CN109218613A (zh) * 2018-09-18 2019-01-15 Oppo广东移动通信有限公司 高动态范围图像合成方法、装置、终端设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218326A (ja) * 2001-01-19 2002-08-02 Olympus Optical Co Ltd 撮像装置
CN101420531A (zh) * 2007-10-23 2009-04-29 鸿富锦精密工业（深圳）有限公司 高动态范围图片撷取装置及方法
CN109005361A (zh) * 2018-08-06 2018-12-14 Oppo广东移动通信有限公司 控制方法、装置、成像设备、电子设备及可读存储介质
CN108683862A (zh) * 2018-08-13 2018-10-19 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备及计算机可读存储介质
CN109218613A (zh) * 2018-09-18 2019-01-15 Oppo广东移动通信有限公司 高动态范围图像合成方法、装置、终端设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119291A (zh) * 2023-02-06 2023-11-24 荣耀终端有限公司 一种出图模式切换方法和电子设备
CN117689559A (zh) * 2023-08-07 2024-03-12 上海荣耀智慧科技开发有限公司 一种图像融合方法、装置、电子设备及存储介质
CN117082340A (zh) * 2023-10-16 2023-11-17 荣耀终端有限公司 一种高动态范围模式的选择方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
WO2022193288A1 (zh) 图像处理方法、装置及计算机可读存储介质
CN108898567B (zh) 图像降噪方法、装置及系统
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108012080B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US10630888B2 (en) Method and apparatus for selecting capture configuration based on scene analysis
EP1924966B1 (en) Adaptive exposure control
CN108335279B (zh) 图像融合和hdr成像
WO2018201809A1 (zh) 基于双摄像头的图像处理装置及方法
Jacobs et al. Automatic high-dynamic range image generation for dynamic scenes
US9019426B2 (en) Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data
US8532420B2 (en) Image processing apparatus, image processing method and storage medium storing image processing program
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2015011717A (ja) 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法
CN110536057A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113888437A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109493283A (zh) 一种高动态范围图像鬼影消除的方法
CN104144298A (zh) 一种宽动态图像合成方法
CN111932587A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021051354A1 (zh) Hdr图像生成方法、滤光片阵列、图像传感器、图像处理芯片以及摄像装置
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN104902168B (zh) 一种图像合成方法、装置及拍摄设备
CN106469435B (zh) 图像处理方法、装置及设备
CN116456191A (zh) 图像生成方法、装置、设备及计算机可读存储介质
KR101615381B1 (ko) 이미지 획득 방법 및 디지털 카메라 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930880

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21930880

Country of ref document: EP

Kind code of ref document: A1