WO2021189807A1 - 图像处理方法、装置、系统和电子设备 - Google Patents
图像处理方法、装置、系统和电子设备 Download PDFInfo
- Publication number
- WO2021189807A1 WO2021189807A1 PCT/CN2020/119611 CN2020119611W WO2021189807A1 WO 2021189807 A1 WO2021189807 A1 WO 2021189807A1 CN 2020119611 W CN2020119611 W CN 2020119611W WO 2021189807 A1 WO2021189807 A1 WO 2021189807A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- display screen
- pixel
- target display
- sub
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000009826 distribution Methods 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000003252 repetitive effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000011368 organic material Substances 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像处理方法、装置、系统和电子设备，该方法包括：获取待处理图像；该待处理图像由摄像装置透过目标显示屏采集得到，通过图像处理模型，去除待处理图像中的图像雾化，得到去除雾化后的待处理图像；其中，该图像处理模型根据目标显示屏的像素排列信息训练得到。本申请中的图像处理模型可去除摄像装置透过目标显示屏采集到的待处理图像中的图像雾化，从而提升了图像的画质，同时也提升了用户的体验感。
Description
相关申请的交叉引用
本申请要求于2020年03月26日提交中国专利局的申请号为202010226538X、名称为“图像处理方法、装置、系统和电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置、系统和电子设备。
随着全面屏技术的发展，全面屏终端设备的应用将越来越普及。在相关技术中，终端设备设置有前置摄像头，且终端设备的显示屏上安装前置摄像头的部位一般设置有槽或孔，以使该前置摄像头可以采集外部图像，然而，终端设备的显示屏上形成的槽或孔，使得显示屏的屏占比降低。为了提高屏占比，实现真正意义上的全面屏，可以在显示屏不开孔的情况下，将前置摄像头隐藏在显示屏下方，在使用的时候，摄像头可以通过显示屏的透光区域采集外部图像，但由于物理衍射现象的存在，该方式中的摄像头采集到的图像的画质较差，影响用户体验。
发明内容
有鉴于此，本申请的目的在于提供一种图像处理方法、装置、系统和电子设备，以提高图像画质，从而提升用户体验感。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：获取待处理图像；该待处理图像由摄像装置透过目标显示屏采集得到；通过图像处理模型，去除待处理图像中的图像雾化，得到去除雾化后的目标图像；其中，图像处理模型根据目标显示屏的像素排列信息训练得到。
在一种可能的实施例中，上述图像处理模型通过下述方式训练得到：根据目标显示屏的像素排列信息，生成模拟雾化信息；将模拟雾化信息融合至标准图像中，得到样本图像；其中，该标准图像由光学摄像头采集得到；根据标准图像和样本图像，对初始模型进行训练，得到图像处理模型。
在一种可能的实施例中，上述目标显示屏的像素排列信息，包括：目标显示屏中各个子像素的排列信息；上述根据目标显示屏的像素排列信息，生成模拟雾化信息的步骤，包 括：根据目标显示屏中各个子像素的排列信息，生成目标显示屏的子像素分布图；其中，该子像素分布图中，采用第一像素值标识子像素，采用第二像素值标识目标显示屏中除子像素以外的区域；根据目标显示屏的子像素分布图，生成模拟雾化信息。
在一种可能的实施例中，上述目标显示屏中各个子像素的排列信息包括各个子像素的位置、形状、旋转角度和尺寸中的至少一个；上述采用第一像素值标识子像素，采用第二像素值标识目标显示屏中除子像素以外的区域的步骤，包括：针对每个子像素，根据子像素的排列信息，确定子像素对应的第一图像区域，将第一图像区域采用第一像素值标识；将各个子像素对应的第一图像区域以外的区域，采用第二像素值进行标识。
在一种可能的实施例中，上述根据目标显示屏的子像素分布图，生成模拟雾化信息的步骤，包括：对目标显示屏的子像素分布图进行傅里叶变换，得到模拟雾化信息；该模拟雾化信息包括衍射条纹信息。
在一种可能的实施例中，上述根据目标显示屏中各个子像素的排列信息，确定目标显示屏的子像素分布图，包括：将目标显示屏中各个子像素的排列信息转换为排列图像；基于排列图像得到子像素分布图。
在一种可能的实施例中，上述将模拟雾化信息融合至标准图像中，得到样本图像的步骤，包括：将模拟雾化信息和标准图像进行卷积处理，得到样本图像。
在一种可能的实施例中，上述根据标准图像和样本图像，对初始模型进行训练，得到图像处理模型的步骤，包括：将样本图像输入至初始模型中，得到输出结果；根据输出结果和标准图像，确定损失值；基于该损失值训练初始模型，得到图像处理模型。
在一种可能的实施例中，上述基于损失值训练初始模型，得到图像处理模型，包括：判断损失值是否小于或等于预设损失阈值；当损失值小于或等于预设损失阈值时，将初始模型作为图像处理模型；当损失值大于预设损失阈值时，继续选取标准图像和其对应的样本图像训练图初始模型。
在一种可能的实施例中，上述的目标显示屏具有透光部，该透光部设置于目标显示屏的第二像素值标识的区域。
在一种可能的实施例中，上述得到去除雾化后的目标图像的步骤之后，上述方法还包括：显示目标图像；或者，根据目标图像，对目标显示屏中的子像素进行渲染。
在一种可能的实施例中，上述目标显示屏具有透光部，上述的待处理图像通过以下方式获取：摄像装置透过透光部采集待处理图像。
在一种可能的实施例中，上述目标显示屏还具有至少两个发光单元，该至少两个发光单元的多个子像素呈非重复性排列。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：图像获取模块，配 置成获取待处理图像；待处理图像由摄像装置透过目标显示屏采集得到；图像处理模块，配置成通过图像处理模型，去除待处理图像中的图像雾化，得到去除雾化后的目标图像；其中，该图像处理模型根据目标显示屏的像素排列信息训练得到。
第三方面，本申请实施例提供了一种图像处理系统，该系统包括：处理设备和存储装置；该存储装置上存储有计算机程序，该计算机程序在被处理设备运行时执行上述图像处理方法。
第四方面，本申请实施例提供了一种电子设备，该电子设备包括目标显示屏和设置于目标显示屏下的摄像装置，还包括第三方面所述的图像处理系统。
第五方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理设备运行时执行如上述图像处理方法的步骤。
本申请实施例至少带来了以下有益效果：
本申请提供了一种图像处理方法、装置、系统和电子设备，获取由摄像装置透过目标显示屏采集得到的待处理图像；通过图像处理模型，去除待处理图像中的图像雾化，得到去除雾化后的目标图像；其中，该图像处理模型根据目标显示屏的像素排列信息训练得到。该方式通过图像处理模型，去除摄像装置透过目标显示屏采集到的待处理图像中的图像雾化，从而提升了图像的画质，同时也提升了用户的体验感。
本申请的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举可选实施方式，并配合所附附图，作详细说明如下。
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种摄像头透过目标显示屏采集到的图像的示意图；
图2为本申请实施例提供的一种电子设备的结构示意图；
图3为本申请实施例提供的一种图像处理方法的流程图；
图4为本申请实施例提供的一种去除雾化后的待处理图像的示意图；
图5为本申请实施例提供的另一种图像处理方法的流程图；
图6为本申请实施例提供的一种子像素分布图的示意图；
图7为本申请实施例提供的一种衍射条纹信息的示意图；
图8为本申请实施例提供的一种图像处理装置的结构示意图。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，为了保证终端设备的显示屏上的前置摄像头正常采集外部图像，通常在显示屏上的前置摄像头的部位设置槽或孔，例如，刘海屏、水滴屏、通孔屏和盲孔屏等，然而，该终端设备的显示屏上形成的槽或孔，使得显示屏的屏占比降低。为了提高屏占比，实现真正意义上的全面屏，相关技术中在显示屏不开孔的情况下，将前置摄像头隐藏在显示屏下方，在使用的时候，摄像头可以通过显示屏的透光区域采集外部图像。但当通过显示屏下方的摄像头采集外部图像时，会产生物理衍射现象、模糊现象等，导致该摄像头采集到的图像出现图像雾化，进而也导致了采集到的图像画质较差。例如，如图1所示为通过显示屏下方的摄像头采集到的图像，该图像中的高光区域(例如，图1中白色圆点的区域)会产生衍射条纹，非高光区域(例如，图1中的纸杯、苹果等区域)会产生模糊现象，进而会影响用户体验。
基于此，本申请实施例提供了一种图像处理方法、装置、系统和电子设备，该技术可以应用于各种摄像头放置在显示屏下面的产品中，诸如手机、电脑、摄像机和生物医学成像设备等。为便于理解，以下对本申请实施例进行详细介绍。
首先，参照图2来描述用于实现本申请实施例的图像处理方法、装置、系统和电子设备的示例电子设备100。
如图2所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理设备102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子设备100中的其它组件的数据进行处理，还可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性 存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本申请实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像、文本或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本申请实施例的图像处理方法、装置、系统和电子设备的示例电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106、输出装置108和图像采集装置110集成设置于一体。当上述电子设备中的各器件集成设置时，该电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。
本实施例提供了一种图像处理方法，该方法可以由上述电子设备中的处理设备执行；该处理设备可以是具有数据处理能力的任何设备或芯片。如图3所示，该方法包括如下步骤：
步骤S302，获取待处理图像；该待处理图像由摄像装置透过目标显示屏采集得到。
上述摄像装置可以包括摄像头，例如手机或者平板电脑中的前置摄像头，可以是摄像机或者照相机等；上述目标显示屏可以采用OLED(Organic Light-Emitting Display，有机发光显示屏)显示屏或者其他可透光的显示屏，该OLED显示屏具有透光部，且该显示屏无需背光灯，采用非常薄的有机材料涂层和玻璃基板，当有电流通过时，这些有机材料就会发光，该OLED显示屏更轻更薄，可视角度更大，并且能够显著节省电能。
例如，上述摄像装置位于目标显示屏的下方，也可以理解为该摄像装置设置在目标显示屏的背光一侧，从而该摄像装置可以透过目标显示屏的透光部采集待处理图像。该目标显示屏可以是智能终端中的一整块屏幕(如，手机的整块屏幕)，也可以是整块屏幕中的部分屏幕，例如，该目标显示屏可以是智能终端中与上述摄像装置的位置对应的目标区域的 屏幕(如，手机的前置摄像头对应的屏幕区域)，也可以是整块屏幕中安装有摄像装置的上半屏幕等，本申请实施例对此不作限定。
上述摄像装置透过目标显示屏采集待处理图像时产生的图像雾化包括衍射条纹、模糊等，通常根据拍摄场景的不同，采集待处理图像时产生的图像雾化也不同。例如，拍摄场景可以为任何有光的场景，诸如存在点光源的场景，如图1所示的图像可以是待处理图像，该图1中的白色圆点区域为点光源区域(也可称为高光区域)，图1中的点光源区域出现有明显的衍射条纹，且由于物理衍射现象的存在，该待处理图像的非点光源区域(也可称为非高光区域)较为模糊，也即是产生了模糊现象。拍摄场景也可以为不存在点光源的场景，该场景中，摄像装置透过目标显示屏采集的待处理图像中，也会由于物理衍射现象的存在，导致待处理图像较为模糊，产生了模糊现象。
步骤S304，通过图像处理模型，去除待处理图像中的图像雾化，得到去除雾化后的目标图像；其中，该图像处理模型根据目标显示屏的像素排列信息训练得到。
上述目标显示屏中可以包括多个发光单元，每个发光单元包括多个发光像素(相当于子像素)；每个发光单元可以包括R(红色)、G(绿色)、B(蓝色)三个子像素；当然，发光单元还可以为其它组成形式，诸如还可以包括R(红色)、G(绿色)、B(蓝色)、W(白色)四个子像素，本申请实施例对每个发光单元包括的子像素的个数和类型不进行限制。
其中，目标显示屏的至少两个发光单元的多个子像素呈非重复性，或者至少一个发光单元中的多个子像素的排列与其他发光单元中的多个子像素的排列不同，其排列呈无序性，排列不均匀。例如，多个子像素呈非重复性可以是子像素本身的外形参数、尺寸参数等不同形成的无序性排列，或者，可以是子像素的位置参数的不同形成的不均匀排列，还可以是设置姿态不同形成的随机排列。在一些实施例中，目标显示屏的中的多个子像素也可以是重复性排列的，也即是多个发光单元中的子像素排列相同，或者多个发光单元中的子像素按一定的规则排列。
在一些实施例中，上述目标显示屏还可以包括透光部，该透光部与子像素相应设置，例如在目标显示屏的非子像素区域形成透光部，至少两个透光部呈非重复性排列，此处的非重复性排列与子像素的非重复性含义类似，在此不再赘述。
上述图像处理模型可以是LeNet、R-CNN(Region-CNN)或Resnet等神经网络模型，也可以是其他深度学习模型。该图像处理模型可以是根据目标显示屏的像素排列信息训练得到的，由于摄像装置透过目标显示屏采集图像时产生的图像雾化是由目标显示屏中的像素排列结构引起的，也可以理解为目标显示屏中的像素排列结构是在采集图像时产生物理 衍射现象的根本原因，因此通过目标显示屏的像素排列信息可以模拟出摄像装置透过目标显示屏采集图像时产生的图像雾化，进而可以基于该图像雾化和不同的标准图像(相当于清晰图像)，模拟出大量的、摄像装置透过目标显示屏采集的图像，进而通过该图像和标准图像训练图像处理模型，直到该图像处理模型输出的图像与该标准图像接近或者完全相同，得到训练完成的图像处理模型。例如，目标显示屏的像素排列信息不同，模拟出的图像雾化可能相同，也可能不同。
在得到图像处理模型后，如果接收到待处理图像，该待处理图像中包含有图像雾化，通过该图像处理模型去除待处理图像中的图像雾化，以得到去除雾化后的目标图像，如图4所示为针对图1所示的待处理图像，得到的去除雾化后的目标图像的示意图，图4所示的图像较图1所示的图像，在清晰度和图像质量上有明显的提升，通常也可将图4所示的图像称为图1所示的图像的修复图像或者目标图像。
本申请提供了一种图像处理方法，首先由电子设备中的摄像装置透过目标显示屏采集待处理图像；该待处理图像中包含有摄像装置透过目标显示屏采集图像时产生的图像雾化；然后通过预先训练完成的图像处理模型，去除待处理图像中的图像雾化，得到去除雾化后的待处理图像；其中，该图像处理模型根据目标显示屏的像素排列信息训练得到。该方式通过图像处理模型，去除摄像装置透过目标显示屏采集到的待处理图像中的图像雾化，从而提升了图像的画质，同时也提升了用户的体验感。
本申请实施例还提供另一种图像处理方法，该方法在上述实施例所述方法的基础上实现；该方法重点描述获取待处理图像之前，训练图像处理模型的过程(通过下述步骤S502-S506实现)；如图5所示，该方法包括如下步骤：
步骤S502，根据目标显示屏的像素排列信息，生成模拟雾化信息。
由于摄像装置透过目标显示屏采集图像时产生的图像雾化是由目标显示屏中的像素排列结构引起的，也可以理解为目标显示屏中的像素排列结构是在采集图像时产生物理衍射现象的根本原因，因此，可以根据预先获取到的目标显示屏的像素排列信息，生成与摄像装置透过指定显示采集图像时产生的图像雾化相匹配的模拟雾化信息，该模拟雾化信息中包括由物理衍射现象引起的衍射条纹和模糊的信息。
上述目标显示屏中可以包括多个发光单元，每个发光单元包括多个子像素。在实际应用中，可以将多个发光单元以矩阵、蜂窝、品字形等按一定规则排列的方式。该排列方式与现有常规显示屏(即不考虑在显示屏下方放置摄像头的显示屏)中发光单元的排列方式相同，由此便于生产制造显示屏，避免可能出现的技术困难。
例如，上述目标显示屏的像素排列信息包括：目标显示屏中各个子像素的排列信息。在一些实施例中，上述步骤S502可以通过下述步骤10-11实现：
步骤10，根据目标显示屏中各个子像素的排列信息，确定目标显示屏的子像素分布图；其中，该子像素分布图中，采用第一像素值标识子像素，采用第二像素值标识目标显示屏中除子像素以外的区域。
在一些实施例中，可以根据目标显示屏的各发光单元中的子像素的排列信息，确定目标显示屏的子像素分布图。示例地，该子像素的排列信息中可以包含有每个子像素的形状、尺寸、旋转角度和位置等，和/或目标显示屏的透光部的形状、尺寸、旋转角度和位置等。在一些实施例中，通过将子像素的排列信息转换为排列图像，该排列图像中包含目标显示屏的各发光单元中的各子像素的排列信息，从而得到该目标显示屏的子像素分布图。
在另一实施例中，还可以根据预先拍摄的目标显示屏的实际结构图像，得到该目标显示屏的像素排列信息和目标显示屏的子像素分布图。示例地，该实际结构图像可以是摄像机通过显微镜的辅助，拍摄的目标显示屏的背板中发光单元、透光部和其他部件的实际结构，通过该实际结构图像可以确定目标显示屏中发光单元中每个子像素的位置、尺寸、旋转角度和位置，从而确定目标显示屏的子像素分布图。示例地，还可以对拍摄的实际结构图像进行图像处理，得到该子像素分布图。
例如，当目标显示屏中的多个子像素非重复性排列时，该实际结构图像通常是摄像机通过显微镜的辅助拍摄的、目标显示屏的整个显示屏的实际结构；当目标显示屏中的多个子像素重复性排列时，该实际结构图像可以是摄像机通过显微镜的辅助拍摄的、目标显示屏中的局部显示屏的实际结构。
在一些实施例中，可以将目标显示屏的子像素和非子像素设置为不同的值，得到该子像素分布图，例如将子像素设置为第一像素值，将非子像素设置为第二像素值。上述第一像素值和第二像素值为不同的数值，可以根据用户需求设置。例如，可以将第一像素值设置为255，也即是将子像素对应的区域设置为白色，如图6所示的子像素分布图中的白色圆点所示；可以将第二像素值设置为0，也即是将子像素之外图像区域设置为黑色，如图6所示的子像素分布图中的黑色区域所示。
例如，上述目标显示屏中各个子像素的排列信息可以包括：各个子像素的位置、形状、旋转角度和尺寸中的至少一种；上述步骤10中采用第一像素值标识子像素，采用第二像素值标识目标显示屏中除子像素以外的区域的方式为：针对每个子像素，根据子像素的位置、形状、旋转角度和尺寸，确定子像素对应的第一图像区域，将该第一图像区域采用第一像素值标识；将各个子像素对应的第一图像区域以外的区域，采用第二像素值进行标识。
上述第一图像区域也即是在子像素分布图中，与子像素的位置、形状、旋转角度和尺寸相匹配的图像区域；例如，图6中的白色圆点为子像素的形状为圆形时的示意图。
步骤11，根据上述目标显示屏的子像素分布图，生成模拟雾化信息。
基于上述目标显示屏的子像素分布图可以模拟出摄像装置透过目标显示屏采集图像时产生的图像雾化对应的模拟雾化信息，该模拟雾化信息包含有图像雾化的所有特征。例如，上述步骤12可以通过下述方式实现：对目标显示屏的子像素分布图进行傅里叶变换，得到模拟雾化信息；该模拟雾化信息包括衍射条纹信息。
上述模拟雾化信息可以包括衍射条纹信息，该衍射条纹信息可以是将子像素分布图进行傅里叶变换后得到的结果，如图7所示为衍射条纹信息的示意图。该衍射条纹信息可以是由中心向外是非均匀或者均匀衰减的，致使摄像装置透过目标显示屏采集图像时相应出现非均匀分布或者均匀的衍射条纹、图像模糊。
步骤S504，将上述模拟雾化信息融合至标准图像中，得到样本图像；其中，该标准图像由光学摄像头采集得到。
上述标准图像可以是在光学摄像头前方没有目标显示屏(也可称为屏上摄像装置)的情况下采集到的图像，该标准图像为清晰的、高清的图像。该光学摄像头可以与采集上述待处理图像的摄像装置相同，也可以不同，该光学摄像头可以是手机或者平板电脑中的后置摄像头，也可以是摄像机或者照相机中的摄像头等。由于标准图像是通过光学摄像头直接拍摄的，因而在拍摄的过程中不会受到目标显示屏对拍摄图像的不良影响，在此情况下，该标准图像是清晰度较好的高质量图像。
上述样本图像是将目标显示屏对应的模拟雾化信息融合到标准图像中得到的，也可以理解为该样本图像为根据标准图像和模拟雾化信息，模拟出的光学摄像头透过目标显示屏(也可称为屏下摄像装置)采集的图像，该样本图像中包含有模拟雾化信息。
采用上述方式获取到的样本图像和标准图像的匹配度和质量均较高，有利于模型的训练，同时也有效地避免了通过屏下摄像装置采集的样本图像和通过屏上摄像装置采集到的标准图像时，可能因图像内容、拍摄角度等偏差，对图像处理模型的训练效果造成的不利影响，进而导致图像处理模型去噪后的图像的质量较差。
例如，上述步骤S504可以通过下述方式实现：将模拟雾化信息和标准图像进行卷积处理，得到样本图像；也可以理解为将模拟雾化信息与标准图像的卷积结果，作为模拟的光学摄像头透过目标显示屏采集的样本图像。
步骤S506，根据上述标准图像和样本图像，对初始模型进行训练，得到图像处理模型。
该初始模型可以是LeNet、R-CNN或Resnet等神经网络模型，也可以是其他深度学习模型。在训练过程中，样本图像可作为初始模型的输入数据，标准图像作为目标数据。将上述样本图像输入至初始模型中，得到输出结果，将该输出结果与标准图像进行比对，当输出结果与标准图像较为接近或者一致时，确定此时的初始模型为图像处理模型；如果输出结果与标准图像相差较多，将继续选取标准图像和其对应的样本图像训练图初始模型，以得到图像处理模型。
例如，上述步骤S506可以通过下述步骤20-22实现：
步骤20，将样本图像输入至初始模型中，得到输出结果；该输出结果为初始模型输出的处理后的样本图像。
例如，上述初始模型可以去除样本图像中的模拟雾化信息，该模拟雾化信息包括衍射条纹和图像模糊，得到去除模拟雾化信息后的图像，该去除模拟雾化信息后的图像也即是上述输出结果。
在一些实施例中，上述初始模型可以检测样本图像中各像素点的亮度值；基于检测的亮度值确定样本图像中包含点光源的光斑区域；对光斑区域进行衍射条纹信息的去除，对非光斑区域进行模糊现象的去除，得到样本图像对应的复原图像。
步骤21，根据上述输出结果和标准图像，确定损失值。在一些实施例中，可以计算输出结果与标准图像的相似度，得到损失值，例如，可通过余弦相似度算法、直方图算法或结构相似性度量算法等多种相似度算法计算得到；也可以计算输出结果与标准图像的差值，将该差值作为损失值；例如，还有多种可以通过输出结果和标准图像计算损失值的方法，在此不再一一列举。通常相似度越高或者差值越小，损失值越小，相似度越低或者差值越大，损失值越大。
步骤22，基于上述损失值训练初始模型，得到图像处理模型。
例如，可以根据损失值对当前初始模型中的参数进行调整，然后继续将下一个样本图像输入至参数调整后初始模型中，直到损失值收敛或者迭代次数达到预设值，将此时得到的初始模型作为图像处理模型；该预设值可以根据用户需求设置，例如200次。
针对于上述损失值收敛，并获取图像处理模型的过程，其可以包括：判断损失值是否小于或等于预设损失阈值；当损失值小于或等于预设损失阈值时，如，当输出结果与标准图像较为接近或者一致时，确定此时的初始模型为图像处理模型；当损失值小于或等于预设损失阈值时，也就是说，如果输出结果与标准图像相差较多，将继续选取标准图像和其对应的样本图像训练图初始模型，以得到图像处理模型。
在图像处理模型的训练过程中，需要依赖大量、高质量、多样化的标准图像和样本图像作为训练数据，因此，在一些实施例中，可以预先采集大量的标准图像，并与模拟雾化信息进行卷积，从而得到大量的样本图像，并将该样本图像和标准图像成对的保存在预设的训练集合中，在训练图像处理模型时，可以从预设的训练集合中确定样本图像和标准图像，对模型进行训练。
步骤S508，如果获取到摄像装置透过目标显示屏采集的待处理图像，将该待处理图像输入至图像处理模型中，得到去除雾化后的目标图像。
在一些实施例中，通过图像处理模型去除图像雾化的方式，也称为图像复原方式，也即是图像处理模型输出的去除雾化后的目标图像为获取到的待处理图像的复原图像，该复原图像为清晰的、高质量的图像。
在得到目标图像后可以电子设备可以显示该目标图像，也可以对目标图像进行渲染处理，还可以对目标图像进行编辑等处理。
上述图像处理方法中所获取的样本图像和标准图像具有质量高和多样化的特点，有助于更好地训练图像处理模型；而且该方式可根据目标显示屏的像素排列信息模拟出摄像装置透过该目标显示屏采集图像时产生的图像雾化，该图像处理模型在训练过程中可不断学习该图像雾化，以使训练完成后的图像处理模型可更好地去除待处理图像中的图像雾化，从而提高图像处理模型在实际应用中的图像复原效果、去除图像雾化效果，有效改善由摄像装置透过目标显示屏采集到的图像的清晰度和画面质量。
对应于上述图像处理的实施例，本申请实施例提供了一种图像处理装置，如图8所述，该装置包括：
图像获取模块80，配置成获取待处理图像；该待处理图像由摄像装置透过目标显示屏采集得到。
图像处理模块81，配置成通过图像处理模型，去除待处理图像中的图像雾化，得到去除雾化后的目标图像；其中，图像处理模型根据目标显示屏的像素排列信息训练得到。
上述图像处理装置，首先由电子设备中的摄像装置透过目标显示屏采集待处理图像；该待处理图像中包含有摄像装置透过目标显示屏采集图像时产生的图像雾化；然后通过图像处理模型，去除待处理图像中的图像雾化，得到去除雾化后的目标图像；其中，该图像处理模型根据目标显示屏的像素排列信息训练得到。该方式通过图像处理模型，去除摄像装置透过目标显示屏采集到的待处理图像中的图像雾化，从而提升了图像的画质，同时也提升了用户的体验感。
在一种可能的实施例中，上述装置还包括模型训练模块，配置成：模拟雾化确定单元，配置成根据目标显示屏的像素排列信息，生成模拟雾化信息；样本图像确定单元，配置成将模拟雾化信息融合至标准图像中，得到样本图像；其中，该标准图像由光学摄像头采集得到；训练单元，配置成根据标准图像和样本图像，对初始模型进行训练，得到图像处理模型。
在一种可能的实施例中，上述装置还包括像素排列信息获取模块，配置成：获取目标显示屏的设计图纸，根据该设计图纸，确定目标显示屏的像素排列信息；或者，根据预先拍摄的目标显示屏的实际结构图像，确定目标显示屏的像素排列信息。
在一种可能的实施例中，上述目标显示屏的像素排列信息，包括：目标显示屏中各个子像素的排列信息；上述模拟雾化确定单元，配置成根据目标显示屏中各个子像素的排列信息，生成目标显示屏的子像素分布图；其中，子像素分布图中，采用第一像素值标识子像素，采用第二像素值标识目标显示屏中除子像素以外的区域；根据目标显示屏的子像素分布图，生成模拟雾化信息。
在一种可能的实施例中，上述目标显示屏中各个子像素的排列信息包括各个子像素的位置、形状、旋转角度和尺寸中的至少一个；上述模拟雾化确定单元，配置成：针对每个子像素，根据子像素的位置、形状、旋转角度或者尺寸(也即是根据子像素的排列信息)，确定子像素对应的第一图像区域，将第一图像区域采用第一像素值标识；将各个子像素对应的第一图像区域以外的区域，采用第二像素值进行标识。
例如，上述模拟雾化确定单元，还配置成对目标显示屏的子像素分布图进行傅里叶变换，得到模拟雾化信息；该模拟雾化信息包括衍射条纹信息。
在一种可能的实施例中，上述样本图像确定单元，配置成将模拟雾化信息和标准图像进行卷积处理，得到样本图像。
在一种可能的实施例中，上述训练单元，配置成：将样本图像输入至初始模型中，得到输出结果；根据输出结果和标准图像，确定损失值；基于该损失值训练初始模型，得到图像处理模型。
例如，上述装置还包括图像操作模块，配置成：显示目标图像；或者，根据该目标图像，对该显示屏幕中的子像素进行渲染。
本实施例所提供的图像处理装置，其实现原理及产生的技术效果和前述实施例的图像处理方法相同，为简要描述，本实施例部分未提及之处，可参考前述实施例的相应内容。
基于前述实施例，本实施例提供了一种图像处理系统，该系统包括：处理设备和存储装置；该存储装置上存储有计算机程序，该计算机程序在被所述处理设备运行时上述图像处理方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于前述实施例，本实施例提供了另一种电子设备，该电子设备不仅包括图2中所示的部件，还包括目标显示屏和设置于目标显示屏下的摄像装置，以及上述图像处理系统，该电子设备中的摄像装置配置成透过目标显示屏采集待处理图像，以通过图像处理系统处理待处理图像，得到去雾化后的目标图像，其实现方式可以参见上述图像处理方法的实施例，在此不再赘述。
在一种可能的实施例中，本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理设备运行时执行上述图像处理方法的步骤。
本申请实施例所提供的一种图像处理方法、装置、系统和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可配置成执行前面方法实施例中的方法，其实现方式可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请可选的实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
本申请提供了一种图像处理方法、装置、系统和电子设备，获取由摄像装置透过目标显示屏采集得到的待处理图像；通过图像处理模型，去除待处理图像中的图像雾化，得到去除雾化后的目标图像；其中，该图像处理模型根据目标显示屏的像素排列信息训练得到。该方式通过图像处理模型，去除摄像装置透过目标显示屏采集到的待处理图像中的图像雾化，从而提升了图像的画质，同时也提升了用户的体验感。
Claims (17)
- 一种图像处理方法，其特征在于，所述方法包括：获取待处理图像；所述待处理图像由摄像装置透过目标显示屏采集得到；通过图像处理模型，去除所述待处理图像中的图像雾化，得到去除雾化后的目标图像；其中，所述图像处理模型根据所述目标显示屏的像素排列信息训练得到。
- 根据权利要求1所述的方法，其特征在于，所述图像处理模型通过下述方式训练得到：根据所述目标显示屏的像素排列信息，生成模拟雾化信息；将所述模拟雾化信息融合至标准图像中，得到样本图像；其中，所述标准图像由光学摄像头采集得到；根据所述标准图像和所述样本图像，对初始模型进行训练，得到所述图像处理模型。
- 根据权利要求1或2所述的方法，其特征在于，所述目标显示屏的像素排列信息，包括：所述目标显示屏中各个子像素的排列信息；所述根据所述目标显示屏的像素排列信息，生成模拟雾化信息的步骤，包括：根据所述目标显示屏中各个子像素的排列信息，确定所述目标显示屏的子像素分布图；其中，所述子像素分布图中，采用第一像素值标识所述子像素，采用第二像素值标识所述目标显示屏中除所述子像素以外的区域；根据所述目标显示屏的子像素分布图，生成所述模拟雾化信息。
- 根据权利要求3所述的方法，其特征在于，所述目标显示屏中各个子像素的排列信息包括所述各个子像素的位置、形状、旋转角度和尺寸中的至少一个；所述采用第一像素值标识所述子像素，采用第二像素值标识所述目标显示屏中除所述子像素以外的区域的步骤，包括：针对每个所述子像素，根据所述子像素的排列信息，确定所述子像素对应的第一图像区域，将所述第一图像区域采用第一像素值标识；将所述各个子像素对应的第一图像区域以外的区域，采用第二像素值进行标识。
- 根据权利要求3所述的方法，其特征在于，根据所述目标显示屏的子像素分布图，生成所述模拟雾化信息的步骤，包括：对所述目标显示屏的子像素分布图进行傅里叶变换，得到所述模拟雾化信息；所述模拟雾化信息包括衍射条纹信息。
- 根据权利要求3至5任一项所述的方法，其特征在于，根据所述目标显示屏中各个子像素的排列信息，确定所述目标显示屏的子像素分布图，包括：将所述目标显示屏中各个子像素的排列信息转换为排列图像；基于所述排列图像得到所述子像素分布图。
- 根据权利要求2至5任一项所述的方法，其特征在于，将所述模拟雾化信息融合至标准图像中，得到样本图像的步骤，包括：将所述模拟雾化信息和所述标准图像进行卷积处理，得到所述样本图像。
- 根据权利要求2所述的方法，其特征在于，根据所述标准图像和所述样本图像，对初始模型进行训练，得到所述图像处理模型的步骤，包括：将所述样本图像输入至所述初始模型中，得到输出结果；根据所述输出结果和所述标准图像，确定损失值；基于所述损失值训练所述初始模型，得到图像处理模型。
- 根据权利要求7所述的方法，其特征在于，基于所述损失值训练所述初始模型，得到图像处理模型，包括：判断所述损失值是否小于或等于预设损失阈值；当所述损失值小于或等于所述预设损失阈值时，将所述初始模型作为图像处理模型；当所述损失值大于所述预设损失阈值时，继续选取标准图像和其对应的样本图像训练图初始模型。
- 根据权利要求3或4所述的方法，其特征在于，所述目标显示屏具有透光部，所述透光部设置于所述目标显示屏中的所述第二像素值标识的区域。
- 根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：显示所述目标图像；或者，根据所述目标图像，对所述目标显示屏中的子像素进行渲染。
- 根据权利要求1至5任一项所述的方法，其特征在于，所述目标显示屏具有透光部，所述待处理图像通过以下方式获取：所述摄像装置透过所述透光部采集所述待处理图像。
- 根据权利要求12所述的方法，其特征在于，所述目标显示屏还具有至少两个发光单元，所述至少两个发光单元的多个子像素呈非重复性排列。
- 一种图像处理装置，其特征在于，所述装置包括：图像获取模块，配置成获取待处理图像；所述待处理图像由摄像装置透过目标显示屏采集得到；图像处理模块，配置成通过图像处理模型，去除所述待处理图像中的图像雾化，得到去除雾化后的目标图像；其中，所述图像处理模型根据所述目标显示屏的像素排 列信息训练得到。
- 一种图像处理系统，其特征在于，所述系统包括：处理设备和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行权利要求1至13任一项所述的图像处理方法。
- 一种电子设备，其特征在于，所述电子设备包括目标显示屏和设置于所述目标显示屏下的摄像装置，还包括权利要求15所述的图像处理系统。
- 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至13任一项所述的图像处理方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010226538.X | 2020-03-26 | ||
| CN202010226538.XA CN111311523B (zh) | 2020-03-26 | 2020-03-26 | 图像处理方法、装置、系统和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021189807A1 true WO2021189807A1 (zh) | 2021-09-30 |
Family
ID=71160832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/119611 WO2021189807A1 (zh) | 2020-03-26 | 2020-09-30 | 图像处理方法、装置、系统和电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111311523B (zh) |
| WO (1) | WO2021189807A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115456459A (zh) * | 2022-09-30 | 2022-12-09 | 浙江中泽精密科技有限公司 | 一种新能源动力电池盖板片加工工艺方法及系统 |
| CN116200258A (zh) * | 2023-04-28 | 2023-06-02 | 中国医学科学院北京协和医院 | 一种用于消除培养皿盖内壁上的雾气的方法、装置和设备 |
| CN117058038A (zh) * | 2023-08-28 | 2023-11-14 | 北京航空航天大学 | 一种基于偶数卷积深度学习的衍射模糊图像修复方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311523B (zh) * | 2020-03-26 | 2023-09-05 | 北京迈格威科技有限公司 | 图像处理方法、装置、系统和电子设备 |
| CN111862002A (zh) * | 2020-06-29 | 2020-10-30 | 维沃移动通信有限公司 | 屏幕的水雾去除方法、装置、电子设备及可读存储介质 |
| CN111951192A (zh) * | 2020-08-18 | 2020-11-17 | 义乌清越光电科技有限公司 | 一种拍摄图像的处理方法及拍摄设备 |
| CN111866402B (zh) * | 2020-09-07 | 2021-10-29 | 三一重工股份有限公司 | 参数调整方法和装置、电子设备及存储介质 |
| CN112887598A (zh) * | 2021-01-25 | 2021-06-01 | 维沃移动通信有限公司 | 图像处理方法、装置、拍摄支架、电子设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170270342A1 (en) * | 2015-06-18 | 2017-09-21 | Shenzhen GOODIX Technology Co., Ltd. | Optical collimators for under-screen optical sensor module for on-screen fingerprint sensing |
| CN109979382A (zh) * | 2019-04-23 | 2019-07-05 | 清华大学 | 基于屏幕透射光谱的屏幕下成像系统色彩校正方法及系统 |
| CN110460825A (zh) * | 2019-08-02 | 2019-11-15 | 武汉华星光电半导体显示技术有限公司 | 一种成像补偿装置、成像补偿方法及其应用 |
| CN110730299A (zh) * | 2019-09-29 | 2020-01-24 | 深圳酷派技术有限公司 | 一种屏下摄像头成像方法、装置、存储介质及电子设备 |
| CN111311523A (zh) * | 2020-03-26 | 2020-06-19 | 北京迈格威科技有限公司 | 图像处理方法、装置、系统和电子设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05135163A (ja) * | 1991-04-19 | 1993-06-01 | Ezel Inc | 画像処理方法 |
| DE69833482T2 (de) * | 1997-02-18 | 2006-10-12 | Sega Corp. | Verfahren und vorrichtung zur bildverarbeitung |
| JP2000115511A (ja) * | 1998-09-30 | 2000-04-21 | Minolta Co Ltd | 画像処理装置 |
| CN104702875B (zh) * | 2013-12-18 | 2019-12-20 | 杭州海康威视数字技术股份有限公司 | 一种液晶显示设备以及一种视频图像显示方法 |
| CN112704516B (zh) * | 2015-08-04 | 2023-05-26 | 深圳迈瑞生物医疗电子股份有限公司 | 三维超声流体成像方法及系统 |
| CN204889399U (zh) * | 2015-08-18 | 2015-12-23 | 蒋彬 | 智能健身镜子 |
| CN107948498B (zh) * | 2017-10-30 | 2019-10-18 | 维沃移动通信有限公司 | 一种消除相机摩尔条纹方法及移动终端 |
| CN108153502B (zh) * | 2017-12-22 | 2021-11-12 | 长江勘测规划设计研究有限责任公司 | 基于透明屏幕的手持式增强现实显示方法及装置 |
| CN109035421A (zh) * | 2018-08-29 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN110599965A (zh) * | 2019-08-09 | 2019-12-20 | 深圳市美芒科技有限公司 | 图像显示方法、图像显示装置、终端设备及可读存储介质 |
| CN110855887B (zh) * | 2019-11-18 | 2021-06-08 | 深圳传音控股股份有限公司 | 基于镜面的图像处理方法、终端及计算机可读存储介质 |
-
2020
- 2020-03-26 CN CN202010226538.XA patent/CN111311523B/zh active Active
- 2020-09-30 WO PCT/CN2020/119611 patent/WO2021189807A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170270342A1 (en) * | 2015-06-18 | 2017-09-21 | Shenzhen GOODIX Technology Co., Ltd. | Optical collimators for under-screen optical sensor module for on-screen fingerprint sensing |
| CN109979382A (zh) * | 2019-04-23 | 2019-07-05 | 清华大学 | 基于屏幕透射光谱的屏幕下成像系统色彩校正方法及系统 |
| CN110460825A (zh) * | 2019-08-02 | 2019-11-15 | 武汉华星光电半导体显示技术有限公司 | 一种成像补偿装置、成像补偿方法及其应用 |
| CN110730299A (zh) * | 2019-09-29 | 2020-01-24 | 深圳酷派技术有限公司 | 一种屏下摄像头成像方法、装置、存储介质及电子设备 |
| CN111311523A (zh) * | 2020-03-26 | 2020-06-19 | 北京迈格威科技有限公司 | 图像处理方法、装置、系统和电子设备 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115456459A (zh) * | 2022-09-30 | 2022-12-09 | 浙江中泽精密科技有限公司 | 一种新能源动力电池盖板片加工工艺方法及系统 |
| CN115456459B (zh) * | 2022-09-30 | 2023-05-05 | 浙江中泽精密科技有限公司 | 一种新能源动力电池盖板片加工工艺方法及系统 |
| CN116200258A (zh) * | 2023-04-28 | 2023-06-02 | 中国医学科学院北京协和医院 | 一种用于消除培养皿盖内壁上的雾气的方法、装置和设备 |
| CN116200258B (zh) * | 2023-04-28 | 2023-07-07 | 中国医学科学院北京协和医院 | 一种用于消除培养皿盖内壁上的雾气的方法、装置和设备 |
| CN117058038A (zh) * | 2023-08-28 | 2023-11-14 | 北京航空航天大学 | 一种基于偶数卷积深度学习的衍射模糊图像修复方法 |
| CN117058038B (zh) * | 2023-08-28 | 2024-04-30 | 北京航空航天大学 | 一种基于偶数卷积深度学习的衍射模糊图像修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111311523A (zh) | 2020-06-19 |
| CN111311523B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021189807A1 (zh) | 图像处理方法、装置、系统和电子设备 | |
| US10755173B2 (en) | Video deblurring using neural networks | |
| US10708525B2 (en) | Systems and methods for processing low light images | |
| US20170256036A1 (en) | Automatic microlens array artifact correction for light-field images | |
| US20230230204A1 (en) | Image processing method and apparatus, and method and apparatus for training image processing model | |
| US20180350043A1 (en) | Shallow Depth Of Field Rendering | |
| US20190325564A1 (en) | Image blurring methods and apparatuses, storage media, and electronic devices | |
| US20130169760A1 (en) | Image Enhancement Methods And Systems | |
| KR102606208B1 (ko) | 학습 기반 렌즈 플레어 제거 | |
| WO2018210308A1 (zh) | 图像虚化处理方法、装置、存储介质及电子设备 | |
| US10706512B2 (en) | Preserving color in image brightness adjustment for exposure fusion | |
| JP6773061B2 (ja) | 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体 | |
| WO2014173145A1 (zh) | 一种图像增强方法及设备 | |
| WO2022089185A1 (zh) | 图像处理方法和图像处理装置 | |
| WO2022048414A1 (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| WO2021145913A1 (en) | Estimating depth based on iris size | |
| CN114158280A (zh) | 用于确定像素对应的可学习代价体 | |
| TWI672639B (zh) | 使用模擬物件影像之物件辨識系統及其方法 | |
| WO2009106993A2 (en) | Method and system for generating online cartoon outputs | |
| WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
| JP7387029B2 (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術 | |
| Yang et al. | An end‐to‐end perceptual enhancement method for UHD portrait images | |
| CN116506732B (zh) | 一种图像抓拍防抖的方法、装置、系统和计算机设备 | |
| TWI757965B (zh) | 擴增實境體感遊戲機之深度學習方法 | |
| Huang et al. | Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20926628 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20926628 Country of ref document: EP Kind code of ref document: A1 |