WO2022126355A1 - 基于图像的处理方法和设备 - Google Patents
基于图像的处理方法和设备 Download PDFInfo
- Publication number
- WO2022126355A1 WO2022126355A1 PCT/CN2020/136381 CN2020136381W WO2022126355A1 WO 2022126355 A1 WO2022126355 A1 WO 2022126355A1 CN 2020136381 W CN2020136381 W CN 2020136381W WO 2022126355 A1 WO2022126355 A1 WO 2022126355A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- convolutional neural
- neural network
- processing
- single image
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000000694 effects Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 abstract description 28
- 230000006870 function Effects 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 102100033620 Calponin-1 Human genes 0.000 description 3
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 102100033591 Calponin-2 Human genes 0.000 description 2
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Definitions
- Video-based methods mainly rely on the temporal information between video frames to remove rain marks, while single-image-based methods obtain derained images through machine learning.
- the convolutional neural network When using the convolutional neural network thus trained to perform computer vision-based processing/perception on images captured on rainy days, since the convolutional neural network focuses on relatively low-degraded shape features, better processing can be achieved /perceive the results, and also no longer need to perform deraining on the image first, being able to directly input that image to a convolutional neural network for performing computer vision-based processing/perception functions, which makes it possible to implement real-time image-based process/perceive. In conclusion, for images captured in rainy days, the convolutional neural network thus designed not only enhances the robustness and accuracy but also enables real-time processing/perception.
- a single image based processing device includes a receiving unit that receives a single image showing at least rain or snow marks; a processing unit that inputs the single image into a first convolutional neural network to analyze the single image
- the image is processed based on computer vision, the first convolutional neural network is obtained by training on the first image and the second image, wherein the first image shows at least rain or snow marks, and the first image is obtained.
- the second image is obtained by stylizing the first image.
- a third image is received, the third image at least shows fog, especially fog caused by rain, and in one embodiment, the third image may include the first image ;
- a second convolutional neural network for dehazing is trained from the third image through supervised learning.
- the atmospheric transparency t(x) represents the fraction of light reaching the camera, which decreases with distance from the camera.
- the global illumination level indicates how foggy the image as a whole is.
- the farther the object is from the camera the smaller t(x) is, the larger A(1-t(x)) is, the harder the object is to see; and the larger the fog, the larger A( The larger 1-t(x)) is, the harder the object is to see.
- the physical model thus designed accurately reflects the effects of rain and fog, and the convolutional neural network trained on this basis is more suitable for computer vision-based processing/perception of images captured in rainy days.
- step 220 may be omitted, whereby the single image is directly input to the first convolutional neural network.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
提供了一种基于单幅图像的处理方法。该方法包括接收单幅图像，所述单幅图像至少示出了雨痕或雪痕；将所述单幅图像输入第一卷积神经网络以对所述单幅图像执行基于计算机视觉的处理，所述第一卷积神经网络是根据第一图像和第二图像训练获得的，其中，所述第一图像至少示出了雨痕或雪痕，并且所述第二图像是通过对所述第一图像进行风格化处理得到的。由此，针对包括雨痕或雪痕的图像，改进了基于计算机视觉的处理/感知的鲁棒性和准确性，同时能够实现实时的处理/感知。
Description
本发明涉及基于图像的处理/感知领域，尤其涉及人工智能在基于计算机视觉的处理/感知领域中的应用。
在当前基于计算机视觉的处理/感知过程中，为了实现目标检测、目标跟踪、图像分类、目标分割和实例分割等功能，需要采用人工智能技术对已知图像的特征进行机器学习，从而获得相应的卷积神经网络以执行基于计算机视觉的处理/感知功能。
在坏天气的情况下，所拍摄的图像会劣化，从而影响图像感知的准确度。尤其，在下雨天，不仅雨痕会造成图像的劣化，大雨往往伴随着雾的生成，从而进一步劣化图像质量。
当前存在基于视频和基于单幅图像的两种方法来恢复下雨天拍摄的图像的质量。基于视频的方法主要依赖视频帧之间的时间信息来移除雨痕，基于单幅图像的方法则是通过机器学习来获得经过去雨处理的图像。
由此，在基于计算机视觉的处理/感知应用中，需要首先对劣化的图像进行处理以恢复其图像质量，例如对因为下雨而劣化的图像执行去雨处理，然后，将经过去雨处理的图像输入到训练好的卷积神经网络来执行基于计算机视觉的处理/感知功能。这样的方法难以满足实时处理的需求并且也不能获得令人满意的感知结果。
发明内容
提供了一种改进的基于计算机视觉的处理方法，其倾向于学习样本图像的形状特征，能够同时增加卷积神经网络的鲁棒性和准确性。
已经认识到，当前的基于计算机视觉的研究和应用更倾向于基于图像纹理特征训练卷积神经网络来执行基于计算机视觉的处理/感知(例如，目 标检测、目标跟踪、图像分类、目标分割和实例分割等功能)，从而相对忽略了形状特征。本发明人认识到在下雨时，雨痕作为高频噪声主要使得图像的纹理特征劣化，由此，在使用偏重纹理特征训练获得的卷积神经网络来对这样的示出雨痕的图像执行基于计算机视觉的处理/感知时，由于图像纹理特征的劣化，难以获得令人满意的结果。与之相比，雨痕对图像形状特征的劣化相对较低，并且在实际情况下，人们在识别某个对象时，往往将形状特征和纹理特征结合来考虑，忽略形状特征而偏重纹理特征来训练卷积神经网络显然是不合理的。
根据本公开的各个方面的各个实施例，基于第一图像和经过对该第一图像执行风格化处理得到的第二图像来训练卷积神经网络。通过对第一图像进行风格化处理，降低其纹理特征对对象的表征程度，而相对地突出了形状特征对该对象的表征，基于这样的特征训练得到的卷积神经网络关注训练样本图像的形状特征，降低了纹理特征的重要性。针对下雨天拍摄的图像使用由此训练的卷积神经网络来执行基于计算机视觉的处理/感知时，由于该卷积神经网络关注的是劣化程度相对较低的形状特征，能够获得更优的处理/感知结果，并且也不再需要首先对图像执行去雨处理，能够直接将该图像输入到用于执行基于计算机视觉的处理/感知功能的卷积神经网络，这使得可能实现基于图像的实时的处理/感知。总之，针对下雨天拍摄的图像，由此设计的卷积神经网络不仅增强了鲁棒性和准确性同时能够实现实时的处理/感知。
根据一个方面，提供一种基于单幅图像的处理方法。该方法包括接收单幅图像，所述单幅图像至少示出了雨痕或雪痕；将所述单幅图像输入第一卷积神经网络以对所述单幅图像执行基于计算机视觉的处理，所述第一卷积神经网络是根据第一图像和第二图像训练获得的，其中，所述第一图像至少示出了雨痕或雪痕，并且所述第二图像是通过对所述第一图像进行风格化处理得到的。
根据另一个方面，提供一种基于单幅图像的处理设备。该设备包括接收单元，其接收单幅图像，所述单幅图像至少示出了雨痕或雪痕；处理单元，其将所述单幅图像输入第一卷积神经网络以对所述单幅图像执行基于计算机视觉的处理，所述第一卷积神经网络是根据第一图像和第二图像训 练获得的，其中，所述第一图像至少示出了雨痕或雪痕，并且所述第二图像是通过对所述第一图像进行风格化处理得到的。
根据另一个方面，提供一种基于单幅图像的卷积神经网络训练方法。该方法包括接收第一图像，所述第一图像至少示出了雨痕；对所述第一图像执行风格化处理，以得到第二图像；以及根据所述第一图像和所述第二图像训练用于执行基于计算机视觉的处理的第一卷积神经网络。
根据另一个方面，提供一种基于单幅图像的卷积神经网络训练设备。该设备包括接收单元，其接收第一图像，所述第一图像至少示出了雨痕或雪痕；风格化处理单元，其对所述第一图像执行风格化处理，以得到第二图像；以及训练单元，其根据所述第一图像和所述第二图像训练用于执行基于计算机视觉的处理的第一卷积神经网络。
根据另一个方面，提供一种计算机系统，包括一个或多个处理器；和一个或多个存储设备，其存储计算机可执行的指令，当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行根据本公开的各个实施例所述的方法。
根据再一个方面，提供一种机器可读介质，其存储计算机可执行的指令，所述指令当被运行时使得计算机或处理器执行根据本公开各个实施例所述的方法。
在附图中，实施例仅通过示例的方式而不是限制的方式进行说明，在附图中相似的附图标记指代相似的元件。
图1示出了根据本发明一个实施例的基于单幅图像的卷积神经网络的训练方法；
图2A和2B示出了原始图像和经过风格化处理的图像的例子；
图3示出了根据本发明一个实施例的基于单幅图像的处理/感知方法；
图4示出了根据本发明一个实施例的基于单幅图像的卷积神经网络的训练设备；
图5示出了根据本发明一个实施例的基于单幅图像的处理/感知设备；
图6示出了根据本发明一个实施例的计算机系统的示意图。
参照上述附图来描述本发明各个实施例的各个方面和特征。上述附图仅仅是示意性的，而非限制性的。在不脱离本发明的主旨的情况下，在上述附图中各个元件的尺寸、形状、标号、或者外观可以发生变化；此外，在上述附图中本发明实施例的耳机或设备的各个部分并未全部采用附图标号标示出，在某些附图中仅仅标示了相关的部件，这不会将各个部分限制到仅仅说明书附图所示出的那样。
虽然以下参考图像中包括雨痕的情况来进行描述，也可以理解，该技术方案同样适用于图像中包括雪痕的情况。
在基于计算机视觉的处理/感知应用(例如，目标检测、目标跟踪、图像分类、目标分割和实例分割等)中，在训练卷积神经网络时，训练特征的选择十分重要。在当前的研究中，侧重基于纹理特征来训练卷积神经网络。而在本公开中认识到雨痕劣化图像的纹理特征，因此，在使用基于纹理特征训练好的卷积神经网络基于这样的图像进行处理/感知时，难以得到令人满意的结果。由此，本公开提供了相对更侧重基于形状特征来训练卷积神经网络，并且使用这样训练好的卷积神经网络来执行基于计算机视觉的处理/感知功能的方式。由于认识到雨痕对形状特征的劣化相对较低，这样训练得到的卷积神经网络对于示出雨痕的图像依然能够提供良好的鲁棒性和准确性，并且在这种情况下，不需要在将图像输入卷积神经网络之前对图像执行去雨处理，由此可能进行实时的基于计算机视觉的处理/感知。
图1示出了根据本发明一个实施例的基于单幅图像的卷积神经网络的训练方法100。
如图1所示，根据该训练方法，在步骤110，接收第一图像，该第一图像至少示出了雨痕，可以预期该图像还示出了要检测的目标。在步骤120，对所接收的第一图像执行风格化处理，以获得第二图像。具体地，通过算法改变第一图像的风格，例如风格迁移，使得当前的第一图像的风格变为某种预定的风格。由此获得的第二图像的风格不同于第一图像的风格。图2A和2B分别示出了原始图像和经过风格化处理的图像的例子。可以预期 对第一图像执行多种风格化处理，以获得相应的多种经过风格化处理的第一图像，在该情况下，可以获得多个第二图像。经过风格化处理，第一图像的形状特征得以保留，而纹理特征则被适当破坏。
在步骤130，根据第一图像和第二图像训练用于执行基于计算机视觉的处理/感知的第一卷积神经网络。由此获得的第一卷积神经网络更偏重基于形状特征来检测对象，因此即使在雨痕破坏了图像的纹理特征的情况下，仍然能够鲁棒并且准确地检测对象。
下雨天往往伴随着雾的产生，雾会破坏图像的形状特征。由此，需要去除雾的影响。
根据该训练方法100，还在步骤115，接收第三图像，该第三图像至少示出了雾，尤其是下雨所造成的雾，在一个实施例中，该第三图像可以包括第一图像；在步骤125，通过有监督学习根据该第三图像训练用于去雾的第二卷积神经网络。
尤其，该第二卷积神经网络是基于如下物理模型训练获得的。
I(x)＝(J(x)+R(x))t(x)+A(1-t(x))
其中，I(x)是该第三图像，x表示像素，J(x)是要获得的经去雾处理的第三图像，R(x)是表示雨的效应的模型，A表示全局光照水平，t(x)表示大气透明程度。
其中，大气透明程度t(x)表示到达照相机的部分光，其随着与照相机之间的距离而减小。全局光照水平表示图像整体的有雾的程度。根据以上的物理模型，距离照相机越远的物体，t(x)越小，A(1-t(x))越大，物体越看不清楚；并且，雾越大，A越大，A(1-t(x))越大，物体越看不清楚。由此设计的物理模型精确反应了雨和雾的作用，在此基础上训练的卷积神经网络更适用于下雨天拍摄的图像进行基于计算机视觉的处理/感知。
在获得训练好的第一卷积神经网络和第二卷积神经网络之后，在步骤135，将所述第一和第二卷积神经网络组合来获得最终的卷积神经网络，以用于对下雨天拍摄的图像进行基于计算机视觉的处理/感知。
这样得到的包括第一和第二卷积神经网络的卷积神经网络能够方便地对单幅图像执行基于计算机视觉的处理。用户仅需要输入图像，该图像能够基于第二卷积神经网络被自动执行去雾处理，之后经去雾处理的结果自 动输入第一卷积神经网络，实现了端到端的处理。
图3示出了根据本发明一个实施例的基于单幅图像的处理/感知方法200，该方法200尤其采用了如上参考图1所描述的训练方法训练的卷积神经网络。
根据该方法200，在步骤210，接收要进行基于计算机视觉的处理/感知的单幅图像。例如接收要进行图像分类的单幅图像。该单幅图像至少示出了雨痕，可以设想其还示出了要分类的对象，和/或雾。
在一个实施例中，首先在步骤220中将所接收的单幅图像输入如上所述训练好的第二卷积神经网络以执行去雾处理，然后，在步骤230中将经去雾处理的单幅图像输入如上所述训练好的第一卷积神经网络以进行基于计算机视觉的处理/感知。
如果该单幅图像中不示出雾，上述步骤220可以被省略，由此，将该单幅图像直接输入第一卷积神经网络。
在步骤240，输出对该单幅图像执行的基于计算机视觉的处理/感知的结果。该结果可以被输出到其他部件中进行进一步的处理。例如，在自动驾驶领域，如果识别到该图像中的汽车，那么可以将该结果输出到控制器，控制器根据该结果输出驾驶控制信号，以控制汽车的操作。
图4示出了根据本发明一个实施例的基于单幅图像的卷积神经网络的训练设备10。该训练设备10包括接收单元11，风格化单元12，训练单元13和组合单元14。
接收单元11接收用于训练卷积神经网络的样本图像，这包括至少示出了雨痕的第一图像。在一个实施例中，样本图像还包括至少示出了雾的第三图像。第一图像可以包括第三图像，尤其是在下雨天拍摄的雨引起雾的图像。接收单元11将所接收的第一图像输入风格化处理单元12以对该第一图像执行风格化处理，由此得到第二图像。然后将该第二图像输入到训练单元13用于训练第一卷积神经网络CNN1。
接收单元11还将所接收的第三图像输入训练单元13以用于通过有监督学习训练第二卷积神经网络CNN2，该第二卷积神经网络用于去雾处理，尤其基于上文所述的物理模型进行训练。也可以预期其他其他类型或结构的卷积神经网络，只要其能够实现去雾功能即可。
在训练单元13使用足够的样本训练好第一和第二卷积神经网络后，组合单元14，将该第一和第二卷积神经网络组合形成最终的卷积神经网络。
图5示出了根据本发明一个实施例的基于单幅图像的处理/感知设备20。该设备20包括接收单元21和处理单元22。
接收单元21接收单幅图像，该单幅图像至少示出了雨痕。处理单元22将接收的单幅图像输入如上所述训练好的第一卷积神经网络CNN1以对其执行基于计算机视觉的处理。
在一个实施例中，当需要对该单幅图像执行去雾处理时，首先将该单幅图像输入如上所述训练好的第二卷积神经网络CNN2以进行去雾处理，然后再将经过去雾处理的单幅图像输入训练好的第一卷积神经网络CNN1，以执行基于计算机视觉的处理/感知。
图6示出了根据本发明一个实施例的计算机系统30的示意图。图6示出了根据本公开的实施例的计算机系统30的示意图。如图6所示，该计算机系统30可以包括至少一个处理器31、存储器(例如，非易失性存储器)32、内存33和通信接口34，并且至少一个处理器31、存储器32、内存33和通信接口34经由总线36连接在一起。至少一个处理器31执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器31执行本公开的各个实施例中以上结合图1-3描述的各种操作和功能。
根据一个实施例，提供了一种比如机器可读介质(例如，非暂时性机器可读介质)的计算机程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-3描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
本公开的示范性实施例覆盖以下两者：从一开始就创建/使用本公开的计算机程序/软件，以及借助于更新将已有程序/软件转为使用本公开的计算 机程序/软件。
也可以将用于执行根据本公开的各实施例的方法的计算机程序以其他形式发布，例如经由因特网或者其他有线或无线电信系统。
计算机程序也可以被提供在诸如万维网的网络上，并且能够从这样的网络被下载到微处理器的工作计算机中。
必须指出，本公开的实施例是参考不同主题来描述的。尤其地，一些实施例是参考方法型权利要求来描述的，而其他实施例是参考设备型权利要求来描述的。然而，本领域技术人员将从以上和以下描述获悉，除非另外指明，除了属于一种类型的主题的特征的任意组合以外，涉及不同主题的特征之间的任意组合也被视为被本申请公开了。并且，能够组合全部特征，提供大于特征的简单加和的协同效应。
上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施例中，多任务处理和并行处理也是可以的或者可能是有利的。
以上参照特定的实施例描述本公开，本领域技术人员应当理解，在不背离本公开的精神和基本特征的情况下，能够以各种方式来实现本公开的技术方案。具体的实施例仅仅是示意性的，而非限制性的。另外，这些实施例之间能够任意组合，来实现本公开的目的。本公开的保护范围由所附的权利要求书来定义。
说明书和权利要求中的“包括”一词不排除其它元件或步骤的存在，“第一”，“第二”，“步骤”等表述以及图中示出的各个步骤的次序不限定其顺序，也不限定数量。在说明书中说明或者在权利要求中记载的各个元件的功能也可以被分拆或组合，由对应的多个元件或单一元件来实现。
Claims (15)
- 一种基于单幅图像的处理方法，包括：接收单幅图像，所述单幅图像至少示出了雨痕或雪痕；将所述单幅图像输入第一卷积神经网络以对所述单幅图像执行基于计算机视觉的处理，所述第一卷积神经网络是根据第一图像和第二图像训练获得的，其中，所述第一图像至少示出了雨痕或雪痕，并且所述第二图像是通过对所述第一图像进行风格化处理得到的。
- 如权利要求1所述的处理方法，其中，所述单幅图像还示出了雾，并且所述方法还包括：将所述单幅图像输入第二卷积神经网络以对所述单幅图像执行去雾处理；和将经去雾处理的所述单幅图像输入所述第一卷积神经网络。
- 如权利要求2所述的处理方法，其中，所述第二卷积神经网络是通过有监督学习根据第三图像训练获得的，其中，所述第三图像示出了雾。
- 如权利要求3所述的处理方法，其中，所述第二卷积神经网络是基于如下模型训练获得的：I(x)＝(J(x)+R(x))t(x)+A(1-t(x))其中，I(x)是所述第三图像，x表示像素，J(x)是要获得的经去雾处理的第三图像，R(x)是表示雨或雪的效应的模型，A表示全局光照水平，t(x)表示大气透明程度。
- 一种基于单幅图像的处理设备，包括：接收单元，其接收单幅图像，所述单幅图像至少示出了雨痕或雪痕；处理单元，其将所述单幅图像输入第一卷积神经网络以对所述单幅图像执行基于计算机视觉的处理，所述第一卷积神经网络是根据第一图像和第二图像训练获得的，其中，所述第一图像至少示出了雨痕或雪痕，并且 所述第二图像是通过对所述第一图像进行风格化处理得到的。
- 如权利要求5所述的处理设备，其中，所述单幅图像还示出了雾，所述处理单元将所述单幅图像输入第二卷积神经网络以对所述单幅图像执行去雾处理，并且将经去雾处理的所述单幅图像输入所述第一卷积神经网络。
- 如权利要求6所述的处理设备，其中，所述第二卷积神经网络是通过有监督学习根据第三图像训练获得的，其中，所述第三图像至少示出了雾。
- 如权利要求7所述的处理设备，其中，所述第二卷积神经网络是基于如下模型训练获得的：I(x)＝(J(x)+R(x))t(x)+A(1-t(x))其中，I(x)是所述第三图像，x表示像素，J(x)是要获得的经去雾处理的第三图像，R(x)是表示雨或雪的效应的模型，A表示全局光照水平，t(x)表示大气透明程度。
- 一种基于单幅图像的卷积神经网络训练方法，包括接收第一图像，所述第一图像至少示出了雨痕；对所述第一图像执行风格化处理，以得到第二图像；以及根据所述第一图像和所述第二图像训练用于执行基于计算机视觉的处理的第一卷积神经网络。
- 如权利要求9所述的卷积神经网络训练方法，还包括：接收第三图像，所述第三图像至少示出了雾；和通过有监督学习根据所述第三图像训练用于去雾的第二卷积神经网络。
- 如权利要求10所述的卷积神经网络训练方法，还包括将所述第一卷积神经网络和所述第二卷积神经网络组合。
- 一种基于单幅图像的卷积神经网络训练设备，包括接收单元，其接收第一图像，所述第一图像至少示出了雨痕或雪痕；风格化处理单元，其对所述第一图像执行风格化处理，以得到第二图像；以及训练单元，其根据所述第一图像和所述第二图像训练用于执行基于计算机视觉的处理的第一卷积神经网络。
- 如权利要求12所述的卷积神经网络训练设备，其中，所述接收单元还接收第三图像，所述第三图像至少示出了雾；并且所述训练单元还通过有监督学习根据所述第三图像训练用于去雾的第二卷积神经网络。
- 一种计算机系统，包括一个或多个处理器；和一个或多个存储设备，其存储计算机可执行的指令，当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行根据权利要求1-4和9-11中任一项所述的方法。
- 一种计算机可读介质，其存储计算机可执行的指令，当由计算机或处理器执行时，所述指令使得所述计算机或所述处理器执行根据权利要求1-4和9-11中任一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE112020007845.0T DE112020007845T5 (de) | 2020-12-15 | 2020-12-15 | Verfahren und Einrichtung zur Bildverarbeitung |
| CN202080107898.6A CN116615734A (zh) | 2020-12-15 | 2020-12-15 | 基于图像的处理方法和设备 |
| PCT/CN2020/136381 WO2022126355A1 (zh) | 2020-12-15 | 2020-12-15 | 基于图像的处理方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/136381 WO2022126355A1 (zh) | 2020-12-15 | 2020-12-15 | 基于图像的处理方法和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022126355A1 true WO2022126355A1 (zh) | 2022-06-23 |
Family
ID=82059822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/136381 WO2022126355A1 (zh) | 2020-12-15 | 2020-12-15 | 基于图像的处理方法和设备 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN116615734A (zh) |
| DE (1) | DE112020007845T5 (zh) |
| WO (1) | WO2022126355A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316286A (zh) * | 2017-07-07 | 2017-11-03 | 北京邮电大学 | 一种图像中雨雾同步合成、去除的方法和装置 |
| CN108537761A (zh) * | 2018-04-18 | 2018-09-14 | 广东工业大学 | 一种图像去雨模型的训练方法、装置及图像去雨方法 |
| CN110866879A (zh) * | 2019-11-13 | 2020-03-06 | 江西师范大学 | 一种基于多密度雨纹感知的图像去雨方法 |
| CN111179187A (zh) * | 2019-12-09 | 2020-05-19 | 南京理工大学 | 基于循环生成对抗网络的单幅图像去雨方法 |
| US20200219274A1 (en) * | 2017-08-01 | 2020-07-09 | 3M Innovative Properties Company | Neural style transfer for image varietization and recognition |
-
2020
- 2020-12-15 WO PCT/CN2020/136381 patent/WO2022126355A1/zh active Application Filing
- 2020-12-15 CN CN202080107898.6A patent/CN116615734A/zh active Pending
- 2020-12-15 DE DE112020007845.0T patent/DE112020007845T5/de active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316286A (zh) * | 2017-07-07 | 2017-11-03 | 北京邮电大学 | 一种图像中雨雾同步合成、去除的方法和装置 |
| US20200219274A1 (en) * | 2017-08-01 | 2020-07-09 | 3M Innovative Properties Company | Neural style transfer for image varietization and recognition |
| CN108537761A (zh) * | 2018-04-18 | 2018-09-14 | 广东工业大学 | 一种图像去雨模型的训练方法、装置及图像去雨方法 |
| CN110866879A (zh) * | 2019-11-13 | 2020-03-06 | 江西师范大学 | 一种基于多密度雨纹感知的图像去雨方法 |
| CN111179187A (zh) * | 2019-12-09 | 2020-05-19 | 南京理工大学 | 基于循环生成对抗网络的单幅图像去雨方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116615734A (zh) | 2023-08-18 |
| DE112020007845T5 (de) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10691925B2 (en) | Enhanced face-detection and face-tracking for resource-limited embedded vision systems | |
| US8175333B2 (en) | Estimator identifier component for behavioral recognition system | |
| US10037599B2 (en) | Automatic gain control filter in a video analysis system | |
| CN110532883B (zh) | 应用离线跟踪算法对在线跟踪算法进行改进 | |
| CN111862296B (zh) | 三维重建方法及装置、系统、模型训练方法、存储介质 | |
| US10685263B2 (en) | System and method for object labeling | |
| WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 | |
| WO2021016873A1 (zh) | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 | |
| US12094252B2 (en) | Occlusion-aware prediction of human behavior | |
| CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
| CN110599516A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| WO2022076655A1 (en) | Real-time cross-spectral object association and depth estimation | |
| CN117036417A (zh) | 基于时空模板更新的多尺度Transformer目标跟踪方法 | |
| CN113609980A (zh) | 一种用于自动驾驶车辆的车道线感知方法及装置 | |
| Alkhorshid et al. | Road detection through supervised classification | |
| CN115359566A (zh) | 基于关键点及光流的人体行为识别方法、装置及设备 | |
| CN111950339A (zh) | 视频处理 | |
| CN117561540A (zh) | 使用帧序列执行计算机视觉任务的系统和方法 | |
| CN110837760B (zh) | 目标检测方法、用于目标检测的训练方法和装置 | |
| US20210124968A1 (en) | System and method for use in object detection from video stream | |
| US20240005464A1 (en) | Reflection removal from an image | |
| US10708600B2 (en) | Region of interest determination in video | |
| WO2022126355A1 (zh) | 基于图像的处理方法和设备 | |
| CN114550060A (zh) | 周界入侵识别方法、系统及电子设备 | |
| CN116797500A (zh) | 图像处理方法、装置、存储介质、电子设备及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20965373 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 202080107898.6 Country of ref document: CN |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 112020007845 Country of ref document: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20965373 Country of ref document: EP Kind code of ref document: A1 |