WO2020062393A1 - 一种基于机器学习的初始数据处理方法和系统 - Google Patents

一种基于机器学习的初始数据处理方法和系统 Download PDF

Info

Publication number
WO2020062393A1
WO2020062393A1 PCT/CN2018/112594 CN2018112594W WO2020062393A1 WO 2020062393 A1 WO2020062393 A1 WO 2020062393A1 CN 2018112594 W CN2018112594 W CN 2018112594W WO 2020062393 A1 WO2020062393 A1 WO 2020062393A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
scene
initial data
machine learning
quality
Prior art date
Application number
PCT/CN2018/112594
Other languages
English (en)
French (fr)
Inventor
詹肇楷
周卓立
刘俊
秦锐敏
任鹏
Original Assignee
成都臻识科技发展有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 成都臻识科技发展有限公司 filed Critical 成都臻识科技发展有限公司
Publication of WO2020062393A1 publication Critical patent/WO2020062393A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • the invention relates to the field of data processing, in particular to a method and system for initial data processing based on machine learning.
  • the back-end processing module As the input of the back-end processing module, the quality of the camera's imaging quality is very important.
  • the traditional processing flow is to directly send the initial data to the ISP (Image Signal Processing) module, and then output the YUV or RGB image after processing by the ISP module.
  • This processing flow can achieve better results in normal environments, but the image output under certain harsh or extreme conditions is not ideal.
  • the back-end processing module also needs to add specific modules to process the signals separately.
  • the purpose of the present invention is to address the problems mentioned above, in order to improve the imaging effect of the camera in extreme environments and reduce the back-end processing module, a new ISP processing method is proposed.
  • Data processing module Raw data is sent to the ISP module after passing through the raw data processing module.
  • the present invention provides an initial data processing method based on machine learning for recovering original scene data for extreme environments, including the following specific steps:
  • S1 Collect several scene data, and use front-end sensors to collect scene data to obtain several sets of scene data pairs; the data pairs include high-quality initial data and low-quality initial data of the same scene;
  • S5 Perform ISP image processing on the obtained high-quality initial data, and output to obtain a high-quality scene image.
  • the scenes are harsh or extreme natural scenes, including low-light scenes, under-exposed scenes, and over-exposed scenes.
  • the short exposure + long exposure method is adopted: first, the fixed camera is used to shoot the short-exposed Raw image, and then the camera is not moved to take the long-exposed Raw image;
  • the data pair acquisition is performed according to the data pair acquisition of the underexposure scene.
  • step S2 since each set of data contains high-quality initial data with good effect and low-quality initial data with poor effect in the same scene, the collected initial data pair is sent to a machine learning model to train the learning model.
  • the model mapping relationship between low-quality initial data and high-quality initial data is used to obtain a trained machine learning model.
  • the machine learning model is a learning model of a deep convolutional neural network, and network parameters of the deep convolutional neural network are consistent with U-Net.
  • the present invention also provides an initial data processing system based on machine learning for recovering original scene data for extreme environments, including the following specific modules:
  • a learning data acquisition module is used to collect several scene data, and use front-end sensors to collect scene data to obtain several sets of scene data pairs; the data pairs include high-quality initial data and low-quality initial data of the same scene;
  • a model training module which is used to train and construct a machine learning model by using several sets of collected scene data pairs
  • the to-be-processed data acquisition module is used to collect the initial data of the scene to be processed, and use the front-end sensors to collect the data of the severe or extreme scene to be processed to obtain the low-quality initial data corresponding to the scene;
  • a data recovery module which is used to input the obtained low-quality initial data into a trained machine learning model, and output the corresponding high-quality scene data after processing by the model;
  • An image processing module is configured to perform ISP image processing on the recovered high-quality initial data to output and obtain a high-quality scene image.
  • the scenes are harsh or extreme natural scenes, including low-light scenes, under-exposed scenes, and over-exposed scenes.
  • the short exposure + long exposure method is adopted: first, the fixed camera is used to shoot the short-exposed Raw image, and then the camera is not moved to take the long-exposed Raw image;
  • the data pair acquisition is performed according to the data pair acquisition of the underexposure scene.
  • each set of data contains high-quality initial data that performs well in the same scene and low-quality initial data that performs poorly
  • the collected initial data pairs are sent to a machine learning model and the learning model is processed.
  • the model mapping relationship between low-quality initial data and high-quality initial data is used to obtain a trained machine learning model.
  • the machine learning model is a learning model of a deep convolutional neural network, and network parameters of the deep convolutional neural network are consistent with U-Net.
  • the initial data processing method based on machine learning provided by the present invention has good universality for different extreme environments, and does not need to add different specific processing modules, which is suitable for various types of data processing.
  • the initial data processing method based on machine learning provided by the present invention by restoring the initial data, retains various detailed information in the initial data, and uses the initial data retaining the detailed information for ISP image processing to obtain high quality Output image.
  • FIG. 1 is a flowchart of initial data processing based on machine learning.
  • Figure 2 is a short exposure RAW image in a low light scene.
  • Figure 3 is a long exposure RAW image in a low light scene.
  • Figure 4 shows the output of the high-quality RGB image after ISP processing.
  • This embodiment is an initial data processing method based on machine learning.
  • machine learning or deep learning is used to recover high-quality scene data from corresponding RAW images and use them for subsequent images.
  • data processing The scene includes a natural environment, a face, or other scenes.
  • the method includes the following specific steps:
  • S1. Collect scene data, and use front-end sensors to collect scene data to obtain several sets of scene data pairs, where the data pairs include high-quality initial data and low-quality initial data of the same scene;
  • the processing method provided in this embodiment is mainly directed to harsh or extreme natural scenes, and mainly considers low-illumination, under-exposure, over-exposure, etc., different extreme scenes have different data collection methods.
  • the short exposure + long exposure method is adopted: Assume that the long exposure image is the reference image and the short exposure image is the input to-be-processed image.
  • the specific acquisition method is: first, fix the camera and shoot the short exposure Raw image, as shown in Figure 2, and then keep the camera still, take a long exposure Raw image, as shown in Figure 3;
  • data pair acquisition is performed in the manner of data collection of underexposure scenes.
  • the above original scene data refers to original raw image data, that is, the data collected and output is the raw data corresponding to the scene.
  • each set of data contains high-quality initial data that performs well in the same scene and low-quality initial data that performs poorly, these initial data pairs can be sent to the machine learning model.
  • the low-quality initial data is used.
  • Model mapping relationship between the data and high-quality initial data to obtain a trained machine learning model;
  • the machine learning model is a deep convolutional neural network. Since the design of the convolutional neural network model needs to follow the same principles as the input data and output data resolution size, number of channels, and data format, as long as the deep neural network that meets this condition can be used in the processing method of this embodiment, this The embodiment does not specifically limit this.
  • U-Net can be selected to design the convolutional neural network, and the detailed network design parameters are consistent with U-Net.
  • ISP image processing is performed on the obtained high-quality initial data to obtain a high-quality scene image, as shown in FIG. 4.
  • This embodiment is an initial data processing system based on machine learning. For a low-quality scene image, a machine learning model or a deep learning model is used to recover a high-quality scene image from the corresponding low-quality initial data.
  • the system includes the following specific processing modules:
  • a learning data acquisition module is used to collect several scene data, and use front-end sensors to collect scene data to obtain several sets of scene data pairs, where the data pairs include high-quality initial data and low-quality initial data of the same scene;
  • the processing system provided in this embodiment is mainly directed to harsh or extreme natural scenes, and mainly considers low illumination, underexposure, overexposure, etc., the data collection methods corresponding to different extreme scenes are different.
  • the short exposure + long exposure method is adopted: Assume that the long exposure image is the reference image and the short exposure image is the input pending image.
  • the specific acquisition method is: first fix the camera and shoot the short exposure Raw Image, then keep the camera still and take long exposure Raw images;
  • data pair acquisition is performed in the manner of data collection of underexposure scenes.
  • the above-mentioned initial data refers to initial raw image data, that is, the data collected and output is scene raw data.
  • a model training module which is used to train and construct a machine learning model by using several sets of collected scene data pairs
  • each set of data contains high-quality initial data that performs well in the same scene and low-quality initial data that performs poorly, these initial data pairs can be sent to the machine learning model.
  • the low-quality initial data is used.
  • Model mapping relationship between the data and high-quality initial data to obtain a trained machine learning model;
  • the machine learning model is a deep convolutional neural network. Since the design of the convolutional neural network model needs to follow the same principles as the input data and output data resolution size, number of channels, and data format, as long as the deep neural network that meets this condition can be used in the processing method of this embodiment, this The embodiment does not specifically limit this.
  • U-Net can be selected to design the convolutional neural network, and the detailed network design parameters are consistent with U-Net.
  • the to-be-processed data acquisition module is used to collect the initial data of the scene to be processed, and use the front-end sensors to collect the data of the severe or extreme scene to be processed to obtain the low-quality initial data corresponding to the scene;
  • a data recovery module which is used to input the low-quality initial data to be processed into a trained machine learning model, and output the corresponding high-quality scene data after the model is processed;
  • An image processing module is configured to perform ISP image processing on the recovered high-quality initial data to output and obtain a high-quality scene image.
  • the invention is not limited to the foregoing specific embodiments.
  • the invention extends to any new feature or any new combination disclosed in this specification, and to any new method or process step or any new combination disclosed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种基于机器学习的初始数据处理方法和系统，涉及数据处理领域。所述方法包括以下步骤：采集若干场景数据（S1）；利用采集的若干组场景数据对进行训练和构建机器学习模型（S2）；采集待处理的低质量初始数据（S3）；将获取的低质量初始数据输入经过训练好的机器学习模型，输出得到对应的高质量的场景数据（S4）；将得到的高质量初始数据进行ISP图像处理，获得高质量的场景图像（S5）。该方案针对于不同的极端环境都具有较好的通用性，不需要增加不同的特定处理模块，适用各类数据处理，通过将初始数据做恢复处理，保留初始数据中的各种细节信息，并将保留细节信息的初始数据用于ISP图像处理，得到高质量的输出图像。

Description

一种基于机器学习的初始数据处理方法和系统 技术领域
本发明涉及数据处理领域，尤其是一种基于机器学习的初始数据处理方法和系统。
背景技术
随着计算机视觉技术的快速发展，摄像头作为一种重要的感知手段，被广泛应用于安防、监控等领域。作为后端处理模块的输入端，摄像头成像质量的好坏至关重要。从传感器端获取初始数据之后，传统的处理流程是直接将初始数据送到ISP(图像信号处理)模块,经过ISP模块处理之后输出YUV或者RGB图像。该处理流程在正常环境下可以取得较好的效果，但是，在某些环境恶劣或极端条件下输出的图像效果不够理想，后端处理模块还需要增加特定模块来对信号单独进行处理。这类处理方法会带来一定的缺陷：一方面，不同的极端环境需要增加不同的特定处理模块，不具有通用性；另一方面，ISP的处理会造成初始数据细节信息的丢失，在已经丢失输入信息的前提下特定处理模块无法做到最优。
发明内容
本发明的发明目的在于：针对上述存在的问题，为了提高摄像头在极端环境下的成像效果，减少后端的处理模块，提出了一种新的ISP处理方法，通过在获得的raw数据之后增加一个raw数据的处理模块，原始raw数据经过raw数据处理模块之后再送入ISP模块。
本发明采用的技术方案如下：
一方面，本发明提供了一种基于机器学习的初始数据处理方法，用于针对极端环境进行原始场景数据恢复，包括以下具体步骤：
S1，采集若干场景数据，利用前端的传感器对场景数据进行采集，得到若干组场景数据对；所述数据对包括同一场景的高质量初始数据和低质量初始数据；
S2，利用采集的若干组场景数据对进行训练和构建机器学习模型；
S3，采集待处理的场景初始数据，利用前端传感器对待处理的恶劣或极端场景数据进行采集，得到该场景对应的待处理的低质量初始数据；
S4，将获取的低质量初始数据输入经过训练好的机器学习模型，通过模型处理后输出得到对应的高质量的场景数据；
S5，将得到的高质量初始数据进行ISP图像处理，输出获得高质量的场景图像。
所述场景为恶劣或极端的自然场景，包括低照度场景、欠曝场景、过曝场景。
不同的极端场景对应的数据对采集方式不同；
对于低照度场景的数据对采集，采用短曝光+长曝光的方式：首先固定摄像头拍摄短曝光Raw图像，然后保持摄像头不动，拍摄长曝光Raw图像；
对于欠曝光场景的数据对采集：首先固定摄像头拍摄该场景正常光照条件下的Raw图像，然后调节环境亮度，使场景中的目标物体处于欠曝光环境，并拍摄对应的Raw图像；
对于过曝光场景的数据对采集，按照欠曝光场景数据对采集的方式进行数据对采集。
所述步骤S2中，由于每组数据对包含同一场景的效果较好的高质量初始数据和效果较差的低质量初始数据，将采集的初始数据对送入机器学习模型对学习模型进行训练，利用低质量初始数据和高质量初始数据之间的模型映射关系，得到训练好的机器学习模型。
所述机器学习模型为深度卷积神经网络的学习模型，所述深度卷积神经网络的网络参数与U-Net保持一致。
另一方面，本发明还提供一种基于机器学习的初始数据处理系统，用于针对极端环境进行原始场景数据恢复，包括以下具体模块：
学习数据采集模块，用于采集若干场景数据，利用前端的传感器对场景数据进行采集，得到若干组场景数据对；所述数据对包括同一场景的高质量初始数据和低质量初始数据；
模型训练模块，用于利用采集的若干组场景数据对进行训练和构建机器学习模型；
待处理数据采集模块，用于采集待处理的场景初始数据，利用前端传感器对待处理的恶劣或极端场景数据进行采集，得到该场景对应的待处理的低质量初始数据；
数据恢复模块，用于将获取的低质量初始数据输入经过训练好的机器学习模型，通过模型处理后输出得到对应的高质量的场景数据；
图像处理模块，用于将恢复得到的高质量初始数据进行ISP图像处理，输出获得高质量的场景图像。
所述场景为恶劣或极端的自然场景，包括低照度场景、欠曝场景、过曝场景。
不同的极端场景对应的数据对采集方式不同；
对于低照度场景的数据对采集，采用短曝光+长曝光的方式：首先固定摄像头拍摄短曝光Raw图像，然后保持摄像头不动，拍摄长曝光Raw图像；
对于欠曝光场景的数据对采集：首先固定摄像头拍摄该场景正常光照条件下的Raw图像，然后调节环境亮度，使场景中的目标物体处于欠曝光环境，并拍摄对应的Raw图像；
对于过曝光场景的数据对采集，按照欠曝光场景数据对采集的方式进行数据对采集。
在所述模型训练模块中，由于每组数据对包含同一场景的效果较好的高质量初始数据和效果较差的低质量初始数据，将采集的初始数据对送入机器学习模型对学习模型进行训练， 利用低质量初始数据和高质量初始数据之间的模型映射关系，得到训练好的机器学习模型。
所述机器学习模型为深度卷积神经网络的学习模型，所述深度卷积神经网络的网络参数与U-Net保持一致。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明提供的基于机器学习的初始数据处理方法，针对于不同的极端环境都具有较好的通用性，不需要增加不同的特定处理模块，适用各类数据处理
2、本发明提供的基于机器学习的初始数据处理方法，通过将初始数据做恢复处理，保留初始数据中的各种细节信息，并将保留细节信息的初始数据用于ISP图像处理，得到高质量的输出图像。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是基于机器学习的初始数据处理流程图。
图2是低照度场景下的短曝光RAW图。
图3是低照度场景下的长曝光RAW图。
图4是输出的经过ISP处理高质量的RGB图像。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。
实施例1
本实施例为一种基于机器学习的初始数据处理方法，针对低质量的场景图像，采用机器学习或深度学习的方式，从对应的RAW图中恢复出高质量的场景数据，并用于后续的图像数据处理。该场景包括自然环境、人脸或其他场景。
如图1所示，该方法包括以下具体步骤：
S1，采集场景数据，利用前端的传感器对场景数据进行采集，得到若干组场景数据对，所述数据对包括同一场景的高质量初始数据和低质量初始数据；
由于本实施例提供的处理方法主要针对恶劣或极端的自然场景，主要考虑低照度、欠曝、过曝等情况，不同的极端场景对应的数据对采集方式不同。
对于低照度场景的数据对采集，采用短曝光+长曝光的方式：假设长曝光的图像为参考 图像，短曝光图像为输入的待处理图像，具体采集方式是：首先固定摄像头，拍摄短曝光的Raw图像，如图2所示，然后保持摄像头不动，拍摄长曝光Raw图像，如图3所示；
对于欠曝光场景的数据对采集，首先固定摄像头，拍摄该场景正常光照条件下的Raw图像，然后调节环境亮度，使场景中的目标物体处于欠曝光的情况，并拍摄对应的Raw图像，拍摄过程中需要场景中物体保持静止状态；
对于过曝光场景的数据对采集，按照欠曝光场景数据采集的方式进行数据对采集。
在本实施例中上述原始场景数据是指原始的raw图像数据，即采集输出的数据为场景对应的raw数据。
S2，利用采集的若干组场景数据对进行训练和构建机器学习模型；
由于每组数据对包含同一场景的效果较好的高质量初始数据和效果较差的低质量初始数据，因此可以将这些初始数据对送入机器学习模型通过对学习模型的训练，利用低质量初始数据和高质量初始数据之间的模型映射关系，得到训练好的机器学习模型；
在机器学习中，深度学习是其中重要的一部分，在一个实施例中所述机器学习模型为深度卷积神经网络。由于卷积神经网络模型的设计需要遵循输入数据和输出数据分辨率大小、通道数、数据格式等一致的原则，只要满足该条件的深度神经网络都可以用于本实施例的处理方法，因此本实施例对此不做具体限定。
在一个实施例中可以选取U-Net来设计卷积神经网络，网络设计详细参数与U-Net保持一致。
S3，采集待处理的场景初始数据，利用前端传感器对待处理的恶劣或极端场景数据进行采集，得到该场景对应的待处理的低质量初始数据；
S4，将获取的低质量初始数据输入经过训练好的机器学习模型，通过模型处理后输出得到对应的高质量的场景数据；
S5，将得到的高质量初始数据进行ISP图像处理，输出获得高质量的场景图像,如图4所示。
实施例2
本实施例为一种基于机器学习的初始数据处理系统，针对低质量的场景图像，利用机器学习模型或深度学习模型，从对应的低质量初始数据中恢复出高质量的场景图像。该系统包括以下具体处理模块：
学习数据采集模块，用于采集若干场景数据，利用前端的传感器对场景数据进行采集，得到若干组场景数据对，所述数据对包括同一场景的高质量初始数据和低质量初始数据；
由于本实施例提供的处理系统主要针对恶劣或极端的自然场景，主要考虑低照度、欠曝、过曝等情况，不同的极端场景对应的数据对采集方式不同。
对于低照度场景的数据对采集，采用短曝光+长曝光的方式：假设长曝光的图像为参考图像，短曝光图像为输入的待处理图像，具体采集方式是：首先固定摄像头，拍摄短曝光Raw图像，然后保持摄像头不动，拍摄长曝光Raw图像；
对于欠曝光场景的数据对采集，首先固定摄像头，拍摄该场景正常光照条件下的Raw图像，然后调节环境亮度，使场景中的目标物体处于欠曝光的情况，并拍摄对应的Raw图像，拍摄过程中需要场景中物体保持静止状态；
对于过曝光场景的数据对采集，按照欠曝光场景数据采集的方式进行数据对采集。
在本实施例中上述初始数据均是指初始的raw图像数据，即采集输出的数据为场景raw数据。
模型训练模块，用于利用采集的若干组场景数据对进行训练和构建机器学习模型；
由于每组数据对包含同一场景的效果较好的高质量初始数据和效果较差的低质量初始数据，因此可以将这些初始数据对送入机器学习模型通过对学习模型的训练，利用低质量初始数据和高质量初始数据之间的模型映射关系，得到训练好的机器学习模型；
在一个实施例中所述机器学习模型为深度卷积神经网络。由于卷积神经网络模型的设计需要遵循输入数据和输出数据分辨率大小、通道数、数据格式等一致的原则，只要满足该条件的深度神经网络都可以用于本实施例的处理方法，因此本实施例对此不做具体限定。
在一个实施例中可以选取U-Net来设计卷积神经网络，网络设计详细参数与U-Net保持一致。
待处理数据采集模块，用于采集待处理的场景初始数据，利用前端传感器对待处理的恶劣或极端场景数据进行采集，得到该场景对应的待处理的低质量初始数据；
数据恢复模块，用于待处理的低质量初始数据输入经过训练好的机器学习模型，通过模型处理后输出得到对应的高质量的场景数据；
图像处理模块，用于将恢复得到的高质量初始数据进行ISP图像处理，输出获得高质量的场景图像。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征 或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

  1. 一种基于机器学习的初始数据处理方法，用于针对极端环境进行原始场景数据恢复，其特征在于，包括以下具体步骤：
    S1，采集若干场景数据，利用前端的传感器对场景数据进行采集，得到若干组场景数据对；所述数据对包括同一场景的高质量初始数据和低质量初始数据；
    S2，利用采集的若干组场景数据对进行训练和构建机器学习模型；
    S3，采集待处理的场景初始数据，利用前端传感器对待处理的恶劣或极端场景数据进行采集，得到该场景对应的待处理的低质量初始数据；
    S4，将获取的低质量初始数据输入经过训练好的机器学习模型，通过模型处理后输出得到对应的高质量的场景数据；
    S5，将得到的高质量初始数据进行ISP图像处理，输出获得高质量的场景图像。
  2. 如权利要求1所述的一种基于机器学习的初始数据处理方法，其特征在于，所述场景为恶劣或极端的自然场景，包括低照度场景、欠曝场景、过曝场景。
  3. 如权利要求2所述的一种基于机器学习的初始数据处理方法，其特征在于，不同的极端场景对应的数据对采集方式不同；
    对于低照度场景的数据对采集，采用短曝光+长曝光的方式：首先固定摄像头拍摄短曝光Raw图像，然后保持摄像头不动，拍摄长曝光Raw图像；
    对于欠曝光场景的数据对采集：首先固定摄像头拍摄该场景正常光照条件下的Raw图像，然后调节环境亮度，使场景中的目标物体处于欠曝光环境，并拍摄对应的Raw图像；
    对于过曝光场景的数据对采集，按照欠曝光场景数据对采集的方式进行数据对采集。
  4. 如权利要求1所述的一种基于机器学习的初始数据处理方法，其特征在于，所述步骤S2中，由于每组数据对包含同一场景的效果较好的高质量初始数据和效果较差的低质量初始数据，将采集的初始数据对送入机器学习模型对学习模型进行训练，利用低质量初始数据和高质量初始数据之间的模型映射关系，得到训练好的机器学习模型。
  5. 如权利要求1所述的一种基于机器学习的初始数据处理方法，其特征在于，所述机器学习模型为深度卷积神经网络的学习模型，所述深度卷积神经网络的网络参数与U-Net保持一致。
  6. 一种基于机器学习的初始数据处理系统，用于针对极端环境进行原始场景数据恢复，其特征在于，包括以下具体模块：
    学习数据采集模块，用于采集若干场景数据，利用前端的传感器对场景数据进行采集，得到若干组场景数据对；所述数据对包括同一场景的高质量初始数据和低质量初始数据；
    模型训练模块，用于利用采集的若干组场景数据对进行训练和构建机器学习模型；
    待处理数据采集模块，用于采集待处理的场景初始数据，利用前端传感器对待处理的恶劣或极端场景数据进行采集，得到该场景对应的待处理的低质量初始数据；
    数据恢复模块，用于将获取的低质量初始数据输入经过训练好的机器学习模型，通过模型处理后输出得到对应的高质量的场景数据；
    图像处理模块，用于将恢复得到的高质量初始数据进行ISP图像处理，输出获得高质量的场景图像。
  7. 如权利要求6所述的一种基于机器学习的初始数据处理系统，其特征在于，所述场景为恶劣或极端的自然场景，包括低照度场景、欠曝场景、过曝场景。
  8. 如权利要求7所述的一种基于机器学习的初始数据处理系统，其特征在于，不同的极端场景对应的数据对采集方式不同；
    对于低照度场景的数据对采集，采用短曝光+长曝光的方式：首先固定摄像头拍摄短曝光Raw图像，然后保持摄像头不动，拍摄长曝光Raw图像；
    对于欠曝光场景的数据对采集：首先固定摄像头拍摄该场景正常光照条件下的Raw图像，然后调节环境亮度，使场景中的目标物体处于欠曝光环境，并拍摄对应的Raw图像；
    对于过曝光场景的数据对采集，按照欠曝光场景数据对采集的方式进行数据对采集。
  9. 如权利要求6所述的一种基于机器学习的初始数据处理方法，其特征在于，在所述模型训练模块中，由于每组数据对包含同一场景的效果较好的高质量初始数据和效果较差的低质量初始数据，将采集的初始数据对送入机器学习模型对学习模型进行训练，利用低质量初始数据和高质量初始数据之间的模型映射关系，得到训练好的机器学习模型。
  10. 如权利要求6所述的一种基于机器学习的初始数据处理方法，其特征在于，所述机器学习模型为深度卷积神经网络的学习模型，所述深度卷积神经网络的网络参数与U-Net保持一致。
PCT/CN2018/112594 2018-09-28 2018-10-30 一种基于机器学习的初始数据处理方法和系统 WO2020062393A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811138528.XA CN109284719A (zh) 2018-09-28 2018-09-28 一种基于机器学习的初始数据处理方法和系统
CN201811138528.X 2018-09-28

Publications (1)

Publication Number Publication Date
WO2020062393A1 true WO2020062393A1 (zh) 2020-04-02

Family

ID=65182348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/112594 WO2020062393A1 (zh) 2018-09-28 2018-10-30 一种基于机器学习的初始数据处理方法和系统

Country Status (2)

Country Link
CN (1) CN109284719A (zh)
WO (1) WO2020062393A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096172A (zh) * 2021-03-22 2021-07-09 西安交通大学 一种iToF深度数据到原始raw数据的反向生成方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199141A1 (zh) * 2019-04-02 2020-10-08 深圳市大疆创新科技有限公司 过曝恢复处理方法、设备及计算机可读存储介质
CN110189354B (zh) * 2019-04-18 2021-12-28 北京迈格威科技有限公司 图像处理方法与图像处理器、图像处理设备及介质
US11082622B2 (en) 2019-12-13 2021-08-03 Nuro, Inc. Systems and methods for dynamically switching image signal processor configurations
CN111272277A (zh) * 2020-01-21 2020-06-12 中国工程物理研究院激光聚变研究中心 一种基于神经网络的激光脉冲波形测量畸变校正方法及系统
CN113884497B (zh) * 2021-09-09 2023-03-14 上海深视信息科技有限公司 一种基于复合光源的fpca飞拍检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079938A (zh) * 2014-06-27 2014-10-01 西安空间无线电技术研究所 一种传输质量可控的图像自隐藏方法
CN104219488A (zh) * 2013-05-31 2014-12-17 索尼公司 目标图像的生成方法和装置、以及视频监控系统
CN105611187A (zh) * 2015-12-22 2016-05-25 歌尔声学股份有限公司 一种基于双摄像头的图像宽动态补偿方法及系统
CN107945139A (zh) * 2017-12-15 2018-04-20 深圳大学 一种图像处理方法、存储介质及智能终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850729B1 (ko) * 2000-07-06 2008-08-06 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 데이터 해상도를 향상시키는 방법 및 장치
CN104134352B (zh) * 2014-08-15 2018-01-19 青岛比特信息技术有限公司 基于长短曝光结合的视频车辆特征检测系统及其检测方法
CN104851079B (zh) * 2015-05-06 2016-07-06 中国人民解放军国防科学技术大学 基于噪声/模糊图像对的低照度车牌图像恢复方法
CN106251300B (zh) * 2016-07-26 2019-04-09 华侨大学 一种基于Retinex的快速夜间雾天图像复原方法
CN106375666B (zh) * 2016-09-26 2019-04-16 成都臻识科技发展有限公司 一种基于车牌的自动对焦方法及装置
CN107045715B (zh) * 2017-02-22 2019-06-07 西南科技大学 一种单幅低动态范围图像生成高动态范围图像的方法
CN107194873B (zh) * 2017-05-11 2020-12-08 南京邮电大学 基于耦合字典学习的低秩核范数正则人脸图像超分辨方法
CN107507141A (zh) * 2017-08-07 2017-12-22 清华大学深圳研究生院 一种基于自适应残差神经网络的图像复原方法
CN108038832A (zh) * 2017-12-25 2018-05-15 中国科学院深圳先进技术研究院 一种水下图像增强方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219488A (zh) * 2013-05-31 2014-12-17 索尼公司 目标图像的生成方法和装置、以及视频监控系统
CN104079938A (zh) * 2014-06-27 2014-10-01 西安空间无线电技术研究所 一种传输质量可控的图像自隐藏方法
CN105611187A (zh) * 2015-12-22 2016-05-25 歌尔声学股份有限公司 一种基于双摄像头的图像宽动态补偿方法及系统
CN107945139A (zh) * 2017-12-15 2018-04-20 深圳大学 一种图像处理方法、存储介质及智能终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096172A (zh) * 2021-03-22 2021-07-09 西安交通大学 一种iToF深度数据到原始raw数据的反向生成方法
CN113096172B (zh) * 2021-03-22 2023-10-27 西安交通大学 一种iToF深度数据到原始raw数据的反向生成方法

Also Published As

Publication number Publication date
CN109284719A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
WO2020062393A1 (zh) 一种基于机器学习的初始数据处理方法和系统
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021077963A1 (zh) 图像融合的方法、装置、电子设备及可读存储介质
US20210383511A1 (en) Bright Spot Removal Using A Neural Network
WO2019233393A1 (zh) 图像处理方法和装置、存储介质、电子设备
US10511785B2 (en) Temporally aligned exposure bracketing for high dynamic range imaging
WO2022062346A1 (zh) 图像增强方法、装置及电子设备
JP2022501982A (ja) ニューラルネットワークを使用した写真の露出不足補正
CN106713755A (zh) 全景图像的处理方法及装置
CN111402145B (zh) 一种基于深度学习的自监督低照度图像增强方法
CN113228094A (zh) 图像处理器
CN109712177A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108717530A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
WO2010118658A1 (zh) 一种视频处理方法及装置
CN112651903A (zh) 红外热像仪图像预处理系统及其预处理方法
CN108156369A (zh) 图像处理方法和装置
WO2021238522A1 (zh) 多媒体处理芯片、电子设备和图像处理方法
CN107341516A (zh) 图像质量调节方法和图像处理智能平台
CN108012135B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN108322648A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
Kim et al. Dark synthetic vision: Lightweight active vision to navigate in the dark
WO2023219466A1 (en) Methods and systems for enhancing low light frame in a multi camera system
CN107454318A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108881708A (zh) 一种智能图像处理装置
CN107392870A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18935819

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18935819

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18935819

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23/12/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18935819

Country of ref document: EP

Kind code of ref document: A1