WO2023231138A1 - 基于元成像的多视角图像超分辨重建方法及装置 - Google Patents
基于元成像的多视角图像超分辨重建方法及装置 Download PDFInfo
- Publication number
- WO2023231138A1 WO2023231138A1 PCT/CN2022/103912 CN2022103912W WO2023231138A1 WO 2023231138 A1 WO2023231138 A1 WO 2023231138A1 CN 2022103912 W CN2022103912 W CN 2022103912W WO 2023231138 A1 WO2023231138 A1 WO 2023231138A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- view
- images
- resolution
- training
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003384 imaging method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 79
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
Definitions
- the present application relates to the field of image reconstruction technology, and in particular to a multi-view image super-resolution reconstruction method and device based on meta-imaging.
- the resolution of images can be improved by reducing the pixel size, increasing the chip size, changing the arrangement of detection elements, and reconstructing super-resolution images.
- Improving the level of technology, reducing the size of the detection element, and increasing the density of the CCD (Charge Coupled Device) camera detection element can achieve the purpose of reducing the pixel size and improving the image resolution, but this will also reduce the illumination received by each pixel.
- exposure noise becomes more obvious, causing image quality to deteriorate.
- the multi-view image super-resolution reconstruction method based on meta-imaging proposed in the embodiment of the present application, by collecting multi-view images of the object to be reconstructed; filtering multi-view target images lower than the preset resolution from the multi-view images; The target image is input into a pre-trained image reconstruction model to obtain a multi-view reconstructed image of the object to be reconstructed.
- the pre-trained image reconstruction model consists of multiple images lower than the first preset resolution threshold and corresponding images higher than the second preset resolution. Trained on images with rate threshold. As a result, higher multi-view resolution images can be restored with fewer scans, and ultimately high-resolution two-dimensional or three-dimensional images can be reconstructed.
- a second acquisition module configured to acquire multiple images of the training reconstructed object below the first preset before inputting the multi-view target image into the pre-trained image reconstruction model.
- the processor 402 executes the program, it implements the multi-view image super-resolution reconstruction method based on meta-imaging provided in the above embodiment.
- N steps or methods may be implemented using software or firmware stored in a memory and executed by a suitable instruction execution system.
- a suitable instruction execution system For example, if it is implemented in hardware, as in another embodiment, it can be implemented by any one of the following technologies known in the art or their combination: discrete logic gate circuits with logic functions for implementing data signals; Logic circuits, application specific integrated circuits with suitable combinational logic gates, programmable gate arrays (PGA), field programmable gate arrays (FPGA), etc.
Abstract
一种基于元成像的多视角图像超分辨重建方法、装置及设备，涉及图像重建技术领域，其中，方法包括：采集待重建物体的多视角图像（S101）；从多视角图像中筛选低于预设分辨率的多视角目标图像（S102）；将多视角目标图像输入预先训练的图像重建模型，得到待重建物体的多视角重建图像，其中，预先训练的图像重建模型由多张低于第一预设分辨阈值的图像和对应高于第二预设分辨率阈值的图像训练得到（S103），利用多视角图像间的冗余采样特性，在较少的扫描次数下恢复较高的多视角分辨率图像，最终利用神经网络模型实现低分辨多视角图像的重建。由此，解决了传统扫描光场图像重建时，扫描次数过多，且恢复的多视角分辨率图像的准确度较低等问题。
Description
相关申请的交叉引用
本申请基于申请号为202210605176.4，申请日为2022年05月30日申请的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
本申请涉及图像重建技术领域，特别涉及一种基于元成像的多视角图像超分辨重建方法及装置。
目前，任何视频摄像设备均受成像系统物理条件和拍摄环境等影响，实际得到的图像质量差、分辨率低。
相关技术中，要提高图像的分辨率可以通过减小像素尺寸、增加芯片规模、改变探测元排列方式和超分辨率图像重建几种方式。提高工艺水平，减小探测元尺寸，增加CCD(Charge Coupled Device)相机探测元密度，虽然可以达到减小像素尺寸和提高图像分辨率的目的，但这同时会使每个像素获得的光照减少，相应地使曝光噪声更加明显，引起图像质量恶化。
相关技术难以恢复较高的多视角分辨率图像，无法重建高分辨率的二维或三维图像，亟待解决。
发明内容
本申请提供一种基于元成像的多视角图像超分辨重建方法、装置、电子设备及存储介质，以解决传统光场超分辨工作时，扫描次数过多，且恢复的多视角分辨率图像的准确度较低等问题。
本申请第一方面实施例提供一种基于元成像的多视角图像超分辨重建方法，包括以下步骤：采集待重建物体的多视角图像；从所述多视角图像中筛选低于预设分辨率的多视角目标图像；将所述多视角目标图像输入预先训练的图像重建模型，得到所述待重建物体的多视角重建图像，其中，所述预先训练的图像重建模型由多张低于第一预设分辨阈值的图 像和对应高于第二预设分辨率阈值的图像训练得到。
可选地，在本申请的一个实施例中，将所述多视角目标图像输入预先训练的图像重建模型之前，还包括：采集训练重建物体的多张低于所述第一预设分辨阈值的第一多视角训练图像以及与所述第一多视角训练图像对应的多张高于所述第二预设分辨率阈值的第二多视角训练图像，其中，所述第二预设分辨率阈值大于所述第一预设分辨率阈值；以所述第一多视角训练图像为输入，所述第二多视角训练图像为输出，训练神经网络模型；在所述神经网络模型满足训练终止条件时，生成所述预先训练的图像重建模型。
可选地，在本申请的一个实施例中，所述训练终止条件包括：所述神经网络的输出图像与输入图像的分辨率差值大于预设分辨率差值或迭代次数满足预设次数。
可选地，在本申请的一个实施例中，在生成所述预先训练的图像重建模型之前，还包括：获取所述图像重建模型中输入图像与输出图像的目标分辨率差值；根据所述目标分辨率差值匹配所述第一预设分辨阈值和所述第二预设分辨率阈值的差值。
可选地，在本申请的一个实施例中，在得到所述待重建物体的多视角重建图像之后，还包括：利用图像重建算法对所述多视角重建图像进行再重建，得到所述待重建物体的二维或三维重建图像。
本申请第二方面实施例提供一种基于元成像的多视角图像超分辨重建装置，包括：第一采集模块，用于采集待重建物体的多视角图像；筛选模块，用于从所述多视角图像中筛选低于预设分辨率的多视角目标图像；第一重建模块，用于将所述多视角目标图像输入预先训练的图像重建模型，得到所述待重建物体的多视角重建图像，其中，所述预先训练的图像重建模型由多张低于第一预设分辨阈值的图像和对应高于第二预设分辨率阈值的图像训练得到。
可选地，在本申请的一个实施例中，还包括：第二采集模块，用于将所述多视角目标图像输入预先训练的图像重建模型之前，采集训练重建物体的多张低于所述第一预设分辨阈值的第一多视角训练图像以及与所述第一多视角训练图像对应的多张高于所述第二预设分辨率阈值的第二多视角训练图像，其中，所述第二预设分辨率阈值大于所述第一预设分辨率阈值；训练模块，用于以所述第一多视角训练图像为输入，所述第二多视角训练图像为输出，训练神经网络模型；生成模块，用于在所述神经网络模型满足训练终止条件时，生成所述预先训练的图像重建模型。
可选地，在本申请的一个实施例中，所述训练终止条件包括：所述神经网络的输出图像与输入图像的分辨率差值大于预设分辨率差值或迭代次数满足预设次数。
可选地，在本申请的一个实施例中，还包括：获取模块，用于在生成所述预先训练的图像重建模型之前，获取所述图像重建模型中输入图像与输出图像的目标分辨率差值；匹 配模块，用于根据所述目标分辨率差值匹配所述第一预设分辨阈值和所述第二预设分辨率阈值的差值。
可选地，在本申请的一个实施例中，还包括：第二重建模块，用于在得到所述待重建物体的多视角重建图像之后，利用图像重建算法对所述多视角重建图像进行再重建，得到所述待重建物体的二维或三维重建图像。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的基于元成像的多视角图像超分辨重建方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的基于元成像的多视角图像超分辨重建方法。
由此，本申请实施例具有以下有益效果：
本申请实施例通过采集待重建物体的多视角图像；从多视角图像中筛选低于预设分辨率的多视角目标图像；将多视角目标图像输入预先训练的图像重建模型，得到待重建物体的多视角重建图像，其中，预先训练的图像重建模型由多张低于第一预设分辨阈值的图像和对应高于第二预设分辨率阈值的图像训练得到，利用多视角图像间的冗余采样特性，在较少的扫描次数下恢复较高的多视角分辨率图像，最终利用神经网络模型实现低分辨多视角图像的重建。由此，解决了传统光场超分辨工作时，扫描次数过多，且恢复的多视角分辨率图像的准确度较低等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于元成像的多视角图像超分辨重建方法的流程图；
图2为根据本申请的一个实施例提供的一种图像重建模型的训练和预测过程执行逻辑示意图；
图3为根据本申请实施例的基于元成像的多视角图像超分辨重建装置的示例图；
图4为申请实施例提供的电子设备的结构示意图。
附图标记说明：第一采集模块-100、筛选模块-200、第一重建模块-300、存储器-401、处理器-402、通信接口-403。
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于元成像的多视角图像超分辨重建方法、装置、电子设备及存储介质。针对上述背景技术中提到的问题，本申请提供了一种基于元成像的多视角图像超分辨重建方法，在该方法中，本申请实施例通过采集待重建物体的多视角图像；从多视角图像中筛选低于预设分辨率的多视角目标图像；将多视角目标图像输入预先训练的图像重建模型，得到待重建物体的多视角重建图像，其中，预先训练的图像重建模型由多张低于第一预设分辨阈值的图像和对应高于第二预设分辨率阈值的图像训练得到，利用多视角图像间的冗余采样特性，在较少的扫描次数下恢复较高的多视角分辨率图像，最终利用神经网络模型实现低分辨多视角图像的重建。由此，解决了传统光场超分辨工作时，扫描次数过多，且恢复的多视角分辨率图像的准确度较低等问题
具体而言，图1为本申请实施例所提供的一种基于元成像的多视角图像超分辨重建方法的流程图。
如图1所示，该基于元成像的多视角图像超分辨重建方法包括以下步骤：
在步骤S101中，采集待重建物体的多视角图像。
为了重建待重建物体，本申请的实施例可以采集待重建物体的多视角图像，对待重建物体进行多角度、多姿态的采集得到多张多视角图像。采集图像的方式有多种，如通过相机或具有镜头的成像系统等进行采集，不作具体限定。
在步骤S102中，从多视角图像中筛选低于预设分辨率的多视角目标图像。
可以理解的是，本申请的实施例可以提高将低分辨率的多视角图像重建为高分辨率的重建图像。本申请的实施例在采集到待重建物体的多视角图像后，可以对多视角图像进行筛选，筛选出分辨率低于预设分辨的多张多视角图像进行重建。
具体地，在本申请的实施例中，为了提高多视角图像超分辨重建的效果，可以输入多张分辨率尽可能为相对较低的图像。特别的，这些多张相对低分辨率图像的特点为：多视角图像至少由2次或大于两次的扫描次数产生。
在步骤S103中，将多视角目标图像输入预先训练的图像重建模型，得到待重建物体的多视角重建图像，其中，预先训练的图像重建模型由多张低于第一预设分辨阈值的图像和对应高于第二预设分辨率阈值的图像训练得到。
将经过筛选之后的，即多视角图像中低于预设分辨率的多视角目标图像作为输入图像，输入至预先训练的图像融合模型，得到多视角重建图像。通过神经网络模型实现了多视角目标图像的多视角图像超分辨重建。
本领域技术人员可以理解的是，在本申请的实施例中，可以利用基于3DUnet与注意力机制的卷积神经网络实现上述的图像重建模型。具体地，通过输入相对低分辨率的多视角图像作为一个三维图像堆栈，利用三维卷积学习每个视角以及不同视角间的特征，最终输出真值为超分辨的多视角图像。其中，上述注意力机制模块设置在3DUnet左侧的降采样与右侧的去卷积减的级联中。在具体实现过程中，技术人员还可以采取其他基于深度学习的超分辨图像重建策略，于此不做具体限制。
可选地，在本申请的一个实施例中，将多视角目标图像输入预先训练的图像重建模型之前，还包括：采集训练重建物体的多张低于第一预设分辨阈值的第一多视角训练图像以及与第一多视角训练图像对应的多张高于第二预设分辨率阈值的第二多视角训练图像，其中，第二预设分辨率阈值大于第一预设分辨率阈值；以第一多视角训练图像为输入，第二多视角训练图像为输出，训练神经网络模型；在神经网络模型满足训练终止条件时，生成预先训练的图像重建模型。
具体地，图像重建模型的训练过程采用的是监督训练方式，模型训练的输入图像均有其对应的结果标签。需要注意的是，模型训练的输入数据为多张相对低分辨率的多视角图像。特别的，这些多张相对低分辨率的多视角图像的特点为：多视角图像至少由2次或大于两次的扫描次数产生。
训练的输出数据，即标签应为相对高分辨率多视角图像。这些多视角高分辨率图像的特点为：高分辨率多视角图像应与输入的多张低分辨率多视角图像具有一一对应关系。在训练时，提升的分辨率倍数由训练数据决定，可以为2倍，3倍，4倍，5倍等。
可选地，在本申请的一个实施例中，训练终止条件包括：神经网络的输出图像与输入图像的分辨率差值大于预设分辨率差值或迭代次数满足预设次数。
将低分辨率的多视角图像训练数据输入模型后，得到高分辨率的多视角重建图像。在训练过程中，本领域技术人员可根据实际情况，如输出图像与输入图像之间分辨率的差值或倍数等方式，决定是否终止模型的训练。举例而言，当输出图像分辨为输入图像分辨率的5倍时，终止模型的训练。此外，技术人员也可将输出图像与输入图像之间平均分辨率的差值或倍数给予适当的权重作为超参数结合一些损失函数，通过反向传播不断的更新各个参数，在使得损失函数值达到一定范围后，模型训练结束，在实现过程中，本领域技术人员可根据实际情况和要求，自行选择模型训练终止的条件，于此不作具体限制。
可选地，在本申请的一个实施例中，在生成预先训练的图像重建模型之前，还包括：获取图像重建模型中输入图像与输出图像的目标分辨率差值；根据目标分辨率差值匹配第一预设分辨阈值和第二预设分辨率阈值的差值。
可以理解的是，在训练时，输入为多张低于所述第一预设分辨阈值的第一多视角训练图像，输出为与所述第一多视角训练图像对应的多张高于所述第二预设分辨率阈值的第二多视角训练图像。本申请的实施例可以根据图像重建模型的输入域输出需求调整模型训练时第一预设分辨阈值和第二预设分辨阈值的大小，作为一种具体的调节方式，本申请的实施例可以根据输入与疏忽分辨率的差值调整第一预设分辨阈值和第二预设分辨阈值的差值。
可选地，在本申请的一个实施例中，在得到待重建物体的多视角重建图像之后，还包括：利用图像重建算法对多视角重建图像进行再重建，得到待重建物体的二维或三维重建图像。
需要说明的是，通过将多张多视角图像输入预先训练的图像重建模型，得到待重建物体的多视角重建图像后，本申请的实施例还可以利用图像重建算法对多视角重建图像进行再重建，得到所述待重建物体的二维或三维重建图像。举例而言，若对光场采集后输出的多视角图像进行分辨率提升，如果每个视角的分辨率需要提升3倍(水平和竖直各提升三倍)，则理论上扫描次数需要达到3*3次。可以理解为将每个像素密集采样3*3次，分为3*3个亚像素。而本申请的实施例则只需使用2次或3次扫描，达到3*3次扫描的分辨率，最终重建出高分辨率的二维或三维图像，上述扫描可以通过像面扫描方式进行，其包括但不限于通过微透镜阵列的位移、光电传感器的扫描、或光路本身的振动及位移等多种方式。上述图像重建模型的训练和预测过程的执行逻辑如图2所示。
根据本申请实施例提出的基于元成像的多视角图像超分辨重建方法，通过采集待重建物体的多视角图像；从多视角图像中筛选低于预设分辨率的多视角目标图像；将多视角目标图像输入预先训练的图像重建模型，得到待重建物体的多视角重建图像，其中，预先训练的图像重建模型由多张低于第一预设分辨阈值的图像和对应高于第二预设分辨率阈值的图像训练得到。由此，可以在较少的扫描次数下恢复较高的多视角分辨率图像，最终重建高分辨率的二维或三维图像。
其次参照附图描述根据本申请实施例提出的基于元成像的多视角图像超分辨重建装置。
图3是本申请实施例的基于元成像的多视角图像超分辨重建装置的方框示意图。
如图3所示，该基于元成像的多视角图像超分辨重建装置10包括：第一采集模块100、筛选模块200以及第一重建模块300。
其中，第一采集模块，用于采集待重建物体的多视角图。筛选模块，用于从多视角图 像中筛选低于预设分辨率的多视角目标图像。第一重建模块，用于将多视角目标图像输入预先训练的图像重建模型，得到待重建物体的多视角重建图像，其中，预先训练的图像重建模型由多张低于第一预设分辨阈值的图像和对应高于第二预设分辨率阈值的图像训练得到。
可选地，在本申请的一个实施例中，还包括：第二采集模块，用于将多视角目标图像输入预先训练的图像重建模型之前，采集训练重建物体的多张低于第一预设分辨阈值的第一多视角训练图像以及与第一多视角训练图像对应的多张高于第二预设分辨率阈值的第二多视角训练图像，其中，第二预设分辨率阈值大于第一预设分辨率阈值；训练模块，用于以第一多视角训练图像为输入，第二多视角训练图像为输出，训练神经网络模型；生成模块，用于在神经网络模型满足训练终止条件时，生成预先训练的图像重建模型。
可选地，在本申请的一个实施例中，训练终止条件包括：神经网络的输出图像与输入图像的分辨率差值大于预设分辨率差值或迭代次数满足预设次数。
可选地，在本申请的一个实施例中，还包括：获取模块，用于在生成预先训练的图像重建模型之前，获取图像重建模型中输入图像与输出图像的目标分辨率差值；匹配模块，用于根据目标分辨率差值匹配第一预设分辨阈值和第二预设分辨率阈值的差值。
可选地，在本申请的一个实施例中，还包括：第二重建模块，用于在得到待重建物体的多视角重建图像之后，利用图像重建算法对多视角重建图像进行再重建，得到待重建物体的二维或三维重建图像。
需要说明的是，前述对基于元成像的多视角图像超分辨重建方法实施例的解释说明也适用于该实施例的基于元成像的多视角图像超分辨重建装置，此处不再赘述。
根据本申请实施例提出的基于元成像的多视角图像超分辨重建装置，采集待重建物体的多视角图像；从多视角图像中筛选低于预设分辨率的多视角目标图像；将多视角目标图像输入预先训练的图像重建模型，得到待重建物体的多视角重建图像，其中，预先训练的图像重建模型由多张低于第一预设分辨阈值的图像和对应高于第二预设分辨率阈值的图像训练得到。利用多视角图像间的冗余采样特性，在较少的扫描次数下恢复较高的多视角分辨率图像，最终利用神经网络模型实现低分辨多视角图像的重建。
图4为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
处理器402执行程序时实现上述实施例中提供的基于元成像的多视角图像超分辨重建方法。
进一步地，电子设备还包括：
通信接口403，用于存储器401和处理器402之间的通信。
存储器401，用于存放可在处理器402上运行的计算机程序。
存储器401可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
处理器402可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的基于元成像的多视角图像超分辨重建方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个 或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
Claims (12)
- 一种基于元成像的多视角图像超分辨重建方法，其特征在于，包括以下步骤：采集待重建物体的多视角图像；从所述多视角图像中筛选低于预设分辨率的多视角目标图像；将所述多视角目标图像输入预先训练的图像重建模型，得到所述待重建物体的多视角重建图像，其中，所述预先训练的图像重建模型由多张低于第一预设分辨阈值的图像和对应高于第二预设分辨率阈值的图像训练得到。
- 根据权利要求1所述的方法，其特征在于，将所述多视角目标图像输入预先训练的图像重建模型之前，还包括：采集训练重建物体的多张低于所述第一预设分辨阈值的第一多视角训练图像以及与所述第一多视角训练图像对应的多张高于所述第二预设分辨率阈值的第二多视角训练图像，其中，所述第二预设分辨率阈值大于所述第一预设分辨率阈值；以所述第一多视角训练图像为输入，所述第二多视角训练图像为输出，训练神经网络模型；在所述神经网络模型满足训练终止条件时，生成所述预先训练的图像重建模型。
- 根据权利要求2所述的方法，其特征在于，所述训练终止条件包括：所述神经网络的输出图像与输入图像的分辨率差值大于预设分辨率差值或迭代次数满足预设次数。
- 根据权利要求2所述的方法，其特征在于，在生成所述预先训练的图像重建模型之前，还包括：获取所述图像重建模型中输入图像与输出图像的目标分辨率差值；根据所述目标分辨率差值匹配所述第一预设分辨阈值和所述第二预设分辨率阈值的差值。
- 根据权利要求1-4任一项所述的方法，其特征在于，在得到所述待重建物体的多视角重建图像之后，还包括：利用图像重建算法对所述多视角重建图像进行再重建，得到所述待重建物体的二维或三维重建图像。
- 一种基于元成像的多视角图像超分辨重建装置，其特征在于，包括：第一采集模块，用于采集待重建物体的多视角图像；筛选模块，用于从所述多视角图像中筛选低于预设分辨率的多视角目标图像；第一重建模块，用于将所述多视角目标图像输入预先训练的图像重建模型，得到所述待重建物体的多视角重建图像，其中，所述预先训练的图像重建模型由多张低于第一预设分辨阈值的图像和对应高于第二预设分辨率阈值的图像训练得到。
- 根据权利要求6所述的装置，其特征在于，还包括：第二采集模块，用于将所述多视角目标图像输入预先训练的图像重建模型之前，采集训练重建物体的多张低于所述第一预设分辨阈值的第一多视角训练图像以及与所述第一多视角训练图像对应的多张高于所述第二预设分辨率阈值的第二多视角训练图像，其中，所述第二预设分辨率阈值大于所述第一预设分辨率阈值；训练模块，用于以所述第一多视角训练图像为输入，所述第二多视角训练图像为输出，训练神经网络模型；生成模块，用于在所述神经网络模型满足训练终止条件时，生成所述预先训练的图像重建模型。
- 根据权利要求7所述的装置，其特征在于，所述训练终止条件包括：所述神经网络的输出图像与输入图像的分辨率差值大于预设分辨率差值或迭代次数满足预设次数。
- 根据权利要求7所述的装置，其特征在于，还包括：获取模块，用于在生成所述预先训练的图像重建模型之前，获取所述图像重建模型中输入图像与输出图像的目标分辨率差值；匹配模块，用于根据所述目标分辨率差值匹配所述第一预设分辨阈值和所述第二预设分辨率阈值的差值。
- 根据权利要求6-9任一项所述的装置，其特征在于，在得到所述待重建物体的多视角重建图像之后，还包括：第二重建模块，用于利用图像重建算法对所述多视角重建图像进行再重建，得到所述待重建物体的二维或三维重建图像。
- 一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于元成像的多视角图像超分辨重建方法。
- 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于元成像的多视角图像超分辨重建方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210605176.4 | 2022-05-30 | ||
| CN202210605176.4A CN115187454A (zh) | 2022-05-30 | 2022-05-30 | 基于元成像的多视角图像超分辨重建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023231138A1 true WO2023231138A1 (zh) | 2023-12-07 |
Family
ID=83513545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/103912 WO2023231138A1 (zh) | 2022-05-30 | 2022-07-05 | 基于元成像的多视角图像超分辨重建方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115187454A (zh) |
| WO (1) | WO2023231138A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115909255B (zh) * | 2023-01-05 | 2023-06-06 | 北京百度网讯科技有限公司 | 图像生成、图像分割方法、装置、设备、车载终端及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060002635A1 (en) * | 2004-06-30 | 2006-01-05 | Oscar Nestares | Computing a higher resolution image from multiple lower resolution images using model-based, robust bayesian estimation |
| CN108074218A (zh) * | 2017-12-29 | 2018-05-25 | 清华大学 | 基于光场采集装置的图像超分辨率方法及装置 |
| US20200302249A1 (en) * | 2019-03-19 | 2020-09-24 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Fusion Using Unrolled Projected Gradient Descent and Convolutinoal Neural Network |
| CN112750076A (zh) * | 2020-04-13 | 2021-05-04 | 奕目(上海)科技有限公司 | 一种基于深度学习的光场多视角图像超分辨率重建方法 |
| CN113763248A (zh) * | 2021-09-08 | 2021-12-07 | 深圳前海微众银行股份有限公司 | 超分辨率图像重建方法、装置、设备及存储介质 |
| CN113870433A (zh) * | 2021-09-09 | 2021-12-31 | 华中科技大学 | 一种光场超分辨三维重建方法及系统 |
| CN114494258A (zh) * | 2022-04-15 | 2022-05-13 | 清华大学 | 镜头的像差预测和图像重建方法及装置 |
| CN114549731A (zh) * | 2022-04-22 | 2022-05-27 | 清华大学 | 视角图像的生成方法、装置、电子设备及存储介质 |
-
2022
- 2022-05-30 CN CN202210605176.4A patent/CN115187454A/zh active Pending
- 2022-07-05 WO PCT/CN2022/103912 patent/WO2023231138A1/zh unknown
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060002635A1 (en) * | 2004-06-30 | 2006-01-05 | Oscar Nestares | Computing a higher resolution image from multiple lower resolution images using model-based, robust bayesian estimation |
| CN108074218A (zh) * | 2017-12-29 | 2018-05-25 | 清华大学 | 基于光场采集装置的图像超分辨率方法及装置 |
| US20200302249A1 (en) * | 2019-03-19 | 2020-09-24 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Fusion Using Unrolled Projected Gradient Descent and Convolutinoal Neural Network |
| CN112750076A (zh) * | 2020-04-13 | 2021-05-04 | 奕目(上海)科技有限公司 | 一种基于深度学习的光场多视角图像超分辨率重建方法 |
| CN113763248A (zh) * | 2021-09-08 | 2021-12-07 | 深圳前海微众银行股份有限公司 | 超分辨率图像重建方法、装置、设备及存储介质 |
| CN113870433A (zh) * | 2021-09-09 | 2021-12-31 | 华中科技大学 | 一种光场超分辨三维重建方法及系统 |
| CN114494258A (zh) * | 2022-04-15 | 2022-05-13 | 清华大学 | 镜头的像差预测和图像重建方法及装置 |
| CN114549731A (zh) * | 2022-04-22 | 2022-05-27 | 清华大学 | 视角图像的生成方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115187454A (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106846463B (zh) | 基于深度学习神经网络的显微图像三维重建方法及系统 | |
| CN110770784B (zh) | 图像处理装置、成像装置、图像处理方法、程序、以及存储介质 | |
| JP5909540B2 (ja) | 画像処理表示装置 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| Pu et al. | Robust high dynamic range (hdr) imaging with complex motion and parallax | |
| TW200803478A (en) | Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device and control program | |
| CN107248139B (zh) | 基于显著视觉和dmd阵列分区控制的压缩感知成像方法 | |
| WO2023231138A1 (zh) | 基于元成像的多视角图像超分辨重建方法及装置 | |
| CN110880163B (zh) | 一种基于深度学习的弱光彩色成像方法 | |
| US20200211159A1 (en) | Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same | |
| WO2021082819A1 (zh) | 一种图像生成方法、装置及电子设备 | |
| CN114494258B (zh) | 镜头的像差预测和图像重建方法及装置 | |
| CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| CN111369443A (zh) | 光场跨尺度的零次学习超分辨率方法 | |
| Zou et al. | Rawhdr: High dynamic range image reconstruction from a single raw image | |
| Chi et al. | HDR imaging with spatially varying signal-to-noise ratios | |
| Chang et al. | Beyond camera motion blur removing: How to handle outliers in deblurring | |
| CN113099121B (zh) | 一种基于弱监督学习的isp实现方法 | |
| Huang et al. | Inverting the imaging process by learning an implicit camera model | |
| Zhang et al. | Generalizing Event-Based Motion Deblurring in Real-World Scenarios | |
| US11816813B2 (en) | Image data pre-processing for neural networks | |
| CN101726829A (zh) | 一种变焦镜头的自动对焦方法 | |
| Weng et al. | Boosting event stream super-resolution with a recurrent neural network | |
| JP7398938B2 (ja) | 情報処理装置およびその学習方法 | |
| CN116091337B (zh) | 一种基于事件信号神经编码方式的图像增强方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22944453 Country of ref document: EP Kind code of ref document: A1 |