WO2021103696A1 - 一种基于透射式红外孔径编码成像系统及其超分辨方法 - Google Patents

一种基于透射式红外孔径编码成像系统及其超分辨方法 Download PDF

Info

Publication number
WO2021103696A1
WO2021103696A1 PCT/CN2020/111543 CN2020111543W WO2021103696A1 WO 2021103696 A1 WO2021103696 A1 WO 2021103696A1 CN 2020111543 W CN2020111543 W CN 2020111543W WO 2021103696 A1 WO2021103696 A1 WO 2021103696A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
lens
low
double
super
Prior art date
Application number
PCT/CN2020/111543
Other languages
English (en)
French (fr)
Inventor
左超
王博文
陈钱
胡岩
孙佳嵩
张林飞
李加基
范瑶
顾国华
Original Assignee
南京理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京理工大学 filed Critical 南京理工大学
Publication of WO2021103696A1 publication Critical patent/WO2021103696A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the invention belongs to computational optical imaging technology, in particular based on a transmissive infrared aperture coding imaging system and a super-resolution method.
  • the method of adding a mask can overcome the problem of spectrum aliasing caused by the distance between the centers of two adjacent pixels of the CCD, this method ignores the size of the CCD pixel and regards the CCD pixel as an ideal point. It does not solve the problem of each pixel of the CCD.
  • the problem of low-pass effect caused by the size and shape of the optical mask Liu Jingdan, Xu Tingfa, Xun Xianchao, et al. Simulation of geometric super-resolution imaging with optical masks[J]. Optics and Precision Engineering,2014,22(8):2026-2031.).
  • the purpose of the present invention is to provide an imaging system based on transmissive infrared aperture coding and its super-resolution method, which can not only reduce the exposure time required by the camera, increase the image acquisition speed of the system, but also reduce aberrations and improve the signal-to-noise ratio. Improve the quality of image reconstruction.
  • a transmissive infrared aperture coding imaging system and its super-resolution method including a condenser lens, a variable magnification lens, a compensation lens, a field lens, a condenser lens, and a double-slit physical aperture stop , Camera, said condensing lens, variable magnification lens, compensation lens, field lens, condensing lens, double-slit physical aperture diaphragm constitute a perspective optical path structure; by the condensing lens, variable magnification lens, compensation lens, field lens, The condensing lens constitutes the imaging lens group; in this optical path structure, the double-slit physical aperture diaphragm is placed on the aperture plane of the imaging lens group, and the camera is located on the back focal plane of the imaging lens group; the imaging lens group and the camera are respectively Fixedly installed on the optical platform, when adjusting the focal length of the imaging lens group, the position of the camera and the double-slit physical aperture diaphragm relative
  • the present invention has significant advantages: (1) Compared with the existing programmable aperture imaging system, the device does not require any mechanical scanning device, has a simple structure, rapid measurement, simple operation, and can successfully achieve large-scale vision. Field super-resolution imaging can increase the target imaging resolution to the diffraction limit of the lens. (2) Compared with the reflective coding imaging system, the transmission coding imaging system can reduce the loss of incident light and improve the imaging quality. (3) This system puts the double-slit physical aperture diaphragm inside the imaging lens group, making the whole system structure more compact. (4) The use of this super-resolution method can effectively avoid image reconstruction errors, the algorithm can quickly converge, and the reconstruction quality can be improved. (5) It can successfully achieve super-resolution imaging with a large field of view in the infrared band, exceeding the resolution limited by the camera's Nyquist sampling frequency, and increasing the target imaging resolution to the diffraction limit of the lens.
  • Figure 1 is a ray tracing diagram based on the transmissive aperture coding imaging system of the present invention.
  • Figure 2(a) is the double-slit coding pattern used in the present invention
  • Figure 2(b) is the transfer function generated by the double-slit coding pattern.
  • Figure 3 is a schematic diagram of the super-resolution reconstruction process of the present invention.
  • Figure 4 is the experimental result of super-resolution imaging on the resolution plate, and Figure 4(a) is the low-resolution original image and its spectrum taken by an infrared camera with a pixel size of 15 ⁇ 15 ⁇ m before super-resolution reconstruction.
  • Fig. 4(b) shows the super-resolution result of the transmissive double-slit aperture coding imaging system based on the present invention.
  • Figure 5 shows the experimental results of super-resolution imaging of complex outdoor scenes.
  • Figure 5(a) is the low-resolution original image and its spectrum taken by an infrared camera with a pixel size of 15 ⁇ 15 ⁇ m before super-resolution reconstruction.
  • Fig. 5(b) shows the super-resolution result of the transmissive double-slit aperture coding imaging system based on the present invention.
  • the present invention is based on a transmissive infrared aperture coding imaging system, which is composed of a condenser lens 1, a variable magnification lens 2, a compensation lens 3, a field lens 4, a condenser lens 5, a double-slit physical aperture diaphragm 6, and a camera 7.
  • a see-through optical path structure is adopted, and the transmitted optical path structure is composed of a condenser lens 1, a variable magnification lens 2, a compensation lens 3, a field lens 4, a condenser lens 5, and a double-slit physical aperture stop 6.
  • the condenser lens 1, the variable magnification lens 2, the compensation lens 3, the field lens 4, and the condenser lens 5 constitute an imaging lens group.
  • the double-slit physical aperture stop 6 is placed on the aperture plane of the imaging lens group.
  • the camera 7 is located on the back focal plane of the imaging lens group, which can realize the function of modulating the aperture plane of the imaging lens group and reduce the aberration of the imaging system.
  • the condenser lens 1 is used to collect light
  • the variable magnification lens 2 is used as the variable magnification lens in the imaging lens group to zoom
  • the field lens 4 improves the ability of the edge beam to enter the detector
  • the condensing lens 5 condenses the light onto the detector.
  • the entire lens The group can achieve full focal length F1.5, focal length 25mm-225mm continuous zoom.
  • the F number of the imaging lens group is 1.5, and the focal length is adjusted to 25mm ⁇ 225mm for continuous zooming.
  • the camera 7 is an infrared camera with a pixel size of 15 ⁇ 15 ⁇ m.
  • Figure 2(a) is the double-slit coding pattern used in the present invention
  • Figure 2(b) is the transfer function generated by the double-slit coding pattern.
  • r is the number of rows where the center point of the double-slit physical aperture diaphragm 6 is located
  • c is the number of columns where the center point of the double-slit physical aperture diaphragm 6 is located
  • d is the diameter of the double-slit physical aperture diaphragm 6
  • P 0 (i,j) Is the value corresponding to the i-th row and j-th column of matrix P 0
  • rotate(l,r,c, ⁇ ) means that the r-th row and c-th column are the center of rotation, and the pattern l is rotated clockwise by the angle ⁇
  • cir( r,c,d) represents a circle with a diameter of d centered on the r-th row and c-th column.
  • the present invention is based on the super-resolution method of the transmissive double-slit aperture coding imaging system, and the steps are as follows:
  • the motor adjusts and rotates the double-slit physical aperture diaphragm 6 and shoots N corresponding low-resolution images.
  • Record the optical transfer function and low-resolution images corresponding to the k-th aperture coding pattern P k as H k and Where k 1...N, the superscript * represents the conjugate operation of the matrix, conv2(A,B) represents the two-dimensional convolution operation of the matrices A and B, and max(C) represents the value of the largest element of the matrix C:
  • H k conv2(P k ,P k * )
  • H k H k /max(H k )
  • FFT -1 ⁇ ... ⁇ means to perform inverse Fourier transform, which means to perform
  • step 5 of the super-resolution method the simulated annealing method is used to correct the offset position of the captured low-resolution image relative to the target low-resolution image, so as to accurately correct the drift of the low-resolution light intensity map during the reconstruction iteration process Error, the specific process is:
  • the maximum offset in the x direction or y direction in the first search Is the size of a camera pixel
  • E s is the target high-resolution light intensity map
  • the square of the difference, argmin ⁇ E s ⁇ means to find the minimum value in E s and use it as the low-resolution image taken.
  • the corresponding update error parameter formula is:
  • the target low-resolution image will be generated And the captured low-resolution image Divide to obtain a low-resolution update coefficient matrix Then perform nearest neighbor interpolation on the update coefficient matrix to obtain a high-resolution update coefficient matrix
  • ⁇ k is the mean square error between the low-resolution light intensity of the generated target and the low-resolution light intensity captured.
  • Figure 4 is the experimental result of super-resolution imaging on the resolution plate
  • Figure 4(a) is the low-resolution original image and its spectrum taken by an infrared camera with a pixel size of 15 ⁇ 15 ⁇ m before super-resolution reconstruction.
  • Fig. 4(b) shows the super-resolution result of the imaging system based on the transmissive infrared aperture coding using the present invention.
  • Figure 5 shows the experimental results of super-resolution imaging of complex outdoor scenes.
  • Figure 5(a) is the low-resolution original image and its spectrum taken by an infrared camera with a pixel size of 15 ⁇ 15 ⁇ m before super-resolution reconstruction.
  • FIG. 5(b) shows the super-resolution result of the imaging system based on transmissive infrared aperture coding using the present invention. It can be seen that the collected pictures have obvious pixelation problems, the edges of the target object are blurred, and the details of the target object cannot be identified. As shown in Figure 4(a), the edge of the identification line of the resolution plate is blurred, and there is a problem of obvious pixelation. In Figure 5(a), the details of wheels, wipers, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种基于透射式红外孔径编码成像系统及其超分辨方法，由聚光透镜、变倍透镜、补偿透镜、场镜、会聚透镜、双缝物理孔径光阑、相机组成，通过拍摄一系列低分辨率图像后在傅里叶域进行凸集投影迭代，直至收敛，即可获得超分辨图像，减少像素化。本发明不需任何机械扫描装置，结构紧凑，测量快速，操作简易，可稳定精确测量；采用透射式编码成像系统可减少入射光的损失，提高成像质量；能够成功地实现在红外波段的大视场超分辨成像，超越由相机奈奎斯特采样频率所限制的分辨率，可将目标成像分辨率提高到镜头的衍射极限。

Description

一种基于透射式红外孔径编码成像系统及其超分辨方法 技术领域
本发明属于计算光学成像技术，特别是基于透射式红外孔径编码成像系统及超分辨方法。
背景技术
自20世纪60年代世界上第一个数字相机在飞利浦实验室问世以来，光电成像技术经历了不断的革新，它们以更高的分辨率与质量，引导着人类向无尽的世界发起无穷的探索，限制光学成像系统成像分辨率的因素也由阿贝衍射极限延伸到探测器的像素大小。现如今，人类进入了一个全新的信息化时代，高分辨率图像作为一种重要的数据信息，广泛地应用于公安、国防、地测、医疗等多个领域，例如在公共安全领域，视频监控图像中准确的车牌号、明显的人物相貌衣着特征等可以为事件的处理提供有效线索；在军事侦察领域，清晰的目标轮廓、丰富的目标细节可以为识别军事目标提高准确率和速度；在天文学领域，更好的图像细节可以帮助天文学家更好地认识和理解宇宙。人们对图像分辨率的需求还在不断增长。但受当前半导体等制作工艺水平的限制，红外探测器的像元尺寸往往较大且探测器阵列的像元数目通常较少。因此，采集到的图像分辨率较低，采样频率不满足奈奎斯特采样定律，产生“图像像素化”问题，不足以应对人们对成像分辨率的需求。因此，提高图像分辨率是图像获取领域里追求的一个目标。
为了突破由CDD几何尺寸造成的分辨率现状，研究人员提出一种微扫描(Shi,J.,Reichenbach,S.E.,&Howe,J.D.(2006).Small-kernel superresolution methods for microscanning imaging systems.Applied optics,45(6),1203-1214.)的方法，通过对同一场景进行多次采样，用多幅相互之间有微小位移的时间序列低分辨率图像重建高分辨率图像。2005年，Solomon J等人提出了在成像系统的傅里叶平面放置一个掩模，这个掩模对物频谱进行编码成像之后再对像频谱进行解码(Solomon J,Zalevsky Z,Mendlovic D.Geometric superresolution by code division multiplexing[J].Applied optics,2005,44(1):32-40.)。虽然加掩模的方法可以克服由CCD两相邻素中心间距离引起的频谱混叠问题，但该方法忽略了CCD像素大小，将CCD像素看成理想的点，并没有解决由CCD每个像素的大小和形状引起的低通效应问题(刘晶丹,许廷发,荀显超,等.光学掩模实现几何超分辨成像的仿 真[J].光学精密工程,2014,22(8):2026-2031.)。2017年邹晶等人提出了一种亚像素扫描超分辨成像方法(邹晶,耿星杰,廖可梁,等.基于亚像素扫描的超分辨技术在高分辨X射线显微镜中的应用[J].光子学报,2017,46(12):59-66.)，它可实现多帧同一场景下互有亚像素级位移图像的采集，从而优化最终成像质量。但这种方法需要额外的运动部件或是摆镜，系统十分复杂，并且由此重建高分辨率图像是一个非常困难的过程。所以如何在不使用机械扫描装置的前提下针对像元尺寸更大的红外成像探测器，在实现超越成像探测器分辨率限制的高分辨率成像的同时提高成像重构收敛速度，更好的克服空气扰动所产生的像素级光强差别所导致的重构误差成为了必须攻克的一个技术难题。
发明内容
本发明的目的在于提供一种基于透射式红外孔径编码成像系统及其超分辨方法，既能降低相机所需的曝光时间，提高系统的图像采集速度，又能减少像差，提高信噪比，提高图片重构质量。
实现本发明目的的技术解决方案为：一种基于透射式红外孔径编码成像系统及其超分辨方法，包括聚光透镜、变倍透镜、补偿透镜、场镜、会聚透镜、双缝物理孔径光阑、相机，所述成聚光透镜、变倍透镜、补偿透镜、场镜、会聚透镜、双缝物理孔径光阑构成透视式光路结构；由聚光透镜、变倍透镜、补偿透镜、场镜、会聚透镜构成成像透镜组；在此光路结构中，将双缝物理孔径光阑放置于成像透镜组的孔径平面上，相机位于成像透镜组的后焦面上；所述的成像透镜组及相机分别固定安装在光学平台上，在调节成像透镜组的焦距时，相机与双缝物理孔径光阑相对于成像透镜组的位置保持不变；通过拍摄一系列低分辨率图像后在傅里叶域进行凸集投影迭代，直至收敛，即可获得超分辨图像，减少像素化。
本发明与现有技术相比，其显著优点：(1)相对于现有可编程孔径成像系统，该装置不需任何机械扫描装置，结构简单，测量快速，操作简易，能够成功地实现大视场超分辨成像，可将目标成像分辨率提高至镜头的衍射极限。(2)相对于反射式编码成像系统，采用透射式编码成像系统可减少入射光的损失，提高成像质量。(3)本系统将双缝物理孔径光阑置于成像镜头组内部，使得整个系统结构更为紧凑。(4)采用此超分辨方法可以有效避免图像的重构误差，算法可以快速收敛，提高重构质量。(5)能够成功地实现在红外波段的大视场超分辨成像，超 越由相机奈奎斯特采样频率所限制的分辨率，可将目标成像分辨率提高到镜头的衍射极限。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明基于透射式孔径编码成像系统的光线追迹图。
图2(a)为本发明采用的双缝编码图案，图2(b)为双缝编码图案生成的传递函数。
图3为本发明超分辨重构流程示意图。
图4为对分辨率板进行超分辨率成像的实验结果，图4(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的红外相机拍摄的低分辨率原始图像及其频谱，图4(b)为使用本发明基于透射式双缝孔径编码成像系统的超分辨结果。
图5为对室外复杂场景进行超分辨率成像的实验结果，图5(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的红外相机拍摄的低分辨率原始图像及其频谱，图5(b)为使用本发明基于透射式双缝孔径编码成像系统的超分辨结果。
具体实施方式
结合图1，本发明基于透射式红外孔径编码成像系统，由聚光透镜1、变倍透镜2、补偿透镜3、场镜4、会聚透镜5、双缝物理孔径光阑6、相机7组成，采用透视式光路结构，该透射光路结构由聚光透镜1、变倍透镜2、补偿透镜3、场镜4、会聚透镜5、双缝物理孔径光阑6构成。聚光透镜1、变倍透镜2、补偿透镜3、场镜4、会聚透镜5构成成像透镜组，在此光路结构中，将双缝物理孔径光阑6放置于成像透镜组的孔径平面上，相机7位于成像透镜组的后焦面上，可实现对成像透镜组孔径平面的调制功能并且减小了成像系统的像差。采用聚光透镜1收集光线，变倍透镜2作为成像透镜组中的变倍透镜进行变焦，场镜4提高边缘光束入射到探测器的能力，会聚透镜5将光线会聚到探测器上，整个透镜组可以实现全焦段F1.5，焦距25mm-225mm连续变焦。成像透镜组的F数为1.5，焦距调节为25mm～225mm连续变焦。相机7为像素尺寸15×15μm的红外相机。
图2(a)为本发明采用的双缝编码图案，图2(b)为双缝编码图案生成的传递函数。本发明采用的双缝编码图案P k是以双缝物理孔径光阑6的圆心为圆点依次 进行旋转得到，k＝1…N。
Figure PCTCN2020111543-appb-000001
β＝cir(r,c,d)
P k＝(rotate(P 0,r,c,180*(k-1)/N))*β
其中r为双缝物理孔径光阑6中心点所在行数，c为双缝物理孔径光阑6中心点所在列数，d为双缝物理孔径光阑6的直径，P 0(i,j)为矩阵P 0第i行，第j列所对应的值，rotate(l,r,c,θ)表示以第r行，第c列为旋转中心，对l图案顺时针旋转θ角度，cir(r,c,d)表示以第r行，第c列为中心，直径为d的圆。
结合图3，本发明基于透射式双缝孔径编码成像系统的超分辨方法，步骤具体如下：
1.电机调控旋转双缝物理孔径光阑6并拍摄N幅相应的低分辨率图像，记第k幅孔径编码图案P k对应的光学传递函数和低分辨率图像分别为H k和
Figure PCTCN2020111543-appb-000002
其中k＝1…N，上标*表示对矩阵进行共轭运算，conv2(A,B)表示将矩阵A，B进行二维卷积运算,max(C)表示矩阵C的最大元素的值：
H k＝conv2(P k,P k *)
H k＝H k/max(H k)
2.将所有低分辨率图像的平均作为频域孔径全开时的低分辨率图像，并进行最近邻插值，作为初始化的高分辨率图像
Figure PCTCN2020111543-appb-000003
其中iter表示迭代次数，初始值为iter＝0，[...] UP表示进行最近邻插值。然后对其做傅立叶变换，求得初始化的高分辨率频谱
Figure PCTCN2020111543-appb-000004
其中FFT{…}表示进行傅立叶变换：
Figure PCTCN2020111543-appb-000005
Figure PCTCN2020111543-appb-000006
3.令k＝1，选取第一幅孔径编码图案，将它的光学传递函数H k与初始化的高分辨率频谱
Figure PCTCN2020111543-appb-000007
相乘，之后再做傅立叶逆变换并进行像素合并得到第一幅孔径编码图案对应的目标低分辨率图像
Figure PCTCN2020111543-appb-000008
其中FFT -1{…}表示进行傅立叶逆变换，表示进行[…] DOWN像素合并降采样：
Figure PCTCN2020111543-appb-000009
4.在超分辨方法步骤5前，用模拟退火法校正拍摄的低分辨图像相对目标低分辨图像的偏移位置，实现了在重构迭代的过程中准确地校正低分辨率光强图的漂移误差，具体过程为：
1.1初始位置预测
确定搜索中心的初始位置，也就是偏移误差的初始值，通常设为零，即
Figure PCTCN2020111543-appb-000010
Figure PCTCN2020111543-appb-000011
x方向偏移误差
Figure PCTCN2020111543-appb-000012
y方向偏移误差
Figure PCTCN2020111543-appb-000013
其中上标e代表误差，下标k表示第k个孔径编码图案。
1.2更新误差参数
记搜索中心8邻域像素的相对搜索中心的偏移量为
Figure PCTCN2020111543-appb-000014
其中下标s＝1,2,...,8，分别表示邻域中的8个像素，上标e代表误差下x,y分别代表图像的x方向和y方向的坐标。其中第一次搜索中x方向或y方向的最大偏移量
Figure PCTCN2020111543-appb-000015
为一个相机像素点的大小，E s为目标高分辨光强图与
Figure PCTCN2020111543-appb-000016
与平移后的光强图
Figure PCTCN2020111543-appb-000017
的差值的平方，argmin{E s}表示寻找E s中的最小值并将其作为拍摄的低分辨图像，所对应的更新误差参数公式为：
Figure PCTCN2020111543-appb-000018
Figure PCTCN2020111543-appb-000019
1.3更新搜索范围
判断此时的偏移量
Figure PCTCN2020111543-appb-000020
是否小于一个阈值R，如果小于R，我们保持偏移量不变，否则将偏移量乘上一个衰减因子α。通常取
Figure PCTCN2020111543-appb-000021
α＝0.5。
5.将生成的目标低分辨率图像
Figure PCTCN2020111543-appb-000022
与拍摄到的低分辨率图像
Figure PCTCN2020111543-appb-000023
相除，获得低分辨率的更新系数矩阵
Figure PCTCN2020111543-appb-000024
然后对更新系数矩阵进行最近邻插值，得到高分辨率的更新系数矩阵
Figure PCTCN2020111543-appb-000025
6.利用更新系数矩阵
Figure PCTCN2020111543-appb-000026
和光学传递函数H k，根据步骤3的逆过程进行维纳逆滤波，获得更新后的高分辨率频谱
Figure PCTCN2020111543-appb-000027
其中极小的正值τ为正则化参数，防止分母为零，利用所有生成的目标低分辨率光强与拍摄到的低分辨率光强的均方误差之和ε iter作为判据，在迭代重构部分中加入对步长β的更新：
Figure PCTCN2020111543-appb-000028
Figure PCTCN2020111543-appb-000029
Figure PCTCN2020111543-appb-000030
其中ε k为生成的目标低分辨率光强与拍摄到的低分辨率光强的均方误差。
7.令k＝k+1，选择另一幅孔径编码图案，重复迭代步骤3到步骤6，直到所有编码图案所对应的低分辨率图像都更新过一次。
8.令iter＝iter+1，重复迭代步骤3到步骤7，直到重构的高分辨率图像收敛，收敛的判据为所有生成的目标低分辨率图像与拍摄到的低分辨率图像的均方误差之和ε iter小于一个阈值T，其中T的值一般为0.001。
为了测试本发明基于透射式红外孔径编码成像系统及实现迭代超分辨方法的有效性，特选取两组实验加以说明。
图4为对分辨率板进行超分辨率成像的实验结果，图4(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的红外相机拍摄的低分辨率原始图像及其频谱，图4(b)为使用本发明基于透射式红外孔径编码成像系统的超分辨结果。图5为对室外复杂场景进行超分辨率成像的实验结果，图5(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的红外相机拍摄的低分辨率原始图像及其频谱，图5(b)为使用本发明基于透射式红外孔径编码成像系统的超分辨结果。可以看出，采集到的图片存在明显像素化的问题，目标物边缘模糊，无法辨识目标物细节。如图4(a)所示，分辨率板标识线边缘模糊，存在明显像素化问题，图5(a)中车轮、雨刷等细节部分无法辨析，而使用本发明基于透射式双缝孔径编码成像系统的超分辨重构图4(c)中可以从标识线看出超分辨效果已经达到1.67倍，接近此红外镜头的衍射极限所对应的频率，对应复杂场景的超分辨重构结果图5(b)中可以看出目标物体的细节得到大幅提升，超分辨重构效果明显。图4(b)和图5(b)的结果显示，基于透射式双缝孔径编码成像系统及超分辨方法可以有效提升目标物体的分辨率，并提升至接近镜头的衍射极限。

Claims (5)

  1. 一种基于透射式红外孔径编码成像系统，其特征在于：由聚光透镜(1)、变倍透镜(2)、补偿透镜(3)、场镜(4)、会聚透镜(5)、双缝物理孔径光阑(6)、相机(7)组成，采用透视式光路结构，该透射光路结构由聚光透镜(1)、变倍透镜(2)、补偿透镜(3)、场镜(4)、会聚透镜(5)、双缝物理孔径光阑(6)构成；由聚光透镜(1)、变倍透镜(2)、补偿透镜(3)、场镜(4)、会聚透镜(5)构成成像透镜组；在此光路结构中，将双缝物理孔径光阑(6)放置于成像透镜组的孔径平面上，相机(7)位于成像透镜组的后焦面上。
  2. 根据权利要求1所述的系统，其特征在于，采用聚光透镜(1)收集光线，变倍透镜(2)作为成像透镜组中的变倍透镜进行变焦，场镜(4)提高边缘光束入射到探测器的能力，会聚透镜(5)将光线会聚到探测器上，整个透镜组实现全焦段F1.5，焦距25mm-225mm连续变焦。
  3. 根据权利要求1所述的系统，其特征在于采用以双缝物理孔径光阑(6)圆心为圆点进行依次旋转得到双缝编码图案P k，k＝1…N，即
    Figure PCTCN2020111543-appb-100001
    β＝cir(r,c,d)
    P k＝(rotate(P 0,r,c,180*(k-1)/N))*β
    其中r为双缝物理孔径光阑(6)中心点所在行数，c为双缝物理孔径光阑(6)中心点所在列数，d为双缝物理孔径光阑(6)的直径，P 0(i,j)为矩阵P 0第i行，第j列所对应的值，rotate(l,r,c,θ)表示以第r行，第c列为旋转中心，对l图案顺时针旋转θ角度，cir(r,c,d)表示以第r行，第c列为中心，直径为d的圆。
  4. 一种基于透射式双缝孔径编码成像系统的超分辨方法，其特征在于步骤如下：
    1.1电机调控旋转双缝物理孔径光阑(6)并拍摄N幅相应的低分辨率图像，记第k幅孔径编码图案P k对应的光学传递函数和低分辨率图像分别为H k和
    Figure PCTCN2020111543-appb-100002
    其中k＝1…N，上标*表示对矩阵进行共轭运算，conv2(A,B)表示将矩阵A，B进行二维卷积运算,max(C)表示矩阵C的最大元素的值：
    H k＝conv2(P k,P k *)
    H k＝H k/max(H k)
    1.2将所有低分辨率图像的平均作为频域孔径全开时的低分辨率图像，并进 行最近邻插值，作为初始化的高分辨率图像
    Figure PCTCN2020111543-appb-100003
    其中iter表示迭代次数，初始值为iter＝0，(...) UP表示进行最近邻插值，然后对其做傅立叶变换，求得初始化的高分辨率频谱
    Figure PCTCN2020111543-appb-100004
    其中FFT{…}表示进行傅立叶变换；
    Figure PCTCN2020111543-appb-100005
    Figure PCTCN2020111543-appb-100006
    1.3令k＝1，选取第一幅孔径编码图案，将它的光学传递函数H k与初始化的高分辨率频谱
    Figure PCTCN2020111543-appb-100007
    相乘，之后再做傅立叶逆变换并进行像素合并得到第一幅孔径编码图案对应的目标低分辨率图像
    Figure PCTCN2020111543-appb-100008
    其中FFT -1{…}表示进行傅立叶逆变换，表示进行(…) DOWN像素合并降采样：
    Figure PCTCN2020111543-appb-100009
    1.4用模拟退火法校正拍摄的低分辨图像相对目标低分辨图像的偏移位置，在重构迭代的过程中准确地校正低分辨率光强图的漂移误差；
    1.5将生成的目标低分辨率图像
    Figure PCTCN2020111543-appb-100010
    与拍摄到的低分辨率图像
    Figure PCTCN2020111543-appb-100011
    相除，获得低分辨率的更新系数矩阵
    Figure PCTCN2020111543-appb-100012
    然后对更新系数矩阵进行最近邻插值，得到高分辨率的更新系数矩阵
    Figure PCTCN2020111543-appb-100013
    1.6利用更新系数矩阵
    Figure PCTCN2020111543-appb-100014
    和光学传递函数H k，根据步骤1.3的逆过程进行维纳逆滤波，获得更新后的高分辨率频谱
    Figure PCTCN2020111543-appb-100015
    其中极小的正值τ为正则化参数，防止分母为零，利用所有生成的目标低分辨率光强与拍摄到的低分辨率光强的均方误差之和ε iter作为判据，在迭代重构部分中加入对步长β的更新：
    Figure PCTCN2020111543-appb-100016
    Figure PCTCN2020111543-appb-100017
    Figure PCTCN2020111543-appb-100018
    其中ε k为生成的目标低分辨率光强与拍摄到的低分辨率光强的均方误差；
    1.7令k＝k+1，选择另一幅孔径编码图案，重复迭代步骤1.3-步骤1.6，直到所有编码图案所对应的低分辨率图像都更新过一次；
    1.8令iter＝iter+1，重复迭代步骤1.3-步骤1.7，直到重构的高分辨率图像收 敛，收敛的判据为所有生成的目标低分辨率图像与拍摄到的低分辨率图像的均方误差之和ε iter小于一个阈值T。
  5. 根据权利要求4所述的超分辨方法，其特征在于步骤1.4的具体过程如下：
    1.1初始位置预测
    确定搜索中心的初始位置，也就是偏移误差的初始值，设为零，即
    Figure PCTCN2020111543-appb-100019
    Figure PCTCN2020111543-appb-100020
    x方向偏移误差
    Figure PCTCN2020111543-appb-100021
    y方向偏移误差
    Figure PCTCN2020111543-appb-100022
    其中上标e代表误差，下标k表示第k个孔径编码图案；
    1.2更新误差参数
    记搜索中心8邻域像素的相对搜索中心的偏移量为
    Figure PCTCN2020111543-appb-100023
    其中下标s＝1,2,...,8，分别表示邻域中的8个像素，上标e代表误差下x,y分别代表图像的x方向和y方向的坐标；其中第一次搜索中x方向或y方向的最大偏移量
    Figure PCTCN2020111543-appb-100024
    为一个相机像素点的大小，E s为目标高分辨光强图与
    Figure PCTCN2020111543-appb-100025
    与平移后的光强图
    Figure PCTCN2020111543-appb-100026
    的差值的平方，argmin{E s}表示寻找E s中的最小值并将其作为拍摄的低分辨图像，所对应的更新误差参数公式为：
    Figure PCTCN2020111543-appb-100027
    Figure PCTCN2020111543-appb-100028
    1.3更新搜索范围
    判断此时的偏移量
    Figure PCTCN2020111543-appb-100029
    是否小于一个阈值R，如果小于R，保持偏移量不变，否则将偏移量乘上一个衰减因子α。
PCT/CN2020/111543 2019-11-29 2020-08-27 一种基于透射式红外孔径编码成像系统及其超分辨方法 WO2021103696A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911219484.8 2019-11-29
CN201911219484.8A CN111031264B (zh) 2019-11-29 2019-11-29 一种基于透射式红外孔径编码成像系统及其超分辨方法

Publications (1)

Publication Number Publication Date
WO2021103696A1 true WO2021103696A1 (zh) 2021-06-03

Family

ID=70204030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/111543 WO2021103696A1 (zh) 2019-11-29 2020-08-27 一种基于透射式红外孔径编码成像系统及其超分辨方法

Country Status (2)

Country Link
CN (1) CN111031264B (zh)
WO (1) WO2021103696A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114488647A (zh) * 2022-01-26 2022-05-13 电子科技大学 利用方孔型液晶透镜提高成像分辨率的方法及系统和透镜
CN115100052A (zh) * 2022-06-14 2022-09-23 北京理工大学 一种宽谱段双通道压缩成像方法及系统
CN117471489A (zh) * 2023-12-25 2024-01-30 中国人民解放军国防科技大学 基于单像素成像技术的目标探测方法、装置和计算机设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031264B (zh) * 2019-11-29 2021-10-08 南京理工大学 一种基于透射式红外孔径编码成像系统及其超分辨方法
CN111694016B (zh) * 2020-06-02 2023-10-20 南京理工大学 一种非干涉合成孔径超分辨成像重构方法
CN112098337B (zh) 2020-08-31 2023-10-10 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
CN113393379B (zh) * 2021-05-27 2024-04-09 中国科学院西安光学精密机械研究所 基于像素编码的大f数衍射实时校正的高分辨成像方法
CN113393380B (zh) * 2021-05-27 2024-04-09 中国科学院西安光学精密机械研究所 基于像素编码的大f数衍射实时校正的高分辨成像相机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107002A1 (en) * 2011-10-26 2013-05-02 Olympus Corporation Imaging apparatus
CN203688902U (zh) * 2014-01-24 2014-07-02 深圳银星精工科技发展有限公司 一种透雾霾摄像机镜头
CN105158893A (zh) * 2015-09-29 2015-12-16 南京理工大学 基于lcd液晶面板的可编程孔径显微镜系统的光场成像方法
CN107395933A (zh) * 2017-08-18 2017-11-24 南京理工大学 一种基于lcos空间光调制器的可编程孔径成像系统及超分辨方法
CN111031264A (zh) * 2019-11-29 2020-04-17 南京理工大学 一种基于透射式红外孔径编码成像系统及其超分辨方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2005138159A (ru) * 2003-05-13 2006-07-27 Экссид Имиджинг Лтд. (Il) Способ повышения разрешения в оптическом изображении и система для его осуществления
US8243353B1 (en) * 2008-04-07 2012-08-14 Applied Science Innovations, Inc. Holography-based device, system and method for coded aperture imaging
CN103384300A (zh) * 2013-07-03 2013-11-06 西安电子科技大学 基于压缩编码孔径的超分辨率成像系统
CN104034268B (zh) * 2014-07-01 2016-08-24 西安工业大学 双缝干涉条纹解码光谱共焦位移传感器及其位移测量方法
CN104168429B (zh) * 2014-08-19 2017-06-16 西安电子科技大学 一种多孔径分波段高分辨率成像装置及其成像方法
CN104796609B (zh) * 2015-04-17 2018-01-05 南京理工大学 基于最优哈达玛编码的大视场高分辨率显微成像方法
US20190020877A1 (en) * 2016-01-21 2019-01-17 Sony Corporation Image processing apparatus and method
CN105929560B (zh) * 2016-07-04 2018-11-09 中国科学院光电技术研究所 一种宽带远场超分辨成像装置
CN107564068B (zh) * 2017-08-18 2020-09-18 南京理工大学 一种针对孔径编码超分辨光学传递函数的标定方法
US10466451B2 (en) * 2017-12-04 2019-11-05 Newmax Technology Co., Ltd. Two-piece infrared single wavelength projection lens system
CN109360139B (zh) * 2018-09-03 2020-10-30 中国科学院西安光学精密机械研究所 基于平移可调波前编码的亚像元超分辨成像系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107002A1 (en) * 2011-10-26 2013-05-02 Olympus Corporation Imaging apparatus
CN203688902U (zh) * 2014-01-24 2014-07-02 深圳银星精工科技发展有限公司 一种透雾霾摄像机镜头
CN105158893A (zh) * 2015-09-29 2015-12-16 南京理工大学 基于lcd液晶面板的可编程孔径显微镜系统的光场成像方法
CN107395933A (zh) * 2017-08-18 2017-11-24 南京理工大学 一种基于lcos空间光调制器的可编程孔径成像系统及超分辨方法
CN111031264A (zh) * 2019-11-29 2020-04-17 南京理工大学 一种基于透射式红外孔径编码成像系统及其超分辨方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAN, SHENGCHEN: "Research on Super-Resolution Imaging Technology based on Programmable Aperture", ELECTRONIC TECHNOLOGY & INFORMATION SCIENCE, CHINA MASTER’S THESES FULL-TEXT DATABASE (ELECTRONIC JOURNALS), 15 June 2020 (2020-06-15), pages 1 - 85, XP055816675, ISSN: 1674-0246 *
SUN, LIMING: "Design and Research of Life Detection Based on Infrared Imaging", MASTER’S DISSERTATION, 15 August 2012 (2012-08-15), pages 1 - 93, XP055816665, ISSN: 1674-0246 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114488647A (zh) * 2022-01-26 2022-05-13 电子科技大学 利用方孔型液晶透镜提高成像分辨率的方法及系统和透镜
CN114488647B (zh) * 2022-01-26 2023-04-25 电子科技大学 利用方孔型液晶透镜提高成像分辨率的方法及系统和透镜
CN115100052A (zh) * 2022-06-14 2022-09-23 北京理工大学 一种宽谱段双通道压缩成像方法及系统
CN115100052B (zh) * 2022-06-14 2024-06-07 北京理工大学 一种宽谱段双通道压缩成像方法及系统
CN117471489A (zh) * 2023-12-25 2024-01-30 中国人民解放军国防科技大学 基于单像素成像技术的目标探测方法、装置和计算机设备
CN117471489B (zh) * 2023-12-25 2024-03-22 中国人民解放军国防科技大学 基于单像素成像技术的目标探测方法、装置和计算机设备

Also Published As

Publication number Publication date
CN111031264A (zh) 2020-04-17
CN111031264B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
WO2021103696A1 (zh) 一种基于透射式红外孔径编码成像系统及其超分辨方法
CN106803892B (zh) 一种基于光场测量的光场高清晰成像方法
US10353191B2 (en) Circular scanning technique for large area inspection
WO2020124992A1 (zh) 一种基于透射式双缝孔径编码成像系统及其超分辨方法
US20150219808A1 (en) Patchwork fresnel zone plates for lensless imaging
WO2006028527A2 (en) Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and centrally obscured aperture
CN105704371B (zh) 一种光场重聚焦方法
CN107395933B (zh) 一种基于lcos空间光调制器的可编程孔径成像系统及超分辨方法
US20140111606A1 (en) Camera systems and methods for gigapixel computational imaging
CN103091258A (zh) 一种基于液态变焦技术的多光谱成像仪
US10274652B2 (en) Systems and methods for improving resolution in lensless imaging
KR20150013795A (ko) 증가된 이미지 해상도를 갖는 적외선 검출기
CN110095189B (zh) 一种双目的八谱段多光谱相机设计方法
JP2005530410A (ja) センサの回転により画像の解像度を高めるシステム
Brückner Microoptical multi aperture imaging systems
US20230292016A1 (en) Meta-lens enabled light-field camera with extreme depth-of-field
US10495793B2 (en) Systems and methods for lensless image acquisition
CN114842046A (zh) 运动目标高动态场景图像的测量装置及方法
Wang et al. A computational super-resolution technique based on coded aperture imaging
Tisse Low-cost miniature wide-angle imaging for self-motion estimation
WO2021093528A1 (zh) 对焦方法和装置、电子设备、计算机可读存储介质
Wu et al. Super-resolution image restoration for microlens array imaging system
CN113163117A (zh) 一种光场相机的重聚焦方法
CN109118460B (zh) 一种分光偏振光谱信息同步处理方法及系统
CN112037132A (zh) 一种多孔径紧凑型多光谱成像系统及深度学习图像超分辨率重建方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20893935

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20893935

Country of ref document: EP

Kind code of ref document: A1