WO2022250267A1 - 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치 - Google Patents

왜곡된 영상으로부터 대상을 복원하는 방법 및 장치 Download PDF

Info

Publication number
WO2022250267A1
WO2022250267A1 PCT/KR2022/004309 KR2022004309W WO2022250267A1 WO 2022250267 A1 WO2022250267 A1 WO 2022250267A1 KR 2022004309 W KR2022004309 W KR 2022004309W WO 2022250267 A1 WO2022250267 A1 WO 2022250267A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fourier
original
extracting
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/004309
Other languages
English (en)
French (fr)
Inventor
박정훈
황병재
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UNIST Academy Industry Research Corp
Original Assignee
UNIST Academy Industry Research Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UNIST Academy Industry Research Corp filed Critical UNIST Academy Industry Research Corp
Priority to US18/564,423 priority Critical patent/US20240257305A1/en
Publication of WO2022250267A1 publication Critical patent/WO2022250267A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Definitions

  • the present invention relates to a method and apparatus for restoring an object from a distorted image, and more particularly, to a method and apparatus for restoring a distorted image by accurately extracting the Fourier phase and Fourier intensity of a restoration target using only the distorted image. it's about
  • an image restoration method using a calculation algorithm has been developed.
  • Labeyrie's method which is a method of restoring an image using only distorted images without using the aforementioned devices.
  • This method uses the power spectrum of acquired images.
  • the average power spectrum of the acquired images may be used as a value for estimating the Fourier intensity of a reconstruction target. If the Fourier intensity is known, the Fourier phase can be restored using the phase restoration algorithm.
  • the Fourier intensity of the target is estimated from the average power spectrum, and the Fourier phase is calculated through the phase restoration algorithm based on this.
  • phase restoration algorithm-based method has a major limitation in that the size of an object that can be restored is limited compared to the size of an image that can be obtained.
  • the restoration target In the acquired image, there is a prerequisite that the restoration target must be limited to a small area, otherwise restoration is not possible.
  • the image produced as a result of this algorithm varies depending on various parameters used in the algorithm.
  • the fact that the restoration results are calculated in various ways means that it is impossible to determine what the actual object is based only on the result calculated by the algorithm.
  • a method of restoring the Fourier phase of a restoration target in an acquired image has been studied for a long time. Although there are various image restoration algorithms using distorted images, they have a problem in that the image restoration speed is slow or the quality of the restored image is low.
  • the present invention is to provide a method and apparatus for rapidly, simply, and accurately and stably restoring an image up to the diffraction limit by a simple operation using Fourier phase and Fourier intensity extraction.
  • a method of restoring an object from a distorted image includes obtaining a plurality of original images including a distorted region; extracting a Fourier phase of the original image; extracting a Fourier intensity of the original image; and obtaining a reconstructed image obtained by reconstructing the distortion region by inverse Fourier transforming a value obtained by multiplying the Fourier phase and the Fourier intensity, wherein the steps of extracting the Fourier phase and the step of extracting the Fourier intensity are independent of each other. is performed with
  • the extracting of the Fourier phase may include aligning a plurality of original images by using position correction to obtain an aligned image set; obtaining an average image of the aligned image set; and extracting a Fourier phase from the average image.
  • the extracting of the Fourier phase may include selecting a reference image as a reference for position correction among a plurality of original images; correcting a position of each of the plurality of original images including the base image based on the base image by using a cross-correlation operation for calculating a correlation with the base image; obtaining a summed image by summing the position-corrected images; and calculating a Fourier phase of the summed image.
  • the plurality of original images may be obtained in plural at different viewpoints.
  • the plurality of original images may be obtained by dividing a single original image acquired at a point in time into a plurality of sub-images that satisfy an isoplanatic condition.
  • a subsequent reconstructed image may be obtained by determining a reference image of the next cycle and extracting the Fourier phase and the Fourier intensity for the same plurality of original images.
  • the original image may be captured and obtained by a space sensor device including at least one of a camera, an ultrasonic sensor, a radio antenna, and an X-ray detector.
  • An apparatus for restoring an object from a distorted image includes a processor, wherein the processor acquires a plurality of original images including a distorted region and performs a Fourier phase on the original images. extracting, extracting the Fourier intensity of the original image, inverse Fourier transforming a value obtained by multiplying the Fourier phase and the Fourier intensity to obtain a reconstructed image obtained by reconstructing the distortion region, and extracting the Fourier phase and the Fourier intensity Extractions are performed independently of each other.
  • FIG. 1 is a configuration diagram schematically showing the configuration of an image restoration apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart for explaining an image restoration method according to an embodiment of the present invention.
  • FIG. 3 is a flowchart for explaining a step of extracting a Fourier phase according to an embodiment of the present invention.
  • FIG. 4 is a flowchart for explaining an image restoration method according to an embodiment of the present invention from a mathematical point of view.
  • FIG. 5 is a schematic diagram for explaining an image restoration method according to an embodiment of the present invention using an exemplary view.
  • FIG. 6 is a schematic diagram for explaining an image restoration method according to another embodiment of the present invention using an exemplary view.
  • FIG. 1 is a configuration diagram schematically showing the configuration of an image restoration apparatus 10 according to an embodiment of the present invention.
  • the image restoration device 10 includes a communication unit 100, a processor 200, and a memory 300.
  • the communication unit 100 may communicate with various types of external devices and/or external servers (not shown) according to various types of communication methods.
  • the processor 200 may perform an operation of generally controlling the image restoration apparatus 10 using various programs stored in the memory 300 .
  • the processor 200 may be configured to process commands of a computer program by performing basic arithmetic, logic, and input/output operations. Commands may be provided to the processor 200 by the communication unit 100 or the memory 300 .
  • the processor 200 may be configured to execute received instructions according to program codes stored in a recording device such as the memory 300 .
  • the processor 200 includes a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC), and a field programmable gate array (FPGA). ), but may include a processing device such as, but is not limited thereto.
  • the memory 300 performs a function of temporarily or permanently storing data processed by the image restoration device 10 .
  • the memory 300 may include a non-perishable mass storage device such as RAM (Random Access Memory), ROM (Read Only Memory) and a disk drive, but the scope of the present invention is not limited thereto. .
  • the image restoration apparatus 10 may further include an input/output interface.
  • the input/output interface (not shown) may be a means for interface with an input/output device (not shown).
  • the input device may include, for example, a device such as a keyboard or a mouse, and the output device may include a device such as a display for displaying an image.
  • the input/output interface (not shown) may be a means for interface with a device in which functions for input and output are integrated into one, such as a touch screen.
  • the processor 200 extracts a Fourier phase and a Fourier intensity from an original image including a distorted region (hereinafter, it may be simply referred to as an 'original image' or a 'distorted image').
  • An image can be easily and quickly restored using a simple algorithm for inverse transformation. A specific operation of the processor 200 will be described in more detail using drawings to be described later.
  • the image restoration apparatus 10 of the present invention may further include other components in addition to the components shown in FIG. 1, and the communication unit 100 may be omitted if necessary.
  • FIGS. 2 and 3 are flowchart for explaining an image restoration method according to an embodiment of the present invention
  • FIG. 3 is a flowchart for explaining a Fourier phase extraction step (S200) according to an embodiment of the present invention.
  • An image restoration method described below may be performed by the processor 200 described above.
  • a plurality of original images including a distortion area are acquired (S100).
  • a plurality of original images may be acquired for the same location at different viewpoints. Alternatively, it may be acquired in multiple numbers at different locations.
  • the original image of the present invention does not depend on wavelength and can be applied not only to images in the visible ray region but also to all electromagnetic wave bands such as ultraviolet rays, infrared rays, X-rays, and radio, and images/signals of all waves such as ultrasonic waves.
  • the original image of the present invention is not limited to the wavelength at which the original image is obtained.
  • the original image of the present invention may be captured and acquired by a space sensor device including a camera, an ultrasonic sensor, a radio antenna, an X-ray detector, and the like.
  • a single number of original images may be acquired at one point in time.
  • a single original image may be divided into a plurality of sub-images that satisfy an isoplanatic condition.
  • the 'isoplanatic condition' may mean a range in which distortion of an original image can be evaluated as distortion by one point spread function. If this is expressed as a formula, it is as shown in [Equation 1] below.
  • Isub(x) means one sub-image divided
  • Osub(x) means a reconstructed sub-image when there is no distortion in each sub-image
  • PSFsub(x) means distortion due to the medium.
  • the aforementioned plurality of original images may refer to a plurality of original images including the same region or a plurality of sub-images obtained by dividing one original image of one region.
  • Step S200 a Fourier phase of the original image is acquired (S200).
  • step S200 will be described with reference to FIG. 3 .
  • Step S200 may include steps described later.
  • a plurality of original images are aligned using position correction to obtain an aligned image set (S210).
  • it can be interpreted as arranging a plurality of original images when there are a plurality of original images, and as arranging a plurality of sub-images obtained by dividing a single original image when there is a single original image.
  • a plurality of original images distorted differently from each other may be aligned by correcting positions based on an arbitrarily selected one original image.
  • one original image serving as the reference may be referred to as a reference image.
  • a plurality of aligned original images obtained through position correction is referred to as an aligned image set.
  • an average image is obtained by summing each image of the aligned image set and calculating an average (S220). Specifically, a plurality of original images that are position-corrected and aligned based on the reference image may be aligned and added. Thereafter, an average image may be obtained by calculating an average according to the summed number of original images.
  • the Fourier phase is extracted from the average image and determined as the Fourier phase of the original image (S230). If this is expressed as a formula, it can be expressed as in [Equation 2] below.
  • Means the Fourier phase of the original image (target image) to be restored Means a sum image of images whose positions are corrected based on cross-correlation of each of a plurality of original images, and is a Fourier phase thereof is used as the Fourier phase of the target image.
  • the Fourier intensity of the original image is obtained (S300).
  • the step of acquiring the Fourier intensity (S300) is performed independently of the step of acquiring the aforementioned Fourier phase (S200). That is, in the method of restoring an image from a distorted image according to the present invention, the Fourier phase and the Fourier strength are extracted independently and in parallel, not sequentially.
  • step S300 includes steps to be described later.
  • Each power spectrum is extracted (S310), and an average intensity of the plurality of power spectra is extracted (S320).
  • a value obtained by multiplying the Fourier phase obtained in step S200 and the Fourier intensity obtained in step S300 is subjected to inverse Fourier transformation to obtain a reconstructed image (S400).
  • the reconstructed image obtained by inverse Fourier transform is means
  • randomly distorted images due to random changes in a medium are performed through simple operations such as summing and averaging images whose positions have been corrected for a plurality of original images.
  • the Fourier phase of the target can be accurately and reliably restored to the diffraction limit. Since the average operation of the acquired original images is used, the calculated result tends to converge on the reconstruction target, and thus has a stable advantage over existing algorithms.
  • the embodiments of the present invention can be directly applied to environments where it is difficult to obtain high-resolution images, such as vibration, non-uniform air density distribution, and images through an opaque medium, so that the best image quality corresponding to the diffraction limit can be restored.
  • the embodiments of the present invention can be used in various fields such as long-distance video through air disturbance, unmanned monitoring using closed circuit television (CCTV), and industrial machine vision for precise quality measurement.
  • CCTV closed circuit television
  • step S300 is a flowchart for explaining an image restoration method according to an embodiment of the present invention from a mathematical point of view.
  • step S300 will be described first.
  • n-th original image among a plurality of original images Is Means the Fourier transform image of , denotes a reference image that is a reference for position correction based on cross-correlation, denotes an n-th image that has been position-corrected.
  • Fourier transform of . arbitrary image used as starting reference. : shift-corrected nth image.
  • step S300 the Fourier intensity of each of the plurality of original images (
  • step of extracting the Fourier phase (S200) may be performed by steps expressed by equations described later.
  • a reference image to be a reference for position correction arbitrarily among n original images ( ) is selected.
  • n original images including the reference image ( ) himself against all ( ) and the reference image ( ) performs a cross-correlation operation that calculates the correlation of If this is expressed as an equation, it can be expressed as in Equation 4 (Eq 4) below.
  • the cross-correlation operation may be, for example, a convolution operation, but is not limited thereto, and any operation representing correlation between different images is sufficient.
  • the cross-correlation operation may be implemented as multiplication in the Fourier domain.
  • Equation 5 Equation 5 (Eq 5) below.
  • Equation 6 Equation 6 (Eq 6) below.
  • Equation 7 Equation 7
  • the processor 200 determines whether the iteration number iter reaches the maximum iteration number itermax according to a criterion preset in the processor 200 and/or the memory 300. Determine (S500).
  • the processor 200 determines the most recently obtained reconstructed image (itermax). ) to the reference image of the next cycle ( ) After determining (S510), a subsequent reconstruction image may be obtained by sequentially performing steps S201, S202, S203, and S400. When the number of iterations is equal to the preset maximum number of iterations (itermax), the reconstructed image obtained last is determined as the final reconstructed image, and then the process may be terminated.
  • Images 50p, 51, and 52 on the left side of FIG. 5 are images obtained in a distorted state before restoration, and images 50a, 53, and 54 on the right side are images obtained in a restored state.
  • 50p is one original image among a plurality of original images including a distortion region, Or an image that is position-corrected therefrom. can correspond to 51 is an image representing the difference between the Fourier phase of the ground truth of the object photographed without distortion and the Fourier phase of 50p, and 52 is an image representing the Fourier intensity of 50p.
  • 50a is a reconstructed image obtained by restoring an object from an original image.
  • 53 is an image showing the difference between the Fourier phase of the ground truth of the object photographed without distortion and the Fourier phase of 50a. indicates that is equal to the ground truth.
  • 54 is an image showing the Fourier strength of 50a, as described above. can correspond to
  • a reconstructed image represented by 50a can be obtained by multiplying the Fourier phase represented by the image 51 of each of the n original images by the Fourier intensity value represented by the image 52 and inverse Fourier transforming the result. Extracting the Fourier phase and Fourier intensity of the reconstructed image 50a can be expressed as 53 and 54.
  • the Fourier phase 51 and the Fourier intensity 52 of each of the n original images (for convenience of explanation, in 51 and 52, only the difference between the Fourier phase of one original image and the Fourier phase of the actual data, and the Fourier intensity are shown.
  • the Fourier phase 53 and the Fourier intensity 54 of the reconstructed image can be obtained, and the values represented by 53 and 54 can be obtained.
  • a Fourier operation by multiplying by a reconstructed image 50a may be finally obtained.
  • Images 60p, 61, and 62 on the left of FIG. 6 are images obtained in a distorted state before restoration, and images 60a, 63, and 64 on the right are images obtained in a restored state.
  • FIG. 6 is an embodiment in which the degree of distortion of the original image is more severe compared to the above-described FIG. . Since the same content as in FIG. 5 is applied except that the degree of distortion is severe, hereinafter, differences will be mainly described.
  • 60p is one original image among a plurality of original images including a distortion region, Or an image corrected from the position thereof. can correspond to 61 is an image representing a Fourier phase of 60p, and 62 is an image representing a Fourier strength of 60p.
  • 60a is a reconstructed image obtained by reconstructing an object from an original image.
  • 63 is an image showing the Fourier phase of 60a, which has been described above.
  • 64 is an image representing the Fourier strength of 60a, as described above. can correspond to
  • the original image 60p may include more distortion information of the object. Therefore, the original image 60p shown in FIG. 6 is provided in a singular number, and instead, one original image 60p is divided into a plurality of (for example, n) sub-regions, and each of the sub-regions A plurality of corresponding sub-images may be acquired. In this case, adjacent sub-regions may include portions overlapping each other. The number of divided sub-images may be hundreds or thousands of units, for example, but is not limited thereto.
  • 61 and 62 shown in FIG. 6 may correspond to the Fourier phase and Fourier intensity of each of the sub images.
  • the Fourier phase of the reconstructed image ( 63) and the Fourier intensity 64 can be obtained, and by multiplying the values represented by 63 and 64 and performing a Fourier operation, the reconstructed image 60a can finally be obtained.
  • Embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed on a computer through various components, and such a computer program may be recorded on a computer-readable medium.
  • the medium may store a program executable by a computer.
  • the medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, and ROM, RAM, flash memory, etc. configured to store program instructions.
  • the computer program may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software.
  • An example of a computer program may include not only machine language code generated by a compiler but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 왜곡된 영상으로부터 대상을 복원하는 방법은, 왜곡 영역을 포함하는 복수의 원본 영상을 획득하는 단계; 상기 원본 영상에 대하여 푸리에 위상을 추출하는 단계; 상기 원본 영상에 대하여 푸리에 세기를 추출하는 단계; 및 상기 푸리에 위상 및 상기 푸리에 세기를 곱한 값을 푸리에 역변환하여 상기 왜곡 영역을 복원한 복원 영상을 획득하는 단계;를 포함하고, 상기 푸리에 위상을 추출하는 단계 및 상기 푸리에 세기를 추출하는 단계는 서로 독립적으로 수행된다.

Description

왜곡된 영상으로부터 대상을 복원하는 방법 및 장치
본 발명은 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치에 관한 것으로, 더 상세하게는 왜곡된 영상만을 이용하여 복원 대상의 푸리에 위상 및 푸리에 세기를 정확히 추출하여 왜곡된 영상을 복원하는 방법 및 장치에 관한 것이다.
장거리 이미징이 어려운 이유 중 하나는 대상과 카메라 사이에 불규칙적으로 변하는 대기 등의 매질 때문이다. 대기는 온도 변화나 구성 성분 변화에 따라 실시간으로 움직이는데, 이 때문에 획득된 영상은 매번 다른 방식으로 왜곡되어 있다. 이러한 불규칙적인 매질에 의해 영상이 왜곡되는 문제를 해결하기 위하여 기존에는 파면 보정장치를 사용하였다. 대상과 카메라 사이에 존재하는 대기의 분포를 측정하고 이로 인한 왜곡을 보정할 수 있는 장비를 이용하여 대기에 의한 왜곡을 보정하는 것이다. 이와 같이 하드웨어를 기반으로 한 기술은 작동 환경이 제한적인데, 크기가 커서 사용할 수 있는 상황이 제한적이고, 온도나 진동에 민감하여 다양한 상황에 쓰이기 어렵다. 또한 관찰 대상과 보완 장비의 견고한 배열이 이루어지지 않으면 왜곡 보정 효과를 기대하기 어렵다. 이외에도 가격이 비싸서 다양한 상황에 적용하기 어려운 한계가 있다. 이러한 사용 환경의 문제와 고비용의 문제로 인해 하드웨어 기반의 기술이 널리 쓰이지 못하고 있다.
한편, 하드웨어를 기반으로 한 영상 보정의 단점들을 보완하기 위해서 계산 알고리즘을 이용한 영상 복원 방법이 개발되어 왔다. 고전적인 방법으로는 Labeyrie의 방법이 있는데, 이는 앞서 언급한 장치들을 사용하지 않으면서도 왜곡된 영상들만을 이용하여 영상을 복원하는 방법이다. 이 방법은 획득한 영상들의 파워 스펙트럼(power spectrum)을 이용한다. 획득한 영상들의 평균 파워 스펙트럼은 복원 대상의 푸리에 세기를 추정하는 값으로 사용될 수 있다. 푸리에 세기를 알면 위상복원 알고리즘을 이용해서 푸리에 위상을 복원할 수 있는데, 평균 파워 스펙트럼으로부터 대상의 푸리에 세기를 추정하고, 이를 토대로 위상복원 알고리즘을 통해 푸리에 위상을 계산하는 것이다. 이와 같이 복원한 푸리에 위상과 세기를 조합해서 왜곡이 사라진 대상을 복원할 수 있게 된다. 그러나 이와 같은 위상복원 알고리즘 기반 방법은 복원할 수 있는 대상의 크기가 획득 가능한 영상 크기에 비해 제한되어 있다는 큰 한계점이 있다. 획득한 영상 내에 복원 대상이 작은 영역에 한정되어 있어야 한다는 전제 조건이 있고 그렇지 않은 경우에는 복원이 되지 않는다. 또한 이 알고리즘의 결과로 산출되는 영상은 알고리즘에 사용되는 다양한 파라미터에 따라 달라지는 문제가 있다. 복원 결과가 여러 가지로 산출된다는 것은 실제 대상이 무엇인지를 알고리즘이 산출한 결과만으로는 판별할 수 없다는 뜻이 된다. 이러한 한계를 극복하기 위해 획득한 영상에서 복원 대상의 푸리에 위상을 복원하는 방법이 오랫동안 연구되어 왔다. 왜곡된 영상들을 이용한 영상복원 알고리즘이 다양하게 존재하지만, 영상이 복원되는 속도가 느리거나 복원된 영상의 품질이 낮은 문제를 가지고 있다.
전술한 문제점을 해결하기 위해, 본 발명은 푸리에 위상 및 푸리에 세기 추출을 이용한 간단한 연산으로 신속하고 간소하면서도 회절 한계까지 정확하고 안정적으로 영상을 복원하는 방법 및 장치를 제공하고자 한다.
본 발명의 일 실시예에 따른 왜곡된 영상으로부터 대상을 복원하는 방법은, 왜곡 영역을 포함하는 복수의 원본 영상을 획득하는 단계; 상기 원본 영상에 대하여 푸리에 위상을 추출하는 단계; 상기 원본 영상에 대하여 푸리에 세기를 추출하는 단계; 및 상기 푸리에 위상 및 상기 푸리에 세기를 곱한 값을 푸리에 역변환하여 상기 왜곡 영역을 복원한 복원 영상을 획득하는 단계;를 포함하고, 상기 푸리에 위상을 추출하는 단계 및 상기 푸리에 세기를 추출하는 단계는 서로 독립적으로 수행된다.
상기 푸리에 위상을 추출하는 단계는, 복수의 원본 영상에 대하여 위치 보정을 이용하여 정렬하여 정렬 영상 세트를 획득하는 단계; 상기 정렬 영상 세트의 평균 영상을 획득하는 단계; 및 상기 평균 영상으로부터 푸리에 위상을 추출하는 단계;를 포함할 수 있다.
상기 푸리에 위상을 추출하는 단계는, 복수의 원본 영상 중 위치 보정의 기준이 되는 기준 영상을 선택하는 단계; 상기 기준 영상을 포함하는 상기 복수의 원본 영상 각각에 대하여 상기 기준 영상과의 상관성을 산출하는 상호 상관(cross-correlation) 연산을 이용하여 상기 기준 영상을 기준으로 위치 보정하는 단계; 상기 위치 보정된 영상들을 합산하여 합산 영상을 획득하는 단계; 및 상기 합산 영상의 푸리에 위상을 산출하는 단계를 포함할 수 있다.
상기 복수의 원본 영상은 서로 다른 시점에서 복수 개로 획득될 수 있다.
상기 복수의 원본 영상은, 일 시점에서 단수 개로 획득된 단일 원본 영상을 이소플라나틱한 조건을 만족하는 복수 개의 서브 영상으로 분할하여 획득될 수 있다.
상기 복원 영상을 획득하는 단계 이후에, 반복 횟수가 미리 설정된 최대 반복 횟수에 도달하였는지 여부를 판단하는 단계;를 더 포함하고, 상기 판단하는 단계에서 아직 도달하지 않은 경우, 가장 나중에 얻어진 복원 영상을 그 다음 사이클의 기준 영상으로 결정하고, 동일한 복수의 원본 영상에 대하여 상기 푸리에 위상 및 상기 푸리에 세기를 추출하여 후속 복원 영상을 획득할 수 있다.
상기 원본 영상을 획득하는 단계에서, 상기 원본 영상은 카메라, 초음파 센서, 라디오 안테나 및 X-선 검출기 중 적어도 하나를 포함하는 공간센서 장치에 의해 촬영되어 획득될 수 있다.
본 발명의 일 실시예에 따른 왜곡된 영상으로부터 대상을 복원하는 장치는, 프로세서;를 포함하고, 상기 프로세서는, 왜곡 영역을 포함하는 복수의 원본 영상을 획득하고, 상기 원본 영상에 대하여 푸리에 위상을 추출하고, 상기 원본 영상에 대하여 푸리에 세기를 추출하고, 상기 푸리에 위상 및 상기 푸리에 세기를 곱한 값을 푸리에 역변환하여 상기 왜곡 영역을 복원한 복원 영상을 획득하며, 상기 푸리에 위상의 추출과 상기 푸리에 세기의 추출은 서로 독립적으로 수행한다.
본 발명의 실시예들에 따르면, 푸리에 위상 및 푸리에 세기 추출을 이용한 간단한 연산으로 신속하고 간소하며 회절 한계까지 정확하고 안정적으로 왜곡된 영상으로부터 대상을 복원할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 복원 장치의 구성을 개략적으로 도시한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복원 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 푸리에 위상을 추출하는 단계를 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 영상 복원 방법을 수식적 관점에서 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 영상 복원 방법을 예시도를 이용하여 설명하기 위한 모식도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 복원 방법을 예시도를 이용하여 설명하기 위한 모식도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 복원 장치(10)의 구성을 개략적으로 도시한 구성도이다.
영상 복원 장치(10)는 통신부(100), 프로세서(200), 메모리(300)를 포함한다.
통신부(100)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치 및/또는 외부 서버(미도시)와 통신할 수 있다.
프로세서(200)는 메모리(300)에 저장된 각종 프로그램을 이용하여 영상 복원 장치(10)를 전반적으로 제어하는 동작을 수행할 수 있다. 프로세서(200)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 통신부(100) 또는 메모리(300)에 의해 프로세서(200)로 제공될 수 있다. 예를 들어 프로세서(200)는 메모리(300)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 프로세서(200)는 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 포함할 수 있으나, 이에 한정되지 않는다.
메모리(300)는 영상 복원 장치(10)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리(300)는 RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(Permanent Mass Storage Device)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 도면에 도시되지는 않았으나, 영상 복원 장치(10)는 입출력 인터페이스를 더 포함할 수 있다. 입출력 인터페이스(미도시)는 입출력 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 입력 장치는 예를 들어 키보드 또는 마우스 등의 장치를, 출력 장치는 이미지를 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로, 입출력 인터페이스(미도시)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다.
본 발명의 일 실시예에 따른 프로세서(200)는 왜곡 영역을 포함하는 원본 영상(이하, 간략히 '원본 영상' 또는 '왜곡된 영상'으로 지칭할 수 있다.)으로부터 푸리에 위상 및 푸리에 세기를 추출하여 역변환하는 단순 알고리즘을 이용하여 용이하고 신속하게 영상을 복원할 수 있다. 프로세서(200)의 구체적 동작에 관하여는 후술하는 도면들을 이용하여 더 상세히 설명한다.
본 발명의 영상 복원 장치(10)는 도 1에 도시된 구성 요소들 외에 다른 구성요소를 더 포함할 수도 있고, 필요에 따라 통신부(100)는 생략될 수도 있다.
이하, 도 2 및 도 3을 함께 참조하여 본 발명의 일 실시예에 따른 영상 복원 방법에 대하여 설명한다. 도 2는 본 발명의 일 실시예에 따른 영상 복원 방법을 설명하기 위한 순서도이고, 도 3은 본 발명의 일 실시예에 따른 푸리에 위상을 추출하는 단계(S200)를 설명하기 위한 순서도이다. 후술하는 영상 복원 방법은 전술한 프로세서(200)에 의해 수행될 수 있다.
먼저, 왜곡 영역을 포함하는 복수의 원본 영상을 획득한다(S100). 이때 원본 영상은 서로 다른 시점에서 동일한 위치에 대하여 복수 개로 획득될 수 있다. 또는 서로 다른 위치에서 복수 개로 획득될 수도 있다.
본 발명의 원본 영상은 파장에 의존하지 않으며 가시광선 영역대의 영상 뿐만 아니라 자외선, 적외선, X-선, 라디오 등 모든 전자기파대역 및 초음파 등의 모든 파동의 영상/신호에 적용 가능하다. 본 발명의 원본 영상은 원본 영상이 획득되는 파장에 한정되지 않는다.
이때, 본 발명의 원본 영상은 카메라, 초음파 센서, 라디오 안테나, X-선 검출기 등을 포함하는 공간센서 장치에 의해 촬영되어 획득될 수 있다.
실시예에 따라서, 원본 영상은 일 시점에서 단수 개로 획득될 수도 있다. 이때 단일 원본 영상은 이소플라나틱(isoplanatic)한 조건을 만족하는 복수 개의 서브 영상으로 분할될 수 있다. 상기 '이소플라나틱한 조건'이란 원본 영상의 왜곡을 하나의 점퍼짐함수(point spread function)에 의한 왜곡이라고 평가할 수 있는 범위를 의미할 수 있다. 이를 수식으로 표현하면 아래 [수학식 1]과 같다.
[수학식 1]
Figure PCTKR2022004309-appb-img-000001
이때, Isub(x)는 분할된 하나의 서브 영상을 의미하고, Osub(x)는 각 서브 영상에서 왜곡이 없을 때의 복원 서브 영상을 의미하고, PSFsub(x)는 매질에 의한 왜곡을 의미한다. 원본 영상을 획득할 때마다 획득 시간 또는 획득 위치에 따라 매질이 변하고 이에 따라 원본 영상마다 왜곡되는 방식, 정도가 달라지므로, PSFsub(x) 또한 원본 영상 또는 이의 서브 영상마다 다를 수 있다.
즉, 전술한 복수의 원본 영상이라 함은, 동일 영역을 포함하는 복수의 원본 영상일 수도 있고, 일 영역의 하나의 원본 영상을 분할한 복수의 서브 영상을 의미할 수도 있다.
이후, 원본 영상에 대한 푸리에 위상을 획득한다(S200). 여기서, 도 3을 함께 참조하여 S200 단계에 관하여 설명한다. S200 단계는 후술하는 단계들을 포함할 수 있다.
먼저, 위치 보정을 이용하여 복수의 원본 영상을 정렬하여 정렬 영상 세트를 획득한다(S210). 이때 원본 영상이 복수 개인 경우 복수 개의 원본 영상을 정렬하는 것이고, 원본 영상이 단수 개인 경우 단일 원본 영상을 분할한 복수 개의 서브 영상을 정렬하는 것으로 해석할 수 있다. 더 구체적으로, 서로 다르게 왜곡된 복수의 원본 영상을 임의로 선택된 일 원본 영상을 기준으로 위치를 보정하여 정렬할 수 있다. 이하, 상기 기준이 된 일 원본 영상을 기준 영상으로 지칭할 수 있다. 이렇게 위치 보정으로 얻어진 정렬된 복수의 원본 영상을 정렬 영상 세트로 지칭한다.
이후, 상기 정렬 영상 세트의 각 영상들을 합산하고 평균을 산출하여 평균 영상을 획득한다(S220). 구체적으로, 기준 영상을 기준으로 위치 보정되어 정렬된 복수의 원본 영상들을 위치를 맞추어 더할 수 있다. 이후, 합산한 원본 영상의 개수에 따라 평균을 산출하여 평균 영상을 획득할 수 있다.
이후, 상기 평균 영상으로부터 푸리에 위상을 추출하여 원본 영상의 푸리에 위상으로 결정한다(S230). 이를 수식으로 표현하면 하기의 [수학식 2]와 같이 표현될 수 있다.
[수학식 2]
Figure PCTKR2022004309-appb-img-000002
이때,
Figure PCTKR2022004309-appb-img-000003
는 복원 대상이 되는 원본 영상(타겟 영상)의 푸리에 위상을 의미하고,
Figure PCTKR2022004309-appb-img-000004
는 복수의 원본 영상 각각의 상호 상관을 기초로 위치가 보정된 영상들의 합산 영상을 의미하고, 이의 푸리에 위상인
Figure PCTKR2022004309-appb-img-000005
를 타겟 영상의 푸리에 위상으로 사용한다.
한편, 전술한 S200 단계와 독립적으로, 원본 영상에 대한 푸리에 세기를 획득한다(S300). 이때 푸리에 세기를 획득하는 단계(S300)는 전술한 푸리에 위상을 획득하는 단계(S200)와 독립적으로 수행된다. 즉, 본 발명의 왜곡된 영상으로부터 영상을 복원하는 방법에 있어서, 푸리에 위상과 푸리에 세기는 선후관계가 아닌 서로 독립적, 병렬적으로 추출된다.
여기서 다시 도 2를 참조하면, S300 단계는 후술하는 단계들을 포함한다.
먼저, 복수의 원본 영상(
Figure PCTKR2022004309-appb-img-000006
,
Figure PCTKR2022004309-appb-img-000007
, … ,
Figure PCTKR2022004309-appb-img-000008
) 각각의 파워 스펙트럼을 추출하고(S310), 상기 복수의 파워 스펙트럼의 평균 세기를 추출한다(S320).
이후, 상기 평균 세기의 제곱근으로 대상을 복원하고자 하는 타겟 영상의 푸리에 세기로 추출한다(S330).
이후, S200 단계에서 획득된 푸리에 위상 및 S300 단계에서 획득된 푸리에 세기를 곱한 값을 다시 푸리에 역변환하여 복원 영상을 획득한다(S400). 푸리에 역변환하여 획득하는 복원 영상은, 상기 [수학식 1]의
Figure PCTKR2022004309-appb-img-000009
를 의미한다.
영상 복원을 위해 푸리에 진폭을 복구하는 방법은 많이 연구되어 왔지만, 복원 대상의 푸리에 위상의 복원은 어려운 문제로서 최근에 다양한 방법들이 연구되고 있다. 대표적인 방법으로 이중스펙트럼을 이용한 영상 복원 방법이 있는데, 이 방법은 이중스펙트럼의 크기가 획득한 영상의 제곱의 크기로 정해져서 계산해야되는 양이 많고, 복원 시간이 오래 걸리는 단점이 있다. 이러한 문제를 해결하기 위해서 병렬 계산 처리를 할 수 있는 하드웨어가 사용되기도 하지만, 여전히 획득한 영상들의 이중스펙트럼을 계산하고 영상을 복원하는 계산 과정이 매우 복잡하고 어려워서 널리 사용되지 못하고 있다. 이 외에도 왜곡된 영상들을 이용한 영상복원 알고리즘이 다양하게 존재하지만, 영상이 복원되는 속도가 느리거나 복원된 영상의 품질이 낮은 문제를 가지고 있다.
본 발명의 일 실시예에 따른 영상 복원 방법 및 컴퓨터 프로그램에 의하면, 복수의 원본 영상에 대하여 위치 보정된 영상들을 합산, 평균화하는 등의 단순한 연산을 통해 매질의 랜덤한 변화로 인한 무작위적으로 왜곡된 대상의 푸리에 위상을 회절 한계까지 정확하고 안정적으로 복원할 수 있다. 획득된 원본 영상들의 평균 연산을 이용하므로 산출되는 결과가 복원 대상에 수렴하는 경향이 있어서 기존의 알고리즘에 비해 안정적인 이점이 있다.
또한, 간단하고 신속하게 왜곡된 영상을 복원할 수 있을 뿐만 아니라, 복원 대상에 대한 참고 또는 기준이 되는 정보들이나, 복원 장치마다 달리 쓰이는 파라미터들에 대한 정보가 필요없이 항상 동일한 결과를 산출하는 등 영상 복원의 간소화를 도모할 수 있다. 또한, 최적화 문제를 해결하는 기존의 알고리즘에 비해 부가적인 과정이 필요 없으므로, 스마트폰 등의 소형 계산 장치로도 실시간 영상 복원을 구현하는 등 다양한 영상 복원 시스템에 활용될 수 있는 이점이 있다.
본 발명의 실시예들에 따르면, 진동, 불균일한 공기 밀도 분포, 불투명한 매질을 통한 영상 등 일반적으로 고해상도 영상을 획득하기 어려운 환경에 바로 적용 가능하여 회절 한계에 대응하는 최상의 영상 품질을 복원할 수 있다. 이에 따라, 본 발명의 실시예들은 대기외란을 통한 장거리 영상, 폐쇄회로 텔레비전(CCTV) 등을 이용한 무인감시, 정밀품질측정을 위한 산업용 머신비전 등 다양한 분야에 활용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 복원 방법을 수식적 관점에서 설명하기 위한 순서도이다. 이하, 설명의 편의 상 S300 단계에 관하여 먼저 설명한다.
이하에서,
Figure PCTKR2022004309-appb-img-000010
는 복수의 원본 영상 중 n 번째 원본 영상을 의미하고,
Figure PCTKR2022004309-appb-img-000011
는
Figure PCTKR2022004309-appb-img-000012
의 푸리에 변환한 영상을 의미하고,
Figure PCTKR2022004309-appb-img-000013
은 상호 상관을 기반으로 한 위치 보정의 기준이 되는 기준 영상을 의미하며,
Figure PCTKR2022004309-appb-img-000014
은 위치 보정된 n 번째 영상을 의미한다. (
Figure PCTKR2022004309-appb-img-000015
: Fourier transform of
Figure PCTKR2022004309-appb-img-000016
.
Figure PCTKR2022004309-appb-img-000017
: arbitrary image used as starting reference.
Figure PCTKR2022004309-appb-img-000018
: shift-corrected nth image.)
S300 단계의 하기 수학식 3(Eq 3)을 참조하면, 복수의 원본 영상 각각의 푸리에 세기(|
Figure PCTKR2022004309-appb-img-000019
|)의 제곱평균제곱근(root mean square; rms)으로 푸리에 세기를 추출한다(S300).
[수학식 3]
Figure PCTKR2022004309-appb-img-000020
한편, 푸리에 위상을 추출하는 단계(S200)는 후술하는 수식들로 표현되는 단계들에 의해 수행될 수 있다.
먼저, n 개의 원본 영상 중에서 임의로 위치 보정의 기준이 될 기준 영상(
Figure PCTKR2022004309-appb-img-000021
)이 선택된다. 이후, 상기 기준 영상을 포함하는 n 개의 원본 영상(
Figure PCTKR2022004309-appb-img-000022
) 모두에 대하여 그 자신(
Figure PCTKR2022004309-appb-img-000023
)과 기준 영상(
Figure PCTKR2022004309-appb-img-000024
)의 상관성을 산출하는 상호 상관(cross-correlation) 연산을 수행한다. 이를 수학식으로 표현하면 하기 수학식 4(Eq 4)와 같이 표현될 수 있다. 이때 상호 상관 연산이란 일 예로 컨볼루션(convolution) 연산일 수 있으나, 이에 한정되지 않고 서로 다른 영상 간의 상관성을 나타내는 연산이면 족하다. 일 예로, 계산 속도를 높이기 위해서 상호 상관 연산을 푸리에 도메인에서의 곱셈으로도 구현할 수 있다.
[수학식 4]
Figure PCTKR2022004309-appb-img-000025
이후, n 개의 원본 영상(
Figure PCTKR2022004309-appb-img-000026
) 모두에 대하여 기준 영상(
Figure PCTKR2022004309-appb-img-000027
)을 기준으로 위치 보정(shift correction)을 수행하여, n 개의 위치 보정된 영상(
Figure PCTKR2022004309-appb-img-000028
)을 포함하는 정렬 영상 세트를 획득한다. 이는 하기의 수학식 5(Eq 5)으로 표현될 수 있다.
[수학식 5]
Figure PCTKR2022004309-appb-img-000029
이후, 상기 정렬 영상 세트의 n 개의 위치 보정된 영상(
Figure PCTKR2022004309-appb-img-000030
)을 모두 합산하여 합산 영상(
Figure PCTKR2022004309-appb-img-000031
)을 산출하되, 이때 상기 합산 영상(
Figure PCTKR2022004309-appb-img-000032
)은 합산한 n 개 영상의 평균을 의미할 수도 있다. 그리고, 상기 합산 영상의 푸리에 위상(
Figure PCTKR2022004309-appb-img-000033
)을 산출하여, 이를 본 발명의 영상 복원 방법에 사용되는 푸리에 위상(
Figure PCTKR2022004309-appb-img-000034
)으로 결정할 수 있다. 이를 수식으로 표현하면 하기의 수학식 6(Eq 6)과 같다.
[수학식 6]
Figure PCTKR2022004309-appb-img-000035
이상과 같이, 본 발명의 푸리에 세기(
Figure PCTKR2022004309-appb-img-000036
) 및 푸리에 위상(
Figure PCTKR2022004309-appb-img-000037
)이 산출되었으면 두 값을 곱하고, 이를 푸리에 역변환하여 복원 영상(
Figure PCTKR2022004309-appb-img-000038
)을 획득한다(S400). 이를 수식으로 표현하면 하기의 수학식 7(EQ 7)과 같다.
[수학식 7]
Figure PCTKR2022004309-appb-img-000039
이후, 추가적으로 소정의 기준에 따라 최종적으로 획득된 복원 영상(
Figure PCTKR2022004309-appb-img-000040
)을 최초 복원 영상으로 하여 전술한 S201, S202, S203 및 S400 단계를 반복 수행(iteration)할 수 있다(S500).
더 구체적으로, S400 단계에서 복원 영상이 획득되면 프로세서(200)는 반복 횟수(iter)가 프로세서(200) 및/또는 메모리(300)에 미리 설정된 기준에 따른 최대 반복 횟수(itermax)에 도달하였는지 여부를 판단한다(S500).
반복 횟수가 아직 최대 반복 횟수(itermax)에 도달하지 않은 경우, 프로세서(200)는 가장 나중에 얻어진 복원 영상(
Figure PCTKR2022004309-appb-img-000041
)을 그 다음 사이클의 기준 영상(
Figure PCTKR2022004309-appb-img-000042
)으로 결정한 후(S510), S201, S202, S203 및 S400 단계를 순차적으로 수행하여 후속 복원 영상을 획득할 수 있다. 반복 횟수가 미리 설정된 최대 반복 횟수(itermax)와 같아진 경우 가장 나중에 획득된 복원 영상을 최종 복원 영상으로 결정한 후 종료될 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 복원 방법을 예시도를 이용하여 설명하기 위한 모식도이다. 도 5의 좌측의 영상들(50p, 51, 52)은 복원 전 왜곡된 상태에서 획득된 영상들이고, 우측의 영상들(50a, 53, 54)은 복원된 상태에서 획득된 영상들이다.
먼저 좌측을 참조하면, 50p는 왜곡 영역을 포함하는 복수의 원본 영상 중 일 원본 영상으로, 전술한
Figure PCTKR2022004309-appb-img-000043
또는 이로부터 위치 보정 된 영상인
Figure PCTKR2022004309-appb-img-000044
에 대응될 수 있다. 51은 왜곡 없이 촬영된 물체의 실측 자료(ground truth)의 푸리에 위상과 50p의 푸리에 위상의 차이를 나타내는 영상이며, 52는 50p의 푸리에 세기를 나타내는 영상이다.
우측을 참조하면, 50a는 원본 영상으로부터 대상을 복원한 복원 영상으로, 전술한
Figure PCTKR2022004309-appb-img-000045
에 대응된다. 53은 왜곡 없이 촬영된 물체의 실측 자료(ground truth)의 푸리에 위상과 50a의 푸리에 위상의 차이를 나타내는 영상으로 전술한
Figure PCTKR2022004309-appb-img-000046
가 실측 자료(ground truth)와 동일하다는 것을 나타낸다. 54는 50a의 푸리에 세기를 나타내는 영상으로 전술한
Figure PCTKR2022004309-appb-img-000047
에 대응될 수 있다.
n 개의 원본 영상 각각의 51의 영상으로 표현되는 푸리의 위상과, 52의 영상으로 표현되는 푸리에 세기 값을 곱하여 이를 푸리에 역변환하면 50a로 표현되는 복원 영상을 획득할 수 있다. 복원 영상(50a)의 푸리에 위상 및 푸리에 세기를 추출하면 53 및 54와 같이 표현될 수 있다. 다시 말해, n 개의 원본 영상 각각의 푸리에 위상(51) 및 푸리에 세기(52)(설명의 편의 상 51, 52에는 일 원본 영상의 푸리에 위상과 실측 자료의 푸리에 위상 간의 차, 푸리에 세기만 도시하였다.)를 이용하여 전술한 S200 내지 S400 단계, 또는 S200 내지 S500 단계에 따른 연산을 수행하면, 복원 영상의 푸리에 위상(53) 및 푸리에 세기(54)를 얻을 수 있고, 상기 53 및 54로 표현되는 값을 곱하여 푸리에 연산하면 최종적으로 복원 영상(50a)을 획득할 수 있다.
최종적으로 50p 및 50a를 비교하면 복원 영상(50a)에 포함되는 대상이 훨씬 더 뚜렷하게 보이는 것을 확인할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 영상 복원 방법을 예시도를 이용하여 설명하기 위한 모식도이다. 도 6의 좌측의 영상들(60p, 61, 62)은 복원 전 왜곡된 상태에서 획득된 영상들이고, 우측의 영상들(60a, 63, 64)은 복원된 상태에서 획득된 영상들이다.
도 6의 실시예는 전술한 도 5와 대비하여 원본 영상의 왜곡의 정도가 더 심한 실시예로서, 원본 영상(60p) 및 복원 영상(60a)을 참조하면 왜곡의 정도가 더 심한 것을 확인할 수 있다. 왜곡의 정도가 심한 것을 제외하고는 도 5와 동일한 내용이 적용되므로 이하에서는 차이점이 되는 부분을 위주로 설명한다.
먼저 좌측을 참조하면, 60p는 왜곡 영역을 포함하는 복수의 원본 영상 중 일 원본 영상으로, 전술한
Figure PCTKR2022004309-appb-img-000048
또는 이로부터 위치 보정된 영상인
Figure PCTKR2022004309-appb-img-000049
에 대응될 수 있다. 61은 60p의 푸리에 위상을 나타내는 영상이며, 62는 60p의 푸리에 세기를 나타내는 영상이다.
우측을 참조하면, 60a는 원본 영상으로부터 대상을 복원한 복원 영상으로, 전술한
Figure PCTKR2022004309-appb-img-000050
에 대응된다. 63은 60a의 푸리에 위상을 나타내는 영상으로 전술한
Figure PCTKR2022004309-appb-img-000051
에 대응되며, 64는 60a의 푸리에 세기를 나타내는 영상으로 전술한
Figure PCTKR2022004309-appb-img-000052
에 대응될 수 있다.
최종적으로 60p 및 60a를 비교하면, 복원 영상(60a)에서 왜곡의 정도가 심한 원본 영상(60p)으로부터 복원하고자 하는 대상인 '2'라는 텍스트가 뚜렷하게 복원된 것을 확인할 수 있다.
왜곡의 정도가 심한 경우, 원본 영상(60p)은 대상의 왜곡 정보를 더 많이 포함할 수 있다. 따라서, 도 6에 도시된 원본 영상(60p) 자체는 단수 개로 구비되고, 대신에 한 개의 원본 영상(60p)이 복수 개(일 예로, n 개)의 서브 영역으로 분할되고, 상기 서브 영역 각각에 대응하는 복수 개의 서브 영상이 획득될 수 있다. 이때, 인접하는 서브 영역은 서로 중첩하는 부분을 포함할 수도 있다. 분할되는 서브 영상의 개수는 일 예로 수백 개 또는 수천 개 단위일 수 있으나, 이에 한정되지 않는다. 이때, 도 6에 도시된 61, 62는 상기 서브 영상 각각의 푸리에 위상 및 푸리에 세기에 대응될 수 있다.
도 5와 마찬가지로, n 개의 서브 영상 각각의 푸리에 위상(61) 및 푸리에 세기(62)를 이용하여 전술한 S200 내지 S400 단계, 또는 S200 내지 S500 단계에 따른 연산을 수행하면, 복원 영상의 푸리에 위상(63) 및 푸리에 세기(64)를 얻을 수 있고, 상기 63 및 64로 표현되는 값을 곱하여 푸리에 연산하면 최종적으로 복원 영상(60a)을 획득할 수 있다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
따라서, 본 발명의 사상은 앞에서 설명된 실시예들에 국한하여 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위가 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 왜곡 영역을 포함하는 복수의 원본 영상을 획득하는 단계;
    상기 원본 영상에 대하여 푸리에 위상을 추출하는 단계;
    상기 원본 영상에 대하여 푸리에 세기를 추출하는 단계; 및
    상기 푸리에 위상 및 상기 푸리에 세기를 곱한 값을 푸리에 역변환하여 상기 왜곡 영역을 복원한 복원 영상을 획득하는 단계;를 포함하고,
    상기 푸리에 위상을 추출하는 단계 및 상기 푸리에 세기를 추출하는 단계는 서로 독립적으로 수행되는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  2. 제1항에 있어서,
    상기 푸리에 위상을 추출하는 단계는,
    복수의 원본 영상에 대하여 위치 보정을 이용하여 정렬하여 정렬 영상 세트를 획득하는 단계;
    상기 정렬 영상 세트의 평균 영상을 획득하는 단계; 및
    상기 평균 영상으로부터 푸리에 위상을 추출하는 단계;를 포함하는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  3. 제1항에 있어서,
    상기 푸리에 위상을 추출하는 단계는,
    복수의 원본 영상 중 위치 보정의 기준이 되는 기준 영상을 선택하는 단계;
    상기 기준 영상을 포함하는 상기 복수의 원본 영상 각각에 대하여 상기 기준 영상과의 상관성을 산출하는 상호 상관(cross-correlation) 연산을 이용하여 상기 기준 영상을 기준으로 위치 보정하는 단계;
    상기 위치 보정된 영상들을 합산하여 합산 영상을 획득하는 단계; 및
    상기 합산 영상의 푸리에 위상을 산출하는 단계;
    를 포함하는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  4. 제1항에 있어서,
    상기 복수의 원본 영상은 서로 다른 시점에서 복수 개로 획득되는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  5. 제1항에 있어서,
    상기 복수의 원본 영상은,
    일 시점에서 단수 개로 획득된 단일 원본 영상을 이소플라나틱한 조건을 만족하는 복수 개의 서브 영상으로 분할하여 획득되는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  6. 제1항에 있어서,
    상기 복원 영상을 획득하는 단계 이후에,
    반복 횟수가 미리 설정된 최대 반복 횟수에 도달하였는지 여부를 판단하는 단계;를 더 포함하고,
    상기 판단하는 단계에서 아직 도달하지 않은 경우,
    가장 나중에 얻어진 복원 영상을 그 다음 사이클의 기준 영상으로 결정하고, 동일한 복수의 원본 영상에 대하여 상기 푸리에 위상 및 상기 푸리에 세기를 추출하여 후속 복원 영상을 획득하는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  7. 제1항에 있어서,
    상기 원본 영상을 획득하는 단계에서,
    상기 원본 영상은 카메라, 초음파 센서, 라디오 안테나 및 X-선 검출기 중 적어도 하나를 포함하는 공간센서 장치에 의해 촬영되어 획득되는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  8. 프로세서;를 포함하고, 상기 프로세서는,
    왜곡 영역을 포함하는 복수의 원본 영상을 획득하고,
    상기 원본 영상에 대하여 푸리에 위상을 추출하고,
    상기 원본 영상에 대하여 푸리에 세기를 추출하고,
    상기 푸리에 위상 및 상기 푸리에 세기를 곱한 값을 푸리에 역변환하여 상기 왜곡 영역을 복원한 복원 영상을 획득하며,
    상기 푸리에 위상의 추출과 상기 푸리에 세기의 추출은 서로 독립적으로 수행하는, 왜곡된 영상으로부터 대상을 복원하는 장치.
PCT/KR2022/004309 2021-05-27 2022-03-28 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치 Ceased WO2022250267A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/564,423 US20240257305A1 (en) 2021-05-27 2022-03-28 Method and apparatus for reconstructing object from distorted image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0068612 2021-05-27
KR1020210068612A KR102476808B1 (ko) 2021-05-27 2021-05-27 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2022250267A1 true WO2022250267A1 (ko) 2022-12-01

Family

ID=84230021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/004309 Ceased WO2022250267A1 (ko) 2021-05-27 2022-03-28 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치

Country Status (3)

Country Link
US (1) US20240257305A1 (ko)
KR (1) KR102476808B1 (ko)
WO (1) WO2022250267A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2870299B2 (ja) * 1992-06-08 1999-03-17 日本電気株式会社 画像信号の処理装置
JP2012156715A (ja) * 2011-01-25 2012-08-16 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム。
WO2021049005A1 (ja) * 2019-09-13 2021-03-18 三菱電機株式会社 情報処理装置およびそれを備えた電子機器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236748A1 (en) * 2017-06-19 2018-12-27 Washington University DIGITAL ASSISTED IMAGE RECONSTRUCTION FOR TOMOGRAPHIC IMAGING

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2870299B2 (ja) * 1992-06-08 1999-03-17 日本電気株式会社 画像信号の処理装置
JP2012156715A (ja) * 2011-01-25 2012-08-16 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム。
WO2021049005A1 (ja) * 2019-09-13 2021-03-18 三菱電機株式会社 情報処理装置およびそれを備えた電子機器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BYUNGJAE HWANG; TAESEONG WOO; CHEOLWOO AHN; JUNG-HOON PARK: "Imaging through random media using coherent averaging", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 13 May 2021 (2021-05-13), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081962977 *
TANG T., FRANCOIS N., GLATIGNY A., AGIER N., MUCCHIELLI M.-H., AGGERBECK L., DELACROIX H.: "Expression ratio evaluation in two-colour microarray experiments is significantly improved by correcting image misalignment", BIOINFORMATICS, OXFORD UNIVERSITY PRESS , SURREY, GB, vol. 23, no. 20, 15 October 2007 (2007-10-15), GB , pages 2686 - 2691, XP093010551, ISSN: 1367-4803, DOI: 10.1093/bioinformatics/btm399 *
ZHANG JUAN, XU LIAO, ZHOU BO, ZHU YINYAN, JIANG XIAOQING: "The pristine graphene produced by liquid exfoliation of graphite in mixed solvent and its application to determination of dopamine", JOURNAL OF COLLOID AND INTERFACE SCIENCE, ACADEMIC PRESS,INC., US, vol. 513, 1 March 2018 (2018-03-01), US , pages 279 - 286, XP093010156, ISSN: 0021-9797, DOI: 10.1016/j.jcis.2017.11.038 *

Also Published As

Publication number Publication date
KR20220160406A (ko) 2022-12-06
US20240257305A1 (en) 2024-08-01
KR102476808B1 (ko) 2022-12-12

Similar Documents

Publication Publication Date Title
Nguyen et al. A computationally efficient superresolution image reconstruction algorithm
US10410315B2 (en) Method and apparatus for generating image information
CN104574338B (zh) 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法
US11145033B2 (en) Method and device for image correction
Zuo et al. A two-frame approach for scene-based nonuniformity correction in array sensors
CN114241023A (zh) 亚像素图像配准方法、装置及终端设备
Ng et al. Analysis of displacement errors in high-resolution image reconstruction with multisensors
WO2017069347A1 (ko) 자기 공명 영상에서의 고스트 아티팩트를 제거하는 방법 및 이를 위한 자기 공명 장치
WO2023229384A1 (ko) 학습 데이터 생성 방법, 컴퓨터 프로그램 및 장치
WO2016114574A2 (ko) 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
WO2023149786A1 (en) Method and electronic device for synthesizing image training data and image processing using artificial intelligence
WO2023249372A1 (ko) 딥러닝 모델의 학습을 위한 의료 데이터의 처리 방법, 프로그램 및 장치
CN115293999A (zh) 融合多时相信息和分通道密集卷积的遥感图像去云方法
WO2023128074A1 (ko) 스캔 파라미터를 이용하는 자기 공명 영상 처리 방법 및 장치
WO2022177069A1 (ko) 라벨링 방법 및 이를 위한 컴퓨팅 장치
CN117970330B (zh) 基于聚合像素的时序干涉sar滤波方法和装置
CN116183226B (zh) 基于相位的轴承试验台振动位移测量及模态分析算法
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
KR102476808B1 (ko) 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치
WO2020171304A1 (ko) 영상 복원 장치 및 방법
CN110021036A (zh) 红外目标检测方法、装置、计算机设备和存储介质
Stankevich et al. Satellite Imagery Superresolution Based on Optimal Frame Accumulation
Vitek et al. Image quality influenced by selected image-sensor parameters
Abraham Sundar et al. Multi-frame super-resolution using adaptive normalized convolution
KR20000060731A (ko) 다수의 촬상소자를 이용한 고해상도 촬영 장치의 보정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22811461

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18564423

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22811461

Country of ref document: EP

Kind code of ref document: A1