WO2018030592A1 - 만화경을 이용한 초분광 영상 관측 방법 및 시스템 - Google Patents

만화경을 이용한 초분광 영상 관측 방법 및 시스템 Download PDF

Info

Publication number
WO2018030592A1
WO2018030592A1 PCT/KR2016/014768 KR2016014768W WO2018030592A1 WO 2018030592 A1 WO2018030592 A1 WO 2018030592A1 KR 2016014768 W KR2016014768 W KR 2016014768W WO 2018030592 A1 WO2018030592 A1 WO 2018030592A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
hyperspectral image
observed
hyperspectral
Prior art date
Application number
PCT/KR2016/014768
Other languages
English (en)
French (fr)
Inventor
김민혁
전석준
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2018030592A1 publication Critical patent/WO2018030592A1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/08—Kaleidoscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0294—Multi-channel spectroscopy

Definitions

  • the present invention relates to a technique for observing hyperspectral images, and more particularly, to a method and a system capable of observing hyperspectral images having a high resolution (or resolution) by acquiring a plurality of samples in one shot.
  • each spectral region must be photographed separately.
  • the multiple shot method has high spectral and spatial resolution, but if the subject or the camera moves, the position of the subject changes for each shot, so that the hyperspectral image cannot be observed properly.
  • the shooting time for observing the hyperspectral image is long, video recording is difficult.
  • CASSI coded aperture snapshot spectral imaging
  • Kittle has taken the encoded images several times while using the position shift system to change the position of the encoded aperture. Wang photographed several times using a digital micro-mirror device (DMD) while converting the pattern of the coded aperture.
  • DMD digital micro-mirror device
  • Embodiments of the present invention provide a method and system capable of observing a hyperspectral image having a high resolution by acquiring a plurality of samples in one shot and increasing the number of samples.
  • embodiments of the present invention provide a method and a system for observing a single-shot high-resolution spectroscopic image by copying an incident image using a kaleidoscope into a plurality of images and passing multiple encoding apertures to obtain a plurality of samples. .
  • a camera device includes: mirrors for generating a predetermined number of images for an input image; A coded aperture for generating a coded aperture pass image for each of the images; A prism for providing distributed image information for each of the encoded aperture pass images; And said And a controller configured to observe a hyperspectral image of the input image based on distributed image information.
  • the mirrors may include a kaleidoscope for generating the predetermined number of images.
  • the controller may perform geometric correction on the observed hyperspectral image.
  • the controller photographs a check board, obtains a homography matrix based on the photographed check board, and applies the obtained homography matrix to the observed hyperspectral image, thereby performing geometrical analysis on the observed hyperspectral image. Calibration can be performed.
  • the controller may perform geometric correction on the observed hyperspectral image by performing first order geometric correction using the homography matrix and then performing second order geometric correction using an optical flow algorithm. .
  • the controller may calculate radiant luminance of the observed hyperspectral image and perform color correction on the observed hyperspectral image based on the calculated radiant luminance.
  • a method of observing hyperspectral images includes copying an input image into a predetermined number of images; Generating a coded aperture pass image for each of the copied images using a coded aperture; For each of the encoded aperture passing images, a prism Obtaining distributed distributed image information; And observing a hyperspectral image of the input image based on the obtained distributed image information.
  • the copying into the images may copy the input image into the images using a kaleidoscope.
  • the method of observing hyperspectral images according to an embodiment of the present invention may further include performing geometric correction on the observed hyperspectral image.
  • the performing of the geometric correction may include photographing a check board to obtain a homography matrix based on the photographed check board, and applying the obtained homography matrix to the observed hyperspectral image. Geometric correction may be performed on the hyperspectral image.
  • the performing of the geometric correction comprises performing a first order geometric correction using the homography matrix and then performing a second order geometric correction using an optical flow algorithm, thereby performing geometric correction on the observed hyperspectral image. Can be performed.
  • the method of observing hyperspectral images calculates radiant luminance of the observed hyperspectral image and performs color correction on the observed hyperspectral image based on the calculated radiant luminance. It may further comprise the step.
  • a method of observing a hyperspectral image may include generating a predetermined number of images corresponding to the input image with respect to the input image; For each of the generated images, using a different coded aperture Generating a coded aperture pass image corresponding to each of the generated images; Acquiring distributed image information of each of the encoded aperture pass images; And observing a hyperspectral image of the input image by single imaging based on the obtained distributed image information.
  • a hyperspectral image observation system includes an image copying unit for copying an input image into a predetermined number of images; A pass image generation unit generating a pass coded aperture image corresponding to each of the copied images by using a coded aperture; A distributed image obtaining unit configured to obtain distributed image information distributed by a prism for each of the encoded aperture pass images; And an observer configured to observe a hyperspectral image of the input image based on the obtained distributed image information.
  • embodiments of the present invention can observe a high-resolution hyperspectral image with a single shot by copying an incident image by using a kaleidoscope into a plurality of images and passing a plurality of different coded apertures to obtain a plurality of samples. .
  • FIG. 1 is a flowchart illustrating an operation of a method for observing a hyperspectral image according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating a process of observing a hyperspectral image according to an embodiment of the present invention.
  • Figure 3 shows a schematic diagram of a hyperspectral image observation system according to an embodiment of the present invention.
  • FIG. 4 shows an exemplary view for explaining the magnification of an image.
  • Figure 5 shows an exemplary view of the results of photographing the color chart using the conventional method and the method according to the present invention.
  • FIG. 6 is a block diagram of a hyperspectral image observation system according to an exemplary embodiment of the present invention.
  • Embodiments of the present invention provide a single-shot high resolution hyperspectral imaging system and method capable of obtaining high resolution (or high resolution) in a single shot using a CASSI (coded aperture snapshot spectral imaging) system and a kaleidoscope. That's the point.
  • a plurality of samples can be obtained by single photographing by copying an incident image using cartoon light and passing different encoding apertures.
  • CASSI is a technique or system capable of extracting spatial information and spectral information from superimposed images using compression sensing. Since CASSI is obvious to those skilled in the art, a detailed description thereof will be omitted.
  • the present invention can reconstruct hyperspectral images based on Kittle's algorithm, which extends the CASSI technique to reconstruct hyperspectral images for multiple samples.
  • FIG. 1 is a flowchart illustrating an operation of a method for observing a hyperspectral image according to an embodiment of the present invention.
  • step S110 may copy the input image into a plurality of images using a kaleidoscope
  • step S120 may generate encoded aperture pass images by passing each of the images through different encoding apertures
  • step S130 may be a prism.
  • the distributed image information on each of the encoded aperture pass images may be obtained by using.
  • FIG. 2 is a conceptual diagram illustrating a process of observing a hyperspectral image according to an embodiment of the present invention.
  • embodiments of the present invention may regard image information of a scene entered into a camera as three-dimensional cube information f (x, y, ⁇ ) having horizontal, vertical, and spectral axes.
  • ⁇ means wavelength of light
  • (X, y) may be spatial position information.
  • K copied images may be expressed as Equation 1 below.
  • each copied image is transformed into a different cube while passing through each encoding aperture.
  • the function of each encoding aperture is ⁇ ⁇ [L ⁇ ⁇ 1 ? ⁇ 2 2, ⁇ , 5 7 ⁇ ] ', and the images passed through the respective coded apertures
  • Equation 2 It can be expressed as Equation 2 below.
  • each cube information is distributed by prism and pushed on the horizontal axis by different sizes for each spectral region.
  • the result is a cube that is pushed on one side.
  • variance is related to wavelength only regardless of position, it can be expressed as a function of wavelength. It can be expressed as shown below.
  • ⁇ may mean a Dime delta function
  • the Dirac Delta function is a function whose value is present only where the input is zero and the rest is zero. Scattered light travels from one point to another and can be expressed as an integral of the two-dimensional Dirac Delta function. And this two-dimensional Dirac delta function can be represented by grouping with h.
  • the information g k (x, y) observed by the camera is two-dimensional image information integrated into the spectral axis, not three-dimensional information consisting of horizontal, vertical, and spectral axes, which can be expressed as Equation 4 below. It can be expressed as an integral to.
  • the camera observes the sensor pixel unit.
  • the intensity of light observed in each pixel can be viewed as the sum of the total amount of light entering the pixel size, as shown in Equation 5 below.
  • i and j may mean horizontal and vertical positions of the pixel.
  • the function of the encoding aperture may also be expressed in pixels, and may be expressed as in Equation 6 below.
  • Equation 5 may be expressed as Equation 7 below.
  • Equation 7 The above equation can be expressed in matrix-vector format.
  • Equation 8 The product of the image matrix H observed from the camera and the vector f can be expressed as in Equation 8 below.
  • f is obtained from Equation 8 because g and H, which are information observed by a camera, are known.
  • Equation 8 To solve this problem we need to solve the linear inverse problem. To do this, set the total variation to the normalization term
  • the TwIST algorithm can be used.
  • f g ⁇ can be obtained by minimizing 2
  • the optimization problem can be expressed as a Lagrangian relaxation problem as shown in Equation 9 below.
  • a value for example, may mean 0.1.
  • the total variation may be represented by the sum of the horizontal and vertical variations of the image, and may be represented by Equation 10 below.
  • r (f) . . ⁇
  • Equation 10 may be the total variation of the isotropic LI norm, since the L1 standard is known to be robust to apply the gradient sparsity of f.
  • the spatial variation of the horizontal and vertical axes in the spectral data cube can be summed.
  • the spatial softness can be considered explicitly without spectroscopic softness, As a result, it can have a gradient gradient.
  • Figure 3 shows a schematic diagram of a hyperspectral image observation system according to an embodiment of the present invention.
  • the hyperspectral imaging system causes an objective lens to receive light to form an image on a diffuser, and the image on the diffuser is a mirror (first- surface mirrors For example, it is reflected in a kaleidoscope mirror and copied into multiple images. Each image enters a different coded aperture after passing through a relay lens.
  • the size of the copied image may be determined by the focal length of the relay lens and the length of the kaleidoscope, and the magnification (m) of the image may be as shown in Equation 11 below.
  • magnification (magnification ratio) or magnification of the image is Vl a as shown in Figure 4, a means the length from the object to the lens, and may be equal to the horizontal length of the kaleidoscope, f may mean the focal length of the relay lens, b may mean the distance from the relay lens to the position where the image is formed. For example, if you use a 240mm long kaleidoscope and a 60mm lens, you can make each view one-third the size and see nine images on the sensor.
  • the coding aperture may be manufactured in a random binary pattern, and the pixel size of the pattern may have a predetermined size, for example, 2 ⁇ 2, with respect to the pixel size of the camera.
  • the smaller the pixel size of the pattern may have a higher resolution, but since optical error and diffraction problems exist, it is desirable to determine the pixel size of the pattern in consideration of optical error and diffraction problems, and the pixel size of such pattern Can be determined by the operator or individual providing the invention.
  • the Richard-Lucy deconvolution method may be applied to the image passed through the coded aperture to overcome this diffraction effect. .
  • Light passing through the encoding aperture may be collimated by a collimating lens and then dispersed by a prism.
  • the collimating lens is preferably placed before dispersion by the prism to avoid inconsistent focusing according to the wavelength
  • the material and angle of the prism may be BK-7 and 17 degrees, the material of the prism And angle can be changed as needed.
  • a relay lens focuses the scattered light onto an image sensor or a detector array.
  • the scattering width of 450nm to 700nm of the scattered light detected by the camera sensor can be 60 pixels, and the number of wavelengths to be observed is the number that can have a sufficient dispersion amount, for example, 450nm to 700nm of light 10nm Each observation may be 26.
  • each imager observed with a kaleidoscope has a different orientation since it is reflected by the filter.
  • all images must have exactly the same geometric properties. Therefore, geometric images must be tailored so that all images have exactly the same geometric properties. In other words, Misalignment of the mirrors constituting the kaleidoscope can cause distortion of the images, so geometric correction must be performed to have the same geometric properties for the images output through the kaleidoscope.
  • the homography matrix is a matrix containing information such as translation, flipping, rotation, and proportional reduction.
  • each of the images is aligned in the same direction, size and location.
  • the minute differences remaining after applying the homography matrix can be solved by using a predetermined algorithm, for example, an optical flow algorithm.
  • the optical flow is an algorithm for obtaining movement information of respective pixels between two images, and the optical flow algorithm may accurately match all images or all views.
  • the hyperspectral image f observed with and calculated from the camera represents the intensity of the signal for each wavelength.
  • the intensity of the signal observed is qel, which is the product of the radiant luminance 1 times the light efficiency e of the optical system and the quantum efficiency q of the sensor. Therefore, radiant luminance 1 can be calculated by Equation 12 below.
  • a calibration model can be made from a predefined color chart to calculate the correct radiance for each wavelength. For example, after taking 24 known colors, use linear regression to obtain a physically meaningful conversion relationship, then use the CIE color contrast function to obtain the CIEXYZ value, and use the standard sRGB conversion to obtain the sRGB color value. Calculate
  • the present invention can calculate the radiant luminance for each wavelength, and can perform color correction on the observed hyperspectral image using the radiant luminance calculated as described above.
  • FIG. 5 is a diagram illustrating an example of a result of photographing a color chart using a conventional method (CASSI) and the method according to the present invention.
  • the reference reflectance of the color chart is determined by a predetermined reflectance measuring method or measuring device. It is measured by.
  • the method and system according to the exemplary embodiment of the present invention may acquire a hyperspectral image having a high resolution by using a single image by increasing the number of samples by acquiring a plurality of samples in one shot.
  • the method and system according to the embodiment of the present invention can obtain a hyperspectral image by one shooting, moving pictures can be taken.
  • the present invention can increase performance with a conventional hyperspectral camera using a kaleidoscope, and can show a higher resolution than a conventional hyperspectral camera.
  • the present invention may make a hyperspectral image observing apparatus or a camera apparatus by configuring the components shown in FIG. That is, a kaleidoscope generates a plurality of images of an input image input through an objective lens, a coded aperture, a collimating lens, a prism, a relay lens, and a detector (or a coded aperture for generating a coded aperture pass image for each of the plurality of images).
  • a controller including a detection function and an observation function may be configured as a single device. Therefore, the hyperspectral image observing apparatus may perform all the above-described contents.
  • FIG. 6 is a block diagram illustrating a hyperspectral image observation system according to an exemplary embodiment of the present invention, and conceptually blocks the configuration of FIG. 3.
  • the system 600 includes a copying unit 610, a passing image generating unit 620, a distributed image obtaining unit 630, and an observation unit 640.
  • the copying unit 610 is a configuration of the kaleidoscope described in FIG. 3, and copies the input image to a predetermined number of images.
  • the pass image generating unit 620 is the configuration of the coded aperture described with reference to FIG. 3 and generates a coded aperture pass image corresponding to each of the copied images using the coded aperture.
  • the encoded aperture pass image may mean a copied input image passing through the encoded aperture.
  • the distributed image obtaining unit 630 acquires the image passing through the prism described with reference to FIG. 3 and acquires distributed image information distributed by the prism for each of the encoded aperture passing images.
  • the observer 640 observes the hyperspectral image of the input image based on the obtained distributed image information.
  • the observer 640 may perform geometric correction on the observed hyperspectral image, specifically, photograph a check board to obtain a homography matrix based on the photographed check board, and obtain the homo
  • geometric correction of the observed hyperspectral image may be performed.
  • the observer 640 may perform the first order geometric correction using the homography matrix and then perform the second order geometric correction using the optical flow algorithm.
  • the observer 640 may calculate radiance and luminance of each of the observed hyperspectral images and perform color correction on each of the observed hyperspectral images based on the calculated radiant luminance.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

만화경을 이용한 초분광 영상 관측 방법 및 시스템이 개시된다. 본 발명의 일 실시예에 따른 초분광 영상 관측 방법은 입력 영상을 미리 결정된 개수의 이미지들로 복사하는 단계; 부호화 조리개 (coded aperture)를 이용하여 상기 복사된 이미지들 각각에 대응하는 부호화 조리개 통과 영상을 생성하는 단계; 상기 부호화 조리개 통과 영상들 각각에 대하여, 프리즘에 의해 분산된 분산 영상 정보를 획득하는 단계; 및 상기 획득된 분산 영상 정보에 기초하여 상기 입력 영상에 대한 초분광 영상을 관측하는 단계를 포함한다.

Description

【명세서】
【발명의 명칭】
만화경을 이용한 초분광 영상 관측 방법 및 시스템
[기술분야]
본 발명은 초분광 영상 관측 기술에 관한 것으로서, 상세하게는 한 번의 촬영으로 여러 개의 표본을 획득하여 높은 해상력 (또는 해상도)을 가지는 초분광 영상을 관측할 수 있는 방법 및 시스템에 관한 것이다.
【배경기술】
빛의 전체 분광정보를 관측하기 위해서는 각 분광 영역마다 따로 촬영을 하여야 한다. 여러 번 촬영하는 방식은 높은 분광 및 공간 해상력을 가지고 있지만 피사체 또는 카메라가 움직이면 각 촬영마다 피사체의 위치가 달라지게 되어 제대로 된 초분광 영상을 관측할 수 없게 된다. 또한 초분광 영상을 관측하기 위한 촬영시간이 .길기 때문에 동영상 촬영이 어려운 문제점이 있다.
이를 해결하기 위해 부호화 조리개를 이용하여 한번의 촬영으로 초분광 영상을 관측할 수 있는 기술이 제안되었다. 부호화 조리개를 이용하는 방법은
Wagadarikar 에 의해 처음으로 소개되었으며 이를 coded aperture snapshot spectral imaging(CASSI)라고 불린다. CASSI 는 움직이는 피사체를 관측할 수 있는 장점이 있지만 낮은 해상력올 가지고 있다. CASSI 의 해상력올 증가시키는 방법으로 표본수를 증가시키는 기술들이 제안되었다.
표본수를 증가시키는 기존 기술로, Kittle 은 위치이동계를 이용하여 부호화 조리개의 위치를 변환시키면서 부호화된 영상들을 여러 번 촬영하였고, Wang 은 digital micro-mirror device(DMD)를 이용하여 부호화 조리개의 패턴을 변환시키면서 여러 번 촬영하였다.
하지만， 이러한 방식들은 표본의 수가 증가하기 때문에 더 정확한 영상을 관측할 수 있지만 한 번의 촬영으로 초분광 영상을 관측할 수 없다ᅳ
따라서, 한 번의 촬영으로 높은 해상력을 가지는 초분광 영상을 관측할 수 있는 시스템 또는 방법의 필요성이 대두된다.
【발명의 상세한 설명]
【기술적 과제】
본 발명의 실시예들은, 한 번의 촬영으로 여러 개의 표본을 획득하여 표본 수를 증가시킴으로써, 높은 해상력을 가지는 초분광 영상을 관측할 수 있는 방법 및 시스템을 제공한다.
구체적으로， 본 발명의 실시예들은， 만화경을 이용하여 입사한 영상을 여러 개로 복사하여 서로 다른 부호화 조리개를 통과시켜 다수의 표본을 획득함으로써， 단일 촬영 고해상도의 초분광 영상 관측 방법 및 시스템을 제공한다.
【기술적 해결방법】
본 발명의 일 실시예에 따른 카메라 장치는 입력 영상에 대웅하는 미리 결정된 개수의 이미지들을 생성하는 미러들; 상기 이미지들 각각에 대웅하는 부호화 조리개 통과 영상을 생성하는 부호화 조리개 (coded aperture); 상기 부호화 조리개 통과 영상들 각각에 대한 분산 영상 정보를 제공하는 프리즘; 및 상기 분산 영상 정보에 기초하여 상기 입력 영상에 대한 초분광 영상을 관측하는 제어부를 포함한다.
상기 미러들은 상기 미리 결정된 개수의 이미지들을 생성하는 만화경을 포함할 수 있다.
상기 제어부는 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행할 수 있다.
상기 제어부는 체크보드를 촬영하여 상기 촬영된 체크 보드에 기초하여 호모그래피 (homography) 행렬을 구하고, 상기 구해진 호모그래피 행렬을 상기 관측된 초분광 영상에 적용함으로써， 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행할 수 있다.
상기 제어부는 상기 호모그래피 행렬을 이용한 1 차 기하학적 보정을 수행한 후 광학 흐름 (optical flow) 알고리즘을 이용하여 2 차 기하학적 보정을 수행함으로써, 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행할 수 있다.
상기 제어부는 상기 관측된 초분광 영상의 복사 휘도를 계산하고， 상기 계산된 복사 휘도에 기초하여 상기 관측된 초분광 영상에 대한 색상 보정을 수행할 수 있다.
본 발명의 일 실시예에 따른 초분광 영상 관측 방법은 입력 영상을 미리 결정된 개수의 이미지들로 복사하는 단계; 부호화 조리개 (coded aperture)를 이용하여 상기 복사된 이미지들 각각에 대웅하는 부호화 조리개 통과 영상을 생성하는 단계; 상기 부호화 조리개 통과 영상들 각각에 대하여， 프리즘에 의해 분산된 분산 영상 정보를 획득하는 단계; 및 상기 획득된 분산 영상 정보에 기초하여 상기 입력 영상에 대한 초분광 영상을 관측하는 단계를 포함한다.
상기 이미지들로 복사하는 단계는 만화경을 이용하여 상기 입력 영상을 상기 이미지들로 복사할 수 있다.
나아가, 본 발명의 일 실시예에 따른 초분광 영상 관측 방법은 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 단계를 더 포함할 수 있다.
상기 기하학적 보정을 수행하는 단계는 체크보드를 촬영하여 상기 촬영된 체크 보드에 기초하여 호모그래피 (homography) 행렬을 구하고, 상기 구해진 호모그래피 행렬을 상기 관측된 초분광 영상에 적용함으로써, 상기 관측된- 초분광 영상에 대한 기하학적 보정을 수행할 수 있다.
상기 기하학적 보정을 수행하는 단계는 상기 호모그래피 행렬을 이용한 1차 기하학적 보정을 수행한 후 광학 흐름 (optical flow) 알고리즘을 이용하여 2차 기하학적 보정을 수행함으로써, 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행할 수 있다.
더 나아가, 본 발명의 일 실시예에 따른 초분광 영상 관측 방법은 상기 관측된 초분광 영상의 복사 휘도를 계산하고, 상기 계산된 복사 휘도에 기초하여 상기 관측된 초분광 영상에 대한 색상 보정을 수행하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 초분광 영상 관측 방법은 입력 영상에 대하여, 상기 입력 영상에 대응하는 미리 결정된 개수의 이미지들을 생성하는 단계; 상기 생성된 이미지들 각각에 대하여， 상이한 부호화 조리개를 이용하여 상기 생성된 이미지들 각각에 대응하는 부호화 조리개 통과 영상을 생성하는 단계; 상기 부호화 조리개 통과 영상들 각각에 대한 분산 영상 정보를 획득하는 단계; 및 상기 획득된 분산 영상 정보에 기초하여 단일 촬영에 의한 상기 입력 영상의 초분광 영상을 관측하는 단계를 포함한다.
본 발명의 일 실시예에 따른 초분광 영상 관측 시스템은 입력 영상을 미리 결정된 개수의 이미지들로 복사하는 이미지 복사부; 부호화 조리개 (coded aperture)를 이용하여 상기 복사된 이미지들 각각에 대응하는 부호화 조리개 통과 영상을 생성하는 통과 영상 생성부; 상기 부호화 조리개 통과 영상들 각각에 대하여, 프리즘에 의해 분산된 분산 영상 정보를 획득하는 분산 영상 획득부; 및 상기 획득된 분산 영상 정보에 기초하여 상기 입력 영상에 대한 초분광 영상을 관측하는 관측부를 포함한다.
【발명의 효과]
본 발명의 실시예들에 따르면， 한 번의 촬영으로 여러 개의 표본을 획득하여 표본 수를 증가시킴으로써, 높은 해상력을 가지는 초분광 영상을 관측할 수 있다.
예를 들어， 본 발명의 실시예들은, 만화경을 이용하여 입사한 영상을 여러 개로 복사하여 서로 다른 부호화 조리개를 통과시켜 다수의 표본을 획득함으로써, 단일 촬영으로 고해상도의 초분광 영상을 관측할 수 있다.
본 발명의 실시예들에 따르면, 한 번의 촬영으로 초분광 영상을 획득할 수 있기 때문에 동영상 촬영이 가능하다. 【도면의 간단한 설명】
도 1은 본 발명의 일 실시예에 따른 초분광 영상 관측 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2 는 본 발명의 일 실시예에 따른 초분광 영상 관측 과정을 설명하기 위한 개념도를 나타낸 것이다.
도 3 은 본 발명의 일 실시예에 따른 초분광 영상 관측 시스템에 대한 개략도를 나타낸 것이다.
도 4는 이미지의 배율을 설명하기 위한 예시도를 나타낸 것이다.
도 5 는 기존 방법과 본 발명에 따른 방법을 이용하여 색상 차트를 촬영한 결과에 대한 일 예시도를 나타낸 것이다.
도 6 은 본 발명의 일 실시예에 따른 초분광 영상 관측 시스템에 대한 구성 블록을 나타낸 것이다.
【발명의 실시를 위한 최선의 형태】
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 실시예들은, CASSI(coded aperture snapshot spectral imaging) 시스템과 만화경을 이용하여 단일 촬영으로 높은 해상력 (또는 고해상도)를 획득할 수 있는 단일 촬영 고해상도의 초분광 영상 관측 시스템 및 방법을 제공하는 것을 그 요지로 한다. 여기서， 본 발명은 만화광을 이용하여 입사한 영상을 복사하여 서로 다른 부호화 조리개를 통과시킴으로써， 단일 촬영으로 다수의 표본을 획득할 수 있다.
본 발명에서의 CASSI 는 압축센싱 기법을 이용하여 중첩된 영상으로부터 공간 정보와 분광 정보를 추출할 수 있는 기법 또는 시스템으로, CASSI 는 이 기술 분야에 종사하는 당업자에게 있어서 자명하기에 상세한 설명은 생략한다ᅳ 본 발명은 CASSI 기법을 확장시켜 다중 표본에 대하여 초분광 영상을 복원하는 Kittle의 알고리즘올 기반으로 초분광 영상을 복원할 수 있다.
도 1은 본 발명의 일 실시예에 따른 초분광 영상 관측 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 초분광 영상 관측 방법은 입력 영상을 일정 개수의 이미지들로 복사하는 단계 (S110), 복사된 이미지들 각각을 부호화 조리개에 통과시켜 부호화 조리개 통과 영상을 생성하는 단계 (S120), 부호화 조리개 통과 영상들 각각에 대한 분상 영상 정보를 획득하는 단계 (S130) 및 분산 영상 정보에 기초하여 입력 영상에 대한 초분광 영상을 관측하는 단계 (S140)를 포함한다.
여기서, 단계 S110은 만화경을 이용하여 입력 영상을 복수의 이미지들로 복사할 수 있으며, 단계 S120 은 이미지들 각각을 서로 다른 부호화 조리개에 통과시켜 부호화 조리개 통과 영상들을 생성할 수 있고, 단계 S130 은 프리즘에 의해 부호화 조리개 통과 영상들 각각에 대한 분산 영상 정보를 획득할 수 있다.
이러한 본 발명에 따른 방법에 대해， 도 2를 참조하여 상세히 설명한다. 도 2 는 본 발명의 일 실시예에 따른 초분광 영상 관측 과정을 설명하기 위한 개념도를 나타낸 것이다.
도 2 에 도시된 바와 같이, 본 발명의 실시예들은 카메라로 들어온 장면의 영상 정보를 가로, 세로, 분광축으로 이루어진 3차원 정육면체 정보 f(x, y, λ)로 생각할 수 있다. 여기서， λ는 빛의 파장을 의미하고， (X, y)는 공간 위치 정보일 수 있다. '
이 때, 정육면체 정보들은 만화경을 지나면서 동일한 여러 개의 정육면체 정보들로 복사될 며， 만화경에 의해 k 개의 이미지로 복사된다고 가정하면 각각의 이미지를
Figure imgf000009_0001
라고 나타낼 수 있고, k 개의 복사된 이미지는 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
Figure imgf000009_0002
각각의 복사된 영상들은 각각의 부호화 조리개를 통과하면서 서로 다른 정육면체로 변하게 된다. 이 때, 각 부호화 조리개의 함수는 Τ二 [ LΓΡ 1?Γ22,···, 57 ^]」 로 나타낼 수 있으며, 각각의 부호화 조리개를 통과한 영상들
Figure imgf000009_0003
아래 <수학식 2>와 같이 나타낼 수 있다.
[수학식 2]
1 (X
Figure imgf000009_0004
ft 0, k ( y) 그 이후 각각의 정육면체 정보들은 프리즘 (prism)에 의해 분산되면서 분광 영역마다 서로 다른 크기만큼 가로축으로 밀리게 된다. 결과적으로 한쪽이 밀린 정육면체 모양이 된다.
분산은 위치에 상관없이 파장에만 관계하므로 파장 함수 로 나타낼 수 있으며, 분산된 영상 정보
Figure imgf000010_0001
아래 <수학삭 3>과 같이 나타낼 수 있다.
[수학식 3]
fk 0, y^) = δ (χ' - [χ + (λ)])δ(γ' - y)fk l (χ', y λ)άχ'άγ'
)dx'dy'
Figure imgf000010_0002
여기서， δ는 디랙 (Dime) 델타 함수를 의미할 수 있다.
디랙 델타 함수는 입력이 0 인 곳에서만 값이 존재하고 나머지는 0 의 값을 가지는 함수이다. 분산된 빛은 한 점에서 다른 한 점으로 이동하므로 2 차원 디랙 델타 함수의 적분으로 나타낼 수 있다. 그리고 이러한 2 차원 디랙 델타 함수는 h로 묶어서 나타낼 수 있다.
카메라가 관측하는 정보 gk(x, y)는 가로, 세로, 분광축으로 이루어진 3 차원 정보가 아닌 분광축으로 통합된 이차원 이미지 정보로， 이를 식으로 나타내면 아래 <수학식 4>와 같이 파장 Λ에 대한 적분으로 나타낼 수 있다.
[수학식 4] gk O, y) = h(x' - φ{λ x, y y, X)fl (χ', y X)dx'dy'd λ X)dx'dy'd λ
Figure imgf000011_0001
실제로 카메라는 센서 픽샐단위로 관측하게 되고,. 각각의 픽샐에서 관측하는 빛의 세기는 픽셀 크기에 들어오는 총 빛의 양의 합으로 볼 수 있으며, 아래 <수학식 5>와 같이 나타낼 수 있다.
[수학
Figure imgf000011_0002
여기서 i, j는 픽셀의 가로, 세로 위치를 의미할 수 있다.
마찬가지로 부호화 조리개의 함수도 픽샐 단위로 나타낼 수 있으며, 아래 <수학식 6>과 같이 나타낼 수 있다.
[수학식 6]
Figure imgf000011_0003
상기 수학식 6 을 이용하면 상기 수학식 5 는 아래 <수학식 7>과 같이 나타낼 수 있다.
[수학식 7]
Figure imgf000012_0001
위에서 구한 식은 매트릭스 -백터 (matrix-vector) 형식으로 나타낼 수 있다.
,이고 백터로 나타낼 수 있으며， 초분광 정보를 센서로 사영하는 함수는 이진 행¾ 匪 Ε置 xy:i
나타낼 수 있다. 카메라에서 관측되는 영상 행렬 H와 백터 f 의 곱으로 아래 <수학식 8>과 같이 나타낼 수
Figure imgf000012_0002
[수학식 8] g = Hf 상기 수학식 8 에서는 카메라에서 관측된 정보인 g와 변형 함수안 H 알고 있기 때문에 수학식 8 로부터 f를 구할 수 있다. 구하기 위해 선형 역 문제를 풀어야 하며， 이를 위해 총 변이 (total variation)를 정규화 항으로 설정하고
TwIST 알고리즘을 이용할 수 있다.
2
Hf
이 때, f g - 는 2의 최소화를 통해 구할 수 있으며, 최적화 문제는 아래 <수학식 9>과 같이 라그랑주 완화 (Lagrangian relaxation) 문제로 표현될 수 있다.
[수학식 9] mm— g - Hf + ^ (f)
f 2
여기서, r는 총 변이를 구하
값 예를 들어, 0.1을 의미할 수 있다.
총 변이는 이미지의 가로 및 세로의 변이의 합으로 나타낼 수 있으며， 아래 <수학식 10>과 같이 나타낼 수 있다.
[수학식 10]
r(f) =
Figure imgf000013_0001
. . { |f( + 1, j, /) - f( , j, /)| + |f( , j + 1, /) - f( , j, /)|}
상기 수학식 10은 등방성 L1 표준 (isotropic LI norm) 총 변이일 수 있으며， L1 표준은 강건한 것으로 알려져 있기 때문에 f 의 그래디언트 희소성을 적용할. 수 있다ᅳ 본 발명에서는 분광 데이터 큐브 내에 수평축과 수직축의 공간적 변화를 합산할 수 있다ᅳ 이 때， 총 변이를 계산하는 동안, 공간적인 부드러움은 분광적인 부드러움 없이 명시적으로 간주될 수 있고, 분광 축을 따라 스티프 (steep)한 그래디언트 변화를 가질 수 있다.
도 3 은 본 발명의 일 실시예에 따른 초분광 영상 관측 시스템에 대한 개략도를 나타낸 것이다.
도 3 에 도시된 바와 같이， 본 발명의 실시예에 따른 초분광 영상 관측 시스템은 대물렌즈 (objective lens)가 빛을 받아 확산기 (diffliser)에 상을 맺히게 하고, 확산기에 맺힌 이미지는 거울 (first-surface mirrors) 연1를 들어, 만화경의 거울에 반사되면서 여러 개의 이미지로 복사된다. 각각의 이미지는 릴레이 렌즈 (relay lens)를 통과한 이후 서로 다른 부호화 조리개 (coded aperture)에 맺히게 된다.
이 때, 복사된 이미지의 크기는 릴레이 렌즈의 초점 거리 및 만화경의 길이에 의해 결정될 수 있으며, 이미지의 확대율 (m)은 아래 <수학식 , 11>과 같을 수 있다.
[수학식 1 1]
b 1 1 1 1
m =ᅳ二 s.t. — +— =—
a a I f - l a b f 여기서, 이미지의 배율 (minification ratio) 또는 확대율은 도 4 에 도시된 바와 같이 Vla이고， a 는 물체로부터 렌즈까지의 길이를 의미하고， 만화경의 수평 길이와 동일할 수 있으며, f 는 릴레이 렌즈의 초점 거리를 의미하고， b 는 릴레이 렌즈로부터 상이 맺히는 위치까지의 거리를 의미할 수 있다. 예를 들어, 240mm 길이의 만화경을 사용하고 60mm 렌즈를 사용하는 경우 각각의 뷰를 1/3 크기로 만들 수 있으며, 센서에서 9개의 이미지를 관측할 수 있다.
부호화 조리개는 무작위 이진 패턴으로 제작될 수 있으며, 패턴의 화소 크기는 카메라의 화소 크기에 대한 일정 크기 예를 들어, 2 X 2의 크가를 가질 수 있다. 물론， 패턴의 화소 크기가 작을 수록 더 높은 해상력을 가질 수 있지만， 광학적 오차 및 회절 문제가 존재하기 때문에 광학적 오차 및 회절 문제를 고려하여 패턴의 화소 크기를 결정하는 것이 바람직하며, 이러한 패턴의 화소 크기는 본 발명을 제공하는 사업자 또는 개인에 의해 결정될 수 있다. 부호화 조리개를 통과한 영상이 시스템의 회절 한계로 인하여 흐려질 수 있기 때문에 이러한 회절 효과를 극복하기 위하여 부호화 조리개를 통과한 영상에 리차드 -루시 디컨볼루션 방법 (Richard-Lucy deconvolution method)을 적용할 수도 있다.
부호화 조리개를 통과한 빛은 콜리메이팅 렌즈 (collimating lens)에 의해 콜리메이트된 후 프리즘에 의해 분산될 수 있다.
이 때, 콜리메이팅 렌즈는 파장에 따라 일관성이 없는 포커싱 (inconsistent focusing)을 피하기 위해 프리즘에 의한 분산 전에 배치되는 것이 바람직하며， 프리즘의 재료와 각도는 BK-7 과 17 도일 수 있으며， 프리즘의 재료와 각도는 필요에 따라 변경될 수 있다.
릴레이 렌즈 (relay lens)는 분산된 빛을 이미지 센서 또는 카메라 센서 (detector array)상에 포커스한다.
카메라 센서가 감지하는 분산된 빛의 450nm ~ 700nm 의 분산 너비는 60 픽셀이 될 수 있으며, 관측하고자 하는 파장의 개수는 층분한 분산량을 가질 수 있는 개수 예를 들어, 450nm ~ 700nm의 빛을 10nm 마다 관측하는 경우 26개일 수 있다.
이러한 본 발명의 실시예에 따른 시스템에서, 만화경으로 관측된 각각의 이미자들은 거을에 의해 반사되었기 때문에 서로 다른 방향올 가지고 있다. 최적화 문제를 풀기 위해서는 모든 이미지들은 정확히 같은 기하학적 속성을 가지고 있어야 한다. 따라서, 모든 이미지들이 정확히 같은 기하학적 속성을 가지도록 기하학적 보정 (geometric calibration)을 통해 맞춰주어야 한다. 즉, 만화경을 구성하는 거울들의 정렬 불량 (misalignment)은 이미지들의 왜곡을 발생시킬 수 있고， 따라서 만화경을 통해 출력되는 이미지들에 대해 같은 기하학적 속성을 가지도록 기하학적 보정을 수행해야 한다
이를 위해 체커보드를 촬영하여 모든 이미지들에 대한 점들의 위치를 관측한 이후 대웅되는 점들로부터 호모그래피 (homography) 행렬들을 구한다.
여기서, 호모그래피 행렬은 평행 이동, 뒤집힘, 회전, 비례 축소 등의 정보들을 담고 있는 행렬이다.
호모그래피 행렬들을 관측된 모든 이미지들에 적용하면, 이미지들 각각은 같은 방향, 크기 및 위치로 정렬된다. 물론, 광학 시스템에 의해 생기는 왜곡을 완전히 해결하지는 못하기 때문에 호모그래피 행렬을 적용한 뒤 남아있는 미세한 차이들은 미리 결정된 알고리즘 예를 들어, 광학 흐름 (optical flow) 알고리즘을 이용하여 해결할 수 있다.
여기서， 광학 흐름은 두 개의 이미지 사이의 각각의 픽셀들의 이동 정보를 구하는 알고리즘으로， 광학 흐름 알고리즘을 이용하여 모든 이미지들 또는 모든 뷰들을 정확하게 일치시킬 수 있다.
호모그래피 행렬들올 적용시키고 나면 에 있는 이미지들은 빛이 분산되는 방향이 뒤집히게 되기 때문에 최적화 문제를 풀 때 이러한 분산 뒤집힘을 고려하는 것이 바람직하다. 양방향 분산 정보는 초분광 영상 정보를 더 정확하게 획득할 수 있게 해준다.
또한， 본 발명에 따른 시스템에서， 카메라로 관측되고 이로부터 계산된 초분광 영상 f 는 각각의 파장에 대한 신호의 세기를 나타내는 것으로, 카메라가 관측하는 신호의 세기는 복사 휘도 1에 광학 시스템의 광효율 (light efficiency) e와 센서의 양자 효율 (quantum efficiency) q을 곱한 값 (qel)이다. 따라서, 복사 휘도 1은 아래 <수학식 12>에 의해 계산될 수 있다.
[수학식 12]
l = (qe) f
본 발명에서는 각각의 파장에 대한 정확한 복사 휘도를 계산하기 위해 미리 정의된 색상 차트로부터 교정 모형을 만들 수 있다. 예를 들어, 24개의 이미 알고 있는 색상을 촬영한 이후 선형 회귀를 이용하여 물리적으로 의미 있는 정확한 변환 관계를 구한 후 CIE 색상 대조 함수를 이용하여 CIEXYZ 값을 구하고， 표준 sRGB 변환을 통해 sRGB 색상 값을 계산한다.
즉, 본 발명은 각각의 파장에 대한 복사 휘도를 계산하고， 이렇게 계산된 복사 휘도를 이용하여 관측된 초분광 영상에 대한 색상 보정을 수행할 수 있다.
도 5 는 기존 방법 (CASSI)과 본 발명에 따른 방법을 이용하여 색상 차트를 촬영한 결과에 대한 일 예시도를 나타낸 것으로， 색상 차트의 기준 반사율 (reference)은 미리 결정된 반사율 측정 방법 또는 측정 장치에 의해 측정된 것이다.
도 5 에 도시된 바와 같이， 기존 시스템으로 촬영한 결과 (CASSI)와 본 발명을 이용하여 촬영한 결과 (Ours)를 통해 알 수 있듯이， 본 발명이 기존 시스템에 비해 높은 분광 정확도를 가지는 것을 알 수 있다. 즉， 본 발명을 이용함으로써, 분광 해상도를 증가시킬 수 있다. 이와 같이, 본 발명의 실시예에 따른 방법 및 시스템은 한 번의 촬영으로 여러 개의 표본을 획득하여 표본 수를 증가시킴으로써， 단일 촬영으로 높은 해상력을 가지는 초분광 영상을 관측할 수 있다.
또한， 본 발명의 실시예에 따른 방법 및 시스템은 한 번의 촬영으로 초분광 영상을 획득할 수 있기 때문에 동영상 촬영이 가능하다.
상술한 바와 같이 , 본 발명은 만화경을 이용하여 기존의 초분광 카메라와 성능을 증가시킬 수 있으며, 기존의 초분광 카메라보다 더 높은 해상도를 보여줄 수 있다.
또한, 본 발명은 도 3 에 도시된 구성들을 하나의 장치로 구성함으로써, 초분광 영상 관측 장치 또는 카메라 장치를 만들 수도 있다. 즉， 대물 렌즈를 통해 입력되는 입력 영상에 대한 복수의 이미지들을 생성하는 만화경, 복수의 이미지들 각각에 대한 부호화 조리개 통과 영상을 생성하기 위한 부호화 조리개， 콜리메이팅 렌즈, 프리즘, 릴레이 렌즈 및 검출기 (또는 검출 기능과 관측 기능을 포함하는 제어기) 등이 하나의 장치로 구성될 수 있다. 따라서， 초분광 영상 관측 장치는 상술한 모든 내용들을 수행할 수 있다.
도 6 은 본 발명의 일 실시예에 따른 초분광 영상 관측 시스템에 대한 구성 블록을 나타낸 것으로, 상술한 도 3의 구성을 개념적으로 블록화한 것이다.
도 6 에 도시된 바와 같이， 본 발명의 실시예에 따른 시스템 (600)은 복사부 (610), 통과 영상 생성부 (620), 분산 영상 획득부 (630) 및 관측부 (640)를 포함한다. 복사부 (610)는 도 3 에서 설명한 만화경에 대한 구성으로, 입력 영상을 미리 결정된 개수의 이미자들로 복사한다.
통과 영상 생성부 (620)는 도 3 에서 설명한 부호화 조리개에 대한 구성으로, 부호화 조리개를 이용하여 복사된 이미지들 각각에 대응하는 부호화 조리개 통과 영상을 생성한다.
여기서, 부호화 조리개 통과 영상은 부호화 조리개를 통과한 복사된 입력 영상을 의미할 수 있다.
분산 영상 획득부 (630)는 도 3 에서 설명한 프리즘을 통과한 영상을 획득하는 구성으로, 부호화 조리개 통과 영상들 각각에 대하여, 프리즘에 의해 분산된 분산 영상 정보를 획득한다.
관측부 (640)는 획득된 분산 영상 정보에 기초하여 입력 영상에 대한 초분광 영상을 관측한다.
이 때, 관측부 (640)는 관측된 초분광 영상에 대한 기하학적 보정을 수행할 수 있으며， 구체적으로 체크보드를 촬영하여 상기 촬영된 체크 보드에 기초하여 호모그래피 (homography) 행렬을 구하고, 구해진 호모그래피 행렬을 관측된 초분광 영상에 적용함으로써, 관측된 초분광 영상에 대한 기하학적 보정을 수행할 수 있다.
나아가, 관측부 (640)는 호모그래피 행렬을 이용한 1 차 기하학적 보정을 수행한 후 광학 흐름 알고리즘을 이용하여 2 차 기하학적 보정을 수행할 수도 있다. 더 나아가, 관측부 (640)는 관측된 초분광 영상들 각각의 복사, 휘도를 계산하고, 산된 복사 휘도에 기초하여 관측된 초분광 영상들 각각에 대한 색상 보정을 수행할 수도 있다.
물론, 이 뿐만 아니라 본 발명의 일 실시예에 따른 따른 시스템은 도 1 내지 도 5 에서 설명한 내용을 모두 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 자명하다.
【발명의 실시를 위한 형태]
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나， 및 /또는 설명된 시스템, 구조, 장치， 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들， 다른 실시예들 및 특허청구범위와 균등한 것들도후술하는 특허청구범위의 범위에 속한다.

Claims

【청구의 범위】
【청구항 1】
입력 영상에 대응하는 미리 결정된 개수의 이미지들을 생성하는 미러들; 상기 이미지들 각각에 대응하는 부호화 조리개 통과 영상을 생성하는 부호화 조리개 (coded aperture)；
상기 부호화 조리개 통과 영상들 각각에 대한 분산 명상 정보를 제공하는 프리즘; 및
상기 분산 영상 정보에 기초하여 상기 입력 영상에 대한 초분광 영상을 관측하는 제어부
를 포함하는 카메라 장치.
[청구항 2】
제 1항에 있어서,
상기 미러들은
상기 미리 결정된 개수의 이미지들을 생성하는 만화경을 포함하는 것을 특징으로 하는 카메라 장치.
【청구항 3]
제 1항에 있어서，
상기 제어부는
상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 것을 특징으로 하는 카메라 장치.
【청구항 4】 제 3항에 있어서,
상기 제어부는
체크보드를 촬영하여 상기 촬영된 체크 보드에 기초하여 호모그래피 (homography) 행렬을 구하고， 상기 구해진 호모그래피 행렬을 상기 관측된 초분광 영상에 적용함으로써， 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 것을 특징으로 하는 카메라 장치.
【청구항 5】
제 4항에 있어서,
상기 제어부는
상기 호모그래피 행렬을 이용한 1 차 기하학적 보정을 수행한 후 광학 흐름 (optical flow) 알고리즘을 이용하여 2 차 기하학적 보정을 수행함으로써, 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 것을 특징으로 하는 카메라 장치.
【청구항 6】
제 1항에 있어서，
상기 제어부는
상기 관측된 초분광 영상의 복사 휘도를 계산하고, 상기 계산된 복사 휘도에 기초하여 상기 관측된 초분광 영상에 대한 색상 보정을 수행하는 것을 특징으로 하는 카메라 장치.
【청구항 7]
입력 영상을 미리 결정된 개수의 이미지들로 복사하는 단계;
부호화 조리개 (coded aperture)를 이용하여 상기 복사된 이미지들 각각에 대응하는 부호화 조리개 통과 영상을 생성하는 단계;
상기 부호화 조리개 특과 영상들 각각에 대하여, 프리즘에 의해 분산된 분산 영상 정보를 획득하는 단계; 및
상기 획득된 분산 영상 정보에 기초하여 상기 입력 영상에 대한 초분광 영상을 관측하는 단계
를 포함하는 초분광 영상 관측 방법.
【청구항 8】
제 7항에 있어서,
상기 이미지들로 복사하는 단계는
만화경을 이용하여 상기 입력 영상을 상기 이미지들로 복사하는 것을 특징으로 하는 초분광 영상 관측 방법ᅳ
【청구항 9】
제 7항에 있어서,
상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 단계 를 더 포함하는 것을 특징으로 하는 초분광 영상 관측 방법.
【청구항 10】
제 9항에 있어서，
상기 기하학적 보정을 수행하는 단계는 체크보드를 촬영하여 상기 촬영된 체크 보드에 기초하여 호모그래피 (homograpliy) 행렬을 구하고, 상기 구해진 호모그래피 행렬을 상기 관측된 초분광 영상에 적용함으로써, 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 것을 특징으로 하는 초분광 영상 관측 방법.
【청구항 11】
제 10항에 있어서,
상기 기하학적 보정을 수행하는 단계는
상기 호모그래피 행렬을 이용한 1 차 기하학적 보정을 수행한 후 광학 흐름 (optical flow) 알고리즘을 이용하여 2 차기하학적 보정을 수행함으로써, 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 것을 특징으로 하는 초분광 영상 관측 방법.
【청구항 12】
제 7항에 있어서， .
상기 관측된 초분광 영상의 복사 휘도를 계산하고， 상기 계산된 복사 휘도에 기초하여 상기 관측된 초분광 영상에 대한 색상 보정을 수행하는 단계 를 더 포함하는 것을 특징으로 하는 초분광 영상 관측 방법.
【청구항 13】
입력 영상에 대하여， 상기 입력 영상에 대웅하는 미리 결정된 개수의 이미지들올 생성하는 단계; 상기 생성된 이미지들 각각에 대하여, 상이한 부흐화 조리개를 이용하여 상기 생성된 이미지들 각각에 대웅하는 부호화 조리개 통과 영상을 생성하는 단계;
상기 부호화 조리개 통과 영상들 각각에 대한 분산 영상 정보를 획득하는 단계; 및
상기 획득된 분산 영상 정보에 기초하여 단일 촬영에 의한 상기 입력 영상의 초분광 영상을 관측하는 단계
를 포함하는 초분광 영상 관측 방법.
[청구항 14】
제 13항에 있어서，
상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 단계 를 더 포함하는 것을 특징으로 하는 초분광 영상 관측 방법.
【청구항 15】
제 13항에 있어서,
상기 관측된 초분광 영상의 복사 휘도를 계산하고, 상기 계산된 복사 휘도에 기초하여 상기 관측된 초분광 영상에 대한 색상 보정을 수행하는 단계 를 더 포함하는 것을 특징으로 하는 초분광 영상 관측 방법.
【청구항 16]
입력 영상올 미리 결정된 개수의 이미지들로 복사하는 이미지 복사부; 부호화 조리개 (coded aperture)를 이용하여 상기 복사된 이미지들 각각에 대응하는 부호화 조리개 통과 영상을 생성하는 통과 영상 생성부; 상기 부호화 조리개 통과 영상들 각각에 대하여, 프리즘에 의해 분산된 분산 영상 정보를 획득하는 분산 영상 획득부; 및
상기 획득된 분산 영상 정보에 기초하여 상기 입력 영상에 대한 초분광 영상을 관측하는 관측부
를 포함하는 초분광 영상 관측 시스템.
【청구항 17】
제 16항에 있어서,
상기 이미지 복사부는
만화경을 이용하여 상기 입력 영상을 상기 이미지들로 복사하는 것을 특징으로 하는 초분광 영상 관측 방법.
【청구항 18】
제 16항에 있어서,
상기 관측부는
상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 것을 특징으로 하는 초분광 영상 관측 시스템.
【청구항 19】
제 18항에 있어서,
상기 관측부는
체크보드를 촬영하여 상기 촬영된 체크 보드에 기초하여 호모그래피 (homography) 행렬을 구하고， 상기 구해진 호모그래피 행렬을 상기 관측된 초분광 영상에 적용함으로써， 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 것을 특징으로 하는 초분광 영상 관측 시스템.
【청구항 20]
제 19항에 있어서,
상기 관측부는
상기 호모그래피 행렬을 이용한 1 차 기하학적 보정을 수행한 후 광학 흐름 (optical flow) 알고리즘을 이용하여 2 차 기하학적 보정을 수행함으로써, 상기 관측된 초분광 영상에 대한 기하학적 보정을 수행하는 것을 특징으로 하는 초분광 영상 관측 시스템.
【청구항 21 ]
제 16항에 있어서,
상기 관측부는
상기 관측된 초분광 영상의 복사 휘도를 계산하고, 상기 계산된 복사 휘도에 기초하여 상기 관측된 초분광 영상에 대한 색상 보정을 수행하는 것을 특징으로 하는 초분광 영상 관측 시스템.
PCT/KR2016/014768 2016-08-10 2016-12-16 만화경을 이용한 초분광 영상 관측 방법 및 시스템 WO2018030592A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0101653 2016-08-10
KR20160101653 2016-08-10

Publications (1)

Publication Number Publication Date
WO2018030592A1 true WO2018030592A1 (ko) 2018-02-15

Family

ID=61162935

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/014768 WO2018030592A1 (ko) 2016-08-10 2016-12-16 만화경을 이용한 초분광 영상 관측 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR101915883B1 (ko)
WO (1) WO2018030592A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097363A1 (en) * 2005-10-17 2007-05-03 Brady David J Coding and modulation for hyperspectral imaging
KR20080105935A (ko) * 2007-06-01 2008-12-04 호남대학교 산학협력단 변환 렌즈 및 이를 이용하는 초다중분광 영상 시스템
KR20110088676A (ko) * 2010-01-29 2011-08-04 한국전기연구원 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치
US20140252200A1 (en) * 2011-10-12 2014-09-11 Ventana Medical Systems, Inc. Polyfocal interferometric image acquistion
KR20160058487A (ko) * 2014-11-17 2016-05-25 한국해양과학기술원 초분광 검출용 전단광학계

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6622100B2 (en) 2001-06-07 2003-09-16 Northrop Grumman Corporation Hyperspectral analysis tool
US7936377B2 (en) 2007-04-30 2011-05-03 Tandent Vision Science, Inc. Method and system for optimizing an image for improved analysis of material and illumination image features
KR20090070258A (ko) * 2007-12-27 2009-07-01 중앙대학교 산학협력단 3차원 기하학 정보를 이용한 실시간 지시 영역 추정 방법
US9754181B2 (en) 2011-11-04 2017-09-05 National Ict Australia Limited Determining color values in hyperspectral or multispectral images
CN102495005B (zh) 2011-11-17 2013-05-08 江苏大学 高光谱图像技术诊断作物水分亏缺的方法
KR20130076978A (ko) * 2011-12-29 2013-07-09 삼성전자주식회사 표시 장치 및 그 색상 보정 방법
EP2757527B1 (en) * 2013-01-16 2018-12-12 Honda Research Institute Europe GmbH System and method for distorted camera image correction
KR101672291B1 (ko) 2016-03-31 2016-11-08 주식회사 지오스토리 항공 초분광영상을 활용한 갯녹음 탐지 기법
KR101621354B1 (ko) 2016-03-31 2016-05-20 주식회사 지오스토리 항공 초분광영상을 활용한 수심 보정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097363A1 (en) * 2005-10-17 2007-05-03 Brady David J Coding and modulation for hyperspectral imaging
KR20080105935A (ko) * 2007-06-01 2008-12-04 호남대학교 산학협력단 변환 렌즈 및 이를 이용하는 초다중분광 영상 시스템
KR20110088676A (ko) * 2010-01-29 2011-08-04 한국전기연구원 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치
US20140252200A1 (en) * 2011-10-12 2014-09-11 Ventana Medical Systems, Inc. Polyfocal interferometric image acquistion
KR20160058487A (ko) * 2014-11-17 2016-05-25 한국해양과학기술원 초분광 검출용 전단광학계

Also Published As

Publication number Publication date
KR101915883B1 (ko) 2018-11-08
KR20180018275A (ko) 2018-02-21

Similar Documents

Publication Publication Date Title
CN112789495B (zh) 混合光谱成像仪
KR102139858B1 (ko) 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
US20170160135A1 (en) Snapshot spectral imaging based on digital cameras
JP6585006B2 (ja) 撮影装置および車両
US9900562B2 (en) System and method for light-field imaging
EP3460427B1 (en) Method for reconstructing hyperspectral image using prism and system therefor
US20150192465A1 (en) Snapshot spectral imaging based on digital cameras
US20140192238A1 (en) System and Method for Imaging and Image Processing
EP3593527A1 (en) Multi-channel compressive sensing-based object recognition
EP3329209A1 (en) Spectral imaging method and system
US10984566B2 (en) Image processing apparatus that calculates using luminance values of one or more input images produced by photoelectric conversion of multiple polarized lights, image-capturing apparatus and image processing method
CN111344533A (zh) 用于检测光的装置、系统和方法
US11300450B2 (en) Hyperspectral imaging spectroscopy method using kaleidoscope and system therefor
Fryskowska et al. Calibration of low cost RGB and NIR UAV cameras
Iuliani et al. Image splicing detection based on general perspective constraints
Zhang et al. A novel 3D multispectral vision system based on filter wheel cameras
US5852671A (en) Method for reconstructing a curved surface of a subject and an apparatus for reconstructing a curved surface of a subject
Bauer et al. Automatic estimation of modulation transfer functions
Jeon et al. Multisampling compressive video spectroscopy
US20150062399A1 (en) Imaging apparatus and method for controlling imaging apparatus
WO2018030592A1 (ko) 만화경을 이용한 초분광 영상 관측 방법 및 시스템
JP6367803B2 (ja) オブジェクト空間のオブジェクト点の記述のための方法およびその実施のための結合体
Kim et al. Aperture-encoded snapshot hyperspectral imaging with a lensless camera
Liu et al. Lensless Wiener–Khinchin telescope based on second-order spatial autocorrelation of thermal light
Qiao et al. Snapshot interferometric 3D imaging by compressive sensing and deep learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16912790

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16912790

Country of ref document: EP

Kind code of ref document: A1