WO2019059632A1 - 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템 - Google Patents

프리즘을 이용한 초분광 영상 재구성 방법 및 시스템 Download PDF

Info

Publication number
WO2019059632A1
WO2019059632A1 PCT/KR2018/011043 KR2018011043W WO2019059632A1 WO 2019059632 A1 WO2019059632 A1 WO 2019059632A1 KR 2018011043 W KR2018011043 W KR 2018011043W WO 2019059632 A1 WO2019059632 A1 WO 2019059632A1
Authority
WO
WIPO (PCT)
Prior art keywords
dispersion
camera
spectral
model
captured image
Prior art date
Application number
PCT/KR2018/011043
Other languages
English (en)
French (fr)
Inventor
김민혁
백승환
김인철
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180031807A external-priority patent/KR20190035462A/ko
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2019059632A1 publication Critical patent/WO2019059632A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/14—Generating the spectrum; Monochromators using refracting elements, e.g. prisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/283—Investigating the spectrum computer-interfaced
    • G01J2003/284—Spectral construction

Definitions

  • the present invention relates to an ultrasound image reconstruction technique, and more particularly, to a method and system for reconstructing an ultrasound image using only a camera and a prism.
  • Hyperspectral imaging (or ultrasound imaging) has been extensively studied over the past decade. Conventional methods can be classified into three groups: spectral scanning, computed tomography imaging, and compressed hyperspectral imaging.
  • the most direct approach in hyperspectral imaging is to isolate measurements using different bandpass or liquid crystal tuning filters and scan the entire spectrum to form the final image.
  • a scanning-based approach can image each wavelength isolated through a slit using dispersive optics such as prisms or differential gratings and whiskbroom or pushbroom scanners. While scanning yields a high spatial resolution, the spectral resolution of this approach is limited by the number of filters used.
  • coded aperture stop snapshot spectral imaging has been developed to overcome the limitations of spectral scanning systems.
  • the coded diaphragm is disposed in front of or behind the prism (or differential grating) through collimation in the optical path of the imaging system.
  • the coded diaphragm is used to encode spectral features, which are then used to reconstruct the compressed input into a complete hyperspectral image.
  • Multiple sampling techniques have been introduced to further improve accuracy using a microtranslation stage or a kaleidoscope.
  • Still another example technique introduces a learning-based solution that improves the spatial and spectral resolution of the reconstructed image.
  • Conventional compression imaging systems are bulky and unwieldy because they are large and expensive due to additional factors such as collimating optics and coding masks.
  • a low-cost spectral imaging method called prism-mask multispectral video imaging system has been proposed.
  • a large mask of pinholes is disposed in front of the prism, To configure simple settings with inexpensive elements.
  • the large mask must be carefully installed on the front surface of the large black box, which is a relatively large distance from the prism in order to adequately separate the dispersed area, there is a problem that the form factor becomes large and the usability deteriorates again.
  • the number of holes in the mask determines the spatial resolution of the image much lower than the resolution (less than 10%) of the image sensor, while the overall optical throughput is greatly reduced.
  • a simple system based on an inexpensive commercial diffraction grating has been proposed, which is not capable of reconstructing the entire hyperspectral image, but is designed to recover the spectral characteristics of a visible light source .
  • CTIS computed tomography imaging spectrometry
  • a diffraction grating to split incident light into a plurality of spectral projections on an image plane. Because multiple sub-images must be captured with a single sensor, the effective spatial resolution of the reconstructed image is less than 10% of the original sensor resolution.
  • the technology of another embodiment has introduced an inexpensive solution for hyperspectral imaging by applying CTIS to a conventional DSLR camera, but the system has a problem that resolution is reduced due to a similar loss of spatial resolution.
  • Snapshot image mapping spectroscopy uses a micro mirror array as an image mapper that splits incident light into strips and then performs dispersion and imaging using prisms and lens arrays. Although the spectral intensity of the scene point is directly measured by a single pixel on a camera sensor similar to PMVIS, image mapping suffers spatial resolution, and the system configuration requires a prism, mirror and lens array, which complicates the structure.
  • Another embodiment technique is to use a reflector having a color filter by using multiple reflections through a filter.
  • the system is limited to flat objects, and the spatial resolution is reduced because multiple reflections of objects must be captured as a single image.
  • the hybrid imaging system proposed a method of using an additional high-resolution tricolor imaging device with red, green and blue (RGB) filters, which increases the size of the system, Causing a calibration problem.
  • RGB red, green and blue
  • the method of estimating spectra in RGB is described in several studies, in which spectral information is approximated from a single RGB input.
  • a regression-based method of approximating a spectrum to a linear combination of basic functions for a standard XYZ matching function And this estimation algorithm depends on the piecewise smoothness constraint along the spectrum.
  • a data access method that learns the spectral distribution of the reflectance to the object is proposed, which optimizes the reflectance model trained in the hyperspectral image data set while returning the spectral information from the RGB input Used before the step.
  • this regression-based approach can only approximate the actual spectrum.
  • the spectral accuracy of this method is limited by the metameristic input of an RGB camera with a filter bandwidth of about 100 nm.
  • Embodiments of the present invention provide a method and system that can reconstruct an ultrasound image using only a camera and a prism.
  • a method of reconstructing an ultrasound image includes: obtaining a dispersion model for dispersion generated by a prism included in a camera that does not include a coded aperture; And reconstructing an ultrasound image corresponding to the captured image based on the dispersion model.
  • a method of reconstructing an ultrasound image includes the steps of: obtaining edge information from which variance has been removed by sorting input captured images; And estimating spectral information based on the obtained edge information and the distribution model, wherein reconstructing the ultrasound spectral image comprises reconstructing the spectral image based on the estimated spectral information, Ultrasound images can be reconstructed.
  • the obtaining of the dispersion model may include generating a refractive function for each wavelength to predict a refractive movement according to a wavelength of each pixel; And obtaining the distribution model for the magnitude and direction of dispersion of the captured image based on the generated refractive function.
  • generating the refraction function comprises, for each pixel, the refractive function describing a relationship between a first position to reach the sensor of the camera by a direct ray and a second position to be projected onto the sensor by refraction of the prism Can be generated.
  • Acquiring the dispersion model includes: selecting a reference wavelength and obtaining the first position corresponding to a reference position and a depth projected on the sensor corresponding to the reference wavelength using the refraction function; Calculating, for preset wavelengths, a reverse refraction function mapped from the first position to the second position; And obtaining the variance model that encodes the variance magnitude and direction of the captured image using the first position and the inverse refraction function corresponding to the reference position and depth.
  • the method of reconstructing an ultrasound image may further include correcting the radiation response of the camera and the dispersion model, and reconstructing the ultrasound image may include: And reconstruct an ultrasound image corresponding to the captured image based on the model.
  • the step of acquiring edge information comprises performing spatial alignment between spectral channels by calculating a difference between non-normalized gradient values of adjacent spectral channels in the captured image, May be projected on the RGB channel, and the edge information may be obtained using the edge detector.
  • a method of reconstructing an ultrasound image comprising: inputting a captured image through a prism included in a camera not including a coded aperture, step; Estimating spectral information based on the obtained edge information and a variance model for variance generated by the prism; And reconstructing the hyperspectral image corresponding to the captured image based on the estimated spectral information.
  • the captured image may be an image that is captured without passing through the coded aperture.
  • a camera apparatus includes a first acquiring unit acquiring a dispersion model for dispersion generated by a prism included in a camera that does not include a coded aperture; And a reconstruction unit for reconstructing an ultrasound image corresponding to the captured image based on the dispersion model.
  • the camera device includes a second acquiring unit for acquiring edge information from which scattered input images are dispersed by sorting input captured images; And an estimator for estimating spectral information based on the obtained edge information and the dispersion model, wherein the reconstructing unit reconstructs an ultrasound image corresponding to the captured image based on the estimated spectral information .
  • an ultrasound image reconstruction system including: a prism included in a camera; And a camera device, wherein the camera device does not include a coded aperture and obtains a variance model for variance generated by the prism, and based on the variance model, And reconstructs the spectroscopic image.
  • a method of reconstructing an ultrasound image comprising: obtaining a dispersion model for dispersion generated by a prism included in a camera, based on a refractive function of a direct ray and a refraction of the prism; ; And reconstructing an ultrasound image corresponding to the captured image based on the dispersion model.
  • a hyperspectral image can be reconstructed using only an existing camera and a prism, and a hyperspectral image reconstruction system can be constructed with high portability and low cost.
  • the present invention analyzes the path of light coming through a prism in a camera in detail and then estimates the ultrasound information through the spectroscopically recorded information on the photographed image, so that only the prism and the camera can be used without a coded diaphragm or complicated collimating optics Ultrasound images can be reconstructed.
  • the image is captured with a single-shot continuous dispersion, so that spectral resolution can be increased without seriously sacrificing spatial resolution.
  • a prism can be installed in an existing camera to be used for various purposes such as plant classification, ore classification, and digitization of an actual object.
  • FIG. 1 is a view for explaining a single-shot spectral imaging method capable of capturing a high-spectral image using a conventional DSLR camera.
  • FIG. 2 is a diagram showing an outline of a reconstructed algorithm of the present invention.
  • Figure 3 shows a diagram of a spectral data cube at each step.
  • Figure 4 shows a schematic diagram of a prism-based hyperspectral capture model.
  • FIG. 5 is a diagram showing a process for obtaining a distribution function.
  • Fig. 6 (a) is a diagram showing an example of wavelength-dependent variation with respect to dispersion sizes of various depths
  • Fig. 6 (b) is a diagram showing the results of spatially varying dispersion vector fields.
  • FIG. 7 (a) is a view showing a raw RGB image
  • FIG. 7 (b) is a view showing an sRGB image restored by edge restoration
  • FIG. 7 (c) FIG.
  • FIG. 8 (a) shows an image without dispersion on the left side and the same image with dispersion on the right side
  • FIG. 8 (b) shows an X-axis gradient image in the case of dispersion
  • FIG. 9 (a) is a diagram showing a horizontal gradient gx reconstructed at a wavelength of 550 nm
  • FIG. 9 (b) is a view for explaining spectral power dispersion of an orange patch for each step of the method of the present invention
  • (c) is a final reconstructed sRGB image, a comparison between the initial reconstruction i opt and the i fin after detailed improvement.
  • 10 is a diagram showing the measured camera response function.
  • Fig. 11 (a) is a view for explaining a setting for estimating the space-change variance of the present invention
  • Fig. 11 (b) is a diagram showing a captured spectral image showing a definite wavelength dependent change.
  • FIG. 13 (b) is a view showing a checker board captured by a prism causing geometric distortion
  • Hyperspectral imaging is widely applied in many fields such as physically accurate material appearance, automatic segmentation and matching, material classification or material inspection for mining and geology.
  • hyper-spectral imaging systems are still very expensive, starting at $ 25,000- $ 100,000.
  • the system requires special hardware such as collimated optics or lithography coded with apertures with microscale patterns and diffraction gratings. It also requires professional engineering skills to handle and assemble such hardware.
  • such systems are configured for special purposes such as airborne remote sensing or military applications. Therefore, it is not cheap or practical for general users.
  • Hyperspectral imaging techniques such as coded aperture snapshot spectral imaging (CASSI), use a coded aperture as a key element for capturing spectral information. Subsequent spectral reconstruction of the image depends on the spatial invariant dispersion model where collimation optics are required. This greatly changes the form factor of the system.
  • CSSI coded aperture snapshot spectral imaging
  • the present invention presents a new single-shot technique for hyperspectral imaging where a simple glass prism is placed in front of a conventional DSLR camera lens.
  • This invention avoids expensive specialized hardware, eliminates the need for advanced techniques, and has minimal impact on the form factor, allowing end users to freely capture hyperspectral information.
  • the existing spatial invariant dispersion model can not be applied to the system of the present invention. This is due to the wavelength dependent and nonlinear refractive distortion produced by the collimating optics and the prism as in Figure 1b.
  • the settings of the present invention do not include a coded aperture mask, available spectral cues are limited to dispersion through the edges.
  • the setting of the present invention captures a scene at full resolution without using a diffraction grating, the spectral cue is also rare in one direction.
  • Such a reconstruction algorithm of the present invention should be able to reconstruct the entire spectral information of a scene from a sparse distribution over an edge without depending on the spectral characteristics from the coded diaphragm.
  • Embodiments of the present invention provide a method and system capable of reconfiguring a hyperspectral image using only a camera and a prism, thereby lowering system construction cost while achieving high portability.
  • the present invention firstly introduces a new image-forming model for predicting the perspective projection of dispersion to calculate the dispersion direction and magnitude of each wavelength in every pixel, and secondly, because there is no collimation optics in the setting, And finally provides a new reconstruction algorithm that utilizes variance beyond the edge.
  • the reconstruction algorithm of the present invention can be composed of three main steps as shown in FIG. 2: edge restoration, gradient estimation, and spectral reconstruction.
  • the hyperspectral image can be described as a three-dimensional cube I (p, ⁇ ) ⁇ R XxYx ⁇ .
  • X, Y and ⁇ mean horizontal, vertical and spectral axes
  • p means sensor pixel (x, y)
  • ⁇ can mean wavelength
  • the present invention uses a conventional RGB camera and a prism located on the front surface of the lens.
  • the spectral image formulas of the present invention differ from classical compression imaging architectures.
  • Equation (1) the image forming model can be expressed by Equation (1) below.
  • (C, ⁇ ) represents the camera response for channel c and wavelength ⁇
  • J (p, c) represents a linear RGB image (including c ⁇ ⁇ R, G, B ⁇ means a transfer function
  • ⁇ ⁇ (p) may be modeled as a mobile operator at each pixel p of the non-linear means for generating distribution varies spatially by the prism, and each of the wavelength ⁇ .
  • j ⁇ R XY3x1 and i ⁇ R XY ⁇ x1 represent vectorized linear RGB and hyperspectral images
  • ⁇ represents an operator for converting spectral information to RGB
  • ⁇ R XY ⁇ xXY ⁇ represents the direction of dispersion per pixel And a matrix describing the size.
  • FIG. 3 shows a diagram of a spectral data cube in each step
  • FIG. 3A shows a 3D spectral data cube i
  • the original data cube includes two spatial axes of X and Y and a spectral axis.
  • FIG. 3B shows the dispersion spectrum? I, and the prism moves the spectral information according to X.
  • FIG. Fig. 3c shows the projected variance?? I, the dispersion spectrum being integrated along the spectral axis and following the camera response function.
  • Spectral information of the original data cubes is embedded around the edges of the projected variance and the method according to the present invention reconstructs the original spectral data cubes by using the information projected into the variance as input and analyzing the variance around the edges .
  • Figure 4 shows a schematic diagram of a prism-based hyperspectral capture model.
  • the present invention follows a two-step approach.
  • a refractive function ⁇ ⁇ is generated for each wavelength that predicts refraction movement along the wavelength of each pixel. That is, the direct-optical points p d and p lambda in the sensor Will be explained.
  • the present invention is to find a pixel-by-pixel correspondence for every wavelength of the captured image to obtain a distribution function ⁇ ⁇ .
  • the single-shot method of the present invention does not require direct capturing without a prism, so p d is not imaged.
  • the present invention will depend on p d in the derivation of the present invention and will eliminate this dependency when a final dispersion model is created.
  • the depth z redefine the points of the three-dimensional space R 3 such that the pixels (x, y) of the sensor are represented by 3D vectors [x, y, -f] T.
  • f may mean a focal length
  • the present invention first finds a refractive model ⁇ in the form of a matrix describing the refractive motion function ⁇ ⁇ for each pixel in terms of the relationship between the points p d and p ⁇ in the sensor, You can explain all of the direct rays.
  • the refraction model of the present invention relates to rays refracted through o, which differs from traditional light through a prism model commonly used to describe dispersion.
  • the function [Psi] [ lambda ] will allow the final dispersion model [phi] of the present invention to be derived as a vector domain, which can allow per-pixel correspondence to be established along the visible spectrum of the captured image.
  • the present invention is the dispersion size of the captured image and the direction of the side (point of view) the relationship between p and p ⁇ ref ⁇ , find the matrix form of a distribution model that describes the distribution function ⁇ ⁇ ⁇ for all the pixels. To this end, the present invention utilizes the refraction function ⁇ ⁇ p ⁇ associating the capture and p d.
  • Fig. 5 shows the process for the above-described dispersion model.
  • FIG. 6A shows an example of a wavelength-dependent change in dispersion size at various depths, which measures the displacement from p 700 nm to p ? In the central pixel. It was confirmed that the size of the dispersion rapidly increased until the depth z reached about 350 mm, and converged after about 700 mm.
  • the result matrix ⁇ can be applied to a general situation where the scene is z> 700 mm. This is important because the spectral information can be reconstructed without the need to perform depth estimation.
  • CASSI CASSI that uses a coded mask and collimation
  • the distribution pattern is obtained independently of the image structure.
  • multiple distributed images are captured in multiple directions, with reduced resolution at CTIS.
  • the present invention uses only a prism equipped with a DSLR camera.
  • the input is a single RGB image in which the variance information overlaps, a spectral characteristic rarely appears only at the edge as shown in Fig. 7A.
  • the present invention provides a new reconstruction framework for compact single-shot hyperspectral imaging.
  • the reconfiguration of the present invention consists of three main steps. First, in the edge restoration step, the input dispersed RGB image is sorted to obtain sharp edge information in which dispersion is eliminated or dispersion is reduced. Second, we use the variance in the extracted edges to estimate the spectral information in the gradient domain. Finally, the hyperspectral image of the gradient is used to recover the hyperspectral image.
  • the present invention solves the following convex optimization problem so that the spatially aligned hyperspectral image i aligned ⁇ R XY ⁇ x1 can be estimated from the input variance RGB image j, .
  • ⁇ xy means and ⁇ ⁇ may sense the spectral gradient operator, specifically, the first term ( ⁇ xy) means, and the other wherein ( ⁇ the data residual of the image formation model, the spatial gradient operator, lambda ] may be a priori.
  • the first priori is the existing total variation (TV) term, which guarantees the scarcity of the spatial gradient and the elimination of spatial artifacts.
  • the second prior art which is a modified cross-channel term of the present invention, is introduced and edge misalignment is removed across the spectral channel by seeking sparseness in changes in the spatial gradient. While the prior art cross-channel prior computes the difference of the normalized gradient value for each color channel pair in the prior art embodiment, the invention assumes that the spectral signal is locally smooth in the adjacent channel, Calculate the difference between non-normalized gradient values of the channel.
  • the cross channel prior of the present invention enables spatial alignment between spectral channels.
  • the present invention solves Equation (6) using an alternating direction method of multipliers (ADMM) of a multiplication operator.
  • ADMM alternating direction method of multipliers
  • the spatial alignment step produces a hyperspectral image with edge variance removed as shown in FIG. 7B.
  • this is not reliable because the accuracy of the spectral information in i- aligned is still incomplete.
  • the edge detection algorithm instead of applying the edge detection algorithm directly to the aligned spectral channels in i- aligned to find the exact position of the edge, we first project the aligned spectral image i- aligned through the camera response function ⁇ i- aligned onto the RGB channel first, A multi-scale edge detector is applied. Thus, a stronger edge detection result can be obtained as shown in FIG. 7C. This extracted edge information is used to reconstruct the spectral information from the variance on the edge in the next step.
  • the main insight of the spectral reconstruction algorithm is based on the observation that variance across the edges can be used as a cue of spectral reconstruction, as spectral information is associated with spatial blur, as shown in Figure 8A.
  • the present invention describes a spatial gradient of a dispersed area around an edge to reconstruct a complete hyperspectral image.
  • in Equation 6 which has a distributed image with superimposed spectral information as input, 2 2
  • the data term is insufficient to reconstruct the actual spectral intensity.
  • the spatially varying variance model ⁇ of the present invention describes the relationship between spectral information and scattered spatial information, the present invention utilizes the spatial gradient of the scattered image as input to reconstruct the spectral intensity around the edge .
  • Figure 8 shows an example of this.
  • the left column displays the pixel intensity (a), the horizontal gradient (b), and the hyperspectral representation (c) in a row of the image without dispersion (orange line).
  • the right column shows the same information distributed through the prism.
  • the spectral information of an image without dispersion is projected directly into the RGB value, so that the metameristic spectral can not be traced at a given input.
  • the spatial gradient represents information about the spectral power distribution along the edge.
  • the hyper-spectral representation (c) of the right column different wavelengths are sheared in different sizes and orientations due to dispersion.
  • the marginal projection to RGB values along the wavelength axis of this dispersed spectral still leaves a queue for spectral reconstruction.
  • the present invention can clearly see the spectral cue in the gradient domain rather than the intensity domain.
  • Each gradient profile of pixels includes gradient information of a particular spectral channel according to the variance predicted by the model? Of the present invention. This can be motivated to formulate a reconstruction problem in the spatial gradient region of the present invention.
  • Equation (7) a gradient reconstruction problem is formulated as shown in Equation (7) below, and a stack of spatial gradients g to xy for each wavelength is obtained .
  • the first term is a data term describing the image forming model in the gradient area.
  • the next two terms are the fryer terms for the gradient.
  • the first prior term is equivalent to the spectral scarcity of the gradient used in the spatial alignment step and makes a rare change in the gradient along the spectral dimension.
  • the second prior term imposes a smooth transition of the gradient in the spatial domain, thereby reducing artifacts.
  • Figure 9a shows a horizontal gradient image, which is estimated for a wavelength of 550nm extracted from the variance across the edges.
  • [Delta] [ lambda] denotes a Laplace operator for the spectral image i along the spectral axis, and W xy may mean an element-wise weighting matrix that determines the confidence level of the gradient estimated in the previous step.
  • the reliability value W k ⁇ ⁇ x, y ⁇ (p, ⁇ ) is an element of the matrix W xy for the horizontal and vertical gradient components of the pixel p at the wavelength ⁇ and can be expressed as Equation .
  • the second data is characterized to minimize the difference between the gradient ⁇ from the previous step and the gradient xy i ⁇ g xy.
  • the equation (8) is the spectral smoothness curvature
  • the present invention does not optimize any spectral gradients along the wavelength axis, but instead improves the stability of the spectral estimation by taking into account the curvature smoothness according to different wavelengths. Since Equation (8) consists only of l 2 -norm, it can be solved by conjugate gradient method.
  • Equation (8) yields a high spectral accuracy, but the lack of gradient information for a flat surface as shown in Figure 9b may result in the loss of spatial detail information.
  • the present invention includes a focal length f, an optical center o and a distortion coefficient using Zhang's method (IEEE Transactions on Pattern Analysis and Machine Intelligence 22, 11 (2000), 1330-1334. Thereby correcting the intrinsic characteristics of the camera. A method of correcting? And? Will be described as follows.
  • a standard reflection tile with solid-plasma light is emitted.
  • the reflected energy of each wavelength R ([lambda]) is measured by a spectroradiometer at intervals of 10 nm from 400 nm to 700 nm.
  • a spectral band-specific image filtered by an electronic bandpass filter (e.g., VariSpec VIS LCTF) is captured using a DSLR camera (e.g., Canon EOS 5D Mark III) equipped with a 50 mm lens.
  • a DSLR camera e.g., Canon EOS 5D Mark III
  • raw images with five different exposures can be captured to prevent overexposure or overexposure. Consequently, as in the example shown in Fig.
  • the spectral response of the camera for each band is obtained as a matrix-like tricolor response function ⁇ R 3x ⁇ .
  • a publicly available dataset for the spectral sensitivity function of another DSLR camera can be used instead.
  • This correction is based on the above-described image formation model and consists of three steps.
  • Figure 11A shows a setup for the calibration of the present invention.
  • the present invention inserts a bandpass filter between the target of the prism and the checkerboard to separate the dispersion by wavelength.
  • the present invention uses five 10-nm band-pass filters at intervals of 50 nm from 450 to 650 nm. For each captured spectral image of wavelength lambda, we obtain the position p d of the corresponding direct ray (direct ray) without prism at a known distance z with the shifted position p [ lambda] of the corner pixels in the checkerboard as shown in Fig. .
  • the camera calibration method calculates not only the unique camera matrix but also the three-dimensional coordinates of the feature points existing at the corner. Finally, the positions p [ lambda] , p d and depth z of each checkerboard corner are used for prism correction.
  • the present invention can use an Edmund Littrow dispersion prism made of N-BK7 at 30-60-90 degrees to disperse light.
  • Equation 12 shows the transmittance and the refractive index for each wavelength.
  • the external parameters position and orientation
  • Refractive function ⁇ and ⁇ Using the captured location ⁇ p, p d, and the depth z can be estimated ⁇ by a non-linear optimization of the following objective function can be expressed as shown in Equation 10 below.
  • ⁇ is a subset of the wavelengths (450 nm, 500 nm, 550 nm, 600 nm and 650 nm) used in the experiment and ⁇ ⁇ can refer to the set of corresponding pairs p ⁇ and p d at depth z. This can yield highly accurate prism parameters.
  • the average re-projection error from p ? to p d is ⁇ 0.51 pixels in the present invention.
  • a refraction model ⁇ per wavelength in the form of a matrix that describes the pixel-by-pixel relationship between the refracted pixel p ⁇ and its corresponding direct-ray pixel p d .
  • the refraction model [Psi] not only can calculate the dispersion model [Phi] for all pixels, but also compensates for geometric distortions due to refraction as shown in Figure 13c.
  • 13A shows a checker board captured without a prism. When a prism is installed on the front surface of the camera, the refraction through the prism causes not only dispersion but also geometric distortion as shown in FIG. 13B.
  • This geometric distortion can be corrected using the refraction model [Psi].
  • the refraction model [Psi] distorts the captured and refracted image directly into a ray image (without a prism).
  • the present invention can calculate the variance model [Phi] for all pixels once the refraction model [psi] is obtained.
  • the invention warping (warp) and then, the inverse model to pixel p ⁇ d a pixel p ⁇ ref through refraction model ⁇ - is warped pixel p d 1 through a pixel p ⁇ .
  • the dispersion model ⁇ associates the pixel p ⁇ ref with the pixel p ⁇ .
  • the method according to the present invention can reconstruct the ultrasound image using only the existing camera and the prism, and configure the ultrasound image reconstruction system with high portability and low cost.
  • the present invention estimates ultraspectral information through spectroscopic information captured on photographed photographs after analyzing the path of light entering through a prism in a camera in detail, and then, by using only prism and camera without a coded diaphragm or complicated collimating optical device, The spectral image can be reconstructed.
  • the present invention captures images with a single-shot continuous dispersion, thereby increasing the spectral resolution without seriously sacrificing spatial resolution.
  • the method according to the present invention does not include a coded diaphragm and can reconstruct an ultrasound image using only a camera and a prism, the system construction cost can be reduced.
  • RTI ID 0.0 &gt
  • spectral &lt spectral &lt
  • / RTI &gt image corresponding to the captured image based on the scatter model.
  • Such a method according to the present invention may consist of an apparatus or a system, and the apparatus or system constituted may comprise all the functions of the method according to the present invention described above.
  • the system or apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the systems, devices, and components described in the embodiments may be implemented in various forms such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array ), A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG.
  • the processing unit may comprise a plurality of processors or one processor and one controller.
  • Other processing configurations are also possible, such as a parallel processor.
  • the software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded.
  • Software and / or data may be stored on any type of machine, component, physical device, virtual equipment, computer storage medium, or device, such as a computer readable medium, , Or may be permanently or temporarily embodied in a transmitted signal wave.
  • the software may be distributed over a networked computer system and stored or executed in a distributed manner.
  • the software and data may be stored in one or more computer readable recording media.
  • the methods according to embodiments may be implemented in the form of program instructions that may be executed through various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc., alone or in combination.
  • the program instructions recorded in the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs and DVDs, magnetic media such as floptical disks, Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Geometry (AREA)

Abstract

프리즘을 이용한 초분광 영상 재구성 방법 및 시스템이 개시된다. 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 코딩된 조리개(coded aperture)를 포함하지 않는 카메라에 포함된 프리즘에 의해 생성된 분산에 대한 분산 모델을 획득하는 단계; 및 상기 분산 모델에 기초하여 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 단계를 포함한다.

Description

프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
본 발명은 초분광 영상 재구성 기술에 관한 것으로서, 상세하게는 카메라와 프리즘만을 이용하여 초분광 영상을 재구성할 수 있는 방법 및 시스템에 관한 것이다.
하이퍼스펙트럴 이미징(또는 초분광 영상)은 지난 10년 동안 광범위하게 연구되어왔다. 기존의 방법들은 스펙트럴 스캐닝, 컴퓨터 단층 촬영 이미징 및 압축 하이퍼스펙트럴 이미징의 세 가지 그룹으로 분류될 수 있다.
스펙트럴 스캐닝 방법에 대해 설명하면, 하이퍼스펙트럴 이미징에서 가장 직접적인 접근법은 다른 대역 통과 또는 액정 조절 필터를 사용하여 측정을 격리하고, 전체 스펙트럼을 스캔하여 최종 이미지를 형성하는 것이다. 또한, 스캐닝 기반 접근법은 프리즘 또는 차분 격자와 같은 분산 광학 및 whiskbroom 또는 pushbroom 스캐너를 사용하여 슬릿을 통해 격리된 각 파장을 이미징할 수 있다. 스캐닝이 높은 공간 해상도를 산출하는 동안, 이 접근법의 스펙트럴 해상도는 사용된 필터의 수에 의해 제한된다.
압축 이미징 방법에 대해 설명하면, 코딩된 조리개 스냅 샷 스펙트럴 이미징(CASSI)은 스펙트럼럴 스캐닝 시스템의 한계를 극복하기 위해 개발되었다. 코딩된 조리개는 이미징 시스템의 광 경로에서 시준(collimation)을 통해 프리즘(또는 차분 격자)의 앞이나 뒤에 배치된다. 코딩된 조리개는 스펙트럴 특징을 인코딩하기 위해 사용되는데, 후에 압축된 입력을 완전한 하이퍼스펙트럴 이미지로 재구성하는 데 사용된다. 미세 변환 단계(microtranslation stage) 또는 만화경(kaleidoscope)를 사용하여 정확도를 더 향상시키기 위한 다중 샘플링 기술이 도입되기도 하였다. 또한 다른 일 실시예 기술에서는 재구성된 이미지의 공간 및 스펙트럴 해상도를 향상시키는 학습 기반 솔루션을 도입하였다. 기존의 압축 이미징 시스템은 시준 광학 및 코딩 마스크와 같은 추가 요소로 인해 크고 값 비싸기 때문에 실제로는 부피가 크고 다루기 어렵다.
또한, 최근 소위 프리즘 마스크 다중 스펙트럴 비디오 이미징 시스템(prism-mask multispectral video imaging system, PMVIS)이라 불리는 저비용 스펙트럴 이미징 방법이 제안되었으며, 이 방법은 프리즘 전면에 핀홀의 큰 마스크를 배치하여 스펙트럴 분산을 격리함으로써 저렴한 요소로 간단한 설정을 구성한다. 그러나, 큰 마스크는 분산된 영역을 적절히 분리하기 위해 프리즘으로부터 비교적 큰 거리에 떨어져 있는 큰 블랙 박스의 전면에 조심스럽게 설치되어야 하기 때문에 결과적으로, 폼 팩터가 커지고, 유용성이 다시 저하되는 문제점이 있다. 게다가, 마스크의 홀 수는 이미지 센서의 해상도(10 % 미만)보다 훨씬 낮은 이미지의 공간 해상도를 결정하는 반면, 전반적인 광 처리량은 크게 감소된다. 또한 다른 일 실시예 기술에서 저렴한 상용의 회절 격자를 기반으로 한 간단한 시스템을 제안한 바 있으며, 이 시스템은 전체적인 하이퍼스펙트럴 이미지를 재구성 할 수는 없지만, 가시적인 광원의 스펙트럴 특징을 복구하도록 설계되었다.
컴퓨터 단층 촬영 이미징 방법에 대해 설명하면, 컴퓨터 단층 촬영 이미징 분광분석법(Computed tomography imaging spectrometry, CTIS)은 회절 격자를 사용하여 입사 광선을 이미지 평면상의 다수의 스펙트럴 투영으로 분할한다. 여러 개의 하위 이미지를 단일 센서로 캡쳐해야 하기 때문에, 재구성된 이미지의 유효 공간 해상도는 원래 센서 해상도의 10% 미만이다. 다른 일 실시예의 기술은 기존 DSLR 카메라에 CTIS를 적용하여 하이퍼스펙트럴 이미징을 위한 저렴한 솔루션을 선보였으나, 해당 시스템은 공간 해상도의 유사한 손실로 해상도가 떨어지는 문제점이 있다.
스냅 샷 이미지 매핑 분광분석법은 입사되는 광선을 스트립으로 분할한 다음, 프리즘과 렌즈 배열을 사용하여 분산 및 이미징을 수행하는 이미지 매퍼(mapper)로서 마이크로 미러 어레이를 사용한다. 장면 포인트의 스펙트럴 강도는 PMVIS와 유사한 카메라 센서상의 단일 픽셀에 의해 직접 측정되지만, 이미지 매핑은 공간 해상도를 희생시키고, 시스템 설정은 프리즘, 미러 및 렌즈 배열을 필요로 하므로 그 구조가 복잡해진다.
또 다른 일 실시예 기술은 필터를 통해 다중 반사를 이용함으로써 컬러 필터를 갖는 반사기를 사용하는 것이다. 하지만 해당 시스템은 평평한 대상으로 제한되며, 대상의 다중 반사를 단일 이미지로 캡쳐해야 하기 때문에 공간 해상도가 감소하게 된다. 고해상도 스펙트럴 이미지를 얻기 위하여, 하이브리드 이미징 시스템은 적색, 녹색 및 청색(RGB) 필터를 갖는 추가적인 고해상도 삼색성 이미징 장치를 사용하는 방법을 제안하였으나, 해당 방법은 시스템의 크기를 커지게 하고 이질적인 시스템간에 보정 문제를 발생시킨다.
RGB에서 스펙트럼을 추정하는 방법에 대해 설명하면, 여러 연구에서 단일 RGB 입력으로부터 스펙트럴 정보를 근사화하는데, 일 예의 기술에서는 스펙트럼을 표준 XYZ 매칭 함수에 대한 기본 함수의 선형 조합으로 근사화하는 회귀 기반 방법을 제안하였으며, 이 추정 알고리즘은 스펙트럼을 따라 단계별(piecewise) 평활도(smoothness) 제약 조건에 의존한다. 다른 일 예의 기술에서는 대상에 대한 반사율의 스펙트럴 분포를 학습하는 데이터 접근 방식을 제안하였으며, 해당 방식은 RGB 입력으로부터 스펙트럴 정보를 회귀시키는 동안, 하이퍼스펙트럴 이미지 데이터 세트로 트레이닝된 반사율 모델을 최적화 단계 이전에 사용한다. 그러나, 이러한 회귀 기반 접근법은 실제 스펙트럴만을 근사화할 수 있다. 이 방법의 스펙트럴 정확도는 필터 대역폭이 약 100nm인 RGB 카메라의 메타메리스틱(metameristic) 입력에 의해 제한된다.
본 발명의 실시예들은, 카메라와 프리즘만을 이용하여 초분광 영상을 재구성할 수 있는 방법 및 시스템을 제공한다.
본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 코딩된 조리개(coded aperture)를 포함하지 않는 카메라에 포함된 프리즘에 의해 생성된 분산에 대한 분산 모델을 획득하는 단계; 및 상기 분산 모델에 기초하여 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 단계를 포함한다.
나아가, 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 입력 분산된 상기 캡쳐된 이미지를 정렬하여 분산이 제거된 에지 정보를 획득하는 단계; 및 상기 획득된 에지 정보와 상기 분산 모델에 기초하여 스펙트럴 정보를 추정하는 단계를 더 포함하고, 상기 초분광 영상을 재구성하는 단계는 상기 추정된 스펙트럴 정보에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성할 수 있다.
상기 분산 모델을 획득하는 단계는 각 픽셀의 파장에 따른 굴절 이동을 예측하는 상기 각 파장에 대한 굴절 함수를 생성하는 단계; 및 상기 생성된 굴절 함수에 기초하여 상기 캡쳐된 이미지의 분산 크기 및 방향에 대한 상기 분산 모델을 획득하는 단계를 포함할 수 있다.
상기 굴절 함수를 생성하는 단계는 각 픽셀에 대해, 직접 광선에 의해 카메라의 센서에 도달하는 제1 위치와 상기 프리즘의 굴절에 의해 상기 센서에 투영되는 제2 위치의 관계를 설명하는 상기 굴절 함수를 생성할 수 있다.
상기 분산 모델을 획득하는 단계는 기준 파장을 선택하고, 상기 굴절 함수를 이용하여 상기 기준 파장에 대응하여 상기 센서에 투영되는 기준 위치와 깊이에 대응하는 상기 제1 위치를 획득하는 단계; 미리 설정된 파장들에 대해, 상기 제1 위치에서 상기 제2 위치로 매핑되는 역 굴절 함수를 계산하는 단계; 및 상기 기준 위치와 깊이에 대응하는 상기 제1 위치와 상기 역 굴절 함수를 이용하여 상기 캡쳐된 이미지의 분산 크기 및 방향을 인코딩하는 상기 분산 모델을 획득하는 단계를 포함할 수 있다.
나아가, 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 상기 카메라의 방사 응답과 상기 분산 모델을 보정하는 단계를 더 포함하고, 상기 초분광 영상을 재구성하는 단계는 상기 보정된 방사 응답과 분산 모델에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성할 수 있다.
상기 에지 정보를 획득하는 단계는 상기 캡쳐된 이미지에서 인접한 스펙트럴 채널의 정규화되지 않은 그래디언트 값 간의 차이를 계산하여 스펙트럴 채널 간의 공간 정렬을 수행하고, 상기 카메라의 응답 함수를 통해 정렬된 스펙트럴 이미지를 RGB 채널에 투영한 후 에지 검출기를 이용하여 상기 에지 정보를 획득할 수 있다.
본 발명의 다른 일 실시예에 따른 초분광 영상 재구성 방법은 코딩된 조리개(coded aperture)를 포함하지 않는 카메라에 포함된 프리즘를 통해 입력 분산된 캡쳐된 이미지를 정렬하여 분산이 제거된 에지 정보를 획득하는 단계; 상기 획득된 에지 정보와 상기 프리즘에 의해 생성된 분산에 대한 분산 모델에 기초하여 스펙트럴 정보를 추정하는 단계; 및 상기 추정된 스펙트럴 정보에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 단계를 포함한다.
상기 캡쳐된 이미지는 상기 코딩된 조리개(coded aperture)를 통과하지 않고 캡쳐되는 이미지일 수 있다.
본 발명의 일 실시예에 따른 카메라 장치는 코딩된 조리개(coded aperture)를 포함하지 않는 카메라에 포함된 프리즘에 의해 생성된 분산에 대한 분산 모델을 획득하는 제1 획득부; 및 상기 분산 모델에 기초하여 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 재구성부를 포함한다.
나아가, 본 발명의 일 실시예에 따른 카메라 장치는 입력 분산된 상기 캡쳐된 이미지를 정렬하여 분산이 제거된 에지 정보를 획득하는 제2 획득부; 및 상기 획득된 에지 정보와 상기 분산 모델에 기초하여 스펙트럴 정보를 추정하는 추정부를 더 포함하고, 상기 재구성부는 상기 추정된 스펙트럴 정보에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성할 수 있다.
본 발명의 일 실시예에 따른 초분광 영상 재구성 시스템은 카메라에 포함된 프리즘; 및 카메라 장치를 포함하고, 상기 카메라 장치는 코딩된 조리개(coded aperture)를 포함하지 않고 상기 프리즘에 의해 생성된 분산에 대한 분산 모델을 획득하며, 상기 분산 모델에 기초하여 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 것을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따른 초분광 영상 재구성 방법은 카메라에 포함된 프리즘에 의해 생성된 분산에 대한 분산 모델을 직접 광선과 상기 프리즘의 굴절 간의 관계에 대한 굴절 함수에 기초하여 획득하는 단계; 및 상기 분산 모델에 기초하여 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 단계를 포함한다.
본 발명의 실시예들에 따르면, 기존의 카메라와 프리즘만을 이용하여 초분광 영상을 재구성할 수 있고, 휴대성이 높으면서 작은 비용으로 초분광 영상 재구성 시스템을 구성할 수 있다.
구체적으로, 본 발명은 카메라에서 프리즘을 통하여 들어오는 빛의 경로를 자세하게 분석한 후 촬영된 사진에 찍힌 분광된 정보를 통해 초분광 정보를 추정함으로써, 코딩된 조리개나 복잡한 시준 광학 장치 없이 프리즘과 카메라만으로 초분광 영상을 재구성할 수 있다.
본 발명의 실시예들에 따르면, 싱글-샷의 연속적인 분산으로 이미지를 포착하므로, 공간 분해능을 심각하게 희생시키지 않으면서 스펙트럴 해상도를 높일 수 있다.
본 발명의 실시예들에 따르면, 기존에 존재하는 카메라에 프리즘을 설치하여 식물 분류, 광석 분류, 실제 물체의 디지털화와 같은 다양한 목적으로 사용할 수 있다.
도 1은 기존의 DSLR 카메라를 사용하여 하이터스펙트럴 이미지를 캡쳐할 수 있는 싱글-샷 스펙트럴 이미징 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 재구성된 알고리즘의 개요를 나타낸 도면이다.
도 3은 각 단계에서 스펙트럴 데이터 큐브의 다이어그램을 나타낸다.
도 4는 프리즘 기반 하이퍼스펙트럴 캡쳐 모델의 개략도를 나타낸다.
도 5는 분산 기능을 얻는 프로세스를 나타낸 도면이다.
도 6(a)는 다양한 심도의 분산 크기에 대한 파장 별 변화의 예를 나타낸 도면이고, 도 6(b)는 공간적으로 변화하는 분산 벡터 필드의 결과를 나타낸 도면이다.
도 7(a)는 raw RGB 이미지를 나타낸 도면이고, 도 7(b)는 에지 복원으로 복구된 sRGB 이미지를 나타낸 도면이며, 도 7(c)는 복원된 이미지에서 가장자리 분산 없이 감지된 에지를 나타낸 도면이다.
도 8(a)는 좌측에 분산없는 이미지를 나타내고 우측에 분산이 있는 동일한 이미지를 나타낸 도면이며, 도 8(b)는 분산이 있거나 없는 경우의 X축 그래디언트 이미지를 나타낸 도면이고, 도 8(c)는 하이퍼스펙트럴 정보의 가장자리 에지를 나타낸 도면이다.
도 9(a)는 파장 550nm에서 재구성된 수평 그라디언트 gx를 나타낸 도면이고, 도 9(b)는 본 발명의 방법의 각 단계에 대해 주황색 패치의 스펙트럴 파워 분산을 설명하기 위한 도면이며, 도 9(c)는 최종적으로 재구성된 sRGB 이미지, 초기 재구성 iopt와 세부 향상 후의 ifin를 비교한 도면이다.
도 10은 측정된 카메라 응답 기능을 나타낸 도면이다.
도 11(a)는 본 발명의 공간-변화 분산을 산정하기 위한 설정을 설명하기 위한 도면이고, 도 11(b)는 명확한 파장 의존적 변화를 보이는 캡쳐된 스펙트럴 이미지를 나타낸 도면이다.
도 12는 파장 별 투과율과 굴절률을 나타낸 도면이다.
도 13(a)는 프리즘없이 캡쳐된 체커보드를 나타낸 도면이고, 도 13(b)는 기하학적 왜곡을 유발하는 프리즘으로 캡쳐된 체커보드를 나타낸 도면이며, 도 13(c)는 본 발명의 굴절 모델을 사용하여 왜곡-보정된 체커보드를 나타낸 도면이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
하이퍼스펙트럴 이미징은 물리적으로 정확한 재료 외관, 자동 분할 및 매칭, 재료 분류 또는 광업 및 지질에 대한 재료 검사와 같은 많은 분야에서 폭넓게 적용된다. 하지만, 하이퍼스펙트럴 이미징 시스템은 여전히 매우 비싸며, 시작 가격은 $25,000 - $100,000이다. 이 시스템은 시준 광학 또는 마이크로 스케일 패턴 및 회절 격자를 갖는 조리개로 코딩된 리소그래피와 같은 특수한 하드웨어를 필요로 한다. 또한, 이러한 하드웨어를 다루고 조립하기 위한 전문 공학적 기술을 필요로 한다. 일반적으로, 이러한 시스템은 공중 원격 감지 또는 군용 응용 프로그램과 같은 특수 목적을 위해 구성된다. 따라서, 일반 사용자에게는 저렴하거나 실용적이지 않다.
기존의 스캐닝 시스템은 필터를 사용하여 각 파장에 대한 측정을 격리하므로 느린 과정(또는 속도)가 발생한다. 더욱이, 스펙트럴 해상도는 사용된 필터의 타입 및 수에 의해 제한된다. 코딩된 조리개 스냅 샷 스펙트럴 이미징(coded aperture snapshot spectral imaging, CASSI)과 같은 하이퍼스펙트럴 이미징 기술은 스펙트럴 정보를 캡쳐하기 위한 핵심 요소로서 코딩된 조리개를 사용한다. 이미지의 후속 스펙트럴 재구성은 시준 광학 설정이 요구되는 공간 불변 분산 모델에 의존한다. 이러한 점은 시스템의 폼 팩터를 크게 변경한다.
이러한 제한을 극복하기 위해, 본 발명은 기존의 DSLR 카메라 렌즈 앞에 간단한 유리 프리즘이 배치된 하이퍼스펙트럴 이미징을 위한 새로운 싱글-샷 기술을 제시한다. 이러한 본 발명은 고가의 특수 하드웨어를 피하고, 고급 기술이 필요 없으며, 폼 팩터에 최소한의 영향을 미치므로 일반 사용자가 하이퍼스펙트럴 정보를 자유롭게 캡쳐할 수 있게 해준다.
간단한 프리즘을 사용하면 두 가지 기술적인 문제가 발생한다. 첫째, 기존의 공간 불변 분산 모델을 본 발명의 시스템에 적용할 수 없게 된다. 이는 도 1b와 같이 시준 광학과 프리즘에 의해 생성된 파장 의존적이고 비선형 굴절 왜곡이 없기 때문이다. 둘째, 본 발명의 설정이 코딩된 조리개 마스크를 포함하고 있지 않기 때문에, 사용 가능한 스펙트럴 큐(cue)는 가장자리를 통한 분산으로 희박하게 제한된다. 또한, 본 발명의 설정은 회절 격자를 사용하지 않고도 전체 해상도로 장면을 포착하기 때문에, 스펙트럴 큐 또한 단방향에서 희소하다. 이러한 본 발명의 재구성 알고리즘은 코딩된 조리개로부터의 스펙트럴의 특성에 의존하지 않고 에지(edge)를 넘는(over) 희소 분산으로부터 장면의 전체 스펙트럴 정보를 재구성 할 수 있어야 한다.
본 발명의 실시예들은, 카메라와 프리즘만을 이용하여 초분광 영상을 재구성할 수 있고, 이를 통해 휴대성이 높으면서 시스템 구성 비용을 낮출 수 있는 방법 및 시스템을 제공하는 것을 그 요지로 한다.
이를 위해, 본 발명은 첫째, 분산의 원근 투영을 예측하는 새로운 이미지 형성 모델을 도입하여 모든 픽셀에서 각 파장의 분산 방향과 크기를 산출하고, 둘째, 설정에 시준 광학이 없기 때문에 프리즘의 공간적으로 변화하는 분산을 추정하기 위한 새로운 보정 방법을 제공하며, 마지막으로, 에지를 넘는 분산을 이용하는 새로운 재구성 알고리즘을 제공한다.
본 발명의 재구성 알고리즘은 도 2에 도시된 바와 같이 에지 복구(edge restoration), 그래디언트 추정(gradient estimation) 및 스펙트럴 재구성(spectral reconstruction)이라는 세 가지 주요 단계로 구성될 수 있다.
이러한 본 발명에 따른 방법과 시스템에 대해 상세히 설명하면 다음과 같다.
1. 이미지 형성 모델
하이퍼스펙트럴 이미지는 3차원 큐브 I(p, λ) ∈ RXxYxΛ로 기술될 수 있다.
여기서, X, Y와 Λ는 각각 수평, 수직 및 스펙트럴 축을 의미하고, p는 센서 픽셀 (x, y)를 의미하며, λ는 파장을 의미할 수 있다.
기존의 하이퍼스펙트럴 이미지 생성기와 달리, 본 발명은 기존의 RGB 카메라와 렌즈 전면에 위치하는 프리즘을 사용한다. 따라서 본 발명의 스펙트럴 이미지 공식은 고전적인 압축 이미징 아키텍처와 상이하다.
즉, 본 발명은 프리즘이 입사 광선을 분산시켜 λ를 따라 스펙트럴 큐브 I를 이동 시키므로, 이미지 형성 모델은 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
J(p, c) = ∫Ω(c, λ)I(Φλ(p), λ)dλ
여기서, J(p, c)는 카메라로 포착된 선형 RGB 이미지(c∈{R,G,B} 포함)를 의미하며, Ω(c, λ)는 채널 c 및 파장 λ에 대한 카메라 응답을 인코딩하는 전송 함수를 의미하고, Φλ(p)는 프리즘에 의해 발생하며 공간적으로 변화하는 비선형 분산을 의미하며, 각각의 파장 λ에 대한 각각의 픽셀 p에서의 이동 연산자로 모델링될 수 있다.
본 발명은 이 모델을 J(p, c) = ∑λΩ(c, λ)I(Φλ(p), λ)와 같이 분리된(discrete) 형태로 재형성 할 수 있는데, 이는 아래 <수학식 2>와 같은 행렬-벡터 형태가 될 수 있다.
[수학식 2]
j=ΩΦi
여기서, j∈RXY3x1와 i∈RXYΛx1는 벡터화된 선형 RGB 및 하이퍼스펙트럴 이미지를 의미하고, Ω은 스펙트럴 정보를 RGB로 변환하는 연산자를 의미하며, Φ∈RXYΛxXYΛ는 픽셀 당 분산의 방향과 크기를 설명하는 행렬을 의미할 수 있다.
도 3은 각 단계에서 스펙트럴 데이터 큐브의 다이어그램을 나타낸 것으로, 도 3a는 3D 스펙트럴 데이터 큐브 i를 나타낸 것이며, 원본 데이터 큐브는 X, Y의 두 공간 축과 스펙트럴 축을 포함한다. 도 3b는 분산 스펙트럼 Φi를 나타낸 것으로, 프리즘은 X에 따라 스펙트럴 정보를 이동시킨다. 도 3c는 투영된 분산 ΩΦi를 나타낸 것으로, 분산 스펙트럼은 스펙트럴 축에 따라 적분되고, 카메라 응답 함수를 따를 수 있다. 원본 데이터 큐브의 스펙트럴 정보는 투영된 분산의 에지 주변에 임베드되며, 본 발명에 따른 방법은 분산으로 투영된 정보를 입력으로 사용하고 에지 주변의 분산을 분석함으로써, 원본 스펙트럴 데이터 큐브를 재구성한다.
이하 상기 수학식 1로부터 분산 함수 Φλ(p)를 유도하고, 재구성 방법에 대해 설명한다.
2. 공간적으로 변화하는 분산
도 4는 프리즘 기반 하이퍼스펙트럴 캡쳐 모델의 개략도를 나타낸다.
도 4에 도시된 바와 같이, 프리즘이 없으면 빛의 광선은 장면(scene) 포인트 q에서 방해 받지 않고 이동하며, 카메라 렌즈의 광학 중심 포인트 o를 통해 포인트 pd에서 센서에 도달한다. 프리즘이 렌즈 전면에 놓여지면, q는 o를 통해 투영되는 대신에 si λ 및 so λ 에서 두 번 굴절된 후 센서의 새로운 파장 의존 위치 pλ로 투영된다.
여기서는 렌즈 전면에 위치한 프리즘에 의해 생성된 분산을 모델링하는 분산 함수 Φλ(수학식 1에 기재됨)을 얻는 것이다. 기존의 압축 하이퍼스펙트럴 이미지 생성기는 복잡한 시준 광학을 사용하여 단순 선형 해석으로 분산을 모델링 할 수 있다. 그러나, 본 발명의 컴팩트한 설정에서는 광 시준에 의존하지 않기 때문에 본 발명의 이미징 모델에서의 분산은 공간적으로 변화하고 비선형적이 된다.
Φλ를 유도하기 위해, 본 발명은 2단계 접근 방식을 따른다.
첫째, 각 픽셀의 파장에 따른 굴절 이동을 예측하는 각 파장에 대한 굴절 함수 Ψλ를 생성한다. 즉, 센서에서의 직-광 포인트 pd 와 pλ 사이의 관계를 설명한다. 둘째, 본 발명은 캡쳐된 이미지의 모든 파장에 대한 픽셀 별 대응성을 발견하여 분산 함수 Φλ를 얻는다.
본 발명의 싱글-샷 방식은 프리즘없이 직접 캡쳐 할 필요가 없으므로 pd가 이미지화되지 않는다. 그러나, 본 발명은 본 발명의 유도에서 pd에 의존할 것이고 최종 분산 모델이 생성될 때 이러한 의존성을 없앨 것이다. 깊이 z를 명시적으로 고려하기 위해, 센서의 픽셀 (x, y)이 3D 벡터 [x, y, -f]T으로 표시되도록 3차원 공간 R3의 포인트를 다시 정의한다.
여기서, f는 초점 거리를 의미할 수 있다.
2.1 굴절 모델
본 발명은 먼저 각 픽셀에 대한 굴절 이동 함수 Ψλ를 센서에서의 점 pd와 pλ 사이의 관계로 설명하는 행렬 형태의 굴절 모델 Ψ를 찾고, 이러한 과정을 이용하여 o를 통해 굴절된 광선과 직접 광선을 모두 설명할 수 있다. 본 발명의 굴절 모델은 o를 통해 굴절된 광선과 관련이 있으며, 이는 분산을 설명하기 위해 일반적으로 사용되는 프리즘 모델을 통한 전통적인 광과는 다르다.
굴절된 광선
pλ로부터, 간단한 기하학적 광학으로서의 so λ와 si λ의 교차점을 얻고, 프리즘의 표면에서 스넬의 법칙(Snell's law)을 사용한다. si λ=[sx, sy, sz]T에서 스넬의 법칙을 다시 사용하여 굴절 방향 벡터
Figure PCTKR2018011043-appb-I000001
를 얻는다. 그리고 나면 아래 <수학식 3>과 같이 깊이 z와 파장 λ의 함수로 장면 포인트 q를 공식화 할 수 있다.
[수학식 3]
Figure PCTKR2018011043-appb-I000002
직접 광선 대 굴절된 광선
굴절 변화를 기술하는 함수 Ψλ와 같이 이제 단순한 투시 투영에 의해 포인트 pd와 pλ 사이의 깊이 의존 관계를 아래 <수학식 4>와 같이 공식화 할 수 있다.
[수학식 4]
Figure PCTKR2018011043-appb-I000003
함수 Ψλ는 본 발명의 최종 분산 모델 Φ를 벡터 영역으로 도출 할 수 있게 해줄 것이며, 이는 캡쳐된 이미지의 가시 스펙트럼을 따라 픽셀 당 대응성을 확립하게 해줄 수 있다.
2.2 분산 모델
본 발명은 캡쳐된 이미지의 분산 크기 및 방향 측면(관점)에서 pλref와 pλ 사이의 관계로, 모든 픽셀에 대한 분산 함수 Φλ를 설명하는 행렬 형태의 분산 모델 Φ를 찾는다. 이를 위해, 본 발명은 pd와 캡쳐된 pλ를 연관시키는 굴절 함수 Ψλ를 활용한다.
먼저, 측정을 위해 기준 파장 λref = 550nm를 선택하고, 굴절 함수 Ψλref 를 사용하여 깊이 z의 함수로서 기준 픽셀 pλref에 해당하는 픽셀 pd 즉, pd=Ψλref(z; pλref)를 얻는다.
그런 다음, 다른 모든 목표 파장 λ에 대해 pd에서 pλ로 매핑되는 역 굴절 함수 Ψ- 1 λ(pλ=Ψ-1 λ(z; pd))를 계산한다. 도 5는 상술한 분산 모델에 대한 프로세스를 보여준다.
마지막으로, 분산의 크기와 방향을 인코딩하는 분산 함수 Φλ를 얻음으로써 깊이 z의 함수로서 기준 파장 픽셀 pλref에서의 임의의 픽셀 pλ를 찾을 수 있으며, 아래 <수학식 5>와 같이 나타낼 수 있다.
[수학식 5]
Figure PCTKR2018011043-appb-I000004
2.3 분석
도 6a는 다양한 깊이의 분산 크기에 대한 파장 별 변화의 예를 보여준 것으로, 중심 픽셀에서 p700nm로부터 pλ까지의 변위를 측정한다. 분산의 크기는 깊이 z가 약 350mm에 이르기까지 빠르게 증가된 다음, 약 700mm 이후로는 수렴됨이 확인되었다. 도 6b는 상기 수학식 5를 사용하여 z=700mm에서 이미지 평면을 갖는 모든 센서 픽셀에 대해 공간적으로 변화하는 분산 벡터 필드의 결과를 보여준다. 화살표는 픽셀 당 분산의 주요 방향을 나타내고 색상 코드는 크기를 나타낸다. 프리즘의 두께가 다양하기 때문에 분산이 왼쪽으로 더 두드러진다는 점에 유의해야 한다. Amici 프리즘과 같은 다른 프리즘을 사용하면 상술한 효과 즉, 분산이 왼쪽으로 더 두드러지는 효과를 완화할 수 있다.
실제로, 일반 렌즈가 장착된 DSLR 카메라는 350mm보다 먼 거리의 정보를 캡쳐할 수 있기 때문에 더 먼 거리에서도 깊이 의존성을 제거하는 분산 모델을 단순화 할 수 있다. z=700mm에서 결과 행렬 Φ는 장면(scene)이 z>700mm인 일반적인 상황에 적용될 수 있다. 이는 깊이 추정을 수행할 필요없이 스펙트럼 정보를 재구성 할 수 있기 때문에 중요하다.
3. 스펙트럼 재구성
본 발명의 이미지 형성 모델 및 공간적으로 변화하는 분산 모델이 주어졌으므로, 분산 RGB 이미지 j에서 하이퍼스펙트럴 이미지 i를 재구성하는 방법에 대해 설명한다. 상기 수학식 2의 모든 픽셀에 대한 스펙트럼-RGB 연산자 Ω 및 분산 모델 Φ는 카메라 시스템의 보정에서 얻어질 수 있다.
CASSI 및 CTIS 접근 방식 모두에서 사용된 이전 재구성 방법은 모든 입력 이미지에 존재하는 풍부한 스펙트럴 큐에 의존한다. 코딩된 마스크와 시준을 사용하는 CASSI에서, 분산 패턴은 이미지 구조와 독립적으로 얻어진다. CTIS에서 해상도 저하를 감수하면서 선명한 이미지 외에도 여러 방향으로 여러 분산 이미지가 캡쳐된다.
본 발명은 이러한 시스템들과 달리, DSLR 카메라가 장착된 프리즘만을 사용한다. 결과적으로, 입력이 분산 정보가 겹치는 단일 RGB 이미지이므로 도 7a에 도시된 바와 같이 에지에서만 희소한 스펙트럴 특징이 나타난다.
따라서 본 발명은 컴팩트한 싱글-샷 하이퍼스펙트럴 이미징을 위한 새로운 재구성 프레임 워크를 제공한다. 본 발명의 재구성은 세 가지 주요 단계로 구성된다. 첫째, 에지 복원 단계에서는 입력 분산된 RGB 이미지를 정렬하여 분산이 제거된 또는 분산이 감소된 선명한 에지 정보를 얻는다. 둘째, 추출된 에지에 분산을 사용하여 그래디언트(gradient) 도메인에서의 스펙트럴 정보를 추정한다. 마지막으로, 그래디언트의 희소 스펙트럴 정보를 사용하여 하이퍼스펙트럴 이미지를 복구한다.
3.1 분산으로부터 에지 복원
에지가 분산을 분석하는 주요 소스이기 때문에, 정확한 에지 정보를 복원하는 것이 재구성 알고리즘에서 중요하다. 본 발명은 다음과 같은 볼록(convex) 최적화 문제를 해결함으로써, 공간적으로 정렬된 하이퍼스펙트럴 이미지 ialigned∈RXYΛx1를 입력 분산 RGB 이미지 j에서 추정할 수 있으며, 이는 아래 <수학식 6>과 같이 나타낼 수 있다.
[수학식 6]
Figure PCTKR2018011043-appb-I000005
여기서, ∇xy는 공간 그래디언트 연산자를 의미하고, ∇λ는 스펙트럴 그래디언트 연산자를 의미할 수 있으며, 구체적으로, 첫 번째 항(∇xy)는 이미지 형성 모델의 데이터 잔차를 의미하고, 다른 항(∇λ)는 프라이어(prior)를 의미할 수 있다.
첫 번째 prior는 기존의 전체 변이(total variation, TV) 항으로서, 공간 그래디언트의 희소성과 공간 인공물의 제거를 보장한다. 본 발명의 수정된 크로스 채널 항인 두 번째 prior를 소개하고, 공간 그래디언트의 변화에서 희소성을 추구함으로써 스펙트럴 채널에 걸쳐 에지 오정렬을 제거한다. 종래 일 실시예 기술에서 이전의 교차 채널 prior는 각 색상 채널 쌍에 대한 정규화된 그래디언트 값의 차이를 계산하는 반면, 본 발명은 스펙트럴 신호가 인접 채널에서 국부적으로 부드럽다(smooth) 가정하여 인접한 스펙트럴 채널의 정규화되지 않은 그래디언트 값 간의 차이를 계산한다. 따라서 본 발명의 크로스 채널 prior는 스펙트럴 채널 간의 공간 정렬을 가능하게 한다. 본 발명은 곱셈 연산자의 교차 방향 방법(alternating direction method of multipliers, ADMM)을 이용하여 상기 수학식 6을 해결한다.
공간 정렬 단계는 도 7b에 도시된 바와 같이 에지 분산이 제거된 하이퍼스펙트럴 이미지를 생성한다. 그러나, ialigned에서의 스펙트럴 정보의 정확도는 여전히 불완전하므로 이를 신뢰할 수 없다. 에지의 정확한 위치를 찾기 위해, ialigned에서의 정렬된 스펙트럴 채널에 에지 검출 알고리즘을 직접 적용하는 대신, 카메라 응답 함수 Ωialigned를 통해 정렬된 스펙트럴 이미지 ialigned를 먼저 RGB 채널에 투영한 다음, 멀티-스케일 에지 검출기를 적용한다. 이렇게 하면 도 7 c에 도시된 바와 같이 보다 강력한 에지 검출 결과를 얻을 수 있다. 이 추출된 에지 정보는 다음 단계에서의 에지 상의 분산으로부터 스펙트럴 정보를 재구성하는 데 사용된다.
3.2 스펙트럴 정보 재구성
스펙트럴 재구성 알고리즘의 주된 통찰력은 도 8a에 도시된 바와 같이, 스펙트럴 정보가 공간적 흐림과 관련되어 있기 때문에 에지를 통한 분산이 스펙트럴 재구성의 큐로서 사용될 수 있다는 관찰에 기반을 두고 있다. 특히, 본 발명은 완전한 하이퍼스펙트럴 이미지를 재구성하기 위해 에지 주변의 분산된 영역의 공간 그래디언트를 설명한다. 코딩된 마스크에 의해 제공되는 풍부한 픽셀 별 스펙트럴 정보와는 대조적으로, 중첩된 스펙트럴 정보를 입력으로 하는 분산된 이미지를 가지는 상기 수학식 6의 ||ΩΦi-j||2 2 데이터 항은 실제 스펙트럴 강도를 재구성하기에 불충분하다. 본 발명의 공간적으로 변화하는 분산 모델 Φ는 스펙트럴 정보와 분산된 공간 정보 사이의 관계를 기술하기 때문에, 본 발명은 분산된 이미지의 공간적 그래디언트를 입력으로 활용하여 에지 주변의 스펙트럴 강도를 재구성 할 수 있다.
도 8은 이에 대한 일 예를 보여준다. 왼쪽 열은 픽셀 강도(a), 수평 그래디언트(b) 및 하이퍼스펙트럴 표현(c)을 분산없이 이미지의 행에 표시한다(주황색 선). 오른쪽 열은 프리즘을 통해 분산되는 동일한 정보를 나타낸다. 분산이 제거된(without dispersion) 이미지의 스펙트럴 정보는 RGB 값으로 직접 투영되므로 주어진 입력에서 메타메리스틱(metameristic) 스펙트럴을 추적 할 수 없다. 그러나, 분산된 이미지에서, 스펙트럴 정보가 흐려지게 나타나더라도, 그 공간 그래디언트는 에지를 따른 스펙트럴 파워 분포에 대한 정보를 나타낸다. 오른쪽 열의 하이퍼스펙트럴 표현 (c)에서 보듯이, 분산 때문에 서로 다른 크기와 방향으로 다른 파장이 전단(sheared)된다. 이러한 분산된 스펙트럴의 파장 축을 따른 RGB 값으로의 한계 투영은 여전히 스펙트럴 재구성을 위한 큐를 남긴다.
본 발명은 강도 도메인보다는 그래디언트 도메인에서 스펙트럴 큐를 명확하게 볼 수 있다. 픽셀의 각 그래디언트 프로파일은 본 발명의 모델 Φ에 의해 예측된 분산에 따라 특정 스펙트럴 채널의 그래디언트 정보를 포함한다. 이것은 본 발명의 공간 그래디언트 영역에서 재구성 문제를 공식화하도록 동기를 부여할 수 있다.
그래디언트 기반 재구성
우선, 캡쳐된 이미지 ∇xyj의 공간 그래디언트에 가까운 공간 그래디언트 gxy를 구함으로써, 그래디언트 재구성 문제를 아래 <수학식 7>과 같이 공식화하여 각 파장에 대한 공간 그래디언트 g~ xy의 스택(stack)을 추정한다.
[수학식 7]
Figure PCTKR2018011043-appb-I000006
여기서, 첫 번째 항은 그래디언트 영역에서의 이미지 형성 모델을 설명하는 데이터 항이다. 다음 두 항는 그래디언트에 대한 프라이어 항이다. 첫 번째 prior 항은 공간 정렬 단계에서 사용된 그래디언트의 스펙트럴 희소성과 동등하며, 스펙트럴 차원을 따라 그래디언트의 희소한 변경을 시행한다. 두 번째 prior항은 공간 도메인에서 그래디언트의 매끄러운 변화를 부과하여 인공물을 감소시킨다.
스펙트럴 특징이 에지들에 걸쳐 존재한다고 가정하면, 상기 수학식 7의 최적화를 위한 에지 픽셀을 고려한다. 도 9a는 수평 그래디언트 이미지를 도시하는데, 이 이미지는 에지들에 걸친 분산으로부터 추출된 550nm의 파장에 대해 추정된 것이다.
스펙트럴 이미지 재구성
분산으로부터 각 파장에 대한 공간 그래디언트 g~ xy의 스택을 얻은 후, 이 그래디언트 정보를 강력한 큐로 하여 하이퍼스펙트럴 이미지 iopt를 재구성한다. 하이퍼스펙트럴 강도에 대한 어떠한 정보도 없기 때문에, 경계 조건을 가지는 Poisson 재구성을 직접 적용할 수는 없다. 대신, g~ xy로부터 iopt를 추정하기 위해 아래 <수학식 8>고 같이 최적화 문제를 공식화할 수 있다.
[수학식 8]
Figure PCTKR2018011043-appb-I000007
여기서, △λ는 스펙트럴 축을 따른 스펙트럴 이미지 i에 대한 라플라스 연산자를 의미하고, Wxy는 이전 단계에서 추정된 그래디언트의 신뢰 수준을 결정하는 요소 별 가중치 행렬을 의미할 수 있다.
스펙트럴 큐의 방향 종속성을 고려하기 위해, 추출된 에지 정보와 분산 방향 n = [nx, ny]를 기반으로 신뢰 매트릭스 Wxy를 구축한다. 에지가 아닌 픽셀의 경우, 그래디언트 값 0에 대해 높은 신뢰도를 할당한다. 에지 픽셀의 경우, 수평 및 수직 구성 요소 각각에 대해 서로 다른 신뢰 수준을 할당하여 분산 방향과 유사한 그래디언트 방향이 높은 신뢰도 값을 갖도록 한다. 특히, 신뢰도 값 Wk ∈ {x, y} (p, λ)는 파장 λ에서의 픽셀 p의 수평 및 수직 그래디언트 성분에 대한 행렬 Wxy의 원소이며, 아래 <수학식 9>와 같이 나타낼 수 있다.
[수학식 9]
Figure PCTKR2018011043-appb-I000008
여기서, ||는 절대 값을 의미할 수 있다.
첫 번째 데이터 항은 이미지 형성 모델에서 오류를 최소화하고, 두 번째 데이터 항은 이전 단계로부터의 그래디언트 ∇xyi 및 그래디언트 g~ xy 사이의 차이를 최소화한다. 상기 수학식 8의 prior 항은 스펙트럴 곡률 평활도 ||△λi||2 2를 선호한다. 본 발명은 파장 축을 따라 어떤 스펙트럴 그래디언트도 최적화하지 않는 대신, 서로 다른 파장에 따른 곡률 평탄(smoothness)을 고려하여 스펙트럴 추정의 안정성을 향상시킨다. 상기 수학식 8은 l2-norm 항만으로 구성되어 있기 때문에, 공액구배법(conjugate gradient method)을 사용하여 이를 해결할 수 있다.
상세하게 가이딩되는 필터링
상기 수학식 8의 해는 높은 스펙트럴 정확도를 산출하지만, 도 9b에 도시된 바와 같이 평탄한 표면에 대한 그래디언트 정보의 부족은 공간 세부 정보의 손실을 초래할 수 있다. 이러한 세부 정보를 복원하기 위해, 세부적인 향상을 위한 가이딩된 이미지 필터를 적용할 수 있다. 이를 통해 각 재구성된 하이퍼스펙트럴 채널에 정렬된 이미지 Ωialigned의 구조적 세부 사항을 향상시켜 세부적인 하이퍼스펙트럴 채널을 만들 수 있다. 이러한 방법은 도 9c에 도시된 바와 같이 높은 스펙트럴 및 공간 정확도를 가진 최종 재구성된 이미지 ifin로 이어질 수 있다.
4. 보정(calibration)
분산으로부터 스펙트럴 정보를 재구성하려면 카메라의 고유한 파라미터 즉, 방사 측정 응답 함수 Ω(스펙트럼 대 RGB 연산자) 및 프리즘의 공간적으로 변화하는 분산 행렬 Φ이 필요하다. 본 발명은 Zhang의 방법(A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence 22, 11 (2000), 1330-1334.)을 사용하여 초점 길이 f, 광학 중심 o 및 왜곡 계수를 포함하는 카메라의 고유 특성을 보정한다. Ω 및 Φ를 보정하는 방법에 대해 설명하면 다음과 같다.
4.1 카메라의 방사 응답
카메라 RGB 채널의 스펙트럴 응답 기능을 보정하기 위해, 고체-플라즈마 광을 가지는 표준 반사 타일(Spectralon)을 방사한다. 각 파장 R(λ)의 반사된 에너지는 분광방사계측기(spectroradiometer)에 의해 400nm 내지 700nm에서 10nm 간격으로 측정된다. 동시에, 50mm 렌즈가 장착된 DSLR 카메라(예를 들어, Canon EOS 5D Mark III)를 사용하여 전자 밴드 패스 필터(예를 들어, VariSpec VIS LCTF)로 필터링된 밴드 별 스펙트럴 이미지를 캡쳐한다. 이 때, 노출의 부족 또는 과다를 방지하기 위해 5개의 다른 노출을 가진 미가공 이미지를 캡쳐할 수 있다. 결과적으로, 도 10에 도시된 일 예와 같이, 행렬 형태의 삼색성 응답 함수 Ω∈R3xΛ로서 각 대역에 대한 카메라의 스펙트럴 응답을 얻는다. 물론, 보정 장비가 없는 경우 다른 DSLR 카메라의 스펙트럴 감도 기능에 대해 공개적으로 사용 가능한 데이터 세트를 대신 사용할 수 있다.
4.2 공간적으로 변화하는 프리즘의 분산
이 보정은 상술한 이미지 형성 모델을 기반으로 하며, 3단계로 구성된다.
(a) 카메라와 관련하여 프리즘의 외적 위치와 배향을 얻고, (b) 굴절 모델 Ψ을 획득하며, (c) 분산 모델 Φ를 얻는다.
셋업
도 11a는 본 발명의 보정에 대한 셋업을 보여준다. 본 발명은 파장 별 분산을 분리하기 위해 프리즘과 체커 보드(checkerboard)의 표적 사이에 대역 통과 필터를 삽입한다. 본 발명은 450nm에서 650nm까지 50nm 간격으로 5개의 10nm 밴드 패스 필터를 사용한다. 파장 λ의 각 포착된 스펙트럴 이미지에 대하여, 도 11b에 도시된 바와 같이 체커 보드에서 코너 픽셀의 이동된 위치 pλ와 알려진 거리 z에서 프리즘 없이 대응하는 직접 광선(직광)의 위치 pd를 얻는다.
카메라 보정 방법은 고유한 카메라 행렬뿐만 아니라 코너에 존재하는 특징점의 3차원 좌표도 산출한다. 마지막으로, 프리즘 보정을 위해 각 체커보드 코너의 위치 pλ, pd 및 깊이 z를 사용한다.
프리즘 파라미터
본 발명은 빛을 분산시키기 위해 30-60-90° 각도의 N-BK7로 만든 Edmund Littrow 분산 프리즘을 사용할 수 있다.
도 12는 파장 별 투과율과 굴절률을 보여준다. 이러한 고유 파라미터 외에도 외부 파라미터(위치 및 방향)를 상기 수학식 3의 sx, sy, sz, vx, vy 및 vz 파라미터를 포함하는 6차원 벡터 ξ로 정의할 수 있다. 따라서, 상기 수학식 4의 굴절 함수를 pd=Ψλ(pλ,z;ξ)로 다시 쓸 수 있다. 굴절 함수 Ψλ와 캡쳐된 위치 pλ, pd 및 깊이 z를 사용하면 다음 목적 함수의 비선형 최적화에 의해 ξ를 추정할 수 있으며, 아래 수학식 10과 같이 나타낼 수 있다.
[수학식 10]
Figure PCTKR2018011043-appb-I000009
여기서, Γ는 실험에서 보정에 사용된 파장(450nm, 500nm, 550nm, 600nm 및 650nm)의 부분 집합이며, Πλ는 깊이 z에서 대응 쌍 pλ와 pd의 집합을 의미할 수 있다. 이것은 매우 정확한 프리즘 파라미터를 산출할 수 있다. pλ에서 pd로의 평균 재 투영 오차는 본 발명에서 ~0.51 픽셀이다.
굴절 모델
프리즘 파라미터 ξ와 굴절 함수 Ψλ를 알게되면, 굴절된 픽셀 pλ와 그에 해당하는 직접 광선 픽셀 pd 사이의 픽셀 별 관계를 설명하는 행렬 형태의 파장 당 굴절 모델 Ψ를 생성할 수 있다. 굴절 모델 Ψ를 사용하면 모든 픽셀에 대해 분산 모델 Φ를 계산할 수 있을 뿐만 아니라 도 13c에 도시된 바와 같이 굴절로 인한 기하학적 왜곡을 보정할 수 있다. 도 13a는 프리즘없이 캡쳐된 체커 보드를 보여준다. 카메라 전면에 프리즘이 설치되면, 프리즘을 통한 굴절은 도 13b와 같이 분산뿐만 아니라 기하학적 왜곡을 가져온다. 굴절 모델 Ψ를 사용하여 이 기하학적 왜곡을 보정할 수 있다. 굴절 모델 Ψ는 캡쳐되고 굴절된 이미지를 직접 광선 이미지(프리즘없이)로 왜곡한다. 역 텍스처 매핑과 유사한 홀을 피하기 위해 굴절 모델의 역 매핑을 사용한다.
분산 모델
굴절 함수 Ψλ를 사용하여 분산 함수 Φλ를 정의한다. 따라서, 본 발명은 굴절 모델 Ψ를 얻으면 모든 픽셀에 대해 분산 모델 Φ를 계산할 수 있다. 본 발명은 픽셀 pλref를 굴절 모델 Ψ를 통해 픽셀 pd로 워핑(warp)한 다음, 역 모델 Ψ- 1를 통해 픽셀 pd를 픽셀 pλ로 워핑한다. 분산 모델 Φ는 픽셀 pλref를 픽셀 pλ와 관련시킨다.
이와 같이, 본 발명에 따른 방법은 기존의 카메라와 프리즘만을 이용하여 초분광 영상을 재구성할 수 있고, 휴대성이 높으면서 작은 비용으로 초분광 영상 재구성 시스템을 구성할 수 있다.
또한, 본 발명은 카메라에서 프리즘을 통하여 들어오는 빛의 경로를 자세하게 분석한 후 촬영된 사진에 찍힌 분광된 정보를 통해 초분광 정보를 추정함으로써, 코딩된 조리개나 복잡한 시준 광학 장치 없이 프리즘과 카메라만으로 초분광 영상을 재구성할 수 있다.
또한, 본 발명은 싱글-샷의 연속적인 분산으로 이미지를 포착하므로, 공간 분해능을 심각하게 희생시키지 않으면서 스펙트럴 해상도를 높일 수 있다.
또한, 본 발명에 따른 방법은 코딩된 조리개를 포함하지 않고 카메라와 프리즘만을 이용하여 초분광 영상을 재구성할 수 있기 때문에 시스템 구성 비용을 낮출 수 있다.
나아가, 본 발명의 실시예들에 따른 방법은 직접 광선과 프리즘의 굴절 간의 관계에 대한 굴절 함수를 생성하고, 생성된 굴절 함수에 기초하여 프리즘에 의해 생성된 분산에 대한 분산 모델을 생성한 후 생성된 분산 모델에 기초하여 캡쳐된 이미지에 대응하는 초분광 영상을 재구성할 수도 있다. 물론, 직접 광선과 프리즘의 굴절 간의 관계에 대한 굴절 함수를 이용하여 초분광 영상을 재구성하는 방법은 코딩된 조리개의 포함 여부와 관계없이 적용될 수 있다.
이러한 본 발명에 따른 방법은 장치 또는 시스템으로 구성될 수 있으며, 구성되는 장치 또는 시스템은 상술한 본 발명에 따른 방법의 모든 기능을 포함할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매질 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매질에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매질에 기록될 수 있다. 상기 컴퓨터 판독 가능 매질은 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매질에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매질의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매질(magnetic media), CD-ROM, DVD와 같은 광기록 매질(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매질(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (24)

  1. 코딩된 조리개(coded aperture)를 포함하지 않는 카메라에 포함된 프리즘에 의해 생성된 분산에 대한 분산 모델을 획득하는 단계; 및
    상기 분산 모델에 기초하여 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 단계
    를 포함하는 초분광 영상 재구성 방법.
  2. 제1항에 있어서,
    입력 분산된 상기 캡쳐된 이미지를 정렬하여 분산이 제거된 에지 정보를 획득하는 단계; 및
    상기 획득된 에지 정보와 상기 분산 모델에 기초하여 스펙트럴 정보를 추정하는 단계
    를 더 포함하고,
    상기 초분광 영상을 재구성하는 단계는
    상기 추정된 스펙트럴 정보에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  3. 제2항에 있어서,
    상기 분산 모델을 획득하는 단계는
    각 픽셀의 파장에 따른 굴절 이동을 예측하는 상기 각 파장에 대한 굴절 함수를 생성하는 단계; 및
    상기 생성된 굴절 함수에 기초하여 상기 캡쳐된 이미지의 분산 크기 및 방향에 대한 상기 분산 모델을 획득하는 단계
    를 포함하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  4. 제3항에 있어서,
    상기 굴절 함수를 생성하는 단계는
    각 픽셀에 대해, 직접 광선에 의해 카메라의 센서에 도달하는 제1 위치와 상기 프리즘의 굴절에 의해 상기 센서에 투영되는 제2 위치의 관계를 설명하는 상기 굴절 함수를 생성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  5. 제4항에 있어서,
    상기 분산 모델을 획득하는 단계는
    기준 파장을 선택하고, 상기 굴절 함수를 이용하여 상기 기준 파장에 대응하여 상기 센서에 투영되는 기준 위치와 깊이에 대응하는 상기 제1 위치를 획득하는 단계;
    미리 설정된 파장들에 대해, 상기 제1 위치에서 상기 제2 위치로 매핑되는 역 굴절 함수를 계산하는 단계; 및
    상기 기준 위치와 깊이에 대응하는 상기 제1 위치와 상기 역 굴절 함수를 이용하여 상기 캡쳐된 이미지의 분산 크기 및 방향을 인코딩하는 상기 분산 모델을 획득하는 단계
    를 포함하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  6. 제2항에 있어서,
    상기 카메라의 방사 응답과 상기 분산 모델을 보정하는 단계
    를 더 포함하고,
    상기 초분광 영상을 재구성하는 단계는
    상기 보정된 방사 응답과 분산 모델에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  7. 제2항에 있어서,
    상기 에지 정보를 획득하는 단계는
    상기 캡쳐된 이미지에서 인접한 스펙트럴 채널의 정규화되지 않은 그래디언트 값 간의 차이를 계산하여 스펙트럴 채널 간의 공간 정렬을 수행하고, 상기 카메라의 응답 함수를 통해 정렬된 스펙트럴 이미지를 RGB 채널에 투영한 후 에지 검출기를 이용하여 상기 에지 정보를 획득하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  8. 코딩된 조리개(coded aperture)를 포함하지 않는 카메라에 포함된 프리즘를 통해 입력 분산된 캡쳐된 이미지를 정렬하여 분산이 제거된 에지 정보를 획득하는 단계;
    상기 획득된 에지 정보와 상기 프리즘에 의해 생성된 분산에 대한 분산 모델에 기초하여 스펙트럴 정보를 추정하는 단계; 및
    상기 추정된 스펙트럴 정보에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 단계
    를 포함하는 초분광 영상 재구성 방법.
  9. 제8항에 있어서,
    상기 캡쳐된 이미지는
    상기 코딩된 조리개(coded aperture)를 통과하지 않고 캡쳐되는 이미지인 것을 특징으로 하는 초분광 영상 재구성 방법.
  10. 코딩된 조리개(coded aperture)를 포함하지 않는 카메라에 포함된 프리즘에 의해 생성된 분산에 대한 분산 모델을 획득하는 제1 획득부; 및
    상기 분산 모델에 기초하여 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 재구성부
    를 포함하는 카메라 장치.
  11. 제10항에 있어서,
    입력 분산된 상기 캡쳐된 이미지를 정렬하여 분산이 제거된 에지 정보를 획득하는 제2 획득부; 및
    상기 획득된 에지 정보와 상기 분산 모델에 기초하여 스펙트럴 정보를 추정하는 추정부
    를 더 포함하고,
    상기 재구성부는
    상기 추정된 스펙트럴 정보에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 것을 특징으로 하는 카메라 장치.
  12. 제11항에 있어서,
    상기 제1 획득부는
    각 픽셀의 파장에 따른 굴절 이동을 예측하는 상기 각 파장에 대한 굴절 함수를 생성하고, 상기 생성된 굴절 함수에 기초하여 상기 캡쳐된 이미지의 분산 크기 및 방향에 대한 상기 분산 모델을 획득하는 것을 특징으로 하는 카메라 장치.
  13. 제12항에 있어서,
    상기 제1 획득부는
    각 픽셀에 대해, 직접 광선에 의해 카메라의 센서에 도달하는 제1 위치와 상기 프리즘의 굴절에 의해 상기 센서에 투영되는 제2 위치의 관계를 설명하는 상기 굴절 함수를 생성하는 것을 특징으로 하는 카메라 장치.
  14. 제13항에 있어서,
    상기 제1 획득부는
    기준 파장을 선택하고, 상기 굴절 함수를 이용하여 상기 기준 파장에 대응하여 상기 센서에 투영되는 기준 위치와 깊이에 대응하는 상기 제1 위치를 획득하며, 미리 설정된 파장들에 대해, 상기 제1 위치에서 상기 제2 위치로 매핑되는 역 굴절 함수를 계산하고, 상기 기준 위치와 깊이에 대응하는 상기 제1 위치와 상기 역 굴절 함수를 이용하여 상기 캡쳐된 이미지의 분산 크기 및 방향을 인코딩하는 상기 분산 모델을 획득하는 것을 특징으로 하는 카메라 장치.
  15. 제11항에 있어서,
    상기 카메라의 방사 응답과 상기 분산 모델을 보정하는 보정부
    를 더 포함하고,
    상기 재구성부는
    상기 보정된 방사 응답과 분산 모델에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 것을 특징으로 하는 카메라 장치.
  16. 제11항에 있어서,
    상기 제2 획득부는
    상기 캡쳐된 이미지에서 인접한 스펙트럴 채널의 정규화되지 않은 그래디언트 값 간의 차이를 계산하여 스펙트럴 채널 간의 공간 정렬을 수행하고, 상기 카메라의 응답 함수를 통해 정렬된 스펙트럴 이미지를 RGB 채널에 투영한 후 에지 검출기를 이용하여 상기 에지 정보를 획득하는 것을 특징으로 하는 카메라 장치.
  17. 카메라에 포함된 프리즘; 및
    카메라 장치
    를 포함하고,
    상기 카메라 장치는
    코딩된 조리개(coded aperture)를 포함하지 않고 상기 프리즘에 의해 생성된 분산에 대한 분산 모델을 획득하며,
    상기 분산 모델에 기초하여 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 초분광 영상 재구성 시스템.
  18. 제17항에 있어서,
    상기 카메라 장치는
    입력 분산된 상기 캡쳐된 이미지를 정렬하여 분산이 제거된 에지 정보를 획득하고,
    상기 획득된 에지 정보와 상기 분산 모델에 기초하여 스펙트럴 정보를 추정하며,
    상기 추정된 스펙트럴 정보에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
  19. 제18항에 있어서,
    상기 카메라 장치는
    각 픽셀의 파장에 따른 굴절 이동을 예측하는 상기 각 파장에 대한 굴절 함수를 생성하고, 상기 생성된 굴절 함수에 기초하여 상기 캡쳐된 이미지의 분산 크기 및 방향에 대한 상기 분산 모델을 획득하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
  20. 제19항에 있어서,
    상기 카메라 장치는
    각 픽셀에 대해, 직접 광선에 의해 카메라의 센서에 도달하는 제1 위치와 상기 프리즘의 굴절에 의해 상기 센서에 투영되는 제2 위치의 관계를 설명하는 상기 굴절 함수를 생성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
  21. 제20항에 있어서,
    상기 카메라 장치는
    기준 파장을 선택하고, 상기 굴절 함수를 이용하여 상기 기준 파장에 대응하여 상기 센서에 투영되는 기준 위치와 깊이에 대응하는 상기 제1 위치를 획득하며,
    미리 설정된 파장들에 대해, 상기 제1 위치에서 상기 제2 위치로 매핑되는 역 굴절 함수를 계산하고,
    상기 기준 위치와 깊이에 대응하는 상기 제1 위치와 상기 역 굴절 함수를 이용하여 상기 캡쳐된 이미지의 분산 크기 및 방향을 인코딩하는 상기 분산 모델을 획득하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
  22. 제18항에 있어서,
    상기 카메라 장치는
    상기 카메라의 방사 응답과 상기 분산 모델을 보정하고, 상기 보정된 방사 응답과 분산 모델에 기초하여 상기 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
  23. 제18항에 있어서,
    상기 카메라 장치는
    상기 캡쳐된 이미지에서 인접한 스펙트럴 채널의 정규화되지 않은 그래디언트 값 간의 차이를 계산하여 스펙트럴 채널 간의 공간 정렬을 수행하고, 상기 카메라의 응답 함수를 통해 정렬된 스펙트럴 이미지를 RGB 채널에 투영한 후 에지 검출기를 이용하여 상기 에지 정보를 획득하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
  24. 카메라에 포함된 프리즘에 의해 생성된 분산에 대한 분산 모델을 직접 광선과 상기 프리즘의 굴절 간의 관계에 대한 굴절 함수에 기초하여 획득하는 단계; 및
    상기 분산 모델에 기초하여 캡쳐된 이미지에 대응하는 초분광 영상을 재구성하는 단계
    를 포함하는 초분광 영상 재구성 방법.
PCT/KR2018/011043 2017-09-25 2018-09-19 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템 WO2019059632A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20170123471 2017-09-25
KR10-2017-0123471 2017-09-25
KR1020180031807A KR20190035462A (ko) 2017-09-25 2018-03-20 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
KR10-2018-0031807 2018-03-20
KR10-2018-0077646 2018-07-04
KR1020180077646A KR102139858B1 (ko) 2017-09-25 2018-07-04 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2019059632A1 true WO2019059632A1 (ko) 2019-03-28

Family

ID=63683071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/011043 WO2019059632A1 (ko) 2017-09-25 2018-09-19 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템

Country Status (3)

Country Link
US (1) US10891721B2 (ko)
EP (1) EP3460427B1 (ko)
WO (1) WO2019059632A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110462679B (zh) * 2017-05-19 2022-12-09 上海科技大学 快速多光谱光场成像方法和系统
CN110332991B (zh) * 2019-05-22 2021-07-06 合刃科技（深圳）有限公司 一种光谱的重构方法、装置和电子设备
CN111368940A (zh) * 2020-03-25 2020-07-03 西北工业大学 一种基于引导滤波与核极限学习机的高光谱图像分类方法
KR20220114292A (ko) 2021-02-08 2022-08-17 한국전자통신연구원 초분광 이미징 공간 분해능 향상이 가능한 광학 시스템 및 이를 이용한 광정렬 방법
CN112950736B (zh) * 2021-03-05 2024-04-09 南京大学 一种基于无监督网络解色散模糊的高光谱成像方法
CN113269684B (zh) * 2021-04-25 2022-07-26 中南大学 基于单张rgb图像和非监督学习的高光谱图像复原方法
KR20220159829A (ko) 2021-05-26 2022-12-05 삼성전자주식회사 넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166373A (en) * 1998-07-21 2000-12-26 The Institute For Technology Development Focal plane scanner with reciprocating spatial window
US20100185067A1 (en) * 2005-09-26 2010-07-22 U.S. Government As Represented By The Secretary Of The Army Noninvasive detection of elements and/or chemicals in biological matter
KR20150136977A (ko) * 2014-05-28 2015-12-08 한국과학기술원 초분광 이미징 시스템
JP2016090291A (ja) * 2014-10-31 2016-05-23 パナソニックＩｐマネジメント株式会社 撮像装置、分光システム、および分光方法
KR20170029823A (ko) * 2015-09-08 2017-03-16 영남대학교 산학협력단 초분광 영상의 스펙트럼 정규화 장치 및 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030133109A1 (en) * 2002-01-17 2003-07-17 Murguia James E. Real time LASER and LED detection system using a hyperspectral imager
US7583419B2 (en) * 2003-01-09 2009-09-01 Larry Kleiman System for capturing graphical images using hyperspectral illumination
GB0504520D0 (en) * 2005-03-04 2005-04-13 Chrometrics Ltd Reflectance spectra estimation and colour space conversion using reference reflectance spectra
WO2008012812A2 (en) * 2006-07-24 2008-01-31 Hyspec Imaging Ltd. Snapshot spectral imaging systems and methods
GB2472059B (en) * 2009-07-23 2012-09-19 Univ Loughborough Apparatus for the absolute measurement of two dimensional optical path distributions using interferometry
US20110176029A1 (en) * 2010-01-15 2011-07-21 Kenneth Wayne Boydston Multispectral and Colorimetric Imaging System
WO2011097508A2 (en) * 2010-02-04 2011-08-11 University Of Southern California Combined spectral and polarimetry imaging and diagnostics
WO2012079074A1 (en) * 2010-12-11 2012-06-14 George Jonathan K Synthetic focal plane imager
US9013691B2 (en) * 2012-01-29 2015-04-21 Ramot At Tel-Aviv University Snapshot spectral imaging based on digital cameras
WO2014083489A1 (en) * 2012-11-28 2014-06-05 Corephotonics Ltd. High-resolution thin multi-aperture imaging systems
EP2957925B1 (en) * 2013-02-12 2016-11-23 National University Corporation Kobe University Scattering tomography method and scattering tomography device
WO2014203151A1 (en) * 2013-06-18 2014-12-24 Ramot At Tel-Aviv University Ltd. Apparatus and method for snapshot spectral imaging
WO2015136936A1 (ja) * 2014-03-12 2015-09-17 国立大学法人神戸大学 散乱トモグラフィ方法および散乱トモグラフィ装置
CN106456094B (zh) * 2014-06-04 2020-03-24 皇家飞利浦有限公司 用于生成对象的图像的成像系统
US9426383B1 (en) * 2014-06-20 2016-08-23 Amazon Technologies, Inc. Digital camera for capturing spectral and spatial information
JPWO2015199067A1 (ja) * 2014-06-24 2017-06-15 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
US10458905B2 (en) * 2014-07-07 2019-10-29 Rebellion Photonics, Inc. Gas leak emission quantification with a gas cloud imager
CN113256730B (zh) * 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
MY195255A (en) * 2016-06-30 2023-01-11 Sicpa Holding Sa Systems and Methods for Imaging an Object and Generating a Measure of Authenticity of The Object
US10365157B2 (en) * 2016-12-05 2019-07-30 Abl Ip Holding Llc Lighting device incorporating a hyperspectral imager as a reconfigurable sensing element
US10931895B2 (en) * 2016-12-22 2021-02-23 Nec Corporation Image processing method, image processing device, and storage medium
US10638062B1 (en) * 2018-11-29 2020-04-28 Shimadzu Corporation Spectrally-resolved three-dimensional shape measurement device and spectrally-resolved three-dimensional shape measurement method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166373A (en) * 1998-07-21 2000-12-26 The Institute For Technology Development Focal plane scanner with reciprocating spatial window
US20100185067A1 (en) * 2005-09-26 2010-07-22 U.S. Government As Represented By The Secretary Of The Army Noninvasive detection of elements and/or chemicals in biological matter
KR20150136977A (ko) * 2014-05-28 2015-12-08 한국과학기술원 초분광 이미징 시스템
JP2016090291A (ja) * 2014-10-31 2016-05-23 パナソニックＩｐマネジメント株式会社 撮像装置、分光システム、および分光方法
KR20170029823A (ko) * 2015-09-08 2017-03-16 영남대학교 산학협력단 초분광 영상의 스펙트럼 정규화 장치 및 방법

Also Published As

Publication number Publication date
EP3460427A1 (en) 2019-03-27
US10891721B2 (en) 2021-01-12
EP3460427B1 (en) 2020-06-03
US20190096044A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
WO2019059632A1 (ko) 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
KR102139858B1 (ko) 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
Ng et al. Using geometry invariants for camera response function estimation
Rabatel et al. Getting NDVI spectral bands from a single standard RGB digital camera: a methodological approach
US10165263B2 (en) Point spread function estimation of optics blur
Banić et al. Improving the white patch method by subsampling
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
US8810658B2 (en) Estimating a visible vector representation for pixels in an infrared image
US10641658B1 (en) Method and system for hyperspectral light field imaging
US10891756B2 (en) Image processing device, chart for calibration, and calibration system
CN111386549A (zh) 一种混合型高光谱图像重构的方法及系统
CN108259865A (zh) 一种基于单像素探测器的彩色成像方法和系统
KR101632067B1 (ko) 초분광 이미징 시스템
Holloway et al. Generalized assorted camera arrays: Robust cross-channel registration and applications
WO2020091347A1 (ko) 3차원 깊이 측정 장치 및 방법
CN114485953A (zh) 温度测量方法、装置及系统
WO2020159223A1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
Hidaka et al. Spectral reflectance estimation using projector with unknown spectral power distribution
WO2023125329A1 (zh) 活体指纹识别系统及其活体识别方法
KR102078877B1 (ko) 트리오 영상장치를 통한 태양광 모듈 열화상 촬영 시스템
KR101630856B1 (ko) 다분광 포토메트릭 스테레오 시스템 그리고 이의 동작 방법
Müller-Rowold et al. Hyperspectral panoramic imaging
RU2764838C1 (ru) Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов
WO2020149527A1 (en) Apparatus and method for encoding in structured depth camera system
RU2692970C2 (ru) Способ калибровки видеодатчиков многоспектральной системы технического зрения

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18859144

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18859144

Country of ref document: EP

Kind code of ref document: A1