WO2020159223A1 - 렌즈리스 초분광 영상 이미징 방법 및 그 장치 - Google Patents

렌즈리스 초분광 영상 이미징 방법 및 그 장치 Download PDF

Info

Publication number
WO2020159223A1
WO2020159223A1 PCT/KR2020/001346 KR2020001346W WO2020159223A1 WO 2020159223 A1 WO2020159223 A1 WO 2020159223A1 KR 2020001346 W KR2020001346 W KR 2020001346W WO 2020159223 A1 WO2020159223 A1 WO 2020159223A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
hyperspectral
hyperspectral image
spectral
reconstructing
Prior art date
Application number
PCT/KR2020/001346
Other languages
English (en)
French (fr)
Inventor
김민혁
전석준
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190071347A external-priority patent/KR20200094058A/ko
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to FIEP20748181.3T priority Critical patent/FI3832359T3/fi
Priority to EP20748181.3A priority patent/EP3832359B1/en
Priority to US17/272,542 priority patent/US20210350590A1/en
Publication of WO2020159223A1 publication Critical patent/WO2020159223A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Definitions

  • the present invention relates to a hyperspectral imaging technology, and in detail, a picture taken through a diffractive optical element (DOE) is a point spread function (PSF) according to a spectrum of light reflected by an object.
  • DOE diffractive optical element
  • PSF point spread function
  • the present invention relates to a hyperspectral imaging method and apparatus capable of acquiring hyperspectral information by analyzing a point distribution function for each region of an image, for example, a spectral region for each wavelength, by reversely using a phenomenon in which the shape of the image changes.
  • Hyperspectral imaging has been used in various sensing applications such as biomedical inspection, material classification, material appearance acquisition, digital heritage preservation, and forensic science. Based on geometric optics, various hyperspectral imaging systems have been developed for snapshots of dynamic objects, and various optical elements, e.g., dispersive optical elements (e.g., prism or diffraction), resulting in an excessively large form factor. Grid), coded aperture mask, multiple relay lenses, and object imaging system.
  • dispersive optical elements e.g., prism or diffraction
  • spectral scanning Over the past decade, hyperspectral images have been studied extensively to enable physically meaningful images beyond human vision.
  • Conventional methods can be classified into three types: spectral scanning, computed tomography images, and snapshot compressed images.
  • Scanning-based approaches based on dispersive optical elements such as prisms or diffraction gratings can capture light of each wavelength through a slit called so-called whiskbroom or pushhbroom scanner. Scanning yields high spatial and spectral resolution, but target objects are limited to static objects or remote scenes.
  • Computed tomography imaging spectrometry was introduced to alleviate the limitations of the scanning method, which uses a diffraction grating with imaging and relay lenses.
  • the diffraction grating splits the collimated incident light into different diffraction patterns in different directions at the expense of the spatial resolution of computed tomography.
  • Coded aperture snapshot spectral imaging was introduced to capture dynamic objects.
  • the distributed optical element is coupled with a coded aperture through a relay lens to encode a spectral or spatial spectral signal.
  • the compressed input is then reconstructed.
  • Both of these types of snapshot spectral images require some geometric optical elements to collimate and disperse the light (or modulate the light in the case of CASSI), which makes them bulky and actually unwieldy.
  • a compact spectral imaging method for improving mobility has been introduced in the prior art of an embodiment, but since this method is still based on a geometric optical element, a prism must be attached in front of the DSLR camera. The overall optical system is large for mobile devices.
  • Diffraction optical elements such as diffraction gratings have been commonly used in traditional hyperspectral imagers or spectrometers due to their diffraction efficiency.
  • the prior art of one recent embodiment has shown several diffraction filter arrangements for multicolor images without a typical Bayer pattern color filter, but these diffractive optical elements must be installed through a geometric optical system with an additional imaging lens.
  • diffraction RGB imaging has also been introduced for illumination of irregular illumination.
  • the technology according to the prior art example shows a colorless Fresnel lens that does not generate chromatic aberration by making the isotropic PSF unchanged over the entire visible spectrum, and the technology according to another conventional embodiment also focuses on the mechanical arrangement of two diffraction optical systems. Diffraction RGB images with adjustable optical parameters such as length and zoom were presented.
  • the technology according to an embodiment introduces a lensless image sensor using diffraction of a coded aperture. Target objects at a fixed distance can be captured as RGB images of three channels.
  • the technique according to another exemplary embodiment has proposed an end-to-end optimization method of a diffractive optical element by adopting a tilt-based optimization framework.
  • the prior art has focused on the RGB image to enhance focus, thereby capturing an all-in-focus image of the entire visible spectrum.
  • the point distribution function (PSF) produced by the diffractive optical element changes shape depending on both wavelength and depth.
  • PSF point distribution function
  • the technique of one prior art embodiment found that the PSF rotates when the depth changes, and this characteristic enables depth imaging under monochromatic illumination, and the technique of another conventional example has a light field from a snapshot captured by diffraction. Capture (light field).
  • the PSF of the optical element is a caustic pattern that varies with depth.
  • Another conventional technique of the embodiment employs a Fresnel zone aperture to capture the light field using the depth variation of the PSF even with light having uneven illumination. These methods use the depth dependence of the PSF to capture the depth or light field.
  • the snapshot spectral imager captures a compressed signal of a high-density spectral sample, which must be reconstructed by a post process.
  • Hyperspectral reconstruction is a high-density spectral information from a monochromatic, encoded image, which is a seriously erroneous problem, so total variation (TV) l1-norm regularization or pretrained dictionary
  • TV total variation
  • the technique of one conventional embodiment for alleviating such a tradeoff proposed a trained data-driven fryer using an automatic encoder network, and the technique of another conventional embodiment is based on convolutional sparse coding. Used as a spectroscopic fryer. They reduced the error of the problem by using the data driving method of the natural hyperspectral image. However, their reconstruction is not an end-to-end optimization solution as a whole, since they trained a natural spectral fryer separately from the video reconstruction framework.
  • a region photographed through a diffractive optical element reverses a phenomenon in which the shape of a point distribution function varies according to a spectrum of light reflected by an object.
  • DOE diffractive optical element
  • a hyperspectral imaging method and apparatus capable of acquiring hyperspectral information by analyzing the point distribution function for each time.
  • An ultra-spectral image reconstruction method includes the steps of receiving an image captured through a diffractive optical element; And reconstructing a hyperspectral image of the received image based on point spread function information for each wavelength of the diffraction optical element and the received image.
  • the diffractive optical element may generate an anisotropic shape of a point distribution function that varies according to the spectral.
  • the reconstructing of the hyperspectral image may reconstruct the hyperspectral image of the received image based on the point distribution function information for each wavelength, the received image, and a neural network learned by a pre-generated learning model. .
  • both the spatial fryer and the spectral fryer of the hyperspectral image are learned by the learning model, and the spectral image by diffraction rotation of the point distribution function can be reconstructed.
  • the hyperspectral image of the received image may be reconstructed by reflecting an optimization technique for diffraction rotation of the point distribution function.
  • the optimization technique may be repeatedly performed a predetermined number of times or more to reconstruct the hyperspectral image of the received image.
  • the neural network may include a multiphase neural network.
  • An apparatus for reconstructing a hyperspectral image includes a receiver configured to receive an image captured through a diffractive optical element; And a reconstruction unit reconstructing a hyperspectral image of the received image based on point spread function information for each wavelength of the diffraction optical element and the received image.
  • the diffractive optical element may generate an anisotropic shape of a point distribution function that varies according to the spectral.
  • the reconstruction unit may reconstruct the hyperspectral image of the received image based on the point distribution function information for each wavelength, the received image, and a neural network learned by a pre-generated learning model.
  • both the spatial fryer and the spectral fryer of the hyperspectral image are learned by the learning model, and the spectral image by diffraction rotation of the point distribution function can be reconstructed.
  • the reconstruction unit may reconstruct the hyperspectral image of the received image by reflecting an optimization technique for diffraction rotation of the point distribution function.
  • the reconstruction unit may reconstruct the hyperspectral image of the received image by repeatedly performing the optimization technique over a predetermined number of times.
  • the neural network may include a multiphase neural network.
  • a hyperspectral image reconstruction system includes a diffractive optical element; And a camera that captures an image through the diffractive optical element and reconstructs a hyperspectral image for the captured image based on the point spread function information for each wavelength of the diffractive optical element and the captured image.
  • a diffractive optical element includes a diffractive optical element; And a camera that captures an image through the diffractive optical element and reconstructs a hyperspectral image for the captured image based on the point spread function information for each wavelength of the diffractive optical element and the captured image.
  • the diffractive optical element may generate an anisotropic shape of a point distribution function that varies according to the spectral.
  • the camera device may reconstruct the hyperspectral image of the captured image based on the point distribution function information for each wavelength, the captured image, and a neural network learned by a pre-generated learning model.
  • the camera device may reconstruct the hyperspectral image of the captured image by reflecting an optimization technique for diffraction rotation of the point distribution function.
  • a picture taken through a diffraction optical element uses a phenomenon in which the shape of a point distribution function changes according to a spectrum of light reflected by a corresponding object, inversely, for each image area
  • hyperspectral information can be obtained.
  • a three-dimensional image may be generated by estimating the distance of an object using two miniature hyperspectral cameras capable of obtaining hyperspectral information.
  • the lensless system can perform hyperspectral observation, the size can be made very small compared to the conventional hyperspectral observation system, and the convenience of usability is achieved thanks to these advantages. Can greatly increase
  • the present invention produces a diffraction optical pattern thinner than the thickness of a general lens through a diffractive optical element, and thus uses a lens-less camera, that is, a lensless camera, using an optical configuration having a size much smaller than that of an existing camera. I can make it.
  • the present invention can accurately create object representations in special lighting such as neon signs, sodium lamps, halogen bulbs, etc., and can be implanted into wearable equipment and Internet of Things equipment by optimizing the size to ultra-thin cameras, and non-invasive inspection It can be applied to healthcare services using characteristics, augmented reality (AR) using wearable hyperspectral acquisition equipment, and the like.
  • special lighting such as neon signs, sodium lamps, halogen bulbs, etc.
  • AR augmented reality
  • FIG. 1 shows an exemplary diagram comparing a method according to the present invention with existing methods.
  • FIG. 2 is a flowchart illustrating an operation of a hyperspectral image reconstruction method according to an embodiment of the present invention.
  • FIG 3 shows an exemplary diagram for the neural network architecture of the present invention.
  • FIG. 4 shows an exemplary diagram for the fryer network illustrated in FIG. 3.
  • FIG. 5 shows a configuration of an apparatus for reconstructing hyperspectral images according to an embodiment of the present invention.
  • the present invention seeks alternative and minimal optical systems for hyperspectral imaging based on recent advances in diffraction optical technology.
  • a compact snapshot hyperspectral imaging method that replaces the general optical element of a hyperspectral image with a single diffraction optical element (DOE) that can be attached directly to a typical bare image sensor.
  • DOE diffraction optical element
  • FIG. 1A since the DOE is used, many optical elements can be avoided, and the effect on the form factor is minimal, so that a general user can freely capture a superspectral image. That is, the present invention enables a snapshot spectral image by capturing a snapshot with continuous dispersion using a single diffraction optical element.
  • the present invention makes the following contributions.
  • a new design is introduced that combines two main functions of dispersion and hyperspectral imaging into a single diffraction optical element.
  • the present invention utilizes the wavelength dependence of Fresnel diffraction to create an anisotropic shape of a point distribution function in which the DOE design varies according to the spectral.
  • the PSF size is virtually unchanged, but instead the PSF shape rotates as the wavelength of light changes.
  • the diffraction rotation characteristic of the anisotropic PSF according to the spectral is a decisive signal of the spectral reconstruction.
  • an end-to-end reconstruction network has been devised to alleviate the error of increased spectral reconstruction due to the absence of general optical elements.
  • the network in the present invention can be designed from a condition optimization procedure having a spatial spectral fryer that processes a point distribution function (PSF) that varies according to the spectral.
  • PSF point distribution function
  • the present invention enables a powerful end-to-end hyperspectral reconstruction from diffraction rotation by designing a data-driven fryer optimization design network solution that learns the spatial spectral characteristics of a natural spectral image. have.
  • the present invention is a compact snapshot hyperspectral imaging method in which a new diffractive optical element (DOE) is attached to an existing bare image sensor It is about.
  • DOE diffractive optical element
  • the hyperspectral imaging method of the present invention replaces the general optical elements of the hyperspectral image, such as a prism, coded mask, relay, and image lenses, with a single optical element, and the diffraction image lens in the method of the present invention is conventional. It is thinner than the lens of the hyperspectral optical system, and the lens design of the present invention can be combined with a data-driven spectrum reconstruction method capable of restoring the spectral information extracted from the spectral distribution function according to the spectrum.
  • FIG. 1A shows a DSLR camera equipped with an ultrathin diffuse optical element (DOE)
  • FIG. 1B shows an example of reconstructed hyperspectral image generated from an actual input
  • FIG. 1C shows measured by wavelength It shows the point distribution function that changes according to the spectral
  • FIG. 1D shows the captured spectral channels
  • FIG. 1E shows the spectral plot for two patches of the color checker compared to the ground truth. It is shown.
  • DOE ultrathin diffuse optical element
  • the present invention analyzes a point distribution function (PSF) that varies according to the spectral for each wavelength using a single DOE, and processes the spatial distribution function that converts the point distribution function (PSF) that changes according to the spectral.
  • PSF point distribution function
  • Rural fryer For example, by acquiring hyperspectral information using a U-Net-structured neural network, a hyperspectral image can be obtained using a single DOE.
  • FIG. 2 is a flowchart illustrating an operation of a hyperspectral image reconstruction method according to an embodiment of the present invention.
  • the method includes receiving a captured image through a single diffraction optical element (DOE) (S210) and preset point distribution function (PSF) information for each wavelength And reconstructing the hyperspectral image of the received image based on the neural network trained with the preset learning model (S220).
  • DOE diffraction optical element
  • PSF preset point distribution function
  • the diffractive optical element can generate an anisotropic shape of the point distribution function that varies according to the spectral, and the method of the present invention receives an image captured through the diffractive optical element, and is previously learned with the received image.
  • the hyperspectral image of the image may be reconstructed based on the neural network.
  • the present invention addresses the basics of Fresnel diffraction in order to describe a diffraction model.
  • the diffraction model in the present invention for diffraction images is as follows. It is assumed that a point light source that emits a wave field and illuminates a camera is composed of a diffraction lens at a sensing depth z and a bare image sensor. When imaging a wave field propagated from a source, the point distribution function p ⁇ (x, y) of the wavelength ⁇ refers to an intensity image of the sensor.
  • phase shift ⁇ h is caused by DOE.
  • the wave field u 1 that has passed through the DOE can be expressed as ⁇ Equation 2> below.
  • Position (x ', y') phase shift in the phase shift ⁇ h is determined by the DOE of the height profile (height profile) h (x ', y'), where (x ', y') in the ⁇ h is below It can be expressed as ⁇ Equation 3>.
  • the wave field u 2 (x', y') of the sensor plane at depth z on DOE is obtained from wave field u 1 (x', y') by Fresnel diffraction law. If ⁇ ⁇ z, u 2 (x', y') can be expressed as ⁇ Equation 4> below.
  • Plane wave assumption The present invention is designed to operate infinitely with an optical system.
  • the incident wave field u 2 on the sensor plane may be obtained from Equations 2 and 4, and may be expressed as Equation 5 below.
  • PSF p ⁇ (x, y) may mean the intensity of the square root value of the wave field u 2 .
  • Equation 6 Given point light (or light), p ⁇ (x, y) can be formulated as shown in Equation 6 below, by indicating Fresnel integral in the Fourier transform.
  • the hyperspectral imaging method of the present invention comprises a single optical element and a conventional bare image sensor.
  • the diffractive optical element in the present invention replaces the general optical elements of the hyperspectral image, for example, a dispersed optical element, a coded aperture, and a relay lens, with a single DOE to greatly reduce the form factor of the hyperspectral imager.
  • the minimal, optical configuration of the present invention has difficulty in reconstructing hyperspectral images from compressed input. This is because the error of the spectral reconstruction is significantly increased due to the core optical element of the hyperspectral image, for example, the dispersion element and the absence of the coded aperture.
  • the present invention can mitigate errors by introducing a new design of a diffractive optical element that rotates the anisotropic shape of the PSF, which varies according to the spectral wavelength and changes according to the spectral wavelength by the DOE. .
  • This design can be an important signal for spectral reconstruction.
  • the present invention is to capture an ultra-spectral image with an existing RGB image sensor in a situation where the illumination is not uniformly natural. Therefore, the image forming in the present invention includes a camera response function through a color filter, but the quantum efficiency function of a monochromatic sensor can be used as a rule.
  • the hyperspectral image I ⁇ (x, y) is captured with the point distribution function p ⁇ (x, y) that varies according to the spectral, and each color channel c ⁇ to the sensor Assume that there is a sensor spectral sensitivity function ⁇ c(x, y) for r,g,b ⁇ .
  • the captured image Jc can be expressed as ⁇ Equation 7> below.
  • the spectral image forming model can be expressed simply as ⁇ Equation 8> below.
  • * may mean a convolution operator
  • the present invention can represent the image forming model in discrete vector and matrix form.
  • I ⁇ R WH ⁇ 1 is the original hyperspectral image vector
  • J ⁇ R WH3 ⁇ 1 is the captured RGB image vector
  • W, H, and ⁇ are the width, height, and wavelength of the spectral image, respectively.
  • Means The convolution by sensor sensitivity ⁇ c( ⁇ ) and PSF p ⁇ (x, y) can be expressed by the matrixes ⁇ R WH3 ⁇ WH ⁇ and P ⁇ R WH ⁇ WH ⁇ , respectively.
  • the measurement matrix ⁇ R WH3 ⁇ WH ⁇ is the product of ⁇ and P.
  • the continuous image forming model of Equation (8) can be expressed in the form of a discrete matrix and can be expressed as Equation (9) below.
  • the spectral reconstruction problem of the present invention solves the following two subproblems.
  • the combination of these two inverse problems greatly increases the prediction error of the spectral reconstruction.
  • the existing spectral reconstruction method mainly takes a data-driven approach to learn the fryer information of a natural spectral image, and formulate an optimization problem to reconstruct the hyperspectral image with a hand-crafted fryer. These are not complete end-to-end solutions and also require a lot of computational cost for the optimization process.
  • the present invention devises from an optimization process with spatial spectral fryers that account for diffraction rotations to find a complete end-to-end reconstruction method.
  • R(.) means the unknown fryer function of the natural image
  • ⁇ may mean the weighting parameter of the fryer item.
  • Equation 11> Equation 11> below.
  • the HQS (half-quadratic splitting) method can convert Equation 11 into an unconstrained optimization problem and can be expressed as Equation 12 below.
  • ⁇ may mean a penalty parameter
  • Equation 12 can be solved by dividing it into ⁇ Equation 13> and ⁇ Equation 14> below.
  • Equation 13 is a second-order optimization problem and can be repeatedly solved by a generalized Tikhonov normalization method as shown in ⁇ Equation 15> below.
  • 1 ⁇ R WH ⁇ WH ⁇ may mean an identity matrix
  • Equation 16> the solution of the l-th iteration can be expressed as ⁇ Equation 16> below.
  • ⁇ may mean the size of the inclined descending step.
  • FIG. 3 shows an exemplary diagram of the neural network architecture of the present invention, which consists of the above-described process as a neural network architecture, includes the fryer network shown in FIG. 3, and chains of sub-network architectures repeatedly deployed L times. It can be configured, and the parameters can be determined in an end-to-end manner.
  • the fryer item of Equation 14 can be expressed in the form of a proximal operator. Instead of using a hand-crafted natural image fryer like the TV-l 1 norm, the present invention provides the above equation with soft-thresholding to calculate the auxiliary parameters of the image fryer V (l+1) .
  • the neural network function S(.) that solves 14 can be defined and can be expressed as ⁇ Equation 17> below.
  • V (l+1) S(I (l+1) )
  • the present invention devises a fryer network architecture for the following two main purposes. First, the network must learn both spatial and spectral fryers of natural spectrum images. Second, the network must reconstruct the spectral image by diffraction rotation of the PSF.
  • the present invention uses a multi-scale neural network, for example, a U-net as shown in FIG. 4 to use a multi-scale architecture structure to cover a wider field of acceptance. Can.
  • the first convolution layer uses a 3x3x ⁇ filter to produce a tensor of characteristic size ⁇ .
  • the network then creates a multi-scale feature with a contracting path with maximum pooling and an expansive path with an up-convolutional layer.
  • two convolutional layers encode spatial spectral features.
  • the scaled feature is chained with the top scale feature.
  • an original hyperspectral cube-sized tensor with 3 ⁇ 3 ⁇ filter convolution layer is created.
  • the present invention learns the entire network with an end-to-end learning method including weighting parameters and optimization parameters ⁇ and ⁇ . All of these parameters are individually learned for each stage through L iterations, since optimization parameters are adaptively updated as the input quality of the stage increases as the input quality of each stage increases.
  • U-Net consists of an encoder and a decoder and their connections.
  • the encoder generally extracts the hierarchical structure of the image feature map from low to high complexity, while the decoder transforms the features and reconstructs the output from low to high resolution.
  • the encoder-decoder skip connection plays a key role in the decoder to compensate for high-frequency information loss during pooling by using high-resolution features as additional inputs in the encoder.
  • U-Net is a convolutional layer (Conv) that performs a linear transform operation, a batch normalization layer (BN) that performs a normalization operation, and a nonlinear function. It may include a ReLU (rectified linear unit) layer performing an operation and a channel concatenation layer or a channel sum layer that combines the outputs of a plurality of layers, each stage having a 3 ⁇ 3 kernel It may include four sequential layers composed of convolution, batch normalization and ReLU layers with.
  • Conv convolutional layer
  • BN batch normalization layer
  • the neural network in the present invention may include various types of neural networks such as convolutional neural networks.
  • the method of the present invention introduces a recent neural network to the hyperspectral reconstruction problem, which has three main differences.
  • the error of the spectral reconstruction problem of the present invention is greater than others. This is because the rotating PSF of the present invention occupies a larger area than other general PSFs.
  • the present invention designs a space-spectral fryer network with a U-net architecture to widen the perceptual field, and combines this with soft-thresholding.
  • the method according to the embodiment of the present invention uses a phenomenon in which the shape of the point distribution function is changed according to the spectrum of light reflected by the object in the picture taken through the diffraction optical element (DOE). Hyperspectral information can be obtained by analyzing the point distribution function for each region.
  • DOE diffraction optical element
  • the method according to an embodiment of the present invention may generate a 3D image by estimating the distance of an object using two small hyperspectral cameras capable of obtaining hyperspectral information.
  • the method according to the embodiment of the present invention can perform superspectral observation using a lensless system, it can be made very small in size compared to an existing hyperspectral observation system, and thanks to such advantages, usability Convenience can be greatly increased. That is, the present invention produces a diffraction optical pattern thinner than the thickness of a general lens through a diffraction optical element, and uses a lens-less camera, that is, a lensless camera, using an optical configuration having a size much smaller than that of an existing camera. I can make it.
  • FIG. 5 illustrates a configuration for an ultra-spectral image reconstruction apparatus according to an embodiment of the present invention, which corresponds to a camera apparatus.
  • the hyperspectral image reconstruction apparatus 700 includes a reception unit 710 and a reconstruction unit 720.
  • the reception unit 710 receives an image captured through the diffraction optical element.
  • the diffractive optical element can generate an anisotropic shape of the point distribution function that varies according to the spectral.
  • the reconstruction unit 720 reconstructs the hyperspectral image of the received image based on the point-of-spot function (PSF) information for each wavelength of the diffraction optical element and the image received through the reception unit 710.
  • PSF point-of-spot function
  • the reconstruction unit 720 may reconstruct the hyperspectral image of the received image based on the point distribution function information for each wavelength, the received image, and a neural network learned by a pre-generated learning model.
  • a neural network may include a convolutional neural network and a polyphase neural network, for example, U-Net.
  • the reconstruction unit 720 may reconstruct the hyperspectral image of the received image by reflecting the optimization technique for diffraction rotation of the point distribution function, and further, by repeatedly performing the optimization technique a predetermined number of times or more, the received image It is possible to reconstruct the hyperspectral image for.
  • the device of FIG. 5 may include all the contents described in the methods of FIGS. 1 to 4.
  • the present invention may implement a hyperspectral image reconstruction system using a diffractive optical element and a camera device. That is, it is possible to implement a hyperspectral image reconstruction system using the above-described diffraction optical element and a camera device including the apparatus of FIG. 5.
  • the camera device is not limited to a camera, and may include any type of device capable of capturing an image through a diffractive optical element.
  • the system or device described above may be implemented with hardware components, software components, and/or combinations of hardware components and software components.
  • the systems, devices, and components described in embodiments include, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors (micro signal processors), microcomputers, and field programmable arrays (FPAs). ), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose computers or special purpose computers.
  • the processing device may run an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • a processing device may be described as one being used, but a person having ordinary skill in the art, the processing device may include a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include.
  • the processing device may include a plurality of processors or a processor and a controller.
  • other processing configurations such as parallel processors, are possible.
  • the software may include a computer program, code, instruction, or a combination of one or more of these, and configure the processing device to operate as desired, or process independently or collectively You can command the device.
  • Software and/or data may be interpreted by a processing device, or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodied in the transmitted signal wave.
  • the software may be distributed on networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer readable recording media.
  • the method according to the embodiments may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded in the medium may be specially designed and configured for an embodiment or may be known and usable by those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks.
  • -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

렌즈리스 초분광 영상 이미징 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계를 포함하고, 상기 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.

Description

렌즈리스 초분광 영상 이미징 방법 및 그 장치
본 발명은 초분광 이미징 기술에 관한 것으로서, 상세하게는 회절 광학 소자(DOE; diffractive optical element)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수(PSF; point spread function)의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역 예를 들어, 파장 별 스펙트럼 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있는 초분광 이미징 방법 및 그 장치에 관한 것이다.
초분광 영상은 생물의학 검사, 재료 분류, 재료 외관 획득, 디지털 유산 보존, 법의학 등 다양한 센싱 어플리케이션에 활용되어 왔다. 기하학적 광학에 기초하여, 다양한 초분광영상 시스템은 동적인 오브젝트의 스냅샷을 위해 발전해왔고, 과도하게 큰 폼 팩터를 초래하는 다양한 광학 소자 예를 들어, 분산적 광학 소자(예를 들어, 프리즘 또는 회절 격자), 코드화된 조리개 마스크, 다수의 릴레이 렌즈 그리고 객체 영상 시스템을 포함한다.
지난 10년 동안 인간의 시력을 넘어 물리적으로 의미 있는 영상을 가능케 하기 위해 초분광영상이 광범위하기 연구되어 왔다. 종래 방법은 스펙트럴 스캐닝, 컴퓨터 단층 촬영 영상 그리고 스냅샷 압축 영상 등 세 가지 유형으로 분류할 수 있다. 프리즘이나 회절 격자와 같은 분산 광학 소자에 기초한 스캐닝 기반 접근법은 각 파장의 빛을 소위 위스크브룸(whiskbroom) 또는 푸시브룸(pushbroom) 스캐너라고 불리는 슬릿(slit)을 통해 포착할 수 있다. 스캐닝은 높은 공간 및 스펙트럼 해상도를 산출하지만, 목표 객체는 정적 오브젝트 혹은 원격 장면으로 제한된다.
컴퓨터 단층 촬영 영상 분광 측정(CTIS; Computed tomography imaging spectrometry)은 스캐닝 방법의 제한을 완화하기 위해 도입되었으며, 이것은 영상과 릴레이 렌즈를 가지는 회절 격자를 사용한다. 회절 격자는 컴퓨터 단층 촬영의 공간 해상도를 희생시키면서 콜리메이트된 입사광을 서로 다른 방향에서 다른 회절 패턴으로 분할한다.
코드화된 조리개 스냅샷 스펙트럴 영상(CASSI; Coded aperture snapshot spectral imaging)은 동적인 오브젝트를 캡쳐하기 위해 도입되었다. 분산형 광학 소자는 스펙트럴 또는 공간 스펙트럴 신호를 코드화하기 위해 릴레이 렌즈를 통해 코드화된 조리개와 결합된다. 압축 입력은 이후 재구성된다. 이 두 가지 유형의 스냅샷 스펙트럴 영상은 모두 빛을 콜리메이트하고 분산(또는 CASSI의 경우 빛을 변조)시키기 위해 몇 가지 기하학적 광학 소자를 필요로 하며, 이는 그들을 부피가 크고 실제로 다루기 어렵게 만든다. 최근 일 실시예의 종래 기술에서 이동성을 향상시키기 위한 컴팩트 스펙트럴 영상법을 소개하였으나, 이 방법은 여전히 기하학적 광학 소자에 기초하고 있기에 DSLR카메라 앞에 프리즘을 부착해야 한다. 전체적인 광학 시스템은 모바일 기기에 적용하기에는 크다.
회절 격자와 같은 회절 광학 소자는 회절 효율로 인해 전통적인 초분광 이미저 또는 분광측정기에 흔히 사용되어 왔다. 최근 일 실시예의 종래 기술은 전형적인 베이어 패턴(Bayer pattern) 컬러 필터가 없는 다색상 영상을 위한 몇 가지 회절 필터 배열을 선보였으나 이러한 회절 광학 소자는 추가 영상 렌즈가 있는 기하학적 광학 시스템을 통해 설치되어야 한다.
전통적인 회절 영상은 색수차로 인한 단일 파장의 단색(또는 일정한) 빛을 위해 고안되었다. 최근에, 회절 RGB영상법은 일정하지 않은 조도의 조명에 대해서도 도입되었다. 종래 일 실시예에 따른 기술은 전체 가시 스펙트럼 상에서 변하지 않는 등방위성 PSF를 만들어 색수차가 생기지 않는 무색의 프레넬 렌즈를 선보였으며, 종래 다른 일 실시예에 따른 기술 또한 두 개의 회절 광학계의 기계적 배열상의 초점 길이와 줌과 같은 조정 가능한 광학 파라미터를 가진 회절 RGB 영상을 선보였다. 종래 또 일 실시예에 따른 기술은 코드화된 조리개의 회절을 이용한 렌즈 없는 영상 센서를 도입하였다. 고정된 거리에 있는 대상 오브젝트는 세 개 체널의 RGB 영상으로 캡쳐할 수 있다. 종래 또 일 실시예에 따른 기술은 경사 기반 최적화 프레임워크를 채택하여 회절 광학 소자의 엔드 투 엔드 최적화 방법을 제안하였다. 지금까지의 기존 회절 영상의 경우, 종래 기술들은 RGB 영상에 집중하여 포커스를 강화함으로써, 전체 가시 스펙트럼의 올인 포커스(all-in-focus) 영상을 포착하였다.
회절 광학 소자에 의해 만들어진 점분포함수(PSF)는 파장과 깊이 둘 다에 따라 모양이 바뀐다. 예를 들어, 종래 일 실시예의 기술은 깊이가 변할 때 PSF가 회전하며, 이 특성은 단색 조명 하에서 깊이 영상화를 가능케 한다는 것을 발견하였으며, 종래 다른 일 실시예의 기술은 회절로 캡쳐한 스냅샷으로부터 라이트 필드(light field)를 캡쳐한다. 광학 소자의 PSF는 깊이에 따라 달라지는 부식성(caustic) 패턴이다. 종래 또 다른 일 실시예의 기술은 프레넬 존 조리개를 도입하여 조도가 일정하지 않은 빛으로도 PSF의 깊이 변형을 이용해 라이트 필드를 포착하였다. 이 방법들은 PSF의 깊이 의존성을 이용하여 깊이 또는 라이트 필드를 포착한다.
기존의 RGB카메라와는 달리 스냅샷 스펙트럴 이미저는 고밀도 스펙트럴 샘플의 압축 신호를 캡쳐하는데, 이 신호는 후 프로세스(post process)에 의해 재구성되어야 한다. 초분광 재구성은 단색적이고 인코딩된 영상에서 나오는 고밀도 스펙트럴 정보로 심각하게 오류가 있는 문제이기 때문에 총변이(TV; total variation) l1-놈 규칙(norm regularization) 또는 미리 트레이닝된 사전(pretrained dictionary)과 같은 특정 내츄럴(natural) 영상 프라이어와 데이터 정확도 항목을 정의함으로써 몇 가지 최적화 접근법이 제안되어 왔다. 이러한 접근법의 일반적인 특징은 재구성된 결과에서의 공간 분해능과 스펙트럴 정확도 사이의 트레이드오프(tradeoff)이다. 이러한 트레이드오프를 완화하기 위한 종래 일 실시예의 기술은 자동 인코더 네트워크를 사용하여 트레이닝된 데이터 구동(data-driven) 프라이어를 제안했고, 종래 다른 일 실시예의 기술은 컨볼루션 희소 코딩(sparse coding)을 초분광 프라이어로 이용했다. 이들은 내츄럴 초분광 영상의 데이터 구동을 수단으로 사용함으로써 문제의 오류를 감소시켰다. 그러나 이들의 재구성은 영상 재구성 프레임워크와는 별도로 내츄럴 스펙트럴 프라이어를 트레이닝했기에 전체적으로 엔드 투 엔드 최적화 솔루션은 아니다.
본 발명의 실시예들은, 회절 광학 소자(DOE; diffractive optical element)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있는 초분광 이미징 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계를 포함한다.
상기 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.
상기 초분광 영상을 재구성하는 단계는 상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 뉴럴 네트워크는 상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성할 수 있다.
상기 초분광 영상을 재구성하는 단계는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 초분광 영상을 재구성하는 단계는 상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 뉴럴 네트워크는 다상 뉴럴 네크워크를 포함할 수 있다.
본 발명의 일 실시예에 따른 초분광 영상 재구성 장치는 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 수신부; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 재구성부를 포함한다.
상기 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.
상기 재구성부는 상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 뉴럴 네트워크는 상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성할 수 있다.
상기 재구성부는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 재구성부는 상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 뉴럴 네트워크는 다상 뉴럴 네크워크를 포함할 수 있다.
본 발명의 일 실시예에 따른 초분광 영상 재구성 시스템은 회절 광학 소자(diffractive optical element); 및 상기 회절 광학 소자를 통과하여 영상을 촬영하고, 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 촬영된 영상에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 카메라 장치를 포함한다.
상기 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.
상기 카메라 장치는 상기 파장 별 점분포함수 정보, 상기 촬영된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 카메라 장치는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 촬영된 영상에 대한 초분광 영상을 재구성할 수 있다.
본 발명의 실시예들에 따르면, 회절 광학 소자(DOE)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있다.
본 발명의 실시예들에 따르면, 초분광 정보를 획득할 수 있는 소형 초분광 카메라 두 대를 이용하여 물체의 거리를 추정함으로써, 3차원 영상을 생성할 수도 있다.
본 발명의 실시예들에 따르면, 렌즈리스를 시스템을 이용하여 초분광 관측을 수행할 수 있기 때문에 기존의 초분광 관측 시스템과 비교하여 크기를 매우 작게 만들 수 있고, 이러한 장점 덕분에 사용성의 편리성을 크게 증대시킬 수 있다.
즉, 본 발명은 회절 광학 소자를 통해서 일반 렌즈의 두께보다 얇은 회절 광학 패턴을 제작하고, 이렇게 기존 카메라의 광학 요소보다 훨씬 작은 크기의 광학 구성을 이용하여 렌즈리스 카메라, 즉, 렌즈가 없는 카메라를 만들 수 있다.
이러한 본 발명은 네온 사인, 나트륨 등, 할로겐 전구 등의 특수한 조명에서의 물체 표현을 정확하게 만들 수 있으며, 초박형 카메라로의 크기 최적화를 통해 웨어러블 장비, 사물인터넷 장비로의 이식이 가능하고, 비침습적 검사 특성을 이용한 헬스케어 서비스, 웨어러블 초분광 획득 장비를 이용한 증강 현실(AR) 등에게 적용시킬 수 있다.
도 1은 본 발명에 따른 방법과 기존 방법들을 비교한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 본 발명의 뉴럴 네트워크 아키텍쳐에 대한 일 예시도를 나타낸 것이다.
도 4는 도 3에 도시된 프라이어 네트워크에 대한 일 예시도를 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 초분광 영상 재구성 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
기존의 스냅샷 초분광영상 시스템은 여러 광학적 요소 예를 들어, 프리즘, 코드화된 조리개, 다수의 릴레이 렌즈, 영상 렌즈 등을 포함하여 과도하게 큰 폼 팩터(form factor)를 초래한다.
기존 스냅샷 초분광영상 시스템에서 이러한 이동성의 한계를 극복하기 위해, 본 발명은 최근 회절 광학 기술의 진보에 기초해 초분광영상을 위한 대체적이고 최소의 광학 시스템을 모색한다. 이를 위해, 초분광영상의 일반적인 광학 소자를 전형적인 베어 영상 센서에 직접 부착할 수 있는 단일 회절 광학 소자(DOE)로 대체하는 컴팩트 스냅샷 초분광 영상 방법을 제안한다. 본 발명은 도 1a에 도시된 바와 같이, DOE를 이용하기 때문에 많은 광학적 요소들을 피할 수 있고 폼 팩터에 미치는 영향이 미미하여 일반적인 사용자가 자유롭게 초분광영상을 캡쳐할 수 있다. 즉, 본 발명은 단일 회절 광학 소자를 사용하여 연속적인 분산으로 스냅샷을 캡쳐해 스냅샷 스펙트럼 영상을 가능하게 한다.
단일 회절 영상 렌즈를 사용하여 초분광영상을 캡쳐하기 위해서는 두 가지 주요 기술적 과제가 있다. 첫째, 파장에 따라 등방성의 점분포함수(PSF)의 크기가 달라지는 물리적인 현상으로 인해 색수차가 심해지기 때문에 조도가 일정하지 않은 환경에서 기존의 회절 렌즈는 풀-스펙트럼 영상 촬영에 적합하지 않다. 둘째, 분산에 대한 회절 요소가 없고 코드화된 조리개 마스크가 없기 때문에 DOE를 통한 스펙트럴 신호는 널리 퍼지며, 스펙트럴 재구성을 위한 대형 커널(kernel)의 디컨볼루션을 요구한다. 따라서, 스펙트럴 재구성상의 오류는 전형적인 압축 스펙트럴 영상 설정보다 회절 영상 설정에서 훨씬 더 크게 증가한다.
이러한 과제를 해결하기 위해, 본 발명은 다음과 같은 기여를 한다.
첫째, 스펙트럴 영상 광학의 폼 팩터를 최소화하기 위해, 초분광영상에 대한 분산과 영상의 두 가지 주요 함수를 단일 회절 광학 소자로 결합하는 새로운 설계를 도입한다. 본 발명은 프레넬(Fresnel) 회절의 파장 의존성을 활용하여 DOE디자인이 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성한다. 전통적인 프레넬 렌즈와는 달리 PSF크기는 사실상 변하지 않지만, 대신 빛의 파장이 변함에 따라 PSF모양이 회전한다. 비등방성 PSF의 스펙트럴에 따른 회절 회전 특성은 스펙트럴 재구성의 결정적인 신호이다.
둘째, 엔드 투 엔드 재구성 네트워크를 고안하여 일반적 광학 소자의 부재로 인해 증가된 스펙트럴 재구성의 오류를 완화한다. 본 발명에서의 네트워크는 스펙트럴에 따라 변하는 점분포함수(PSF)를 처리하는 공간 스펙트럴 프라이어(prior)를 갖는 조건 최적화 절차로부터 설계될 수 있다. 구체적으로는, 본 발명은 내츄럴 스펙트럴 영상의 공간 스펙트럴 특성을 학습하는 데이터 구동(data-driven) 프라이어 최적화 고안 네트워크 솔루션을 설계함으로써, 회절 회전으로부터 강력한 엔드 투 엔드 초분광 재구성을 가능하게 할 수 있다.
이것은 개별 선정된(hand-crafted) 프라이어를 가지는 기존 최적화 방법을 적용하는 대신, 회절 회전으로부터 스펙트럴 정보를 충실히 재구성한다. 요약하자면, 본 발명의 세 가지 새로운 기여는 다음과 같다.
(1) 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 유도하는 회절 영상 렌즈를 도입하여 단일 DOE로 영상과 분산을 달성한다.
(2) 공간 스펙트럴 프라이어를 가지는 최적화 고안 재구성 네트워크를 개발함으로써, 회절 영상 설정에서 스펙트럴 재구성의 오류를 완화한다.
(3) DOE를 기초로 광학 시스템의 최소 폼 팩터를 가진 회절 영상 시스템을 제안하며, 이는 기존 시스템의 것보다 더 얇다.
도 1은 본 발명의 일 실시예에 따른 초분광 이미징 방법을 설명하기 위한 것으로, 본 발명은 기존 베어 영상 센서에 새로운 회절 광학 소자(DOE; diffractive optical element)를 부착한 컴팩트 스냅샷 초분광 이미징 방법에 대한 것이다.
본 발명의 초분광 이미징 방법은 초분광영상의 일반적인 광학 소자들 예를 들어, 프리즘, 코드화된 마스크, 릴레이 및 영상 렌즈 들을 단일 광학 소자로 대체하고, 본 발명의 방법에서의 회절 영상 렌즈는 기존의 초분광 광학 시스템의 렌즈보다 더 얇으며, 본 발명의 렌즈 설계는 스펙트럼에 따른 점분포함수로부터 추출된 스펙트럼 정보를 복원할 수 있는 데이터 구동 스펙트럼 재구성 방법과 결합될 수 있다.
도 1a는 울트라씬(untralthin) DOE(diffractive optical element)가 설치된 DSLR 카메라를 나타낸 것이고, 도 1b는 실제 입력으로부터 생성된 재구성 초분광 영상에 대한 일 예시도를 나타낸 것이며, 도 1c는 파장 별로 측정된 스펙트럴에 따라 변하는 점분포함수를 나타낸 것이고, 도 1d는 캡쳐된 스펙트럴 채널들을 나타낸 것이며, 도 1e는 실측값(Ground Truth)과 비교된 컬러체커(ColorChecker)의 두 패치에 대한 스펙트럴 플롯을 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명은 단일 DOE를 이용하여 파장 별로 스펙트럴에 따라 변하는 점분포함수(PSF)를 분석하고, 스펙트럴에 따라 변환하는 점분포함수(PSF)를 처리하는 공간 스펙트럴 프라이어(prior) 예를 들어, U-Net 구조의 뉴럴 네트워크를 이용하여 초분광 정보를 획득함으로써, 단일 DOE를 이용하여 초분광 영상을 획득할 수 있다.
도 2는 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 방법은 단일 회절 광학 소자(DOE)를 통과하여 촬영된 영상을 수신하는 단계(S210)와 미리 설정된 파장 별 점분포함수(PSF) 정보와 미리 설정된 학습 모델로 학습된 뉴럴 네트워크에 기초하여 수신된 영상에 대한 초분광 영상을 재구성하는 단계(S220)를 포함한다.
여기서, 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있으며, 본 발명의 방법은 이러한 회절 광학 소자를 통과하여 촬영된 영상을 수신하고, 수신된 영상과 미리 학습된 뉴럴 네트워크에 기초하여 영상에 대한 초분광 영상을 재구성할 수 있다.
이러한 본 발명에 따른 방법을 도 3 내지 도 4를 참조하여 상세히 설명하면 다음과 같다.
회절 모델(diffraction model)
본 발명은 회절 모델을 설명하기 위하여 프레넬 회절의 기초를 다룬다. 회절 영상을 위한 본 발명에서의 회절 모델을 설명하면 다음과 같다. 파동 필드(wave field)를 방출하고 카메라에 빛을 비추는 점 광원을 센싱 깊이 z에서의 회절 렌즈와 베어 영상 센서로 구성되어있다 가정한다. 소스에서 전파되는 파동 필드를 영상화할 때, 파장 λ의 점분포함수 p λ(x, y)는 센서의 강도 영상(intensity image)를 의미한다.
진폭 A, 위상 φ 0, 및 파장 λ을 갖는 DOE 좌표계의 위치 (x', y')에서의 단색 입사 파동 필드 u 0이 회절 광학 소자를 통과한다 가정하면, 위치 (x', y')에서의 단색 입사 파동 필드 u 0는 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
u 0(x',y')=A(A',y')e iφ0(x',y')
위상 쉬프트 φ h는 DOE에 의해 발생한다. DOE를 통과한 파동 필드 u 1는 아래 <수학식 2>와 같이 나타낼 수 있다.
[수학식 2]
u 1(x',y')=A(A',y')e i(φ0(x',y')+φh(x',y'))
위치 (x', y')에서 위상 쉬프트 φ h는 DOE의 높이 프로파일(height profile) h(x', y')에 의해 결정되며, 위치 (x', y')에서 위상 쉬프트 φ h는 아래 <수학식 3>과 같이 나타낼 수 있다.
[수학식 3]
Figure PCTKR2020001346-appb-img-000001
여기서,
Figure PCTKR2020001346-appb-img-000002
는 파장 λ당 공기와 DOE 기판(substrate)의 회절 지수들 간의 차이를 의미할 수 있다.
파동 필드가 영상 센서에 도달하면, DOE상 깊이 z에 있는 센서 플레인의 파동 필드 u 2(x', y')는 프레넬 회절 법칙에 의해 파동 필드 u 1(x', y')로부터 얻어질 수 있으며, λ << z인 경우 u 2(x', y')는 아래 <수학식 4>와 같이 나타낼 수 있다
[수학식 4]
Figure PCTKR2020001346-appb-img-000003
여기서, k=2π/λ는 파동의 공간 주파수라고도 불리우는 파수(wavenumber)를 의미할 수 있다.
평면파 가정(plane wave assumption): 본 발명은 광학 시스템으로 무한대로 작동하도록 설계한다. 이러한 설정에서 광학 축을 따른 광원으로부터 나온 입사광은 상수 진폭 A와 상수 위상 φ 0를 갖는 평면파 u 0(x',y')=Ae iφ0로 표현될 수 있으며, 이것은 DOE를 설계하는 수학적 복잡성을 완화시켜준다. 센서 플레인 상의 입사 파동 필드 u 2는 상기 수학식 2와 수학식 4로부터 획득될 수 있으며, 아래 <수학식 5>와 같이 나타낼 수 있다
[수학식 5]
Figure PCTKR2020001346-appb-img-000004
PSF p λ(x, y)는 파동 필드 u 2의 제곱근 값의 강도를 의미할 수 있다.
마지막으로 점 광(또는 조명)(point light)이 주어지면, 푸리에 변환에서 프레넬 적분을 나타냄으로써, p λ(x, y)는 아래 <수학식 6>과 같이 공식화될 수 있다.
[수학식 6]
Figure PCTKR2020001346-appb-img-000005
회절 초분광영상(diffractive hyperspectral imaging)
본 발명의 초분광 영상 방법은 기존의 초분광 영상법과는 달리, 단일 광학 소자와 기존의 베어 영상 센서로 구성된다. 본 발명에서의 회절 광학 소자는 초분광 이미저의 폼 팩터를 크게 줄일 수 있도록 초분광영상의 일반적인 광학 소자들 예를 들어, 분산 광학 소자, 코드화된 조리개 및 릴레이 렌즈 등을 단일 DOE로 대체한다. 반면, 본 발명의 최소, 광학 구성은 압축 입력으로부터 초분광 영상을 재구성하는데 어려움을 격는다. 왜냐하면, 초분광영상의 핵심적인 광학 소자 예를 들어, 분산형 요소와 코드화된 조리개의 부재로 인해 스펙트럴 재구성의 오류가 현저히 증가하기 때문이다. 본 발명은 DOE에 의한 점분포함수가 스펙트럴 파장에 따라 변화하고 스펙트럴에 따라 변화하는 PSF의 비등방성 형상을 변하지 않는 크기로 회전시키는 회절 광학 소자의 새로운 설계를 도입하여 오류를 완화시킬 수 있다. 이러한 설계는 스펙트럴 재구성의 중요한 신호가 될 수 있다.
스펙트럼 영상 형성
본 발명은 내츄럴하게 조도가 일정하지 않은 상황에서 기존의 RGB영상 센서로 초분광 영상을 캡쳐하는 것이다. 따라서 본 발명에서의 영상 형성은 컬러 필터를 통한 카메라 반응 함수를 포함하지만, 단색 센서의 양자 효율(quantum efficiency) 함수는 대체적으로 사용할 수 있다. 센서 Jc(x, y)에 포착된 RGB영상에서 스펙트럴에 따라 변하는 점분포함수 p λ(x, y)으로 초분광 영상 I λ(x, y)을 캡쳐하고 센서에 각 컬러 채널 c∈{r,g,b}에 대한 센서 스펙트럼 감도 함수 Ωc(x, y)가 있다고 가정한다. 캡쳐된 영상 Jc는 아래 <수학식 7>과 같이 나타낼 수 있다.
[수학식 7]
Figure PCTKR2020001346-appb-img-000006
스펙트럴 영상 형성 모델은 아래 <수학식 8>와 같이 간단하게 나타낼 수 있다.
[수학식 8]
Figure PCTKR2020001346-appb-img-000007
여기서, *는 컨벌루션 연산자를 의미할 수 있다.
본 발명은 영상 형성 모델을 이산 벡터와 행렬 형태로 나타낼 수 있다. I∈R WHΛ×1를 원래의 초분광 영상 벡터라 하고, J∈R WH3×1를 캡쳐한 RGB영상 벡터라 하며, W, H와 Λ는 각각 스펙트럴 영상의 폭, 높이 및 파장 채널의 수를 의미한다. 센서 감도 Ωc(λ)와 PSF p λ(x, y)에 의한 컨볼루션은 각각 행렬 Ω∈R WH3×WHΛ와 P∈R WHΛ×WHΛ로 나타낼 수 있다. 측정 행렬 Ω∈R WH3×WHΛ는 Ω와 P의 곱(product)이다. 상기 수학식 8의 연속적인 영상 형성 모델은 이산 행렬 형태로 나타낼 수 있으며, 아래 <수학식 9>와 같이 나타낼 수 있다.
[수학식 9]
J=ΦI
회절에서의 스펙트럴 재구성
본 발명의 스펙트럴 재구성 문제는 다음과 같은 두 가지 하위 문제들을 해결하는 것이다. 첫째, 입력 데이터를 캡쳐할 때 각 스펙트럴 채널은 스펙트럴에 따라 변하는 점분포함수로 연결된다. 따라서 비시각적(non-blind) 디컨볼루션은 명확한 스펙트럴 채널을 재구성할 필요가 있다. 둘째, 전체 가시 스펙트럼의 흐릿한 스펙트럴 채널도 영상 센서의 3개의 컬러 채널(단색 센서의 경우 1개의 채널)에 투사된다. 이러한 두 가지 역 문제(inverse problem)의 조합은 스펙트럴 재구성의 예측 오류를 크게 증가시킨다. 기존 스펙트럴 재구성 방법은 주로 내츄럴 스펙트럴 영상의 프라이어 정보를 학습하고, 개별 선정된(hand-crafted) 프라이어로 초분광 영상을 재구성하는 최적화 문제를 공식화하는 데이터 구동 접근법을 취한다. 이들은 완전한 엔드 투 엔드 솔루션은 아니며 또한 최적화 프로세스에 많은 계산 비용이 필요하다. 본 발명은 회절 회전을 설명하는 공간 스펙트럴 프라이어를 갖는 최적화 프로세스로부터 고안하여 완전한 엔드 투 엔드 재구성 방법을 강구한다.
최적화 유도 네트워크(Optimization-Inspired Network)
상기 수학식 9에서 WH3 << WHΛ이기 때문에 본 발명의 초분광 영상 재구성 문제는 심각히 불충분한 시스템이다. 입력 측정을 만족시키는 솔루션이 많이 있을 수 있다. 초분광 영상 I^∈R WHΛ×1를 재구성하기 위해 스펙트럴 재구성의 객관적 함수는 다음과 같은 데이터 항목과 더불어 내츄럴 스펙트럴 영상의 프라이어를 필요로 하며, 초분광 영상은 아래 <수학식 10>과 같이 나타낼 수 있다.
[수학식 10]
Figure PCTKR2020001346-appb-img-000008
여기서, R(.)는 내츄럴 영상의 알려지지 않은 프라이어 함수를 의미하며, τ는 프라이어 항목의 가중 파라미터를 의미할 수 있다.
이러한 정규화 항목은 최적화에 있어서 반드시 구별할 수 있는 것이 아니므로, 보조 변수 V∈R WHΛ×1를 도입하여 제한된 최적화 문제로서 상기 수학식 10을 재공식화함으로써, 데이터 항목과 정규화 항목을 분리할 수 있으며, 이를 아래 <수학식 11>과 같이 나타낼 수 있다.
[수학식 11]
Figure PCTKR2020001346-appb-img-000009
HQS(half-quadratic splitting) 방법은 상기 수학식 11을 제약 없는 최적화 문제로 전환시킬 수 있으며, 아래 <수학식 12>과 같이 나타낼 수 있다.
[수학식 12]
Figure PCTKR2020001346-appb-img-000010
여기서, ξ는 패널티 파라미터를 의미할 수 있다.
상기 수학식 12는 아래 <수학식 13>과 <수학식 14>로 분할하여 해결할 수 있다.
[수학식 13]
Figure PCTKR2020001346-appb-img-000011
[수학식 14]
Figure PCTKR2020001346-appb-img-000012
상기 수학식 13은 2차 최적화 문제로, 아래 <수학식 15>과 같이 일반화된 티호노프(Tikhonov) 정규화 방법에 의해 반복적으로 해결할 수 있다.
[수학식 15]
Figure PCTKR2020001346-appb-img-000013
여기서, 1∈R WHΛ×WHΛ은 단위 행렬을 의미할 수 있다.
스펙트럴 영상의 측정 행렬은 매우 크기에, 상기 수학식의 역 파트의 계산은 많은 계산 비용을 요구한다. 이러한 비용 문제를 완화하기 위하여, 많은 반복이 필요한 상기 수학식 13을 해결하는 대신 컨쥬게이트 경사 방법(conjugate gradient method)을 대체적으로 채택할 수 있다. 이러한 방법으로, l번째 반복의 솔루션은 아래 <수학식 16>과 같이 나타낼 수 있다.
[수학식 16]
Figure PCTKR2020001346-appb-img-000014
여기서,
Figure PCTKR2020001346-appb-img-000015
를 의미하며, ε는 경사 하강 스텝 크기를 의미할 수 있다.
각각의 최적화 반복 단계에서, 초분광 영상 I (l+1)은 세 부분에서 업데이트 된다. 첫번째 부분은 I (l)과 Φ -를 곱하여 측정 행렬의 경사를 계산한다. 두번째 부분은 파라미터 ε에 의해 가중된 I(0)=Φ TJ로부터 도출된다. 세번째 부분은 εξ로 가중된 프라이어 항목을 계산한다. 최적화 반복은 L번 반복된다. 도 3은 본 발명의 뉴럴 네트워크 아키텍쳐에 대한 일 예시도를 나타낸 것으로, 상술한 과정을 뉴럴 네트워크 아키텍쳐로 구성한 것으로, 도 3에 도시된 프라이어 네트워크를 포함하며, L번 반복 전개된 하위 네트워크 아키텍쳐의 체인으로 구성되며, 엔드 투 엔드 방식으로 파라미터를 정할 수 있다.
초분광 프라이어 네트워크
HQS알고리즘은 알려지지 않은(unknown) 정규화기(regularizer) R(.)로부터 측정 행렬을 분리하기 때문에 상기 수학식 14의 프라이어 항목은 근접 연산자(proximal operator)의 형태로 나타낼 수 있다. TV-l 1 놈과 같이 개별 선정된(hand-crafted) 내츄럴 영상 프라이어를 사용하는 대신, 본 발명은 영상 프라이어 V (l+1)의 보조 파라미터를 산출하기 위해 소프트-쓰레스홀딩으로 상기 수학식 14를 해결하는 뉴럴 네트워크 함수 S(.)를 정의할 수 있으며, 아래 <수학식 17>과 같이 나타낼 수 있다.
[수학식 17]
V (l+1) = S(I (l+1))
본 발명은 다음의 두 가지 주요 목적으로 프라이어 네트워크 아키텍처를 고안한다. 첫째, 네트워크는 내츄럴 스펙트럼 영상의 공간 프라이어와 스펙트럴 프라이어 모두를 학습해야 한다. 둘째, 네트워크는 PSF의 회절 회전에 의한 스펙트럴 영상을 재구성해야 한다. 상대적으로 큰 커널로 디컨볼루션을 설명하기 위해, 본 발명은 다상 뉴럴 네트워크 예를 들어, 도 4에 도시된 바와 같이 U-net을 채택하여 보다 넓은 수용 분야를 커버하기 위해 멀티스케일 아키텍처 구조를 이용할 수 있다. 본 발명의 네트워크에서, 첫번째 컨볼루션 레이어는 3×3×Λ 필터를 사용하여 특성 크기 Γ의 텐서(Tensor)를 생산한다. 이후 네트워크는 최대 풀링(pooling)과 함께 컨트랙팅 경로(contracting path)를 가진 다중 스케일 특성을 생성하고 업-컨볼루션 레이어를 가진 확장(expansive) 경로를 생성한다. 각 레벨에서, 두 개의 컨볼루션 레이어는 공간 스펙트럴 특징을 인코딩한다. 스킵 연결을 사용함으로써, 스케일링된 특징이 상부 스케일 특징과 연쇄된다. 최종적으로, 3×3×Γ 필터 컨볼루션 레이어를 가진 본래의 초분광 큐브 크기의 텐서를 생성한다. 본 발명은 가중 파라미터와 최적화 파라미터 ε 및 ξ를 포함하는 엔드 투 엔드 학습법으로 전체 네트워크를 학습한다. 이러한 모든 파라미터들이 L번의 반복을 통해 각 스테이지에 대해 개별적으로 학습되는데, 이는 각 스테이지의 입력 품질이 증가함에 따라 단계의 입력 품질이 증가함에 따라 최적화 파라미터들은 적응적으로 업데이트되기 때문이다.
구체적으로, U-Net은 인코더와 디코더 및 이들의 연결로 구성된다. 인코더는 일반적으로 낮은 복잡도에서 높은 복잡도까지 영상 특징 맵의 계층 구조를 추출하는 반면, 디코더는 특징을 변환하고 낮은 해상도에서 높은 해상도까지 출력을 재구성한다. 인코더-디코더 스킵 연결은 디코더에서 핵심 역할을 수행하여 인코더에서 고해상도 특징을 추가 입력으로 사용함으로써 풀링 중 고주파 정보 손실을 보완한다.
여기서, U-Net은 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어(Conv), 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어(BN), 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 복수의 레이어들의 출력을 결합하는 채널 연결 레이어(channel concatenation layer) 또는 채널 합 레이어(channel sum layer)를 포함할 수 있으며, 각 스테이지는 3 × 3 커널들을 갖는 컨볼루션, 배치 노말라이제이션 및 ReLU 레이어들로 구성된 4개의 순차적인 레이어들을 포함할 수 있다.
그리고, 인코더와 디코더 간의 스킵 연결을 포함할 수 있다. 여기서, 스킵 연결은 풀링 중에 손실된 고주파를 보상할 수 있다. 물론, 본 발명에서의 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크 등 다양한 형태의 뉴럴 네크워크를 포함할 수 있다.
최근, 뉴럴 네트워크 형태로 기존의 ADMM과 ISTA 방법에 채택함으로써, ADMM-Net과 ISTA-Net 같은 많은 최적화 유도 재구성 방법이 제안되었다. 특히, 본 발명의 방법은 최근의 뉴럴 네트워크를 초분광 재구성 문제에 도입하는데, 이에는 3가지 주요한 차이점이 있다. 첫째, 본 발명의 스펙트럴 재구성 문제의 오류는 다른 것들 보다 크다. 왜냐하면 본 발명의 회전 PSF는 다른 일반적인 PSF보다 넓은 면적을 차지하기 때문이다. 이러한 특징들을 다루기 위해서, 본 발명은 지각적인 필드를 넓게 만들기 위해 U-net아키텍처를 가지는 공간-스펙트럴 프라이어 네트워크를 설계하고, 이를 소프트-쓰레스홀딩과 결합한다. 둘째, 개별 선정된 희소 프라이어(handcrafted sparsity prior)를 사용하는 대신, 내츄럴 스펙트럴 영상에서 직접적으로 알려지지 않은 공간 스펙트럴 프라이어를 학습한다. 그러기 위해, Tikhnov 정규화로 해결되는 HQS공식을 이용하여 차별화할 수 있도록 최적화 문제를 공식화한다. 마지막으로, 네트워크 학습 시 l 1-놈 손실 함수를 이용하여 본 발명의 네트워크에서 희소 프라이어가 없는 것을 보완할 수 있다.
이와 같이, 본 발명의 실시예에 따른 방법은 회절 광학 소자(DOE)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 초분광 정보를 획득할 수 있는 소형 초분광 카메라 두 대를 이용하여 물체의 거리를 추정함으로써, 3차원 영상을 생성할 수도 있다.
또한, 본 발명의 실시예에 따른 방법은 렌즈리스를 시스템을 이용하여 초분광 관측을 수행할 수 있기 때문에 기존의 초분광 관측 시스템과 비교하여 크기를 매우 작게 만들 수 있고, 이러한 장점 덕분에 사용성의 편리성을 크게 증대시킬 수 있다. 즉, 본 발명은 회절 광학 소자를 통해서 일반 렌즈의 두께보다 얇은 회절 광학 패턴을 제작하고, 이렇게 기존 카메라의 광학 요소보다 훨씬 작은 크기의 광학 구성을 이용하여 렌즈리스 카메라, 즉, 렌즈가 없는 카메라를 만들 수 있다.
도 5는 본 발명의 일 실시예에 따른 초분광 영상 재구성 장치에 대한 구성을 나타낸 것으로, 카메라 장치에 대응된다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 초분광 영상 재구성 장치(700)는 수신부(710) 및 재구성부(720)를 포함한다.
수신부(710)는 회절 광학 소자를 통과하여 촬영된 영상을 수신한다.
여기서, 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.
재구성부(720)는 회절 광학 소자의 파장 별 점분포함수(PSF) 정보와 수신부(710)를 통해 수신된 영상에 기초하여 수신된 영상에 대한 초분광 영상을 재구성한다.
여기서, 재구성부(720)는 상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
이 때, 뉴럴 네트워크는 상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성할 수 있다. 이런 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크와 다상 뉴럴 네트워크 예를 들어, U-Net을 포함할 수 있다.
나아가, 재구성부(720)는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 수신된 영상에 대한 초분광 영상을 재구성할 수 있으며, 더 나아가 최적화 기법을 일정 횟수 이상 반복수행함으로써, 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
도 5의 장치에서 그 설명이 생략되었더라도, 도 5의 장치는 도 1 내지 도 4의 방법에서 설명한 모든 내용을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
또한, 본 발명은 회절 광학 소자와 카메라 장치를 이용하여 초분광 영상 재구성 시스템을 구현할 수도 있다. 즉, 상술한 회절 광학 소자와 도 5의 장치를 포함하는 카메라 장치를 이용하여 초분광 영상 재구성 시스템을 구현할 수 있다. 물론, 카메라 장치는 카메라로 한정하지 않으며, 회절 광학 소자를 통해 영상을 촬영할 수 있는 모든 종류의 장치를 포함할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매질 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매질에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매질에 기록될 수 있다. 상기 컴퓨터 판독 가능 매질은 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매질에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매질의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매질(magnetic media), CD-ROM, DVD와 같은 광기록 매질(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매질(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및
    상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계
    를 포함하는 초분광 영상 재구성 방법.
  2. 제1항에 있어서,
    상기 회절 광학 소자는
    스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  3. 제1항에 있어서,
    상기 초분광 영상을 재구성하는 단계는
    상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  4. 제3항에 있어서,
    상기 뉴럴 네트워크는
    상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  5. 제1항에 있어서,
    상기 초분광 영상을 재구성하는 단계는
    점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  6. 제5항에 있어서,
    상기 초분광 영상을 재구성하는 단계는
    상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  7. 제3항에 있어서,
    상기 뉴럴 네트워크는
    다상 뉴럴 네크워크를 포함하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  8. 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 수신부; 및
    상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 재구성부
    를 포함하는 초분광 영상 재구성 장치.
  9. 제8항에 있어서,
    상기 회절 광학 소자는
    스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  10. 제8항에 있어서,
    상기 재구성부는
    상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  11. 제10항에 있어서,
    상기 뉴럴 네트워크는
    상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  12. 제8항에 있어서,
    상기 재구성부는
    점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  13. 제12항에 있어서,
    상기 재구성부는
    상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  14. 제10항에 있어서,
    상기 뉴럴 네트워크는
    다상 뉴럴 네크워크를 포함하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  15. 회절 광학 소자(diffractive optical element); 및
    상기 회절 광학 소자를 통과하여 영상을 촬영하고, 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 촬영된 영상에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 카메라 장치
    를 포함하는 초분광 영상 재구성 시스템.
  16. 제15항에 있어서,
    상기 회절 광학 소자는
    스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
  17. 제15항에 있어서,
    상기 카메라 장치는
    상기 파장 별 점분포함수 정보, 상기 촬영된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
  18. 제15항에 있어서,
    상기 카메라 장치는
    점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
PCT/KR2020/001346 2019-01-29 2020-01-29 렌즈리스 초분광 영상 이미징 방법 및 그 장치 WO2020159223A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FIEP20748181.3T FI3832359T3 (fi) 2019-01-29 2020-01-29 Menetelmä ja laite linssittömän hyperspektraalisen kuvan kuvantamiseksi
EP20748181.3A EP3832359B1 (en) 2019-01-29 2020-01-29 Method and device for imaging of lensless hyperspectral image
US17/272,542 US20210350590A1 (en) 2019-01-29 2020-01-29 Method and device for imaging of lensless hyperspectral image

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2019-0010977 2019-01-29
KR20190010977 2019-01-29
KR10-2019-0071347 2019-06-17
KR1020190071347A KR20200094058A (ko) 2019-01-29 2019-06-17 렌즈리스 초분광 영상 이미징 방법 및 그 장치
KR1020190096565A KR102269229B1 (ko) 2019-01-29 2019-08-08 렌즈리스 초분광 영상 이미징 방법 및 그 장치
KR10-2019-0096565 2019-08-08

Publications (1)

Publication Number Publication Date
WO2020159223A1 true WO2020159223A1 (ko) 2020-08-06

Family

ID=71842318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/001346 WO2020159223A1 (ko) 2019-01-29 2020-01-29 렌즈리스 초분광 영상 이미징 방법 및 그 장치

Country Status (2)

Country Link
FI (1) FI3832359T3 (ko)
WO (1) WO2020159223A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700000A (zh) * 2020-12-11 2021-04-23 北京信息科技大学 一种光电混合深度卷积神经网络方法
CN114791669A (zh) * 2022-04-28 2022-07-26 中国科学院苏州纳米技术与纳米仿生研究所 大尺寸消色差超表面透镜及其设计方法、制造方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140268162A1 (en) * 2005-01-12 2014-09-18 John Farah Lensless imaging with reduced aperture
JP2017191071A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラム
US20180052050A1 (en) * 2015-03-24 2018-02-22 University Of Utah Research Foundation Imaging device with image dispersing to create a spatially coded image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140268162A1 (en) * 2005-01-12 2014-09-18 John Farah Lensless imaging with reduced aperture
US20180052050A1 (en) * 2015-03-24 2018-02-22 University Of Utah Research Foundation Imaging device with image dispersing to create a spatially coded image
JP2017191071A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHINMAY BELTHANGADY, LOIC A. ROYER: "Applications, Promises, and Pitfalls of Deep Learning for Fluorescence Image Reconstruction", PREPRINTS, 11 December 2018 (2018-12-11), San Francisco, USA, pages 1 - 14, XP055726136, Retrieved from the Internet <URL:https://www.preprints.org/manuscript/201812.0137/v1> [retrieved on 20200424] *
JIAMIN WU ET AL: "Snapshot Hyperspectral Volumetric Microscopy", SCIENTIFIC REPORTS, vol. 6, no. 1, 22 April 2016 (2016-04-22), pages 24624, XP055726140, Retrieved from the Internet <URL:https://www.nature.com/articles/srep24624> [retrieved on 20200424] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700000A (zh) * 2020-12-11 2021-04-23 北京信息科技大学 一种光电混合深度卷积神经网络方法
CN114791669A (zh) * 2022-04-28 2022-07-26 中国科学院苏州纳米技术与纳米仿生研究所 大尺寸消色差超表面透镜及其设计方法、制造方法

Also Published As

Publication number Publication date
FI3832359T3 (fi) 2023-04-25

Similar Documents

Publication Publication Date Title
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
WO2020159223A1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
WO2019059632A1 (ko) 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
WO2016048108A1 (en) Image processing apparatus and image processing method
WO2016145602A1 (en) Apparatus and method for focal length adjustment and depth map determination
WO2019124652A1 (en) Electronic apparatus and control method thereof
WO2018066868A1 (ko) 3차원 형상 측정 장치 및 그의 측정 방법
WO2021162359A1 (en) Image processing method and electronic apparatus
Correa et al. Multiple snapshot colored compressive spectral imager
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
WO2016200013A1 (ko) 광학 장치 및 깊이 정보 생성 방법
WO2021075799A1 (ko) 이미지 처리 장치 및 이미지 처리 방법
WO2020101380A1 (ko) 광학식 피부질환 진단장치
WO2022103121A1 (en) Electronic device for estimating camera illuminant and method of the same
WO2022124607A1 (en) Depth estimation method, device, electronic equipment and computer readable storage medium
WO2022092451A1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
WO2021091282A1 (ko) 3차원 진단 시스템
WO2020105954A1 (ko) 가변파장의 피부 영상 정보를 이용한 휴대용 피부질환 진단장치
WO2023106723A1 (ko) 영상 융합을 위한 신경 프로세싱 유닛 및 인공신경망 시스템
Picone et al. Joint demosaicing and fusion of multiresolution coded acquisitions: A unified image formation and reconstruction method
WO2022065981A1 (ko) 동영상 처리 장치 및 방법
WO2020076026A1 (ko) 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
WO2020085758A1 (ko) 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치
WO2023090569A1 (ko) 영상 처리 장치 및 그 동작 방법
Li et al. Robust estimation of spectral reflectance by a projector-camera system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20748181

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020748181

Country of ref document: EP

Effective date: 20210303

WWE Wipo information: entry into national phase

Ref document number: 20748181.3

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE