KR20200094058A - 렌즈리스 초분광 영상 이미징 방법 및 그 장치 - Google Patents

렌즈리스 초분광 영상 이미징 방법 및 그 장치 Download PDF

Info

Publication number
KR20200094058A
KR20200094058A KR1020190071347A KR20190071347A KR20200094058A KR 20200094058 A KR20200094058 A KR 20200094058A KR 1020190071347 A KR1020190071347 A KR 1020190071347A KR 20190071347 A KR20190071347 A KR 20190071347A KR 20200094058 A KR20200094058 A KR 20200094058A
Authority
KR
South Korea
Prior art keywords
image
hyperspectral
hyperspectral image
spectral
optical element
Prior art date
Application number
KR1020190071347A
Other languages
English (en)
Inventor
김민혁
전석준
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190096565A priority Critical patent/KR102269229B1/ko
Priority to PCT/KR2020/001346 priority patent/WO2020159223A1/ko
Priority to FIEP20748181.3T priority patent/FI3832359T3/fi
Priority to US17/272,542 priority patent/US20210350590A1/en
Priority to EP20748181.3A priority patent/EP3832359B1/en
Publication of KR20200094058A publication Critical patent/KR20200094058A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/18—Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

렌즈리스 초분광 영상 이미징 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계를 포함하고, 상기 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.

Description

렌즈리스 초분광 영상 이미징 방법 및 그 장치 {Lensless Hyperspectral Imaging Method and Apparatus Therefore}
본 발명은 초분광 이미징 기술에 관한 것으로서, 상세하게는 회절 광학 소자(DOE; diffractive optical element)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수(PSF; point spread function)의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역 예를 들어, 파장 별 스펙트럼 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있는 초분광 이미징 방법 및 그 장치에 관한 것이다.
초분광 영상은 생물의학 검사, 재료 분류, 재료 외관 획득, 디지털 유산 보존, 법의학 등 다양한 센싱 어플리케이션에 활용되어 왔다. 기하학적 광학에 기초하여, 다양한 초분광영상 시스템은 동적인 오브젝트의 스냅샷을 위해 발전해왔고, 과도하게 큰 폼 팩터를 초래하는 다양한 광학 소자 예를 들어, 분산적 광학 소자(예를 들어, 프리즘 또는 회절 격자), 코드화된 조리개 마스크, 다수의 릴레이 렌즈 그리고 객체 영상 시스템을 포함한다.
지난 10년 동안 인간의 시력을 넘어 물리적으로 의미 있는 영상을 가능케 하기 위해 초분광영상이 광범위하기 연구되어 왔다. 종래 방법은 스펙트럴 스캐닝, 컴퓨터 단층 촬영 영상 그리고 스냅샷 압축 영상 등 세 가지 유형으로 분류할 수 있다. 프리즘이나 회절 격자와 같은 분산 광학 소자에 기초한 스캐닝 기반 접근법은 각 파장의 빛을 소위 위스크브룸(whiskbroom) 또는 푸시브룸(pushbroom) 스캐너라고 불리는 슬릿(slit)을 통해 포착할 수 있다. 스캐닝은 높은 공간 및 스펙트럼 해상도를 산출하지만, 목표 객체는 정적 오브젝트 혹은 원격 장면으로 제한된다.
컴퓨터 단층 촬영 영상 분광 측정(CTIS; Computed tomography imaging spectrometry)은 스캐닝 방법의 제한을 완화하기 위해 도입되었으며, 이것은 영상과 릴레이 렌즈를 가지는 회절 격자를 사용한다. 회절 격자는 컴퓨터 단층 촬영의 공간 해상도를 희생시키면서 콜리메이트된 입사광을 서로 다른 방향에서 다른 회절 패턴으로 분할한다.
코드화된 조리개 스냅샷 스펙트럴 영상(CASSI; Coded aperture snapshot spectral imaging)은 동적인 오브젝트를 캡쳐하기 위해 도입되었다. 분산형 광학 소자는 스펙트럴 또는 공간 스펙트럴 신호를 코드화하기 위해 릴레이 렌즈를 통해 코드화된 조리개와 결합된다. 압축 입력은 이후 재구성된다. 이 두 가지 유형의 스냅샷 스펙트럴 영상은 모두 빛을 콜리메이트하고 분산(또는 CASSI의 경우 빛을 변조)시키기 위해 몇 가지 기하학적 광학 소자를 필요로 하며, 이는 그들을 부피가 크고 실제로 다루기 어렵게 만든다. 최근 일 실시예의 종래 기술에서 이동성을 향상시키기 위한 컴팩트 스펙트럴 영상법을 소개하였으나, 이 방법은 여전히 기하학적 광학 소자에 기초하고 있기에 DSLR카메라 앞에 프리즘을 부착해야 한다. 전체적인 광학 시스템은 모바일 기기에 적용하기에는 크다.
회절 격자와 같은 회절 광학 소자는 회절 효율로 인해 전통적인 초분광 이미저 또는 분광측정기에 흔히 사용되어 왔다. 최근 일 실시예의 종래 기술은 전형적인 베이어 패턴(Bayer pattern) 컬러 필터가 없는 다색상 영상을 위한 몇 가지 회절 필터 배열을 선보였으나 이러한 회절 광학 소자는 추가 영상 렌즈가 있는 기하학적 광학 시스템을 통해 설치되어야 한다.
전통적인 회절 영상은 색수차로 인한 단일 파장의 단색(또는 일정한) 빛을 위해 고안되었다. 최근에, 회절 RGB영상법은 일정하지 않은 조도의 조명에 대해서도 도입되었다. 종래 일 실시예에 따른 기술은 전체 가시 스펙트럼 상에서 변하지 않는 등방위성 PSF를 만들어 색수차가 생기지 않는 무색의 프레넬 렌즈를 선보였으며, 종래 다른 일 실시예에 따른 기술 또한 두 개의 회절 광학계의 기계적 배열상의 초점 길이와 줌과 같은 조정 가능한 광학 파라미터를 가진 회절 RGB 영상을 선보였다. 종래 또 일 실시예에 따른 기술은 코드화된 조리개의 회절을 이용한 렌즈 없는 영상 센서를 도입하였다. 고정된 거리에 있는 대상 오브젝트는 세 개 체널의 RGB 영상으로 캡쳐할 수 있다. 종래 또 일 실시예에 따른 기술은 경사 기반 최적화 프레임워크를 채택하여 회절 광학 소자의 엔드 투 엔드 최적화 방법을 제안하였다. 지금까지의 기존 회절 영상의 경우, 종래 기술들은 RGB 영상에 집중하여 포커스를 강화함으로써, 전체 가시 스펙트럼의 올인 포커스(all-in-focus) 영상을 포착하였다.
회절 광학 소자에 의해 만들어진 점분포함수(PSF)는 파장과 깊이 둘 다에 따라 모양이 바뀐다. 예를 들어, 종래 일 실시예의 기술은 깊이가 변할 때 PSF가 회전하며, 이 특성은 단색 조명 하에서 깊이 영상화를 가능케 한다는 것을 발견하였으며, 종래 다른 일 실시예의 기술은 회절로 캡쳐한 스냅샷으로부터 라이트 필드(light field)를 캡쳐한다. 광학 소자의 PSF는 깊이에 따라 달라지는 부식성(caustic) 패턴이다. 종래 또 다른 일 실시예의 기술은 프레넬 존 조리개를 도입하여 조도가 일정하지 않은 빛으로도 PSF의 깊이 변형을 이용해 라이트 필드를 포착하였다. 이 방법들은 PSF의 깊이 의존성을 이용하여 깊이 또는 라이트 필드를 포착한다.
기존의 RGB카메라와는 달리 스냅샷 스펙트럴 이미저는 고밀도 스펙트럴 샘플의 압축 신호를 캡쳐하는데, 이 신호는 후 프로세스(post process)에 의해 재구성되어야 한다. 초분광 재구성은 단색적이고 인코딩된 영상에서 나오는 고밀도 스펙트럴 정보로 심각하게 오류가 있는 문제이기 때문에 총변이(TV; total variation) l1-놈 규칙(norm regularization) 또는 미리 트레이닝된 사전(pretrained dictionary)과 같은 특정 내츄럴(natural) 영상 프라이어와 데이터 정확도 항목을 정의함으로써 몇 가지 최적화 접근법이 제안되어 왔다. 이러한 접근법의 일반적인 특징은 재구성된 결과에서의 공간 분해능과 스펙트럴 정확도 사이의 트레이드오프(tradeoff)이다. 이러한 트레이드오프를 완화하기 위한 종래 일 실시예의 기술은 자동 인코더 네트워크를 사용하여 트레이닝된 데이터 구동(data-driven) 프라이어를 제안했고, 종래 다른 일 실시예의 기술은 컨볼루션 희소 코딩(sparse coding)을 초분광 프라이어로 이용했다. 이들은 내츄럴 초분광 영상의 데이터 구동을 수단으로 사용함으로써 문제의 오류를 감소시켰다. 그러나 이들의 재구성은 영상 재구성 프레임워크와는 별도로 내츄럴 스펙트럴 프라이어를 트레이닝했기에 전체적으로 엔드 투 엔드 최적화 솔루션은 아니다.
본 발명의 실시예들은, 회절 광학 소자(DOE; diffractive optical element)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있는 초분광 이미징 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계를 포함한다.
상기 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.
상기 초분광 영상을 재구성하는 단계는 상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 뉴럴 네트워크는 상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성할 수 있다.
상기 초분광 영상을 재구성하는 단계는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 초분광 영상을 재구성하는 단계는 상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 뉴럴 네트워크는 다상 뉴럴 네크워크를 포함할 수 있다.
본 발명의 일 실시예에 따른 초분광 영상 재구성 장치는 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 수신부; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 재구성부를 포함한다.
상기 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.
상기 재구성부는 상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 뉴럴 네트워크는 상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성할 수 있다.
상기 재구성부는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 재구성부는 상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 뉴럴 네트워크는 다상 뉴럴 네크워크를 포함할 수 있다.
본 발명의 일 실시예에 따른 초분광 영상 재구성 시스템은 회절 광학 소자(diffractive optical element); 및 상기 회절 광학 소자를 통과하여 영상을 촬영하고, 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 촬영된 영상에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 카메라 장치를 포함한다.
상기 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.
상기 카메라 장치는 상기 파장 별 점분포함수 정보, 상기 촬영된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성할 수 있다.
상기 카메라 장치는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 촬영된 영상에 대한 초분광 영상을 재구성할 수 있다.
본 발명의 실시예들에 따르면, 회절 광학 소자(DOE)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있다.
본 발명의 실시예들에 따르면, 초분광 정보를 획득할 수 있는 소형 초분광 카메라 두 대를 이용하여 물체의 거리를 추정함으로써, 3차원 영상을 생성할 수도 있다.
본 발명의 실시예들에 따르면, 렌즈리스를 시스템을 이용하여 초분광 관측을 수행할 수 있기 때문에 기존의 초분광 관측 시스템과 비교하여 크기를 매우 작게 만들 수 있고, 이러한 장점 덕분에 사용성의 편리성을 크게 증대시킬 수 있다.
즉, 본 발명은 회절 광학 소자를 통해서 일반 렌즈의 두께보다 얇은 회절 광학 패턴을 제작하고, 이렇게 기존 카메라의 광학 요소보다 훨씬 작은 크기의 광학 구성을 이용하여 렌즈리스 카메라, 즉, 렌즈가 없는 카메라를 만들 수 있다.
이러한 본 발명은 네온 사인, 나트륨 등, 할로겐 전구 등의 특수한 조명에서의 물체 표현을 정확하게 만들 수 있으며, 초박형 카메라로의 크기 최적화를 통해 웨어러블 장비, 사물인터넷 장비로의 이식이 가능하고, 비침습적 검사 특성을 이용한 헬스케어 서비스, 웨어러블 초분광 획득 장비를 이용한 증강 현실(AR) 등에게 적용시킬 수 있다.
도 1은 본 발명에 따른 방법과 기존 방법들을 비교한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 본 발명의 뉴럴 네트워크 아키텍쳐에 대한 일 예시도를 나타낸 것이다.
도 4는 도 3에 도시된 프라이어 네트워크에 대한 일 예시도를 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 초분광 영상 재구성 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
기존의 스냅샷 초분광영상 시스템은 여러 광학적 요소 예를 들어, 프리즘, 코드화된 조리개, 다수의 릴레이 렌즈, 영상 렌즈 등을 포함하여 과도하게 큰 폼 팩터(form factor)를 초래한다.
기존 스냅샷 초분광영상 시스템에서 이러한 이동성의 한계를 극복하기 위해, 본 발명은 최근 회절 광학 기술의 진보에 기초해 초분광영상을 위한 대체적이고 최소의 광학 시스템을 모색한다. 이를 위해, 초분광영상의 일반적인 광학 소자를 전형적인 베어 영상 센서에 직접 부착할 수 있는 단일 회절 광학 소자(DOE)로 대체하는 컴팩트 스냅샷 초분광 영상 방법을 제안한다. 본 발명은 도 1a에 도시된 바와 같이, DOE를 이용하기 때문에 많은 광학적 요소들을 피할 수 있고 폼 팩터에 미치는 영향이 미미하여 일반적인 사용자가 자유롭게 초분광영상을 캡쳐할 수 있다. 즉, 본 발명은 단일 회절 광학 소자를 사용하여 연속적인 분산으로 스냅샷을 캡쳐해 스냅샷 스펙트럼 영상을 가능하게 한다.
단일 회절 영상 렌즈를 사용하여 초분광영상을 캡쳐하기 위해서는 두 가지 주요 기술적 과제가 있다. 첫째, 파장에 따라 등방성의 점분포함수(PSF)의 크기가 달라지는 물리적인 현상으로 인해 색수차가 심해지기 때문에 조도가 일정하지 않은 환경에서 기존의 회절 렌즈는 풀-스펙트럼 영상 촬영에 적합하지 않다. 둘째, 분산에 대한 회절 요소가 없고 코드화된 조리개 마스크가 없기 때문에 DOE를 통한 스펙트럴 신호는 널리 퍼지며, 스펙트럴 재구성을 위한 대형 커널(kernel)의 디컨볼루션을 요구한다. 따라서, 스펙트럴 재구성상의 오류는 전형적인 압축 스펙트럴 영상 설정보다 회절 영상 설정에서 훨씬 더 크게 증가한다.
이러한 과제를 해결하기 위해, 본 발명은 다음과 같은 기여를 한다.
첫째, 스펙트럴 영상 광학의 폼 팩터를 최소화하기 위해, 초분광영상에 대한 분산과 영상의 두 가지 주요 함수를 단일 회절 광학 소자로 결합하는 새로운 설계를 도입한다. 본 발명은 프레넬(Fresnel) 회절의 파장 의존성을 활용하여 DOE디자인이 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성한다. 전통적인 프레넬 렌즈와는 달리 PSF크기는 사실상 변하지 않지만, 대신 빛의 파장이 변함에 따라 PSF모양이 회전한다. 비등방성 PSF의 스펙트럴에 따른 회절 회전 특성은 스펙트럴 재구성의 결정적인 신호이다.
둘째, 엔드 투 엔드 재구성 네트워크를 고안하여 일반적 광학 소자의 부재로 인해 증가된 스펙트럴 재구성의 오류를 완화한다. 본 발명에서의 네트워크는 스펙트럴에 따라 변하는 점분포함수(PSF)를 처리하는 공간 스펙트럴 프라이어(prior)를 갖는 조건 최적화 절차로부터 설계될 수 있다. 구체적으로는, 본 발명은 내츄럴 스펙트럴 영상의 공간 스펙트럴 특성을 학습하는 데이터 구동(data-driven) 프라이어 최적화 고안 네트워크 솔루션을 설계함으로써, 회절 회전으로부터 강력한 엔드 투 엔드 초분광 재구성을 가능하게 할 수 있다.
이것은 개별 선정된(hand-crafted) 프라이어를 가지는 기존 최적화 방법을 적용하는 대신, 회절 회전으로부터 스펙트럴 정보를 충실히 재구성한다. 요약하자면, 본 발명의 세 가지 새로운 기여는 다음과 같다.
(1) 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 유도하는 회절 영상 렌즈를 도입하여 단일 DOE로 영상과 분산을 달성한다.
(2) 공간 스펙트럴 프라이어를 가지는 최적화 고안 재구성 네트워크를 개발함으로써, 회절 영상 설정에서 스펙트럴 재구성의 오류를 완화한다.
(3) DOE를 기초로 광학 시스템의 최소 폼 팩터를 가진 회절 영상 시스템을 제안하며, 이는 기존 시스템의 것보다 더 얇다.
도 1은 본 발명의 일 실시예에 따른 초분광 이미징 방법을 설명하기 위한 것으로, 본 발명은 기존 베어 영상 센서에 새로운 회절 광학 소자(DOE; diffractive optical element)를 부착한 컴팩트 스냅샷 초분광 이미징 방법에 대한 것이다.
본 발명의 초분광 이미징 방법은 초분광영상의 일반적인 광학 소자들 예를 들어, 프리즘, 코드화된 마스크, 릴레이 및 영상 렌즈 들을 단일 광학 소자로 대체하고, 본 발명의 방법에서의 회절 영상 렌즈는 기존의 초분광 광학 시스템의 렌즈보다 더 얇으며, 본 발명의 렌즈 설계는 스펙트럼에 따른 점분포함수로부터 추출된 스펙트럼 정보를 복원할 수 있는 데이터 구동 스펙트럼 재구성 방법과 결합될 수 있다.
도 1a는 울트라씬(untralthin) DOE(diffractive optical element)가 설치된 DSLR 카메라를 나타낸 것이고, 도 1b는 실제 입력으로부터 생성된 재구성 초분광 영상에 대한 일 예시도를 나타낸 것이며, 도 1c는 파장 별로 측정된 스펙트럴에 따라 변하는 점분포함수를 나타낸 것이고, 도 1d는 캡쳐된 스펙트럴 채널들을 나타낸 것이며, 도 1e는 실측값(Ground Truth)과 비교된 컬러체커(ColorChecker)의 두 패치에 대한 스펙트럴 플롯을 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명은 단일 DOE를 이용하여 파장 별로 스펙트럴에 따라 변하는 점분포함수(PSF)를 분석하고, 스펙트럴에 따라 변환하는 점분포함수(PSF)를 처리하는 공간 스펙트럴 프라이어(prior) 예를 들어, U-Net 구조의 뉴럴 네트워크를 이용하여 초분광 정보를 획득함으로써, 단일 DOE를 이용하여 초분광 영상을 획득할 수 있다.
도 2는 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 방법은 단일 회절 광학 소자(DOE)를 통과하여 촬영된 영상을 수신하는 단계(S210)와 미리 설정된 파장 별 점분포함수(PSF) 정보와 미리 설정된 학습 모델로 학습된 뉴럴 네트워크에 기초하여 수신된 영상에 대한 초분광 영상을 재구성하는 단계(S220)를 포함한다.
여기서, 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있으며, 본 발명의 방법은 이러한 회절 광학 소자를 통과하여 촬영된 영상을 수신하고, 수신된 영상과 미리 학습된 뉴럴 네트워크에 기초하여 영상에 대한 초분광 영상을 재구성할 수 있다.
이러한 본 발명에 따른 방법을 도 3 내지 도 4를 참조하여 상세히 설명하면 다음과 같다.
회절 모델(diffraction model)
본 발명은 회절 모델을 설명하기 위하여 프레넬 회절의 기초를 다룬다. 회절 영상을 위한 본 발명에서의 회절 모델을 설명하면 다음과 같다. 파동 필드(wave field)를 방출하고 카메라에 빛을 비추는 점 광원을 센싱 깊이 z에서의 회절 렌즈와 베어 영상 센서로 구성되어있다 가정한다. 소스에서 전파되는 파동 필드를 영상화할 때, 파장 λ
Figure pat00001
의 점분포함수 pλ(x, y)는 센서의 강도 영상(intensity image)를 의미한다.
진폭 A, 위상 φ0, 및 파장 λ을 갖는 DOE 좌표계의 위치 (x', y')에서의 단색 입사 파동 필드 u0이 회절 광학 소자를 통과한다 가정하면, 위치 (x', y')에서의 단색 입사 파동 필드 u0는 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
Figure pat00002
위상 쉬프트 φh는 DOE에 의해 발생한다. DOE를 통과한 파동 필드 u1는 아래 <수학식 2>와 같이 나타낼 수 있다.
[수학식 2]
Figure pat00003
위치 (x', y')에서 위상 쉬프트 φh는 DOE의 높이 프로파일(height profile) h(x', y')에 의해 결정되며, 위치 (x', y')에서 위상 쉬프트 φh는 아래 <수학식 3>과 같이 나타낼 수 있다.
[수학식 3]
Figure pat00004
여기서,
Figure pat00005
는 파장 λ당 공기와 DOE 기판(substrate)의 회절 지수들 간의 차이를 의미할 수 있다.
파동 필드가 영상 센서에 도달하면, DOE상 깊이 z에 있는 센서 플레인의 파동 필드 u2(x', y')는 프레넬 회절 법칙에 의해 파동 필드 u1(x', y')로부터 얻어질 수 있으며, λ << z인 경우 u2(x', y')는 아래 <수학식 4>와 같이 나타낼 수 있다
[수학식 4]
Figure pat00006
여기서, k=2π/λ는 파동의 공간 주파수라고도 불리우는 파수(wavenumber)를 의미할 수 있다.
평면파 가정(plane wave assumption): 본 발명은 광학 시스템으로 무한대로 작동하도록 설계한다. 이러한 설정에서 광학 축을 따른 광원으로부터 나온 입사광은 상수 진폭 A와 상수 위상 φ0를 갖는 평면파
Figure pat00007
로 표현될 수 있으며, 이것은 DOE를 설계하는 수학적 복잡성을 완화시켜준다. 센서 플레인 상의 입사 파동 필드 u2는 상기 수학식 2와 수학식 4로부터 획득될 수 있으며, 아래 <수학식 5>와 같이 나타낼 수 있다
[수학식 5]
Figure pat00008
PSF pλ(x, y)는 파동 필드 u2의 제곱근 값의 강도를 의미할 수 있다.
마지막으로 점 광(또는 조명)(point light)이 주어지면, 푸리에 변환에서 프레넬 적분을 나타냄으로써, pλ(x, y)는 아래 <수학식 6>과 같이 공식화될 수 있다.
[수학식 6]
Figure pat00009
회절 초분광영상(diffractive hyperspectral imaging)
본 발명의 초분광 영상 방법은 기존의 초분광 영상법과는 달리, 단일 광학 소자와 기존의 베어 영상 센서로 구성된다. 본 발명에서의 회절 광학 소자는 초분광 이미저의 폼 팩터를 크게 줄일 수 있도록 초분광영상의 일반적인 광학 소자들 예를 들어, 분산 광학 소자, 코드화된 조리개 및 릴레이 렌즈 등을 단일 DOE로 대체한다. 반면, 본 발명의 최소, 광학 구성은 압축 입력으로부터 초분광 영상을 재구성하는데 어려움을 격는다. 왜냐하면, 초분광영상의 핵심적인 광학 소자 예를 들어, 분산형 요소와 코드화된 조리개의 부재로 인해 스펙트럴 재구성의 오류가 현저히 증가하기 때문이다. 본 발명은 DOE에 의한 점분포함수가 스펙트럴 파장에 따라 변화하고 스펙트럴에 따라 변화하는 PSF의 비등방성 형상을 변하지 않는 크기로 회전시키는 회절 광학 소자의 새로운 설계를 도입하여 오류를 완화시킬 수 있다. 이러한 설계는 스펙트럴 재구성의 중요한 신호가 될 수 있다.
스펙트럼 영상 형성
본 발명은 내츄럴하게 조도가 일정하지 않은 상황에서 기존의 RGB영상 센서로 초분광 영상을 캡쳐하는 것이다. 따라서 본 발명에서의 영상 형성은 컬러 필터를 통한 카메라 반응 함수를 포함하지만, 단색 센서의 양자 효율(quantum efficiency) 함수는 대체적으로 사용할 수 있다. 센서 Jc(x, y)에 포착된 RGB영상에서 스펙트럴에 따라 변하는 점분포함수 pλ(x, y)으로 초분광 영상 Iλ(x, y)을 캡쳐하고 센서에 각 컬러 채널
Figure pat00010
에 대한 센서 스펙트럼 감도 함수 Ωc(x, y)가 있다고 가정한다. 캡쳐된 영상 Jc는 아래 <수학식 7>과 같이 나타낼 수 있다.
[수학식 7]
Figure pat00011
스펙트럴 영상 형성 모델은 아래 <수학식 8>와 같이 간단하게 나타낼 수 있다.
[수학식 8]
Figure pat00012
여기서, *는 컨벌루션 연산자를 의미할 수 있다.
본 발명은 영상 형성 모델을 이산 벡터와 행렬 형태로 나타낼 수 있다.
Figure pat00013
를 원래의 초분광 영상 벡터라 하고,
Figure pat00014
를 캡쳐한 RGB영상 벡터라 하며, W, H와 Λ는 각각 스펙트럴 영상의 폭, 높이 및 파장 채널의 수를 의미한다. 센서 감도 Ωc(λ)와 PSF pλ(x, y)에 의한 컨볼루션은 각각 행렬
Figure pat00015
와
Figure pat00016
로 나타낼 수 있다. 측정 행렬
Figure pat00017
는 Ω와 P의 곱(product)이다. 상기 수학식 8의 연속적인 영상 형성 모델은 이산 행렬 형태로 나타낼 수 있으며, 아래 <수학식 9>와 같이 나타낼 수 있다.
[수학식 9]
Figure pat00018
회절에서의 스펙트럴 재구성
본 발명의 스펙트럴 재구성 문제는 다음과 같은 두 가지 하위 문제들을 해결하는 것이다. 첫째, 입력 데이터를 캡쳐할 때 각 스펙트럴 채널은 스펙트럴에 따라 변하는 점분포함수로 연결된다. 따라서 비시각적(non-blind) 디컨볼루션은 명확한 스펙트럴 채널을 재구성할 필요가 있다. 둘째, 전체 가시 스펙트럼의 흐릿한 스펙트럴 채널도 영상 센서의 3개의 컬러 채널(단색 센서의 경우 1개의 채널)에 투사된다. 이러한 두 가지 역 문제(inverse problem)의 조합은 스펙트럴 재구성의 예측 오류를 크게 증가시킨다. 기존 스펙트럴 재구성 방법은 주로 내츄럴 스펙트럴 영상의 프라이어 정보를 학습하고, 개별 선정된(hand-crafted) 프라이어로 초분광 영상을 재구성하는 최적화 문제를 공식화하는 데이터 구동 접근법을 취한다. 이들은 완전한 엔드 투 엔드 솔루션은 아니며 또한 최적화 프로세스에 많은 계산 비용이 필요하다. 본 발명은 회절 회전을 설명하는 공간 스펙트럴 프라이어를 갖는 최적화 프로세스로부터 고안하여 완전한 엔드 투 엔드 재구성 방법을 강구한다.
최적화 유도 네트워크(Optimization-Inspired Network)
상기 수학식 9에서 WH3 << WHΛ이기 때문에 본 발명의 초분광 영상 재구성 문제는 심각히 불충분한 시스템이다. 입력 측정을 만족시키는 솔루션이 많이 있을 수 있다. 초분광 영상
Figure pat00019
를 재구성하기 위해 스펙트럴 재구성의 객관적 함수는 다음과 같은 데이터 항목과 더불어 내츄럴 스펙트럴 영상의 프라이어를 필요로 하며, 초분광 영상은 아래 <수학식 10>과 같이 나타낼 수 있다.
[수학식 10]
Figure pat00020
여기서, R(.)는 내츄럴 영상의 알려지지 않은 프라이어 함수를 의미하며, τ는 프라이어 항목의 가중 파라미터를 의미할 수 있다.
이러한 정규화 항목은 최적화에 있어서 반드시 구별할 수 있는 것이 아니므로, 보조 변수
Figure pat00021
를 도입하여 제한된 최적화 문제로서 상기 수학식 10을 재공식화함으로써, 데이터 항목과 정규화 항목을 분리할 수 있으며, 이를 아래 <수학식 11>과 같이 나타낼 수 있다.
[수학식 11]
Figure pat00022
HQS(half-quadratic splitting) 방법은 상기 수학식 11을 제약 없는 최적화 문제로 전환시킬 수 있으며, 아래 <수학식 12>과 같이 나타낼 수 있다.
[수학식 12]
Figure pat00023
여기서, ξ는 패널티 파라미터를 의미할 수 있다.
상기 수학식 12는 아래 <수학식 13>과 <수학식 14>로 분할하여 해결할 수 있다.
[수학식 13]
Figure pat00024
[수학식 14]
Figure pat00025
상기 수학식 13은 2차 최적화 문제로, 아래 <수학식 15>과 같이 일반화된 티호노프(Tikhonov) 정규화 방법에 의해 반복적으로 해결할 수 있다.
[수학식 15]
Figure pat00026
여기서,
Figure pat00027
은 단위 행렬을 의미할 수 있다.
스펙트럴 영상의 측정 행렬은 매우 크기에, 상기 수학식의 역 파트의 계산은 많은 계산 비용을 요구한다. 이러한 비용 문제를 완화하기 위하여, 많은 반복이 필요한 상기 수학식 13을 해결하는 대신 컨쥬게이트 경사 방법(conjugate gradient method)을 대체적으로 채택할 수 있다. 이러한 방법으로, l번째 반복의 솔루션은 아래 <수학식 16>과 같이 나타낼 수 있다.
[수학식 16]
Figure pat00028
여기서,
Figure pat00029
를 의미하며, ε는 경사 하강 스텝 크기를 의미할 수 있다.
각각의 최적화 반복 단계에서, 초분광 영상 I(l+1)은 세 부분에서 업데이트 된다. 첫번째 부분은 I(l)과
Figure pat00030
를 곱하여 측정 행렬의 경사를 계산한다. 두번째 부분은 파라미터 ε에 의해 가중된
Figure pat00031
로부터 도출된다. 세번째 부분은 εξ로 가중된 프라이어 항목을 계산한다. 최적화 반복은 L번 반복된다. 도 3은 본 발명의 뉴럴 네트워크 아키텍쳐에 대한 일 예시도를 나타낸 것으로, 상술한 과정을 뉴럴 네트워크 아키텍쳐로 구성한 것으로, 도 3에 도시된 프라이어 네트워크를 포함하며, L번 반복 전개된 하위 네트워크 아키텍쳐의 체인으로 구성되며, 엔드 투 엔드 방식으로 파라미터를 정할 수 있다.
초분광 프라이어 네트워크
HQS알고리즘은 알려지지 않은(unknown) 정규화기(regularizer) R(.)로부터 측정 행렬을 분리하기 때문에 상기 수학식 14의 프라이어 항목은 근접 연산자(proximal operator)의 형태로 나타낼 수 있다. TV-l1 놈과 같이 개별 선정된(hand-crafted) 내츄럴 영상 프라이어를 사용하는 대신, 본 발명은 영상 프라이어 V(l+1)의 보조 파라미터를 산출하기 위해 소프트-쓰레스홀딩으로 상기 수학식 14를 해결하는 뉴럴 네트워크 함수 S(.)를 정의할 수 있으며, 아래 <수학식 17>과 같이 나타낼 수 있다.
[수학식 17]
Figure pat00032
본 발명은 다음의 두 가지 주요 목적으로 프라이어 네트워크 아키텍처를 고안한다. 첫째, 네트워크는 내츄럴 스펙트럼 영상의 공간 프라이어와 스펙트럴 프라이어 모두를 학습해야 한다. 둘째, 네트워크는 PSF의 회절 회전에 의한 스펙트럴 영상을 재구성해야 한다. 상대적으로 큰 커널로 디컨볼루션을 설명하기 위해, 본 발명은 다상 뉴럴 네트워크 예를 들어, 도 4에 도시된 바와 같이 U-net을 채택하여 보다 넓은 수용 분야를 커버하기 위해 멀티스케일 아키텍처 구조를 이용할 수 있다. 본 발명의 네트워크에서, 첫번째 컨볼루션 레이어는
Figure pat00033
필터를 사용하여 특성 크기 Γ의 텐서(Tensor)를 생산한다. 이후 네트워크는 최대 풀링(pooling)과 함께 컨트랙팅 경로(contracting path)를 가진 다중 스케일 특성을 생성하고 업-컨볼루션 레이어를 가진 확장(expansive) 경로를 생성한다. 각 레벨에서, 두 개의 컨볼루션 레이어는 공간 스펙트럴 특징을 인코딩한다. 스킵 연결을 사용함으로써, 스케일링된 특징이 상부 스케일 특징과 연쇄된다. 최종적으로,
Figure pat00034
필터 컨볼루션 레이어를 가진 본래의 초분광 큐브 크기의 텐서를 생성한다. 본 발명은 가중 파라미터와 최적화 파라미터 ε 및 ξ를 포함하는 엔드 투 엔드 학습법으로 전체 네트워크를 학습한다. 이러한 모든 파라미터들이 L번의 반복을 통해 각 스테이지에 대해 개별적으로 학습되는데, 이는 각 스테이지의 입력 품질이 증가함에 따라 단계의 입력 품질이 증가함에 따라 최적화 파라미터들은 적응적으로 업데이트되기 때문이다.
구체적으로, U-Net은 인코더와 디코더 및 이들의 연결로 구성된다. 인코더는 일반적으로 낮은 복잡도에서 높은 복잡도까지 영상 특징 맵의 계층 구조를 추출하는 반면, 디코더는 특징을 변환하고 낮은 해상도에서 높은 해상도까지 출력을 재구성한다. 인코더-디코더 스킵 연결은 디코더에서 핵심 역할을 수행하여 인코더에서 고해상도 특징을 추가 입력으로 사용함으로써 풀링 중 고주파 정보 손실을 보완한다.
여기서, U-Net은 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어(Conv), 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어(BN), 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 복수의 레이어들의 출력을 결합하는 채널 연결 레이어(channel concatenation layer) 또는 채널 합 레이어(channel sum layer)를 포함할 수 있으며, 각 스테이지는 3 × 3 커널들을 갖는 컨볼루션, 배치 노말라이제이션 및 ReLU 레이어들로 구성된 4개의 순차적인 레이어들을 포함할 수 있다.
그리고, 인코더와 디코더 간의 스킵 연결을 포함할 수 있다. 여기서, 스킵 연결은 풀링 중에 손실된 고주파를 보상할 수 있다. 물론, 본 발명에서의 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크 등 다양한 형태의 뉴럴 네크워크를 포함할 수 있다.
최근, 뉴럴 네트워크 형태로 기존의 ADMM과 ISTA 방법에 채택함으로써, ADMM-Net과 ISTA-Net 같은 많은 최적화 유도 재구성 방법이 제안되었다. 특히, 본 발명의 방법은 최근의 뉴럴 네트워크를 초분광 재구성 문제에 도입하는데, 이에는 3가지 주요한 차이점이 있다. 첫째, 본 발명의 스펙트럴 재구성 문제의 오류는 다른 것들 보다 크다. 왜냐하면 본 발명의 회전 PSF는 다른 일반적인 PSF보다 넓은 면적을 차지하기 때문이다. 이러한 특징들을 다루기 위해서, 본 발명은 지각적인 필드를 넓게 만들기 위해 U-net아키텍처를 가지는 공간-스펙트럴 프라이어 네트워크를 설계하고, 이를 소프트-쓰레스홀딩과 결합한다. 둘째, 개별 선정된 희소 프라이어(handcrafted sparsity prior)를 사용하는 대신, 내츄럴 스펙트럴 영상에서 직접적으로 알려지지 않은 공간 스펙트럴 프라이어를 학습한다. 그러기 위해, Tikhnov 정규화로 해결되는 HQS공식을 이용하여 차별화할 수 있도록 최적화 문제를 공식화한다. 마지막으로, 네트워크 학습 시 l1-놈 손실 함수를 이용하여 본 발명의 네트워크에서 희소 프라이어가 없는 것을 보완할 수 있다.
이와 같이, 본 발명의 실시예에 따른 방법은 회절 광학 소자(DOE)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 초분광 정보를 획득할 수 있는 소형 초분광 카메라 두 대를 이용하여 물체의 거리를 추정함으로써, 3차원 영상을 생성할 수도 있다.
또한, 본 발명의 실시예에 따른 방법은 렌즈리스를 시스템을 이용하여 초분광 관측을 수행할 수 있기 때문에 기존의 초분광 관측 시스템과 비교하여 크기를 매우 작게 만들 수 있고, 이러한 장점 덕분에 사용성의 편리성을 크게 증대시킬 수 있다. 즉, 본 발명은 회절 광학 소자를 통해서 일반 렌즈의 두께보다 얇은 회절 광학 패턴을 제작하고, 이렇게 기존 카메라의 광학 요소보다 훨씬 작은 크기의 광학 구성을 이용하여 렌즈리스 카메라, 즉, 렌즈가 없는 카메라를 만들 수 있다.
도 5는 본 발명의 일 실시예에 따른 초분광 영상 재구성 장치에 대한 구성을 나타낸 것으로, 카메라 장치에 대응된다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 초분광 영상 재구성 장치(700)는 수신부(710) 및 재구성부(720)를 포함한다.
수신부(710)는 회절 광학 소자를 통과하여 촬영된 영상을 수신한다.
여기서, 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.
재구성부(720)는 회절 광학 소자의 파장 별 점분포함수(PSF) 정보와 수신부(710)를 통해 수신된 영상에 기초하여 수신된 영상에 대한 초분광 영상을 재구성한다.
여기서, 재구성부(720)는 상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
이 때, 뉴럴 네트워크는 상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성할 수 있다. 이런 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크와 다상 뉴럴 네트워크 예를 들어, U-Net을 포함할 수 있다.
나아가, 재구성부(720)는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 수신된 영상에 대한 초분광 영상을 재구성할 수 있으며, 더 나아가 최적화 기법을 일정 횟수 이상 반복수행함으로써, 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.
도 5의 장치에서 그 설명이 생략되었더라도, 도 5의 장치는 도 1 내지 도 4의 방법에서 설명한 모든 내용을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
또한, 본 발명은 회절 광학 소자와 카메라 장치를 이용하여 초분광 영상 재구성 시스템을 구현할 수도 있다. 즉, 상술한 회절 광학 소자와 도 5의 장치를 포함하는 카메라 장치를 이용하여 초분광 영상 재구성 시스템을 구현할 수 있다. 물론, 카메라 장치는 카메라로 한정하지 않으며, 회절 광학 소자를 통해 영상을 촬영할 수 있는 모든 종류의 장치를 포함할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매질 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매질에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매질에 기록될 수 있다. 상기 컴퓨터 판독 가능 매질은 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매질에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매질의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매질(magnetic media), CD-ROM, DVD와 같은 광기록 매질(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매질(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및
    상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계
    를 포함하는 초분광 영상 재구성 방법.
  2. 제1항에 있어서,
    상기 회절 광학 소자는
    스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  3. 제1항에 있어서,
    상기 초분광 영상을 재구성하는 단계는
    상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  4. 제3항에 있어서,
    상기 뉴럴 네트워크는
    상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  5. 제1항에 있어서,
    상기 초분광 영상을 재구성하는 단계는
    점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  6. 제5항에 있어서,
    상기 초분광 영상을 재구성하는 단계는
    상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  7. 제3항에 있어서,
    상기 뉴럴 네트워크는
    다상 뉴럴 네크워크를 포함하는 것을 특징으로 하는 초분광 영상 재구성 방법.
  8. 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 수신부; 및
    상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 재구성부
    를 포함하는 초분광 영상 재구성 장치.
  9. 제8항에 있어서,
    상기 회절 광학 소자는
    스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  10. 제8항에 있어서,
    상기 재구성부는
    상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  11. 제10항에 있어서,
    상기 뉴럴 네트워크는
    상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  12. 제8항에 있어서,
    상기 재구성부는
    점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  13. 제12항에 있어서,
    상기 재구성부는
    상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  14. 제10항에 있어서,
    상기 뉴럴 네트워크는
    다상 뉴럴 네크워크를 포함하는 것을 특징으로 하는 초분광 영상 재구성 장치.
  15. 회절 광학 소자(diffractive optical element); 및
    상기 회절 광학 소자를 통과하여 영상을 촬영하고, 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 촬영된 영상에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 카메라 장치
    를 포함하는 초분광 영상 재구성 시스템.
  16. 제15항에 있어서,
    상기 회절 광학 소자는
    스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
  17. 제15항에 있어서,
    상기 카메라 장치는
    상기 파장 별 점분포함수 정보, 상기 촬영된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
  18. 제15항에 있어서,
    상기 카메라 장치는
    점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
KR1020190071347A 2019-01-29 2019-06-17 렌즈리스 초분광 영상 이미징 방법 및 그 장치 KR20200094058A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190096565A KR102269229B1 (ko) 2019-01-29 2019-08-08 렌즈리스 초분광 영상 이미징 방법 및 그 장치
PCT/KR2020/001346 WO2020159223A1 (ko) 2019-01-29 2020-01-29 렌즈리스 초분광 영상 이미징 방법 및 그 장치
FIEP20748181.3T FI3832359T3 (fi) 2019-01-29 2020-01-29 Menetelmä ja laite linssittömän hyperspektraalisen kuvan kuvantamiseksi
US17/272,542 US20210350590A1 (en) 2019-01-29 2020-01-29 Method and device for imaging of lensless hyperspectral image
EP20748181.3A EP3832359B1 (en) 2019-01-29 2020-01-29 Method and device for imaging of lensless hyperspectral image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190010977 2019-01-29
KR20190010977 2019-01-29

Publications (1)

Publication Number Publication Date
KR20200094058A true KR20200094058A (ko) 2020-08-06

Family

ID=72040297

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190071347A KR20200094058A (ko) 2019-01-29 2019-06-17 렌즈리스 초분광 영상 이미징 방법 및 그 장치
KR1020190096565A KR102269229B1 (ko) 2019-01-29 2019-08-08 렌즈리스 초분광 영상 이미징 방법 및 그 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020190096565A KR102269229B1 (ko) 2019-01-29 2019-08-08 렌즈리스 초분광 영상 이미징 방법 및 그 장치

Country Status (3)

Country Link
US (1) US20210350590A1 (ko)
EP (1) EP3832359B1 (ko)
KR (2) KR20200094058A (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066785A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 图像处理方法及装置、终端和存储介质
CN112229514B (zh) * 2020-09-27 2023-04-18 北京理工大学重庆创新中心 液晶高光谱计算成像系统的三维数据重构方法
KR20220100365A (ko) 2021-01-08 2022-07-15 한국전자통신연구원 신경망을 이용한 초분광 이미징 시스템
CN113705641B (zh) * 2021-08-16 2023-11-10 武汉大学 基于富上下文网络的高光谱图像分类方法
CN115797482A (zh) * 2021-09-10 2023-03-14 北京与光科技有限公司 光谱图像重建方法、光谱图像重建装置和电子设备
CN114967121B (zh) * 2022-05-13 2023-02-03 哈尔滨工业大学 一种端到端的单透镜成像系统设计方法
CN115291491B (zh) * 2022-08-01 2023-09-05 清华大学深圳国际研究生院 多波长相位恢复方法和图像重建方法
US20240085241A1 (en) * 2022-09-09 2024-03-14 Tunoptix, Inc. Optical meta-lens spectrometer to analyze spectral characteristics of light
CN116051896B (zh) * 2023-01-28 2023-06-20 西南交通大学 一种轻量化混合张量神经网络的高光谱图像分类方法
CN116704070B (zh) * 2023-08-07 2023-11-14 北京理工大学 联合优化的图像重建方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5576548A (en) * 1995-06-05 1996-11-19 University Of South Florida Nuclear imaging enhancer
US7385705B1 (en) * 2005-06-03 2008-06-10 Lockheed Martin Corporation Imaging spectroscopy based on multiple pan-chromatic images obtained from an imaging system with an adjustable point spread function
CA2742273A1 (en) 2008-11-04 2010-05-14 William Marsh Rice University Image mapping spectrometers
US9131221B2 (en) 2009-06-25 2015-09-08 Koninklijke Philips N.V. Stereoscopic image capturing method, system and camera
CN102687501A (zh) 2010-12-20 2012-09-19 松下电器产业株式会社 图像处理装置、摄像装置及图像处理方法
US9880053B2 (en) 2014-10-29 2018-01-30 Panasonic Intellectual Property Management Co., Ltd. Image pickup apparatus, spectroscopic system, and spectroscopic method
US11300449B2 (en) * 2015-03-24 2022-04-12 University Of Utah Research Foundation Imaging device with image dispersing to create a spatially coded image
WO2017112634A1 (en) * 2015-12-21 2017-06-29 Verily Life Sciences Llc Spectrally and spatially multiplexed fluorescent probes for in situ cell labeling
KR20180027887A (ko) * 2016-09-07 2018-03-15 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 트레이닝 방법
JP2019128318A (ja) * 2018-01-26 2019-08-01 キヤノン株式会社 レンズ装置、撮像装置、および画像処理装置

Also Published As

Publication number Publication date
US20210350590A1 (en) 2021-11-11
EP3832359A4 (en) 2021-11-10
EP3832359A1 (en) 2021-06-09
KR20200094062A (ko) 2020-08-06
KR102269229B1 (ko) 2021-06-25
EP3832359B1 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
US10861143B2 (en) Method and apparatus for reconstructing hyperspectral image using artificial intelligence
Jeon et al. Compact snapshot hyperspectral imaging with diffracted rotation
Aeschbacher et al. In defense of shallow learned spectral reconstruction from RGB images
Tan et al. Compressive hyperspectral imaging via approximate message passing
Koundinya et al. 2D-3D CNN based architectures for spectral reconstruction from RGB images
US9823126B2 (en) Apparatus and method for snapshot spectral imaging
Ma et al. Acquisition of high spatial and spectral resolution video with a hybrid camera system
Jia et al. Fourier spectral filter array for optimal multispectral imaging
Hu et al. Convolutional sparse coding for RGB+ NIR imaging
Liu et al. A new polarization image demosaicking algorithm by exploiting inter-channel correlations with guided filtering
KR102132075B1 (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
WO2016029276A1 (en) Imaging method and apparatus
Ramirez et al. LADMM-Net: An unrolled deep network for spectral image fusion from compressive data
Saragadam et al. KRISM—Krylov subspace-based optical computing of hyperspectral images
Ramirez et al. Spectral image classification from multi-sensor compressive measurements
Toivonen et al. Snapshot hyperspectral imaging using wide dilation networks
Sun et al. Tuning IR-cut filter for illumination-aware spectral reconstruction from RGB
Zimmermann et al. Deep learning-based hyperspectral image reconstruction from emulated and real computed tomography imaging spectrometer data
JP2023554185A (ja) 光学的方法
WO2020159223A1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
Nguyen et al. Multi-mask camera model for compressed acquisition of light fields
Chen et al. Prior image guided snapshot compressive spectral imaging
Cohen et al. Deep neural network classification in the compressively sensed spectral image domain
Mejia et al. Filtered gradient reconstruction algorithm for compressive spectral imaging