KR20230113110A - 렌즈리스 카메라를 이용한 스냅샷 기반 초분광 이미지 획득 장치 및 방법 - Google Patents

렌즈리스 카메라를 이용한 스냅샷 기반 초분광 이미지 획득 장치 및 방법 Download PDF

Info

Publication number
KR20230113110A
KR20230113110A KR1020220073671A KR20220073671A KR20230113110A KR 20230113110 A KR20230113110 A KR 20230113110A KR 1020220073671 A KR1020220073671 A KR 1020220073671A KR 20220073671 A KR20220073671 A KR 20220073671A KR 20230113110 A KR20230113110 A KR 20230113110A
Authority
KR
South Korea
Prior art keywords
wavelength
hyperspectral image
hyperspectral
image
light
Prior art date
Application number
KR1020220073671A
Other languages
English (en)
Inventor
이승아
김태영
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20230113110A publication Critical patent/KR20230113110A/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1204—Grating and filter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1278—Mask with spectral selection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

개시된 실시예는 입사되는 위치에 따라 서로 다른 파장으로 투과되고 위상을 변환 및 확산된 광을 감지하여 스펙트럴 로우 이미지를 획득하는 렌즈리스 초분광 카메라 및 요구되는 다수의 파장 각각이 투과되는 위치에 따라 광의 위상이 변환되는 패턴을 나타내는 다수의 파장별 점 확산함수(이하 파장별 PSF)를 획득하고, 로우 이미지를 다수의 파장별 점 확산함수로 역변환하여 다수의 파장별 이미지가 포함된 초분광 이미지를 획득하는 초분광 이미지 획득 모듈을 포함하여, 저비용의 간단한 구조를 가져 작은 폼팩터가 요구되는 시스템에 적용될 수 있으면서, 세분화된 초분광 이미지를 획득할 수 있으며, 연속적으로 변화하는 파장 영역에서 사용자의 요구에 따라 매우 세분화된 파장의 초분광 이미지를 스냅샷 방식으로 촬영하여 획득할 수 있는 초분광 이미지 획득 장치 및 방법을 제공한다.

Description

렌즈리스 카메라를 이용한 스냅샷 기반 초분광 이미지 획득 장치 및 방법{Apparatus and Method for Acquiring Hyperspectral Images based on Snapshots using Lens-Less Camera}
본 발명은 초분광 이미지 획득 장치 및 방법에 관한 것으로, 렌즈리스 카메라를 이용한 스냅샷 기반 초분광 이미지 획득 장치 및 방법에 관한 것이다.
도 1은 초분광 이미징 기법의 개념을 나타내고, 도 2는 초분광 이미징 기법의 적용 예를 나타낸다.
초분광 이미징(Hyperspectral imaging: HSI) 은 여러 스펙트럼에 걸쳐 물질의 영상을 빛의 파장에 따라 분할하여 공간 및 스펙트럼이 구분된 물질에 대한 3차원 정보를 획득하는 기법을 의미한다.
기존의 그레이 스케일 이미지에서는 도 1의 (a)에서와 같이 단지 광의 세기만을 감지하는데 반해, 컬러 카메라는 (b)와 같이 물체의 반사 및 투과 스펙트럼 중 RGB 3채널의 영상을 획득함으로써, 물체에 대한 더 많은 정보를 획득한다. 그러나 초분광 이미징 기법에서는 (c)와 같이 RGB의 3채널 영상 보다 더 세분화된 각 파장(λ)에 따른 다수의 2차원 이미지를 획득한다. 초분광 이미징에서는 서로 다른 파장(λ)으로 다수의 2차원 이미지가 획득되므로, (c)와 같이 다수의 2차원 이미지가 누적된 3차원 이미지 정보(또는 초분광 이미지 데이터 큐브라고도 함)가 획득되는 것으로 볼 수도 있다.
이러한 초분광 이미징 기법은 매우 세분화된 다수의 파장별 정보를 획득할 수 있으므로, 촬영된 물질의 구분에 용이하다는 장점이 있다. 이에 초분광 이미지는 도 2에 도시된 바와 같이, 의학, 생물학, 보안 식별, 지질 탐사, 예술품 감정, 감시, 국방, 음식, 천문학 등 다양한 분야에 적용되고 있다.
기존의 초분광 이미징은 3차원 정보의 특정 지점이나 라인을 순차적으로 획득하거나(스캐닝 방법), 광학 소자를 활용하여 촬영하고 후처리하는 방법으로(스냅샷 방법)을 사용한다.
스캐닝 방법의 경우 프리즘, 선형 가변 필터, 회절 격자 등을 사용하여 2차원 영상의 한 라인 또는 지점의 영상을 획득하여 조합하거나 가변 필터를 사용하여 파장대를 바꿔가며 이미지를 획득한다. 따라서 공간해상도는 상대적으로 높지만 데이터 획득에 시간소모가 크고, 스캐닝 구조를 위한 구조에 의해 비용이 높아지며, 스펙트럴 해상도가 필터의 수에 좌우된다.
스냅샷 방법의 경우 슈퍼 픽셀, 코디드 마스크, 마이크로 렌즈 배열(Micro Lens Array: MLA), 광학 회절 소자 등을 다양하게 사용하여 다양한 파장의 분광 이미지 데이터를 한 번의 촬영으로 획득한다. 따라서 스냅샷 방법은 빠르게 분광 이미지 데이터를 회득할 수 있다는 장점이 있다. 다만 슈퍼 픽셀, MLA 방식의 경우 구조가 간단하나 공간해상도를 분할하여 파장 데이터를 획득하므로 공간해상도가 낮고, 코디드 마스크, 광학 회절 소자 등의 경우 구조가 복잡하거나 제작 비용이 크다는 단점을 가진다.
한편 최근에는 머신 러닝 기법을 활용하여 End-to-end 방식의 데이터 획득이나 적은 수의 분광 데이터를 보간하는 방식의 초분광 이미징 방법도 소개되고 있다. 머신 러닝 기법을 활용하는 방법의 경우 데이터셋 구성과 학습 네트워크 구조, 학습 정도에 따라 기존의 방법보다 성능향상이 이루어지고 있다. 하지만 데이터셋 확보의 어려움과 정규화 문제 등 학습 기반의 단점을 그대로 가지고 있으며, 보간 방식의 경우 실제로는 적은 양의 측정을 바탕으로 학습데이터에 의한 통계적 보간이기 때문에 데이터의 신뢰성에 한계점이 존재한다.
한국 등록 특허 제10-2139858호 (2020.07.24 등록)
개시되는 실시예들은 위상 마스크를 이용하여 저비용의 간단한 구조를 가져 작은 폼팩터가 요구되는 시스템에 적용될 수 있으면서 세분화된 초분광 이미지를 획득할 수 있는 초분광 이미지 획득 장치 및 방법을 제공하는데 있다.
개시되는 실시예들은 연속적으로 변화하는 파장 영역에서 사용자의 요구에 따라 매우 세분화된 파장의 초분광 이미지를 획득할 수 있는 초분광 이미지 획득 장치 및 방법을 제공하는데 있다.
개시되는 실시예들은 스냅샷 방식으로 촬영하여 물체의 전체 형상에 대한 다수의 파장을 갖는 초분광 이미지를 획득할 수 있는 초분광 이미지 획득 장치 및 방법을 제공하는데 있다.
실시예에 따른 초분광 이미지 획득 장치는 입사되는 위치에 따라 서로 다른 파장으로 투과되고 위상을 변환 및 확산된 광을 감지하여 스펙트럴 로우 이미지를 획득하는 렌즈리스 초분광 카메라; 및 요구되는 다수의 파장 각각이 투과되는 위치에 따라 광의 위상이 변환되는 패턴을 나타내는 다수의 파장별 점 확산함수(이하 파장별 PSF)를 획득하고, 상기 로우 이미지를 상기 다수의 파장별 점 확산함수로 역변환하여 다수의 파장별 이미지가 포함된 초분광 이미지를 획득하는 초분광 이미지 획득 모듈을 포함한다.
상기 렌즈리스 초분광 카메라는 입사되는 광의 세기를 감지하여 상기 스펙트럴 로우 이미지를 획득하는 모노크롬 이미지 센서; 상기 모노크롬 이미지 센서의 전면에 이격 배치되어 광이 입사되는 위치에 따라 서로 다른 파장의 광이 투과되도록 필터링하는 스펙트럼 필터; 및 상기 스펙트럼 필터와 상기 모노크롬 이미지 센서 사이에 배치되고, 미리 형성된 위상 변환 패턴에 따라 상기 스펙트럼 필터에서 필터링되어 입사되는 광의 위상을 변환 및 확산하여 상기 모노크롬 이미지 센서로 전달하는 위상 마스크를 포함할 수 있다.
상기 스펙트럼 필터는 입사되는 광의 위치 변화에 따라 투과되는 광의 파장이 연속하여 선형적으로 변화하도록 두께가 연속적으로 가변되는 적어도 하나의 선형 가변 필터를 포함할 수 있다.
상기 스펙트럼 필터는 제1 방향으로 두께가 연속적으로 가변되면서, 서로 다른 파장 대역의 광이 투과되도록 서로 상이한 두께를 갖는 다수의 선형 가변 필터가 제2 방향으로 서로 이격되어 배치될 수 있다.
상기 위상 마스크는 상기 위상 변환 패턴에 따라 일면에 위치별로 상이한 높이를 갖도록 형성된 투명 필름으로 구현될 수 있다.
상기 초분광 이미지 획득 모듈은 상기 위상 마스크의 위상 변환 패턴에 대응하는 점 확산함수(이하 PSF)를 상기 스펙트럼 필터에서 필터링되어 투과되는 광의 파장 중 획득하고자 하는 다수의 파장을 갖는 광이 투과되는 위치에 따라 영역 구분하여 상기 다수의 파장별 PSF를 획득할 수 있다.
상기 초분광 이미지 획득 모듈은 상기 다수의 파장별 PSF를 스택하여 3차원 구조를 갖는 PSF 스택을 획득하고, 상기 PSF 스택을 이용하여 상기 위상 마스크에 의해 위상 변환되어 획득된 상기 스펙트럴 로우 이미지를 역변환하여 상기 초분광 이미지를 획득할 수 있다.
상기 초분광 이미지 획득 모듈은 상기 다수의 파장별 PSF 각각을 이용하여 상기 스펙트럴 로우 이미지를 역변환하여 다수의 파장별 이미지를 획득하고, 상기 다수의 파장별 이미지를 스택하여 상기 초분광 이미지를 획득할 수 있다.
상기 초분광 이미지 획득 모듈은 별도로 획득된 기준 촬영 대상의 파장별 이미지와 상기 기준 촬영 대상을 촬영하여 획득된 상기 초분광 이미지에 포함된 상기 다수의 파장별 이미지를 비교하여 각 파장별 오차에 대한 파장별 보정 함수를 획득하여 저장하고, 이후, 촬영 대상을 촬영하여 획득된 초분광 이미지에서 다수의 파장별 이미지 각각을 파장별 보정함수로 보정하여 보정 초분광 이미지를 획득할 수 있다.
실시예에 따른 초분광 이미지 획득 방법은 입사되는 위치에 따라 서로 다른 파장으로 투과되고 위상을 변환 및 확산된 광을 감지하는 렌즈리스 초분광 카메라를 이용하여 촬영 대상을 촬영하여 스펙트럴 로우 이미지를 획득하는 단계; 및 요구되는 다수의 파장 각각이 투과되는 위치에 따라 광의 위상이 변환되는 패턴을 나타내는 다수의 파장별 점 확산함수(이하 파장별 PSF)를 획득하는 단계; 및 상기 로우 이미지를 상기 다수의 파장별 점 확산함수로 역변환하여 다수의 파장별 이미지가 포함된 초분광 이미지를 획득하는 단계를 포함한다.
따라서, 실시예에 따른 초분광 이미지 획득 장치 및 방법은 저비용의 간단한 구조를 가져 작은 폼팩터가 요구되는 시스템에 적용될 수 있으면서, 세분화된 초분광 이미지를 획득할 수 있으며, 연속적으로 변화하는 파장 영역에서 사용자의 요구에 따라 매우 세분화된 파장의 초분광 이미지를 스냅샷 방식으로 촬영하여 획득할 수 있다.
도 1은 초분광 이미징 기법의 개념을 나타낸다.
도 2는 초분광 이미징 기법의 적용 예를 나타낸다.
도 3은 실시예에 따른 초분광 이미지 획득 장치의 개략적 구조를 나타낸 도면이다.
도 4는 도 3의 렌즈리스 초분광 카메라 모듈 구성의 측단면도를 나타낸다.
도 5는 렌즈 기반 이미징 방식과 위상 마스크 기반 렌즈리스 이미징 방식의 동작을 설명하기 위한 도면이다.
도 6은 위상 마스크 기반 렌즈리스 이미징 방식의 원리를 설명하기 위한 도면이다.
도 7은 위상 마스크 기반 렌즈리스 이미지를 복원하는 방법을 설명하기 위한 도면이다.
도 8은 스펙트럼 필터와 스펙트럼 필터에 따라 분할되는 파장별 PSF를 설명하기 위한 도면이다.
도 9는 도 3의 초분광 이미지 획득 모듈을 수행하는 동작에 따라 구분한 구성의 일 예를 나타낸다.
도 10은 초분광 이미지 획득 모듈에서 획득된 파장별 이미지와 초분광 이미지의 일 예를 나타낸다.
도 11은 초분광 이미지의 후처리 동작을 설명하기 위한 도면이다.
도 12는 실시예에 따른 초분광 이미지 획득 방법을 나타낸다.
도 13은 실시예에 따른 초분광 이미지 획득 방법을 수행하는 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 설명하기 위한 도면이다.
이하, 도면을 참조하여 일 실시예의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
일 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 일 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 일 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
여기서는 위상 마스크 기반 렌즈리스 카메라에 대해 우선 설명하도록 한다.
도 3은 실시예에 따른 초분광 이미지 획득 장치의 개략적 구조를 나타낸 도면이고, 도 4는 도 3의 렌즈리스 초분광 카메라 모듈 구성의 측단면도를 나타낸다.
도 3 및 도 4를 참조하면, 실시예에 따른 초분광 이미지 획득 장치는 렌즈리스 초분광 카메라 모듈(31) 및 초분광 이미지 획득 모듈(35)을 포함할 수 있다.
렌즈리스 초분광 카메라 모듈(31)은 촬영 대상(41)을 촬영하여, 촬영 대상(41)으로부터 광이 입사되는 위치에 따라 서로 다른 다양한 파장으로 필터링하고, 필터링된 여러 파장의 광을 확산시켜 스펙트럴 로우 이미지(45)를 획득한다. 즉 렌즈리스 코분광 카메라 모듈(31)은 영역별로 서로 다른 파장으로 필터링된 촬영 대상(41)에 대한 스펙트럴 로우 이미지(45)를 획득한다.
렌즈리스 초분광 카메라 모듈(31)은 모노크롬 이미지 센서(Monochrome Image Sensor)(34)와 모노크롬 이미지 센서(34)의 전면에 배치되는 스펙트럼 필터(Spectral Filter)(32)와 위상 마스크(Phase Mask)(33)을 포함한다.
스펙트럼 필터(32)는 렌즈리스 초분광 카메라 모듈(31)에서 가장 전면에 배치되어 촬영 대상(41)에서 입사되는 광을 입사되는 위치에 따라 서로 다른 파장으로 필터링한다. 여기서 스펙트럼 필터(32)는 위치별로 상이한 높이를 가져 입사되는 광에서 위치별로 서로 다른 특정 파장 대역만이 투과되도록 함으로써, 영역별로 서로 다른 다양한 파장의 광이 위상 마스크(33)으로 전달되도록 한다.
특히 실시예에서는 도 4에 도시된 바와 같이, 스펙트럼 필터(32)에서 위치별로 두께가 선형으로 연속적으로 증가 또는 감소되도록 가변되는 선형 가변 필터로 구성될 수 있다. 이와 같이 스펙트럼 필터(32)가 선형 가변 필터로 구성되는 경우, 스펙트럼 필터(32)에 입사되는 광은 입사되는 위치에 따라 점차 증가 또는 감소되는 파장으로 필터링되어 위상 마스크(33)로 전달된다.
이때, 스펙트럼 필터(32)는 제1 방향(여기서는 일 예로 x축 방향) 및 제2 방향(여기서는 일 예로 y축 방향) 모두 두께가 선형적으로 증가 또는 감소되도록 구현될 수 있다. 즉 xy 평면 전체에서 두께가 선형적으로 가변되도록 구성될 수도 있다. 그러나 스펙트럼 필터(32)는 도 3에 도시된 바와 같이, 제1 방향으로 두께가 선형적으로 증가 또는 감소되는 다수의 선형 가변 필터(43)가 제1 방향과 수직한 제2 방향으로 서로 이격되어 배치될 수도 있다.
스펙트럼 필터(32)가 제1 및 제2 방향 모두로 두께가 연속하여 선형적으로 증가되는 경우, 동일한 파장을 출력하는 영역이 불필요하게 중첩될 수 있을 뿐만 아니라, 넓은 파장 대역에서 광을 필터링하기 위해서는 위치에 따른 두께의 변화가 매우 커야 한다. 따라서 파장대에 따른 광을 별도로 구분하여 획득하기 어렵다.
이에 도 3에서는 제1 방향으로 두께가 선형적으로 증가 또는 감소되는 다수의 선형 가변 필터(43)가 필터 프레임(42)에 의해 지지되어 제2 방향으로 서로 이격되어 배치되도록 하고, 각 선형 가변 필터(43)가 가급적 서로 다른 파장 범위에서 광을 필터링하는 두께를 갖도록 함으로써, 각 파장대에 따른 광을 용이하게 구분할 수 있도록 하고, 개별 선형 가변 필터(43)의 두께 변화가 크지 않도록 한다.
일 예로 도 3에서 스펙트럼 필터(32)는 4개의 선형 가변 필터(43)가 필터 프레임(42)에 결합되어 배치되고, 4개의 선형 가변 필터(43)는 상단으로부터 순차적으로 우측 방향 및 좌측 방향으로 교대로 두께가 점차 증가하여 각각 410nm ~ 530nm, 510nm ~ 640nm, 600nm ~ 790nm 및 780nm ~ 950nm의 위치별로 서로 다른 파장의 광이 투과되도록 구성될 수 있다.
즉 스펙트럼 필터(32)가 전체적으로 410nm ~ 950nm로 매우 넓은 파장 대역을 필터링하므로, 제1 방향이든 제2 방향이든 410nm ~ 950nm의 범위를 선형으로 연속하여 필터링하기 위해서는 일측과 타측 사이의 두께 차가 매우 크게 나타나야 한다. 이 경우, 각 파장 대역을 검출하기 위한 영역의 크기가 매우 작아지게 된다. 그러나 도 3과 같이 스펙트럼 필터(32)가 다수개의 선형 가변 필터(43)로 구분되고, 구분된 다수개의 선형 가변 필터(43)가 전체 필터링 범위에서 분할된 범위의 파장을 필터링하도록 구성되면, 각 선형 가변 필터(43)가 필터링하는 범위의 크기가 줄어들기 때문에, 선형 가변 필터(43)의 일측과 타측 사이의 두께 차이를 줄일 수 있으며, 각 파장 대역의 광을 검출하기 위한 영역의 크기를 증가시킬 수 있다.
여기서는 스펙트럼 필터(32)가 4개의 선형 가변 필터(43)만을 포함하는 것으로 도시하였으나, 스펙트럼 필터(32)는 다수의 선형 가변 필터(43)를 포함할 수 있다. 그리고 서로 다른 선형 가변 필터(43)에서 투과되는 파장대역이 서로 중첩되지 않도록 구성될 수도 있으나, 여기서는 누락되는 파장대역이 존재하지 않도록 인접한 선형 가변 필터(43)에서 투과되는 일부 파장 대역이 서로 중첩되도록 구성하였다. 또한 다수의 선형 가변 필터(43)가 프레임(42)에 의해 제2 방향에서 서로 이격되어 배치됨으로써, 인접한 다른 선형 가변 필터(43)를 투과한 광에 의한 영향이 최소화되도록 한다.
한편, 실시예에서 렌즈리스 초분광 카메라 모듈(31)은 렌즈를 포함하여 입사된 광을 집속시키는 일반적인 카메라 모듈과 달리 위상 마스크(33)를 포함한다. 렌즈를 대신하여 위상 마스크(33)를 구비하는 카메라 모듈을 렌즈리스 카메라 모듈이라고 하며, 실시예에서 렌즈리스 카메라 모듈은 스펙트럼 필터(32)와 함께 초분광 이미지에 대한 로우 이미지를 획득할 수 있도록 한다.
실시예에서 위상 마스크(33)는 스펙트럼 필터(32)와 모노크롬 이미지 센서(34) 사이에 배치되되, 스펙트럼 필터(32)의 후면에 결합되어 배치될 수 있다. 즉 스펙트럼 필터(32)와 위상 마스크(33)는 서로 일체로 결합되어 제공될 수 있다. 위상 마스크(33)는 스펙트럼 필터(32)에서 위치별로 서로 다르게 필터링되어, 각 위치에 따른 파장의 광이 입사되면, 입사된 광이 지정된 패턴에 따라 확산되어 모노크롬 이미지 센서(34)로 입사되도록 한다. 위상 마스크(33)는 모노크롬 이미지 센서(34)로부터 초점 거리(f)만큼 이격되어 배치될 수 있다.
렌즈리스 초분광 카메라 모듈(31)의 동작을 이해하기 위해, 여기서는 우선 도 5 내지 도 7을 참조하여, 위상 마스크(33)를 구비하는 렌즈리스 카메라 모듈의 동작을 살펴본다.
도 5는 렌즈 기반 이미징 방식과 위상 마스크 기반 렌즈리스 이미징 방식의 동작을 설명하기 위한 도면이고, 도 6은 위상 마스크 기반 렌즈리스 이미징 방식의 원리를 설명하기 위한 도면이며, 도 7은 위상 마스크 기반 렌즈리스 이미지를 복원하는 방법을 설명하기 위한 도면이다.
도 5에서 (a)는 렌즈 기반 이미징 방식을 나타내고, (b)는 위상 마스크 기반 렌즈리스 이미징 방식을 나타낸다.
도 5의 (a)에 도시된 바와 같이, 렌즈 기반 이미징 방식에서는 이미지 센서(64)의 전방에 적어도 하나의 렌즈가 포함된 렌즈 모듈(62)이 배치된다. 렌즈즈 모듈(62)은 특정 위치로부터 입사되는 광을 이미지 센서(64)의 특정 위치에 결상되도록 한다. 즉 점 광원이 렌즈 모듈(62)에 의해 이미지 센서(64)에 다시 점 형태로 맺히게 되므로, 이미지 센서(64)는 물체의 형상의 이미지(65)를 획득할 수 있다. 반면 위상 마스크 기반 렌즈리스 이미징 방식에서는 (b)에 도시된 바와 같이, 렌즈 대신 위상 마스크(33)가 이미지 센서(34)의 전방에 위치한다. 여기서 위상 마스크(33)는 광이 투과될 수 있는 투명 소재로서 투명 필름 등을 이용하여 구현될 수 있으며, 도 5의 (b)에 도시된 바와 같이, 위상 마스크(33)의 일면은 불규칙적인 형태의 위상 변환 패턴에 따라 위치별로 상이한 높이를 갖도록 형성된다.
일면에 크기, 높이, 모양이 상이한 다양한 패턴이 형성된 위상 마스크(33)는 광이 입사되는 위치에 따라 서로 다른 굴절율로 광을 굴절시켜, 도 6의 (a)에 도시된 바와 같이, 입사된 점 광원이 물결 무늬와 유사한 패턴으로 확산되도록 변환한다. 즉 점 광원이 위상 마스크(33)에 형성된 위상 변환 패턴에 따라 이미지 센서의 전체 영역으로 확산된 이미지로 획득된다.
여기서 기지정된 기준 위치의 점 광원에서 방사된 광이 광학계(여기서는 위상 마스크)를 통과하여 이미지 센서(34)에 입사되는 광량 분포를 나타내는 함수인 점 확산함수(Point Spread Function: 이하 PSF)(68)는 도 6의 (a)에 도시된 바와 같이, 위상 마스크(33)의 위상 변환 패턴에 대응하는 패턴으로 미리 획득된다.
그리고 입사되는 점 광원의 위치가 변화하면, 도 6의 (b)에 도시된 바와 같이, 이미지 센서(34)에 투영되는 PSF(68) 전체가 평행 시프트(Lateral Shift)되는 형태로 변화하게 된다. 그러므로 서로 다른 위치의 점 광원에서 입사되는 광은 각각 PSF(68)에 따라 확산 변환되고, 이미지 센서(34)에 중첩되어 입사되므로, 이미지 센서(34)는 도 6의 (b)와 같이 PSF(68)가 평행 시프트되어 중첩된 로우 이미지(raw image)(66)를 획득하게 된다.
이와 같이 위상 마스크(33)를 이용하는 경우, 점 광원은 위상 변환 패턴에 따라 이미지 센서(34)에 확산되어 투영되므로, 이미지 센서(34)에서 획득된 로우 이미지(66)의 일부 영역만으로도 점 광원을 일정 수준까지 재구성할 수 있다.
그리고 점이 아닌 크기를 갖는 물체를 촬영하는 경우, 다수의 위치별 점 광원에서 방사된 광이 위상 마스크(33)를 통해 이미지 센서(34)에 중첩되어 입사된 것으로 볼 수 있다. 따라서 다수의 PSF(68)가 시프트되어 중첩된 도 5의 (b)와 같은 로우 이미지(66)로 획득된다. 이때 로우 이미지(66)의 일부 영역에도 다수의 점 광원의 성분이 중첩된 형태로 포함되어 있으므로, 로우 이미지(66)의 일부 영역만으로도 물체에 대한 이미지를 일정 수준 재구성 가능하다.
여기서 렌즈리스 이미징 방식으로 획득된 로우 이미지(66)를 렌즈 기반 이미징 방식과 동일한 형태의 이미지로 변환하기 위해서는 로우 이미지(66)에 대해 PSF(68)를 이용하여 콘볼루션 연산을 우선 수행하여 각 점 광원에 의한 이미지를 추출한 후, 다시 PSF(68)를 기반으로 디콘볼루션 연산을 수행해야 한다.
다만 PSF(68)에 기반한 디콘볼루션 연산은 복잡도가 매우 높고, 이미지 센서(34)가 광을 감지할 수 있는 영역의 제한이 있어 통상적인 방식으로 수행할 수 없다. 이에 ADMM(alternating direction method of multipliers) 알고리즘 등을 이용하여 위상 변환된 로우 이미지(66)가 렌즈 기반 이미지(65) 형태로 재구성된 재구성 이미지(67)를 획득한다. 이 경우, 이미지 변환 모델을 미리 설정하고, 이미지 변환 모델에서 변환된 이미지와 렌즈 기반 이미지 사이의 오차가 최소가 되도록 이미지 변환 모델을 반복적으로 업데이트하는 최적화 방법을 이용하여, 위상 마스크(33)를 통해 획득된 로우 이미지(66)를 도 7와 같은 렌즈 기반 이미지 형태로 재구성된 재구성 이미지(67)로 변환할 수 있다.
위상 마스크(33)가 적용되는 경우, 상기한 바와 같이 위상 마스크(33)가 위상 변환 패턴에 따라 각 위치의 다수의 점 광원을 확산 및 변환하여 이미지 센서에서 투영하므로, 이미지 센서는 다수의 PSF(68)가 시프트되고 중첩된 형태의 로우 이미지(66)를 획득한다. 이와 같이 PSF(68)가 시프트되고 중첩된 형태의 로우 이미지(66)의 경우 일부 영역만으로도 물체의 개략적인 형상을 획득할 수 있다.
그러므로, 위상 마스크(33)를 통과한 광을 감지하는 이미지 센서(34)의 전체 영역을 스펙트럼 필터(32)가 필터링하는 파장에 따라 구분하고, 구분된 각 영역에서 획득된 로우 이미지를 독립적으로 복원하면, 1회의 촬영으로 서로 다른 파장에 따른 파장별 이미지를 획득할 수 있으며, 이를 누적하면 초분광 이미지를 획득할 수 있다.
다시 도 3을 참조하면, 실시예에서는 스펙트럼 필터(32)가 프레임(42)에 서로 이격 배치된 다수의 선형 가변 필터(43)를 구비하고, 다수의 선형 가변 필터(43) 각각은 지정된 파장 범위에서 연속적으로 점차 증가 또는 감소되는 파장의 광만이 투과되도록 필터링하여 위상 마스크(33)로 광을 전달한다. 이때 이격 배치된 다수의 선형 가변 필터(43)에 따라 위상 마스크(33)를 통해 모노크롬 이미지 센서(34)에 나타나는 PSF(44)는 프레임(42)에 의해 입사된 광이 모노크롬 이미지 센서(34)로 전달되지 않은 차폐 영역이 존재할 수 있으며, 광이 각 선형 가변 필터(43)와 위상 마스크(33)를 투과한 영역에서도 위치에 따라 서로 다른 파장의 광이 입사되어 나타날 수 있다. 그러므로, PSF(44)를 이격된 선형 가변 필터(43)를 투과한 영역에서 요구되는 파장의 광이 입사되는 다수의 영역으로 구분하면, 각 파장 영역에 대한 파장별 PSF (81)를 획득할 수 있다.
도 8은 스펙트럼 필터와 스펙트럼 필터에 따라 분할되는 파장별 PSF를 설명하기 위한 도면이다.
도 8에 도시된 바와 같이, 스펙트럼 필터(32)가 제2 방향으로 서로 여격 배치된 다수개(여기서는 일 예로 4개)의 선형 가변 필터(43)를 구비하는 경우, 전체 PSF(44) 또한 우선 다수개의 선형 가변 필터(43) 각각의 위치와 크기 및 형상에 따라 다수개의 영역으로 구분될 수 있다. 그리고 다수개의 선형 가변 필터(43)에 의해 구분된 PSF의 영역 각각을 확인하고자 하는 파장에 따라 다시 세부적으로 구분할 수 있다. 이때, 각 선형 가변 필터(43)에 대응하는 PSF 영역은 확인하고자 하는 주파수의 세분화에 따라 다수개로 다시 구분되어 파장별 PSF (81)로 획득될 수 있다. 예로도 도 8에서 제1 행에 위치하는 선형 가변 필터(43)에 따라 구분된 PSF 영역은 좌측부터 410nm, 430nm, 450nm, 470nm, 490nm 및 510nm의 6개로 구분되어 파장별 PSF(81)로 획득될 수 있다. 만일 더욱 조밀한 파장 단위로 더욱 세분화하고자 하는 경우에는 파장별 PSF(81)를 8개나 10개로 구분하여 획득할 수도 있다. 즉 파장별 PSF(81)는 사용자가 초분광 이미지에서 획득하고자 하는 각 파장 간격이 세밀할 수록 작은 크기를 가질 수 있으며, 파장 간격이 널어질수록 큰 크기를 갖도록 사용자에 의해 임의로 설정될 수 있다.
비록 선형 가변 필터(43)에 의해 필터링되는 파장이 위치에 따라 연속하여 변화하므로, 각 파장별 PSF(81) 내에서도 필터링되는 파장의 미세한 차이가 존재하기는 하지만, 상기한 바와 같이, 전체 스펙트럼 필터(32)가 필터링하는 파장 범위에 비해 각 선형 가변 필터(43)가 필터링하는 범위가 작을 뿐만 아니라, 이를 다시 세부적으로 구분하여 파장별 PSF를 획득하므로, 각 파장별 PSF(81)로 입사되는 광의 파장 변화는 무시할 수 있는 수준이다.
도 8에서는 일 예로 PSF(44)가 24개의 파장별 PSF(81)로 구분된 경우를 도시하였으나, 이는 일 예로서 파장별 PSF(81)의 개수와 크기는 스펙트럼 필터(32)의 선형 가변 필터(43)의 개수와 필터링하는 파장 및 사용자의 용도에 따라 다양하게 조절될 수 있다.
모노크롬 이미지 센서(34)는 스펙트럼 필터(32)에 의해 파장별로 필터링되고, 위상 마스크(33)에 의해 위상이 변조되어 확산되어 입사되는 광의 세기를 감지하여 로우 이미지를 획득한다. 비록 스펙트럼 필터(32)에 의해 광이 필터링되어 위치별로 서로 다른 파장의 광만입사되지만, 모노크롬 이미지 센서(34)는 입사되는 광의 파장이 아닌 광의 세기만을 감지하여 스펙트럴 로우 이미지(45)를 획득한다.
초분광 이미지 획득 모듈(35)은 렌즈리스 초분광 카메라 모듈(31)로부터 스펙트럴 로우 이미지(45)를 인가받고, 인가된 스펙트럴 로우 이미지(45)에 대해 파장에 따라 다수개로 구분된 파장별 PSF(81)를 각각 적용하여 변환함으로써, 각 파장에 따른 다수의 스펙트럴 이미지를 획득한다.
상기한 바와 같이, 위상 마스크(33)를 이용한 렌즈리스 카메라 모듈(31)에서 획득된 로우 이미지(66)의 경우 일부 영역만으로도 촬영 대상(41)의 형상이 재구성된 재구성 이미지(67)로 변환될 수 있다. 따라서 스펙트럼 필터(32)에 의해 위치에 따라 서로 다른 파장으로 투과된 광이 위상 마스크(33)를 거쳐 모노크롬 이미지 센서(34)에 특정 위치에 입사되면, 초분광 이미지 획득 모듈(35)은 모노크롬 이미지 센서(34)에서 획득된 스펙트럴 로우 이미지(45)의 일부 영역 만으로도 촬영 대상(41)의 해당 파장에 따른 형상을 나타내도록 재구성된 스펙트럴 이미지(46)를 획득할 수 있다.
이하에서는 초분광 이미지 획득 모듈(35)의 상세 구성 및 동작을 설명한다.
도 9는 도 3의 초분광 이미지 획득 모듈을 수행하는 동작에 따라 구분한 구성의 일 예를 나타내고, 도 10은 초분광 이미지 획득 모듈에서 획득된 파장별 이미지와 초분광 이미지의 일 예를 나타내며, 도 11은 초분광 이미지의 후처리 동작을 설명하기 위한 도면이다.
도 9를 참조하면, 초분광 이미지 획득 모듈(35)은 PSF 저장 모듈(91), 파장별 PSF 설정 모듈(92) 및 초분광 이미지 획득 모듈(94)을 포함할 수 있다.
PSF 저장 모듈(91)은 지정된 기준 위치의 백색 점 광원에서 방출된 광이 스펙트럼 필터(32)와 위상 마스크(33)를 거쳐 모노크롬 이미지 센서(34)에 입사되는 광을 감지하여 획득된 PSF(44)를 저장한다. 이때 점광원이 백색인 것은 스펙트럼 필터(32)에 의해 필터링되더라도 각 파장에서의 광이 위상 마스크(33)를 거쳐 모노크롬 이미지 센서(34)까지 입사될 수 있어야 하므로 모든 파장이 포함된 광이 이용되어야 하기 때문이다. 여기서 PSF는 미리 획득되어 PSF 저장 모듈(91)에 저장될 수 있다.
파장별 PSF 설정 모듈(92)은 PSF 저장 모듈(91)로부터 PSF(44)를 인가받고, 인가된 PSF(44)를 다수의 파장별 PSF(81)로 분할한다. 파장별 PSF 설정 모듈(92)은 스펙트럼 필터(32)의 선형 가변 필터(43)의 개수와 필터링하는 파장 등에 따라 PSF(44)를 다수의 파장별 PSF(81)로 분할할 수 있으며, 사용자 명령에 응답하여 다수의 파장별 PSF(81)를 설정할 수도 있다.
스펙트럼 필터(32)에 의해 필터링되는 광은 입사되는 위치(x, y)에 따라 서로 다른 파장(λ)의 광이 투과되는 대역 통과 필터로 기능하며, 따라서 스펙트럼 필터(32)의 파장(λ)에 따른 투과율을 LVFλ[x,y]로 표현할 수 있다. 그리고 위상 마스크(33)는 스펙트럼 필터(32)의 특정 위치(x, y)를 투과하여 파장(λ)을 갖고 입사된 광을 모노크롬 이미지 센서(34)에 2차원 확산하여 투영하므로, 위상마스크의 백색광에 대한 PSF는 PSF2D[x,y]로 표현될 수 있다.
따라서 다수의 파장별 PSF(81) 각각은 수학식 1과 같이 표현될 수 있다.
그리고 파장별 PSF 설정 모듈(92)은 설정된 다수의 파장별 PSF(81)(h[x,y,λ])에 대한 데이터를 스택하여 3차원 구조를 갖는 PSF 스택을 획득할 수도 있다.
이미지 획득 모듈(93)은 렌즈리스 초분광 카메라 모듈(31)로부터 스펙트럴 로우 이미지(45)를 인가받고, 인가된 스펙트럴 로우 이미지(45)에 대해 다수의 파장별 PSF(81) 각각을 적용하여 촬영 대상(41)에 대한 각 파장에서의 이미지를 나타내는 다수의 스펙트럴 이미지가 포함된 초분광 이미지를 획득한다.
스펙트럼 필터(32)와 위상 마스크(33)를 투과하여 모노크롬 이미지 센서(34)로 입사된 파장별 광으로부터 획득된 스펙트럴 로우 이미지(45)는 촬영 대상(41)에서 특정 위치(x, y)로 입사된 광에서 특정 파장(λ)의 성분(v[x,y,λ])과 다수의 파장별 PSF(81)(h[x,y,λ]) 각각에 대한 2D 컨볼루션된 파장별 로우 이미지가 중첩되어 나타난 합으로 볼 수 있다. 따라서 스펙트럴 로우 이미지(45)는 수학식 2와 같이 모델링될 수 있다.
여기서 는 xy 평면에 대한 2차원 선형 컨볼루션 연산자를 나타내고, H는 다수의 파장별 PSF(81)(h[x,y,λ])가 파장(λ)에 따라 3차원으로 스택된 PSF 스택의 행렬 표현이고, v는 2차원 촬영 대상(41)의 행렬 표현이다.
따라서 모델링된 스펙트럴 로우 이미지(Hv)가 획득된 스펙트럴 로우 이미지(45)(b)와 유사하게 획득될 수 있다면, 촬영 대상(41)(v)에 대한 재구성 이미지(v*)를 획득할 수 있다.
이에 기존에 렌즈리스 카메라에서 획득된 로우 이미지(66)로부터 재구성 이미지(67)를 획득하는 기법인 ADMM 알고리즘을 기반으로 수학식 3에 따라 스펙트럴 로우 이미지(45)(b)와 모델링된 스펙트럴 로우 이미지(Hv) 사이의 차이가 최소가 되도록 하여 초분광 이미지(v*)를 획득할 수 있다.
여기서 τ는 정규화 상수이고, φ는 총 변이(total variation)를 나타낸다.
다만 수학식 3은 이미지 획득 모듈(93)이 초분광 이미지(v*)를 획득하는 방법을 수학적으로 표현한 것으로, 이미지 획득 모듈(93)이 스펙트럴 로우 이미지(45)(b)에 대해 PSF 스택(H)을 적용하여 초분광 이미지(v*)를 획득하는 것으로 설명하였으나, 실제 이미지 획득 모듈(93)은 다수의 파장별 PSF(81)(h[x,y,λ]) 각각과 스펙트럴 로우 이미지(45)(b)로부터 다수의 파장별 이미지를 획득하고, 획득된 다수의 파장별 이미지를 스택하여 초분광 이미지(v*)를 획득할 수도 있다.
결과적으로 초분광 이미지 획득 모듈(35)은 스펙트럼 필터(32)에 의한 위치별 투과 파장(λ)에 따라 PSF(44)를 다수의 파장별 PSF(81)로 분할하고, 분할된 다수의 파장별 PSF(81)와 스펙트럴 로우 이미지(45)(b)로부터 획득된 다수의 파장별 이미지를 스택하여 초분광 이미지(v*)를 획득할 수 있다.
한편, 초분광 이미지 획득 모듈(35)은 획득된 초분광 이미지(v*)를 보정하기 위한 후처리 모듈(94)을 더 포함할 수 있다. 이미지 획득 모듈(93)에서 획득된 초분광 이미지(v*)의 경우, 광원, 스펙트럼 필터(32)의 투과, 촬영 대상(41)의 반사 및 투과 그리고 모노크롬 이미지 센서(34)의 반응 스펙트럼 등에 의해 각 파장별로 실제와 다르게 표현될 수 있다. 즉 각 파장에서의 촬영 대상(41)에 대한 광도나 표현이 실제와 일부 상이할 수 있다. 이러한 차이를 보정하기 위해 초분광 이미지 획득 모듈(35)은 후처리 모듈(94)을 더 포함할 수 있으며, 후처리 모듈(94)은 미리 준비된 기준 촬영 대상에 대해 분광기 등을 이용하여 측정된 위치별 파장과 기준 촬영 대상을 촬영하여 획득된 초분광 이미지(v*)에 스택된 다수의 파장별 이미지 사이의 차이를 확인하고 확인된 차이를 보정할 수 있는 파장별 보정 함수를 도 11에 도시된 바와 같이, 각 파장별로 생성하여 저장한다. 여기서 파장별 보정 함수는 선형 함수, 로그 함수 등으로 생성될 수 있다. 그리고 실제 활용시, 획득된 초분광 이미지(v*)의 다수의 파장별 이미지 각각에 대응하는 파장별 보정 함수를 적용하여 보정 파장별 이미지를 획득하고, 이를 다시 스택하여 보정 초분광 이미지를 획득할 수 있다.
또한 초분광 이미지 획득 모듈(35)은 초분광 이미지(v*)에 스택된 다수의 파장별 이미지에서 사용자가 요구하는 파장의 파장별 이미지를 추출하는 파장별 이미지 추출 모듈(95)을 더 포함할 수도 있다. 파장별 이미지 추출 모듈(95)은 이미지 획득 모듈(93)에서 획득된 초분광 이미지(v*) 또는 후처리 모듈(94)에서 획득된 보정 초분광 이미지에서 파장별 이미지를 추출할 수 있다.
도시된 실시예에서, 각 구성들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 구성을 포함할 수 있다. 또한, 일 실시예에서, 각 구성은 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
그리고 도 9에 도시된 초분광 이미지 획득 모듈은 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
뿐만 아니라 초분광 이미지 획득 모듈은 하드웨어적 요소가 마련된 컴퓨팅 장치 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 장치 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 12는 실시예에 따른 초분광 이미지 획득 방법을 나타낸다.
도 12를 참조하면, 실시예에 따른 초분광 이미지 획득 방법은 우선 스펠트럴 필터(32)와 위상 마스크(33)가 모노크롬 이미지 센서(34)에 전면에 배치된 렌즈리스 초분광 카메라 모듈(31)에서 위상 마스크(33)의 PSF(44)를 획득한다(121). 여기서 위상 마스크(33)의 PSF(44)는 기준 위치에 배치된 백색 점광원에서 방사된 광이 렌즈리스 초분광 카메라 모듈(31)의 모노크롬 이미지 센서(34)에 입사되어 획득된 이미지로서 위상 마스크(33)의 일면에 형성된 위상 변환 패턴을 확인하기 위한 이미지이다.
그리고 위상 마스크(33)의 전면에 결합 배치된 스펙트럼 필터(32)의 위치별 파장 투과 특성을 분석한다(122). 실시예에서 스펙트럼 필터(32)는 위치별로 서로 상이한 파장의 광이 투과되도록 구성되며, 이에 스펙트럼 필터(32)의 각 위치에서 투과되는 광의 파장을 분석한다. 스펙트럼 필터(32)는 전체 영역에서 위치에 따라 선형적으로 가변되는 두께를 가져 상이한 파장의 광이 투과되도록 구성될 수 있으나, 도 3 및 도 8에 도시된 바와 같이, 제1 방향으로 두께가 선형적으로 가변되는 다수의 선형 가변 필터(43)가 프레임(42)에 의해 제2 방향에서 서로 이격되어 배치되도록 구성될 수도 있다.
스펙트럼 필터(32)의 위치별 파장 투과 특성이 분석되면, 분석된 스펙트럼 필터(32)의 위치별 파장 투과 특성에 따라 획득된 위상 마스크(33)의 PSF(44)를 다수의 영역으로 분할하여 파장별 PSF(81)를 설정한다(123). 이때 파장별 PSF(81)는 초분광 이미지에서 획득하고자 하는 파장별 이미지의 파장 범위에 따라 PSF(44)의 영역 크기를 결정하고, 크기 따라 PSF(44)를 분할하여 다수의 파장별 PSF(81)를 획득할 수 있다.
이후, 렌즈리스 초분광 카메라 모듈(31)로 촬영 대상(41)을 촬영하여 로우 이미지(45)를 획득한다(124). 여기서 로우 이미지(45)는 촬영 대상(41)을 포함한 장면에서 입사된 광이 스펙트럼 필터(32)에서 필터링되어 위치별로 상이한 파장의 광민아 투과된 이후, 위상 마스크(33)에 형성된 위상 변환 패턴에 의해 확산되고 중첩되어 모노크롬 이미지 센서(34)에 투영됨으로써 획득된 이미지이다. 따라서 로우 이미지(45)로는 촬영 대상(41)의 형태를 확인할 수 없다.
이에 파장별 PSF(81)를 우선 스택하여 PSF 스택을 획득한다(125). 그리고 3차원 구조로 스택된 PSF 스택으로 위상 마스크(33)의 위상 변환 패턴에 따라 변환되어 획득된 로우 이미지(45)를 역변환하여 초분광 이미지를 획득한다(126).
경우에 따라서는 로우 이미지(45)에 대해 다수의 파장별 PSF(81) 각각을 적용하여 역변환하여 다수의 파장별 이미지를 획득하고, 다수의 파장별 이미지를 스택하여 초분광 이미지를 획득할 수도 있다.
도 12에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 12에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능하다.
도 13은 실시예에 따른 초분광 이미지 획득 방법을 수행하는 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 설명하기 위한 도면이다.
도시된 실시예에서, 각 구성 요소들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 않은 것 이외에도 추가적인 구성 요소를 포함할 수 있다. 도시된 컴퓨팅 환경(130)은 컴퓨팅 장치(131)를 포함한다. 일 실시예에서, 컴퓨팅 장치(131)는 도 3에 도시된 초분광 이미지 획득 장치에 포함된 하나 이상의 구성 요소일 수 있다.
컴퓨팅 장치(131)는 적어도 하나의 프로세서(132), 컴퓨터 판독 가능 저장매체(133) 및 통신 버스(135)를 포함한다. 프로세서(132)는 컴퓨팅 장치(131)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(132)는 컴퓨터 판독 가능 저장매체(133)에 저장된 하나 이상의 프로그램들(134)을 실행할 수 있다. 상기 하나 이상의 프로그램들(134)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(132)에 의해 실행되는 경우 컴퓨팅 장치(131)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
통신 버스(135)는 프로세서(132), 컴퓨터 판독 가능 저장매체(133)를 포함하여 컴퓨팅 장치(131)의 다른 다양한 구성 요소들을 상호 연결한다.
컴퓨팅 장치(131)는 또한 하나 이상의 입출력 장치(138)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(136) 및 하나 이상의 통신 인터페이스(137)를 포함할 수 있다. 입출력 인터페이스(136) 및 통신 인터페이스(137)는 통신 버스(135)에 연결된다. 입출력 장치(138)는 입출력 인터페이스(136)를 통해 컴퓨팅 장치(131)의 다른 구성 요소들에 연결될 수 있다. 예시적인 입출력 장치(138)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(138)는 컴퓨팅 장치(131)를 구성하는 일 구성 요소로서 컴퓨팅 장치(131)의 내부에 포함될 수도 있고, 컴퓨팅 장치(131)와는 구별되는 별개의 장치로 컴퓨팅 장치(131)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
31: 렌즈리스 초분광 카메라 모듈 32: 스펙트럼 필터
33: 위상 마스크 34: 모노크롬 이미지 센서
35: 초분광 이미지 획득 모듈 41: 촬영 대상
42: 프레임 43: 선형 가변 필터
44: 점 확산함수 45: 로우 이미지
46: 초분광 이미지

Claims (20)

  1. 입사되는 위치에 따라 서로 다른 파장으로 투과되고 위상을 변환 및 확산된 광을 감지하여 스펙트럴 로우 이미지를 획득하는 렌즈리스 초분광 카메라; 및
    요구되는 다수의 파장 각각이 투과되는 위치에 따라 광의 위상이 변환되는 패턴을 나타내는 다수의 파장별 점 확산함수(이하 파장별 PSF)를 획득하고, 상기 로우 이미지를 상기 다수의 파장별 점 확산함수로 역변환하여 다수의 파장별 이미지가 포함된 초분광 이미지를 획득하는 초분광 이미지 획득 모듈을 포함하는 초분광 이미지 획득 장치.
  2. 제1항에 있어서, 상기 렌즈리스 초분광 카메라는
    입사되는 광의 세기를 감지하여 상기 스펙트럴 로우 이미지를 획득하는 모노크롬 이미지 센서;
    상기 모노크롬 이미지 센서의 전면에 이격 배치되어 광이 입사되는 위치에 따라 서로 다른 파장의 광이 투과되도록 필터링하는 스펙트럼 필터; 및
    상기 스펙트럼 필터와 상기 모노크롬 이미지 센서 사이에 배치되고, 미리 형성된 위상 변환 패턴에 따라 상기 스펙트럼 필터에서 필터링되어 입사되는 광의 위상을 변환 및 확산하여 상기 모노크롬 이미지 센서로 전달하는 위상 마스크를 포함하는 초분광 이미지 획득 장치.
  3. 제2항에 있어서, 상기 스펙트럼 필터는
    입사되는 광의 위치 변화에 따라 투과되는 광의 파장이 연속하여 선형적으로 변화하도록 두께가 연속적으로 가변되는 적어도 하나의 선형 가변 필터를 포함하는 초분광 이미지 획득 장치.
  4. 제3항에 있어서, 상기 스펙트럼 필터는
    제1 방향으로 두께가 연속적으로 가변되면서, 서로 다른 파장 대역의 광이 투과되도록 서로 상이한 두께를 갖는 다수의 선형 가변 필터가 제2 방향으로 서로 이격되어 배치되는 초분광 이미지 획득 장치.
  5. 제2항에 있어서, 상기 위상 마스크는
    상기 위상 변환 패턴에 따라 일면에 위치별로 상이한 높이를 갖도록 형성된 투명 필름으로 구현되는 초분광 이미지 획득 장치.
  6. 제2항에 있어서, 상기 초분광 이미지 획득 모듈은
    상기 위상 마스크의 위상 변환 패턴에 대응하는 점 확산함수(이하 PSF)를 상기 스펙트럼 필터에서 필터링되어 투과되는 광의 파장 중 획득하고자 하는 다수의 파장을 갖는 광이 투과되는 위치에 따라 영역 구분하여 상기 다수의 파장별 PSF를 획득하는 초분광 이미지 획득 장치.
  7. 제6항에 있어서, 상기 초분광 이미지 획득 모듈은
    상기 다수의 파장별 PSF를 스택하여 3차원 구조를 갖는 PSF 스택을 획득하고, 상기 PSF 스택을 이용하여 상기 위상 마스크에 의해 위상 변환되어 획득된 상기 스펙트럴 로우 이미지를 역변환하여 상기 초분광 이미지를 획득하는 초분광 이미지 획득 장치.
  8. 제7항에 있어서, 상기 초분광 이미지 획득 모듈은
    촬영 대상(v)에 대한 상기 스펙트럴 로우 이미지(b)와 상기 PSF 스택(H)을 기반으로 모델링된 스펙트럴 로우 이미지(Hv) 사이의 차이가 최소가 되도록 하여 상기 초분광 이미지(v*)를 수학식

    여기서 τ는 정규화 상수이고, φ는 총 변이(total variation)를 나타낸다.
    에 따라 획득하는 초분광 이미지 획득 장치.
  9. 제6항에 있어서, 상기 초분광 이미지 획득 모듈은
    상기 다수의 파장별 PSF 각각을 이용하여 상기 스펙트럴 로우 이미지를 역변환하여 다수의 파장별 이미지를 획득하고, 상기 다수의 파장별 이미지를 스택하여 상기 초분광 이미지를 획득하는 초분광 이미지 획득 장치.
  10. 제6항에 있어서, 상기 초분광 이미지 획득 모듈은
    별도로 획득된 기준 촬영 대상의 파장별 이미지와 상기 기준 촬영 대상을 촬영하여 획득된 상기 초분광 이미지에 포함된 상기 다수의 파장별 이미지를 비교하여 각 파장별 오차에 대한 파장별 보정 함수를 획득하여 저장하고, 이후, 촬영 대상을 촬영하여 획득된 초분광 이미지에서 다수의 파장별 이미지 각각을 파장별 보정함수로 보정하여 보정 초분광 이미지를 획득하는 초분광 이미지 획득 장치.
  11. 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에 의해 수행되는 방법으로서,
    입사되는 위치에 따라 서로 다른 파장으로 투과되고 위상을 변환 및 확산된 광을 감지하는 렌즈리스 초분광 카메라를 이용하여 촬영 대상을 촬영하여 스펙트럴 로우 이미지를 획득하는 단계;
    요구되는 다수의 파장 각각이 투과되는 위치에 따라 광의 위상이 변환되는 패턴을 나타내는 다수의 파장별 점 확산함수(이하 파장별 PSF)를 획득하는 단계; 및
    상기 로우 이미지를 상기 다수의 파장별 점 확산함수로 역변환하여 다수의 파장별 이미지가 포함된 초분광 이미지를 획득하는 단계를 포함하는 초분광 이미지 획득 방법.
  12. 제11항에 있어서, 상기 스펙트럴 로우 이미지를 획득하는 단계는
    입사되는 광의 세기를 감지하여 상기 스펙트럴 로우 이미지를 획득하는 모노크롬 이미지 센서와 상기 모노크롬 이미지 센서의 전면에 이격 배치되어 광이 입사되는 위치에 따라 서로 다른 파장의 광이 투과되도록 필터링하는 스펙트럼 필터 및 상기 스펙트럼 필터와 상기 모노크롬 이미지 센서 사이에 배치되고, 미리 형성된 위상 변환 패턴에 따라 상기 스펙트럼 필터에서 필터링되어 입사되는 광의 위상을 변환 및 확산하여 상기 모노크롬 이미지 센서로 전달하는 위상 마스크를 포함하여 상기 스펙트럴 로우 이미지를 획득하는 초분광 이미지 획득 방법.
  13. 제12항에 있어서, 상기 스펙트럼 필터는
    두께가 연속적으로 가변되는 적어도 하나의 선형 가변 필터를 를 포함하여 상기 입사되는 광의 위치 변화에 따라 투과되는 광의 파장이 연속하여 선형적으로 변화시키는 초분광 이미지 획득 방법.
  14. 제13항에 있어서, 상기 스펙트럼 필터는
    제1 방향으로 두께가 연속적으로 가변되면서, 서로 다른 파장 대역의 광이 투과되도록 서로 상이한 두께를 갖는 다수의 선형 가변 필터가 제2 방향으로 서로 이격되어 배치되어, 상기 입사되는 광의 제1 방향 위치 변화에 따라 투과되는 광의 파장을 연속하여 선형적으로 변형시키고, 광의 제2 방향 위치 변화에 따라 투과되는 광의 파장을 이산적으로 변형시키는 초분광 이미지 획득 방법.
  15. 제12항에 있어서, 상기 위상 마스크는
    상기 위상 변환 패턴에 따라 일면에 위치별로 상이한 높이를 갖도록 형성된 투명 필름으로 구현되는 초분광 이미지 획득 방법.
  16. 제12항에 있어서, 상기 파장별 PSF를 획득하는 단계는
    상기 위상 마스크의 위상 변환 패턴에 대응하는 점 확산함수(이하 PSF)를 상기 스펙트럼 필터에서 필터링되어 투과되는 광의 파장 중 획득하고자 하는 다수의 파장을 갖는 광이 투과되는 위치에 따라 영역 구분하여 상기 다수의 파장별 PSF를 획득하는 초분광 이미지 획득 방법.
  17. 제16항에 있어서, 상기 초분광 이미지를 획득하는 단계는
    상기 다수의 파장별 PSF를 스택하여 3차원 구조를 갖는 PSF 스택을 획득하고, 상기 PSF 스택을 이용하여 상기 위상 마스크에 의해 위상 변환되어 획득된 상기 스펙트럴 로우 이미지를 역변환하여 상기 초분광 이미지를 획득하는 초분광 이미지 획득 방법.
  18. 제17항에 있어서, 상기 초분광 이미지를 획득하는 단계는
    상기 촬영 대상(v)에 대한 상기 스펙트럴 로우 이미지(b)와 상기 PSF 스택(H)을 기반으로 모델링된 스펙트럴 로우 이미지(Hv) 사이의 차이가 최소가 되도록 하여 상기 초분광 이미지(v*)를 수학식

    여기서 τ는 정규화 상수이고, φ는 총 변이(total variation)를 나타낸다.
    에 따라 획득하는 초분광 이미지 획득 방법.
  19. 제16항에 있어서, 상기 초분광 이미지를 획득하는 단계는
    상기 다수의 파장별 PSF 각각을 이용하여 상기 스펙트럴 로우 이미지를 역변환하여 다수의 파장별 이미지를 획득하고, 상기 다수의 파장별 이미지를 스택하여 상기 초분광 이미지를 획득하는 초분광 이미지 획득 방법.
  20. 제16항에 있어서, 상기 초분광 이미지를 획득하는 단계는
    별도로 획득된 기준 촬영 대상의 파장별 이미지와 상기 기준 촬영 대상을 촬영하여 획득된 상기 초분광 이미지에 포함된 상기 다수의 파장별 이미지를 비교하여 각 파장별 오차에 대한 파장별 보정 함수를 획득하여 저장하고, 이후, 촬영 대상을 촬영하여 획득된 초분광 이미지에서 다수의 파장별 이미지 각각을 파장별 보정함수로 보정하여 보정 초분광 이미지를 획득하는 단계를 더 포함하는 초분광 이미지 획득 방법.
KR1020220073671A 2022-01-21 2022-06-16 렌즈리스 카메라를 이용한 스냅샷 기반 초분광 이미지 획득 장치 및 방법 KR20230113110A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220009484 2022-01-21
KR20220009484 2022-01-21

Publications (1)

Publication Number Publication Date
KR20230113110A true KR20230113110A (ko) 2023-07-28

Family

ID=87427211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220073671A KR20230113110A (ko) 2022-01-21 2022-06-16 렌즈리스 카메라를 이용한 스냅샷 기반 초분광 이미지 획득 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230113110A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102139858B1 (ko) 2017-09-25 2020-07-30 한국과학기술원 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102139858B1 (ko) 2017-09-25 2020-07-30 한국과학기술원 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템

Similar Documents

Publication Publication Date Title
JP7245835B2 (ja) 奥行取得のためのライトフィールド画像処理方法
Baek et al. Compact single-shot hyperspectral imaging using a prism
US9019358B2 (en) Method for classifying a pixel of a hyperspectral image in a remote sensing application
KR102139858B1 (ko) 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
US9880053B2 (en) Image pickup apparatus, spectroscopic system, and spectroscopic method
US10302491B2 (en) Imaging method and apparatus
US8810658B2 (en) Estimating a visible vector representation for pixels in an infrared image
TWI579540B (zh) 多點光譜系統
CN110880162B (zh) 基于深度学习的快照光谱深度联合成像方法及系统
US20210383151A1 (en) Hyperspectral detection device
Monno et al. Optimal spectral sensitivity functions for a single-camera one-shot multispectral imaging system
US20200177807A1 (en) Compound-eye imaging device, image processing method, and recording medium
KR20210048951A (ko) 초분광 이미지 센서 및 이를 포함하는 초분광 촬상 장치
US12032278B2 (en) Integrated spatial phase imaging
Takatani et al. One-shot hyperspectral imaging using faced reflectors
Toivonen et al. Snapshot hyperspectral imaging using wide dilation networks
WO2023125329A1 (zh) 活体指纹识别系统及其活体识别方法
Kim et al. Aperture-encoded snapshot hyperspectral imaging with a lensless camera
US20240037709A1 (en) Optical Method
KR101986998B1 (ko) 하이퍼스펙트럼 이미지 장치
KR20230113110A (ko) 렌즈리스 카메라를 이용한 스냅샷 기반 초분광 이미지 획득 장치 및 방법
US11644682B2 (en) Systems and methods for diffraction line imaging
US20220404531A1 (en) Method and system for fabrication and use of a spectral basis filter
KR101915883B1 (ko) 만화경을 이용한 초분광 영상 관측 방법 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal