KR20210043595A - 하이브리드 분광 이미저 - Google Patents
하이브리드 분광 이미저 Download PDFInfo
- Publication number
- KR20210043595A KR20210043595A KR1020217006083A KR20217006083A KR20210043595A KR 20210043595 A KR20210043595 A KR 20210043595A KR 1020217006083 A KR1020217006083 A KR 1020217006083A KR 20217006083 A KR20217006083 A KR 20217006083A KR 20210043595 A KR20210043595 A KR 20210043595A
- Authority
- KR
- South Korea
- Prior art keywords
- spectral
- image
- mfa
- imaging
- spectrum
- Prior art date
Links
- 230000003595 spectral effect Effects 0.000 claims abstract description 353
- 238000001228 spectrum Methods 0.000 claims abstract description 171
- 238000000701 chemical imaging Methods 0.000 claims abstract description 40
- 239000000126 substance Substances 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 71
- 238000001914 filtration Methods 0.000 claims description 39
- 230000003287 optical effect Effects 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 21
- 238000012634 optical imaging Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 239000011521 glass Substances 0.000 claims description 11
- 230000035945 sensitivity Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 239000011248 coating agent Substances 0.000 claims description 10
- 238000000576 coating method Methods 0.000 claims description 10
- 230000007170 pathology Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000003491 array Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 6
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims description 5
- 239000004973 liquid crystal related substance Substances 0.000 claims description 5
- 229910052710 silicon Inorganic materials 0.000 claims description 5
- 239000010703 silicon Substances 0.000 claims description 5
- 241001465754 Metazoa Species 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 4
- 239000012237 artificial material Substances 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000001148 chemical map Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000001727 in vivo Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 239000005445 natural material Substances 0.000 claims description 3
- 230000003667 anti-reflective effect Effects 0.000 claims 1
- 238000005070 sampling Methods 0.000 abstract description 9
- 238000013507 mapping Methods 0.000 abstract description 5
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000009659 non-destructive testing Methods 0.000 abstract description 3
- 230000010354 integration Effects 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 17
- 239000000523 sample Substances 0.000 description 15
- 230000008901 benefit Effects 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 7
- 230000000873 masking effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 238000001839 endoscopy Methods 0.000 description 3
- 229910052736 halogen Inorganic materials 0.000 description 3
- 150000002367 halogens Chemical class 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000001429 visible spectrum Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011344 liquid material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000011343 solid material Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- QUJRZEAMTDWGDV-UHFFFAOYSA-N N-2-fluorenylphthalamic acid Chemical compound OC(=O)C1=CC=CC=C1C(=O)NC1=CC=C2C3=CC=CC=C3CC2=C1 QUJRZEAMTDWGDV-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- CJDPJFRMHVXWPT-UHFFFAOYSA-N barium sulfide Chemical compound [S-2].[Ba+2] CJDPJFRMHVXWPT-UHFFFAOYSA-N 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002189 fluorescence spectrum Methods 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000002032 lab-on-a-chip Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02015—Interferometers characterised by the beam path configuration
- G01B9/02029—Combination with non-interferometric systems, i.e. for measuring the object
- G01B9/0203—With imaging systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/32—Investigating bands of a spectrum in sequence by a single detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/29—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using visual detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
-
- H04N9/097—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1213—Filters in general, e.g. dichroic, band
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1213—Filters in general, e.g. dichroic, band
- G01J2003/1221—Mounting; Adjustment
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1226—Interference filters
- G01J2003/1243—Pivoting IF or other position variation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1282—Spectrum tailoring
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
- G01J2003/284—Spectral construction
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
본 발명은 응시-스펙트럼 스캐닝 및 비디오 스냅샷 스펙트럼 이미징 모드들 둘 모두에서 동작하는 하이브리드 및 스캐닝/스냅샷 스펙트럼 이미저를 개시한다. 선택가능한 임계 스펙트럼 대역들의 세트에서의 스냅샷 스펙트럼 이미징 동작은 공간 해상도를 손상시키지 않으면서 머신 러닝-기반 추정 및 전체 초분광 큐브의 비디오-레이트 디스플레이에 대한 기반을 포함한다. 응시형 스캐닝 모드에서 동작할 시에, 개시된 하이브리드 스펙트럼 이미저는, 초분광 큐브 샘플링을 완료할 때까지, 주어진 튜닝 단계에서 그리고 복수의 튜닝 단계들에 대해 협대역 이미지들의 세트들을 획득한다. 스캐닝 동작은, 수집된 스펙트럼들에 존재하는 중복 정보가 폐기되도록 스냅샷 동작을 최적으로 구성하기 위해 사용될 수 있다. 개시된 하이브리드 스펙트럼 이미저는 소형화 및 저전력 동작에 민감한 실시예들을 포함하여, 모바일 폰 및 컴퓨터 플랫폼들로의 통합을 허용한다. 본 발명은 비파괴 테스팅, 실시간 스펙트럼 및 화학적 맵핑, 비침습적 진단 및 스펙트럼 사진을 적어도 부분적으로 포함하는 애플리케이션들을 다루도록 의도된다.
Description
본 출원은 일반적으로 이미징에 관한 것이다. 특히, 배타적이지는 않지만, 본 출원은 초분광(hyperspectral) 이미징 및 스냅샷 스펙트럼 이미징에 관한 것이다. 더 구체적으로, 배타적이지는 않지만, 본 출원은 확장된 색역(color gamut) 스펙트럼 사진을 달성하기 위해 스펙트럼 추정과 결합되는 소형화된 비디오-스냅샷 스펙트럼 이미징 및 다중 스냅샷 초분광 이미징을 위해 그리고 자연, 인공, 및 생물학적 조직 물체들의 스펙트럼 및 화학적 맵핑을 위해 이미지 분할 및 필터링 광학기기를 사용하는 것에 관한 것이다.
초분광 이미징은 다수의 애플리케이션들에서 널리 사용된다. 공간 정보와 함께 스펙트럼 정보를 획득하는 것은 많은 솔루션들에 있어서 난해한 기술적 문제이다.
가장 인기있는 솔루션들 중에는, 종래의 포인트 또는 라인 분광기들을 이용한 장면의 공간 스캐닝, 또는 응시 스펙트럼 이미저들로 또한 알려져 있는 이미징 단색화기(monochromator)들을 이용한 스펙트럼 스캐닝 중 어느 하나에 기반한 솔루션들이 있다. 공간 스캐닝 초분광 이미저들은, 예를 들어 푸시-브룸형(push-broom) 및 위스크브룸형(whiskbroom) 스펙트럼 이미저들을 포함한다. 응시 카테고리는 일부 예를 들자면, 필터 휠(filters wheel)들, 음향-광학 튜닝가능 필터(Acousto-optic Tunable Filter (AOTF))들, 액정 튜닝가능 필터(Liquid Crystal Tunable Filter (LCTF))들, 간섭계 시스템들, 선형 가변 간섭 필터들(Linear Variable Interference Filter (LVIF)), 튜닝가능 패브리-페롯(Fabry-Perot) 공동들을 포함한다. 일반적인 카메라와 동기화된 튜닝가능한 광원들은 광원의 모든 파장-튜닝 단계에서 스펙트럼 이미지들을 캡처하기 위한 낮은 비용의 옵션을 포함하지만; 그들은 주변 광의 무작위 기여들로 인해 원격 감지 애플리케이션들에서 차선의 솔루션을 명확히 포함한다. 일반적으로, 스캐닝 초분광 이미저들은 그들의 전체 동작 파장 범위를 스캐닝하는 데 상당한 시간을 요구한다는 주요 단점을 겪으며, 이는, 그들의 의도된 용도가 이동하는 타겟들, 또는 스펙트럼 특성들이 시간 종족적인 타겟들의 분석인 경우 그들을 실용적이지 않게 만든다.
이러한 문제에 대한 솔루션으로서 스냅샷(인스턴트) 스펙트럼 이미저들이 나타났다. 이러한 카테고리는 멀티플렉싱된 공간 및 스펙트럼 정보의 단일-샷 캡처, 및 포스트 프로세싱을 이용한 스펙트럼 이미지들의 재구성에 의존하는 솔루션들을 포함한다. 코딩된 애퍼처(aperture) 및 단층촬영 기술들이 이러한 클래스의 인스턴트 스펙트럼 이미저들에 속한다.
공간 및 스펙트럼 정보의 멀티플렉싱에 기초한 스냅샷 스펙트럼 이미저들의 주요 결함은, 종종 비교적 긴 포스트-프로세싱 시간을 요구하는 공간 해상도와 스펙트럼 해상도 사이의 트레이드-오프이며, 이는 비디오-레이트 스펙트럼 이미징에 대해 현실적으로 금지된다. 스펙트럼 이미징의 실시간 양상은, 예를 들어, 스펙트럼 이미징이 생체의학 또는 산업 애플리케이션들에서 액션들을 트리거링하거나 안내할 때 필수적이다.
픽셀화된 스펙트럼 이미저들은 실시간 스냅샷 스펙트럼 이미징을 제공하며, 컬러 카메라들에서 사용되는 3개의 원색(primary color) 필터 어레이들을 다수의 스펙트럼적으로 중첩하지 않는 대역통과 필터들의 모자이크 배열로 대체함으로써 구성된다. 통상적으로, 이들 필터들은 서로 간에 스펙트럼적으로 연속적인 피크(peak) 파장들을 갖는다. 그러나, 픽셀화된 스펙트럼 이미저들은 공간 해상도를 희생하여 실시간 디스플레이를 제공한다. 멀티플렉싱된 그리고 픽셀화된 스펙트럼 이미저들 둘 모두에서, 스펙트럼 차원의 증가는 공간 해상도를 희생하여 획득된다. 특히, 300×300 픽셀들의 공간 해상도들은 전문 사진, 의료 이미징 및 비파괴 테스팅을 포함하는 긴 리스트의 애플리케이션들에 대해 통상적으로 수용가능하지 않은 것이다. 최근의 공개물들은 픽셀화된 스펙트럼 이미저들의 공간 정보를 가상으로 확장시킬려는 목적으로, 픽셀화된 스펙트럼 이미저들을 3-컬러-고해상도 카메라들과 함께 통합시키는 방법들을 설명한다. 그러나, 이는 상당한 포스트-프로세싱 시간을 요구하며, 이는 스펙트럼 이미지들의 실시간 동시 디스플레이의 측면들에서 멀티플렉싱 스펙트럼 이미저들에 비해 픽셀화되는 장점을 상쇄시킨다. 더 중요하게, 자연 장면들의 공간 정보의 매우 높은 이질성으로 인해, 누락된 공간 정보의 모델링 및 추정은 시간 소모적이고, 계산적으로 집약적이며, 오류-취약적인 절차이다.
본 발명은 종래 기술의 스펙트럼 이미징 시스템들에 존재하는 제한들을 완화하는 하이브리드 스펙트럼 이미저를 제공하는 것을 목표로 한다.
본 발명의 제1 양상에 따르면, 개시된 하이브리드 스펙트럼 이미저는,
이미징 헤드 배열(IHA) － 이미징 헤드 배열은, 이미징 경로를 따라 타겟 장면 또는 물체의 이미지를 수집 및 포커싱하기 위한 광학 이미징 수단을 포함함 －;
멀티대역 필터링 광학기기(multiband filtering optics (MBFO)) 수단 － 멀티대역 필터링 광학기기 수단은, 타겟 이미지의 적어도 2개의 복제 이미지들을 생성하기 위한 빔 분할기 수단; 이미징 경로에 개재되고, 상기 이미지 복제본들에서 튜닝가능 멀티-대역통과 필터링을 달성하는 튜닝가능 멀티대역 필터링(tunable multiband filtering (TMF)) 수단을 포함함 －;
모자이크 필터 어레이(MFA) 센서 배열 － 상기 MFA 센서 배열은 상기 멀티대역 필터링된 이미지 복제본들이 포커싱되는 적어도 하나의 MFA-초점 평면 어레이(FPA) 센서를 포함하고, 적어도 3개의 광대역 원색-유형 필터들을 이용하여 픽셀화된 방식으로 마스킹된 초점 평면 어레이 수단을 포함하며, 각각의 원색-유형 응답은 상기 멀티대역-필터링된 이미지 복제본들로부터 하나의 단일-대역 이미지 컴포넌트를 분리시키고 캡처함 －;
이미징 헤드 배열에 커플링되어, 이미지 획득 프로세스들을 교정하고; TMF의 주어진 튜닝 단계에서 그리고 복수의 상기 튜닝 단계들에 대해 MFA 센서 배열에 의해 이미지 복제본들의 획득/캡처를 제어 및 동기화시키며; MFA와 TMF 사이의 대역 혼선(cross-talking)을 보상하기 위해 MFA 센서 배열 응답들을 스펙트럼적으로 정제(purify)하기 위한 프로그램 명령들을 실행하는 제어 및 프로세싱 유닛(CPU);
사용자 인터페이스 수단 상에서 적어도 획득된 단일-대역 이미지들을 디스플레이하기 위한 디스플레이 수단을 포함하고,
CPU는 이용된 MFA-FPA 센서 당 적어도 3개의 상이한 단일-대역 이미지들의 세트를 재구성하여, 상기 디스플레이 수단 상에서 디스플레이하도록 구성되고;
CPU는, 원하는 스펙트럼 대역들에서 비디오 스냅샷 스펙트럼 이미징을 위한 상이한 단일-대역 이미지들의 세트들의 중심 파장들을 선택하고 그리고/또는 주어진 튜닝 단계에서 상이한 단일-대역 이미지들의 특정한 수의 세트들 및 멀티단계 절차에서 복수의 세트들을 캡처하기 위해 TMF를 튜닝하도록 구성되고, 그 튜닝은 FPA 센서의 스펙트럼 감도 범위 내에서 적어도 30개의 단일 대역 이미지들을 포함하는 전체 초분광 큐브 데이터-세트의 세트를 수집할 때까지 지속된다.
제1 양상의 실시예들에 따르면, CPU는 타겟-장면 특정 또는 물체-특정 스펙트럼 데이터베이스에서, 두드러진 스펙트럼 특징부들로 채워진 파장들에 대응하는 임계 스펙트럼 대역들(critical spectral bands (CSB))의 세트를 식별하기 위한 프로그램 명령들을 실행하도록 구성된다. 예를 들어, 상기 두드러진 스펙트럼 특징부들은 캡처된 스펙트럼들의 피크들, 및/또는 밸리(valley)들, 및/또는 슬로프들에 대응한다.
제1 양상의 실시예들에 따르면, CPU는, 트레이닝된 스펙트럼 추정 모델 및 연관된 알고리즘들을 이용하여, 희소하게 샘플링된 데이터 포인트들에서 캡처된 응답들을 피팅(fit)함으로써, 스펙트럼을 따라 희소하게 샘플링된 데이터 포인트들에서 캡처된 MFA-센서 배열 응답들로부터 전체 스펙트럼을 복원하기 위한 프로그램 명령들을 실행하도록 구성된다. 제1 양상의 실시예들에 따르면, 희소하게 샘플링된 데이터-포인트는 CSB의 세트에 대응한다.
제1 양상의 실시예들에 따르면, CPU는 상기 MFA-센서 어레이 수단에 의해 캡처된 스냅샷 스펙트럼 이미지들의 세트 및 추정된 스펙트럼 이미지들의 하나의 세트를 포함하는 스펙트럼 큐브를 생성하도록 구성되며, 그 세트들 모두는 비디오 레이트들로 함께 디스플레이된다.
제1 양상의 실시예들에 따르면, 상기 추정된 스펙트럼 이미지들은 모든 이미지 픽셀들에 대한 상기 재구성된 스펙트럼들의 추정된 데이터 포인트들로부터, 상기 스펙트럼들의 재구성된 부분들에 속하는 특정 파장 대역에 대응하는 세기 값들을 포함하는 2차원 어레이로서 획득된다.
제1 양상의 실시예들에 따르면, 스펙트럼 추정 모델들 및 알고리즘들은 최소 제곱들, 위너 추정(Wiener Estimation), 커널 방법들, 인공 뉴럴 네트워크들, 희소 재구성 및 딥 러닝 접근법들을 적어도 부분적으로 포함하는 알고리즘들의 클래스에 속한다. 예를 들어, 애플리케이션에 의존하여, 그룹의 모델들 및 알고리즘들 중 하나 이상은 추정된 스펙트럼 이미지들에 대한 누락된 데이터 포인트들을 추정하는 데 사용될 수 있다.
제1 양상의 실시예들에 따르면, 상기 CPU는 스펙트럼 이미징 데이터 세트의 스펙트럼 분류를 위한 그리고 디스플레이 수단 상에서 스펙트럼 분류의 스펙트럼 주제 맵(thematic map)을 디스플레이하기 위한 프로그램 명령들을 실행하도록 구성된다.
제1 양상의 실시예들에 따르면, 상기 스펙트럼 분류는 스펙트럼 주제 맵을 화학적 맵 또는 진단 맵으로 변환하기 위한 화학적 아이덴티티들 및 라벨들을 갖는 스펙트럼들을 가진 데이터베이스에 저장되어 있는 감독된 분류기 및 스펙트럼 데이터-세트를 이용한다.
제1 양상의 실시예들에 따르면, 광학 이미징 수단은 사진 렌즈들, 현미경 광학기기, 시준 광학 무한 보정 광학기기의 단단한 또는 가요성 내시경들, 및 망원경들을 포함하는 그룹으로부터 선택된다. 광학 이미징 수단은 애플리케이션 또는 사용자 요건들에 따라 선택된다.
제1 양상의 실시예들에 따르면, 상기 타겟 장면 또는 물체는 공중, 지상 또는 수중 이미징 조건들에서의 인간 또는 동물 조직, 식물 조직, 풍경 장면, 가공 또는 원료 식품 재료, 천연 재료, 인공 재료를 적어도 부분적으로 포함하는 그룹으로부터 선택된다.
제1 양상의 실시예들에 따르면, MBFO 수단은 큐브 빔 스플리터(beam splitter)들, 플레이트 빔 스플리터들, 편광 빔 스플리터들, 오각형 빔 스플리터/분할기들, 미러 코팅 레그(mirror coated leg)들을 갖는 직각 프리즘, 미러-코팅 레그들을 갖는 미러 코팅 피라미드 프리즘들, 물방울-무늬(polka-dot) 빔 스플리터들 및 펠리클(pellicle) 빔 스플리터들을 적어도 부분적으로 포함한다.
제1 양상의 실시예들에 따르면, 상기 TMF는 각도 의존 스펙트럼 투과 필터링(angle depending spectral transmittance filtering (ADSF))-유형 이색성(dichroic) 및 다색성(polychroic) 미러들, 및 ADSF-유형 멀티-대역통과 필터들, 공간 광 변조기들, 음향-광학기기들, 액정 스펙트럼 변조기들, 표면 플라스몬(plasmon) 필터들 및 이들의 조합들의 형태로 ADSF를 적어도 부분적으로 포함한다.
제1 양상의 실시예들에 따르면, 상기 TMF는 ADSF-유형 멀티대역 반사 및/또는 투과 필터이며, 그 반사 및/또는 투과 필터는, 그것이 ±30°의 각도 범위 내에서 틸팅될 때, 대역들의 중심 파장을 약 15%로 튜닝하는 속성을 갖는다.
제1 양상의 실시예들에 따르면, 상기 ADSF-유형 필터 수단은 틸팅 액추에이터 수단의 틸팅가능 축 상에 배치되며, 틸팅 액추에이터는 갈바니(galvanic) 전기기계식 엘리먼트들, 회전형 액추에이터들, 모터들, 회전형 솔레노이드들, 자기, 전기, 열 액추에이터들 및 마이크로전자기계 시스템(MEM들)을 포함하는 그룹으로부터 선택된다. 액추에이터의 구현은 원하는 애플리케이션에 의존하며, 그룹으로부터의 하나 이상의 엘리먼트들의 사용 및/또는 당업자에게 알려진 다른 수단을 수반할 수 있다.
제1 양상의 실시예들에 따르면, 상기 CPU 및 디스플레이 수단은 마이크로제어기 유닛들, 메모리 유닛들, 필드 프로그래밍가능 게이트 어레이(FPGA)들, 모바일 폰들, 태블릿 컴퓨터들, 랩톱 컴퓨터들, 평판 디스플레이들 및 비디오 고글들을 적어도 부분적으로 포함한다. 예를 들어, CPU 및 디스플레이 수단은 그룹에서 언급된 엘리먼트들 중 하나 이상, 및/또는 당업자에게 알려진 임의의 다른 수단을 수반할 수 있는 다양한 방식들로 구현될 수 있다.
제1 양상의 실시예들에 따르면, 빔 분할기는 상기 틸팅 액추에이터 수단의 틸팅가능 축 상에 배치된 틸팅 펜타프리즘 빔 분할기이며, 여기서 상기 TMF는 상기 펜타프리즘 빔 분할기의 제1 반사 표면 상에 증착되어, 틸팅 각도-불변 직교 방향들로 2개의 멀티대역 필터링된 이미지 복제본들을 반사 및 투과(transmitting)시키는 ADSF-유형 다색성 미러 코팅이고, IHA는 투과 및 반사된 멀티대역 필터링된 이미지 복제본들을 실질적으로 동시에 캡처하기 위해 상기 광학 이미징 수단의 투과/반사 초점 평면들에 배치된 2개의 MFA-FPA 센서들을 포함한다.
제1 양상의 실시예들에 따르면, 빔 분할기는 틸팅 액추에이터 수단의 틸팅가능 축 상에 배치된 틸팅 펜타프리즘 빔 분할기이며, 여기서 TMF는, 이미지 복제본들이 나타나는 펜타프리즘 표면들 상에 배치된 ADSF-유형 멀티대역-통과 필터들의 쌍을 포함하고, ADSF-유형 필터들은 틸팅 각도 불변 직교 방향들로 2개의 멀티대역 필터링된 이미지 복제본들을 투과시키고, IHA는 투과된(transmitted) 멀티대역 필터링된 이미지 복제본들을 실질적으로 동시에 캡처하기 위해 상기 광학 이미징 수단의 투과/반사 초점 평면들에 배치된 2개의 MFA-FPA 센서들을 포함한다.
제1 양상의 실시예들에 따르면, 펜타프리즘의 제1 반사 표면은, 이미지 왜곡 효과들을 보상하기 위해 펜타프리즘의 후방 표면이 펜타-프리즘의 전방 표면과 평행하도록 삼각 프리즘과 함께 접합된다.
제1 양상의 실시예들에 따르면, 빔 분할기는 상기 광학 이미징 광학기기 수단의 후방 말단과 그들의 초점 평면 사이의 공간으로서 정의된 이미징 경로에서 고정 위치에 배치된 빔 분할 엘리먼트이며, 여기서 TMF는 분할 광선 경로들에 개재된 2개의 틸팅 액추에이터 수단의 틸팅가능 축 상에 각각 배치되는 ADSF-유형 멀티대역-통과 필터들의 쌍을 포함하고, IHA는 투과된 멀티대역 필터링된 이미지 복제본들을 실질적으로 동시에 캡처하기 위한 2개의 MFA 센서 배열들을 포함한다.
제1 양상의 실시예들에 따르면, 빔 분할기는 쾨스터(K
ster) 프리즘-유형 빔 분할기이며, 그 쾨스터 프리즘-유형 빔 분할기는 그의 각도들 중 하나의 각도의 이등분선이 ADSF-유형 필터로 코팅되도록 구성되고, IHA는 단일 MFA 센서 배열을 포함하고, 단일 MFA 센서 배열은 분해된 각도의 반대측 상에 배치되어, 상기 단일 MFA 센서의 2개의 상이한 영역들로 2개의 멀티대역 이미지 복제본들을 캡처한다.
제1 양상의 실시예들에 따르면, 빔 분할기는 적어도 2개의 면(side)들이 미러-코팅되어 있는 다면(multisided) 반사기를 포함하며, 미러 코팅된 면들은 인입 광 빔을 적어도 2개의 반대로 반사되는 컴포넌트들로 분할하도록 구성된다.
제1 양상의 실시예들에 따르면, MBFO 수단은,
동일한 이미지들의 세트를 생성하도록 구성된 광학 엘리먼트;
광이 별개의 스펙트럼 대역들의 세트에서 투과 및/또는 반사되도록 상기 이미지 복제본들을 스펙트럼적으로 필터링하도록 구성된 필터 어레이 수단;
복제 이미지들의 필터링된 세트를 시각화하도록 구성된 유리 스크린; 및
유리 스크린 상에서 디스플레이된 이미지를 적어도 하나의 이미징 센서 상에 포커싱하도록 구성된 릴레이 렌즈(relay lens)를 포함한다.
제1 양상의 실시예들에 따르면, MBFO 수단은 MBFO 수단을 상용 카메라 수단의 대응하는 렌즈 어댑터와 탈착가능하게 장착하기 위한 보편적인 장착 수단을 포함하며, 상기 카메라 수단은 자율적으로 서 있거나(stand) 또는 모바일 텔레폰/컴퓨터 플랫폼 수단에 통합된다.
제1 양상의 실시예들에 따르면, 상기 IHA는 광학 이미징 수단의 초점 평면으로 끝나는 이미지 경로에 배치된 이미지-시프트 보상 광학 엘리먼트를 포함하며, 이미지 시프트 보상 광학 엘리먼트는 틸팅-유도 광학 매체 경로-길이 변동들 및 연관된 이미지 왜곡/변위 효과들을 보상하기 위해 ADSF-유형 필터의 틸팅 각도에 대한 비례 및 반대 틸팅 각도로 틸팅 액추에이터에 의해 위치설정되도록 구성된다.
제1 양상의 실시예들에 따르면, 이미지 시프트 보상 광학 엘리먼트는, 포커싱된 이미지가 상기 ADSF-유형 필터에 의해 야기된 변위와 실질적으로 동일한 거리만큼 반대 방향으로 변위되도록 선택되는 미리 결정된 두께 및 굴절률을 갖는 유리 플레이트이다.
제1 양상의 실시예들에 따르면, 하이브리드 스펙트럼 이미저는 확장된 색역의 메타메리즘-없는(metamerism-free) 전체 스펙트럼 사진 카메라로서 동작되도록 구성되며, 여기서,
MBFO 수단 및 MFA 센서 배열 수단은 스펙트럼의 가시 부분 내에서 적어도 5개의 상기 단일 대역 이미지들을 캡처하도록 구성되고; CPU 유닛은 먼셀(Munsell) 스펙트럼 집합(collection)을 적어도 부분적으로 포함하는 스펙트럼들의 큰 집합에 기초하여 스펙트럼 추정 모델의 트레이닝 태스크를 실행하고; 모든 이미지 픽셀들에서 스펙트럼들을 재구성하기 위해 희소하게 샘플링된 스펙트럼 데이터 포인트들을 피팅하기 위한 스펙트럼 추정 모델-기반 알고리즘을 실행하고; 상기 스펙트럼들로부터 CIE-색도계 컬러 파라미터들을 계산하며; 그리고 전체 스펙트럼들로부터 도출된 컬러 파라미터들에 대응하는 픽셀 값들을 갖는 컬러 이미지를 디스플레이 수단에서 디스플레이하도록 구성된다.
제1 양상의 실시예들에 따르면, MBFO 수단 및 MFA 센서 배열 수단은 스펙트럼의 가시 부분 내의 적어도 5개의 단일 대역 이미지들 및 상기 실리콘 센서 수단의 근적외선 감도 범위에서 적어도 하나의 단일 대역 이미지를 캡처하도록 구성되며; CPU 유닛은, 상기 타겟 장면 또는 물체를 조명하는 주변 광의 스펙트럼 특성들의 추정; 컬러 불변성을 달성하기 위해 상기 타겟 장면의 또는 물체의 표면 반사율을 추정하는 것; 상기 컬러 이미지로부터의 헤이즈(haze) 엘리먼트들의 추출을 적어도 부분적으로 포함하는 이미지 프로세싱 태스크들을 상기 프로세싱 출력을 이용하여 실행하기 위해 단일 대역 이미지 근적외선 응답을 이용하도록 구성된다.
본 발명의 제2 양상에 따르면, 비디오의 풀 해상도 초분광 이미징을 위한 방법이 제공되며, 그 방법은,
타겟 장면 또는 물체의 스펙트럼 아이덴티티/복잡도를 표현하기에 통계적으로 충분한 조밀하게 샘플링된 광학 스펙트럼들의 집단을 획득하는 단계; 스펙트럼 특징부 추출을 통해 상기 스펙트럼 집단의 희소 표현을 추출하기 위해 상기 조밀하게 샘플링된 광학 스펙트럼들의 세트를 분석하는 단계; 조밀하게 샘플링된 광학 스펙트럼들에서, 두드러진 스펙트럼 특징부들로 많이 채워진 스펙트럼 대역들과 실질적으로 중첩하는 대역들에 대응하는 임계 스펙트럼 대역들(CSB)을 식별하는 단계; 및 본 발명의 제1 양상의 실시예들에 따른 하이브리드 스펙트럼 이미저에 의해 다음의 단계들을 수행하는 단계를 포함하며, 그 다음의 단계들은, 식별된 CSB에 대응하는 중심 파장들을 갖는 스펙트럼 이미지들을 실질적으로 동시에 캡처하는 단계; 조밀하게 샘플링된 광학 스펙트럼들의 스펙트럼 데이터-세트 샘플과 연관된 스펙트럼 추정 모델을 이용한 CSB 공간 및 스펙트럼 데이터 포인트들의 피팅을 통해 누락된 스펙트럼 데이터 포인트들 및 대응하는 스펙트럼 이미지들을 추정함으로써 타겟 물체 또는 장면에 대한 스펙트럼 큐브를 재구성하는 단계; 및 재구성된 스펙트럼 큐브의 전체 콘텐츠 및 도출된 스펙트럼 주제 맵들 중 적어도 하나를 비디오 레이트들로 디스플레이하는 단계를 포함한다.
스캐닝 스펙트럼 이미저들은 전체 공간 해상도로 수십개의 스펙트럼 이미지들을 생성하지만, 상당한 획득 시간을 요구한다. 스냅샷 스펙트럼 이미저들은 또한 수십개의 스펙트럼 이미지들을 생성하여, 스캐닝 시간을 요구하지 않으며, 이들 중 일부는 공간 해상도를 손상시키고, 다른 일부는 라이브 스펙트럼 이미징을 허용하지 않는 긴 포스트 프로세싱 시간들을 요구한다.
이상적인 초분광 이미저는, 30개 이상의 협대역 이미지들을 포함하는 초분광 큐브의 전체 콘텐츠 및/또는 상기 큐브의 콘텐츠를 종합적으로 표현하는 임의의 이미지 수단을 거의 비디오 레이트들로 그리고 고화질 센서의 해상도로 획득 및 디스플레이할 수 있는 장치로서 설명될 수 있다. 본 발명은, 두드러진 스펙트럼 대역들의 바람직한 세트에서 스냅샷 비디오 스펙트럼 이미징을 가능하게 함으로써 이러한 궁극적인 목표에 접근하는 것을 추구하며, 이는 누락된 스펙트럼 이미지들을 재구성하기 위해 트레이닝-기반 스펙트럼 추정을 이용하여 보완되어, 상기 초분광 큐브의 전체 콘텐츠가 비디오 레이트로 디스플레이되게 한다.
특히, 본 발명의 토대들은, 일반적으로 사용되는 실리콘 또는 게르마늄 광 센서들의 감도 스펙트럼 범위(0.3 내지 1.7μm)에서 기록되는 고체/액체 재료들의 반사/투과/형광 스펙트럼들이 넓고, 적은 수의 두드러진 특징부들(예를 들어, 피크들, 밸리들 및 슬로프들)을 갖는다는 관찰에서 발견된다. 이것은 상기 두드러진 스펙트럼 특징부들의 부근에 놓여있는 희소 샘플링 포인트들에서의 스펙트럼 정보의 캡처를 허용하는데, 이는 스펙트럼들의 특징없는 부분들에 대응하는 정보가 대체로 중복되기 때문이다. 이러한 방식으로, 다수의 스펙트럼 특징-유익 스펙트럼 대역(spectral feature-informative spectral band)들이 전체 센서의 공간 해상도에서의 동시 스펙트럼 이미징을 위해 선택될 수 있다. 누락된 데이터 포인트들은 효율적인 트레이닝 프로세스와 결합된 상기 스펙트럼 특징-유익 스펙트럼 대역들에 기초하여 추정될 수 있다. 주어진 공간 해상도에 대해, 거의 비디오 레이트들로 획득/디스플레이될 수 있는 스펙트럼 대역들의 최대 수는 데이터 전송 프로토콜의 대역폭에 의해 결정된다. 오늘날 이용가능한 대역폭은 20 Gbit/s(예를 들어, USB 3.2)만큼 높은 값들에 도달하여, 수십개의 고해상도 스펙트럼 이미지들(예를 들어, 풀 HD 또는 4K)이 비디오 레이트들로 또는 심지어 더 빠르게 전달되게 허용한다. 실제로, 상기 두드러진 스펙트럼 특징부들의 수는 통상적으로 10개 미만이며, 이는 대역폭이 거의 비디오 레이트들로 동시에 획득될 수 있는 멀티-메가픽셀 스펙트럼 이미지들의 수에 대해 어떠한 상당한 제한들도 설정하지 않는다는 것을 표시한다.
상기 스냅샷 스펙트럼 이미지들의 주어진 픽셀 위치에서의 세기 값들은 상이한 파장들에서 캡처되며, 샘플링된 스펙트럼 정보를 포함한다. 이전에 논의된 바와 같이, 샘플링된 데이터 포인트들은 스펙트럼들의 두드러진 특징부들(예를 들어, 피크들, 밸리들)에 (희소하지만) 유익하다. 따라서, 샘플링된 데이터 포인트들은 모든 이미지 픽셀에 대한 완전한 스펙트럼을 복원하기 위해, 적합한 데이터 세트로 트레이닝된 스펙트럼 추정 모델로 피팅될 수 있다. 이는 샘플링된 및 추정된 스펙트럼 이미지들 둘 모두를 포함하는 완전한 스펙트럼 큐브를 재구성하는 것에 대응한다.
특히, 넓고 매끄러운 스펙트럼들의 추정은 픽셀화된 스펙트럼 이미저들에서의 누락된 공간 포인트들의 추정과 비교하여 빠르고 훨씬 더 간단한 절차이며, 후자는 통상적인 종래 기술 관행을 포함한다. 이러한 단락에서 이전에 논의된 바와 같이, 상기 스펙트럼 추정 정확도는, 획득 스펙트럼 대역들이 상기 두드러진 스펙트럼 특징부들에 대응하는 파장들의 부근에 놓여있을 때 현저하게 증가한다. 상기 두드러진 스펙트럼 특징부들에 대응하는 파장들은 일반적으로, 이미징된 대상 카테고리(예를 들어, 식물들, 피부, 음식 등)의 속성에 의존하여 변할 수 있다. 이러한 변동에 대한 적응을 가능하게 하려는 목적을 위해, 개시된 하이브리드 스펙트럼 이미저는 임계 스펙트럼 대역들(CSB)의 세트에서의 동시 스펙트럼 이미지 획득을 튜닝 및 록킹(lock)하는 것을 허용하는 전기-광학 수단을 통합한다. 상기 단일 CSB는 통상적으로, 협소한(예를 들어, 10 내지 40 nm) 반치전폭(Full Width at Half Maximum; FWHM) 및 상기 스펙트럼 특징부들에 대응하는 파장들에 매우 근접하게 놓여있는 중심 파장들을 갖는다. 상기 CSB를 선택 및 록킹할 시에, 협대역 이미지들의 세트는 동시에 캡처되고 비디오 레이트들로 디스플레이된다. 비디오 리프레시(refresh) 레이트와 비슷한 실행 시간에서, 상기 CSB 이미지들을 기반으로서 사용하여, 누락된 스펙트럼 데이터 포인트들을 복원하기 위해 트레이닝-기반 스펙트럼 추정 절차들이 이용된다. 마지막으로, 결과적인 스펙트럼 큐브는 추정된 및 획득된(CSB) 스펙트럼 이미지들의 혼합물이다.
이전에 논의된 스펙트럼 추정은 상기 타겟 장면 또는 물체의 예상되는 스펙트럼 특성들에 관한 사전 지식을 요구한다. 본 발명은 그러한 사전 지식이 누락된 경우 그 지식을 설정하기 위한 수단을 제공한다. 이러한 경우, 개시된 하이브리드 스펙트럼 이미저는 스캐닝 모드로 스위칭하며, 여기서 일련의 스펙트럼 이미지들은 시간상 연속적으로 수집되어, 샘플링된 스펙트럼 큐브를 구성한다. 상기 샘플링된 스펙트럼 큐브는 후속 이미징 태스크들을 위해 상기 타겟 장면 또는 물체의 예상되는 스펙트럼 특성들에 관한 사전 지식을 포함할 수 있다. 후속 스냅샷/스펙트럼 추정 동작을 위해 상기 두드러진 스펙트럼 특징부들 및 대응하는 CSB를 식별하고 신뢰할 수 있는 스펙트럼 추정 모델을 개발하려는 목적을 위해 동일한 데이터세트가 또한 분석될 수 있다.
스펙트럼 추정은 일반적인 또는 애플리케이션-특정 트레이닝 세트에 기반할 수 있으며, 관련 알고리즘들은 충분히 빨라서, 무시할 수 있는 포스트 프로세싱 시간을 요구할 수 있다. 개시된 하이브리드 스펙트럼 이미저의 출력 데이터 스트림은 완전한 스펙트럼 큐브에 대응하며, 그의 전체 콘텐츠는 비디오 레이트들로 디스플레이될 수 있다.
본 발명은 하이브리드 스캐닝 및 스냅샷 동작을 가능하게 하는 소형화된 튜닝가능 필터 솔루션들을 개시한다. 획득된 스펙트럼 이미지들의 스펙트럼 필터링은 멀티-대역 필터링 광학기기(MBFO)의 도움으로 획득된다. 상기 MBFO는 타겟 이미지의 적어도 2개의 복제 이미지들을 생성하기 위한 빔 분할기 수단; 및 이미징 경로에 개재되고, 상기 이미지 복제본들에서 튜닝가능 멀티-대역통과 필터링을 달성하는 튜닝가능 멀티대역 필터링(TMF) 수단을 포함하며; 상기 MBFO는 장면의 이미지의 파장 콘텐츠의 제1 스펙트럼 필터링을 달성한다. 상기 MBFO는, 큐브 빔 스플리터들, 플레이트 빔 스플리터들, 편광 빔 스플리터들, 오각형 빔 스플리터/분할기들, 미러 코팅 레그들을 갖는 직각 프리즘, 미러-코팅 레그들을 갖는 미러 코팅 피라미드 프리즘들, 물방울-무늬 빔 스플리터들 및 펠리클 빔 스플리터들, 또는 이들의 조합들을 포함하지만 이에 제한되지 않는 광학 엘리먼트들의 그룹으로부터 선택된 빔 분할기들을 적어도 부분적으로 포함한다. 상기 MBFO는 또한, 각도 의존 스펙트럼 필터링(ADSF), ADSF-유형 이색성 및 다색성 미러들, ADSF-유형 멀티-대역통과 필터들, 공간 광 변조기들, 음향-광학기기들, 액정 스펙트럼 변조기들, 표면 플라스몬 필터들 및 이들의 조합들을 적어도 부분적으로 포함하는 튜닝가능 멀티대역 필터링(TMF) 수단을 포함한다. 상기 MBFO는 다수의 이미지 복제본들을 생성하는 이미지 곱셈을 달성하며, 그 복제본들은 후속하여 상기 TMF에 의한 멀티대역 필터링을 겪는다. 상기 TMF는, 주어진 튜닝 단계에서의 멀티대역 이미지들의 세트의 획득/캡처 및/또는 범위 10 내지 40 nm에서 반치전폭(FWHM)을 갖는 적어도 30개의 (협소한) 단일 이미지들의 대역 이미지들을 포함하는 전체 스펙트럼 큐브를 허용하여 튜닝가능할 수 있다. 예를 들어, ADSF-유형 필터들은 그들의 표면에 대한 법선과 주된 인입 이미징 광선 사이의 각도를 변경(틸팅)할 시에 튜닝함으로써, 투과된/반사된 대역들의 중심 파장들을 변경하는 속성을 갖는다. 이러한 속성은 스냅샷 멀티대역 및 스캐닝 스펙트럼 이미징 둘 모두를 가능하게 하기 위해 본 발명의 특정한 실시예들에서 활용된다. 상기 MBFP는 대물 렌즈 수단의 전방 또는 대물렌즈 또는 (릴레이) 렌즈 플랜지(flange)와 이미징 광학기기의 초점 평면 사이의 공간 중 어느 하나에 배치될 수 있다. 상기 멀티대역 필터링된 복제 이미지들은, 다수의 모자이크 필터 어레이(MFA)-필터링된 초점 평면 어레이(FPA) 센서들을 포함하는 이미지 센서 배열을 이용하여 캡처된다. 상기 이미징 센서 배열 수단은 모자이크 필터 어레이(MFA)가 장착된 적어도 하나의 이미징 센서를 포함한다. 상기 MFA는 적어도 3개의 광대역 원색-유형 필터들을 이용하여 픽셀화된 방식으로 상기 FPA 센서를 마스킹하며, 각각의 원색-유형 응답은 상기 멀티대역-필터링된 이미지 복제본들로부터 하나의 단일-대역 이미지 컴포넌트를 분리시키고 캡처한다.
상기 MFA의 스펙트럼 투과 특성들은 상기 MBFO에 의해 투과 또는 반사된 스펙트럼 대역들의 FWHM보다 실질적으로 더 넓다. 게다가, TMF 멀티대역 필터링은 상기 단일 대역 이미지들로 실질적으로 더 큰 스펙트럼 폭을 갖는 스펙트럼 구역들을 차단시킴으로써 분리된 단일 대역들의 세트를 생성한다. 이러한 방식으로, 각각의 상기 단일 대역은 대응하는 원색 응답 내에서 튜닝 및 캡처되며, 상기 복제 이미지들의 멀티대역 스펙트럼 콘텐츠를 협소한 단일 대역 이미지들의 세트로 분리시키기 위한 수단을 또한 포함한다. 상기 MFA는 컬러 카메라들에서 사용되는 적색-녹색-청색(RGB) MFA, RGB-IR(적외선) MFA 및 멀티대역 MFA(픽셀화된 스펙트럼 이미징 센서들)를 적어도 부분적으로 포함하는 그룹으로부터 선택된다. 특정한 구성에서, 상기 MBFO는, 예를 들어 3개 이상의 협소한 스펙트럼 대역들을 투과시킬 수 있고, 예를 들어 3개 이상의 상이한 또는 (스펙트럼적으로) 전자에 상보적인 협소한 스펙트럼 대역들을 반사시킬 수 있다. 2개의 MFA-FPA 이미징 센서들을 포함하는 본 발명의 일 실시예에서, 하나의 이미징 센서는 상기 MBFO 이미징 광선들로부터 반사된 초점 평면에 배치되고, 다른 이미징 센서는 상기 MBFO 이미징 광선들로부터 투과된 초점 평면에 배치된다. 예를 들어, 특정한 틸팅 각도를 세팅함으로써 상기 ADSF-유형 필터링을 이용하는 실시예들에서, 상기 MBFO는 적어도 6개의 스펙트럼 대역들을 투과/반사시키며, 그 스펙트럼 대역들의 FWHM은 상기 MFA의 마스킹 필터들의 FWHM보다 훨씬 더 협소하도록 선택된다. 이러한 방식으로, MBFO 출력 이미지의 협대역 컴포넌트들은 MFA에 의해 (실질적으로) 분리되며, 각각의 상기 MFA 브로드-밴드 필터는 그들의 스펙트럼적으로 중첩하는 파장 범위에서 특정한 상기 협대역 컴포넌트를 투과시킨다. 적어도 3개의 상이한 상기 마스킹 필터들을 갖는 MFA를 가정함으로써, 적어도 6개의 협대역 이미지들은 2-FPA 이미징 센서를 포함하는 센서 배열에 의해 동시에 그리고 비디오 레이트들로 획득/캡처될 수 있다. 상기 ADSF의 틸팅 각도를 변화시킬 시에, 협대역 이미지들의 새로운 세트가 즉시 획득되고 디스플레이될 수 있다.
본 발명은 상기 ADSF의 틸팅 각도를 제어하기 위한 액추에이터 수단을 제공한다. ADSF의 틸팅은 상기 CSB에 대한 멀티대역 이미지 획득 파장들의 적응을 허용한다. 그것은 또한, 일련의 단계들로 상기 ADSF를 틸팅함으로써 상기 스캐닝 동작으로 스위칭하는 것을 허용하여, 투과된 스펙트럼 대역들이 시프트되어 전체 동작 파장 범위를 커버하게 한다. 모든 틸팅 단계에서, 스펙트럼 이미지들의 세트는, 완전한 상기 샘플링된 스펙트럼 큐브를 획득할 때까지 스냅샷 방식으로 캡처된다.
상기 하이브리드 스펙트럼 이미저의 하드웨어를 포함하는 개시된 전기-광학 배열은 소형화를 가능하게 하는 장점을 갖는다. 상기 하드웨어의 전체 사이즈는 상기 이미징 센서 수단의 사이즈에 의해 대체로 결정되어, 소형화를 가능하게 한다. 틸팅 액추에이터들은 자기, 전기, 열 액추에이터들 등과 같은 MEM 액추에이터들을 이용함으로써 쉽게 소형화될 수 있다. 그 외에도, 특히 스냅샷 모드로 동작할 때(이는, 주어진 애플리케이션 분야에서 일상적으로 사용하는 경우임), 전력 요건들이 낮다. 따라서, 상기 하이브리드 스펙트럼 이미저의 개시된 하드웨어는 최종 사용자 가격을 상당히 증가시키지 않으면서 모바일 폰 또는 컴퓨터 플랫폼들에 통합되거나 인터페이싱될 수 있다.
개시된 하드웨어 셋업(setup)은 머신 러닝, 인공 지능, 스펙트럼 채널 혼선 감소 방법들, 데이터 시각화 및 라벨링으로 보완된다. 이들 알고리즘들은 데이터 프로세싱 모듈에서 실행되며, 이는 본 발명의 통합된 부분이다.
본 발명은 또한, 포괄적인 방식으로 스펙트럼 큐브 데이터를 시각화하기 위한 수단을 개시한다. 감독되지 않은 그리고 감독된 스펙트럼 큐브 클러스터링(clustering) 알고리즘들은, 특정한 상황들에서 비교 및 문서화를 위해 실시간으로 컬러 이미지들과 나란히 디스플레이되는 스펙트럼 맵들을 생성한다.
하나의 바람직한 실시예에서, 스펙트럼 큐브 데이터 또는 상기 클러스터 클래스 중심(centroid)들은, 상기 컬러-코딩 스펙트럼 맵을 진단 또는 화학적 이미징 맵으로 변환하기 위해, 라벨링된 기준 스펙트럼들과 비교된다. 이러한 방식으로, 상기 진단 또는 화학적 맵은, 조직 병리(pathology), 식품 품질 등에 관한 정보를 획득하거나 구조적 및 구성 정보를 획득하기 위해 사용된다.
본 발명의 다른 실시예에서, 스펙트럼 추정 트레이닝 데이터-세트는 긴 리스트의 자연 및 인공 컬러들, 예컨대 먼셀 데이터 베이스에 대응하는 스펙트럼들을 포함하는 스펙트럼 데이터 베이스들로부터 획득된다. 그 경우, 계산된 전체 스펙트럼들은 CIE의 표준 관찰자 응답들 및 표준 발광체의 스펙트럼 전력 분포와 곱해지며, 마지막으로, 스펙트럼의 가시 부분 위에서 모두 통합되어, 모든 이미지 픽셀에 대한 표준화된 컬러 인덱스들을 제공한다. 이러한 실시예에서, 개시된 하이브리드 스펙트럼 이미저는 실질적으로 개선된 색역을 갖는 스펙트럼 사진 카메라로서 동작하며, 또한 메스머리즘-없는(mesmerism-free) 사진을 가능하게 한다.
또 다른 실시예에서, 개시된 하이브리드 스펙트럼 이미저는 스펙트럼의 근적외선(NIR) 부분으로 확장된 스펙트럼 감도를 제공한다. 자연 및 인공 발광체들이 NIR 대역에서 뚜렷한 스펙트럼 특성들을 갖는다는 사실에 의존하여, NIR 감도는 타겟의 표면 반사율로부터의 발광체의 스펙트럼 전력 분포의 해방(disentanglement)을 위해 활용된다. 이것은, 타겟의 표면 반사율을 추정하기 위한 수단을 제공하며, 이는 디지털 사진에서 컬러 불변성을 달성하기 위한 필수적인 양상이다.
마지막으로, 개시된 하이브리드 스펙트럼 이미저의 응용 분야를 참조하면, 이들은 비파괴 테스팅, 분광법, 현미경 검사, 내시경 검사, 조직 분석, 인공/로봇 비전, 자율적인 기계들의 비전, 품질 제어, 원격 감지, 랩-온-어-칩(lab-on-a-chip) 테스트들, 확장된 전역(gamut) 사진, 메타메릭(metameric) 및 헤이즈-없는 사진, 화학적 이미징 및 생체내 병리학 맵핑을 포함하지만, 이에 제한되지 않는다.
본 개시내용의 실시예들의 다음의 상세한 설명은 첨부 도면들과 함께 판독될 때 더 양호하게 이해될 것이다. 개시내용을 예시하려는 목적을 위해, 현재 바람직한 실시예들이 도면들에 도시되어 있다. 그러나, 본 개시내용이 도시된 정확한 배열 및 방편들로 제한되지 않는다는 것을 이해해야 한다.
도 1a 및 도 1b는 추정된 스펙트럼들, 도출된 희소한 상기 CSB (수직선들) 샘플링 데이터 및 추정 모델과 조밀하게 샘플링된 스펙트럼들(실선들)의 비교를 도시한다. 데이터는 맥베스(Macbeth) 컬러 체커 표준 샘플로부터 획득되었다. 평균 제곱근 에러(Root Mean Square Error (RMSE))(%)가 스펙트럼 유사성 메트릭으로서 사용된다. 도 1a는 상기 스펙트럼 특징부들에 대응하는 파장들로서 상기 CBS의 적절한 선택으로 인한 정확히(RMSE: 1.1 내지 1.6) 추정된 스펙트럼들을 도시한다. 도 1b는 상당한 스펙트럼 특징부들을 캡처하는 것을 실패하는 상기 CBS의 부적절한 선택으로 인한 불량한 정확도(RMSE: 10.3 내지 23.0)를 갖는 스펙트럼 추정 결과를 도시한다.
도 2는 개시된 하이브리드 스펙트럼 이미저에서 구현되는 초분광 이미징 방법을 개략적으로 묘사하며, 그 방법에 따라, 두드러진 스펙트럼 대역들의 바람직한 세트에서의 스냅샷 비디오 스펙트럼 이미징은 누락된 스펙트럼 이미지들을 재구성하기 위해 트레이닝-기반 스펙트럼 추정을 이용하여 보완되어, 상기 초분광 큐브의 전체 콘텐츠가 비디오 레이트로 디스플레이되게 한다.
도 3은 틸팅 다색성 미러 배열을 포함하는 상기 MBFO를 갖는 종래 기술 배열을 예시한다.
도 4a 및 도 4b는 본 발명의 하나의 바람직한 실시예를 도시하며, 상기 ADSF는 2개의 출력의 실질적으로 직교하는 빔들이 바람직한 스펙트럼 프로파일들을 갖는 컴포넌트들을 포함하기 위해 스펙트럼적으로 필터링되도록, 수정된 틸팅 펜타-프리즘 빔 분할기를 포함한다.
도 5a 내지 도 5c는 본 개시내용의 추가적인 바람직한 실시예들을 도시하며, 도 5a는, 상기 MBFO가 이미징 경로에서 고정 위치에 놓인 큐브 빔 분할기 및 틸팅 각도-의존 스펙트럼 필터링을 달성하는 2개의 틸팅 필터들을 포함하는 것을 묘사하고; 도 5b는 유사한 실시예를 예시하며, 여기서 상기 빔 분할기는 2개의 면들이 미러 코팅되어 있는 프리즘이고, 도 5c는 이미징 광선 경로에 배치된 하나의 틸팅 플레이트 빔 분할기 또는 하나의 틸팅 다색성 미러 또는 하나의 틸팅 멀티대역-통과 필터, 및 동일한 이미징 광선 경로에 배치되어 이미지 시프트 아티팩트(artifact)들을 보상하는 하나의 틸팅 비코팅 유리 플레이트를 포함하는 MBFO 광학 배열을 도시한다.
도 6a 내지 도 6c는 본 개시내용의 추가적인 실시예들을 도시하며, 여기서 도 6a는, 상기 MBFO가 단일의 상기 MFA-이미징 센서의 활성 영역 위에 실질적으로 배치된 수정된 쾨스터 프리즘을 포함하는 것을 예시하고; 도 6b는 본 발명의 또 다른 실시예를 묘사하며, 그 실시예에 따라, 마이크로렌즈 어레이는 상기 대물렌즈 광학기기의 초점 평면에 형성된 이미지를 리포커싱하여, 멀티대역 통과 필터 어레이를 통과한 이후 유리 스크린 상에 동일한 이미지들의 세트(이미지 곱셈)를 형성하고; 도 6c는, 상기 MBFO가 이중(또는 그 이상의) 채널 대물 렌즈 광학기기를 포함하고, 각각의 채널이 2개의 상기 상보적인 멀티-대역통과 필터들에 의해 필터링되는 또 다른 바람직한 실시예를 묘사한다.
도 7은 적색(R)(701), 녹색(G)(702) 및 청색(B)(703)의 원색 스펙트럼 응답들을 묘사한다.
도 8은 2개의 MFA-FPA 센서들 및 하나의 6-대역 MBFO가 사용되는 스펙트럼의 가시 부분에서의 스펙트럼 이미징을 위한 하나의 바람직한 실시예를 묘사하고; 도 8b는 MBFO 및 MFA 이미지 둘 모두에 의해 달성되는 인입 이미지의 이중 필터링으로부터 초래되는 결과적인 원시(raw)의 협소한 단일 이미지들의 스펙트럼 프로파일을 도시하며; 도 8c는 스펙트럼에 걸쳐, MBFO 협대역들에 진입하는 MFA의 스펙트럼 "테일(tail)들"을 제거하기 위해 프로세싱되는 결과적인 협대역 이미지들의 스펙트럼 프로파일을 도시한다.
도 9는 스펙트럼의 가시 부분 및 근적외선 부분 둘 모두에서의 스펙트럼 이미징을 위한 다른 바람직한 실시예를 예시하며, 여기서 상기 MBFO 배열은, 제1 상기 MFA 센서가 스펙트럼의 가시 부분에서 3개의 협대역 이미지들을 기록하고, 제2 상기 MFA 센서가 스펙트럼의 가시 부분에서 2개의 협대역 이미지들을 그리고 스펙트럼의 NIR(근적외선) 부분에서 하나의 협대역 이미지를 기록하도록 적절히 선택되어 이미징 광선 경로에 배치된 필터링 광학기기 수단을 포함한다.
도 10a 및 도 10b는 상기 CSB를 기반으로서 이용하는 일반적인 스펙트럼 추정 방식을 예시하며, 여기서 도 10a는 k-넘버 CSB 획득에 의해 생성된 샘플들(테스트 샘플)과 N개의 샘플링된 데이터 포인트들을 갖는 M개의 스펙트럼들을 포함하는 트레이닝 세트(트레이닝 세트) 사이의 최상의 매치를 시도하는 비교를 수반하는 트레이닝 프로세스를 묘사하고; 도 10b는 상기 추정 행렬을 설정한 이후의 스펙트럼 추정을 개략적으로 예시하며, 그 스펙트럼 추정의 도움으로, k-희소 데이터 포인트들은 전체 스펙트럼으로 변환된다.
도 11은 스펙트럼 데이터 베이스의 분석 결과들을 예시하며, 여기서 스펙트럼이 검출되고, 스펙트럼에 걸쳐 단락(short)된다. 그래프는, 상기 스펙트럼 특징부들이 널리 퍼져 있고, 상기 스펙트럼 특징부들의 더 높은 집단을 갖는 스펙트럼 대역들이 존재한다는 것을 보여준다. 이들 대역들은 상기 CSB들로서 선택될 양호한 후보들이다.
도 12는 비교되는 이론적인 스펙트럼 자취(locus)의 색도 다이어그램을 예시하며, 상기 자취는 3-컬러 및 초분광 카메라들을 이용하여 생성된다. 현재 개시내용으로 달성되는 색역 확장이 명확하게 보인다.
도 1a 및 도 1b는 추정된 스펙트럼들, 도출된 희소한 상기 CSB (수직선들) 샘플링 데이터 및 추정 모델과 조밀하게 샘플링된 스펙트럼들(실선들)의 비교를 도시한다. 데이터는 맥베스(Macbeth) 컬러 체커 표준 샘플로부터 획득되었다. 평균 제곱근 에러(Root Mean Square Error (RMSE))(%)가 스펙트럼 유사성 메트릭으로서 사용된다. 도 1a는 상기 스펙트럼 특징부들에 대응하는 파장들로서 상기 CBS의 적절한 선택으로 인한 정확히(RMSE: 1.1 내지 1.6) 추정된 스펙트럼들을 도시한다. 도 1b는 상당한 스펙트럼 특징부들을 캡처하는 것을 실패하는 상기 CBS의 부적절한 선택으로 인한 불량한 정확도(RMSE: 10.3 내지 23.0)를 갖는 스펙트럼 추정 결과를 도시한다.
도 2는 개시된 하이브리드 스펙트럼 이미저에서 구현되는 초분광 이미징 방법을 개략적으로 묘사하며, 그 방법에 따라, 두드러진 스펙트럼 대역들의 바람직한 세트에서의 스냅샷 비디오 스펙트럼 이미징은 누락된 스펙트럼 이미지들을 재구성하기 위해 트레이닝-기반 스펙트럼 추정을 이용하여 보완되어, 상기 초분광 큐브의 전체 콘텐츠가 비디오 레이트로 디스플레이되게 한다.
도 3은 틸팅 다색성 미러 배열을 포함하는 상기 MBFO를 갖는 종래 기술 배열을 예시한다.
도 4a 및 도 4b는 본 발명의 하나의 바람직한 실시예를 도시하며, 상기 ADSF는 2개의 출력의 실질적으로 직교하는 빔들이 바람직한 스펙트럼 프로파일들을 갖는 컴포넌트들을 포함하기 위해 스펙트럼적으로 필터링되도록, 수정된 틸팅 펜타-프리즘 빔 분할기를 포함한다.
도 5a 내지 도 5c는 본 개시내용의 추가적인 바람직한 실시예들을 도시하며, 도 5a는, 상기 MBFO가 이미징 경로에서 고정 위치에 놓인 큐브 빔 분할기 및 틸팅 각도-의존 스펙트럼 필터링을 달성하는 2개의 틸팅 필터들을 포함하는 것을 묘사하고; 도 5b는 유사한 실시예를 예시하며, 여기서 상기 빔 분할기는 2개의 면들이 미러 코팅되어 있는 프리즘이고, 도 5c는 이미징 광선 경로에 배치된 하나의 틸팅 플레이트 빔 분할기 또는 하나의 틸팅 다색성 미러 또는 하나의 틸팅 멀티대역-통과 필터, 및 동일한 이미징 광선 경로에 배치되어 이미지 시프트 아티팩트(artifact)들을 보상하는 하나의 틸팅 비코팅 유리 플레이트를 포함하는 MBFO 광학 배열을 도시한다.
도 6a 내지 도 6c는 본 개시내용의 추가적인 실시예들을 도시하며, 여기서 도 6a는, 상기 MBFO가 단일의 상기 MFA-이미징 센서의 활성 영역 위에 실질적으로 배치된 수정된 쾨스터 프리즘을 포함하는 것을 예시하고; 도 6b는 본 발명의 또 다른 실시예를 묘사하며, 그 실시예에 따라, 마이크로렌즈 어레이는 상기 대물렌즈 광학기기의 초점 평면에 형성된 이미지를 리포커싱하여, 멀티대역 통과 필터 어레이를 통과한 이후 유리 스크린 상에 동일한 이미지들의 세트(이미지 곱셈)를 형성하고; 도 6c는, 상기 MBFO가 이중(또는 그 이상의) 채널 대물 렌즈 광학기기를 포함하고, 각각의 채널이 2개의 상기 상보적인 멀티-대역통과 필터들에 의해 필터링되는 또 다른 바람직한 실시예를 묘사한다.
도 7은 적색(R)(701), 녹색(G)(702) 및 청색(B)(703)의 원색 스펙트럼 응답들을 묘사한다.
도 8은 2개의 MFA-FPA 센서들 및 하나의 6-대역 MBFO가 사용되는 스펙트럼의 가시 부분에서의 스펙트럼 이미징을 위한 하나의 바람직한 실시예를 묘사하고; 도 8b는 MBFO 및 MFA 이미지 둘 모두에 의해 달성되는 인입 이미지의 이중 필터링으로부터 초래되는 결과적인 원시(raw)의 협소한 단일 이미지들의 스펙트럼 프로파일을 도시하며; 도 8c는 스펙트럼에 걸쳐, MBFO 협대역들에 진입하는 MFA의 스펙트럼 "테일(tail)들"을 제거하기 위해 프로세싱되는 결과적인 협대역 이미지들의 스펙트럼 프로파일을 도시한다.
도 9는 스펙트럼의 가시 부분 및 근적외선 부분 둘 모두에서의 스펙트럼 이미징을 위한 다른 바람직한 실시예를 예시하며, 여기서 상기 MBFO 배열은, 제1 상기 MFA 센서가 스펙트럼의 가시 부분에서 3개의 협대역 이미지들을 기록하고, 제2 상기 MFA 센서가 스펙트럼의 가시 부분에서 2개의 협대역 이미지들을 그리고 스펙트럼의 NIR(근적외선) 부분에서 하나의 협대역 이미지를 기록하도록 적절히 선택되어 이미징 광선 경로에 배치된 필터링 광학기기 수단을 포함한다.
도 10a 및 도 10b는 상기 CSB를 기반으로서 이용하는 일반적인 스펙트럼 추정 방식을 예시하며, 여기서 도 10a는 k-넘버 CSB 획득에 의해 생성된 샘플들(테스트 샘플)과 N개의 샘플링된 데이터 포인트들을 갖는 M개의 스펙트럼들을 포함하는 트레이닝 세트(트레이닝 세트) 사이의 최상의 매치를 시도하는 비교를 수반하는 트레이닝 프로세스를 묘사하고; 도 10b는 상기 추정 행렬을 설정한 이후의 스펙트럼 추정을 개략적으로 예시하며, 그 스펙트럼 추정의 도움으로, k-희소 데이터 포인트들은 전체 스펙트럼으로 변환된다.
도 11은 스펙트럼 데이터 베이스의 분석 결과들을 예시하며, 여기서 스펙트럼이 검출되고, 스펙트럼에 걸쳐 단락(short)된다. 그래프는, 상기 스펙트럼 특징부들이 널리 퍼져 있고, 상기 스펙트럼 특징부들의 더 높은 집단을 갖는 스펙트럼 대역들이 존재한다는 것을 보여준다. 이들 대역들은 상기 CSB들로서 선택될 양호한 후보들이다.
도 12는 비교되는 이론적인 스펙트럼 자취(locus)의 색도 다이어그램을 예시하며, 상기 자취는 3-컬러 및 초분광 카메라들을 이용하여 생성된다. 현재 개시내용으로 달성되는 색역 확장이 명확하게 보인다.
설명의 목적들을 위해, 특정 구성들 및 세부사항들이 본 발명의 완전한 이해를 제공하기 위해 기재된다. 그러나, 본 발명이 본 명세서에 제시된 특정 세부사항들 없이도 실시될 수 있다는 것은 당업자에게 또한 명백할 것이다. 더욱이, 잘-알려진 특징들은 본 발명을 불명료하게 하지 않기 위해 생략되거나 단순화될 수 있다.
본 발명의 실시예들에 관해 설명된 시스템 및 방법은 이미징된 물체의 공간 및 스펙트럼 정보 둘 모두를 포함하는 이미지들의 획득을 제공한다. 관련 단락에서 제공된 종래 기술의 분석에 따르면, 스펙트럼 이미징 시스템들의 2개의 주요 카테고리들, 즉 스캐닝 및 스냅샷 스펙트럼 이미저들이 존재한다. 본 발명은 스캐닝 또는 실시간 스냅샷 모드 중 어느 하나에서 동작할 수 있는 재구성가능 하이브리드 스펙트럼 이미저들을 교시한다.
현미경 검사에서 본 발명을 실시하는 일 예는 종래 기술에 대한 상기 하이브리드 스펙트럼 이미저의 장점들을 보여준다. 병리학/조직학(histology)에서, 예를 들어 조직 샘플들은 진단적으로 중요한 특징부들의 시각화를 용이하게 하기 위해 다양한 콘트라스트 강화 발색단(chromophore)들 또는 형광단(fluorophore)들을 이용하여 착색된다. 그러나, 이용된 착색들의 스펙트럼 중첩은 그들의 별개의 관찰을 어려운 태스크로 만든다. 다수의 형광단들/발색단들의 픽셀-당 농도의 별개의 맵핑은 진보된 검정(advanced assay)으로서 나타나서, 병리학에서 진단 결과들을 개선시키기 위한 전망을 유지한다. 스펙트럼 이미징은, a) 픽셀 당 전체 스펙트럼을 측정하는 단계; b) 격리된 착색들의 소위 최종-멤버 스펙트럼들의 사전 지식을 이용하여 착색 혼합 모델을 개발하는 단계; c) 혼합물에서 착색들의 상대적인 농도들의 정량적인 인덱스들로서 소위 존재비(abundance)들을 계산하는 단계를 통해 이러한 문제에 대한 솔루션을 제공한다. 그러나, 스캐닝 스펙트럼 이미저를 이용할 때, 검사된 샘플에서 많은 수의 관심 구역이 주어지면, 연관된 스캐닝 시간은 점차 중요해진다. 일상적인 절차들에 종래의 스펙트럼 이미저들을 추가하는 것은 병리학 절차들의 작업흐름에 부정적인 영향을 불가피하게 가질 것이며, 이는 그들의 시장 진입에 대한 장벽을 포함한다. 반면에, 종래 기술 스냅샷 솔루션을 채용하는 것은 또한, 공간 또는 스펙트럼 데이터 포인트들을 재구성하는 데 요구되는 긴 포스트-프로세싱 시간으로 인해 차선의 솔루션이다. 더 구체적으로, 종래의 스냅샷 시스템들에서, 데이터 차원을 확장시키기 위해 이용되는 포스트-프로세싱 알고리즘들은, 스캐닝 스펙트럼 이미저들에 의해 요구되는 획득 시간들을 초과하는 데이터 프로세싱 시간들을 산출한다.
종래 기술 시스템들에 대한 개시된 하이브리드 스펙트럼 이미저의 장점들은 예시적인 예로서 현미경 검사 애플리케이션을 사용하여 아래에서 예시된다. 조직 병리-특정 착색들의 스펙트럼 특성들에 관한 어떠한 사전 지식도 존재하지 않을 때, 개시된 하이브리드 스펙트럼 이미저는 초기에 스캐닝 모드로 스위칭할 것이고, 완전한 스펙트럼 큐브를 수집할 것이다. 다음으로, 상기 하이브리드 스펙트럼 이미저와 통합되거나 인터페이싱된 프로세싱 유닛은 상기 완전한 스펙트럼 큐브 데이터를 분석할 것이며, 상기 완전한 스펙트럼 큐브의 획득된 원시 스펙트럼들을 상당한 손실 없이 포괄적으로 설명하는 희소 스펙트럼 데이터의 최소 세트를 추정할 것이다. 이러한 프로세스는 샘플링된 데이터 세트로부터 중복 정보를 제거하는 것에 대응한다. 스펙트럼 대역 300 nm 내지 2500 nm에서 획득된 스펙트럼들의 넓은 속성으로 인해, 상기 희소 스펙트럼 데이터의 최소 세트는 5개 내지 10개의 별개의 파장들의 범위에서 변한다. 이것은, 본 개시내용의 통합 부분이고, 공개적으로 이용가능한 스펙트럼 데이터베이스들의 분석으로부터 도출되는 실험적 발견이다. 이러한 특성은 압도적으로 대부분의 고체 및 액체 재료들에 적용되며, 유익한 파장들의 수는 샘플의 복잡도에 의존한다. 마이크로프로세서 유닛을 통한 최소 수 또는 가장 유익한 파장들(본 명세서에서 CSB로 지칭됨)의 추정은 속성상, 관련 알고리즘들을 이용하여 해결되는 최적화 문제이다. 상기 최적화는 이산 웨이블릿 변환 또는 유사한 방법들과 같은 특징 추출 알고리즘들을 이용하여 추출되는 스펙트럼 특징부들을 지칭한다. 전술된 분석은, 상기 하이브리드 스펙트럼 이미저가 식별된 상기 CSB를 획득하도록 상기 MBFO를 구성하라는 요청을 시스템의 제어 유닛에 공급한다. 이러한 태스크는 상기 멀티대역 센서 필터링 수단을 틸팅하고 그들을 적절한 각도로 록킹하도록 액추에이터(들)에게 명령함으로써 실행된다. 이러한 자체-구성 절차를 완료할 시에, 시스템은 실시간 스냅샷 동작 모드, 또는 다시 말하면, 비디오 스펙트럼 이미징 동작으로 스위칭한다. CSB를 선택하기 위한 기반을 제공하는 것 이외에, 스캐닝 동작 모드 동안 수집된 스펙트럼 데이터는, 스펙트럼 추정을 수행하기 위한 트레이닝 세트로서 적어도 부분적으로 사용된다. 마지막으로, 비디오 스펙트럼 이미징 모드로 동작하도록 구성된 시스템을 이용하여, CSB가 즉시 캡처되는 반면, 누락된 스펙트럼 데이터 포인트들이 충분히-빠르게 추정되므로, 완전한 스펙트럼 큐브 이미지들이 비디오 레이트들(예컨대, 25 f/s)로의 디스플레이에 이용가능하게 된다. 이러한 종류의 데이터 이용가능성은 상기 착색 농도 맵들의 계산이 거의 실시간의 리프레시 레이트로 이용가능하게 허용한다. 이러한 방식으로, 상기 하이브리드 스펙트럼 이미저는 작업흐름을 손상시키지 않으면서 병리학/조직학의 진단 결과들을 개선시킬 수 있다.
상기 하이브리드 스펙트럼 이미저의 뚜렷한 장점들을 보여주는 다른 적용 예는 내시경 검사이다. 여기서, 내시경의 선단 및 검사된 기관(들) 둘 모두는 연속적인 무작위 모션에 있으며, 이는 상기 비디오 스펙트럼 이미저가 내시경 검사에서 실시간의 전체 공간 및 스펙트럼 해상도의 스펙트럼 이미징을 가능하게 하기 위한 고유한 솔루션을 포함한다는 것을 암시한다. 이러한 경우, 상기 CSB는 기준 진단 방법의 결과들과 스펙트럼 데이터의 상관을 통해 식별된다. 상기 기준 진단 방법은, 예를 들어 임상 증거 또는 생체검사/조직학 또는 이들의 조합들의 분자 분석들을 포함할 수 있다.
이제, 맥베스 컬러 체커 표준 샘플로부터 획득된 스펙트럼들을 묘사하는 도 1에 대한 참조가 이루어진다. 실선들은 상업용 스캐닝 초분광 이미저에 의해 획득된 스펙트럼들에 대응하며, 그 스펙트럼들은 여기서 기준으로서 사용된다. 파선들은 6개의 CSB를 기반으로서 사용하는 추정된 스펙트럼들에 대응한다. 상기 CSB의 중심 파장들은 도면들에서 수직선들로 마킹된다. 도 1a는 적절하게 선택된 CSB에 기초한 추정 곡선들을 도시하므로, 희소 스냅샷 샘플들은 밸리들 및 피크들에 대응한다. 알 수 있는 바와 같이, 추정 정확도는 매우 높으며, 이는 평균 제곱근 에러의 낮은 값(1.1 내지 1.6%)에 의해 입증된다. 도 1b는, 상기 CSB가 상기 스펙트럼 특징부들에 엄격하게 대응하지는 않는 파장 대역들에서 선택된 경우를 예시한다. 그 경우, 스펙트럼 추정 알고리즘이 도 1a에서와 동일하더라도, 스펙트럼을 예측할 시의 그의 정확도는 불량하다(RMSE=10.3 내지 23.0%). 이들 발견들은 본 발명에서 제공되는 솔루션들에 대한 동기(motivation)를 포함한다. 특히, 본 발명은 하이브리드 재구성가능하고 적응가능한 실시간 스냅샷 스펙트럼 이미저를 청구하며, 여기서 상기 CSB는 스펙트럼 추정 정확도를 증가시키기 위해 상기 스펙트럼 특징부들에 대응하는 파장들에 적응하도록 튜닝가능하다.
멀티대역 스냅샷 동작을 위해 상기 CSB의 튜닝 및 적응을 가능하게 하면서, 병렬로 상기 스펙트럼 추정 정확도를 개선시키는 모든 가능한 전기-광학 솔루션들은 본 개시내용의 통합 부분을 포함한다. 아래에서 설명되는 전기-광학 및 알고리즘 수단 둘 모두는, 모바일 애플리케이션들이 고려될 때 중요한 수치들인 단순성, 낮은 비용, 볼륨 및 전력 소비를 달성하기 위한 바람직한 실시예들만을 포함한다.
아래의 설명들은 실시예들과 함께 방법 개념들을 개시하며, 그 실시예는, 상기 MBFO 수단, 상기 MFA-이미징 센서 어레이 수단, 틸팅 액추에이터 수단 및 광학 이미징 수단을 포함하는 바람직한 이미징 헤드 배열(IHA)을 가지며, 이들 모두는 상기 하이브리드 스펙트럼 이미지 획득을 함께 구현한다. 이제, 개시된 하이브리드 스펙트럼 이미저의 기본 양상들 및 개념들을 개략적으로 묘사하는 도 2에 대한 참조가 이루어진다. 상기 IHA가 스캐닝 모드로 동작하도록 명령받으면, 예를 들어 5개 내지 10개의 스펙트럼 이미지들의 세트들은, 실리콘 센서 어레이 수단을 사용하는 경우 전체 동작 스펙트럼 범위, 예를 들어 400 내지 1000 nm을 스캐닝할 때까지, 모든 틸팅 단계에서 그리고 다수의 틸팅 단계들에 대해 동시에 캡처된다. 이러한 방식으로, 개시된 하이브리드 스펙트럼 이미저의 스캐닝 동작 모드는 빠르고 조밀한 샘플링 프로세스에서 상기 샘플링된 스펙트럼 큐브(50)를 수집한다. 본 명세서에서, "조밀하게 샘플링된 데이터 세트"라는 용어는 5 내지 10 nm의 범위에서의 중심 파장(들)의 튜닝 단계를 수반하여, 적어도 30개의 스펙트럼적으로 연속적인 단일 대역 이미지들의 집합을 초래하는 샘플링 절차로 정의된다. 본 명세서에서, "희소하게 샘플링된 데이터"라는 용어는 별개의 파장들에서 5개 내지 10개의 이미지들의 캡처를 수반하는 샘플링 절차로 정의된다.
스펙트럼 이미지들의 세트들을 하나씩 대신 모든 튜닝 단계에서 캡처하는 것은, 스캐닝 시간이 상당히 감소되므로 종래 기술의 스캐닝 디바이스들에 비해 명확한 이점을 갖는다는 것을 유의할 가치가 있다. 상기 샘플링된 스펙트럼 큐브는 이미지 픽셀 당 하나의 전체 스펙트럼을 포함하며, 그들의 총 수는 상기 MFA-센서 배열 수단의 공간 해상도와 동일하다. 상기 샘플링된 스펙트럼 큐브에 포함된 수백만 개의 스펙트럼들에서의 상기 스펙트럼 특징부들의 식별은 자동으로 수행될 수 있다. 일 예로서 여기에 포함된 하나의 그러한 방법은, 제한된 수(통상적으로는 5개 내지 15개)의 클러스터 중심들을 리턴하는 상기 샘플링된 스펙트럼 큐브 스펙트럼들의 감독되지 않은 클러스터링을 수반한다. 상기 클러스터 중심들은 식별된 구별가능 스펙트럼 클래스들을 표현하며, 따라서 상기 스펙트럼 특징부들을 식별하기 위한 분석은 상기 중심 스펙트럼들의 분석으로 제한될 수 있다. 분석은, 예를 들어 피크들, 밸리들, 슬로프들 등에 대응하는 상기 두드러진 파장들을 식별하기 위한 자동 특징 추출 알고리즘들을 수반할 수 있다. 분석은, 최소 5개 내지 10개의 이산적이고 가장 유익한 스펙트럼 대역들이 식별되었을 때 종료된다. 상기 스펙트럼 특징부 추출에 기초하여, 실시간 스냅샷 동작(52)에서 상기 MBFO는 CSB(51)에서 이미지들의 세트를 획득하도록 구성된다. 상기 CSB 및 상기 스펙트럼 특징부 파장들이 상이한 장면들 또는 타겟 물체들에서 변할 수 있다는 것은 당업자에게 명백하다. 따라서, 단계들(50 및 51)은 상기 MBFO의 적응적 (재)-구성을 위한 단계들을 제공한다.
스펙트럼 대역 400 내지 1000 nm에서의 일반적인 및 애플리케이션-특정 스펙트럼 데이터베이스들의 완전한 분석은, 압도적으로 대부분의 스펙트럼 특징부들을 묘사하는 상기 희소 스펙트럼 데이터의 최소 세트가 상기 데이터베이스들의 전체 콘텐츠에 대해 5개 내지 10개의 이산 파장들의 범위에서 변한다고 결론을 내렸다.
이전에 논의된 바와 같이, 일반적인 또는 애플리케이션-특정 스펙트럼 데이터베이스들과 결합되거나 결합되지 않은, 스캐닝 모드에서 동작하는 상기 하이브리드 스펙트럼 이미저로부터 획득된 조밀한(높은 샘플링 레이트) 스펙트럼 정보는 상기 스펙트럼 추정 알고리즘 수단(55)의 트레이닝 데이터 세트(54)로서 사용된다. 상기 트레이닝 세트에 의존하여, 스냅샷 희소 스펙트럼 이미징을 이용하여 수집된 스펙트럼들에서 누락된 데이터-포인트들을 예측하기 위해 머신 러닝 및 인공 지능 알고리즘들이 이용되며, 결과적인 재구성된 전체 스펙트럼은 샘플링된 및 추정된 데이터 포인트들(53)의 혼합물을 포함한다. 모든 이미지 픽셀에 대해 추정된 이들 전체 스펙트럼 데이터 포인트들로부터, 상기 샘플링된 및 상기 추정된 스펙트럼 이미지들 둘 모두를 포함하는 완전한 스펙트럼 큐브가 획득될 수 있다. 적절하게 트레이닝된 스펙트럼 추정 절차들은 충분히 빠를 수 있으며, 여러 개의 풀 HD 스펙트럼 이미지들을 포함하는 스펙트럼 큐브들의 경우에도, 실행 시간들은 밀리초 단위에 놓여 있을 수 있다. 이것은, 특정한 애플리케이션, 예를 들어 인간, 동물, 또는 식물 조직 진단을 위해 상기 CSB의 세트를 설정할 시에, 전체 스펙트럼 큐브들이 거의 비디오 레이트들로 수집될 수 있으며, 따라서 공간-스펙트럼 정보와 이미지 디스플레이 리프레시 레이트 사이의 상기 트레이드오프들을 제거한다는 것을 암시한다.
다음의 단락들에서, 다수의 실시예들은 상기 하이브리드 스펙트럼 이미저의 상기 이미징 헤드 배열(IHA)를 참조하여 개시될 것이다.
본 발명은 하이브리드 스캐닝 및 스냅샷 동작을 가능하게 하는 소형화된 튜닝가능 필터 솔루션들을 개시한다. 획득된 스펙트럼 이미지들의 스펙트럼 필터링은 멀티-대역 필터링 광학기기(MBFO)의 도움으로 획득된다. 상기 MBFO는 타겟 이미지의 적어도 2개의 복제 이미지들을 생성하기 위한 빔 분할기 수단; 및 이미징 경로에 개재되고, 상기 이미지 복제본들에서 튜닝가능 멀티-대역통과 필터링을 달성하는 튜닝가능 멀티대역 필터링(TMF) 수단을 포함하며; 상기 MBFO는 장면의 이미지의 파장 콘텐츠의 제1 스펙트럼 필터링을 달성한다. 상기 MBFO는, 큐브 빔 스플리터들, 플레이트 빔 스플리터들, 편광 빔 스플리터들, 오각형 빔 스플리터/분할기들, 미러 코팅 레그들을 갖는 직각 프리즘, 미러-코팅 레그들을 갖는 미러 코팅 피라미드 프리즘들, 물방울-무늬 빔 스플리터들 및 펠리클 빔 스플리터들, 또는 이들의 조합들을 포함하지만 이에 제한되지 않는 광학 엘리먼트들의 그룹으로부터 선택된 빔 분할기들을 적어도 부분적으로 포함한다. 상기 MBFO는 또한, 각도 의존 스펙트럼 필터링(ADSF) 대역 통과 필터들, ADSF-유형 이색성 및 다색성 미러들, ADSF-유형 멀티-대역통과 필터들, 공간 광 변조기들, 음향-광학기기들, 액정 스펙트럼 변조기들, 표면 플라스몬 필터들 및 이들의 조합들을 적어도 부분적으로 포함하는 튜닝가능 멀티대역 필터링 수단을 포함한다. 상기 MBFO는 다수의 이미지 복제본들을 생성하는 이미지 곱셈을 달성하며, 그 복제본들은 멀티대역 필터링되고 동시에 획득된다. 상기 멀티대역 필터링은, 주어진 튜닝 단계에서의 멀티대역 이미지들의 세트의 획득/캡처 및/또는 범위 10 내지 40 nm에서 반치전폭(FWHM)을 갖는 적어도 30개의 (협소한) 단일 이미지들의 대역 이미지들을 포함하는 전체 스펙트럼 큐브를 허용하여 튜닝가능할 수 있다. 예를 들어, ADSF-유형 필터들은 그들의 표면에 대한 법선과 주된 인입 이미징 광선 사이의 각도를 변경(틸팅)할 시에 튜닝함으로써, 투과된/반사된(transmitted/reflected) 대역들의 중심 파장들을 변경하는 속성을 갖는다. 예를 들어, ADSF-유형 멀티대역 반사 및/또는 투과 필터는, 그것이 ±30°의 각도 범위 내에서 틸팅될 때, 대역들의 중심 파장을 약 15%로 튜닝하는 속성을 갖는다.
이러한 속성은 스냅샷 멀티대역 및 스캐닝 스펙트럼 이미징 둘 모두를 가능하게 하기 위해 본 발명의 특정한 실시예들에서 활용된다. 상기 MBFP는 대물 렌즈 수단의 전방 또는 대물렌즈 또는 (릴레이) 렌즈 플랜지(flange)와 이미징 광학기기의 초점 평면 사이의 공간 중 어느 하나에 배치될 수 있다.
이제, 다색성 미러를 포함하는 상기 MBFO를 갖는 배열을 예시하는 도 3에 대한 참조가 이루어진다. 이러한 카테고리의 광학 필터들은 형광 이미징에서 여기/방출 채널들을 분리시키기 위해 형광 현미경 검사에서 주로 사용된다. 통상적인 현미경 검사 시스템들에서, 상기 여기/방출 채널들은 90도의 각도를 형성하며, 상기 다색성 미러는 상기 채널들의 접합부에 배치되어, 고정 45도 각도를 형성한다. 상기 다색성 미러를 포함하는 대부분의 협대역 반사 또는 흡수 필터들은, 그들의 표면과 주된 인입 광선 사이의 각도가 변화될 때, 투과된/반사된 중심 파장(들)을 시프트시키는 속성을 갖는다. 이것은 그러한 대역통과 필터들을 사용하여 튜닝가능 필터 배열들을 개발하기 위한 기반을 포함한다. 그러나, 상기 튜닝가능 플레이트 필터들이 이미징 애플리케이션들을 위해 고려되는 한, 그들의 독립형 사용을 문제있게 만드는 2개의 주요 단점들이 존재하며, 즉 a) 상기 이색성 미러가 각도 θ만큼 틸팅될 때, 반사된 광선은 2θ의 각도만큼 틸팅된다. 회절 각도가 또한 각도 θ에 따라, 그러나 더 적은 정도로 변화되며; b) 상기 이색성 미러의 후방 표면에 의해 비롯되는 반사들은 고스트(ghost) 이미지 효과로 알려진 이중 이미지 아티팩트들을 생성하며, 이는 반사된 이미지에서 아티팩트들의 소스를 포함한다. 도 3은 타겟 물체 또는 장면(102)의 이미지를 이미지 센서 어레이 수단(105)의 표면 상에 포커싱하도록 구성된 대물 렌즈 광학기기(101)를 포함하는 IHA를 예시한다. 센서 어레이 수단은 적어도 하나의 모자이크 필터 어레이(MFA)-초점 평면 어레이(FPA) 센서를 포함하는 MFA 센서 배열일 수 있다. 다색성 미러 플레이트(103)는, 멀티대역 필터링된 이미징 광선들을 반사 및 투과시키는 이미징 광선 경로에 배치된다. 특정한 바람직한 실시예들에서, 상이한 멀티대역 필터링된 이미징 광선들의 적어도 2개의 세트들이 생성되어, 2개의 FPA 센서들을 포함하는 MFA 센서 배열로 지향된다. 이들 경우들에서, 상기 멀티대역 필터링된 이미징 광선들의 제1 세트의 송신 대역들의 중심 파장은 제2 멀티대역 필터링된 이미징 광선들의 차단된 대역들에 대응할 수 있다. 이러한 방식으로, 2개의 이미징 세트들에 대응하는 상기 멀티대역-필터링은 균일하게 분포된 스펙트럼 샘플링을 보장하기 위해 바람직하게는 상보적인 중심 파장들을 갖는다. 이들 2개의 브랜치(branch)들에 대응하는 이미지들은, 2개의 FPA 이미징 센서들(105)을 포함하는 상기 MFA 센서 배열에 의해 캡처된다. 알 수 있는 바와 같이, 각도 의존 스펙트럼 필터링(ADSF) 수단은 틸팅 액추에이터 축(104)에 고정된 다색성 미러 플레이트(103)이다. 상기 틸팅 액추에이터는 다색성 미러의 틸트 각도 및 결과적으로는 이미징 광선 빔들의 방향을 조정하도록 구성된다. 예를 들어, 다색성 미러는, 이미징 광선들이 협소한 스펙트럼 대역폭, 예를 들어 10 내지 40 nm을 갖는 특정 스펙트럼 대역들에서 투과 및 반사되도록 대물렌즈 광학기기 수단에 의해 캡처된 이미지를 필터링하도록 구성된다. 다색성 미러로부터 나타나는 필터링된 이미지들은, 특정 스펙트럼 대역에서 이미징 광선들을 투과(transmitting)시키도록 각각 구성된 브로드-밴드 마스킹 필터들의 어레이를 포함하는 모자이크 필터 어레이(MFA) 센서들에 의한 제2 필터링을 겪는다. 마스킹 필터들의 스펙트럼 대역들은 다색성 미러 스펙트럼 대역들의 반치전폭(FWHM)에서의 대역폭과 비교하여 FWHM에서 더 넓은 대역폭을 갖도록 선택된다. 이러한 방식으로, 각각의 마스킹 필터는 중첩하는 다색성 미러 스펙트럼 대역으로부터 이미지들을 투과시키도록 배열된다. 그 결과, 마스킹 필터는, 다색성 미러로부터 나타나는 협대역 이미지들이 타겟 샘플 또는 장면과 연관된 스펙트럼 큐브의 생성 및 디스플레이를 위하여 이미징 센서 어레이에 의해 캡처되고 프로세싱 유닛에 의해 프로세싱되기 전에, 그 협대역 이미지들을 실질적으로 분리시키도록 구성된다. 본 발명에 따르면, 다수의 협대역 이미지들은 다색성 미러에 의해 정의되는 선택된 멀티대역 스펙트럼 필터링에서 이미지 센서들에 의해 동시에 캡처된다. 타겟 샘플 또는 장면에 대한 스펙트럼 큐브를 생성하기 위해, 누락된 스펙트럼 대역들로부터의 스펙트럼 정보는 캡처된 스펙트럼 정보 및/또는 트레이닝 스펙트럼 데이터 세트에 기초하여 프로세싱 유닛에 의해 추정될 수 있다. 이전에 설명된 바와 같이, 각각의 다색성 미러 멀티대역 필터링의 중심 파장은, 틸팅 액추에이터를 사용하여 다색성 미러의 틸트 각도를 조정함으로써 시프트될 수 있다. 예를 들어, 애플리케이션에 의존하여, 프로세싱 유닛은, 다색성 미러의 각도가 조정되고 상기 다색성 미러에 의해 야기된 멀티대역 필터링의 중심 파장이 시프트되어, 그들이 분석중인 타겟 샘플 또는 장면의 두드러진 스펙트럼 특징부들, 예를 들어 피크들, 밸리들, 슬로프들을 포함하는 임계 스펙트럼 파장들의 세트에 근접하게 있도록 틸팅 액추에이터의 동작을 제어할 수 있다. 각각의 틸팅 단계에서, 이미지들의 새로운 세트가 스냅샷 모드에서 동시에 획득된다. 유사하게, 도 3에 도시된 하이브리드 스펙트럼 이미징의 실시예는, 타겟 샘플 또는 장면에 대한 완전한 스펙트럼 큐브를 생성하기 위해 전체 스펙트럼을 스캐닝하도록 스캐닝 모드에서 사용될 수 있다. 예를 들어, 프로세싱 유닛은, 다색성 미러의 각도가 작은 증분들로 조정되도록 틸팅 이미지를 제어할 수 있다. 이러한 방식으로, 다색성 미러 스펙트럼 대역들의 중심 파장은, 전체 타겟 스펙트럼이 스캐닝될 때까지 작은 증분들, 예를 들어 5 내지 10 nm만큼 시프트될 수 있다. 각각의 틸팅 단계에서, 이미지들의 세트는 이미징 센서에 의해 동시에 캡처되고, 프로세싱 유닛에 의해 프로세싱되어, 각각의 샘플링된 파장으로 캡처된 분석중인 타겟 샘플 또는 장면의 스펙트럼 및 공간 특징부들을 포함하는 완전한 스펙트럼 큐브를 생성한다. 도 3에서 그리고 아래에서 개시될 본 발명의 모든 실시예들에서, 상기 대물 렌즈 광학기기 수단(101)은 사진 렌즈들, 현미경 광학기기, 시준 광학 무한 보정 광학기기의 단단한 또는 가요성 내시경들, 및 망원경들을 포함하지만 이에 제한되지 않는 이미징 광학기기의 넓은 집합으로부터 선택된다. 상기 타겟 물체(102)는 공중, 지상 또는 수중 이미징 조건들에서의 인간 또는 동물 조직, 식물 조직, 풍경 장면, 가공 또는 원료 식품 재료, 천연 재료, 인공 재료를 포함하지만 이에 제한되지 않는 그룹으로부터 선택된다. 상기 센서 어레이 수단은 상기 MFA를 이용하여 마스킹된 반도체 초점 평면 어레이들이다. 상기 틸팅 액추에이터 수단(104)은 갈바니 전기기계식 엘리먼트들, 스테퍼 모터들, 회전 솔레노이드들, 자기, 전기, 및 열 액추에이터들을 포함하지만 이에 제한되지 않는 리스트로부터 선택된 모션 액추에이터들/드라이버 수단을 적어도 부분적으로 사용하여 구성될 수 있다. 상기 IHA의 소형화된 버전들로 의도되고, 상기 모바일 폰 및 컴퓨터 플랫폼들로의 캡슐화에 적합한 본 발명의 특정한 실시예들에서, 상기 틸팅 액추에이터 수단은 마이크로전자기계 시스템(MEMs) 수단이다. 개시된 배열들은 또한, 상기 센서 어레이 수단(105)의 스펙트럼 감도 범위를 스펙트럼의 원하는 구역들로 제한하기 위한 부가적인 필터들, 예컨대 단거리 또는 장거리 광학 필터(short or long pass optical filter)들을 포함할 수 있다. 그것은 또한, 이미지 시프트, 왜곡들, 수차들, 고스트 이미지들, 디포커싱 및 일반적으로는 광학-관련 아티팩트들에 대해, 획득된 이미지들을 보정하기 위한 광학 엘리먼트들을 포함할 수 있다.
본 발명은 종래 기술의 전술된 단점들을 보상하는 배열들을 개시한다. 특히, 상기 틸팅 액추에이터 수단은, 상기 MFA 센서 어레이 수단이 부착되는 기어링 시스템(gearing system)과 기계식으로 커플링될 수 있다. 본 발명에 따르면, 보상은 반사된 이미지를 캡처하는 제1 상기 이미지 센서 수단을 2θ 각도만큼 회전시킴으로써 달성된다. 굴절된 이미지를 캡처하는 제2 상기 센서 어레이 수단은 또한 회전되지만 훨씬 더 작은 각도만큼 회전된다. 제1 및 제2 상기 이미징 센서 수단의 회전은 스펙트럼 스캐닝 동안 동일한 시야를 유지하기 위한 조건을 포함한다. 상기 이미지 센서 수단의 회전은 모션 전달 기어링 시스템(도시되지 않음)의 도움으로 상기 틸팅 액추에이터 수단(104)에 의해 활성화되고 그 수단과 동기화된다.
본 발명에 따르면, 고스트 이미지들에 대한 보상은 큐브 빔 스플리터(도시되지 않음)의 대각선을 따라 증착된 코팅을 포함하는 상기 다색성 미러를 이용하여 달성된다. 상기 코팅은 매우 얇으므로, 어떠한 제2 표면 반사도 존재하지 않는다. 고스트 이미지 문제를 완화시키는 다른 실시예들은, 상기 다색성 미러 플레이트들(103)의 상기 후방 반사 표면 상에 증착된 반사방지 코팅을 갖는 플레이트 다색성 미러들 또는 물방울-무늬 또는 펠리클 기판 상에 코팅으로서 구성되는 상기 다색성 미러 플레이트들(103)을 포함한다.
다색성 미러 수단을 이용하는 본 발명의 다른 더 견고하고 바람직한 실시예가 도 4에 예시된다. 도 4a에서, 상기 MBFO의 상기 빔 분할기 수단은 다색성 미러 기판(402)으로 코팅된 그의 5개의 표면들 중 하나를 갖도록 수정된 펜타-프리즘 빔 분할기이다. 상기 펜타-프리즘은, 상기 코팅된 표면이 프리즘의 후방 표면을 전방과 평행하게 만들려는 목적을 위해 삼각형 프리즘(403)과 함께 접합되도록 추가로 수정된다. 도 4b는 이러한 실시예의 동작 원리 및 주요 장점들을 묘사한다. 인입 빔의 이중 반사: 상기 다색성-코팅된 계면(402)에서 발생하는 하나의 반사 및 상기 펜타-프리즘의 코팅되지 않거나 평탄-미러 코팅된 표면에서의 하나의 반사는, 나타나는 빔의 방향이 상기 틸팅 액추에이터 수단에 의해 야기된 프리즘의 틸팅으로부터 실제로 영향을 받지 않는 상태로 유지되게 만든다. 이러한 방식으로, 기어링 배열들에 대한 어떠한 필요성도 존재하지 않으며, 이는 설계를 단순화하고 볼륨 및 비용을 감소시킨다. 본 실시예의 다른 장점은, 상기 다색성 코팅의 박막 속성으로 인해, 상기 반사된 이미지에 아티팩트들을 도입할 어떠한 이중 반사 효과도 존재하지 않는다는 사실과 관련된다. 마지막으로, 상기 수정된 펜타-프리즘의 동작상 수용가능한 틸팅 각도 범위 내에서, 투과된(transmitted) 광선들이 또한 상기 틸팅 각도에 의해 영향을 받지 않는다. 상기 다색성 미러를 몇개의 멀티대역-통과 필터들(이들 중 하나는, 이미지 복제본들이 나타나는 펜타프리즘 표면들 상에 배치됨)로 대체하는 것과 같은 본 실시예의 변형들이 유사한 결과들을 더 적은 광 처리량 성능으로 제공할 것이라는 것은 당업자에게 명백하다. 도 5a는, 상기 MBFO가 상기 광학 이미징 광학기기 수단의 후방 말단과 그들의 초점 평면 사이의 공간으로서 정의된 이미징 경로에서 고정 위치에 배치된 빔 분할 엘리먼트(500)를 포함하는 다른 바람직한 실시예를 묘사한다. 여기서, 상기 TMF는 분할된 광선 경로들에 개재되어 2개의 틸팅 액추에이터 수단들의 틸팅가능 축 상에 각각 배치된 ADSF-유형 멀티대역-통과 필터들(510)의 쌍을 포함하며, 상기 IHA는 투과된 멀티대역 필터링된 이미지 복제본들을 실질적으로 동시에 캡처하기 위한 2개의 MFA 센서 배열들을 포함한다.
본 발명의 일 실시예에서, 상기 멀티-대역통과 필터 수단은 상기 센서 어레이 수단의 전방에 배치되며, 상기 틸팅 액추에이터 수단(104)의 도움으로, 투과된 스펙트럼 대역들을 튜닝하기 위해 틸팅된다. 본 발명의 다른 바람직한 실시예에서, 상기 틸팅 액추에이터 수단은, 틸팅 모션을 적어도 하나의 상기 멀티-대역통과 필터 수단에 전달하기 위해 기어링 메커니즘(도시되지 않음)과 기계식으로 커플링된다. 상기 MBFO의 또 다른 실시예에서, 상기 틸팅 액추에이터 수단(104)은 하나의 상기 멀티-대역통과 필터의 모션만을 달성한다. 이러한 실시예는 부가적으로, 상기 멀티대역 통과 필터 수단에 의해 필터링되지 않으면서 상기 빔 스플리터(500)에 의해 투과 또는 반사된 이미지들을 캡처하는 제2 상기 센서 어레이를 포함할 수 있다. 필터링되지 않은 이미지는 기준 이미지를 포함할 수 있다. 필터링되지 않은 이미지는 또한, 상기 필터링되지 않은 이미지에 의해 상기 멀티-대역통과 필터 수단을 이용하여 필터링되어 상기 센서 어레이 수단에 의해 캡처된 이미지들을 감산함으로써 상기 협대역 이미지들의 실질적으로 상보적인 세트를 제공할 수 있다.
이제, 자신의 2개의 면(side)들이 미러 코팅되어 있는 프리즘(520)을 이용하여 본 발명의 상기 MBFO의 또 다른 바람직한 실시예를 묘사하는 도 5b에 대한 참조가 이루어진다. 피라미드-형 반사기들, 틸팅/회전 반사기들을 포함하는 임의의 종류의 다면 반사기들이 이러한 실시예의 개념과 유사한 결과들을 제공하는 것은 당업자에게 매우 양호하게 이해된다. 미러 면들은 인입 빔을 2개의 동일한 브랜치들로 분할하며, 필터링 및 이미지 캡처된 부재들은 도 5a에서 사용된 것과 동일하다.
이제, 상기 플레이트 다색성 미러 또는 상기 멀티-대역통과 필터들을 틸팅할 때 야기되는 투과된 이미지의 아티팩트들을 시프트시킨 것을 보상하는 광학 배열 수단을 묘사하는 도 5c에 대한 참조가 이루어진다.
상기 투과된 이미지 시프트 보상은 상기 MBFO 틸팅으로 인한 상기 이미지 시프트를 따르기 위해 상기 이미징 어레이 수단을 공간적으로 병진이동시킬 필요성을 제거한다. 상기 이미지 시프트 보상은 유리 플레이트(510)를 이미징 광선 경로에 삽입함으로써 달성된다. 상기 멀티-대역통과 필터의 두께로 인해, d-변위가 틸팅 각도 θ-(음의 각도들)에 비례하는 주된 이미징 광선에 유발된다고 가정한다. 본 발명에 따르면, 상기 이미지 시프트는 상기 수평 축에 대해 반대 각도 θ+로 틸팅된 제2(코팅되거나 코팅되지 않은) 광학 엘리먼트(510)를 추가함으로써 보정된다. θ+로 틸팅하는 것은 상기 제1 광학 엘리먼트에 의해 야기된 변위를 보상하는 d+에 의한 반대 변위를 초래한다. 상기 제2 광학 엘리먼트의 틸팅은 직접적으로 또는 기어링 메커니즘을 통해 상기 틸팅 액추에이터 수단(104)에 의해 실현된다. 상기 유리 플레이트의 두께 및 굴절률은, 상기 이미지 센서 수단(105)에 포커싱된 이미지들이 스펙트럼 스캐닝 동안 시프트되지 않는다는 것을 표시하는 θ-=θ+일 때 d-=d+이도록 적절히 맞춰질 수 있다.
이제, 상기 IHA의 부가적인 실시예들을 개시하는 도 6에 대한 참조가 이루어지며, 여기서 상기 센서 어레이 수단은, 상기 MBFO 배열들이 틸팅된 필터링된 이미지 복제본들을 생성하는 단일 MFA 이미징 센서이다. 이들 실시예들은, 예를 들어 상기 하이브리드 스펙트럼 이미저가 알려진 스펙트럼 특징부들을 갖는 파일들에서의 일상적인 사용을 위해 의도될 때, 고정된 CSB에서의 동작에 적합하다. 그러나, 스펙트럼 튜닝성(tunability)이 또한 이러한 경우에 대해 구현될 수 있다는 것이 당업자에게 이해된다.
도 6a는 상기 MFA-이미징 센서의 활성 영역 위에 실질적으로 배치되는 수정된 쾨스터 프리즘을 포함하는 상기 MBFO를 예시한다. 상기 쾨스터 프리즘(610)은 통상적으로, 2개의 동일한 프리즘들(90°－ 60°－ 30°)로 제조되며, 그 프리즘들은 그들의 더 긴 수직 면들을 따라 함께 접합된다. 본 발명에서 청구되는 변형은 다색성 미러 코팅(103)의 추가를 지칭하며, 그 코팅은 이들을 함께 접합하기 전에 상기 긴 수직 축 중 하나 상에 증착된다. 상기 쾨스터 프리즘은, 공간 정보 관점으로부터 2개의 동일한 이미지들을 형성하는 2개의 평행하고 필터링된 빔들(630)로 입사 빔(620)을 분할한다. 상기 필터링된 이미지들은 상기 단일 센서(105)의 표면 상에 나란히 포커싱된다. 상기 2개의 평행 빔들(630) 사이의 거리는 상기 입사 빔(620)의 높이를 변경함으로써 조정될 수 있다. 이들 2개의 빔들의 경로 길이는 실질적으로 동일하며, 이는 이미징 경로들 둘 모두에서 이미지 포커싱을 보장하는 데 필수적이다. 이러한 방식으로, 설명된 구성은 다양한 사이즈들의 상기 센서 어레이 수단에 적응될 수 있다.
도 6b는 본 발명의 또 다른 실시예를 묘사하며, 그 실시예에 따라, 마이크로렌즈 어레이(650)는 상기 대물 렌즈 광학기기(101)의 초점 평면에 형성된 이미지를 리포커싱하여, 멀티대역 통과 필터 어레이(660)를 통과한 이후 유리 스크린(670) 상에 동일한 이미지들의 세트(이미지 곱셈)를 형성한다. 각각의 필터, 즉 상기 필터 어레이(660)의 멤버는 대응하는 마이크로렌즈, 즉 상기 마이크로렌즈 어레이(650)의 멤버에 의해 형성된 2차 이미지를 필터링한다. 릴레이 렌즈(680)는 상기 유리 스크린(670) 상에 디스플레이된 이미지를 상기 MFA 이미징 센서(105)에 포커싱한다. 본 실시예의 다른 실시예에서, 상기 마이크로렌즈 어레이(500)는 멀티-이미지 프리즘(도시되지 않음)으로 대체되며, 그 프리즘은 상기 멀티-이미지 프리즘의 면들의 수와 동일한 수의 상기 1차 이미지 복제본들로 1차 이미지를 분할하도록 특수하게 구성된다. 이러한 실시예의 일 변형에서, 상기 멀티-이미지 프리즘의 면들은 상이한 멀티대역 통과 필터들로 코팅되어, 이러한 방식으로 상기 필터 어레이(660)를 대체한다. 도 6b에 묘사된 실시예의 또 다른 변형에서, 엘리먼트들(101, 650(또는 임의의 유사한 이미지 곱셈 광학 배열), 660, 670, 및 680)은, 범용 렌즈들에서 사용되는 것과 같은 장착부로 끝나는 독립형 디바이스를 포함하도록 함께 하우징된다. 상기 독립형 디바이스는 상업용 카메라들에 커플링되어, 그들을 스냅샷 스펙트럼 이미저로 변환할 수 있는 부착물을 포함한다. 상기 스냅샷 부착물의 또 다른 변형에서, 상기 릴레이 렌즈(680)는 컴퓨팅 디바이스, 예를 들어 모바일 폰, 태블릿, 카메라의 내장형 렌즈일 수 있다. 그 경우, 상기 독립형 스냅샷 모듈은 상기 모바일 폰 및 컴퓨터 플랫폼들의 탈착가능 액세서리를 포함한다.
이제, 또 다른 바람직한 실시예를 묘사하는 도 6c에 대한 참조가 이루어지며, 여기서 상기 MBFO는 이중(또는 그 이상의) 채널 대물 렌즈 광학기기(210)를 포함하고, 각각의 채널은 2개의 상기 상보적 멀티-대역통과 필터들(690)에 의해 필터링된다. 상기 필터링된 이중 채널 대물 렌즈 광학기기(210)는 2개의 공간적으로 동일한 이미지들을 상기 MFA 이미징 센서(105)에 나란히 포커싱하는 속성을 갖는다. 본 발명에 따르면, 상기 이중 채널 대물 렌즈 광학기기는 또한, 상기 모바일 폰 및 컴퓨터 플랫폼의 이중 렌즈/카메라 배열들로 캡슐화되는 것으로 고려된다. 이들 모든 경우들에서, 상기 멀티-대역통과 필터 수단(510)은 이미지 포커싱 경로를 따라 임의의 포인트에 배치된다.
다음 단락들에서, 이미징 채널들의 스펙트럼 정제를 달성하기 위한 계산 방법들이 개시된다. 상기 MFA에서 이용되는 원색 필터들의 브로드밴드 속성으로 인해, 그들의 투과 "테일들"은 기록된 이미지들의 스펙트럼 콘텐츠를 "오염"시키는 상기 MBFO의 이웃한 협소한 투과 대역들로 확장된다.
본 발명에 따르면, MFA-마스킹된 이미징 센서 수단은 이미지 센서 당 다수의 협대역 이미지들을 기록하기 위해 이용된다. 이러한 옵션은, 단일의 상기 MFA-마스킹된 이미징 센서 어레이가 모자이크 어셈블리에서 사용되는 원색/스펙트럼 필터들에 의존하여, (상기 스펙트럼 정제 이후) 적어도 3개의 협대역 이미지들을 캡처할 수 있기 때문에 채용된다. 3개, 4개 또는 그 이상의 브로드밴드 필터들은 일반적으로 사용되는 MFA-이미징 센서 어레이들을 구성한다. 도 7은 상업용 MFA 이미징 센서의 사양 메뉴얼로부터 획득된 적색(R)(701), 녹색(G)(702) 및 청색(B)(703)의 스펙트럼 응답들의 일 예를 묘사한다. 알 수 있는 바와 같이, 응답들은 가시 스펙트럼(740 nm)의 상한을 넘어 연장되어, 근적외선(NIR)으로 진행한다. 컬러 카메라들은 인간의 시각을 모방하려는 목적을 위해 NIR 거부 필터를 사용한다. 동일한 목적을 위해, 상기 원색 채널들 사이에 상당한 스펙트럼 중첩이 존재한다.
도 8a는, 3개의 필터들을 각각 포함하는 2개의 MFA 이미징 센서들 및 6-대역 MBFO를 포함하는 IHA로부터의 상기 MBFO 및 상기 MFA의 결합된 응답들을 묘사한다. 알 수 있는 바와 같이, 상기 결합된 응답들은 6개의 협소한 스펙트럼 대역들(801, 802, 803, 804, 805, 및 806)의 세트로 제한된다. 이러한 방식으로, 제1 MFA 센서는 대역들(801, 803, 805)을 캡처할 것이고, 제2 센서는 대역들(802, 804, 806)을 캡처할 것이다. 그러나, 도 8b에서 알 수 있는 바와 같이, (예를 들어) 대역(802)은 제2 센서의 상기 R 채널(701)에 의해 주로 샘플링될 것이다. 그러나, 이러한 대역에 대응하는 특정한 양의 광 에너지(809)는 G 채널(702)에 의해 캡처될 것이고, 다른 양(810)은 B 채널에 의해 캡처될 것이다. 그러므로, 지배적인 대역들과 함께, 넓은 MFA 채널들은 스펙트럼 혼선으로 인해 대역외 기여들을 캡처한다.
본 발명은 상기 MFA의 스펙트럼적으로 중첩하는 응답들로부터 비롯되는 2차 기여들을 제거하기 위한 실험 방법을 개시한다. 이것은 상기 MBFO-대역들의 복원을 허용할 것이다.
이전의 분석에 따르면, 우리는 그에 따라 적색, 녹색 및 청색 MFA 채널들에 대해 RR, GG, BB로서 MFA-채널들의 1차 응답들을 지칭할 수 있다. 우리는 또한, (녹색에 대해) Rg 및 (청색에 대해) Rb로서 MFA-R 채널의 2차 대역외 응답들을 지칭할 수 있다. 따라서, 우리는 (적색에 대해) Gr 및 (청색에 대해) Gb 및 (적색에 대해) Br 및 (녹색에 대해) Bg를 갖는다. 이어서, 우리는 다음과 같이 MFA 응답들을 작성할 수 있다:
상기 MBFO-대역들을 복원하는 것은 수학식들 1, 2, 3으로부터 RR, GG, BB를 계산하는 것과 동일하며, 이는 상기 교차 채널 2차 기여들에 대한 지식을 요구한다. 그러나, 잡음 억제 목적들을 위해, 2차 및 1차 기여들 사이의 비율들을 사용하는 것이 바람직하며, 이는 다음과 같이 표현된다:
상기 비율들을 대입함으로써, 수학식들 1, 2, 3은 다음과 같고:
이들은 행렬 형태로 MBFO-대역들에 대해 해결되어, 다음의 형태를 취한다:
3×3 행렬 엘리먼트들은 다음과 같이 측정된다. 격자 튜닝가능 단색화기와 커플링된 할로겐 광원은 선택된 파장의 함수로서 출사된 광 전력의 제어를 가능하게 하는 특징으로 개발되었다. 상기 광원은 전체 감도 범위 또는 상기 센서 어레이 수단(바륨 황화물)에 걸쳐 단일 반사율로 교정 타겟을 조명한다. 흑백 센서 어레이가 상기 교정 타겟에 포커싱되며, 튜닝가능 광원은 스펙트럼을 스캐닝한다. 상기 흑백 센서에 의해 기록된 응답들을 피드백할 시에, 상기 튜닝가능 광원의 출력 전력은, 상기 흑백 센서 응답들이 전체 스펙트럼에 걸쳐 평탄하도록 조절된다. 실리콘 센서들 및 할로겐 램프의 램프형 응답들을 보상하는 상기 튜닝가능 광원의 세팅은 저장되며, 스캐닝이 반복될 때 자동으로 검색된다. 다음의 단계는 MFA 및 MBFO 둘 모두를 갖는 상기 센서 어레이 수단으로 상기 흑백 센서를 대체하고, 교정된 광원을 이용하여 스펙트럼 스캐닝을 반복하는 것이다. 기록된 응답들은 도 8b에 예시되며, 여기서 상기 1차 및 상기 2차 기여들은 명백하다. 도 8b로부터 그리고 주어진 상기 MFA 및 MBFO 조합에 대해, 상기 2차/1차 배급량(ration)들은 다음과 같이 발견된다:
Crg = 0.07, Crb = 0.006, Cgr = 0.435, Cgb = 0.016, Cbr = 0.133 및 Cbg = 0.73.
행렬 수학식 (5)에 이들 값들을 대입함으로써, MBFO-대역들은, 도 8c에서 입증된 바와 같이 대역외 기여들로부터 자유롭게 복원된다. 상기 틸팅 각도를 변화시킴으로써, 6개의 MBFO-대역들의 세트는, 전체 샘플링된 스펙트럼 큐브가 스캐닝 동작 모드에서 수집될 수 있도록 상기 틸팅 각도의 부호에 의존하여 좌측 또는 우측으로 시프트될 것이다. RGB 원색 필터들은 약 150 nm의 통상적인 FWHM을 갖는다. 따라서, 각각의 상기 원색 필터는, 예를 들어 가시 스펙트럼 범위 내의 총 약 45개의 중첩하지 않는 스펙트럼 이미지들인, 각각 10 nm FWHM의 15개의 협대역 이미지들을 기록할 수 있다. 이것은 충분한 스펙트럼 해상도 및 정보-풍부 스펙트럼 큐브를 보장하는 적절한 수이다.
도 9는, MBFO 배열이 (NIR-차단(NIR-cut) 필터가 제거된) 상기 MFA 이미징 센서 배열과 결합될 때, 시스템의 응답들이 NIR 또는 자외선 스펙트럼 대역들로 확장될 수 있는 MBFO 배열을 예시한다. 이에 기초하여, 본 발명은 가시(컬러 또는 스펙트럼 이미징) 및 비-가시 스펙트럼 대역들에서 동시적인 실시간 이미징을 구현하는 실시예들을 청구한다.
아래의 설명은 스펙트럼 추정을 통해 스펙트럼 차원을 증가시키기 위한 방법들을 강조한다. 관련 분석으로 진행하기 전에, 2개의 핵심 문제들을 명확하게 될 필요가 있다: a) 개시된 하이브리드 스펙트럼 이미저의 여러가지 애플리케이션들에서, 스캐닝 모드 동작이 필요한 모든 스펙트럼 정보를 생성할 것이므로, 스펙트럼 추정을 위한 어떠한 필요성도 존재하지 않을 것이다. 개시된 초분광 이미저는 테스트 장면/샘플 트레이닝 세트와 유사한 것을 애드혹(ad hoc) 구축하거나 보완할 수 있으며, 그에 따라 스펙트럼 추정 정확도를 상당히 증가시키고; b) 종래 기술 시스템들은 스펙트럼 추정을 위한 기반으로서 넓은 MFA-RGB 대역들만을 사용하는데, 이는 이러한 문제의 타당치 않은 속성으로 인해 수용가능하지 않은 솔루션이고; c) 스펙트럼 추정에 기초한 종래 기술 시스템들은 스펙트럼의 가시 부분에 제한된다.
본 발명은 스냅샷 모드로 동작할 때, 추정 정확도를 개선시키는 방법을 개시한다. 조사될 물체 또는 장면의 속성, 유형 또는 구성에 관한 사전 지식을 가정함으로써, 상기 두드러진 스펙트럼 특징부들에 대응하는 스펙트럼 대역들을 식별하기 위한 탐색이 수행될 수 있다. 사전 지식은, 특정 타겟들 또는 장면들의 스펙트럼 특성들을 충분한 세부사항으로 설명하기 위해 생성되었던 것을 의미하는 타겟 장면-특정 또는 물체-특정 스펙트럼 데이터베이스들을 지칭할 수 있다. 이러한 태스크를 완료할 시에, 대응하는 CSB는 스냅샷 스펙트럼 이미징을 수행하기 위해 록킹된다. 두드러진 스펙트럼 특징부들의 부근에서의 샘플링으로 인해, 스펙트럼 추정 태스크의 정확도가 상당히 개선된다.
이제, 상기 CSB를 기반으로서 이용하는 일반적인 스펙트럼 추정 방식을 예시하는 도 10에 대한 참조가 이루어진다. 도 10a는 k-넘버 CSB 획득에 의해 생성된 샘플들(테스트 샘플)과 N개의 샘플링된 데이터 포인트들을 갖는 M개의 스펙트럼들을 포함하는 트레이닝 세트(트레이닝 세트)(1010) 사이의 최상의 매치를 시도하는 비교를 수반하는 트레이닝 프로세스를 묘사한다.
스펙트럼 데이터 베이스(1010)는 가시 또는 비가시 스펙트럼 대역들 또는 이들의 조합에서 샘플링될 수 있는 충분한 수의 스펙트럼들을 포함한다. 부가적으로, 스펙트럼들은 화학적 아이덴티티, 또는 샘플 상태 또는 조직 병리, 또는 이들의 조합들을 표현하도록 라벨링될 수 있다. 전이 또는 추정 행렬(1020)을 계산하기 위해 여러가지 최적화 방법들이 이용될 수 있으며, 최소 제곱들, 위너 추정, 커널 방법들, 인공 뉴럴 네트워크들, 및 희소 재구성 및 딥 러닝 접근법들을 포함하지만 이에 제한되지 않는다. 이전에 언급된 바와 같이, 여러가지 애플리케이션-특정 데이터 베이스들은 이들 분야들에서 완전한-스펙트럼 스냅샷 스펙트럼 이미징을 가능하게 하기 위해 개발될 수 있다. 상기 애플리케이션-특정 데이터 베이스들(1010) 및/또는 상기 추정 행렬들(1020)은 상기 모바일 폰 및 컴퓨터 플랫폼들에 미리-설치되거나 다운로딩가능할 수 있다. 도 10b는 상기 추정 행렬(1020)을 설정한 이후의 스펙트럼 추정을 개략적으로 예시하며, 그 스펙트럼 추정의 도움으로, k-희소 데이터 포인트들(1030)은 전체 스펙트럼(1040)으로 변환된다.
본 발명의 다른 실시예는, 거대한 공간-스펙트럼 정보가 개시된 하이브리드 스펙트럼 이미저를 이용하여 실시간으로 생성되는 그 거대한 공간-스펙트럼 정보의 시각화에 관한 것이다. 스펙트럼 큐브에 포함된 다양한 스펙트럼 클래스들의 공간 분포의 실시간 시각화는, 특히 이들 데이터가 액션들에 대한 피드백을 포함하는 경우들에 필수적이다. 예를 들어, 수술 시에, 변경된 스펙트럼 프로파일들을 갖는 영역들은 생체검사될 필요가 있는 이상(abnormality)의 존재에 대한 증거를 포함할 수 있다. 그러한 경우들에서, 검사 프로브(예를 들어, 내시경) 또는 검사중인 조직 샘플이 안정적이지 않을 수 있으므로, 스펙트럼 클래스 맵의 실시간 디스플레이가 중요하다. 소위 스펙트럼 주제 맵들은 컬러 또는 스펙트럼 이미지와 나란히 디스플레이될 수 있으며, 감독되지 않은 또는 감독된 방식으로 구성될 수 있다. 스펙트럼 큐브에 존재하는 상이한 클래스들은 인공 컬러-코딩의 도움으로 시각화될 수 있으며, 상이한 클래스들은 상이한 의사컬러(pseudocolor)들로 코딩된다.
트레이닝 데이터 세트의 스펙트럼들은, 예를 들어 조직의 병리 상태, 화학 화합물 아이덴티티 또는 식품 품질 상태를 표현하도록 라벨링될 수 있다. 그 경우, 상기 스펙트럼 클래스 맵퍼는, 예를 들어 생체내 또는 생체외(in vitro) 진단을 보조하거나 또는 원격 감지 및 비파괴 분석을 위해 화학적 또는 구조적 맵핑을 수행하도록 병리학 맵으로 변환된다.
또 다른 실시예에서, 상기 하이브리드 스펙트럼 이미저는 스펙트럼 사진 카메라를 포함하며, 여기서 종래 기술의 3개의 RGB 원색 센서를 사용하여 사진들을 캡처하는 대신, 컬러 사진에서의 컬러 재현은 스펙트럼의 가시 부분에 걸쳐 전체 스펙트럼을 캡처하는 것에 기초한다. 이러한 실시예는 컬러 사진 산업에서 다음의 의미들을 갖는다: a) 색역의 확장으로 인한 컬러 충실도 증가들; b) 물체의 스펙트럼 반사율의 복원을 통한 디바이스 및 주변 광 독립적인 사진; c) 메타메리즘-없는 사진.
상기 스펙트럼 사진 카메라 실시예에서, 상기 하이브리드 스펙트럼 이미저는 1269 먼셀 컬러 칩들로부터 획득된 반사 스펙트럼들을 트레이닝 세트로서 사용한다. 상기 먼셀 데이터 세트는 컬러 재현을 위한 스펙트럼들의 가장 대표적인 집합으로서 선택되고 있다. 스펙트럼 특징부들에 의해 가장 많이 채워진 스펙트럼 대역들을 결정하려는 목적을 위하여 이러한 데이터 세트에 대해 예비 분석이 수행된다.
도 11은, 예상된 바와 같이 특징부들이 가시 스펙트럼에 걸쳐 퍼져 있지만, 더 높은 집단(1100)을 갖는 특정한 스펙트럼 대역들이 존재한다는 것을 보여주는 이러한 분석의 결과들을 예시한다. 이들 대역들은 스냅샷 동작을 위해 상기 CSB로서 채용된다. 그러나, 비록 열등하더라도, 유사한 결과들이 도 11에서 지정된 것들의 부근에서 CSB를 선택함으로써 달성될 수 있다는 것은 당업자에게 명백하다. CSB-이미지를 캡처할 시에, 픽셀 당 전체 스펙트럼은 상기 먼셀 1269 스펙트럼들을 트레이닝 세트로서 사용하는 스펙트럼 추정을 이용하여 추정된다. 마지막으로, CIE 3자극(tristimulus) X, Y, Z 컬러 파라미터들이 대응하는 스펙트럼으로부터의 모든 픽셀에 대해 계산된다.
도 12에서 입증된 바와 같이, 본 실시예에 따라 구현되는 디지털 스펙트럼 사진은 컬러 재현의 충실도를 특히 개선시킨다. 예시된 yx 색도 다이어그램은 상기 X, Y, Z 값들로부터 도출되며, 그것은 검출 및 재현 산업들에서 컬러 재현 정확도(충실도)를 정량화하기 위한 표준 방법을 포함한다. 외부 색도 자취(실선)(1210)는 인간 눈의 컬러 응답에 대응한다. 이러한 자취 포인트들의 내부 모두는 인간 눈에 의해 재현될 수 있는 xy 컬러들에 대응한다. 종래의 RGB 카메라는 색도 자취의 상당한 영역에 대해 인간 눈의 색역(1240)과 멀리 떨어져 있다. 이는, 대응하는 컬러들에 대해 불량한 컬러 재현 충실도가 있다는 것을 표시한다. 인간 눈의 색도 자취와의 최상의 매치는 샘플링된-스캐닝 초분광 이미징(1220)을 이용하여 달성되지만, 스캐닝 절차들은 소비자 사진에 수용가능하지 않을 수 있다. 스냅샷/스펙트럼 추정(1230)은 초분광 스펙트럼 이미징을 스캐닝하는 것으로 달성되는 것과 유사한 컬러 충실도를 제공하며, 어느 경우에도, 표준 RGB 카메라들로 획득된 충실도보다 훨씬 우수하다. 종래 기술 RGB 카메라들에 대한 청구된 스펙트럼 사진 장치의 다른 뚜렷한 장점은 그들이 메타메리즘-없는 사진을 제공한다는 것이다. 상기 스펙트럼 사진 장치의 또 다른 실시예에서, 표준화된 사진은 이미징된 물체 또는 장면의 스펙트럼 반사율을 추정함으로써 달성된다. 이것은 a) 발광체의 스펙트럼 전력 분포; b) 상기 센서 어레이 수단의 스펙트럼 응답 및 c) 상기 스펙트럼 반사율의 디콘볼루션(deconvolution)을 통해 실현될 수 있다. 일단 이것이 달성되면, 컴포넌트 a)는 CIE의 표준 관찰자로 대체되고, 컴포넌트 b)는 CIE의 표준 발광체로 대체된다. CIE의 표준 관찰자 및 발광체 기능들은 상기 표면 반사율과 곱해지며, 마지막으로, 그들의 곱은 가시 스펙트럼의 파장들에 걸쳐 적분된다. 이러한 프로세스로부터 초래되는 컬러 사진은, 그것이 디바이스 및 주변 광 독립적이므로 완벽하게 표준화된다. 그러므로, 그것은, 예를 들어 원격진료, 인쇄 산업 및 일반적으로는 객관적 문서화(objective documentation)에서 사용될 수 있다. 도 8 및 관련 설명은 상기 센서의 스펙트럼 응답들을 추출하기 위한 견고한 방법을 제공한다. 도 9는 스펙트럼의 NIR 부분에서 확장된 감도를 제공하는 MBFO 배열을 개시한다. 상기 스펙트럼 사진 장치에 대해 이러한 CSB 구성을 채용할 시에, 가장 일반적인 발광체들이 이러한 스펙트럼 대역에서 뚜렷한 스펙트럼 프로파일을 가지므로, 사용된 발광체의 유형에 대해 적외선 스펙트럼 대역이 활용될 수 있다. 예를 들어, LED 및 형광 램프들은 태양 광 및 할로겐 램프들의 경우에서 발생하는 것과는 대조적으로 NIR에서 방출이 없다. 상기 스펙트럼 사진의 그 NIR 감도 외에도, 장치는 또한 헤이즈-없는 사진을 가능하게 할 것이다.
개시된 하이브리드 스펙트럼 이미저는 디스플레이 수단을 통합한 제어 및 프로세싱 유닛(CPU)과 통합되거나 인터페이싱된다. CPU 및 디스플레이 수단은 마이크로제어기 유닛들, 메모리 유닛들, FPGA들, 모바일 폰들, 태블릿 컴퓨터들, 랩톱 컴퓨터들, 평판 디스플레이들 및 비디오 고글들을 적어도 부분적으로 포함한다. CPU는 이미징 헤드 배열에 커플링되어, a) 스펙트럼에 걸친 상기 이미징 센서 어레이 수단의 불균일한 응답 및 상기 타겟 장면 물체를 조명하는 광원들의 불균일한 스펙트럼 전력 분포를 보상하기 위해 이미지 획득 프로세스들을 교정하기 위한 프로그램 명령들을 실행한다. 교정은, 동작 스펙트럼 범위에 걸쳐 단일 반사율(또는 알려진 반사율)을 갖는 이미징 타겟들을 이용하고, b) TMF의 주어진 튜닝 단계에서 그리고 복수의 상기 튜닝 단계들에 대해 MFA 센서 배열에 의해 이미지들의 획득/캡처를 제어 및 동기화시키고; c) MFA와 TMF 사이의 대역 혼선을 보상하기 위해 MFA 센서 배열 응답들을 스펙트럼적으로 정제하며; d) 스펙트럼 추정 프로세스들을 트레이닝시키고, 누락된 스펙트럼 데이터 포인트들 및 대응하는 스펙트럼 이미지들을 추정하고, 스펙트럼들을 분류 및 라벨링하며, 스펙트럼 주제 맵들, 화학적 맵들, 병리학 맵들 및 이들의 조합들을 디스플레이하기 위해 스펙트럼 데이터를 프로세싱함으로써 수행된다.
Claims (30)
- 하이브리드 스펙트럼 이미저 장치로서,
이미징 헤드 배열(imaging head arrangement (IHA)) － 상기 이미징 헤드 배열은, 이미징 경로를 따라 타겟 장면 또는 물체의 이미지를 수집 및 포커싱하기 위한 광학 이미징 수단을 포함함 －;
멀티대역 필터링 광학기기(multiband filtering optics (MBFO)) 수단 － 상기 멀티대역 필터링 광학기기 수단은, 상기 타겟 이미지의 적어도 2개의 복제 이미지들을 생성하기 위한 빔 분할기 수단(beam divider means); 상기 이미징 경로에 개재되고, 상기 이미지 복제본들에서 튜닝가능 멀티-대역통과 필터링을 달성하는 튜닝가능 멀티대역 필터링(tunable multiband filtering (TMF)) 수단을 포함함 －;
모자이크 필터 어레이(MFA) 센서 배열 － 상기 MFA 센서 배열은 상기 멀티대역 필터링된 이미지 복제본들이 포커싱되는 적어도 하나의 MFA-초점 평면 어레이(FPA) 센서를 포함하고, 적어도 3개의 광대역 원색-유형 필터들을 이용하여 픽셀화된 방식으로 마스킹된 초점 평면 어레이 수단을 포함하며, 각각의 원색-유형 응답은 상기 멀티대역-필터링된 이미지 복제본들로부터 하나의 단일-대역 이미지 컴포넌트를 분리시키고 캡처함 －;
이미징 헤드 배열에 커플링되어, 이미지 획득 프로세스들을 교정하고; TMF의 주어진 튜닝 단계에서 그리고 복수의 상기 튜닝 단계들에 대해 상기 MFA 센서 배열에 의해 상기 이미지 복제본들의 획득/캡처를 제어 및 동기화시키며; MFA와 상기 TMF 사이의 대역 혼선(cross-talking)을 보상하기 위해 MFA 센서 배열 응답들을 스펙트럼적으로 정제(purify)하기 위한 프로그램 명령들을 실행하는 제어 및 프로세싱 유닛(CPU);
사용자 인터페이스 수단 상에서 적어도 획득된 단일-대역 이미지들을 디스플레이하기 위한 디스플레이 수단을 포함하며,
상기 CPU는 이용된 MFA-FPA 센서 당 적어도 3개의 상이한 단일-대역 이미지들의 세트를 재구성하여, 상기 디스플레이 수단 상에서 디스플레이하도록 구성되고;
상기 CPU는, 원하는 스펙트럼 대역들에서 비디오 스냅샷 스펙트럼 이미징을 위한 상이한 단일-대역 이미지들의 세트들의 중심 파장들을 선택하고 그리고/또는 주어진 튜닝 단계에서 상이한 단일-대역 이미지들의 특정한 수의 세트들 및 멀티단계 절차에서 복수의 세트들을 캡처하기 위해 상기 TMF를 튜닝하도록 구성되고, 상기 튜닝은 상기 FPA 센서의 스펙트럼 감도 범위 내에서 적어도 30개의 단일 대역 이미지들을 포함하는 전체 초분광 큐브(full hyperspectral cube) 데이터-세트의 세트를 수집할 때까지 지속되는, 하이브리드 스펙트럼 이미저 장치. - 제1항에 있어서,
상기 CPU는 타겟 장면-특정 또는 물체-특정 스펙트럼 데이터베이스에서, 두드러진 스펙트럼 특징부들로 채워진 파장들에 대응하는 임계 스펙트럼 대역들(critical spectral bands (CSB))의 세트를 식별하기 위한 프로그램 명령들을 실행하도록 구성되는, 하이브리드 스펙트럼 이미저 장치. - 제2항에 있어서,
상기 두드러진 스펙트럼 특징부들은 캡처된 스펙트럼들의 피크(peak)들, 및/또는 밸리(valley)들, 및/또는 슬로프들에 대응하는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 CPU는, 트레이닝된 스펙트럼 추정 모델 및 연관된 알고리즘들을 이용하여, 희소하게 샘플링된 데이터 포인트(sparsely sampled data point)들에서 캡처된 응답들을 피팅(fit)함으로써, 스펙트럼을 따라 상기 희소하게 샘플링된 데이터 포인트들에서 캡처된 상기 MFA-센서 배열 응답들로부터 전체 스펙트럼을 복원하기 위한 프로그램 명령들을 실행하도록 구성되는, 하이브리드 스펙트럼 이미저 장치. - 제4항에 있어서,
상기 희소하게 샘플링된 데이터-포인트는 상기 CSB의 세트에 대응하는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 CPU는 상기 MFA-센서 어레이 수단에 의해 캡처된 스냅샷 스펙트럼 이미지들의 세트 및 추정된 스펙트럼 이미지들의 하나의 세트를 포함하는 스펙트럼 큐브를 생성하도록 구성되며, 상기 세트들 모두는 비디오 레이트들로 함께 디스플레이되는, 하이브리드 스펙트럼 이미저 장치. - 제6항에 있어서,
상기 추정된 스펙트럼 이미지들은 모든 이미지 픽셀들에 대한 상기 재구성된 스펙트럼들의 추정된 데이터 포인트들로부터, 상기 스펙트럼들의 재구성된 부분들에 속하는 특정 파장 대역에 대응하는 세기 값들을 포함하는 2차원 어레이로서 획득되는, 하이브리드 스펙트럼 이미저 장치. - 제4항 내지 제7항 중 어느 한 항에 있어서,
상기 스펙트럼 추정 모델들 및 알고리즘들은 최소 제곱들, 위너 추정(Wiener Estimation), 커널 방법들, 인공 뉴럴 네트워크(Artificial Neural Network)들, 희소 재구성 및 딥 러닝(Deep Learning) 접근법들을 적어도 부분적으로 포함하는 알고리즘들의 클래스에 속하는, 하이브리드 스펙트럼 이미저 장치. - 제1항에 있어서,
상기 CPU는 스펙트럼 이미징 데이터 세트의 스펙트럼 분류를 위한 그리고 상기 디스플레이 수단 상에서 상기 스펙트럼 분류의 스펙트럼 주제 맵(thematic map)을 디스플레이하기 위한 프로그램 명령들을 실행하도록 구성되는, 하이브리드 스펙트럼 이미저 장치. - 제9항에 있어서,
상기 스펙트럼 분류는 상기 스펙트럼 주제 맵을 화학적 맵 또는 생체내 병리학 맵(in vivo pathology map)으로 변환하기 위한 화학적 아이덴티티들(chemical identities) 및 라벨들을 갖는 스펙트럼들을 가진 데이터베이스에 저장되어 있는 감독된 분류기 및 스펙트럼 데이터-세트를 이용하는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 광학 이미징 수단은 사진 렌즈들, 현미경 광학기기, 시준 광학 무한 보정 광학기기의 단단한 또는 가요성 내시경들, 및 망원경들을 포함하는 그룹으로부터 선택되는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 타겟 장면 또는 물체는 공중, 지상 또는 수중 이미징 조건들에서의 인간 또는 동물 조직, 식물 조직, 풍경 장면, 가공 또는 원료 식품 재료, 천연 재료, 인공 재료를 적어도 부분적으로 포함하는 그룹으로부터 선택되는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제12항 중 어느 한 항에 있어서,
상기 MBFO 수단은 큐브 빔 스플리터(beam splitter)들, 플레이트 빔 스플리터들, 편광 빔 스플리터들, 오각형 빔 스플리터/분할기들, 미러 코팅 레그(mirror coated leg)들을 갖는 직각 프리즘, 미러-코팅 레그들을 갖는 미러 코팅 피라미드 프리즘들, 물방울-무늬(polka-dot) 빔 스플리터들 및 펠리클(pellicle) 빔 스플리터들을 적어도 부분적으로 포함하는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제13항 중 어느 한 항에 있어서,
상기 TMF는 각도 의존 스펙트럼 필터링(angle depending spectral filtering (ADSF)) 대역 통과 필터들, ADSF-유형 이색성(dichroic) 및 다색성(polychroic) 미러들, ADSF-유형 멀티-대역통과 필터들, 공간 광 변조기들, 음향-광학기기들, 액정 스펙트럼 변조기들, 표면 플라스몬(plasmon) 필터들 및 이들의 조합들을 적어도 부분적으로 포함하는, 하이브리드 스펙트럼 이미저 장치. - 제14항에 있어서,
상기 TMF는 ADSF-유형 멀티대역 반사 및/또는 투과(transmit) 필터이며,
상기 ADSF-유형 멀티대역 반사 및/또는 투과 필터는, 상기 ADSF-유형 멀티대역 반사 및/또는 투과 필터가 ±30°의 각도 범위 내에서 틸팅될 때, 대역들의 중심 파장을 약 15%로 튜닝하는 속성을 갖는, 하이브리드 스펙트럼 이미저 장치. - 제14항 또는 제15항에 있어서,
상기 ADSF-유형 필터 수단은 틸팅 액추에이터 수단의 틸팅가능 축 상에 배치되며, 상기 틸팅 액추에이터는 갈바니(galvanic) 전기기계식 엘리먼트들, 회전형 액추에이터들, 모터들, 회전형 솔레노이드들, 자기, 전기, 열 액추에이터들 및 마이크로전자기계 시스템(microelectromechanical system (MEMs))을 포함하는 그룹으로부터 선택되는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제16항 중 어느 한 항에 있어서,
상기 CPU 및 상기 디스플레이 수단은 마이크로제어기 유닛들, 메모리 유닛들, 필드 프로그래밍가능 게이트 어레이(field programmable gate array (FPGA))들, 모바일 폰들, 태블릿 컴퓨터들, 랩톱 컴퓨터들, 평판 디스플레이들 및 비디오 고글들을 적어도 부분적으로 포함하는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제17항 중 어느 한 항에 있어서,
상기 빔 분할기는 상기 틸팅 액추에이터 수단의 틸팅가능 축 상에 배치된 틸팅 펜타프리즘 빔 분할기이며,
상기 TMF는 상기 펜타프리즘 빔 분할기의 제1 반사 표면 상에 증착되어, 틸팅 각도-불변 직교 방향들로 2개의 멀티대역 필터링된 이미지 복제본들을 반사 및 투과(transmitting)시키는 ADSF-유형 다색성 미러 코팅이고,
상기 IHA는 상기 투과 및 반사된 멀티대역 필터링된 이미지 복제본들을 실질적으로 동시에 캡처하기 위해 상기 광학 이미징 수단의 투과/반사 초점 평면들에 배치된 2개의 MFA-FPA 센서들을 포함하는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제18항 중 어느 한 항에 있어서,
상기 빔 분할기는 상기 틸팅 액추에이터 수단의 틸팅가능 축 상에 배치된 틸팅 펜타프리즘 빔 분할기이며,
상기 TMF는, 상기 이미지 복제본들이 나타나는 펜타프리즘 표면들 상에 배치된 ADSF-유형 멀티대역-통과 필터들의 쌍을 포함하고, 상기 ADSF-유형 필터들은 틸팅 각도 불변 직교 방향들로 2개의 멀티대역 필터링된 이미지 복제본들을 투과시키고,
상기 IHA는 상기 투과된 멀티대역 필터링된 이미지 복제본들을 실질적으로 동시에 캡처하기 위해 상기 광학 이미징 수단의 투과/반사 초점 평면들에 배치된 2개의 MFA-FPA 센서들을 포함하는, 하이브리드 스펙트럼 이미저 장치. - 제18항 또는 제19항에 있어서,
상기 펜타프리즘의 제1 반사 표면은, 이미지 왜곡 효과들을 보상하기 위해 상기 펜타프리즘의 후방 표면이 상기 펜타-프리즘의 전방 표면과 평행하도록 삼각 프리즘과 함께 접합되는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제17항 중 어느 한 항에 있어서,
상기 빔 분할기는 상기 광학 이미징 광학기기 수단의 후방 말단과 상기 광학 이미징 광학기기 수단의 초점 평면 사이의 공간으로서 정의된 상기 이미징 경로에서 고정 위치에 배치된 빔 분할 엘리먼트이며,
상기 TMF는 분할 광선 경로들에 개재된 2개의 틸팅 액추에이터 수단의 틸팅가능 축 상에 각각 배치되는 ADSF-유형 멀티대역-통과 필터들의 쌍을 포함하고,
상기 IHA는 투과된 멀티대역 필터링된 이미지 복제본들을 실질적으로 동시에 캡처하기 위한 2개의 MFA 센서 배열들을 포함하는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제17항 중 어느 한 항에 있어서,
상기 빔 분할기는 쾨스터(Kster) 프리즘-유형 빔 분할기이고, 상기 쾨스터 프리즘-유형 빔 분할기는, 상기 쾨스터 프리즘-유형 빔 분할기의 각도들 중 하나의 각도의 이등분선이 ADSF-유형 필터로 코팅되도록 구성되며,
상기 IHA는 단일 MFA 센서 배열을 포함하고, 상기 단일 MFA 센서 배열은 분해된 각도의 반대측 상에 배치되어, 상기 단일 MFA 센서의 2개의 상이한 영역들로 2개의 멀티대역 이미지 복제본들을 캡처하는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제17항 중 어느 한 항에 있어서,
상기 빔 분할기는 적어도 2개의 면들이 미러-코팅되어 있는 다면(multisided) 반사기를 포함하며,
상기 미러 코팅된 면들은 인입 광 빔을 적어도 2개의 반대로 반사되는 컴포넌트들로 분할하도록 구성되는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제23항 중 어느 한 항에 있어서,
상기 MBFO 수단은,
동일한 이미지들의 세트를 생성하도록 구성된 광학 엘리먼트;
별개의 스펙트럼 대역들의 세트에서 광이 투과 및/또는 반사되도록 상기 이미지 복제본들을 스펙트럼적으로 필터링하도록 구성된 필터 어레이 수단;
상기 복제 이미지들의 필터링된 세트를 시각화하도록 구성된 유리 스크린; 및
유리 스크린 상에서 디스플레이된 이미지를 적어도 하나의 이미징 센서 상에 포커싱하도록 구성된 릴레이 렌즈(relay lens)를 포함하는, 하이브리드 스펙트럼 이미저 장치. - 제24항에 있어서,
상기 MBFO 수단은 상기 MBFO 수단을 상용 카메라 수단의 대응하는 렌즈 어댑터와 탈착가능하게 장착하기 위한 보편적인 장착 수단을 포함하며,
상기 카메라 수단은 자율적으로 서 있거나(stand) 또는 모바일 텔레폰/컴퓨터 플랫폼 수단에 통합되는, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제25항 중 어느 한 항에 있어서,
상기 IHA는 상기 광학 이미징 수단의 초점 평면으로 끝나는 이미지 경로에 배치된 이미지-시프트 보상 광학 엘리먼트를 포함하며,
상기 이미지 시프트 보상 광학 엘리먼트는 틸팅-유도 광학 매체 경로-길이 변동들 및 연관된 이미지 왜곡/변위 효과들을 보상하기 위해 상기 ADSF-유형 필터의 틸팅 각도에 대한 비례 및 반대 틸팅 각도로 상기 틸팅 액추에이터에 의해 위치설정되도록 구성되는, 하이브리드 스펙트럼 이미저 장치. - 제26항에 있어서,
상기 이미지 시프트 보상 광학 엘리먼트는, 포커싱된 이미지가 상기 ADSF-유형 필터에 의해 야기된 변위와 실질적으로 동일한 거리만큼 반대 방향으로 변위되도록 선택되는 미리 결정된 두께 및 굴절률을 갖는 유리 플레이트인, 하이브리드 스펙트럼 이미저 장치. - 제1항 내지 제27항 중 어느 한 항에 있어서,
상기 하이브리드 스펙트럼 이미저는 확장된 색역(color gamut)의 메타메리즘-없는(metamerism-free) 전체 스펙트럼 사진 카메라로서 동작되도록 구성되며,
상기 MBFO 수단 및 상기 MFA 센서 배열 수단은 스펙트럼의 가시 부분 내에서 적어도 5개의 상기 단일 대역 이미지들을 캡처하도록 구성되고;
상기 CPU 유닛은, 먼셀(Munsell) 스펙트럼 집합(collection)을 적어도 부분적으로 포함하는 스펙트럼들의 큰 집합에 기초하여 스펙트럼 추정 모델의 트레이닝 태스크를 실행하고; 모든 이미지 픽셀들에서 상기 스펙트럼들을 재구성하기 위해 희소하게 샘플링된 스펙트럼 데이터 포인트들을 피팅하기 위한 스펙트럼 추정 모델-기반 알고리즘을 실행하고; 상기 스펙트럼들로부터 CIE-색도계 컬러 파라미터들을 계산하며; 그리고 전체 스펙트럼들로부터 도출된 컬러 파라미터들에 대응하는 픽셀 값들을 갖는 컬러 이미지를 상기 디스플레이 수단에서 디스플레이하도록 구성되는, 하이브리드 스펙트럼 이미저 장치. - 제28항에 있어서,
상기 MBFO 수단 및 상기 MFA 센서 배열 수단은 상기 스펙트럼의 가시 부분 내의 적어도 5개의 단일 대역 이미지들 및 상기 실리콘 센서 수단의 근적외선 감도 범위에서 적어도 하나의 단일 대역 이미지를 캡처하도록 구성되며;
상기 CPU 유닛은, 상기 타겟 장면 또는 물체를 조명하는 주변 광의 스펙트럼 특성들의 추정; 컬러 불변성을 달성하기 위해 상기 타겟 장면의 또는 물체의 표면 반사율을 추정하는 것; 상기 컬러 이미지로부터의 헤이즈(haze) 엘리먼트들의 추출을 적어도 부분적으로 포함하는 이미지 프로세싱 태스크들을 상기 프로세싱 출력을 이용하여 실행하기 위해 단일 대역 이미지 근적외선 응답을 이용하도록 구성되는, 하이브리드 스펙트럼 이미저 장치. - 비디오의 풀 해상도 초분광 이미징을 위한 방법으로서,
타겟 장면 또는 물체의 스펙트럼 아이덴티티/복잡도를 표현하기에 통계적으로 충분한 조밀하게 샘플링된 광학 스펙트럼들의 집단을 획득하는 단계;
스펙트럼 특징부 추출을 통해 상기 스펙트럼 집단의 희소 표현을 추출하기 위해 상기 조밀하게 샘플링된 광학 스펙트럼들의 세트를 분석하는 단계;
상기 조밀하게 샘플링된 광학 스펙트럼들에서, 두드러진 스펙트럼 특징부들로 많이 채워진 스펙트럼 대역들과 실질적으로 중첩하는 대역들에 대응하는 임계 스펙트럼 대역들(critical spectral bands (CSB))을 식별하는 단계; 및
제1항 내지 제29항에 따른 하이브리드 스펙트럼 이미저에 의해 다음의 단계들을 수행하는 단계를 포함하며,
상기 다음의 단계들은,
상기 식별된 CSB에 대응하는 중심 파장들을 갖는 스펙트럼 이미지들을 실질적으로 동시에 캡처하는 단계;
상기 조밀하게 샘플링된 광학 스펙트럼들의 스펙트럼 데이터-세트 샘플과 연관된 스펙트럼 추정 모델을 이용한 CSB 공간 및 스펙트럼 데이터 포인트들의 피팅을 통해, 누락된 스펙트럼 데이터 포인트들 및 대응하는 스펙트럼 이미지들을 추정함으로써 타겟 물체 또는 장면에 대한 스펙트럼 큐브를 재구성하는 단계; 및
상기 재구성된 스펙트럼 큐브의 전체 콘텐츠 및 도출된 스펙트럼 주제 맵들 중 적어도 하나를 비디오 레이트들로 디스플레이하는 단계를 포함하는, 비디오의 풀 해상도 초분광 이미징을 위한 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862713019P | 2018-08-01 | 2018-08-01 | |
| US62/713,019 | 2018-08-01 | ||
| PCT/GR2019/000054 WO2020025987A1 (en) | 2018-08-01 | 2019-07-31 | A hybrid spectral imager |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210043595A true KR20210043595A (ko) | 2021-04-21 |
| KR102394823B1 KR102394823B1 (ko) | 2022-05-06 |
Family
ID=67851168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217006083A KR102394823B1 (ko) | 2018-08-01 | 2019-07-31 | 하이브리드 분광 이미저 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10989595B2 (ko) |
| EP (1) | EP3830551B1 (ko) |
| JP (1) | JP7087198B2 (ko) |
| KR (1) | KR102394823B1 (ko) |
| CN (1) | CN112789495B (ko) |
| WO (1) | WO2020025987A1 (ko) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL251636B (en) * | 2017-04-06 | 2018-02-28 | Yoav Berlatzky | A system and method for a coherent camera |
| US11373396B2 (en) * | 2017-11-06 | 2022-06-28 | Google Llc | Systems and methods for improved feature extraction using polarization information |
| CN111474131A (zh) * | 2020-04-24 | 2020-07-31 | 张苗苗 | 一种射击残留物的红外光谱成像检验方法 |
| CN111579070A (zh) * | 2020-05-17 | 2020-08-25 | 北京安洲科技有限公司 | 一种全波段高光谱成像系统实现方法 |
| CN116134298A (zh) * | 2020-06-03 | 2023-05-16 | 伦敦大学国王学院 | 用于联合去马赛克和光谱特征图估计的方法和系统 |
| CN114519872B (zh) * | 2020-11-18 | 2024-09-06 | 北京与光科技有限公司 | 指纹活体识别装置以及指纹模组 |
| KR20220083349A (ko) * | 2020-12-11 | 2022-06-20 | 삼성전자주식회사 | 식품 모니터링 장치, 이를 포함하는 냉장고, 및 이의 동작 방법 |
| CN113540138B (zh) * | 2021-06-03 | 2024-03-12 | 奥比中光科技集团股份有限公司 | 一种多光谱图像传感器及其成像模块 |
| DE102021120588A1 (de) | 2021-08-09 | 2023-02-09 | Schölly Fiberoptic GmbH | Bildaufnahmevorrichtung, Bildaufnahmeverfahren, korrespondierendes Verfahren zur Einrichtung und Endoskop |
| CN115797482A (zh) * | 2021-09-10 | 2023-03-14 | 北京与光科技有限公司 | 光谱图像重建方法、光谱图像重建装置和电子设备 |
| WO2023096971A1 (en) * | 2021-11-24 | 2023-06-01 | Applied Materials, Inc. | Artificial intelligence-based hyperspectrally resolved detection of anomalous cells |
| WO2023126996A1 (ja) * | 2021-12-27 | 2023-07-06 | 日本たばこ産業株式会社 | 植物が含有する所定の成分の量を予測する方法、システム及びプログラム |
| US20230225599A1 (en) * | 2022-01-20 | 2023-07-20 | Cilag Gmbh International | Methods and devices for multi-spectral imaging |
| US11867615B2 (en) * | 2022-03-25 | 2024-01-09 | Trutag Technologies, Inc. | Field calibration for near real-time Fabry Perot spectral measurements |
| CN115690388B (zh) * | 2023-01-03 | 2023-03-10 | 优尼科(青岛)微电子有限公司 | 一种基于法珀腔光谱成像的图像数据预处理方法及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090021598A1 (en) * | 2006-12-06 | 2009-01-22 | Mclean John | Miniature integrated multispectral/multipolarization digital camera |
| US20110134949A1 (en) * | 2008-04-04 | 2011-06-09 | Melles Griot, Inc. | Compact, thermally stable multi-laser engine |
| US20130119277A1 (en) * | 2011-06-22 | 2013-05-16 | Molecular Devices, Llc | Dynamic signal extension in optical detection systems |
| JP2018059913A (ja) * | 2016-10-03 | 2018-04-12 | ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ | ハイパースペクトルイメージングシステム |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0796005B2 (ja) * | 1987-10-27 | 1995-10-18 | オリンパス光学工業株式会社 | 内視鏡装置 |
| CN1875638A (zh) * | 2003-11-11 | 2006-12-06 | 奥林巴斯株式会社 | 多谱图像捕捉装置 |
| JP2007522445A (ja) | 2004-01-21 | 2007-08-09 | オプティカル インサイツ，リミティド ライアビリティー カンパニー | 多重モード・スペクトル画像解析の方法および装置 |
| WO2012070314A1 (ja) | 2010-11-22 | 2012-05-31 | 横河電機株式会社 | 顕微鏡用分光分析装置、光軸ズレ補正装置、分光装置とそれを用いた顕微鏡 |
| EP2776799B1 (en) * | 2011-11-04 | 2019-05-22 | IMEC vzw | Spectral camera with mirrors for projecting multiple adjacent image copies onto sensor array |
| FI125762B (en) | 2012-10-11 | 2016-02-15 | Teknologian Tutkimuskeskus Vtt Oy | Method for determining calibration parameters for a spectrometer |
| JP2014095594A (ja) * | 2012-11-08 | 2014-05-22 | Yokogawa Electric Corp | 分光装置および分光用光源 |
| EP3158302B1 (en) * | 2014-06-18 | 2021-12-29 | Innopix, Inc. | Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays |
| EP3172698A1 (en) * | 2014-07-24 | 2017-05-31 | Ecole Polytechnique Fédérale de Lausanne (EPFL) | Compact multifunctional system for imaging spectroscopy |
| EP3303985A4 (en) * | 2015-05-28 | 2018-06-27 | Cylite Pty Ltd | High resolution 3-d spectral domain optical imaging apparatus and method |
| SG10201911462UA (en) * | 2015-08-04 | 2020-02-27 | Agency Science Tech & Res | Hyperspectral imaging apparatus and method |
| CN106226247A (zh) * | 2016-07-15 | 2016-12-14 | 暨南大学 | 一种基于高光谱显微成像技术的细胞检测方法 |
| CN207007336U (zh) | 2017-06-30 | 2018-02-13 | 中国科学院半导体研究所 | 拉曼光谱测试系统 |
| CN108254072A (zh) * | 2017-12-29 | 2018-07-06 | 中国科学院上海技术物理研究所杭州大江东空间信息技术研究院 | 一种新型高光谱视频成像仪 |
-
2019
- 2019-07-31 KR KR1020217006083A patent/KR102394823B1/ko active IP Right Grant
- 2019-07-31 US US16/527,081 patent/US10989595B2/en active Active
- 2019-07-31 CN CN201980065331.4A patent/CN112789495B/zh active Active
- 2019-07-31 WO PCT/GR2019/000054 patent/WO2020025987A1/en unknown
- 2019-07-31 EP EP19763077.5A patent/EP3830551B1/en active Active
- 2019-07-31 JP JP2021516913A patent/JP7087198B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090021598A1 (en) * | 2006-12-06 | 2009-01-22 | Mclean John | Miniature integrated multispectral/multipolarization digital camera |
| US20110134949A1 (en) * | 2008-04-04 | 2011-06-09 | Melles Griot, Inc. | Compact, thermally stable multi-laser engine |
| US20130119277A1 (en) * | 2011-06-22 | 2013-05-16 | Molecular Devices, Llc | Dynamic signal extension in optical detection systems |
| JP2018059913A (ja) * | 2016-10-03 | 2018-04-12 | ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ | ハイパースペクトルイメージングシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3830551A1 (en) | 2021-06-09 |
| US10989595B2 (en) | 2021-04-27 |
| EP3830551B1 (en) | 2023-01-25 |
| JP7087198B2 (ja) | 2022-06-20 |
| KR102394823B1 (ko) | 2022-05-06 |
| US20200088579A1 (en) | 2020-03-19 |
| CN112789495B (zh) | 2022-05-27 |
| JP2021527228A (ja) | 2021-10-11 |
| CN112789495A (zh) | 2021-05-11 |
| WO2020025987A1 (en) | 2020-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102394823B1 (ko) | 하이브리드 분광 이미저 | |
| Cao et al. | Computational snapshot multispectral cameras: Toward dynamic capture of the spectral world | |
| CN106456070B (zh) | 成像装置和方法 | |
| Cao et al. | A prism-mask system for multispectral video acquisition | |
| Ma et al. | Acquisition of high spatial and spectral resolution video with a hybrid camera system | |
| US11619548B2 (en) | Hybrid spectral imaging devices, systems and methods | |
| CN102279050B (zh) | 一种多光谱计算重构方法及系统 | |
| JP2017526910A (ja) | 撮像分光法用のコンパクトな多機能システム | |
| US20180209850A1 (en) | Spectral imaging method and system | |
| JP2008518229A (ja) | マルチスペクトル及びハイパースペクトル撮像を行うシステム | |
| US10101206B2 (en) | Spectral imaging method and system | |
| Balas et al. | Multi/hyper-spectral imaging | |
| CN117314754B (zh) | 一种双摄超光谱图像成像方法、系统及双摄超光谱内窥镜 | |
| US20130190563A1 (en) | System and method for spatial and spectral imaging | |
| Geelen et al. | Low-complexity image processing for a high-throughput low-latency snapshot multispectral imager with integrated tiled filters | |
| Hu et al. | High zoom ratio foveated snapshot hyperspectral imaging for fruit pest monitoring | |
| Sun et al. | Simulation of proposed eight-band camera for capturing multispectral images | |
| Wagadarikar | Compressive spectral and coherence imaging | |
| US20030133109A1 (en) | Real time LASER and LED detection system using a hyperspectral imager | |
| Martins et al. | Fast hyperspectral single-pixel imaging | |
| Cui | Multi-dimensional Optical Imaging | |
| Nieves | Hyperspectral Imaging | |
| Dumas | Compressive Endoscopy: A Computational Imaging Approach for Fiber-Bundle-Based Imaging Systems | |
| Couce et al. | A windowing/pushbroom hyperspectral imager | |
| Xi et al. | Non-Invasive Multispectral Scattering Imaging Via Otf Retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |