KR101721455B1 - 멀티-스펙트럼 이미징 - Google Patents
멀티-스펙트럼 이미징 Download PDFInfo
- Publication number
- KR101721455B1 KR101721455B1 KR1020127006254A KR20127006254A KR101721455B1 KR 101721455 B1 KR101721455 B1 KR 101721455B1 KR 1020127006254 A KR1020127006254 A KR 1020127006254A KR 20127006254 A KR20127006254 A KR 20127006254A KR 101721455 B1 KR101721455 B1 KR 101721455B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- spectral
- light
- spatial
- plane
- Prior art date
Links
- 238000000701 chemical imaging Methods 0.000 title description 8
- 230000003595 spectral effect Effects 0.000 claims abstract description 107
- 230000000903 blocking effect Effects 0.000 claims abstract description 19
- 230000001419 dependent effect Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 abstract description 28
- 238000012805 post-processing Methods 0.000 abstract description 10
- 238000001914 filtration Methods 0.000 abstract description 8
- 238000005259 measurement Methods 0.000 abstract description 8
- 230000003287 optical effect Effects 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 206010034960 Photophobia Diseases 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 208000013469 light sensitivity Diseases 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000684 flow cytometry Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003679 aging effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000004163 cytometry Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002496 oximetry Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
멀티-스펙트럼 카메라는 광이 통과하도록 허용하는 적어도 하나의 홀(203)을 갖는 차단 소자(201)를 포함한다. 분산 소자(205)는 상이한 파장 종속 방향들로 상기 적어도 하나의 홀(203)로부터의 광을 확산시키고 렌즈(207)는 이미지 평면(209)상에서 상기 분산 소자(205)로부터의 광을 포커싱한다. 마이크로렌즈 어레이(211)는 렌즈(207)로부터 광을 수신하고 이미지 센서(213)는 상기 마이크로렌즈 어레이(211)로부터 광을 수신하며 상기 이미지 센서(213)의 픽셀들에 대한 입사 광 값들을 포함하는 픽셀 값 신호를 생성한다. 그 후 프로세서는 상기 픽셀 값 신호로부터 멀티-스펙트럼 이미지를 생성한다. 상기 접근법은 단일 순간 센서 측정으로 하여금 적어도 하나의 공간적 차원 및 하나의 스펙트럼 차원을 포함하는 멀티-스펙트럼 이미지를 제공할 수 있게 허용할 수 있다. 상기 멀티-스펙트럼 이미지는 상기 센서 출력의 후-처리에 의해 생성될 수 있으며, 물리적 필터링 또는 부품들의 이동은 필요하지 않다.
Description
본 발명은 멀티-스펙트럼 이미징에 관한 것으로, 특히, 이에 제한되지는 않지만, 두 개의 공간 및 하나의 스펙트럼 차원을 포함하는 멀티-스펙트럼 이미지들의 생성에 관한 것이다.
인간의 눈들은 가시적인 스펙트럼의 상이한 부분들에 민감한 세 가지 유형들의 원뿔(cone)들을 특징으로 삼고 있다. 이들 원뿔들은 보통 그것들이 감지하는 파장들로서 칭하는, L, M, 및 S로서 지정되며(긴, 중간의, 및 짧은), 이것은 대략 빨간색, 녹색, 파란색의 컬러들에 대응한다. 상기 원뿔들에 대한 상대적인 스펙트럼 감도들은 상기 원뿔들이 매우 광범위한 특성을 가지며, 넓은 파장 범위에 걸친 광의 통합에 대응함을 도시하는 도 1에 도시된다. 결과적으로, 상이한 스펙트럼 시그니처들을 갖는 두 개의 물질들은 인간 관찰자가 특정 광 상태들에서 동일한 컬러를 갖는 것처럼 보이게 하는 것이 가능하다. 이러한 현상은 메타메리즘(metamerism)으로서 알려진다. 인간의 눈과 유사하게, 넓은 컬러 필터들을 이용한 3원색(RGB) 시스템들은 디스플레이들 및 카메라들 모두에 대한 주류가 되고 있다. 디스플레이들은 상기 3원색들로 둘러싸인 색 영역(gamut) 내에 임의의 컬러를 생성하기 위해 상기 3원색 컬러들의 적절한 혼합에 의존한다.
이것은 종종 (비교적 조악한) RGB 컬러 좌표들에 의해 제공된 것보다 상세한 스펙트럼 반사율을 기반으로 이미지들을 특성화하는 것에 유익하다. 더욱이 이미지는 상기 이미지의 상이한 부분들의 스펙트럼 특성들이 개별적으로 특성화되는 국소적 스펙트럼 정보로 캡처되는 것이 바람직하다. 이와 같이, 이미징은 멀티-스펙트럼 이미징으로서 알려져 있으며 예로서 다음을 포함하는, 많은 실제적인 애플리케이션들을 발견해 온 기술이다.
- 오염 물질 검출
- 환경 모니터링
- 곡물/목재 그레이딩(grain/timber grading)
- 미생물 검출(형광/세포 계수(fluorescence/cytometry))
- 유동 세포 계수법(flow cytometry)
- 산소 측정법(oximetry), 등
몇몇 애플리케이션들에 대해, 가시적인 스펙트럼의 특정 부분들만을 분석하는 것이 바람직하다. 예를 들면, 광혈류 측정기(photoplethysmography)에서, 인간의 심박수는 광 기록의 시간적-분석으로부터 도출된다. 그러나, 심박수 신호가 헤모글로빈의 스펙트럼 흡수 특성들로 인해 녹색 컬러(예로서, 540-560nm)에 대해 가장 강하다는 것이 잘-수립된다. 그 결과, 특히 관심 있는 좁은 스펙트럼 대역을 분석하는 시스템은 환경 및 잡음의 보다 많은 비-특정 신호들을 픽업하는 광-대역 센서들을 이용한 신호보다 정확한 추정들을 제공할 것이다.
멀티-스펙트럼 카메라는 높은 공간 해상도, 높은 스펙트럼 해상도 및 높은 시간 해상도 모두를 제공하는 것이 바람직하다. 그러나, 이들 요건들은 모순되는 경향이 있으며, 그러므로 상이한 요건들 간의 트레이드-오프(trade-off)가 종종 필요하다.
한 유형의 멀티-스펙트럼 카메라들은 장면/타겟이 라인마다 스캐닝되고 이러한 라인에 직교하는 접근법을 사용하며, 분산 소자(dispersive element)(격자(grating) 또는 프리즘과 같은)가 상기 라인 내의 모든 픽셀의 스펙트럼을 추출하기 위해 사용된다. 결과적인 2차원 데이터(하나의 공간 및 하나의 스펙트럼 차원)는 종래의 2차원 센서를 사용하여 캡처된다. 완전한 3차원 데이터(두 개의 공간적 차원들 및 한 개의 스펙트럼 차원)가 그 후 상기 라인에 수직인 방향으로 상기 라인들을 점차적으로 및 순차적으로 스캐닝함으로써 구성된다.
그러나, 이러한 카메라는 비교적 복잡하고 상기 스캐닝을 구현하기 위해 기계적인 움직임을 필요로 하는 경향이 있다. 이것은 증가된 복잡도, 증가된 비용, 감소된 신뢰도, 증가된 전력 소비, 및 증가된 사이즈 및/또는 무게를 초래하는 경향이 있다. 상기 요구된 스캐닝 프로세스는 또한 이미지를 캡처하기 위해 비교적 긴 시간을 야기하는 비교적 느린 경향이 있다. 이것은 상기 접근법이, 예로서 움직이는 이미지들을 캡처하는데 덜 적절하게 한다.
또 다른 유형의 멀티-스펙트럼 카메라는 보통의 흑백 카메라의 앞에 위치되는 가변 스펙트럼 필터를 사용한다. 순차적으로 필터들을 변경하고 대응하는 이미지를 기록함으로써, 완전한 3차원 데이터가 획득될 수 있다(즉, 각각의 캡처된 이미지는 필터의 통과 대역 주파수 간격의 광에 대응할 것이다). 이러한 접근법의 주요 결점은 많은 광이 필터에 의해 차단되기 때문에 광-효율성이 다소 열악한 것처럼 보인다는 것이다. 게다가, 액정 조정가능한(tunable) 필터들 및 음향-광학 조정가능한 필터들과 같은, 적절한 필터들은 다소 비싸며, 일반적으로 광의 단일 파장만이 통과하도록 허용한다(노치 패스(notch pass)). 상기 접근법은 또한 스캐닝한 멀티-스펙트럼 카메라들과 동일한 단점들을 갖는, 즉 느리고 비교적 낮은 신뢰도 등을 갖는 경향이 있다.
이들 유형들의 멀티-스펙트럼 카메라들을 갖는 특히 중요한 단점은 그것들이 시간 해상도에 대한 스펙트럼 해상도를 교환한다는 것이다. 이것은 이미징된 오브젝트들이 움직이는 상황들에서의 단점이다. 더욱이, 상기 방법들은 일반적으로 상기 애플리케이션들에 쉽게 적응될 수 없는 매우 특정한 (고정된) 스펙트럼 해상도들을 갖는다.
그러므로, 증가된 멀티-스펙트럼 카메라가 유리할 것이다. 예를 들면, 증가된 유연성, 감소된 비용, 감소된 복잡도, 증가된 신뢰도, 감소된 사이즈/무게, 감소된 전력 소비, 증가된 시간적 성능/해상도 및/또는 증가된 성능을 허용하는 멀티-스펙트럼 카메라가 유리할 것이다.
따라서, 본 발명은 상술된 단점들 중 하나 또는 그 이상을 개별적으로 또는 임의의 조합으로 바람직하게 완화하고, 경감하거나 또는 제거하고자 한다.
본 발명의 일 양상에 따르면, 멀티-스펙트럼 카메라가 제공되며, 상기 멀티-스펙트럼 카메라는, 광이 통과하도록 허용하는 적어도 하나의 홀을 갖는 광 차단 소자(light blocking element); 상이한 파장 종속 방향들로 상기 적어도 하나의 홀로부터의 광을 확산시키기 위한 분산 소자; 이미지 평면상에 상기 분산 소자로부터의 광을 포커싱하기 위한 렌즈; 상기 렌즈로부터 광을 수신하는 마이크로렌즈 어레이; 상기 마이크로렌즈 어레이로부터 광을 수신하고 이미지 센서의 픽셀들에 대한 입사 광 값들을 포함하는 픽셀 값 신호를 생성하는 이미지 센서; 및 상기 픽셀 값 신호로부터 멀티-스펙트럼 이미지를 생성하기 위한 프로세서를 포함한다.
본 발명은 개선된 스펙트럼 카메라를 제공할 수 있다. 특히, 상기 접근법은 멀티-스펙트럼 이미지로 하여금 물리적 필터들의 순차적인 변화 또는 스캐닝과 같은 순차적 동작들을 요구하지 않고 캡처되도록 허용할 수 있다. 상기 멀티-스펙트럼 이미지가 생성될 수 있게 허용하는 이미지 정보의 캡처링은 많은 실시예들에서 실질적으로 순간적일 수 있다. 상기 접근법은 개선된 시간적 성능을 제공할 수 있으며, 특히 비교적 높은 공간 및 스펙트럼 해상도를 유지하면서 높은 시간 해상도를 허용할 수 있다. 상기 본 발명의 멀티-스펙트럼 카메라는 예로서 움직이는 오브젝트들 또는 비디오 이미지들의 캡처에 특히 적합할 수 있다.
상기 접근법은 또한 고정된 기계적 셋업을 허용할 수 있으며, 비용, 사이즈/무게, 전력 소비 및/또는 복잡도를 감소시킬 수 있다. 이것은 또한 증가된 신뢰도를 제공할 수 있다.
예를 들면, 몇몇 실시예들에서, 상기 접근법을 사용하는 멀티-스펙트럼 카메라는 한 장면의 모든 픽셀들에 대한 스펙트럼을 순간적으로 캡처할 수 있다. 라인-스캐닝 분광기들(line-scanning spectrometers) 또는 가변 차단 필터 카메라들과 같은 종래의 카메라들과 달리, 모든 픽셀들에 대한 국소적 스펙트럼 정보는 동시에 캡처될 수 있으며, 그에 의해 개선된 시간적 성능을 제공하며, 이것은 예로서 모션의 존재시 매우 유익하다.
상기 시스템은 상세한 멀티-스펙트럼 이미지를 생성하기 위해, 메인 렌즈, 마이크로-렌즈 어레이, 및 격자 또는 프리즘과 같은 분산 소자의 전용 구성과 결합하여 종래의 이미지 센서로부터의 데이터를 사용할 수 있다. 상기 접근법은 상기 원하는 요건들을 갖고 멀티-스펙트럼 이미지를 생성하기 위해 상기 이미지 센서로부터 신호를 후-처리(post-process)할 수 있다. 예를 들면, 상기 접근법은 컬러 필터들이 수적인 후-처리 단계로서 소프트웨어로 설계되고 적용될 수 있도록 허용하며 그에 의해 증가된 유연성을 제공할 수 있다.
멀티-스펙트럼 이미지는 공간 및 스펙트럼 콘텐트 모두를 갖는다. 통상적으로, 데이터는 두 개의 공간적 차원들 및 하나의 스펙트럼 차원에 대응하는 3차원 데이터 세트들로 표현된다. 예를 들면, 상기 이미지의 복수의 영역들에 대한 스펙트럼 분포는 상기 멀티-스펙트럼 이미지에 의해 표현될 수 있다. 따라서, 상기 멀티-스펙트럼 이미지는 결합된 공간 및 스펙트럼 이미지이다. 몇몇 실시예들에서, 상기 멀티-스펙트럼 이미지는 각각의 픽셀에 대해 제공되는 스펙트럼 분포를 갖는 복수의 픽셀들로 분할될 수 있다. 멀티-스펙트럼 이미지는 상기 이미지 내의 복수의 영역들에 대한 개별적인 스펙트럼 데이터를 포함한다. 따라서, 멀티-스펙트럼 이미지는 국소화된 스펙트럼 데이터를 포함하며, 상세하게는 가시적인 이미지의 정보 및 상기 이미지에 대한 공간 변화들 모두를 제공할 수 있다.
광 차단 소자는 상기 분산 소자, 상기 렌즈, 상기 마이크로렌즈 및 상기 이미지 센서에 도달하는 광만이 상기 광 차단 소자의 홀을 통과하도록 상기 카메라에 대한 인클로저(enclosure)를 형성할 수 있다.
상기 멀티-스펙트럼 카메라의 구성은 먼저 (상기 홀들로부터 떨어진) 광 차단 평면에 이어 (가능하게는 평행의) 상기 분산 소자에 대한 평면, 이어서 상기 렌즈의 평면, 이어서 (가능하게는 평행의) 상기 마이크로렌즈 어레이의 평면, 이어서 상기 이미지 센서(가능하게는 상기 마이크로렌즈 어레이에 평행할 수 있는)를 형성하는 차단 소자를 갖는 순차적 평면들의 구조를 사용할 수 있다. 상기 이미지 평면은 통상적으로 상기 렌즈와 상기 마이크로렌즈 어레이 사이의 (가상의)(가능하게는 평행의) 평면일 수 있다. 상기 렌즈, 마이크로렌즈, 및 센서 평면들은 상세하게는 샤임플러그 구성(Scheimpflug configuration)으로 배열될 수 있다. 이것은 예를 들면 상기 분산 소자가 상기 광 축에 대한 각도를 도입하는 실시예들에 대해 수용할 수 있다.
상기 분산 소자는 예를 들면 프리즘 또는 격자 소자일 수 있으며, 회절에 의한 확산을 제공할 수 있다.
적어도 하나의 홀은 광이 상기 광 차단 소자를 통과하도록 허용하는 상기 광 차단 소자에서의 임의의 적절한 홀일 수 있다. 상기 홀은 비어있을 필요는 없지만, 예를 들면 투명한 물질로 채워질 수 있다. 몇몇 실시예들에서, 렌즈 및/또는 조리개(diaphragm)는 적어도 하나의 홀에 위치될 수 있다. 따라서, 광 관점으로부터 상기 적어도 하나의 홀은 적어도 하나의 렌즈 및/또는 조리개일 수 있다. 상세하게는, 상기 적어도 하나의 홀은 상기 분산 소자로 이미징하는 오브젝트 렌즈들의 개구(aperture)를 포함할 수 있다.
본 발명의 선택적 특징에 따르면, 상기 멀티-스펙트럼 이미지는 상기 멀티-스펙트럼 이미지의 픽셀들에 대한 스펙트럼 분포 표시를 포함한다.
본 발명은 비교적 높은 공간, 스펙트럼, 및/또는 시간 해상도를 갖는 멀티-스펙트럼 이미지들의 개선된 생성을 허용할 수 있다.
본 발명의 선택적 특징에 따르면, 프로세서는: 픽셀 값 신호로부터 제 1 이미지를 레인보우 평면(rainbow plane)에서 합성하고; 스펙트럼 특성에 대응하는 공간 마스크를 상기 제 1 이미지에 적용함으로써 제 2 이미지를 생성하며; 상기 제 2 이미지로부터 스펙트럼 특성에 대응하는 멀티-스펙트럼 이미지에 대한 공간 이미지를 생성하도록 구성된다.
이것은 개선된 성능 및/또는 용이해진 동작을 제공할 수 있다. 특히, 이것은 개별적인 실시예에 대한 특정 바램들 및 요건들을 충족시키는 스펙트럼 특성들이 결정되도록 할 수 있다. 상기 스펙트럼 특성들은 예를 들면 임의의 수동적, 기계적 또는 물리적 변화들을 요구하지 않고 계산적인 처리에 의해 결정될 수 있다. 따라서, 상기 생성된 멀티-스펙트럼 이미지의 특성들은 단순하게는 상기 센서 출력의 처리를 적응시킴으로써 변화될 수 있다. 따라서, 예로서, 스펙트럼 또는 공간 필터들의 물리적 제약들에 의해 제한되지 않는, 보다 유연한 접근법이 달성된다.
상기 레인보우 평면은 상세하게는 광의 위치가 상기 광의 파장에만 종속하는 평면이다. 따라서, (임의의 각도로 적어도 하나의 홀을 통과하는) 장면의 모든 부분들의 광은 파장에 종속하는 동일한 포인트로 수렴할 것이다(converge). 따라서, 상기 레인보우 평면에서, 상기 스펙트럼 특성들은 공간 특성들로 완전히 변환된다.
상기 제 1 이미지는 장면의 공간 이미지라기보다는 각각의 포인트가 하나의 파장에 대한 장면의 축적된 광 강도(light intensity)에 대응하는 스펙트럼 이미지이다. 따라서, 상기 제 1 이미지는 스펙트럼 이미지 또는 스펙트럼 맵으로 고려될 수 있다. 상세하게는, 상기 제 1 이미지는 스펙트럼 강도 맵으로 고려될 수 있다.
본 발명의 선택적 특징에 따르면, 상기 프로세서는: 대응하는 상이한 공간 마스크들을 상기 제 1 이미지에 적용함으로써 상이한 스펙트럼 특성들에 대응하는 복수의 공간 이미지들을 결정하고; 상기 복수의 공간 이미지들로부터 상기 멀티-스펙트럼 이미지를 생성하도록 구성된다.
이것은 멀티-스펙트럼 이미지를 생성하기 위한 실제적이고 유연한 접근법을 제공할 수 있다. 상이한 스펙트럼 특성들/필터들에 대응하는 마스크들의 연속(succession)은 상이한 스펙트럼 풋프린트들(footprints)/특성들에 대응하는 공간 이미지들의 세트를 제공하기 위해 후-처리 알고리즘에 의해 동시에 또는 순차적으로 적용될 수 있다. 상기 스펙트럼 풋프린트들/특성들은 낮은 복잡도 공간 처리에 의해 유연하게 선택되고 적용될 수 있다.
본 발명의 선택적 특징에 따르면, 상기 스펙트럼 특성은 대역 통과 필터에 대응한다.
상기 대역-통과 필터 특성은 상세하게는 주파수 간격의 선택에 대응할 수 있다. 이것은 멀티-스펙트럼 이미지들의 실제적이고 효율적인 생성을 허용할 수 있다.
본 발명의 선택적 특징에 따르면, 마이크로렌즈 어레이 및 이미지 센서는 동일한 각도로 적어도 하나의 홀을 통과하는 광이 상기 이미지 센서의 복수의 픽셀들에 걸쳐 분포되도록 배열되며, 상기 분포는 파장 종속적 분포이다.
이것은 멀티-스펙트럼 이미지들의 개선된 및/또는 용이해진 생성을 제공할 수 있다. 상기 분포는 상세하게는 적어도 하나의 홀을 통해 주어진 각도로 단일 광선(light ray)이 각각의 픽셀에 도달하는 상이한 파장 간격을 갖는 복수의 픽셀들에 도달할 수 있도록 될 수 있다.
본 발명의 선택적 특징에 따르면, 프로세서는 상이한 파장들을 갖는 선들(rays)에 대응하는 광선들을 수신하고 상이한 각도들로 적어도 하나의 홀을 통과하는 이미지 센서의 단일 픽셀 값을 보상하도록 구성된다.
이것은 멀티-스펙트럼 이미지들의 개선된 및/또는 용이해진 생성을 제공할 수 있다. 대안적으로 또는 부가적으로, 상기 접근법은 구현을 용이하게 할 수 있다.
본 발명의 선택적 특징에 따르면, 마이크로렌즈 어레이는 실질적으로 상기 이미지 평면에 위치된다.
이것은 특히 몇몇 실시예들 또는 시나리오들에서 유리할 수 있다. 특히, 이것은 많은 시나리오들에서 멀티-스펙트럼 이미지가 필터링 후-처리를 요구하지 않고 센서 출력으로부터 직접 생성되게 허용할 수 있다. 상기 접근법은 예를 들면 증가된 스펙트럼 해상도를 제공할 수 있다.
본 발명의 선택적 특징에 따르면, 상기 마이크로렌즈 어레이는 이미지 평면 및 이미지 센서 사이에 위치된다.
이것은 특히 몇몇 실시예들 또는 시나리오들에서 유리할 수 있다. 특히, 이것은 이미지 센서가 계산적인 후-처리에 의해 상기 멀티-스펙트럼 이미지를 생성하기에 매우 적절한 정보를 캡처하도록 허용할 수 있다.
본 발명의 선택적 특징에 따르면, 상기 멀티-스펙트럼 카메라는 사용자 입력 및 상기 사용자 입력에 응답하여 상기 이미지 센서 및 상기 마이크로렌즈 어레이 중 적어도 하나의 위치를 조정하기 위한 제어기를 더 포함한다.
이것은 보다 유연한 멀티-스펙트럼 카메라를 허용할 수 있고, 특히 사용자로 하여금 상기 이미지 센서에 의해 캡처된 이미지에 대한 공간 및 스펙트럼 해상도 간의 트레이드-오프를 제어하도록 허용할 수 있다.
본 발명의 선택적 특징에 따르면, 상기 광 차단 소자는 광 차단 평면을 제공하고 상기 적어도 하나의 홀은 상기 광 차단 평면에서의 하나의 슬릿(slit)이다.
상기 접근법은 두 개의 공간 및 하나의 스펙트럼 차원을 갖는 3차원 이미지가 단일 센서 측정으로부터 캡처되도록 허용할 수 있다. 상기 슬릿은 통상적으로 1mm 이하의 폭을 가질 수 있다. 더욱이, 좁은 슬릿은 상기 적어도 하나의 홀 상의 입사 선(ray)들의 각도들이 확대된 장면이 캡처되도록 허용하면서 하나의 차원에서 잘 제어되는 것을 보장할 수 있다. 상기 분산 소자는 예를 들면 상기 슬릿에 실질적으로 평행인 라인들을 갖는 라인 격자 소자일 수 있다. 마이크로렌즈 어레이는 상세하게는 상기 슬릿에 실질적으로 평행인 라인들을 갖는 렌티큘러 어레이(lenticular array)일 수 있다.
본 발명의 선택적 특징에 따르면, 상기 이미지 센서는 2-차원 이미지 센서이다.
이것은 두 개의 공간 및 하나의 스펙트럼 차원을 갖는 3차원 이미지가 단일 센서 측정으로부터 캡처되도록 허용할 수 있다.
본 발명의 선택적 특징에 따르면, 상기 적어도 하나의 홀은 코딩된 개구를 형성하는 복수의 홀들을 포함한다.
이것은 여전히 후-처리에 의한 멀티-스펙트럼 이미지의 효율적인 생성을 허용하면서 상기 멀티-스펙트럼 카메라의 광 감도(light sensitivity)를 증가시킬 수 있다. 상기 코딩된 개구는 특히 이것이 후 처리에 의해 보상되도록 허용하면서 상기 복수의 홀들로부터 입사 광을 제공할 수 있다. 상기 코딩된 개구는 예로서 후-처리에 의해 보상되고/반전될 수 있는 적당한 구성으로 배열된 실질적으로 원형인 홀들 또는 연장된 슬릿들을 포함할 수 있다.
본 발명의 선택적 특징에 따르면, 상기 적어도 하나의 홀은 핀홀(pinhole)을 포함한다.
이것은 적어도 하나의 홀 상의 입사 선들의 각도들이 상기 선들의 소스에 대한 방향에 의존하는 잘 규정된 각도들로 잘 제어되도록 허용할 수 있다. 유리하게는, 상기 핀홀은 종종 1mm 이하의 최대 치수를 가질 수 있다.
본 발명의 일 양상에 따르면, 멀티-스펙트럼 이미지를 생성하는 방법이 제공되며, 상기 방법은: 광이 통과하도록 허용하는 적어도 하나의 홀을 갖는 광 차단 소자를 제공하는 단계; 상이한 파장 종속 방향들로 상기 적어도 하나의 홀로부터의 광을 확산시키기 위한 분산 소자를 제공하는 단계; 이미지 평면상에 상기 분산 소자로부터의 광을 포커싱하기 위한 렌즈를 제공하는 단계; 상기 렌즈로부터 광을 수신하는 마이크로렌즈 어레이를 제공하는 단계; 상기 마이크로렌즈 어레이로부터 광을 수신하고 이미지 센서의 픽셀들에 대한 입사 광 값들을 포함하는 픽셀 값 신호를 생성하기 위한 상기 이미지 센서를 제공하는 단계; 및 상기 픽셀 값 신호로부터 멀티-스펙트럼 이미지를 생성하는 단계를 포함한다.
본 발명의 이들 및 다른 양상들, 특징들 및 이점들은 이하에 기술되는 실시예(들)을 참조하여 명료하고 그로부터 분명해질 것이다.
본 발명의 실시예들은 단지 예로서 도면들을 참조하여 기술될 것이다.
도 1은 인간의 눈의 상대적인 스펙트럼 감도들을 도시한 도면.
도 2는 본 발명의 몇몇 실시예들에 따른 멀티-스펙트럼 카메라의 몇몇 소자들에 대한 도면.
도 3은 본 발명의 몇몇 실시예들에 따른 멀티-스펙트럼 카메라의 몇몇 소자들에 대한 도면.
도 4는 종래 기술에 따른 에자일 스펙트럼 이미징 시스템(agile spectrum imaging system)의 몇몇 소자들에 대한 도면.
도 5는 본 발명의 몇몇 실시예들에 따른 멀티-스펙트럼 카메라에 대한 처리 소자의 몇몇 소자들에 대한 도면.
도 6는 본 발명의 몇몇 실시예에 따른 멀티-스펙트럼 카메라의 몇몇 소자들에 대한 도면.
도 7은 본 발명의 몇몇 실시예들에 따른 멀티-스펙트럼 카메라의 몇몇 소자들에 대한 도면.
도 2는 본 발명의 몇몇 실시예들에 따른 멀티-스펙트럼 카메라의 몇몇 소자들에 대한 도면.
도 3은 본 발명의 몇몇 실시예들에 따른 멀티-스펙트럼 카메라의 몇몇 소자들에 대한 도면.
도 4는 종래 기술에 따른 에자일 스펙트럼 이미징 시스템(agile spectrum imaging system)의 몇몇 소자들에 대한 도면.
도 5는 본 발명의 몇몇 실시예들에 따른 멀티-스펙트럼 카메라에 대한 처리 소자의 몇몇 소자들에 대한 도면.
도 6는 본 발명의 몇몇 실시예에 따른 멀티-스펙트럼 카메라의 몇몇 소자들에 대한 도면.
도 7은 본 발명의 몇몇 실시예들에 따른 멀티-스펙트럼 카메라의 몇몇 소자들에 대한 도면.
도 2는 본 발명의 몇몇 실시예들에 따른 멀티-스펙트럼 카메라의 소자들에 대한 일 예를 도시한다.
상기 멀티-스펙트럼 카메라는 광이 통과하도록 허용하는 하나 이상의 홀들(203)을 포함하는 광 차단 소자(201)를 포함한다. 명료함을 위해, 다음의 설명은 핀홀(또는 좁은 슬릿)이 상기 광 차단 소자(201)에 제공되는 일 예에 초점을 맞출 것이지만, 다른 실시예들에서 하나 이상의 홀이 포함될 수 있음을 이해할 것이다.
상기 예에서, 상기 홀(203)은 1mm 이하의 최대 치수(또는 하나의 슬릿에 대해, 1mm 이하의 폭)를 갖는다. 상세하게는, 상기 홀(203)은 너무 작아서, 이미징되는 오브젝트들로부터의 광선들의 방향/각도가 상기 홀에 걸쳐 예로서 1°이상 변화할 수 없다, 즉 그것들이 서로의 1°내에 있는 홀에 대한 각도를 갖는다면 동일한 위치로부터 기원하는 선들(rays)은 상기 홀(203)만을 통과할 수 있다. 특정 예에서, 상기 멀티-스펙트럼 카메라는 상기 홀(203)로부터 적어도 20cm인 오브젝트들의 이미징을 위해 사용되며, 따라서 상기 홀은 단지 1°인 상기 홀(203)을 통과하는 동일한 공간 포인트로부터의 상기 선들의 각도/방향에 대해 충분히 작다.
상기 멀티-스펙트럼 카메라는 상기 홀(203)을 통과하는 상기 광을 수신하는 분산 소자(205)를 더 포함한다. 상기 예에서, 상기 분산 소자(205)는 분산 평면을 형성한다. 상기 분산 소자(205)는 상이한 파장 종속 방향들로 상기 홀(203)로부터의 광을 확산시킨다. 따라서, 광선은 장면의 오브젝트로부터 기원하여 상기 홀(203)을 통해 분배 서버(109)에 도달할 수 있다. 상기 홀(203)의 작은 치수들로 인하여, 상기 선이 상기 홀에 도달하는 방향/각도는 상기 오브젝트로부터 상기 홀(203)로의 방향에만 의존한다(상기 홀(203)은 극소의 사이즈를 갖도록 가정된다). 상기 분산 소자(205)는 그 후 상기 광선을 분산 소자(205)로부터의 나오는 각도가 파장에 의존하는 각도 분포로 확산시킨다.
상기 홀의 사이즈는 획득될 수 있는 스펙트럼 해상도를 직접 결정한다는 것을 주의해야 한다. 상기 분산 소자(205) 상의 동일한 위치에 영향을 주는 각도 범위는 상기 홀(203)과 상기 분산 소자(205) 간의 거리에 의해 분할된 핀홀 사이즈로서 제공된다. 이것은 분산을 따르는 상이한 선들의 방향들 및 그에 따라 예로서 레인보우 평면의 스펙트럼 해상도를 제어한다.
몇몇 실시예들에서, 분산 소자(205)는 예로서 프리즘일 수 있다. 도 2의 예에서, 상기 분산 소자(205)는 회절 효과들로 인해 입사 광을 확산시키는 격자 소자이다. 따라서, 상기 예에서, 장면(오브젝트들 X, Y, Z)으로부터의 광은 핀홀(203)을 통해 전파하고, 그 후 (분산 소자(205)에 의해 제공된) 격자로 쏠린다. 상기 격자로부터의 회절 동작으로 인해, 상이한 파장들이 상이한 전파 방향들로 분산된다.
원하는 시야에 의존하여, 상기 홀(203)과 상기 분산 소자(205) 간의 거리는 종종 유리하게는 10mm 및 100mm 사이의 간격(두 값들 모두가 포함된)에 있을 수 있다.
상기 멀티-스펙트럼 카메라는 상기 분산 소자(205)로부터 광을 수신하고 이미지 평면(209) 상에 이것을 포커싱하는 렌즈(207)를 더 포함한다. 상기 포커싱은 주어진 각도로 상기 홀(203)을 통과하는 모든 광이 상기 이미지 평면(209) 상의 동일한 포인트에 도달하게 한다. 따라서, 상기 렌즈는 상기 이미지 평면(209)에서 측정될 때 상기 분산 소자(205)의 동작/효과를 보완한다/역전시킨다. 따라서, 상기 분산 소자(205)에 의한 선의 확산은 상기 단일 선이 상기 이미지 평면(209)상의 단일 포인트로 수렴하도록 상기 렌즈(207)에 의해 상기 이미지 평면(209)에 대해 정확하게 보상된다. 따라서, 상기 이미지 평면(209) 상의 입사 광은 역전(즉, 이미지가 "거꾸로" 되다)을 제외하고 상기 분산 소자(205)상의 입사 광에 대응한다.
상기 이미지 평면(209)은 물리적 소자라기보다는 상기 인입 광선들의 스펙트럼 확산이 보상되는 평면을 참조한다. 따라서, 이미지 센서가 상기 이미지 평면에 위치되면, 이것은 공간 이미지를 캡처할 것이지만, 어떠한 스펙트럼 정보도 캡처하지 않을 것이다. 상기 이미지 평면(209)은 가상 평면(포커싱된 공간 이미지가 캡처될 수 있는)에 대응하는 것으로 고려될 수 있다.
상기 렌즈(207)는 통상적으로 상기 분산 소자(205)의 N번째 (통상적으로 첫 번째) 회절에 수직인 메인 축/평면을 갖도록 위치된다. 더욱이, 상기 분산 소자(205) 및 상기 렌즈(207) 간의 거리는 통상적으로 유리하게는 홀(203) 및 분산 소자(205) 간의 거리보다 더 클 것이다.
상기 멀티-스펙트럼 카메라는 상기 렌즈(207)로부터 광을 수신하는 마이크로렌즈 어레이(211)를 더 포함한다. 상기 마이크로렌즈 어레이(211)는 상기 렌즈(207)로부터의 입사 광의 평면을 커버하는 복수의 렌즈들을 포함한다. 상기 마이크로렌즈 어레이(211)는 유리하게는 상기 분산 소자(205)의 평면에 의해 또한 교차되는 '힌지 라인(hinge line)'을 교차하는 평면(샤임플러그 구성) 및 상기 렌즈(107)의 메인 축/평면을 형성할 수 있다. 상기 렌즈(207)와 상기 마이크로렌즈 어레이(211) 간의 거리는 렌즈(207)에 대한 렌즈 공식으로부터 결정될 수 있으며, 따라서 분산 소자(205)로부터의 거리 및 렌즈(207)의 세기에 의존할 수 있다.
상기 멀티-스펙트럼 카메라는 입사 광 레벨을 검출하기 위한 다수의 센서 소자들을 포함하는 이미지 센서(213)를 더 포함한다. 따라서 각각의 센서 소자는 캡처된 이미지의 픽셀에 대응하는 광 센서이다. 도 2의 예에서, 상기 센서 소자들은 2차원 평면에 배열된다.
따라서, 각각의 센서 소자는 상기 이미지 센서(213)가 위치되는 평면의 마이크로렌즈 어레이(211)에 의해 생성된 상기 이미지의 픽셀에 대응할 수 있다. 상기 이미지 센서(213)는 상기 이미지 센서의 픽셀들에 대한 입사 광 값들을 포함하는 픽셀 값 신호를 생성한다. 상기 픽셀 값 신호는 상세하게는 상기 센서 소자들의 각각에 대해 측정된 값들을 포함할 수 있다.
상기 픽셀 값 신호는 그 후 상기 신호로부터 멀티-스펙트럼 이미지를 결정하는 프로세서로 공급된다.
상기 마이크로렌즈 어레이(211)의 도입은 멀티-스펙트럼 이미지에 대응하는 3차원(두 개의 공간 및 하나의 스펙트럼 차원) 데이터 세트가 단일 순간 측정에 의해 생성될 수 있도록 특정 카메라 구조로 캡처된 정보를 후-처리하기 위해 사용될 수 있는 정보를 필수적으로 제공한다. 따라서, 스펙트럼 정보는 순차적인 물리적 광 필터링 또는 스캐닝을 요구하지 않고 결정될 수 있다.
마이크로렌즈 어레이(211)의 도입은 상세하게는 단일의 2-차원 이미지 센서 측정에 기초한 공간 및 스펙트럼 특성들의 정확하고 개별적인 결정을 허용한다.
상기의 일 예가 도 3에 도시된다. 이 경우에, 상기 마이크로렌즈 어레이(211)는 실질적으로 상기 이미지 평면(207)에 위치된다. 따라서, 상기 마이크로렌즈 어레이(211)에 입사하는 모든 광은 공간적으로 잘 포커싱되며 상기 마이크로렌즈들의 각각은 공간 픽셀 값에 대응하는 것으로 고려될 수 있다. 그러나, 상기 마이크로렌즈 어레이(211)에 투사된 이미지는 임의의 스펙트럼 분포를 갖지 않는다, 즉, 상기 장면에서 동일한 위치(따라서 동일한 각도로 상기 홀(203)을 지나가는)로부터의 모든 파장들은 동일한 마이크로렌즈에 도달한다. 그러나, 선의 상이한 파장들이 마이크로렌즈 어레이(211)에서 동일한 포인트로 수렴하더라도, 그것들은 상이한 방향들로부터 이를 행하며 상이한 입사각들을 갖는다. 이것은 상기 마이크로렌즈 어레이(211)에 의해 인입 각도 및 그에 따른 파장에 의존하여 입사 광선들을 확산시키기 위해 이용된다. 따라서, 마이크로렌즈로부터 나오는 광은 파장을 반사하는 각도 확산을 갖는 것 외에 상기 마이크로렌즈상의 입사광(및 그에 따라 단일 위치)에 대응한다, 즉 상기 나오는 광은 스펙트럼 (공간) 분포를 갖는다.
도 3의 예에서, 상기 이미지 센서(213)는 하나의 마이크로렌즈로부터의 광이 복수의 픽셀들을 커버하는 동시에 각각의 마이크로렌즈로부터의 광이 한 세트의 픽셀들(또는 역으로 개개의 마이크로렌즈들로부터의 광 원뿔들 간에 중첩하지 않고 각각의 픽셀(센서 소자)은 하나의 마이크로렌즈로부터의 광만을 수신한다)만에 도달하도록 위치된다.
따라서, 도 3의 예에서, 상기 이미지 센서(213)는 마이크로렌즈에 대응하는 각각의 픽셀 그룹을 갖는 공간 픽셀 그룹들로 분할되는 광을 캡처한다. 더욱이, 각각의 픽셀 그룹은 그 각각이 특정 파장 간격의 광에 대응하는 복수의 픽셀들을 포함한다. 따라서, 상기 캡처된 데이터는 마이크로렌즈 어레이(211)의 마이크로렌즈들에 대응하는 공간 해상도 및 각각의 픽셀 그룹의 다수의 픽셀들에 대응하는 스펙트럼 해상도를 갖는 멀티-스펙트럼 이미지에 대응하는 멀티-스펙트럼 데이터를 제공한다.
실제적인 예로서, 1 Mpixel 센서는 100×100 픽셀들의 공간 해상도 및 공간 픽셀 당 100개의 스펙트럼 값들의 스펙트럼 해상도를 갖는 멀티-스펙트럼 이미지를 제공하기 위해 100×100 마이크로렌즈 어레이(211)로 사용될 수 있다.
따라서, 마이크로렌즈 어레이(211)는 이미지 평면의 개별 공간 정보를 유지하면서 스펙트럼 정보를 제공하기 위해 상기 마이크로렌즈 어레이(211)에 대한 입사 선들의 파장 의존적 각도들의 정보를 이용한다. 따라서, 동시적이고 분해가능한 스펙트럼 및 공간 정보는 단일 센서 측정에 의해 캡처된다.
이러한 측정은 마이크로렌즈 어레이(211)의 도입 없이는 이루어질 수 없음을 주의해야 한다. 예를 들면, Mohan, A., Raskar, R. 및 Tumbline, J.의 2008년, Computer Graphics Forum, vol. 27, number 2, 페이지 709-717의 "에자일 스펙트럼 이미징: 카메라들 및 프로젝터들에 대한 프로그램가능한 파장 변조(Agile Spectrum Imaging: Programmable Wavelength Modulation for Cameras and Projectors)"에서, 멀티-스펙트럼 카메라는 도 4의 것과 같은 구조에 기초할 수 있음을 제안하고 있다. 이러한 시스템에서, 이미지 센서는 선들의 위치가 상기 선의 소스의 공간 위치에만 의존하는 시스템에서 유일한 위치인 이미지 평면에 위치된다. 따라서, 종래 기술의 시스템에서, 이러한 평면은 공간 위치들이 결정되도록 허용하는 유일한 평면이다.
종래 기술의 카메라는 멀티-스펙트럼 이미지들을 생성하기 위해 인입하는 선들에 대한 광 필터링을 수행한다. 상세하게는, 종래 기술의 카메라는 레인보우 평면에 상이한 광 필터들을 순차적으로 삽입한다. 상기 레인보우 평면은 상기 광의 위치가 광의 파장에만 종속하고 광의 공간 소스에 종속하지 않는(따라서 홀(203)을 통해 상기 선들의 각도/방향에 종속하지 않는) 평면이다. 따라서, 상기 레인보우 평면에서, 상기 광선들은 그것들의 특정 파장에 기초하여 상부에서 하부로 배열된다(order). 상기 레인보우 평면은 상기 이미지 평면에 상호보완적인 것으로서 인지될 수 있으며, 즉 레인보우 평면에서, 상기 이미지는 공간 정보 또는 상관 관계(correlation)가 없는 스펙트럼 이미지인 반면, 상기 이미지 평면의 이미지는 스펙트럼 정보가 없는 공간 이미지이다.
이것은 상기 이미지 평면에 이미지 센서를 및 상기 레인보우 평면에 필터 소자들을 위치시키기 위해 종래 기술의 카메라에 이용된다. 상세하게는, 일련의 차단 또는 감쇠 마스크들이 레인보우 평면에 순차적으로 삽입되며, 각각의 마스크에 대해, 공간 이미지는 이미지 센서에 의해 캡처된다. 이들 이미지들의 각각은 따라서 상기 마스크에 대응하는 스펙트럼 풋프린트에 대한 이미지에 대응하고 일련의 마스크들을 사용함으로써 상기 이미지들은 상기 멀티-스펙트럼 이미지를 제공하기 위해 수집될 수 있다.
그러나, 이러한 접근법은 차선책인 경향이 있으며, 몇몇 애플리케이션들에 대해 느리고, 복잡하며, 비현실적인 것으로 고려될 수 있다. 특히, 레인보우 평면에서 물리적으로 변화하는 마스크들에 대한 요건은 편리하지 않고 통상적으로 낮은 시간 해상도를 갖는 비교적 느린 동작을 초래한다.
도 4의 시스템에서, 임의의 다른 평면들에서 캡처될 수 있는 이미지들은 공간 및 스펙트럼 정보의 결합일 수 있음을 주의해야 한다. 따라서, 주어진 평면(레인보우 또는 이미지 평면들과 다른)의 특정 포인트에 도달하는 광은 상이한 방향들로부터 기원하는 상이한 파장들의 선들에 대응한다. 이러한 결합된 정보는 이미지 센서에 의해 캡처된 이미지 데이터의 처리에 의해 분해될 수 없으며, 따라서 카메라는 이미지 센서가 이미지 평면에 위치되고 차단 마스크들이 상기 레인보우 평면에 순차적으로 도입될 것을 요구한다.
그러나, 도 2 및 도 3의 멀티-스펙트럼 카메라는 상기 레인보우 평면에 도입될 임의의 마스킹 필터들에 대한 요구를 회피하고 또한 상기 이미지 센서(211)의 위치 선정(positioning)에 유연성을 허용하는 상이한 접근법을 사용한다.
특히, 상기 시스템은 스펙트럼 및 공간 정보 모두가 단일 평면으로부터, 단일 이미지 센서에 의한 단일 측정에 의해 추출되게 허용하는 정보를 제공하기 위해 마이크로렌즈 어레이(211)를 사용한다. 특히, 본 발명은 부가적인 정보가 상기 평면상의 입사 광의 각도로 각각의 평면에 제공되고 이러한 정보가 상기 평면에서 공간 및 스펙트럼 특성들을 분리하기 위해 능동적으로 사용될 수 있다는 통찰력(insight)에 기초한다.
예를 들면, 상기 이미지 평면에서, 인입하는 광선들의 위치는 장면에서 소스의 위치에(상세하게는, 핀홀(203)을 통한 각도에)만 의존한다. 그러나, 특정 포인트에 쏠리는 선들의 각도는 분산 소자(205)에 의해 제공된 분산으로 인한 파장에 종속한다. 그러므로, 도 3에서, 상기 이미지 평면에 삽입된 마이크로렌즈 어레이(211)는 각각의 마이크로렌즈에 대한 스펙트럼 분포를 생성하기 위해 이러한 각도 종속성을 사용할 수 있다. 각각의 마이크로렌즈에 대한 스펙트럼 분포는 따라서 상기 마이크로렌즈에 대응하는 정확한 이미지 영역의 스펙트럼 특성들을 반영하고 임의의 다른 위치들로부터의 임의의 기여를 포함하지 않는다. 따라서, 상기 마이크로렌즈 어레이(211)는 상기 공간 분리가 유지되고 상기 센서는 그에 따라 스펙트럼 및 공간 정보 모두를 측정할 수 있음을 보장한다. 실제로, 상기 예에서, 상기 센서는 상이한 파장들을 갖는 상이한 위치들로부터 결합된 광을 수신하는 것이 회피된다. 따라서, 해결할 수 없는 모호성은 회피된다.
유사하게는, 상기 레인보우 평면에서, 각각의 선의 위치는 파장에만 종속한다. 그러나, 상기 방향/각도는 장면의 공간 위치에 종속한다. 따라서, 레인보우 평면의 마이크로렌즈 어레이(211)는 마이크로렌즈에 대한 공간 스펙트럼을 생성할 수 있다, 즉 공간 분포는 마이크로렌즈에 대응하는 각각의 스펙트럼 간격에 대해 생성될 수 있다(비록 이것이 통상적으로 도 3의 예보다 처리하기에 덜 실용적이고 보다 어려울 것일지라도).
몇몇 실시예들에서, 상기 마이크로렌즈 어레이(211)는 각각의 위치가 상이한 위치들로부터 기원하지만 위치에서의 차이를 보상하게 되는 상이한 파장들을 갖는 상이한 선들에 의해 도달되는 평면들에 위치될 수 있다. 예를 들면, 많은 실시예들에서, 상기 마이크로렌즈 어레이(211)는 유리하게는 상기 이미지 평면의 뒤(상기 렌즈(207)로부터 먼 측 상에)에 위치될 수 있다. 이러한 경우에, 상기 이미지 센서(213)의 각각의 센서 소자는 상이한 파장들의 선들의 조합이고 상이한 공간 위치들로부터의 광을 수신할 수 있다. 그러나, 각각의 마이크로렌즈에 대한 복수의 광 센서들에 의해 제공된 부가적인 정보는 이것이 분해되도록 허용하며, 그에 의해 적절한 멀티-스펙트럼 이미지가 생성되도록 허용한다. 다시 말해서, 상기 위치에 내재한 모호성은 광의 입사 각에 존재하는 정보를 추가로 누설하는 마이크로렌즈 어레이(211)에 의해 해소된다.
몇몇 실시예들에서, 상기 이미지 센서(213)로부터의 신호들은 높은 공간 해상도 및 높고 유연한 스펙트럼 해상도를 갖는 멀티-스펙트럼 이미지를 제공하도록 사전처리될 수 있다. 상기 후-처리는 상세하게는 레인보우 평면에서 캡처되는 것에 대응하는 이미지의 합성을 포함할 수 있다. 공간 필터링(통상적으로 다양한 영역들의 마스킹 또는 감쇠)이 그 후 레인보우 이미지에 적용된다. 결과적인 이미지에 기초하여, 그 후 공간 이미지가 합성되며 상기 레인보우 평면 이미지에 적용된 필터링에 대응하는 스펙트럼 풋프린트에 대한 이미지로서 사용된다. 필터들/마스크들의 세트를 적용함으로써, 상이한 스펙트럼 풋프린트들 또는 특성들에 대응하는 이미지들이 생성될 수 있고, 상기 멀티-스펙트럼 이미지는 상이한 스펙트럼 풋프린트들에 대한 이들 2차원의 공간 이미지들을 포함하는 3차원(두 개의 공간 및 하나의 스펙트럼 차원) 이미지 세트서 결정될 수 있다.
프로세서는 상세하게는 다음 단계들을 반복할 수 있다:
1. 레인보우 평면에 위치된 가상 센서에 의해 기록될 것으로서 데이터를 합성.
2. 상기 합성된 데이터에 원하는 수의 개구/필터의 적용.
3. 물리적 센서 평면상에 필터링된 데이터의 재-합성.
4. 픽셀 위치에 도달하는 선들의 조합(통합)에 의한 공간 이미지의 렌더링.
상기 상이한 필터들의 합성은 선 추적 프로세스들(ray tracing processes) 에 의해 수행될 수 있다. 실제로, 상기 처리는 예로서, Lumsdaine, A., Georgiev, T.에 의한 2009년 4월, 컴퓨터 사진학에 대한 국제 컨퍼런스, "포커싱된 플레놉틱 카메라(The Focused Plenoptic Camera)"에 설명된 바와 같이 후 캡처 포커싱을 수행할 때 플레놉틱 카메라를 위해 제안된 바와 유사한 처리를 사용함으로써 달성될 수 있다.
도 5는 이러한 접근법을 따르는 프로세서의 일 예를 도시한다. 상기 프로세서는 이미지 신호 인코더로부터 픽셀 값 신호를 수신하는 레인보우 평면 프로세서(501)를 포함한다. 상기 픽셀 값 신호는 각각의 광 센서에 대한, 즉 상기 이미지 신호 인코더의 각각의 픽셀에 대한 광 레벨을 포함한다.
상기 레인보우 평면 프로세서(501)는 그 후 가상 이미지 센서에 의해 레인보우 평면에서 수신될 이미지에 대응하는 제 1 이미지를 합성하도록 진행한다. 이러한 합성은 레인보우 소자에서 이미지를 산출하기 위해 상기 이미지 센서(213) 상에 입사하는 광의 공간 및 각도 정보를 사용하는 선 추적 알고리즘에 의해 수행될 수 있다. 이러한 합성은 상이한 각도들로부터 광 센서에 도달하는 상이한 파장을 갖는 선들에 대한 고려사항을 포함하며 따라서 이를 보상할 수 있다.
상기 제 1 이미지는 장면의 공간 이미지는 아니며 오히려 각각의 포인트가 하나의 파장에 대한 장면의 축적된 광 강도에 대응하는 스펙트럼 이미지이다. 따라서, 상기 제 1 이미지는 스펙트럼 이미지 또는 스펙트럼 맵으로 고려될 수 있다. 상세하게는, 상기 제 1 이미지는 스펙트럼 강도 맵으로 고려될 수 있다.
보다 상세하게, 상기 레인보우 평면 프로세서(501)는 마이크로렌즈 평면에서의 굴절을 고려하여, 상기 레인보우 평면(215)으로 되돌아가는 각각의 센서 픽셀에 영향을 주는 선들을 추적함으로써 상기 레인보우 평면에서 상기 제 1 이미지를 합성할 수 있다.
상기 선들의 추적은 대응하는 마이크로렌즈의 중심을 향하는 픽셀 좌표로부터 살펴봄으로써 행해질 수 있으며, 우리에게 위치 및 각도를 제공한다. 다음으로, 기하광학(예로서, ISBN 0321188780, E. Hecht에 의한 텍스트북 "광학(Optics)", 섹션 6.2 분석적 광선 추적법, 및 특히 섹션 6.2.1의 매트릭스 방법들을 참조하여)에 대한 매트릭스 형식주의에 기초하여, 이것은 렌즈를 통해서 및 레인보우 평면을 향해 추적할 수 있다. 다음으로, 레인보우 평면에서의 선의 추적에 기초하여, 대응하는 센서 픽셀을 처리할 수 있다.
상기 합성된 이미지는 그 후 제 1 이미지에 공간 마스크를 적용하도록 구성되는 공간 마스크 프로세서(503)에 공급된다. 상기 마스크는 예를 들면 2진 마스크일 수 있거나 또는 예로서 상기 제 1 이미지의 각각의 픽셀에 대한 감쇠 값을 포함하는 연속 마스크(continuous mask)일 수 있다. 예를 들면, 각각의 픽셀에 대한 스케일링 인자(scaling factor)를 포함하는 미리 정해진 마스크는 픽셀 값과 상기 스케일링 인자를 곱함으로써 상기 제 1 이미지에 적용될 수 있다.
상기 레인보우 평면은 각각의 위치가 특정 파장에 대응하는(및 공간 특성들에 독립적인) 화상을 포함하며, 공간 마스크의 적용은 스펙트럼/주파수 도메인에서의 필터링에 대응한다. 따라서, 낮은 복잡도의 마스크 적용에 의해, 결과적인 신호에 대한 임의의 원하는 스펙트럼 풋프린트가 쉽게 생성될 수 있다. 상기 접근법은 낮은 복잡도의 대역 통과 필터링을 제공하기 위해 사용될 수 있다. 예를 들면, 주어진 주파수/파장 간격에 대해, 적당한 마스크는 이들 간격들에 대응하는 픽셀들에 대한 스케일링 인자를 1로 및 모든 다른 스케일링 인자들을 0으로 설정함으로써 간단히 결정될 수 있다(대부분의 실시예들에서, 적당한 윈도우는 예로서 해닝 또는 해밍 윈도우(Hanning or Hamming window)와 같은 트랜지션(transition)을 매끄럽게 하기 위해 적용될 것이라는 점을 이해할 것이다).
따라서, 상기 공간 마스크 프로세서(503)는 특정 스펙트럼 간격에 대응하는 마스킹된 이미지를 생성한다. 이러한 이미지는 레인보우 평면에서 상기 마스킹된 이미지에 대응하는 공간 이미지를 합성하도록 진행하는 이미지 프로세서(505)에 공급된다. 상기 공간 이미지는 상기 마스킹된 이미지의 데이터로부터 선 추적함으로써 생성될 수 있다(즉, 상기 선들의 광 강도 및 각도들을 고려하여). 상기 선 추적은 예를 들면, 상기 이미지 평면에서의 이미지를 결정하기 위해 사용될 수 있다, 즉 전적으로 공간 이미지는 상기 마스킹에 의해 선택된 특정 주파수 간격에 대해 생성될 수 있다.
보다 상세하게, 상기 이미지 평면 프로세서(505)는 각각의 공간 이미지 위치에 대응하는 선들을 통합/합함으로써 제 1 이미지를 합성할 수 있다. 다중-대역(예로서, RGB) 이미지를 생성하기 위해, 별개의 마스킹 및 이미지 형성 프로세스가 각각의 스펙트럼 대역에 대해 수행될 수 있다. 보통의 카메라에서와 같이, 상기 카메라는 모든 공간 위치/픽셀에 대한 모든 상이한 방향들로부터의 광을 통합한다. 우리의 경우에는, 이미지를 합성하기 위해, (이미지 평면(215)에서의 이미지 위치 및 각도를 모든 센서 픽셀에 대한 것으로 여길 수 있음을 고려하여) 동일한 출력-픽셀 빈(output-pixel bin)에 속하는 모든 선들을 통합해야 한다.
도 5의 예에서, 상기 프로세서의 동작은 레인보우 평면 프로세서(501), 상기 공간 마스크 프로세서(503), 및 상기 이미지 프로세서(505)에 결합되는 제어기(507)에 의해 제어된다. 상기 레인보우 평면 프로세서(501)가 이미지 센서(213)로부터 이미지를 수신할 때, 상기 제어기(507)는 상기 레인보우 평면에서 이미지를 합성하고 그것을 공간 마스크 프로세서(503)로 포워딩하기 위해 그것을 제어한다. 그 후 제 1 마스크를 상기 공간 마스크 프로세서(503)에 제공하고 상기 공간 마스크 프로세서(503) 및 상기 이미지 프로세서(505)로 하여금 이러한 제 1 마스크에 의해 표현된 주파수 프로파일에 대응하는 공간 이미지를 생성하기 위해 요구되는 처리를 수행하도록 지시하기 위해 진행한다. 이러한 이미지가 수신될 때, 상기 제어기(507)는 상기 이미지를 저장하고 제 2 마스크를 상기 공간 마스크 프로세서(503)에 제공하도록 진행한다. 이러한 제 2 마스크는 제 1 마스크보다는 상이한 스펙트럼 프로파일에 대응한다. 상기 공간 마스크 프로세서(503) 및 이미지 프로세서(505)는 그 후 이러한 제 2 스펙트럼 프로파일에 대응하는 제 2 공간 이미지를 생성하도록 제어된다. 상기 프로세스는 상기 특정 애플리케이션에 대해 원하는 것 만큼 많은 마스크들/스펙트럼 프로파일들에 대해 반복된다. 상이한 스펙트럼 프로파일들에 대응하는 결과적인 2차원 공간 이미지들은 그 후 멀티-스펙트럼 이미지를 제공하기 위해 이미지들의 세트로 수집된다.
예를 들면, 공급된 마스크들은 원하는 수의 간격들로 분할되는 스펙트럼에 대응할 수 있고, 따라서 상기 멀티-스펙트럼 이미지는 생성된 공간 이미지들의 수 및 마스크들에 대응하는 스펙트럼 해상도를 가질 수 있다.
따라서, 레인보우 평면에 물리적 필터들을 도입하는 대신, 상기 접근법은 필터들이 수적 동작을 수반하는 후-처리 단계에 의해 이용되도록 허용한다. 이것은 멀티-스펙트럼 이미지가 이미지 센서에 의한 단일 순간 캡처에 기초하여 생성되도록 허용한다. 따라서 상기 접근법은 예를 들면 움직이는 오브젝트들의 이미징에 적절하다.
마이크로렌즈 어레이(211) 및 이미지 센서(213)의 위치 선정은 상이한 특성들 간의 원하는 트레이드-오프를 제공하기 위해 사용될 수 있다. 실제로, 공간 및 스펙트럼 해상도 간의 상이한 트레이드-오프들은 약간 상이한 위치들에 마이크로-렌즈 어레이(211) 및 이미지 센서(213)를 위치시킴으로써 획득될 수 있다. 예를 들면, 도 3의 구성에서, 각각의 개별적인 광 센서/픽셀은 파장에서의 약간 더 넓은 범위에 걸쳐 통합하는 이미지의 약간 상이한 영역을 샘플링한다. 이것은 (동일한 이미지 센서(213)에 대해) 도 2의 구성보다 더 높은 공간 해상도를 야기하지만, 그보다 낮은 스펙트럼 해상도를 야기한다.
도 3의 구성은 단일 마이크로-렌즈 아래의 픽셀들/센서 소자들의 수에 의해 결정된 최적의 스펙트럼 해상도, 및 이미징 시스템의 확대 및 마이크로-렌즈의 수(및 사이즈)에 의해 결정된 최소 공간 해상도를 야기한다. 실제로, 도 3의 예에서, 단일 마이크로-렌즈 아래의 개별적인 픽셀들/센서 소자들은 동일한 이미지 영역에 대해서지만 상이한 파장들에 대응하는 정보를 측정한다. 반대로, 도 2의 예에서, 단일 마이크로-렌즈 아래의 개별적인 픽셀들/센서 소자들은 전체 스펙트럼에 대해서지만 상이한 이미지 영역들에 대응하는 정보를 측정한다. 다른 위치들에서 마이크로렌즈 어레이(211)의 위치 선정에 대해, 주어진 마이크로렌즈에 대해 설정된 상기 픽셀/센서 소자에 의해 캡처된 정보는 파장 및 위치 정보의 조합, 즉 스펙트럼 및 공간 정보의 조합을 포함한다.
그 결과, 마이크로렌즈 어레이(211) 및 이미지 센서(213)의 위치 선정은 스펙트럼 및 공간 해상도 간의 트레이드-오프이다. 몇몇 실시예들에서, 상기 멀티-스펙트럼 카메라는 사용자 입력에 종속하는 이미지 센서(213) 및/또는 마이크로렌즈 어레이(211)(및/또는 상기 렌즈(207))의 위치를 수정하기 위해 사용될 수 있는 사용자 입력을 더 포함할 수 있다. 상기 사용자 입력은 예로서 상기 소자들 중 하나의 위치를 직접 시프트하는 기계적 입력이거나 또는 예로서 이미지 센서(213) 및/또는 마이크로렌즈 어레이(211)를 이동시키는 기계적 작동기(mechanical actuator)(예로서, 스텝 모터)를 제어하기 위해 사용되는 전기적 사용자 입력일 수 있다. 상기 이동은 예를 들면 이미지 평면, 상기 렌즈(207)에 대해서일 수 있거나, 또는 예를 들면 상기 마이크로렌즈 어레이(211) 및 상기 이미지 센서(213) 간의 상대적인 이동에 대응할 수 있다.
따라서, 상기 사용자 입력은 개개의 애플리케이션에 대한 선호들 및 특정 특성들에 멀티-스펙트럼 카메라를 적응시키기 위해 사용될 수 있다.
많은 애플리케이션들에서, 개선된 성능 및/또는 용이해진 동작은 이미지 평면(209)과 이미지 센서(213) 간에 위치되는 마이크로렌즈 어레이(211)에 대해 달성된다. 실제로, 이것은 종종 비교적 낮은 복잡도의 후 처리가 수행되도록 허용하면서 스펙트럼 및 공간 해상도 간의 적절한 트레이드-오프를 제공할 수 있다. 다른 애플리케이션들에서, 개선된 성능 및/또는 용이해진 동작은 상기 이미지 센서(203)에 대해 상기 이미지 평면(209)의 앞에 위치되는 상기 마이크로렌즈 어레이(211)에 대해 달성될 수 있다.
상기 접근법은 매우 유연한 스펙트럼 이미징 시스템을 제공할 수 있으며, 여기서 컬러 필터들은 물리적 컬러 필터들을 요구하기보다는 소프트웨어로 프로그램가능할 수 있다. 이것은 필터 설계(예로서 음의 필터 계수들을 갖는)에 대해 훨씬 많은 자유를 제공한다. 그 결과, LC-계층들, 음향-광학들 또는 화학적 해결책들을 이용한 물리적 컬러 필터들을 이용하여 생성될 수 없는 스펙트럼 응답을 갖는 컬러 필러들을 설계하는 것이 가능하다.
라인-스캐닝 분광기들과 비교하여, 제안된 디바이스는 장면에서의 모든 픽셀들에 대한 국소적 스펙트럼 정보가 순간적으로 획득된다는 부가적인 이점을 가지며, 그에 따라 모션의 존재시 문제들을 극복할 수 있다. 멀티-스펙트럼 카메라는 (약간의) 공간 해상도를 훼손시키며 스펙트럼 정보를 제공하지만, 카메라는 상기 특정 애플리케이션에 대한 상기 2개 간의 최적의 균형을 제공하도록 적응될 수 있다.
도 2 및 도 3은 멀티-스펙트럼 카메라의 2-차원 설명을 제공하며, 몇몇 실시예들에서, 상기 카메라는 단일의 공간적 차원 및 스펙트럼 차원을 제공할 수 있다. 그러나, 많은 실시예들에서, 이미지 센서는 2차원 센서이며, 상기 카메라는 두 개의 공간적 차원 및 한 개의 스펙트럼 차원을 제공한다. 상세하게는, 도 2 및 도 3은 도면들의 평면에 수직하게 연장하는(즉, 소자들의 평면들, 레인보우 평면 및 이미지 평면을 따라) 구조에 대한 단면도들로서 보여질 수 있다. 따라서, 핀홀(203)은 좁은 슬릿일 수 있고, 분산 소자(205)는 예로서 라인 격자일 수 있으며, 메인 렌즈(207)는 보통의 (구면) 렌즈일 수 있고, 상기 마이크로렌즈 어레이(211)는 렌티큘러 어레이일 수 있다.
이전 예에서, 차단 소자(201)는 단일 홀(201)로 도시되고 있다. 그러나, 이것은 캡처되는 광의 양을 제한하여 카메라의 낮은 광 감도를 야기하는 경향이 있다. 시스템의 광 효율성을 향상시키기 위해, 개구 사이즈(즉, 홀의 사이즈)를 증가시키는 것이 바람직할 수 있다. 그러나, 이것은 분산 소자(205)에 쏠리는 입사 광이 상당한 범위의 입사 각도들을 커버할 것이기 때문에, 스펙트럼 흐림(spectral blur)을 야기할 것이다.
그러므로, 광 감도를 향상시키기 위해, 상기 차단 소자는 코딩된 개구를 형성하는 복수의 홀들을 포함한다. 상기 코딩된 개구는 반전될 수 있는 알려진 패턴을 갖는 복수의 홀들로 고려될 수 있다. 상세하게는, 상기 코딩된 개구는 특정 패턴을 갖는 홀들의 로우일 수 있다. 인버트하기 쉬운 패턴을 선택함으로써, 카메라에 들어오는 광의 양을 증가시키고 그에 의해 광 감도를 증가시키는 동시에 증가된 구멍을 보상할 수 있는 것이 가능하다. 이러한 시스템에서, 데이터는 예를 들면 반전 필터로 데이터를 디콘볼루션(deconvolving)함으로써 레인보우-평면에서의 원하는 컬러 필터들의 적용 이전에 디코딩되고/인버팅될 수 있고; 예로서 상기 레인보우 평면에서 상기 데이터를 푸리에 도메인으로 변환하며, 코딩된 개구(의 투사)의 각각의 계수들에 의해 이들 푸리에 계수들을 나눌 수 있다. 역 푸리에 변환은 그 후 디콘볼루션된 데이터를 산출한다.
핀홀은 렌즈 및/또는 조리개(및 이 경우에 가역 코드(invertible code), 코딩된 개구를 사용한다)로 대체될 수 있음을 이해할 것이다. 이러한 실시예들에서, 상기 렌즈/조리개는 분산 소자(205)에 영향을 주는 각도 범위가 충분히 작도록 설계된다. 예를 들면, F/16 개구(80/16 = 5mm 직경)를 갖는 80mm 렌즈가 몇몇 실시예들에서 사용될 수 있다.
마이크로렌즈 어레이들을 사용하는 시스템들에 대해 공통적인 것으로서, 이것은 전체 영향을 미치는 각도 범위가 단일 마이크로렌즈 뒤의 픽셀들에 매핑된다는 것을 보장하기 위해 F-수 매칭을 수행하는 것이 유리하다는 것을 주의해야 한다. 그렇지 않다면, 이미지 센서(213)의 픽셀들/센서들은 복구할 수 없는 모호성들을 야기할 수 있는 다수의 마이크로렌즈들을 통해 광을 수신할 수 있다. 스펙트럼 이미징에 대해, 마이크로렌즈들의 F-수는 바람직하게는 렌즈의 F-수=(F/지름)을 매칭하기보다는 오히려 스펙트럼 범위(레인보우 평면의 마이크로렌즈/지름에 대한 레인보우 평면의 거리)를 매칭해야 한다. 이것은 중첩 없이, 각각의 픽셀에 대한 유일한 광 경로를 제공하고자 한다. 다른 한편으로, 이후에 이용가능한 보다 큰 각도 범위를 캡처하는 마이크로렌즈들을 갖지 않는 것이 바람직하며, 이는 이것이 센서 상에 빈 공간/어둠을 야기할 것이기 때문이다. 카메라의 소자들의 정확한 구성 및 치수들이 특정 애플리케이션에 대한 성능을 최적화하기 위해 선택될 수 있다.
상기 설명은 상이한 평면들 및 소자들이 실질적으로 평행인 실시예들에 초점을 맞추고 있다. 그러나, 이것은 필수적인 것이 아니며, 다른 구성들이 다른 실시예들에 사용될 수 있음을 이해할 것이다. 상세하게는, 상기 분산 소자 평면, 상기 렌즈 평면, 상기 마이크로렌즈 어레이 평면 및 상기 센서 평면들은 샤임플러그 구성으로 배열될 수 있다. 이러한 실시예들의 예들이 도 6 및 도 7에 제공된다. 도 6은 평평한 외부 초점 평면 및 내부 샤임플러그 구성을 갖는 일 예를 도시하며, 도 7은 외부 샤임플러그 초점 및 평평한 내부 구성을 갖는 일 예를 도시한다.
도 2 및 도 3의 구조가 단일 차원(도면들의 상/하 방향)에서의 선 확산/전파를 고려하고 있을지라도, 하나 이상의 차원이 다른 구현들에서 고려될 수 있음을 이해할 것이다. 예를 들면, 인입 광의 스펙트럼은 몇몇 실시예들에서 또한 도시된 것에 수직인 방향으로 확산될 수 있다(즉, 유사한 확산이 도시된 도면들 안팎의 방향에서 발생할 수 있다).
몇몇 실시예들에서, 움직이는 카메라는 다음의 분석을 위해 사용되는 복수의 이미지들을 갖는 복수의 멀티-스펙트럼 이미지들을 생성하기 위해 사용될 수 있음을 또한 이해할 것이다. 예를 들면, 복수의 멀티-스펙트럼 이미지들은 카메라가 평가되는 오브젝트 주변을 원호 모양으로 이동하는 동안 생성될 수 있다. 여기에서의 변화들뿐만 아니라 국소적 스펙트럼 특성들이 그 후 오브젝트를 분석하기 위해 사용될 수 있다. 이것은 예를 들면 페인트 칩(paint chip) 또는 다른 물질들의 분석에 적절할 수 있다.
실제로, 기술된 멀티-스펙트럼 카메라에 의해 제공될 수 있는 멀티-스펙트럼 이미징은 많은 애플리케이션들에 사용될 수 있다.
예를 들면, 이것은 매우 엄격한 컬러 렌더링 기준들이 만족되어야 하는 광 애플리케이션들을 위해 사용될 수 있다. 예로서, 멀티-스펙트럼 이미징은 일광 출연(daylight appearance)을 검출하고 모방하기 위해 이용될 수 있다.
또 다른 예로서, 상기 접근법은 시효 효과들(aging effects) 또는 열적 비-균일성들로 인해 LED-후면 발광 또는 OLED 디바이스들에서 발생할 수 있는 국소적 컬러 비-균일성들을 검출하고 보상하기 위해 (국소적) 디스플레이 특성화에 사용될 수 있다.
상기 접근법은 또한 음식 품질 검출, 페인트 특성화, 오염 물질 검출 등과 같은, 특성화 애플리케이션들에 사용될 수 있다. 이것은 또한 기술된 접근법이 충분히 콤팩트하고 예로서 이동 전화기로 구성되기에 기계적으로 신뢰할 수 있는 소비자 분야에서 이용될 수 있다.
또한, 기술된 접근법은 건강 관리에서의 여러 애플리케이션들을 위해 사용될 수 있다. 예를 들면, 피부로의 광의 관통 깊이는 광의 파장에 의존한다. 파장의 함수로서 피부 구조의 이미지들을 생성함으로써, 상기 피부는 변화하는 깊이 범위에 걸쳐 이미징될 수 있다. 게다가, 피부의 반사 스펙트럼은 매우 개별적인 시그니처를 가진다. 이러한 특징은 장면에서 인간들을 검출하기 위해 이용될 수 있다. 이것은 인간의 확률 맵을 제공하기 위해 예상된 스펙트럼 시그니처를 갖는 국소적 스펙트럼의 상호-연관을 수행함으로써 달성될 수 있다. 이러한 스펙트럼 인간 검출은 3개의 광범위한 컬러 채널들에 기초하여 일반적인 피부 톤 검출기들보다 훨씬 더 신뢰할 수 있어야 한다.
명료함을 위한 상기 기술은 상이한 기능 유닛들 및 프로세서들과 관련하여 본 발명의 실시예들을 기술하고 있음을 이해할 것이다. 그러나, 상이한 기능 유닛들 또는 프로세서들 간의 기능에 대한 임의의 적절한 분배가 본 발명으로부터 벗어나지 않고 사용될 수 있음이 명백할 것이다. 예를 들면, 개별적인 프로세서들 또는 제어기들에 의해 수행되도록 도시된 기능은 동일한 프로세서 또는 제어기들에 의해 수행될 수 있다. 그러므로, 특정 기능 유닛들에 대한 참조들은 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다는 단지 기술된 기능을 제공하기 위한 적절한 수단들에 대한 참조로서 보여지는 것이다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 그것들의 임의의 조합을 포함하는 임의의 적절한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들을 구동하는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 일 실시예의 소자들 및 구성요소들은 임의의 적절한 방식으로 물리적으로, 기능적으로, 및 논리적으로 구현될 수 있다. 실제로, 상기 기능은 단일 유닛으로, 복수의 유닛들로 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛으로 구현될 수 있거나, 상이한 유닛들 및 프로세서들 간에 물리적으로 및 기능적으로 분포될 수 있다.
본 발명은 몇몇 실시예들과 관련되어 기술되었지만, 본 명세서에 설명된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범위는 첨부한 청구항들에 의해서만 제한된다. 부가적으로, 하나의 특징이 특정 실시예들과 관련되어 기술되는 것처럼 보일 수 있지만, 이 기술분야의 숙련자들은 기술된 실시예들의 다양한 특징들이 본 발명에 따라 결합될 수 있음을 인지할 것이다. 청구항들에서, 용어 "포함하는"은 다른 소자들 또는 단계들의 존재를 배제하지 않는다.
더욱이, 개별적으로 열거되었지만, 복수의 수단들, 소자들, 또는 방법 단계들은 예로서 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 부가적으로, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이것들은 가능하게는 유리하게 결합될 수 있고, 상이한 청구항들에서의 포함은 특징들이 결합이 실행가능하지 않고 및/또는 유리하지 않음을 의미하지 않는다. 또한, 청구항들의 하나의 카테고리에서의 하나의 특징의 포함은 이러한 카테고리에 대한 제한을 의미하기보다는 상기 특징이 적절하게 다른 청구항 카테고리들에 동일하게 적용가능함을 나타낸다. 더욱이, 청구항들에서의 특징들의 순서는 상기 특징들이 작동되어야 하는 임의의 특정 순서를 의미하지 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 상기 단계들이 반드시 이러한 순서로 수행되어야 함을 의미하지 않는다. 오히려, 상기 단계들은 임의의 적절한 순서로 수행될 수 있다. 또한, 단일 참조들은 복수를 배제하지 않는다. 따라서 부정관사("a", "an"), "제 1", "제 2" 등에 대한 참조들은 복수를 배제하지 않는다. 청구항들에서 참조 부호들은 단지 명료해진 예로서 제공되며, 임의의 방식으로 본 청구항들의 범위를 제한하는 것으로 해석되어서는 안된다.
109 : 분배 서버 201 : 광 차단 소자
203 : 홀 205 : 분산 소자
207 : 렌즈 209 : 이미지 평면
211 : 마이크로렌즈 어레이 213 : 이미지 센서
501 : 레인보우 평면 프로세서 503 : 공간 마스크 프로세서
505 : 이미지 프로세서 507 : 제어기
203 : 홀 205 : 분산 소자
207 : 렌즈 209 : 이미지 평면
211 : 마이크로렌즈 어레이 213 : 이미지 센서
501 : 레인보우 평면 프로세서 503 : 공간 마스크 프로세서
505 : 이미지 프로세서 507 : 제어기
Claims (15)
- 광이 통과하도록 허용하는 적어도 하나의 홀(203)을 갖는 광 차단 소자(201);
상이한 파장 종속 방향들로 상기 적어도 하나의 홀(203)로부터의 광을 확산시키기 위한 분산 소자(205);
이미지 평면(209) 상에 상기 분산 소자(205)로부터의 광을 포커싱하기 위한 렌즈(207);
상기 상이한 파장 종속 방향들에 따라 광을 확산시키기 위해 상기 렌즈(207)로부터 광을 수신하도록 구성된 마이크로렌즈 어레이(211);
상기 마이크로렌즈 어레이(211)로부터 광을 수신하고 이미지 센서(213)의 픽셀들에 대한 입사 광 값들을 포함하는 픽셀 값 신호를 생성하도록 구성된 상기 이미지 센서(213); 및
상기 픽셀 값 신호로부터 멀티-스펙트럼 이미지를 생성하기 위한 프로세서를 포함하는, 멀티-스펙트럼 카메라에 있어서,
사용자 입력, 및 상기 사용자 입력에 응답하여 상기 마이크로렌즈 어레이(211) 및 상기 이미지 센서(213) 중 적어도 하나의 위치를 조정하는 제어기를 더 포함하는 것을 특징으로 하는, 멀티-스펙트럼 카메라. - 제 1 항에 있어서,
상기 멀티-스펙트럼 이미지는 상기 멀티-스펙트럼 이미지의 픽셀들에 대한 스펙트럼 분포 표시를 포함하는, 멀티-스펙트럼 카메라. - 제 1 항에 있어서,
상기 프로세서는,
상기 픽셀 값 신호로부터 제 1 이미지를 레인보우 평면(215)에서 합성하고,
스펙트럼 특성에 대응하는 공간 마스크를 상기 제 1 이미지에 적용함으로써 제 2 이미지를 생성하며,
상기 제 2 이미지로부터 상기 공간 특성에 대응하는 상기 멀티-스펙트럼 이미지에 대한 공간 이미지를 생성하도록 구성되는, 멀티-스펙트럼 카메라. - 제 3 항에 있어서,
상기 프로세서는,
상기 제 1 이미지에 대응하는 상이한 공간 마스크들을 적용함으로써 상이한 스펙트럼 특성들에 대응하는 복수의 공간 이미지들을 결정하고,
상기 복수의 공간 이미지들로부터 상기 멀티-스펙트럼 이미지를 생성하도록 구성되는, 멀티-스펙트럼 카메라. - 제 3 항에 있어서,
상기 스펙트럼 특성은 대역 통과 필터에 대응하는, 멀티-스펙트럼 카메라. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 광 차단 소자(201)는 광 차단 평면을 제공하고 상기 적어도 하나의 홀(203)은 상기 광 차단 평면에서의 슬릿(slit)인, 멀티-스펙트럼 카메라. - 제 1 항에 있어서,
상기 이미지 센서(213)는 2차원 이미지 센서인, 멀티-스펙트럼 카메라. - 제 1 항에 있어서,
상기 적어도 하나의 홀(203)은 코딩된 개구를 형성하는 복수의 홀들을 포함하는, 멀티-스펙트럼 카메라. - 제 1 항에 있어서,
상기 적어도 하나의 홀(203)은 핀홀(pinhole)을 포함하는, 멀티-스펙트럼 카메라. - 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP09167624.7 | 2009-08-11 | ||
| EP09167624 | 2009-08-11 | ||
| PCT/IB2010/053602 WO2011018749A1 (en) | 2009-08-11 | 2010-08-10 | Multi-spectral imaging |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120049331A KR20120049331A (ko) | 2012-05-16 |
| KR101721455B1 true KR101721455B1 (ko) | 2017-04-10 |
Family
ID=43028831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127006254A KR101721455B1 (ko) | 2009-08-11 | 2010-08-10 | 멀티-스펙트럼 이미징 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9420241B2 (ko) |
| EP (1) | EP2464952B1 (ko) |
| JP (1) | JP5723881B2 (ko) |
| KR (1) | KR101721455B1 (ko) |
| CN (1) | CN102472664A (ko) |
| RU (1) | RU2535640C2 (ko) |
| WO (1) | WO2011018749A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11874168B2 (en) | 2021-12-17 | 2024-01-16 | Samsung Electronics Co., Ltd. | Spectrometer, and apparatus and method for estimating bio-information |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8531581B2 (en) * | 2011-05-23 | 2013-09-10 | Ricoh Co., Ltd. | Focusing and focus metrics for a plenoptic imaging system |
| CN102494771A (zh) * | 2011-12-14 | 2012-06-13 | 中国科学院光电研究院 | 一种衍射光学成像系统及包含该衍射光学成像系统的成像光谱仪 |
| WO2013101642A1 (en) | 2011-12-28 | 2013-07-04 | Dolby Laboratories Licensing Corporation | Spectral image processing |
| US9137441B2 (en) | 2012-02-16 | 2015-09-15 | Ricoh Co., Ltd. | Spatial reconstruction of plenoptic images |
| JP2013195264A (ja) * | 2012-03-21 | 2013-09-30 | Nikon Corp | 分光器及び顕微分光システム |
| US9395516B2 (en) * | 2012-05-28 | 2016-07-19 | Nikon Corporation | Imaging device |
| JP2014075780A (ja) * | 2012-09-14 | 2014-04-24 | Ricoh Co Ltd | 撮像装置及び撮像システム |
| US8975594B2 (en) | 2012-11-09 | 2015-03-10 | Ge Aviation Systems Llc | Mixed-material multispectral staring array sensor |
| CN103091258B (zh) * | 2013-01-29 | 2015-08-19 | 中国科学院光电研究院 | 一种基于液态变焦技术的多光谱成像仪 |
| JP6340884B2 (ja) | 2013-06-19 | 2018-06-13 | 株式会社リコー | 測定装置、測定システム及び測定方法 |
| US10156488B2 (en) * | 2013-08-29 | 2018-12-18 | Corning Incorporated | Prism-coupling systems and methods for characterizing curved parts |
| CN104580877B (zh) * | 2013-10-29 | 2018-03-06 | 华为技术有限公司 | 图像获取的装置及方法 |
| EP2879004A1 (en) * | 2013-12-02 | 2015-06-03 | IMEC vzw | Apparatus and method for performing in-line lens-free digital holography of an object |
| DE102015100395B4 (de) * | 2014-02-03 | 2020-06-18 | Bürkert Werke GmbH | Spektrometer und Fluid-Analysesystem |
| US9919958B2 (en) | 2014-07-17 | 2018-03-20 | Corning Incorporated | Glass sheet and system and method for making glass sheet |
| CN107430263B (zh) | 2014-12-23 | 2020-12-01 | 苹果公司 | 具有平均照明路径和平均收集路径的共焦检查系统 |
| EP3588061B1 (en) | 2014-12-23 | 2023-04-19 | Apple Inc. | Optical inspection system and method including accounting for variations of optical path length within a sample |
| CN108449957B (zh) | 2015-09-01 | 2021-03-09 | 苹果公司 | 用于非接触式感测物质的基准开关架构 |
| US9955057B2 (en) | 2015-12-21 | 2018-04-24 | Qualcomm Incorporated | Method and apparatus for computational scheimpflug camera |
| US10018560B2 (en) * | 2016-02-02 | 2018-07-10 | Kla-Tencor Corporation | System and method for hyperspectral imaging metrology |
| CN105675136B (zh) * | 2016-03-22 | 2018-10-16 | 深圳先进技术研究院 | 一种编码孔径光谱成像系统 |
| CN114719977A (zh) | 2016-04-21 | 2022-07-08 | 苹果公司 | 用于参考切换的光学系统 |
| CN105737985B (zh) * | 2016-05-10 | 2019-02-01 | 中国工程物理研究院流体物理研究所 | 一种基于微透镜阵列传感器的数字变焦型光谱成像仪 |
| CN105931190B (zh) * | 2016-06-14 | 2019-09-24 | 西北工业大学 | 高角度分辨率光场获取装置与图像生成方法 |
| US10335045B2 (en) | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| FR3053464B1 (fr) * | 2016-06-30 | 2020-08-14 | Office National D'etudes Et De Rech Aerospatiales | Spectro-imageur multivoie a transformee de fourier |
| CN106706130A (zh) * | 2017-01-19 | 2017-05-24 | 中国科学院上海技术物理研究所 | 一种基于立体相位光栅和孔径分割技术的THz光谱成像仪 |
| WO2018209703A1 (en) * | 2017-05-19 | 2018-11-22 | Shanghaitech University | Method and system for snapshot multi-spectral light field imaging |
| CN107436194A (zh) * | 2017-06-22 | 2017-12-05 | 北京理工大学 | 一种高光通量实时光谱成像装置 |
| CN107402071B (zh) * | 2017-08-14 | 2019-04-09 | 中国科学院地理科学与资源研究所 | 一种实现场景成像与多光谱测量的装置 |
| CN111164415A (zh) | 2017-09-29 | 2020-05-15 | 苹果公司 | 路径解析的光学采样架构 |
| CN108459417B (zh) * | 2018-02-05 | 2020-06-26 | 华侨大学 | 一种单目窄带多光谱立体视觉系统及其使用方法 |
| EP3752873A1 (en) | 2018-02-13 | 2020-12-23 | Apple Inc. | Integrated photonics device having integrated edge outcouplers |
| FR3079612B1 (fr) * | 2018-03-29 | 2021-06-04 | Eldim | Dispositif optique permettant de mesurer simultanement l'emission angulaire et spectrale d'un objet |
| CN109708756B (zh) * | 2018-12-11 | 2022-02-08 | 南京邮电大学 | 基于衍射效应的成像光谱仪及高空间分辨率光谱成像方法 |
| CN109683429A (zh) * | 2019-02-27 | 2019-04-26 | 中国科学院上海技术物理研究所 | 一种提升复杂环境下小f数大视场相机工作稳定性的方法 |
| EP4182750A1 (en) | 2020-07-20 | 2023-05-24 | CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement | Multi-spectral light-field device |
| CN112097905B (zh) * | 2020-08-17 | 2022-12-20 | 杭州电子科技大学 | 一种光谱显微成像装置 |
| US11852318B2 (en) | 2020-09-09 | 2023-12-26 | Apple Inc. | Optical system for noise mitigation |
| CN113588085A (zh) * | 2021-09-03 | 2021-11-02 | 杭州纳境科技有限公司 | 微型快照式光谱仪 |
| CN114839795B (zh) * | 2022-04-24 | 2023-03-31 | 上海交通大学 | 一种具备血氧信息增强功能的眼镜滤光片设计方法、眼镜 |
| CN115656131B (zh) * | 2022-11-08 | 2023-09-19 | 南京溯远基因科技有限公司 | 一种用于基因遗传检测的微阵列整形透镜以及荧光系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007163448A (ja) * | 2005-12-13 | 2007-06-28 | Leica Microsystems Cms Gmbh | 検出器 |
| WO2008012812A2 (en) * | 2006-07-24 | 2008-01-31 | Hyspec Imaging Ltd. | Snapshot spectral imaging systems and methods |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060072109A1 (en) * | 2004-09-03 | 2006-04-06 | Andrew Bodkin | Hyperspectral imaging systems |
| CN1166940C (zh) | 2002-03-22 | 2004-09-15 | 中国科学院上海光学精密机械研究所 | 多光谱成像基因芯片扫描仪 |
| US6868231B2 (en) * | 2002-06-12 | 2005-03-15 | Eastman Kodak Company | Imaging using silver halide films with micro-lens capture and optical reconstruction |
| US7301625B2 (en) | 2005-01-19 | 2007-11-27 | Duke University | Static two-dimensional aperture coding for multimodal multiplex spectroscopy |
| CN1737515A (zh) * | 2004-08-18 | 2006-02-22 | 深圳大学 | 一种两维空间同时实现光谱分辨的方法和装置 |
| US7968888B2 (en) * | 2005-06-08 | 2011-06-28 | Panasonic Corporation | Solid-state image sensor and manufacturing method thereof |
| RU2332645C1 (ru) * | 2006-11-10 | 2008-08-27 | ФГУП "Государственный оптический институт им. С.И. Вавилова" | Минигабаритный гиперспектрометр на базе дифракционного полихроматора |
| CN100585453C (zh) * | 2007-02-09 | 2010-01-27 | 奥林巴斯映像株式会社 | 解码方法及解码装置 |
| US20090201498A1 (en) * | 2008-02-11 | 2009-08-13 | Ramesh Raskar | Agile Spectrum Imaging Apparatus and Method |
-
2010
- 2010-08-10 KR KR1020127006254A patent/KR101721455B1/ko active IP Right Grant
- 2010-08-10 RU RU2012108715/28A patent/RU2535640C2/ru active
- 2010-08-10 EP EP10749497.3A patent/EP2464952B1/en active Active
- 2010-08-10 JP JP2012524320A patent/JP5723881B2/ja active Active
- 2010-08-10 WO PCT/IB2010/053602 patent/WO2011018749A1/en active Application Filing
- 2010-08-10 US US13/388,881 patent/US9420241B2/en active Active
- 2010-08-10 CN CN2010800355653A patent/CN102472664A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007163448A (ja) * | 2005-12-13 | 2007-06-28 | Leica Microsystems Cms Gmbh | 検出器 |
| WO2008012812A2 (en) * | 2006-07-24 | 2008-01-31 | Hyspec Imaging Ltd. | Snapshot spectral imaging systems and methods |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11874168B2 (en) | 2021-12-17 | 2024-01-16 | Samsung Electronics Co., Ltd. | Spectrometer, and apparatus and method for estimating bio-information |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2535640C2 (ru) | 2014-12-20 |
| JP2013501930A (ja) | 2013-01-17 |
| JP5723881B2 (ja) | 2015-05-27 |
| WO2011018749A1 (en) | 2011-02-17 |
| US9420241B2 (en) | 2016-08-16 |
| EP2464952A1 (en) | 2012-06-20 |
| KR20120049331A (ko) | 2012-05-16 |
| US20120127351A1 (en) | 2012-05-24 |
| RU2012108715A (ru) | 2013-09-20 |
| EP2464952B1 (en) | 2018-10-10 |
| CN102472664A (zh) | 2012-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101721455B1 (ko) | 멀티-스펙트럼 이미징 | |
| Cao et al. | A prism-mask system for multispectral video acquisition | |
| US8144376B2 (en) | Lensless imaging with controllable apertures | |
| US9615030B2 (en) | Luminance source selection in a multi-lens camera | |
| JP6260006B2 (ja) | 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置 | |
| EP2495540B1 (en) | Design of filter modules for aperture-coded, multiplexed imaging systems | |
| US20180205938A1 (en) | Plenoptic imaging device | |
| JP5649091B2 (ja) | 画像キャプチャ装置および画像キャプチャ方法 | |
| US7732744B2 (en) | Image input apparatus, photodetection apparatus, and image synthesis method | |
| JP6532185B2 (ja) | 露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システム | |
| Du et al. | A prism-based system for multispectral video acquisition | |
| EP2260276B1 (en) | Photo-detector and method of measuring light | |
| US7894058B2 (en) | Single-lens computed tomography imaging spectrometer and method of capturing spatial and spectral information | |
| CN113884184B (zh) | 使用光学滤波器子阵列的光谱传感器系统 | |
| KR20090067059A (ko) | 디지털 이미지를 생성하는 방법 및 장치 | |
| US9426383B1 (en) | Digital camera for capturing spectral and spatial information | |
| US9253420B2 (en) | Hyperspectral single pixel imager with fabry perot filter | |
| CN112335049B (zh) | 成像组件、触摸屏、摄像模组、智能终端、相机和距离测量方法 | |
| WO2017120640A1 (en) | Image sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| GRNT | Written decision to grant |