KR102624537B1 - 공간적으로 코딩된 이미지를 생성하는 이미지 분산부를 갖는 이미징 디바이스 - Google Patents

공간적으로 코딩된 이미지를 생성하는 이미지 분산부를 갖는 이미징 디바이스 Download PDF

Info

Publication number
KR102624537B1
KR102624537B1 KR1020177030233A KR20177030233A KR102624537B1 KR 102624537 B1 KR102624537 B1 KR 102624537B1 KR 1020177030233 A KR1020177030233 A KR 1020177030233A KR 20177030233 A KR20177030233 A KR 20177030233A KR 102624537 B1 KR102624537 B1 KR 102624537B1
Authority
KR
South Korea
Prior art keywords
image
sensor
polychromate
sensor array
capture device
Prior art date
Application number
KR1020177030233A
Other languages
English (en)
Other versions
KR20170131526A (ko
Inventor
라제쉬 메논
펭 왕
Original Assignee
유니버시티 오브 유타 리서치 파운데이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니버시티 오브 유타 리서치 파운데이션 filed Critical 유니버시티 오브 유타 리서치 파운데이션
Publication of KR20170131526A publication Critical patent/KR20170131526A/ko
Application granted granted Critical
Publication of KR102624537B1 publication Critical patent/KR102624537B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/18—Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/18—Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • G01J3/24—Generating the spectrum; Monochromators using diffraction elements, e.g. grating using gratings profiled to favour a specific order
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/283—Investigating the spectrum computer-interfaced
    • G01J2003/284—Spectral construction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Abstract

이미지 캡쳐 디바이스(202)는 센서 어레이(210), 중간 이미지(235)로부터 제1 거리에 위치되는 렌즈(230), 및 렌즈(230)로부터 제2 거리에 위치되는 폴리크로매트(220)를 포함할 수 있다. 폴리크로매트(220)는 중간 이미지(235)를 변환 함수(207)에 따라 회절시켜 분산된 센서 이미지(215)를 센서 어레이(210) 상으로 생성할 수 있다. 분산된 센서 이미지(215)는 중간 이미지(235)의 공간 코드를 나타낼 수 있다.

Description

공간적으로 코딩된 이미지를 생성하는 이미지 분산부를 갖는 이미징 디바이스
관련출원
본 출원은 전체적으로 참고로 포함되는, 2015년 3월 24일자로 출원되고 발명의 명칭이 "이미징 디바이스"(Imaging Device)인 공계류 중인 미국 가출원 제62/137,702호에 대한 우선권을 주장한다.
본 출원은 전체적으로 참고로 포함되는, 2015년 11월 4일자로 출원되고 발명의 명칭이 "이미징 디바이스"인 공계류 중인 미국 가출원 제62/251,010호에 대한 우선권을 또한 주장한다.
컬러 카메라와 같은 이미징 디바이스는 이미지를 캡쳐하는 데 사용될 수 있다. 이미지는 스틸 사진 또는 동영상, 예컨대 비디오 또는 영화일 수 있다. 이미징 디바이스는 가시광 스펙트럼 내의 광을 사용하여 또는 전자기 스펙트럼의 다른 부분으로 동작할 수 있다. 그러한 이미징 디바이스는 이미지 센서를 사용하여 광을 캡쳐하고 광학 이미지를 전자 신호로 변환할 수 있고, 이 전자 신호는 이어서 저장되거나 또는 그렇지 않으면 전송되어 전자 이미지를 구성할 수 있다. 이미지 센서의 예에는 전하-결합 소자(charge-coupled device; CCD) 이미지 센서 또는 상보성 금속-산화물-반도체(complementary metal-oxide-semiconductor; CMOS) 이미지 센서가 포함될 수 있다.
전통적인 이미징 시스템은 객체 공간(object space) 내의 하나의 점을 이미지 공간(image space) 내의 하나의 점으로 매핑(map)한다. 이미징된 점의 공간 확장(spatial extension), 즉 점-확산 함수(point-spread function; PSF)는 기본적으로 시스템 내에 존재하는 원거리장 회절(far-field diffraction) 및 수차(aberration)에 의해 결정된다. 역사적으로, 진보된 렌즈 설계 및 제조 기술은 많은 유형의 수차를 최소화하여 회절-제한 PSF를 성취하기 위해 개발되었다. 지난 수십 년에 걸쳐, 몇몇 방법은 PSF의 물리적인 치수를 축소시킴으로써 또는 PSF의 형상에 대한 사전-지식과 함께 통계적 추정을 사용함으로써 초-해상도 현미경으로 서브-회절 특징(sub-diffraction feature)을 분석하기 위해 광범위하게 연구되었다.
전자 센서는 전형적으로 광 세기(light intensity)를 단지 검출할 수 있다. 색상을 구별하기 위해, 흡수 컬러-필터 어레이(일반적으로 베이어 필터(Bayer filter)로 지칭됨)가 센서의 상부에 위치된다. 이와 같이, 3개의 색상(청색, 녹색 및 적색)만이 측정된다. 그러나, 자연스러운 장면(scene)은 다중-분광(multi-spectral) 정보를 담고 있고, 이는 많은 머신-비전 응용(machine-vision application)에 중요할 수 있다. 종래의 다중 분광 이미저(multi-spectral imager; MSI)는 비싸고 다루기 어렵다. 통상적인 MSI는 푸시-브룸 방식(push-broom manner)으로 동작하고, 프리즘 또는 격자를 이용하여 광을 분산시킨다. 그러한 MSI를 위한 광학 설계는 상당히 복잡할 수 있다. 제2 범주의 MSI는 액정 가변 필터 또는 음향-광학 가변 필터를 채용하여 입력된 스펙트럼을 시간에 따라 변조한다. 전자의 필터는 감소된 처리량 및 느린 속도의 문제점을 가지며, 반면에 후자는 비싸고 전력 소모가 크다.
따라서, 디지털 이미지 센서 및 시스템에서의 놀라운 진보에도 불구하고, 그러한 디바이스는 불량한 저-조도 및 다중-분광 성능의 문제점을 갖는다.
본 기술의 실시예는 센서 어레이, 중간 이미지로부터 제1 거리에 위치되는 렌즈, 및 렌즈로부터 제2 거리에 위치되는 폴리크로매트(polychromat)를 포함하는 이미지 캡쳐 디바이스(image capturing device)를 개시한다. 폴리크로매트는 중간 이미지를 변환 함수에 따라 회절시켜 분산된 센서 이미지를 센서 어레이 상으로 생성하도록 구성될 수 있고, 분산된 센서 이미지는 중간 이미지의 공간 코드(spatial code)를 나타낸다.
따라서, 하기의 상세한 설명이 더 잘 이해될 수 있도록, 그리고 본 기술 분야에 대한 본 발명의 기여가 더 잘 인식될 수 있도록, 본 발명의 더욱 중요한 특징이 다소 개괄적으로 약술되었다. 본 발명의 다른 특징이 첨부 도면 및 청구범위와 함께 취해진 본 발명의 하기의 상세한 설명으로부터 더욱 명확해질 것이거나, 본 발명의 실시에 의해 학습될 수 있다.
본 발명의 특징 및 이점은 첨부 도면과 관련하여 취해진 하기의 상세한 설명으로부터 명백할 것이며, 이들은 본 발명의 특징을 예로서 함께 예시한다.
도 1a 내지 도 1f는 본 발명의 실시예에 따른 이미징 디바이스를 예시하는 도면.
도 2a는 본 발명의 실시예에 따른 이미징 디바이스의 개략도.
도 2b는 본 발명의 실시예에 따른 이미징 디바이스의 추가적인 개략도.
도 3은 본 발명의 실시예에 따른 이미징 디바이스의 보정(calibration)에 대해 예시하는 도면.
도 4a는 본 발명의 실시예에 따른 이미징 디바이스로의 입사 광의 입사 각을 예시하는 도면.
도 4b는 본 발명의 실시예에 따른 폴리크로매트의 프로파일(profile).
도 5 내지 도 7은 본 발명의 실시예에 따른 다양한 파장 및 각도에서의 폴리크로매트의 응답을 나타내는 복수의 점-확산 함수를 예시하는 도면.
도 8a는 본 발명의 실시예에 따른 객체의 분광-각도 분포를 예시하는 도면.
도 8b는 본 발명의 실시예에 따른 객체의 분광 및 각도 정보를 포함하는 합성된 이미지를 예시하는 도면.
도 9a는 본 발명의 실시예에 따른 객체의 원래의 분광 각도 분포를 예시하는 도면.
도 9b는 본 발명의 실시예에 따른 직접-이진 검색(direct binary search; DBS) 알고리즘을 사용한 객체의 추출된 분광 각도 분포를 예시하는 도면.
도 10a는 본 발명의 실시예에 따른 객체의 분광 및 각도 정보를 포함하는 합성된 이미지를 예시하는 도면.
도 10b는 본 발명의 실시예에 따른 재구성된 세기 이미지를 예시하는 도면.
도 11은 본 발명의 실시예에 따른 객체의 원래의 분광 각도 분포와 상기 객체의 추출된 분광 각도 분포 사이의 오차를 표시하는 오차 맵(error map)을 예시하는 도면.
도 12는 본 발명의 실시예에 따른 반복 횟수(time of iteration)에 대한 객체의 추출된 분광 각도 분포와 상기 객체의 원래의 분광 각도 분포 사이의 제곱평균제곱근(root mean square; RMS) 오차를 예시하는 도면.
도 13a는 본 발명의 실시예에 따른 객체의 원래의 분광 각도 분포를 예시하는 도면.
도 13b는 본 발명의 실시예에 따른 다중-레벨 검색(multi-level search; MLS) 알고리즘을 사용한 객체의 추출된 분광 각도 분포를 예시하는 도면.
도 14a는 본 발명의 실시예에 따른 객체의 분광 및 각도 정보를 포함하는 합성된 이미지를 예시하는 도면.
도 14b는 본 발명의 실시예에 따른 재구성된 세기 이미지를 예시하는 도면.
도 15는 본 발명의 실시예에 따른 객체의 원래의 분광 각도 분포와 상기 객체의 추출된 분광 각도 분포 사이의 오차를 표시하는 오차 맵을 예시하는 도면.
도 16은 본 발명의 실시예에 따른 반복 횟수에 대한 객체의 추출된 분광 각도 분포와 상기 객체의 원래의 분광 각도 분포 사이의 제곱평균제곱근(RMS) 오차를 예시하는 도면.
도 17은 본 발명의 실시예에 따른 모노크롬 센서 어레이 전방에 광대역 회절 요소 (폴리크로매트)를 갖는 회절-컬러 센서의 개략도.
도 18은 본 발명의 실시예에 따른 폴리크로매트와 렌즈 사이에 배향되는 핀홀 보정 조립체(pinhole calibration assembly)를 포함하는 이미지 캡쳐 디바이스의 개략도.
도 19는 본 발명의 실시예에 따른 하나 이상의 포커싱 광학 기기(focusing optics)를 포함하는 대안적인 핀홀 보정 조립체를 도시하는 개략도.
도 20은 본 발명의 실시예에 따른 회절-필터 어레이(diffractive-filter array; DFA)를 포함하는 이미징 디바이스를 예시하는 도면.
도 21a 내지 도 21d는 본 발명의 실시예에 따른 점-확산 함수(PSF) 내의 공간 분산(space variance)을 예시하는 도면.
도 22a 내지 도 22c는 본 발명의 실시예에 따른 다중-분광 이미지 또는 초-분광(hyper-spectral) 이미지를 계산하는 기술을 예시하는 도면.
도 23a 내지 도 23f는 본 발명의 실시예에 따른 이미지 재구성 과정 중에 측정치를 확인하여 점-확산 함수(PSF) 행렬의 계수(rank)를 증가시키는 기술을 예시하는 도면.
도 24a는 일 예의 회절 필터 및 센서 어레이의 개략 이미지.
도 24b는 본 발명에 따라 형성되는 회절 필터의 현미경 사진.
도 24c는 도 24b의 회절 필터의 일부의 원자력 현미경 사진.
도시된 예시적인 실시예에 대해 이제 언급할 것이고, 특정 용어는 본 명세서에서 그 실시예를 기술하는 데 사용될 것이다. 그럼에도 불구하고, 본 발명의 범주의 어떠한 제한도 그에 의해 의도되지 않는다는 것이 이해될 것이다.
본 발명을 기재하고 청구함에 있어서, 하기의 용어가 사용될 것이다.
문맥이 명확하게 달리 지시하지 않는다면 단수형("a," "an," 및 "the")은 복수의 지시 대상을 포함한다. 따라서, 예를 들어, "픽셀"(a pixel)에 대한 언급은 그러한 특징부들 중 하나 이상에 대한 언급을 포함하고, "유도"(directing)"에 대한 언급은 하나 이상의 그러한 단계를 말한다.
확인된 특성 또는 상황과 관련하여 본 명세서에 사용되는 바와 같이, "실질적으로"는 확인된 특성 또는 상황을 측정가능하게 손상시키지 않도록 할 만큼 충분히 작은 어느 정도의 편차를 말한다. 허용가능한 정확한 정도의 편차는 일부 경우에 특정 문맥에 따라 좌우될 수 있다.
본 명세서에 사용되는 바와 같이, 복수의 품목, 구조적 요소, 조성적 요소, 및/또는 재료가 편의를 위해 공통 목록으로 제시될 수 있다. 그러나, 이러한 목록은 마치 목록의 각각의 구성원이 별개의 그리고 고유의 구성원으로서 개별적으로 확인되는 것처럼 해석되어야 한다. 따라서, 그러한 목록의 개별 구성원은 반대에 대한 지시 없이는 오로지 공통 군 내의 그것의 제시에 기초하여 동일 목록의 임의의 다른 구성원의 실질적인 등가물로서 해석되어서는 안 된다.
본 명세서에 사용되는 바와 같이, 용어 "적어도 하나"는 "하나 이상"과 같은 뜻이 되도록 의도된다. 예를 들어, "A, B 및 C 중 적어도 하나"는 오직 A, 오직 B, 오직 C, 및 각각의 조합을 명시적으로 포함한다.
양 및 다른 수치 데이터가 본 명세서에서 범위 형식으로 제시될 수 있다. 그러한 범위 형식은 단지 편의 및 간략함을 위해 사용되며, 범위의 한계로서 명시적으로 언급된 수치 값을 포함할 뿐만 아니라, 그 범위 내에 포함되는 모든 개별 수치 값 또는 하위-범위를 마치 각각의 수치 값 및 하위-범위가 명시적으로 언급된 것처럼 포함하도록 융통성 있게 해석되어야 한다는 것이 이해되어야 한다. 예를 들어, 약 1 내지 약 4.5의 수치 범위는 1 내지 약 4.5의 명시적으로 언급된 한계를 포함할 뿐만 아니라 2, 3, 4와 같은 개별 수치 및 1 내지 3, 2 내지 4 등과 같은 하위-범위를 포함하도록 해석되어야 한다. 동일한 원리가 "약 4.5 미만"과 같은 단지 하나의 수치 값을 언급하는 범위에 적용되며, 이는 상기에 언급된 값들 및 범위들 모두를 포함하도록 해석되어야 한다. 또한, 그러한 해석은 기술되는 특성 또는 범위의 폭에 무관하게 적용되어야 한다.
임의의 방법 또는 공정 청구항에 언급된 임의의 단계들은 임의의 순서로 실시될 수 있으며, 청구항에 제시된 순서로 제한되지 않는다. '수단+기능(means-plus-function)' 또는 '단계+기능(step-plus-function)' 한정은 특정 청구항 한정에 대해 하기의 조건들 모두가 그 한정에 존재하는 경우에만 채용될 것이다: a) "~하기 위한 수단" 또는 "~하기 위한 단계"가 명시적으로 언급되고; b) 대응하는 기능이 명시적으로 언급됨. '수단+기능'을 지지하는 구조, 재료 또는 행위가 본 명세서의 설명에 명시적으로 언급된다. 따라서, 본 발명의 범주는 본 명세서에 제공된 설명 및 예에 의해서보다는 오로지 첨부된 청구범위 및 그것의 법적 등가물에 의해 결정되어야 한다.
저-조도 조건에서 컬러 이미징을 효과적으로 수행할 수 있는 이미징 디바이스를 위한 기술이 기술된다. 이미징 디바이스는 렌즈, 회절 광학 기기, 및 센서의 어레이를 포함할 수 있다. 이미징 디바이스는 컬러 카메라를 포함할 수 있다. 회절 광학 기기는 회절 필터, 폴리크로매트, 또는 크로매틱 필터로서 또한 지칭될 수 있고, 광대역 회절 광학 요소이다. 이미징 디바이스는 다중 파장을 이용한 이미징 (즉, 초-분광 이미징) 또는 다중 분광 대역을 이용한 이미징 (즉, 다중-분광 이미징)을 수행할 수 있다. 이미징 디바이스는 감소된 양의 손실로 이미징을 수행할 수 있고, 이는 이미징 디바이스가 저-조도 조건에서 이미징을 효과적으로 수행하게 할 수 있게 한다. 저-조도 이미징은 흡수 손실이 거의 없이 색상 정보가 입수될 수 있기 때문에 성취될 수 있다. 이미징 디바이스는 감소된 양의 광학 기기를 이용할 수 있고 감소된 비용으로 제조될 수 있는데, 이는 이미징 디바이스를 위한 회절 필터가 롤-투-롤 임프린팅(roll-to-roll imprinting), 엠보싱(embossing), UV-경화 엠보싱, 열 엠보싱, 몰딩(moulding), 임프린트 리소그래피, 소프트 리소그래피, 마이크로-컨택트 인쇄(micro-contact printing), 광학 투영 리소그래피, 포토리소그래피, 극-자외선 리소그래피, 물-침지 포토리소그래피 등과 같은 대량 공정을 사용하여 제조될 수 있기 때문이다. 이미징 디바이스는 색상 및 공간 해상도의 증가뿐만 아니라 신호-대-잡음 비의 증가를 가능하게 할 수 있다. 공간 해상도는 선들이 이미지 내에서 얼마나 엄밀하게 구별될 수 있는 지의 척도일 수 있다. 또한, 이미징 디바이스는 베이어 필터와 같은 종래의 흡수 컬러 필터에 비해 색상과 공간 해상도 사이의 트레이드오프(trade-off)의 감소를 제공할 수 있다.
이들 원리에 따르면, 이미지 캡쳐 디바이스는 센서 어레이, 렌즈, 및 폴리크로매트 (즉, 회절-필터)를 포함할 수 있다. 렌즈는 중간 이미지로부터 제1 거리에 위치될 수 있다. 폴리크로매트는 렌즈로부터 제2 거리에 위치될 수 있고, 이 경우 폴리크로매트는 중간 이미지를 변환 함수에 따라 회절시켜 분산된 센서 이미지를 센서 어레이 상으로 생성하도록 구성된다. 분산된 센서 이미지는 중간 이미지의 공간-분광 코드를 나타낸다.
공간-분광 코드는 파장 또는 색상 중 적어도 하나의 공간 세기 표현(spatial intensity representation)일 수 있다. 일부 경우에, 중간 이미지는 컬러 이미지이다. 일 예에서, 중간 이미지는 O(x',y',λ)로서 나타내어지고 센서 이미지는 I(x,y)로서 나타내어지는데, 여기서 (x',y')는 중간 이미지의 공간 좌표들이고, λ는 파장이고, (x,y)는 센서 어레이의 공간 좌표들이다.
전달 함수는 임의의 적합한 변환일 수 있고, 이는 공간 코드를 생성하고/하거나 나타내는 데 사용될 수 있다. 일 예에서, 전달 함수는 실제 공간 변환이다. 대안적으로, 전달 함수는 푸리에 변환일 수 있다. 또 다른 대안으로, 전달 함수는 스칼라 프레넬-키르히호프 회절 방정식(Fresnel-Kirchoff diffraction equation)일 수 있다. 또 다른 예에서, 전달 함수는 맥스웰 방정식(Maxwell's equation)에 기초하는 엄밀한 파동 전파 함수(wave propagation function)일 수 있다. 예를 들어, 폴리크로매트를 통한 센서 상으로의 이미지의 전파는 맥스웰 방정식을 사용하여 모델링될 수 있다. 따라서, 프레넬-키르히호프 회절 방정식 대신에 이들을 사용할 수 있다. 이는 광의 벡터 성질(예컨대, 편광)이 확인에 중요할 때에 유용할 수 있다. 이는 회절 필터 상의 특징부가 관심대상의 파장보다 작을 때에 또한 유용하다.
하나의 특정 예에서, 중간 이미지로부터 센서 어레이로의 전달 함수는 P(x,y; x',y',λ)로서 나타내어지고, 여기서 (x',y')는 중간 이미지의 공간 좌표들이고, (x,y)는 센서 어레이의 공간 좌표들이고, λ는 파장이다.
일부 경우에, 전달 함수는 중간 이미지를 재구성하기 위해 보정된다. 또 다른 특정 예에서, 중간 이미지는 O(x',y',λ) = [P(x,y; x',y',λ)] -1 I(x,y)를 사용하여 재구성되고, 여기서 I(x,y)는 센서 이미지를 나타낸다. 일부 경우에, 공간 코드는 5-차원 (5D) 광필드-분광 이미지(lightfield-spectral image)를 재구성하는 데 사용될 수 있다. 따라서, 그러한 광필드-분광 이미지는 O(x',y',θ x ,θ y ,λ) = [P(x,y; x',y',θ x ,θ y ,λ)] -1 I(x,y)를 사용하여 재구성될 수 있고, 여기서 O(x',y',θ x ,θ y ,λ)는 미지의 5-차원 광필드-분광 이미지이고, I(x,y)는 센서 이미지를 나타내고, P(x,y; x',y',θ x ,θ y ,λ)는 보정된 전달 함수이다.
요구되지는 않지만, 공간 코드는 센서 이미지를 형성할 때 실질적으로 모든 이용가능한 광자가 사용될 수 있게 한다.
또 다른 예에서, 센서 이미지는 I(x,y) = O(x',y',λ). P(x,y; x',y',λ) = Σa m,n,k P(x,y; x' m ,y' m ,λ k )로서 나타내어질 수 있고, 여기서 O(x',y',λ)는 중간 이미지를 나타내고, P(x,y; x',y',λ)는 중간 이미지로부터 센서 어레이로의 전달 함수를 나타내고, a m,n,k 는 좌표 (x' m ,y' m ,λ k )에서의 중간 이미지의 미지의 값들이다.
유리하게는, 센서 이미지는 이미지 캡쳐 디바이스가 저-조도 조건에서 동작할 때 규정된 이미지 품질 레벨에 따른다. 이미지 품질은 색상 정확도, 이미지 선명도, 화이트-밸런스 정확도, 동적 범위, 공간 및 분광 해상도, 분광 정확도 등과 같은 다양한 표준 측정 기준(metric)의 사용을 포함하는 많은 방식으로 규정될 수 있다.
일 예에서, 제1 거리는 렌즈의 전방-초점 길이와 동일하다. 또 다른 예에서, 제2 거리는 렌즈의 후방-초점 길이와 동일하다.
아래에서 더 상세하게 설명되는 바와 같이, 이 디바이스는 저-조도 이미지 획득을 가능하게 한다. 이는 디바이스 구성에 적어도 부분적으로 기인하고, 이는 컬러 필터의 생략을 가능하게 한다. 따라서, 이미지 캡쳐 디바이스는 전형적으로 센서 이미지를 생성하는 흡수 컬러 필터를 포함하지 않는다. 더욱이, 이미징은 다중 파장들을 사용하여 및/또는 다중 분광 대역들로 수행될 수 있다.
회절 필터 또는 폴리크로매트는 패터닝된 투명 또는 반투명 기재(substrate)일 수 있다. 회절 필터는 본 명세서에 기술된 바와 같이 입사 광에 대한 특정 회절 효과를 결정하도록 변하는 물리적인 높이를 각각 갖는 픽셀의 어레이를 추가로 포함할 수 있다. 회절 필터는 일반적으로 2개 초과의 회절 픽셀 높이를 포함하는 다중-레벨 회절 요소일 수 있다. 그러나, 일부 경우에, 회절 필터는 2개의 회절 픽셀 높이를 갖는 이진 회절 요소일 수 있다. 이러한 필터는 센서 어레이 상으로 직접 합체될 수 있다. 대안적으로, 필터는 별개로 제조되고 센서 어레이에 대해 근접하게 위치되고 정렬될 수 있다. 일반적인 지침으로서, 회절 필터 또는 폴리크로매트는 센서 어레이로부터 10 nm 내지 2000 μm에, 그리고 가장 빈번하게는 10 nm 내지 50 μm에 배향될 수 있다. 다양한 구성이 사용될 수 있지만, 일 예에서, 회절 필터는 0 μm 내지 15 μm, 그리고 가장 빈번하게는 0 μm 내지 9 μm의 범위를 갖는 픽셀 높이를 가질 수 있다. 마찬가지로, 회절 필터는 약 0.01 μm 내지 약 15 μm, 그리고 빈번하게는 약 0.5 μm 내지 약 5 μm의 픽셀 폭(예컨대, 정사각형 픽셀을 가정함)을 가질 수 있다. 또한, 픽셀 높이는 3개 내지 10개의 높이와 같은 별개의 다중-레벨 높이를 포함할 수 있지만, 연속 가변 픽셀 높이가 또한 사용될 수 있다. 픽셀의 어레이는 상보성 센서 어레이에 대응하는 원하는 개수(예컨대, 이용가능한 센서 어레이에 기초하여 1개 내지 32개 이상)의 픽셀을 포함할 수 있다. 설계가 변경될 수 있지만, 1개 내지 64개의 회절 픽셀이 각각의 센서 어레이 픽셀에 대응할 수 있고, 일부 경우에 4개 내지 16개의 회절 픽셀이 센서 어레이 픽셀마다 대응할 수 있지만, 일반적으로 임의의 제곱수(예컨대, 4개, 9개, 16개, 25개, 36개, 49개, 64개, 81개 등)의 회절 픽셀이 사용될 수 있다. 일부 경우에, 회절 픽셀 어레이는 1D 어레이일 수 있다. 예를 들어, 1D 어레이는 카메라가 컨베이어 벨트 상의 품목을 검사 중일 때에 또는 카메라가 특정 영역 위로 비행하는 드론 상에 있을 때에 유용할 수 있다. 이들 예에서, 관찰되는 객체에 대한 카메라의 상대 운동은 1D 어레이의 직교 방향으로 이미지를 생성한다. 이러한 경우에, 회절 필터를 통한 분산은 1D일 뿐이고, 재구성은 또한 상당히 더 간단할 수 있다.
일부 경우에, 전체 회절 필터는 특유한 회절 패턴을 가질 수 있다. 그러나, 대부분의 경우에, 회절 필터는 회절 패턴 서브-유닛(sub-unit)이 회절 필터를 횡단하여 x 및 y 치수로 반복되는 2차원의 반복 회절 패턴을 포함할 수 있다.
회절 필터는 원하는 주파수의 투과를 허용하는 임의의 적합한 투과성 재료로 형성될 수 있다. 적합한 재료의 비제한적인 예에는 유리, 플라스틱, 포토레지스트, 중합체, 폴리스티렌, 폴리-메틸 메타크릴레이트, 폴리카르보네이트, PDMS, SU-8, 3D 인쇄가능 중합체, 광-활성화 중합체, 석영, 규소, 질화규소, 산화알루미늄, 질화알루미늄, HSQ, 전자-빔 레지스트, PET, 나노-임프린트 레지스트 등이 포함될 수 있다.
이 디바이스는 전달 함수를 사용하여 분산된 센서 이미지로부터 중간 이미지를 재구성하도록 구성되는 데이터 프로세서를 추가적으로 포함할 수 있다. 데이터 프로세서는 본 명세서의 개시 내용에 따라 감지된 이미지를 재구성하도록 명령에 따라 코딩되는 메모리를 추가로 포함할 수 있거나 또는 그것과 관련될 수 있다.
다중 분광 이미저는 인간 및 종래의 카메라에 지각될 수 없는 정보를 나타낸다. 본 기술의 실시예에서, 소형의 단일-샷(single-shot) 다중-분광 비디오-이미징 카메라는 미세-구조 회절 필터를 이미지 센서에 근접하게 위치시킴으로써 만들어진다. 회절 필터는 분광 정보를 센서 픽셀 상의 공간 코드로 변환한다. 보정 단계 후, 이러한 코드는 정규화-기반 선형 대수를 통해 역변환되어 다중-분광 이미지를 계산할 수 있다.
해상도가 선택된 파라미터에 기초하여 변할 수 있지만, 일 실시예에서, 가시광 대역(430 nm 내지 718 nm) 내에서의 9.6 nm의 분광 해상도가 성취될 수 있다. 일 실시예에서, 공간 해상도는 회절 필터를 갖지 않는 동일한 광학 기기 및 센서를 갖는 경우에 비해 본 기술을 사용하면 30% 초과만큼 향상된다. 어떠한 흡수 컬러 필터도 본 기술의 실시예에 이용되지 않으므로, 감도가 또한 유지된다. 회절 필터는 광학 리소그래피 및 복제 기술을 사용하여 용이하게 제조될 수 있다.
이들 원리의 예시적인 구현예로서, 도 1a는 컬러 카메라와 같은 이미징 디바이스 내의 예시적인 컬러-필터 어레이(color-filter array; CFA) 및 센서 어레이를 도시한다. 이미징 디바이스는 이미지 센서 칩(102)을 포함할 수 있다. 일련의 센서 픽셀(104)이 이미지 센서 칩(102)의 상부에 위치될 수 있다. 일련의 센서 픽셀(104)은 이미지 센서 칩(102)의 상부에 위치되는 센서 어레이의 일부일 수 있다. 센서 어레이는 상보성 금속-산화물-반도체(CMOS) 센서 또는 전하-결합 소자(CCD) 센서와 같은, 그러나 이들로 제한되지 않는 센서를 포함할 수 있다.
일 예에서, 일련의 컬러 필터(또는 컬러 필터 모자이크(mosaic))가 이미징 디바이스 내의 센서 어레이 전방에 위치될 수 있다. 일련의 컬러 필터는 센서 픽셀(104) 위에 위치되어 색상 정보를 캡쳐할 수 있다. 일련의 컬러 필터는 컬러 필터 어레이(CFA)의 일부일 수 있다. 일 예에서, CFA는 4개의 정사각형, 즉 2개의 녹색 정사각형, 1개의 청색 정사각형, 및 1개의 적색 정사각형으로 구성될 수 있다. 또 다른 예에서, 컬러 필터는 베이어 필터 어레이(106)의 일부일 수 있다. 컬러 필터는, 전형적인 광센서가 파장 특이성을 거의 또는 전혀 갖지 않는 상태로 광 세기를 검출하고 그에 따라 색상 정보를 분리할 수 없기 때문에 사용될 수 있다. 컬러 필터는 파장 범위에 의해 광을 필터링할 수 있고, 그 결과 별개의 필터링된 세기는 광의 색상에 대한 정보를 포함할 수 있다.
이미지의 각각의 공간 픽셀은 2 × 2 (또는 4)개의 컬러 서브-픽셀로 구성된다. 컬러 서브-픽셀은 흡수에 의해 색상을 감지할 수 있다. 예를 들어, 적색 컬러 서브-픽셀은 공간 픽셀 내에 있는 적색의 양을 결정할 수 있는데, 이는 적색 필터 영역이 청색 및 녹색 광자는 흡수하지만 적색 광자는 투과될 수 있게 하기 때문이다. 마찬가지로, 녹색 컬러 서브-픽셀은 공간 픽셀 내에 있는 녹색의 양을 결정할 수 있는데, 이는 녹색 필터 영역이 적색 및 청색 광자는 흡수하지만 녹색 광자는 투과될 수 있게 하기 때문이다. 마찬가지로, 청색 컬러 서브-픽셀은 공간 픽셀 내에 있는 청색의 양을 결정할 수 있는데, 이는 청색 필터 영역이 녹색 및 적색 광자는 흡수하지만 청색 광자는 투과될 수 있게 하기 때문이다. 따라서, 컬러 필터 어레이는 적색, 녹색 및 청색 (RGB) 파장 영역 내의 광의 세기에 대한 정보를 제공할 수 있다. 이미지 센서에 의해 캡쳐되는 미처리 이미지 데이터는 각각의 유형의 컬러 필터에 맞게 조정되는 디모자이킹 알고리즘(demosaicing algorithm)을 사용함으로써 (각각의 픽셀에 나타내어지는 모든 3개의 원색의 세기를 갖는) 풀-컬러 이미지로 변환될 수 있다.
도 1b는 예시적인 이미징 디바이스를 도시한다. 이미징 디바이스는 이미지 센서 칩(102) 및 이미지 센서 칩(102)의 상부에 위치되는 센서 어레이(107)를 포함할 수 있다. 이미징 디바이스는 센서 어레이(107)의 상부에 위치되는 회절 필터(108)를 포함할 수 있다. 회절 필터(108)는 흡수 컬러 필터에 대한 대체물일 수 있거나 또는 그러한 컬러 필터에 추가하여 사용될 수 있다. 일 예에서, 회절 필터(108)는 다중-레벨 회절 구조물일 수 있다. 또한, 회절 필터(108)는 투명 또는 반투명 재료로 제조되어 특정 파장의 광이 캡쳐 및 이미징되게 할 수 있다.
도 1c는 또 다른 예시적인 이미징 디바이스를 도시한다. 이미징 디바이스는 이미지 센서 칩(102) 및 이미지 센서 칩(102)의 상부에 위치되는 센서 어레이(109)를 포함할 수 있다. 이미징 디바이스는 센서 어레이(109)의 상부에 위치되는 회절 필터(110)를 포함할 수 있다. 이러한 예시된 예에서, 회절 필터(110)는 이진 회절 구조물일 수 있다. 이해될 수 있는 바와 같이, 일부 경우에, 회절 필터는 필터를 횡단하여 연속적인 기부 층 및 다양한 높이를 갖는 별개의 픽셀 특징부의 어레이를 갖는 픽셀 층을 포함할 수 있다. 일 예에서, 픽셀 층은 입사 광(즉, 센서 어레이의 반대쪽)을 향할 수 있다. 대안적으로, 픽셀 층은 센서 어레이를 향할 수 있다. 일반적으로, 패터닝된 영역을 센서에 가급적 근접하게 위치시키는 것은 광의 거리, 즉 그에 따른 광의 확산을 감소시킬 수 있다. 센서 어레이의 반대쪽을 향하는 평탄 기재 표면은 토포그래피 패턴(topographical pattern)을 손상으로부터 또한 보호할 수 있다. 또 다른 선택적인 태양에서, 회절 필터의 토포그래피 패턴은 이 패턴에 상이한 굴절률을 갖는 재료를 과충전함으로써 또한 보호될 수 있다. 예를 들어, 유리 또는 질화규소가 보호 층으로서 사용될 수 있다.
도 1d는 또 다른 예시적인 이미징 디바이스를 도시한다. 이미징 디바이스는 이미지 센서 칩(102), 이미지 센서 칩(102)의 상부에 위치되는 센서 어레이(111), 센서 어레이(111)의 상부에 위치되는 흡수 컬러 필터 어레이(112), 및 이미지 센서 칩(102) 위에 위치되는 (즉, 센서 어레이(111) 및 흡수 컬러 필터 어레이(112) 위에 위치되는) 회절 필터(113)를 포함할 수 있다. 회절 필터(113)는 다중-레벨 회절 구조물일 수 있다. 이미징 디바이스는 단일 디바이스로 가시광선 및 적외선(IR) 이미징을 수행할 때 유용할 수 있고, 여기서 가시광선 이미징은 흡수 컬러 필터 어레이(112)(즉, 종래의 컬러 필터)를 사용하여 수행되고, IR 이미지는 본 명세서에 기술된 전산해석적 기술을 통해 입수된다. 이러한 경우에, 회절 필터(113)는 회절 필터(113)가 필요하다면 IR 광자를 분산시키면서 가시광선 이미지는 섭동하지 않는다는 것을 확실하게 하도록 설계된다. 더 구체적으로, 회절 필터(113)는 회절 구조물(예컨대, 회절 필터 서브-유닛)의 주기성이 관심대상의 최소 IR 파장보다는 크지만 관심대상의 최장 가시광선 파장보다는 작게 되도록 선택함으로써 설계될 수 있다. 일 예에서, 이러한 기술은 가시광선 및 IR 이외의 분광 대역에 적용가능할 수 있다.
도 1e는 또 다른 예시적인 이미징 디바이스를 도시한다. 이미징 디바이스는 이미지 센서 칩(102), 이미지 센서 칩(102)의 상부에 위치되는 센서 어레이(114), 센서 어레이(114)의 상부에 위치되는 흡수 컬러 필터 어레이(115), 및 이미지 센서 칩(102) 위에 위치되는 (즉, 센서 어레이(114) 및 흡수 컬러 필터 어레이(115) 위에 위치되는) 회절 필터(116)를 포함할 수 있다. 이러한 경우에, 회절 필터(116)는 이진-레벨 회절 구조물일 수 있다.
흡수에 의해 색상을 감지하는 컬러 서브-픽셀의 전통적인 기술은 비효율적일 수 있으며, 이는 동일한 사양의 흑백 카메라에 비해 컬러 카메라가 저-조도 조건 하에서 불량하게 동작되게 할 수 있다. 흑백 카메라 내의 각각의 센서 픽셀이 별개의 공간 픽셀을 나타내므로 (즉, 어떠한 CFA도 흑백 카메라 내에 존재하지 않으므로), 공간 해상도는 특히 저-조도 조건 하에서 컬러 카메라의 해상도보다 우수할 수 있다. 본 명세서에 기술된 기술은 컬러 카메라가 저-조도 조건에서 유사하게 (즉, 신호-대-잡음비가 증가된 상태로) 작동되어 흑백 카메라에 비해 유사한 공간 해상도를 성취할 수 있게 할 수 있다.
저-조도 컬러 카메라는 보안용 이미징, 교통용 및 통행료 징수용 카메라, 산업용 이미징, 농산물 및 의약품의 검사, 실외용 이미징, 소비자 카메라 등에서 중요한 응용을 가질 수 있다. 저-조도 성능의 관점에서 흑백 카메라와 유사하게 작동될 수 있는 컬러 센서가 컬러 카메라에 널리 사용될 수 있다. 또한, 그러한 카메라는 플래시 조명의 사용을 피하거나 감소시킬 수 있고, 이는 카메라의 전력 소모를 감소시킬 수 있다.
도 1f는 컬러 카메라와 같은 이미징 디바이스 내의 컬러-필터 어레이(CFA)(150) 및 센서 어레이(160)를 도시한다. CFA(150)(또는 컬러 필터 모자이크)는 이미징 디바이스 내의 센서 어레이(160) 전방에 위치될 수 있다. CFA(150)는 대부분의 컬러 카메라에 이용되는 흡수 컬러 필터이다. CFA(150)는 이미지 센서의 픽셀 센서 위에 위치되어 색상 정보를 캡쳐하는 컬러 필터의 모자이크일 수 있다. 컬러 필터는, 전형적인 광센서가 파장 특이성을 거의 또는 전혀 갖지 않는 상태로 광 세기를 검출하고 그에 따라 색상 정보를 분리할 수 없기 때문에 사용될 수 있다. 컬러 필터는 파장 범위에 의해 광을 필터링할 수 있고, 그 결과 별개의 필터링된 세기는 광의 색상에 대한 정보를 포함할 수 있다.
일 예에서, CFA(150)는 베이어 컬러 필터일 수 있다. 센서 어레이(160)는 상보성 금속-산화물-반도체(CMOS) 센서 또는 전하-결합 소자(CCD) 센서를 포함할 수 있다. CFA(150)는 4개의 정사각형, 즉 2개의 녹색 정사각형, 1개의 청색 정사각형, 및 1개의 적색 정사각형으로 구성될 수 있다.
이미지의 각각의 공간 픽셀은 2 × 2 (또는 4)개의 컬러 서브-픽셀로 구성된다. 컬러 서브-픽셀은 흡수에 의해 색상을 감지할 수 있다. 예를 들어, 적색 컬러 서브-픽셀은 공간 픽셀 내에 있는 적색의 양을 결정할 수 있는데, 이는 적색 필터 영역이 청색 및 녹색 광자는 흡수하지만 적색 광자는 투과될 수 있게 하기 때문이다. 마찬가지로, 녹색 컬러 서브-픽셀은 공간 픽셀 내에 있는 녹색의 양을 결정할 수 있는데, 이는 녹색 필터 영역이 적색 및 청색 광자는 흡수하지만 녹색 광자는 투과될 수 있게 하기 때문이다. 마찬가지로, 청색 컬러 서브-픽셀은 공간 픽셀 내에 있는 청색의 양을 결정할 수 있는데, 이는 청색 필터 영역이 녹색 및 적색 광자는 흡수하지만 청색 광자는 투과될 수 있게 하기 때문이다. 따라서, CFA(150)는 적색, 녹색 및 청색 (RGB) 파장 영역 내의 광의 세기에 대한 정보를 제공할 수 있다. 이미지 센서에 의해 캡쳐되는 미처리 이미지 데이터는 각각의 유형의 컬러 필터에 맞게 조정되는 디모자이킹 알고리즘을 사용함으로써 (각각의 픽셀에 나타내어지는 모든 3개의 원색의 세기를 갖는) 풀-컬러 이미지로 변환될 수 있다.
도 2a는 예시적인 이미징 디바이스(202)의 개략도이다. 이미징 디바이스(202)는 센서 어레이(210), 폴리크로매트(220), 및 렌즈(230)를 포함할 수 있다. 종래의 카메라에서, 이미지는 카메라 내의 렌즈(230)와 같은 렌즈에 의해 형성될 수 있고, 센서는 이미지 평면 내에 위치될 수 있다. 도 2a에 도시된 바와 같이, 렌즈(230)는 이미지 평면(중간 이미지(235)로서 또한 지칭됨)으로부터 전방-초점 길이와 동일한 거리에 위치될 수 있다. 중간 이미지(235)는 O(x',y',λ)로서 나타내어질 수 있고, 여기서 (x',y')은 공간 좌표들이고, λ는 파장이다. 폴리크로매트(220)는 렌즈(230)로부터 후방-초점 길이(203)와 동일한 거리에 위치될 수 있다. 바꿔 말하면, 폴리크로매트(220)와 렌즈(230) 사이의 거리는 후방-초점 길이(203)에 의해 나타내어질 수 있고, 렌즈(230)와 중간 이미지(235) 사이의 거리는 전방-초점 길이(205)에 의해 나타내어질 수 있다. 이미지의 푸리에 변환은 폴리크로매트(220)와 렌즈(230) 사이의 평면에서 형성될 수 있다. 폴리크로매트(220)는 푸리에 변환을 처리하여 분산된 이미지(즉, 센서 이미지(215))를 센서 어레이(210) 상으로 형성할 수 있다. 센서 이미지(215)는 I(x,y)로서 나타내어질 수 있다.
중간 이미지(235)(또는 중간 이미지 평면)로부터 센서 어레이(210)로의 전달 함수(207)는 P( x,y ; x', y',λ)로서 나타내어질 수 있다. 전달 함수(207)가 (아래에서 더 상세하게 기술되는 바와 같이) 보정되면, 다양한 알고리즘이 적용되어 풀 컬러 이미지를 재구성할 수 있다. 하나의 구성에서, 폴리크로매트(220)는 완전히 투명할 수 있고, 색상 정보는 흡수 필터를 사용하는 대신에 일종의 공간 코드로서 입수될 수 있다. 그 결과, 실질적으로 모든 이용가능한 광자가 사용될 수 있고, 이는 이미징 디바이스(202)에 대한 이상적인 저-조도 성능을 성취할 수 있다. 또한, 각각의 센서 픽셀 내의 비트가 고-해상도 그레이스케일 데이터를 입수하는 데 이용될 수 있으므로, 공간 해상도와 색상 해상도 사이에는 어떠한 트레이드오프도 없으며, 이는 전술한 베이어 컬러 필터와 대조적이다. 일 예에서, 폴리크로매트(220)와 중간 이미지 사이의 거리뿐만 아니라 폴리크로매트(220)와 센서 어레이(210) 사이의 거리는 이미징 디바이스(202)가 저-조도 조건에서 효과적으로 기능하는 데 있어 중요하지 않다. 이들 거리는 후방-초점 길이(203) 및 전방-초점 길이(205)와 상이할 수 있다. 보정이 적합하게 수행되기만 하면, 컬러 이미지의 재구성은 정확할 수 있다. 따라서, 센서 어레이에 수신된 이미지는 전형적인 이미지로서 전형적으로 공간적으로 픽셀화되지 않는다. 대신에, 센서 어레이는 분산된 이미지(즉, 센서 이미지(215))를 수신하고, 이는 공간 이미지로 재구성될 수 있다.
센서 이미지(215)(즉, 센서 어레이(210) 상의 이미지)는 중간 이미지(235) 내의 각각의 점의 응답의 선형 조합에 의해 주어질 수 있다. 별개의 형태로, 중간 이미지(235)는
O(x',y',λ) = Σa m,n,k δ(x' ― x' m ,y' ― y' m ,λ ― λ k ) (방정식 1)
에 의해 나타내어질 수 있고,
여기서 a m,n,k 는 좌표 (x' m ,y' m ,λ k )에서의 컬러 중간 이미지(235)의 미지의 값들이다. 측정된 센서 이미지(215)는
I(x,y) = O(x',y',λ).P(x,y; x'y',λ) (방정식 2)에 의해 나타내어질 수 있고,
이는
Σa m,n,k P(x,y; x' m ,y' m ,λ k ) (방정식 3)과 동일하고,
여기서 (x,y)는 센서 어레이(210) 상의 좌표들이고, (x',y')는 중간 이미지 평면 내의 좌표들이고, P(x,y; x',y',λ)는 중간 이미지(235)(또는 중간 이미지 평면)로부터 센서 어레이(210)로의 전달 함수(207)이다. 바꿔 말하면, 전달 함수(207)는 폴리크로매트(220) 및 렌즈(230)를 포함하는 시스템을 나타낼 수 있다. 중간 이미지(235)는
O(x',y',λ) = [P(x,y; x',y',λ)] -1 I(x,y) (방정식 4)를 사용하여 재구성될 수 있고,
이는 방정식 2의 하나의 형태이다.
방정식 2가 선형 방정식이므로, 방정식 3 내에 포함된 역변환 문제는 예컨대 직접-이진 검색 기술 또는 정규화-기반 행렬 역변환 기술과 같은 다양한 기술을 사용하여 풀릴 수 있다.
도 2b는 또 다른 예시적인 이미징 디바이스(204)의 개략도이다. 도 2a에 도시된 이미징 디바이스(202)와 대조적으로, 이미징 디바이스(204)는 렌즈를 포함하지 않는다. 그 결과, 도 2b에 도시된 이미징 디바이스(204)는 더 얇고, 더 간단하고, 더 싸다. 이미징 디바이스(204)는 센서 어레이(240) 및 폴리크로매트(250)를 포함할 수 있다. 폴리크로매트(250)는 이미지 평면(중간 이미지(255)로서 또한 지칭됨)으로부터 규정된 거리에 있을 수 있다. 중간 이미지(255)는 O(x',y',λ)로서 나타내어질 수 있고, 여기서 (x',y')는 공간 좌표들이고, λ는 파장이다. 폴리크로매트(240)는 컬러 이미지의 푸리에 변환을 처리하여 분산된 이미지(즉, 센서 이미지(245))를 센서 어레이(245) 상으로 형성할 수 있다. 센서 이미지(245)는 I(x,y)로서 나타내어질 수 있다. 그러나, 중간 이미지(255)(또는 중간 이미지 평면)로부터 센서 어레이(245)로의 전달 함수는 이미징 디바이스(202)에 비해 이미징 디바이스(204)의 경우 상이하다. 이러한 경우에, 중간 이미지(255)는 폴리크로매트(250)에 의해 회절된다. 전달 함수는 보정될 수 있고, 중간 이미지(255)는 방정식 3을 통해 재구성될 수 있다. 바꿔 말하면, 방정식 3은 컬러 이미지의 세부 사항을 제공하도록 풀릴 수 있다.
이미지 캡쳐 디바이스는 전달 함수의 결정 및/또는 공간적으로 코딩된 센서 이미지로부터의 이미지의 재구성을 가능하게 하는 핀홀 보정 조립체를 대안적으로 포함할 수 있다. 핀홀 보정 조립체는 렌즈와 센서 어레이 사이에 배향되는 병진이동가능(translatable) 핀홀 요소를 포함할 수 있다. 핀홀 보정 조립체는 병진이동가능 핀홀 요소와 폴리크로매트 사이에 배향되는 적어도 하나의 보정 렌즈를 선택적으로 포함할 수 있다. 특히, 이미지 캡쳐 디바이스의 일부 경우에, 제1 거리가 제2 거리보다 더 크게 되도록 센서 어레이와 폴리크로매트 사이에는 어떠한 렌즈도 없다.
이미지 캡쳐 디바이스는 렌즈와 센서 어레이 사이에 배향되는 병진이동가능 핀홀 요소들의 어레이를 포함할 수 있는 핀홀 보정 조립체를 포함할 수 있다. 어레이 내의 병진이동가능 핀홀 요소들 사이의 간격은 2개의 인접한 병진이동가능 핀홀 요소들 사이의 회절된 신호가 센서 어레이 상에서 중첩되지 않도록 선택될 수 있다. 어레이 내의 병진이동가능 핀홀 요소로부터의 전달 함수는 보정 데이터를 입수하도록 컴파일링될(compiled) 수 있다.
예로서, 도 3은 이미징 디바이스(302)의 보정을 예시한다. 이미징 디바이스(302)는 센서 어레이(310), 폴리크로매트(320), 및 렌즈(330)를 포함할 수 있다. 센서 어레이, 폴리크로매트(320) 및 렌즈(330)는 렌즈-폴리크로매트-센서 서브-시스템으로서 또한 지칭될 수 있다. 대안적인 구성에서, 이미징 디바이스(302)는 센서 어레이(310) 및 폴리크로매트(320) (즉, 폴리크로매트-센서 시스템)만을 포함할 수 있다. 대안적인 구성에서, 렌즈(330)는 포함되지 않는다.
이미징 디바이스(302)(예컨대, 컬러 카메라)가 저-조도 조건에서 효과적으로 동작하기 위해, 중간 이미지(또는 중간 이미지 평면)로부터 센서 어레이(310)로의 P(x,y;x',y',λ)의 전달 함수는 보정되어야 한다.
보정을 수행하기 위해, 렌즈-폴리크로매트-센서 서브-시스템은 고정밀 X-Y 스테이지(stage) 상에 장착되어 X 및 Y 축으로 스테핑될(stepped) 수 있다. (x',y')의 각각의 위치에서, 시준된 입사 광(305)의 파장 λ가 스캐닝될 수 있다. 스캐닝은 광대역 광원(350)에 부착되는 종래의 모노크로메이터(monochromator)(340)를 사용하여 (또는 가변 필터를 이용하여) 성취될 수 있다. 일부 예에서, 광대역 광원(350)은 램프, 초연속 레이저(super continuum laser), 광대역(초발광(superluminescent)) 발광 다이오드, 또는 임의의 다른 형태의 광대역 또는 협대역 조명(예컨대, 레이저, LED, 램프, OLED, 양자 점 등)을 포함할 수 있다. 도 3에 도시된 바와 같이, 광대역 광원(350)으로부터의 입사 광(305)은 모노크로메이터(340)를 사용하여 스캐닝될 수 있다. 입사 광(305)은 (x',y')의 각각의 위치에 대해 스캐닝될 수 있다. (x',y',λ)의 각각의 값에서의 센서 이미지가 수집 및 저장될 수 있다. 이들 센서 이미지의 데이터 세트는 측정된 전달 함수, P(x,y; x',y',λ)를 나타낼 수 있다. 일 예에서, 유사한 스캐닝 기술이 3-차원(3D) 이미징에 이용될 수 있다. 또 다른 예에서, 유사한 스캐닝 기술이 광필드-분광 이미징에 이용될 수 있다.
일 예에서, 폴리크로매트(320)는 투명 또는 반투명 기재일 수 있다. 다양한 기재 재료가 사용될 수 있지만, 비제한적인 예에는 유리, 투명 플라스틱, PMMA, PET, TAC, 폴리스티렌, UV-경화성 중합체, 열-경화성 중합체, 질화규소, 산화규소, 이산화규소, 산화알루미늄, 투명 전도성 산화물, 투명 산화물, 인듐-주석 산화물, 포토레지스트, 투명 중합체 등이 포함된다. 폴리크로매트(320)는 패터닝되어 광을 회절시킬 수 있고, 그 결과 각각의 점 (x',y',λ)에 의해 형성된 이미지는 센서 어레이(310) 상에서 특유하다. 폴리크로매트(320)는 결정(deterministic) 패턴 또는 무작위(random) 패턴을 가질 수 있다. 폴리크로매트(320)는 원거리장 또는 의사-근거리장 회절을 사용하여 동작할 수 있다. 또 다른 예에서, 폴리크로매트(320)는 근거리장에서 동작할 수 있다. 본 기술에서, 폴리크로매트(320)는 컬러 이미지의 공간 및 분광 해상도를 최대화하기 위해 명시적으로 설계된다. 컬러 이미지의 공간 및 분광 해상도는 전달 함수, P(x,y; x',y',λ)가 역변환을 위해 대각화될(diagonalized) 수 있다는 것을 확실하게 함으로써 최대화될 수 있다. 바꿔 말하면, 센서 어레이(310) 상의 각각의 점 (x',y',λ)의 응답은 근접하게 이격된 점 (x'+∂x',y'+∂y',λ+∂λ)과 별개인 것이 확실하게 된다. 폴리크로매트(320)는 유전 알고리즘(genetic algorithm), 시뮬레이티드 어닐링(simulated annealing), 직접-이진 검색 등의 응용을 포함하는 비선형 최적화를 사용하여 설계될 수 있다.
이미징 디바이스(302) 내의 폴리크로매트(320)를 설계하는 데 사용되는 예시적인 파라미터가 아래에 나타낸 바와 같이 표 1에 예시된다. 이들 파라미터는 전형적인 것이고, 다른 대안의 값이 또한 이용될 수 있다.
[표 1]
Figure 112017103368676-pct00001
도 4a는 이미징 디바이스로의 입사 광(402)의 입사 각을 예시한다. 예를 들어, 입사 광은 폴리크로매트 전방에 있는 렌즈에 충돌할 수 있다. 입사 각은 세타 (θ)에 의해 나타내어질 수 있고, 방위 각은 파이 (φ)에 의해 나타내어질 수 있다. 입사 각은 표면 상에 입사되는 광선과 입사 지점에서 표면에 직각인 선(법선으로서 또한 지칭됨) 사이의 각도를 지칭할 수 있다. 방위 각은 투영된 벡터와 기준 벡터 사이의 각도를 지칭할 수 있다. 바꿔 말하면, 방위 각은 광이 광원으로부터 나오는 나침반 방향이다.
일 예에서, 입사 각은 중간 이미지 평면 내의 위치 (x',y')와 관련될 수 있다 (도 2a에 도시된 바와 같은) 센서 어레이, 폴리크로매트, 및 렌즈를 포함하는 이미징 디바이스의 구성에 대해, 하기의 방정식이 사용될 수 있다: (x' / f) = (1 / tan θ cos φ) 및 (y' / f) = (1 / tan θ cos φ), 여기서 중간 이미지 평면 내의 위치는 (x',y')에 의해 나타내어지고, θ는 입사 각을 나타내고, φ는 방위 각을 나타내고, f는 렌즈의 초점 길이이다.
도 4b는 예시적인 폴리크로매트(404)의 프로파일이다. 전술한 바와 같이, 폴리크로매트(404)는 저-조도 조건에서 동작할 수 있는 이미징 디바이스 내에 포함될 수 있다. 폴리크로매트(404)는 100 × 100 정사각형 픽셀이 될 수 있는데, 이때 각각의 픽셀은 3 μm의 크기를 가질 수 있다. 따라서, 폴리크로매트의 총 치수는 300 μm × 300 μm일 수 있다. 또한, 각각의 픽셀은 (예들 들어) 0 내지 1500 μm의 높이 값과 관련될 수 있고, 이때 0의 값은 흑색이고, 1500의 값은 백색이다. 높이 값은 0으로부터 임의의 원하는 값까지, 전형적으로 수십 마이크로미터까지 변할 수 있다. 그러나, 폴리크로매트(404)는 임의의 센서의 치수 및 요건에 맞도록 설계될 수 있다.
도 5 내지 도 7은 다양한 파장 및 각도에서의 폴리크로매트의 응답을 나타내는 복수의 점-확산 함수의 예를 예시한다. 점-확산 함수는 전술한 이미징 디바이스를 위한 룩업 테이블(lookup table)을 형성할 수 있다. 점-확산 함수는 단일 점 객체의 이미지이다. 바꿔 말하면, 점-확산 함수는 점 객체(또는 점 광원)에 대한 이미징 시스템의 응답을 기술한다. 점 객체의 이미지 내에서 확산하는 (즉, 번지는) 정도는 이미징 시스템의 품질에 대한 척도이다.
도 5 내지 도 7에 도시된 바와 같이, 복수의 공간-분광 점-확산 함수는 규정된 파장에 대한 그리고 다양한 각도에서의 것이다. 도 5 내지 도 7은 각각 450 나노미터(nm), 550 nm, 및 650 nm 파장에 대한 공간-분광 점-확산 함수를 예시한다. 각각의 점-확산 함수에 대한 방위 각(φ)은 0, 90, 180 또는 270도 중 하나일 수 있다. 또한, 각각의 점-확산 함수에 대한 입사 각(θ)은 0, 10 또는 20도 중 하나일 수 있다. 각도 스펙트럼 정보로부터, 이미지의 색상 및 광필드가 전산해석적으로 재구성될 수 있다는 것에 주목하여야 한다.
일 예에서, 이미지의 모의 재구성(simulated reconstruction)이 수행될 수 있다. 이미지는 객체(예컨대, 무작위 객체 또는 인공 컬러 객체)의 것일 수 있다. 인공 컬러 객체는 하기의 표 2에 나타낸 바와 같이 일 세트의 무작위 각도 스펙트럼 계수를 사용하여 합성될 수 있다.
[표 2]
Figure 112017103368676-pct00002
도 8a는 객체(또는 인공 컬러 객체)의 분광-각도 분포를 예시한다. 바꿔 말하면, 도 8a는 합성된 객체의 파장 및 각도 스펙트럼을 예시한다. 파장은 50 nm의 간격을 갖는 400 nm 내지 700 nm의 범위일 수 있다. 따라서, 파장은 400 nm, 450 nm, 500 nm, 550 nm, 600 nm, 650 nm, 및 700 nm일 수 있다. 각도는 표 2에 예시되는 입사 각 (세타) 및 방위 각 (파이)의 9개의 조합으로부터 얻을 수 있다. 입사 각은 0도, 10도 또는 20도 중 하나일 수 있다. 도 8a에 도시된 바와 같이, 각도 1은 0도에 상당하는 세타 및 0도에 상당하는 파이를 나타낼 수 있고, 각도 2는 10도에 상당하는 세타 및 0도에 상당하는 파이를 나타낼 수 있고, 각도 3은 10도에 상당하는 세타 및 90도에 상당하는 파이를 나타낼 수 있고, 기타 등등이다. 방위 각은 0도, 90도, 180도 또는 270도 중 하나일 수 있다. 도 8a에 도시된 바와 같이, 0 내지 1의 값이 각각의 각도 및 파장 쌍(예컨대, 각도 7 및 600 nm의 파장)을 나타내는 데 사용될 수 있다.
도 8b는 객체의 분광 및 각도 정보를 포함하는 합성된 이미지를 예시한다. 합성된 이미지는 모노크롬 이미징 디바이스에 의해 기록될 수 있다. 합성된 이미지는 300 μm × 300 μm의 이미징 영역을 가질 수 있다. 합성된 이미지는 100 × 100 정사각형 픽셀이 될 수 있는데, 이때 각각의 픽셀은 3 μm의 크기를 가질 수 있다. 각각의 픽셀에 대한 세기 레벨은 0 내지 1의 값을 갖도록 정규화될 수 있다. 따라서, 합성된 이미지는 모의 객체(또는 인공 컬러 객체)의 분광 및 각도 정보 둘 모두를 인코딩할 수 있다. 따라서, 그러한 카메라는 흡수가 없는 색상뿐만 아니라 장면의 광필드 정보를 제공할 수 있다.
일 예에서, 이미지의 모의 재구성은 직접-이진 검색(DBS) 알고리즘을 사용하여 수행될 수 있다. 이미지 재구성을 수행하는 데 사용되는 있을 수 있는 파라미터의 목록을 하기의 표 3에 나타낸다.
[표 3]
Figure 112017103368676-pct00003
도 9a는 객체(인공 컬러 객체 또는 모의 객체로서 또한 알려짐)의 원래의 분광 각도 분포를 예시한다. 바꿔 말하면, 도 9a는 모의 객체의 파장 및 각도 스펙트럼을 예시한다. 파장은 50 nm의 간격을 갖는 400 nm 내지 700 nm의 범위일 수 있다. 각도는 입사 각(즉, 0, 10°, 20°) 및 방위 각(0, 90°, 180°, 270°)의 9개의 조합으로부터 얻는다. 도 9a에 도시된 바와 같이, 0 내지 1의 값이 각각의 각도 및 파장 쌍(예컨대, 각도 2 및 450 nm의 파장)을 나타내는 데 사용될 수 있다.
도 9b는 객체의 추출된 분광 각도 분포를 예시한다. 객체의 분광 각도 분포는 도 8b의 수치적으로 합성된 이미지(즉, 모노크롬 센서에 의해 기록되는 합성된 이미지)에 기초될 수 있다. 객체의 추출된 분광 각도 분포는 직접-이진 검색(DBS) 알고리즘을 사용하여 입수될 수 있다. 도 9b에 도시된 바와 같이, 재구성된 분광 각도 분포는 복수의 각도 및 파장에 대해 제공된다.
도 10a는 객체의 분광 및 각도 정보를 포함하는 합성된 이미지를 예시한다. 합성된 이미지는 도 8b에 도시된 것과 동일하다. 합성된 이미지(또는 원래의 카메라-기록 이미지)는 모의된 분광 각도 분포로부터의 것일 수 있다. 합성된 이미지는 모노크롬 이미징 디바이스에 의해 기록될 수 있다. 합성된 이미지는 300 μm × 300 μm의 이미징 영역을 가질 수 있다. 합성된 이미지는 100 × 100 정사각형 픽셀이 될 수 있는데, 이때 각각의 픽셀은 3 μm의 크기를 가질 수 있다. 각각의 픽셀에 대한 세기 레벨은 0 내지 1의 값을 갖도록 정규화될 수 있다. 따라서, 합성된 이미지는 모의 객체(또는 인공 컬러 객체)의 분광 및 각도 정보 둘 모두를 인코딩할 수 있다.
도 10b는 (도 9b에 도시된 바와 같은) 추출된 분광 각도 분포와 (도 5 내지 도 7에 도시된 바와 같은) 다양한 각도에서의 모의된 공간-분광 점-확산 함수를 곱함으로써 재구성된 세기 이미지를 예시한다. 세기 이미지는 300 μm × 300 μm의 이미징 영역을 가질 수 있다. 세기 이미지는 100 × 100 정사각형 픽셀이 될 수 있는데, 이때 각각의 픽셀은 3 μm의 크기를 가질 수 있다. 또한, 각각의 픽셀에 대한 세기 레벨은 0 내지 1의 값을 갖도록 정규화될 수 있다.
도 11은 (도 9a에 도시된 바와 같은) 객체의 원래의 분광 각도 분포와 (도 9b에 도시된 바와 같은) 객체의 추출된 분광 각도 분포 사이의 오차 맵을 예시한다. 오차 맵은 객체의 원래의 분광 각도 분포와 객체의 추출된 분광 각도 분포 사이의 오차(또는 차이)를 표시할 수 있다. 오차 맵은 재구성된 이미지가 원래의 객체와 얼마나 엄밀하게 상관되는 지를 나타낼 수 있다. 바꿔 말하면, 재구성된 이미지와 객체 사이의 차이는 오차 맵을 플로팅함으로써 정량화될 수 있다. 오차 맵은 각각의 각도 및 파장 쌍(예컨대, 각도 5 및 550 nm의 파장)에 대한 오차 값을 나타낸다. 오차 값은 ―1 내지 1의 값을 갖도록 정규화될 수 있다.
도 12는 반복 횟수에 대한 객체의 추출된 분광 각도 분포와 상기 객체의 원래의 분광 각도 분포 사이의 제곱평균제곱근(RMS) 오차를 예시한다. 객체의 추출된 분광 각도 분포는 도 9b에 도시되고, 객체의 원래의 분광 각도 분포는 도 9a에 도시된다. 객체의 추출된 분광 각도 분포와 원래의 분광 각도 분포 사이의 RMS 오차는 직접-이진 검색(DBS)-기반 추출 알고리즘으로 반복 횟수에 대해 플로팅될 수 있다. DBS가 반복적인 알고리즘이므로, RMS 오차는 반복 횟수의 함수로서 플로팅될 수 있다. 도 12에 도시된 바와 같이, 해는 대략 70회의 반복으로 수렴할 수 있다. RMS 오차는 대략 70회의 반복 후에 대략 0.02에서 정상 상태로 유지될 수 있다.
이전에 설명된 바와 같이, 이미지 재구성을 위한 제1 기술은 직접-이진 검색(DBS) 알고리즘을 수반하여 수행될 수 있다. 또한, 이미지 재구성을 위한 제2 기술은 다중-레벨 검색(MLS) 기술을 수반하여 수행될 수 있다. MLS는 DBS에 비해 더 포괄적인 검색을 수행하기 위해 단일 반복으로 다중 높이 레벨에 걸친 검색 방법을 이용한다.
MLS에서의 단일 반복 중, 파장-각도 맵 내의 각각의 픽셀은 무작위 순서로 선택될 수 있다. 각각의 픽셀의 값은 1000개의 레벨(즉, 0.001의 유닛 섭동)로 분할된다. 섭동을 이용하는 DBS와 대조적으로, 이러한 픽셀의 모든 있을 수 있는 값이 평가된다. 예를 들어, 값 0, 0.001, 0.002, … 0.999, 1.000이 픽셀에 대해 평가된다. 모든 이들 값에서의 실제 이미지와 재구성된 이미지 사이의 RMS 오차의 벡터가 발생된다. 최소 RMS 오차가 선택되고, 대응하는 값은 이러한 픽셀에 최적 값으로서 할당된다. 이 과정은 파장-각도 맵 내의 모든 픽셀이 통과될(traversed) 때까지 반복한다. 따라서, 단일 반복 후, 종료 조건이 충족될 때까지 (예컨대, 2회의 반복들 사이의 최소 RMS 개선 또는 최소 개수의 변화된 픽셀), 동일한 과정이 모든 픽셀에 대해 반복된다.
다중-레벨 검색을 수행하는 데 사용되는 있을 수 있는 파라미터의 목록을 하기의 표 4에 나타낸다.
[표 4]
Figure 112017103368676-pct00004
도 13a는 객체(인공 컬러 객체 또는 모의 객체로서 또한 알려짐)의 원래의 분광 각도 분포를 예시한다. 바꿔 말하면, 도 13a는 모의 객체의 파장 및 각도 스펙트럼을 예시한다. 파장은 50 nm의 간격을 갖는 400 nm 내지 700 nm의 범위일 수 있다. 각도는 입사 각(즉, 0, 10°, 20°) 및 방위 각(0, 90°, 180°, 270°)의 9개의 조합으로부터 얻는다. 도 13a에 도시된 바와 같이, 0 내지 1의 값이 각각의 각도 및 파장 쌍(예컨대, 각도 2 및 450 nm의 파장)을 나타내는 데 사용될 수 있다.
도 13b는 객체의 추출된 분광 각도 분포를 예시한다. 객체의 분광 각도 분포는 도 8b의 수치적으로 합성된 이미지(즉, 모노크롬 카메라에 의해 기록되는 합성된 이미지)에 기초될 수 있다. 객체의 추출된 분광 각도 분포는 다중-레벨 검색(MLS) 알고리즘을 사용하여 입수될 수 있다. 도 13b에 도시된 바와 같이, 재구성된 분광 각도 분포는 복수의 각도 및 파장에 대해 제공된다.
도 14a는 객체의 분광 및 각도 정보를 포함하는 합성된 이미지를 예시한다. 합성된 이미지(또는 원래의 카메라-기록 이미지)는 모의된 분광 각도 분포로부터의 것일 수 있다. 합성된 이미지는 모노크롬 센서에 의해 기록될 수 있다. 합성된 이미지는 300 μm × 300 μm의 이미징 영역을 가질 수 있다. 합성된 이미지는 100 × 100 정사각형 픽셀이 될 수 있는데, 이때 각각의 픽셀은 3 μm의 크기를 가질 수 있다. 각각의 픽셀에 대한 세기 레벨은 0 내지 1의 값을 갖도록 정규화될 수 있다. 따라서, 합성된 이미지는 모의 객체(또는 인공 컬러 객체)의 분광 및 각도 정보 둘 모두를 인코딩할 수 있다.
도 14b는 (도 13b에 도시된 바와 같은) 추출된 분광 각도 분포와 (도 5 내지 도 7에 도시된 바와 같은) 다양한 각도에서의 모의된 공간-분광 점-확산 함수를 곱함으로써 재구성된 세기 이미지를 예시한다. 세기 이미지는 300 μm × 300 μm의 이미징 영역을 가질 수 있다. 세기 이미지는 100 × 100 정사각형 픽셀이 될 수 있는데, 이때 각각의 픽셀은 3 μm의 크기를 가질 수 있다. 또한, 각각의 픽셀에 대한 세기 레벨은 0 내지 1의 값을 갖도록 정규화될 수 있다.
도 15는 (도 13a에 도시된 바와 같은) 객체의 원래의 분광 각도 분포와 (도 13b에 도시된 바와 같은) 객체의 추출된 분광 각도 분포 사이의 오차 맵을 예시한다. 오차 맵은 객체의 원래의 분광 각도 분포와 객체의 추출된 분광 각도 분포 사이의 오차(또는 차이)를 표시할 수 있다. 오차 맵은 재구성된 이미지가 원래의 객체와 얼마나 엄밀하게 상관되는 지를 나타낼 수 있다. 바꿔 말하면, 재구성된 이미지와 객체 사이의 차이는 오차 맵을 플로팅함으로써 정량화될 수 있다. 오차 맵은 각각의 각도 및 파장 쌍(예컨대, 각도 1 및 400 nm의 파장)에 대한 오차 값을 나타낸다. 오차 값은 ―1 내지 1의 값을 갖도록 정규화될 수 있다.
도 16은 반복 횟수에 대한 객체의 추출된 분광 각도 분포와 상기 객체의 원래의 분광 각도 분포 사이의 제곱평균제곱근(RMS) 오차를 예시한다. 객체의 추출된 분광 각도 분포는 도 13b에 도시되고, 객체의 원래의 분광 각도 분포는 도 13a에 도시된다. 객체의 추출된 분광 각도 분포와 원래의 분광 각도 분포 사이의 RMS 오차는 다중-레벨 검색(MLS)-기반 추출 알고리즘 알고리즘으로 반복 횟수에 대해 플로팅될 수 있다. (DBS에 비해) 더 포괄적인 검색 방법으로 인해, 해는 감소된 반복 횟수로 수렴할 수 있다. 도 16에 도시된 바와 같이, RMS 오차는 DBS 알고리즘을 사용할 때의 대략 70회의 반복과는 대조적으로, 대략 16회의 반복 후에 대략 0.02에서 정상 상태로 유지될 수 있다.
본 발명의 일 실시예에 따르면, 이미지 캡쳐 디바이스가 개시된다. 이미지 캡쳐 디바이스는 센서 어레이를 포함할 수 있다. 이미지 캡쳐 디바이스는 중간 이미지로부터 제1 거리에 위치되는 렌즈를 포함할 수 있다. 이미지 캡쳐 디바이스는 렌즈로부터 제2 거리에 위치되는 폴리크로매트를 포함할 수 있고, 이 폴리크로매트는 공간 그레이스케일 코드를 사용하여 렌즈 상에 형성된 중간 이미지로부터 색상 정보를 입수하도록; 그리고 중간 이미지의 푸리에 변환을 처리하여 분산된 센서 이미지를 센서 어레이 상으로 형성하도록 구성된다.
하나의 구성에서, 센서 이미지는 컬러 이미지이다. 또 다른 구성에서, 센서 이미지는 모노크롬 이미지이다. 또 다른 구성에서, 중간 이미지는 O(x',y',λ)로서 나타내어지고 센서 이미지는 (x,y)로서 나타내어지는데, 여기서 (x',y')는 중간 이미지의 공간 좌표들이고, λ는 파장이고, (x,y)는 센서 어레이의 공간 좌표들이다. 또 다른 구성에서, 중간 이미지로부터 센서 어레이로의 전달 함수는 P(x,y; x'y',λ)로서 나타내어지고, 여기서 (x',y')는 중간 이미지의 공간 좌표들이고, (x,y)는 센서 어레이의 공간 좌표들이고, λ는 파장이다.
일 예에서, 전달 함수는 중간 이미지를 재구성하기 위해 보정된다. 또 다른 예에서, 중간 이미지는 O(x',y',θ x ,θ y ,λ) = [P(x,y; x',y',θ x ,θ y ,λ)] -1 I(x,y)를 사용하여 재구성되고, 여기서 I(x,y)는 센서 이미지를 나타낸다. 또 다른 예에서, 공간 코드는 센서 이미지를 형성할 때 실질적으로 모든 이용가능한 광자가 사용될 수 있게 한다. 또한, 센서 이미지는 I(x,y) = O(x',y',λ).P(x,y; x'y',λ) = Σa m,n,k P(x,y; x' m ,y' m ,λ k )로서 나타내어지고, 여기서 O(x',y',λ)는 중간 이미지를 나타내고, P(x,y; x',y',λ)는 중간 이미지로부터 센서 이미지로의 전달 함수를 나타내고, a m,n,k 는 좌표 (x' m ,y' m ,λ k )에서의 중간 이미지의 미지의 값들이다.
하나의 구성에서, 센서 이미지는 이미지-캡쳐 디바이스가 저-조도 조건에서 동작할 때 규정된 이미지 품질 레벨에 따른다. 또 다른 구성에서, 제1 거리는 렌즈의 전방-초점 길이와 동일하다. 또 다른 구성에서, 제2 거리는 렌즈의 후방-초점 길이와 동일하다.
일 예에서, 이미지-캡쳐 디바이스는 센서 이미지를 생성하는 흡수 컬러 필터를 포함하지 않는다. 또 다른 예에서, 이미징은 다중 파장들을 사용하여 또는 다중 분광 대역들로 수행된다. 또 다른 예에서, 폴리크로매트는 패터닝된 투명 또는 반투명 기재이다.
전달 함수는 종종 3D(즉, 광 필드 카메라)에 특히 유용할 수 있는 푸리에 변환일 수 있다. 그러나, 푸리에 변환은 전산 집약적일 수 있다. 따라서, 일부 경우에, 실제 공간에서 변환을 이용하는 것이 바람직할 수 있다. 본 응용에서, 색상 정보는 전산해석적으로 입수된다. 이것은 룩업 테이블로서 대량의 데이터를 특성화 및 저장하는 것 등을 수반한다. 이미지의 처리가 푸리에 공간에서 일어날 때에 그러하다. 또 다른 실시예가 유사한 결과를 성취하지만, 색상-정보 처리는 실제 공간에서 일어난다. 이것은 점-확산 함수(또는 시스템의 전달 함수)에 대한 보정 데이터가 매우 희박하게(sparse) 하고 수치적으로 훨씬 더 용이하게 취급되게 한다. 이어서, 압축 감지 및 관련 분야에 사용되는 다양한 알고리즘이 적용되어 색상 및 이미지 세기 정보를 입수할 수 있다.
이러한 실시예에서, 센서 시스템은 종래의 모노크롬 센서(컬러-필터 어레이를 갖지 않음) 및 폴리크로매트로 구성된다. 센서 어레이와 폴리크로매트 사이의 간격은 d이고 수십 나노미터 내지 수 mm 중 어느 값일 수 있다. 그러나, 일단 이러한 간격이 (공간 및 분광 해상도의 선택을 위해, 그리고 혼선(cross-talk) 등을 피하기 위해) 선택되면, 이러한 간격은 고정된다. 임의의 이미징 시스템(카메라, 망원경, 현미경 등)에서와 같은 이미징 광학 기기가 이러한 센서-폴리크로매트 조립체 전방에 위치될 수 있고. 그 결과 최종 이미지는 도 17에 나타낸 바와 같이 폴리크로매트 평면 상에 형성된다. 폴리크로매트(1704)는 광을 이러한 이미지로부터 센서 어레이(1702) 상으로 회절시킨다. 광이 각각의 별개의 이미지 점으로부터 어떻게 회절하는지를 매우 주의 깊게 보정함으로써, 이미지의 색상 및 공간 세부 사항이 하기에 기술된 바와 같이 계산될 수 있다. 이미지는 센서 어레이(1704)의 평면(1706) 상에 형성될 수 있다. 일 실시예에서, 폴리크로매트(1704)와 센서 어레이(1702) 사이의 거리(1706)는 0.05 mm 내지 5 mm의 범위이다. 이미지는 센서 어레이(1704)의 평면(1706) 상에 형성될 수 있다. 광학 기기(1708)는 렌즈와 같은 종래의 이미징 광학 기기를 나타낸다.
이러한 조립체를 보정하는 것에 대한 하나의 간단한 접근법은 도 18에 도시된 바와 같이 핀홀을 폴리크로매트에 근접하게 위치시키는 것이다. 핀홀은 광대역 백색 광원과 같은 적합한 광원에 의해 조명된다. 광원 대역폭은 컬러-이미징 시스템의 의도하는 동작 대역폭을 포함하여야 한다. 렌즈(1802)가 도시된 바와 같이 보정 중에 더 많은 광을 수집하는 데 사용될 수 있지만, 반드시 그런 것은 아니다. 렌즈(1802) 상에 입사되는 입사 광(1804)은 렌즈(1802)가 존재하지 않으면 핀홀(1806) 상에 직접 입사될 수 있다. 핀홀(1806)(및, 사용된다면, 렌즈(1802))은 XY 스테이지 (디포커스(defocus)가 보정되어야 한다면, XYZ 스테이지) 상에 장착된다. 스테이지는 XY 평면에서 그리고 각각의 위치에서 스테핑되고, 센서 어레이(1810) 상의 회절된 이미지가 캡쳐된다. 본 기술 분야의 숙련자가 이해하는 바와 같이, 회절된 이미지는 핀홀의 중심에 정렬되는 센서 픽셀에 상당히 국한되게 될 것이다. 따라서, 센서 어레이(1810) 상의 캡쳐된 이미지는 희박할 것이다. 이어서, 이러한 데이터는 폴리크로매트-센서 조립체의 전달 함수를 나타낸다. 전술한 바와 같이, 다양한 기술을 사용하여 전달 함수를 수치적으로 역변환하여 어떤 임의의 이미지의 세부 사항(색상 및 세기)을 입수할 수 있다.
종종, 도 18에 도시된 바와 같이, 핀홀(1806)을 폴리크로매트(1808)에 근접하게 이동시키는 것이 어려울 수 있다. 이러한 경우에, 도 19에 도시된 바와 같이, 이미지 릴레이 시스템(1902)이 사용될 수 있으며, 여기서 4f 시스템이 핀홀(1806)의 이미지를 폴리크로매트 평면(1906) 상으로 릴레이한다. 일 실시예에서, 4f 시스템에서, 렌즈(1908, 1910)는 f의 초점 길이를 갖고 2f의 길이만큼 서로 분리된다. 렌즈(1910)는 f의 길이만큼 핀홀(1912)로부터 분리될 수 있고, 렌즈(1908)는 f의 길이만큼 폴리크로매트 평면(1906)으로부터 분리된다. 따라서, 도시된 바와 같이, 4f 시스템은 4f의 길이를 갖는다. 4f 시스템 내의 렌즈(1908, 1910)는 도면에서 동일한 것으로 도시되지만, 그래야 하는 것은 아니다. 렌즈들의 초점 길이가 상이하면, 확대 또는 축소가 초래될 것이고, 이는 특정 응용에 유리할 수 있다. 그러나, 이러한 확대율 또는 축소율은 이미지 세부 사항을 계산할 때 전달 함수의 역변환을 행하면서 고려되어야 한다.
하나의 구성에서, 상기 조립체는 단일 핀홀 대신에 핀홀의 어레이를 사용함으로써 감소된 시간 내에 보정될 수 있다. 핀홀의 어레이는 핀홀의 1-차원 어레이 또는 핀홀의 2-차원 어레이일 수 있다. 일 예에서, 어레이 내의 핀홀들 사이의 간격은 2개의 근접하게 이격된 핀홀들(예컨대, 인접한 핀홀들)로부터의 회절된 신호가 센서 어레이(1904) 상에서 중첩되지 않도록 선택될 수 있다. 이어서, 핀홀의 어레이는 핀홀들 사이의 간격에 의해 결정되는 영역에 걸쳐 스캐닝될 수 있다. 이러한 데이터를 캡쳐한 후, 어레이 내의 핀홀로부터의 전달 함수가 컴파일링되어 조립체를 위한 보정 데이터를 입수할 수 있다. 보정 데이터는 이미지-캡쳐 디바이스의 전체 시야로부터 얻은 것일 수 있다. 따라서, 핀홀의 어레이를 사용하는 것은 조립체를 위한 보정 과정을 가속시킬 수 있다.
도 20은 초-격자 회절-필터 어레이로서 또한 지칭될 수 있는 회절-필터 어레이(DFA)(2004)를 포함하는 예시적인 이미징 디바이스(2002)를 도시한다. 더 구체적으로, 도 20은 회절 확산의 크기(extent)를 계산하는 기하학적 구조를 기술한다. 일 실시예에서, 정사각형(2006)은 DFA(2004)의 하나의 초-격자를 나타낸다. 회절-필터 어레이(DFA)(2004)는 주기적인 방식으로 설계될 수 있다. 초-격자 주기는 회절 확산의 최대 크기에 의해 결정될 수 있다. 회절 각, θ는 -sin(θ) + sin(α) = λ/P로서 격자 방정식에 의해 지배되고, 여기서 λ는 관심대상의 최장 파장이고, α는 최대 축외 광선 각도이고, P는 DFA 픽셀의 크기의 2배이다.
비제한적인 예로서, λ = 750 nm, α = 300 및 P = 2 μm이면, θ는 대략 70이다. 또 다른 비제한적인 예로서, 간극 (g) = 10 μm이면, 회절 확산, δ = tan(θ)*g = 1.26 μm이고, 이는 대략 1개의 센서 픽셀이다.
일 예에서, 이러한 DFA(2004)의 점-확산 함수는 공간 변형성(space variant)이다. 바꿔 말하면, 회절 패턴은 파장뿐만 아니라 센서 어레이(2008) 상에서의 센서 픽셀의 위치에도 의존한다. 후자는 상이한 센서 위치가 상이한 축외 광선 각도를 나타낼 수 있다는 사실에 기인한다. 바꿔 말하면, α (즉, 최대 축외 광선 각도)는 고려 중인 센서 픽셀의 위치마다 변화할 수 있다. 2010은 초-격자 경계를 나타낸다.
도 21a는 점-확산 함수(PSF)에서 공간 분산을 갖는 이미징 시스템(2102)의 예를 예시한다. 이미징 시스템(2102)은 렌즈(2104) 및 회절-필터 어레이(DFA)(2106)를 포함한다. 도 21a는 점 A 및 점 B가 렌즈(2104)를 통과한 후에 각각 점 A' 및 B'로서 DFA(2106) 상에 어떻게 입사되는지를 도시한다.
도 21b는 DFA(2108) 및 센서(2110)를 포함하는 이미징 시스템(2102)을 예시하는데, 여기서 각도 α는 주어진 센서 픽셀에 대한 A'의 위치와 관련하여 도시된다. 도 21c는 각도 α가 고려 중인 센서 픽셀 B'의 위치에 따라 A'에 비해 어떻게 변하였는지를 예시하는데, 축외 광선은 회절 패턴을 왜곡할 수 있다. PSF는 센서 픽셀 (x,y)의 위치뿐만 아니라 객체 정보 (x',y', λ)의 함수로서 보정 및 저장될 수 있다.
도 21d에 예시된 바와 같이, 광학 시스템(2114) 및 센서(2110) 내의 대칭(2116)은 PSF 데이터의 양이 감소되게 할 수 있다. 대칭 원리가 적용되어 데이터의 양을 감소시킬 수 있다. 대부분의 광학 시스템은 회전 대칭이고, 센서 픽셀 그 자체는 직사각형 대칭을 갖는다. 따라서, 저장된 PSF 데이터의 양은 (예컨대, 1/4만큼) 감소될 수 있다. 또한, DFA(2108)가 초-격자에 기초하여 주기적이면, PSF는 중심 객체 점에 대해 보정될 수 있다. 이어서, 임의의 다른 점에 대해, 회절된 패턴은 점의 위치 및 광학 시스템(2114)의 설계에 따라 왜곡(또는 회전)될 수 있고, 이는 전체 데이터를 저장하는 대신에 실시간으로 계산될 수 있고, 이로써 저장되어야 하는 데이터의 양이 상당히 감소한다. 따라서, PSF는 센서 픽셀 위치 및 객체 정보의 함수로서 계산될 수 있다.
도 22a 내지 도22c는 실시간 이미징을 위해 대량 병렬 방식으로 다중-분광 이미지 또는 초-분광 이미지를 계산하는 예시적인 기술을 도시한다. 이러한 기술에서, 회절 패턴의 0이 아닌 요소(non-zero element)만이 한번에 고려될 수 있다. (종래의 이미징 시스템에서와 같이 특정 객체 픽셀에 대응하는) 각각의 센서 픽셀의 경우, 도 22a에 예시된 바와 같이 L개의 파장에 대응하는 L개의 PSF(2202)가 있다. (회절 크기에 의해 결정되고 크기 m × n에 의해 규정되는) PSF 행렬의 0이 아닌 요소만이 사용된다. 예시에서, m = n = 3이지만, 이들은 비제한적인 예일 뿐이다. 일부 경우에, m 및 n은 동일하지 않은 값일 수 있다. 도 22b에 도시된 바와 같이, 센서 픽셀(2204) 및 확산의 크기는 센서 픽셀 어레이(2206) 상에 회색으로 표시되고, 관심대상의 센서 픽셀은 흑색으로 도시된다.
제1 단계(2208)로서, m × n 센서 픽셀 내의 색상은 일정할 수 있다. (흑색으로 도시된) 중심 픽셀을 위한 방정식의 선형 시스템은 I = O*P로서 규정되고, 여기서 I는 크기 (m × n)의 측정된 이미지이고, O는 그 센서 픽셀에 대응하는 객체 점이고 크기 (1 × L)로 되어 있고, P는 크기 (L × m × n)의 PSF 행렬이다. 선형 시스템은 도 22b에 도시된 바와 같이 이웃 픽셀과 독립적으로 풀릴 수 있다. 선형 시스템은 m*n >= L에서 풀릴 수 있다. 등식이 성립하면, 행렬은 정방행렬이고 충분한 계수의 것이다. 원칙적으로, 전체 센서에 걸친 방정식의 모든 독립 선형 시스템은 이러한 방식으로 풀릴 수 있다. 전술한 바와 같이, PSF 행렬은 도 21a 내지 도 21d에 예시된 바와 같이 (흑색으로 도시된) 고려 중인 각각의 센서 픽셀에 대해 변한다. 생성되는 대표적인 이미지는 도 22b의 2210 상에 플로팅된다. 도 22c에 도시된 바와 같이, 이러한 과정은 이어서 (PSF를 위한 주기적 경계 조건을 가정한) 초-격자 경계의 적합한 변위 및 (입력된 원뿔 각의 변화를 가정한) PSF의 적합한 조정으로 m × n 앙상블(ensemble) 내의 각각의 센서 픽셀에 대해 반복된다. 각각의 경우에, 도 22b의 우측에 도시된 것과 유사한 이미지가 입수된다. 이들 모든 m × n × L 이미지를 조합함으로써, 전체 다중- 또는 초-분광 이미지가 입수될 수 있다.
일 예에서, 이웃 픽셀의 근접 효과가 설명될 수 있다. 하나의 접근법은 직접-이진 검색과 같은 비선형 최적화를 위한 초기 조건으로서 조합된 이미지를 사용하는 것이다. 이러한 마지막 단계는 오프라인으로 (예컨대, 비-실시간으로) 수행될 수 있다.
도 23a 내지 도 23f는 측정치를 확인하여 이미지 재구성 과정 중에 점-확산 함수(PSF) 행렬의 계수를 증가시키는 예시적인 기술을 도시한다. 일 예에서, 이미지 재구성 과정은 활성 이미징 요소를 사용함으로써 개선될 수 있다. 예를 들어, 이미지 재구성 과정을 단순화하기 위해, PSF 행렬의 계수가 증가될 수 있다. 이는 더 많은 측정치를 입수함으로써 성취될 수 있다. 도 23에 예시된 바와 같이, 다양한 기술이 적용되어 이를 성취할 수 있다. 도 23에 도시된 바와 같이, 각각의 기술은 측정치(방정식)의 개수를 미지수의 개수와 동일하게 하는 단계를 수반할 수 있다.
도 23a에 도시된 바와 같이, 액정(liquid-crystal; LC) 셀(2303)이 조립된 DFA 대신에 사용되고, 센서(2302)와 함께 사용된다. LC 셀(2303)은 픽셀화 방식으로 전기 제어 위상 변위를 도입한다. 따라서, L개의 상이한 위상 패턴이 생성될 수 있고, 센서 어레이 상의 L개의 상이한 이미지가 캡쳐될 수 있다. 이어서, 측정치의 총 개수가 M × N × L로 되고, 이때 M × N은 센서의 총 크기이다. 이제, 방정식의 개수(M × N × L)가 미지수의 개수(M × N × L)와 동일하게 되고, 이러한 선형 시스템은 풀릴 수 있다.
도 23b는 교차된 선형 편광기(2305)를 LC 셀(2303)의 양쪽 면 상에 위치시킴으로써 진폭 변조를 사용하여 다중 측정치가 성취될 수 있는 예를 예시한다. 이러한 기술은 종래의 LC 디스플레이와 유사할 수 있다. 그러나, 이러한 경우에, 편광기(2305)의 낮은 투과성으로 인해 일부 광이 손실된다.
도 23c는 DFA(2304)를 X 및 Y 방향(2306)으로 병진이동시킴으로써 다중 측정치가 입수될 수 있는 예를 예시한다. 병진이동은 그 크기가 픽셀 미만(sub-pixel) 또는 픽셀 초과(super-pixel)일 수 있다. 병진이동은 또한 빠른 진동의 형태가 될 수 있다.
도 23d는 DFA(2304)를 (광학 축을 따라) Z 방향(2308)으로 병진이동시킴으로써 다중 측정치가 입수될 수 있는 예를 예시한다. 디포커스는 회절 패턴을 변화시키고, 따라서 각각의 프레임에 대해 L개의 특유한 측정치를 만들게 한다. 도 23e는 DFA(2304)가 길이방향 축(2310)에 대해 회전되어 다중 측정치를 입수하는 예를 예시한다. 도 23f는 DFA(2304)가 횡방향 축(2312)에 대해 회전되어 다중 측정치를 입수하는 예를 예시한다. 이들 모든 경우에, PSF 데이터는 측정에 사용되는 L개의 구성의 각각에 대해 저장될 수 있다. 또한, 대칭 및 계산이 데이터의 양을 감소시키는 데 사용될 수 있다.
예
이미징 캡쳐 디바이스는 도 2a에 대략 도시된 바와 같이 구성되었다. 도 24a는 회절-필터(2402) 및 센서 어레이(2404)의 일부의 개략도를 예시한다. 회절 필터는 (즉, 픽셀 서브-유닛마다) 폭 3 μm의 특징부 및 18 μm의 주기를 갖는다. 모노크롬 CMOS 센서 어레이(2404)는 6 μm의 픽셀 크기를 가졌다. 도 24b는 조립된 회절 필터의 현미경 사진이다. 경사 조명을 적용하여 콘트라스트(contrast)를 향상시켰다 (삽도(insert)는 더 큰 배율을 갖는 이미지이다). 도 24c는 흑색 박스에 의해 구분되는 도 24b의 회절 요소의 일부의 원자력 현미경 사진이다. 구조물은 1.2 μm의 최대 픽셀 높이를 갖고, 다중-레벨 픽셀 높이 요소이다. 3 μm의 픽셀 크기가 라벨링되고(labeled), 하나의 주기(즉, 서브-유닛)가 백색 점선 박스에 의해 둘러싸여 있다. 회절 요소는 그레이-스케일 리소그래피를 통해 용융 실리카 기재 상에 코팅되는 투명 유전체 재료(시플리(Shipley) 1813 포토레지스트)로 형성되었다. 상용 렌즈(MVL12WA, 토르랩스(Thorlabs))를 회절 필터 전방에 위치시켰다.
이 시스템은 가변 대역통과 필터를 갖는 그리드(grid)를 따라 스테핑되어 조명 파장을 선택하는 핀홀 시스템을 사용하여 보정되었다. 보정은 1회 수행하기만 하면 되고, 동일한 시스템을 사용하여 임의의 이미지 재구성에 사용할 수 있다.
이러한 시스템으로, 전산해석적 리포커싱 및 3D 다중-분광 이미징으로의 확장이 성취될 수 있다. 다중-분광 PSF는 심도(depth-of-field)를 측정하는 것과 유사하게 정초점(in-focus) 객체 평면으로부터 이동된 다양한 평면에서 측정되었다. 이어서, 다중-분광 객체가 정초점 객체 평면으로부터 20 mm만큼 변위된 평면에서 이미징되었다. 예상되는 바와 같이, 정초점 PSF 데이터를 사용하여 계산된 다중-분광 이미지는 상당한 색상 오차 및 잡음으로 왜곡된다. 그러나, 정확한 다중-분광 이미지는 디포커스 평면(+20 mm)으로부터의 PSF 데이터를 단지 사용함으로써 전산해석적으로 입수될 수 있다. 따라서, 이러한 시스템은 다중-분광 PSF 데이터로 3D 공간을 보정함으로써 3D 다중-분광 이미지를 발생시키는 데 사용될 수 있다.
따라서, 회절 필터를 종래의 센서 어레이 위에 단지 위치시키고 선형 재구성 알고리즘을 적용함으로써 분광 및 공간 해상도 둘 모두를 유지하는 전산해석적 다중-분광 비디오 이미징이 제공된다. 이 시스템은 공간 및 분광 변형성 PSF를 나타내고, 여기서 각각의 다중-분광 객체 점 (x,y,λ)는 한 세트의 센서 픽셀 (x',y')로 매핑된다. 이러한 일대다(one-to-many) 매핑은 정규화를 통해 역변환될 수 있는데, 이는 그것이 선형 전달 함수이기 때문이다. 역변환 과정은 다중-분광 이미지의 계산을 가능하게 한다. 종래의 카메라로 성취될 수 있는 것보다 더 높은, 9.6 nm의 분광 해상도 및 4.2 사이클/mm의 공간 해상도가 또한 입증된다.
이러한 회절 필터가 어떠한 광도 흡수하지 않으므로, 센서는 모든 입사 광자를 이용한다. 이는, 베이어 필터에서의 흡수로 인해 평균적으로 광의 2/3가 사용되지 않는 종래의 컬러 카메라와 대조적이다. 베이어 필터를 제거함으로써, CMOS 센서는 전자장치에 널리 사용되는 규소 제조 공정과 완전히 호환가능할 수 있다. 또한, 전산해석적 3D 다중-분광 이미징은 다중-분광 광필드의 전산해석적 획득으로의 확장으로 성취될 수 있다. 이러한 기술은 센서 어레이가 충분한 감도를 보여준다면 전자기 영역의 임의의 부분에 동일하게 적용가능하다.
위의 예는 하나 이상의 특정 응용에서의 본 발명의 원리를 예시하지만, 구현예의 형태, 용도 및 세부 사항에서의 많은 변형이 창의적인 재능의 발휘 없이도 그리고 본 발명의 원리 및 개념으로부터 벗어나지 않고도 행해질 수 있다는 것이 본 기술 분야의 숙련자에게 명백할 것이다. 그러므로, 본 발명은 아래에 기재된 청구범위에 의한 것을 제외하면 제한되지 않는 것으로 의도된다.

Claims (29)

  1. 센서 어레이;
    중간 이미지로부터 제1 거리에 위치되는 렌즈; 및
    렌즈로부터 제2 거리에 위치되는 폴리크로매트(polychromat)를 포함하며,
    폴리크로매트는 변환 함수에 따라 중간 이미지를 회절시켜 분산된 센서 이미지를 센서 어레이 상으로 생성하도록 설계된 가변 물리 높이를 갖는 픽셀로 패터닝되며, 분산된 센서 이미지는 중간 이미지의 공간 코드(spatial code)를 나타내고, 제1 거리가 제2 거리보다 크도록 센서 어레이와 폴리크로매트 사이에 어떠한 이미징 렌즈도 존재하지 않고, 모든 또는 거의 모든 광이 폴리크로매트를 통과하여 센서 이미지 어레이 상으로 가도록 폴리크로매트는 광을 실질적으로 차단하지 않는, 이미지 캡쳐 디바이스(image capturing device).
  2. 제1항에 있어서, 공간 코드는 파장 및 색상 중 적어도 하나의 공간 세기 표현(spatial intensity representation)인, 이미지 캡쳐 디바이스.
  3. 삭제
  4. 제1항에 있어서, 중간 이미지는 O(x',y',λ)로서 나타내어지고 센서 이미지는 I(x,y)로서 나타내어지며, 여기서 (x',y')는 중간 이미지의 공간 좌표들이고, λ는 파장이고, (x,y)는 센서 어레이의 공간 좌표들인, 이미지 캡쳐 디바이스.
  5. 제1항에 있어서, 중간 이미지로부터 센서 어레이로의 전달 함수는 실제 공간 변환, 푸리에 변환, 스칼라 프레넬-키르히호프 회절 방정식(Fresnel-Kirchoff diffraction equation), 또는 맥스웰 방정식(Maxwell's equation)에 기초한 엄밀 광 전파 함수(rigorous light propagation function)인, 이미지 캡쳐 디바이스.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서, 중간 이미지로부터 센서 어레이로의 전달 함수는 P(x,y; x',y',λ)로서 나타내어지고, 여기서 (x',y')는 중간 이미지의 공간 좌표들이고, (x,y)는 센서 어레이의 공간 좌표들이고, λ는 파장이고, 전달 함수는 중간 이미지를 재구성하기 위해 교정되는, 이미지 캡쳐 디바이스.
  10. 삭제
  11. 제1항에 있어서, 센서 이미지는 I( x,y ) = O(x',y',λ).P ( x,y ; x', y',λ) = Σa m,n,k P(x,y; x' m ,y' m ,λ k )로서 나타내어지고, 여기서 O(x',y',λ)는 중간 이미지를 나타내고, P(x,y; x',y',λ)는 중간 이미지로부터 센서 어레이로의 전달 함수를 나타내고, a m,n,k 는 좌표 (x' m ,y' m ,λ k )에서의 중간 이미지의 미지의 값들인, 이미지 캡쳐 디바이스.
  12. 제1항에 있어서, 제1 거리는 렌즈의 전방-초점 길이와 동일하고 제2 거리는 렌즈의 후방-초점 길이와 동일한, 이미지 캡쳐 디바이스.
  13. 삭제
  14. 제1항에 있어서, 센서 이미지를 생성하는 흡수 컬러 필터를 포함하지 않는, 이미지 캡쳐 디바이스.
  15. 제1항에 있어서, 이미징은 다중 파장들을 사용하여 또는 다중 분광 대역들로 수행되는, 이미지 캡쳐 디바이스.
  16. 제1항에 있어서, 폴리크로매트는 패터닝된 투명 또는 반투명 기재(substrate)인, 이미지 캡쳐 디바이스.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제1항에 있어서, 폴리크로매트는 다중-레벨 또는 이진 회절 요소인, 이미지 캡쳐 디바이스.
  21. 삭제
  22. 삭제
  23. 제1항에 있어서, 회절 확산의 레벨을 계산하는 데 사용하는 회절-필터 어레이(diffractive-filter array; DFA)를 추가로 포함하고, DFA의 점-확산 함수(point-spread function; PSF)는 공간 변형성(space variant)이고, DFA는 초-격자에 기초하여 주기적인, 이미지 캡쳐 디바이스.
  24. 제23항에 있어서, PSF는 센서 픽셀 위치 및 객체 정보의 함수로서 계산되는, 이미지 캡쳐 디바이스.
  25. 제23항에 있어서, 다중-분광 이미지 또는 초-분광 이미지는 회절 패턴의 0이 아닌 요소(non-zero element)들에 기초하여 계산되는, 이미지 캡쳐 디바이스.
  26. 제23항에 있어서, 이미지 재구성은 추가적인 측정을 취하여 PSF 행렬의 계수(rank)를 증가시킴으로써 수행되는, 이미지 캡쳐 디바이스.
  27. 렌즈로부터 거리를 두고 위치되는 폴리크로매트를 포함하며,
    상기 폴리크로매트는 중간 이미지를 변환 함수에 따라 회절시켜 분산된 센서 이미지를 센서 어레이 상으로 생성하도록 구성되고, 분산된 센서 이미지는 중간 이미지의 공간 코드를 나타내며, 중간 이미지와 렌즈 간 제1 거리가 제2 거리보다 크도록 센서 어레이와 폴리크로매트 사이에 어떠한 이미징 렌즈도 존재하지 않고, 모든 또는 거의 모든 광이 폴리크로매트를 통과하여 센서 이미지 어레이 상으로 가도록 폴리크로매트는 광을 실질적으로 차단하지 않는
    이미지 캡쳐 디바이스를 위한 구성요소.
  28. 제1항에 있어서, 상기 폴리크로매트는 서브-유닛을 갖는 회절 구조로 구성되며, 상기 서브-유닛은 적외선 광의 가장 짧은 파장보다 크고 가시광의 가장 긴 파장보다 짧은 반복되는 주기성을 갖는, 이미지 캡쳐 디바이스.
  29. 제1항에 있어서, 센서 어레이 내 각각의 센서 픽셀은 컬러 이미지에 대한 개별 공간 픽셀을 나타내는, 이미지 캡쳐 디바이스.
KR1020177030233A 2015-03-24 2016-03-24 공간적으로 코딩된 이미지를 생성하는 이미지 분산부를 갖는 이미징 디바이스 KR102624537B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562137702P 2015-03-24 2015-03-24
US62/137,702 2015-03-24
US201562251010P 2015-11-04 2015-11-04
US62/251,010 2015-11-04
PCT/US2016/024029 WO2016154445A1 (en) 2015-03-24 2016-03-24 Imaging device with image dispersing to create a spatially coded image

Publications (2)

Publication Number Publication Date
KR20170131526A KR20170131526A (ko) 2017-11-29
KR102624537B1 true KR102624537B1 (ko) 2024-01-12

Family

ID=56978956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177030233A KR102624537B1 (ko) 2015-03-24 2016-03-24 공간적으로 코딩된 이미지를 생성하는 이미지 분산부를 갖는 이미징 디바이스

Country Status (7)

Country Link
US (1) US11300449B2 (ko)
EP (1) EP3274673A4 (ko)
JP (1) JP6725526B2 (ko)
KR (1) KR102624537B1 (ko)
CN (1) CN107615022A (ko)
AU (1) AU2016235072A1 (ko)
WO (1) WO2016154445A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107121709B (zh) * 2017-06-01 2023-07-25 华南师范大学 一种基于压缩感知的对象成像系统及其成像方法
CN110785110B (zh) * 2017-06-29 2022-07-12 索尼公司 医学成像系统、方法以及计算机程序产品
US11678035B2 (en) * 2017-10-05 2023-06-13 University Of Utah Research Foundation Translucent imaging systems and related methods
FI3832359T3 (fi) * 2019-01-29 2023-04-25 Korea Advanced Inst Sci & Tech Menetelmä ja laite linssittömän hyperspektraalisen kuvan kuvantamiseksi
KR20200094058A (ko) * 2019-01-29 2020-08-06 한국과학기술원 렌즈리스 초분광 영상 이미징 방법 및 그 장치
WO2020241427A1 (ja) * 2019-05-31 2020-12-03 ソニー株式会社 撮像装置、電子機器、情報処理方法及びプログラム
CN110262045B (zh) * 2019-06-18 2020-10-02 天津大学 一种无衍射二维光学晶格周期快速连续调节方法
US11237053B2 (en) * 2020-02-03 2022-02-01 Viavi Solutions Inc. Optical sensor device
WO2021192891A1 (ja) * 2020-03-26 2021-09-30 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム
KR20230127277A (ko) * 2021-01-27 2023-08-31 니폰 덴신 덴와 가부시끼가이샤 촬상 장치 및 광학소자
CN116848847A (zh) * 2021-01-27 2023-10-03 日本电信电话株式会社 摄像装置和光学元件
CN112985601B (zh) * 2021-02-04 2022-02-11 浙江大学 一种基于衍射的长焦光谱编码成像系统和方法
CN113155284B (zh) * 2021-04-20 2022-07-26 浙江大学 一种折衍射混合的光谱编码成像系统和方法
CN113984206A (zh) * 2021-10-21 2022-01-28 北京航天创智科技有限公司 一种基于多台阶衍射滤光器的快照式光谱成像系统
CN114526816B (zh) * 2021-12-29 2024-03-15 光沦科技(深圳)有限公司 一种微型多光谱-3d多模式相机系统及成像方法
WO2023239096A1 (en) * 2022-06-08 2023-12-14 Samsung Electronics Co., Ltd. Restoring images using deconvolution

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013104789A (ja) 2011-11-14 2013-05-30 Ricoh Co Ltd 撮像装置及び撮像方法
WO2013129921A1 (en) 2012-02-27 2013-09-06 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Spectral imager

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4255019A (en) 1979-04-09 1981-03-10 Rca Corporation Diffractive color filter
US5046827C1 (en) 1989-07-20 2001-08-07 Honeywell Inc Optical reconstruction filter for color mosaic displays
JP2861525B2 (ja) 1991-09-10 1999-02-24 松下電器産業株式会社 波長選択性位相格子光学的ローパスフィルタ
JPH07234309A (ja) 1993-12-23 1995-09-05 Xerox Corp バイナリ回折光学素子ビーム分割器
US6101034A (en) 1996-02-09 2000-08-08 Cox; James Allen Tunable multispectral optical filter and imaging apparatus
US6781701B1 (en) * 2001-04-10 2004-08-24 Intel Corporation Method and apparatus for measuring optical phase and amplitude
US6654521B2 (en) * 2002-01-23 2003-11-25 Teraxion Inc. Diffraction compensation of FBG phase masks for multi-channel sampling applications
US7031054B2 (en) 2002-10-09 2006-04-18 The Regent Of The University Of Colorado Methods and systems for reducing depth of field of hybrid imaging systems
WO2005069216A1 (ja) * 2004-01-15 2005-07-28 Matsushita Electric Industrial Co., Ltd. 光学的伝達関数の測定方法、画像復元方法、およびデジタル撮像装置
JP4269056B2 (ja) * 2004-09-07 2009-05-27 国立大学法人山梨大学 高密度光くし型フィルタ及びその作製方法
US7283232B2 (en) 2005-06-06 2007-10-16 Duke University Optical spectroscopy with overlapping images
US7894058B2 (en) 2008-01-11 2011-02-22 California Institute Of Technology Single-lens computed tomography imaging spectrometer and method of capturing spatial and spectral information
US8351031B2 (en) * 2009-06-05 2013-01-08 Spectral Sciences, Inc. Single-shot spectral imager
AU2010306070B2 (en) * 2009-10-14 2013-10-10 The University Of Sydney Integrated photonic spectrograph
FR2959903B1 (fr) 2010-05-04 2012-07-27 Astrium Sas Procede d'imagerie polychrome
KR20130099119A (ko) 2010-09-27 2013-09-05 메사추세츠 인스티튜트 오브 테크놀로지 초고효율 색채 혼합 및 색채 분리
US9723230B2 (en) * 2012-11-30 2017-08-01 University Of Utah Research Foundation Multi-spectral imaging with diffractive optics
US10395134B2 (en) * 2013-07-26 2019-08-27 University Of Utah Research Foundation Extraction of spectral information
CN109163805B (zh) * 2014-11-19 2022-03-22 松下知识产权经营株式会社 分光系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013104789A (ja) 2011-11-14 2013-05-30 Ricoh Co Ltd 撮像装置及び撮像方法
WO2013129921A1 (en) 2012-02-27 2013-09-06 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Spectral imager

Also Published As

Publication number Publication date
EP3274673A1 (en) 2018-01-31
WO2016154445A1 (en) 2016-09-29
JP6725526B2 (ja) 2020-07-22
CN107615022A (zh) 2018-01-19
KR20170131526A (ko) 2017-11-29
US20180052050A1 (en) 2018-02-22
JP2018511253A (ja) 2018-04-19
US11300449B2 (en) 2022-04-12
AU2016235072A1 (en) 2017-10-19
EP3274673A4 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
KR102624537B1 (ko) 공간적으로 코딩된 이미지를 생성하는 이미지 분산부를 갖는 이미징 디바이스
CN109716176B (zh) 用于深度采集和三维成像的光场成像装置和方法
KR102040368B1 (ko) 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너
US10642056B2 (en) Multispectral or hyperspectral imaging and imaging system based on birefringent subwavelength resonating structure
US9880053B2 (en) Image pickup apparatus, spectroscopic system, and spectroscopic method
WO2019202890A1 (ja) カラー撮像素子および撮像装置
US7835002B2 (en) System for multi- and hyperspectral imaging
Wang et al. Computational multispectral video imaging
US7894058B2 (en) Single-lens computed tomography imaging spectrometer and method of capturing spatial and spectral information
CN108780142A (zh) 3d成像系统和方法
US9438793B2 (en) Image forming apparatus, image forming method and image sensor
US9343491B2 (en) Spectral imaging sensors and methods
US9426383B1 (en) Digital camera for capturing spectral and spatial information
US11640040B2 (en) Simultaneous focal length control and achromatic computational imaging with quartic metasurfaces
US20220206205A1 (en) Systems and methods for parallel polarization analysis
JP2016090291A (ja) 撮像装置、分光システム、および分光方法
US10031267B2 (en) Optical element having two phase masks
Brady et al. Compressive optical MONTAGE photography
US20230127827A1 (en) Broadband Diffractive Optical Element
JP2016090290A (ja) 撮像装置、分光システム、および分光方法
US20220229213A1 (en) Diffraction element and imaging device
WO2022162800A1 (ja) 撮像装置及び光学素子
Wu et al. Study of an NIR digital micromirror device-based snapshot spectral imaging system
Xu et al. C-Silicon-based metasurfaces for aperture-robust spectrometer/imaging with angle integration
OHTERA Single-shot spectral sensor utilizing multilayer-type pixel-scale filter array

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant