KR102391632B1 - 광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법 - Google Patents

광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법 Download PDF

Info

Publication number
KR102391632B1
KR102391632B1 KR1020197000382A KR20197000382A KR102391632B1 KR 102391632 B1 KR102391632 B1 KR 102391632B1 KR 1020197000382 A KR1020197000382 A KR 1020197000382A KR 20197000382 A KR20197000382 A KR 20197000382A KR 102391632 B1 KR102391632 B1 KR 102391632B1
Authority
KR
South Korea
Prior art keywords
grating
light field
diffraction
diffraction grating
imaging device
Prior art date
Application number
KR1020197000382A
Other languages
English (en)
Other versions
KR20190020730A (ko
Inventor
조나단 이콜라 사리
지호 초
Original Assignee
애어리3디 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애어리3디 인크. filed Critical 애어리3디 인크.
Publication of KR20190020730A publication Critical patent/KR20190020730A/ko
Application granted granted Critical
Publication of KR102391632B1 publication Critical patent/KR102391632B1/ko

Links

Images

Classifications

    • H01L27/14607—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46—Systems using spatial filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1842—Gratings for image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G02B5/1871—Transmissive phase gratings
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H01L27/14621—
    • H01L27/14627—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/199—Back-illuminated image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H10F39/8027—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Optical Filters (AREA)

Abstract

광 필드 이미징 장치 및 방법이 제공된다. 상기 장치는 장면으로부터 파면을 수신하고 하나 이상의 회절 격자를 포함하는 회절 격자 조립체를 포함할 수 있으며, 각각은 회절된 파면을 생성하기 위해 격자 축을 따라 격자 주기를 가지고 상기 파면을 회절시킨다. 상기 장치는 또한 상기 회절 격자 조립체 아래에 배치되고 상기 장면에 대한 광 필드 이미지 데이터를 제공하기 위해 근거리 회절 영역에서 상기 회절된 파면을 검출하는 픽셀 어레이를 포함할 수 있다. 상기 픽셀 어레이는 상기 격자 주기보다 작은 상기 격자 축을 따르는 픽셀 피치를 갖는다. 상기 장치는 상기 픽셀 어레이한 검출 이전에 상기 회절된 파면을 공간-크로마틱하게(spatio-chromatically) 샘플링하기 위해 상기 픽셀 어레이 위해 배치된 컬러 필터 어레이를 더 포함할 수 있다. 상기 장치 및 방법은 배면-조명된(backside-illuminated) 센서 아키텍처(architecture)로 구현될 수 있다. 상기 장치 및 방법에서 사용하기 위한 회절 격자 조립체가 개시되어 있다.

Description

광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법
일반적인 기술 분야는 이미징 시스템 및 방법에 관한 것으로, 보다 자세하게는 깊이(depth) 획득 및 3차원(3D) 이미징을 위한 광 필드 이미징 장치 및 방법에 관한 것이다.
전통적인 이미징 하드웨어(hardware)는 복잡한 3차원(3D) 장면을 단순화된 2차원(2D) 평면에 투영하여 입사광의 고유한 차원을 유지한다. 이러한 정보의 손실은 전하 결합 소자(Charge-Coupled Device, CCD)나 시모스(Complementary Metal-Oxide-Semiconductor, CMOS) 센서 어레이와 같은 제곱 검파기(square-law detector)의 특성에 직접적으로 따른 결과이며, 이 제곱 검파기는 위상 φ, 또는 파동 벡터 k, 또는 각 주파수
Figure 112019001370724-pct00001
가 아닌 입사광의 평균 강도I 만을 측정할 수 있다.
Figure 112019001370724-pct00002
(1)
이 제약 조건 내에서 작업하는 플렌옵틱(plenoptic) 카메라는 동시에 여러 번 획득한 이미지의 비교 분석, 복잡한 기계 학습 및/또는 재구성 기술, 또는 활성 조명기 및 센서의 사용을 통해 깊이 정보를 복구해야 한다. 플렌옵틱 카메라는 일반적으로 관찰자 또는 점에 충돌하는 광 필드를 매개 변수화하는 "플렌옵틱 함수"를 통해 장면을 설명한다.
P=P(x,y,
Figure 112019001370724-pct00003
,t,Vx,Vy,Vz,p), (2)
여기서 x 및 y 좌표는 위치 (Vx, Vy, Vz)에서 관측자가 목격한 바와 같이 파장
Figure 112019001370724-pct00004
및 편광각 p에 대한 시간 t에서의 특정 이미지 평면을 정의한다. 단일 또는 다중 센서 기반 시스템일 수도 있지만, 현재의 플렌옵틱 카메라는 최소한 센서 어레이의 주어진 픽셀에 의해 탐지된 빛의 강도에만 의존할 수 있다. 실제적으로 스테레오비전(stereovision) 또는 마이크로렌징(microlensing)과 같은 기존 솔루션은, 깊이를 식별하는데 필요한 다양한 필드를 수용하기 위해 다중 센서 또는 센서 세분화를 이용하여 전반적인 이미지 품질과 센서 풋프린트(footprint)를 희생시킨다.
무작위의 2진법의(binary) 폐쇄(occlusion) 마스크 및 코딩된 조리개(aperture)는 패키징 또는 전반적인 풋프린트에 미치는 영향을 최소화하면서 단일 센서 솔루션을 제공하는 기존의 다른 접근 방식이다. 그러나, 압축 센싱(compressed sensing) 및 비선형 재구성 기술(non-linear reconstruction technique)의 발전에도 불구하고, 이러한 솔루션은 막대한 이미지 사전(dictionary) 및 관련된 계산 비용으로 인해 여전히 어려움을 겪고 있다.
비행 시간(Time-of-flight) 및 구조화된 빛 기반 기술(structured-light based technique)은 펄스의(pulsed), 패턴된(patterned) 또는 변조된 연속파(continuous-wave) 적외선을 사용하여 장면을 활발히 조명하고, 전체 왕복 이동(return-trip travel) 시간 또는 조명된 광 패턴의 미세한 변화를 통해 깊이를 결정한다. 이러한 기술은 이미지 분할로 인해 어려움을 겪지는 않지만, 일반적으로, 전력 소비뿐만 아니라 전반적인 장치 풋프린트를 증가시키는 추가적인 능동형 적외선 방출기와 감지기가 필요하다. 유사하게, 이러한 기술은 간섭 신호(interfering signal), 정반사(specular reflection) 및 주변 적외선에 민감한 경향이 있으므로, 야외에서의 생존 가능성을 제한한다.
그러므로, 도전은 광 필드 이미징의 분야에 남아있다.
장면에 관한 광 필드 이미지 데이터를 캡처할 수 있는 광 필드 이미지 장치를 제공하고자 한다.
본 명세서는 일반적으로 깊이 맵핑(depth mapping) 및 다른 3D 이미징 어플리케이션을 위한 광 필드 이미징 기술에 관한 것이다.
일 실시예에 따르면, 장면에 관한 광 필드 이미지 데이터를 캡처하기 위한 광 필드 이미징 장치가 제공되며, 상기 광 필드 이미징 장치는
상기 장면으로부터 파생된 광학 파면(optical wavefront)을 수신하도록 구성된 회절 격자 조립체; 상기 회절 격자 조립체는 격자 축을 갖는 회절 격자와 상기 격자 축을 따라 격자 주기를 갖는 굴절률 변조 패턴을 포함하고, 상기 회절 격자는 회절된 파면(diffracted wavefront)을 생성하기 위해 상기 광학 파면을 회절시키며,
상기 회절 격자 조립체 아래에 배치된 복수개의 감광(light-sensitive) 픽셀(pixel)을 포함하고, 상기 회절된 파면을 상기 광 필드 이미지 데이터로서 검출하는 픽셀 어래이를 포함하고, 상기 픽셀 어레이는 상기 격자 간격보다 작은 상기 격자 축을 따르는 픽셀 피치(pitch)를 갖는다.
일부 실시예에서, 상기 회절된 파면은 상기 격자 축을 따라 강도 프로파일(intensity profile)을 가지며, 상기 픽셀 어레이는 상기 회절된 파면의 상기 강도 프로파일이 상기 격자 주기와 실질적으로 일치하는 공간 주기(spatial period)를 갖는 이격 거리만큼 상기 회절 격자로부터 분리된다.
본 발명의 다른 측면에 따르면, 장면에 관한 광 필드 이미지 데이터를 캡처하기 위한 배면-조명된(backside-illuminated) 광 필드 이미징 장치가 제공되며, 상기 배면-조명된 광 필드 이미징 장치는,
전면 및 배면을 갖는 기판(substrate);
상기 기판의 배면 상에 배치되고 상기 장면으로부터 발생하는 광학 파면을 수신하도록 구성된 회절 격자 조립체; 상기 회절 격자 조립체는 격자 축을 갖는 회절 격자와 상기 격자 축을 따르는 격자 주기를 갖는 굴절률 변조 패턴을 포함하고, 상기 회절 격자는 회절된 파면을 생성하기 위해 상기 광학 파면을 회절시키며,
상기 기판에 형성되고, 상기 배면을 통해 수신하고, 상기 광 필드 이미지 데이터로서 상기 회절된 파면을 검출하도록 구성된 복수개의 감광 픽셀을 포함하는 픽셀 어레이; 상기 픽셀 어레이는 상기 격자 주기보다 작은 상기 격자 축을 따르는 픽셀 피치를 가지며,
상기 전면 아래에 배치되고 상기 픽셀 어레이와 결합된 픽셀 어레이 회로를 포함한다.
일부 실시예에서, 상기 회절된 파면은 상기 격자 축을 따라 강도 프로파일을 가지며, 상기 픽셀 어레이는 상기 회절된 파면의 상기 강도 프로파일이 상기 격자 주기와 실질적으로 일치하는 공간 주기(spatial period)를 갖는 이격 거리만큼 상기 회절 격자로부터 분리된다.
본 발명의 다른 측면에 따르면, 광 필드 이미징 장치가 제공되며, 상기 광 필드 이미징 장치는,
격자 축을 갖는 회절 격자 및 상기 격자 축을 따라 격자 주기를 갖는 굴절률 변조 패턴을 포함하는 회절 격자 조립체; 및
상기 회절 격자 아래에 배치된 복수개의 감광 픽셀를 포함하는 픽셀 어레이를 포함하되, 상기 픽셀 어레이는 상기 격자 축을 따라 상기 격자 주기보다 작은 픽셀 피치를 갖는다.
다른 측면에 따르면, 장면에 관한 광 필드 이미지 데이터를 캡처하기 위한 복수개의 감광 픽셀을 갖는 픽셀 어레이를 포함하며 이미지 센서와 사용하기 위한 회절 격자 조립체가 제공되며, 상기 회절 격자 조립체는 격자 축을 갖는 회절 격자와 상기 격자 축을 따라 격자 주기를 갖는 굴절률 변조 패턴을 포함하고, 상기 격자 주기는 상기 격자 축을 따르는 상기 픽셀 어레이의 픽셀 피치보다 크며, 상기 회절 격자는 상기 광 필드 이미지 데이터로서 상기 감광 픽셀에 의한 검출을 위해 회절된 파면(diffracted wavefront)을 생성하기 위해 상기 장면으로부터 발생하는 광학 파면을 수신하고 회절시키도록 구성되고, 상기 회절 격자 조립체는 상기 픽셀 어레이 위에 배치되도록 구성된다.
일부 실시에서, 상기 회절 격자 조립체는 상기 회절된 파면이 상기 격자 축을 따라 상기 격자 주기와 실질적으로 일치하는 공간 주기를 갖는 강도 프로파일을 갖는 이격 거리만큼 상기 픽셀 어레이로부터 분리되도록 구성된다.
또 다른 측면에 따르면, 장면에 관한 광 필드 이미지 데이터를 캡처하는 방법이 제공되며, 상기 방법은,
회절된 파면을 생성하기 위해 격자 축을 따라 격자 주기를 갖는 회절 격자를 이용하여 상기 장면으로부터 파생된 광학 파면을 회절시키는 단계; 및
상기 회절 격자의 아래에 배치된 복수개의 감광 픽셀을 포함하는 픽셀 어레이를 이용하여 상기 광 필드 이미지 데이터로서 상기 회절된 파면을 검출하는 단계를 포함하며, 상기 픽셀 어레이는 상기 격자 주기보다 작은 상기 격자 축을 따르는 픽셀 피치를 갖는다.
일부 실시예에서, 상기 회절된 파면은 상기 격자 축을 따라 강도 프로파일(intensity profile)을 가지며, 상기 픽셀 어레이는 상기 회절된 파면의 상기 강도 프로파일이 상기 격자 주기와 실질적으로 일치하는 공간 주기(spatial period)를 갖는 이격 거리만큼 상기 회절 격자로부터 분리된다.
또 따른 측면에 따르면, 장면을 보는 이미지 센서에 3차원 이미징 기능을 제공하고, 복수개의 감광 픽셀을 갖는 픽셀 어레이를 포함하는 방법이 제공되며, 상기 방법은,
상기 이미지 센서의 전방에 회절 격자 조립체를 배치하는 단계; 상기 회절 격자 조립체는 격자 축 및 상기 격자 축을 따라 격자 주기를 갖는 회절 격자를 포함하고, 상기 격자 주기는 상기 격자 축을 따르는 상기 픽셀 어레이의 픽셀 피치보다 크며,
상기 회절된 파면을 생성하기 위해 상기 회절 격자로 상기 장면으로부터 발생하는 광학 파면을 수신하고 회절시키는 단계; 및
상기 감광 픽셀로 상기 회절된 파면을 검출하는 단계를 포함한다.
일부 실시예에서, 이미지 센서의 전방에 회절 격자 조립체를 배치하는 단계는, 상기 회절된 파면이 상기 격자 주기와 실질적으로 일치하는 공간 주기로 상기 격자 축을 따라 강도 프로파일을 갖는 상기 픽셀 어레이로부터 이격 거리에 상기 회절 격자 조립체를 위치시키는 단계를 포함한다.
일부 실시예에서, 상기 광 필드 이미징 장치는, 감광 요소들의 어레이; 각각의 컬러 필터가 상기 감광 요소들 중 적어도 하나를 커버하도록 감광성의(photosensitive) 요소들의 상기 어레이와 겹치고 정렬된 컬러 필터의 어레이; 상기 컬러 필터는 모자이크 컬러 패턴에 따라 공간적으로 배열되며, 및 상기 컬러 필터의 어레이 위로 연장되는 회절 격자 구조를 포함할 수 있다.
일부 실시예에서, 상기 광 필드 이미징 장치는, 장면으로부터 입사하는 광학 파면에 노출된 회절 격자 구조; 상기 회절 격자 구조는 상기 광학 파면을 회절 시켜서 회절된 파면을 생성하며, 모자이크 컬러 패턴에 따라 공간적으로 배열된 컬러 필터의 어레이; 상기 컬러 필터의 어레이는 상기 회절 격자 구조 아래에서 연장되고, 상기 모자이크 패턴에 따라 상기 회절된 파면을 공간-크로마틱하게(spatio-chromatically) 필터링하여 공간적으로 분리된 복수개의 파면 요소를 포함하는 필터링된 파면을 생성하고, 및 상기 필터링된 파면을 광 필드 이미지 데이터로서 검출하는 감광 요소의 어레이를 포함할 수 있으며, 상기 감광 요소의 어레이는 각각의 감광 요소가 공간적으로 분산된 파면 요소 중 적어도 하나를 검출하도록 상기 컬러 필터의 어레이 아래에 배치되고 정렬된다.
일부 실시예에서, 상기 방법은 회절된 파면을 생성하기 위해 장면으로부터 입사하는 광학 파면을 회절시키는 단계; 모자이크 컬러 패턴에 따라 공간적으로 배열된 컬러 필터의 어레이를 통해 상기 회절된 파면을 필터링함으로써, 복수개의 공간적으로 분산된 파면 성분들을 포함하는 필터링된 파면을 얻는 단계; 각각의 감광 요소가 공간적으로 분산된 파면 요소 중 대응하는 하나의 적어도 일부를 검출하도록 상기 컬러 필터의 어레이 아래에 정렬된 감광 요소의 어레이로 광 필드 이미지 데이터로서 상기 필터링된 파면을 검출하는 단계를 포함한다.
일부 실시예에서, 상기 방법은 회절된 파면을 생성하기 위해 장면으로부터 입사하는 광학 파면을 회절시키는 단계; 복수개의 공간적으로 분포되고 스펙트럼적으로 필터링된 파면 요소를 포함하는 필터링된 파면을 생성하는 상기 회절된 파면을 스펙트럼적으로 그리고 공간적으로 필터링하는 단계; 복수개의 배열된 감광 요소에서 공간적으로 분포되고 스펙트럼적으로 필터링된 상기 복수개의 파면 요소를 광 필드 이미지 데이터로서 검출하는 단계를 포함한다.
본 명세서의 다른 특징 및 이점은 단지 첨부된 도면을 참조하여 예로서 주어진 특정 실시 예의 비-제한적인 설명을 읽을 때 더욱 명백해질 것이다.
본 발명의 실시예들에 따르면, 장면에 관한 광 필드 이미지 데이터를 캡처할 수 있다.
도 1은 가능한 실시예에 따른 광 필드 이미징 장치의 개략적인 사시도이다.
도 2는 도 1의 광 필드 이미징 장치의 개략적인 부분 분해 사시도이다.
도 3은 또 다른 가능한 실시예에 따른 광 필드 이미징 장치의 개략적인 부분 분해 사시도로서, 각 컬러 필터는 2x2 블록의 감광 픽셀 위에 놓인다.
도 4는 또 다른 가능한 실시예에 따른, 광 필드 이미징 장치의 개략적인 사시도로서, 광 필드 이미징 장치는 단색 이미징 어플리케이션을 위해 구성된다.
도 5는 도 4의 광 필드 이미징 장치의 개략적인 부분 분해 사시도이다.
도 6은 또 다른 가능한 실시예에 따른, 광 필드 이미징 장치의 개략적인 부분 분해 사시도로서, 광 필드 이미징 장치는 컬러 필터 어레이의 상부에 마이크로렌즈(microlens) 어레이를 포함한다.
도 7은 또 다른 가능한 실시예에 따른 광 필드 이미징 장치의 개략적인 부분 분해 측면도로서, 장치를 통과하는 광의 파면의 전파(propagation)가 개략적으로 도시되어 있다. 도 7의 광 필드 이미징 장치는 단색 이미징 어플리케이션에 적합하다.
도 8a 내지 도 8c는 광 필드 이미징 장치의 3개의 다른 가능한 실시예의 개략적인 부분 분해 측면도로서, 장치를 통한 광의 파면의 전파가 개략적으로 도시된다. 도 8a에서, 각각의 감광 픽셀은 하나의 리지(ridge)와 하나의 그루브(groove) 사이의 전이와 수직으로 정렬된다. 도 8b에서, 격자 축을 따른 픽셀 피치에 대한 격자 주기의 비율은 4와 동일하다. 도 8c에서, 회절 격자의 듀티 사이클(duty cycle)은 50%와 다르다.
도 9a 및 도 9b는 광 필드 이미징 장치의 2개의 다른 가능한 실시예의 개력적인 부분 투명한 평면도로서, 회절 격자의 격자 축은 2개의 직교 픽셀 축 중 하나에 대해 비스듬하다.
도 10은 또 다른 가능한 실시예에 따른, 광 필드 이미징 장치의 개략적인 부분 분해 측면도로서, 장치를 통과하는 광의 파면의 전파가 개략적으로 도시된다. 도 10의 광 필드 이미징 장치는 컬러 이미징 어플리케이션에 적합하다.
도 11은 또 다른 가능한 실시예에 따른 광 필드 이미징 장치의 개략적인 사시도로서, 회절 격자 조립체는 바둑판 패턴을 형성하도록 행과 열 모두에서 교대하도록 배열된 2세트의 직교 배향된 회절 격자들을 포함한다.
또한, 도 12a 내지 도 12c는 2차원 배열로 배열된 복수개의 회절 격자를 포함하는 회절 격자 조립체의 다른 실시 예를 도시한다.
도 13은 또 다른 가능한 실시예에 따른 광 필드 이미징 장치의 개략적인 사시도로서, 회절 격자 조립체는 컬러 필터들의 어레이를 형성하는 복수개의 회절 격자를 포함하며, 각각은 회절 격자들 중 각각의 회절 격자에 의해 구현된다.
도 14는 또 다른 가능한 실시예에 따른 광 필드 이미징 장치의 개략적인 측면도로서, 광 필드 이미징 장치는 회절 격자 조립체에 도달하기 전에 장면으로부터 시작된 광학 파면을 공간-스펙트럼적으로(spatio-spectrally) 확산시키기 위해 회절 격자 조립체의 전방에 배치된 분산 광학을 포함한다.
도 15는 또 다른 가능한 실시예에 따른 전면 조명 구성의 광 필드 이미징 장치의 개략적인 측면도이다.
도 16은 또 다른 가능한 실시예에 따른 배면 조명 구성의 광 필드 이미징 장치의 개략적인 측면도이다.
도 17은 가능한 실시예에 따른, 장면에 관한 광 필드 이미지 데이터를 캡처하기 위해 복수개의 감광 픽셀을 갖는 픽셀 어레이를 포함하는 이미지 센서에서 사용하기 위한 회절 격자 조립체의 개략적인 사시도이다.
도 18은 가능한 실시예에 따른, 장면에 관한 광 필드 이미지 데이터를 캡처하는 방법의 흐름도이다.
도 19는 가능한 실시예에 따른, 장면을 보는 이미지 센서에 3D 이미징 기능을 제공하고 감광 픽셀의 어레이를 포함하는 방법의 흐름도이다.
본 명세서에서, 도면들에서의 유사한 특징들은 유사한 참조 번호들이 주어지고, 도면들을 과도하게 방해하지 않기 위해, 일부 요소들은 이전의 도면에서 이미 정의된 경우 일부 도면 상에 표시되지 않을 수도 있다. 또한 도면의 요소는, 본 실시예의 구성 요소 및 구조를 명확하게 설명하기 위해 강조되었기 때문에, 반드시 축척대로 도시되지는 않는다는 것을 이해해야 한다.
본 명세서에서 달리 언급하지 않는 한, 용어 "연결된(connected)", "결합된(coupled)" 및 이의 변형 및 파생어는, 2개 이상의 요소 사이의 직접 또는 간접 연결(connection) 또는 결합(coupling)을 나타낸다. 요소들 간의 연결 또는 결합은 기계적, 광학적, 전기적, 작동적 또는 이들의 조합일 수 있다. 또한, 다른 요소(element)에 대한 하나의 요소의 위치 또는 방향을 나타내는 위치와 관련된 기술어 및 다른 유사한 용어가, 설명의 용이함 및 명확성을 위해, 본 명세서에서 사용되며, 달리 지시되지 않는 한, 도면의 문맥에서 취해지며, 제한적인 것으로 간주되어서는 안된다. 이러한 공간적으로 관련된 용어는, 도면에 예시된 방향 이외에, 본 실시예의 사용 또는 작동에 있어서 상이한 방향을 포함하도록 의도된 것으로 이해될 것이다. 보다 구체적으로, 본 설명에서, 2개의 요소의 상대적인 공간 관계를 특정할 때의 "상의(over)"및 "하의(under)"이라는 용어는 2개의 요소가 서로 직접 접촉되거나 1개 이상의 보조 요소(intervening element)에 의해 서로 분리될 수 있음을 나타낸다.
본 명세서에서, 용어 "하나의(a)", "하나의(an)" 및 "하나(one)"은 특별히 언급되지 않는 한, "적어도 하나(at least one)"를 의미하는 것으로 정의되며, 즉 복수개의 항목을 배제하지 않는다.
본 명세서는 일반적으로 장면으로부터 나오는 광학 파면에 관한 광 필드 정보 또는 이미지 데이터를 획득하기 위한 광 필드 이미징 기술에 관한 것이다. 다양한 측면들에 따르면, 본 설명은, 예를 들어 배면-조명된(backside-illuminated) 광 필드 이미징 디바이스와 같은 조명에 대한 광 필드 이미지 데이터를 캡처하기 위한 광 필드 이미징 장치; 장면에 관한 광 필드 이미지 데이터를 얻기 위해 이미지 센서와 함께 사용되는 회절 격자 조립체; 장면에 관한 광 필드 이미지 데이터를 캡처하는 방법; 및 장면을 보는 이미지 센서 어레이에 3차원(3D) 이미징 기능을 제공하는 방법에 관한 것이다.
일부 실시예에서, 본 기술은, 적절한 크로마틱(chromatic) 인코딩(encoding) 메커니즘(mechanism)과 쌍을 이루는 하나 이상의 회절 광학 요소뿐만 아니라, 3D 이미징에서의 그것의 사용에 의한 회절의 색 의존성의 특정 조작 및 비교를 가능하게 한다. 일부 실시예에서, 본 명세서에 개시된 광 필드 이미징 장치 및 방법은 관찰 가능한 장면으로부터 비롯된 광학 파면의 입사각 및 강도뿐만 아니라, 회절의 크로마틱 의존성을 직접 측정할 수 있도록 생성된 간섭 패턴의 특정 공간-스펙트럼의(spatio-spectral) 서브샘플링(subsampling)을 통해 파장에 민감하다. 광 필드 정보 또는 이미지 데이터는, 관찰 가능한 장면으로부터 나오는 광학 파면의 강도뿐만 아니라 광학 파면의 입사각, 위상(phase), 파장 및 편광을 제한 없이 포함하는 다른 광 필드 매개변수(parameter)들에 대한 정보를 포함할 수 있다. 따라서, 깊이 카메라(depth camera)와 같은 광 필드 이미징 장치는, 일반적으로 빛의 강도만 기록하는 기존 카메라보다 많은 정보를 수집할 수 있다. 광 필드 이미징 장치에 의해 캡처된 이미지 데이터는, 3D 깊이 맵 추출(3D depth map extraction), 3D 표면 재구성, 이미지 리포커싱(refocusing) 등을 포함하지만, 이에 한정되지 않는 다수의 기능을 제공하기 위해 다양한 방식으로 사용되거나 처리될 수 있다. 어플리케이션에 따라, 관찰 가능한 장면의 광 필드 이미지 데이터는, 하나 이상의 스틸 이미지(still image) 또는 비디오 스트림(video stream)으로 획득될 수 있다.
본 기술은, 예를 들어 사용자가 장면의 캡처된 이미지의 초점, 시야(point of view) 및/또는 필드의 깊이를 변경할 수 있게 하기 위해, 강화된 깊이 감지(depth sensing) 및 다른 3D 이미징 기능을 필요로 하거나 이로부터 이득을 얻을 수 있는 이미징 어플리케이션에 사용될 수 있다. 본 기술은 플렌옵틱 기술을 사용하는 광 필드 이미징 어플리케이션, 회절의 크로마틱 의존성에 대한 비교 분석을 통한 다양한 어플리케이션, 및 단일-센서(single-sensor) 단일-이미지(single-image) 깊이 획득 어플리케이션을 제한 없이 포함하는 다양한 유형의 3D 이미징 시스템 및 방법에 적용되거나 구현될 수 있다. 본 기술의 특정 구현의 비-철저한(Non-exhaustive) 장점 및 이점은, 그들의 기능을 수행하는데 더 적은 전력을 사용하는 수동 감지 방식과의 호환성; 풋프린트(footprint)가 감소된 단일-센서 아키텍처(architecture)와의 호환성; 2D 성능을 보존하면서 깊이 매핑(mapping) 기능의 가능성, 기존의 이미지 센서 하드웨워 및 제조 프로세스에 간단하고 저렴한 비용으로 통합, 및 깊이 감지를 위한 능동 광 시스템이 장착된 듀얼 카메라 또는 카메라와 같은 여러 구성 요소에 대한 필요성 제거를 포함할 수 있다.
본 명세서에서, "광(light)"및 "광학(optical)"이라는 용어는 전자기 스펙트럼의 임의의 적절한 영역에서 방사선을 지칭하는데 사용된다. 보다 구체적으로, 용어 "광" 및 "광학"은 가시 광(visible light)에 한정되지 않고, 테라헤르츠(terahertz)(THz), 적외선(infrared)(IR) 및 자외선(ultraviolet)(UV) 스펙트럼 밴드(spectral band)을 포함하는 전자기 스펙트럼의 보이지 않는 영역을 포함할 수 있다. 일부 실시예에서, 용어 "광" 및 "광학"은, 예를 들면, 가시 스펙트럼의 청색 단부에서 약 400nm부터 원거리통신(telecommunication) 파장에서 약 1550nm까지, 또는 일반적인 적-녹-청(red-green-blue, RGB) 컬러 필터의 스펙트럼 범위와 일치시키기 위해 약 400nm 내지 약 650nm의 범위와 같은, 원 자외선에서 약 175 나노미터(nm) 범위 및 테라헤르츠 범위에서 약 300 마이크로미터(micrometer)(μm) 범위의 파장을 갖는 전자기 방사선을 포함할 수 있다. 그러나, 통상의 기술자는, 이러한 파장 범위가 단지 예시적인 목적으로 제공되며, 본 기술은 이 범위를 초과하여 작동할 수 있음을 이해할 것이다.
본 설명에서, 용어 "컬러(color)" 및 "크로마틱(chromatic)" 및 그 변형 및 파생어는 가시적인 전자기 방사선(예를 들어, 적색, 녹색 및 청색)의 인간 인지의 통상적인 상황에서 사용될 뿐만 아니라, 전자기 스펙트럼의 임의의 적절한 영역에 대한 스펙트럼 특성(예를 들어, 회절, 투과, 반사, 분산, 흡수)를 설명하기 위해 광범위하게 사용될 수 있다. 이러한 맥락에서, 달리 명시되지 않는 한, 용어 "컬러"와 "크로마틱"과 그 파생어는 "스펙트럼(spectral)"이라는 용어 및 그 파생어와 호환하여 사용될 수 있다.
[광 필드 이미징 장치 구현]
도 1 및 도 2를 참조하면, 관찰 가능한 장면(22)에 대한 광 필드 또는 깊이 이미지 데이터를 캡처하기 위한 광 필드 이미징 장치(20)의 예시적인 실시예의 개략도가 제공된다. 본 명세서에서, "광 필드 이미징 장치(light field imaging device)"라는 용어는, 장면으로부터 나오는 광 필드 또는 파면을 나타내는 이미지를 획득 할 수 있으며, 이미지 평면에서의 광 강도뿐만 아니라, 예를 들어, 광선이 장치로 들어가는 방향 및 광 필드의 스펙트럼과 같은 다른 광 필드 매개변수에 대한 정보를 포함할 수 있는 이미지 캡처(capture) 장치를 포괄적으로 지칭한다. 본 명세서에서, "광 필드 이미징 장치"라는 용어는 "광 필드 카메라(light field camera)", "광 필드 이미저(light field imager)", "광 필드 이미지 캡처 장치(light field image capture device)", "깊이 이미지 캡처 장치(depth image capture device)", "3D 이미지 캡처 장치(3D image capture device)"와 같은 용어와 상호 교환 가능하게 사용될 수 있다.
도시된 실시예에서, 광 필드 이미징 장치(20)는 장면(22)으로부터 시작되는 광학 파면(26)을 수신하도록 구성된 회절 격자 조립체 또는 구조(24)를 포함한다. 회절 격자 조립체(24)는, 각각 격자 축(30)을 갖는 적어도 하나의 회절 격자(28) 및 격자 축(30)을 따라 격자 주기(34)를 갖는 굴절률 변조 패턴(32)을 포함할 수 있다. 도 1 및 도 2에서, 회절 격자 조립체(24)는 단일 회절 격자(28)를 포함하지만, 후술하는 바와 같이, 다른 실시예에서 회절 격자 조립체는 하나 이상의 회절 격자를 포함할 수 있다. 회절 격자(28)는 입사 광학 파면(26)을 회절시키도록 구성되어, 회절 파면(36)을 생성한다. 입사 광학 파면(26) 및 회절된 파면(36)이 회절 격자(28)의 대향하는 측면 상에 놓이기 때문에, 도 1 및 도 2에서 회절 격자(28)는 전송에 사용된다.
도 1 및 도 2를 계속 참조하면, 또한 광 필드 이미징 장치(20)는 회절 격자 조립체(24) 아래에 배치되고 장면(22)에 대한 광 필드 이미지 데이터로서 회절된 파면(36)을 검출하도록 구성된 복수개의 감광 픽셀(40)을 포함하는 픽셀 어레이(38)를 포함한다. 컬러 실시예에서, 광 필드 이미징 장치(20)는 또한, 픽셀 어레이(38) 위에 배치된 컬러 필터 어레이(42)를 포함할 수 있다. 컬러 필터 어레이(42)는 모자이크 컬러 패턴으로 배열된 복수개의 컬러 필터(44)를 포함하며, 각각은 컬러 필터 어레이(42)의 각 위치에서 컬러 정보를 캡처하기 위해 파장별로 입사광을 필터링한다. 컬러 필터 어레이(42)는 복수개의 감광 픽셀(40)에 의한 회절된 파면(36)의 검출 이전에 모자이크 컬러 패턴에 따라 회절된 파면(36)을 공간적으로 및 스펙트럼적으로 필터링하도록 구성된다. 따라서, 상술한 바와 같이, 픽셀 어레이에 의한 검출 전에 회절 격자 조립체에 의해 생성된 회절된 파면을 직접적으로 공간-크로마틱(spatio-chromatic) 서브샘플링(subsampling)을 수행하기 위해 컬러 필터 어레이를 제공함으로써, 광 필드 이미징 장치는 광의 입사 파면의 각도 및 강도뿐만 아니라 그것의 스펙트럼 내용에도 민감할 수 있다.
컬러 필터 어레이는, 예를 들어 단색 이미징(monochrome imaging)과 같은 일부 어플리케이션에서는 제공될 필요가 없다는 것을 알아야 한다. 또한, 감광 픽셀에 의해 검출된 파면은 단색 및 컬러 구현 모두에서 "회절된 파면(diffracted wavefront)"으로 일반적으로 지칭 될 것이지만, 후자의 경우, "필터링된 파면(filtered wavefront)"또는 "필터링된 회절된 파면(filtered diffracted wavefront)"은 일부 경우에서, 회절 격자 조립체에 의해 생성된 회절된 파면이 하부 픽셀 어레이에 의한 검출 이전에 컬러 필터 어레이에 의해 공간적으로 및 스펙트럼적으로 필터링된다는 사실을 나타내기 위해 사용될 수 있다. 또한, 컬러 필터 어레이가 제공되지 않는 일부 실시예에서, 회절 격자가 컬러 필터로서 작용할 수 있다는 것을 알 수 있다. 예를 들어, 회절 격자는 그 위에 형성된 굴절률 변조 패턴을 갖는 상부 표면을 갖는 격자 기판을 포함할 수 있으며, 격자 기판은 복수개의 감광 픽셀에 의한 회절된 파면의 검출 이전에 파장에 따라 회절된 파면을 스펙트럼적으로 필터링하도록 구성된 스펙트럼 필터 재료(material) 또는 영역을 포함한다. 예를 들어, 스펙트럼 필터 재료 또는 영역은 적색 통과 필터(red pass filter), 녹색 통과 필터(green pass filter) 및 청색 통과 필터(blue pass filter) 중 하나로서 작용할 수 있다.
어플리케이션 또는 사용에 따라, 광 필드 이미징 장치의 실시예는 다양한 이미지 센서 아키텍처(architecture) 및 픽셀 어레이 구성을 사용하여 구현될 수 있다. 예를 들어, 일부 실시예에서, 광 필드 이미징 장치는 픽셀 어레이 및 컬리-기반(color-based) 어플리케이션에서 컬러 필터 어레이를 포함하는 기존의 이미지 센서의 상부에 회절 격자 어셈블리를 추가하거나 커플 링함으로써 간단히 구현 될 수 있다. 예를 들어, 기존의 이미지 센서는 종래의 2D CMOS 또는 CCD 이미저(imager)일 수 있다. 그러나, 다른 실시예에서, 광 필드 이미징 장치는, 그 구성 요소(예를 들어, 회절 격자 조립체, 픽셀 어레이, 컬러 필터 어레이)의 전부 또는 대부분을 통합하는 별도의(separate), 전용의(dedicated) 및/또는 맞춤-설계된(custom-designed) 장치로서 구현되고 필수적으로 패키징될(packaged) 수 있다.
광 필드 이미징 장치의 다른 가능한 구성 요소뿐만 아니라, 이전 단락에서 도입된 구성 요소의 구조, 구성 및 작동에 관한 보다 상세한 설명이 아래에서 설명될 것이다.
도 1 및 도 2에 도시된 실시예에서, 회절 격자(28)는 컬러 필터 어레이(42) 위로 연장되는 격자 기판(46)을 포함한다. 격벽 기판(46)은 주기적인 굴절률 변조 패턴(32)이 형성된 상부 표면(48) 및 하부 표면(50)을 갖는다. 격자 기판(46)은 회절된 파면(36)이 그것을 통해 전달될 수 있도록 스펙트럼 작동 범위에서 투명하거나 충분히 투명한 재료로 제조된다. 이러한 재료의 비-제한적인(Non-limiting) 예는 실리콘 산화물(SiOx), 폴리머(polymer), 콜로이드 입자, SU-8 포토레지스트(photoresist), 유리를 포함한다. 예를 들어, 일부 실시예에서, 회절 격자(28)는 약 400nm 내지 약 1550nm 범위의 파장대역에서 광학 파면(26)을 회절 시키도록 구성될 수 있다.
당 업계에 공지된 바와 같이, 회절은, 전자기 또는 다른 방법으로 파면이 물리적 물체(object) 또는 굴절률 섭동(perturbation)을 겪을 때, 발생한다. 파면은 물체의 가장자리 주위에서 구부러지는 경향이 있다. 파면이 주기적이든 아니든 간에 여러 물체를 만나게 되면, 영(Young)의 이중 슬릿 실험에서 보여주듯이, 해당 웨이블릿(wavelets)은 초기 발생과 약간의 거리를 두고 간섭할 수 있다. 이러한 간섭은 파면의 입사각 및 스펙트럼 내용에 민감한 원래의 만남(encounter)으로부터의 거리 및 마주치는 물체의 일반적인 크기, 모양 및 상대적인 공간 관계에 대한 함수로서, "회절 패턴(diffraction pattern)"또는 "간섭 패턴(interference pattern)"으로 지칭되는 구별되는 패턴을 생성한다. 이러한 간섭은, 하위언스(Huygens-Fresnel) 원리에 의해 기술된 바와 같이, 대응하는 각각의 웨이블릿의 진화하는 상대적인 프론트(front)를 통해 기술될 수 있다.
본 명세서에서, 용어 "회절 격자(diffraction grating)"또는 간단히 "격자(grating)"는 일반적으로 그것에 입사하는 광학 파면의 진폭 및/또는 위상을 공간적으로 변조하는 주기적으로 변조된 광학 특성(예를 들어, 굴절률 변조 패턴)을 갖는 주기적인 구조를 지칭한다. 회절 격자는, 공간 주기(spatial period)-격자 주기(grating period)가 빛의 파장과 거의 같거나 약간 더 긴 회절 요소(예를 들어, 교대로 형성된 리지(ridge) 및 그루브(groove))의 주기적인 배열을 포함할 수 있다. 회절 격자에 입사하는 파장의 범위를 포함하는 광학 파면은, 회절시 진폭(amplitude) 및/또는 위상이 수정되어, 결과적으로 공간 및 시간에 의존하는 회절된 파면이 생성된다. 일반적으로, 회절 격자는 스펙트럼적으로 분산되어, 입력 광학 파면의 각 파장이 상이한 방향을 따라 출력된다. 그러나, 작동 스펙트럼 범위에 걸쳐 실질적으로 아크로마틱(achromatic) 응답을 나타내는 회절 격자가 존재하며, 일부 실시예에서 사용될 수 있다. 예를 들어, 일부 실시예에서, 회절 격자는 관심 있는 스펙트럼 범위에서 아크로마틱할 수 있고, 관심 있는 스펙트럼 범위의 중심 파장을 위해 설계될 수 있다. 보다 상세하게는, 베이어(Bayer) 패턴화된 컬러 필터 어레이의 경우, 회절 격자는 녹색 채널, 즉 약 532nm의 중심 파장 주위에 최적화될 수 있다. 회절 격자가 아크로마틱할 경우, 그것은 회절된 파면의 회절 패턴의 크로마틱 서브-샘플링(sub-sampling)을 제공하는 컬러 필터 어레이의 모자이크 컬러 패턴이다.
회절 격자를 형성하는 회절 요소가 투과형인지 또는 반사형인지에 따라, 회절 격자는 "투과형 격자(transmission grating)"또는 "반사형 격자(reflection grating)"로 지칭될 것이다. 본 명세서에서 개시된 실시예에서, 회절 격자는 투과형 회절 격자이지만, 반사형 회절 격자의 사용은 선험적으로(priori) 배제되지 않는다. 회절 격자는 또한 회절 요소의 특성에 따라 "진폭 격자(amplitude grating)"또는 "위상 격자(phase grating)"로 분류될 수 있다. 진폭 격자에서, 격자에 의해 야기되는 초기 파면에 대한 섭동(perturbation)은 직접 진폭 변조의 결과이며, 위상 격자에서, 이러한 섭동은 격자 재료의 굴절률의 주기적인 변화에 의해 야기되는 광의 상대적인 그룹-속도(group-velocity)의 특정 변조의 결과이다. 본 명세서에 개시된 실시예에서, 회절 격자는 위상 격자이지만, 다른 실시예에서는 진폭 격자가 사용될 수 있다.
도 1 및 도 2의 도시된 실시예에서, 회절 격자(28)는 위상 격자이며, 보다 구체적으로는 굴절률 변조 패턴(32)이, 격자 주기(34)에서 주기적으로 이격된(spaced-apart) 그루브(54)의 시리즈로 인터리브되는(interleaved), 격자 주기(34)에서 주기적으로 이격된 리지(52)의 시리즈(series)를 포함하는 2진법의(binary) 위상 격자이다. 따라서, 굴절률 변조 패턴(32)의 공간 프로파일(profile)은 격자 주기(34)가 격자 축(30)을 따라 하나의 리지(52) 및 하나의 인접한 그루브(54)의 폭의 합에 대응하는 2-레벨 스텝(two-level step) 함수 또는 구형파(square-wave) 함수를 나타낸다. 일부 실시예에서, 격자 주기(34)는 다른 실시예에서는 가능하지만, 약 1㎛ 내지 약 20㎛의 범위일 수 있다. 도 1 및 도 2의 도시된 실시예에서, 그루브(54)는 공백(즉, 공기로 채워짐)이지만, 그들은 선택적으로 리지 재료의 굴절률과 상이한 굴절률을 갖는 재료로 채워질 수 있다. 또한, 응용에 따라서, 회절 격자(28)는 50%와 실질적으로 동일한 또는 상이한 듀티 사이클(duty cycle)을 가질 수 있고, 듀티 사이클은 격자 주기(34)에 대한 리지 폭의 비율로서 정의된다. 회절 격자(28)의 또 다른 파라미터는, 단차(step height)(56), 즉 리지(52)와 그루브(54) 사이의 높이 차이이다. 예를 들어, 일부 실시예에서, 단차(56)는 약 0.2㎛ 내지 약 1㎛의 범위일 수 있다. 일부 실시예에서, 단차(56)는, 회절 격자(28)가 인접한 리지(52)와 그루브(54) 사이에 미리결정된 광학 경로 차이를 야기하도록 선택될 수 있음을 알아야 한다. 예를 들어, 단차(56)는 주어진 파장 및 광학 파면의 입사각(예를 들어, 그 중심 파장)에서 리지와 그루브 사이의 반-파장(half-wave) 광 경로 차이를 제공하도록 제어될 수 있다. 물론, 다른 광학 경로 차이 값이 다른 실시예에서 사용될 수 있다.
도 1 및 도 2의 실시예에서의 회절 격자(28)는 구형파 굴절률 변조 패턴(32)을 형성하는 평행한 리지(52) 및 그루브(54)의 교대하는 세트로 이루어진 선형 또는 1차원, 2진법의 위상 격자이며, 다른 실시예는 상이한 유형의 회절 격자를 채택할 수 있다. 예를 들어, 다른 실시예는 격자 주기, 듀티 사이클 및 단차 중 적어도 하나가 가변적인 회절 격자; 격자 축에 수직인 비-직선(non-straight) 피처을 갖는 회절 격자; 보다 정교한 굴절률 프로파일을 갖는 회절 격자; 2D 회절 격자; 등을 사용할 수 있다. 회절된 파면의 특성은 격자 파라미터의 적절한 선택에 의해 맞출 수 있음을 이해할 수 있을 것이다. 회절 격자의 작동 및 광 필드 이미징 장치의 다른 구성 요소와의 위치 결정 관련 및 광학적 결합에 관한 보다 상세한 설명이 아래에서 더 설명될 것이다.
계속 도 1 및 도 2를 참조하면, 전술한 바와 같이, 픽셀 어레이(38)는, 그 자체가 외절 격자 조립체(24)의 아래에 배치되는 칼라 필터 어레이(42) 아래에 배치된 복수개의 감광 픽셀(40)을 포함한다. "픽셀 어레이(pixel array)"라는 용어는, 전형적으로 검출된 방사선을 전기적 데이터로 변환함으로써, 일반적으로 관찰 가능한 장면으로부터 그곳에 입사하는 전자기 방사선을 검출하도록 구성된, 여기서 "감광 픽셀(light-sensitive pixel)" 또는 단순히 "픽셀(pixel)"로 지칭되는 복수개의 광센서(photosensor)로 구성된 센서 어레이를 지칭한다. 본 발명에서, 광 필드 이미지 데이터로서 감광 픽셀(40)에 의해 검출되는 전자기 복사는, 픽셀 어레이(38)에 도달하기 전에 회절되고, 선택적으로, 공간-크로마틱하게 필터링된 장면(22)으로부터 입사하는 광학 파면(26)에 대응한다. 픽셀 어레이(38)는 CMOS 또는 CCD 이미지 센서에 의해 구현될 수 있지만, 다른 유형의 광검출기(photodetector) 어레이(예를 들어, 전하 주입 장치 또는 광다이오드(photodiode) 어레이)가 대안적으로 사용될 수 있다. 상술한 바와 같이, 픽셀 어레이(38)는 스펙트럼의 임의의 적절한 영역에서 전자기 방사선을 검출하도록 구성될 수 있다. 어플리케이션에 따라, 픽셀 어레이(38)는 롤링(rolling) 또는 글로벌 셔터 판독 디자인(global shutter readout design)에 따라 구성될 수 있다. 아래에서 보다 상세히 설명되는 바와 같이, 픽셀 어레이(38)는 적층형, 배면 또는 전면 조명 센서 아키텍처의 일부일 수 있다. 픽셀 어레이(38)는 예를 들어 4/3″, 1″, 2/3″, 1/1.8″, 1/2″, 1.27″, 1/3″, 1/3.2″, 1/3.6″, 35mm 등의 임의의 표준 또는 비-표준 광학 포맷일 수 있지만, 이에 한정되지 않는다. 또한, 픽셀 어레이(38)는 콘트라스트(contrast) 또는 위상-검출 자동초점 메커니즘(phase-detection autofocus mechanism) 및 이들 각각의 픽셀 구조를 포함할 수 있다. 본 명세서에서, "픽셀 어레이(pixel array)"라는 용어는 "광검출기 어레이(photodetector array)", "광센서 어레이(photosensor array)", "이미저 어레이(imager array)"등과 같은 용어와 상호 교환 가능하게 사용될 수 있음에 유의해야 한다.
픽셀 어레이(38)의 각각의 감광 픽셀(40)은, 그것에 입사하는 회절된 파면(36)의 공간 부분을 축적된 전하(charge)로 변환할 수 있으며, 그 양은 픽셀(40)에 의해 수집되고 등록된 광의 양에 비례한다. 각각의 감광 픽셀(40)은 감광 표면 및 픽셀 레벨에서 신호를 처리하고 판독 장치와 같은 다른 전자 장치와 통신하기 위한 관련 픽셀 회로를 포함 할 수 있다. 통상의 기술자는 다양한 다른 컴포넌트가 각각의 픽셀의 픽셀 회로에 통합 될 수 있음을 이해할 것이다. 일반적으로, 감광 픽셀(40)는 개별적으로 어드레스되고(addressed) 판독될 수 있다.
계속 도 1 및 도 2를 참조하면, 감광 픽셀(40)은 2 개의 직교 픽셀 축(58, 60)에 의해 정의된 행 및 열의 사각형 격자로 배열될 수 있으며, 행 및 열의 수는 픽셀 어레이(38)의 해상도를 결정한다. 예를 들어, 일부 실시예에서, 픽셀 어레이(38)는 적어도 16픽셀(pixel)의 해상도를 가질 수 있지만, 다른 실시예에서는 최대 40메가픽셀(megapixel) 이상을 포함하는 광범위한 다른 해상도 값이 사용될 수 있다. 감광 픽셀(40)은 도 1 및 도 2의 실시예에서 2D 어레이(2D array)로 편성되지만, 이들은 다른 실시예에서 대안적으로 선형 어레이(linear array)로서 구성될 수 있다. 또한, 도 1 및 도 2의 실시예에서 감광 픽셀(40)은 정사각형이지만, 1:1의 픽셀 종횡비에 대응하여, 다른 실시예에서는 다른 종횡비 값이 사용될 수 있다.
픽셀 어레이(38)는 또한 픽셀 피치(62)에 의해 특성화될 수 있다. 본 명세서에서, 용어 "픽셀 피치(pixel pitch)"는 일반적으로 각각의 픽셀(40) 사이의 간격을 지칭하며, 전형적으로는 인접한 픽셀(40) 사이의 중심-대-중심(center-to-center) 거리로서 정의된다. 픽셀 어레이(38)의 물리적 배치에 따라, 2개의 직교 픽셀 축(58, 60)을 따르는 픽셀 피치(62)는 동일하거나 동일하지 않을 수 있다. 픽셀 피치는 임의의 축을 따라, 예를 들어 2개의 직교 픽셀 축(58, 60)에 대해 45°로 배향된 대각선의 축을 따라 정의될 수 있음을 알아야 한다. 또한, 본 기술에서, 도 1 및 도 2에 도시된 바와 같이, 관련 픽셀 피치(62)는 상부의 회절 격자(28)의 격자 축(30)을 따른 것이다. 후술하는 바와 같이, 회절 격자(28)의 격자 주기(34)는, 격자 축(30)을 따르는 픽셀 어레이(38)의 픽셀 피치(62)보다 크게 선택된다. 예를 들어, 일부 실시예에서, 다른 실시예에서 상이한 픽셀 피치 값이 사용될 수 있지만, 격자 축(30)을 따르는 픽셀 피치(62)는 1㎛ 내지 10㎛ 이하의 범위일 수 있다.
본 명세서에서, "픽셀 데이터(pixel data)"라는 용어는 각각의 개별 픽셀에 의해 캡처된 이미지 정보를 지칭하며, 통합 기간에 걸쳐 각각의 개별 픽셀에 의해 흡수되는 광학 에너지의 총량을 나타내는 강도 데이터를 포함할 수 있다. 모든 픽셀(40)로부터의 픽셀 데이터를 결합하는 것은, 장면(22)에 관한 광 필드 이미지 데이터를 산출한다. 본 기술에서는, 검출 전에 장면(22)으로부터 입사하는 광학 파면(26)이 회절되고 공간적으로 및 스펙트럼적으로 필터링되기 때문에, 광 필드 이미지 데이터는 입사 파면(26)의 강도뿐만 아니라 입사각, 위상 및 스펙트럼 내용과 같은 다른 광 필드 매개변수에 대한 정보를 제공할 수 있다. 특히, 본 기술은 이하에서 더 설명되는 바와 같이, 픽셀 어레이(38)에 의해 캡처된 강도-기반 회절 패턴으로부터 깊이 또는 다른 광 필드 정보의 회복 또는 추출을 허용할 수 있음을 이해할 수 있을 것이다.
도 1 및 도 2를 계속 참조하면, 컬러 필터 어레이(42)는, 각각의 컬러 필터(44)가 감광 픽셀(40) 중 대응하는 하나에 광학적으로 결합되도록, 픽셀 어레이(38)와 공간적으로 등록된다(registered). 즉, 각각의 컬러 필터(44)는, 컬러 필터(44)와 감광 픽셀(40) 사이에 일대일(one-to-one) 관계 또는 매핑(mapping)이 존재하도록, 단일 감광 픽셀(40)을 덮는다. 그러나, 다른 구현들에서, 각각의 컬러 필터는 복수개의 감광 픽셀 중 적어도 2개의 대응하는 감광 픽셀에 광학적으로 결합될 수 있다. 예를 들어, 도 3을 간단히 참조하면, 컬러 필터 어레이(42)의 각각의 컬러 필터(44)가 감광 픽셀(40)의 그룹 또는 서브세트(subset), 즉 감광 픽셀(40)의 2Х2블록 위에 놓이는 광 필드 이미징 장치(20)의 다른 실시예가 도시된다. 도 1과 도 2의 실시예 및 도 3의 실시예에서, 아래에서 상세히 설명되는 바와 같이, 컬러 필터 어레이(42) 및 픽셀 어레이(38)는 위에 놓이는(overlying) 회절 격자 조립체(24)에 의해 생상된 회절된 파면의 공간-크로마틱 샘플링을 가능하게 한다.
용어 "컬러(color)"및 "크로마틱(chromatic)"과 관련하여 전술한 바와 같이, "컬러 필터(color filter)"및 "컬러 필터링(color filtering)"과 같은 용어는, 가시 범위 내에서뿐만 아니라 적절한 스펙트럼 범위의 "스펙트럼 필터(spectral filter)"및 "스펙트럼 필터링(spectral filtering)"과 동등한 것으로서 이해되어야 한다. 적용에 따라, 컬러 필터는, 예를 들어 염료-기반(dye-based) 컬러 필터를 사용하여, 원하지 않는 스펙트럼 요소의 흡수를 통해 스펙트럼 필터링을 달성할 수 있지만, 본 기술의 범위를 벗어나지 않는 한 다른 필터링 원리가 사용될 수 있다.
도 1 및 도 2를 참조하면, 컬러 필터(44)는 모자이크 컬러 패턴 또는 구성에 따라 물리적으로 구성된다. 일부 실시예에서, 각각의 컬러 필터(44)는 적색 통과 필터, 녹색 통과 필터 및 청색 통과 필터 중 하나이다. 예를 들어, 도시된 실시예에서, 컬러 필터 어레이(42)의 모자이크 컬러 패턴은, 교대로 적색(R) 및 녹색(G) 필터의 행을 갖는 바둑판 패턴으로 배열된 컬러 필터가 녹색(G) 및 청색(B) 필터가 교대로 배열된 행으로 인터리브되는(interleaved) 베이어 패턴(Bayer pattern)이다. 당 업계에 공지된 바와 같이, 모자이크 컬러 패턴의 녹색 성분이 적색 및 청색 성분보다 더 조밀하게 샘플링되도록, 베이어 패턴은 적색 또는 청색 필터보다 2배 많은 녹색 필터를 포함한다. 다른 실시예에서, 모자이크 컬러 패턴은, 예를 들어 n-픽셀(n-pixel) 단위 셀을 갖는 베이어-타입(Bayer-type) 패턴과 같은 보다 정교한 베이어-형 패턴에 의해 구현될 수 있으며, 여기서 n은 4보다 큰 정수이다. 물론, 본 기술은 베이어-타입 패턴에 한정되지 않으며, RGB, RGB-IR, RGB-W, CYGM, CYYM, RGBE, RGBW #1, RGBW #2, RGBW #3, 및 흑백을 포함하지만 이에 한정되지 않는 임의의 적절한 모자이크 컬러 패턴에 적용될 수 있다. 일부 실시예에서, 컬러 필터 어레이(42)는 초분광(hyperspectral) 이미징 및 필터링 기술 또는 간섭계(interferometric) 필터링 기술을 포함하도록 표준 가시 베이어 패턴을 넘어서 연장될 수 있음에 주의해야 한다. 그러한 실시예에서, 회절 격자(28)의 설계(예를 들어, 격자 주기(34))는 증가된 스펙트럼 샘플링 범위를 수용하도록 조정될 수 있다.
이제 도 4 및 도 5를 참조하면, 흑백 이미징 어플리케이션에 적합한 광 필드 이미징 장치(20)의 다른 실시예가 도시되어 있다. 이 실시예는 전술한 실시예와 도 1 및 도 2에 도시된 많은 특징을 공유하며, 적어도 하나의 회절 격자(28)를 포함하고, 복수개의 감광 픽셀(40)을 포함하는 픽셀 어레이(38) 위에 배치되는 회절 격자 조립체(24)를 일반적으로 포함한다. 이들 구성 요소는, 일반적으로 도 1 및 도 2의 실시예의 유사한 구성 요소와 구조 및 작동면에서 유사할 수 있다. 도 4 및 도 5의 광 필드 이미징 장치(20)는 도 1 및 도 2의 광 필드 이미징 장치와는 다르며, 주로 회절 격자 어셈블리(24)와 픽셀 어레이(38) 사이에 배치된 컬러 필터 어레이를 포함하지 않는다. 결과적으로, 감광 픽셀(40)은 회절 격자(28)에 의해 전달된 회절된 파면(36)을 직접 검출한다.
도 6을 참조하면, 도 4 및 도 5의 실시 예와 유사한 특징을 공유하지만, 픽셀 어레이(38) 위에 배치되고 복수개의 마이크로렌즈(microlens, 66)를 포함하는 마이크로렌즈 어레이(64)를 더 포함한다는 점에서 다른, 광 필드 이미징 장치(20)의 다른 실시예가 도시된다. 각각의 마이크로렌즈(66)는 감광 픽셀(40) 중 대응하는 하나에 광학적으로 결합되고, 그것에 입사하는 회절된 파면(36)의 공간 부분을 대응하는 감광 픽셀(40) 상에 초점을 맞추도록 구성된다. 컬러 필터들의 어레이가 제공되는 실시예들에서, 도 1 및 도 2에 도시된 바와 같이, 마이크로렌즈 어레이는 컬러 필터 어레이 상에 배치되어 각각의 마이크로렌즈가 컬러 필터 중 대응하는 하나에 광학적으로 결합될 것이다. 일부 변형예에서, 광 이미징 장치는 또한, 픽셀 어레이(38) 위에 제공된 반사-방지 코팅(anti-reflection coating)(미도시)을 포함할 수 있다.
이제 도 7을 참조하면, 흑백 이미징 어플리케이션에 적합한 광 필드 이미징 장치(20)의 실시예의 개략적인 부분 분해 측면도가 도시된다. 광 필드 이미징 장치(20)는, 감광 픽셀(40)의 픽셀 어레이(38)의 상부에 배치된 회절 격자(28)를 포함하는, 도 4 및 도 5에 도시된 것과 유사하다. 회절 격자(28)은 50%의 듀티 사이클을 갖는 2진법의 위상 투과 격자이고, 교대하는 리지(52)와 그루브(54)의 세트로 구성된 주기적인 굴절률 변조 패턴(32)이다. 도 7은 또한 장치(20)를 통한 광 전파를 개략적으로 도시한다. 작동시, 광 필드 이미징 장치(20)는 관찰 가능한 장면(22)을 둘러싸는 시야를 갖는다. 회절 격자(28)는 입력 측의 장면(22)으로부터 입사하는 광학 파면(26)(실선)을 받으며, 광학 파면(26)을 회절 시켜, 출력 측에, 검출을 위해 픽셀 어레이(38)를 향해 전파하는 회절된 파면(36)(실선)을 발생시킨다. 단순화를 위해, 도 7의 입사 광학 파면(26)은, 수직 입사에서 회절 격자(28)에 충돌하는 평면파(plane wave)의 파면에 대응한다. 그러나, 본 기술은 광 필드 이미징 장치의 시야 내에서 임의의 각도로 회절 격자(28) 상에 입사하는 임의의 형상의 광학 파면에 대해 구현될 수 있다.
계속 도 7을 참조하면, 회절된 파면(36)은, 그 형태가 회절 격자(28)의 기하학적 구조, 광학 파면(26)의 파장 및 입사각, 및 픽셀 어레이(38)의 수광면(light-receiving surface, 68)에 대응하는 관찰 평면(observation plane)의 위치의 함수인 회절 패턴에 의해 특성화될 수 있다. 관찰 평면에서, 회절된 파면(36)의 회절 패턴은, 픽셀 어레이 (38)의 수광면(68)에서 격자 축(30)을 따라 공간적으로 변하는 강도 프로파일(70)에 의해 특성화될 수 있다. 도 7에서, 격자 축(30)은 픽셀 축(58)에 평행하다.
본 기술에서, 픽셀 어레이(38)의 수광면(68)이 회절 격자(28)의 단지 근접 필드 또는 근거리(near-field) 회절 영역에 위치되도록, 회절 격자(28)와 픽셀 어레이(38)는 서로에 대해 배치된다. 근거리 회절 영역에서, 프레넬(Fresnel) 회절 이론은 회절 격자를 통과하는 파동의 회절 패턴을 계산하는 데 사용될 수 있다. 원거리(far-field) 프라운호퍼(Fraunhofer) 회절 이론과는 달리, 프레넬 회절은 간섭 파동의 상대 위상을 계산할 수 있는 파면 곡률을 설명한다. 유사하게, 광센서 또는 격자와 동일한 차원의 또 다른 이미징 장치를 사용하여 파장의 정수 배에서 회절 방사 패턴을 검출할 때, 고차 회절 효과는 단순히 공간 샘플링에 의해 제한되는 경향이 있다. 근접 필드에서 회절된 파면(36)을 검출하기 위해, 본 기술은, 굴절률 변조 패턴(32)이 형성되고 회절이 발생하는 회절 격자(28)의 상부 표면(48)과, 회절된 파면(36)이 검출되는 아래에 놓인 픽셀 어레이(38)의 수광면(68) 사이의 충분히 작은 이격 거리(72)를 유지하는 것을 포함할 수 있다. 일부 실시예에서, 이것은 이격 거리(72)가 광학 파면(26)의 중심 파장의 약 10배 미만이 되도록 선택하는 것을 포함할 수 있다. 일부 실시예에서, 광학 파면의 중심 파장이 가시 범위에 있는 경우, 이격 거리(72)는 약 0.5㎛ 내지 약 20㎛, 예를 들어 0.5㎛ 내지 약 8㎛일 수 있다.
근거리 회절 영역에서, 주기적 회절 격자(28)에 의해 생성된 회절된 파면(36)의 강도 프로파일(70)은 일반적으로, 회절 격자(28)의 굴절률 변조 패턴 (32)과 실질적으로 일치하는 형상뿐만 아니라, 회절 격자(28)의 격자 주기(34)와 실질적으로 일치하는 공간 주기(74)를 갖는다. 예를 들어, 도시된 실시 예에서, 픽셀 어레이(38)의 감광 픽셀(40)에 의해 검출된 회절된 파면(36)의 회절 패턴은, 2진법의 위상 회절 격자(28)의 굴절률 변조 패턴(32)과 실질적으로 일치하는 구형파 또는 2단계(two-step), 강도 프로파일(70)을 갖는다. 본 설명에서, "일치(match)"라는 용어 및 그 파생어는 검출된 회절된 파면(36)의 강도 프로파일(70)과 회절 격자(28)의 주기적인 굴절률 변조 패턴(32) 사이의 "정확한(exact)" 또는 "완벽한(perfect)" 일치뿐만 아니라, "실질적인(substantial)", "근사적인(approximate)" 또는 "주관적인(subjective)" 일치를 포함하는 것으로 이해해야 한다. 그러므로, "일치"라는 용어는 2개의 피처가 동일하거나 서로의 미리 결정된 공차 내에 있는 조건을 지칭하는 것으로 의도된다.
주기적인 회절 격자에 의한 근거리 회절의 또 다른 특징은, 회절 격자(28) 상의 입사 광학 파면(26)의 입사각(76)을 변화시키면, 회절된 파면(36)의 강도 프로파일(70)이 격자 축(30)을 따라 측 방향으로 시프트되지만(shifted), 도 7의 실선과 파선 사이의 비교로부터 알 수 있는 바와 같이, 그것의 주기(74) 및 형상을 실질적으로 유지한다는 것이다. 일부 실시예에서, 회절 격자(28)과 픽셀 어레이(38) 사이의 이격 거리는, 광학 파면(26)의 입사각(76)이 광 필드 이미징 장치(20)의 시야의 각도 범위(span)에 걸쳐 변화되는 경우, 회절된 파면(36)의 강도 프로파일(70)에 의해 경험되는 공간적 시프트(shift)가 격자 주기(34)보다 작게 유지되는 것을 보장할 수 있도록 선택될 수 있다. 그렇지 않으면, 광학 파면(26)의 입사각(76)에서 모호성(ambiguity)이 문제가 될 수 있다. 예를 들어, 예시를 위해, 시야가 ±20°의 각도 범위를 갖고, 입사 광학 파면(26)의 입사각(76)을 10° 변화시키는 광 필드 이미징 장치(20)는 회절 주기(34)와 동일한 회절 파면(36)의 강도 프로파일(70)의 공간적 시프트를 일으킨다. 이러한 경우에, 예를 들어 +2°의 입사각을 갖는 회절 격자(34) 상에 입사하는 광은, +12°의 입사각을 갖는 회절 격자(34) 상의 광 입사와 단지 위상 정보으로부터 구별될 수 없다.
또한, 하부 픽셀 어레이(38)에 광학적으로 결합될 때, 검출된 회절된 파면(36)의 회절 패턴의 강도 프로파일(70)이 일반적으로 변조 성분 Imod 및 기본 성분 Ibase를 포함하는 변조 함수 I~Imod(깊이 정보)×Ibase(2D 이미지)로서 기록될 수 있도록, 회절 격자(28)는 표준 2D 이미지로 광 위상 정보를 컨벌브하는(convolve)것을 유의해야 한다. 정면에 회절 격자(28)가 없는 경우에, 기본 성분(Ibase)은, 픽셀 어레이(38)에 의해 검출되는 비-위상-의존적(non-phase-dependent) 광학 파면을 나타낸다. 다시 말하면, 기본 성분 Ibase만을 검출하는 것은, 장면(22)의 통상적인 2D 이미지가 얻어지는 것을 허용할 것이다. 한편, 기본 성분 Ibase(예를 들어, Imod 대 Ibase의 비가 약 0.1 내지 약 0.3)와 비교하여 일반적으로 작은 변조 성분 Imod는 입사 광학 파면(26)의 위상의 직접적인 결과이므로, 입사각의 임의의 에지(edge) 또는 약간의 차이는 픽셀 어레이(38)를 통해 공간적으로 샘플링되는 주기적인 전기적 응답으로서 그 자체를 나타낼 것이다. 광학 파면(26)의 입사각(76)에 대한 감도, 따라서 광 필드 이미징 장치(20)의 각 분해능(angular resolution)은 일반적으로 회절 격자(28)의 특정 설계에 의존할 것이다.
도 7을 계속 참조하면, 전술한 바와 같이, 본 기술에서, 픽셀 어레이(38)는 회절 격자(28)의 격자 주기(34)보다 작은 격자 축(30)을 따라 픽셀 피치(62)를 갖는다. 이는 픽셀 어레이(38)의 수광면(68)이 회절 격자(28)의 근접 필드에 있을 때, 격자 축(30)을 따르는 픽셀 어레이(38)의 픽셀 피치(62)가 검출된 회절된 파면(36)의 격자 축(30)을 따른 강도 프로파일(70)의 공간 주기(74)보다 작다는 것을 의미한다. 이러한 조건이 충족될 때, 검출된 회절된 파면(36)의 강도 프로파일(70)의 완전한 주기는 픽셀 어레이(38)의 적어도 2개의 인접한 픽셀 뱅크(pixel bank)에 의해 샘플링될 것이고, 이들 각각의 픽셀 뱅크는 전체 사이클에 걸쳐 강도 프로파일(70)의 상이한 공간 부분을 샘플링한다. 본 명세서에서, "픽셀 뱅크(pixel bank)"라는 용어는, 상부의 회절 격자의 격자 축에 수직인 선을 따라 배열된 픽셀 어레이의 감광 픽셀의 그룹을 지칭한다. 즉, 2 개의 인접한 픽셀 뱅크는 격자 축을 따라 픽셀 피치에 대응하는 거리만큼 서로 분리된다. 예를 들어, 도 7에서, 픽셀 어레이(38)의 각각의 픽셀 뱅크는 페이지(page)의 평면에 수직으로 배향된 픽셀 축(60)에 평행하게 연장된다.
어플리케이션에 따라, 격자 축(3)을 따르는 픽셀 어레이(38)의 픽셀 피치(62)에 대한 회절 격자(28)의 격자 주기(34)의 비율 R은 여러 값을 취할 수 있음을 이해할 수 있을 것이다. 일부 실시예에서, 비율 R은 2보다 크거나 같을 수 있으며(즉, R
Figure 112019001370724-pct00005
2); 또는 1보다 큰 양의 정수와 같을 수 있으며(즉, R=(n+1), 여기서 n={1, 2, ...}); 또는 2의 정수 배수와 같을 수 있으며,(즉, R=2n, 여기서 n={1, 2, ...}); 또는 그밖에 유사한 것일 수 있다. 일부 실시예에서, 격자 주기(34)가, 격자 축(30)을 따라 픽셀 피치(62)에 비해 너무 클뿐만 아니라, 그 범위에 너무 가깝지 않아야 하는 것이 유리하거나 요구될 수 있다. 예를 들어, 일부 실시예에서, 인접한 픽셀 뱅크의 각각의 쌍이 결과적인 변조된 회절된 파면(36)을 충분히 서브샘플링할 수 있게 하기 위해, 격자 주기(34)는 하부 픽셀 뱅크 피치(62)의 적어도 약 2배가 되는 것이 바람직할 수 있으며, 그의 공간 변조 속도는 회절 격자(28)의 특성에 의해 나이퀴스트 속도(Nyquist rate)에서 또는 그 근처에서 결정된다. 이 나이퀴스트 또는 거의 나이퀴스트, 서브샘플링은 표준 신호 처리 기술로 측정된 신호 I에서 변조 성분 Imod를 직접 제거할 수 있게 한다. 일단 제거되면, 변조 신호 Imod는 기본 성분 Ibase와 독립적으로 조작될 수 있다. 일부 실시예에서, 격자 축(30)을 따르는 픽셀 피치(62)가 격자주기 (34)보다 충분히 작지 않은 경우에, 언더샘플링(undersampling) 효과가 발생할 수 있다. 그러한 시나리오에서, 신호 감산(subtraction)을 허용하기 위해 그들 사이에 충분한 상대적인 위상 오프셋을 갖는 2개의 상이한 서브-격자(sub-grating)를 제공하도록 격자 설계를 변경하는 것이 유용하거나 심지어 필수적일 수 있다.
예를 들어, 도 7의 도시된 실시예에서, 격자 축(30)을 따른 픽셀 피치(62)에 대한 격자 주기(34)의 비율 R은 실질적으로 2와 동일하다. 이러한 경우, 인접한 픽셀 뱅크는 검출된 회절된 파면(36)의 강도 프로파일(70)의 상보적인(complimentary) 공간 위상, 즉 서로에 대하여 180°만큼 위상-시프트된(phase-shifted) 강도 프로파일(70)의 공간 부분을 샘플링할 것이다. 이것은 다음과 같이 수학적으로 표현될 수 있다: |
Figure 112019001370724-pct00006
bank,n +1 -
Figure 112019001370724-pct00007
bank,n|=π 여기서
Figure 112019001370724-pct00008
bank,n + 1및
Figure 112019001370724-pct00009
bank,n은 각각 픽셀 어레이(38)의 (n+1)번째 및 n번째 픽셀 뱅크에 의해 측정된 강도 프로파일(70)의 공간 위상이다. 이러한 구성은 입사파 전면 상호 작용으로부터 초래된 간섭 패턴의 서브샘플링을 통해 변조 성분 Imod 및 기본 성분 Ibase의 직접적인 디컨벌루션(deconvolution)을 허용할 수 있다:
Ibase = I(bankn) + I(bankn+1) (3)
Imod = I(bankn) I(bankn+1) (4)
도 7을 계속 참조하면, 도시된 실시예에서, 회절 격자(28)는 50%의 듀티 사이클(즉, 동일한 폭의 리지(52) 및 그루브(54))을 가지며, 각각의 감광 픽셀(40)은 리지(52) 중 대응하는 하나 또는 그루브(54)의 대응하는 하나와 수직으로 정렬하여 아래에 위치된다. 그러나, 다른 실시예들이 다른 실시예들에서 사용될 수 있으며, 그 비-제한적인(non-limiting) 예시가 도 8a 내지 도 8c에 도시된다. 먼저, 도 8a에서, 회절 격자(28)는 50%의 듀티 사이클을 갖지만, 도 7의 실시예와 비교하여 격자 주기(34)의 1/4만큼 측 방향으로 시프트된다. 결과적으로, 각각의 감광 픽셀(40)은, 리지(52)의 대응하는 하나와 그루브(54)의 대응하는 인접한 하나 사이의 전이(78)와 수직 정렬하고 아래에 위치된다. 둘째, 도 8b에서, 회절 격자(28)는 50%의 듀티 사이클을 가지지만, 도 7의 실시예와 비교할 때, 격자 축(30)을 따른 픽셀 피치(62)에 대한 격자 주기(34)의 비율 R은 2가 아닌 4와 같다. 그러므로, 각각의 리지(52) 및 각각의 그루브(54) 아래에 2개의 감광 픽셀(40)이 존재한다. 마지막으로, 도 8c에서, 격자 축(30)을 따른 픽셀 피치(62)에 대한 격자 주기(34)의 비율 R은 도 7에서와 같이 2와 동일하지만, 회절 격자의 듀티 사이클은 50%와 다르다.
예를 들어, 높은 주-광선(chief-ray) 각도 광학 시스템을 갖는 배면-조명된 구조의 일부 실시예에서, 각각의 대응하는 주광선이 의도된 격자 피처 및 그 다음의 마이크로렌즈의 중심을 통과하도록, 회절 격자는 그들의 감광 픽셀에 대한 마이크로렌즈 어레이의 설계된 주-광선-각도(chief-ray-angle) 오프셋(offset)을 따르도록 설계될 수 있다. 이러한 구성은 고도로 구속된 광학 시스템에 대한 적절한 위상 오프셋을 보장할 수 있다. 이는, 일부 실시예에서, 회절 격자(예를 들어, 리지 및 그루브)의 피처들과 하부의 감광 픽셀들 사이의 수직 정렬의 정도가, 예를 들어, 픽셀 어레이의 중심에서 에지로 진행함에 따라, 미리 결정된 주-광선-각도 오프셋을 수용하도록, 픽셀 어레이 내의 위치의 함수로서 변화할 수 있다. 예를 들어, 픽셀 어레이의 일부 영역에서, 각 감광 픽셀은, 회절 격자의 그루브 또는 리지 바로 아래에 위치될 수 있는 반면, 픽셀 어레이의 다른 영역에서는, 각각의 감광 픽셀이 리지 일부분 및 그루브 일부분 모두 아래로 연장될 수 있다.
도 7 및 도 8a 내지 도 8c의 실시예에서, 격자 축(30)이 2개의 직교 픽셀 축(58, 60) 중 하나에 평행하도록(따라서 서로 수직인), 회절 격자(28)는 하부 픽셀 어레이(38)에 대해 배향된다. 그러나, 도 9a 및 도 9b를 참조하면, 격자 축(30)이 2개의 직교 픽셀 축(58, 60) 모두에 대해 비스듬한 2개의 다른 가능한 실시예가 도시된다. 즉, 도 9b에서 격자 축은 픽셀 축(58)에 대해 각도 θ≒26.565°로 배향되는 반면, 도 9a에서 격자 축(30)은 픽셀 축(58, 60) 각각에 대하여 각도 θ=45°로 배향된다. 도 9a 및 도 9b에 도시된 비스듬한 배열(oblique configuration)에서, 격자 축(30)을 따른 픽셀 피치(62)는 격자 주기보다 작게 유지된다. 또한, 위에서 정의된 바와 같은 픽셀 뱅크들, 즉, 상부의 회절 격자(28)의 격자 축(30)을 횡단하는 선을 따라 배치된 픽셀의 그룹은, 또한 비스듬한 배열로 규정될 수 있다는 것을 주의해야 한다. 예를 들어, 도 9a는 리지(52) 아래에 위치된 제1 픽셀 뱅크에 속하는 제1 픽셀 그룹(401) 및 인접 그루브(54)에 위치한 제2 픽셀 뱅크에 속하는 제2 픽셀 그룹(402)을 포함한다.
이제 도 10을 참조하면, 컬러 이미징 어플리케이션에 적합한 광 필드 이미징 장치(20)의 실시예의 개략적인 부분 분해 측면도가 도시된다. 광 필드 이미징 장치(20)는, 그 자신이 감광 픽셀(40)의 픽셀 어레이(38)의 상부에 배치된 컬러 필터 어레이(42)의 상부에 배치된 회절 격자를 포함하는, 도 1 및 도 2에 도시된 것과 유사하다. 회절 격자(28)는 50%의 듀티 사이클을 갖는 2진법의 위상 투과 격자이고, 리지(52) 및 그루브(54)의 교대하는 세트로 구성된 주기적인 굴절률 변조 패턴(32)이다. 컬러 필터 어레이(42)는 베이어(Bayer) 패턴을 가지며, 도 10은 녹색(G) 및 청색(B) 필터가 교번하는 행을 도시한다. 또한, 도 10은 장치(20)를 통한 광 전파를 개략적으로 도시한다. 작동시, 회절 파면 (36)을 생성하기 위해 회절 격자(28)는 장면(22)으로부터 비롯되는 광학 파면(26)을 수신하고 회절시킨다. 단순화를 위해, 도 10의 회절 격자(28)는 녹색 및 청색 광을 포함하는 스펙트럼 범위에서 아크로마틱한(achromatic) 것으로 가정된다. 컬러 필터 어레이(42)는 하부의 픽셀 어레이(38)에 의한 검출 이전에 회절된 파면(36)을 수신하고 공간-스펙트럼적으로 필터링한다. 따라서, 광 필드 이미징 장치(20)의 작동은 컬러 필터 어레이(42) 및 하부 픽셀 어레이(38)을 포함하는 센서 구조의 상부에 배치된 주기적인 회절 격자(28)의 제공에 의해 가능해진 직접 공간-및-크로마틱하게(spatio-and-chromatically) 샘플링된 회절된 파면(36)에 기초한다.
도 7에서와 같이, 도 10에서 회절 격자(28)에 의해 생성된 회절된 파면(36)은, 격자 축(30)을 따라 공간적으로 변하는 강도 프로파일(70)에 의해 특징화되는 회절 패턴을 정의한다. 또한, 회절 격자(28)와 픽셀 어레이(38)는, 픽셀 어레이(38)의 수광면(68)이 회절 격자(28)의 근접 필드에 위치하도록 서로에 대해 배치되고, 검출된 회절된 파면(36)의 강도 프로파일(70)의 공간 주기(74)는 회절 격자(28)의 격자 주기(34)와 실질적으로 일치한다.
컬러 필터 어레이(42)에 의한 공간-스펙트럼(spatio-spectral) 필터링 이후에 픽셀 어레이(38)에 의해 검출된 회절된 파면(36)의 강도 프로파일(70)은, 적색 필터에 의해 필터링된 회절된 파면(36)의 일부분, 청색 필터에 의해 필터링된 회절된 파면(36)의 일부분, 및 청색 필터에 의해 필터링된 회절된 파면(36)의 일부분의 조합 또는 중첩인 것으로 이해될 것이다. 이와 같이, 예시로서 표준 RGB 베이어 패턴을 사용하여, 변조 성분 Imod 및 강도 프로파일 I의 기본 성분 Ibase는 다음과 같이 각각의 컬러 성분으로 분할될 수 있다:
IR ~ Imod,R(깊이 정보)×Ibase,R(2D 이미지), (5)
IG ~ Imod,G(깊이 정보)×Ibase,G(2D 이미지), (6)
IB ~ Imod,B(깊이 정보)×Ibase,B(2D 이미지). (7)
도 10에서, 강도 프로파일 (IG 및 IB)은 각각 파선 및 점선으로 도시된다.
도 7에서와 같이, 격자 축(30)을 따른 픽셀 어레이(38)의 픽셀 피치(62)에 대한 회절 격자(28)의 격자 주기(34)의 비율 R은, 도 10의 실시예에서 2와 같고, |
Figure 112019001370724-pct00010
bank,n+1 -
Figure 112019001370724-pct00011
bank,n|=π가 적용된다. 표준 RGB 베이어 패턴에서, 적색 및 청색 필터는 항상 베이어 패턴에서 인접한 픽셀 뱅크에 위치하며, 희박하게(sparsely) 샘플링된 적색 및 청색 성분과 관련된 신호 IR 및 IB는 서로에 대해 반대 위상으로 있을 것이다. 한편, 녹색 필터가 모든 픽셀 뱅크에 존재하기 때문에, 조밀하게 샘플링된 녹색 성분과 관련된 신호 IG는 같은-위상(in-phase) 및 다른-위상(out-of-phase) 기여를 모두 포함할 것이다.
지금까지 설명된 실시예에서, 회절 구조 조립체는 단 하나의 회절 격자롤 포함하는 것으로 도시되었다. 그러나, 도 11을 참조하면, 다른 실시예에서, 회절 격자 조립체(24)는, 회절 격자(28a, 28b)가 컬러 필터 어레이(42) 위에 배치된 2차원 격자 어레이로 배열된 복수개의 회절 격자(28a, 28b)를 포함한다. 도 11에서, 회절 격자 조립체(24)는 16개의 회절 격자를 포함하지만, 이 숫자는 설명의 목적으로 제공되며 다른 실시예에서는 변경될 수 있다. 예를 들어, 어플리케이션에 따라, 회절 격자 조립체(24) 내의 회절 격자(28a, 28b)의 수는 1에서부터 수백만까지의 범위일 수 있다(예를 들어, 20-메가픽셀의 픽셀 어레이 (38)는 그것의 상부에 최대 2.8백만개의 회절 격자를 가질 수 있다). 그들의 격자 축 방향 이외에, 도 11에 도시된 회절 격자 조립체(24)의 모든 회절 격자(28)는 50%의 동일한 듀티 사이클, 동일한 격자 주기(34) 및 격자 주기(34)의 동일한 반복 횟수를 갖는 평행한 리지(52) 및 그루브(54)의 교대하는 세트를 포함하는 2진법의 위상 격자일 수 있지만, 다른 실시예에서 이들 매개변수 각각은 하나의 회절 격자(28)로부터 다른 회절 격자(28)까지 다양할 수 있다. 특히, 도 11의 회절 격자(28)의 각각은 격자 주기(34)의 2개의 반복을 포함한다. 그러나, 이 숫자는 적용 예에 따라, 예를 들어 일부 실시예에서 2 내지 10회 반복하여, 변화될 수 있음이 이해될 것이다.
일부 실시 예에서, 복수개의 회절 격자(28)는, 세트(80a, 80b)의 상이한 하나의 회절 격자(28)의 격자 축(30a, 30b)가 상이한 방향을 갖는, 회절 격자(28)의 다수의 세트(80a, 80b)를 포함한다. 예를 들어, 도 11에서, 다수의 세트(80a, 80b)는 회절 격자(28)의 제1 세트(80a) 및 회절 격자(28)의 제2 세트(80b)로 구성되며, 제1 세트(80a)의 회절 격자(28)의 격자 축(30a)은 제2 세트(80b)의 회절 격자(28)의 격자 축(30b)에 실질적으로 수직으로 연장된다. 제1 격자 축(30a)은 제1 픽셀 축(58)에 평행하고, 제2 격자 축(30b)은 제2 픽셀 축(60)에 평행하다. 도시된 실시예에서, 제1 세트(80a) 및 제2 세트(80b)의 회절 격자(28)는 행과 열 모두에서 교대로 배치되어 바둑판 패턴을 생성한다. 물론, 직교 배향된 격자의 임의의 다른 적합한 규칙적인 또는 불규칙한 배치, 패턴 또는 모자이크가 다른 실시예에서 구상될 수 있다. 예를 들어, 직교 배향된 격자는 행에서만 배열되거나, 열에서만 배열되거나, 또는 무작위로 배열될 수 있다. 또한, 다른 실시예는 서로에 대해 직각이거나 직각이 아닌 2세트 이상의 회절 격자를 포함할 수 있다. 예를 들어, 일부 실시예에서, 회절 격자 조립체는 최대 24개의 다른 회절 격자의 세트를 포함할 수 있다.
상이한 격자 축 방향을 갖는 회절 격자를 갖는 회절 격자 조립체를 제공하는 것은, 회절이 개별적인 회절 격자의 격자 축을 따라 발생하기 때문에, 몇몇의 실시예에서 유리하거나 요구될 수 있음을 이해할 수 있을 것이다. 이는, 회절 격자 조립체에 단 하나의 격자 방향이 존재할 때, 이 단일 격자 방향에 수직으로 뻗어있는 장면의 물체로부터 오는 광이 회절되지 않는다는 것을 의미한다. 일부 실시에서, 2세트의 직교 배향된 격자(예를 들어, 수평 및 수직으로 배향된 격자)를 제공하는 것은 장면에 관한 충분한 광 필드 이미지 데이터를 포획하기에 충분할 수 있다. 2개 이상의 격자 방향을 갖는 회절 격자 조립체를 사용하는 개념은, 거의 완벽한 푸리에(Fourier) 평면 이미저를 제공하고, 방사형으로 중심을 형성하는 증가하는 주기성(periodicity)을 갖는 완전 원형 회절 격자의 한계로 제한될 수 있다.
도 12a 내지 도 12c를 참조하면, 복수개의 회절 격자를 포함하는 회절 격자 조립체의 격자 배열의 다른 예가 도시되어 있다. 도 12a에서, 회절 격자 조립체(24)는 단지 열 내에서 교대하는 직교 배향된 회절 격자(28)의 2개의 세트(80a, 80b)를 포함한다. 하나의 세트(80a)의 격자 축 방향은 하나의 픽셀 축(58)을 따르고, 다른 세트(80b)의 격자 축 방향은 다른 픽셀 축(60)을 따른다. 도 12b에서, 회절 격자 조립체(24)는, 격자 축(34a 내지 34d)이 수평 픽셀 축(58)에 대해 0°, 33°, 66° 및 90°로 배향된 회절 격자(28)의 4개의 세트(80a 내지 80d)를 포함한다. 도 12c에서, 회절 격자 조립체(24)는, 격자 축(34a 내지 34d)이 수평 픽셀 축(58)에 대하여 0°, 45°, 90° 및 -45°로 배향된 회절 격자(28)의 4개의 세트(80a 내지 80d)를 포함한다. 도 12a 내지도 12c에서, 회절 격자(28)는, 복수 회 반복되는 회절 격자 조립체(24)의 단위 셀을 나타낼 수 있음이 이해될 것이다.
이제 도 13을 참조하면, 컬러-기반 어플리케이션에 적합하지만, 회절 격자 조립체(24)와 하부 픽셀 어레이(38) 사이에 배치된 컬러 필터 어레이를 포함하지 않는 광 필드 이미징 장치(20)의 실시예가 도시되어 있다. 오히려, 도시된 실시예에서, 회절 격자 조립체(24)는 회절 격자(28)의 어레이를 포함하며, 각각의 회절 격자(28)는 그 위에 형성된 굴절률 변조 패턴(32)(예를 들어, 리지(52) 및 그루브(54)의 교대하는 시리즈로 만들어진)을 갖는 격자 기판(46)을 포함한다. 각각의 회절 격자(28)의 격자 기판(46)은 또한, 복수개의 감광 픽셀(40)에 의한 검출 이전에 회절된 파면(36)을 스펙트럼적으로 필터링하도록 구성된 스펙트럼 필터 재료 또는 영역(82)을 포함한다. 일부 실시예에서, 회절 격자(28)의 각각은, 예를 들어 격자 기판(46) 내에 적절한 염료 도펀트(dopant)를 혼입시킴으로써, 원하는 스펙트럼 요소를 필터링하도록 구성된 재료로 제조될 수 있다.
계속해서 도 13을 참조하면, 이에 따라, 회절 격자 조립체(24)의 복수개의 회절 격자(28)는, 각각의 컬러 필터가 회절 격자(28) 중 대응하는 하나에 의해 구현되는 컬러 필터 어레이를 형성한다. 다른 말로, 회절 격자(28)의 각각은, 컬러 필터 어레이 내에서 그 자신의 각각의 컬러 필터를 형성하도록, 개별적으로 설계되고 조정될 수 있다. 도 13에서, 복수개의 회절 격자(28)에 의해 형성된 컬러 필터 어레이는 베이어 패턴으로 배치되어, 각각의 회절 격자(28)의 격자 기판(46)은 적색 통과 필터, 녹색 통과 필터 또는 청색 통과 필터로서 작용한다. 물론, 복수개의 회절 격자(28)에 의해 정의 된 컬러 필터 어레이는 전자기 스펙트럼의 가시 영역 외부에서 동작될 수 있고, 그것의 모자이크 컬러 패턴은 베이어-타입 패턴에 제한되지 않고, 위에 열거된 것을 포함하는 임의의 적절한 모자이크 컬러 패턴에 적용될 수 있다.
일부 실시예에서, 광 필드 이미징 장치는 회절 격자 앞에 파면 컨디셔닝 광학기(wavefront conditioning optics)을 포함할 수 있다. 파면 컨디셔닝 광학기는 수집(collect), 지시(direct), 전송(transmit), 반사(reflect), 굴절(refract), 분산(disperse), 회절(diffract), 평행(collimate), 초점(focus)으로 구성될 수 있으며, 그렇지 않으면, 그것이 회절 격자 조립체에 도달하기 전에 장면으로부터 입사하는 광학 파면에 작용한다. 파면 컨디셔닝 광학기는 렌즈(lens), 거울(mirror), 필터(filter), 광섬유(optical fiber), 및 임의의 다른 적절한 반사(reflective), 굴절(refractive) 및/또는 회절 광학 구성 요소 등을 포함할 수 있다. 일부 실시예에서, 파면 컨디셔닝 광학기는, 광 필드 이미징 장치에 의해 샘플링될 수 있는 방식으로 입사 파면을 수정하도록 위치되고 구성되는 포커싱 광학(focusing optics)을 포함할 수 있다.
이제 도 14를 참조하면, 광 필드 이미징 장치(20)의 또 다른 가능한 실시예가 도시되어 있으며, 장면과 회절 격자 조립체 사이에서 광학 파면(26)의 광 경로에 배치된 분산 광학기(dispersive optics, 84)를 포함한다. 분산 광학기(84)는 입사 광학 파면(26)을 수신하고 분산시키도록 구성된다. 분산 광학기(84)는, 전자기 빔이, 통과 할 때(예를 들어, 색수차(chromatic aberration)에 의해), 파장의 함수로서 공간 확산을 겪는, 임의의 광학 요소 또는 광학 요소들의 조합에 의해 구현될 수 있다. 도 14의 실시예에서, 분산 광학기(84)는 단순화를 위해 포커싱 렌즈(focusing lens)이다. 그러나, 다른 실시예에서, 분산 광학기(84)는, 회절 격자 조립체(24) 상에 충돌하기 전에(예를 들면, 그들의 고유 색수차 때문에), 광학 파면(26)을 분산시키도록 함께 작용하는 더 많은 수의 광학 요소(예를 들어, 포커싱(focusing) 및 디포커싱(defocusing) 광학기)를 포함하는 광학 스택(optical stack)으로서 제공될 수 있음이 이해될 것이다.
예시적인 목적을 위해, 도 14에서, 장면(22)으로부터 시작되는 광학 파면(26)은, 예를 들어 녹색 성분(파선) 및 청색 성분(점선)과 같은 광의 다수의 파장을 포함하는 파동의 중첩인 것으로 가정된다. 분산 광학기(84)와의 에너지-의존(energy-dependent) 상호 작용의 특성에 의해, 광학 파면(26)의 각각의 컬러 성분은, 약간 다른 광학 경로를 따라갈 것이고, 회절 격자(28)에 의해 도입된 위상-시프트의 크로마틱 의존성(chromatic dependence)을 유도할 것이다. 다른 말로, 회절 격자(28)에 의해 생성된 각도-의존(angle-dependent) 회절을 통해 샘플링된, 광학 파면(26)의 크로마틱 분산(chromatic spread)은, 광학 파면(26)에 대한 거친 깊이 정보를 제공할 수 있다. 그러한 시나리오에서, 깊이 정보의 미세한 세부사항은, 광학 경로 차이 때문에, 컬러 필터 어레이(42)에 의해 샘플링되는 것과 같이, 서로에 대해 위상-시프트된 변조 성분 Imod,R 및 Imod,B의 비교 분석으로부터 얻을 수 있다.
도 14에 도시된 바와 같은 포커싱 렌즈 상에 입사되는 모노크로마틱(monochromatic) 평면 광학 파면의 경우, 포커싱 렌즈는, 그것이 렌즈를 가로질러 갈 때, 파면을 점진적으로 굴절 및 포커싱함을 유의해야 한다. 회절 격자 조립체가 포커싱 렌즈의 초점 평면(focal plane)으로부터 벗어난 곳(전 또는 후)에 위치하면, 그것이 초점 평면에 위치한다면, 회절 격자 조립체에 도달하는 파면의 단면적은 더 커질 것이라는 것이 이해될 것이다. 따라서 회절된 파면은 인-포커스(in-focus) 구성에서보다 아웃-포커스(out-of-focus)에서 많은 수의 감광 픽셀에 의해 샘플링될 것이다.
도 15 및 도 16을 참조하면, 일부 실시예에서, 광 필드 이미징 장치(20)는, 전면 조명 구성(도 15), 또는 픽셀 어레이(38)의 아래에서, 배면 조명 구성(도 16)에서, 회절 격자 조립체와 픽셀 어레이의 사이에 배치된 픽셀 어레이 회로(86)를 포함할 수 있다. 보다 상세하게는, 회절 격자 조립체(24)는, 전면 조명 아키텍처(도 15)의 경우에 상부 실리콘 층(silicon layer)으로 직접 에칭될(etched) 수 있으며, 또는 배면 조명 아키텍처(도 16)의 경우에 마이크로렌즈 어레이(64) 및 컬러 필터 어레이(42)의 바로 위에 배치될 수 있다. 전면 조명 기술에서, 픽셀 어레이 회로(86)는, 대응하는 감광 픽셀(40)에 컬러 필터(44)를 접속시키는 금속 배선(예를 들어, 복수개의 금속 상호접속 층을 호스팅하는(hosting) 실리콘 층)의 어레이를 포함한다. 한편, 배면 조명 기술은, 회절 격자 조립체(24)에 의한 광학 파면(26)의 회절에 의해 생성된 회절된 파면(36)을 직접 샘플링하는 기회를 제공한다. 그렇지 않으면 광의 손실을 초래하는, 픽셀 어레이(38)에 도달하기 전에, 광이 픽셀 어레이 회로(86)의 금속 배선의 어레이를 통과할 필요가 없기 때문에, 증가된 주기성을 갖는 보다 공격적인(aggressive) 회절 격자 디자인이 구현될 수 있다. 또한, 도 16에 도시된 바와 같이, 더 짧은 광학 스택 구성은, 회절 격자 조립체(24)가 픽셀 어레이(38)의 수광면(68)에 훨씬 가깝게 위치될 수 있게 하여, 픽셀 뱅크들 사이에서 원하지 않는 크로스-토크(cross-talk)를 유발할 수 있는 고차원의 회절 효과의 위험을 감소시킨다. 유사하게, 감소된 픽셀 크기는 기존 이미징에 의한 회절 격자의 직접적인 서브샘플링을 완전히 허용할 수 있다.
이제 도 16을 더 상세히 참조하면, 장면(22)에 대한 광 필드 이미지 데이터를 캡처하기 위한 배면-조명된 광 필드 이미징 장치(20)가 도시되어 있다. 장치 (20)는, 전면(90) 및 배면(92)을 갖는 기판(88); 기판(88)의 배면(92) 상에 배치되고 상기 장면(22)으로부터 발생하는 광학 파면(26)을 수신하도록 구성된 회절 격자 조립체(24); 기판(88) 내에 형성된 픽셀 어레이(38); 및 전면(90) 아래에 배치되고 픽셀 어레이(38)에 결합된 픽셀 어레이 회로(86)를 포함한다. 회절 격자 조립체(24)는 격자 축(30)을 갖는 적어도 하나의 회절 격자(28) 및 격자 축(30)을 따라 격자 주기(34)를 갖는 굴절률 변조 패턴(32)을 포함한다. 회절 격자(28)는 광학 파면(26)을 회절시켜 회절된 파면(36)을 생성한다. 픽셀 어레이(38)는, 광 필드 이미지 데이터로서, 회절된 파면(36)을 검출하고, 배면(92)을 통해 수신하도록 구성된 복수개의 감광 픽셀(40)을 포함한다. 전술한 바와 같이, 픽셀 어레이(38)는 격자 주기(34)보다 작은 격자 축(30)을 따른 픽셀 피치(62)를 갖는다. 전술한 바와 같이, 본 기술과 관련하여 베면 조명 센서 기술의 장점은, 회절 격자 조립체(24)가 전방 조명 어플리케이션보다 픽셀 어레이(38)의 수광면(68)에 더 근접하게 위치 될 수 있다는 것이다. 예를 들어, 일부 배면 조명 실시예에서, 회절 격자(28)의 굴절률 변조 패턴(32)과 픽셀 어레이(38)의 수광면(68) 사이의 이격 거리(72)는 약 0.5㎛ 내지 약 5㎛의 범위, 예를 들어 1 내지 3 μm 사이일 수 있다.
컬러 이미징 어플리케이션에서, 배면-조명된 광 필드 이미징 장치(20)는, 배면(92) 위에 배치되고, 모자이크 컬러 패턴, 예를 들어 베이어 패턴으로 배열된 복수개의 컬러 필터(44)를 포함하는 컬러 필터 어레이(42)를 포함할 수 있다. 컬러 필터 어레이(42)는, 복수개의 감광 픽셀(40)에 의한 검출 전에, 모자이크 컬러 패턴에 따라 회절된 파면(36)을 공간적으로 및 스펙트럼적으로 필터링한다. 또한 장치(20)는, 컬러 필터 어레이(42) 위에 배치되고 복수개의 마이크로렌즈(66)를 포함하는 마이크로렌즈 어레이(64)를 포함하며, 각각의 마이크로렌즈는 복수개의 컬러 필터(44) 중 대응하는 하나에 광학적으로 결합된다. 도 16에서, 회절 격자(28)는, 굴절률 변조 패턴(32)이 형성된 상부 표면(48)과 마이크로렌즈 어레이(64) 위에 배치된 하부 표면(50)을 포함하는 격자 기판(46)을 포함한다. 배면-조면된 광 필드 이미징 장치(20)의 회절 격자 조립체(24), 픽셀 어레이(38), 컬러 필터 어레이(42) 및 마이크로렌즈 어레이(64)는, 전술한 것과 유사한 특징을 공유할 수 있음을 유의해야 한다.
배면 조명되고 스택-아키텍처(stacked-architecture) 장치는 종종, 센서 풋프린트가 문제가 되는 상황(예를 들면, 스마트폰 모듈(smartphone module), 태블릿(tablet), 웹캠(webcam))에 사용되고, 설계가 점차 복잡해지고 있음을 유의해야 한다. 일부 실시예에서, 본 발명의 기술은, 독립적인 과정으로서 종래의 센서 아키텍처의 상부에 직접적으로 회절 격자를 위치시키는 것을 포함한다. 따라서, 배면 조명 센서 기술과 함께 본 기술을 사용하면, 마이크로렌즈 또는 코딩된(coded) 조리개 접근법의 경우와 같이, 완벽한 센서 또는 패키징(packaging) 재설계(redesign)가 필요 없기 때문에, 센서-수준의(sensor-level) 깊이 감지 광학기를 위한 유연한(flexible) 기회를 나타낼 수 있다. 또한, 센서 상부에 회절 격자 조립체의 통합으로 인한 마이크로미터(micrometer) 단위의 적당한 z-스택(z-stack) 증가는, 센서 모듈의 전체 광학 스택에서 패키징 요구사항 및 구현을 유사하게 단순화할 수 있다. 또한, 배면 조명 제조 공정 자체는, 전면 조명 기술의 경우와 같이, 기존의 실리콘 층에 직접 에칭(etch)을 요구하지 않는다. 더 큰 픽셀 피치 값 및 특정 전면 조명 장치를 갖는 배면-조명된 장치의 경우, 회절 격자 조립체 자체는 컬러 필터 어레이(예를 들어, 도 13 참조)로서 작용할 수 있으며, 이는 제조 복잡성 및/또는 광학 스택의 전체 높이를 감소시킬 수 있다. 광 필드 이미징 장치의 상이한 층들은, 원하는 광학 기능을 지원하는 기하학적 매개변수들에 따라 적층되고 이격될(spaced-apart) 수 있음에 유의해야 한다.
[회절 격자 조립체 구현]
도 17을 참조하면, 또 다른 측면에 따르면, 본 발명의 설명은, 장면(22) 대한 광 필드 이미지 데이터를 캡처하기 위한 복수개의 감광 픽셀(40)을 갖는 픽셀 어레이(38)를 포함하는 이미지 센서(94)와 함께 사용하기 위한 회절 격자 조립체(24)에 관한 것이다. 픽셀 어레이(38) 위에 배치되도록 구성된 회절 격자 조립체(24)는, 격자 축(30)을 갖는 회절 격자(28) 및 격자 축(30)을 따르는 격자 주기(34)를 갖는 굴절률 변조 패턴(32)을 포함하는 한, 광 필드 이미징 장치 구현의 맥락에서 전술한 것과 많은 유사성을 공유할 수 있으며, 격자 주기(34)는 격자 축(30)을 따르는 픽셀 어레이(38)의 픽셀 피치(62)보다 크다. 예를 들어, 격자 축(30)을 따른 픽셀 피치(62)에 대한 격자 주기(34) 의 비율은 2 또는 2의 정수 배수와 동일할 수 있다. 일부 실시예에서, 회절 격자(28)는 2진법의 위상 격자 일 수 있고, 굴절률 변조 패턴(32)은 교대하는 리지(52) 및 그루브(54)를 포함할 수 있다. 회절 격자(28)는, 광 필드 이미지 데이터로서 감광 픽셀(40)에 의한 검출을 위해 회절된 파면(36)을 생성하기 위해, 장면(22)으로부터 파생된 광학 파면(26)을 수신하고 회절시키도록 구성된다. 컬러 이미징 어플리케이션을 위한 일부 실시예에서, 회절 격자 조립체(24)는 이미지 센서(94)의 컬러 필터 어레이(42) 상에 배치되도록 구성된다. 컬러 필터 어레이(42)는 픽셀 어레이(38) 위에 배치되고, 복수개의 감광 픽셀(40)에 의한 검출 이전에 회절된 파면(36)을 공간적으로 그리고 스펙트럼적으로 필터링하도록 구성된다.
어플리케이션에 따라, 회절 격자 구조체(24)는 픽셀 어레이(38) 위에 배치된 2차원 격자 어레이에 배치된 단일 회절 격자(28) 또는 복수개의 회절 격자(28)를 포함할 수 있다.
[방법 구현]
또 다른 측면에 따르면, 본 설명은 종래의 2D 이미지 센서에 3D 이미징 기능을 제공하는 방법뿐만 아니라 장면에 관한 광 필드 이미지 데이터를 캡처하는 방법을 포함하는 다양한 광 필드 이미징 방법에 관한 것이다. 이러한 방법은 전술한 광 필드 이미징 장치 및 회절 격자 조립체 또는 다른 유사한 장치 및 어셈블리를 사용하여 수행될 수 있다.
도 18을 참조하면, 장면에 관한 광 필드 이미지 데이터를 포착하는 방법(200)의 실시 예의 흐름도가 제공된다. 이 방법은, 회절 격자를 갖는 장면으로부터 발생하는 광학 파면을 회절시키는 단계(202)를 포함한다. 회절 격자는, 격자 축 및 격자 축을 따르는 격자 주기를 갖는다. 회절 격자는 입사 광학 파면을 회절시켜 회절된 파면을 생성하도록 구성된다. 회절된 파면은 격자 축을 따르는 강도 프로파일에 의해 특성화될 수 있다. 일부 실시예에서, 회절시키는 단계(202)는, 400nm(가시 스펙트럼의 청색 단부) 내지 1550nm (원격통신 파장), 예를 들어 400nm 내지 650nm 범위의 파장대역에서 광학 파면을 회절시키는 단계를 포함할 수 있다. 일부 실시예에서, 회절 격자는, 함께 회절 격자 조립체를 형성하는 복수개의 회절 격자 중 하나이다. 그러한 실시예에서, 도 18의 방법(200)은 회절 격자 조립체의 각각의 회절 격자에 대해 동시에 수행될 수 있다.
일부 실시예에서, 방법(200)은, 회절 격자를, 예를 들어 2진법의 위상 격자와 같은 위상 격자로 제공하는 단계를 포함할 수 있다. 2진법의 위상 격자는, 격자 주기에서 주기적으로 이격된 교대하는 리지 및 그루브를 포함할 수 있다. 방법 (200)은 1㎛ 내지 20㎛ 범위의 격자 주기를 선택하는 단계를 포함할 수 있다. 또한 방법(200)은, 인접한 리지와 그루브 사이의 광학 경로 차이를 제어하기 위해, 그루브에 대한 리지의 단차를 설정하는 단계를 포함할 수 있다. 예를 들어, 일부 실시예에서, 광학 파면의 주어진 파장에서, 리지와 그루브 사이의 반-파장(half-wave) 광학 경로 차이를 제공하도록, 단차가 설정될 수 있다. 물론, 다른 실시예들에서 다른 값의 광 경로 차이가 사용될 수 있다.
계속 도 18을 참조하면, 방법(200)은 또한, 필터링된 파면을 생성하기 위해, 컬러 필터 어레이로 회절 파면을 공간-스펙트럼적으로(spatio-spectrally) 필터링하는 단계(204)를 포함한다. 이 단계(204)는 선택적이며, 예를 들어 흑백 이미징 어플리케이션과 같은 일부 구현에서는 생략될 수 있음을 주의해야 한다.
방법(200)은, 광 필드 이미지 데이터로서 공간-스펙트럼적으로 필터링된 파면을 검출하는 단계(206)를 더 포함할 수 있다. 검출하는 단계(206)는, 컬러 필터 어레이 아래에 배치된 복수개의 감광 픽셀을 포함하는 픽셀 어레이로 수행될 수 있다. 그러나, 공간-스펙트럼 필터링하는 단계(204)가 생략될 때, 회절 격자 조립체와 픽셀 어레이 사이에 배치된 컬러 필터 어레이는 없으며, 검출하는 단계(206)는 복수개의 감광 픽셀을 갖는 회절된 파면의 직접 검출을 포함한다. 장치 구현과 관련하여 전술한 바와 같이, 회절 격자의 격자 주기는, 격자 축을 따르는 픽셀 어레이의 픽셀 피치보다 더 크게 선택된다. 또한, 전술한 바와 같이, 회절 격자의 상부 표면(즉, 굴절률 변조 패턴)과 하부 픽셀 어레이의 수광면 사이의 이격 거리는, 격자 축을 따르는 회절된 파면의 강도 프로파일이 격자 주기와 실질적으로 일치하는 공간 주기를 갖는, 필터링되거나 회절된 파면이 근거리 회절 영역에서 검출되도록 선택될 수 있다. 예를 들어, 일부 실시예에서, 이 방법은, 근접 필드에서 필터링되거나 회절된 파면을 검출하기 위해 광학 파면의 중심 파장의 약 10배보다 작은 값으로 이격 거리를 설정하는 단계를 포함할 수 있다.
일부 실시예에서, 회절 격자는 약 50%의 듀티 사이클이 제공될 수 있고, 방법(200)은, 회절 격자의 리지 또는 그루브와 정렬되도록, 또는 리지 및 인접한 그루브 사이의 전이 또는 경계와 정렬되도록, 각각의 감광 픽셀을 위치시키는 단계를 포함할 수 있다. 일부 실시예에서, 방법(200)은, 격자 축을 따르는 픽셀 피치에 대한 격자 주기의 비율을 2 또는 2의 정수 배수와 실질적으로 동일하게 설정하는 단계를 포함할 수 있다.
계속하여 도 18을 참조하면, 일부 실시예에서, 복수개의 감광 픽셀은 2개의 직교 픽셀 축에 의해 정의된 사각형의 픽셀 격자에 배치될 수 있고, 방법(200)은 격자 축을 2개의 직교 픽셀 축 중 하나에 평항하게 또는 2개의 직교 픽셀 축 모두에 대해 비스듬하게 배향시키는 단계를 포함할 수 있다. 예를 들어, 몇몇 직교 구현에서, 회절 격자의 절반은 하나의 픽셀 축을 따라 배향될 수 있고, 나머지 절반은 다른 픽셀 축을 따라 배향될 수 있다. 하나의 가능한 비스듬한 배열(oblique configuration)은, 각각의 픽셀 축에 대해 45°의 각도로 회절 격자를 배향시키는 단계를 포함할 수 있다.
일부 실시예에서, 방법(200)은, 광학 파면을 회절시키기 전에, 광학 파면을 스펙트럼적으로 분산시키는 선택적인 단계를 더 포함할 수 있다.
이제 도 19를 참조하면, 장면을 보는 이미지 센서에, 예를 들어 깊이 매핑(mapping) 능력과 같은 3D 이미징 기능을 제공하고, 복수개의 감광 픽셀을 갖는 픽셀 어레이를 포함하는 방법(300)의 흐름도가 제공된다. 예를 들어, 이미지 센서는, 통상적인 또는 맞춤-설계된(custom-designed) 전면 또는 배면 조명된 CMOS 또는 CCD 센서일 수 있다.
방법(300)은, 이미지 센서의 앞에 회절 격자 조립체를 배치하는 단계(302)를 포함한다. 회절 격자 조립체는 적어도 하나의 회절 격자를 포함하며, 각각은 격자 축 및 격자 축을 따르는 격자 주기를 갖는다. 격자 주기는, 격자 축을 따르는 픽셀 어레이의 픽셀 피치보다 더 크게 선택된다. 예를 들어, 일부 실시예에서, 격자 주기는 격자 축을 따르는 픽셀 피치보다 2배 이상 클 수 있다. 일부 실시예에서, 배치하는 단계 (302)는, 감광 픽셀에 의한 검출 이전에, 회절된 파면의 광학 경로 길이가 광학 파면의 중심 파장의 약 10배보다 작도록 선택되는 픽셀 어레이로부터의 이격 거리에 회절 격자 조립체를 위치시키는 단계를 포함할 수 있다. 이러한 배치는 근거리 회절 영역에서 회절된 파면의 검출을 허용한다. 일부 실시예에서, 배치하는 단계(320)는, 픽셀 축의 2개의 직교 픽셀 축 중 하나에 평행하게 또는 픽셀 축에 대해 경사지게(예를 들어, 45°로) 격자 축을 배향시키는 단계를 포함할 수 있다.
일부 실시예에서, 방법(300)은 위상 격자, 예를 들어 2진법의 위상 격자로서 회절 격자를 제공하는 단계를 포함할 수 있다. 2진법의 위상 격자는, 격자 주기에서 또한 주기적으로 이격된(spaced-apart) 그루브의 시리즈로 인터리브되는(interleaved), 격자 주기에서 주기적으로 이격된 리지의 시리즈를 포함할 수 있다. 상기 방법(300)은 1㎛ 내지 20㎛ 사이의 격자 주기를 선택하는 단계를 포함할 수 있다. 방법 (300)은 또한, 인접한 리지와 그루브 사이의 광학 경로 차이를 제어하기 위해, 그루브에 대한 리지의 단차를 설정하는 단계를 포함할 수 있다. 전술한 바와 같이, 리지와 그루브 사이에 미리 결정된 광학 경로 차이를 제공하도록 단차가 선택될 수 있다. 일부 실시예에서, 회절 격자는 약 50%의 듀티 사이클이 제공될 수 있고, 각각의 리지 및 각각의 그루브가 감광 픽셀 중의 대응하는 하나와 연장되어 정렬되도록, 또는 대안적으로 인접한 리지와 그루브 사이의 각각의 전이 또는 접합부(junction)가 감광 픽셀 중 대응하는 하나와 연장되어 정렬되도록, 회절 격자 조립체는 픽셀 어레이 위에 위치될 수 있다.
계속해서 도 19를 참조하면, 방법(300)은 또한, 회절된 파면을 생성하기 위해 회절 격자를 갖는 장면으로부터 파생된 광학 파면을 수신하고 회절시키는 단계(304), 및 감광 픽셀로 회절된 파면을 검출하는 단계(306)을 포함한다. 컬러 이미징 어플리케이션에서, 방법(300)은, 검출하는 단계(306) 이전에, 컬러 필터 어레이로 회절된 파면을 공간-스펙트럼적으로 필터링하는 선택적인 단계(308)를 포함할 수 있다. 일부 실시예에서, 방법(300)은, 광학 파면을 회절시키는 단계 전에, 광학 파면을 스펙트럼적으로 분산시키는 선택적인 단계를 더 포함할 수 있다.
물론, 본 설명의 범위를 벗어나지 않으면서 전술한 실시예에 대한 많은 수정이 이루어질 수 있다.

Claims (89)

  1. 장면에 관한 광 필드 이미지 데이터를 캡처하기 위한 광 필드 이미지 장치로서,
    상기 장면으로부터 파생된 광학 파면(optical wavefront)을 수신하도록 구성된 회절 격자 조립체로서, 격자 축을 갖는 회절 격자와 상기 격자 축을 따르는 격자 주기를 갖는 굴절률 변조 패턴을 포함하고, 상기 회절 격자는 근거리(near-field) 회절 영역에서, 상기 광학 파면의 입사각이 변할 때 상기 격자 축을 따라 측 방향으로 시프트되는 강도 프로파일을 갖는 회절된 파면(diffracted wavefront)을 생성하기 위해 상기 광학 파면을 회절시키도록 구성된 것인 회절 격자 조립체, 및
    상기 회절 격자 조립체 아래에 배치되고 근거리 회절 영역에서 광 필드 이미지 데이터로서 회절된 파면을 검출하도록 구성된 복수개의 감광(light-sensitive) 픽셀(pixel)을 포함하는 픽셀 어레이로서, 상기 복수개의 감광 픽셀은 입사각의 함수로서 강도 프로파일의 상이한 공간 부분을 샘플링하도록 구성된 인접한 픽셀 뱅크를 포함하는 것인 픽셀 어레이,
    를 포함하는 광 필드 이미징 장치.
  2. 제1항에 있어서,
    상기 픽셀 어레이 위에 배치되고 모자이크 컬러 패턴으로 배열된 복수개의 컬러 필터를 포함하는 컬러 필터 어레이를 더 포함하고, 상기 컬러 필터 어레이는, 상기 복수개의 감광 픽셀에 의한 상기 회절된 파면의 검출 이전에, 상기 모자이크 컬러 패턴을 따라 상기 회절된 파면을 공간적으로(spatially) 및 스펙트럼적으로(spectrally) 필터링하도록 구성된,
    광 필드 이미징 장치.
  3. 제2항에 있어서,
    상기 모자이크 컬러 패턴은 베이어 패턴(Bayer pattern), RGB-IR 패턴, RGB-W 패턴, CYGM 패턴, CYYM 패턴, RGBE 패턴, RGBW　#1 패턴, RGBW #2 패턴, 또는 RGBW #3 패턴인,
    광 필드 이미징 장치.
  4. 제1항에 있어서,
    상기 격자 주기는 1 마이크로미터(micrometer) 내지 20 마이크로미터인,
    광 필드 이미징 장치.
  5. 제1항에 있어서,
    상기 회절 격자는 위상 격자(phase grating)인,
    광 필드 이미징 장치.
  6. 제5항에 있어서,
    상기 회절 격자는 2진법의(binary) 위상 격자이고, 상기 굴절률 변조 패턴은, 상기 격자 주기에서 주기적으로 이격된(spaced-apart) 그루브(groove)의 시리즈(series)로 인터리브되는(interleaved), 상기 격자 주기에서 주기적으로 이격된 리지(ridge)의 시리즈를 포함하는,
    광 필드 이미징 장치.
  7. 제6항에 있어서,
    상기 회절 격자는 약 50%의 듀티 사이클(duty cycle)을 갖는,
    광 필드 이미징 장치.
  8. 제7항에 있어서,
    각각의 감광 픽셀은 상기 리지 중 대응하는 하나 또는 상기 그루브 중 대응하는 하나와 정렬되어 아래에 위치되는,
    광 필드 이미징 장치.
  9. 제8항에 있어서,
    각각의 감광 픽셀은 상기 리지 중 대응하는 하나와 상기 그루브 중 대응하는 인접한 하나 사이의 전이(transition)와 정렬되어 아래에 위치되는,
    광 필드 이미징 장치.
  10. 제6항에 있어서, 상기 리지와 그루브 및 하부의 감광 픽셀들 사이의 수직 정렬의 정도는 상기 픽셀 어레이 내의 위치의 함수로서 변하는,
    광 필드 이미징 장치.
  11. 제1항에 있어서,
    상기 회절 격자의 상기 굴절률 변조 패턴과 상기 픽셀 어레이의 수광면(light-receiving surface) 사이의 이격 거리(separation distance)는 0.5 마이크로미터 내지 20 마이크로미터인,
    광 필드 이미징 장치.
  12. 제1항에 있어서,
    상기 복수개의 감광 픽셀은 2개의 직교 픽셀 축(orthogonal pixel axis)에 의해 정의되는 사각형의(rectangular) 픽셀 격자(pixel grid)에 배치되고, 상기 격자 축은 상기 2개의 직교 픽셀 축 중 하나에 평행하거나 상기 2개의 직교 픽셀 모두에 대해 경사지는,
    광 필드 이미징 장치.
  13. 제1항에 있어서,
    상기 장면과 상기 회절 격자 조립체 사이에 상기 광학 파면의 광 경로(light path)에 분산된 분산 광학기(dispersive optics)를 더 포함하고, 상기 분산 광학기는 상기 광학 파면을 수신하고 스펙트럼적으로 분산시키도록 구성되는,
    광 필드 이미징 장치.
  14. 제1항에 있어서,
    상기 픽셀 어레이 위에 배치되고 복수개의 마이크로렌즈(microlens)를 포함하는 마이크로렌즈 어레이(microlens array)를 더 포함하고, 각각의 마이크로렌즈는 상기 감광 픽셀 중 대응하는 하나에 광학적으로 결합되는,
    광 필드 이미징 장치.
  15. 제1항에 있어서,
    배면 조명 구성(backside illumination configuration)에서 상기 픽셀 어레이의 아래에, 또는 전면 조명 구성(frontside illumination configuration)에서 상기 회절 격자 조립체와 상기 픽셀 어레이의 사이에, 배치되는 픽셀 어레이 회로를 더 포함하는,
    광 필드 이미징 장치.
  16. 제1항에 있어서,
    상기 회절 격자는 상기 회절 격자 조립체의 복수개의 회절 격자 중 하나이며, 상기 복수개의 회절 격자는 상기 픽셀 어레이 위에 배치된 2차원 격자 어레이에 배열되는,
    광 필드 이미징 장치.
  17. 제16항에 있어서,
    상기 복수개의 회절 격자는 회절 격자의 복수개의 세트를 포함하고, 상기 세트 중 상이한 하나의 상기 회절 격자의 상기 격자 축은 상이한 방향(orientation)을 갖는,
    광 필드 이미징 장치.
  18. 제17항에 있어서,
    상기 회절 격자의 복수개의 세트는 회절 격자의 제1 세트 및 회절 격자의 제2 세트를 포함하고, 상기 제1 세트의 상기 회절 격자의 상기 격자 축은 상기 제2 세트의 상기 회절 격자의 상기 격자 축에 실질적으로 수직으로 연장되는,
    광 필드 이미징 장치.
  19. 제18항에 있어서, 상기 회절 격자의 제1 세트 및 상기 회절 격자의 제2 세트는 행과 열 모두에서 교대로 배열되어 바둑판 패턴을 형성하거나, 행으로만 또는 열로만 배열된,
    광 필드 이미징 장치.
  20. 제1항에 있어서,
    상기 회절 격자는 회절 격자 조립체의 복수의 회절 격자 중 하나이며, 상기 복수의 회절 격자는 픽셀 어레이 위에 배치된 2차원 격자 배열로 배열되며, 각각의 회절 격자는 그 위에 상기 굴절률 변조 패턴이 형성된 상부 표면을 포함하는 격자 기판을 포함하고, 상기 격자 기판은 상기 복수개의 감광 픽셀에 의해 상기 회절된 파면을 검출하기 전에 상기 회절된 파면을 스펙트럼적으로 필터링하도록 구성된 스펙트럼 필터 재료(material) 또는 영역을 포함하며, 따라서 상기 복수개의 회절 격자는 컬러 필터 어레이를 형성하는,
    광 필드 이미징 장치.
  21. 제20항에 있어서,
    상기 컬러 필터 어레이는 베이어 패턴으로 배열되는,
    광 필드 이미징 장치.
  22. 제1항 내지 제21항 중 어느 한 항에 있어서,
    상기 픽셀 어레이는 상기 격자 주기보다 상기 작은 격자 축을 따르는 픽셀 피치를 갖는,
    광 필드 이미징 장치.
  23. 제22항에 있어서,
    상기 격자 축을 따르는 상기 픽셀 피치에 대한 상기 격자 주기의 비율은 실질적으로 2인,
    광 필드 이미징 장치.
  24. 장면에 관한 광 필드 이미지 데이터를 캡처하기 위한 배면-조명된(backside-illuminated) 광 필드 이미징 장치로서,
    전면 및 배면을 갖는 기판(substrate);
    상기 기판의 배면 상에 배치되고 상기 장면으로부터 발생하는 광학 파면을 수신하도록 구성된 회절 격자 조립체로서, 격자 축을 갖는 회절 격자와 상기 격자 축을 따르는 격자 주기를 갖는 굴절률 변조 패턴을 포함하고, 상기 회절 격자는 회절된 파면을 생성하기 위해 상기 광학 파면을 회절시키도록 구성되고, 상기 회절된 파면은 근거리 회절 영역에서, 상기 광학 파면의 입사각이 변할 때 상기 격자 축을 따라 측 방향으로 시프트되는 강도 프로파일을 가지는 것인 회절 격자 조립체;
    상기 기판에 형성되고, 상기 배면을 통해 수신하고 상기 광 필드 이미지 데이터로서 상기 근거리 회절 영역에서 상기 회절된 파면을 검출하도록 구성된 복수개의 감광 픽셀을 포함하는 픽셀 어레이로서, 상기 복수개의 감광 픽셀은 입사각의 함수로서 강도 프로파일의 상이한 공간 부분을 샘플링하도록 구성된 인접한 픽셀 뱅크를 포함하는 것인 픽셀 어레이; 및
    상기 전면 아래에 배치되고 상기 픽셀 어레이와 결합된 픽셀 어레이 회로;
    를 포함하는 배면-조명된 광 필드 이미징 장치.
  25. 제24항에 있어서,
    상기 배면 상에 배치되고 모자이크 컬러 패턴으로 배열된 복수개의 컬러 필터를 포함하는 컬러 필터 어레이를 더 포함하고, 상기 컬러 필터 어레이는, 복수개의 감광 픽셀에 의한 상기 회절된 파면의 검출 이전에, 상기 모자이크 컬러 패턴을 따라 상기 회절된 파면을 공간적으로(spatially) 및 스펙트럼적으로(spectrally) 필터링하도록 구성된,
    배면-조명된 광 필드 이미징 장치.
  26. 제24항에 있어서,
    상기 회절 격자는 2진법의(binary) 위상 격자이고, 상기 굴절률 변조 패턴은, 상기 격자 주기에서 주기적으로 이격된(spaced-apart) 그루브(groove)의 시리즈(series)로 인터리브되는(interleaved), 상기 격자 주기에서 주기적으로 이격된 리지(ridge)의 시리즈를 포함하는,
    배면-조명된 광 필드 이미징 장치.
  27. 제26항에 있어서,
    상기 회절 격자는 약 50%의 듀티 사이클을 갖고, 각각의 감광 픽셀은 상기 리지 중 대응하는 하나 또는 상기 그루브 중 대응하는 하나와 정렬되어 아래에, 또는 상기 리지 중 대응하는 하나 또는 상기 그루브 중 대응하는 인접한 하나 사이의 전이와 정렬되어 아래에 위치되는,
    배면-조명된 광 필드 이미징 장치.
  28. 제24항에 있어서,
    상기 회절 격자는 상기 회절 격자 조립체의 복수개의 회절 격자 중 하나이고, 상기 복수개의 회절 격자는 상기 픽셀 어레이 위에 배치된 2차원 격자 어레이에 배열되는,
    배면-조명된 광 필드 이미징 장치.
  29. 제24항 내지 제28항 중 어느 한 항에 있어서,
    상기 픽셀 어레이는 격자 주기보다 작은 격자 축을 따르는 픽셀 피치를 갖는,
    배면-조명된 광 필드 이미징 장치.
  30. 제29항에 있어서,
    상기 격자 축을 따르는 상기 픽셀 피치에 대한 상기 격자 주기의 비율은 실질적으로 2인,
    배면-조명된 광 필드 이미징 장치.
  31. 격자 축을 갖는 회절 격자 및 상기 격자 축을 따르는 격자 주기를 갖는 굴절률 변조 패턴을 포함하는 회절 격자 조립체; 및
    상기 회절 격자 아래에 배치된 복수개의 감광 픽셀을 포함하는 픽셀 어레이를 포함하되, 상기 픽셀 어레이는 상기 격자 주기보다 작은 상기 격자 축을 따르는 픽셀 피치;
    를 갖는 광 필드 이미징 장치.
  32. 제31항에 있어서,
    상기 픽셀 어레이 위에 배치되고 모자이크 컬러 패턴으로 배열된 복수개의 컬러 필터를 포함하는 컬러 필터 어레이를 더 포함하는,
    광 필드 이미징 장치.
  33. 제31항에 있어서,
    상기 회절 격자는 2진법의(binary) 위상 격자이고, 상기 굴절률 변조 패턴은, 상기 격자 주기에서 주기적으로 이격된(spaced-apart) 그루브(groove)의 시리즈(series)로 인터리브되는(interleaved), 상기 격자 주기에서 주기적으로 이격된 리지(ridge)의 시리즈를 포함하고, 상기 회절 격자는 약 50%의 듀티 사이클을 갖고, 각각의 감광 픽셀은 상기 리지 중 대응하는 하나 또는 상기 그루브 중 대응하는 하나와 정렬되어 아래에 위치되거나, 또는 상기 리지 중 대응하는 하나 또는 상기 그루브 중 대응하는 인접한 하나 사이의 전이와 정렬되어 아래에 위치되는,
    광 필드 이미징 장치.
  34. 제33항에 있어서, 상기 리지와 그루브 및 하부의 감광 픽셀들 사이의 수직 정렬의 정도는 상기 픽셀 어레이 내의 위치의 함수로서 변하는,
    광 필드 이미징 장치.
  35. 제31항에 있어서,
    상기 회절 격자는 상기 회절 격자 조립체의 복수개의 회절 격자 중 하나이며, 상기 복수개의 회절 격자는 상기 픽셀 어레이 위에 배치된 2차원 격자 어레이에 배열되는,
    광 필드 이미징 장치.
  36. 제31항 내지 제34항 중 어느 한 항에 있어서,
    상기 격자 축을 따르는 상기 픽셀 피치에 대한 상기 격자 주기의 비율은 실질적으로 2인,
    광 필드 이미징 장치.
  37. 장면에 관한 광 필드 이미지 데이터를 캡처하기 위한 복수개의 감광 픽셀을 갖는 픽셀 어레이를 포함하는 이미지 센서와 함께 사용하기 위한 회절 격자 조립체로서, 상기 회절 격자 조립체는 격자 축을 갖는 회절 격자와 상기 격자 축을 따르는 격자 주기를 갖는 굴절률 변조 패턴을 포함하고, 상기 회절 격자는 상기 광 필드 이미지 데이터로서 상기 감광 픽셀에 의한 검출을 위해 회절된 파면을 생성하기 위해 상기 장면으로부터 발생하는 광학 파면을 수신하고 회절시키도록 구성되고, 상기 회절 격자는 근거리 회절 영역에서, 상기 광학 파면의 입사각이 변할 때 상기 격자 축을 따라 측 방향으로 시프트되는 강도 프로파일을 가지며, 상기 회절 격자 조립체는 상기 근거리 회절 영역에서 근거리 회절 방식으로 상기 회절된 파면을 검출하도록 구성된 복수개의 감광 픽셀을 갖고 입사각의 함수로서 강도 프로파일의 상이한 공간 부분을 샘플링하도록 구성된 인접한 픽셀 뱅크를 포함하는 상기 픽셀 어레이 위에 배치되도록 구성되는, 회절 격자 조립체.
  38. 제37항에 있어서,
    상기 회절 격자는 2진법의(binary) 위상 격자이고, 상기 굴절률 변조 패턴은, 상기 격자 주기에서 주기적으로 이격된(spaced-apart) 그루브(groove)의 시리즈(series)로 인터리브되는(interleaved), 상기 격자 주기에서 주기적으로 이격된 리지(ridge)의 시리즈를 포함하는,
    회절 격자 조립체.
  39. 제37항에 있어서,
    상기 회절 격자는 상기 회절 격자 조립체의 복수개의 회절 격자 중 하나이며, 상기 복수개의 회절 격자는 상기 픽셀 어레이 위에 배치된 2차원 격자 어레이에 배열되는,
    회절 격자 조립체.
  40. 제37항 내지 제39항 중 어느 한 항에 있어서,
    상기 격자 주기는 상기 격자 축을 따르는 픽셀 어레이의 픽셀 피치보다 큰,
    회절 격자 조립체.
  41. 제40항에 있어서,
    상기 격자 축을 따르는 상기 픽셀 피치에 대한 상기 격자 주기의 비율은 실질적으로 2인,
    회절 격자 조립체.
  42. 장면에 관한 광 필드 이미지 데이터를 캡처하는 방법으로서,
    격자 축을 따르는 격자 주기를 갖는 회절 격자를 이용하여 상기 장면으로부터 발생하는 광학 파면을 회절시켜 회절된 파면을 생성시키는 단계로서, 상기 회절된 파면은 근거리 회절 영역에서, 상기 광학 파면의 입사각이 변할 때 상기 격자 축을 따라 측 방향으로 시프트되는 강도 프로파일을 갖는 것인, 단계; 및
    상기 회절 격자의 아래에 배치된 복수개의 감광 픽셀을 포함하는 픽셀 어레이를 이용하여 상기 광 필드 이미지 데이터로서 상기 회절된 파면을 검출하는 단계로서, 상기 감광 픽셀은 입사각의 함수로서 강도 프로파일의 상이한 공간 부분을 샘플링하는 인접한 픽셀 뱅크를 포함하는 것인 단계;
    를 포함하는, 방법.
  43. 제42항에 있어서,
    상기 복수개의 감광 픽셀로 상기 회절된 파면을 검출하기 이전에 컬러 필터 어레이로 상기 회절된 파면을 공간-스펙트럼적으로(spatio-spectrally) 필터링하는 단계를 더 포함하는,
    방법.
  44. 제42항에 있어서,
    상기 격자 주기에서 주기적으로 이격된(spaced-apart) 그루브(groove)의 시리즈(series)로 인터리브되는(interleaved), 상기 격자 주기에서 주기적으로 이격된 리지(ridge)의 시리즈를 포함하는 2진법의 위상 격자로서, 상기 회절 격자를 제공하는 단계를 더 포함하는,
    방법.
  45. 제44항에 있어서,
    약 50%의 듀티 사이클을 가지는 상기 회절 격자를 제공하는 단계 및 각각의 감광 픽셀을 상기 리지 중 대응하는 하나 또는 상기 그루브 중 대응하는 하나와 정렬되어 아래에 위치시키거나 상기 리지 중 대응하는 하나와 상기 그루브 중 대응하는 인접한 하나 사이의 전이(transition)와 정렬되어 아래에 위치시키는 단계를 포함하는,
    방법.
  46. 제42항 내지 제45항 중 어느 한 항에 있어서,
    상기 격자 주기를 상기 격자 축을 따르는 상기 픽셀 어레이의 픽셀 피치보다 더 크게 설정하는 단계를 더 포함하는,
    방법.
  47. 제46항에 있어서,
    상기 격자 축을 따르는 상기 픽셀 피치에 대한 상기 격자 주기의 비율이 실질적으로 2가 되도록 설정하는 단계를 더 포함하는,
    방법.
  48. 감광 요소들의 어레이;
    각각의 컬러 필터가 감광 요소 중 적어도 하나를 커버하도록 감광 요소의 어레이에 겹치게 정렬되고 상기 컬러 필터는 모자이크 컬러 패턴에 따라 공간적으로 배열된 컬러 필터의 어레이; 및
    컬러 필터의 어레이 위로 연장되는 회절 격자 구조;
    를 포함하는 광 필드 이미징 장치.
  49. 장면으로부터 입사하는 광학 파면을 회절시켜 회절된 파면을 생성하는 단계;
    상기 회절된 파면을 스펙트럼적 및 공간적으로 필터링하여 복수개의 공간적으로 분포되고 스펙트럼적으로 필터링된 파면 요소를 포함하는 필터링된 파면을 생성하는 단계; 및
    복수개의 배열된 감광 요소에서 공간적으로 분포되고 스펙트럼적으로 필터링된 상기 복수개의 파면 요소들을 광 필드 이미지 데이터로서 검출하는 단계;
    를 포함하는 광 필드 이미징 방법.
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
KR1020197000382A 2016-06-07 2017-06-06 광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법 KR102391632B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662346884P 2016-06-07 2016-06-07
US62/346,884 2016-06-07
PCT/CA2017/050686 WO2017210781A1 (en) 2016-06-07 2017-06-06 Light field imaging device and method for depth acquisition and three-dimensional imaging

Publications (2)

Publication Number Publication Date
KR20190020730A KR20190020730A (ko) 2019-03-04
KR102391632B1 true KR102391632B1 (ko) 2022-04-27

Family

ID=60578320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197000382A KR102391632B1 (ko) 2016-06-07 2017-06-06 광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법

Country Status (7)

Country Link
US (2) US20190257987A1 (ko)
EP (1) EP3466052A4 (ko)
JP (1) JP7120929B2 (ko)
KR (1) KR102391632B1 (ko)
CN (1) CN109716176B (ko)
CA (1) CA3026789A1 (ko)
WO (1) WO2017210781A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190257987A1 (en) * 2016-06-07 2019-08-22 Airy3D Inc. Light Field Imaging Device and Method for Depth Acquisition and Three-Dimensional Imaging
IL251636B (en) 2017-04-06 2018-02-28 Yoav Berlatzky A system and method for a coherent camera
CN111670576B (zh) * 2017-12-05 2022-10-25 艾瑞3D有限公司 用于深度获取的光场图像处理方法
CN110378185A (zh) * 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
US10638061B2 (en) 2018-09-18 2020-04-28 Analog Devices Global Unlimited Company Active-pixel image sensor
JP6857163B2 (ja) * 2018-09-26 2021-04-14 日本電信電話株式会社 偏光イメージング撮像システム
AU2020282386B2 (en) * 2019-05-30 2021-12-16 Microtau Ip Pty Ltd Systems and methods for fabricating microstructures
TW202101035A (zh) 2019-06-05 2021-01-01 加拿大商艾瑞３Ｄ股份有限公司 用於3d感測之光場成像裝置及方法
JP7182522B2 (ja) * 2019-06-27 2022-12-02 Dmg森精機株式会社 検出装置
CN112393692B (zh) * 2019-08-14 2023-04-28 Oppo广东移动通信有限公司 激光投射模组、图像采集模组、深度相机及电子设备
EP3805819A1 (en) * 2019-10-08 2021-04-14 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Light-field sensor, light-field sensor arrangement and camera apparatus
KR20210048951A (ko) * 2019-10-24 2021-05-04 삼성전자주식회사 초분광 이미지 센서 및 이를 포함하는 초분광 촬상 장치
US11070790B1 (en) * 2020-01-10 2021-07-20 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on spatial filtering
CN114365019B (zh) * 2020-07-22 2024-09-20 深圳市汇顶科技股份有限公司 深度信息图像采集装置和电子设备
US12051705B2 (en) * 2020-09-11 2024-07-30 Stmicroelectronics (Research & Development) Limited Pixel with an improved quantum efficiency
US20240012262A1 (en) * 2020-11-10 2024-01-11 Airy3D Inc. Imaging systems and methods for dual depth and polarization sensing
US11536914B2 (en) * 2020-11-17 2022-12-27 Globalfoundries U.S. Inc. Photodetector array with diffraction gratings having different pitches
JP6910680B1 (ja) * 2020-12-25 2021-07-28 株式会社ＳｅｎｓＡＩ 撮像システム
WO2022150903A1 (en) * 2021-01-15 2022-07-21 Airy3D Inc. Lens position determination in depth imaging
US20240114235A1 (en) * 2021-01-22 2024-04-04 Airy3D Inc. Power management techniques in depth imaging
US20220408035A1 (en) * 2021-05-07 2022-12-22 Richard Edward Pimpinella Computational High-Speed Hyperspectral Infrared Camera System
CN113973197B (zh) * 2021-11-29 2023-09-12 维沃移动通信有限公司 像素结构、像素阵列、图像传感器及电子设备
CN119013784A (zh) * 2022-03-22 2024-11-22 凸版控股株式会社 固体拍摄元件及其制造方法
EP4362098A1 (en) * 2022-10-25 2024-05-01 Infineon Technologies AG Active pixel sensor and method for fabricating an active pixel sensor
KR102619003B1 (ko) * 2022-11-22 2023-12-28 상명대학교산학협력단 회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법
CN116974090B (zh) * 2023-09-08 2024-07-30 维悟光子(北京)科技有限公司 3d成像系统及其控制方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013179538A1 (ja) 2012-05-28 2013-12-05 パナソニック株式会社 奥行き推定撮像装置

Family Cites Families (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3641895A (en) * 1969-06-03 1972-02-15 Agfa Gevaert Ag Apparatus for photographic color recording
KR0120397B1 (ko) * 1992-04-28 1997-10-22 나카무라 히사오 화상표시장치
JPH1196374A (ja) * 1997-07-23 1999-04-09 Sanyo Electric Co Ltd ３次元モデリング装置、３次元モデリング方法および３次元モデリングプログラムを記録した媒体
US20100085642A1 (en) * 2000-07-18 2010-04-08 Optaglio Limited Diffractive device
EP1303795B1 (en) * 2000-07-18 2006-08-30 Optaglio Limited Achromatic diffractive device
US6839088B2 (en) * 2001-03-31 2005-01-04 The Board Of Trustees Of The Leland Stanford Junior University System and method for estimating physical properties of objects and illuminants in a scene using modulated light emission
US6524772B1 (en) * 2001-08-30 2003-02-25 United Microelectronics Corp. Method of manufacturing phase grating image sensor
KR100416548B1 (ko) * 2001-10-10 2004-02-05 삼성전자주식회사 3차원 영상 표시장치
US7302093B2 (en) * 2002-03-26 2007-11-27 Hunter Engineering Company Color vision vehicle wheel alignment system
JP3947969B2 (ja) * 2002-05-15 2007-07-25 ソニー株式会社 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
US7548359B2 (en) * 2002-11-13 2009-06-16 Asahi Glass Company, Limited Double-wavelength light source unit and optical head device having four diffraction gratings
US7511749B2 (en) * 2003-12-18 2009-03-31 Aptina Imaging Corporation Color image sensor having imaging element array forming images on respective regions of sensor elements
TWM249381U (en) * 2003-12-19 2004-11-01 Hon Hai Prec Ind Co Ltd Image sensor
US7806499B2 (en) * 2004-02-06 2010-10-05 Nagayama Ip Holdings Llc Complex pointillistic printing
ATE520046T1 (de) * 2004-04-23 2011-08-15 Olivier M Parriaux Hocheffiziente optische beugungseinrichtung
JP4784052B2 (ja) 2004-07-05 2011-09-28 大日本印刷株式会社 固体撮像素子
US20060072005A1 (en) * 2004-10-06 2006-04-06 Thomas-Wayne Patty J Method and apparatus for 3-D electron holographic visual and audio scene propagation in a video or cinematic arena, digitally processed, auto language tracking
EP1882209A2 (en) * 2005-05-18 2008-01-30 Douglas S. Hobbs Microstructured optical device for polarization and wavelength filtering
JP4456040B2 (ja) * 2005-06-17 2010-04-28 パナソニック株式会社 固体撮像素子
WO2007031991A2 (en) * 2005-09-14 2007-03-22 Mirage Innovations Ltd. Diffractive optical device and system
DE602005025879D1 (de) * 2005-09-26 2011-02-24 Suisse Electronique Microtech Ein diffraktives Sicherheitselement
JP2007265581A (ja) * 2006-03-30 2007-10-11 Fujinon Sano Kk 回折素子
US8599301B2 (en) * 2006-04-17 2013-12-03 Omnivision Technologies, Inc. Arrayed imaging systems having improved alignment and associated methods
US7619808B2 (en) * 2006-06-06 2009-11-17 Alcatel-Lucent Usa Inc. Light wave front construction
US7714368B2 (en) * 2006-06-26 2010-05-11 Aptina Imaging Corporation Method and apparatus providing imager pixel array with grating structure and imager device containing the same
US20080043166A1 (en) * 2006-07-28 2008-02-21 Hewlett-Packard Development Company Lp Multi-level layer
JP4978105B2 (ja) * 2006-08-10 2012-07-18 セイコーエプソン株式会社 撮像素子カバー及び撮像装置
JP5028048B2 (ja) * 2006-08-10 2012-09-19 キヤノン株式会社 撮像装置
US7773138B2 (en) * 2006-09-13 2010-08-10 Tower Semiconductor Ltd. Color pattern and pixel level binning for APS image sensor using 2×2 photodiode sharing scheme
CN101222009A (zh) * 2007-01-12 2008-07-16 清华大学 发光二极管
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP2009025501A (ja) 2007-07-19 2009-02-05 Topcon Corp 回折格子付き波長板と、回折格子付き波長板の製造方法
JP2009217123A (ja) * 2008-03-12 2009-09-24 Fujinon Corp 回折格子型ローパスフィルタ
US8809758B2 (en) * 2008-07-25 2014-08-19 Cornell University Light field image sensor with an angle-sensitive pixel (ASP) device
EP3836215A1 (en) 2008-07-25 2021-06-16 Cornell University Light field image sensor, method and applications
US7910961B2 (en) * 2008-10-08 2011-03-22 Omnivision Technologies, Inc. Image sensor with low crosstalk and high red sensitivity
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8520061B2 (en) * 2009-12-14 2013-08-27 3M Innovative Properties Company Zero-D dimming for 3D displays
WO2012018887A2 (en) * 2010-08-03 2012-02-09 Cornell University Angle sensitive pixel (asp)-based image processing system, method, and applications
EP2633277B1 (en) * 2010-10-27 2020-06-17 Cornell University Angle-sensitive pixel device
EP2447744B1 (en) * 2010-11-01 2021-03-31 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Pixelated optical filter and method for the manufacturing thereof
JP5854593B2 (ja) 2010-11-17 2016-02-09 キヤノン株式会社 積層型回折光学素子
WO2012095322A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
US20130265459A1 (en) * 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP5760811B2 (ja) * 2011-07-28 2015-08-12 ソニー株式会社 固体撮像素子および撮像システム
JP2013038164A (ja) * 2011-08-05 2013-02-21 Sony Corp 固体撮像装置、電子機器
CN107230236B (zh) * 2011-09-28 2020-12-08 快图有限公司 用于编码和解码光场图像文件的系统及方法
JP6132241B2 (ja) * 2011-11-08 2017-05-24 パナソニックＩｐマネジメント株式会社 光取り込みシートを備える受光装置
EP2777291B1 (en) * 2011-11-09 2022-04-20 Koninklijke Philips N.V. Display device
JP5692051B2 (ja) * 2011-12-27 2015-04-01 株式会社Ｊｖｃケンウッド 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
US8861850B2 (en) * 2012-01-31 2014-10-14 Apple Inc. Digital image color correction
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
KR101927886B1 (ko) * 2012-03-19 2018-12-11 삼성전자주식회사 영상 처리 장치 및 그 방법
EP2693396A1 (en) * 2012-07-30 2014-02-05 Nokia Corporation Method, apparatus and computer program product for processing of multimedia content
JP6083538B2 (ja) * 2012-11-30 2017-02-22 パナソニックＩｐマネジメント株式会社 集光装置、固体撮像素子および撮像装置
JP2014154755A (ja) 2013-02-12 2014-08-25 Canon Inc 撮影レンズの瞳分割手段を備えた撮像素子を有する撮像装置および撮像素子の製造方法
US9110240B2 (en) * 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
US9502453B2 (en) * 2013-03-14 2016-11-22 Visera Technologies Company Limited Solid-state imaging devices
US9679360B2 (en) * 2013-05-10 2017-06-13 Trustees Of Princeton University High-resolution light-field imaging
WO2014194920A1 (en) * 2013-06-04 2014-12-11 Danmarks Tekniske Universitet An optical device capable of providing a structural color, and a corresponding method of manufacturing such a device
JP2015037102A (ja) * 2013-08-12 2015-02-23 株式会社東芝 固体撮像装置
US9515113B2 (en) * 2013-08-27 2016-12-06 Rambus Inc. Optical sensing of nearby scenes with tessellated phase anti-symmetric gratings
KR102308388B1 (ko) * 2013-12-20 2021-10-05 코닌클리케 필립스 엔.브이. 무안경식 디스플레이 디바이스
JP6228300B2 (ja) * 2013-12-24 2017-11-08 ライトロ, インコーポレイテッドLytro, Inc. プレノプティックカメラの分解能の改良
US10244223B2 (en) * 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
CN106104318B (zh) * 2014-04-09 2019-05-03 拉姆伯斯公司 低功率图像改变检测器
JP2016001236A (ja) 2014-06-11 2016-01-07 株式会社エンプラス 回折格子および変位計測装置
US8988317B1 (en) * 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
EP3157410B1 (en) * 2014-06-20 2020-05-06 Rambus Inc. System for lensed and lensless optical sensing
KR20160025729A (ko) * 2014-08-28 2016-03-09 에스케이하이닉스 주식회사 깊이 검출 픽셀을 구비한 이미지 센서 및 이를 이용한 깊이 정보 생성 방법
US9825078B2 (en) * 2014-11-13 2017-11-21 Visera Technologies Company Limited Camera device having an image sensor comprising a conductive layer and a reflection layer stacked together to form a light pipe structure accommodating a filter unit
US9712806B2 (en) * 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light
JP6604337B2 (ja) * 2015-02-06 2019-11-13 Ａｇｃ株式会社 ガラス基板、積層基板、およびガラス基板の製造方法
US9467633B2 (en) * 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
KR102456875B1 (ko) * 2015-03-17 2022-10-19 코넬 유니버시티 심도 촬상 장치, 방법 및 응용
US20160309065A1 (en) * 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
WO2016180702A1 (en) * 2015-05-08 2016-11-17 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Eye tracking device and method for operating an eye tracking device
US10566365B2 (en) * 2015-05-27 2020-02-18 Visera Technologies Company Limited Image sensor
US11054664B2 (en) * 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
US9712792B2 (en) * 2015-08-10 2017-07-18 Samsung Electronics Co., Ltd. RGB-RWB dual images by multi-layer sensors towards better image quality
US10261584B2 (en) * 2015-08-24 2019-04-16 Rambus Inc. Touchless user interface for handheld and wearable computers
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3144879A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing A method and an apparatus for generating data representative of a light field
US10379370B2 (en) * 2015-10-02 2019-08-13 Pure Depth Limited Method and system for performing sub-pixel compression in order to reduce moire interference in a display system including multiple displays
US9876995B2 (en) * 2015-12-04 2018-01-23 Visera Technologies Company Limited Image sensor
KR102581465B1 (ko) * 2016-01-12 2023-09-21 삼성전자주식회사 회절형 컬러 필터를 구비하는 입체 영상 표시 장치
US9837455B2 (en) * 2016-01-20 2017-12-05 Visera Technologies Company Limited Image sensor
EP3408697A4 (en) * 2016-01-30 2019-10-30 LEIA Inc. PRIVACY DISPLAY AND DUAL MODE PRIVACY DISPLAY SYSTEM
KR102718698B1 (ko) * 2016-02-29 2024-10-21 엔라이트 인크. 3d 이미지화 시스템 및 방법
US10222742B2 (en) * 2016-04-14 2019-03-05 Rambus Inc. Systems and methods for improving resolution in lensless imaging
US20190257987A1 (en) * 2016-06-07 2019-08-22 Airy3D Inc. Light Field Imaging Device and Method for Depth Acquisition and Three-Dimensional Imaging
CN105929587B (zh) * 2016-06-24 2022-09-30 京东方科技集团股份有限公司 一种显示装置
US20180091798A1 (en) * 2016-09-26 2018-03-29 Imec Taiwan Co. System and Method for Generating a Depth Map Using Differential Patterns
WO2018131509A1 (ja) * 2017-01-13 2018-07-19 ソニーセミコンダクタソリューションズ株式会社 撮像素子、製造方法、および電子機器
US20190346598A1 (en) * 2017-01-20 2019-11-14 Rambus Inc. Imaging systems and methods with periodic gratings with homologous pixels
GB201708407D0 (en) * 2017-05-25 2017-07-12 Cambridge Entpr Ltd Optical Devices
KR102486389B1 (ko) * 2017-08-14 2023-01-09 삼성전자주식회사 나노구조 광학소자, 깊이 센서 및 전자장치
CN107749070B (zh) * 2017-10-13 2020-06-02 京东方科技集团股份有限公司 深度信息的获取方法和获取装置、手势识别设备
US20190132574A1 (en) * 2017-10-31 2019-05-02 Microsoft Technology Licensing, Llc Depth sensing system with differential imaging camera
CN111670576B (zh) * 2017-12-05 2022-10-25 艾瑞3D有限公司 用于深度获取的光场图像处理方法
US10516876B2 (en) * 2017-12-19 2019-12-24 Intel Corporation Dynamic vision sensor and projector for depth imaging
US10802117B2 (en) * 2018-01-24 2020-10-13 Facebook Technologies, Llc Systems and methods for optical demodulation in a depth-sensing device
KR102708011B1 (ko) * 2018-09-03 2024-09-24 삼성전자주식회사 이미지 센서
WO2020175464A1 (ja) * 2019-02-26 2020-09-03 凸版印刷株式会社 波長選択フィルタ、波長選択フィルタの製造方法、および、表示装置
US11405535B2 (en) * 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
JP2020191564A (ja) * 2019-05-22 2020-11-26 ソニーセミコンダクタソリューションズ株式会社 受光デバイス、固体撮像装置、電子機器及び情報処理システム
TW202101035A (zh) * 2019-06-05 2021-01-01 加拿大商艾瑞３Ｄ股份有限公司 用於3d感測之光場成像裝置及方法
US10964744B1 (en) * 2019-09-13 2021-03-30 Omnivision Technologies, Inc. Light control for improved near infrared sensitivity and channel separation
US20230418084A1 (en) * 2020-11-20 2023-12-28 Airy3D Inc. Diffraction-grating-based systems and methods for stereoscopic and multiscopic imaging
US11683598B1 (en) * 2022-02-24 2023-06-20 Omnivision Technologies, Inc. Image sensor with on-chip occlusion detection and methods thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013179538A1 (ja) 2012-05-28 2013-12-05 パナソニック株式会社 奥行き推定撮像装置

Also Published As

Publication number Publication date
KR20190020730A (ko) 2019-03-04
WO2017210781A1 (en) 2017-12-14
US20190257987A1 (en) 2019-08-22
CN109716176B (zh) 2021-09-17
EP3466052A1 (en) 2019-04-10
JP7120929B2 (ja) 2022-08-17
EP3466052A4 (en) 2020-02-19
US20220057550A1 (en) 2022-02-24
CN109716176A (zh) 2019-05-03
JP2019523910A (ja) 2019-08-29
CA3026789A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
KR102391632B1 (ko) 광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법
KR102543392B1 (ko) 깊이 획득을 위한 명시야 이미지 처리 방법
US11372147B2 (en) Phase gratings with odd symmetry for high-resolution lensless optical sensing
US20220221733A1 (en) Light Field Imaging Device and Method for 3D Sensing
JP2019523910A5 (ko)
US10854652B2 (en) Optical sensing with tessellated diffraction-pattern generators
US9945718B2 (en) Image sensors with multi-functional pixel clusters
US20160170103A1 (en) Phase Gratings with Odd Symmetry for Optical Sensing
TWI861862B (zh) 多光譜光學感測器、攝影機系統及視差補償方法
TW202413899A (zh) 多光譜光學感測器、攝影機系統及視差補償方法
WO2022099408A1 (en) Imaging systems and methods for dual depth and polarization sensing
WO2024108298A1 (en) Edge angle and baseline angle correction in depth imaging

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20190104

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200526

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210908

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220308

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220425

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220425

End annual number: 3

Start annual number: 1

PG1601 Publication of registration