KR102025012B1 - 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법 - Google Patents

멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR102025012B1
KR102025012B1 KR1020180052233A KR20180052233A KR102025012B1 KR 102025012 B1 KR102025012 B1 KR 102025012B1 KR 1020180052233 A KR1020180052233 A KR 1020180052233A KR 20180052233 A KR20180052233 A KR 20180052233A KR 102025012 B1 KR102025012 B1 KR 102025012B1
Authority
KR
South Korea
Prior art keywords
pixels
pixel array
color
opas
camera system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020180052233A
Other languages
English (en)
Inventor
경종민
장승혁
최원석
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020180052233A priority Critical patent/KR102025012B1/ko
Priority to US16/403,405 priority patent/US10916576B2/en
Priority to CN201910377472.1A priority patent/CN110460785A/zh
Application granted granted Critical
Publication of KR102025012B1 publication Critical patent/KR102025012B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H01L27/14601—
    • H01L27/14621—
    • H01L27/14623—
    • H01L27/14627—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H04N5/357—
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H10F39/8023—Disposition of the elements in pixels, e.g. smaller elements in the centre of the imager compared to larger elements at the periphery
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8057—Optical shielding
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

픽셀들의 상부에 배치된 차광막들에 형성되는 OPA들이 서로 이격된 거리가 최대화되어 베이스라인을 증가시키는 방법과 컬러 광 신호와 W 광 신호가 서로 오염되는 컬러 믹스 문제를 해결하기 위한 구조를 갖는 카메라 시스템 및 그 동작 방법이 개시된다. 일 실시예에 따르면, 카메라 시스템은 단일 렌즈; 및 레퍼런스 픽셀 어레이-상기 레퍼런스 픽셀 어레이는 2차원 배열의 복수의 W(White) 픽셀들 및 상기 복수의 W 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함- 및 적어도 하나의 컬러 픽셀 어레이-상기 적어도 하나의 컬러 픽셀 어레이는 2차원 배열의 두 개의 W 픽셀들 및 두 개의 컬러 픽셀들과 상기 두 개의 W 픽셀들 및 상기 두 개의 컬러 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서를 포함하고, 상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들 및 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며, 상기 OPA들은, 상기 레퍼런스 픽셀 어레이 및 상기 적어도 하나의 컬러 픽셀 어레이 각각에서 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성된다.

Description

멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법{MULTI PIXEL MICRO LENS PIXEL ARRAY AND CAMERA SYSTEM FOR SOLVING COLOR MIX AND OPERATING METHOD THEREOF}
아래의 설명은 베이스라인을 증가시킨 구조를 갖는 카메라 시스템에서 이미지 센서의 픽셀 상 컬러 광 신호와 W 광 신호가 서로 오염되는 컬러 믹스 문제를 해결하기 위한 기술이다.
카메라 시스템(정확하게는 카메라 시스템에 포함되는 이미지 센서)과 피사체 사이의 거리로 나타내는 피사체에 대한 깊이가 산출되는 방식으로는, 카메라 시스템의 복수의 애퍼처들을 통해 획득되는 이미지들 사이의 블러(blur) 변화를 이용하는 방식과 시차를 이용하는 방식이 있다.
보다 상세하게 종래의 시차를 이용하는 방식은, 두 개의 렌즈들 및 이미지 센서로 스테레오 카메라 시스템을 구성한 뒤, 두 개의 렌즈들을 통해 각각 유입되는 광 신호를 처리하여 시차가 존재하는 두 개의 이미지들을 획득하거나, 단일 카메라 시스템에서 단일 렌즈에 형성된 복수의 애퍼처들(Offset Aperture; OA) 각각을 통과한 광 신호를 처리하여 시차가 존재하는 두 개의 이미지들을 획득한 후, 수식을 통해 두 개의 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 계산할 수 있다.
그러나 종래의 스테레오 카메라 시스템을 통해 시차를 이용하는 방식은 두 개의 렌즈들로 하나의 카메라 시스템을 구성하기 때문에, 넓은 단면적으로 인해 소형화가 힘든 단점을 가지며, 종래의 OA를 통해 시차를 이용하는 방식은 카메라 시스템의 베이스라인의 길이가 짧아 이미지들 사이의 시차가 작게 되어 산출되는 깊이의 범위가 저하되는 단점을 갖는다.
이에, 아래의 실시예들은 종래의 시차를 이용하는 방식의 단점들을 극복하는 구조를 갖는 카메라 시스템을 제안한다.
특히, 아래의 실시예들은, 종래의 시차를 이용하는 방식의 단점들을 극복하는 구조가 갖게 될 수 있는 컬러 믹스 문제 역시 해결 가능한 카메라 시스템을 제안한다.
일 실시예들은 스테레오 카메라 시스템의 넓은 단면적으로 인해 소형화가 힘든 단점 또는 OA 기반 카메라 시스템에서 이미지들 사이의 시차가 작아 산출되는 깊이의 범위가 저하되는 단점을 극복하고자 베이스라인을 증가시킨 구조의 카메라 시스템에서 발생될 수 있는 컬러 믹스 문제를 해결하는 기술을 제공한다.
구체적으로, 일 실시예들은 이미지 센서에 포함되는 픽셀들에 OPA(Offset Pixel Aperture)들을 적용하고 OPA들이 서로 이격된 거리가 최대화되도록 하는 카메라 시스템에서 발생될 수 있는 컬러 믹스 문제를 해결하고자, 레퍼런스 픽셀 어레이를 포함하는 제1 구조 또는 복수의 W 픽셀들로만 구성되는 적어도 하나의 픽셀 어레이를 포함하는 제2 구조 중 어느 하나의 구조를 갖는 카메라 시스템을 제공한다.
또한, 일 실시예들은 제1 구조를 갖는 카메라 시스템에서 컬러 믹스를 보상하는 동작 방법을 제공한다.
일 실시예에 따르면, 카메라 시스템은, 단일 렌즈; 및 레퍼런스 픽셀 어레이-상기 레퍼런스 픽셀 어레이는 2차원 배열의 복수의 W 픽셀들 및 상기 복수의 W 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함- 및 적어도 하나의 컬러 픽셀 어레이-상기 적어도 하나의 컬러 픽셀 어레이는 2차원 배열의 두 개의 W(White) 픽셀들 및 두 개의 컬러 픽셀들과 상기 두 개의 W 픽셀들 및 상기 두 개의 컬러 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서를 포함하고, 상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들 및 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며, 상기 OPA들은, 상기 레퍼런스 픽셀 어레이 및 상기 적어도 하나의 컬러 픽셀 어레이 각각에서 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성될 수 있다.
일 측면에 따르면, 상기 카메라 시스템은, 상기 레퍼런스 픽셀 어레이에서 수신되는 오염되지 않은 W 광 신호를 이용하여, 상기 적어도 하나의 컬러 픽셀 어레이에서 수신되는 오염되지 않은 컬러 광 신호를 산출하는 적어도 하나의 프로세서를 더 포함할 수 있다.
다른 측면에 따르면, 상기 적어도 하나의 프로세서는, 상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들을 통해 획득된 적어도 두 개의 이미지들의 세트 또는 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들을 통해 획득되는 두 개의 이미지들의 세트 중 어느 하나 세트 사이의 시차(Disparity)를 이용하여 피사체에 대한 깊이를 산출할 수 있다.
또 다른 측면에 따르면, 상기 OPA들은, 상기 카메라 시스템의 베이스라인을 증가시키기 위하여, 상기 레퍼런스 픽셀 어레이 및 상기 적어도 하나의 컬러 픽셀 어레이 각각에서 수평 방향, 수직 방향 또는 대각 방향으로 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성될 수 있다.
또 다른 측면에 따르면, 상기 OPA들이 상기 레퍼런스 픽셀 어레이에서 서로 이격된 거리와 상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들 각각의 높이와 관련된 오프셋 f 넘버 및 상기 OPA들이 상기 적어도 하나의 컬러 픽셀 어레이에서 서로 이격된 거리와 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들 각각의 높이와 관련된 오프셋 f 넘버는, 상기 단일 렌즈의 f 넘버보다 큰 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 컬러 픽셀들은, 동일한 파장의 컬러 광 신호를 처리하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들 중 두 개의 W 픽셀들의 상부에 위치하는 상기 OPA들과, 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들의 상부에 위치하는 상기 OPA들은, 각각의 픽셀을 기준으로 서로 일치하는 중심 위치를 가질 수 있다.
또 다른 측면에 따르면, 상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들의 상부에 위치하는 상기 OPA들 중 적어도 두 개의 OPA들은, 각각의 픽셀을 기준으로 서로 어긋난 중심 위치를 갖고, 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들의 상부에 위치하는 상기 OPA들은, 상기 두 개의 W 픽셀들 각각을 기준으로 서로 어긋난 중심 위치를 가질 수 있다.
일 실시예에 따르면, 단일 렌즈; 레퍼런스 픽셀 어레이-상기 레퍼런스 픽셀 어레이는 2차원 배열의 복수의 W 픽셀들 및 상기 복수의 W 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함- 및 적어도 하나의 컬러 픽셀 어레이-상기 적어도 하나의 컬러 픽셀 어레이는 2차원 배열의 두 개의 W 픽셀들 및 두 개의 컬러 픽셀들과 상기 두 개의 W 픽셀들 및 상기 두 개의 컬러 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서; 및 적어도 하나의 프로세서를 포함하고, 상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들 및 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며, 상기 OPA들은, 상기 레퍼런스 픽셀 어레이 및 상기 적어도 하나의 컬러 픽셀 어레이 각각에서 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성되는 카메라 시스템에 의해 수행되는 컬러 믹스를 보상하는 방법은, 상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들에서 오염되지 않은 W 광 신호를 수신하는 단계; 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들에서 오염된 W 광 신호를 수신하는 단계; 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 두 개의 컬러 픽셀들에서 오염된 컬러 광 신호를 수신하는 단계; 및 상기 오염되지 않은 W 광 신호를 이용하여, 상기 오염되지 않은 컬러 광 신호를 산출하는 단계를 포함할 수 있다.
다른 일 실시예에 따르면, 카메라 시스템은, 단일 렌즈; 및 적어도 하나의 픽셀 어레이-상기 적어도 하나의 픽셀 어레이는, 2차원 배열의 복수의 W 픽셀들 및 상기 복수의 W 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서를 포함하고, 상기 복수의 W 픽셀들 중 적어도 두 개의 W 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며, 상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성될 수 있다.
일 측면에 따르면, 상기 OPA들은, 상기 카메라 시스템의 베이스라인을 증가시키기 위하여, 상기 적어도 하나의 픽셀 어레이에서 수평 방향 또는 수직 방향으로 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성될 수 있다.
다른 일 측면에 따르면, 상기 OPA들이 서로 이격된 거리와 상기 적어도 두 개의 W 픽셀들 각각의 높이와 관련된 오프셋 f 넘버는, 상기 단일 렌즈의 f 넘버보다 큰 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 OPA들은, 각각의 픽셀을 기준으로 서로 어긋난 중심 위치를 가질 수 있다.
또 다른 측면에 따르면, 상기 카메라 시스템은, 상기 복수의 W 픽셀들 중 서로 어긋난 중심 위치를 갖는 OPA들이 상부에 위치하는 적어도 두 개의 W 픽셀들을 통해 획득된 적어도 두 개의 이미지들 사이의 시차(Disparity)를 이용하여 피사체에 대한 깊이를 산출하는 적어도 하나의 프로세서를 더 포함할 수 있다.
일 실시예들은 스테레오 카메라 시스템의 넓은 단면적으로 인해 소형화가 힘든 단점 또는 OA 기반 카메라 시스템에서 이미지들 사이의 시차가 작아 산출되는 깊이의 범위가 저하되는 단점을 극복하고자 베이스라인을 증가시킨 구조의 카메라 시스템에서 발생될 수 있는 컬러 믹스 문제를 해결하는 기술을 제공할 수 있다.
구체적으로, 일 실시예들은 이미지 센서에 포함되는 픽셀들에 OPA(Offset Pixel Aperture)들을 적용하고 OPA들이 서로 이격된 거리가 최대화되도록 하는 카메라 시스템에서 발생될 수 있는 컬러 믹스 문제를 해결하고자, 레퍼런스 픽셀 어레이를 포함하는 제1 구조 또는 복수의 W 픽셀들로만 구성되는 적어도 하나의 픽셀 어레이를 포함하는 제2 구조 중 어느 하나의 구조를 갖는 카메라 시스템을 제공할 수 있다.
또한, 일 실시예들은 제1 구조를 갖는 카메라 시스템에서 컬러 믹스를 보상하는 동작 방법을 제공할 수 있다.
도 1은 베이스라인을 증가시킨 카메라 시스템과 단일 렌즈에 애퍼처가 적용된 카메라 시스템 사이의 관계를 설명하기 위한 도면이다.
도 2는 베이스라인을 증가시킨 카메라 시스템에서의 깊이 산출 원리를 설명하기 위한 도면이다.
도 3은 베이스라인을 증가시킨 카메라 시스템의 제약 조건을 설명하기 위한 도면이다.
도 4는 베이스라인을 증가시킨 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이를 설명하기 위한 도면이다.
도 5는 베이스라인을 증가시킨 카메라 시스템에서 발생될 수 있는 컬러 믹스 문제를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 7은 일 실시예에 따라 제1 구조가 적용된 카메라 시스템의 이미지 센서를 설명하기 위한 도면이다.
도 8은 도 7에 도시된 이미지 센서에서 컬러 믹스를 보상하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따라 제1 구조가 적용된 카메라 시스템에 의해 수행되는 컬러 믹스를 보상하는 방법을 나타낸 플로우 차트이다.
도 10은 일 실시예에 따라 제2 구조가 적용된 카메라 시스템의 이미지 센서를 설명하기 위한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(Terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 예컨대, 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 제시된 각각의 실시예 범주에서 개별 구성요소의 위치, 배치, 또는 구성은 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.
깊이가 적용된 3차원 이미지를 획득하기 위해서는, 2차원 이미지에 포함되는 픽셀들 각각의 깊이가 산출되어야 한다. 이 때, 2차원 이미지에 포함되는 픽셀들 각각의 깊이를 산출하는 종래의 방식으로는 촬영 대상이 되는 피사체(오브젝트)에 레이저를 조사하고 그 빛이 돌아오는 시간을 측정하는 TOF(time of flight) 방식, 두 개 이상의 카메라 시스템들에서 각각 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 스테레오(depth from stereo) 방식, 단일 카메라 시스템에서 단일 렌즈에 형성된 복수의 애퍼처들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 방식(Offset Aperture; OA를 이용한 시차 방식), 단일 카메라 시스템에서 단일 렌즈에 형성된 복수의 애퍼처들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 블러 변화를 이용하여 깊이를 산출하는 방식(Dual Aperture; DA를 이용한 블러 방식) 등이 있다.
이하, 설명되는 베이스라인을 증가시킨 카메라 시스템은 이러한 종래의 방식들 중 이미지들 사이의 시차를 이용하는 방식을 기반으로 하나, 단일 렌즈에 복수의 애퍼처들을 형성하는 대신에, 이미지 센서에 포함되는 픽셀 어레이의 픽셀들에 OPA(Offset Pixel Aperture)를 적용함으로써, 단면적을 최소화하여 소형화를 도모하고자 한다.
특히, 베이스라인을 증가시킨 카메라 시스템은 OPA들이 서로 이격된 거리가 최대화되도록 함으로써, 베이스라인을 증가시켜 이미지들 사이의 시차를 크게 하고 산출되는 깊이의 범위를 향상시킬 수 있다.
도 1은 베이스라인을 증가시킨 카메라 시스템과 단일 렌즈에 애퍼처가 적용된 카메라 시스템 사이의 관계를 설명하기 위한 도면이고, 도 2는 베이스라인을 증가시킨 카메라 시스템에서의 깊이 산출 원리를 설명하기 위한 도면이며, 도 3은 베이스라인을 증가시킨 카메라 시스템의 제약 조건을 설명하기 위한 도면이다. 이하, 도 1은 설명의 편의를 위해 베이스라인을 증가시킨 카메라 시스템에서 OPA가 적용된 하나의 픽셀을 기준으로 상술되나, 도 2와 같이 OPA들이 적용된 두 개의 픽셀들을 포함하는 이미지 센서를 바탕으로 한다.
도 1을 참조하면, 베이스라인을 증가시킨 카메라 시스템(110)에서 이미지 센서의 픽셀 어레이에 포함되는 어느 하나의 픽셀에는 OPA(111) 형성된 차광막(112)이 배치된다. 이에, OPA(111)의 중심이 픽셀의 중심으로부터 오프셋된 거리인 O1는, 단일 렌즈(121)에 애퍼처(122)가 형성된 카메라 시스템(종래의 카메라 시스템)(120)에서의 애퍼처(122)의 중심이 단일 렌즈(121)의 중심으로부터 오프셋된 거리인 O2와 비례하는 관계를 갖는다.
따라서, 픽셀의 중심으로부터 어긋난 중심 위치를 갖는 OPA(111)는 단일 렌즈(121)의 중심으로부터 어긋난 중심 위치를 갖도록 단일 렌즈(121) 상에 형성된 애퍼처(122)와 동일하게 치부될 수 있으며, 이로 인해 베이스라인을 증가시킨 카메라 시스템(110)은 종래의 OA를 이용한 시차 방식에서의 깊이 산출 수식을 이용하여 피사체에 대한 깊이를 산출할 수 있다.
보다 상세하게, 도 2를 참조하면, 베이스라인을 증가시킨 카메라 시스템(200)에서 단일 렌즈(210)의 직경
Figure 112018044697160-pat00001
및 초점 거리 f와 관련된 파라미터
Figure 112018044697160-pat00002
(
Figure 112018044697160-pat00003
는, 단일 렌즈(210)의 직경
Figure 112018044697160-pat00004
가 OPA들(221, 231)이 서로 이격된 거리(정확하게는, 제1 OPA(221)의 중심과 제2 OPA(231) 사이의 거리)인
Figure 112018044697160-pat00005
및 OPA들(221, 231)이 형성된 차광막들(222, 232)이 배치되는 픽셀들(220, 230) 각각의 높이인 h와 관련하여 비례하는 관계를 갖기 때문에(
Figure 112018044697160-pat00006
), 픽셀들(220, 230) 각각의 높이인 h 및 OPA들(221, 231)이 서로 이격된 거리인
Figure 112018044697160-pat00007
와 관련하여 비례하는 관계를 갖게 된다(
Figure 112018044697160-pat00008
). 이에, 베이스라인을 증가시킨 카메라 시스템(200)은 종래의 OA를 이용한 시차 방식에서의 깊이 산출 수식을 기반으로 아래의 식 1을 이용하여 피사체에 대한 깊이를 산출할 수 있다.
<식 1>
Figure 112018044697160-pat00009
식 1에서, ds는 베이스라인을 증가시킨 카메라 시스템(200)의 이미지 센서에서 OPA들(221, 231)이 배치된 두 개의 픽셀들(220, 230)을 통해 획득되는 이미지들 사이의 시차를 의미하고, f는 초점 거리를 의미하며, a는 피사체 거리(피사체로부터 카메라 시스템의 단일 렌즈의 제1 주평면까지의 거리로서, 피사체에 대한 깊이에 해당됨)를 의미하고,
Figure 112018044697160-pat00010
는 이미지 센서에 초점이 맞은 피사체 거리를 의미하며,
Figure 112018044697160-pat00011
는 단일 렌즈(210)의 직경
Figure 112018044697160-pat00012
및 초점 거리 f와 관련된 파라미터를 의미한다.
이 때, 단일 렌즈(210)의 직경
Figure 112018044697160-pat00013
및 초점 거리 f와 관련된 파라미터인
Figure 112018044697160-pat00014
가 카메라 시스템(200)에 포함되는 단일 렌즈의 f 넘버보다 작을 경우, 도 3에 도시된 310 경우와 같이 이미지 촬영 자체가 불가능하다. 따라서,
Figure 112018044697160-pat00015
는 반드시 320 경우와 같이 단일 렌즈(210)의 f 넘버보다 커야 한다.
한편, 식 1로부터 유도되는 픽셀 별 시차를 나타내는 아래의 식 2(식 2에서 d는 픽셀 사이즈를 의미함)는, 초점 거리인 f가 픽셀들로 구성되는 픽셀 어레이의 사이즈 및 FOV(Field Of View)와 관련하여 비례하는 관계를 갖고 있기 때문에(
Figure 112018044697160-pat00016
), 아래의 식 3과 같이 표현될 수 있다.
<식 2>
Figure 112018044697160-pat00017
<식 3>
Figure 112018044697160-pat00018
따라서,
Figure 112018044697160-pat00019
는 카메라 시스템(200)에서 OPA들(221, 231)이 서로 이격된 거리 및 OPA들(221, 231)이 형성된 차광막들(222, 232)이 배치되는 픽셀들(220, 230) 각각의 높이와 관련하여 비례하는 관계를 갖는다(
Figure 112018044697160-pat00020
).
즉, 전술된
Figure 112018044697160-pat00021
가 반드시 320 경우와 같이 단일 렌즈(210)의 f 넘버보다 커야 하는 제약 조건은, OPA들(221, 231)이 서로 이격된 거리 및 OPA들(221, 231)이 적용된 픽셀들(220, 230) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112018044697160-pat00022
)가 단일 렌즈(210)의 f 넘버보다 커야 하는 제약 조건으로 해석될 수 있다. 이하, 설명되는 베이스라인을 증가시킨 카메라 시스템(200)은 해당 제약 조건을 만족시키는 가운데, OPA들(221, 231)이 서로 이격된 거리가 최대화되도록 하는 구조를 갖는다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 4는 베이스라인을 증가시킨 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이를 설명하기 위한 도면이다.
도 4를 참조하면, 베이스라인을 증가시킨 카메라 시스템은 단일 렌즈(도면에는 도시되지 않음) 및 이미지 센서(400)를 포함하고, 이미지 센서(400)는 적어도 하나의 픽셀 어레이(410)로 구성될 수 있다. 이하, 적어도 하나의 픽셀 어레이(410)는 멀티 픽셀 마이크로 렌즈 픽셀 어레이로서, 2차원 배열의 복수의 픽셀들(예컨대,
Figure 112018044697160-pat00023
배열의 4개의 픽셀들)(411, 412, 413, 414) 및 복수의 픽셀들(411, 412, 413, 414)의 상부에 공유되도록 배치되는 단일 마이크로 렌즈(415)를 포함할 수 있다.
이러한 구조의 베이스라인을 증가시킨 카메라 시스템은, 전술된 바와 같은 OPA들을 픽셀들(411, 412)에 적용함으로써, 단일 렌즈에 OA가 적용된 경우와 유사하게 픽셀들(411, 412)을 통해 획득되는 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있으며, 단일 렌즈에 OA를 적용한 경우보다 카메라 시스템의 단면적을 최소화하여 소형화를 도모할 수 있다. 이 때, 깊이 산출 동작은 카메라 시스템에 더 포함되는 적어도 하나의 프로세서(도면에는 도시되지 않음)에서 수행될 수 있다.
또한, 베이스라인을 증가시킨 카메라 시스템은 복수의 픽셀들(411, 412, 413, 414)이 단일 마이크로 렌즈(415)를 공유하도록 함으로써, 복수의 픽셀들(411, 412, 413, 414) 각각에 마이크로 렌즈가 구비되는 경우보다 베이스라인을 증가시킬 수 있으며, 특히, OPA들이 서로 이격된 거리를 최대화하여 픽셀들(411, 412) 상에 형성 및 배치함으로써, 베이스라인을 더욱 증가시킬 수 있다. 따라서, 카메라 시스템은 베이스라인을 증가시켜 이미지들 사이의 시차를 크게 하고 산출되는 깊이의 범위를 향상시킬 수 있다.
이와 같은 베이스라인을 증가시킨 카메라 시스템의 적어도 하나의 픽셀 어레이(410)에 대한 세부 구조는 다음과 같다.
적어도 하나의 픽셀 어레이(410)의 복수의 픽셀들(411, 412, 413, 414) 중 적어도 두 개의 픽셀들(411, 412) 각각의 상부에는 OPA(421, 431)가 형성된 차광막(420, 430)이 배치되며, 특히, OPA들(421, 431)은 서로 이격된 거리(440)가 최대화되도록 차광막들(420, 430) 상에 각각 형성된다. 예를 들어, 제1 픽셀(411)의 OPA(421) 및 제2 픽셀(412)의 OPA(431)는, 서로 이격된 거리(440)가 최대화되도록 대각 방향으로 각각의 차광막(420, 430) 상에서 도면과 같이 좌측 끝 및 우측 끝에 형성될 수 있다.
또한, 적어도 두 개의 픽셀들(411, 412)은 카메라 시스템의 베이스라인을 증가시키기 위하여, OPA들(421, 431)이 서로 이격되는 거리(440)가 최대화되도록 적어도 하나의 픽셀 어레이(410) 상에 배치될 수 있다(OPA들(421, 431)이 형성된 차광막들(420, 430)이 배치될 적어도 두 개의 픽셀들(411, 412)로서, 복수의 픽셀들(411, 412, 413, 414) 중 OPA들(421, 431) 사이의 이격 거리(440)를 최대화하는 픽셀들이 선택될 수 있음을 의미함). 예를 들어, 제1 픽셀(411) 및 제2 픽셀(412)은 OPA들(421, 431)이 서로 이격된 거리(440)가 최대화되도록 픽셀 어레이(410) 상에서 대각 방향으로 위치하는 픽셀들일 수 있으며, 이에 따라, 제1 픽셀(411)의 OPA(421) 및 제2 픽셀(412)의 OPA(431)는, 서로 이격된 거리(440)가 최대화되도록 픽셀 어레이(410)에서 대각 방향으로 배치될 수 있다.
이처럼 복수의 픽셀들(411, 412, 413, 414) 중 OPA들(421, 431)이 형성된 차광막들(420, 430)이 배치될 적어도 두 개의 픽셀들(411, 412)이 선택되는 것 및 OPA들(421, 431)이 차광막들(420, 430) 상에 각각 형성되는 위치가 결정되는 것은, 도 3을 참조로 전술된 제약 조건을 만족시키는 아래 카메라 시스템의 베이스라인의 길이를 최대화하도록 수행될 수 있다. 예를 들어, OPA들(421, 431)이 서로 이격된 거리(440)와 OPA들(421, 431)이 적용되는 적어도 두 개의 픽셀들(411, 412) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112018044697160-pat00024
)가 카메라 시스템의 단일 렌즈의 f 넘버보다 큰 제약 조건을 만족시키는 가운데, OPA들(421, 431)이 서로 이격된 거리(440)가 최대화되도록 복수의 픽셀들(411, 412, 413, 414) 중 차광막들(420, 430)이 배치될 적어도 두 개의 픽셀들(411, 412)이 선택되고, OPA들(421, 431)이 차광막들(420, 430) 상에 각각 형성되는 위치가 결정될 수 있다. 여기서, 오프셋 f 넘버의 특성에 따르면, OPA들(421, 431)이 서로 이격된 거리(440)가 증가하더라도 OPA들(421, 431)이 적용되는 적어도 두 개의 픽셀들(411, 412) 각각의 높이 역시 비례하여 증가된다면, 오프셋 f 넘버의 크기는 작아지지 않고 그대로 유지될 수 있다. 따라서, 베이스라인을 증가시킨 카메라 시스템은 적어도 두 개의 픽셀들(411, 412)을 OPA들(421, 431)이 서로 이격되는 거리(440)가 최대화되도록 적어도 하나의 픽셀 어레이(410) 상에 배치하고, 서로 이격된 거리(440)가 최대화되도록 차광막들(420, 430) 상에 OPA들(421, 431)을 각각 형성하는 동시에, OPA(421, 431)가 적용되는 적어도 두 개의 픽셀들(411, 412) 각각의 높이 역시 증가시킴으로써, 오프셋 f 넘버가 단일 렌즈의 f 넘버보다 커야 하는 제약 조건을 만족시킬 수 있다.
이 때, OPA들(421, 431)은 적어도 두 개의 픽셀들(411, 412) 각각을 기준으로 서로 어긋난 중심 위치를 갖도록 차광막들(420, 430) 상에 각각 형성될 수 있다. 예컨대, 제1 OPA(421)는 제1 픽셀(411)의 중심을 기준으로 좌측으로 어긋난 중심 위치를 갖고, 제2 OPA(431)는 제2 픽셀(412)의 중심을 기준으로 우측으로 어긋난 중심 위치를 가짐으로써, 제1 OPA(421)와 제2 OPA(431)는 서로 어긋난 중심 위치를 갖게 될 수 있다. 이에, 적어도 두 개의 픽셀들(411, 412)을 통해 획득되는 이미지들 사이에서 시차가 존재하게 되고, 이로 인해 카메라 시스템은 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있다.
이와 같이 OPA들(421, 431)이 적용되는 적어도 두 개의 픽셀들(411, 412) 각각은 복수의 픽셀들(411, 412, 413, 414) 중 최대 광 투과(Maximum light transmission) 특성을 갖는 픽셀일 수 있다. 예를 들어, 도면에 도시된 바와 같이 적어도 두 개의 픽셀들(411, 412)은 W(White) 광 신호를 처리하는 W 픽셀들일 수 있다. 반면에, 복수의 픽셀들(411, 412, 413, 414) 중 OPA들(421, 541)이 적용된 적어도 두 개의 픽셀들(411, 412)을 제외한 나머지 픽셀들(413, 414)은 컬러 광 신호를 처리하는 컬러 픽셀들일 수 있다(예컨대, R 픽셀, G 픽셀, B 픽셀 중 두 개의 픽셀들).
그러나 이러한 구조의 이미지 센서(400)를 가져 베이스라인을 증가시킨 카메라 시스템에서는 컬러 믹스 문제가 발생될 수 있다. 이에 대한 상세한 설명은 도 5를 참조하여 기재하기로 한다.
도 5는 베이스라인을 증가시킨 카메라 시스템에서 발생될 수 있는 컬러 믹스 문제를 설명하기 위한 도면이다.
도 5를 참조하면, 베이스라인을 증가시킨 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이(500)는 도 4를 참조하여 상술된 바와 같이 OPA들이 적용된 두 개의 W 픽셀들(510, 520) 및 두 개의 컬러 픽셀들(예컨대, R 픽셀 및 B 픽셀)(530, 540)을 포함할 수 있다.
여기서, R 픽셀(530)에는 R 컬러 필터(R 광 신호만 유입시키는 필터)가 포함되기 때문에 R 광 신호만이 수신되어야 한다. 마찬가지로, B 픽셀(540)에는 B 컬러 필터(B 광 신호만 유입시키는 필터)가 포함되기 때문에 B 광 신호만이 수신되어야 하며, W 픽셀들(510, 520) 각각에는 W 광 신호만이 수신되어야 한다.
그러나 픽셀 어레이(500)에서 W 픽셀들(510, 520), R 픽셀(530) 및 B 픽셀(540)은 서로 인접하여 위치한 채, 베이스라인을 증가시키기 위해 단일 마이크로 렌즈(550)를 공유하고 있기 때문에, W 광 신호, R 광 신호 및 B 광 신호가 믹스되어 수신되는 컬러 믹스 문제가 발생되게 된다. 예를 들어, 도면과 같이 R 픽셀(530)의 포토다이오드에는 R 픽셀(530)의 컬러 필터를 통과한 R 광 신호 및 인접한 W 픽셀(510)로 유입되는 W 광 신호가 동시에 수신되기 때문에, 오염된 광 신호
Figure 112018044697160-pat00025
의 값만이 확인되고 오염되지 않은 R 광 신호의 값을 확인하지 못하는 컬러 믹스 문제가 발생될 수 있다.
따라서, R 픽셀(530)에서 수신되는 광 신호
Figure 112018044697160-pat00026
, 제1 W 픽셀(510)에서 수신되는 광 신호
Figure 112018044697160-pat00027
, 제2 W 픽셀(520)에서 수신되는 광 신호
Figure 112018044697160-pat00028
및 B 픽셀(540)에서 수신되는 광 신호
Figure 112018044697160-pat00029
는 아래 식 4와 같이 표현될 수 있다.
<식 4>
Figure 112018044697160-pat00030
Figure 112018044697160-pat00031
Figure 112018044697160-pat00032
Figure 112018044697160-pat00033
식 4에서,
Figure 112018044697160-pat00034
는 R 픽셀(530)에서 수신되는 오염된 R 광 신호를 의미하고,
Figure 112018044697160-pat00035
는 R 픽셀(530)로 유입되는 오염되지 않은 R 광 신호를 의미하며,
Figure 112018044697160-pat00036
은 제1 W 픽셀(510)로 유입되는 오염되지 않은 W 광 신호를 의미하고,
Figure 112018044697160-pat00037
는 B 픽셀(540)로 유입되는 오염되지 않은 B 광 신호를 의미하며,
Figure 112018044697160-pat00038
은 제2 W 픽셀(520)로 유입되는 오염되지 않은 W 광 신호를 의미한다. 마찬가지로,
Figure 112018044697160-pat00039
은 제1 W 픽셀(510)에서 수신되는 오염된 W 광 신호를 의미하고,
Figure 112018044697160-pat00040
는 B 픽셀(540)에서 수신되는 오염된 B 광 신호를 의미하며,
Figure 112018044697160-pat00041
은 제2 W 픽셀(520)에서 수신되는 오염된 W 광 신호를 의미한다.
Figure 112018044697160-pat00042
내지
Figure 112018044697160-pat00043
는 오염되지 않은 광 신호들 각각에 대한 상수 파라미터를 의미한다.
이와 같은 픽셀 어레이(500)에서
Figure 112018044697160-pat00044
,
Figure 112018044697160-pat00045
,
Figure 112018044697160-pat00046
및
Figure 112018044697160-pat00047
는 픽셀들(510, 520, 530, 540)에서 수신되어 확인된 값이기 때문에, 컬러 믹스 문제를 해결하기 위해서는
Figure 112018044697160-pat00048
내지
Figure 112018044697160-pat00049
의 상수 파라미터만이 확인되면 된다. 이에, 아래에서는 오염되지 않은 광 신호들 각각에 대한 상수 파라미터를 계산하여 컬러 믹스 문제를 해결하는 제1 구조의 카메라 시스템과 컬러 믹스 문제 자체를 발생시키지 않도록 하는 제2 구조의 카메라 시스템에 대해 설명한다.
도 6은 일 실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 6을 참조하면, 일 실시예에 따른 카메라 시스템(600)은 단일 렌즈(610) 및 단일 렌즈(610) 아래 위치하는 이미지 센서(620)를 포함한다. 여기서 이미지 센서(620)는 복수의 픽셀 어레이들로 구성되며, 복수의 픽셀 어레이들 각각은 복수의 픽셀들(예컨대,
Figure 112018044697160-pat00050
배열의 4개의 픽셀들) 및 복수의 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함한다.
이러한 구조의 일 실시예에 따른 카메라 시스템(600)은, 전술된 바와 같은 베이스라인을 증가시킨 카메라 시스템의 구조와 유사하게 픽셀들에 OPA들을 적용하는 가운데, 복수의 픽셀들이 단일 마이크로 렌즈를 공유하도록 하고 OPA들이 서로 이격된 거리를 최대화하여 픽셀들 상에 형성 및 배치함으로써, 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있으며, 단면적을 최소화하여 소형화를 도모할 수 있고, 베이스라인을 증가시켜 이미지들 사이의 시차를 크게 하고 산출되는 깊이의 범위를 향상시킬 수 있다.
또한, 카메라 시스템(600)은, 후술되는 제1 구조 또는 제2 구조를 이미지 센서에 적용함으로써, 전술된 베이스라인을 증가시킨 카메라 시스템에서 발생될 수 있는 컬러 믹스 문제를 해결할 수 있다.
이와 같은 일 실시예에 따른 카메라 시스템(600)에 제1 구조가 적용된 이미지 센서에 대해서는 도 7을 참조하여 기재하고, 제2 구조가 적용된 이미지 센서에 대해서는 도 10을 참조하여 기재하기로 한다.
도 7은 일 실시예에 따라 제1 구조가 적용된 카메라 시스템의 이미지 센서를 설명하기 위한 도면이고, 도 8은 도 7에 도시된 이미지 센서에서 컬러 믹스를 보상하는 방법을 설명하기 위한 도면이며, 도 9는 일 실시예에 따라 제1 구조가 적용된 카메라 시스템에 의해 수행되는 컬러 믹스를 보상하는 방법을 나타낸 플로우 차트이다.
도 7 내지 9를 참조하면, 일 실시예에 따라 제1 구조가 적용된 카메라 시스템의 이미지 센서(700)는 레퍼런스 픽셀 어레이(710) 및 적어도 하나의 컬러 픽셀 어레이(720)로 구성된다. 이러한 이미지 센서(700)는 도 6을 참조하여 상술된 카메라 시스템(600)에 포함될 수 있는 것으로서, 이에, 제1 구조가 적용된 카메라 시스템은 단일 렌즈 및 이미지 센서(700)를 포함할 수 있다. 이하, 레퍼런스 픽셀 어레이(710) 및 적어도 하나의 컬러 픽셀 어레이(720) 각각이 단일 마이크로 렌즈(710-1, 720-1)를 공유하는
Figure 112018044697160-pat00051
배열의 복수의 픽셀들(711, 712, 713, 714, 721, 722, 723, 724)을 포함하는 것으로 설명되나, 이에 제한되거나 한정되지 않고,
Figure 112018044697160-pat00052
배열 또는
Figure 112018044697160-pat00053
배열 등 다양한 2차원 배열의 복수의 픽셀들을 포함할 수 있다.
레퍼런스 픽셀 어레이(710)는 복수의 W 픽셀들(711, 712, 713, 714) 및 복수의 W 픽셀들(711, 712, 713, 714)의 상부에 공유되도록 배치되는 단일 마이크로 렌즈(710-1)를 포함하며, 복수의 W 픽셀들(711, 712, 713, 714) 각각의 상부에는 OPA(711-1, 712-1, 713-1, 714-1)가 형성된 차광막(711-2, 712-2, 713-2, 714-2)이 배치된다. 특히, OPA들(711-1, 712-1, 713-1, 714-1)은 레퍼런스 픽셀 어레이(710)에서 서로 이격된 거리(730)가 최대화되도록 차광막들(711-2, 712-2, 713-2, 714-2) 상에 각각 형성된다. 예를 들어, 레퍼런스 픽셀 어레이(710)에서 제1 W 픽셀(711)의 OPA(711-1) 및 제2 W 픽셀(712)의 OPA(712-1)는, 카메라 시스템의 베이스라인을 증가시키기 위하여(보다 정확하게는, 레퍼런스 픽셀 어레이(710)에서의 베이스라인을 증가시키기 위하여), 서로 이격된 거리(730)가 수평 방향으로 최대화되도록 수평 방향으로 각각의 차광막(711-2, 712-2) 상에서 도면과 같이 좌측 끝 및 우측 끝에 형성될 수 있으며, 제3 W 픽셀(713)의 OPA(713-1) 및 제4 W 픽셀(714)의 OPA(714-1)는, 카메라 시스템의 베이스라인을 증가시키기 위하여(보다 정확하게는, 레퍼런스 픽셀 어레이(710)에서의 베이스라인을 증가시키기 위하여), 서로 이격된 거리(740)가 수평 방향으로 최대화되도록 수평 방향으로 각각의 차광막(713-2, 714-2) 상에서 도면과 같이 좌측 끝 및 우측 끝에 형성될 수 있다. 그러나 이에 제한되거나 한정되지 않고, 레퍼런스 픽셀 어레이(710)에서는 수직 방향으로 인접한 제1 W 픽셀(711) 및 제3 W 픽셀(713)의 상부에 도면과 달리 수직 방향으로 서로 이격된 거리가 최대화되도록 차광막들(711-2, 713-2) 상에 각각 OPA들(711-1, 713-1)이 형성되거나, 대각 방향으로 인접한 제1 W 픽셀(711) 및 제4 W 픽셀(714)의 상부에 도면과 달리 대각 방향으로 서로 이격된 거리가 최대화되도록 차광막들(711-2, 714-2) 상에 각각 OPA들(711-1, 714-1)이 형성될 수도 있다.
이처럼 OPA들(711-1, 712-1, 713-1, 714-1)이 차광막들(711-2, 712-2, 713-2, 714-2) 상에 각각 형성되는 위치가 결정되는 것은, 도 3을 참조로 전술된 제약 조건을 만족시키는 아래 카메라 시스템의 베이스라인의 길이를 최대화하도록 수행될 수 있다. 예를 들어, OPA들(711-1, 712-1)이 서로 이격된 거리(730)와 OPA들(711-1, 712-1)이 적용되는 제1 W 픽셀(711) 및 제2 W 픽셀(712) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112018044697160-pat00054
)가 카메라 시스템의 단일 렌즈의 f 넘버보다 큰 제약 조건을 만족시키는 가운데, OPA들(711-1, 712-1)이 서로 이격된 거리(730)가 최대화되도록 OPA들(711-1, 712-1)이 차광막들(711-2, 712-2) 상에 각각 형성되는 위치가 결정될 수 있다. 여기서, 오프셋 f 넘버의 특성에 따르면, OPA들(711-1, 712-1)이 서로 이격된 거리(730)가 증가하더라도 OPA들(711-1, 712-1)이 적용되는 두 개의 W 픽셀들(711, 712) 각각의 높이 역시 비례하여 증가된다면, 오프셋 f 넘버의 크기는 작아지지 않고 그대로 유지될 수 있다. 따라서, 일 실시예에 따른 카메라 시스템은 서로 이격된 거리(730)가 최대화되도록 차광막들(711-2, 712-2) 상에 OPA들(711-1, 712-1)을 각각 형성하는 동시에, OPA(711-1, 712-1)가 적용되는 두 개의 W 픽셀들(711, 712) 각각의 높이 역시 증가시킴으로써, 오프셋 f 넘버가 단일 렌즈의 f 넘버보다 커야 하는 제약 조건을 만족시킬 수 있다.
이 때, OPA들(711-1, 712-1)은 각각의 픽셀(711, 712)을 기준으로 서로 어긋난 중심 위치를 갖도록 차광막들(711-2, 712-2) 상에 각각 형성될 수 있다. 예컨대, 제1 OPA(711-1)는 제1 W 픽셀(711)의 중심을 기준으로 좌측으로 어긋난 중심 위치를 갖고, 제2 OPA(712-1)는 제2 W 픽셀(712)의 중심을 기준으로 우측으로 어긋난 중심 위치를 가짐으로써, 제1 OPA(711-1)와 제2 OPA(712-1)는 서로 어긋난 중심 위치를 갖게 될 수 있다. 이에, 두 개의 W 픽셀들(711, 712)을 통해 획득되는 이미지들 사이에서 시차가 존재하게 되고, 이로 인해 카메라 시스템은 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있다.
적어도 하나의 컬러 픽셀 어레이(720)는 두 개의 W 픽셀들(721, 722) 및 두 개의 컬러 픽셀들(723, 724)과 두 개의 W 픽셀들(721, 722) 및 두 개의 컬러 픽셀들(723, 724)의 상부에 공유되도록 배치되는 단일 마이크로 렌즈(720-1)를 포함하며, 두 개의 W 픽셀들(721, 722) 각각의 상부에는 OPA(721-1, 722-1)가 형성된 차광막(721-2, 722-2)이 배치된다. 특히, OPA들(721-1, 722-1)은 적어도 하나의 컬러 픽셀 어레이(720)에서 서로 이격된 거리(750)가 최대화되도록 차광막들(721-2, 722-2) 상에 각각 형성된다. 예를 들어, 적어도 하나의 컬러 픽셀 어레이(720)에서 제1 W 픽셀(721)의 OPA(721-1) 및 제2 W 픽셀(722)의 OPA(722-1)는, 카메라 시스템의 베이스라인을 증가시키기 위하여(보다 정확하게는, 적어도 하나의 컬러 픽셀 어레이(720)에서의 베이스라인을 증가시키기 위하여), 서로 이격된 거리(750)가 수평 방향으로 최대화되도록 수평 방향으로 각각의 차광막(721-2, 722-2) 상에서 도면과 같이 좌측 끝 및 우측 끝에 형성될 수 있다. 그러나 이에 제한되거나 한정되지 않고, 적어도 하나의 컬러 픽셀 어레이(720)에서는 도면과 달리 제1 W 픽셀(721) 및 제2 W 픽셀(722)이 수직 방향으로 인접하도록 배치되어, 제1 W 픽셀(721) 및 제2 W 픽셀(722)의 상부에 서로 이격된 거리가 수직 방향으로 최대화되도록 차광막들(721-2, 722-2) 상에 각각 OPA들(721-1, 722-1)이 형성되거나, 도면과 달리 제1 W 픽셀(721) 및 제2 W 픽셀(722)이 대각 방향으로 인접하도록 배치되어, 제1 W 픽셀(721) 및 제2 W 픽셀(722)의 상부에 서로 이격된 거리가 대각 방향으로 최대화되도록 차광막들(721-2, 722-2) 상에 각각 OPA들(721-1, 722-1)이 형성될 수도 있다.
이처럼 OPA들(721-1, 722-1)이 차광막들(721-2, 722-2) 상에 각각 형성되는 위치가 결정되는 것은, 도 3을 참조로 전술된 제약 조건을 만족시키는 아래 카메라 시스템의 베이스라인의 길이를 최대화하도록 수행될 수 있다. 예를 들어, OPA들(721-1, 722-1)이 서로 이격된 거리(750)와 OPA들(721-1, 722-1)이 적용되는 제1 W 픽셀(721) 및 제2 W 픽셀(722) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112018044697160-pat00055
)가 카메라 시스템의 단일 렌즈의 f 넘버보다 큰 제약 조건을 만족시키는 가운데, OPA들(721-1, 722-1)이 서로 이격된 거리(750)가 최대화되도록 OPA들(721-1, 722-1)이 차광막들(721-2, 722-2) 상에 각각 형성되는 위치가 결정될 수 있다. 여기서, 오프셋 f 넘버의 특성에 따르면, OPA들(721-1, 722-1)이 서로 이격된 거리(750)가 증가하더라도 OPA들(721-1, 722-1)이 적용되는 두 개의 W 픽셀들(721, 722) 각각의 높이 역시 비례하여 증가된다면, 오프셋 f 넘버의 크기는 작아지지 않고 그대로 유지될 수 있다. 따라서, 일 실시예에 따른 카메라 시스템은 서로 이격된 거리(750)가 최대화되도록 차광막들(721-2, 722-2) 상에 OPA들(721-1, 722-1)을 각각 형성하는 동시에, OPA(721-1, 722-1)가 적용되는 두 개의 W 픽셀들(721, 722) 각각의 높이 역시 증가시킴으로써, 오프셋 f 넘버가 단일 렌즈의 f 넘버보다 커야 하는 제약 조건을 만족시킬 수 있다.
이 때, OPA들(721-1, 722-1)은 각각의 픽셀(721, 722)을 기준으로 서로 어긋난 중심 위치를 갖도록 차광막들(721-2, 722-2) 상에 각각 형성될 수 있다. 예컨대, 제1 OPA(721-1)는 제1 W 픽셀(721)의 중심을 기준으로 좌측으로 어긋난 중심 위치를 갖고, 제2 OPA(722-1)는 제2 W 픽셀(722)의 중심을 기준으로 우측으로 어긋난 중심 위치를 가짐으로써, 제1 OPA(721-1)와 제2 OPA(722-1)는 서로 어긋난 중심 위치를 갖게 될 수 있다. 이에, 두 개의 W 픽셀들(721, 722)을 통해 획득되는 이미지들 사이에서 시차가 존재하게 되고, 이로 인해 카메라 시스템은 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있다.
더욱이, 이미지 센서(700)에서 레퍼런스 픽셀 어레이(710)에 포함되는 복수의 W 픽셀들(711, 712, 713, 714) 중 두 개의 W 픽셀들(711, 712)의 상부에 위치하는 OPA들(711-1, 712-1)과 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 두 개의 W 픽셀들(721, 722)의 상부에 위치하는 OPA들(721-1, 722-1)은, 각각의 픽셀(711, 712, 721, 722)을 기준으로 서로 일치하는 중심 위치를 가질 수 있다. 예를 들어, 레퍼런스 픽셀 어레이(710)에 포함되는 제1 W 픽셀(711)을 기준으로 하는 OPA(711-1)의 중심 위치는 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 제1 W 픽셀(721)을 기준으로 하는 OPA(721-1)의 중심 위치와 서로 일치할 수 있고, 레퍼런스 픽셀 어레이(710)에 포함되는 제2 W 픽셀(712)을 기준으로 하는 OPA(712-1)의 중심 위치는 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 제2 W 픽셀(722)을 기준으로 하는 OPA(722-1)의 중심 위치와 서로 일치할 수 있다.
이는, 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 두 개의 W 픽셀들(721, 722)에서의 오염되지 않은 W 광 신호가 레퍼런스 픽셀 어레이(710)에 포함되는 두 개의 W 픽셀들(711, 712)에서 수신되는 W 광 신호(레퍼런스 픽셀 어레이(710)는 컬러 픽셀이 포함되지 않으므로, 오염되지 않은 W 광 신호임)와 동일한 값이라는 것을 전제로, 후술되는 컬러 믹스를 보상하는 방법이 수행되기 때문이다. 즉, 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 두 개의 W 픽셀들(721, 722)에 유입되는 오염되지 않은 W 광 신호가 레퍼런스 픽셀 어레이(710)에 포함되는 두 개의 W 픽셀들(711, 712)에서 수신되는 W 광 신호와 동일한 값이기 위해서는, 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 두 개의 W 픽셀들(721, 722)과 레퍼런스 픽셀 어레이(710)에 포함되는 두 개의 W 픽셀들(711, 712)이 구조적으로 동일해야 하기 때문에, 레퍼런스 픽셀 어레이(710)에 포함되는 복수의 W 픽셀들(711, 712, 713, 714) 중 두 개의 W 픽셀들(711, 712)의 상부에 위치하는 OPA들(711-1, 712-1)과 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 두 개의 W 픽셀들(721, 722)의 상부에 위치하는 OPA들(721-1, 722-1)은, 각각의 픽셀(711, 712, 721, 722)을 기준으로 서로 일치하는 중심 위치를 가져야 한다.
또한, 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 두 개의 컬러 픽셀들(723, 724)은 동일한 파장의 컬러 광 신호를 처리할 수 있다. 예를 들어, 두 개의 컬러 픽셀들(723, 724)은 모두 R 광 신호를 수신하여 처리하는 R 픽셀일 수 있다. 이는, 두 개의 컬러 픽셀들(723, 724)이 서로 다른 파장의 컬러 광 신호를 처리하는 서로 다른 픽셀인 경우(예컨대, R 픽셀과 G 픽셀), 레퍼런스 픽셀 어레이(710)로부터 확인되는 오염되지 않은 W 광 신호의 값만으로는 R 픽셀에서 수신되는 오염되지 않은 R 광 신호와 G 픽셀에서 수신되는 오염되지 않는 G 광 신호를 산출할 수 없기 때문이다.
이와 같은 제1 구조가 적용된 카메라 시스템에 포함되는 적어도 하나의 프로세서(도 6에서는 도시되지 않음)는, 레퍼런스 픽셀 어레이(710)에서 수신되는 오염되지 않은 W 광 신호를 이용하여, 적어도 하나의 컬러 픽셀 어레이(720)에서 수신되는 오염되지 않은 컬러 광 신호를 산출할 수 있다.
보다 상세하게, 단계(S910)에서 레퍼런스 픽셀 어레이(710)에 포함되는 복수의 W 픽셀들(711, 712, 713, 714)은 오염되지 않은 W 광 신호를 수신할 수 있다.
또한, 단계(S920)에서 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 두 개의 W 픽셀들(721, 722)은 오염된 W 광 신호를 수신하고, 단계(S930)에서 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 두 개의 컬러 픽셀들(723, 724)은 오염된 컬러 광 신호를 수신할 수 있다.
도 8을 참조하여 일례를 들면, 단계들(S910 내지 S930)에서 레퍼런스 픽셀 어레이(710)에 포함되는 제1 W 픽셀(711) 및 제3 W 픽셀(713) 각각은 아래의 식 5와 같이 오염되지 않은 W 광 신호를 수신할 수 있다.
<식 5>
Figure 112018044697160-pat00056
식 5에서, W는 제1 W 픽셀(711) 및 제3 W 픽셀(713) 각각이 수신하는 W 광 신호를 의미하고,
Figure 112018044697160-pat00057
는 오염되지 않은 W 광 신호를 의미한다.
한편, 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 제1 W 픽셀(721)은 아래의 식 6과 같이 오염된 W 광 신호를 수신하고, R 컬러 픽셀(723)은 아래의 식 7과 같이 오염된 R 광 신호를 수신할 수 있다.
<식 6>
Figure 112018044697160-pat00058
<식 7>
Figure 112018044697160-pat00059
식 6 및 7에서,
Figure 112018044697160-pat00060
는 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 제1 W 픽셀(721)이 수신하는 오염된 W 광 신호를 의미하고,
Figure 112018044697160-pat00061
는 오염되지 않은 W 광 신호를 의미하며,
Figure 112018044697160-pat00062
는 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 R 픽셀(723)이 수신하는 오염된 R 광 신호를 의미하고,
Figure 112018044697160-pat00063
는 오염되지 않은 R 광 신호를 의미한다. 또한, 식 6에서 k 및
Figure 112018044697160-pat00064
는 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 제1 W 픽셀(721) 기준으로 오염되지 않은 W 광 신호 및 오염되지 않은 R 광 신호 각각에 대한 상수 파라미터를 의미하고, 식 7에서 k 및
Figure 112018044697160-pat00065
는 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 R 픽셀(723) 기준으로 오염되지 않은 R 광 신호 및 오염되지 않은 W 광 신호 각각에 대한 상수 파라미터를 의미한다.
따라서, 식 5 내지 7로부터 k에 대한 식 8이 유도될 수 있다.
<식 8>
Figure 112018044697160-pat00066
레퍼런스 픽셀 어레이(710)에 포함되는 제1 W 픽셀(711) 및 제3 W 픽셀(713) 각각이 수신하는 오염되지 않은 W 광 신호, 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 제1 W 픽셀(721)이 수신하는 오염된 W 광 신호 및 적어도 하나의 컬러 픽셀 어레이(720)에 포함되는 R 픽셀(723)이 수신하는 오염된 R 광 신호 각각의 값은 확인된 값이기 때문에, 식 8로부터 k의 값이 계산될 수 있다.
이에, 단계(S940)에서 적어도 하나의 프로세서는 레퍼런스 픽셀 어레이(710)에서 수신되는 오염되지 않은 W 광 신호를 이용하여, 적어도 하나의 컬러 픽셀 어레이(720)에서 수신되는 오염되지 않은 컬러 광 신호를 산출할 수 있다. 즉, 전술한 바와 같이 레퍼런스 픽셀 어레이(710)에서 수신되는 오염되지 않은 W 광 신호를 기반으로 식 8과 같이 k의 값이 계산됨에 따라, 적어도 하나의 프로세서는 식 7과 계산된 k의 값으로부터 오염되지 않은 R 광 신호를 산출할 수 있다.
이와 같이 제1 구조가 적용된 이미지 센서(700)를 포함하는 카메라 시스템은, 레퍼런스 픽셀 어레이(710)에서 수신되는 오염되지 않은 W 광 신호를 이용하여, 적어도 하나의 컬러 픽셀 어레이(720)에서 수신되는 오염되지 않은 컬러 광 신호를 산출함으로써, 베이스라인을 증가시킨 구조의 카메라 시스템에서 발생될 수 있는 컬러 믹스 문제를 해결할 수 있다.
한편, 일 실시예에 따른 카메라 시스템은 제2 구조가 적용된 이미지 센서를 포함함으로써, 컬러 믹스 문제 자체를 아예 발생시키지 않도록 할 수도 있다. 이에 대한 상세한 설명은 도 10을 참조하여 기재하기로 한다.
도 10은 일 실시예에 따라 제2 구조가 적용된 카메라 시스템의 이미지 센서를 설명하기 위한 도면이다.
도 10을 참조하면, 일 실시예에 따라 제2 구조가 적용된 카메라 시스템의 이미지 센서(1000)는 적어도 하나의 픽셀 어레이(1010)로 구성된다. 이러한 이미지 센서(1000)는 도 6을 참조하여 상술된 카메라 시스템(600)에 포함될 수 있는 것으로서, 이에, 제2 구조가 적용된 카메라 시스템은 단일 렌즈 및 이미지 센서(1000)를 포함할 수 있다. 이하, 적어도 하나의 픽셀 어레이(1010)가 단일 마이크로 렌즈(1010-1)를 공유하는
Figure 112018044697160-pat00067
배열의 복수의 W 픽셀들(1011, 1012, 1013, 1014)을 포함하는 것으로 설명되나, 이에 제한되거나 한정되지 않고,
Figure 112018044697160-pat00068
배열 또는
Figure 112018044697160-pat00069
배열 등 다양한 2차원 배열의 복수의 W 픽셀들을 포함할 수 있다.
적어도 하나의 픽셀 어레이(1010)는 복수의 W 픽셀들(1011, 1012, 1013, 1014) 및 복수의 W 픽셀들(1011, 1012, 1013, 1014)의 상부에 공유되도록 배치되는 단일 마이크로 렌즈(1010-1)를 포함하며, 복수의 W 픽셀들(1011, 1012, 1013, 1014) 중 적어도 두 개의 W 픽셀들(1011, 1012) 각각의 상부에는 OPA(1011-1, 1012-1)가 형성된 차광막(1011-2, 1012-2)이 배치된다. 특히, OPA들(1011-1, 1012-1)은 서로 이격된 거리(1020)가 최대화되도록 차광막들(1011-2, 1012-2) 상에 각각 형성된다. 예를 들어, 제1 W 픽셀(1011)의 OPA(1011-1) 및 제2 W 픽셀(1012)의 OPA(1012-1)는, 카메라 시스템의 베이스라인을 증가시키기 위하여, 서로 이격된 거리(1020)가 수평 방향으로 최대화되도록 수평 방향으로 각각의 차광막(1011-2, 1012-2) 상에서 도면과 같이 좌측 끝 및 우측 끝에 형성될 수 있다. 그러나 이에 제한되거나 한정되지 않고, 도면과 달리 제1 W 픽셀(1011) 및 제2 W 픽셀(1012)이 수직 방향으로 인접하도록 배치되어, 제1 W 픽셀(1011) 및 제2 W 픽셀(1012)의 상부에 서로 이격된 거리가 수직 방향으로 최대화되도록 차광막들(1011-2, 1012-2) 상에 각각 OPA들(1011-1, 1012-1)이 형성되거나, 도면과 달리 제1 W 픽셀(1011) 및 제2 W 픽셀(1012)이 대각 방향으로 인접하도록 배치되어, 제1 W 픽셀(1011) 및 제2 W 픽셀(1012)의 상부에 서로 이격된 거리가 대각 방향으로 최대화되도록 차광막들(1011-2, 1012-2) 상에 각각 OPA들(1011-1, 1012-1)이 형성될 수도 있다.
이처럼 OPA들(1011-1, 1012-1)이 차광막들(1011-2, 1012-2) 상에 각각 형성되는 위치가 결정되는 것은, 도 3을 참조로 전술된 제약 조건을 만족시키는 아래 카메라 시스템의 베이스라인의 길이를 최대화하도록 수행될 수 있다. 예를 들어, OPA들(1011-1, 1012-1)이 서로 이격된 거리(1020)와 OPA들(1011-1, 1012-1)이 적용되는 제1 W 픽셀(1011) 및 제2 W 픽셀(1012) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112018044697160-pat00070
)가 카메라 시스템의 단일 렌즈의 f 넘버보다 큰 제약 조건을 만족시키는 가운데, OPA들(1011-1, 1012-1)이 서로 이격된 거리(1020)가 최대화되도록 OPA들(1011-1, 1012-1)이 차광막들(1011-2, 1012-2) 상에 각각 형성되는 위치가 결정될 수 있다. 여기서, 오프셋 f 넘버의 특성에 따르면, OPA들(1011-1, 1012-1)이 서로 이격된 거리(1020)가 증가하더라도 OPA들(1011-1, 1012-1)이 적용되는 적어도 두 개의 W 픽셀들(1011, 1012) 각각의 높이 역시 비례하여 증가된다면, 오프셋 f 넘버의 크기는 작아지지 않고 그대로 유지될 수 있다. 따라서, 일 실시예에 따른 카메라 시스템은 서로 이격된 거리(1020)가 최대화되도록 차광막들(1011-2, 1012-2) 상에 OPA들(1011-1, 1012-1)을 각각 형성하는 동시에, OPA(1011-1, 1012-1)가 적용되는 적어도 두 개의 W 픽셀들(1011, 1012) 각각의 높이 역시 증가시킴으로써, 오프셋 f 넘버가 단일 렌즈의 f 넘버보다 커야 하는 제약 조건을 만족시킬 수 있다.
이 때, OPA들(1011-1, 1012-1)은 각각의 픽셀(1011, 1012)을 기준으로 서로 어긋난 중심 위치를 갖도록 차광막들(1011-2, 1012-2) 상에 각각 형성될 수 있다. 예컨대, 제1 OPA(1011-1)는 제1 W 픽셀(1011)의 중심을 기준으로 좌측으로 어긋난 중심 위치를 갖고, 제2 OPA(1012-1)는 제2 W 픽셀(1012)의 중심을 기준으로 우측으로 어긋난 중심 위치를 가짐으로써, 제1 OPA(1011-1)와 제2 OPA(1012-1)는 서로 어긋난 중심 위치를 갖게 될 수 있다. 이에, 적어도 두 개의 W 픽셀들(1011, 1012)을 통해 획득되는 적어도 두 개의 이미지들 사이에서 시차가 존재하게 되고, 이로 인해 카메라 시스템은 적어도 두 개의 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있다.
이와 같은 제2 구조가 적용된 카메라 시스템에 포함되는 적어도 하나의 프로세서(도 6에서는 도시되지 않음)는, 컬러 광 신호를 수신하여 처리하는 컬러 픽셀을 포함하지 않음으로써, 컬러 믹스 문제 자체를 아예 발생시키지 않도록 할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 단일 렌즈; 및
    레퍼런스 픽셀 어레이-상기 레퍼런스 픽셀 어레이는 2차원 배열의 복수의 W 픽셀들 및 상기 복수의 W 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함- 및 적어도 하나의 컬러 픽셀 어레이-상기 적어도 하나의 컬러 픽셀 어레이는 2차원 배열의 두 개의 W(White) 픽셀들 및 두 개의 컬러 픽셀들과 상기 두 개의 W 픽셀들 및 상기 두 개의 컬러 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서
    를 포함하고,
    상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들 및 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며,
    상기 OPA들은, 상기 레퍼런스 픽셀 어레이 및 상기 적어도 하나의 컬러 픽셀 어레이 각각에서 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성되는, 카메라 시스템.
  2. 제1항에 있어서,
    상기 레퍼런스 픽셀 어레이에서 수신되는 오염되지 않은 W 광 신호를 이용하여, 상기 적어도 하나의 컬러 픽셀 어레이에서 수신되는 오염되지 않은 컬러 광 신호를 산출하는 적어도 하나의 프로세서
    를 더 포함하는 카메라 시스템.
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들을 통해 획득된 적어도 두 개의 이미지들의 세트 또는 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들을 통해 획득되는 두 개의 이미지들의 세트 중 어느 하나 세트 사이의 시차(Disparity)를 이용하여 피사체에 대한 깊이를 산출하는, 카메라 시스템.
  4. 제1항에 있어서,
    상기 OPA들은,
    상기 카메라 시스템의 베이스라인을 증가시키기 위하여, 상기 레퍼런스 픽셀 어레이 및 상기 적어도 하나의 컬러 픽셀 어레이 각각에서 수평 방향, 수직 방향 또는 대각 방향으로 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성되는, 카메라 시스템.
  5. 제1항에 있어서,
    상기 OPA들이 상기 레퍼런스 픽셀 어레이에서 서로 이격된 거리와 상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들 각각의 높이와 관련된 오프셋 f 넘버 및 상기 OPA들이 상기 적어도 하나의 컬러 픽셀 어레이에서 서로 이격된 거리와 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들 각각의 높이와 관련된 오프셋 f 넘버는,
    상기 단일 렌즈의 f 넘버보다 큰 것을 특징으로 하는 카메라 시스템.
  6. 제1항에 있어서,
    상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 컬러 픽셀들은,
    동일한 파장의 컬러 광 신호를 처리하는 것을 특징으로 하는 카메라 시스템.
  7. 제1항에 있어서,
    상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들 중 두 개의 W 픽셀들의 상부에 위치하는 상기 OPA들과, 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들의 상부에 위치하는 상기 OPA들은,
    각각의 픽셀을 기준으로 서로 일치하는 중심 위치를 갖는, 카메라 시스템.
  8. 제1항에 있어서,
    상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들의 상부에 위치하는 상기 OPA들 중 적어도 두 개의 OPA들은,
    각각의 픽셀을 기준으로 서로 어긋난 중심 위치를 갖고,
    상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들의 상부에 위치하는 상기 OPA들은,
    상기 두 개의 W 픽셀들 각각을 기준으로 서로 어긋난 중심 위치를 갖는, 카메라 시스템.
  9. 단일 렌즈; 레퍼런스 픽셀 어레이-상기 레퍼런스 픽셀 어레이는 2차원 배열의 복수의 W 픽셀들 및 상기 복수의 W 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함- 및 적어도 하나의 컬러 픽셀 어레이-상기 적어도 하나의 컬러 픽셀 어레이는 2차원 배열의 두 개의 W 픽셀들 및 두 개의 컬러 픽셀들과 상기 두 개의 W 픽셀들 및 상기 두 개의 컬러 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서; 및 적어도 하나의 프로세서를 포함하고, 상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들 및 상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며, 상기 OPA들은, 상기 레퍼런스 픽셀 어레이 및 상기 적어도 하나의 컬러 픽셀 어레이 각각에서 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성되는 카메라 시스템에 의해 수행되는 컬러 믹스를 보상하는 방법에 있어서,
    상기 레퍼런스 픽셀 어레이에 포함되는 상기 복수의 W 픽셀들에서 오염되지 않은 W 광 신호를 수신하는 단계;
    상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 상기 두 개의 W 픽셀들에서 오염된 W 광 신호를 수신하는 단계;
    상기 적어도 하나의 컬러 픽셀 어레이에 포함되는 두 개의 컬러 픽셀들에서 오염된 컬러 광 신호를 수신하는 단계; 및
    상기 오염되지 않은 W 광 신호를 이용하여, 상기 오염되지 않은 컬러 광 신호를 산출하는 단계
    를 포함하는 컬러 믹스를 보상하는 방법.
  10. 단일 렌즈; 및
    적어도 하나의 픽셀 어레이-상기 적어도 하나의 픽셀 어레이는, 2차원 배열의 복수의 W 픽셀들 및 상기 복수의 W 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서
    를 포함하고,
    상기 복수의 W 픽셀들 중 적어도 두 개의 W 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며,
    상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성되는, 카메라 시스템.
  11. 제10항에 있어서,
    상기 OPA들은,
    상기 카메라 시스템의 베이스라인을 증가시키기 위하여, 상기 적어도 하나의 픽셀 어레이에서 수평 방향 또는 수직 방향으로 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성되는, 카메라 시스템.
  12. 제10항에 있어서,
    상기 OPA들이 서로 이격된 거리와 상기 적어도 두 개의 W 픽셀들 각각의 높이와 관련된 오프셋 f 넘버는,
    상기 단일 렌즈의 f 넘버보다 큰 것을 특징으로 하는 카메라 시스템.
  13. 제10항에 있어서,
    상기 OPA들은,
    각각의 픽셀을 기준으로 서로 어긋난 중심 위치를 갖는, 카메라 시스템.
  14. 제10항에 있어서,
    상기 복수의 W 픽셀들 중 서로 어긋난 중심 위치를 갖는 OPA들이 상부에 위치하는 적어도 두 개의 W 픽셀들을 통해 획득된 적어도 두 개의 이미지들 사이의 시차(Disparity)를 이용하여 피사체에 대한 깊이를 산출하는 적어도 하나의 프로세서
    를 더 포함하는 카메라 시스템.
KR1020180052233A 2018-05-08 2018-05-08 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법 Expired - Fee Related KR102025012B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180052233A KR102025012B1 (ko) 2018-05-08 2018-05-08 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법
US16/403,405 US10916576B2 (en) 2018-05-08 2019-05-03 Multi pixel micro lens pixel array and camera system for solving color mix and operating method thereof
CN201910377472.1A CN110460785A (zh) 2018-05-08 2019-05-07 摄像头系统及补偿颜色混合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180052233A KR102025012B1 (ko) 2018-05-08 2018-05-08 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102025012B1 true KR102025012B1 (ko) 2019-09-24

Family

ID=68068687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180052233A Expired - Fee Related KR102025012B1 (ko) 2018-05-08 2018-05-08 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법

Country Status (3)

Country Link
US (1) US10916576B2 (ko)
KR (1) KR102025012B1 (ko)
CN (1) CN110460785A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220016574A (ko) * 2020-08-03 2022-02-10 주식회사 덱셀리온 수평적 시차와 수직적 시차를 획득하기 위한 opa를 구비한 카메라 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
KR102148128B1 (ko) * 2020-03-06 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
CN113676651B (zh) * 2021-08-25 2023-05-26 维沃移动通信有限公司 图像传感器、控制方法、控制装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100079452A (ko) * 2008-12-31 2010-07-08 주식회사 동부하이텍 이미지센서
JP2015233043A (ja) * 2014-06-09 2015-12-24 ソニー株式会社 撮像素子および電子機器、並びに製造方法
KR20160010986A (ko) * 2014-07-21 2016-01-29 에스케이하이닉스 주식회사 이미지 센서
KR20160034255A (ko) * 2013-07-25 2016-03-29 소니 주식회사 고체 화상 센서 및 그 제조 방법, 및 전자 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124909A (en) * 1996-12-25 2000-09-26 Casio Computer Co., Ltd. Color liquid crystal display device having a plurality of pixel areas which emit non-colored light
JP3695082B2 (ja) * 1997-07-11 2005-09-14 ソニー株式会社 固体撮像素子、固体撮像素子の製造方法および撮像装置
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
US7697053B2 (en) * 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
JP2011176715A (ja) * 2010-02-25 2011-09-08 Nikon Corp 裏面照射型撮像素子および撮像装置
JP5589760B2 (ja) * 2010-10-27 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
KR101795691B1 (ko) * 2010-11-11 2017-11-09 삼성디스플레이 주식회사 표시장치
JP5789098B2 (ja) * 2010-12-16 2015-10-07 キヤノン株式会社 焦点検出装置およびその制御方法
KR20140113923A (ko) * 2012-01-16 2014-09-25 소니 주식회사 고체 촬상 소자 및 카메라 시스템
CN104221372B (zh) * 2012-01-26 2016-12-14 弗劳恩霍弗应用技术研究院 自动立体显示器及显示3d图像的方法
CN102607820B (zh) * 2012-04-05 2014-11-19 中国科学院光电技术研究所 一种微透镜阵列焦距测量方法
JP6066593B2 (ja) * 2012-06-13 2017-01-25 キヤノン株式会社 撮像システムおよび撮像システムの駆動方法
GB2506685A (en) * 2012-10-08 2014-04-09 Melexis Technologies Nv Determining and/or Compensating Range Offset of a Range Sensor
KR102335182B1 (ko) * 2014-01-03 2021-12-03 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3101892A4 (en) * 2014-05-21 2017-07-26 Sony Corporation Image processing apparatus and method
WO2016186222A1 (ko) * 2015-05-15 2016-11-24 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법
KR101684194B1 (ko) * 2015-12-17 2016-12-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템
CN118897294A (zh) * 2019-03-08 2024-11-05 来德技术公司 Lidar传感器系统、车辆和监测环境中对象的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100079452A (ko) * 2008-12-31 2010-07-08 주식회사 동부하이텍 이미지센서
KR20160034255A (ko) * 2013-07-25 2016-03-29 소니 주식회사 고체 화상 센서 및 그 제조 방법, 및 전자 장치
JP2015233043A (ja) * 2014-06-09 2015-12-24 ソニー株式会社 撮像素子および電子機器、並びに製造方法
KR20160010986A (ko) * 2014-07-21 2016-01-29 에스케이하이닉스 주식회사 이미지 센서

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220016574A (ko) * 2020-08-03 2022-02-10 주식회사 덱셀리온 수평적 시차와 수직적 시차를 획득하기 위한 opa를 구비한 카메라 시스템
KR102465492B1 (ko) * 2020-08-03 2022-11-11 주식회사 덱셀리온 수평적 시차와 수직적 시차를 획득하기 위한 opa를 구비한 카메라 시스템

Also Published As

Publication number Publication date
US10916576B2 (en) 2021-02-09
CN110460785A (zh) 2019-11-15
US20190348454A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
KR102025012B1 (ko) 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법
KR102103983B1 (ko) 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
US9690112B2 (en) Image capturing apparatus
US20170353710A1 (en) Photographing device and vehicle
WO2018200309A3 (en) Stereoscopic visualization camera and platform
CN104012076B (zh) 成像设备和电子信息仪器
KR101672669B1 (ko) 시차를 이용하는 멀티 애퍼처 카메라 시스템
KR20160061827A (ko) 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
KR102018984B1 (ko) 베이스라인을 증가시키기 위한 카메라 시스템
KR102060880B1 (ko) 단안 카메라를 이용한 내시현미경 및 그 동작 방법
US10623719B2 (en) Multi-aperture camera system for improving depth accuracy through focusing distance scan
KR102148128B1 (ko) 상보적인 픽슬렛 구조가 적용된 카메라 시스템
KR102465492B1 (ko) 수평적 시차와 수직적 시차를 획득하기 위한 opa를 구비한 카메라 시스템
CN104253988A (zh) 成像设备、成像方法、图像生成设备以及图像生成方法
US20210065404A1 (en) Image processing apparatus, image processing method, and program
CN111308704A (zh) 三维显示设备和方法
KR20170031384A (ko) 광학 레이어, 이를 포함하는 디스플레이 장치 및 백라이트 유닛
KR102309976B1 (ko) 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법
KR102382206B1 (ko) Opa가 적용된 카메라 시스템 및 그 동작 방법
KR20230009031A (ko) Ocl 기반의 카메라 시스템 및 그 동작 방법
KR20220016575A (ko) 베이스라인을 증가시키기 위한 opa 구조가 적용된 카메라 시스템
JP3564383B2 (ja) ３次元動画入力装置
KR102148127B1 (ko) 상보적인 픽슬렛 구조가 적용된 카메라 시스템
KR102177400B1 (ko) 낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템 및 그 동작 방법
KR102192322B1 (ko) 픽셀 블록 단위로 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180508

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190909

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190918

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190918

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220916

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240629