KR102177400B1 - 낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템 및 그 동작 방법 - Google Patents

낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR102177400B1
KR102177400B1 KR1020200029101A KR20200029101A KR102177400B1 KR 102177400 B1 KR102177400 B1 KR 102177400B1 KR 1020200029101 A KR1020200029101 A KR 1020200029101A KR 20200029101 A KR20200029101 A KR 20200029101A KR 102177400 B1 KR102177400 B1 KR 102177400B1
Authority
KR
South Korea
Prior art keywords
pixel
pixels
parallax
distance
image sensor
Prior art date
Application number
KR1020200029101A
Other languages
English (en)
Inventor
박현상
경종민
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020200029101A priority Critical patent/KR102177400B1/ko
Application granted granted Critical
Publication of KR102177400B1 publication Critical patent/KR102177400B1/ko

Links

Images

Classifications

    • H04N5/36965—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H04N5/2253—
    • H04N9/045—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

상보적인 픽슬렛 구조가 적용된 이미지 센서를 기반으로, 깊이 정확도를 보장하는 동시에 낮은 복잡도로 이미지 센서와 피사체 사이의 거리를 산출하는 카메라 시스템 및 그 동작 방법이 개시된다. 일 실시예에 따르면 카메라 시스템은, 제1 픽셀 및 제2 픽셀을 포함하는 이미지 센서-상기 제1 픽셀 및 제2 픽셀 각각은, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛 및 상기 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 포함하며, 상기 픽슬렛(Pixlet)은 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-; 및 상기 제1 픽셀 및 상기 제2 픽셀에서 획득되는 이미지들 사이의 시차를 특정 거리를 기준으로 시차 범위(Disparity range)를 달리하며 계산하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부를 포함한다.

Description

낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템 및 그 동작 방법{CAMERA SYSTEM FOR IMPROVING DEPTH ACCURACY WITH LOW COMPLEXITY AND OPERATION METHOD THEREOF}
아래의 설명은 낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템에 관한 것으로, 보다 상세하게는 상보적인 픽슬렛 구조(Complementary pixlet structure)가 적용된 이미지 센서를 포함하는 카메라 시스템 및 그 동작 방법에 대한 기술이다.
기존의 카메라 시스템은 마이크로 렌즈 아래 하나의 픽셀 내에 하나의 광 다이오드만이 배치되는 이미지 센서를 포함함으로써, 적어도 하나의 파장을 갖는 광선을 처리하여 일반적인 이미지를 획득하는 것 이외의 응용 기능-피사체까지의 거리(Depth) 추정 등-을 수행하지 못한다.
따라서, 기존의 카메라 시스템에서 상술한 응용 기능이 수행되기 위해서는, 두 개 이상의 카메라들이 카메라 시스템에 구비되어 활용되거나, 단일 카메라를 포함하는 카메라 시스템에 기본 조리개(aperture)와 구별되는 추가적인 조리개가 구비되어야 하는 단점이 있다.
이에, 아래의 실시예들은 하나의 픽셀 내에 두 개의 광 다이오드들(이하, 하나의 픽셀 내에 포함되는 두 개의 광 다이오드들 각각에 대응하는 구성요소로 픽슬렛(Pixlet)의 용어를 사용함)이 구현되는 상보적인 픽슬렛 구조가 적용된 이미지 센서를 포함하는 카메라 시스템을 제공함으로써, 단일 카메라 시스템에서 피사체까지의 거리 추정이 가능한 기술을 제안하고자 한다.
더 나아가, 아래의 실시예들은 상보적인 픽슬렛 구조가 적용된 이미지 센서를 포함하는 카메라 시스템에서 낮은 복잡도로 깊이 정확도를 향상시키는 기술을 제안하고자 한다.
일 실시예들은 단일 카메라 시스템에서 피사체까지의 거리 추정이 가능하도록 하나의 픽셀 내에 두 개의 픽슬렛(Pixlet)들이 구현되는 상보적인 픽슬렛 구조가 적용된 이미지 센서를 제안한다.
이 때, 일 실시예들은 상보적인 픽슬렛 구조가 적용된 이미지 센서를 기반으로, 깊이 정확도를 보장하는 동시에 낮은 복잡도로 이미지 센서와 피사체 사이의 거리를 산출하는 카메라 시스템을 제안한다.
또한, 일 실시예들은 상보적인 픽슬렛 구조가 적용된 이미지 센서를 기반으로, 깊이 산출의 노이즈를 억제시키는 카메라 시스템을 제안한다.
일 실시예에 따르면, 상보적인 픽슬렛 구조가 적용된 카메라 시스템은, 제1 픽셀 및 제2 픽셀을 포함하는 이미지 센서-상기 제1 픽셀 및 제2 픽셀 각각은, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛 및 상기 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 포함하며, 상기 픽슬렛(Pixlet)은 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-; 및 상기 제1 픽셀 및 상기 제2 픽셀에서 획득되는 이미지들 사이의 시차를 특정 거리를 기준으로 시차 범위(Disparity range)를 달리하며 계산하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부를 포함한다.
일 측면에 따르면, 상기 거리 산출부는, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에 대응하는 시차 범위(Disparity range) 중 상기 특정 거리에 대응되는 스텝 값 이하의 제1 시차 범위에서 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛을 통해 획득되는 이미지들 사이의 시차를 계산하고, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에 대응하는 시차 범위 중 상기 특정 거리에 대응되는 스텝 값 이상의 제2 시차 범위에서 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛을 통해 획득되는 이미지들 사이의 시차를 계산함으로써, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛을 통해 획득되는 이미지들 사이의 시차 또는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛을 통해 획득되는 이미지들 사이의 시차 중 어느 하나를 선택적으로 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 것을 특징으로 할 수 있다.
다른 일 측면에 따르면, 상기 거리 산출부는, 상기 특정 거리 이상에서는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하고, 상기 특정 거리 이하에서는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 거리 산출부는, 상기 제1 시차 범위와 상기 제2 시차 범위의 합이 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에 대응하는 시차 범위보다 작은 조건을 만족하도록 상기 특정 거리 값을 미리 설정하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 거리 산출부는, 상기 제1 시차 범위와 상기 제2 시차 범위 각각을 구성하는 스텝 값들의 개수가 동일하도록 상기 특정 거리 값을 미리 설정하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 제1 픽셀 및 제2 픽셀은, 동일한 픽셀 블록 내에 배치되는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 제1 픽셀 및 제2 픽셀은, 서로 다른 픽셀 블록 내 동일한 위치에 배치되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상보적인 픽슬렛 구조가 적용된 이미지 센서 및 거리 산출부를 포함하는 카메라 시스템의 동작 방법은, 제1 픽셀 및 제2 픽셀을 포함하는 이미지 센서-상기 제1 픽셀 및 제2 픽셀 각각은, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛 및 상기 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 포함하며, 상기 픽슬렛은 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-에서, 상기 제1 픽셀 및 상기 제2 픽셀 각각으로 광 신호를 유입시키는 단계; 및 상기 거리 산출부에서, 상기 제1 픽셀 및 상기 제2 픽셀에서 획득되는 이미지들 사이의 시차를 특정 거리를 기준으로 시차 범위(Disparity range)를 달리하며 계산하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계를 포함한다.
일 측면에 따르면, 상기 거리를 산출하는 단계는, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에 대응하는 시차 범위(Disparity range) 중 상기 특정 거리에 대응되는 스텝 값 이하의 제1 시차 범위에서 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛을 통해 획득되는 이미지들 사이의 시차를 계산하는 단계; 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에 대응하는 시차 범위 중 상기 특정 거리에 대응되는 스텝 값 이상의 제2 시차 범위에서 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛을 통해 획득되는 이미지들 사이의 시차를 계산하는 단계; 및 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛을 통해 획득되는 이미지들 사이의 시차 또는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛을 통해 획득되는 이미지들 사이의 시차 중 어느 하나를 선택적으로 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계를 포함하는 것을 특징으로 할 수 있다.
다른 일 측면에 따르면, 상기 거리를 산출하는 단계는, 상기 특정 거리 이상에서는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계; 또는 상기 특정 거리 이하에서는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계 중 적어도 어느 하나의 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상보적인 픽슬렛 구조가 적용된 카메라 시스템은, 제1 픽셀 및 제2 픽셀을 포함하는 이미지 센서-상기 제1 픽셀 및 제2 픽셀 각각은, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛 및 상기 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 포함하며, 상기 픽슬렛은 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-; 및 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차에 기초하여, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차의 노이즈를 억제하고, 상기 노이즈가 억제된 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부를 포함한다.
일 측면에 따르면, 상기 거리 산출부는, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차에 대한 에버리징 값을 이용하여, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차의 노이즈를 억제하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상보적인 픽슬렛 구조가 적용된 이미지 센서 및 거리 산출부를 포함하는 카메라 시스템의 동작 방법은, 제1 픽셀 및 제2 픽셀을 포함하는 이미지 센서-상기 제1 픽셀 및 제2 픽셀 각각은, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛 및 상기 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 포함하며, 상기 픽슬렛은 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-에서, 상기 제1 픽셀 및 상기 제2 픽셀 각각으로 광 신호를 유입시키는 단계; 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차에 기초하여, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차의 노이즈를 억제하는 단계; 및 상기 노이즈가 억제된 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계를 포함한다.
일 측면에 따르면, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차의 노이즈를 억제하는 단계는, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차에 대한 에버리징 값을 이용하여, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차의 노이즈를 억제하는 단계인 것을 특징으로 할 수 있다.
일 실시예들은 단일 카메라 시스템에서 피사체까지의 거리 추정이 가능하도록 하나의 픽셀 내에 두 개의 픽슬렛(Pixlet)들이 구현되는 상보적인 픽슬렛 구조가 적용된 이미지 센서를 제안할 수 있다.
이 때, 일 실시예들은 상보적인 픽슬렛 구조가 적용된 이미지 센서를 기반으로, 깊이 정확도를 보장하는 동시에 낮은 복잡도로 이미지 센서와 피사체 사이의 거리를 산출하는 카메라 시스템을 제안할 수 있다.
또한, 일 실시예들은 상보적인 픽슬렛 구조가 적용된 이미지 센서를 기반으로, 깊이 산출의 노이즈를 억제시키는 카메라 시스템을 제안할 수 있다.
도 1은 일 실시예에 따른 카메라 시스템에서 피사체까지의 거리를 산출하는 원리를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 카메라 시스템을 나타낸 블록도이다.
도 3은 도 2에 도시된 카메라 시스템에 포함되는 이미지 센서의 개략적인 구조를 나타낸 평면도다.
도 4는 도 2에 도시된 카메라 시스템에 포함되는 거리 산출부의 일 실시예에 따른 구조를 나타낸 블록도이다.
도 5는 도 4에 도시된 거리 산출부의 거리 산출 동작을 설명하기 위한 개념도이다.
도 6은 도 4의 구조를 갖는 거리 산출부를 포함하는 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다.
도 7은 도 6의 단계(S620)를 구체적으로 나타낸 플로우 차트이다.
도 8은 도 2에 도시된 카메라 시스템에 포함되는 거리 산출부의 다른 일 실시예에 따른 구조를 나타낸 블록도이다.
도 9는 도 8의 구조를 갖는 거리 산출부를 포함하는 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(Terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 예컨대, 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 제시된 각각의 실시예 범주에서 개별 구성요소의 위치, 배치, 또는 구성은 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.
깊이(이하, 깊이 Depth는 피사체와 이미지 센서 사이의 거리를 의미함)가 적용된 3차원 이미지를 획득하기 위해서는, 2차원 이미지에 포함되는 픽셀들 각각의 깊이가 산출되어야 한다. 이 때, 2차원 이미지에 포함되는 픽셀들 각각의 깊이를 산출하는 종래의 방식으로는 촬영 대상이 되는 피사체(오브젝트)에 레이저를 조사하고 그 빛이 돌아오는 시간을 측정하는 TOF(time of flight) 방식, 두 개 이상의 카메라 시스템들에서 각각 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 스테레오(depth from stereo) 방식, 단일 카메라 시스템에서 단일 광학계에 형성된 복수의 조리개들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 방식(조리개를 이용한 시차 차이 방식), 단일 카메라 시스템에서 단일 광학계에 형성된 복수의 조리개들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 블러 변화를 이용하여 깊이를 산출하는 방식 등이 있다.
이에, 아래의 실시예들에서는 단일 카메라 시스템에서 피사체까지의 거리 추정이 가능하도록 하나의 픽셀 내에 두 개의 픽슬렛들이 구현되는 상보적인 픽슬렛 구조가 적용된 이미지 센서를 제안한다. 이하, 픽슬렛(Pixlet)은 픽셀 내 배치되어 광 신호를 전기 신호로 변환하는 광 다이오드를 포함하는 구성요소로서, 픽셀 내에 수광 면적이 상이하게 두 개 포함될 수 있다. 또한, 이하, 상보적인 픽슬렛 구조는, 제1 픽슬렛 및 제2 픽슬렛을 포함하는 픽셀에서 제1 픽슬렛의 면적이 주어지면, 픽셀 면적으로부터 제1 픽슬렛의 면적이 차감되어 제2 픽슬렛의 면적이 계산될 수 있는 구조를 의미한다. 그러나 이에 제한되거나 한정되지 않고, 픽셀에 제1 픽슬렛과 제2 픽슬렛 사이의 간섭 현상을 줄이기 위한 DTI(Deep trench isolation)가 포함되는 경우 상보적인 픽슬렛 구조는, 픽셀에서 제1 픽슬렛의 면적이 주어지면 픽셀 면적으로부터 DTI의 면적이 제외된 면적 상 제1 픽슬렛의 면적이 차감되어 제2 픽슬렛의 면적이 계산될 수 있는 구조를 의미한다.
보다 상세하게, 일 실시예들은 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛 및 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 각각 포함하는 구조로 픽셀을 구성함으로써, 해당 픽셀을 포함하는 이미지 센서 기반의 카메라 시스템이 편향 소형 픽슬렛들에서 획득하는 이미지들 사이의 시차(Disparity) 또는 대형 픽슬렛들에서 획득하는 이미지들 사이의 시차를 이용하여 이미지 센서와 피사체 사이의 거리를 산출하는 기술을 제안한다. 이와 같은 깊이 산출 방식은 OA(Offset Aperture) 기반의 깊이 산출 방식에 근거한다.
도 1은 일 실시예에 따른 카메라 시스템에서 피사체까지의 거리를 산출하는 원리를 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따라 상보적인 픽슬렛 구조가 적용된 이미지 센서(100)는 픽셀(110) 내 픽셀 중심(111)에 대해 어느 한쪽 방향으로 편향된 편향 소형 픽슬렛(112) 및 편향 소형 픽슬렛(112)과 인접하여 배치되는 대형 픽슬렛(113)을 포함할 수 있다.
이 때, 픽셀(110)의 편향 소형 픽슬렛(112)(이하, 좌편향 소형 픽슬렛)은 픽셀(110)의 픽셀 중심(111)에 대해 좌측 방향으로 편향되어, 픽셀 중심(111)을 기준으로 좌측 영역의 일부분만을 차지하는 수광 면적을 갖는 가운데, 픽셀(110)의 픽셀 중심(111)으로부터 좌측으로 일정거리 이상 오프셋되어 형성될 수 있다.
이에, 픽셀(110)의 상부에 배치된 단일 광학계를 통해 유입되는 광 신호는 픽셀(110)의 좌편향 소형 픽슬렛(112)으로 입사되게 되는 바, 도면에 도시된 바와 같은 원리를 통해, 좌편향 소형 픽슬렛(112)의 어느 한쪽 모서리가 픽셀(110)의 픽셀 중심(111)으로부터 오프셋된 거리인 O2는 단일 광학계 상에 조리개가 형성되었을 경우 해당 조리개가 단일 광학계의 중심(픽셀(110)의 중심(111)과 동일함)으로부터 오프셋된 거리인 O1와 비례하는 관계를 갖는다. 도면에서 f는 초점 거리를 의미하고, D는 단일 광학계의 지름을 의미하며, h는 픽셀(110)의 마이크로 렌즈로부터 픽셀(110)의 픽셀 중심(111)까지의 거리를 의미한다.
따라서, 픽셀(110)의 중심(111)으로부터 어긋나도록 형성된 좌편향 소형 픽슬렛(112)에는 단일 광학계의 중심(픽셀(110)의 중심(111)과 동일함)으로부터 어긋나도록 단일 광학계 상에 형성된 조리개와 동일한 원리가 적용될 수 있는 바, 이미지 센서(100)를 포함하는 카메라 시스템은 좌편향 소형 픽슬렛(112)에 기초하는 OA(Offset Aperture) 기반 깊이 산출 방식을 이용하여 피사체와 이미지 센서(100) 사이의 거리(깊이)를 산출할 수 있다.
마찬가지로, 픽셀(110)의 중심(111)으로부터 어긋나도록 형성된 대형 픽슬렛(113) 역시 단일 광학계의 중심(픽셀(110)의 중심(111)과 동일함)으로부터 어긋나도록 단일 광학계 상에 형성된 조리개와 동일한 원리가 적용될 수 있는 바, 이미지 센서(100)를 포함하는 카메라 시스템은 대형 픽슬렛(113)에 기초하는 OA(Offset Aperture) 기반 깊이 산출 방식을 이용하여 피사체와 이미지 센서(100) 사이의 거리(깊이)를 산출할 수 있다.
이와 같이 OA(Offset Aperture) 기반 깊이 산출 방식이 적용됨에 따라, 단일 광학계 아래 상보적인 픽슬렛 구조가 적용된 이미지 센서(100)를 포함하는 카메라 시스템의 깊이 산출 원리가 OA 구조에서의 시차 차이 방식을 기초로 하는 경우로 설명되었으나, 이에 제한되거나 한정되지 않고, 시차가 발생된 두 개의 이미지들을 이용하여 이미지 내 깊이를 산출하는 다양한 방식들을 기초로 할 수 있다.
이상, 이미지 센서(100)에 포함되는 픽셀 블록(일례로, 2×2 픽셀 블록)이 하나의 픽셀(110)을 포함하는 것으로 설명되었으나 이에 제한되거나 한정되지 않고, 상보적인 픽슬렛 구조가 적용된 두 개 이상의 픽셀들(제1 픽셀 및 제2 픽셀)을 포함하는 경우 역시 마찬가지로, 상술된 원리를 바탕으로 이미지 센서(100)와 피사체 사이의 거리가 산출될 수 있다.
도 2는 일 실시예에 따른 카메라 시스템을 나타낸 블록도이고, 도 3은 도 2에 도시된 카메라 시스템에 포함되는 이미지 센서의 개략적인 구조를 나타낸 평면도이다.
도 2 내지 3을 참조하면, 일 실시예에 따른 카메라 시스템(200)은 이미지 센서(210) 및 거리 산출부(220)를 포함할 수 있다. 이하, 카메라 시스템(200)은 이미지 센서(210) 및 거리 산출부(220)만을 포함하는 것에 제한되거나 한정되지 않고, 단일 광학계(미도시) 등을 더 포함할 수 있다. 또한, 이하, 피사체와 이미지 센서(210) 사이의 거리를 산출하는 동작을 카메라 시스템(200)이 수행하는 것으로 설명되나, 이는 카메라 시스템(200)에 포함되는 거리 산출부(220)에서 수행하는 것을 의미한다.
이미지 센서(210)는 적어도 하나의 픽셀 블록(310)을 포함하는 픽셀 어레이로 구성될 수 있다. 여기서, 적어도 하나의 픽셀 블록(310)은 제1 픽셀(311) 및 제2 픽셀(312)을 포함하도록 구성될 수 있다. 이하, 적어도 하나의 픽셀 블록(310)에 포함되는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 상부에는 마이크로 렌즈(미도시)가 배치될 수 있다.
제1 픽셀(311) 및 제2 픽셀(312) 각각은, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛(311-1, 312-1) 및 편향 소형 픽슬렛(311-1, 312-1)과 인접하여 배치되는 대형 픽슬렛(311-2, 312-2)을 포함할 수 있다. 예를 들어, 제1 픽셀(311)의 편향 소형 픽슬렛(311-1)은 제1 픽셀(311)의 픽셀 중심에 대해 좌측 방향으로 편향되어, 픽셀 중심을 기준으로 좌측 영역의 일부분만을 차지하는 수광 면적을 갖는 가운데, 제1 픽셀(311)의 픽셀 중심으로부터 좌측으로 일정거리 이상 오프셋되도록 형성될 수 있으며, 제2 픽셀(312)의 편향 소형 픽슬렛(312-1)은 제2 픽셀(312)의 픽셀 중심에 대해 우측 방향으로 편향되어, 픽셀 중심을 기준으로 우측 영역의 일부분만을 차지하는 수광 면적을 갖는 가운데, 제2 픽셀(312)의 픽셀 중심으로부터 우측으로 일정거리 이상 오프셋되도록 형성될 수 있다.
즉, 일 실시예에 따른 이미지 센서(210)의 픽셀 블록(310)에는 거리 산출을 위한 상보적인 픽슬렛 구조가 적용된 제1 픽셀(311) 및 제2 픽셀(312)이 포함됨을 특징으로 한다.
이 때, 제1 픽셀(311) 및 제2 픽셀(312)은 픽셀 블록(310) 내 서로 대각된 위치에 배치될 수 있으며, 이에 제한되거나 한정되지 않고 픽셀 블록(310) 내에서 좌우로 인접하도록 배치될 수 있다.
제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)은 서로 이격되는 거리가 최대화되도록 각각의 픽셀 내에 배치될 수 있다. 이는 후술되는 거리 산출 과정이 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득하는 이미지들을 기반으로 수행될 시, 이미지들 사이의 시차가 클수록 거리 해상도(Depth resolution)를 일관성 있게 보장할 수 있기 때문이다.
여기서, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)이 서로 이격되는 거리는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)의 크기, 배치 위치와 관련되며, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)의 크기, 배치 위치는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)이 제1 픽셀(311) 및 제2 픽셀(312) 각각의 픽셀 중심으로부터 오프셋된 거리와도 관련되게 된다.
이에, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)이 서로 이격되는 거리를 최대화하는 것은, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)이 제1 픽셀(311) 및 제2 픽셀(312) 각각의 픽셀 중심으로부터 오프셋된 거리를 최대화하는 것과 동일한 의미인 바, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)은 제1 픽셀(311) 및 제2 픽셀(312) 각각의 픽셀 중심으로부터 오프셋된 거리를 최대화하도록 형성될 수 있다.
특히, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)이 제1 픽셀(311) 및 제2 픽셀(312) 각각의 픽셀 중심으로부터 오프셋된 거리는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 광 신호를 센싱하는 감도를 기 설정된 수준 이상 보장하는 것을 전제로, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득하는 이미지들 사이의 시차를 최대화하도록 결정될 수 있다.
이와 관련하여 도 1을 참조하면, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)이 제1 픽셀(311) 및 제2 픽셀(312) 각각의 픽셀 중심으로부터 오프셋된 거리 O2는 단일 광학계의 중심으로부터 오프셋된 거리인 O1와 비례하는 관계를 갖는다. 즉, O1과 O2는 아래의 식 1과 같이 표현될 수 있다.
<식 1>
Figure 112020024791997-pat00001
식 1에서 n은 제1 픽셀(311) 및 제2 픽셀(312) 각각의 마이크로 렌즈의 굴절률을 의미하고, f는 초점 거리(이미지 센서(210)의 중심으로부터 단일 광학계까지의 거리)를 의미하며, h는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 마이크로 렌즈로부터 제1 픽셀(311) 및 제2 픽셀(312) 각각의 픽셀 중심까지의 거리를 의미한다.
한편, 실험적 기법으로 인해, 단일 광학계의 중심으로부터 오프셋된 거리인 O1는 아래의 식 2와 같은 범위에 있을 때, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 광 신호를 센싱하는 감도를 기 설정된 수준 이상 보장하는 것을 전제로, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득하는 이미지들 사이의 시차를 최대화하는 것으로 나타났다.
<식 2>
Figure 112020024791997-pat00002
식 2에서 D는 단일 광학계의 지름을 의미하며, a는 0.2 이상의 값을 갖는 상수를 의미하고, b는 0.47 이하의 값을 갖는 상수를 의미한다.
따라서, 식 1은 식 2에 의해 아래의 식 3과 같이 나타낼 수 있는 바, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)이 제1 픽셀(311) 및 제2 픽셀(312) 각각의 픽셀 중심으로부터 오프셋된 거리는, 식 3과 같이 제1 픽셀(311) 및 제2 픽셀(312) 각각의 마이크로 렌즈의 굴절률, 이미지 센서(210)의 중심으로부터 단일 광학계까지의 거리, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 마이크로 렌즈로부터 제1 픽셀(311) 및 제2 픽셀(312) 각각의 픽셀 중심까지의 거리 및 단일 광학계의 지름에 기초하여 결정됨으로써, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 광 신호를 센싱하는 감도를 기 설정된 수준 이상 보장하는 것을 전제로, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득하는 이미지들 사이의 시차가 최대화될 수 있다.
<식 3>
Figure 112020024791997-pat00003
a는 0.2 이상의 값을 갖는 상수를 의미하고, b는 0.47 이하의 값을 갖는 상수를 의미하는 바, 식 3은 아래의 식 4와 같이 표현될 수 있다.
<식 4>
Figure 112020024791997-pat00004
일 실시예로 f = 1.4D, n = 1.4, h = 2.9 um이고 픽셀 크기가 2.8 um 인 경우 상기 식 4를 이용하여
Figure 112020024791997-pat00005
를 계산해보면,
Figure 112020024791997-pat00006
의 범위를 갖게 되어, 거리를 획득하기에 적절한 시차가 확보될 수 있다.
이러한 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)의 구조에 따라, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)은 제1 픽셀(311) 및 제2 픽셀(312) 각각 내에서 서로 대칭되는 가운데 대각 방향으로 인접하여 배치될 수 있다. 예를 들어, 제1 픽셀(311)의 대형 픽슬렛(311-2)은 제1 픽셀(311)의 픽셀 중심을 기준으로 우측 영역 전체와 좌측 영역의 일부분을 차지하는 수광 면적을 갖는 가운데, 제1 픽셀(311)의 픽셀 중심으로부터 일정거리 이상 오프셋되도록 형성될 수 있으며, 제2 픽셀(312)의 대형 픽슬렛(312-2)은 제2 픽셀(312)의 픽셀 중심을 기준으로 좌측 영역 전체와 우측 영역의 일부분을 차지하는 수광 면적을 갖는 가운데, 제2 픽셀(312)의 픽셀 중심으로부터 일정거리 이상 오프셋되도록 형성될 수 있다.
이상, 도 3과 같이 제1 픽셀(311) 및 제2 픽셀(312) 각각이 W(White) 픽셀인 것으로 설명되었으나, 이에 제한되거나 한정되지 않고 다양한 실시예에 따라 구현될 수 있다. 또한, 픽셀 블록(310)에 포함되는 픽셀들 중 제1 픽셀(311) 및 제2 픽셀(312)을 제외한 나머지 픽셀들이 각기 R(Red) 픽셀 및 B(Blue) 픽셀인 것으로 도시되었으나, 이에 제한되거나 한정되지 않고 다양한 실시예에 따라 구현될 수 있다. 일례로, 제1 픽셀(311) 및 제2 픽셀(312) 각각은 G(Green) 픽셀로 구현될 수 있으며, 더 나아가, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)이 G 광 신호를 처리하도록 구성되는 가운데, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)은 W 광 신호를 처리하도록 구성될 수 있다. 즉, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)은, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)이 처리하는 광 신호의 파장과 무관하게, W 광 신호를 처리하도록 구성됨으로써, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)을 통해 획득되는 이미지들 사이의 시차가 극대화될 수 있으며, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)의 면적이 작더라도 저조도에서 동작하는 효과가 기대될 수 있다.
다른 일례로, 픽셀 블록(310)에 포함되는 픽셀들 중 제1 픽셀(311) 및 제2 픽셀(312)을 제외한 나머지 픽셀들은 각기 R 픽셀 및 Y(Yellow) 픽셀로 구현될 수 있다.
또한, 이상 제1 픽셀(311) 및 제2 픽셀(312)이 동일한 픽셀 블록(310) 내에 배치되는 것으로 설명되었으나, 이에 제한되거나 한정되지 않고 서로 다른 픽셀 블록 내 동일한 위치에 배치될 수도 있다.
이상 설명된 구조의 이미지 센서(210)는 추가적인 구성요소를 더 포함할 수 있다. 예를 들어, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)의 상부에는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)으로 유입되는 광선의 다발 중 주변부의 광선을 차단하고 중심부의 광선만을 유입시키는 마스크(미도시)가 배치될 수 있다. 이러한 마스크로 인해 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득하는 이미지는 광선의 다발 중 주변부까지 유입되는 경우 획득되는 이미지보다 깊은 심도를 갖게 될 수 있다. 다른 예를 들면, 제1 픽셀(311) 및 제2 픽셀(312) 각각에는 편향 소형 픽슬렛(311-1, 312-1)과 대형 픽슬렛(311-2, 312-2)간 간섭 현상을 줄이기 위한 DTI(Deep trench isolation)이 형성될 수 있다. 이러한 경우, DTI는 편향 소형 픽슬렛(311-1, 312-1)과 대형 픽슬렛(311-2, 312-2) 사이에 형성될 수 있다.
이에, 거리 산출부(220)는 이와 같은 구조의 이미지 센서(210)를 기반으로, 도 1을 참조하여 설명된 OA 기반 깊이 산출 방식을 이용하여, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득하는 이미지들(제1 픽셀(311)의 좌편향 소형 픽슬렛(311-1)에서 획득한 이미지 및 제2 픽셀(312)의 우편향 소형 픽슬렛(312-1)에서 획득한 이미지) 사이의 시차 및/또는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득하는 이미지들(제1 픽셀(311)의 대형 픽슬렛(311-2)에서 획득한 이미지 및 제2 픽셀(312)의 대형 픽슬렛(312-2)에서 획득한 이미지) 사이의 시차를 이용하여 이미지 센서(210)로부터 피사체 사이의 거리를 산출할 수 있다. 보다 상세하게, 전술된 구조의 좌편향 소형 픽슬렛(311-1)에서 획득한 이미지 및 우편향 소형 픽슬렛(312-1)에서 획득한 이미지가 거리 산출부(220)에 입력되거나, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득한 이미지들이 입력됨에 따라, 거리 산출부(220)는 좌편향 소형 픽슬렛(311-1)에서 획득한 이미지 및 우편향 소형 픽슬렛(312-1)에서 획득한 이미지 사이의 시차 및/또는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득하는 이미지들 사이의 시차를 이용하여 이미지 센서(210)로부터 피사체 사이의 거리를 산출할 수 있다.
여기서, 거리 산출부에 입력되는 이미지들(제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득하는 이미지들 또는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득하는 이미지들)은 동시에 입력되지 않고 픽셀 단위로 다중화되어 입력될 수 있다. 이에, 카메라 시스템(200)은 이미지들에 대한 잡음 제거를 위한 처리 장치를 단일로 구비함으로써, 다중화된 이미지들을 순차적으로 처리할 수 있다. 이 때, 거리 산출부(220)는 이미지들을 공통의 이미지 공간(이미지 평면)으로 투사하는 이미지 렉티피케이션(Image rectification)을 수행하지 않는 것을 특징으로 할 수 있다.
이 때, 거리 산출부(220)는 거리 산출 기능 이외에도, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득한 이미지들과, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득한 이미지들을 병합하여 컬러 이미지를 형성하는 컬러 이미지 형성 기능을 가질 수 있다.
특히, 거리 산출부(220)는 깊이 정확도를 보장하는 동시에 낮은 복잡도로 이미지 센서(210)와 피사체 사이의 거리를 산출하는 동작을 수행하거나, 깊이 산출의 노이즈를 억제시키는 동작을 수행할 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 4는 도 2에 도시된 카메라 시스템에 포함되는 거리 산출부의 일 실시예에 따른 구조를 나타낸 블록도이며, 도 5는 도 4에 도시된 거리 산출부의 거리 산출 동작을 설명하기 위한 개념도이다.
도 4 내지 5를 참조하면, 일 실시예에 따른 거리 산출부(220)는 제1 픽셀(311) 및 제2 픽셀(312)에서 획득되는 이미지들 사이의 시차를 특정 거리를 기준으로 시차 범위(Disparity range)를 달리하며 계산하여 이미지 센서(210)와 피사체 사이의 거리를 산출함으로써, 깊이 정확도를 보장하는 동시에 낮은 복잡도를 갖는 깊이 산출 동작을 수행할 수 있다.
이와 관련하여 도 5를 참조하면, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차에 대한 시차 범위(Disparity range)(510)는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득되는 이미지들 사이의 시차에 대한 시차 범위(520)보다 넓은 값의 범위를 갖는다. 즉, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위(510)의 최대 스텝 값인
Figure 112020024791997-pat00007
은 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에 대응하는 시차 범위(520)의 최대 스텝 값인
Figure 112020024791997-pat00008
보다 큰 수치 값을 갖는다.
이 때, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위(510)는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에 대응하는 시차 범위(520)가 나타내는 피사체와 이미지 센서(210) 사이의 거리와 동일한 거리를 나타낼 수 있다. 다시 말해,
Figure 112020024791997-pat00009
가 나타내는 피사체와 이미지 센서(210) 사이의 거리는
Figure 112020024791997-pat00010
가 나타내는 피사체와 이미지 센서(210) 사이의 거리와 동일하며,
Figure 112020024791997-pat00011
가 나타내는 피사체와 이미지 센서(210) 사이의 거리는
Figure 112020024791997-pat00012
가 나타내는 피사체와 이미지 센서(210) 사이의 거리와 동일하다.
이에, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에 대응하는 시차 범위(520)를 통해 계산되는 시차 기반의 깊이 산출 결과는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위(510)를 통해 계산되는 시차 기반의 깊이 산출 결과보다 그 정확도가 떨어지게 된다.
그러나 시차 기반의 깊이 산출에서 하드웨어의 복잡도는 시차 범위에 따라 선형적으로 증가되는 바(시차 기반의 깊이 산출에서 하드웨어의 복잡도는 시차 범위의 최대 변위의 거듭제곱에 비례하여 증가됨), 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에 대응하는 시차 범위(520)를 통해 계산되는 시차 기반의 깊이 산출 복잡도는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위(510)를 통해 계산되는 시차 기반의 깊이 산출 복잡도보다 현저하게 낮게 된다
또한, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에 대응하는 시차 범위(520)에 대한 매칭 윈도우의 크기가 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위(510)에 대한 매칭 윈도우의 크기보다 작기 때문에, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에 대응하는 시차 범위(520) 기반 깊이 산출 하드웨어의 복잡도는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위(510) 기반 깊이 산출 하드웨어의 복잡도보다 현저하게 낮게 된다.
이러한 특성을 기반으로, 일 실시예에 따른 거리 산출부(220)는, 근거리에서는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에 대응하는 시차 범위(520) 기반 시차를 이용하여 피사체와 이미지 센서(210) 사이의 거리를 산출하고, 원거리에서는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위(510) 기반 시차를 이용하여 피사체와 이미지 센서(210) 사이의 거리를 산출함으로써, 깊이 정확도를 보장하는 동시에 낮은 복잡도를 갖는 깊이 산출 동작을 수행할 수 있다.
보다 상세하게, 거리 산출부(220)는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위(510) 중 특정 거리에 대응되는 스텝 값(511) 이하의 제1 시차 범위(512)에서 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)을 통해 획득되는 이미지들 사이의 시차를 계산하고, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에 대응하는 시차 범위(520) 중 특정 거리에 대응되는 스텝 값(521) 이상의 제2 시차 범위(522)에서 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)을 통해 획득되는 이미지들 사이의 시차를 계산함으로써, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)을 통해 획득되는 이미지들 사이의 시차 또는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)을 통해 획득되는 이미지들 사이의 시차 중 어느 하나를 선택적으로 이용하여 이미지 센서(210)와 피사체 사이의 거리를 산출할 수 있다(특정 거리 이하인 근거리에서는 제2 시차 범위(522)를 기반으로 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)을 통해 획득되는 이미지들 사이의 시차를 이용하고, 특정 거리 이상인 원거리에서는 제1 시차 범위(512)를 기반으로 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)을 통해 획득되는 이미지들 사이의 시차를 이용하여 거리를 산출함).
이러한 동작을 위해, 거리 산출부(220)는 도 4에 도시된 바와 같이 구성될 수 있으며, 제1 시차 범위(512)와 제2 시차 범위(522)의 합(일 실시예에 따른 거리 산출부(220)의 시차 범위를 의미함)이 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위(510)보다 작은 조건(일 실시예에 따른 거리 산출부(220)의 거리 산출 복잡도가 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위(510) 기반의 거리 산출 복잡도보다 낮아지기 위한 조건)을 만족하도록, 제1 시차 범위(512)와 제2 시차 범위(522)를 결정하는 특정 거리의 값을 미리 설정할 수 있다.
도 4에서 L.small은 제1 픽셀(311)의 편향 소형 픽슬렛(311-1)을 의미하고, R.small은 제2 픽셀(312)의 편향 소형 픽슬렛(312-1)을 의미하며, L.large는 제1 픽셀(311)의 대형 픽슬렛(311-2)을 의미하고, R.large는 제2 픽셀(312)의 대형 픽슬렛(312-2)을 의미한다.
또한, 거리 산출부(220)는 제1 시차 범위(512) 및 제2 시차 범위(522) 각각을 구성하는 스텝 값들의 개수가 동일하도록, 제1 시차 범위(512)와 제2 시차 범위(522)를 결정하는 특정 거리의 값을 미리 설정할 수 있다. 이에, 도 4에서
Figure 112020024791997-pat00013
및
Figure 112020024791997-pat00014
가 동일하게 되며 하부의 블록이 상부의 블록 그대로를 카피하여 구성될 수 있어, 하드웨어 구현 편의성이 향상될 수 있다.
이처럼 일 실시예에 따른 거리 산출부(220)는 특정 거리 이하인 근거리에서는 제2 시차 범위(522)를 기반으로 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)을 통해 획득되는 이미지들 사이의 시차를 이용하고, 특정 거리 이상인 원거리에서는 제1 시차 범위(512)를 기반으로 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)을 통해 획득되는 이미지들 사이의 시차를 이용하는 것과 같이, 제1 픽셀(311) 및 제2 픽셀(312)에서 획득되는 이미지들 사이의 시차를 특정 거리를 기준으로 시차 범위를 달리하며 계산하여 이미지 센서(210)와 피사체 사이의 거리를 산출함으로써, 깊이 정확도를 보장하는 동시에 낮은 복잡도를 갖는 깊이 산출 동작을 수행할 수 있다.
일례로, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)만을 이용하는 깊이 산출 방식의 시차 범위(510)가 0 내지 31이고 매칭 윈도우의 크기가 65*33이라면, 일 실시예에 따른 거리 산출부(220)의 깊이 산출 방식은, 시차 범위를 0 내지 7로 갖고, 매칭 윈도우의 크기를 근거리에서 33*17로 원거리에서 65*33으로 설정하여, 전체 하드웨어 규모를 1/8로 감축시킬 수 있다.
도 6은 도 4의 구조를 갖는 거리 산출부를 포함하는 카메라 시스템의 동작 방법을 나타낸 플로우 차트이고, 도 7은 도 6의 단계(S620)를 구체적으로 나타낸 플로우 차트이다. 이하 설명되는 카메라 시스템의 동작 방법은 도 2 내지 3과, 4 내지 5를 참조하여 전술된 구조의 이미지 센서(210) 및 거리 산출부(220)를 포함하는 카메라 시스템(200)에 의해 수행될 수 있다.
도 6을 참조하면, 이미지 센서(210)는 단계(S610)를 통해, 제1 픽셀(311) 및 제2 픽셀(312) 각각으로 광 신호를 유입시킬 수 있다. 이 때, 이미지 센서(210)는 도 2 내지 3을 참조하여 전술된 구조로 구현되어(이미지 센서(210)의 제1 픽셀(311) 및 제2 픽셀(312) 각각이, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛(311-1, 312-1)과 편향 소형 픽슬렛(311-1, 312-1)과 인접하여 배치되는 대형 픽슬렛(311-2, 312-2)을 포함하도록 구현됨), 단계(S610)에서 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)과, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)으로 광 신호를 유입시킬 수 있다.
그 후, 거리 산출부(220)는 단계(S620)를 통해, 제1 픽셀(311) 및 제2 픽셀(312)에서 획득되는 이미지들 사이의 시차를 특정 거리를 기준으로 시차 범위(Disparity range)를 달리하며 계산하여, 이미지 센서(210)와 피사체 사이의 거리를 산출할 수 있다.
보다 상세하게, 단계(S620)에서 거리 산출부(220)는, 도 7과 같이 세부적인 단계(S710)를 통해 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에 대응하는 시차 범위 중 특정 거리에 대응되는 스텝 값 이하의 제1 시차 범위에서 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)을 통해 획득되는 이미지들 사이의 시차를 계산하고, 세부적인 단계(S720)를 통해 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에 대응하는 시차 범위 중 특정 거리에 대응되는 스텝 값 이상의 제2 시차 범위에서 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)을 통해 획득되는 이미지들 사이의 시차를 계산함으로써, 세부적인 단계(S730)를 통해 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1. 312-1)을 통해 획득되는 이미지들 사이의 시차 또는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)을 통해 획득되는 이미지들 사이의 시차 중 어느 하나를 선택적으로 이용하여 이미지 센서(210)와 피사체 사이의 거리를 산출할 수 있다.
즉, 세부적인 단계(S730)에서 거리 산출부(220)는, 특정 거리 이상에서는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차를 이용하여 이미지 센서(210)와 피사체 사이의 거리를 산출하거나, 특정 거리 이하에서는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득되는 이미지들 사이의 시차를 이용하여 이미지 센서(210)와 피사체 사이의 거리를 산출할 수 있다.
이처럼 일 실시예에 따른 거리 산출부(220)는 특정 거리 이하인 근거리에서는 제2 시차 범위를 기반으로 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)을 통해 획득되는 이미지들 사이의 시차를 이용하고, 특정 거리 이상인 원거리에서는 제1 시차 범위를 기반으로 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)을 통해 획득되는 이미지들 사이의 시차를 이용하는 것과 같이, 제1 픽셀(311) 및 제2 픽셀(312)에서 획득되는 이미지들 사이의 시차를 특정 거리를 기준으로 시차 범위를 달리하며 계산하여 이미지 센서(210)와 피사체 사이의 거리를 산출함으로써, 깊이 정확도를 보장하는 동시에 낮은 복잡도를 갖는 깊이 산출 동작을 수행할 수 있다.
도 8은 도 2에 도시된 카메라 시스템에 포함되는 거리 산출부의 다른 일 실시예에 따른 구조를 나타낸 블록도이다.
도 8을 참조하면, 다른 일 실시예에 따른 거리 산출부(220)는 제1 픽셀(311) 및 제2 픽셀(312)에서 획득되는 이미지들 사이의 시차의 노이즈를 억제함으로써, 깊이 산출의 노이즈를 억제시키는 동작을 수행할 수 있다.
보다 상세하게, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)은 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)보다 잡음이 적기 때문에, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득되는 이미지들 사이의 시차의 잡음은 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차의 잡음이 비해 억제되어 있다.
한편, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득되는 이미지들 사이의 시차에 대한 시차 범위는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차에 대한 시차 범위보다 좁은 값의 범위를 가지며, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득되는 이미지들 사이의 시차에 대한 시차 범위는 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차에 대한 시차 범위를 선형적으로 줄인 것과 같은 효과를 가질 수 있다.
이러한 특성을 기반으로, 다른 일 실시예에 따른 거리 산출부(220)는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득되는 이미지들 사이의 시차에 기초하여, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차의 노이즈를 억제함으로써, 노이즈가 억제된 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차를 이용하여 이미지 센서(210)와 피사체 사이의 거리를 산출할 수 있다. 일례로, 거리 산출부(220)는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2 312-2)에서 획득되는 이미지들 사이의 시차에 대한 에버리징 값을 이용하여, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차의 노이즈를 억제할 수 있다(도면에서의 Guided noise reduction).
이처럼 다른 일 실시예에 따른 거리 산출부(220)는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차를 계산하는 동시에 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2 312-2)에서 획득되는 이미지들 사이의 시차도 함께 계산하여, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2 312-2)에서 획득되는 이미지들 사이의 시차를 기초로 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차의 노이즈를 억제할 수 있다.
도 9는 도 8의 구조를 갖는 거리 산출부를 포함하는 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다. 이하 설명되는 카메라 시스템의 동작 방법은 도 2 내지 3과, 8을 참조하여 전술된 구조의 이미지 센서(210) 및 거리 산출부(220)를 포함하는 카메라 시스템(200)에 의해 수행될 수 있다.
도 9를 참조하면, 이미지 센서(210)는 단계(S910)를 통해, 제1 픽셀(311) 및 제2 픽셀(312) 각각으로 광 신호를 유입시킬 수 있다. 이 때, 이미지 센서(210)는 도 2 내지 3을 참조하여 전술된 구조로 구현되어(이미지 센서(210)의 제1 픽셀(311) 및 제2 픽셀(312) 각각이, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛(311-1, 312-1)과 편향 소형 픽슬렛(311-1, 312-1)과 인접하여 배치되는 대형 픽슬렛(311-2, 312-2)을 포함하도록 구현됨), 단계(S610)에서 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)과, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)으로 광 신호를 유입시킬 수 있다.
이어서, 거리 산출부(220)는 단계(S920)를 통해, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득되는 이미지들 사이의 시차에 기초하여, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차의 노이즈를 억제할 수 있다.
보다 상세하게, 단계(S920)에서 거리 산출부(220)는, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 대형 픽슬렛(311-2, 312-2)에서 획득되는 이미지들 사이의 시차에 대한 에버리징 값을 이용하여, 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차의 노이즈를 억제할 수 있다.
그 후, 거리 산출부(220)는 단계(S930)를 통해, 노이즈가 억제된 제1 픽셀(311) 및 제2 픽셀(312) 각각의 편향 소형 픽슬렛(311-1, 312-1)에서 획득되는 이미지들 사이의 시차를 이용하여, 이미지 센서(210)와 피사체 사이의 거리를 산출할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 상보적인 픽슬렛 구조가 적용된 카메라 시스템에 있어서,
    제1 픽셀 및 제2 픽셀을 포함하는 이미지 센서-상기 제1 픽셀 및 제2 픽셀 각각은, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛 및 상기 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 포함하며, 상기 픽슬렛(Pixlet)은 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-; 및
    상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에 대응하는 시차 범위(Disparity range)와 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에 대응하는 시차 범위가 서로 상이한 범위를 갖는 것을 이용하여, 상기 제1 픽셀 및 상기 제2 픽셀에서 획득되는 이미지들 사이의 시차를 특정 거리를 기준으로 시차 범위를 달리하며 계산하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부
    를 포함하고,
    상기 거리 산출부는,
    상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에 대응하는 시차 범위 중 상기 특정 거리에 대응되는 스텝 값 이하의 제1 시차 범위에서 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛을 통해 획득되는 이미지들 사이의 시차를 계산하고, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에 대응하는 시차 범위 중 상기 특정 거리에 대응되는 스텝 값 이상의 제2 시차 범위에서 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛을 통해 획득되는 이미지들 사이의 시차를 계산함으로써, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛을 통해 획득되는 이미지들 사이의 시차 또는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛을 통해 획득되는 이미지들 사이의 시차 중 어느 하나를 선택적으로 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하며,
    상기 제1 시차 범위와 상기 제2 시차 범위의 합이 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에 대응하는 시차 범위보다 작은 조건을 만족하도록 상기 특정 거리 값을 미리 설정하는 것을 특징으로 하는 카메라 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 거리 산출부는,
    상기 특정 거리 이상에서는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하고, 상기 특정 거리 이하에서는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 것을 특징으로 하는 카메라 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 거리 산출부는,
    상기 제1 시차 범위와 상기 제2 시차 범위 각각을 구성하는 스텝 값들의 개수가 동일하도록 상기 특정 거리 값을 미리 설정하는 것을 특징으로 하는 카메라 시스템.
  6. 제1항에 있어서,
    상기 제1 픽셀 및 제2 픽셀은,
    동일한 픽셀 블록 내에 배치되는 것을 특징으로 하는 카메라 시스템.
  7. 제1항에 있어서,
    상기 제1 픽셀 및 제2 픽셀은,
    서로 다른 픽셀 블록 내 동일한 위치에 배치되는 것을 특징으로 하는 카메라 시스템.
  8. 상보적인 픽슬렛 구조가 적용된 이미지 센서 및 거리 산출부를 포함하는 카메라 시스템의 동작 방법에 있어서,
    제1 픽셀 및 제2 픽셀을 포함하는 이미지 센서-상기 제1 픽셀 및 제2 픽셀 각각은, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛 및 상기 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 포함하며, 상기 픽슬렛은 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-에서, 상기 제1 픽셀 및 상기 제2 픽셀 각각으로 광 신호를 유입시키는 단계; 및
    상기 거리 산출부에서, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에 대응하는 시차 범위(Disparity range)와 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에 대응하는 시차 범위가 서로 상이한 범위를 갖는 것을 이용하여, 상기 제1 픽셀 및 상기 제2 픽셀에서 획득되는 이미지들 사이의 시차를 특정 거리를 기준으로 시차 범위를 달리하며 계산하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계
    를 포함하고,
    상기 거리를 산출하는 단계는,
    상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에 대응하는 시차 범위(Disparity range) 중 상기 특정 거리에 대응되는 스텝 값 이하의 제1 시차 범위에서 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛을 통해 획득되는 이미지들 사이의 시차를 계산하는 단계;
    상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에 대응하는 시차 범위 중 상기 특정 거리에 대응되는 스텝 값 이상의 제2 시차 범위에서 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛을 통해 획득되는 이미지들 사이의 시차를 계산하는 단계; 및
    상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛을 통해 획득되는 이미지들 사이의 시차 또는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛을 통해 획득되는 이미지들 사이의 시차 중 어느 하나를 선택적으로 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계
    를 포함하며,
    상기 카메라 시스템의 동작 방법은,
    상기 제1 시차 범위와 상기 제2 시차 범위의 합이 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에 대응하는 시차 범위보다 작은 조건을 만족하도록 상기 특정 거리 값을 미리 설정하는 단계
    를 더 포함하는 것을 특징으로 하는 카메라 시스템의 동작 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 거리를 산출하는 단계는,
    상기 특정 거리 이상에서는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계; 또는
    상기 특정 거리 이하에서는 상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계
    중 적어도 어느 하나의 단계를 포함하는 것을 특징으로 하는 카메라 시스템의 동작 방법.
  11. 상보적인 픽슬렛 구조가 적용된 카메라 시스템에 있어서,
    제1 픽셀 및 제2 픽셀을 포함하는 이미지 센서-상기 제1 픽셀 및 제2 픽셀 각각은, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛 및 상기 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 포함하며, 상기 픽슬렛은 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-; 및
    상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차에 기초하여, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차의 노이즈를 억제하고, 상기 노이즈가 억제된 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부
    를 포함하는 카메라 시스템.
  12. 제11항에 있어서,
    상기 거리 산출부는,
    상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차에 대한 에버리징 값을 이용하여, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차의 노이즈를 억제하는 것을 특징으로 하는 카메라 시스템.
  13. 상보적인 픽슬렛 구조가 적용된 이미지 센서 및 거리 산출부를 포함하는 카메라 시스템의 동작 방법에 있어서,
    제1 픽셀 및 제2 픽셀을 포함하는 이미지 센서-상기 제1 픽셀 및 제2 픽셀 각각은, 각각의 픽셀 중심에 대해 서로 대칭되도록 상반된 방향들 각각으로 편향된 편향 소형 픽슬렛 및 상기 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 포함하며, 상기 픽슬렛은 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-에서, 상기 제1 픽셀 및 상기 제2 픽셀 각각으로 광 신호를 유입시키는 단계;
    상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차에 기초하여, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차의 노이즈를 억제하는 단계; 및
    상기 노이즈가 억제된 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계
    를 포함하는 카메라 시스템의 동작 방법.
  14. 제13항에 있어서,
    상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차의 노이즈를 억제하는 단계는,
    상기 제1 픽셀 및 상기 제2 픽셀 각각의 대형 픽슬렛에서 획득되는 이미지들 사이의 시차에 대한 에버리징 값을 이용하여, 상기 제1 픽셀 및 상기 제2 픽셀 각각의 편향 소형 픽슬렛에서 획득되는 이미지들 사이의 시차의 노이즈를 억제하는 단계인 것을 특징으로 하는 카메라 시스템의 동작 방법.
KR1020200029101A 2020-03-09 2020-03-09 낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템 및 그 동작 방법 KR102177400B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200029101A KR102177400B1 (ko) 2020-03-09 2020-03-09 낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200029101A KR102177400B1 (ko) 2020-03-09 2020-03-09 낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102177400B1 true KR102177400B1 (ko) 2020-11-11

Family

ID=73451422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200029101A KR102177400B1 (ko) 2020-03-09 2020-03-09 낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102177400B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
JP6172982B2 (ja) * 2012-03-29 2017-08-02 キヤノン株式会社 撮像装置及びカメラシステム
KR20190105357A (ko) * 2018-03-05 2019-09-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 단안 카메라를 이용한 내시현미경 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6172982B2 (ja) * 2012-03-29 2017-08-02 キヤノン株式会社 撮像装置及びカメラシステム
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
KR20190105357A (ko) * 2018-03-05 2019-09-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 단안 카메라를 이용한 내시현미경 및 그 동작 방법

Similar Documents

Publication Publication Date Title
EP3399355B1 (en) Dual-core focusing image sensor, focusing control method for the same, and electronic device
EP3396942B1 (en) Image sensor, imaging method and electronic device
US9800856B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
TWI605297B (zh) 具有對稱之多像素相位差檢測器之影像感測器、成像系統及相關檢測方法
US9532033B2 (en) Image sensor and imaging device
US10582180B2 (en) Depth imaging correction apparatus, imaging apparatus, and depth image correction method
JP6509914B2 (ja) 深度推定のための画像センサ
JP6347621B2 (ja) 固体撮像素子及び撮像装置
JP6271900B2 (ja) 固体撮像素子およびそれを用いた撮像装置
CN110275606B (zh) 感测元件
WO2018196704A1 (zh) 双核对焦图像传感器及其对焦控制方法和成像装置
KR102025012B1 (ko) 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법
KR102148128B1 (ko) 상보적인 픽슬렛 구조가 적용된 카메라 시스템
CN110493586B (zh) 用于增加基线的摄像头系统
KR102177400B1 (ko) 낮은 복잡도로 깊이 정확도를 향상시키는 카메라 시스템 및 그 동작 방법
JP2015073072A (ja) 固体撮像素子およびそれを用いた撮像装置
JP6572975B2 (ja) 撮像装置
KR102148127B1 (ko) 상보적인 픽슬렛 구조가 적용된 카메라 시스템
KR20190105357A (ko) 단안 카메라를 이용한 내시현미경 및 그 동작 방법
KR102371801B1 (ko) 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법
KR102307594B1 (ko) 트리플 픽셀 기반 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법
KR102192322B1 (ko) 픽셀 블록 단위로 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법
KR102289202B1 (ko) 수평과 수직 방향으로 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법
KR102354298B1 (ko) Qbc 패턴에 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법
US20240069307A1 (en) Lens position determination in depth imaging

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant