KR102289202B1

KR102289202B1 - 수평과 수직 방향으로 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법

Info

Publication number: KR102289202B1
Application number: KR1020200071385A
Authority: KR
Inventors: 경종민
Original assignee: 주식회사 덱셀리온
Priority date: 2020-06-12
Filing date: 2020-06-12
Publication date: 2021-08-13

Abstract

수평과 수직 방향으로 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법이 개시된다. 일 실시예에 따르면 카메라 시스템은, 제1 픽셀 블록-상기 제1 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 제1 방향으로 편향된 제1 편향 소형 픽슬렛(Pixlet), 상기 제1 방향과 직교하는 제2 방향으로 편향된 제2 편향 소형 픽슬렛과 상기 제1, 제2 편향 소형 픽슬렛들과 인접하여 배치되는 제1 대형 픽슬렛을 포함함- 및 제2 픽셀 블록-상기 제2 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 상기 제1 방향과 반대되는 제3 방향으로 편향된 제3 편향 소형 픽슬렛, 상기 제2 방향과 반대되는 제4 방향으로 편향된 제4 편향 소형 픽슬렛과 상기 제3, 제4 편향 소형 픽슬렛과 인접하여 배치되는 제2 대형 픽슬렛을 포함함-을 포함하는 이미지 센서-상기 픽슬렛은, 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-; 및 픽셀 블록 단위 연산을 통해, 상기 제1 픽셀 블록의 제1 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제1 이미지와 상기 제2 픽셀 블록의 제3 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제2 이미지 사이의 시차(Parallax) 및 상기 제1 픽셀 블록의 제2 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제3 이미지와 상기 제2 픽셀 블록의 제4 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부를 포함한다.

Description

수평과 수직 방향으로 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법{CAMERA SYSTEM WITH COMPLEMENTARY PIXLET STRUCTURE IN HORIZONTAL AND VERTICAL DIRECTIONS, AND OPERATION METHOD THEREOF}

아래의 설명은 카메라 시스템 및 그 동작 방법에 관한 것으로, 보다 상세하게는 픽셀 블록 단위로 상보적인 픽슬렛 구조를 갖는 이미지 센서를 포함하는 카메라 시스템 및 그 동작 방법에 대한 기술이다.

기존의 카메라 시스템은 마이크로 렌즈 아래 하나의 픽셀 내에 하나의 광 다이오드만이 배치되는 이미지 센서를 포함함으로써, 적어도 하나의 파장을 갖는 광선을 처리하여 일반적인 이미지를 획득하는 것 이외의 응용 기능-피사체까지의 거리(Depth) 추정 등-을 수행하지 못한다.

따라서, 기존의 카메라 시스템에서 상술한 응용 기능이 수행되기 위해서는, 두 개 이상의 카메라들이 카메라 시스템에 구비되어 활용되거나, 단일 카메라를 포함하는 카메라 시스템에 기본 조리개(aperture)와 구별되는 추가적인 조리개가 구비되어야 하는 단점이 있다.

한편, 픽셀 블록 내에 서로 다른 컬러 채널을 갖는 복수의 픽셀 그룹들이 구현되고, 복수의 픽셀 그룹들 각각이 동일한 컬러 필터를 사용하는 복수의 픽셀들로 구성되는 QBC(Quad bayer coding) 패턴 또는 QBC 2×2 OCL(On-chip lens) 패턴을 갖는 이미지 센서가 제안되었다. 이러한 QBC 패턴 또는 QBC 2×2 OCL 패턴을 갖는 이미지 센서는 일반적인 Bayer 패턴을 갖는 이미지 센서와 비교하여 PDAF(Phase detection auto focus), QE(Quantum efficiency), HDR(High Dynamic Range) 및 해상도(Resolution)가 우수한 장점을 갖는다.

이에, 아래의 실시예들은 하나의 픽셀 내에 세 개의 광 다이오드들(이하, 하나의 픽셀 내에 포함되는 세 개의 광 다이오드들 각각에 대응하는 구성요소로 픽슬렛(Pixlet)의 용어를 사용함)이 구현되는 상보적인 픽슬렛 구조가 적용된 이미지 센서를 포함하는 카메라 시스템을 제공함으로써, 단일 카메라 시스템에서 피사체까지의 거리 추정이 가능한 기술을 제안하고자 한다.

일 실시예들은 단일 카메라 시스템에서 피사체까지의 거리 추정이 가능하도록 하나의 픽셀 내에 세 개의 픽슬렛(Pixlet)들이 구현되는 상보적인 픽슬렛 구조가 적용된 이미지 센서를 제안한다.

보다 상세하게, 일 실시예들은 복수의 픽셀 블록을 포함하는 이미지 센서-픽셀 블록은 서로 다른 컬러 채널을 갖는 복수의 픽셀 그룹들을 포함하고, 복수의 픽셀 그룹들 각각은 동일한 컬러 필터를 사용하는 복수의 픽셀들을 포함하며, 복수의 픽셀 그룹들 중 적어도 하나의 픽셀 그룹에 포함되는 복수의 픽셀들 각각은 픽슬렛(Pixlet)들을 포함함- 기반의 카메라 시스템을 제안한다.

특히, 일 실시예들은 픽셀 블록(Pixel block) 별 예를 들어, 쿼드 픽셀 블록 별로 서로 반대 방향으로 오프셋(Offset)되는 동시에 픽셀 블록 내에서는 동일한 방향으로 오프셋되는 픽슬렛이 형성되는 구조가 적용됨으로써, 픽셀 블록 단위 연산을 통해 서로 다른 픽셀 블록들에 각각 포함되는 픽슬렛들에서 획득하는 이미지들 사이의 시차(Parallax)를 이용하여 이미지 센서와 피사체 사이의 거리를 산출하는 카메라 시스템 및 그 동작 방법을 제안하고자 한다.

이에, 일 실시예들은 설명된 이미지 센서의 구조를 기반으로 적어도 하나의 픽셀 그룹에 포함되는 복수의 픽셀들 각각의 픽슬렛들 중 픽셀 중심에 대해 서로 대칭되는 위치에 배치되는 픽슬렛에서 획득하는 이미지들을 입력 받아, 이미지들 사이의 시차(Parallax)를 이용하여 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부를 포함하는 카메라 시스템을 제안한다.

이처럼 일 실시예들은 거리 산출을 위한 픽슬렛을 고정적으로 사용함으로써, 거리 산출 알고리즘을 단순화하여 작업 복잡도를 낮추고, 거리 산출 시간 소모를 줄여 실시간성을 확보하며, 회로 구성을 간단하게 하는 동시에 거리 해상도(Depth resolution)를 일관성 있게 보장하는 카메라 시스템을 제안할 수 있다.

특히, 일 실시예들은 픽셀 블록(Pixel block) 별로 서로 반대 방향으로 오프셋(Offset)되는 동시에 픽셀 블록 내에서는 동일한 방향으로 오프셋되는 픽슬렛이 형성되는 구조가 적용됨으로써, 픽셀 블록 단위 연산을 통해 서로 다른 픽셀 블록들에 각각 포함되는 픽슬렛들에서 획득하는 이미지들 사이의 시차(Parallax)를 이용하여 이미지 센서와 피사체 사이의 거리를 산출하는 카메라 시스템 및 그 동작 방법을 제안하고자 한다.

또한, 일 실시예들은 서로 다른 픽셀 블록들에 각각 포함되는 픽슬렛들에서 획득하는 이미지들 사이의 시차를 정규화한 뒤 이용함으로써 가중치 합을 사용하는 방식 대비 낮은 복잡도로 특정 컬러 채널에 대한 의존성을 없애는 카메라 시스템 및 그 동작 방법을 제안하고자 한다.

또한, 일 실시예들은, 픽셀 블록에 포함된 픽셀들 각각에서 형성되는 서로 다른 두 방향으로 편향된 두 편향 픽슬렛들의 중복되는 영역을 플로팅 영역으로 분리하여 형성하고, 플로팅 영역을 통해 픽실 내에 형성된 픽슬렛들 각각의 신호를 읽을 수 있는 카메라 시스템을 제안한다.

일 실시예에 따르면, 카메라 시스템은, 제1 픽셀 블록-상기 제1 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 제1 방향]으로 편향된 제1 편향 소형 픽슬렛(Pixlet), 상기 제1 방향과 직교하는 제2 방향으로 편향된 제2 편향 소형 픽슬렛과 상기 제1, 제2 편향 소형 픽슬렛들과 인접하여 배치되는 제1 대형 픽슬렛을 포함함- 및 제2 픽셀 블록-상기 제2 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 상기 제1 방향과 반대되는 제3 방향으로 편향된 제3 편향 소형 픽슬렛, 상기 제2 방향과 반대되는 제4 방향으로 편향된 제4 편향 소형 픽슬렛과 상기 제3, 제4 편향 소형 픽슬렛과 인접하여 배치되는 제2 대형 픽슬렛을 포함함-을 포함하는 이미지 센서-상기 픽슬렛은, 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-; 및 픽셀 블록 단위 연산을 통해, 상기 제1 픽셀 블록의 제1 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제1 이미지와 상기 제2 픽셀 블록의 제3 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제2 이미지 사이의 시차(Parallax) 및 상기 제1 픽셀 블록의 제2 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제3 이미지와 상기 제2 픽셀 블록의 제4 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부를 포함할 수 있다.

일 측면에 따르면, 상기 제1 픽셀 블록과 상기 제2 픽셀 블록 각각은, 서로 다른 컬러 채널을 갖는 복수의 픽셀 그룹들을 포함하고, 상기 복수의 픽셀 그룹들 각각은 동일한 컬러 필터를 사용하는 복수의 픽셀들을 포함하며, 상기 거리 산출부는, 상기 제1 픽셀 블록과 상기 제2 픽셀 블록의 동일한 컬러 채널에서 획득되는 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 것을 특징으로 할 수 있다.

다른 일 측면에 따르면, 상기 거리 산출부는, 상기 제1 편향 소형 픽슬렛들 내지 상기 제4 편향 소형 픽슬렛들 중 동일한 컬러 채널을 갖는 제1, 제2 편향 소형 픽슬렛들 및 제3, 제4 편향 소형 픽슬렛들에서 각각 획득하는 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 거리를 산출하는 것을 특징으로 할 수 있다.

또 다른 일 측면에 따르면, 상기 거리 산출부는, 상기 제1 편향 소형 픽슬렛들 내지 상기 제4 편향 소형 픽슬렛들에서 컬러 채널 별로 각각 획득하는 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 유클리드 놈(Euclidean norm)을 이용하여 정규화하고, 정규화된 시차를 이용하여 상기 거리를 산출하는 것을 특징으로 할 수 있다.

또 다른 일 측면에 따르면, 상기 제1 픽셀 블록 및 상기 제2 픽셀 블록은, 상기 이미지 센서 내에서 좌우 방향 또는 상하 방향으로 인접하여 배치되는 것을 특징으로 할 수 있다.

또 다른 일 측면에 따르면, 상기 제1 픽셀 블록 및 상기 제2 픽셀 블록은, 상기 제1 편향 소형 픽슬렛들과 상기 제3 편향 소형 픽슬렛들 및 상기 제2 편향 소형 픽슬렛들과 상기 제4 편향 소형 픽슬렛들이 서로 이격되는 거리가 최대화되도록 상기 이미지 센서 내에서 배치되는 것을 특징으로 할 수 있다.

또 다른 일 측면에 따르면, 상기 이미지 센서는, 상기 제1 픽셀 블록에서 상기 제1 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제2 편향 소형 픽슬렛의 이미지 신호 및 상기 제1 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽고 다시 상기 제2 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제1 편향 소형 픽슬렛의 이미지 신호 및 상기 제1 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 리드아웃 타이밍을 설정하며, 상기 제2 픽셀 블록에서 상기 제3 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제4 편향 소형 픽슬렛의 이미지 신호 및 상기 제2 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽고 다시 상기 제4 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제3 편향 소형 픽슬렛의 이미지 신호 및 상기 제2 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 리드아웃 타이밍을 설정하는 것을 특징으로 할 수 있다.

또 다른 일 측면에 따르면, 상기 거리 산출부는, 상기 리드아웃 타이밍에 따라 획득하는 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지를 동시에 입력 받고, 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지를 동시에 입력 받는 것을 특징으로 할 수 있다.

또 다른 일 측면에 따르면, 상기 제1 픽셀 블록과 상기 제2 픽셀 블록에 포함되는 픽셀들 각각은, 해당 픽셀의 두 편향 소형 픽슬렛들이 중복되는 영역을 상기 두 편향 소형 픽슬렛들과 분리되는 플로팅 영역으로 형성하고, 상기 이미지 센서는, 상기 플로팅 영역과 상기 두 편향 소형 픽슬렛들 및 대형 픽슬렛 간의 스위칭을 설정된 리드아웃 타이밍에 따라 제어하는 것을 특징으로 할 수 있다.

일 실시예에 따르면, 상보적인 픽슬렛 구조가 적용된 이미지 센서 및 거리 산출부를 포함하는 카메라 시스템의 동작 방법은, 제1 픽셀 블록-상기 제1 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 제1 방향으로 편향된 제1 편향 소형 픽슬렛(Pixlet), 상기 제1 방향과 직교하는 제2 방향으로 편향된 제2 편향 소형 픽슬렛과 상기 제1, 제2 편향 소형 픽슬렛들과 인접하여 배치되는 제1 대형 픽슬렛을 포함함- 및 제2 픽셀 블록-상기 제2 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 상기 제1 방향과 반대되는 제3 방향으로 편향된 제3 편향 소형 픽슬렛, 상기 제2 방향과 반대되는 제4 방향으로 편향된 제4 편향 소형 픽슬렛과 상기 제3, 제4 편향 소형 픽슬렛과 인접하여 배치되는 제2 대형 픽슬렛을 포함함-을 포함하는 이미지 센서-상기 픽슬렛은, 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-에서, 상기 제1 픽셀 블록 및 상기 제2 픽셀 블록 각각으로 광 신호를 유입시키는 단계; 상기 이미지 센서에서, 상기 제1 픽셀 블록의 제1 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제1 이미지를 획득하고, 상기 제2 픽셀 블록의 제3 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제2 이미지를 획득하는 단계; 상기 이미지 센서에서, 상기 제1 픽셀 블록의 제2 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제3 이미지를 획득하고, 상기 제2 픽셀 블록의 제4 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제4 이미지를 획득하는 단계; 및 상기 거리 산출부에서, 픽셀 블록 단위 연산을 통해 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계를 포함할 수 있다.

일 측면에 따르면, 상기 거리를 산출하는 단계는, 상기 제1 편향 소형 픽슬렛들 내지 상기 제4 편향 소형 픽슬렛들 중 동일한 컬러 채널을 갖는 제1, 제2 편향 소형 픽슬렛들 및 제3, 제4 편향 소형 픽슬렛들에서 각각 획득하는 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 거리를 산출하는 것을 특징으로 할 수 있다.

다른 일 측면에 따르면, 상기 거리를 산출하는 단계는, 상기 제1 편향 소형 픽슬렛들 내지 상기 제4 편향 소형 픽슬렛들에서 컬러 채널 별로 각각 획득하는 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 유클리드 놈(Euclidean norm)을 이용하여 정규화하는 단계; 및 상기 정규화된 시차를 이용하여 상기 거리를 산출하는 단계를 포함하는 것을 특징으로 할 수 있다.

또 다른 일 측면에 따르면, 상기 적어도 하나의 제1 이미지를 획득하고, 상기 적어도 하나의 제2 이미지를 획득하는 단계는, 상기 제1 픽셀 블록에서 상기 제1 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제2 편향 소형 픽슬렛의 이미지 신호 및 상기 제1 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽고 다시 상기 제2 편향 소형 픽슬렛의 이미지 신호를 읽는 순서로 설정된 리드아웃 타이밍에 따라 상기 적어도 하나의 제1 이미지를 획득하는 단계; 및 상기 제2 픽셀 블록에서 상기 제3 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제4 편향 소형 픽슬렛의 이미지 신호 및 상기 제2 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 설정된 리드아웃 타이밍에 따라 상기 적어도 하나의 제2 이미지를 획득하는 단계를 포함하고, 상기 적어도 하나의 제3 이미지를 획득하고, 상기 적어도 하나의 제4 이미지를 획득하는 단계는, 상기 제1 픽셀 블록에서 상기 제2 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제1 편향 소형 픽슬렛의 이미지 신호 및 상기 제1 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 설정된 리드아웃 타이밍에 따라 상기 적어도 하나의 제1 이미지를 획득하는 단계; 및 상기 제2 픽셀 블록에서 상기 제4 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제3 편향 소형 픽슬렛의 이미지 신호 및 상기 제2 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 설정된 리드아웃 타이밍에 따라 상기 적어도 하나의 제1 이미지를 획득하는 단계를 포함하는 것을 특징으로 할 수 있다.

일 실시예들은 단일 카메라 시스템에서 피사체까지의 거리 추정이 가능하도록 하나의 픽셀 내에 세 개의 픽슬렛(Pixlet)들이 구현되는 상보적인 픽슬렛 구조가 적용된 이미지 센서를 제안할 수 있다.

일 실시예들은 복수의 픽셀 블록을 포함하는 이미지 센서-픽셀 블록은 서로 다른 컬러 채널을 갖는 복수의 픽셀 그룹들을 포함하고, 복수의 픽셀 그룹들 각각은 동일한 컬러 필터를 사용하는 복수의 픽셀들을 포함하며, 복수의 픽셀 그룹들 중 적어도 하나의 픽셀 그룹에 포함되는 복수의 픽셀들 각각은 픽슬렛(Pixlet)들을 포함함- 기반의 카메라 시스템을 제안할 수 있다.

특히, 일 실시예들은 픽셀 블록(Pixel block) 별 예를 들어, 쿼드 픽셀 블록 별로 서로 반대 방향으로 오프셋(Offset)되는 동시에 픽셀 블록 내에서는 동일한 방향으로 오프셋되는 픽슬렛이 형성되는 구조가 적용됨으로써, 픽셀 블록 단위 연산을 통해 서로 다른 픽셀 블록들에 각각 포함되는 픽슬렛들에서 획득하는 이미지들 사이의 시차(Parallax)를 이용하여 이미지 센서와 피사체 사이의 거리를 산출하는 카메라 시스템 및 그 동작 방법을 제안할 수 있다.

이 때, 일 실시예들은 상보적인 픽슬렛 구조에서 거리 산출을 위한 픽슬렛을 고정적으로 사용함으로써, 거리 산출 알고리즘을 단순화하여 작업 복잡도를 낮추고, 거리 산출 시간 소모를 줄여 실시간성을 확보하며, 회로 구성을 간단하게 하는 동시에 거리 해상도(Depth resolution)를 일관성 있게 보장하는 카메라 시스템 및 그 동작 방법을 제안할 수 있다.

또한, 일 실시예들은 서로 다른 픽셀 블록들에 각각 포함되는 픽슬렛들에서 획득하는 이미지들 사이의 시차를 정규화한 뒤 이용함으로써 가중치 합을 사용하는 방식 대비 낮은 복잡도로 특정 컬러 채널에 대한 의존성을 없애는 카메라 시스템 및 그 동작 방법을 제할 수 있다.

또한, 일 실시예들은, 픽셀 블록에 포함된 픽셀들 각각에서 형성되는 서로 다른 두 방향으로 편향된 두 편향 픽슬렛들의 중복되는 영역을 플로팅 영역으로 분리하여 형성하고, 플로팅 영역을 통해 픽실 내에 형성된 픽슬렛들 각각의 신호를 읽을 수 있는 카메라 시스템을 제안할 수 있다.

도 1은 일 실시예에 따른 카메라 시스템에서 피사체까지의 거리를 산출하는 원리를 설명하기 위한 도면이다.
도 2 내지 4는 일 실시예에 따른 카메라 시스템에 포함되는 이미지 센서의 개략적인 구조를 나타낸 도면이다.
도 5는 다른 일 실시예에 따른 카메라 시스템에 포함되는 이미지 센서의 개략적인 구조를 나타낸 도면이다.
도 6은 일 실시예에 따른 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

또한, 본 명세서에서 사용되는 용어(Terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 예컨대, 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

또한, 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 제시된 각각의 실시예 범주에서 개별 구성요소의 위치, 배치, 또는 구성은 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.

깊이(이하, 깊이 Depth는 피사체와 이미지 센서 사이의 거리를 의미함)가 적용된 3차원 이미지를 획득하기 위해서는, 2차원 이미지에 포함되는 픽셀들 각각의 깊이가 산출되어야 한다. 이 때, 2차원 이미지에 포함되는 픽셀들 각각의 깊이를 산출하는 종래의 방식으로는 촬영 대상이 되는 피사체(오브젝트)에 레이저를 조사하고 그 빛이 돌아오는 시간을 측정하는 TOF(time of flight) 방식, 두 개 이상의 카메라 시스템들에서 각각 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 스테레오(depth from stereo) 방식, 단일 카메라 시스템에서 단일 광학계에 형성된 복수의 조리개들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 방식(조리개를 이용한 시차 차이 방식), 단일 카메라 시스템에서 단일 광학계에 형성된 복수의 조리개들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 블러 변화를 이용하여 깊이를 산출하는 방식 등이 있다.

이에, 아래의 실시예들에서는 단일 카메라 시스템에서 피사체까지의 거리 추정이 가능하도록 하나의 픽셀 내에 세 개의 픽슬렛들이 구현되는 상보적인 픽슬렛 구조가 적용된 이미지 센서를 제안한다. 이하, 픽슬렛(Pixlet)은 픽셀 내 배치되어 광 신호를 전기 신호로 변환하는 광 다이오드를 포함하는 구성요소로서, 픽셀 내에 수광 면적이 상이하게 세 개 포함될 수 있다. 또한, 이하, 상보적인 픽슬렛 구조는, 제1 픽슬렛, 제2 픽슬렛 및 제3 픽슬렛을 포함하는 픽셀에서 제1 픽슬렛과 제2 픽슬렛의 면적이 주어지면, 픽셀 면적으로부터 제1 픽슬렛과 제2 픽슬렛의 면적이 차감되어 제3 픽슬렛의 면적이 계산될 수 있는 구조를 의미한다. 그러나 이에 제한되거나 한정되지 않고, 픽셀에 제1 픽슬렛, 제2 픽슬렛과 제3 픽슬렛 각각 사이의 간섭 현상을 줄이기 위한 DTI(Deep trench isolation)가 포함되는 경우 상보적인 픽슬렛 구조는, 픽셀에서 제1 픽슬렛과 제2 픽슬렛의 면적이 주어지면 픽셀 면적으로부터 DTI의 면적이 제외된 면적 상 제1 픽슬렛과 제2 픽슬렛의 면적이 차감되어 제3 픽슬렛의 면적이 계산될 수 있는 구조를 의미한다.

보다 상세하게, 일 실시예들은 픽셀 중심에 대해 제1 방향과 제2 방향으로 편향된 두 개의 편향 소형 픽슬렛 및 두 개의 편향 소형 픽슬렛과 인접하여 배치되는 대형 픽슬렛을 각각 포함하는 구조로 픽셀을 구성함으로써, 해당 픽셀을 포함하는 이미지 센서 기반의 카메라 시스템이 편향 소형 픽슬렛들에서 획득하는 이미지들 사이의 시차(Parallax)를 이용하여 이미지 센서와 피사체 사이의 거리를 산출하는 기술을 제안한다. 이와 같은 깊이 산출 방식은 OA(Offset Aperture) 기반의 깊이 산출 방식에 근거한다.

도 1은 일 실시예에 따른 카메라 시스템에서 피사체까지의 거리를 산출하는 원리를 설명하기 위한 도면이다.

도 1을 참조하면, 일 실시예에 따라 상보적인 픽슬렛 구조가 적용된 이미지 센서(100)는 픽셀(110) 내 픽셀 중심(111)에 대해 어느 한쪽 방향으로 편향된 편향 소형 픽슬렛(112) 및 편향 소형 픽슬렛(112)과 인접하여 배치되는 대형 픽슬렛(113)을 포함할 수 있다.

이 때, 픽셀(110)의 편향 소형 픽슬렛(112)(이하, 좌편향 소형 픽슬렛)은 픽셀(110)의 픽셀 중심(111)에 대해 좌측 방향으로 편향되어, 픽셀 중심(111)을 기준으로 좌측 영역의 일부분만을 차지하는 수광 면적을 갖는 가운데, 픽셀(110)의 픽셀 중심(111)으로부터 좌측으로 일정거리 이상 오프셋되어 형성될 수 있다.

이에, 픽셀(110)의 상부에 배치된 단일 광학계를 통해 유입되는 광 신호는 픽셀(110)의 좌편향 소형 픽슬렛(112)으로 입사되게 되는 바, 도면에 도시된 바와 같은 원리를 통해, 좌편향 소형 픽슬렛(112)의 어느 한쪽 모서리가 픽셀(110)의 픽셀 중심(111)으로부터 오프셋된 거리인 O₂는 단일 광학계 상에 조리개가 형성되었을 경우 해당 조리개가 단일 광학계의 중심(픽셀(110)의 중심(111)과 동일함)으로부터 오프셋된 거리인 O₁와 비례하는 관계를 갖는다. 도면에서 F는 초점 거리인 f와 단일 광학계의 지름인 D로 표현되는 단일 광학계의 구비된 조리개의 개방 정도를 의미하며, n은 마이크로 렌즈의 굴절률을 의미하고, h는 픽셀(110)의 마이크로 렌즈로부터 픽셀(110)의 픽셀 중심(111)까지의 거리를 의미한다.

따라서, 픽셀(110)의 중심(111)으로부터 어긋나도록 형성된 좌편향 소형 픽슬렛(112)에는 단일 광학계의 중심(픽셀(110)의 중심(111)과 동일함)으로부터 어긋나도록 단일 광학계 상에 형성된 조리개와 동일한 원리가 적용될 수 있는 바, 이미지 센서(100)를 포함하는 카메라 시스템은 OA(Offset Aperture) 기반 깊이 산출 방식을 이용하여 피사체와 이미지 센서(100) 사이의 거리(깊이)를 산출할 수 있다.

이와 같이 OA(Offset Aperture) 기반 깊이 산출 방식이 적용됨에 따라, 이상, 단일 광학계 아래 상보적인 픽슬렛 구조가 적용된 이미지 센서(100)를 포함하는 카메라 시스템의 깊이 산출 원리가 OA 구조에서의 시차 차이 방식을 기초로 하는 경우로 설명되었으나, 이에 제한되거나 한정되지 않고, 시차가 발생된 두 개의 이미지들을 이용하여 이미지 내 깊이를 산출하는 다양한 방식들을 기초로 할 수 있다.

또한, 이상, 좌편향 소형 픽슬렛(112)을 기준으로 이미지 센서(100)와 피사체 사이의 거리 산출 방식이 설명되었으나, 우편향 소형 픽슬렛을 포함하는 구조에도 동일한 원리가 적용될 수 있다.

또한, 이상, 이미지 센서(100)가 하나의 픽셀(110)을 포함하는 것으로 설명되었으나 이에 제한되거나 한정되지 않고, 상보적인 픽슬렛 구조가 적용된 두 개 이상의 픽셀들을 포함하는 경우 역시 마찬가지로, 상술된 원리를 바탕으로 이미지 센서(100)와 피사체 사이의 거리가 산출될 수 있다.

도 2 내지 4는 일 실시예에 따른 카메라 시스템에 포함되는 이미지 센서의 개략적인 구조를 나타낸 도면이다. 보다 상세하게, 도 2는 이미지 센서에 포함되는 제1 픽셀 블록 및 제2 픽셀 블록이 좌우 방향으로 인접하여 배치되는 구조를 나타낸 평면도이고, 도 3은 픽셀을 구성하는 픽슬렛으로부터 데이터를 읽는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.

도 2 내지 4를 참조하면, 일 실시예에 따른 카메라 시스템은 이미지 센서(200) 및 거리 산출부(미도시)를 포함할 수 있다. 이하, 카메라 시스템은 이미지 센서(200) 및 거리 산출부만을 포함하는 것에 제한되거나 한정되지 않고, 단일 광학계(미도시) 등을 더 포함할 수 있다. 또한, 이하, 피사체와 이미지 센서(200) 사이의 거리를 산출하는 동작을 카메라 시스템이 수행하는 것으로 설명되나, 이는 카메라 시스템에 포함되는 거리 산출부에서 수행하는 것을 의미한다.

이미지 센서(200)는 제1 픽셀 블록(210) 및 제2 픽셀 블록(220)을 포함하는 픽셀 어레이로 구성될 수 있으며, 제1 픽셀 블록(210) 및 제2 픽셀 블록(220) 각각은 동일한 개수의 픽셀들로 구성될 수 있다. 이하, 제1 픽셀 블록(210) 및 제2 픽셀 블록(220) 각각이 2×2 픽셀 블록인 것으로 설명되나, 이에 제한되거나 한정되지 않고 3×3 픽셀 블록과 같이 더 많은 개수의 픽셀들로 구성될 수 있으며, 이에 제한되거나 한정되지 않으며, 이미지 센서(200)는 제1 픽셀 블록(210) 및 제2 픽셀 블록(220)을 기본 패턴으로 하여 기본 패턴이 반복되는 픽셀 어레이로 구성될 수 있다.

여기서, 제1 픽셀 블록(210) 및 제2 픽셀 블록(220)은 픽셀 블록에서 처리하는 컬러 채널들이 동일하도록 각각 내에서 동일한 컬러 배치 패턴에 따라 픽셀들을 배치시킬 수 있으며, 제1 픽셀 블록(210) 및 제2 픽셀 블록(220) 각각에 포함되는 픽셀들 각각의 상부에는 마이크로 렌즈(미도시)가 배치될 수 있다.

일례로, 제1 픽셀 블록(210)이 R(Red) 채널의 제1-1 픽셀(211), G(Green)1 채널의 제1-2 픽셀(212), G(Green)2 채널의 제1-3 픽셀(213) 및 B(Blue) 채널의 제1-4 픽셀(214)로 구성됨에 따라, 제2 픽셀 블록(220)은 R 채널의 제2-1 픽셀(221),

채널의 제2-2 픽셀(222),

채널의 제2-3 픽셀(223) 및 B 채널의 제2-4 픽셀(224)로 구성될 수 있다.

특히, 제1 픽셀 블록(210) 및 제2 픽셀 블록(220)을 포함하는 이미지 센서(200)는, 픽셀 블록 별로 서로 반대 방향으로 오프셋(Offset)되는 동시에 픽셀 블록 내에서는 동일한 방향으로 오프셋되는 픽슬렛들이 형성되는 구조를 가질 수 있다. 예컨대, 제1 픽셀 블록(210)에 포함되는 픽셀들(211, 212, 213, 214) 각각은 픽셀 중심에 대해 좌측 방향으로 편향된 좌편향 소형 픽슬렛(211-1, 212-1, 213-1, 214-1), 상부 방향으로 편향된 상편향 소형 픽슬렛(211-2, 212-2, 213-2, 214-2) 및 좌편향 소형 픽슬렛(211-1, 212-1, 213-1, 214-1)과 상편향 소형 픽슬렛(211-2, 212-2, 213-2, 214-2)에 인접하여 배치되는 대형 픽슬렛(211-3, 212-3, 213-3, 214-3)을 포함할 수 있으며, 제2 픽셀 블록(220)에 포함되는 픽셀들(221, 222, 223, 224) 각각은 픽셀 중심에 대해 우측 방향으로 편향된 우편향 소형 픽슬렛(221-1, 222-1, 223-1, 224-1), 하부 방향으로 편향된 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2) 및 우편향 소형 픽슬렛(221-1, 222-1, 223-1, 224-1)과 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)에 인접하여 배치되는 대형 픽슬렛(221-3, 222-3, 223-3, 224-3)을 포함할 수 있다. 이 때, 좌편향 소형 픽슬렛(211-1, 212-1, 213-1, 214-1)은 각각의 픽셀 중심을 기준으로 좌측 영역의 일부분만을 차지하는 수광 면적을 갖는 가운데 각각의 픽셀 중심으로부터 좌측으로 일정거리 이상 오프셋되도록 형성될 수 있으며, 상편향 소형 픽슬렛(211-2, 212-2, 213-2, 214-2)은 각각의 픽셀 중심을 기준으로 상부 영역의 일부분만을 차지하는 수광 면적을 갖는 가운데 각각의 픽셀 중심으로부터 상부로 일정거리 이상 오프셋되도록 형성될 수 있고, 우편향 소형 픽슬렛(221-1, 222-1, 223-1, 224-1)은 각각의 픽셀 중심을 기준으로 우측 영역의 일부분만을 차지하는 수광 면적을 갖는 가운데 각각의 픽셀 중심으로부터 우측으로 일정거리 이상 오프셋되도록 형성될 수 있으며, 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)은 각각의 픽셀 중심을 기준으로 하부 영역의 일부분만을 차지하는 수광 면적을 갖는 가운데 각각의 픽셀 중심으로부터 하부로 일정거리 이상 오프셋되도록 형성될 수 있다.

이 때, 제1 픽셀 블록(210) 및 제2 픽셀 블록(220)은, 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 및 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1)이 서로 이격되는 거리가 최대화되도록 이미지 센서(200) 내에서 배치될 수 있고, 상편향 소형 픽슬렛(211-2, 212-2, 213-2, 214-2) 및 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)이 서로 이격되는 거리가 최대화되도록 이미지 센서(200) 내에서 배치될 수 있다. 일례로, 제1 픽셀 블록(210) 및 제2 픽셀 블록(220)은 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 및 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 그리고 상편향 소형 픽슬렛(211-2, 212-2, 213-2, 214-2) 및 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)이 서로 이격되는 거리가 최대화되도록 도 2와 같이 이미지 센서(200) 내에서 좌우 방향으로 인접하여 배치되거나, 도 4와 같이 상하 방향으로 인접하여 배치될 수 있다. 이는 후술되는 거리 산출이 제1 픽셀 블록(210)의 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1)에서 획득하는 적어도 하나의 제1 이미지와 제2 픽셀 블록(220)의 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1)에서 획득하는 적어도 하나의 제2 이미지 사이의 시차와 제1 픽셀 블록(210)의 상편향 소형 픽슬렛(211-2, 212-2, 213-2, 214-2)에서 획득되는 적어도 하나의 제3 이미지와 제2 픽셀 블록(220)의 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)에서 획득하는 적어도 하나의 제4 이미지 사이의 시차를 기반으로 수행되는 특성, 그리고 거리 산출에 있어서 이미지들 사이의 시차가 클수록 거리 해상도(Depth resolution)가 일관성 있게 보장되는 특성에 기인한 것이다.

여기서, 제1 픽셀 블록(210)의 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1)과 제2 픽셀 블록(220)의 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1)이 서로 이격되는 거리는, 제1 픽셀 블록(210)의 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 각각이 각각의 픽셀 중심으로부터 오프셋된 거리 및 제2 픽셀 블록(220)의 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 각각이 각각의 픽셀 중심으로부터 오프셋된 거리와 관련되고, 제1 픽셀 블록(210)의 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2)과 제2 픽셀 블록(220)의 하편향 소형 픽슬렛들(221-2, 222-2, 223-2, 224-2)이 서로 이격되는 거리는, 제1 픽셀 블록(210)의 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2) 각각이 각각의 픽셀 중심으로부터 오프셋된 거리 및 제2 픽셀 블록(220)의 하편향 소형 픽슬렛들(221-2, 222-2, 223-2, 224-2) 각각이 각각의 픽셀 중심으로부터 오프셋된 거리와 관련된다.

이와 관련하여 도 1을 참조하면, 제1 픽셀 블록(210)의 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 각각이 각각의 픽셀 중심으로부터 오프셋된 거리(또는 제2 픽셀 블록(220)의 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 각각이 각각의 픽셀 중심으로부터 오프셋된 거리) O₂는 단일 광학계의 중심으로부터 오프셋된 거리인 O₁와 비례하는 관계를 갖는다. 즉, O₁과 O₂는 아래의 식 1과 같이 표현될 수 있다.

<식 1>

식 1에서 n은 제1 픽셀 블록(210)에 포함되는 픽셀들(211, 212, 213, 214) 각각의 마이크로 렌즈의 굴절률(또는 제2 픽셀 블록(220)에 포함되는 픽셀들(221, 222, 223, 224) 각각의 마이크로 렌즈의 굴절률)을 의미하고, f는 초점 거리(이미지 센서(200)의 중심으로부터 단일 광학계까지의 거리)를 의미하며, h는 제1 픽셀 블록(210)에 포함되는 픽셀들(211, 212, 213, 214) 각각의 마이크로 렌즈로부터 제1 픽셀 블록(210)에 포함되는 픽셀들(211, 212, 213, 214) 각각의 픽셀 중심까지의 거리(또는 제2 픽셀 블록(220)에 포함되는 픽셀들(221, 222, 223, 224) 각각의 마이크로 렌즈로부터 제2 픽셀 블록(220)에 포함되는 픽셀들(221, 222, 223, 224) 각각의 픽셀 중심까지의 거리)를 의미한다.

한편, 실험적 기법으로 인해, 단일 광학계의 중심으로부터 오프셋된 거리인 O₁는 아래의 식 2와 같은 범위에 있을 때, 광 신호 센싱 감도를 기 설정된 수준 이상 보장하는 것을 전제로, 이미지들 사이의 시차를 최대화하는 것으로 나타났다.

<식 2>

식 2에서 D는 단일 광학계의 지름을 의미하며, a는 0.2 이상의 값을 갖는 상수를 의미하고, b는 0.47 이하의 값을 갖는 상수를 의미한다.

따라서, 식 1은 식 2에 의해 아래의 식 3과 같이 나타낼 수 있는 바, 제1 픽셀 블록(210)의 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 각각이 각각의 픽셀 중심으로부터 오프셋된 거리(또는 제2 픽셀 블록(220)의 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 각각이 각각의 픽셀 중심으로부터 오프셋된 거리)는, 식 3과 같이 제1 픽셀 블록(210)에 포함되는 픽셀들(211, 212, 213, 214) 각각의 마이크로 렌즈의 굴절률(또는 제2 픽셀 블록(220)에 포함되는 픽셀들(221, 222, 223, 224) 각각의 마이크로 렌즈의 굴절률). 이미지 센서(200)의 중심으로부터 단일 광학계까지의 거리, 제1 픽셀 블록(210)에 포함되는 픽셀들(211, 212, 213, 214) 각각의 마이크로 렌즈로부터 제1 픽셀 블록(210)에 포함되는 픽셀들(211, 212, 213, 214) 각각의 픽셀 중심까지의 거리(또는 제2 픽셀 블록(220)에 포함되는 픽셀들(221, 222, 223, 224) 각각의 마이크로 렌즈로부터 제2 픽셀 블록(220)에 포함되는 픽셀들(221, 222, 223, 224) 각각의 픽셀 중심까지의 거리) 및 단일 광학계의 지름에 기초하여 결정됨으로써, 광 신호 센싱 감도를 기 설정된 수준 이상 보장하는 것을 전제로 이미지들 사이의 시차가 최대화될 수 있다.

<식 3>

상술한 내용은, 제1 픽셀 블록(210)의 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2)과 제2 픽셀 블록(220)의 하편향 소형 픽슬렛들(221-2, 222-2, 223-2, 224-2)에 동일하게 적용될 수 있다.

이러한 구조를 가지는 각각의 픽셀은 도 3에 도시된 제1 픽셀 블록(210)의 R 컬러 채널의 픽셀의 예와 같이, 좌편향 소형 픽슬렛(211-1)과 상편향 소형 픽슬렛(211-1)이 중복되는 영역을 좌편향 소형 픽슬렛(211-1)과 상편향 소형 픽슬렛(211-1)과 분리되어 형성된 플로팅 영역(211-4)을 포함할 수 있다. 여기서, 이미지 센서(200)는 각 픽셀에 형성된 플로팅 영역(211-4)을 통해 데이터를 읽을 수 있으며, 플로팅 영역(211-4)과 좌편향 소형 픽슬렛(211-1), 상편향 소형 픽슬렛(211-1) 및 대형 픽슬렛(211-3) 간의 스위칭(W₁, W₂, W₃)을 설정된 리드아웃 타이밍에 따라 제어함으로써, 해당 픽셀의 데이터를 플로팅 영역(211-4)을 통해 읽을 수 있다.

제1 픽셀 블록(210) 및 제2 픽셀 블록(220)이 이러한 구조를 갖게 됨에 따라, 이미지 센서(200)는 픽셀 블록 별로 리드아웃 타이밍을 상이하게 설정할 수 있다.

예를 들어, 이미지 센서(200)는 제1 픽셀 블록(210)에서 좌편향 소형 픽슬렛(211-1, 212-1, 213-1, 214-1)의 이미지 신호를 읽은 뒤 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2)의 이미지 신호와 대형 픽슬렛(211-3, 212-3, 213-3, 214-3)의 이미지 신호가 합해진 신호를 읽고 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2)의 이미지 신호를 읽은 뒤 좌편향 소형 픽슬렛(211-1, 212-1, 213-1, 214-1)의 이미지 신호와 대형 픽슬렛(211-3, 212-3, 213-3, 214-3)의 이미지 신호가 합해진 신호를 읽는 순서로 리드아웃 타이밍을 설정할 수 있으며, 제2 픽셀 블록(220)에서 우편향 소형 픽슬렛(221-1, 222-1, 223-1, 224-1)의 이미지 신호를 읽은 뒤 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)의 이미지 신호와 대형 픽슬렛(221-3, 222-3, 223-3, 224-3)의 이미지 신호가 합해진 신호를 읽고 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)의 이미지 신호를 읽은 뒤 우편향 소형 픽슬렛(221-1, 222-1, 223-1, 224-1)의 이미지 신호와 대형 픽슬렛(221-3, 222-3, 223-3, 224-3)의 이미지 신호가 합해진 신호를 읽는 순서로 리드아웃 타이밍을 설정할 수 있다.

또한, 이미지 센서(200)는 픽셀 블록 별로 리드아웃 타이밍을 상이하게 설정하는 가운데, 제1 픽셀 블록(210)의 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1)의 이미지 신호와 제2 픽셀 블록(220)의 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1)의 이미지 신호를 동시에 읽도록 리드아웃 타이밍을 설정할 수 있고, 제1 픽셀 블록(210)의 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2)의 이미지 신호와 제2 픽셀 블록(220)의 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)의 이미지 신호를 동시에 읽도록 리드아웃 타이밍을 설정할 수 있다.

이에 따라, 거리 산출부는 후술되는 거리 산출 과정에서, 제1 픽셀 블록(210)에서 획득하는 적어도 하나의 제1 이미지 및 제2 픽셀 블록(220)에서 획득하는 적어도 하나의 제2 이미지를 동시에 입력 받을 수 있고, 제1 픽셀 블록(210)에서 획득하는 적어도 하나의 제3 이미지 및 제2 픽셀 블록(220)에서 획득하는 적어도 하나의 제4 이미지를 동시에 입력 받을 수 있다.

이와 같은 구조의 이미지 센서(200)를 기반으로, 거리 산출부는, 픽셀 블록 단위 연산을 통해 제1 픽셀 블록(210)의 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1)에서 획득하는 적어도 하나의 제1 이미지 및 제2 픽셀 블록(220)의 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1)에서 획득하는 적어도 하나의 제2 이미지 사이의 시차와 제1 픽셀 블록(210)의 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2)에서 획득되는 적어도 하나의 제3 이미지 및 제2 픽셀 블록(220)의 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)에서 획득되는 적어도 하나의 제4 이미지 사이의 시차를 이용하여, 이미지 센서(200)와 피사체 사이의 거리를 산출할 수 있다. 즉, 거리 산출부는 픽셀 블록 내 픽셀 단위에서의 연산이 아닌, 픽셀 블록 단위에서의 연산(제1 픽셀 블록(210)과 제2 픽셀 블록(220)에 대한 연산)을 통해 적어도 하나의 제1 이미지 및 적어도 하나의 제2 이미지 사이의 시차와 적어도 하나의 제3 이미지 및 적어도 하나의 제4 이미지 사이의 시차를 이용하여 거리를 산출할 수 있다.

이 때, 거리 산출부는 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 및 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 중 동일한 컬러 채널을 갖는 적어도 하나의 좌편향 소형 픽슬렛 및 적어도 하나의 우편향 소형 픽슬렛에서 각각 획득하는 적어도 하나의 제1 이미지 및 적어도 하나의 제2 이미지 사이의 시차와 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2) 및 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2) 중 동일한 컬러 채널을 갖는 적어도 하나의 상편향 소형 픽슬렛과 적어도 하나의 하편향 소형 픽슬렛에서 각각 획득하는 적어도 하나의 제3 이미지 및 적어도 하나의 제4 이미지 사이의 시차를 이용하여 거리를 산출할 수 있다. 일례로, 거리 산출부는 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 중 G 채널의 광 신호를 처리하는 좌편향 소형 픽슬렛(212-1)에서 획득하는 이미지 및 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 중 G 채널의 광 신호를 처리하는 우편향 소형 픽슬렛(222-1)에서 획득하는 이미지 사이의 시차와 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2) 중 G 채널의 광 신호를 처리하는 상편향 소형 픽슬렛(212-2)에서 획득되는 이미지 및 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2) 중 G 채널의 광 신호를 처리하는 하편향 소형 픽슬렛(222-2)에서 획득되는 이미지 사이의 시차를 이용하여 거리를 산출할 수 있다.

특히, 거리 산출부는 거리 산출 과정에서, 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1), 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2), 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 및 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2) 중 동일한 컬러 채널을 갖는 좌편향 소형 픽슬렛, 상편향 소형 픽슬렛, 우편향 소형 픽슬렛 및 하편향 소형 픽슬렛을 각기 하나씩만을 사용하는 대신에, 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1), 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2), 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 및 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)에서 서로 다른 컬러 채널을 갖는 편향 소형 픽슬렛들을 각기 복수 개 사용함으로써, 특정 컬러 채널에 대한 의존성을 없앨 수 있다. 즉, 거리 산출부는 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1), 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2), 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 및 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)에서 컬러 채널 별로 각각 획득하는 적어도 하나의 제1 이미지 및 적어도 하나의 제2 이미지 사이의 시차와 적어도 하나의 제3 이미지 및 적어도 하나의 제4 이미지의 시차를 유클리드 놈(Euclidean norm)을 이용하여 정규화하고, 정규화된 시차를 이용하여 거리를 산출할 수 있다.

일례로, 거리 산출부는 아래의 식 4와 같이, 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 중 R 채널의 광 신호를 처리하는 좌편향 소형 픽슬렛들(211-1)에서 획득하는 이미지(

)와 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 중 R 채널의 광 신호를 처리하는 우편향 소형 픽슬렛들(221-1)에서 획득하는 이미지(

) 사이의 시차, 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 중 G 채널의 광 신호를 처리하는 좌편향 소형 픽슬렛들(212-1)에서 획득하는 이미지(

)와 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 중 G 채널의 광 신호를 처리하는 우편향 소형 픽슬렛들(222-1)에서 획득하는 이미지(

) 사이의 시차, 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 중 G 채널의 광 신호를 처리하는 좌편향 소형 픽슬렛들(213-1)에서 획득하는 이미지(

)와 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 중 G 채널의 광 신호를 처리하는 우편향 소형 픽슬렛들(223-1)에서 획득하는 이미지(

) 사이의 시차, 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1) 중 B 채널의 광 신호를 처리하는 좌편향 소형 픽슬렛들(214-1)에서 획득하는 이미지(

)와 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 중 B 채널의 광 신호를 처리하는 우편향 소형 픽슬렛들(224-1)에서 획득하는 이미지(

) 사이의 시차, 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2) 중 R 채널의 광 신호를 처리하는 상편향 소형 픽슬렛들(211-2)에서 획득하는 이미지(

)와 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2) 중 R 채널의 광 신호를 처리하는 하편향 소형 픽슬렛들(221-2)에서 획득하는 이미지(

) 사이의 시차, 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2) 중 G 채널의 광 신호를 처리하는 상편향 소형 픽슬렛들(212-2)에서 획득하는 이미지(

)와 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2) 중 G 채널의 광 신호를 처리하는 하편향 소형 픽슬렛들(222-2)에서 획득하는 이미지(

) 사이의 시차, 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2) 중 G 채널의 광 신호를 처리하는 상편향 소형 픽슬렛들(213-2)에서 획득하는 이미지(

)와 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2) 중 G 채널의 광 신호를 처리하는 하편향 소형 픽슬렛들(223-2)에서 획득하는 이미지(

) 사이의 시차 및 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2) 중 B 채널의 광 신호를 처리하는 상편향 소형 픽슬렛들(214-2)에서 획득하는 이미지(

)와 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2) 중 B 채널의 광 신호를 처리하는 하편향 소형 픽슬렛들(224-2)에서 획득하는 이미지(

) 사이의 시차를 유클리드 놈(Euclidean norm)을 이용하여 정규화함으로써, 정규화된 시차를 이용하여 피사체와 이미지 센서(200) 사이의 거리를 산출할 수 있다.

<식 4>

따라서, 거리 산출부는 거리 산출 과정에서, 가중치 합을 사용하는 기존 방식 대비 낮은 복잡도로 특정 컬러 채널에 대한 의존성을 없앨 수 있다.

카메라 시스템은 설명된 바와 같은 이미지 센서(200)를 기반으로, 픽셀 블록들(210, 220)에서 거리 산출에 사용되는 픽슬렛을 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1), 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2), 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 및 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)로 고정 사용함으로써, 거리 산출 알고리즘을 단순화하여 작업 복잡도를 낮추고, 거리 산출 시간 소모를 줄여 실시간성을 확보하며, 회로 구성을 간단하게 하는 동시에 거리 해상도(Depth resolution)를 일관성 있게 보장할 수 있다. 따라서, 이미지 센서(200)를 포함하는 카메라 시스템은 거리 해상도의 일관성과 실시간성이 중요시되는 자율주행 자동차 또는 각종 실시간 거리 측정 어플리케이션에서 유용하게 사용될 수 있다.

또한, 카메라 시스템은, 이미지 센서(200)의 픽셀 블록들(210, 220) 각각에 포함되는 픽셀들 모두에 거리 산출에 사용되는 편향 소형 픽슬렛이 형성되는 구조에 기반함으로써, 특정 컬러 채널의 픽셀에만 픽슬렛이 형성되는 구조 대비 컬러 채널에 대한 의존성을 없앨 수 있다.

이 때, 이미지 센서(200)를 포함하는 카메라 시스템은 거리 산출 이외의 기능(예컨대, 컬러 이미지 형성 및 획득)을 위해서, 픽셀 블록들(210, 220)에서 거리 산출에 사용되는 픽슬렛을 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1), 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2), 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1) 및 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2) 이외의 픽셀들(제1 픽셀 블록(210)의 대형 픽슬렛들(211-3, 212-3, 213-3, 214-3) 및 제2 픽셀 블록(220)의 대형 픽슬렛들(221-3, 222-3, 223-3, 224-3))을 사용할 수 있다. 일례로, 카메라 시스템은 제1 픽셀 블록(210)의 대형 픽슬렛들(211-3, 212-3, 213-3, 214-3) 및 제2 픽셀 블록(220)의 대형 픽슬렛들(221-3, 222-3, 223-3, 224-3) 각각에서 획득한 이미지들에 기초하여 컬러 이미지를 형성할 수 있다. 보다 상세하게, 카메라 시스템은 제1 픽셀 블록(210)의 대형 픽슬렛들(211-3, 212-3, 213-3, 214-3)과 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2)에서 획득되는 합해진 이미지들과 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1)에서 획득되는 이미지들을 병합하여 컬러 이미지를 형성할 수도 있고, 제1 픽셀 블록(210)의 대형 픽슬렛들(211-3, 212-3, 213-3, 214-3)과 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1)에서 획득되는 합해진 이미지들과 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2)에서 획득되는 이미지들을 병합하여 컬러 이미지를 형성할 수도 있다. 마찬가지로, 카메라 시스템은 제2 픽셀 블록(220)의 대형 픽슬렛들(221-3, 222-3, 223-3, 224-3)과 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)에서 획득되는 합해진 이미지들과 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1)에서 획득되는 이미지들을 병합하여 컬러 이미지를 형성할 수도 있고, 제2 픽셀 블록(220)의 대형 픽슬렛들(221-3, 222-3, 223-3, 224-3)과 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1)에서 획득되는 합해진 이미지들과 하편향 소형 픽슬렛(221-2, 222-2, 223-2, 224-2)에서 획득되는 이미지들을 병합하여 컬러 이미지를 형성할 수도 있다. 특히, 이미지 센서(200)의 리드아웃 타이밍이 전술된 바와 같이 설정됨으로써, 카메라 시스템은 제1 픽셀 블록(210) 및 제2 픽셀 블록(220)에서 거리 산출을 위한 이미지 신호들을 리드아웃한 뒤 그 외의 기능(예컨대, 컬러 이미지 획득)을 위한 이미지 신호들을 리드아웃함으로써, 거리 산출 기능을 최우선할 수 있다.

이처럼 이미지 센서(200)를 포함하는 카메라 시스템은 픽셀 내에서 거리 산출을 위한 픽슬렛(211-1, 212-1, 213-1, 214-1, 211-2, 212-2, 213-2, 214-2, 221-1, 222-1, 223-1, 224-1, 221-2, 222-2, 223-2, 224-2)과 거리 산출 이외의 기능을 위해 사용하는 픽슬렛(211-3, 212-3, 213-3, 214-3, 221-3, 222-3, 223-3, 224-3)을 상이하게 설정함으로써, 거리 산출의 알고리즘, 거리 산출 이외의 기능을 위한 알고리즘을 단순화할 수 있으며, 거리 산출과 그 외의 기능 각각의 실시간성을 보장할 수 있다.

이와 같이 픽셀 블록들(210, 220) 각각에 포함되는 복수의 픽셀 그룹들의 픽셀들 내에서 거리 산출을 위해 사용하는 픽슬렛(211-1, 212-1, 213-1, 214-1, 211-2, 212-2, 213-2, 214-2, 221-1, 222-1, 223-1, 224-1, 221-2, 222-2, 223-2, 224-2)과 거리 산출 이외의 기능을 위해 사용하는 픽슬렛(211-3, 212-3, 213-3, 214-3, 221-3, 222-3, 223-3, 224-3)이 상이한 바, 픽셀 블록들(210, 220) 각각에 포함되는 복수의 그룹들의 픽셀들 각각의 픽슬렛들은 거리 산출과 컬러 이미지 획득 기능의 면에서 각 기능이 상보적인 픽슬렛(Complimentary Pixlet)일 수 있다.

이상 설명된 구조의 이미지 센서(200)는 추가적인 구성요소를 더 포함할 수 있다. 예를 들어, 제1 픽셀 블록(210)에 포함되는 복수의 픽셀들 각각은, 픽슬렛간 간섭 현상을 줄이기 위해 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1)과 대형 픽슬렛들(211-3, 212-3, 213-3, 214-3) 사이 그리고 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2)과 대형 픽슬렛들(211-3, 212-3, 213-3, 214-3) 사이에 배치되는 DTI(Deep trench isolation)를 더 포함하고, 제2 픽셀 블록(220)에 포함되는 복수의 픽셀들 각각은, 픽슬렛간 간섭 현상을 줄이기 위해 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1)과 대형 픽슬렛들(221-3, 222-3, 223-3, 224-3) 사이 그리고 하편향 소형 픽슬렛들(221-2, 222-2, 223-2, 224-2)과 대형 픽슬렛들(221-3, 222-3, 223-3, 224-3) 사이에 배치되는 DTI를 더 포함할 수 있다. 나아가, DTI는 플로팅 영역과 픽슬렛들 사이에도 배치될 수 있으며, 이러한 DTI는 편향 소형 픽슬렛들이 갖고자 하는 수광 면적에 기초하여 배치 위치가 결정될 수 있다. 즉, DTI는 편향 소형 픽슬렛들과 대형 픽슬렛들을 구분 짓는 경계선의 역할을 할 수 있다.

다른 예를 들면, 제1 픽셀 블록(210) 및 제2 픽셀 블록(220)의 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1)과 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2) 및 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1)과 하편향 소형 픽슬렛들(221-2, 222-2, 223-2, 224-2) 각각의 상부에는, 픽슬렛으로 유입되는 광선의 다발 중 주변부의 광선을 차단하고 중심부의 광선만을 유입시키는 마스크(미도시)가 배치될 수 있다. 이러한 마스크로 인해 좌편향 소형 픽슬렛들(211-1, 212-1, 213-1, 214-1)과 상편향 소형 픽슬렛들(211-2, 212-2, 213-2, 214-2) 및 우편향 소형 픽슬렛들(221-1, 222-1, 223-1, 224-1)과 하편향 소형 픽슬렛들(221-2, 222-2, 223-2, 224-2) 각각에서 획득하는 이미지는 광선의 다발 중 주변부까지 유입되는 경우 획득되는 이미지보다 깊은 심도를 갖게 될 수 있다.

이상, 도 2 내지 4와 같이 제1 픽셀 블록(210) 및 제2 픽셀 블록(220) 각각이 RGGB의 컬러 채널을 기본 패턴으로 하는 것으로 설명되었으나, 이에 제한되거나 한정되지 않고, 픽셀 블록 내 동일한 위치에 동일한 컬러 채널의 픽셀이 배치되는 것을 전제로 다양한 컬러 채널의 기본 패턴이 구성될 수 있다.

또한, 도 2 내지 도 4에서 제1 픽셀 블록(210)을 구성하는 픽셀들 각각이 좌편향 소형 픽슬렛들과 상편향 소형 픽슬렛들을 포함하고, 제2 픽셀 블록(220)을 구성하는 픽셀들 각각이 우편향 소형 픽슬렛과 하편향 소형 픽슬렛을 포함하는 것으로 설명하였지만, 이에 제한되거나 한정되지 않고, 제1 픽셀 블록(210)을 구성하는 픽셀들 각각이 좌편향 소형 픽슬렛과 하편향 소형 픽슬렛을 포함하고, 제2 픽셀 블록(220)을 구성하는 픽셀들 각각이 우편향 소형 픽슬렛과 상편향 소형 픽슬렛을 포함할 수도 있다.

나아가, 본 발명의 이미지 센서는 픽셀 블록을 쿼드 픽셀 블록으로 구현할 수도 있다. 예를 들어, 이미지 센서(200)는 도 5에 도시된 바와 같이, 제1 쿼드 픽셀 블록(210)과 제2 쿼드 픽셀 블록(220)을 좌우 방향으로 인접하여 배치할 수도 있고, 도시하진 않았지만, 제1 쿼드 픽셀 블록(210)과 제2 쿼드 픽셀 블록(220)을 상하 방향으로 인접하여 배치할 수도 있다. 여기서, 쿼드 픽셀 블록은 서로 다른 컬러 채널을 갖는 복수의 픽셀 그룹들을 포함하고, 복수의 픽셀 그룹들 각각은 동일한 컬러 필터를 사용하는 복수의 픽셀들을 포함하며, 복수의 픽셀 그룹들 중 적어도 하나의 픽셀 그룹에 포함되는 복수의 픽셀들 각각은 상술한 픽슬렛(Pixlet)들을 포함할 수 있다.

즉, 이미지 센서(200)는 제1 쿼드 픽셀 블록(210) 및 제2 쿼드 픽셀 블록(220)을 포함하는 픽셀 어레이로 구성될 수 있으며, 제1 쿼드 픽셀 블록(210) 및 제2 쿼드 픽셀 블록(220) 각각은 동일한 개수의 픽셀들로 구성될 수 있다. 그리고, 쿼드 픽셀 블록은 도 5에 도시된 4×4 픽셀 블록으로 제한되거나 한정되지 않으며, 제1 쿼드 픽셀 블록(210) 및 제2 쿼드 픽셀 블록(220)을 기본 패턴으로 하여 기본 패턴이 반복되는 픽셀 어레이로 구성될 수 있다.

이러한 쿼드 픽셀 블록은 동일한 컬러 필터를 사용하는 복수의 픽셀 그룹들 예를 들어, R 픽셀 그룹, G1 픽셀 그룹, B 픽셀 그룹 및 G2 픽셀 그룹을 포함할 수 있으며, 복수의 픽셀 그룹들 각각의 상부에는 복수의 픽셀들 각각에 의해 독립적으로 사용되는 마이크로 렌즈가 배치될 수 있다.

나아가, 복수의 픽셀 그룹들 각각의 상부에는, 복수의 픽셀 그룹들 각각에 포함되는 복수의 픽셀들에 의해 공유되는 마이크로 렌즈가 배치될 수도 있다.

예를 들어, 제1 픽셀 그룹의 상부에 배치되는 제1 마이크로 렌즈는 제1 픽셀 그룹에 포함되는 네 개의 픽셀들에 의해 공유될 수 있고, 제2 픽셀 그룹의 상부에 배치되는 제2 마이크로 렌즈는 제2 픽셀 그룹에 포함되는 네 개의 픽셀들에 의해 공유될 수 있으며, 제3 픽셀 그룹의 상부에 배치되는 제3 마이크로 렌즈는 제3 픽셀 그룹에 포함되는 네 개의 픽셀들에 의해 공유될 수 있고, 제4 픽셀 그룹의 상부에 배치되는 제4 마이크로 렌즈는 제4 픽셀 그룹에 포함되는 픽셀들에 의해 공유될 수 있다.

도 6은 일 실시예에 따른 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다. 이하, 설명되는 카메라 시스템의 동작 방법은 도 2 내지 4를 참조하여 전술된 구조의 이미지 센서와 거리 산출부를 포함하는 카메라 시스템에 의해 수행될 수 있다. 물론, 본 발명의 방법은 도 5의 구조의 이미지 센서와 거리 산출부를 포함하는 카메라 시스템에 의해 수행될 수도 있다.

도 6을 참조하면, 이미지 센서는 단계(S610)를 통해, 제1 픽셀 블록 및 제2 픽셀 블록 각각으로 광 신호를 유입시킬 수 있다. 여기서, 이미지 센서는 도 2 내지 4를 참조하여 전술된 구조로 구현되어 좌편향 소형 픽슬렛들, 상편향 소형 픽슬렛들, 우편향 소형 픽슬렛들 및 하편향 소형 픽슬렛들을 포함하므로(제1 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 좌측 방향으로 편향된 좌편향 소형 픽슬렛, 상부 방향으로 편향된 상편향 소형 픽슬렛 및 좌편향 소형 픽슬렛과 상편향 소형 픽슬렛에 인접하여 배치되는 대형 픽슬렛을 포함하며, 제2 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 우측 방향으로 편향된 우편향 소형 픽슬렛, 하부 방향으로 편향된 하편향 소형 픽슬렛 및 우편향 소형 픽슬렛과 하편향 소형 픽슬렛에 인접하여 배치되는 대형 픽슬렛을 포함함), 단계(S610)에서 좌편향 소형 픽슬렛, 상편향 소형 픽슬렛, 우편향 소형 픽슬렛 및 하편향 소형 픽슬렛 각각으로 광 신호를 유입시킬 수 있다.

이 때, 제1 픽셀 블록 및 제2 픽셀 블록은 좌편향 소형 픽슬렛들 및 우편향 소형 픽슬렛들 그리고 상편향 소형 픽슬렛들 및 하편향 소형 픽슬렛들이 서로 이격되는 거리가 최대화되도록 이미지 센서 내에서 좌우 방향 또는 상하 방향으로 인접하여 배치될 수 있다.

또한, 좌편향 소형 픽슬렛들과 상편향 소형 픽슬렛들이 각각의 픽셀 중심으로부터 오프셋된 거리 및 우편향 소형 픽슬렛들과 하편향 소형 픽슬렛들이 각각의 픽셀 중심으로부터 오프셋된 거리는, 좌편향 소형 픽슬렛들, 상편향 소형 픽슬렛들, 우편향 소형 픽슬렛들 및 하편향 소형 픽슬렛들에서 센싱하는 감도를 기 설정된 수준 이상 보장하는 것을 전제로, 좌편향 소형 픽슬렛들 및 우편향 소형 픽슬렛들에서 획득하는 이미지들 사이의 시차와 상편향 소형 픽슬렛들 및 하편향 소형 픽슬렛들에서 획득하는 이미지들 사이의 시차를 최대화하도록 결정될 수 있다. 이에, 좌편향 소형 픽슬렛들과 상편향 소형 픽슬렛들이 각각의 픽셀 중심으로부터 오프셋된 거리와 우편향 소형 픽슬렛들과 하편향 소형 픽슬렛들이 각각의 픽셀 중심으로부터 오프셋된 거리는, 좌편향 소형 픽슬렛들과 상편향 소형 픽슬렛들 각각의 마이크로 렌즈의 굴절률(또는 우편향 소형 픽슬렛들과 하편향 소형 픽슬렛들 각각의 마이크로 렌즈의 굴절률), 이미지 센서의 중심으로부터 이미지 센서에 대응하는 단일 광학계까지의 거리, 단일 광학계의 지름과, 좌편향 소형 픽슬렛들과 상편향 소형 픽슬렛들 각각의 마이크로 렌즈(또는 우편향 소형 픽슬렛들과 하편향 소형 픽슬렛들 각각의 마이크로 렌즈)로부터 각각의 픽셀 중심까지의 거리에 기초하여 결정될 수 있다.

이어서, 이미지 센서는 단계(S620)에서, 제1 픽셀 블록의 좌편향 소형 픽슬렛들을 통해 광 신호를 처리하여 적어도 하나의 제1 이미지를 획득하고, 제2 픽셀 블록의 우편향 소형 픽슬렛들을 통해 광 신호를 처리하여 적어도 하나의 제2 이미지를 획득할 수 있다.

특히, 이미지 센서가 제1 픽셀 블록에서 좌편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상편향 소형 픽슬렛의 이미지 신호 및 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 리드아웃 타이밍을 설정하고, 제2 픽셀 블록에서 우편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 하편향 소형 픽슬렛의 이미지 신호 및 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 리드아웃 타이밍을 설정하는 가운데, 제1 픽셀 블록의 좌편향 소형 픽슬렛의 이미지 신호와 제2 픽셀 블록의 우편향 소형 픽슬렛의 이미지 신호를 동시에 읽도록 리드아웃 타이밍을 설정함에 따라, 단계(S620)에서 이미지 센서는, 설정된 리드아웃 타이밍에 기초하여 적어도 하나의 제1 이미지와 적어도 하나의 제2 이미지를 동시에 획득할 수 있다.

이어서, 이미지 센서는 단계(S630)에서, 제1 픽셀 블록의 상편향 소형 픽슬렛들을 통해 광 신호를 처리하여 적어도 하나의 제3이미지를 획득하고, 제2 픽셀 블록의 하편향 소형 픽슬렛들을 통해 광 신호를 처리하여 적어도 하나의 제4이미지를 획득할 수 있다.

특히, 이미지 센서가 제1 픽셀 블록에서 상편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 좌편향 소형 픽슬렛의 이미지 신호 및 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 리드아웃 타이밍을 설정하고, 제2 픽셀 블록에서 하편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 우편향 소형 픽슬렛의 이미지 신호 및 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 리드아웃 타이밍을 설정하는 가운데, 제1 픽셀 블록의 상편향 소형 픽슬렛의 이미지 신호와 제2 픽셀 블록의 하편향 소형 픽슬렛의 이미지 신호를 동시에 읽도록 리드아웃 타이밍을 설정함에 따라, 단계(S630)에서 이미지 센서는, 설정된 리드아웃 타이밍에 기초하여 적어도 하나의 제3 이미지와 적어도 하나의 제4 이미지를 동시에 획득할 수 있다.

그 후, 거리 산출부는 단계(S640)에서, 블록 단위 연산을 통해 이미지 센서로부터 입력되는 적어도 하나의 제1 이미지 및 적어도 하나의 제2 이미지 사이의 시차와 적어도 하나의 제3 이미지 및 적어도 하나의 제4 이미지 사이의 시차를 이용하여 이미지 센서와 피사체 사이의 거리를 산출할 수 있다. 보다 상세하게, 거리 산출부는 좌편향 소형 픽슬렛들 및 우편향 소형 픽슬렛들 중 동일한 컬러 채널을 갖는 적어도 하나의 좌편향 소형 픽슬렛 및 적어도 하나의 우편향 소형 픽슬렛에서 각각 획득하는 적어도 하나의 제1 이미지 및 적어도 하나의 제2 이미지 사이의 시차와 적어도 하나의 상편향 소형 픽슬렛 및 적어도 하나의 하편향 소형 픽슬렛에서 각각 획득하는 적어도 하나의 제3 이미지 및 적어도 하나의 제4 이미지 사이의 시차를 이용하여 거리를 산출할 수 있다.

그러나 거리 산출부는 거리 산출 과정에서, 좌편향 소형 픽슬렛들, 상편향 소형 픽슬렛들, 우편향 소형 픽슬렛들 및 하편향 소형 픽슬렛 중 동일한 컬러 채널을 갖는 좌편향 소형 픽슬렛, 상편향 소형 픽슬렛, 우편향 소형 픽슬렛 및 하편향 소형 픽슬렛을 각기 하나씩만을 사용하는 대신에, 좌편향 소형 픽슬렛들, 상편향 소형 픽슬렛들, 우편향 소형 픽슬렛들 및 하편향 소형 픽슬렛에서 서로 다른 컬러 채널을 갖는 편향 소형 픽슬렛들을 각기 복수 개 사용함으로써, 특정 컬러 채널에 대한 의존성을 없앨 수 있다. 즉, 거리 산출부는 단계(S640)에서, 좌편향 소형 픽슬렛들, 상편향 소형 픽슬렛들, 우편향 소형 픽슬렛들 및 하편향 소형 픽슬렛에서 컬러 채널 별로 각각 획득하는 적어도 하나의 제1 이미지 및 적어도 하나의 제2 이미지 사이의 시차와 적어도 하나의 제3 이미지 및 적어도 하나의 제4 이미지를 유클리드 놈(Euclidean norm)을 이용하여 정규화하고, 정규화된 시차를 이용하여 거리를 산출할 수 있다.

비록, 도 6의 방법에서 그 설명이 생략되었더라도, 도 6의 방법은 상술한 도 1 내지 도 5의 내용을 모두 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

제1 픽셀 블록-상기 제1 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 제1 방향으로 편향된 제1 편향 소형 픽슬렛(Pixlet), 상기 제1 방향과 직교하는 제2 방향으로 편향된 제2 편향 소형 픽슬렛과 상기 제1, 제2 편향 소형 픽슬렛들과 인접하여 배치되는 제1 대형 픽슬렛을 포함함- 및 제2 픽셀 블록-상기 제2 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 상기 제1 방향과 반대되는 제3 방향으로 편향된 제3 편향 소형 픽슬렛, 상기 제2 방향과 반대되는 제4 방향으로 편향된 제4 편향 소형 픽슬렛과 상기 제3, 제4 편향 소형 픽슬렛과 인접하여 배치되는 제2 대형 픽슬렛을 포함함-을 포함하는 이미지 센서-상기 픽슬렛은, 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-; 및
픽셀 블록 단위 연산을 통해, 상기 제1 픽셀 블록의 제1 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제1 이미지와 상기 제2 픽셀 블록의 제3 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제2 이미지 사이의 시차(Parallax) 및 상기 제1 픽셀 블록의 제2 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제3 이미지와 상기 제2 픽셀 블록의 제4 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부
를 포함하고,
상기 제1 픽셀 블록과 상기 제2 픽셀 블록 각각은,
서로 다른 컬러 채널을 갖는 복수의 픽셀 그룹들을 포함하고, 상기 복수의 픽셀 그룹들 각각은 동일한 컬러 필터를 사용하는 복수의 픽셀들을 포함하며,
상기 거리 산출부는,
상기 제1 픽셀 블록과 상기 제2 픽셀 블록의 동일한 컬러 채널에서 획득되는 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 것을 특징으로 하는 카메라 시스템.
삭제
삭제
제1 픽셀 블록-상기 제1 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 제1 방향으로 편향된 제1 편향 소형 픽슬렛(Pixlet), 상기 제1 방향과 직교하는 제2 방향으로 편향된 제2 편향 소형 픽슬렛과 상기 제1, 제2 편향 소형 픽슬렛들과 인접하여 배치되는 제1 대형 픽슬렛을 포함함- 및 제2 픽셀 블록-상기 제2 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 상기 제1 방향과 반대되는 제3 방향으로 편향된 제3 편향 소형 픽슬렛, 상기 제2 방향과 반대되는 제4 방향으로 편향된 제4 편향 소형 픽슬렛과 상기 제3, 제4 편향 소형 픽슬렛과 인접하여 배치되는 제2 대형 픽슬렛을 포함함-을 포함하는 이미지 센서-상기 픽슬렛은, 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-; 및
픽셀 블록 단위 연산을 통해, 상기 제1 픽셀 블록의 제1 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제1 이미지와 상기 제2 픽셀 블록의 제3 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제2 이미지 사이의 시차(Parallax) 및 상기 제1 픽셀 블록의 제2 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제3 이미지와 상기 제2 픽셀 블록의 제4 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부
를 포함하며,
상기 거리 산출부는,
상기 제1 편향 소형 픽슬렛들 내지 상기 제4 편향 소형 픽슬렛들에서 컬러 채널 별로 각각 획득하는 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 유클리드 놈(Euclidean norm)을 이용하여 정규화하고, 정규화된 시차를 이용하여 상기 거리를 산출하는 것을 특징으로 하는 카메라 시스템.
제1항에 있어서,
상기 제1 픽셀 블록 및 상기 제2 픽셀 블록은,
상기 이미지 센서 내에서 좌우 방향 또는 상하 방향으로 인접하여 배치되는 것을 특징으로 하는 카메라 시스템.
제5항에 있어서,
상기 제1 픽셀 블록 및 상기 제2 픽셀 블록은,
상기 제1 편향 소형 픽슬렛들과 상기 제3 편향 소형 픽슬렛들 및 상기 제2 편향 소형 픽슬렛들과 상기 제4 편향 소형 픽슬렛들이 서로 이격되는 거리가 최대화되도록 상기 이미지 센서 내에서 배치되는 것을 특징으로 하는 카메라 시스템.
제1 픽셀 블록-상기 제1 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 제1 방향으로 편향된 제1 편향 소형 픽슬렛(Pixlet), 상기 제1 방향과 직교하는 제2 방향으로 편향된 제2 편향 소형 픽슬렛과 상기 제1, 제2 편향 소형 픽슬렛들과 인접하여 배치되는 제1 대형 픽슬렛을 포함함- 및 제2 픽셀 블록-상기 제2 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 상기 제1 방향과 반대되는 제3 방향으로 편향된 제3 편향 소형 픽슬렛, 상기 제2 방향과 반대되는 제4 방향으로 편향된 제4 편향 소형 픽슬렛과 상기 제3, 제4 편향 소형 픽슬렛과 인접하여 배치되는 제2 대형 픽슬렛을 포함함-을 포함하는 이미지 센서-상기 픽슬렛은, 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-; 및
픽셀 블록 단위 연산을 통해, 상기 제1 픽셀 블록의 제1 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제1 이미지와 상기 제2 픽셀 블록의 제3 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제2 이미지 사이의 시차(Parallax) 및 상기 제1 픽셀 블록의 제2 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제3 이미지와 상기 제2 픽셀 블록의 제4 편향 소형 픽슬렛들에서 획득하는 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부
를 포함하며,
상기 이미지 센서는,
상기 제1 픽셀 블록에서 상기 제1 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제2 편향 소형 픽슬렛의 이미지 신호 및 상기 제1 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽고 다시 상기 제2 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제1 편향 소형 픽슬렛의 이미지 신호 및 상기 제1 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 리드아웃 타이밍을 설정하며, 상기 제2 픽셀 블록에서 상기 제3 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제4 편향 소형 픽슬렛의 이미지 신호 및 상기 제2 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽고 다시 상기 제4 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제3 편향 소형 픽슬렛의 이미지 신호 및 상기 제2 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 리드아웃 타이밍을 설정하는 것을 특징으로 하는 카메라 시스템.
제7항에 있어서,
상기 거리 산출부는,
상기 리드아웃 타이밍에 따라 획득하는 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지를 동시에 입력 받고, 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지를 동시에 입력 받는 것을 특징으로 하는 카메라 시스템.
제7항에 있어서,
상기 제1 픽셀 블록과 상기 제2 픽셀 블록에 포함되는 픽셀들 각각은,
해당 픽셀의 두 편향 소형 픽슬렛들이 중복되는 영역을 상기 두 편향 소형 픽슬렛들과 분리되는 플로팅 영역으로 형성하고,
상기 이미지 센서는,
상기 플로팅 영역과 상기 두 편향 소형 픽슬렛들 및 대형 픽슬렛 간의 스위칭을 설정된 리드아웃 타이밍에 따라 제어하는 것을 특징으로 하는 카메라 시스템.
상보적인 픽슬렛 구조가 적용된 이미지 센서 및 거리 산출부를 포함하는 카메라 시스템의 동작 방법에 있어서,
제1 픽셀 블록-상기 제1 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 제1 방향으로 편향된 제1 편향 소형 픽슬렛(Pixlet), 상기 제1 방향과 직교하는 제2 방향으로 편향된 제2 편향 소형 픽슬렛과 상기 제1, 제2 편향 소형 픽슬렛들과 인접하여 배치되는 제1 대형 픽슬렛을 포함함- 및 제2 픽셀 블록-상기 제2 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 상기 제1 방향과 반대되는 제3 방향으로 편향된 제3 편향 소형 픽슬렛, 상기 제2 방향과 반대되는 제4 방향으로 편향된 제4 편향 소형 픽슬렛과 상기 제3, 제4 편향 소형 픽슬렛과 인접하여 배치되는 제2 대형 픽슬렛을 포함함-을 포함하는 이미지 센서-상기 픽슬렛은, 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-에서, 상기 제1 픽셀 블록 및 상기 제2 픽셀 블록 각각으로 광 신호를 유입시키는 단계;
상기 이미지 센서에서, 상기 제1 픽셀 블록의 제1 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제1 이미지를 획득하고, 상기 제2 픽셀 블록의 제3 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제2 이미지를 획득하는 단계;
상기 이미지 센서에서, 상기 제1 픽셀 블록의 제2 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제3 이미지를 획득하고, 상기 제2 픽셀 블록의 제4 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제4 이미지를 획득하는 단계; 및
상기 거리 산출부에서, 픽셀 블록 단위 연산을 통해 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계
를 포함하며,
상기 거리를 산출하는 단계는,
상기 제1 편향 소형 픽슬렛들 내지 상기 제4 편향 소형 픽슬렛들에서 컬러 채널 별로 각각 획득하는 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 유클리드 놈(Euclidean norm)을 이용하여 정규화하는 단계; 및
상기 정규화된 시차를 이용하여 상기 거리를 산출하는 단계
를 포함하는 카메라 시스템의 동작 방법.
삭제
삭제
상보적인 픽슬렛 구조가 적용된 이미지 센서 및 거리 산출부를 포함하는 카메라 시스템의 동작 방법에 있어서,
제1 픽셀 블록-상기 제1 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 제1 방향으로 편향된 제1 편향 소형 픽슬렛(Pixlet), 상기 제1 방향과 직교하는 제2 방향으로 편향된 제2 편향 소형 픽슬렛과 상기 제1, 제2 편향 소형 픽슬렛들과 인접하여 배치되는 제1 대형 픽슬렛을 포함함- 및 제2 픽셀 블록-상기 제2 픽셀 블록에 포함되는 픽셀들 각각은 픽셀 중심에 대해 상기 제1 방향과 반대되는 제3 방향으로 편향된 제3 편향 소형 픽슬렛, 상기 제2 방향과 반대되는 제4 방향으로 편향된 제4 편향 소형 픽슬렛과 상기 제3, 제4 편향 소형 픽슬렛과 인접하여 배치되는 제2 대형 픽슬렛을 포함함-을 포함하는 이미지 센서-상기 픽슬렛은, 광 신호를 전기 신호로 변환하는 광 다이오드를 포함함-에서, 상기 제1 픽셀 블록 및 상기 제2 픽셀 블록 각각으로 광 신호를 유입시키는 단계;
상기 이미지 센서에서, 상기 제1 픽셀 블록의 제1 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제1 이미지를 획득하고, 상기 제2 픽셀 블록의 제3 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제2 이미지를 획득하는 단계;
상기 이미지 센서에서, 상기 제1 픽셀 블록의 제2 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제3 이미지를 획득하고, 상기 제2 픽셀 블록의 제4 편향 소형 픽슬렛들을 통해 상기 광 신호를 처리하여 적어도 하나의 제4 이미지를 획득하는 단계; 및
상기 거리 산출부에서, 픽셀 블록 단위 연산을 통해 상기 적어도 하나의 제1 이미지와 상기 적어도 하나의 제2 이미지 사이의 시차 및 상기 적어도 하나의 제3 이미지와 상기 적어도 하나의 제4 이미지 사이의 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계
를 포함하며,
상기 적어도 하나의 제1 이미지를 획득하고, 상기 적어도 하나의 제2 이미지를 획득하는 단계는,
상기 제1 픽셀 블록에서 상기 제1 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제2 편향 소형 픽슬렛의 이미지 신호 및 상기 제1 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽고 다시 상기 제2 편향 소형 픽슬렛의 이미지 신호를 읽는 순서로 설정된 리드아웃 타이밍에 따라 상기 적어도 하나의 제1 이미지를 획득하는 단계; 및
상기 제2 픽셀 블록에서 상기 제3 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제4 편향 소형 픽슬렛의 이미지 신호 및 상기 제2 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 설정된 리드아웃 타이밍에 따라 상기 적어도 하나의 제2 이미지를 획득하는 단계
를 포함하고,
상기 적어도 하나의 제3 이미지를 획득하고, 상기 적어도 하나의 제4 이미지를 획득하는 단계는,
상기 제1 픽셀 블록에서 상기 제2 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제1 편향 소형 픽슬렛의 이미지 신호 및 상기 제1 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 설정된 리드아웃 타이밍에 따라 상기 적어도 하나의 제1 이미지를 획득하는 단계; 및
상기 제2 픽셀 블록에서 상기 제4 편향 소형 픽슬렛의 이미지 신호를 읽은 뒤 상기 제3 편향 소형 픽슬렛의 이미지 신호 및 상기 제2 대형 픽슬렛의 이미지 신호가 합해진 신호를 읽는 순서로 설정된 리드아웃 타이밍에 따라 상기 적어도 하나의 제1 이미지를 획득하는 단계
를 포함하는 것을 특징으로 하는 카메라 시스템의 동작 방법.