KR20240035282A

KR20240035282A - 거리 측정을 위한 이미지 센서 및 이를 포함하는 카메라 모듈

Info

Publication number: KR20240035282A
Application number: KR1020220137652A
Authority: KR
Inventors: 박지헌; 신승철; 기명오
Original assignee: 삼성전자주식회사
Priority date: 2022-09-08
Filing date: 2022-10-24
Publication date: 2024-03-15

Abstract

거리 측정을 위한 이미지 센서 및 카메라 모듈이 개시된다. 거리 측정을 위한 이미지 센서로서, 복수의 단위 픽셀들을 포함하는 픽셀 어레이, 서브 프레임 단위로 픽셀 어레이로부터 픽셀 신호들을 리드아웃하고, 로우 데이터를 생성하는 리드아웃 회로, 로우 데이터를 전처리하여 위상 데이터를 생성하는 전처리 회로, 위상 데이터를 저장하는 메모리, 위상 데이터에 대한 캘리브레이션 동작을 수행하여 보정 데이터를 생성하는 캘리브레이션 회로, 보정 데이터를 이용하여 깊이 정보를 생성하는 이미지 신호 프로세서, 및 깊이 프레임 단위로 깊이 정보를 포함하는 깊이 데이터를 출력하는 출력 인터페이스 회로를 포함한다.

Description

거리 측정을 위한 이미지 센서 및 이를 포함하는 카메라 모듈{Image Sensor For Distance Measuring And Camera Module Including The Same}

본 발명은 이미지 센서에 관한 것으로, 더욱 상세하게는 거리 측정을 위한 이미지 센서 및 이를 포함하는 카메라 모듈에 관한 것이다.

광 비행 시간법(Time-of-Flight; ToF) 기반의 이미지 센서는 물체까지의 거리에 관한 정보를 측정함으로써 물체에 대한 3차원 영상을 생성할 수 있다. ToF 기반의 이미지 센서는 광을 물체에 조사한 후, 물체로부터 반사되는 광이 수광되기까지의 광 비행시간을 측정하여 물체까지의 거리에 관한 정보를 얻을 수 있다. 거리에 관한 정보는 다양한 요인에 의해 노이즈를 포함하므로, 정확한 정보 획득을 위해 노이즈를 최소화하기 위한 노력이 필요하다.

본 개시의 기술적 과제는 깊이 정보를 포함하는 깊이 데이터를 출력하는 거리 측정을 위한 이미지 센서 및 이를 포함하는 카메라 모듈을 제공하는 것이다.

본 개시의 이미지 센서는 상기 과제를 해결하기 위해, 거리 측정을 위한 이미지 센서는, 복수의 단위 픽셀들을 포함하는 픽셀 어레이, 서브 프레임 단위로 픽셀 어레이로부터 픽셀 신호들을 리드아웃하고, 로우 데이터를 생성하는 리드아웃 회로, 로우 데이터를 전처리하여 위상 데이터를 생성하는 전처리 회로, 위상 데이터를 저장하는 메모리, 위상 데이터에 대한 캘리브레이션 동작을 수행하여 보정 데이터를 생성하는 캘리브레이션 회로, 보정 데이터를 이용하여 깊이 정보를 생성하는 이미지 신호 프로세서, 및 깊이 프레임 단위로 깊이 정보를 포함하는 깊이 데이터를 출력하는 출력 인터페이스 회로를 포함한다.

본 개시에 따른 카메라 모듈은, 물체로 송신 광 신호를 전송하는 광원부, 물체로부터 반사된 수신 광 신호를 수신하는 이미지 센서를 포함하고, 이미지 센서는, 복수의 단위 픽셀들을 포함하는 픽셀 어레이, 광원부로 모듈레이션 신호를 전송하고, 픽셀 어레이로 모듈레이션 신호와 동일한 모듈레이션 주파수의 복수의 디모듈레이션 신호들을 전송하는 제어 회로, 서브 프레임 단위로 픽셀 어레이로부터 픽셀 신호들을 리드아웃하고, 로우 데이터를 생성하는 리드아웃 회로, 로우 데이터를 전처리하여 위상 데이터를 생성하는 전처리 회로, 위상 데이터를 저장하는 프레임 메모리, 위상 데이터에 기초하여 깊이 정보를 생성하는 이미지 신호 프로세서, 및 깊이 프레임 단위로 깊이 정보를 포함하는 깊이 데이터를 출력하는 출력 인터페이스 회로를 포함할 수 있다.

또한, 본 개시에 따른 카메라 모듈은, 물체로 송신 광 신호를 전송하는 광원부, 물체로부터 반사된 수신 광 신호를 수신하는 이미지 센서를 포함하고, 이미지 센서는, 복수의 단위 픽셀들을 포함하는 픽셀 어레이, 광원부로 모듈레이션 신호를 전송하고, 픽셀 어레이로 모듈레이션 신호와 동일한 모듈레이션 주파수의 복수의 디모듈레이션 신호들을 전송하는 제어 회로, 픽셀 어레이로부터 픽셀 신호들을 리드아웃하고, 로우 데이터를 생성하는 리드아웃 회로, 로우 데이터를 전처리하여 위상 데이터를 생성하는 전처리 회로, 위상 데이터를 저장하는 메모리, 캘리브레이션 정보에 기초하여, 위상 데이터에 대한 캘리브레이션 동작을 수행하여 보정 데이터를 생성하는 캘리브레이션 회로, 보정 데이터를 이용하여 깊이 정보를 생성하는 이미지 신호 프로세서, 및 깊이 정보를 포함하는 깊이 데이터를 출력하는 출력 인터페이스 회로를 포함할 수 있다.

본 개시에 따른 거리 측정을 위한 이미지 센서는 내부에 메모리 및 이미지 신호 프로세서(Image Signal Processor, ISP)를 포함하므로 이미지 센서 자체 내에서 위상 데이터의 위상 지연 계산이 가능하고 깊이 정보를 포함하는 깊이 데이터를 생성할 수 있다. 따라서, 이미지 센서가 깊이 데이터를 외부의 프로세서로 전송하므로, 이미지 센서 및 프로세서 사이의 채널의 대역폭 한계에도 데이터 전송의 지연을 방지할 수 있어, 깊이 데이터의 이미지 품질이 증가될 수 있다.

또한, 이미지 센서의 캘리브레이션 동작 등을 통해 깊이 데이터의 노이즈를 감소시킬 수 있고, 이미지 센서 전용의 ISP를 사용함으로써 높은 품질의 깊이 데이터 생성이 가능하다. 이미지 센서의 외부 프로세서는 경량화할 수 있고, 전체 시스템의 전력 소모를 줄일 수 있다.

도 1은 본 개시의 예시적인 실시예에 따른 시스템에 대한 개략적인 구성도이다.
도 2는 본 개시의 예시적인 실시 예에 따른 카메라 모듈을 설명하기 위한 구성도이다.
도 3a는 도 2에 도시된 단위 픽셀의 구조의 예시적 실시 예를 설명하기 위한 도면이다.
도 3b는 도 2에 도시된 단위 픽셀의 구조의 예시적 실시 예를 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 개시의 예시적인 실시예에 따른 시스템에 대한 개략적인 구성을 나타내는 블록도들이다.
도 5는 메모리에 저장된 캘리브레이션 정보를 설명하기 위한 도면이다.
도 6은 본 개시에 따른 이미지 센서의 동작을 설명하기 위한 도면으로서, 제1 내지 제4 포토 게이트 신호의 주파수를 설명하기 위한 타이밍도이다.
도 7은 본 개시에 따른 이미지 센서의 셔플 동작을 설명하기 위한 도면이다.
도 8a는 비교 예에 따른 이미지 센서의 동작을 설명하기 위한 타이밍도이고, 도 8b는 본 개시에 따른 이미지 센서의 동작을 설명하기 위한 도면이다.
도 9a 내지 도 9c는 본 개시에 따른 이미지 센서의 동작을 설명하기 위한 도면들이다.
도 10 및 도 11은 본 개시의 예시적인 실시 예에 따른 이미지 센서를 나타내는 개략도이다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예에 대해 상세히 설명한다.

도 1은 본 개시의 예시적인 실시예에 따른 시스템에 대한 개략적인 구성을 나타내는 블록도이다.

도 1을 참조하면, 시스템(10)은 프로세서(30) 및 카메라 모듈(100)을 포함할 수 있다. 예시적인 실시 예에서, 카메라 모듈(100)은 깊이 데이터를 포함하는 이미지 데이터를 전송할 수 있다. 시스템(10)은 프로세서(30)에 연결되어 카메라 모듈(100)로부터 수신되는 깊이 데이터를 포함하는 이미지 데이터와 같은 정보를 저장하는 메모리 모듈(20)을 더 포함할 수 있다.

예시적인 실시 예에서, 시스템(10)은 하나의 반도체 칩에 집적될 수 있고, 카메라 모듈(100), 프로세서(30) 및 메모리 모듈(20) 각각은 분리된 별도의 반도체 칩으로 구현될 수 있다. 메모리 모듈(20)은 하나 또는 그보다 많은 메모리 칩을 포함할 수 있다. 예시적인 실시 예에서, 프로세서(30)는 다중 프로세싱 칩들을 포함할 수 있다.

시스템(10)은 본 개시의 실시 예에 따른 거리 측정을 위한 이미지 센서의 응용을 위한 전자 장치일 수 있다. 시스템(10)은 포터블 또는 고정식일 수 있다. 시스템(10)의 포터블 형태의 예들은 모바일 장치, 핸드폰, 스마트폰, 사용자 장치(UE), 태블릿, 디지털 카메라, 랩톱 또는 데스크톱 컴퓨터, 전자 스마트 시계, M2M (Machine-to-Machine) 통신 장치, 가상 현실(VR, Virtual Reality) 장치 또는 모듈, 로봇 등으로 을 포함할 수 있다. 시스템(10)의 고정식 형태의 예들은 비디오 게임방의 게임 콘솔, 상호적 비디오 터미널, 자동차, 기계 시야 시스템, 산업용 로봇, 가상 현실(VR) 장치, 자동차의 운전자측 실장 카메라 등을 포함할 수 있다.

카메라 모듈(100)은 광원부(12) 및 이미지 센서(14)를 포함할 수 있다. 광원부(12)는 송신 광 신호(TX)를 물체(200)로 전송할 수 있다. 송신 광 신호(TX)는 정현파(sinusoidal wave)일 수 있다. 광원부(12)에서 출력된 송신 광 신호(TX)는 물체(200)에 반사될 수 있고, 물체(200)로부터 반사된 수신 광 신호(RX)를 이미지 센서(14)가 수신할 수 있다. 이미지 센서(14)는 광 비행 시간(Time-of-Flight, ToF)을 이용하여, 물체(200)에 대한 거리 정보인 깊이 정보를 획득할 수 있다. 광원부(12) 및 이미지 센서(14)의 구성에 대해서는 도 3에서 구체적으로 후술하겠다.

프로세서(30)는 범용 프로세서인 중앙 처리 장치(CPU)일 수 있다. 예시적인 실시 예에서, 프로세서(30)는 중앙 처리 장치에 더하여, 마이크로 컨트롤러, 디지털 신호 처리기(DSP, Digital Signal Processor), 그래픽 처리부(GPU, Graphic Processing Unit), 전용의 주문형 반도체(ASIC, Application Specific Integrated Circuit) 프로세서 등을 더 포함할 수 있다. 또한, 프로세서(30)는 분산 처리 환경에서 동작하는 하나보다 많은 중앙 처리 장치들을 포함할 수 있다. 예시적인 실시 예에서, 프로세서(30)는 중앙 처리 장치의 기능에 추가적인 기능들을 갖는 시스템 온 칩(SoC, System on Chip)일 수 있고, 스마트 폰, 태블릿 컴퓨터, 스마트 워치등에 탑재되는 애플리케이션 프로세서(Application Processor, AP)일 수 있다.

프로세서(30)는 카메라 모듈(100)의 동작들을 제어할 수 있다. 예시적인 실시 예에서, 시스템(10)은 복수의 카메라 모듈들을 포함할 수 있고, 프로세서(30)는 카메라 모듈(100)의 이미지 센서(14)로부터 깊이 데이터를 수신하고, 깊이 데이터를 다른 카메라 모듈로부터 제공받은 이미지 데이터와 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다. 프로세서(30)는 3차원 깊이 이미지(3D depth image)를 시스템(10)의 표시 스크린에 표시할 수 있다.

프로세서(30)는 다양한 처리 작업들을 수행하는 소프트웨어 또는 펌웨어로 프로그램될 수 있다. 예시적인 실시 예에서, 프로세서(30)는 기능들의 일부 또는 전부를 수행하기 위한 프로그램 가능한 하드웨어 논리 회로들을 포함할 수 있다. 예를 들면, 메모리 모듈(20)은 프로그램 코드, 룩업 테이블, 또는 중간 연산 결과들을 저장하여, 프로세서(30)가 해당 기능을 수행하도록 할 수 있다.

메모리 모듈(20)은 예를 들면, SDRAM (Synchronous DRAM)과 같은 DRAM (Dynamic Random Access Memory), HBM (High Bandwidth Memory) 모듈, 또는 HMC (Hybrid Memory Cube) 메모리 모듈과 같은 DRAM 기반 3DS (3-Dimensional Stack) 메모리 모듈일 수 있다. 메모리 모듈(20)은 예를 들면, SSD(Solid State Drive), DRAM 모듈, 또는 SRAM (Static Random Access Memory), PRAM (Phase-Change Random Access Memory), RRAM (Resistive Random Access Memory), CBRAM (Conductive-Bridging RAM), MRAM (Magnetic RAM), STT-MRAM (Spin-Transfer Torque MRAM) 등과 같은 반도체 기반의 스토리지일 수 있다.

도 2는 본 개시의 예시적인 실시 예에 따른 카메라 모듈을 설명하기 위한 구성도이다.

도 1 및 도 2를 참조하면, 카메라 모듈(100)은 광원부(12) 및 거리 측정을 위한 이미지 센서(14)를 포함할 수 있고, 물체(200)에 대한 깊이 정보(DI)를 포함하는 깊이 데이터(DDATA)를 획득하는 데에 사용될 수 있다. 예시적인 실시 예에서, 깊이 데이터(DDATA)는 프로세서(30)에 의해 3차원 사용자 인터페이스의 일부로 사용되어, 시스템(10)의 사용자가 게임 또는 시스템(10)에서 실행되는 다른 응용의 일부로서 물체(200)의 3차원 이미지와 상호 동작하거나 또는 3차원 물체(200)의 3차원 이미지를 사용하는 것을 가능하게 할 수 있다.

광원부(12)는 광원 드라이버(210) 및 광원(220)을 포함할 수 있다. 광원부(12)는 렌즈를 더 포함할 수 있고, 광원(220)에서 생성된 빛을 확산시키는 확산기(diffuser)를 더 포함할 수 있다.

광원(220)은 물체(200)에 송신 광 신호(TX)를 전송할 수 있다. 광원(220)은 적외선 또는 가시광을 발광하는 레이저 다이오드(LD, Laser Diode)나 발광 다이오드(LED, Light Emitting Diode), 근적외선 레이저(NIR), 포인트 광원, 백색 램프 및 모노크로메이터(monochromator)가 조합된 단색(monochromatic) 조명원, 또는 다른 레이저 광원의 조합일 수 있다. 예를 들어, 광원(220)은 수직 캐비티 표면 광방출 레이저(vertical-cavity surface-emitting laser, 또는 VCSEL)일 수 있다. 예시적인 실시 예에서, 광원(220)은 800㎚ 내지 1000㎚의 파장을 가지는 적외선의 송신 광 신호(TX)를 출력할 수 있다.

광원 드라이버(210)는 광원(220)을 구동시키기 위한 구동 신호를 생성할 수 있다. 광원 드라이버(210)는 제어 회로(120)로부터 수신된 모듈레이션 신호(MOD)에 응답하여 광원(220)을 구동할 수 있다. 이 때, 모듈레이션 신호(MOD)는 지정된 적어도 하나의 모듈레이션 주파수를 갖도록 형성될 수 있다. 모듈레이션 주파수는 적어도 하나의 값을 가질 수 있다. 예를 들어, 제어 회로(120)는 특정 서브 프레임에서 제1 모듈레이션 주파수(예를 들어, 도 4의 F1)의 모듈레이션 신호(MOD)를 생성할 수 있고, 다른 서브 프레임에서 제2 모듈레이션 주파수(예를 들어, 도 4의 F2)의 모듈레이션 신호(MOD)를 생성할 수 있다.

이미지 센서(14)로는 물체(200)에서 반사된 수신 광 신호(RX)가 수신될 수 있다. 이미지 센서(14)는 ToF 원리를 이용하여 거리 또는 깊이를 측정할 수 있다.

이미지 센서(14)는 픽셀 어레이(110), 제어 회로(120), 리드아웃 회로(130), 전처리 회로(140), 메모리(150), 캘리브레이션 회로(160), 이미지 신호 프로세서(Image Signal Processor, ISP)(170), 및 출력 인터페이스 회로(180)를 포함할 수 있다. 이미지 센서(14)는 렌즈를 더 포함할 수 있고, 렌즈를 통해 수신 광 신호(RX)가 픽셀 어레이(110)로 제공될 수 있다. 또한, 이미지 센서(14)는 리드아웃 회로(130)로 램프 신호를 제공하는 램프 신호 생성기를 더 포함할 수 있고, 주변 광 환경을 계산하고 비닝 모드의 수행 여부를 결정하는 주변 광 센서(Ambient Light Detector, ALD) 등을 더 포함할 수 있다.

픽셀 어레이(110)는 복수의 단위 픽셀(111)들을 포함할 수 있다. 복수의 단위 픽셀(111)들은 ToF 방식으로 동작할 수 있다. 복수의 단위 픽셀(111)들 각각의 구조는 도 3a 및 도 3b에서 후술하겠다.

픽셀 어레이(110)는 수신된 수신 광 신호(RX)를 대응하는 전기 신호들, 즉, 복수의 픽셀 신호들(PS)로 변환할 수 있다. 픽셀 어레이(110)는 제어 회로(120)로부터 제공되는 제어 신호들에 따라, 복수의 픽셀 신호들(PS)을 생성할 수 있다. 픽셀 어레이(110)는 단위 픽셀(111)들 각각에 포함된 전송 트랜지스터들 각각을 제어하기 위한 포토 게이트 신호들로서 복수의 디모듈레이션 신호들(DEMOD)을 제어 회로(120)로부터 수신할 수 있다. 복수의 픽셀 신호들(PS)은 송신 광 신호(TX) 및 수신 광 신호(RX) 사이의 위상 차 정보를 포함할 수 있다.

복수의 디모듈레이션 신호들(DEMOD)은 모듈레이션 신호(MOD)와 동일한 주파수, 즉, 모듈레이션 주파수를 가질 수 있고, 서로 90도의 위상 차이를 갖는 제1 내지 제4 포토 게이트 신호(예를 들어, 도 3의 PGA~PGD)를 포함할 수 있다. 예를 들어, 제1 포토 게이트 신호(PGA)는 0°의 위상, 제2 포토 게이트 신호(PGB)는 90°의 위상, 제3 포토 게이트 신호(PGC)는 180°의 위상, 제4 포토 게이트 신호(PGD)는 270°의 위상을 가질 수 있다. 픽셀 어레이(110)에서 출력되는 복수의 픽셀 신호들(PS)은 제1 포토 게이트 신호(PGA)에 따라 생성된 제1 픽셀 신호(예를 들어, 도 3의 Vout1), 제2 포토 게이트 신호(PGB)에 따라 생성된 제2 픽셀 신호(예를 들어, 도 3의 Vout2), 제3 포토 게이트 신호(PGC)에 따라 생성된 제3 픽셀 신호(예를 들어, 도 3의 Vout3), 및 제4 포토 게이트 신호(PGD)에 따라 생성된 제4 픽셀 신호(예를 들어, 도 3의 Vout4)를 포함할 수 있다.

리드아웃 회로(130)는 픽셀 어레이(110)로부터 출력된 복수의 픽셀 신호들(PS)에 기초하여 로우 데이터(Raw Data, RDATA)를 생성할 수 있다. 리드아웃 회로(130)는 복수의 픽셀 신호들(PS) 각각에 대해 아날로그-디지털 변환을 수행하여 로우 데이터(RDATA)를 생성할 수 있다. 예를 들어, 리드아웃 회로(130)는 CDS(Correlated Double Sampling) 회로, 컬럼(Column) 카운터, 및 디코더 등을 포함할 수 있다. 리드아웃 회로(130)는 복수의 픽셀 신호들(PS)을 램프 신호와 비교하는 CDS 동작을 수행할 수 있다.

제어 회로(120)는 이미지 센서(14)의 구성 요소들을 제어할 수 있고, 광원부(12)의 광원 드라이버(210)를 제어할 수 있다. 제어 회로(120)는 광원 드라이버(210)로 모듈레이션 신호(MOD)를 전송할 수 있고, 픽셀 어레이(110)로 모듈레이션 신호(MOD)에 대응하는 복수의 디모듈레이션 신호들(DEMOD)을 전송할 수 있다. 제어 회로(120)는 복수의 디모듈레이션 신호들(DEMOD)을 포토 게이트 신호로서 픽셀 어레이(110)로 제공하는 포토 게이트 드라이버, 픽셀 어레이(110)로 로우(row) 제어 신호들을 제공하는 로우 드라이버 및 디코더, 마스터 클락 신호로부터 내부 클락 신호를 생성하는 위상 고정 루프(Phase Locked Loop, PLL) 회로, 각 제어 신호들의 타이밍을 조절하는 타이밍 생성기, 모듈레이션 신호(MOD)를 전송하는 전송 회로, 및 외부로부터 커맨드를 수신하여 이미지 센서(12)의 동작을 제어하는 메인 컨트롤러 등을 포함할 수 있다.

예시적인 실시 예에서, 제어 회로(120)는 서브 프레임에 따라 단위 픽셀(111)의 포토 게이트 트랜지스터(예를 들어, 도 3의 TS1~TS4)에 제공되는 포토 게이트 신호의 위상을 변경하는 셔플(shuffle) 동작을 수행할 수 있다. 셔플 동작을 통해 공정상 발생하는 단위 픽셀(111) 내의 각 탭(Tap) 간의 미스매치, 또는 단위 픽셀(111)과 리드아웃 회로(130)의 미스매치를 보상할 수 있다.

예시적인 실시 예에서, 제어 회로(120)는 주변 광 센서에 의해 감지된 주변 광 환경에 기초하여, 비닝 모드를 수행할 수 있다. 예를 들어, 제어 회로(120)는 저조도 환경에서는 비닝 모드를 수행할 수 있다. 제어 회로(120)는 복수의 단위 픽셀(111), 예를 들어, 4개의 단위 픽셀(111)에서 출력되는 픽셀 신호들 중 동일한 위상에 대한 신호들을 서로 합산하여 하나의 신호로서, 아날로그-디지털 변환하도록 픽셀 어레이(110) 및 리드아웃 회로(130)를 제어하는 아날로그 비닝 모드를 수행할 수 있다. 아날로그 비닝 모드에서는 실질적으로 광에 대한 반응성이 증가하는 효과가 있을 수 있다.

또는, 제어 회로(120)는 복수의 단위 픽셀(111), 예를 들어, 4개의 단위 픽셀(111)에서 출력되는 픽셀 신호들을 아날로그-디지털 변환한 후, 동일한 위상에 대한 데이터를 합산하는 디지털 비닝 모드를 수행할 수 있다. 디지털 비닝 모드에서는 실질적으로 FWC(full well capacity)가 증가하는 효과가 있을 수 있다.

전처리 회로(140)는 로우 데이터(RDATA)를 ISP(170)의 동작이 용이하도록 전처리할 수 있다. 전처리 회로(140)는 로우 데이터(RDATA)를 깊이 정보로 변환하기 용이한 형태로 변환하거나, 압축하여 위상 데이터(PDATA)를 생성할 수 있다.

예를 들어, 전처리 회로(140)는 0°의 위상을 갖는 제1 포토 게이트 신호(PGA)에 따라 생성된 로우 데이터에서, 180°의 위상을 갖는 제3 포토 게이트 신호(PGC)에 따라 생성된 로우 데이터를 뺀 값(I 값)을 계산할 수 있다. 또한, 예를 들어, 전처리 회로(140)는 90°의 위상을 갖는 제2 포토 게이트 신호(PGB)에 따라 생성된 로우 데이터에서, 270°의 위상을 갖는 제4 포토 게이트 신호(PGD)에 따라 생성된 로우 데이터를 뺀 값(Q 값)을 계산할 수 있다.

메모리(150)에는 전처리 회로(140)에서 전처리된 위상 데이터가 저장될 수 있다. 예를 들어, 메모리(150)는 버퍼로 구현될 수 있다. 메모리(150)는 프레임 메모리를 포함할 수 있고, 1회의 노출 집광 동작 및 1회의 리드아웃 동작을 통해 생성된 서브 프레임 단위의 위상 데이터가 메모리(150)에 저장될 수 있다. 예를 들어, 셔플 동작 또는 모듈레이션 주파수 변경에 따른 복수의 서브 프레임들 각각에 대한 위상 데이터(PDATA)가 메모리(150)에 각각 저장될 수 있다.

캘리브레이션 회로(160)는 ISP(170)의 깊이 정보(DI) 생성의 정확도를 향상시키기 위한 캘리브레이션 동작을 수행할 수 있다. 캘리브레이션 정보(예를 들어, 도 5의 CD)에 기초하여, 위상 데이터(PDATA)에 대한 캘리브레이션 동작을 수행하여 보정 데이터(CDATA)를 생성할 수 있다. 예를 들어, 캘리브레이션 회로(160)는 이미지 센서(14)의 물리적 특성 또는 카메라 모듈(100)에 포함된 렌즈의 물리적 특성 등을 고려한 캘리브레이션 동작, 광원부(12)와 이미지 센서(14) 사이의 거리를 고려한 캘리브레이션 동작, 또는 사각파의 디모듈레이션 신호들(DEMOD)에 의한 비선형 필터 오차를 고려한 캘리브레이션 동작 등을 수행할 수 있다.

도 2에서는 캘리브레이션 회로(160)가 메모리(150)에 저장된 위상 데이터(PDATA)에 대한 캘리브레이션 동작을 수행하는 것으로 도시하였으나, 본 개시에 따른 이미지 센서(14)는 이에 한정되지 않는다. 캘리브레이션 회로(160)는 전처리 회로(140)로부터 위상 데이터(PDATA)를 수신할 수도 있고, 캘리브레이션 동작이 완료됨에 따라 생성된 보정 데이터(CDATA)가 메모리(150)에 저장될 수도 있다.

ISP(170)는 캘리브레이션 회로(160)로부터 보정 데이터(CDATA)를 수신하고, 깊이 정보(DI)를 생성할 수 있다. 다만, ISP(170)는 메모리(150)로부터 위상 데이터(PDATA)를 수신할 수도 있고, 캘리브레이션 회로(160)의 동작을 ISP(170)에서 수행할 수도 있다.

예시적인 실시 예에서, ISP(170)는 eDPU(embedded depth processor unit)로 구현될 수 있고, eDPU는 위상 지연 계산, 렌즈 보정, 공간 필터링, 시간 필터링, 데이터 언폴딩(unfolding) 등을 수행하여 깊이 정보(DI)를 생성할 수 있다. eDPU는 hard-wired 로직을 사용하여 간단한 수학 연산을 수행하도록 구현될 수 있으나, 이에 한정되지는 않는다. 캘리브레이션 회로(160)도 eDPU로 구현될 수도 있다. eDPU는 셔플 동작, 디모듈레이션 주파수 변경에 따른 보정을 수행할 수 있다.

ISP(170)는 복수의 서브 프레임들 각각에서 생성된 보정 데이터(CDATA)를 이용하여 하나의 깊이 프레임에 대응하는 깊이 정보(DI)를 생성할 수 있다. ISP(170)는 전처리 회로(140)에서 데이터 압축을 수행한 경우에는 보정 데이터(CDATA)를 압축 해제하는 동작을 수행할 수 있다.

보정 데이터(CDATA)는 송신 광 신호(TX) 및 수신 광 신호(RX) 사이의 위상차 정보를 포함할 수 있다. ISP(170)는 이러한 위상차 정보를 이용하여 물체(200)와 카메라 모듈(100) 사이의 거리를 계산할 수 있고, 깊이 정보(DI)를 생성할 수 있다. 예를 들어, 전술한 바와 같이 전처리 회로(140)가 I 값 및 Q 값을 계산하는 전처리 동작을 수행한 경우에는, I 값 및 Q 값을 이용(예를 들어, I 값에 대한 Q 값의 비율을 역삼각함수(arctangent) 연산)하여, 송신 광 신호(TX) 및 수신 광 신호(RX) 사이의 위상 차를 구할 수 있고, 위상차로부터 물체(200)와 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 또는, 예를 들어, ISP(150)는 I 값 및 Q 값을 계산하고, I 값 및 Q 값을 이용하여, 송신 광 신호(TX) 및 수신 광 신호(RX) 사이의 위상 차를 구할 수 있고, 위상 차로부터 물체(200)와 카메라 모듈(100) 사이의 거리를 계산할 수 있다.

예시적인 실시 예에서, ISP(170)는 제1 모듈레이션 주파수(F1) 및 제2 모듈레이션 주파수(F2)의 다중 주파수 모듈레이션 신호(MOD) 및 다중 주파수 디모듈레이션 신호들(DEMOD)에 따라 생성된 보정 데이터(CDATA)를 이용하여, 교차 연산함으로써, 최대 측정 거리의 한계에 따른 깊이 정보(DI)의 에러인 리피티드 디스턴스(repeated distance) 현상을 방지할 수 있어 최대 측정 거리에 구속 받지 않는 깊이 정보를 얻을 수 있다. 또한, 예시적인 실시 예에서, ISP(170)는 셔플 동작을 통해 생성된 제1 서브 프레임 및 제2 서브 프레임 각각의 보정 데이터(CDATA)를 통해, 공정상 발생하는 단위 픽셀(111) 내의 각 탭(Tap) 간의 미스매치, 또는 단위 픽셀(111)과 리드아웃 회로(130)의 미스매치로 인하여 발생된 노이즈를 보정할 수 있다.

출력 인터페이스 회로(180)는 ISP(170)로부터 수신된 깊이 정보(DI)를 포맷하여 생성된 깊이 프레임 단위의 깊이 데이터(DDATA)를 채널을 통해 외부로 출력할 수 있다. 본 개시에 따른 거리 측정을 위한 이미지 센서(14)는 내부에 메모리(150) 및 ISP(170)를 포함하므로 이미지 센서(14) 자체 내에서 위상 차 계산이 가능하고 깊이 정보(DI)를 포함하는 깊이 데이터(DDATA)를 생성할 수 있다. 따라서, 이미지 센서(14)가 깊이 데이터(DDATA)를 외부의 프로세서(30)로 전송하므로, 이미지 센서(14) 및 프로세서(30) 사이의 채널의 대역폭 한계에도 데이터 전송의 지연을 방지할 수 있어, 깊이 데이터(DDATA)의 이미지 품질이 증가될 수 있다.

또한, 이미지 센서(14)의 캘리브레이션 회로(160)는 깊이 데이터(DDATA)에 발생할 수 있는 노이즈를 감소시킬 수 있고, 이미지 센서(14) 전용의 ISP(170)를 사용함으로써 높은 품질의 깊이 데이터(DDATA) 생성이 가능하다. 이미지 센서(14)의 외부 프로세서(30)는 경량화할 수 있고, 전체 시스템(10)의 전력 소모를 줄일 수 있다.

도 3a는 도 2에 도시된 단위 픽셀의 구조의 예시적 실시 예를 설명하기 위한 도면이다.

도 3a에서 설명되는 단위 픽셀(111)은 4-탭(tap) 구조를 가질 수 있다. 4-탭 구조는 하나의 단위 픽셀(111)이 4개의 탭들을 포함하는 구조를 의미하며, 탭은 외부의 광신호가 조사됨에 따라 단위 픽셀(111) 내에서 생성되고 축적된 광전하를 위상 별로 구별하여 전달할 수 있는 단위 성분을 의미할 수 있다.

4-탭 구조의 단위 픽셀(111)들을 포함하는 이미지 센서(예를 들어, 도 2의 14)는 4개의 탭들을 이용하여 0˚, 90˚, 180˚, 및 270˚ 위상에 대하여 전송하는 방식을 구현할 수 있다. 예를 들어, 단위 픽셀(111)의 제1 탭을 기준으로 하여, 단위 픽셀(111)의 제1 탭이 0˚의 위상에 대한 제1 픽셀 신호(Vout1)를 생성할 때, 제2 탭은 90˚ 위상에 대한 제2 픽셀 신호(Vout2)를 생성하고, 제3 탭은 180˚의 위상에 대한 제3 픽셀 신호(Vout3)를 생성하고, 제4 탭은 270˚ 위상에 대한 제4 픽셀 신호(Vout4)를 생성할 수 있다.

픽셀 어레이(예를 들어, 도 2의 110)는 복수의 행들 및 복수의 열들로 배치되는 단위 픽셀(111)들을 포함할 수 있다. 예시적인 실시 예에서, 제1 탭 및 제4 탭은 i 번째 로우에 배치될 수 있고, 제2 탭 및 제3 탭은 i+1 번째 로우에 배치될 수 있다.

도 3a를 참조하면, 단위 픽셀(111)은 포토 다이오드(PD), 오버플로우 트랜지스터(OT), 전송 트랜지스터들(TS1~TS4), 스토리지 트랜지스터들(SS1~SS4), 탭 전송 트랜지스터들(TXS1~TXS4), 리셋 트랜지스터들(RX1~RX4), 소스 팔로워들(SF1~SF4) 및 선택 트랜지스터들(SEL1~SEL4)을 포함할 수 있다. 예시적인 실시 예에 따라, 오버플로우 트랜지스터(OT), 스토리지 트랜지스터들(SS1~SS4), 탭 전송 트랜지스터들(TXS1~TXS4), 리셋 트랜지스터들(RX1~RX4), 소스 팔로워들(SF1~SF4) 및 선택 트랜지스터들(SEL1~SEL4) 중 적어도 하나가 생략될 수 있다. 또한, 예시적인 실시 예에 따라, 단위 픽셀(111)은 전송 트랜지스터(TS1~TS4 중 하나) 및 스토리지 트랜지스터(SS1~SS4 중 하나) 사이에 배치되는 트랜지스터를 더 포함할 수도 있다.

포토 다이오드(PD)는 수신 광 신호(예를 들어, 도 2의 RX)의 세기에 따라 가변되는 광 전하를 생성할 수 있다. 즉, 포토 다이오드(PD)는 수신 광 신호(RX)를 전기적 신호로 전환할 수 있다. 포토 다이오드(PD)는 광전 변환 소자의 예로서, 포토 트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토다이오드(pinned photo diode(PPD)) 및 이들의 조합 중에서 적어도 하나일 수 있다.

제1 내지 제4 전송 트랜지스터(TS1~TS4) 각각은 제1 내지 제4 포토 게이트 신호(PGA~PGD)에 따라 포토 다이오드(PD)에서 생성된 전하를 제1 내지 제4 스토리지 트랜지스터(SS1~SS4) 각각으로 전송할 수 있다. 따라서, 제1 내지 제4 전송 트랜지스터(TS1~TS4) 각각은 제1 내지 제4 포토 게이트 신호(PGA~PGD)에 따라 포토 다이오드(PD)에서 생성된 전하를 제1 내지 제4 플로팅 디퓨젼 노드(FD1~FD4)로 전송할 수 있다.

제1 내지 제4 포토 게이트 신호(PGA~PGD)는 도 2의 디모듈레이션 신호들(DEMOD)에 포함될 수 있고, 서로 동일한 주파수 및 듀티비를 갖고 위상이 서로 상이한 신호일 수 있다. 제1 내지 제4 포토 게이트 신호(PGA~PGD)는 서로 90도의 위상 차이를 가질 수 있다. 예를 들어, 제1 포토 게이트 신호(PGA)를 기준으로, 제1 포토 게이트 신호(PGA)가 0˚의 위상을 가질 때, 제2 포토 게이트 신호(PGB)는 90˚, 제3 포토 게이트 신호(PGC)는 180˚, 제4 포토 게이트 신호(PGD)는 270˚의 위상을 가질 수 있다.

제1 내지 제4 스토리지 트랜지스터(SS1~SS4)는 제1 내지 제4 스토리지 제어 신호(SGA~SGD)에 따라 제1 내지 제4 전송 트랜지스터(TS1~TS4) 각각을 통해 전송된 광 전하를 저장할 수 있다. 제1 내지 제4 탭 전송 트랜지스터들(TXS1~TXS4)은 제1 전송 제어 신호(TG[i]) 및 제2 전송 제어 신호(TG[i+1])에 따라 제1 내지 제4 스토리지 트랜지스터(SS1~SS4) 각각에 저장된 광 전하를 제1 내지 제4 플로팅 디퓨젼 노드(FD1~FD4)에 전송할 수 있다.

제1 내지 제4 플로팅 디퓨젼 노드(FD1~FD4)에 축적된 광 전하에 의한 전위에 따라 제1 내지 제4 소스 팔로워들(SF1~SF4)은 제1 내지 제4 선택 트랜지스터(SELX1~SELX4)로 대응하는 광 전하를 증폭하여 출력할 수 있다. 제1 내지 제4 선택 트랜지스터(SELX1~SELX4)는 제1 선택 제어 신호(SEL[i]) 및 제2 선택 제어 신호(SEL[i+1])에 응답하여 컬럼 라인들을 통해 제1 내지 제4 픽셀 신호(Vout1~Vout4)를 출력할 수 있다.

단위 픽셀(111)은 일정 시간, 예를 들어, 집광 시간(integration time) 동안 광 전하를 축적하고, 축적 결과에 따라 생성된 제1 내지 제4 픽셀 신호(Vout1~Vout4)를 리드아웃 회로(예를 들어, 도 2의 130)로 출력할 수 있다.

제1 내지 제4 리셋 트랜지스터(RX1~RX4)는 제1 리셋 제어 신호(RS[i]) 및 제2 리셋 제어 신호(RS[i+1])에 응답하여 제1 내지 제4 플로팅 디퓨젼 노드(FD1~FD4)를 전원 전압(VDD)으로 리셋할 수 있다. 오버플로우 트랜지스터(OT)는 오버플로우 제어 신호(OG)에 따라 오버플로우 전하를 배출하기 위한 트랜지스터로서, 오버플로우 트랜지스터(OT)의 소스는 포토 다이오드(PD)와 연결될 수 있고, 오버플로우 트랜지스터(OT)의 드레인은 전원 전압(VDD)이 제공될 수 있다.

도 3b는 도 2에 도시된 단위 픽셀의 구조의 예시적 실시 예를 설명하기 위한 도면이다.

도 3b에서 설명되는 단위 픽셀(111A)은 2-탭 구조를 가질 수 있다. 2-탭 구조는 하나의 단위 픽셀(111A)이 2개의 탭들을 포함하는 구조를 의미하며, 탭은 외부의 광신호가 조사됨에 따라 단위 픽셀(111A) 내에서 생성되고 출적된 광전하를 위상별로 구별하여 전달할 수 있는 단위 성분을 의미할 수 있다.

2-탭 구조의 단위 픽셀(111A)들을 포함하는 이미지 센서(예를 들어, 도 2의 14)는 2개의 탭들을 이용하여 0˚, 90˚, 180˚, 및 270˚ 위상에 대하여 전송하는 방식을 구현할 수 있다. 예를 들어, 이븐(even) 서브 프레임에서 단위 픽셀(111A)의 제1 탭을 기준으로 0˚의 위상에 대한 제1 픽셀 신호(Vout1)를 생성할 때, 제2 탭은 180˚ 위상에 대한 제2 픽셀 신호(Vout2)를 생성하고, 오드(odd) 서브 프레임에서 제1 탭은 90˚의 위상에 대한 제1 픽셀 신호(Vout1)를 생성하고, 제2 탭은 270˚ 위상에 대한 제2 픽셀 신호(Vout2)를 생성할 수 있다.

픽셀 어레이(예를 들어, 도 2의 110)는 복수의 행들 및 복수의 열들로 배치되는 단위 픽셀(111A)들을 포함할 수 있다. 예시적인 실시 예에서, 제1 탭 및 제2 탭은 i 번째 로우에 배치될 수 있다.

도 3b을 참조하면, 단위 픽셀(111A)은 포토 다이오드(PD), 오버플로우 트랜지스터(OT), 전송 트랜지스터들(TS1, TS2), 스토리지 트랜지스터들(SS1, SS2), 탭 전송 트랜지스터들(TXS1, TXS2), 리셋 트랜지스터들(RX1, RX2), 소스 팔로워들(SF1, SF2) 및 선택 트랜지스터들(SEL1, SEL2)을 포함할 수 있다. 예시적인 실시 예에 따라, 오버플로우 트랜지스터(OT), 스토리지 트랜지스터들(SS1, SS2), 탭 전송 트랜지스터들(TXS1, TXS2), 리셋 트랜지스터들(RX1, RX2), 소스 팔로워들(SF1, SF2) 및 선택 트랜지스터들(SEL1, SEL2) 중 적어도 하나가 생략될 수 있다. 또한, 예시적인 실시 예에 따라, 단위 픽셀(111A)은 전송 트랜지스터(TS1, TS2 중 하나) 및 스토리지 트랜지스터(SS1, SS2 중 하나) 사이에 배치되는 트랜지스터를 더 포함할 수도 있다.

제1 전송 트랜지스터(TS1)는 이븐 서브 프레임에서 제1 포토 게이트 신호(PGA)에 따라 포토 다이오드(PD)에서 생성된 전하를 제1 스토리지 트랜지스터(SS1)로 전송할 수 있고, 오드 서브 프레임에서 제2 포토 게이트 신호(PGB)에 따라 포토 다이오드(PD)에서 생성된 전하를 제1 스토리지 트랜지스터(SS1)로 전송할 수 있다. 제2 전송 트랜지스터(TS2)는 이븐 서브 프레임에서 제3 포토 게이트 신호(PGC)에 따라 포토 다이오드(PD)에서 생성된 전하를 제2 스토리지 트랜지스터(SS2)로 전송할 수 있고, 오드 서브 프레임에서 제4 포토 게이트 신호(PGD)에 따라 포토 다이오드(PD)에서 생성된 전하를 제2 스토리지 트랜지스터(SS2)로 전송할 수 있다. 제1 내지 제4 포토 게이트 신호(PGA~PGD)는 도 2의 디모듈레이션 신호들(DEMOD)에 포함될 수 있고, 서로 동일한 주파수 및 듀티비를 갖고 위상이 서로 상이한 신호일 수 있다. 제1 내지 제4 포토 게이트 신호(PGA~PGD)는 서로 90도의 위상 차이를 가질 수 있다.

단위 픽셀(111A)은 이븐 서브 프레임에서 집광 시간 동안 광 전하를 축적하고 축적 결과에 따라 생성된 제1 픽셀 신호(Vput1) 및 제2 픽셀 신호(Vout2)를 리드아웃 회로(예를 들어, 도 2의 130)로 출력할 수 있다. 또한, 단위 픽셀(111A)은 오드 서브 프레임에서 집광 시간 동안 광 전하를 축적하고 축적 결과에 따라 생성된 제1 픽셀 신호(Vput1) 및 제2 픽셀 신호(Vout2)를 리드아웃 회로(130)로 출력할 수 있다.

도 4a 및 도 4b는 본 개시의 예시적인 실시예에 따른 시스템에 대한 개략적인 구성을 나타내는 블록도들이다. 도 5는 메모리(16, 16A)에 저장된 캘리브레이션 정보를 설명하기 위한 도면이다. 본 개시에 따른 카메라 모듈(100a, 100b)은 캘리브레이션 동작에 이용되는 캘리브레이션 정보가 내부 메모리에 저장될 수 있다. 다만, 도 4a 및 도 4b에 도시된 바에 한정되지 않으며, 카메라 모듈(100a, 100b)은 외부(예를 들어, 프로세서(30))로부터 캘리브레이션 정보를 수신할 수도 있다.

도 4a를 참조하면, 카메라 모듈(100a)은 캘리브레이션 정보(CD)가 저장된 메모리(16)를 더 포함할 수 있고, 이미지 센서(14)는 메모리(16)로부터 캘리브레이션 정보(CD)를 수신할 수 있다. 이미지 센서(14)는 외부의 메모리(16)로부터 수신된 캘리브레이션 정보(CD)에 기초하여, 캘리브레이션 동작을 수행할 수 있다.

도 4b를 참조하면, 카메라 모듈(100b)은 메모리(16')를 포함하는 이미지 센서(14')를 포함할 수 있다. 메모리(16')는 캘리브레이션 정보(CD)를 저장할 수 있고, 도 2의 메모리(150)와는 구분되는 메모리일 수 있다. 이미지 센서(14')의 캘리브레이션 회로(예를 들어, 160)는 이미지 센서(14') 내부의 메모리(16')로부터 수신된 캘리브레이션 정보(CD)에 기초하여, 캘리브레이션 동작을 수행할 수 있다.

예시적인 실시 예에서, 메모리(16, 16')는 OTP(One Time Programmable) 메모리 또는 EEPROM(Electrically Erasable Programmable Read-Only Memory)일 수 있으나, 이에 한정되지는 않으며, 다양한 메모리 형태로 구현이 가능하다.

도 2 및 도 5를 참조하면, 메모리(16, 16')에 저장된 캘리브레이션 정보(CD)는 예를 들어, 고유 특성 파라미터, 위글링(wiggling) 룩업 테이블, 고정 위상 패턴 노이즈(Fixed Phase Pattern Noise, FPPN) 룩업 테이블, 및 온도 파라미터 중 적어도 하나를 포함할 수 있다. 온도 파라미터는 카메라 모듈(100)의 온도 환경과 관련된 캘리브레이션 파라미터일 수 있다.

고유 특성 파라미터는 카메라 모듈(100)의 고유한 물리적 특성과 관련된 캘리브레이션 파라미터일 수 있다. 즉, 고유 특성 파라미터는 이미지 센서(14) 및 광원부(12)의 물리적 특성과 관련된 캘리브레이션 파라미터일 수 있다. 예를 들어, 고유 특성 파라미터는 송신 광 신호(TX) 및 수신 광 신호(RX)를 전송하고 수신하기 위해 카메라 모듈(100)에 포함된 렌즈의 왜곡으로 인한 에러를 보정하기 위한 파라미터 또는 렌즈가 카메라 모듈(100)에 조립될 때의 이동/기울어짐 등으로 인한 에러를 보정하기 위한 파라미터를 포함할 수 있다.

위글링 룩업 테이블은 위글링 효과를 보정하기 위한 룩업 테이블을 포함할 수 있다. 위글링 효과는 광원부(12)에서 출력되는 송신 광 신호의 파형과 디모듈레이션 신호들(DEMOD)의 파형에 따라 발생하는 고조파(Harmonic) 성분들에 의해 발생하는 에러를 의미할 수 있다. 이 때, 위글링 효과로 인한 에러는 물체와 카메라 모듈 사이의 거리에 따라 달라질 수 있고, 위글링 룩업 테이블은 물체와 카메라 모듈 사이의 거리에 따른 보정 정도에 대한 정보를 포함할 수 있다.

FPPN 룩업 테이블은 FPPN으로 인한 에러를 보정하기 위해 이용될 수 있다. FPPN은 광원부(12)와 이미지 센서(14)의 미스얼라인에 의해 발생할 수 있다. 예를 들어, FPPN 룩업 테이블은 픽셀 어레이(110)에서 단위 픽셀(111)의 위치에 따른 위상 편차를 보정하기 위한 정보로서, 위치에 따른 보정 정도에 대한 정보를 포함할 수 있다. 예를 들어, FPPN 룩업 테이블을 이용하여, 광원부(12)와 이미지 센서(14) 사이의 거리로 인한 에러를 또는 제어 회로(120)에서 픽셀 어레이(110)로 제어 신호들을 제공하는 데에 발생하는 시간 지연으로 인한 에러 등에 대한 캘리브레이션 동작이 수행될 수 있다.

도 6은 본 개시에 따른 이미지 센서의 동작을 설명하기 위한 도면으로서, 제1 내지 제4 포토 게이트 신호의 주파수를 설명하기 위한 타이밍도이다.

도 2 및 도 6을 참조하면, 제어 회로(120)는 제1 서브 프레임에서 제1 모듈레이션 주파수(F1)를 갖는 제1 내지 제4 포토 게이트 신호(PGA1~PGD1)를 생성할 수 있다. 또한, 제어 회로(120)는 제2 서브 프레임에서 제2 모듈레이션 주파수(F2)를 갖는 제1 내지 제4 포토 게이트 신호(PGA2~PGD2)를 생성할 수 있다. 제1 모듈레이션 주파수(F1) 및 제2 모듈레이션 주파수(F2)는 서로 상이할 수 있다. 예를 들어, 제1 모듈레이션 주파수(F1)는 20MHz로 설정될 수 있고, 제2 모듈레이션 주파수(F2)는 10MHz로 설정될 수 있다. 또는 예를 들어, 제1 모듈레이션 주파수(F1)는 100MHz로 설정될 수 있고, 제2 모듈레이션 주파수(F2)는 30MHz로 설정될 수 있다.

거리 측정을 위한 이미지 센서(14)가 측정할 수 있는 최대 측정 거리는 모듈레이션 주파수에 반비례할 수 있다. 예를 들어, 제1 모듈레이션 주파수(F1)가 20MHz일 때 최대 측정 거리는 7.5m일 수 있고, 제2 모듈레이션 주파수(F2)가 10MHz일 때 최대 측정 거리는 15m일 수 있다. 따라서, ISP(170)는 모듈레이션 주파수를 변경하고, 제1 서브 프레임에서 생성된 픽셀 신호들(PS) 및 제2 서브 프레임에서 생성된 픽셀 신호들(PS)에 기초한, 교차 연산(최대공약수 연산)을 통해 깊이 정보(DI)를 생성하므로, 최대 측정 거리의 한계에 따른 깊이 정보(DI)의 에러인 리피티드 디스턴스 현상을 방지할 수 있어 최대 측정 거리에 구속 받지 않는 깊이 정보(DI)를 얻을 수 있다.

도 7은 본 개시에 따른 이미지 센서의 셔플 동작을 설명하기 위한 도면이다. 도 7에서는 이미지 센서(14)의 단위 픽셀(111)이 도 3a에서 설명된 4-탭 구조를 가지는 예시에 대한 설명이다.

도 2, 도 3a 및 도 7을 참조하면, 제1 서브 프레임에서 이미지 센서(14)는 단위 픽셀(111)의 제1 탭의 제1 전송 트랜지스터(TS1)로는 0˚의 위상을 갖는 제1 포토 게이트 신호(PGA)를 제공하고, 제2 탭의 제2 전송 트랜지스터(TS2)로는 90˚의 위상을 갖는 제2 포토 게이트 신호(PGB)를 제공하고, 제3 탭의 제3 전송 트랜지스터(TS3)로는 180˚의 위상을 갖는 제3 포토 게이트 신호(PGC)를 제공하고, 제4 탭의 제4 전송 트랜지스터(TS4)로는 270˚의 위상을 갖는 제4 포토 게이트 신호(PGD)를 제공할 수 있다. 따라서, 단위 픽셀(111)의 제1 탭을 기준으로 하여, 단위 픽셀(111)의 제1 탭이 0˚의 위상에 대한 제1 픽셀 신호(Vout1)를 생성할 때, 제2 탭은 90˚ 위상에 대한 제2 픽셀 신호(Vout2)를 생성하고, 제3 탭은 180˚의 위상에 대한 제3 픽셀 신호(Vout3)를 생성하고, 제4 탭은 270˚ 위상에 대한 제4 픽셀 신호(Vout4)를 생성할 수 있다. 제1 서브 프레임에서는, 서로 다른 4개의 위상(0˚, 90˚, 180˚, 270˚)의 포토 게이트 신호들(PGA~PGD) 각각에 따른 제1 내지 제4 픽셀 신호(Vout1~Vout4)로부터 제1 로우 데이터(RDATA1')가 생성될 수 있다.

제1 서브 프레임에 이은 제2 서브 프레임에서 이미지 센서(14)는 셔플 동작을 수행할 수 있다. 이미지 센서(14)는 단위 픽셀(111)의 제1 탭의 제1 전송 트랜지스터(TS1)로는 180˚의 위상을 갖는 제3 포토 게이트 신호(PGC)를 제공하고, 제2 탭의 제2 전송 트랜지스터(TS2)로는 270˚의 위상을 갖는 제4 포토 게이트 신호(PGD)를 제공하고, 제3 탭의 제3 전송 트랜지스터(TS3)로는 0˚의 위상을 갖는 제1 포토 게이트 신호(PGA)를 제공하고, 제4 탭의 제4 전송 트랜지스터(TS4)로는 90˚의 위상을 갖는 제2 포토 게이트 신호(PGB)를 제공할 수 있다. 따라서, 단위 픽셀(111)의 제1 탭을 기준으로 하여, 단위 픽셀(111)의 제1 탭이 180˚의 위상에 대한 제1 픽셀 신호(Vout1)를 생성할 때, 제2 탭은 270˚ 위상에 대한 제2 픽셀 신호(Vout2)를 생성하고, 제3 탭은 0˚의 위상에 대한 제3 픽셀 신호(Vout3)를 생성하고, 제4 탭은 90˚ 위상에 대한 제4 픽셀 신호(Vout4)를 생성할 수 있다. 제2 서브 프레임에서는, 서로 다른 4개의 위상(180˚, 270˚, 0˚, 90˚)의 포토 게이트 신호들(PGA~PGD) 각각에 따른 제1 내지 제4 픽셀 신호(Vout1~Vout4)로부터 제2 로우 데이터(RDATA2')가 생성될 수 있다.

ISP(170)는 제1 로우 데이터(RDATA1') 및 제2 로우 데이터(RDATA2')를 이용하여 깊이 정보(DI)를 생성할 수 있다. ISP(170)는 제1 로우 데이터(RDATA1') 및 제2 로우 데이터(RDATA2') 각각으로 깊이 정보(DI)를 생성할 수도 있으나, 제1 로우 데이터(RDATA1') 및 제2 로우 데이터(RDATA2')를 이용하여 하나의 깊이 정보(DI)를 생성함으로써, 공정상 발생하는 단위 픽셀(111) 내의 각 탭 간의 미스매치, 또는 단위 픽셀(111)과 리드아웃 회로(130)의 미스매치를 보상할 수 있다. 예를 들어, ISP(170)는 셔플 동작을 수행함으로써 생성된, 제1 로우 데이터(RDATA1') 및 제2 로우 데이터(RDATA2')를 평균하고, 각 탭 내에서의 게인(Gain) 에러, 각 탭 간의 플로팅 디퓨젼 노드(FD1~FD4)의 컨버젼 게인(conversion gain) 차이로 인한 에러, 각 탭 내에서의 오프셋 에러, 각 탭 간의 오프셋 차이로 인한 에러 등을 제거할 수 있다.

도 8a는 비교 예에 따른 이미지 센서의 동작을 설명하기 위한 타이밍도이고, 도 8b는 본 개시에 따른 이미지 센서의 동작을 설명하기 위한 도면이다.

도 8a를 참조하면, 비교 예에 따른 이미지 센서는 내부에 ISP를 포함하지 않는다. 비교 예에 따른 이미지 센서의 픽셀 어레이(110)는 노출 집광 시간(EIT) 동안 위상 정보를 저장할 수 있고, 리드아웃 회로(130)는 리드아웃 시간 동안 로우 데이터를 생성할 수 있다. 예를 들어, 비교 예에 따른 이미지 센서는 제1 서브 프레임에서 제1 모듈레이션 주파수(예를 들어, 도 6의 F1)에 따른 제1 로우 데이터(RDATA1_N, N은 자연수)를 생성할 수 있고, 제2 서브 프레임에서 제2 모듈레이션 주파수(예를 들어, 도 6의 F2)에 따른 제2 로우 데이터(RDATA2_N)를 생성할 수 있다. 비교 예에 따른 이미지 센서의 출력 인터페이스 회로(180)는 위상 정보를 포함하는 제1 로우 데이터(RDATA1_N) 및 제2 로우 데이터(RDATA2_N)를 각각 순차적으로 외부의 프로세서(30)로 전송할 수 있다. 외부의 프로세서(30)는 ISP를 포함할 수 있다.

비교 예에 따른 이미지 센서가 제N 깊이 데이터(DDATA_N)에 대한 동작을 수행하는 동안, 이미지 센서 외부의 프로세서(30)는 제(N-1) 깊이 데이터(DDATA_N-1)를 생성하는 동작을 수행할 수 있다. 비교 예에 따른 이미지 센서로부터 위상 정보를 포함하는 제1 로우 데이터(RDATA1_N) 및 제2 로우 데이터(RDATA2_N) 각각을 모두 수신한 후에, 프로세서(30)는 제1 로우 데이터(RDATA1_N) 및 제2 로우 데이터(RDATA2_N)를 이용하여 제N 깊이 데이터(DDATA_N)를 생성할 수 있다. 프로세서(30)가 제N 깊이 데이터(DDATA_N)를 생성하는 동안, 비교 예에 따른 이미지 센서는 제(N+1) 깊이 데이터(DDATA_N+1)에 대한 동작을 수행할 수 있다. 예를 들어, 비교 예에 따른 이미지 센서는 제1 서브 프레임에서 제1 모듈레이션 주파수(F1)에 따른 제1 로우 데이터(RDATA1_N+1)를 생성할 수 있고, 제2 서브 프레임에서 제2 모듈레이션 주파수(F2)에 따른 제2 로우 데이터(RDATA_N+1)를 생성할 수 있다.

비교 예에 따른 이미지 센서는 프로세서로 위상 정보를 포함하는 로우 데이터(예를 들어, RDATA1_N, RDATA2_N)를 모두 프로세서(30)로 전송해야 하나, 이미지 센서와 프로세서를 연결하는 채널의 대역폭이 제한적이므로, 로우 데이터(RDATA1_N, RDATA2_N)를 전송하는 데에 시간이 많이 소요될 수 있다. 또한, 비교 예에 따른 이미지 센서가 로우 데이터(RDATA1_N, RDATA2_N)를 전송한 후에도, 프로세서가 로우 데이터(RDATA1_N, RDATA2_N)를 이용하여 제N 깊이 데이터(DDATA_N)를 생성하는 데에 시간이 소요되므로, 픽셀 어레이(110) 및 리드아웃 회로(130)에서 로우 데이터(RDATA1_N, RDATA2_N)를 생성한 후 제N 깊이 데이터(DDATA_N)가 생성되기까지의 시간 지연이 발생하는 문제가 있다.

도 2 및 도 8b를 참조하면, 본 개시에 따른 이미지 센서(14)는 메모리(150) 및 ISP(170)를 포함할 수 있다. 이미지 센서(14)의 픽셀 어레이(110) 및 리드아웃 회로(130)는 노출 집광 시간(EIT) 동안 위상 정보를 저장할 수 있고, 리드아웃 시간 동안 로우 데이터를 생성할 수 있다. 예를 들어, 이미지 센서(14)는 제N 깊이 데이터(DDATA_N)를 생성하기 위해 제1 서브 프레임에서 제1 모듈레이션 주파수(F1)에 따른 제1 로우 데이터(RDATA1_N)를 생성할 수 있고, 제2 서브 프레임에서 제2 모듈레이션 주파수(F2)에 따른 제2 로우 데이터(RDATA2_N)를 생성할 수 있다. 또는, 예를 들어, 본 개시에 따른 이미지 센서(14)는 도 7에서 설명된 바와 같이, 제N 깊이 데이터(DDATA_N)를 생성하기 위해 제1 서브 프레임 및 제2 서프 프레임에서 단위 픽셀(111)에 제공되는 디모듈레이션 신호들(DEMOD)의 위상을 변경하는 셔플 동작을 수행함으로써, 제1 로우 데이터(RDATA1_N) 및 제2 로우 데이터(RDATA2_N)를 생성할 수도 있다.

메모리(150)에는 제1 로우 데이터(RDATA1_N)를 전처리한 제1 위상 데이터(PDATA1_N)가 저장될 수 있고, 이후, 제2 로우 데이터(RDATA2_N)를 전처리한 제2 위상 데이터(PDATA2_N)가 저장될 수 있다. ISP(170)는 메모리에 저장된 제1 로우 데이터(RDATA1_N) 및 제2 로우 데이터(RDATA2_N)를 이용하여 제N 깊이 정보를 생성할 수 있고, 출력 인터페이스 회로(180)는 제N 깊이 정보를 포맷팅하여 제N 깊이 데이터(DDATA_N)를 프로세서(30)로 전송할 수 있다.

또한, 이미지 센서(14)는 제(N+1) 깊이 데이터(DDATA_N+1)를 생성하기 위해 제1 서브 프레임에서 제1 모듈레이션 주파수(F1)에 따른 제1 로우 데이터(RDATA1_N+1)를 생성할 수 있고, 제2 서브 프레임에서 제2 모듈레이션 주파수(F2)에 따른 제2 로우 데이터(RDATA2_N+1)를 생성할 수 있다.

메모리(150)에는 제1 로우 데이터(RDATA1_N+1)를 전처리한 제1 위상 데이터(PDATA1_N+1)가 저장될 수 있고, 이후, 제2 로우 데이터(RDATA2_N+1)를 전처리한 제2 위상 데이터(PDATA2_N+1)가 저장될 수 있다. ISP(170)는 메모리에 저장된 제1 로우 데이터(RDATA1_N+1) 및 제2 로우 데이터(RDATA2_N+1)를 이용하여 제(N+1) 깊이 정보를 생성할 수 있고, 출력 인터페이스 회로(180)는 제(N+1) 깊이 정보를 포맷팅하여 제(N+1) 깊이 데이터(DDATA_N+1)를 프로세서(30)로 전송할 수 있다.

본 개시에 따른 거리 측정을 위한 이미지 센서(14)는 내부에 메모리(150) 및 ISP(170)를 포함하므로 이미지 센서(14) 자체 내에서 위상 차 계산이 가능하고 깊이 데이터(예를 들어, DDATA_N, DDATA_N+1)를 생성할 수 있다. 이미지 센서(14)가 깊이 데이터(DDATA_N, DDATA_N+1)를 외부의 프로세서(30)로 전송하므로, 이미지 센서(14) 및 프로세서(30) 사이의 채널의 대역폭 한계에도 데이터 전송의 지연을 방지할 수 있어, 깊이 데이터(DDATA_N, DDATA_N+1)의 이미지 품질이 증가될 수 있다. 또한, 이미지 센서(14) 전용의 ISP(170)를 사용함으로써 높은 품질의 깊이 데이터(DDATA) 생성이 가능하며, 이미지 센서(14)의 외부 프로세서(30)는 경량화할 수 있고, 전체 시스템(10)의 전력 소모를 줄일 수 있다.

도 9a 내지 도 9c는 본 개시에 따른 이미지 센서의 동작을 설명하기 위한 도면들이다. 도 9a는 싱글 모듈레이션 주파수로 동작하고, 셔플 동작을 수행하는 이미지 센서를 설명하기 위한 도면이고, 도 9b는 듀얼 모듈레이션 주파수로 동작하고, 셔플 동작을 수행하는 이미지 센서를 설명하기 위한 도면이다. 도 9c는 하나의 서브 프레임 내에서 생성되는 신호들을 설명하기 위한 타이밍도이다. 도 9a 내지 도 9c에 대한 설명은 4-탭 구조의 단위 픽셀을 포함하는 이미지 센서에 적용될 수 있으나, 2-탭 구조의 단위 픽셀을 포함하는 이미지 센서에도 유사하게 적용될 수 있다.

도 2 및 도 9a를 참조하면, 제N 깊이 데이터를 생성하기 위한 제N 깊이 프레임은 제1 서브 프레임 및 제2 서브 프레임을 포함할 수 있다. 도 7에서 설명된 바와 같이 제1 서브 프레임에서 생성되는 제1 로우 데이터 및 제2 서브 프레임에서 생성되는 제2 로우 데이터는 셔플 동작을 통해 서로 다른 위상의 포토 게이트 신호로 샘플링한 데이터일 수 있다.

제1 서브 프레임에서 생성된 제1 로우 데이터 또는 제1 로우 데이터가 전처리된 제1 위상 데이터는 제1 메모리(MEM1)에 저장될 수 있다. 제2 서브 프레임에서 생성된 제2 로우 데이터 또는 제2 로우 데이터가 전처리된 제2 위상 데이터는 제2 메모리(MEM2)에 저장될 수 있다. 제1 메모리(MEM1) 및 제2 메모리(MEM2)는 메모리(150)에 포함되며, 하이 구간은 해당 메모리가 활성화된 구간을 의미할 수 있고, 즉, 해당 메모리에 데이터가 기입되거나 독출되는 구간을 의미할 수 있다.

ISP(170)는 제1 메모리(MEM1)로부터 독출된 제1 위상 데이터 및 제2 메모리(MEM2)로부터 독출된 제2 위상 데이터를 이용하여 셔플 연산 동작을 수행할 수 있다. 셔플 연산 동작을 수행한 결과에 따라 에러가 제거된 데이터가 다시 제2 메모리(MEM2)에 저장될 수 있다.

예시적인 실시 예에서, 제1 메모리(MEM1) 및 제2 메모리(MEM2)는 프레임 메모리 일 수 있고, 즉, 하나의 서브 프레임에서 생성된 위상 데이터를 모두 저장할 수 있다. 또는 예시적인 실시 예에서, 메모리 크기 최적화를 위하여, 제1 서브 프레임의 제1 위상 데이터는 프레임 메모리인 제1 메모리(MEM1)에 직접 저장할 수 있고, 셔플 연산 동작을 수행한 제2 서브 프레임의 제2 위상 데이터는 라인 메모리인 제2 메모리(MEM2)를 사용하여 셔플 동작을 수행한 후, 셔플 연산 동작을 수행한 결과에 따라 에러가 제거된 데이터를 압축하여 프레임 메모리에 저장할 수도 있다.

도 2 및 도 9b를 참조하면, 제N 깊이 데이터를 생성하기 위한 제N 깊이 프레임은 제1 내지 제4 서브 프레임을 포함할 수 있다. 제1 서브 프레임에서 생성된 제1 위상 데이터는 제1 메모리(MEM1)에 저장될 수 있고, 제2 서브 프레임에서 생성된 제2 위상 데이터는 제2 메모리(MEM2)에 저장될 수 있다. 제3 서브 프레임에서 생성된 제3 위상 데이터는 제3 메모리(MEM3)에 저장될 수 있고, 제4 서브 프레임에서 생성된 제4 위상 데이터는 제4 메모리(MEM4)에 저장될 수 있다. 제1 내지 메모리(MEM1~MEM4)는 메모리(150)에 포함될 수 있다.

제1 위상 데이터 및 제2 위상 데이터는 제1 모듈레이션 주파수에 따라 생성된 데이터일 수 있다. ISP(170)는 제1 메모리(MEM1)로부터 독출된 제1 위상 데이터 및 제2 메모리(MEM2)로부터 독출된 제2 위상 데이터를 이용하여 제1 셔플 연산 동작을 수행할 수 있다. 제1 셔플 연산 동작을 수행한 결과에 따라 에러가 제거된 제1 데이터가 다시 제2 메모리(MEM2)에 저장될 수 있다.

제3 위상 데이터 및 제4 위상 데이터는 제1 모듈레이션 주파수와 상이한 제2 모듈레이션 주파수에 따라 생성된 데이터일 수 있다. ISP(170)는 제3 메모리(MEM3)로부터 독출된 제3 위상 데이터 및 제4 메모리(MEM4)로부터 독출된 제4 위상 데이터를 이용하여 제2 셔플 연산 동작을 수행할 수 있다. 제2 셔플 연산 동작을 수행한 결과에 따라 에러가 제거된 제2 데이터가 다시 제4 메모리(MEM4)에 저장될 수 있다.

ISP(170)는 제1 셔플 연산 동작에 따라 생성된 제1 데이터 및 제2 셔플 연산 동작에 따라 생성된 제2 데이터를 이용하여, 최대 측정 거리의 한계로 인하여 발생되는 에러를 보정할 수 있다. 에러가 보정된 데이터는 다시 제4 메모리(MEM4)에 저장될 수 있다.

도 3a 및 도 9c를 참조하면, 제1 서브 프레임은 노출 집광 시간(EIT) 및 리드아웃 시간을 포함할 수 있다. 도 9c에서의 제1 서브 프레임에 대한 설명은 다른 서브 프레임에서도 적용될 수 있다.

제1 서브 프레임의 노출 집광 시간(EIT) 동안, 모듈레이션 클락이 일정한 주기를 갖고 토글링할 수 있다. 제1 내지 제4 포토 게이트 신호(PGA~PGD)는 모듈레이션 클락과 동일한 주기를 갖고, 서로 다른 위상(0°, 90°, 180°, 270°)을 갖도록 토글링할 수 있다.

오버플로우 제어 신호(OG)는 로직 로우 레벨을 유지할 수 있고, 스토리지 제어 신호(SG, 예를 들어, SG1~SG4)는 로직 하이 레벨을 유지할 수 있고, 선택 제어 신호들(SEL[0]~SEL[n-1]) 및 전송 제어 신호들(TG[0]~TG[n-1])은 로직 로우를 유지할 수 있다. 제1 내지 제4 스토리지 트랜지스터(SS1~SS4)에는 제1 내지 제4 전송 트랜지스터(TS1~TS4) 각각을 통해 전송된 광 전하가 저장될 수 있다.

노출 집광 시간(EIT)이 종료된 후 제1 서브 프레임의 리드 아웃 시간 동안, 제1 내지 제4 포토 게이트 신호(PGA~PGD)는 로직 하이 레벨을 유지할 수 있다. 오버플로우 제어 신호(OG)는 로직 하이 레벨을 유지할 수 있고, 스토리지 제어 신호(SG, 예를 들어, SG1~SG4)는 로직 로우 레벨을 유지할 수 있다. 선택 제어 신호들(SEL[0]~SEL[n-1]) 및 전송 제어 신호들(TG[0]~TG[n-1])은 제1 내지 제n 로우가 따라 순차적으로 온-상태가 되도록 로직 하이로 천이할 수 있다.

램프 신호(Ramp)는 리드아웃 회로(예를 들어, 도 2의 130)가 CDS 동작을 수행하기 위한 신호로서, 리드아웃 회로(130)는 제1 내지 제4 픽셀 신호(Vout1~Vout4)를 램프 신호(Ramp)와 비교함으로써, 로우 데이터를 생성할 수 있다. 램프 신호(Ramp)는 예를 들어, 일정한 기울기를 갖도록 감소 또는 증가 되도록 생성될 수 있다.

도 10 및 도 11은 본 개시의 예시적인 실시 예에 따른 이미지 센서를 나타내는 개략도이다.

도 10을 참조하면, 이미지 센서(1000)는 수직 방향으로 적층된 제1 칩(CP1)과 제2 칩(CP2)을 포함하는 적층형 이미지 센서일 수 있다. 이미지 센서(1000)는 도 1 및 도 2 등에서 설명된 이미지 센서(14)가 구현된 것일 수 있다.

제1 칩(CP1)은 픽셀 영역(PR1) 및 패드 영역(PR2)을 포함할 수 있고, 제2 칩(CP2)은 주변 회로 영역(PR3) 및 패드 영역(PR2')을 포함할 수 있다. 픽셀 영역(PR1)에는 복수의 단위 픽셀들(PX)이 배치된 픽셀 어레이가 형성될 수 있다. 복수의 단위 픽셀들(PX) 각각은 도 3a에서 설명된 단위 픽셀(111) 또는 도 3b에서 설명된 단위 픽셀(111A)일 수 있다.

제2 칩(CP2)의 주변 회로 영역(PR3)은 로직 회로 블록(LC)을 포함할 수 있고, 복수의 트랜지스터들을 포함할 수 있다. 예를 들어, 로직 회로 블록(LC)은 도 2에서 설명된 제어 회로(120), 리드아웃 회로(130), 전처리 회로(140), 메모리(150), 캘리브레이션 회로(160), ISP(170) 및 출력 인터페이스 회로(180) 중 적어도 일부를 포함할 수 있다. 주변 회로 영역(PR3)은 픽셀 영역(PR1)에 포함되는 복수의 단위 픽셀들(PX) 각각에 일정한 신호를 제공할 수 있고, 복수의 단위 픽셀들(PX) 각각으로부터 출력되는 픽셀 신호를 독출할 수 있다. 예시적인 실시 예에서, 메인 컨트롤러, ISP(170), 메모리(150)는 주변 회로 영역(PR3)의 중심에 배치될 수 있고, 포토 게이트 드라이버, 리드아웃 회로(130), 출력 인터페이스 회로(180) 및 PLL 회로 등은 중심을 둘러싸는 주변 회로 영역(PR3)의 외곽 영역에 배치될 수 있다.

제2 칩(CP2)의 패드 영역(PR2')은 하부 도전 패드(PAD')를 포함할 수 있다. 하부 도전 패드(PAD')는 복수 개일 수 있고, 상부 도전 패드(PAD)에 각각 대응될 수 있다. 하부 도전 패드(PAD')는 비아 구조물(VS)에 의해 제1 칩(CP1)의 상부 도전 패드(PAD)와 전기적으로 연결될 수 있다.

도 11을 참조하면, 이미지 센서(1000A)는 수직 방향으로 적층된 제1 칩(CP1), 제3 칩(CP3), 제2 칩(CP2)을 포함하는 적층형 이미지 센서일 수 있다. 이미지 센서(1000)는 도 1 및 도 2 등에서 설명된 이미지 센서(14)가 구현된 것일 수 있다.

제1 칩(CP1)은 픽셀 영역(PR1) 및 패드 영역(PR2)을 포함할 수 있다. 픽셀 영역(PR1)에는 복수의 단위 픽셀들(PX)이 배치된 픽셀 어레이가 형성될 수 있다. 제2 칩(CP2)은 주변 회로 영역(PR3) 및 패드 영역(PR2')을 포함할 수 있다. 제2 칩(CP2)의 주변 회로 영역(PR3)은 로직 회로 블록(LC)을 포함할 수 있고, 복수의 트랜지스터들을 포함할 수 있다. 예를 들어, 로직 회로 블록(LC)은 도 2에서 설명된 제어 회로(120), 리드아웃 회로(130), 전처리 회로(140), 캘리브레이션 회로(160), ISP(170) 및 출력 인터페이스 회로(180) 중 적어도 일부를 포함할 수 있다.

제3 칩(CP3)은 메모리 영역(PR4) 및 패드 영역(PR2'')을 포함할 수 있다. 메모리 영역(PR4)에는 메모리(MEM)가 형성될 수 있다. 메모리(MEM)는 도 2의 메모리(150)일 수 있고, 프레임 메모리를 포함할 수 있다. 또한, 메모리(MEM)는 도 4b의 메모리(16')를 포함할 수 있다.

제3 칩(CP3)의 패드 영역(PR2'')은 도전 패드(PAD'')를 포함할 수 있다. 도전 패드(PAD'')는 복수 개일 수 있고, 상부 도전 패드(PAD) 또는 하부 도전 패드(PAD')와 비아 구조물을 통해 전기적으로 연결될 수 있다.

이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

거리 측정을 위한 이미지 센서로서,
복수의 단위 픽셀들을 포함하는 픽셀 어레이;
서브 프레임 단위로 상기 픽셀 어레이로부터 픽셀 신호들을 리드아웃하고, 로우 데이터를 생성하는 리드아웃 회로;
상기 로우 데이터를 전처리하여 위상 데이터를 생성하는 전처리 회로;
상기 위상 데이터를 저장하는 메모리;
상기 위상 데이터에 대한 캘리브레이션 동작을 수행하여 보정 데이터를 생성하는 캘리브레이션 회로;
상기 보정 데이터를 이용하여 깊이 정보를 생성하는 이미지 신호 프로세서; 및
깊이 프레임 단위로 상기 깊이 정보를 포함하는 깊이 데이터를 출력하는 출력 인터페이스 회로를 포함하는 이미지 센서.
제1 항에 있어서,
상기 복수의 단위 픽셀들은, 제1 내지 제4 포토 게이트 신호에 따라 제1 내지 제4 픽셀 신호 각각을 생성하는 제1 내지 제4 탭을 포함하는 4-탭 구조인 것을 특징으로 하는 이미지 센서.
제2 항에 있어서,
제1 서브 프레임에서, 상기 제1 탭은 상기 제1 포토 게이트 신호에 따라 제1 픽셀 신호를 생성하고, 상기 제2 탭은 상기 제2 포토 게이트 신호에 따라 제2 픽셀 신호를 생성하고, 상기 제3 탭은 상기 제3 포토 게이트 신호에 따라 제3 픽셀 신호를 생성하고, 상기 제4 탭은 상기 제4 포토 게이트 신호에 따라 제4 픽셀 신호를 생성하고,
제2 서브 프레임에서 상기 제1 탭은 상기 제3 포토 게이트 신호에 따라 제1 픽셀 신호를 생성하고, 상기 제2 탭은 상기 제4 포토 게이트 신호에 따라 제2 픽셀 신호를 생성하고, 상기 제3 탭은 상기 제1 포토 게이트 신호에 따라 제3 픽셀 신호를 생성하고, 상기 제4 탭은 상기 제2 포토 게이트 신호에 따라 제4 픽셀 신호를 생성하는 것을 특징으로 하는 이미지 센서.
제1 항에 있어서,
상기 픽셀 어레이는,
제1 서브 프레임에서 제1 모듈레이션 주파수의 제어 신호에 따라 상기 픽셀 신호들을 생성하고,
제2 서브 프레임에서 상기 제1 모듈레이션 주파수와 상이한 제2 모듈레이션 주파수의 제어 신호에 따라 상기 픽셀 신호들을 생성하는 것을 특징으로 하는 이미지 센서.
제1 항에 있어서,
상기 캘리브레이션 회로는 캘리브레이션 정보에 기초하여 상기 캘리브레이션 동작을 수행하고,
상기 캘리브레이션 정보는, 상기 이미지 센서의 물리적 특성에 관련된 고유 특성 파라미터, 위글링 효과에 관련된 위글링 룩업 테이블, 고정 위상 패턴 노이즈(FPPN)와 관련된 FPPN 룩업 테이블, 및 외부 환경 온도에 관련된 온도 파라미터 중 적어도 하나를 포함하고,
상기 이미지 센서는 상기 캘리브레이션 정보를 저장하는 메모리를 더 포함하는 것을 특징으로 하는 이미지 센서.
물체로 송신 광 신호를 전송하는 광원부;
상기 물체로부터 반사된 수신 광 신호를 수신하는 이미지 센서를 포함하고,
상기 이미지 센서는,
복수의 단위 픽셀들을 포함하는 픽셀 어레이;
상기 광원부로 모듈레이션 신호를 전송하고, 상기 픽셀 어레이로 상기 모듈레이션 신호와 동일한 모듈레이션 주파수의 복수의 디모듈레이션 신호들을 전송하는 제어 회로;
서브 프레임 단위로 상기 픽셀 어레이로부터 픽셀 신호들을 리드아웃하고, 로우 데이터를 생성하는 리드아웃 회로;
상기 로우 데이터를 전처리하여 위상 데이터를 생성하는 전처리 회로;
상기 위상 데이터를 저장하는 프레임 메모리;
상기 위상 데이터에 기초하여 깊이 정보를 생성하는 이미지 신호 프로세서; 및
깊이 프레임 단위로 상기 깊이 정보를 포함하는 깊이 데이터를 출력하는 출력 인터페이스 회로를 포함하는 카메라 모듈.
제6 항에 있어서,
상기 복수의 단위 픽셀들은, 상기 복수의 디모듈레이션 신호들에 포함된 제1 내지 제4 포토 게이트 신호를 수신하는 제1 내지 제4 탭을 포함하는 4-탭 구조이고,
상기 제1 포토 게이트 신호를 기준으로 상기 제2 포토 게이트 신호의 위상 차는 90°이고, 상기 제3 포토 게이트 신호의 위상 차는 180°이고, 상기 제4 포토 게이트 신호의 위상 차는 270°인 것을 특징으로 하는 카메라 모듈.
제7 항에 있어서,
상기 제어 회로는 제1 서브 프레임에서, 상기 제1 탭으로 상기 제1 포토 게이트 신호를 전송하고, 상기 제2 탭으로 상기 제2 포토 게이트 신호를 전송하고, 상기 제3 탭으로 상기 제3 포토 게이트 신호를 전송하고, 상기 제4 탭으로 상기 제4 포토 게이트 신호를 전송하고,
상기 제어 회로는 제2 서브 프레임에서, 상기 제1 탭으로 상기 제3 포토 게이트 신호를 전송하고, 상기 제2 탭으로 상기 제4 포토 게이트 신호를 전송하고, 상기 제3 탭으로 상기 제1 포토 게이트 신호를 전송하고, 상기 제4 탭은 상기 제2 포토 게이트 신호를 전송하고,
상기 이미지 신호 프로세서는, 상기 제1 서브 프레임에서 생성된 제1 위상 데이터 및 상기 제2 서브 프레임에서 생성된 제2 위상 데이터에 기초하여 하나의 깊이 프레임에 대응하는 깊이 정보를 생성하는 것을 특징으로 하는 카메라 모듈.
제6 항에 있어서,
상기 제어 회로는 제1 서브 프레임에서 제1 모듈레이션 주파수의 복수의 디모듈레이션 신호를 상기 픽셀 어레이로 전송하고,
상기 제어 회로는 제2 서브 프레임에서 상기 제1 모듈레이션 주파수와 상이한 제2 모듈레이션 주파수의 복수의 디모듈레이션 신호를 상기 픽셀 어레이로 전송하고,
상기 이미지 신호 프로세서는, 상기 제1 서브 프레임에서 생성된 제1 위상 데이터 및 상기 제2 서브 프레임에서 생성된 제2 위상 데이터에 기초하여 하나의 깊이 프레임에 대응하는 깊이 정보를 생성하는 것을 특징으로 하는 카메라 모듈.
물체로 송신 광 신호를 전송하는 광원부;
상기 물체로부터 반사된 수신 광 신호를 수신하는 이미지 센서를 포함하고,
상기 이미지 센서는,
복수의 단위 픽셀들을 포함하는 픽셀 어레이;
상기 광원부로 모듈레이션 신호를 전송하고, 상기 픽셀 어레이로 상기 모듈레이션 신호와 동일한 모듈레이션 주파수의 복수의 디모듈레이션 신호들을 전송하는 제어 회로;
상기 픽셀 어레이로부터 픽셀 신호들을 리드아웃하고, 로우 데이터를 생성하는 리드아웃 회로;
상기 로우 데이터를 전처리하여 위상 데이터를 생성하는 전처리 회로;
상기 위상 데이터를 저장하는 메모리;
캘리브레이션 정보에 기초하여, 상기 위상 데이터에 대한 캘리브레이션 동작을 수행하여 보정 데이터를 생성하는 캘리브레이션 회로;
상기 보정 데이터를 이용하여 깊이 정보를 생성하는 이미지 신호 프로세서; 및
상기 깊이 정보를 포함하는 깊이 데이터를 출력하는 출력 인터페이스 회로를 포함하는 카메라 모듈.