KR20220075016A - 이미징 장치 - Google Patents

이미징 장치 Download PDF

Info

Publication number
KR20220075016A
KR20220075016A KR1020200161099A KR20200161099A KR20220075016A KR 20220075016 A KR20220075016 A KR 20220075016A KR 1020200161099 A KR1020200161099 A KR 1020200161099A KR 20200161099 A KR20200161099 A KR 20200161099A KR 20220075016 A KR20220075016 A KR 20220075016A
Authority
KR
South Korea
Prior art keywords
pixels
frequency
signal
pixel
photo
Prior art date
Application number
KR1020200161099A
Other languages
English (en)
Inventor
정범식
길민선
기명오
김대윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200161099A priority Critical patent/KR20220075016A/ko
Priority to US17/381,777 priority patent/US11818484B2/en
Priority to CN202111402567.8A priority patent/CN114554044A/zh
Publication of KR20220075016A publication Critical patent/KR20220075016A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H04N5/36965—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/357—
    • H04N5/378—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명의 일 실시예에 따른 이미징 장치는, 제1 주파수의 제1 기준 신호 및 상기 제1 주파수와 다른 제2 주파수의 제2 기준 신호를 이용하여 생성되는 광 제어 신호에 의해 동작하는 광원, 상기 광원이 출력하고 피사체에서 반사된 광 수신 신호에 반응하여 전하를 생성하는 포토 다이오드, 및 상기 포토 다이오드의 전하에 대응하는 픽셀 신호를 출력하는 픽셀 회로를 각각 포함하는 복수의 픽셀들, 및 상기 픽셀 신호를 이용하여 깊이 이미지(depth image)를 생성하기 위한 로우(raw) 데이터를 생성하는 로직 회로를 포함하며, 상기 복수의 픽셀들은 제1 픽셀들 및 제2 픽셀들을 포함하고, 상기 로직 회로는 상기 제1 픽셀들 각각에서 상기 포토 다이오드와 연결되는 상기 픽셀 회로에 상기 제1 주파수를 갖는 제1 포토 제어 신호를 입력하고, 상기 제2 픽셀들 각각에서 상기 포토 다이오드와 연결되는 상기 픽셀 회로에 상기 제2 주파수를 갖는 제2 포토 제어 신호를 입력한다.

Description

이미징 장치{IMAGING DEVICE}
본 발명은 이미징 장치에 관한 것이다.
이미징 장치는 광 신호를 전기 신호로 변환하여 이미지를 생성하는 장치로서, 전자 기기들에 탑재되어 카메라 기능을 제공한다. 최근에는 광 신호를 이용하여 거리 정보를 포함하는 깊이 이미지를 생성하는 이미징 장치가 다양한 전자 기기들에 탑재되는 추세이며, 깊이 이미지를 생성하는 이미징 장치의 성능을 개선하기 위한 방법들이 활발히 제안되고 있다.
본 발명의 기술적 사상이 이루고자 하는 과제 중 하나는, 프레임 레이트의 저하 없이 측정 가능한 최대 거리를 증가시키면서 노이즈 특성이 우수한 깊이 이미지를 생성할 수 있는 이미징 장치를 제공하고자 하는 데에 있다.
본 발명의 일 실시예에 따른 이미징 장치는, 제1 주파수의 제1 기준 신호 및 상기 제1 주파수와 다른 제2 주파수의 제2 기준 신호를 이용하여 생성되는 광 제어 신호에 의해 동작하는 광원, 상기 광원이 출력하고 피사체에서 반사된 광 수신 신호에 반응하여 전하를 생성하는 포토 다이오드, 및 상기 포토 다이오드의 전하에 대응하는 픽셀 신호를 출력하는 픽셀 회로를 각각 포함하는 복수의 픽셀들, 및 상기 픽셀 신호를 이용하여 깊이 이미지(depth image)를 생성하기 위한 로우(raw) 데이터를 생성하는 로직 회로를 포함하며, 상기 복수의 픽셀들은 제1 픽셀들 및 제2 픽셀들을 포함하고, 상기 로직 회로는 상기 제1 픽셀들 각각에서 상기 포토 다이오드와 연결되는 상기 픽셀 회로에 상기 제1 주파수를 갖는 제1 포토 제어 신호를 입력하고, 상기 제2 픽셀들 각각에서 상기 포토 다이오드와 연결되는 상기 픽셀 회로에 상기 제2 주파수를 갖는 제2 포토 제어 신호를 입력한다.
본 발명의 일 실시예에 따른 이미징 장치는, 제1 주파수의 제1 기준 신호 및 상기 제1 주파수와 다른 제2 주파수의 제2 기준 신호를 이용하여 생성되는 광 제어 신호에 의해 동작하는 광원, 상기 광원이 출력하고 피사체에서 반사된 광 수신 신호에 반응하여 픽셀 신호를 생성하며, 상기 제1 주파수의 제1 포토 제어 신호들에 동기화되어 동작하는 제1 픽셀들과 상기 제2 주파수의 제2 포토 제어 신호들에 동기화되어 동작하는 제2 픽셀들을 갖는 복수의 픽셀들, 및 상기 픽셀 신호를 이용하여 로우 데이터를 생성하는 로직 회로를 포함하는 센서, 및 상기 로우 데이터를 이용하여 상기 피사체의 거리 정보를 계산하는 이미지 프로세서를 포함하며, 상기 로우 데이터는 상기 제1 픽셀들에 대응하는 제1 로우 데이터, 및 상기 제2 픽셀들에 대응하는 제2 로우 데이터를 포함하고, 상기 이미지 프로세서는 상기 피사체의 거리 정보를 계산한 후, 상기 제1 픽셀들 중에서 상기 제2 픽셀들 각각에 인접한 둘 이상의 제1 이웃 픽셀들에 대응하는 상기 제1 로우 데이터를 이용하여, 상기 제2 로우 데이터를 수정한다.
본 발명의 일 실시예에 따른 이미징 장치는, 제1 주파수를 갖는 제1 포토 제어 신호들, 및 상기 제1 주파수보다 작은 제2 주파수를 갖는 제2 포토 제어 신호들을 출력하는 클럭 드라이버, 상기 제1 포토 제어 신호들을 입력받는 제1 픽셀들, 및 상기 제2 포토 제어 신호들을 입력받는 제2 픽셀들을 갖는 픽셀 어레이, 상기 픽셀 어레이와 복수의 칼럼 라인들을 통해 연결되는 리드아웃 회로, 및 상기 제2 주파수를 가지며, 상기 제2 포토 제어 신호와 다른 광 제어 신호에 의해 제어되는 광원을 포함한다.
본 발명의 일 실시예에 따르면, 제1 주파수의 제1 기준 신호와 제2 주파수의 제2 기준 신호를 이용하여 생성한 광 제어 신호로 이미징 장치의 광원을 동작시킴으로써 이미징 장치로 측정할 수 있는 최대 거리를 증가시킬 수 있다. 또한, 이미징 장치의 제1 픽셀들을 제1 주파수의 포토 제어 신호로 구동하고, 제2 픽셀들은 제2 주파수의 포토 제어 신호로 구동하며, 제1 픽셀들로부터 획득한 데이터를 이용하여 제2 픽셀들로부터 획득한 데이터를 수정함으로써, 노이즈 특성이 우수한 깊이 이미지를 생성할 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 이미징 장치를 간단하게 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이미징 장치를 간단하게 나타낸 블록도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 이미징 장치에 포함되는 픽셀 어레이를 간단하게 나타낸 도면들이다.
도 5는 본 발명의 일 실시예에 따른 이미징 장치의 픽셀을 간단하게 나타낸 회로도이다.
도 6은 본 발명의 일 실시예에 따른 이미징 장치의 동작을 설명하기 위해 제공되는 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 이미징 장치에 포함되는 광원의 동작을 설명하기 위해 제공되는 도면이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 이미징 장치의 동작을 설명하기 위한 도면들이다.
도 12 및 도 13은 본 발명의 일 실시예에 따른 이미징 장치의 동작을 설명하기 위한 도면들이다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 이미징 장치에 포함되는 픽셀 어레이를 간단하게 나타낸 도면들이다.
도 16은 본 발명의 일 실시예에 따른 이미징 장치의 동작을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 이미징 장치에 포함되는 픽셀 어레이를 간단하게 나타낸 도면들이다.
도 18은 본 발명의 일 실시예에 따른 이미징 장치의 픽셀을 간단하게 나타낸 회로도이다.
도 19 내지 도 21은 본 발명의 일 실시예에 따른 이미징 장치를 포함하는 전자 기기를 간단하게 나타낸 도면들이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 이미징 장치를 간단하게 나타낸 블록도이다.
먼저 도 1을 참조하면, 본 발명의 일 실시예에 따른 이미징 장치(1)는 센서 모듈(2) 및 이미지 신호 프로세서(5) 등을 포함할 수 있으며, 센서 모듈(2)은 광원(3) 및 센서(4)를 포함할 수 있다. 도 1에 도시한 일 실시예에서 센서 모듈(2)과 이미지 신호 프로세서(5)는 서로 다른 반도체 장치들에 포함될 수 있다. 일례로, 센서 모듈(2)은 광원(3)과 센서(4)를 포함하는 반도체 패키지 형태로 구현되고, 이미지 신호 프로세서(5)는 센서 모듈(2)과 소정의 인터페이스를 통해 통신 가능하도록 연결되는 반도체 장치, 예를 들어 애플리케이션 프로세서, 중앙 처리 장치, 시스템 온 칩 등에 포함될 수 있다.
광원(3)은 소정 파장 대역의 광 신호를 출력하는 발광 소자를 적어도 하나 이상 포함할 수 있으며, 발광 소자는 VCSEL(Vertical Cavity Surface Emitting Laser) 또는 LED (Light Emitting Diode) 등으로 구현될 수 있다. 일례로 광원(3)이 복수의 발광 소자들을 포함하는 경우, 발광 소자들은 기판 상에 어레이 형태로 배치될 수도 있다. 광원(3)은 광 신호의 특성을 개선하기 위하여 광 신호의 진행 경로에 배치되는 광학 소자 등을 더 포함할 수 있다. 일례로 광원(3)이 출력하는 광 신호는 적외선 파장 대역의 광 신호일 수 있다.
광원(3)은 서로 다른 동작 주파수를 갖는 둘 이상의 광 제어 신호들에 의해 동작할 수 있다. 일례로 제1 주파수를 갖는 제1 광 제어 신호에 의해 제1 발광 시간 동안 광원(3)이 동작하고, 제1 주파수와 다른 제2 주파수를 갖는 제2 광 제어 신호에 의해, 제2 발광 시간 동안 광원(3)이 동작할 수 있다. 또는, 제1 광 제어 신호에 의해 동작하는 제1 광원과, 제2 광 제어 신호에 의해 동작하는 제2 광원이 광원(3)에 포함될 수도 있다. 이 경우, 제1 광원과 제2 광원은 교대로 동작할 수 있다.
광원(3)이 출력하는 광 신호는 피사체(6)에 의해 반사되며, 피사체(6)가 반사시킨 광 수신 신호는 센서(4)로 입사될 수 있다. 센서(4)는 광 수신 신호에 반응하여 전기 신호를 생성하는 픽셀들, 및 전기 신호를 이용하여 결과 이미지를 생성하는 데에 필요한 로우(raw) 데이터를 생성하는 로직 회로 등을 포함할 수 있다. 로우 데이터에는 피사체(6) 및 피사체(6) 주변의 배경에 대한 거리를 나타내는 깊이(depth) 정보가 포함될 수 있다. 이미지 신호 프로세서(5)는 로우 데이터를 이용하여 결과 이미지를 생성하며, 결과 이미지는 피사체(6) 및 피사체(6) 주변의 배경에 대한 거리를 나타내는 깊이 이미지일 수 있다.
다음으로 도 2를 참조하면, 이미징 장치(1A)의 센서 모듈(2A)과 이미지 신호 프로세서(5A)가 하나의 패키지로 구현될 수 있다. 도 2를 참조하면, 하나의 반도체 패키지 내부에 광원(3)과 센서(4A), 및 이미지 신호 프로세서(5A)가 모두 포함될 수 있다. 이미지 신호 프로세서(5A)는 센서(4A)에 포함되거나, 또는 센서(4A)와 분리되어 별도로 구현될 수도 있다.
도 1 및 도 2에 도시한 실시예들에서 이미지 신호 프로세서(5, 5A)는 소프트웨어 또는 하드웨어로 구현될 수 있다. 일례로, 도 1에 도시한 일 실시예와 같이 이미지 신호 프로세서(5)가 센서 모듈(2)과 별도로 구현되는 경우, 이미지 신호 프로세서(5)는 애플리케이션 프로세서 등의 내부에 소프트웨어로 구현될 수 있다. 또한 도 2에 도시한 일 실시예에서와 같이 이미지 신호 프로세서(5A)가 센서 모듈(2A)에 통합되는 경우, 이미지 신호 프로세서(5A)는 하드웨어로 구현될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 이미징 장치를 간단하게 나타낸 블록도이다.
도 3을 참조하면, 이미징 장치(10)는 로직 회로(20), 픽셀 어레이(30), 광원 드라이버(40), 및 광원(50) 등을 포함할 수 있다. 픽셀 어레이(30)는 복수의 행들과 복수의 열들을 따라서 어레이 형태로 배치되는 복수의 픽셀들(PX)을 포함할 수 있다. 복수의 픽셀들(PX) 각각은 피사체(60)로부터 입사하는 광 수신 신호에 응답하여 전하를 생성하는 포토 다이오드, 및 포토 다이오드가 생성한 전하에 대응하는 전기 신호를 생성하는 픽셀 회로 등을 포함할 수 있다.
일례로 픽셀 회로는 플로팅 디퓨전, 전송 트랜지스터, 리셋 트랜지스터, 구동 트랜지스터, 및 선택 트랜지스터 등을 포함할 수 있다. 실시예들에 따라 픽셀들(PX)의 구성은 달라질 수 있다. 일례로, 픽셀들(PX) 각각은 실리콘 포토 다이오드와 달리 유기 물질을 포함하는 유기 포토 다이오드를 포함하거나, 또는 디지털 픽셀로 구현될 수도 있다. 픽셀들(PX)이 디지털 픽셀로 구현되는 경우, 픽셀들(PX) 각각은 비교기 및 비교기의 출력을 디지털 신호로 변환하여 내보내는 카운터 등을 포함할 수 있다.
로직 회로(20)는 픽셀 어레이(30)를 제어하기 위한 복수의 회로들을 포함할 수 있다. 일례로, 로직 회로(20)는 클럭 드라이버(21), 리드 아웃 회로(22), 연산 회로(23), 컨트롤 로직(24) 등을 포함할 수 있다. 클럭 드라이버(21)는 픽셀 어레이(30)를 제1 방향 또는 제2 방향에서 구동할 수 있다. 예를 들어, 클럭 드라이버(21)는 픽셀 회로의 전송 게이트에 입력되는 전송 제어 신호, 리셋 게이트에 입력되는 리셋 제어 신호, 선택 게이트에 입력되는 선택 제어 신호, 포토 게이트에 입력되는 포토 제어 신호 등을 생성할 수 있다. 제1 방향과 제2 방향은 다양하게 방식으로 정의될 수 있으며, 일례로 제1 방향은 로우(row) 방향에 대응하고 제2 방향은 칼럼(column) 방향에 대응할 수 있다.
리드 아웃 회로(22)는 상관 이중 샘플러(Correlated Double Sampler, CDS), 아날로그-디지털 컨버터(Analog-to-Digital Converter, ADC) 등을 포함할 수 있다. 상관 이중 샘플러는, 클럭 드라이버(21)가 공급하는 클럭 신호에 의해 선택되는 픽셀들(PX)과 칼럼 라인들을 통해 연결되며, 상관 이중 샘플링을 수행하여 리셋 전압 및 픽셀 전압을 검출할 수 있다. 아날로그-디지털 컨버터는 상관 이중 샘플러가 검출한 리셋 전압 및 픽셀 전압을 디지털 신호로 변환하여 연산 회로(23)에 전달할 수 있다.
연산 회로(23)는 디지털 신호를 임시로 저장할 수 있는 래치 또는 버퍼 회로와 증폭 회로 등을 포함할 수 있으며, 리드 아웃 회로(22)로부터 수신한 디지털 신호를 처리할 수 있다. 클럭 드라이버(21), 리드 아웃 회로(22) 및 연산 회로(23)는 컨트롤 로직(24)에 의해 제어될 수 있다. 컨트롤 로직(24)은 클럭 드라이버(21), 리드 아웃 회로(22) 및 연산 회로(23)의 동작 타이밍을 제어하기 위한 타이밍 컨트롤러, 이미지 데이터 처리를 위한 이미지 신호 프로세서(Image Signal Processor) 등을 포함할 수 있다. 일 실시예에서, 연산 회로(23)는 컨트롤 로직(24)에 포함될 수도 있다.
컨트롤 로직(24)은 리드아웃 회로(22) 및 연산 회로(23)가 출력하는 데이터를 신호 처리하여 결과 이미지를 생성하기 위한 로우(raw) 데이터를 생성할 수 있다. 일례로 로우 데이터에 의해 생성되는 결과 이미지는 깊이 이미지일 수 있다. 컨트롤 로직(24)의 내부에 이미지 신호 프로세서가 포함되는 경우, 컨트롤 로직(24)이 로우 데이터를 이용하여 결과 이미지를 생성할 수 있다.
실시예들에 따라, 컨트롤 로직(24)은 이미징 장치(10)의 동작 모드에 기초하여 리드아웃 회로(22) 및 연산 회로(23)가 출력하는 데이터를 이용하여 피사체(60)와 이미징 장치(10) 사이의 거리를 계산하거나, 또는 이미징 장치(10)에 근접한 피사체(60)를 인식할 수 있다. 또는, 연산 회로(23)가 깊이 이미지를 생성하고, 컨트롤 로직(24)은 깊이 이미지를 후처리하여 결과 이미지의 품질을 개선할 수도 있다.
이미징 장치(10)는, 피사체(60)로 광 신호를 출력하는 광원(50)을 포함할 수 있다. 광원(50)은, 적어도 하나의 발광 소자를 포함할 수 있으며, 일례로 복수의 발광 소자들이 어레이 형태로 배열되는 반도체 칩을 포함할 수 있다. 광원(50)은 광원 드라이버(40)에 의해 동작할 수 있다. 광원 드라이버(40)는 로직 회로(20)에 의해 제어될 수 있다.
일 실시예에서 광원 드라이버(40)는 펄스 신호 특성을 갖는 광 제어 신호를 생성하여 광원(50)을 구동할 수 있다. 광원 드라이버(40)는 로직 회로(20)의 제어 명령에 응답하여 PWM(Pulse Width Modulation) 신호로 광 제어 신호를 생성하고, 광 제어 신호의 주파수, 듀티 비, 지속 시간 등을 결정할 수 있다. 일례로 로직 회로(20)는, 클럭 드라이버(21)가 픽셀 어레이(30)에 입력하는 클럭 신호들 중 적어도 하나를, 광원(50)에 입력되는 광 제어 신호와 동기화할 수 있다. 일 실시예에서, 광원(50)에 입력되는 광 제어 신호와 동기화되는 신호는, 클럭 드라이버(21)가 픽셀들(PX)에 입력하는 포토 제어 신호일 수 있다. 포토 제어 신호는 픽셀들(PX) 각각의 포토 다이오드와 플로팅 디퓨전 사이에 연결되는 트랜지스터의 온/오프를 제어하는 신호일 수 있다.
이미징 장치(10)가 측정할 수 있는 최대 거리는, 광원 드라이버(40)가 광원(50)에 입력하는 광 제어 신호의 주파수에 따라 결정될 수 있다. 일례로, 광 제어 신호의 주파수와 이미징 장치(10)가 측정할 수 있는 최대 거리 사이의 관계는 수학식 1과 같이 결정될 수 있다. 수학식 1에서 c는 빛의 속도, dm은 이미징 장치(10)가 측정 가능한 최대 거리, fm은 광 제어 신호의 주파수일 수 있다.
Figure pat00001
다시 말해, 이미징 장치(10)가 측정할 수 있는 최대 거리는, 광 제어 신호의 주파수에 반비례할 수 있다. 따라서, 광 제어 신호의 주파수를 감소시키는 방식으로 이미징 장치(10)가 측정할 수 있는 최대 거리를 증가시킬 수 있다.
다만, 이미징 장치(10)의 픽셀들(PX)에 입력되는 포토 제어 신호는 광 제어 신호와 동일한 주파수를 가질 수 있으며, 따라서 광 제어 신호의 주파수가 감소할 경우 이미징 장치(10)가 생성하는 깊이 이미지의 노이즈 특성이 열화될 수 있다. 이러한 문제를 해결하기 위해 제1 프레임 주기 동안 제1 주파수의 광 제어 신호로 광원(50)을 구동하고, 제2 프레임 주기 동안 제1 주파수와 다른 제2 주파수의 광 제어 신호로 광원(50)을 각각 구동하여 획득한 데이터로 하나의 깊이 이미지를 생성할 수도 있다. 다만, 이 경우, 이미징 장치(10)의 프레임 레이트가 감소할 수 있으며, 제1 프레임 주기와 제2 프레임 주기 사이에서 객체의 움직임이 발생할 경우 깊이 이미지가 정확하게 생성되지 못할 수 있다.
본 발명의 일 실시예에서는 상기와 같은 문제를 해결하기 위해, 제1 주파수의 제1 기준 신호와 제2 주파수의 제2 기준 신호를 이용하여 생성한 광 제어 신호를 이용하여 광원(50)을 구동할 수 있다. 또한, 제1 주파수의 제1 포토 제어 신호로 제1 픽셀들을 구동하고 제2 주파수의 제2 포토 제어 신호로 제2 픽셀들을 구동하여 깊이 이미지를 생성할 수 있다. 따라서, 이미징 장치(10)가 측정 가능한 최대 거리를 증가시킴과 동시에, 이미징 장치(10)가 출력하는 깊이 이미지의 노이즈 특성 열화를 최소화할 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 이미징 장치에 포함되는 픽셀 어레이를 간단하게 나타낸 도면들이다. 도 5는 본 발명의 일 실시예에 따른 이미징 장치의 픽셀을 간단하게 나타낸 회로도이다. 도 6은 본 발명의 일 실시예에 따른 이미징 장치의 동작을 설명하기 위해 제공되는 도면이다.
먼저 도 4a를 참조하면, 본 발명의 일 실시예에 따른 픽셀 어레이(100)는 제1 방향(X축 방향)과 제2 방향(Y축 방향)을 따라 배열되는 복수의 픽셀들(110, 120)을 포함할 수 있다. 일례로, 픽셀 어레이(100)는 제1 픽셀들(110)과 제2 픽셀들(120)을 포함할 수 있으며, 제2 픽셀들(120) 각각은 제1 방향 및 제2 방향에서 제1 픽셀들(110)과 인접할 수 있다. 다시 말해, 제2 픽셀들(120) 각각은 제1 방향 및 제2 방향에서 다른 제2 픽셀들(120)과 인접하지 않을 수 있다.
제1 픽셀들(110)과 제2 픽셀들(120)은 모두 동일한 구조를 가질 수 있다. 다만, 제1 픽셀들(110)과 제2 픽셀들(120)은 이미징 장치의 로직 회로로부터 서로 다른 주파수의 제어 신호들을 입력받아 동작할 수 있다. 일례로 로직 회로는, 제1 픽셀들(110)에 제1 주파수의 제1 포토 제어 신호들을 입력하고, 제2 픽셀들(120)에는 제1 주파수보다 작은 제2 주파수의 제2 포토 제어 신호들을 입력할 수 있다.
제1 픽셀들(110)에 제1 포토 제어 신호들이 입력되고, 제2 픽셀들(120)에 제2 포토 제어 신호들이 입력될 수 있도록, 제2 방향에서 같은 위치에 배치되는 제1 픽셀들(110)과 제2 픽셀들(120)은 서로 다른 로우 라인들에 연결될 수 있다. 픽셀 어레이(100)의 일부 영역을 확대 도시한 도 4b를 참조하면, 제1 로우 라인(R1)은 제1 서브 로우 라인(R11)과 제2 서브 로우 라인(R12)을 포함하며, 제1 서브 로우 라인(R11)은 제1 픽셀들(110)에 연결되고, 제2 서브 로우 라인(R12)은 제2 픽셀들(120)에 연결될 수 있다. 다시 말해, 제1 서브 로우 라인들(R11-R14)을 통해 제1 주파수의 제1 포토 제어 신호들이 제1 픽셀들(110)에 입력되고, 제2 서브 로우 라인들(R21-R24)을 통해 제2 주파수의 제2 포토 제어 신호들이 제2 픽셀들(120)에 입력될 수 있다. 로우 라인들과 달리 칼럼 라인들은 제1 방향에서 같은 위치에 배치되는 제1 픽셀들(110)과 제2 픽셀들(120)이 공유할 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 이미징 장치의 픽셀(PX)은, 광 신호에 응답하여 전하를 생성하는 포토 다이오드(PD), 및 포토 다이오드(PD)가 생성한 전하에 대응하는 전기 신호를 출력하는 픽셀 회로들(PC1-PC4)을 포함할 수 있다. 픽셀 회로들(PC1-PC4)은 제1 내지 제4 픽셀 회로들(PC1-PC4)을 포함할 수 있다.
제1 픽셀 회로(PC1)는 제1 칼럼 라인(COL1)과 연결되며, 제2 픽셀 회로(PC2)는 제2 칼럼 라인(COL2)에 연결될 수 있다. 제3 픽셀 회로(PC3)는 제3 칼럼 라인(COL3)에 연결되고, 제4 픽셀 회로(PC4)는 제4 칼럼 라인(COL4)에 연결될 수 있다. 제1 내지 제4 칼럼 라인들(COL1-COL4)은 제1 내지 제4 픽셀 회로들(PC1-PC4)로부터 픽셀 회로를 획득하는 샘플링 회로 및 픽셀 회로를 디지털 데이터로 변환하는 아날로그-디지털 컨버터에 연결될 수 있다.
제1 내지 제4 픽셀 회로들(PC1-PC4)은 서로 동일한 구조를 가질 수 있다. 일례로 제1 픽셀 회로(PC1)는 포토 다이오드(PD)에 연결되는 제1 포토 트랜지스터(PX1), 제1 전송 트랜지스터(TX1), 포토 다이오드(PD)가 생성한 전하를 축적하는 제1 플로팅 디퓨전(FD1), 및 복수의 제1 회로 소자들(RX1, DX1, SX1)을 포함할 수 있다. 복수의 제1 회로 소자들(RX1, DX1, SX1)은 제1 리셋 트랜지스터(RX1), 제1 구동 트랜지스터(DX1), 및 제1 선택 트랜지스터(SX1) 등을 포함할 수 있다. 제1 전송 트랜지스터(TX1), 제1 리셋 트랜지스터(RX1), 및 제1 선택 트랜지스터(SX1)를 제어하기 위한 제어 신호들(TG1, RG1, SEL1)은 이미징 장치의 클럭 드라이버에 의해 입력될 수 있다.
제1 리셋 트랜지스터(RX1)가 턴-온되면 제1 플로팅 디퓨전(FD1)의 전압이 전원 전압(VDD)으로 리셋되며, 선택 트랜지스터(SX1)가 턴-온되어 제1 칼럼 라인(COL1)으로 제1 리셋 전압이 출력될 수 있다. 제1 리셋 트랜지스터(RX1)가 턴-오프되고 제1 전송 트랜지스터(TX1)가 턴-온되기 전까지의 제1 노출 시간 동안, 포토 다이오드(PD)는 빛에 노출되어 전하를 생성할 수 있다.
제1 전송 트랜지스터(TX1)가 턴-온되면 포토 다이오드(PD)에서 생성되어 제1 포토 트랜지스터(PX1)에 축적된 전하가 제1 플로팅 디퓨전(FD1)로 이동할 수 있다. 제1 선택 트랜지스터(SX1)가 턴-온되면, 제1 칼럼 라인(COL1)으로 제1 픽셀 전압이 출력될 수 있다. 제1 칼럼 라인(COL1)에 연결되는 제1 아날로그-디지털 컨버터는 제1 리셋 전압과 제1 픽셀 전압의 차이를 디지털 데이터인 제1 로우 데이터(DATA1)로 변환할 수 있다.
제2 내지 제4 픽셀 회로들(PC2-PC4)의 동작은 제1 픽셀 회로(PC1)의 동작과 유사할 수 있다. 다만, 제1 내지 제4 픽셀 회로들(PC1-PC4) 각각에 입력되는 포토 제어 신호들(PG1-PG4)은 서로 다른 위상을 가질 수 있다. 일례로, 픽셀(PX)이 도 4a 및 도 4b를 참조하여 설명한 제1 픽셀들(110) 중 하나인 경우, 포토 제어 신호들(PG1-PG4)은 제1 주파수를 가지며, 광 제어 신호를 기준으로 0도, 90도, 180도, 270도의 위상차를 가질 수 있다. 한편, 픽셀(PX)이 도 4a 및 도 4b를 참조하여 설명한 제2 픽셀들(120) 중 하나인 경우, 포토 제어 신호들(PG1-PG4)은 제2 주파수를 가지며, 광 제어 신호를 기준으로 0도, 90도, 180도, 270도의 위상차를 가질 수 있다. 이하, 도 6을 함께 참조하여 이미징 장치의 동작을 더욱 상세히 설명하기로 한다.
도 6을 참조하면, 픽셀(PX)에 입력되는 포토 제어 신호들(PG1-PG4)은 광 제어 신호를 기준으로 0도, 90도, 180도, 270도의 위상차를 가질 수 있다. 또한, 포토 제어 신호들(PG1-PG4) 각각의 듀티 비는 광 제어 신호의 듀티 비의 1/2일 수 있다. 이미징 장치의 광원에 입력되는 광 제어 신호와, 피사체로부터 반사되어 이미징 장치의 픽셀 어레이에 입력되는 광 수신 신호는 소정의 위상차(φ)를 가질 수 있다. 위상차(φ)는, 포토 제어 신호들(PG1-PG4)과 광 수신 신호가 중첩되는 시간들(ex2-ex4)에 따라 결정되는 로우 데이터들에 따라 결정될 수 있다. 일례로, 위상차(φ)는 수학식 2와 같이 결정되며, 수학식 2에서 A1 내지 A4는 제1 내지 제4 픽셀 회로들(PC1-PC4)이 출력하는 로우 데이터들일 수 있다. 위상차(φ)에 따른 피사체까지의 거리 정보는, 수학식 3과 같이 결정될 수 있다.
Figure pat00002
Figure pat00003
도 7 내지 도 9는 본 발명의 일 실시예에 따른 이미징 장치에 포함되는 광원의 동작을 설명하기 위해 제공되는 도면이다.
도 7은 제1 주파수의 제1 기준 신호와, 제2 주파수의 제2 기준 신호를 이용하여 생성한 광 제어 신호로 광원을 구동함으로써, 이미징 장치로 측정 가능한 최대 거리를 증가시킬 수 있는 방법을 설명하기 위한 도면이다. 도 7에 도시한 일 실시예에서, 제1 주파수는 120MHz이고, 제2 주파수는 20MHz이다. 다만, 제1 주파수와 제2 주파수는 실시예들에 따라 다양하게 변형될 수 있다. 예를 들어, 제1 주파수는 제2 주파수보다 클 수 있으며, 제2 주파수의 정수 배일 수 있다.
본 발명의 일 실시예에서는, 제1 기준 신호와 제2 기준 신호를 이용하여 생성한 광 제어 신호로 광원을 구동하고, 제1 주파수의 제1 포토 제어 신호들로 제1 픽셀들을 구동하며 제2 주파수의 제2 포토 제어 신호들로 제2 픽셀들을 구동함으로써 이미징 장치가 측정할 수 있는 최대 거리를 증가시킬 수 있다. 앞서 설명한 수학식 1을 참조하면, 제1 픽셀들로부터 획득한 로우 데이터를 이용하여 측정할 수 있는 최대 거리는 1.25m일 수 있으며, 제2 픽셀들로부터 획득한 로우 데이터를 이용하여 측정할 수 있는 최대 거리는 7.5m일 수 있다.
예를 들어, 제1 픽셀들로부터 획득한 로우 데이터를 이용하여 측정한 거리가 1m인 경우, 이미징 장치가 피사체까지의 실제 거리는 1m가 아닌, 2.25m, 3.5m, 4.75m, 6m 중 하나일 수 있다. 다시 말해, 이미징 장치와 피사체 사이의 거리가 1m인 경우와 6m인 경우를, 제1 픽셀들로부터 획득한 로우 데이터만으로는 구분하지 못할 수 있다.
본 발명의 일 실시예에서는, 제1 기준 신호와 제2 기준 신호를 이용하여 생성한 광 제어 신호로 광원을 구동함으로써, 상기와 같은 문제를 해결할 수 있다. 일례로, 광 제어 신호는 제1 기준 신호와 제2 기준 신호를 곱하여 생성될 수 있다. 예를 들어, 본 발명의 일 실시예에서 이미징 장치가 측정할 수 있는 최대 거리는, 제1 기준 신호로 광원을 구동할 때 측정 가능한 최대 거리와, 제2 기준 신호로 광원을 구동할 때 측정 가능한 최대 거리의 최소 공배수로 확장될 수 있다. 도 7에 도시한 일 실시예에서, 이미징 장치가 측정 가능한 최대 거리는 15m일 수 있다.
제1 픽셀들로부터 획득한 로우 데이터를 이용하여 측정한 거리가 d1이고, 제2 픽셀들로부터 획득한 로우 데이터를 이용하여 측정한 거리가 d2인 경우, 이미징 장치와 피사체 사이의 실제 거리 d는 아래의 수학식 4에 따라 결정될 수 있다. 수학식 4에서 N1과 N2는 각각 0 이상의 정수이며, d1MAX는 제1 픽셀들로부터 획득한 로우 데이터를 이용하여 측정할 수 있는 최대 거리, d2MAX는 제2 픽셀들로부터 획득한 로우 데이터를 이용하여 측정할 수 있는 최대 거리일 수 있다.
Figure pat00004
일례로, 제1 픽셀들로부터 획득한 로우 데이터를 이용하여 측정한 거리가 1m이고, 제2 픽셀들로부터 획득한 로우 데이터를 이용하여 측정한 거리가 6m인 경우, 실제 거리 d는 6m로 결정될 수 있다. 한편, 제1 픽셀들로부터 획득한 로우 데이터를 이용하여 측정한 거리가 1m이고, 제2 픽셀들로부터 획득한 로우 데이터를 이용하여 측정한 거리가 7.25m인 경우, 실제 거리 d는 14.75m로 결정될 수 있다.
도 8 및 도 9는 광 제어 신호를 생성하는 방법을 설명하기 위한 도면들이다. 우선 도 8에 도시한 일 실시예에서, 제1 기준 신호(201)의 주파수는 120MHz일 수 있으며, 제2 기준 신호(202)의 주파수는 20MHz일 수 있다. 광 제어 신호(203)는 제1 기준 신호(201)와 제2 기준 신호(202)의 곱셈의 결과로 생성될 수 있다. 광 제어 신호(203)의 한 주기(PT)는 제2 기준 신호(202)의 한 주기와 같을 수 있으며, 따라서 광 제어 신호(203)의 주파수는 제2 주파수와 같은 20MHz일 수 있다.
광 제어 신호(203)의 한 주기(PT)는 제1 구간(T1)과 제2 구간(T2)을 포함할 수 있으며, 제1 구간(T1)과 제2 구간(T2)은 같은 시간일 수 있다. 제1 구간(T1) 동안 광 제어 신호(203)에 의해 광원은 반복적으로 턴-온 및 턴-오프될 수 있으며, 제2 구간(T2) 동안 광 제어 신호(203)에 의해 광원은 턴-오프 상태를 유지할 수 있다. 제1 구간(T1) 동안 광원이 턴-온 및 턴-오프를 반복하는 횟수는, 제1 주파수와 제2 주파수의 비율에 따라 결정될 수 있다. 일례로, 도 8에 도시한 일 실시예에서는 제1 주파수가 제2 주파수의 6배이며, 따라서 제1 구간(T1) 동안 광원이 3번에 걸쳐서 턴-온 및 턴-오프를 반복할 수 있다.
다음으로 도 9에 도시한 일 실시예에서, 제1 기준 신호(211)의 주파수는 120MHz일 수 있으며, 제2 기준 신호(212)의 주파수는 10MHz일 수 있다. 도 9에 도시한 일 실시예에서, 광 제어 신호(213)의 주파수는 10MHz일 수 있으며, 제1 주파수가 제2 주파수의 12배이므로 제1 구간(T1) 동안 광원이 6번에 걸쳐서 턴-온 및 턴-오프를 반복할 수 있다.
본 발명의 일 실시예에서는, 광 제어 신호(203, 213)에 의해 광원이 구동되는 동안, 픽셀 어레이의 제1 픽셀들은 제1 주파수를 갖는 제1 포토 제어 신호들을 입력받고, 제2 픽셀들은 제2 주파수를 갖는 제2 포토 제어 신호들을 입력받을 수 있다. 따라서, 제1 픽셀들로부터 획득한 로우 데이터를 이용하여 계산한 피사체까지의 거리 정보와, 제2 픽셀들로부터 획득한 로우 데이터를 이용하여 계산한 피사체까지의 거리 정보를 이용하여, 이미징 장치와 피사체 사이의 거리를 정확하게 계산하고, 깊이 이미지의 정확도를 개선할 수 있다. 또한, 광원에 광 제어 신호(203, 213)를 입력하고 한 번의 프레임 주기 동안 제1 픽셀들 및 제2 픽셀들로부터 획득한 로우 데이터로부터 깊이 이미지를 생성하므로, 프레임 레이트 감소없이 측정 가능한 거리를 증가시킬 수 있다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 이미징 장치의 동작을 설명하기 위한 도면들이다.
도 10 및 도 11을 참조하여 설명하는 실시예들에서, 광 제어 신호(203)는 앞서 도 8을 참조하여 설명한 일 실시예와 같이 제1 주파수의 제1 기준 신호(201)와 제2 주파수의 제2 기준 신호(202)를 이용하여 생성될 수 있다. 도 10은 광 제어 신호(203)로 광원이 구동되는 동안, 제1 픽셀들 각각에 입력되는 제1 포토 제어 신호들(PG11-PG14)을 나타낸 도면이며, 도 11은 제2 픽셀들 각각에 입력되는 제2 포토 제어 신호들(PG21-PG24)을 나타낸 도면일 수 있다. 제1 픽셀들과 제2 픽셀들은 같은 구조를 가질 수 있다.
먼저 도 10을 참조하면, 광 제어 신호(203)는 20MHz의 주파수를 갖는 신호일 수 있으며, 한 주기(PT)의 제1 구간(T1) 동안 광원을 턴-온 및 턴-오프시키고 제2 구간(T2) 동안 광원을 턴-오프시킬 수 있다. 제1 포토 제어 신호들(PG11-PG14)은 제1 픽셀들 각각에 포함되는 픽셀 회로들의 포토 트랜지스터들에 대응하는 신호들일 수 있다. 도 10을 참조하여 설명하는 일 실시예에서 제1 픽셀들 각각은 앞서 도 5를 참조하여 설명한 바와 같이 제1 내지 제4 픽셀 회로들을 포함할 수 있다.
제1 포토 제어 신호들(PG11-PG14)은 제1 내지 제4 픽셀 회로들의 포토 트랜지스터들에 각각 입력될 수 있다. 제1 포토 제어 신호들(PG11-PG14)은 제1 주파수를 가질 수 있으며, 앞서 도 8을 참조하여 설명한 바와 같이 광 제어 신호(203)를 생성하는 데에 이용한 제1 기준 신호(201)를 기준으로 0도, 90도, 180도, 270도의 위상차를 가질 수 있다. 또한, 제1 포토 제어 신호들(PG11-PG14)은 제1 기준 신호(201)와 비교하여 1/2의 듀티비를 가질 수 있다. 일 실시예에서, 제1 포토 제어 신호들(PG11-PG14)은 제1 기준 신호(201)의 듀티 비를 감소시키고 위상을 시프트함으로써 생성될 수 있다.
다음으로 도 11을 참조하면, 제2 픽셀들에 포함되는 제1 내지 제4 픽셀 회로들의 포토 트랜지스터들에는, 제2 포토 제어 신호들(PG21-PG24)이 입력될 수 있다. 제2 포토 제어 신호들(PG21-PG24)은 제2 주파수를 가질 수 있으며, 제2 기준 신호(202)를 기준으로 0도, 90도, 180도, 270도의 위상차를 가질 수 있다. 또한 제2 포토 제어 신호들(PG21-PG24)은 제2 기준 신호(202)와 비교하여 1/2의 듀티 비를 가질 수 있다.
이미징 장치의 로직 회로는, 제1 픽셀들로부터 획득한 로우 데이터를 이용하여 피사체까지의 제1 거리 정보를 계산하고, 제2 픽셀들로부터 획득한 로우 데이터를 이용하여 피사체까지의 제2 거리 정보를 계산할 수 있다. 동일한 피사체에 대한 거리 정보임에도 불구하고, 제1 픽셀들과 제2 픽셀들에 입력되는 포토 제어 신호들이 서로 다르기 때문에, 제1 거리 정보와 제2 거리 정보는 다를 수 있다. 로직 회로는, 앞서 수학식 4를 참조하여 설명한 바와 같은 방법에 따라 제1 거리 정보와 제2 거리 정보를 조합하여 피사체까지의 정확한 거리 정보를 계산하고, 그로부터 깊이 이미지를 생성할 수 있다.
도 12 및 도 13은 본 발명의 일 실시예에 따른 이미징 장치의 동작을 설명하기 위한 도면들이다.
먼저 도 12를 참조하면, 본 발명의 일 실시예에 따른 이미징 장치는 소정의 프레임 레이트에 따라 동작할 수 있다. 프레임 레이트는, 이미징 장치가 하나의 깊이 이미지를 출력하기 위하여 필요한 시간인 프레임 주기(FP)에 따라 결정될 수 있다. 프레임 주기(FP) 동안, 광원은 광 제어 신호에 의해 구동되며, 광 제어 신호는 서로 다른 주파수를 갖는 기준 신호들을 이용하여 생성한 신호일 수 있다. 일례로, 광 제어 신호는 제1 주파수의 제1 기준 신호와, 제2 주파수의 제2 기준 신호를 곱셈하여 생성될 수 있다.
제1 포토 제어 신호는 이미징 장치에 포함되는 픽셀 어레이의 제1 픽셀들에 입력되는 신호로서, 제1 주파수를 가질 수 있다. 일례로 제1 픽셀들 각각은 제1 내지 제4 픽셀 회로들을 포함할 수 있으며, 제1 픽셀 회로에는 도 12에 도시한 제1 포토 제어 신호가 입력될 수 있다. 제2 내지 제4 픽셀 회로들에는, 제1 포토 제어 신호의 위상을 90도, 180도, 270도씩 시트프한 신호가 입력될 수 있다.
제2 포토 제어 신호는 이미징 장치에 포함되는 픽셀 어레이의 제2 픽셀들에 입력되는 신호로서, 제2 주파수를 가질 수 있다. 제1 픽셀들과 마찬가지로 제2 픽셀들 각각은 제1 내지 제4 픽셀 회로들을 포함할 수 있으며, 제1 픽셀 회로에는 도 12에 도시한 제2 포토 제어 신호가 입력될 수 있다. 제2 내지 제4 픽셀 회로들에는, 제2 포토 제어 신호의 위상을 90도, 180도, 270도씩 시트프한 신호가 입력될 수 있다.
앞서 설명한 바와 같이, 이미징 장치가 측정할 수 있는 피사체까지의 최대 거리는, 광원에 입력되는 광 제어 신호의 주파수에 따라 결정될 수 있다. 본 발명의 일 실시예에서는, 도 12에 도시한 바와 같이, 한 번의 프레임 주기(FP)만으로 이미징 장치가 측정할 수 있는 최대 거리를 증가시킬 수 있다.
한편, 제1 픽셀들에는 제1 주파수의 제1 포토 제어 신호가 입력되고 제2 픽셀들에는 제2 주파수의 제2 포토 제어 신호가 입력되므로, 제1 픽셀들로부터 획득한 제1 로우 데이터와 제2 픽셀들로부터 획득한 제2 로우 데이터 간의 노이즈 특성에 차이가 존재할 수 있다. 이는 깊이 이미지의 품질에 영향을 줄 수 있다. 본 발명에서는, 제1 로우 데이터를 이용하여 제2 로우 데이터를 수정함으로써 상기와 같은 문제를 해결할 수 있다.
우선 이미징 장치의 로직 회로가, 제1 픽셀들로부터 획득한 제1 로우 데이터와 제2 픽셀들로부터 획득한 제2 로우 데이터를 이용하여 피사체까지의 정확한 거리 정보를 계산할 수 있다. 피사체까지의 거리 정보가 계산되면, 이미징 장치의 이미지 프로세서는, 제1 로우 데이터를 이용하여 제2 로우 데이터를 수정하고 깊이 이미지를 생성할 수 있다. 일례로, 이미지 프로세서는, 제2 픽셀들 각각에 인접한 둘 이상의 제1 이웃 픽셀들로부터 획득한 제1 로우 데이터를 이용하여, 제2 픽셀들 각각의 제2 로우 데이터를 수정할 수 있다. 일 실시예에서 이미지 프로세서는, 제2 픽셀들 각각의 제2 로우 데이터는, 제1 이웃 픽셀들로부터 획득한 제1 로우 데이터의 산술 평균으로 치환할 수 있다. 상기와 같이 제1 로우 데이터를 이용하여 제2 로우 데이터를 수정함으로써, 픽셀들 간 노이즈 특성의 차이를 최소화하고, 이미징 장치가 출력하는 깊이 이미지의 품질을 개선할 수 있다.
도 13은 본 발명의 일 실시예에 따른 이미징 장치의 동작을 설명하기 위한 비교예를 나타낸 도면일 수 있다. 도 13을 참조하면, 비교예에서는 연속적인 제1 프레임 주기(FP1)와 제2 프레임 주기(FP2) 각각에서 광원이 서로 다른 주파수의 광 제어 신호들에 의해 구동될 수 있다.
일례로, 제1 프레임 주기(FP1)에서 광원은 제1 주파수의 광 제어 신호로 구동되고, 제2 프레임 주기(FP2)에서 광원은 제1 주파수보다 작은 제2 주파수의 광 제어 신호로 구동될 수 있다. 광 제어 신호의 주파수에 따라, 제1 프레임 주기(FP1)와 제2 프레임 주기(FP2) 각각에서 픽셀들에 입력되는 포토 제어 신호의 주파수도 달라질 수 있다. 제1 프레임 주기(FP1)에는 제1 주파수를 갖는 포토 제어 신호가 픽셀들에 입력되고, 제2 프레임 주기(FP2)에는 제2 주파수를 갖는 포토 제어 신호가 픽셀들에 입력될 수 있다.
비교예에 따른 이미징 장치는, 제1 프레임 주기(FP1)에 픽셀들로부터 획득한 로우 데이터와, 제2 프레임 주기(FP2)에 픽셀들로부터 획득한 로우 데이터를 이용하여 피사체까지의 거리 정보를 획득하고, 깊이 이미지를 생성할 수 있다. 따라서, 하나의 깊이 이미지를 생성하는 데에 두 번의 프레임 주기들(FP1, FP2)이 필요하며, 결과적으로 이미징 장치의 프레임 레이트가 감소하여 동작 성능이 저하될 수 있다.
반면 본 발명의 일 실시예에 따른 이미징 장치의 경우, 도 12를 참조하여 설명한 바와 같이 한 번의 프레임 주기(FP)에 획득한 로우 데이터만으로 정확한 거리 정보를 나타내는 깊이 이미지를 생성할 수 있다. 또한, 서로 다른 주파수의 포토 제어 신호들로 동작한 제1 픽셀들과 제2 픽셀들로부터 획득한 로우 데이터의 노이즈 특성 차이를 줄이기 위해, 제2 픽셀들로부터 획득한 제2 로우 데이터를, 제1 픽셀들로부터 획득한 제1 로우 데이터를 참조하여 수정할 수 있다. 따라서, 프레임 레이트 감소 없이 정확하고 노이즈 특성이 우수한 깊이 이미지를 출력하는 이미징 장치를 구현할 수 있다. 상대적으로 큰 제1 주파수의 포토 제어 신호를 입력받는 제1 픽셀들의 제1 로우 데이터 위주로 깊이 이미지를 생성하므로, 깊이 이미지의 해상도 역시 충분히 확보할 수 있다.
일 실시예에서, 이미징 장치에 포함되는 제2 픽셀들의 개수가 증가할수록 제1 로우 데이터를 참조하여 수정해야 할 제2 로우 데이터의 양이 증가하므로, 제1 픽셀들보다 적은 개수로 제2 픽셀들을 픽셀 어레이에 배치할 수 있다. 이하, 도 14 및 도 15를 참조하여 설명하기로 한다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 이미징 장치에 포함되는 픽셀 어레이를 간단하게 나타낸 도면들이다.
먼저 도 14를 참조하면, 본 발명의 일 실시예에 따른 픽셀 어레이(100A)는 제1 방향(X축 방향)과 제2 방향(Y축 방향)을 따라 배열되는 복수의 픽셀들(110A, 120A)을 포함할 수 있다. 일례로, 픽셀 어레이(100)는 제1 픽셀들(110A)과 제2 픽셀들(120A)을 포함할 수 있다. 앞서 도 4a 및 도 4b를 참조하여 설명한 일 실시예와 유사하게, 제2 픽셀들(120A) 각각은 제1 방향 및 제2 방향에서 제1 픽셀들(110A)과 인접할 수 있으며, 제1 픽셀들(110A)과 제2 픽셀들(120A)은 모두 동일한 구조를 가질 수 있다. 예시적으로, 제1 픽셀들(110A)과 제2 픽셀들(120A) 각각은 도 5를 참조하여 설명한 바와 같은 복수의 픽셀 회로들(PC1-PC4)을 포함할 수 있다.
제1 픽셀들(110A)과 제2 픽셀들(120A)은 이미징 장치의 로직 회로로부터 서로 다른 주파수의 포토 제어 신호들을 입력받아 동작할 수 있다. 일례로 로직 회로는, 제1 픽셀들(110A)에 제1 주파수의 제1 포토 제어 신호들을 입력하고, 제2 픽셀들(120A)에는 제1 주파수보다 작은 제2 주파수의 제2 포토 제어 신호들을 입력할 수 있다. 제1 포토 제어 신호들과 제2 포토 제어 신호들은, 픽셀들(110A, 120A)의 포토 트랜지스터에 입력될 수 있다.
상대적으로 큰 주파수의 포토 제어 신호가 입력된 제1 픽셀들(110A)로부터 획득한 제1 로우 데이터는, 상대적으로 작은 주파수의 포토 제어 신호가 입력된 제2 픽셀들(120A)로부터 획득한 제2 로우 데이터에 비해 상대적으로 우수한 공간 해상도를 가질 수 있다. 따라서, 제2 픽셀들(120A)의 개수가 제1 픽셀들(110A)의 개수보다 적도록 픽셀 어레이(110A)를 구성함으로써, 이미징 장치가 생성하는 깊이 이미지의 공간 해상도를 높일 수 있다. 일례로, 제1 픽셀들(110A)의 개수는 제2 픽셀들(120A)의 개수의 정수 배일 수 있으며, 도 14에 도시한 일 실시예에서는 제1 픽셀들(110A)의 개수가 제2 픽셀들(120A)의 개수의 3배일 수 있다. 도 15에 도시한 일 실시예에서는, 제1 픽셀들(110B)의 개수가 제2 픽셀들(120B)의 개수의 8배가 되도록 픽셀 어레이(100B)가 구성될 수 있다.
도 16은 본 발명의 일 실시예에 따른 이미징 장치의 동작을 설명하기 위한 도면이다.
도 16을 참조하면, 본 발명의 일 실시예에 따른 이미징 장치의 픽셀 어레이(300)는, 액티브 영역(310)과 더미 영역(320)을 포함할 수 있다. 액티브 영역(310)에는 복수의 픽셀들(311, 312)이 배치되며, 더미 영역(320)에는 복수의 더미 픽셀들(321)이 배치될 수 있다. 픽셀들(311, 312)과 더미 픽셀들(321)은 제1 방향(X축 방향)과 제2 방향(Y축 방향)으로 배열될 수 있다.
액티브 영역(310)에는 제1 픽셀들(311)과 제2 픽셀들(312)이 배치되며, 제1 픽셀들(311)과 제2 픽셀들(312) 각각은 하나의 포토 다이오드를 공유하는 제1 내지 제4 픽셀 회로들을 포함하는 구조를 갖고, 서로 다른 포토 제어 신호들을 입력받아 동작할 수 있다. 일례로, 제1 픽셀들(311) 각각의 제1 내지 제4 픽셀 회로들에는 제1 주파수의 제1 포토 제어 신호들(PG11-PG14)이 입력되고, 제2 픽셀들(312) 각각의 제1 내지 제4 픽셀 회로들에는 제1 주파수보다 작은 제2 주파수의 제2 포토 제어 신호들(PG21-PG24)이 입력될 수 있다.
제1 픽셀들(311)에 제1 주파수의 제1 포토 제어 신호들(PG11-PG14)이 입력되고, 제2 픽셀들(312)에 제2 주파수의 제2 포토 제어 신호들(PG21-PG24)이 입력될 수 있도록, 로우 라인들(R1-R4) 각각은 복수의 라인들을 포함할 수 있다. 일례로, 제1 로우 라인(R1)은 제1 픽셀들(311)에 연결되어 제1 포토 제어 신호들(PG11-PG14)을 전달하는 제1 포토 제어 라인들과, 제2 픽셀들(312)에 연결되어 제2 포토 제어 신호들(PG21-PG24)을 전달하는 제2 포토 제어 라인들을 포함할 수 있다.
도 16에 도시한 일 실시예에 따른 픽셀 어레이(300)에서, 제1 픽셀들(311)의 개수는 제2 픽셀들(312)의 개수의 3배일 수 있다. 이미징 장치의 로직 회로는, 제1 주파수의 제1 기준 신호와 제2 주파수의 제2 기준 신호를 곱하여 생성한 광 제어 신호를 이용하여 광원을 구동하는 동시에, 제1 픽셀들(311)에서 제1 로우 데이터를 획득하고 제2 픽셀들(312)에서 제2 로우 데이터를 획득할 수 있다. 로직 회로는 제1 로우 데이터와 제2 로우 데이터를 이용하여 피사체의 거리 정보를 계산할 수 있다.
거리 정보가 계산되면, 이미징 장치의 이미지 프로세서는 제2 로우 데이터를, 제2 픽셀들(312) 각각에 인접한 제1 이웃 픽셀들의 제1 로우 데이터를 이용하여 수정할 수 있다. 일례로, 제3 로우 라인(R3)과 제2 칼럼 라인(C2)에 연결된 제2 픽셀(312)로부터 획득한 제2 로우 데이터는, 제3 로우 라인(R3)과 제1 및 제3 칼럼 라인들(C1, C3)에 연결된 제1 이웃 픽셀들의 제1 로우 데이터, 및 제2 칼럼 라인(C2)과 제2 및 제4 로우 라인들(R2, R4)에 연결된 제1 이웃 픽셀들에 연결된 제1 로우 데이터에 기초하여 수정될 수 있다. 일 실시예에서, 제1 이웃 픽셀들의 제1 로우 데이터의 산술 평균으로 제2 로우 데이터가 치환될 수 있다. 다만, 실시예들에 따라 산술 평균이 아닌 다양한 방식으로 제1 로우 데이터를 이용하여 제2 로우 데이터를 수정할 수 있다.
일례로 이미지 프로세서는, 제1 이웃 픽셀들 각각에 입력되는 제1 포토 제어 신호들(PG11-PG14)과 제2 픽셀들(312) 각각에 입력되는 제2 포토 제어 신호들(PG21-PG24)의 위상을 서로 매칭시켜 제2 로우 데이터를 수정할 수 있다. 제1 내지 제4 픽셀 회로들에 서로 다른 위상의 포토 제어 신호들(PG11-PG14, PG21-PG24)이 입력되며, 이미지 프로세서는 제2 픽셀들(312) 각각에 포함되는 제1 내지 제4 픽셀 회로들로부터 획득한 제2 로우 데이터를, 제1 이웃 픽셀들 각각에 포함되는 제1 내지 제4 픽셀 회로들로부터 획득한 제1 로우 데이터에 기초하여 수정할 수 있다.
일 실시예에서, 제2 픽셀들(312) 각각의 제1 픽셀 회로로부터 획득한 제2 로우 데이터는, 제1 이웃 픽셀들 각각의 제1 픽셀 회로로부터 획득한 제1 로우 데이터에 기초하여 수정될 수 있다. 마찬가지로, 제2 픽셀들(312) 각각의 제2 픽셀 회로로부터 획득한 제2 로우 데이터는, 제1 이웃 픽셀들 각각의 제2 픽셀 회로로부터 획득한 제2 로우 데이터에 기초하여 수정될 수 있다. 이미지 프로세서는, 수정된 제2 로우 데이터와, 제1 로우 데이터를 이용하여 피사체를 나타내는 깊이 이미지를 생성할 수 있다.
도 16에 도시한 일 실시예에서, 제1 로우 라인(R1)에 연결되는 제2 픽셀들(312)은, 제2 방향에서 제1 픽셀들(311)과 인접하지 않을 수 있다. 따라서, 제1 로우 라인(R1)에 연결되는 제2 픽셀들(312)로부터 획득한 제2 로우 데이터를 수정하기 위한 제1 로우 데이터가, 다른 로우 라인들(R2-R4)에 연결된 제2 픽셀들(312)에 비해 부족할 수 있다.
본 발명의 일 실시예에서는, 더미 영역(320)에 배치되는 더미 픽셀들(321)로부터 획득한 로우 데이터를, 제2 픽셀들(312) 중 적어도 하나의 제2 로우 데이터를 수정하는 데에 이용할 수 있다. 예시적으로, 제1 로우 라인(R1)과 제2 칼럼 라인(C2)에 연결된 제2 픽셀들(312)의 제2 로우 데이터를 수정하기 위해, 더미 로우 라인(R0)과 제2 칼럼 라인(C2)에 연결된 더미 픽셀(321)이 출력하는 로우 데이터를 이용할 수 있다.
도 17은 본 발명의 일 실시예에 따른 이미징 장치에 포함되는 픽셀 어레이를 간단하게 나타낸 도면들이다.
도 17에 도시한 일 실시예에서, 이미징 장치에 포함되는 픽셀 어레이(400)는 제1 방향(X축 방향)과 제2 방향(Y축 방향)으로 배열되는 복수의 픽셀들(410, 420)을 포함할 수 있다. 픽셀들(410, 420)은 서로 같은 구조를 가질 수 있다.
픽셀 어레이(400)는 제1 픽셀들(410)과 제2 픽셀들(420)을 포함하며, 제1 픽셀들(410)과 제2 픽셀들(420)은 서로 다른 주파수를 갖는 포토 제어 신호들에 의해 제어될 수 있다. 일례로, 픽셀 어레이(400)를 제어하는 로직 회로는, 제1 방향으로 연장되며 픽셀 어레이(400)와 연결되는 로우 라인들을 통해, 제1 픽셀들(410)에는 제1 주파수의 제1 포토 제어 신호들을 입력하고, 제2 픽셀들(420)에는 제2 주파수의 제2 포토 제어 신호들을 입력할 수 있다.
도 17에 도시한 일 실시예에서, 제1 픽셀들(410)과 제2 픽셀들(420) 각각은, 서로 인접한 4개의 서브 픽셀들(411-414, 421-424)을 포함할 수 있다. 제1 픽셀들(410)과 제2 픽셀들(420) 각각에서 4개의 서브 픽셀들(411-414, 421-424)은 2x2 형태로 배열될 수 있다. 4개의 서브 픽셀들(411-414, 421-424) 각각은 포토 다이오드와 픽셀 회로를 포함하며, 픽셀 회로는 포토 다이오드에 연결되는 포토 트랜지스터, 및 포토 다이오드의 전하를 증폭시켜 픽셀 신호를 출력하는 구동 트랜지스터를 포함할 수 있다.
예시적으로, 제1 픽셀들(410)의 내부에서 같은 위치에 배치되는 서브 픽셀들(411-414)에는 같은 포토 제어 신호가 입력될 수 있다. 예를 들어, 제1 서브 픽셀들(411)에는 주파수와 위상이 동일한 하나의 포토 제어 신호가 입력될 수 있다. 제1 서브 픽셀들(411)에 입력되는 포토 제어 신호를 기준으로, 제2 서브 픽셀들(412)에 입력되는 포토 제어 신호는 90도의 위상차를 가지며, 제3 서브 픽셀들(413)에 입력되는 포토 제어 신호는 180도의 위상차를 갖고, 제4 서브 픽셀들(414)에 입력되는 포토 제어 신호는 270도의 위상차를 가질 수 있다. 마찬가지로, 제2 픽셀들(420)의 내부에서 같은 위치에 배치되는 서브 픽셀들(421-424)에는 같은 포토 제어 신호가 입력될 수 있다.
도 18은 본 발명의 일 실시예에 따른 이미징 장치의 픽셀을 간단하게 나타낸 회로도이다.
도 18은 도 17을 참조하여 설명한 픽셀 어레이(400)에 포함될 수 있는 픽셀(PX)을 간단하게 나타낸 회로도이다. 도 18을 참조하면, 픽셀(PX)은 제1 내지 제4 서브 픽셀들(PXSUB1-PXSUB4)을 포함할 수 있다. 도 18을 참조하여 설명하는 픽셀(PX)은, 도 17을 참조하여 설명한 일 실시예에 따른 제1 픽셀(411)과 제2 픽셀(421)에 모두 적용될 수 있다.
제1 내지 제4 서브 픽셀들(PXSUB1-PXSUB4)은 같은 구조를 가질 수 있다. 예시로서 제1 서브 픽셀(PXSUB1)을 참조하면, 제1 포토 다이오드(PD1), 및 제1 포토 노드(PN1)를 통해 제1 포토 다이오드(PD1)에 연결되는 픽셀 회로를 포함할 수 있다. 픽셀 회로는 포토 트랜지스터(PX1), 전송 트랜지스터(TX1), 플로팅 디퓨전(FD1), 리셋 트랜지스터(RX1), 구동 트랜지스터(DX1) 및 선택 트랜지스터(SX1) 등을 포함할 수 있다. 다만 픽셀 회로의 구성은 실시예들에 따라 다양하게 변형될 수 있다. 픽셀 회로의 동작은, 앞서 도 5를 참조하여 설명한 바와 유사할 수 있다.
포토 트랜지스터(PX1)에 입력되는 포토 제어 신호(PG1)의 주파수는, 픽셀(PX)에 따라 달라질 수 있다. 일례로, 픽셀(PX)이 제1 픽셀들(410) 중 하나이면, 포토 제어 신호(PG1)는 제1 주파수를 갖고, 픽셀(PX)이 제2 픽셀들(420) 중 하나이면 포토 제어 신호(PG1)는 제1 주파수보다 작은 제2 주파수를 가질 수 있다. 일례로 픽셀(PX)이 제1 픽셀들(410) 중 하나이면, 포토 제어 신호(PG1)는, 광 제어 신호를 생성하는 데에 이용한 제1 기준 신호와 같은 주파수, 및 같은 위상을 갖고, 1/2의 듀티비를 가질 수 있다.
제2 내지 제4 서브 픽셀들(PXSUB2-PXSUB4)에 입력되는 포토 제어 신호들(PG2-PG4)은, 제1 서브 픽셀(PXSUB2)에 입력되는 포토 제어 신호(PG1)와 같은 주파수를 가질 수 있다. 또한, 제2 서브 픽셀(PXSUB2)에 입력되는 포토 제어 신호(PG2)는 제1 서브 픽셀(PXSUB2)에 입력되는 포토 제어 신호(PG1)와 90도의 위상차를 가지며, 제3 서브 픽셀(PXSUB3)에 입력되는 포토 제어 신호(PG3)는 포토 제어 신호(PG1)와 180도의 위상차를 가질 수 있다. 제4 서브 픽셀(PXSUB4)에 입력되는 포토 제어 신호(PG4)는 포토 제어 신호(PG4)와 270도의 위상차를 가질 수 있다. 이미징 장치의 로직 회로는, 제1 내지 제4 서브 픽셀들(PXSUB1-PXSUB4)로부터 획득한 로우 데이터를 이용하여, 피사체와 픽셀(PX) 사이의 거리 정보를 생성할 수 있다.
도 19 내지 도 21은 본 발명의 일 실시예에 따른 이미징 장치를 포함하는 전자 기기를 간단하게 나타낸 도면들이다.
도 19는 본 발명의 일 실시예에 따른 이미징 장치를 포함하는 전자 기기(500)의 외관을 간단하게 나타낸 도면일 수 있다. 도 19에서는 전자 기기(500)가 모바일 기기, 예를 들어 스마트 폰인 것으로 도시하였으나, 이는 예시에 불과하며 반드시 이와 같은 형태로 한정되는 것은 아니다. 예를 들어 본 발명의 일 실시예에 따른 전자 기기(500)는 모바일 기기 외에 텔레비전, 데스크톱 컴퓨터, 모니터, 냉장고 등의 기기는 물론, 도어락, 현금 인출기 등과 같이 보안이 필요한 기기 등에도 폭넓게 적용될 수 있다.
도 19를 참조하면, 전자 기기(500)는 하우징(510), 및 카메라부(520)를 포함할 수 있다. 카메라부(520)는 하우징(510)의 후면은 물론, 디스플레이가 배치되는 하우징(510)의 전면에도 추가로 배치될 수 있다. 카메라부(520)는 복수의 카메라들(521-523), 및 광원(524) 등을 포함할 수 있다.
복수의 카메라들(521-523) 중 적어도 하나는 본 발명의 일 실시예에 따른 이미징 장치일 수 있다. 일례로, 이미징 장치는 카메라부(520)에 탑재된 광원(524)을 소정의 광 제어 신호로 구동할 수 있다. 일 실시예에서 광 제어 신호는, 제1 주파수를 갖는 제1 기준 신호와 제1 주파수보다 작은 제2 주파수를 갖는 제2 기준 신호를 곱하여 생성되는 신호일 수 있다.
광 제어 신호에 의해 동작하는 광원이 출력한 빛은, 피사체에서 반사되어 이미징 장치의 픽셀 어레이에 광 수신 신호로서 입사할 수 있다. 광 수신 신호는 광 제어 신호와 소정의 위상차를 가질 수 있으며, 이미징 장치는 광 제어 신호와 광 수신 신호 사이의 위상차를 계산하여 피사체를 포함하는 깊이 이미지를 생성할 수 있다. 이미징 장치의 구체적인 동작은, 앞서 도 1 내지 도 18을 참조하여 설명한 실시예들에 따라 이해될 수 있을 것이다.
다음으로 도 20을 참조하면, 전자 기기(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다. 또한 일 실시예에서, 카메라 모듈 그룹(1100)에 포함되는 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 하나는, 앞서 도 1 내지 도 18을 참조하여 설명한 실시예들 중 하나에 따른 이미징 장치로 구현될 수 있다.
이하, 도 21을 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다.
도 21을 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)를 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 20과 도 21을 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다. 또한, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 하나는, 피사체와의 거리 정보에 기초하여 깊이 이미지를 생성하는 ToF 센서를 포함할 수 있다.
다시 도 20을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.

Claims (20)

  1. 제1 주파수의 제1 기준 신호 및 상기 제1 주파수와 다른 제2 주파수의 제2 기준 신호를 이용하여 생성되는 광 제어 신호에 의해 동작하는 광원;
    상기 광원이 출력하고 피사체에서 반사된 광 수신 신호에 반응하여 전하를 생성하는 포토 다이오드, 및 상기 포토 다이오드의 전하에 대응하는 픽셀 신호를 출력하는 픽셀 회로를 각각 포함하는 복수의 픽셀들; 및
    상기 픽셀 신호를 이용하여 깊이 이미지(depth image)를 생성하기 위한 로우(raw) 데이터를 생성하는 로직 회로; 를 포함하며,
    상기 복수의 픽셀들은 제1 픽셀들 및 제2 픽셀들을 포함하고,
    상기 로직 회로는 상기 제1 픽셀들 각각에서 상기 포토 다이오드와 연결되는 상기 픽셀 회로에 상기 제1 주파수를 갖는 제1 포토 제어 신호를 입력하고, 상기 제2 픽셀들 각각에서 상기 포토 다이오드와 연결되는 상기 픽셀 회로에 상기 제2 주파수를 갖는 제2 포토 제어 신호를 입력하는 이미징 장치.
  2. 제1항에 있어서,
    상기 제2 주파수는 상기 제1 주파수보다 작은 이미징 장치.
  3. 제2항에 있어서,
    상기 제1 주파수는 상기 제2 주파수의 정수 배인 이미징 장치.
  4. 제1항에 있어서,
    상기 제1 픽셀들의 개수는 상기 제2 픽셀들의 개수 이상인 이미징 장치.
  5. 제4항에 있어서,
    상기 제1 픽셀들의 개수는 상기 제2 픽셀들의 개수의 정수 배인 이미징 장치.
  6. 제1항에 있어서,
    상기 복수의 픽셀들은 제1 방향 및 상기 제1 방향과 교차하는 제2 방향을 따라 배열되며,
    상기 제2 픽셀들 각각은 상기 제1 방향 및 상기 제2 방향에서 상기 제1 픽셀들 중 일부와 인접하는 이미징 장치.
  7. 제1항에 있어서,
    상기 제1 포토 제어 신호는, 상기 제1 기준 신호와 0도, 90도, 180도, 및 270도 위상 차이를 각각 갖는 복수의 제1 포토 제어 신호들을 포함하며,
    상기 제2 포토 제어 신호는, 상기 제2 기준 신호와 0도, 90도, 180도, 및 270도 위상 차이를 각각 갖는 복수의 제2 포토 제어 신호들을 포함하는 이미징 장치.
  8. 제7항에 있어서
    상기 제1 픽셀들 및 상기 제2 픽셀들 각각에서 상기 픽셀 회로는, 상기 포토 다이오드를 공유하는 제1 내지 제4 픽셀 회로들을 포함하고,
    상기 제1 내지 제4 픽셀 회로들 각각은 상기 포토 다이오드에 연결되는 포토 트랜지스터, 및 상기 포토 다이오드의 전하를 증폭하여 상기 픽셀 신호를 생성하는 구동 트랜지스터를 포함하는 이미징 장치.
  9. 제8항에 있어서
    상기 복수의 제1 포토 제어 신호들은 상기 제1 픽셀들 각각의 상기 제1 내지 제4 픽셀 회로들에 포함되는 상기 포토 트랜지스터들에 입력되며, 상기 복수의 제2 포토 제어 신호들은 상기 제2 픽셀들 각각의 상기 제1 내지 제4 픽셀 회로들에 포함되는 상기 포토 트랜지스터들에 입력되는 이미징 장치.
  10. 제7항에 있어서,
    상기 제1 픽셀들 및 상기 제2 픽셀들 각각은 서로 인접한 4개의 서브 픽셀들을 포함하며,
    상기 서브 픽셀들 각각은 상기 포토 다이오드, 및 상기 픽셀 회로를 포함하며, 상기 서브 픽셀들 각각의 상기 픽셀 회로는 상기 포토 다이오드에 연결되는 하나의 포토 트랜지스터와, 상기 포토 다이오드의 전하를 증폭하여 상기 픽셀 신호를 생성하는 구동 트랜지스터를 포함하는 이미징 장치.
  11. 제10항에 있어서,
    상기 복수의 제1 포토 제어 신호들은 상기 제1 픽셀들 각각에서 상기 픽셀 회로들에 포함되는 상기 포토 트랜지스터들에 입력되고, 상기 복수의 제2 포토 제어 신호들은 상기 제2 픽셀들 각각에서 상기 픽셀 회로들에 포함되는 상기 포토 트랜지스터들에 입력되는 이미징 장치.
  12. 제1항에 있어서,
    상기 로직 회로는, 상기 제1 기준 신호와 상기 제2 기준 신호를 곱하여 상기 광 제어 신호를 생성하는 이미징 장치.
  13. 제1 주파수의 제1 기준 신호 및 상기 제1 주파수와 다른 제2 주파수의 제2 기준 신호를 이용하여 생성되는 광 제어 신호에 의해 동작하는 광원;
    상기 광원이 출력하고 피사체에서 반사된 광 수신 신호에 반응하여 픽셀 신호를 생성하며, 상기 제1 주파수의 제1 포토 제어 신호들에 동기화되어 동작하는 제1 픽셀들과 상기 제2 주파수의 제2 포토 제어 신호들에 동기화되어 동작하는 제2 픽셀들을 갖는 복수의 픽셀들, 및 상기 픽셀 신호를 이용하여 로우 데이터를 생성하는 로직 회로를 포함하는 센서; 및
    상기 로우 데이터를 이용하여 상기 피사체의 거리 정보를 계산하는 이미지 프로세서; 를 포함하며,
    상기 로우 데이터는 상기 제1 픽셀들에 대응하는 제1 로우 데이터, 및 상기 제2 픽셀들에 대응하는 제2 로우 데이터를 포함하고,
    상기 이미지 프로세서는 상기 피사체의 거리 정보를 계산한 후, 상기 제1 픽셀들 중에서 상기 제2 픽셀들 각각에 인접한 둘 이상의 제1 이웃 픽셀들에 대응하는 상기 제1 로우 데이터를 이용하여, 상기 제2 로우 데이터를 수정하는 이미징 장치.
  14. 제13항에 있어서,
    상기 제1 픽셀들과 상기 제2 픽셀들은 제1 방향 및 상기 제1 방향과 교차하는 제2 방향으로 배열되며,
    상기 제2 픽셀들 각각은 상기 제1 방향 및 상기 제2 방향에서 상기 제1 이웃 픽셀들과 인접하는 이미징 장치.
  15. 제13항에 있어서,
    상기 제1 포토 제어 신호들은 상기 제1 기준 신호를 기준으로 0도, 90도, 180도, 270의 위상차를 가지며, 상기 제2 포토 제어 신호들은 상기 제2 기준 신호를 기준으로 0도, 90도, 180도, 270도의 위상차를 갖고,
    상기 이미지 프로세서는, 상기 제1 이웃 픽셀들 각각에 입력되는 상기 제1 포토 제어 신호들과 상기 제2 픽셀들 각각에 입력되는 상기 제2 포토 제어 신호들의 위상을 서로 매칭시켜 상기 제2 로우 데이터를 수정하는 이미징 장치.
  16. 제15항에 있어서,
    상기 이미지 프로세서는, 상기 제1 로우 데이터와, 수정된 상기 제2 로우 데이터를 이용하여 상기 피사체를 포함하는 깊이 이미지를 생성하는 이미징 장치.
  17. 제13항에 있어서,
    상기 이미지 프로세서는, 상기 제2 로우 데이터를 상기 제1 이웃 픽셀들에 대응하는 상기 제1 로우 데이터의 산술 평균으로 치환하는 이미징 장치.
  18. 제1 주파수를 갖는 제1 포토 제어 신호들, 및 상기 제1 주파수보다 작은 제2 주파수를 갖는 제2 포토 제어 신호들을 출력하는 클럭 드라이버;
    상기 제1 포토 제어 신호들을 입력받는 제1 픽셀들, 및 상기 제2 포토 제어 신호들을 입력받는 제2 픽셀들을 갖는 픽셀 어레이;
    상기 픽셀 어레이와 복수의 칼럼 라인들을 통해 연결되는 리드아웃 회로; 및
    상기 제2 주파수를 가지며, 상기 제2 포토 제어 신호와 다른 광 제어 신호에 의해 제어되는 광원; 을 포함하는 이미징 장치.
  19. 제18항에 있어서,
    상기 광 제어 신호의 한 주기는 제1 구간 및 제2 구간을 포함하고, 상기 제1 구간과 상기 제2 구간은 서로 동일하며,
    상기 제1 구간 동안 상기 광 제어 신호에 의해 상기 광원은 턴-온 및 턴-오프를 반복하고, 상기 제2 구간 동안 상기 광 제어 신호에 의해 상기 광원은 턴-오프되는 이미징 장치.
  20. 제19항에 있어서,
    상기 제1 구간 동안 상기 광원이 턴-온 및 턴-오프를 반복하는 횟수는, 상기 제1 주파수와 상기 제2 주파수의 비율에 의해 결정되는 이미징 장치.
KR1020200161099A 2020-11-26 2020-11-26 이미징 장치 KR20220075016A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200161099A KR20220075016A (ko) 2020-11-26 2020-11-26 이미징 장치
US17/381,777 US11818484B2 (en) 2020-11-26 2021-07-21 Imaging device
CN202111402567.8A CN114554044A (zh) 2020-11-26 2021-11-24 成像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200161099A KR20220075016A (ko) 2020-11-26 2020-11-26 이미징 장치

Publications (1)

Publication Number Publication Date
KR20220075016A true KR20220075016A (ko) 2022-06-07

Family

ID=81657385

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200161099A KR20220075016A (ko) 2020-11-26 2020-11-26 이미징 장치

Country Status (3)

Country Link
US (1) US11818484B2 (ko)
KR (1) KR20220075016A (ko)
CN (1) CN114554044A (ko)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
KR20110116325A (ko) 2010-04-19 2011-10-26 삼성전자주식회사 영상 처리 장치 및 그 방법
KR101871235B1 (ko) * 2012-06-05 2018-06-27 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
US9602807B2 (en) * 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
US9383548B2 (en) * 2014-06-11 2016-07-05 Olympus Corporation Image sensor for depth estimation
EP3451023A1 (en) 2017-09-01 2019-03-06 Koninklijke Philips N.V. Time-of-flight depth camera with low resolution pixel imaging
JP7016709B2 (ja) 2018-01-30 2022-02-07 ソニーセミコンダクタソリューションズ株式会社 測距モジュール、測距方法、及び、電子機器
KR102624984B1 (ko) 2018-03-21 2024-01-15 삼성전자주식회사 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
KR102606240B1 (ko) * 2018-07-09 2023-11-24 삼성전자주식회사 멀티탭 픽셀을 포함하는 이미지 센서
KR102534247B1 (ko) 2018-10-01 2023-05-18 삼성전자주식회사 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
US11543523B2 (en) 2018-12-28 2023-01-03 Texas Instruments Incorporated Multi frequency long range distance detection for amplitude modulated continuous wave time of flight cameras
KR102648089B1 (ko) * 2019-03-26 2024-03-19 삼성전자주식회사 이미징 장치 및 이미지 센서
WO2020223981A1 (zh) * 2019-05-09 2020-11-12 深圳奥比中光科技有限公司 时间飞行深度相机及多频调制解调的距离测量方法

Also Published As

Publication number Publication date
CN114554044A (zh) 2022-05-27
US11818484B2 (en) 2023-11-14
US20220166946A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
US11681024B2 (en) Imaging device and image sensor
US20210409623A1 (en) Image sensor and binning method thereof
KR20200113399A (ko) 이미지 처리 시스템, 이미지 센서, 이미지 센서의 구동 방법
KR20220079123A (ko) 이미지 장치 및 이미지 장치의 동작 방법
US20220018946A1 (en) Multi-function time-of-flight sensor and method of operating the same
US11598863B2 (en) Imaging device and method of controlling the same
KR20220075016A (ko) 이미징 장치
US11700460B2 (en) Image sensing apparatus and image binning method thereof
KR20230078460A (ko) 이미지 센서 및 이미지 센서의 자동 초점 동작 방법
KR20220122008A (ko) 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치
US11974059B2 (en) Image sensor, method of sensing image, and electronic device including the same with different resolutions
US11683603B2 (en) Image sensor including pixels and reference pixels, operating method of the image sensor, and electronic device including the image sensor
US20230254474A1 (en) Image sensor, processor of image sensor, and image processing method
US11722795B2 (en) Image processing device for noise reduction using dual conversion gain and operation method thereof
US20230171491A1 (en) Image sensor and autofocusing method of the same
US20220173139A1 (en) Image sensor
US20220247949A1 (en) Image sensor and electronic device including the same
EP4096217A1 (en) Image sensor and image signal processing method
US20230138770A1 (en) Image sensor, operating method thereof, and electronic device including the same
US20230199345A1 (en) Image sensing device, method for sensing image, and electronic device
US20230154945A1 (en) Image sensor
US20230011310A1 (en) Image sensor including pixel array
US20230300481A1 (en) Image sensing device and image processing method of the same
KR20230120074A (ko) 이미지 센서, 이미지 센서의 프로세서 및 이미지 처리방법
KR20240016799A (ko) 이미지 센서, 상기 이미지 센서의 동작 방법 및 복수의 포토다이오드를 포함하는 픽셀