KR102101444B1 - 깊이 센싱 장치 및 방법 - Google Patents
깊이 센싱 장치 및 방법 Download PDFInfo
- Publication number
- KR102101444B1 KR102101444B1 KR1020130043646A KR20130043646A KR102101444B1 KR 102101444 B1 KR102101444 B1 KR 102101444B1 KR 1020130043646 A KR1020130043646 A KR 1020130043646A KR 20130043646 A KR20130043646 A KR 20130043646A KR 102101444 B1 KR102101444 B1 KR 102101444B1
- Authority
- KR
- South Korea
- Prior art keywords
- floating diffusion
- switch
- diffusion node
- voltage
- turning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000009792 diffusion process Methods 0.000 claims abstract description 414
- 230000010354 integration Effects 0.000 claims abstract description 16
- 230000001276 controlling effect Effects 0.000 claims description 13
- 239000003990 capacitor Substances 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 235000009754 Vitis X bourquina Nutrition 0.000 description 1
- 235000012333 Vitis X labruscana Nutrition 0.000 description 1
- 240000006365 Vitis vinifera Species 0.000 description 1
- 235000014787 Vitis vinifera Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
- H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
대상 오브젝트의 깊이 영상을 획득하는 깊이 센싱 장치 및 방법에 관한 것으로, 일 측면에 있어서, 깊이 센싱 장치는 부집적(sub-integration) 구간 단위로, 제1 페이즈 구간 동안 제1 부유 확산 노드(floating diffusion(FD) node)에 저장된 포토 다이오드의 전압 및 제2 페이즈 구간 동안 제2 부유 확산 노드에 저장된 상기 포토 다이오드의 전압에 기초하여, 상기 제1 부유 확산 노드와 상기 제2 부유 확산 노드의 차이 전압을 계산하고, 상기 차이 전압을 상기 제1 부유 확산 노드 또는 상기 제2 부유 확산 노드 중 하나로 피드백(feedback) 하며, 부집적 구간들로 구성된 집적(Integration) 구간 동안 누적된 차이 전압에 기초하여 픽셀의 깊이 값을 계산할 수 있다.
Description
아래에서 설명하는 예들은 대상 오브젝트의 깊이 영상을 획득하는 깊이 센싱 장치 및 방법에 관한 것이다.
센서로부터 물체까지의 거리 정보를 얻는 방법은 크게 능동(active) 방식과 수동(passive) 방식으로 나눌 수 있다.
수동 방식은 빛을 조사하지 않고 영상 정보만을 이용하여 물체까지의 거리를 계산하는 방식으로 스테레오(stereo) 카메라에 의해 구현된다.
한편, 능동 방식은 물체에 빛을 조사하고 반사되어 돌아온 빛을 감지하여 빛의 이동 시간을 알아내는 TOF(time-of-flight)와 센서로부터 일정 거리에 있는 레이저(laser) 등에 의해 조사되고 반사된 빛의 위치를 감지하여 삼각측량을 이용하여 거리를 계산하는 triangulation 방식 등에 의해 구현된다.
그런데, 능동 방식에서는, 빛을 직접 조사하기 때문에 센서의 모든 픽셀(pixel)에서 거리 값을 획득할 수 있고 이에 따라 밀집한 깊이 맵(dense depth map)을 제공할 수 있지만, 외광(background light)이 강한 경우에는 조사한 빛과 외광이 같이 센서에 들어오기 때문에 깊이(depth) 값에 왜곡이 발생할 수 있다.
또한 능동 방식에서는, 픽셀이 외광에 의해 포화(saturation)되어 정확한 깊이 값을 취득하지 못하는 등의 오류가 발생할 수 있다.
일 측면에 있어서, 깊이 센싱 장치는 부집적(sub-integration) 구간 단위로, 제1 페이즈 구간 동안 제1 부유 확산 노드(floating diffusion(FD) node)에 저장된 포토 다이오드의 전압 및 제2 페이즈 구간 동안 제2 부유 확산 노드에 저장된 상기 포토 다이오드의 전압에 기초하여, 상기 제1 부유 확산 노드와 상기 제2 부유 확산 노드의 차이 전압을 계산하는 계산부, 상기 차이 전압을 상기 제1 부유 확산 노드 또는 상기 제2 부유 확산 노드 중 하나로 피드백(feedback) 하는 피드백부 및 부집적 구간들로 구성된 집적(Integration) 구간 동안 누적된 차이 전압에 기초하여 픽셀의 깊이 값을 계산하는 제어부를 포함할 수 있다.
상기 제어부는 제1 단일 이득 증폭기를 이용하여, 상기 제1 부유 확산 노드의 전압을 측정하고, 제2 단일 이득 증폭기를 이용하여, 상기 제2 부유 확산 노드의 전압을 측정하는 측정부를 포함할 수 있다.
상기 제1 단일 이득 증폭기 및 상기 제2 단일 이득 증폭기 중 적어도 하나의 플러스 입력단은 픽셀 회로에 포함되고, 나머지 구성은 컬럼(column)회로에 포함될 수 있다.
상기 제1 단일 이득 증폭기 및 상기 제2 단일 이득 증폭기 중 적어도 하나는 픽셀 회로에 포함될 수 있다.
상기 제어부는 상기 제1 단일 이득 증폭기와 CDS증폭기(Correlated Double Sampling Amplifier)의 입력단을 연결하는 제1 스위치, 상기 제2 단일 이득 증폭기와 상기 CDS증폭기를 연결하는 제2 스위치, 상기 CDS 증폭기의 피드백 캐패시터를 연결하는 제3 스위치, 상기 CDS증폭기의 제4 스위치, 상기 CDS증폭기의 출력단과 상기 제1 부유 확산 노드를 연결하는 제5 스위치, 및 상기 CDS증폭기의 출력단과 상기 제2 부유 확산 노드를 연결하는 제6 스위치의 동작 타이밍을 제어함으로써, 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거하는 오프셋 제거부를 더 포함할 수 있다.
상기 오프셋 제거부는 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 크면, 상기 제1 스위치, 상기 제3 스위치, 및 상기 제4 스위치를 턴 온(turn on)하고, 상기 제1 스위치 및 상기 제4 스위치를 턴 오프(turn off)한 후에 상기 제2 스위치를 턴 온 하며, 상기 제2 스위치 및 상기 제3 스위치를 턴 오프 한 후에 상기 제4 스위치, 상기 제5 스위치 및 상기 제6 스위치를 턴 온 함으로써 상기 제1 부유 확산 노드의 전압 및 상기 제2 부유 확산 노드의 전압을 참조 전압으로 리셋하고, 상기 제5 스위치 및 상기 제6 스위치를 턴 오프 한 후에 상기 제2 스위치를 턴 온 하며, 상기 제2 스위치 및 상기 제4 스위치를 턴 오프 한 후에 상기 제1 스위치 및 상기 제3 스위치를 턴 온 함으로써 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거할 수 있다.
상기 오프셋 제거부는 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 작거나 동일하면, 상기 제2 스위치, 상기 제3 스위치, 및 상기 제4 스위치를 턴 온(turn on)하고, 상기 제2 스위치 및 상기 제4 스위치를 턴 오프(turn off)한 후에 상기 제1 스위치를 턴 온 하며, 상기 제1 스위치 및 상기 제3 스위치를 턴 오프 한 후에 상기 제4 스위치, 상기 제5 스위치 및 상기 제6 스위치를 턴 온 함으로써 상기 제1 부유 확산 노드의 전압 및 상기 제2 부유 확산 노드의 전압을 참조 전압으로 리셋하고, 상기 제5 스위치 및 상기 제6 스위치를 턴 오프 한 후에 상기 제1 스위치를 턴 온 하며, 상기 제1 스위치 및 상기 제4 스위치를 턴 오프 한 후에 상기 제2 스위치 및 상기 제3 스위치를 턴 온 함으로써 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거할 수 있다.
상기 제어부는 상기 제1 부유 확산 노드의 전압과 상기 제2 부유 확산 노드의 전압을 비교하는 비교부를 포함할 수 있다.
상기 피드백부는 상기 비교 결과에 기초하여, 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 크면 상기 차이 전압을 상기 제2 부유 확산 노드로 피드백하고, 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압 보다 작거나 동일하면 상기 차이 전압을 상기 제1 부유 확산 노드로 피드백 할 수 있다.
상기 제어부는 상기 제1 부유 확산 노드의 전압, 및 상기 제2 부유 확산 노드의 전압 중 적어도 하나의 전압이 기 설정된 기준 전압 보다 작거나 동일한 구간에서는, 상기 제1 부유 확산 노드 및 상기 제2 부유 확산 노드의 포화(saturation) 가능성이 큰 것으로 판단하고, 상기 피드백을 수행하도록 상기 피드백부를 제어하는 피드백 제어부를 더 포함할 수 있다.
상기 피드백 제어부는 상기 제1 부유 확산 노드의 전압, 및 상기 제2 부유 확산 노드의 전압이 기 설정된 기준 전압 보다 큰 구간에서는, 상기 제1 부유 확산 노드 및 상기 제2 부유 확산 노드의 포화 가능성이 적은 것으로 판단하고, 상기 피드백을 수행하지 않도록 상기 피드백부를 제어할 수 있다.
상기 제어부는 상기 제1 부유 확산 노드 또는 상기 제2 부유 확산 노드 중 상기 차이 전압이 피드백 되지 않는 나머지 부유 확산 노드를, 참조 전압으로 리셋하는 리셋부를 포함할 수 있다.
상기 제1 페이즈와 상기 제2 페이즈는 서로 180도의 위상 차이를 가질 수 있다.
일 측면에 있어서, 깊이 센싱 장치의 깊이 센싱 방법은 부집적(sub-integration) 구간 단위로, 제1 페이즈 구간 동안 제1 부유 확산 노드(floating diffusion(FD) node)에 저장된 포토 다이오드의 전압 및 제2 페이즈 구간 동안 제2 부유 확산 노드에 저장된 상기 포토 다이오드의 전압에 기초하여, 상기 제1 부유 확산 노드와 상기 제2 부유 확산 노드의 차이 전압을 계산하는 단계; 상기 차이 전압을 상기 제1 부유 확산 노드 또는 상기 제2 부유 확산 노드 중 하나로 피드백(feedback) 하는 단계; 및 부집적 구간들로 구성된 집적(Integration) 구간 동안 누적된 차이 전압에 기초하여 픽셀의 깊이 값을 계산하는 단계를 포함할 수 있다.
다른 일 측면에 있어서, 깊이 센싱 장치의 깊이 센싱 방법은 제1 단일 이득 증폭기를 이용하여, 상기 제1 부유 확산 노드의 전압을 측정하는 단계; 및 제2 단일 이득 증폭기를 이용하여, 상기 제2 부유 확산 노드의 전압을 측정하는 단계를 더 포함할 수 있다.
다른 일 측면에 있어서, 깊이 센싱 장치의 깊이 센싱 방법은 상기 제1 단일 이득 증폭기와 CDS증폭기(Correlated Double Sampling Amplifier)의 입력단을 연결하는 제1 스위치, 상기 제2 단일 이득 증폭기와 상기 CDS증폭기를 연결하는 제2 스위치, 상기 CDS 증폭기의 피드백 캐패시터를 연결하는 제3 스위치, 상기 CDS증폭기의 제4 스위치, 상기 CDS증폭기의 출력단과 상기 제1 부유 확산 노드를 연결하는 제5 스위치, 및 상기 CDS증폭기의 출력단과 상기 제2 부유 확산 노드를 연결하는 제6 스위치의 동작 타이밍을 제어함으로써, 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거하는 단계를 더 포함할 수 있다.
상기 오프셋을 제거하는 단계는 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 크면, 상기 제1 스위치, 상기 제3 스위치, 및 상기 제4 스위치를 턴 온(turn on)하는 단계; 상기 제1 스위치 및 상기 제4 스위치를 턴 오프(turn off)한 후에 상기 제2 스위치를 턴 온 하는 단계; 상기 제2 스위치 및 상기 제3 스위치를 턴 오프 한 후에 상기 제4 스위치, 상기 제5 스위치 및 상기 제6 스위치를 턴 온 함으로써 상기 제1 부유 확산 노드의 전압 및 상기 제2 부유 확산 노드의 전압을 참조 전압으로 리셋하는 단계; 상기 제5 스위치 및 상기 제6 스위치를 턴 오프 한 후에 상기 제2 스위치를 턴 온 하는 단계; 및 상기 제2 스위치 및 상기 제4 스위치를 턴 오프 한 후에 상기 제1 스위치 및 상기 제3 스위치를 턴 온 함으로써 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거하는 단계를 포함할 수 있다.
상기 오프셋을 제거하는 단계는 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 작거나 동일하면, 상기 제2 스위치, 상기 제3 스위치, 및 상기 제4 스위치를 턴 온(turn on)하는 단계; 상기 제2 스위치 및 상기 제4 스위치를 턴 오프(turn off)한 후에 상기 제1 스위치를 턴 온 하는 단계; 상기 제1 스위치 및 상기 제3 스위치를 턴 오프 한 후에 상기 제4 스위치, 상기 제5 스위치 및 상기 제6 스위치를 턴 온 함으로써 상기 제1 부유 확산 노드의 전압 및 상기 제2 부유 확산 노드의 전압을 참조 전압으로 리셋하는 단계; 상기 제5 스위치 및 상기 제6 스위치를 턴 오프 한 후에 상기 제1 스위치를 턴 온 하는 단계; 및 상기 제1 스위치 및 상기 제4 스위치를 턴 오프 한 후에 상기 제2 스위치 및 상기 제3 스위치를 턴 온 함으로써 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거하는 단계를 포함할 수 있다.
다른 일 측면에 있어서, 깊이 센싱 장치의 깊이 센싱 방법은 상기 제1 부유 확산 노드의 전압과 상기 제2 부유 확산 노드의 전압을 비교하는 단계를 더 포함할 수 있다.
상기 피드백 하는 단계는 상기 비교 결과에 기초하여, 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 크면 상기 차이 전압을 상기 제2 부유 확산 노드로 피드백하고, 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압 보다 작거나 동일하면 상기 차이 전압을 상기 제1 부유 확산 노드로 피드백 할 수 있다.
다른 일 측면에 있어서, 깊이 센싱 장치의 깊이 센싱 방법은 상기 제1 부유 확산 노드의 전압, 및 상기 제2 부유 확산 노드의 전압 중 적어도 하나의 전압이 기 설정된 기준 전압 보다 작거나 동일한 구간에서는, 상기 제1 부유 확산 노드 및 상기 제2 부유 확산 노드의 포화(saturation) 가능성이 큰 것으로 판단함으로써, 상기 피드백을 수행하도록 상기 피드백을 제어하는 단계를 더 포함할 수 있다.
상기 피드백을 제어하는 단계는 상기 제1 부유 확산 노드의 전압, 및 상기 제2 부유 확산 노드의 전압이 기 설정된 기준 전압 보다 큰 구간에서는, 상기 제1 부유 확산 노드 및 상기 제2 부유 확산 노드의 포화 가능성이 적은 것으로 판단함으로써, 상기 피드백을 수행하지 않도록 상기 피드백을 제어할 수 있다.
다른 일 측면에 있어서, 깊이 센싱 장치의 깊이 센싱 방법은 상기 제1 부유 확산 노드 또는 상기 제2 부유 확산 노드 중 상기 차이 전압이 피드백 되지 않는 나머지 부유 확산 노드를, 참조 전압으로 리셋하는 단계를 더 포함할 수 있다.
도 1은 일 실시예에 따른 깊이 센싱 장치의 개념을 반영한 도면이다.
도 2a 및 도 2b는 일 실시예에 따른 깊이 센싱 장치에서 차이 전압을 누적하는 과정을 나타낸다.
도 3은 일 실시예에 따른 깊이 센싱 장치의 블록도이다.
도 4 내지 도 6은 다른 일 실시예에 따른 깊이 센싱 장치의 블록도들이다.
도 7은 일 실시예에 따른 깊이 센싱 장치의 개략적인 회로 구성을 나타낸 다.
도 8은 일 실시예에 따른 깊이 센싱 장치에서, 단일 이득 증폭기의 개략적인 회로 구성을 나타낸다.
도 9는 일 실시예에 따른 깊이 센싱 장치에서, 오프셋을 제거하는 개략적인 회로를 나타낸다.
도 10은 일 실시예에 따른 깊이 센싱 장치의 제어부가 도 7의 픽셀이나 컬럼 내의 각종 스위치들을 제어하는 경우의 예시적인 신호 타이밍을 나타낸다.
도 11은 일 실시예에 따른 깊이 센싱 장치에서, 부유 확산 노드의 피드백 후 전압 레벨을 나타낸다.
도 12는 일 실시예에 따른 깊이 센싱 장치에서, 부유 확산 노드들 간의 차이 전압을 피드백하는 회로의 개략적인 구성을 나타낸다.
도 13은 일실시예에 따른 깊이 센싱 장치에서, 피드백 타이밍을 조절하는 회로의 개략적인 구성을 나타낸다.
도 14는 일 실시예에 따른 깊이 센싱 방법의 흐름도이다.
도 2a 및 도 2b는 일 실시예에 따른 깊이 센싱 장치에서 차이 전압을 누적하는 과정을 나타낸다.
도 3은 일 실시예에 따른 깊이 센싱 장치의 블록도이다.
도 4 내지 도 6은 다른 일 실시예에 따른 깊이 센싱 장치의 블록도들이다.
도 7은 일 실시예에 따른 깊이 센싱 장치의 개략적인 회로 구성을 나타낸 다.
도 8은 일 실시예에 따른 깊이 센싱 장치에서, 단일 이득 증폭기의 개략적인 회로 구성을 나타낸다.
도 9는 일 실시예에 따른 깊이 센싱 장치에서, 오프셋을 제거하는 개략적인 회로를 나타낸다.
도 10은 일 실시예에 따른 깊이 센싱 장치의 제어부가 도 7의 픽셀이나 컬럼 내의 각종 스위치들을 제어하는 경우의 예시적인 신호 타이밍을 나타낸다.
도 11은 일 실시예에 따른 깊이 센싱 장치에서, 부유 확산 노드의 피드백 후 전압 레벨을 나타낸다.
도 12는 일 실시예에 따른 깊이 센싱 장치에서, 부유 확산 노드들 간의 차이 전압을 피드백하는 회로의 개략적인 구성을 나타낸다.
도 13은 일실시예에 따른 깊이 센싱 장치에서, 피드백 타이밍을 조절하는 회로의 개략적인 구성을 나타낸다.
도 14는 일 실시예에 따른 깊이 센싱 방법의 흐름도이다.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 깊이 센싱 장치의 개념을 반영한 도면이다.
도 1을 참조하면, 일 실시예에 따른 깊이 센싱 장치는 부집적 구간 단위로 부유 확산 노드(120) 및 부유 확산 노드(130)에 누적하여 저장된 전하량을 이용하여 픽셀의 깊이 값을 계산할 수 있다. 집적 구간은 복수의 부집적 구간들로 구성될 수 있다. 예를 들어, 하나의 부집적 구간이 종료된 후에, 부유 확산 노드(120) 및 부유 확산 노드(130)에 저장된 전하량이 계산될 수 있다. 저장된 전하량은 전압으로 측정될 수 있다. 부유 확산 노드(120)는 TX1에 인가되는 신호에 따라, 포토 다이오드(110)에서 공급하는 전하량을 저장할 수 있다. 부유 확산 노드(130)는 TX0에 인가되는 신호에 따라 포토 다이오드(110)에서 공급하는 전하량을 저장할 수 있다.
비교기(140)는 부유 확산 노드(120)의 전압과 부유 확산 노드(130)의 전압을 비교하고, 비교 결과에 기초하여 차이 전압을 부유 확산 노드(120) 또는 부유 확산 노드(130) 중 하나로 피드백 할 수 있다.
예를 들어, 부유 확산 노드(120)의 전압이 부유 확산 노드(130)의 전압보다 크면, 비교기(140)는 부유 확산 노드(130)로 차이 전압을 피드백 할 수 있다. 도 1의 예에서는 부유 확산 노드(120) 및 부유 확산 노드(130)에 전자가 저장되기 때문에 음의 전압을 가질 수 있다. 여기서, 부유 확산 노드(120)의 전압이 부유 확산 노드(130)의 전압보다 크다는 것의 의미는 전압의 부호를 고려한 것으로, 부유 확산 노드(120)의 전압의 절대값은 부유 확산 노드(130)의 전압의 절대값보다 작다. 예를 들어, 부유 확산 노드(120)의 전압은 -2V 일 수 있고, 부유 확산 노드(130)의 전압은 -3V일 수 있다.
다른 예로, 부유 확산 노드(120)의 전압 및 부유 확산 노드(130)의 전압이 양의 전압을 가지고, 부유 확산 노드(120)의 전압이 부유 확산 노드(130)의 전압보다 크면, 비교기(140)는 부유 확산 노드(120)로 차이 전압을 피드백 할 수 있다.
도 2a 및 도 2b는 일 실시예에 따른 깊이 센싱 장치에서 차이 전압을 누적하는 과정을 나타낸다.
도 2a를 참조하면, 1차 부집적 구간에서 제1 차이 전압(1st subtraction)이 계산 될 수 있다. 도 1의 TX0에 오브젝트로 조사(emit)하는 빛과 동일한 위상(0도)을 가지는 신호가 인가되면, 부유 확산 노드(130)에 전하가 저장될 수 있고, TX1에 상기 조사하는 빛과 반대 위상(180도)을 가지는 신호가 인가되면, 부유 확산 노드(120)에 전하가 저장될 수 있다. 깊이 센싱 장치와 오브젝트 간의 거리에 따라 부유 확산 노드(120) 및 부유 확산 노드(130)에 저장되는 전하량에 차이가 발생한다. 부유 확산 노드(130)에 저장되는 전하량이 부유 확산 노드(120)에 저장되는 전하량 보다 더 많기 때문에, 제1 차이 전압은 부유 확산 노드(130)로 피드백 될 수 있다. 2차 부집적 구간에서 계산되는 제2 차이 전압(2nd subtraction)도 부유 확산 노드(130)로 피드백 될 수 있다.
도 2b의 경우는, 도 1의 TX0에 오브젝트로 조사(emit)하는 빛과 90도의 위상 차이를가지는 신호가 인가되면, 부유 확산 노드(130)에 전하가 저장될 수 있고, TX1에 상기 조사하는 빛과 반대 위상(270도)을 가지는 신호가 인가되면, 부유 확산 노드(120)에 전하가 저장될 수 있다. 부유 확산 노드(130)에 저장되는 전하량이 부유 확산 노드(120)에 저장되는 전하량 보다 더 많기 때문에, 제1 차이 전압은 부유 확산 노드(130)로 피드백 될 수 있다. 2차 부집적 구간에서 계산되는 제2 차이 전압(2nd subtraction)도 부유 확산 노드(130)로 피드백 될 수 있다. 다른 예로, 부유 확산 노드(120)에 저장되는 전하량이 부유 확산 노드(130)에 저장되는 전하량 보다 많으면, 제1 차이 전압은 부유 확산 노드(120)로 피드백 될 수 있다.
도 3은 일 실시예에 따른 깊이 센싱 장치의 블록도이다.
도 3을 참조하면, 일 실시예에 따른 깊이 센싱 장치는 계산부(340), 피드백부(350) 및 제어부(360)를 포함할 수 있다.
일 실시예에 따른 깊이 센싱 장치는 적외선과 같은 빛(light)을 받아 전하를 발생하는 픽셀 회로와, 각 픽셀 회로의 픽셀 값을 리딩(reading)하고 픽셀을 제어하는 컬럼(column) 회로를 포함할 수 있다.
계산부(340)는 부집적(sub-integration) 구간 단위로, 제1 부유 확산 노드(320)의 전압과 제2 부유 확산 노드(330)의 차이 전압을 계산할 수 있다. 보다 구체적으로, 계산부(340)는 제1 페이즈 구간 동안 제1 부유 확산 노드(floating diffusion(FD) node)(320)에 저장된 포토 다이오드(310)의 전압 및 제2 페이즈 구간 동안 제2 부유 확산 노드(330)에 저장된 포토 다이오드(320)의 전압에 기초하여, 상기 차이 전압을 계산할 수 있다.
제1 페이즈 구간은 제1 페이즈의 신호가 도 1의 TX0에 인가되어, 제1 부유 확산 노드(320)가 포토 다이오드(310)에서 제공하는 전하를 저장하는 구간을 의미한다.
제2 페이즈 구간은 제2 페이즈의 신호가 도 1의 TX1에 인가되어, 제2 부유 확산 노드(330)가 포토 다이오드(310)에서 제공하는 전하를 저장하는 구간을 의미한다.
예를 들어, 제1 페이즈와 제2 페이즈는 서로 180도의 위상 차이를 가질 수 있다. 제1 페이즈가 0도 이면, 제2 페이즈는 180도일 수 있고, 제1 페이즈가 90도 이면, 제2 페이즈는 270도일 수 있다.
피드백부(350)는 계산부(340)에서 계산한 차이 전압을 제1 부유 확산 노드(320) 또는 제2 부유 확산 노드(330) 중 하나로 피드백(feedback) 할 수 있다. 예를 들어, 제1 부유 확산 노드(320)의 전압이 제2 부유 확산 노드(330)의 전압보다 크면, 피드백부(350)는 제2 부유 확산 노드(330)로 계산된 차이 전압을 피드백 할 수 있다. 다른 예로, 제1 부유 확산 노드(320)의 전압이 제2 부유 확산 노드(330)의 전압 보다 작거나 동일하면, 피드백부(350)는 계산된 차이 전압을 제1 부유 확산 노드(320)로 피드백 할 수 있다. 이 경우는 제1 부유 확산 노드(320)의 전압 및 제2 부유 확산 노드(330)의 전압이 모두 음의 전압인 경우를 가정한 예이다.
다른 예로, 제1 부유 확산 노드(320)의 전압 및 제2 부유 확산 노드(330)의 전압이 모두 양의 전압이고, 제1 부유 확산 노드(320)의 전압이 제2 부유 확산 노드(330)의 전압보다 크면, 피드백부(350)는 계산된 차이 전압을 제1 부유 확산 노드(320)로 피드백 할 수 있다. 또한, 제1 부유 확산 노드(320)의 전압이 제2 부유 확산 노드(330)의 전압 보다 작거나 동일하면, 피드백부(350)는 계산된 차이 전압을 제2 부유 확산 노드로 피드백 할 수 있다.
제1 부유 확산 노드(320)의 전압과 제2 부유 확산 노드(330)의 전압을 비교하여, 계산부(340)에서 계산된 차이 전압이 피드백 될 부유 확산 노드가 결정됨으로써, 부유 확산 노드가 포화되지 않을 수 있다. 또한, 부집적 구간을 이용함으로써, 부유 확산 노드가 포화되지 않을 수 있다. 예를 들어, 부집적 구간은 부유 확산 노드의 전하량 저장 용량(full well capacity)을 고려하여 미리 설정될 수도 있다. 부집적 구간은 고정된 시간을 가지도록 설정될 수도 있고, 부유 확산 노드에 저장되는 전하량의 양에 따라 적응적으로 시간이 조절될 수도 있다. 또한, 차이 전압을 이용함으로써, 외광의 영향이 제거될 수 있다.
제어부(360)는 부집적 구간들로 구성된 집적(Integration) 구간 동안, 누적된 차이 전압에 기초하여 픽셀의 깊이 값을 계산할 수 있다. 제어부(360)는 집적 구간 동안 피드백 된 차이 전압을 누적함으로써, 픽셀의 깊이 값을 계산할 수 있다.
다른 일 예로, 제어부(360)는 능동형 깊이 값 센싱을 위해 적외선 등의 빛을 조사(emit)하는 타이밍을 제어할 수 있다. 예를 들어, 제어부(360)는 LED(Light Emitting Diode) 구동부(Driver)의 역할을 할 수 있다. 또한 제어부(360)는 픽셀에 포함된 부유 확산 노드의 전하를 읽는 등의 픽셀 회로 및 컬럼 회로를 제어하는 역할을 수행할 수 있다.
일 실시예에 따른 깊이 센싱 장치는 계산부(340) 및 피드백부(350)의 동작을 통해, 외광(Background light)에 의한 깊이 값의 왜곡(distortion)을 없애고, 픽셀의 포화(saturation)를 방지하므로, 제어부(360)가 계산한 깊이 값의 정확도가 크게 향상된다.
일반적으로 TOF 방식의 능동형 깊이 카메라에 있어서 깊이를 계산하는 방법에는 4-phase 방식과 2-phase 방식이 있다. 두 방식 모두 기본적으로 계산 과정에서 외광을 제거할 수 있다.
이하의 설명에서 깊이 센싱 장치의 한 픽셀 내에는 하나의 포토다이오드(310)와 두 개의 부유 확산 노드, 즉 제1 부유 확산 노드(320) 및 제2 부유 확산 노드(330)가 포함되는 경우를 예로 설명하기로 한다.
먼저, 4-phase 방식이라고 하는 첫 번째 방법은, 두 개의 부유 확산 노드(320, 330) 각각의 전기 셔터(electric shutter) 역할을 하는 TX0 및 TX1 트랜지스터를 이용하며, 계산부(340)는 한 번은 0/180 degree 차이의 전압을 계산하고, 다른 한 번은 90/270 degree 차이의 전압을 계산할 수 있다.
그리고, 제어부(350)는 이 두 번의 전압 값의 차이를 이용하여 외광을 제거하고 깊이 값(depth value)를 계산할 수 있다.
하나의 픽셀에 대응하는 포토다이오드(310)는 동일하기 때문에, 0/180 degree 차이가 나는 신호를 각 부유 확산 노드(320, 330)에 집적하더라도 외광에 의한 전하 발생 량은 양쪽 노드(320, 330)에 동일하게 되므로, 각 부유 확산 노드(320, 330)에 저장된 전하량의 차이를 계산함으로써, 외광에 의해 발생하는 전하가 제거될 수 있다.
그리고, 0/180 degree에서 얻은 전압 값의 차이 및 90/270 degree에서 얻은 전압 값의 차이를 구하면 외광에 의한 전하량은 사라지게 되고, 남은 전하량으로부터 TOF가 계산될 수 있다.
한편, 2-phase 방식이라고 하는 두 번째 방법은, 한 번은 0/180 degree 차이가 나도록 전압을 측정하고, 다른 한 번은 빛을 조사하지 않고(without emitting IR from IR LED) 외광에 의해서만 발생된 전하 값을 반영하는 전압을 측정한다.
그리고, 이 두 번의 차이를 이용하면, 외광이 제거된 0/180 degree의 TOF가 계산될 수 있다.
도 4 내지 도 6은 다른 일 실시예에 따른 깊이 센싱 장치의 블록도들이다.
도 4를 참조하면, 다른 일 실시예에 따른 깊이 센싱 장치는 계산부(410), 피드백부(420) 및 제어부(430)를 포함할 수 있다.
계산부(410)는 부집적(sub-integration) 구간 단위로, 제1 부유 확산 노드의 전압과 제2 부유 확산 노드의 차이 전압을 계산할 수 있다. 보다 구체적으로, 계산부(410)는 제1 페이즈 구간 동안 제1 부유 확산 노드(floating diffusion(FD) node)에 저장된 포토 다이오드의 전압 및 제2 페이즈 구간 동안 제2 부유 확산 노드에 저장된 포토 다이오드의 전압에 기초하여, 상기 차이 전압을 계산할 수 있다.
피드백부(420)는 계산부(410)에서 계산한 차이 전압을 제1 부유 확산 노드 또는 제2 부유 확산 노드 중 하나로 피드백(feedback) 할 수 있다. 예를 들어, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압보다 크면, 피드백부(420)는 제2 부유 확산 노드로 계산된 차이 전압을 피드백 할 수 있다. 다른 예로, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압 보다 작거나 동일하면, 피드백부(420)는 계산된 차이 전압을 제1 부유 확산 노드로 피드백 할 수 있다. 이 경우는 제1 부유 확산 노드의 전압 및 제2 부유 확산 노드의 전압이 모두 음의 전압인 경우를 가정한 예이다.
다른 예로, 제1 부유 확산 노드의 전압 및 제2 부유 확산 노드의 전압이 모두 양의 전압이고, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압보다 크면, 피드백부(420)는 계산된 차이 전압을 제1 부유 확산 노드로 피드백 할 수 있다. 또한, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압 보다 작거나 동일하면, 피드백부(420)는 계산된 차이 전압을 제2 부유 확산 노드로 피드백 할 수 있다.
제어부(430)는 부집적 구간들로 구성된 집적(Integration) 구간 동안, 누적된 차이 전압에 기초하여 픽셀의 깊이 값을 계산할 수 있다. 제어부(430)는 집적 구간 동안 피드백 된 차이 전압을 누적함으로써, 픽셀의 깊이 값을 계산할 수 있다.
제어부(430)는 측정부(431) 및 오프셋 제거부(433)를 포함할 수 있다.
예를 들어, 측정부(431)는 제1 단일 이득 증폭기(unity gain amplifier)를 이용하여, 제1 부유 확산 노드의 전압을 측정할 수 있다. 또한, 측정부(431)는 제2 단일 이득 증폭기를 이용하여, 제2 부유 확산 노드의 전압을 측정할 수 있다.
부유 확산 노드의 전압을 읽어 내기 위해 소스 팔로워(source follower)를 사용할 수도 있다. 소스 팔로워는 작은 크기로 구현 가능하며 버퍼링(buffering) 능력이 뛰어나기 때문에 사용될 수 있다. 그러나, 소스 팔로워의 이득(gain)이 보통 0.7에서 0.8로 1보다 작기 때문에, 집적 구간에서 부집적 구간 단위로 차이 전압을 누적하여 사용하는 경우, 이득 값이 중복되어 곱해진다. 예를 들어, 차이 전압을 Vdiff라 하면 아래 <수학식 1>과 같이 표현될 수 있다.
[수학식 1]
여기서, Vph0는 FD0(TX0 쪽의 FD node) 값이고 Vph180은 FD1(TX1 쪽의 FD node) 값이다. Voff0,1은 양쪽 소스 팔로워의 오프셋(offset)이고 GSF는 이득(gain)이다.
GSF가 1 보다 작을 경우 Vdiff 값은 n이 커짐에 따라 일정 값이 수렴하게 되므로 부집적 구간 단위로 누적하는 차이 전압의 효과가 없어질 수 있다. 소스 팔로워 대신에 단일 이득 증폭기를 이용함으로써, 부집적 구간 단위로 누적하는 차이 전압의 효과를 유지할 수 있다.
제1 단일 이득 증폭기 및 제2 단일 이득 증폭기 각각에 오프셋이 발생할 수 있고, 오프셋은 서로 다른 값을 가질 수 있다. 오프셋은 계산부(410)의 계산 과정에 반영될 수 있기 때문에 제거해 주는 것이 계산의 정확성을 위해 바람직하다.
예를 들어, 오프셋 제거부(433)는 제1 단일 이득 증폭기의 오프셋과 제2 단일 이득 증폭기의 오프셋을 제거할 수 있다. 예를 들어, 오프셋 제거부(433)는 제1 단일 이득 증폭기와 CDS증폭기(Correlated Double Sampling Amplifier)의 입력단을 연결하는 제1 스위치, 제2 단일 이득 증폭기와 CDS증폭기를 연결하는 제2 스위치, CDS 증폭기의 피드백 캐패시터를 연결하는 제3 스위치, CDS증폭기의 제4 스위치, CDS증폭기의 출력단과 제1 부유 확산 노드를 연결하는 제5 스위치, 및 CDS증폭기의 출력단과 제2 부유 확산 노드를 연결하는 제6 스위치의 동작 타이밍을 제어함으로써, 상기 오프셋을 제거할 수 있다. 각 스위치의 위치 및 구성은 도 9의 설명을 통해 좀 더 상세하게 설명하기로 한다.
제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압보다 크면, 오프셋 제거부(433)는 제1 스위치, 제3 스위치, 및 제4 스위치를 턴 온(turn on)할 수 있다. 그 후, 오프셋 제거부(433)는 제1 스위치 및 제4 스위치를 턴 오프(turn off)한 후에 제2 스위치를 턴 온 할 수 있다. 그 후, 오프셋 제거부(433)는 제2 스위치 및 제3 스위치를 턴 오프 한 후에 제4 스위치, 제5 스위치 및 제6 스위치를 턴 온 함으로써 제1 부유 확산 노드의 전압 및 제2 부유 확산 노드의 전압을 참조 전압으로 리셋할 수 있다. 그 후, 오프셋 제거부(433)는 제5 스위치 및 제6 스위치를 턴 오프 한 후에 제2 스위치를 턴 온 할 수 있다. 그 후, 오프셋 제거부(433)는 제2 스위치 및 제4 스위치를 턴 오프 한 후에 제1 스위치 및 제3 스위치를 턴 온 함으로써 제1 단일 이득 증폭기의 오프셋과 제2 단일 이득 증폭기의 오프셋을 제거할 수 있다.
각 스위치의 동작 타이밍에 대해서는 도 10에 대한 설명에서 좀 더 상세하게 설명하기로 한다.
제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 작거나 동일하면, 오프셋 제거부(433)는 제2 스위치, 제3 스위치, 및 제4 스위치를 턴 온(turn on)할 수 있다. 그 후, 오프셋 제거부(433)는 제2 스위치 및 제4 스위치를 턴 오프(turn off)한 후에 제1 스위치를 턴 온 할 수 있다. 그 후, 오프셋 제거부(433)는 제1 스위치 및 제3 스위치를 턴 오프 한 후에 제4 스위치, 제5 스위치 및 제6 스위치를 턴 온 함으로써 제1 부유 확산 노드의 전압 및 제2 부유 확산 노드의 전압을 참조 전압으로 리셋할 수 있다. 그 후, 오프셋 제거부(433)는 제5 스위치 및 제6 스위치를 턴 오프 한 후에 제1 스위치를 턴 온 할 수 있다. 그 후, 오프셋 제거부(433)는 제1 스위치 및 제4 스위치를 턴 오프 한 후에 제2 스위치 및 제3 스위치를 턴 온 함으로써 제1 단일 이득 증폭기의 오프셋과 제2 단일 이득 증폭기의 오프셋을 제거할 수 있다.
도 5를 참조하면, 다른 일 실시예에 따른 깊이 센싱 장치는 계산부(510), 피드백부(520) 및 제어부(530)를 포함할 수 있다.
계산부(510)는 부집적(sub-integration) 구간 단위로, 제1 부유 확산 노드의 전압과 제2 부유 확산 노드의 차이 전압을 계산할 수 있다. 보다 구체적으로, 계산부(510)는 제1 페이즈 구간 동안 제1 부유 확산 노드(floating diffusion(FD) node)에 저장된 포토 다이오드의 전압 및 제2 페이즈 구간 동안 제2 부유 확산 노드에 저장된 포토 다이오드의 전압에 기초하여, 상기 차이 전압을 계산할 수 있다.
피드백부(520)는 계산부(510)에서 계산한 차이 전압을 제1 부유 확산 노드 또는 제2 부유 확산 노드 중 하나로 피드백(feedback) 할 수 있다. 예를 들어, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압보다 크면, 피드백부(520)는 제2 부유 확산 노드로 계산된 차이 전압을 피드백 할 수 있다. 다른 예로, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압 보다 작거나 동일하면, 피드백부(520)는 계산된 차이 전압을 제1 부유 확산 노드로 피드백 할 수 있다. 이 경우는 제1 부유 확산 노드의 전압 및 제2 부유 확산 노드의 전압이 모두 음의 전압인 경우를 가정한 예이다.
다른 예로, 제1 부유 확산 노드의 전압 및 제2 부유 확산 노드의 전압이 모두 양의 전압이고, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압보다 크면, 피드백부(520)는 계산된 차이 전압을 제1 부유 확산 노드로 피드백 할 수 있다. 또한, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압 보다 작거나 동일하면, 피드백부(520)는 계산된 차이 전압을 제2 부유 확산 노드로 피드백 할 수 있다
제어부(530)는 부집적 구간들로 구성된 집적(Integration) 구간 동안, 누적된 차이 전압에 기초하여 픽셀의 깊이 값을 계산할 수 있다. 제어부(530)는 집적 구간 동안 피드백 된 차이 전압을 누적함으로써, 픽셀의 깊이 값을 계산할 수 있다.
제어부(530)는 비교부(531) 및 피드백 제어부(533)를 포함할 수 있다.
예를 들어, 비교부(531)는 제1 부유 확산 노드의 전압과 제2 부유 확산 노드의 전압을 비교할 수 있다.
예를 들어, 피드백부(520)는 비교부(531)의 비교 결과에 기초하여, 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 크면, 계산부(510)에서 계산된 차이 전압을 제2 부유 확산 노드로 피드백할 수 있다. 또한, 피드백부(520)는 비교부(531)의 비교 결과에 기초하여, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압 보다 작거나 동일하면, 계산부(510)에서 계산된 차이 전압을 제1 부유 확산 노드로 피드백 할 수 있다.
다른 예로, 피드백부(520)는 비교부(531)의 비교 결과에 기초하여, 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 크면, 계산부(510)에서 계산된 차이 전압을 제1 부유 확산 노드로 피드백할 수도 있다. 또한, 피드백부(520)는 비교부(531)의 비교 결과에 기초하여, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압 보다 작거나 동일하면, 계산부(510)에서 계산된 차이 전압을 제2 부유 확산 노드로 피드백 할 수도 있다.
예를 들어, 피드백 제어부(533)는 제1 부유 확산 노드의 전압, 및 제2 부유 확산 노드의 전압 중 적어도 하나의 전압이 기 설정된 기준 전압 보다 작거나 동일한 구간에서는, 제1 부유 확산 노드 및 제2 부유 확산 노드의 포화(saturation) 가능성이 큰 것으로 판단할 수 있다. 피드백 제어부(533)는 피드백을 수행하도록 피드백부(520)를 활성화 시킬 수 있다. 이외의 구간에서, 피드백 제어부(533)는 피드백부(520)를 불활성화 시킬 수 있다. 부집적 구간의 길이를 차이 전압의 피드백 여부에 따라 결정하는 경우, 피드백 제어부(533)의 결정에 따라, 부집적 구간의 길이가 결정될 수 있다.
피드백 제어부(533)는 제1 부유 확산 노드의 전압, 및 제2 부유 확산 노드의 전압이 기 설정된 기준 전압 보다 큰 구간에서는, 제1 부유 확산 노드 및 제2 부유 확산 노드의 포화 가능성이 적은 것으로 판단할 수 있다. 피드백 제어부(533)는 피드백을 수행하지 않도록 피드백부(520)를 불활성화 시킬 수 있다. 피드백부(520)가 불활성화 된 구간에서는 계속하여, 제1 부유 확산 노드, 및 제2 부유 확산 노드에 전하가 저장될 수 있다.
외광 및 깊이 센싱 장치의 주변 환경에 따라, 픽셀 별로 제1 부유 확산 노드의 전압, 및 제2 부유 확산 노드의 전압이 다를 수 있다. 따라서, 픽셀 별로, 부집적 구간의 길이가 적응적으로 조절될 수도 있다.
또한, 피드백 과정에서, 리셋 트랜지스터를 이용하는데, 리셋 트랜지스터로 인하여, kTC noise가 수반된다. 피드백 횟수를 적응적으로 조절함으로써, kTC noise의 영향을 최소화할 수 있다.
도 6을 참조하면, 다른 일 실시예에 따른 깊이 센싱 장치는 계산부(610), 피드백부(620) 및 제어부(630)를 포함할 수 있다.
계산부(610)는 부집적(sub-integration) 구간 단위로, 제1 부유 확산 노드의 전압과 제2 부유 확산 노드의 차이 전압을 계산할 수 있다. 보다 구체적으로, 계산부(610)는 제1 페이즈 구간 동안 제1 부유 확산 노드(floating diffusion(FD) node)에 저장된 포토 다이오드의 전압 및 제2 페이즈 구간 동안 제2 부유 확산 노드에 저장된 포토 다이오드의 전압에 기초하여, 상기 차이 전압을 계산할 수 있다.
예를 들어, 피드백부(620)는 계산부(610)에서 계산한 차이 전압을 제1 부유 확산 노드 또는 제2 부유 확산 노드 중 하나로 피드백(feedback) 할 수 있다. 예를 들어, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압보다 크면, 피드백부(620)는 제2 부유 확산 노드로 계산된 차이 전압을 피드백 할 수 있다. 다른 예로, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압 보다 작거나 동일하면, 피드백부(620)는 계산된 차이 전압을 제1 부유 확산 노드로 피드백 할 수 있다. 이 경우는 제1 부유 확산 노드의 전압 및 제2 부유 확산 노드의 전압이 모두 음의 전압인 경우를 가정한 예이다.
다른 예로, 제1 부유 확산 노드의 전압 및 제2 부유 확산 노드의 전압이 모두 양의 전압이고, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압보다 크면, 피드백부(620)는 계산된 차이 전압을 제1 부유 확산 노드로 피드백 할 수 있다. 또한, 제1 부유 확산 노드의 전압이 제2 부유 확산 노드의 전압 보다 작거나 동일하면, 피드백부(620)는 계산된 차이 전압을 제2 부유 확산 노드로 피드백 할 수 있다
제어부(630)는 부집적 구간들로 구성된 집적(Integration) 구간 동안, 누적된 차이 전압에 기초하여 픽셀의 깊이 값을 계산할 수 있다. 제어부(630)는 집적 구간 동안 피드백 된 차이 전압을 누적함으로써, 픽셀의 깊이 값을 계산할 수 있다.
제어부(630)는 리셋부(631)를 포함할 수 있다.
예를 들어, 리셋부(631)는 제1 부유 확산 노드 또는 제2 부유 확산 노드 중 계산부(610)에서 계산된 차이 전압이 피드백 되지 않는 나머지 부유 확산 노드를, 참조 전압으로 리셋(reset)할 수 있다. 부집적 구간 단위로, 전압의 기준을 초기화 하기 위해 부유 확산 노드가 참조 전압으로 리셋 될 수 있다.
도 7은 일 실시예에 따른 깊이 센싱 장치의 개략적인 회로 구성을 나타낸 다.
도 7에서 도시된 회로는 간략화된 것으로 이후 기술될 모든 내용을 상세히 반영하지는 않았다. 따라서, 추가되고 변경된 회로의 세부 구성은 아래에서 도 8, 도 9, 도 12 및 도 13에서 보다 상세히 설명하고자 한다.
도 7을 참조하면, 포토 다이오드(701)에서 제공하는 전하는 TX0의 온/오프에 따라 제1 부유 확산 노드(710)에 저장될 수 있다. 또한, 포토 다이오드(701)에서 제공하는 전하는 TX1의 온/오프에 따라 제2 부유 확산 노드(720)에 저장될 수 있다.
리셋 트랜지스터(703)의 동작에 따라 제1 부유 확산 노드(710)가 리셋 될 수 있고, 리셋 트랜지스터(705)의 동작에 따라 제2 부유 확산 노드(720)가 리셋 될 수 있다.
이득(gain)이 1인 단일 이득 증폭기(unity gain amplifier)(711, 721)가 사용될 수 있다. 제1 단일 이득 증폭기(711) 및 제2 단일 이득 증폭기(721)는 마이너스 입력 단과 출력단이 서로 연결된 구조를 가짐으로써, 단일 이득의 동작을 수행할 수 있다.
CDS증폭기(Correlated Double Sampling Amplifier)(735)의 임시 저장부(730)는 제1 단일 이득 증폭기(711)의 오프셋 및 제2 단일 이득 증폭기(721)의 오프셋을 제거하기 위해 사용될 수 있다. 비교기(750)는 제1 부유 확산 노드(710)의 전압과 기준 전압을 비교하고, 제2 부유 확산 노드(720)의 전압과 기준 전압을 비교할 수 있다. 오프셋 제거부(740)는 제1 부유 확산 노드(710)의 오프셋 및 제2 부유 확산 노드(720)의 오프셋을 제거하기 위해, SW1, SW2, SW3, SW4, SW5, SW6의 동작 타이밍을 제어할 수 있다.
피드백 제어부(770)는 처리부(760)의 제어에 따라, 리셋 트랜지스터(703, 705)의 동작을 제어할 수 있다.
도 8은 일 실시예에 따른 깊이 센싱 장치에서, 단일 이득 증폭기의 개략적인 회로 구성을 나타낸다.
도 8을 참조하면, 단일 이득 증폭기(711, 721)는 이득(gain)이 1인 증폭기로써 제안된 실시 예와 다른 구조의 증폭기도 사용이 가능하다. 다만, 단일 이득 증폭기(711, 712)는 단일 이득(unity gain)을 위해 출력(output)단과 마이너스 입력(minus input)단을 연결하는 피드백(feedback) 구조로 형성되어야 한다.
단일 이득 증폭기(711, 721)는 도 8의 케이스 1(case 1)과 같이, 플러스 입력(plus input)단만 픽셀(pixel)회로에 포함되고, 나머지는 컬럼(column) 회로 내에 위치할 수 있다. 다른 예로, 케이스 2(case 2)와 같이 단일 이득 증폭기(711, 721)의 모든 회로가 픽셀 회로 내에 위치할 수도 있다.
도 9는 일 실시예에 따른 깊이 센싱 장치에서, 오프셋을 제거하는 개략적인 회로를 나타낸다.
도 9를 참조하면, 단일 이득 증폭기(711, 721)가 양쪽에 위치하기 때문에 오프셋의 차이가 발생할 수 있다. 오프셋 Voff0, Voff1을 제거하기 위해 임시 저장부(730)가 CDS증폭기(Correlated Double Sampling Amplifier)(735)의 피드백 단에 위치할 수 있다. 임시 저장부(730)는 feedback capacitor(731)와 SW3를 포함할 수 있다.
도 9의 SW1, SW2, SW3, SW4, SW5, SW6의 동작 타이밍은 도 10의 타이밍 다이아 그램을 통하여 좀 더 상세하게 설명한다.
도 10은 일 실시예에 따른 깊이 센싱 장치의 제어부가 도 7의 픽셀이나 컬럼 내의 각종 스위치들을 제어하는 경우의 예시적인 신호 타이밍을 나타낸다.
도 10을 참조하면, 깊이 센싱 장치의 오프셋 제거부(740)는 부집적 구간이 끝난 후, SW1, SW4를 턴 온(turn on)하고, 도 3의 제어부(360)는 FD0(710)의 전압 값을 샘플링 할 수 있다.
이 때 FD0(710), FD1(720)의 전압, VSBR, Vout은 아래 <수학식 2>와 같다. (도 10에서 t1)
[수학식 2]
그 후 오프셋 제거부(740)는 SW1, SW4를 턴 오프(turn off)하고, SW2를 턴 온하면 FD1(720)의 전압 값이 샘플링 되면서, FD0(710)의 전압과 FD1(720)의 차이 전압이 charge transfer에 의해 CDS증폭기(735)의 출력단에 인가될 수 있다. 이때, t2에서의 FD0(710), FD1(720)의 전압, VSBR, Vout은 아래 <수학식 3>와 같다.
[수학식 3]
오프셋 제거부(740)는 오프셋 전압(Voff0, Voff1)을 제거하기 위해, SW5, SW6을 턴 온 하고, FD0(710)의 전압과 FD1(720)의 전압을 강제로 Vref로 리셋 할 수 있다.
제어부(360)는 그 후, 다시 샘플링(sampling)을 수행한다. 이때 앞선 signal sampling과의 차이는 SW1과 SW2의 턴 온 순서를 반대로 하는 것과 SW3를 SW2 나중에 턴 온 해 주는 것이다. t3에서, FD0(710), FD1(720)의 전압, VSBR, Vout은 아래 <수학식 4>와 같다.
[수학식 4]
SW3가 턴 오프이면, feedback capacitor는 floating node 상태이고, 이 때 오프셋 제거부(740)는 SW4를 턴 온 하면, VOUT가 Vref가 되고, feedback capacitor의 charge는 보존되므로 VSBR이 <수학식 4>와 같은 전압이 된다.
이후에 오프셋 제거부(740)는 SW4를 턴 오프 하고, SW3 및 SW1을 턴 온 하면, t4에서, FD0(710), FD1(720)의 전압, VSBR, Vout은 아래 <수학식 5>와 같다.
[수학식 5]
따라서, 상기에서 설명한 동작을 통해 오프셋 전압(Voff0, Voff1)이 제거될 수 있다.
도 11은 일 실시예에 따른 깊이 센싱 장치에서, 부유 확산 노드의 피드백 후 전압 레벨을 나타낸다.
도 11을 참조하면, FD0에 저장되는 전하 FD1보다 낮은 경우, FD0의 전압을 낮추지 않고 대신 FD1의 전압을 높이는 방향으로 피드백 값을 정한다.
도 11을 참조하면, 부집적 구간 동안 FD0에 저장된 전하량이 FD1에 저장되는 전하량 보다 많으면, FD0와 FD1의 차이 전압만큼 FD1의 전하량 저장 용량(full well capacity)을 크게 함으로써, FD1의 포화 가능성을 줄일 수 있다. 그 결과, FD1의 전압은 피닝(pinning) 전압과의 차이가 오히려 커지게 되고 voltage headroom도 커지게 된다.
도 12는 일 실시예에 따른 깊이 센싱 장치에서, 부유 확산 노드들 간의 차이 전압을 피드백하는 회로의 개략적인 구성을 나타낸다.
도 10을 참조하면, 오프셋 제거부(740)는 cp0 SW 및 cp1 SW를 턴 온 하고, 비교기(750)를 통해 FD0의 전압과 FD1의 전압을 비교할 수 있다. 비교기(750)의 비교 동작을 부호추정(sign estimation)이라고 부를 수 있다. 비교기(750)의 출력값의 부호가 음인 경우, 즉 제1 부유 확산 노드(FD0)의 전압이 제2 부유확신 노드(FD1)의 전압 보다 크면, 오프셋 제거부(740)는 SW1을 먼저 턴 온 하고, 그 다음에 SW2를 턴 온 할 수 있다. 즉, 도 10의 타이밍과 동일하게 SW1 및 SW2를 동작시킬 수 있다. 이때 VOUT은 <수학식 5>와 같으므로, VOUT은 Vref보다 큰 값을 가진다. 이 VOUT은 도 13의 피드백 제어부(770)의 SW6 제어를 통해 FD1에 피드백 된다.
제1 부유 확산 노드(FD0)의 전압이 제2 부유확신 노드(FD1)의 전압 보다 작거나 동일하면, 오프셋 제거부(740)는 SW2를 먼저 턴 온하고, 그 다음에 SW2를 턴 온 함으로써, 위의 경우와 반대로 동작시킨다. 이 경우에는 VOUT이 아래 <수학식 6>과 같이 되며, VOUT은 도 13의 피드백 제어부(770)의 SW5 제어를 통해 FD0에 피드백 된다.
[수학식 6]
따라서, 일 실시예에 따른 깊이 센싱 장치는 상술한 동작을 통해 FD0의 전압 및 FD1의 전압을 항상 Vref에 보다 크게 유지하게 할 수 있다.
도 3의 제어부(360)는 비교기(750)의 출력 값의 부호도 같이 읽어 줌으로써 FD0의 전압 및 FD1의 전압 중 어느 값이 더 컸는지도 쉽게 알 수 있다.
도 13은 일실시예에 따른 깊이 센싱 장치에서, 피드백 타이밍을 조절하는 회로의 개략적인 구성을 나타낸다. 도 11은 도 4의 회로에 완전히 도시되어 있지는 않으나, 도 4의 깊이 센싱 픽셀 및 컬럼부는 도 11의 회로를 더 포함할 수 있다.
부유 확산 노드(710, 720)에 어떤 값을 저장할 때는 픽셀 내의 리셋 트랜지스터(703, 705)를 통해서 저장한다. 하지만 리셋 트랜지스터(703, 705)로 인해 필연적으로 kTC noise가 수반된다.
부집적 구간 마다 매번 피드백을 한다면 kTC noise가 그만큼 누적되어 깊이(depth) 값의 정밀도가 나빠질 수 있다. 어떤 픽셀은 강한 외광을 받아 부유 확산 노드(710, 720)가 빨리 포화되어, 필수적으로 부집적 구간을 짧게 해야 하지만 어떤 픽셀은 부유 확산 노드(710, 720)가 약한 외광을 받아 포화가 늦게 될 수 있다.
따라서, 픽셀 별로 포화가 되지 않은 상황에서 부집적 구간의 동작을 수행한다면, 불필요하게 kTC noise만 추가될 수 있다.
도 13을 참조하면, 단일 이득 증폭기(711, 721)의 피드백을 끊게 되면 단일 이득 증폭기(711, 721)는 비교기(comparator)로 동작할 수 있기 때문에, 특정 전압(Vrefp)와 부유 확산 노드(710, 720)의 전압을 비교하는데 사용될 수 있다.
비교기로 동작하는 단일 이득 증폭기(711, 721)의 비교 결과를 리셋을 결정하는 값(Reset enable)으로 사용하여, 처리부(760)에서 피드백 제어부(770)를 제어함으로써, 불필요하게 피드백 동작을 수행하지 않도록 할 수 있다.
논리 계산부(1310)는 단일 이득 증폭기(711, 721)의 비교 결과를 입력으로 하여, Reset enable 신호를 계산할 수 있다. 논리 계산부(1310)는 부유 확산 노드(710) 또는 부유 확산 노드(720)중 어느 하나의 전압이 기준 전압인 Vrefp보다 작은 경우, Reset enable 신호로 1을 계산할 수 있다. 또한, 논리 계산부(1310)는 부유 확산 노드(710) 및 부유 확산 노드(720)의 전압이 모두 기준 전압인 Vrefp보다 큰 경우, Reset enable 신호로 0을 계산할 수 있다.
Reset enable이 1인 경우, 피드백 제어부(770)는 부유 확산 노드(710)와 부유 확산 노드(720) 간의 차이 전압을 정상적으로 피드백 하게 할 수 있다.
그러나 reset enable이 0인 경우, 부유 확산 노드(710) 또는 부유 확산 노드(720) 가 아직 포화가 되지 않은 상태이므로, 피드백 제어부(770)는 부유 확산 노드(710)와 부유 확산 노드(720) 간의 차이 전압을 부유 확산 노드에 피드백 하지 않도록 할 수 있다.
다시 말해서 피드백 제어부(770)는 부집적 구간 후에 각 픽셀 별로 포화 여부를 판별하여 부유 확산 노드(710)와 부유 확산 노드(720) 간의 차이 전압을 피드백 할지 말지를 결정한다.
따라서, 모든 픽셀은 피드백 제어부(770)의 결정에 기초하여, 최적화된 부집적 구간을 가질 수 있다. 픽셀의 외광이 적을 경우는 부집적 구간을 길게 함으로써 kTC noise를 줄일 수 있다. 픽셀 별로 외광에 따라 리셋이 제어될 수 있으므로, 적응적 리셋이라고 부를 수 있다.
도 14는 일 실시예에 따른 깊이 센싱 방법의 흐름도이다.
1410단계에서, 일 실시예에 따른 깊이 센싱 장치는 기설정된 부집적 구간 동안 제1 부유 확산 노드 및 제2 부유 확산 노드에 포도 다이오드로부터 공급되는 전하를 집적한다.
1420단계에서, 일 실시예에 따른 깊이 센싱 장치는 제1 부유 확산 노드 및 제2 부유 확산 노드에 포화가 발생할 가능성이 높은지 확인할 수 있다.
예를 들어, 깊이 센싱 장치는 제1 부유 확산 노드(FD0)와 제2 부유 확산 노드(FD1)가 모두 기준전압 보다 큰 경우, 포화가 발생할 가능성이 낮다고 판단할 수 있다. 또한, 깊이 센싱 장치는 제1 부유 확산 노드(FD0)와 제2 부유 확산 노드(FD1) 중에서 하나라도 기준전압 이하인 경우, 포화가 발생할 가능성이 높다고 판단한다.
1420단계에서, 제1 부유 확산 노드 및 제2 부유 확산 노드에서 포화가 발생할 가능성이 높지 않은 것으로 확인되면, 일 실시예에 따른 깊이 센싱 장치는 1410단계로 돌아가서 부집적 구간을 다시 수행할 수 있다.
1420단계에서, 제1 부유 확산 노드 및 제2 부유 확산 노드에서 포화가 발생할 가능성이 높은 것으로 확인되면, 1430단계에서, 일 실시예에 따른 깊이 센싱 장치는 양쪽 부유 확산 노드의 차이 전압을 계산할 수 있다.
일 실시예에 따른 깊이 센싱 장치는 부집적(sub-integration) 구간 단위로, 제1 페이즈 구간 동안 제1 부유 확산 노드(floating diffusion(FD) node)에 저장된 포토 다이오드의 전압 및 제2 페이즈 구간 동안 제2 부유 확산 노드에 저장된 상기 포토 다이오드의 전압에 기초하여, 제1 부유 확산 노드의 전압과 제2 부유 확산 노드의 차이 전압을 계산할 수 있다.
일 실시예에 따른 깊이 센싱 장치는 제1 단일 이득 증폭기와 CDS증폭기(Correlated Double Sampling Amplifier)의 입력단을 연결하는 제1 스위치, 제2 단일 이득 증폭기와 CDS증폭기를 연결하는 제2 스위치, CDS 증폭기의 피드백 캐패시터를 연결하는 제3 스위치, CDS증폭기의 제4 스위치, CDS증폭기의 출력단과 제1 부유 확산 노드를 연결하는 제5 스위치, 및 CDS증폭기의 출력단과 제2 부유 확산 노드를 연결하는 제6 스위치의 동작 타이밍을 제어함으로써, 제1 부유 확산 노드의 오프셋과 제2 부유 확산 노드의 오프셋을 제거할 수 있다.
1440단계에서, 일 실시예에 따른 깊이 센싱 장치는 제1 부유 확산 노드(FD0)의 전압과 제2 부유확신 노드(FD1)의 전압을 비교한 결과에 기초하여, 차이 전압을 부유 확산 노드 중 하나로 피드백 할 수 있다.
예를 들어, 일 실시예에 따른 깊이 센싱 장치는 제1 부유 확산 노드(FD0)의 전압이 제2 부유확신 노드(FD1)의 전압 보다 큰 경우, 차이 전압을 제2 부유확신 노드(FD1)로 피드백하고, 제2 부유확신 노드(FD1)의 전압이 제1 부유 확산 노드(FD0)의 전압 보다 큰 경우, 차이 전압을 제1 부유 확산 노드(FD0)로 피드백 할 수 있다.
1450단계에서, 일 실시예에 따른 깊이 센싱 장치는 집적 구간이 종료되었는지 확인할 수 있다.
확인결과, 집적 구간이 종료되지 않았으면, 1440단계에서, 일 실시예에 따른 깊이 센싱 장치는 1410단계로 돌아가서 부집적 구간을 수행한다.
확인결과 집적 구간이 종료되었으면, 1460단계에서, 일 실시예에 따른 깊이 센싱 장치는 집적 구간 동안 누적된 차이 전압에 기초하여 픽셀의 깊이 값을 계산할 수 있다.
일 측면에 있어서, 깊이 센싱 장치는 부집적 구간 단위로 부유 확산 노드에 저장되는 전하량을 누적함으로써, 외광에 의해 생성된 전하로 인하여 발생할 수 있는 노이즈의 영향을 최소화할 수 있다.
또한, 깊이 센싱 장치는 부유 확산 노드들 간의 전압을 비교한 결과에 기초하여, 부유 확산 노드들 간의 차이 전압이 피드백 될 부유 확산 노드를 결정함으로써, 부유 확산 노드가 포화(saturation)되는 것을 예방할 수 있다.
또한, 깊이 센싱 장치는 단일 이득 증폭기를 이용함으로써, 부집적 구간 단위로 전하량을 누적함에 있어서, 차이 전압 누적의 효과를 유지할 수 있다.
또한, 깊이 센싱 장치는 부호 추정(sign estimation)을 통해, 스위치의 동작 순서를 결정함으로써, 단일 이득 증폭기의 오프셋을 제거하고, 단일 이득 증폭기의 오프셋을 제거함으로써, 부유 확산 노드들 간의 차이 전압을 정확하게 계산할 수 있다.
또한, 깊이 센싱 장치는 기준 전압과 부유 확산 노드의 전압을 비교한 결과에 기초하여, 차이 전압의 피드백 시점을 결정함으로써, 빈번한 피드백으로 발생할 수 있는 노이즈의 영향을 최소화할 수 있다.
따라서 깊이 센싱 장치는 실내 환경뿐 아니라 실외 환경에서도 정밀도가 향상된 깊이 이미지를 얻을 수 있으며 제안된 픽셀 구조는 깊이 센서뿐 아니라 컬러 및 깊이를 동시 취득하는 센서에도 활용될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 실행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (23)
- 부집적(sub-integration) 구간 단위로, 제1 페이즈 구간 동안 제1 부유 확산 노드(floating diffusion(FD) node)에 저장된 포토 다이오드의 전압 및 제2 페이즈 구간 동안 제2 부유 확산 노드에 저장된 상기 포토 다이오드의 전압에 기초하여, 상기 제1 부유 확산 노드와 상기 제2 부유 확산 노드의 차이 전압을 계산하는 계산부;
상기 제1 부유 확산 노드의 전압과 상기 제2 부유 확산 노드의 전압을 비교하는 비교부
상기 비교 결과에 기초하여 상기 차이 전압을 상기 제1 부유 확산 노드 또는 상기 제2 부유 확산 노드 중 하나로 피드백(feedback) 하는 피드백부; 및
부집적 구간들로 구성된 집적(Integration) 구간 동안 누적된 차이 전압에 기초하여 픽셀의 깊이 값을 계산하는 제어부
를 포함하고,
상기 피드백부는,
상기 비교 결과에 기초하여, 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 크면 상기 차이 전압을 상기 제2 부유 확산 노드로 피드백(feedback)하고, 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압 보다 작거나 동일하면 상기 차이 전압을 상기 제1 부유 확산 노드로 피드백하는 깊이 센싱 장치. - 제1항에 있어서,
상기 제어부는
제1 단일 이득 증폭기를 이용하여, 상기 제1 부유 확산 노드의 전압을 측정하고, 제2 단일 이득 증폭기를 이용하여, 상기 제2 부유 확산 노드의 전압을 측정하는 측정부
를 포함하는 깊이 센싱 장치. - 제2항에 있어서,
상기 제1 단일 이득 증폭기 및 상기 제2 단일 이득 증폭기 중 적어도 하나의 플러스 입력단은 픽셀 회로에 포함되고, 나머지 구성은 컬럼(column)회로에 포함되는
깊이 센싱 장치. - 제2항에 있어서,
상기 제1 단일 이득 증폭기 및 상기 제2 단일 이득 증폭기 중 적어도 하나는 픽셀 회로에 포함되는
깊이 센싱 장치. - 제2항에 있어서,
상기 제어부는
상기 제1 단일 이득 증폭기와 CDS증폭기(Correlated Double Sampling Amplifier)의 입력단을 연결하는 제1 스위치, 상기 제2 단일 이득 증폭기와 상기 CDS증폭기를 연결하는 제2 스위치, 상기 CDS 증폭기의 피드백 캐패시터를 연결하는 제3 스위치, 상기 CDS증폭기의 제4 스위치, 상기 CDS증폭기의 출력단과 상기 제1 부유 확산 노드를 연결하는 제5 스위치, 및 상기 CDS증폭기의 출력단과 상기 제2 부유 확산 노드를 연결하는 제6 스위치의 동작 타이밍을 제어함으로써, 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거하는 오프셋 제거부
를 더 포함하는 깊이 센싱 장치. - 제5항에 있어서,
상기 오프셋 제거부는
상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 크면, 상기 제1 스위치, 상기 제3 스위치, 및 상기 제4 스위치를 턴 온(turn on)하고,
상기 제1 스위치 및 상기 제4 스위치를 턴 오프(turn off)한 후에 상기 제2 스위치를 턴 온 하며,
상기 제2 스위치 및 상기 제3 스위치를 턴 오프 한 후에 상기 제4 스위치, 상기 제5 스위치 및 상기 제6 스위치를 턴 온 함으로써 상기 제1 부유 확산 노드의 전압 및 상기 제2 부유 확산 노드의 전압을 참조 전압으로 리셋하고,
상기 제5 스위치 및 상기 제6 스위치를 턴 오프 한 후에 상기 제2 스위치를 턴 온 하며,
상기 제2 스위치 및 상기 제4 스위치를 턴 오프 한 후에 상기 제1 스위치 및 상기 제3 스위치를 턴 온 함으로써 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거하는
깊이 센싱 장치. - 제5항에 있어서,
상기 오프셋 제거부는
상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 작거나 동일하면, 상기 제2 스위치, 상기 제3 스위치, 및 상기 제4 스위치를 턴 온(turn on)하고,
상기 제2 스위치 및 상기 제4 스위치를 턴 오프(turn off)한 후에 상기 제1 스위치를 턴 온 하며,
상기 제1 스위치 및 상기 제3 스위치를 턴 오프 한 후에 상기 제4 스위치, 상기 제5 스위치 및 상기 제6 스위치를 턴 온 함으로써 상기 제1 부유 확산 노드의 전압 및 상기 제2 부유 확산 노드의 전압을 참조 전압으로 리셋하고,
상기 제5 스위치 및 상기 제6 스위치를 턴 오프 한 후에 상기 제1 스위치를 턴 온 하며,
상기 제1 스위치 및 상기 제4 스위치를 턴 오프 한 후에 상기 제2 스위치 및 상기 제3 스위치를 턴 온 함으로써 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거하는
깊이 센싱 장치. - 삭제
- 삭제
- 제1항에 있어서,
상기 제어부는
상기 제1 부유 확산 노드의 전압, 및 상기 제2 부유 확산 노드의 전압 중 적어도 하나의 전압이 기 설정된 기준 전압 보다 작거나 동일한 구간에서는, 상기 제1 부유 확산 노드 및 상기 제2 부유 확산 노드의 포화(saturation) 가능성이 큰 것으로 판단하고, 상기 피드백을 수행하도록 상기 피드백부를 제어하는 피드백 제어부
를 더 포함하는 깊이 센싱 장치. - 제10항에 있어서,
상기 피드백 제어부는
상기 제1 부유 확산 노드의 전압, 및 상기 제2 부유 확산 노드의 전압이 기 설정된 기준 전압 보다 큰 구간에서는, 상기 제1 부유 확산 노드 및 상기 제2 부유 확산 노드의 포화 가능성이 적은 것으로 판단하고, 상기 피드백을 수행하지 않도록 상기 피드백부를 제어하는
깊이 센싱 장치. - 제1항에 있어서,
상기 제어부는
상기 제1 부유 확산 노드 또는 상기 제2 부유 확산 노드 중 상기 차이 전입이 피드백 되지 않는 나머지 부유 확산 노드를, 참조 전압으로 리셋하는 리셋부
를 포함하는 깊이 센싱 장치. - 제1항에 있어서,
상기 제1 페이즈와 상기 제2 페이즈는
서로 180도의 위상 차이를 가지는
깊이 센싱 장치. - 부집적(sub-integration) 구간 단위로, 제1 페이즈 구간 동안 제1 부유 확산 노드(floating diffusion(FD) node)에 저장된 포토 다이오드의 전압 및 제2 페이즈 구간 동안 제2 부유 확산 노드에 저장된 상기 포토 다이오드의 전압에 기초하여, 상기 제1 부유 확산 노드와 상기 제2 부유 확산 노드의 차이 전압을 계산하는 단계;
상기 제1 부유 확산 노드의 전압과 상기 제2 부유 확산 노드의 전압을 비교하는 단계;
상기 비교 결과에 기초하여 상기 차이 전압을 상기 제1 부유 확산 노드 또는 상기 제2 부유 확산 노드 중 하나로 피드백(feedback) 하는 단계; 및
부집적 구간들로 구성된 집적(Integration) 구간 동안 누적된 차이 전압에 기초하여 픽셀의 깊이 값을 계산하는 단계
를 포함하고,
상기 피드백 하는 단계는
상기 비교 결과에 기초하여, 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 크면 상기 차이 전압을 상기 제2 부유 확산 노드로 피드백하고, 상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압 보다 작거나 동일하면 상기 차이 전압을 상기 제1 부유 확산 노드로 피드백 하는 단계인, 깊이 센싱 방법. - 제14항에 있어서,
제1 단일 이득 증폭기를 이용하여, 상기 제1 부유 확산 노드의 전압을 측정하는 단계; 및
제2 단일 이득 증폭기를 이용하여, 상기 제2 부유 확산 노드의 전압을 측정하는 단계
를 더 포함하는 깊이 센싱 방법 - 제15항에 있어서,
상기 제1 단일 이득 증폭기와 CDS증폭기(Correlated Double Sampling Amplifier)의 입력단을 연결하는 제1 스위치, 상기 제2 단일 이득 증폭기와 상기 CDS증폭기를 연결하는 제2 스위치, 상기 CDS 증폭기의 피드백 캐패시터를 연결하는 제3 스위치, 상기 CDS증폭기의 제4 스위치, 상기 CDS증폭기의 출력단과 상기 제1 부유 확산 노드를 연결하는 제5 스위치, 및 상기 CDS증폭기의 출력단과 상기 제2 부유 확산 노드를 연결하는 제6 스위치의 동작 타이밍을 제어함으로써, 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거하는 단계
를 더 포함하는 깊이 센싱 방법 - 제16항에 있어서,
상기 오프셋을 제거하는 단계는
상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 크면, 상기 제1 스위치, 상기 제3 스위치, 및 상기 제4 스위치를 턴 온(turn on)하는 단계;
상기 제1 스위치 및 상기 제4 스위치를 턴 오프(turn off)한 후에 상기 제2 스위치를 턴 온 하는 단계;
상기 제2 스위치 및 상기 제3 스위치를 턴 오프 한 후에 상기 제4 스위치, 상기 제5 스위치 및 상기 제6 스위치를 턴 온 함으로써 상기 제1 부유 확산 노드의 전압 및 상기 제2 부유 확산 노드의 전압을 참조 전압으로 리셋하는 단계;
상기 제5 스위치 및 상기 제6 스위치를 턴 오프 한 후에 상기 제2 스위치를 턴 온 하는 단계; 및
상기 제2 스위치 및 상기 제4 스위치를 턴 오프 한 후에 상기 제1 스위치 및 상기 제3 스위치를 턴 온 함으로써 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거하는 단계
를 포함하는 깊이 센싱 방법 - 제16항에 있어서,
상기 오프셋을 제거하는 단계는
상기 제1 부유 확산 노드의 전압이 상기 제2 부유 확산 노드의 전압보다 작거나 동일하면, 상기 제2 스위치, 상기 제3 스위치, 및 상기 제4 스위치를 턴 온(turn on)하는 단계;
상기 제2 스위치 및 상기 제4 스위치를 턴 오프(turn off)한 후에 상기 제1 스위치를 턴 온 하는 단계;
상기 제1 스위치 및 상기 제3 스위치를 턴 오프 한 후에 상기 제4 스위치, 상기 제5 스위치 및 상기 제6 스위치를 턴 온 함으로써 상기 제1 부유 확산 노드의 전압 및 상기 제2 부유 확산 노드의 전압을 참조 전압으로 리셋하는 단계;
상기 제5 스위치 및 상기 제6 스위치를 턴 오프 한 후에 상기 제1 스위치를 턴 온 하는 단계; 및
상기 제1 스위치 및 상기 제4 스위치를 턴 오프 한 후에 상기 제2 스위치 및 상기 제3 스위치를 턴 온 함으로써 상기 제1 단일 이득 증폭기의 오프셋과 상기 제2 단일 이득 증폭기의 오프셋을 제거하는 단계
를 포함하는 깊이 센싱 방법 - 삭제
- 삭제
- 제14항에 있어서,
상기 제1 부유 확산 노드의 전압, 및 상기 제2 부유 확산 노드의 전압 중 적어도 하나의 전압이 기 설정된 기준 전압 보다 작거나 동일한 구간에서는, 상기 제1 부유 확산 노드 및 상기 제2 부유 확산 노드의 포화(saturation) 가능성이 큰 것으로 판단함으로써, 상기 피드백을 수행하도록 상기 피드백을 제어하는 단계
를 더 포함하는 깊이 센싱 방법 - 제21항에 있어서,
상기 피드백을 제어하는 단계는
상기 제1 부유 확산 노드의 전압, 및 상기 제2 부유 확산 노드의 전압이 기 설정된 기준 전압 보다 큰 구간에서는, 상기 제1 부유 확산 노드 및 상기 제2 부유 확산 노드의 포화 가능성이 적은 것으로 판단함으로써, 상기 피드백을 수행하지 않도록 상기 피드백을 제어하는
깊이 센싱 방법. - 제14항에 있어서,
상기 제1 부유 확산 노드 또는 상기 제2 부유 확산 노드 중 상기 차이 전압이 피드백 되지 않는 나머지 부유 확산 노드를, 참조 전압으로 리셋하는 단계
를 더 포함하는 깊이 센싱 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013152911A JP6267887B2 (ja) | 2012-07-24 | 2013-07-23 | 深度検出装置、深度検出方法及び深度値取得方法 |
| CN201310314103.0A CN103581645B (zh) | 2012-07-24 | 2013-07-24 | 深度感测设备和方法 |
| US13/949,623 US9137521B2 (en) | 2012-07-24 | 2013-07-24 | Depth sensing apparatus and method |
| EP13177764.1A EP2690464B1 (en) | 2012-07-24 | 2013-07-24 | Depth sensing apparatus and method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120080482 | 2012-07-24 | ||
| KR20120080482 | 2012-07-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140015174A KR20140015174A (ko) | 2014-02-06 |
| KR102101444B1 true KR102101444B1 (ko) | 2020-04-17 |
Family
ID=50264901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130043646A KR102101444B1 (ko) | 2012-07-24 | 2013-04-19 | 깊이 센싱 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6267887B2 (ko) |
| KR (1) | KR102101444B1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102079716B1 (ko) | 2013-10-25 | 2020-02-20 | 삼성전자주식회사 | 배경 신호를 제거하는 센서 및 배경 신호를 제거하는 방법 |
| JP6502597B2 (ja) * | 2015-04-16 | 2019-04-17 | 株式会社半導体エネルギー研究所 | 撮像装置 |
| CN108665418B (zh) * | 2017-03-30 | 2021-12-21 | 奇景光电股份有限公司 | 深度感测装置 |
| US10522578B2 (en) * | 2017-09-08 | 2019-12-31 | Sony Semiconductor Solutions Corporation | Pixel-level background light subtraction |
| US20190187256A1 (en) * | 2017-12-19 | 2019-06-20 | Samsung Electronics Co., Ltd. | Non-spad pixels for direct time-of-flight range measurement |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101697519B1 (ko) * | 2010-09-08 | 2017-01-19 | 삼성전자주식회사 | 깊이 센싱 장치 및 방법 |
-
2013
- 2013-04-19 KR KR1020130043646A patent/KR102101444B1/ko active IP Right Grant
- 2013-07-23 JP JP2013152911A patent/JP6267887B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014039250A (ja) | 2014-02-27 |
| JP6267887B2 (ja) | 2018-01-24 |
| KR20140015174A (ko) | 2014-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101697519B1 (ko) | 깊이 센싱 장치 및 방법 | |
| US9137521B2 (en) | Depth sensing apparatus and method | |
| KR102101444B1 (ko) | 깊이 센싱 장치 및 방법 | |
| US9621860B2 (en) | Image capturing apparatus and control method thereof, and storage medium | |
| US9188663B2 (en) | Time-of-flight imager | |
| JP6666620B2 (ja) | 距離画像計測装置 | |
| JP6676866B2 (ja) | 測距撮像装置及び固体撮像素子 | |
| JP2004294420A (ja) | 距離画像センサ | |
| US10531033B2 (en) | Solid state imaging device | |
| US10122999B2 (en) | Image generating method and image generating apparatus | |
| KR101904720B1 (ko) | 영상 처리 장치 및 방법 | |
| US10705215B2 (en) | Distance measurement apparatus, and method of measuring distance | |
| CN111580067B (zh) | 基于飞行时间测距的运算装置、感测装置及处理方法 | |
| JP6190690B2 (ja) | 距離測定システム及び補正用データの取得方法 | |
| WO2018030318A1 (ja) | 投光撮像装置および投光撮像方法 | |
| CN113253296A (zh) | 检测像素和像素系统 | |
| JPWO2019050024A1 (ja) | 距離測定方法および距離測定装置 | |
| US10282036B2 (en) | Optical touch system and image processing method thereof | |
| CN114521241A (zh) | 信息处理装置、校正方法以及程序 | |
| KR20150138714A (ko) | 깊이 카메라를 이용하여 피사체에 대응하는 깊이 값을 생성하는 방법 및 장치 | |
| JP2942593B2 (ja) | 被写体距離検出装置 | |
| JP6595798B2 (ja) | 放射線撮像装置、補正方法及びプログラム | |
| JP2022112388A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
| CN113490862A (zh) | 摄像装置以及差异信息算出方法 | |
| JP6304983B2 (ja) | 焦点検出装置、光電変換システム、焦点検出装置の駆動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |