KR20140055025A - 깊이 영상을 센싱하는 영상 센싱 장치 - Google Patents

깊이 영상을 센싱하는 영상 센싱 장치 Download PDF

Info

Publication number
KR20140055025A
KR20140055025A KR1020120121248A KR20120121248A KR20140055025A KR 20140055025 A KR20140055025 A KR 20140055025A KR 1020120121248 A KR1020120121248 A KR 1020120121248A KR 20120121248 A KR20120121248 A KR 20120121248A KR 20140055025 A KR20140055025 A KR 20140055025A
Authority
KR
South Korea
Prior art keywords
depth
pixels
sub
image
binning
Prior art date
Application number
KR1020120121248A
Other languages
English (en)
Inventor
김성진
츄비센 알버트
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120121248A priority Critical patent/KR20140055025A/ko
Priority to US13/849,699 priority patent/US20140118497A1/en
Publication of KR20140055025A publication Critical patent/KR20140055025A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

깊이 영상을 획득하는 영상 센싱 장치를 제안한다. 영상 센싱 장치는 픽셀 단위 또는 줄 단위에 따라 서브 픽셀의 유동 확산 노드 및 전송 게이트를 엇갈리도록 배치함으로써 깊이 영상의 정확도를 향상시킬 수 있다. 또한, 영상 센싱 장치는 서브 픽셀의 센싱 신호를 비닝하여 깊이 픽셀을 표현할 때, 깊이 픽셀이 서로 엇갈리도록 비닝 과정을 제어할 수 있다.

Description

깊이 영상을 센싱하는 영상 센싱 장치{IMAGE SENSING APPARATUS FOR SENSING OF DEPTH IMAGE}
이하의 실시예들은 영상 센싱 장치에 관한 것으로, 보다 구체적으로는 깊이 영상의 정확도 및 해상도를 향상시킬 수 있는 영상 센싱 장치에 관한 것이다.
깊이 영상은 센서로부터 물체까지의 거리를 측정하여 얻는 영상을 의미한다. Depth 깊이 영상을 획득하는 방법은 다양하다. 그 중의 하나의 방법으로, time-of-flight(TOF) 기술은 조사된 광이 물체에 반사되어 돌아오는 광의 왕복 시간을 측정하는 방식으로서, 모든 픽셀이 깊이 값을 갖는 깊이 영상을 실시간으로 획득할 수 있다.
광의 왕복 시간은 두 가지의 방법으로 측정될 수 있다. 하나는 물체에 광을 조사한 시간과 광이 물체로부터 반사되어 센서에 광이 입사된 시간의 차이를 직접 재는 방식으로, 이를 Direct TOF라고 한다. Direct TOF는 광이 입사함과 동시에 신호를 검출할 수 있어야 하기 때문에 픽셀 내에 매우 감도가 높은 소자가 존재하여야 하며, 주로 Single-photon-avalanche-diode(SPAD)가 사용된다. 또한 수 ns 대의 매우 짧은 시간을 정밀하게 측정할 수 있는 Time-to-digital Converter도 필요하다.
다른 하나는 조사광을 특정 주파수로 변조하고 픽셀에 입력된 반사광을 복조함으로써 조사광과 반사광의 위상 차를 측정하는 방식으로서, 이를 Indirect TOF라 한다. Indirect TOF의 경우, 픽셀이 복조 가능하도록 설계되어야 하며, 픽셀과 조사광을 출력하는 광원이 서로 동기화되어 있어야 한다. 일반적으로, Direct TOF보다는 Indirect TOF가 주로 사용된다.
Indirect TOF의 경우, 픽셀은 변조된 반사광을 복조하기 위해 최소한 2개의 내부 셔터(internal shutter)를 구비하여야 한다. 내부 셔터는 광 검출기(photo-detector)에서 생성된 전자를 유동 확산 노드(floating diffusion node)로 전달하며, 폴리실리콘(polysilicon)으로 구성된 전송 게이트(transfer gate)가 전자를 전송할 수 있다. 각 픽셀에는 2개 이상의 전송 게이트와 유동 확산 노드가 존재할 수 있다.
이 때, 정확한 깊이 영상을 획득하기 위해 광 검출기의 양쪽에 위치한 전송 게이트와 유동 확산 노드의 특성이 동일해야 한다. 하지만, 제조 공정상의 이유로 완벽하게 동일하게 만드는 것은 어려움이 있다. 특히, 전자가 전송되는 방향이 서로 다르고, 양쪽의 유동 확산 노드의 크기가 서로 다르기 때문에, 비대칭(asymmetry)이 발생하여 깊이 영상의 정확도가 저하될 수 있다.
또한, TOF를 측정하는 센서의 다른 문제는 낮은 공간 해상도이다. 현재 상용화되어 있는 센서의 픽셀 크기는 30~40μm 수준으로, 공간 해상도는 QCIF(176×144)이다. 공간 해상도를 증가시키기 위해서는 픽셀 크기를 줄여야 한다. 하지만, 픽셀 크기가 작아지면 센서의 감도가 감소하여 깊이 영상의 에러가 증가할 수 있다. 따라서, 픽셀의 depth error가 증가하는 문제가 있다. 따라서 픽셀 크기를 줄이지 않으면서 공간 해상도를 증가시킬 수 있는 픽셀 구조를 개발하는 것이 필요하다.
일실시예에 따른 영상 센싱 장치는 복수의 서브 픽셀들을 포함하고, 상기 깊이 영상은 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하여 표현되는 깊이 픽셀로 구성될 수 있다.
상기 영상 센싱 장치는, NxN 구조에 따라 배치된 복수의 서브 픽셀들을 포함할 수 있다.
상기 복수의 서브 픽셀들은, 전송 게이트와 유동 확산 노드가 서로 일렬로 배치될 수 있다.
상기 복수의 서브 픽셀들은, 전송 게이트와 유동 확산 노드가 서로 엇갈리도록 배치될 수 있다.
상기 복수의 서브 픽셀들은, 전송 게이트와 유동 확산 노드가 픽셀 단위 또는 줄 단위마다 서로 엇갈리도록 배치될 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 일렬로 연결되도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 수평 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 수직 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 대각 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 복수의 서브 픽셀들 각각은, 전송 게이트와 유동 확산 노드가 서로 엇갈리게 배치되고, 상기 영상 센싱 장치는, 상기 깊이 픽셀이 수평 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 복수의 서브 픽셀들 각각은, 전송 게이트와 유동 확산 노드가 서로 엇갈리게 배치되고, 상기 영상 센싱 장치는, 상기 깊이 픽셀이 수직 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 복수의 서브 픽셀들 각각은, 전송 게이트와 유동 확산 노드가 서로 엇갈리게 배치되고, 상기 영상 센싱 장치는, 상기 깊이 픽셀이 대각 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
다른 실시예에 따른 영상 센싱 장치는 전송 게이트와 유동 확산 노드의 위치가 픽셀 단위 또는 줄 단위에 따라 믹싱된 복수의 서브 픽셀들을 포함할 수 있다.
또 다른 실시예에 따른 영상 센싱 장치는 해상도에 따라 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하여 깊이 영상의 깊이 픽셀을 표현할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 수평 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 수직 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 대각 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
또 다른 실시예에 따른 영상 센싱 장치는 전송 게이트와 유동 확산 노드의 위치가 픽셀 단위 또는 줄 단위에 따라 믹싱된 복수의 서브 픽셀들을 포함하고, 해상도에 따라 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하여 깊이 영상의 깊이 픽셀을 표현할 수 있다.
일실시예에 의하면, 서브 픽셀과 연결된 전송 게이트 및 유동 확산 노드를 엇갈리게 배치함으로써 깊이 영상의 정확도가 향상될 수 있다.
일실시예에 의하면, 서브 픽셀을 통해 표현되는 깊이 픽셀을 서로 엇갈리게 구현함으로써 깊이 영상의 해상도가 향상될 수 있다.
도 1은 일실시예에 따른 깊이 픽셀의 픽셀 구조를 도시한 도면이다.
도 2는 다른 실시예에 따른 깊이 픽셀의 픽셀 구조를 도시한 도면이다.
도 3은 일실시예에 따른 깊이 픽셀의 배치 구조를 도시한 도면이다.
도 4는 다른 실시예에 따른 깊이 픽셀의 배치 구조를 도시한 도면이다.
도 5는 또 다른 실시예에 따른 깊이 픽셀의 배치 구조를 도시한 도면이다.
도 6은 도 2와 도 4가 결합된 형태를 도시한 도면이다.
이하, 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 깊이 픽셀의 픽셀 구조를 도시한 도면이다.
도 1을 참고하면, 복수의 서브 픽셀(101)이 출력한 센싱 신호를 비닝(binning)함으로써 표현되는 깊이 픽셀의 픽셀 구조를 나타낸다. 깊이 영상은 복수의 깊이 픽셀로 표현될 수 있다. 도 1에서 도시된 깊이 픽셀은 도 1의 "Z"에 대응한다. 그리고, 서브 픽셀(101)은 R(Red), G(Green), B(Blue) 중 어느 하나를 의미하며, 서브 픽셀 4개(R, G, G, B)가 하나의 픽셀 단위를 구성한다. 또한, 깊이 픽셀은 하드웨어 구조인 서브 픽셀(101)이 출력한 센싱 신호를 조합한 결과 신호를 의미한다.
서브 픽셀(101)이 출력한 센싱 신호를 비닝하는 과정은 다음과 같다. 도 1에서 깊이 픽셀은 4x4 구조의 서브 픽셀(101)로 표현된다.
먼저, 4x1 서브 픽셀(R, G, R, G 또는 G, B, G, B) 단위로 서브 픽셀(101)들 각각이 출력한 센싱 신호가 1차적으로 비닝된다. 그러면, 4x4 구조의 서브 픽셀(101)의 경우, 4개의 비닝 신호가 출력된다. 이후에, 4개의 비닝 신호를 2차적으로 비닝함으로써 최종적인 깊이 픽셀이 표현될 수 있다.
도 1에서 서브 픽셀(101)에서 생성된 전자들은 일정한 주기에 따라 반복적으로 전송 게이트 1(TG1)(102)를 거쳐 유동 확산 노드 1(FD1)(104)로 이동하거나 또는 전송 게이트 2(TG2)(103)를 거쳐 유동 확산 노드 2(FD2)(105)로 이동한다. 그리고, 수직 방향으로 배치된 서브 픽셀(101)끼리 유동 확산 노드 1, 2(104, 105)를 공유하며, 수평 방향으로 배치된 서브 픽셀(101)끼리 전송 게이트 1, 2(102, 103)를 공유한다.
도 1을 참고하면, 서브 픽셀(101)의 전송 게이트(102, 103)와 유동 확산 노드(104, 105)는 픽셀 단위 또는 줄 단위에 따라 서로 일렬로 배치된다. 즉, 하나의 깊이 픽셀에 대해서는, 4개의 유동 확산 노드와 전송 게이트가 일렬로 배치된다.
도 2는 다른 실시예에 따른 깊이 픽셀의 픽셀 구조를 도시한 도면이다.
도 2는 도 1과 달리, 서브 픽셀(201)의 전송 게이트(202, 203)와 유동 확산 노드(204, 205)는 픽셀 단위 또는 줄 단위에 따라 서로 어긋나게 배치된다.
일반적으로는 제작 공정으로 인해 서브 픽셀(201)의 양쪽에 위치한 유동 확산 노드(204, 205)를 완벽하게 서로 동일하게 제작하는 것은 어려움이 있다. 도 1은 서브 픽셀(201)의 양쪽에 위치한 유동 확산 노드(204, 205)의 특성이 유사한 경우에만 적용될 수 있다. 그러나, 도 2는 서브 픽셀(201)의 양쪽에 위치한 유동 확산 노드(204, 205)의 특성이 달라서 비대칭이 발생하는 경우에도 적용될 수 있다.
도 2를 참고하면, 하나의 깊이 픽셀에 대해 위쪽 2줄에 위치한 서브 픽셀(201)의 유동 확산 노드(204, 205)의 위치와 아래쪽 2줄에 위치한 서브 픽셀(201)의 유동 확산 노드(204, 205)의 위치가 서로 엇갈리게 된다.
즉, 하나의 깊이 픽셀에 대해 서브 픽셀(201)의 유동 확산 노드(204, 205)의 위치가 픽셀 단위에 따라 서로 엇갈리게 배치될 수 있다. 또는 하나의 깊이 픽셀에 대해 서브 픽셀(201)의 유동 확산 노드(204, 205)의 위치가 매 줄마다 서로 엇갈리게 배치될 수 있다.
위에서 설명한 내용들은 전송 게이트(202, 203)에도 동일하게 적용될 수 있다. 이 경우, 유동 확산 노드(204, 205)의 차이로 인해 발생하는 비대칭이 최소화될 수 있으며, 결론적으로 서브 픽셀(201)이 출력하는 센싱 신호를 비닝함으로써 도출되는 깊이 영상의 정확도가 향상될 수 있다.
도 3은 일실시예에 따른 깊이 픽셀의 배치 구조를 도시한 도면이다.
도 3을 참고하면, 4x4 구조로 배치된 서브 픽셀들이 출력한 센싱 신호를 비닝함으로써 하나의 깊이 픽셀(Z)이 표현될 수 있다. 이렇게 표현되는 깊이 픽셀들은 일렬로 배치될 수 있다.
도 3에서 윗쪽 행의 서브 픽셀들을 통해 표현되는 깊이 픽셀과 아래쪽 행의 서브 픽셀들을 통해 표현되는 깊이 픽셀은 서로 어긋나지 않도록 표현될 수 있다. 도 3은 영상 센싱 장치가 서브 픽셀을 비닝하는 과정을 제어함으로써 구현할 수 있다. 서브 픽셀을 비닝함으로써 도출된 깊이 픽셀이 모여서 최종적인 깊이 영상이 도출될 수 있다.
도 4는 다른 실시예에 따른 깊이 픽셀의 배치 구조를 도시한 도면이다.
도 4는 도 3과 다르게 깊이 픽셀이 수평 방향으로 서로 어긋나도록 표현되는 경우를 나타낸다. 구체적으로, 도 4는 4x4 구조로 배치된 서브 픽셀들을 비닝하는 경우 영상 센싱 장치는 윗쪽 행의 서브 픽셀들을 통해 표현되는 깊이 픽셀을 아래쪽 행의 서브 픽셀을 통해 표현되는 깊이 픽셀에 비해서 2개의 서브 픽셀만큼 수평으로 쉬프팅되도록 비닝 과정을 제어할 수 있다.
반대로, 영상 센싱 장치는 아래쪽 행의 서브 픽셀들을 통해 표현되는 깊이 픽셀을 윗쪽 행의 서브 픽셀을 통해 표현되는 깊이 픽셀에 비해서 2개의 서브 픽셀만큼 수평으로 쉬프팅되도록 비닝 과정을 제어할 수 있다. 쉬프팅되는 정도는 도 4에 한정되지 않고 실시예에 따라 다르게 결정될 수 있다. 도 4에 의하면, 도 3보다 수직 방향의 해상도가 향상된 깊이 영상이 센싱될 수 있다.
도 4에 도시되지 않았지만, 깊이 픽셀이 수직 방향으로 서로 어긋나도록 표현되는 경우도 또 다른 실시예로 생각할 수 있다. 깊이 픽셀을 수직 방향으로 어긋나도록 서브 픽셀들을 비닝하는 과정을 제어하는 것은 앞서 설명한 과정을 유추하여 적용될 수 있다.
구체적으로, 도 4는 4x4 구조로 배치된 서브 픽셀들을 비닝하는 경우 영상 센싱 장치는 왼쪽 열의 서브 픽셀들을 통해 표현되는 깊이 픽셀을 오른쪽 열의 서브 픽셀을 통해 표현되는 깊이 픽셀에 비해서 2개의 서브 픽셀만큼 수직으로 쉬프팅되도록 비닝 과정을 제어할 수 있다.
반대로, 영상 센싱 장치는 오른쪽 열의 서브 픽셀들을 통해 표현되는 깊이 픽셀을 왼쪽 열의 서브 픽셀을 통해 표현되는 깊이 픽셀에 비해서 2개의 서브 픽셀만큼 수평으로 쉬프팅되도록 비닝 과정을 제어할 수 있다. 쉬프팅되는 정도는 도 4에 한정되지 않고 실시예에 따라 다르게 결정될 수 있다.
결국, 원래 서브 픽셀의 구조를 변경하지 않고도 깊이 픽셀이 서로 어긋나도록 서브 픽셀의 센싱 신호에 대한 비닝 과정을 제어함으로써 수평 방향 또는 수직 방향의 해상도가 향상된 깊이 영상이 출력될 수 있다.
도 5는 또 다른 실시예에 따른 깊이 픽셀의 배치 구조를 도시한 도면이다.
도 5는 도 3과 다르게 깊이 픽셀이 대각 방향으로 서로 어긋나도록 표현되는 경우를 나타낸다. 도 5의 경우, 영상 센싱 장치는 서브 픽셀을 비닝함으로써 표현되는 깊이 픽셀이 대각 방향으로 배치되도록 비닝 과정을 제어할 수 있다. 도 5와 달리 대각 방향은 반대로 변경될 수 있다.
도 5와 같이 깊이 픽셀이 대각 방향으로 표현되도록 서브 픽셀을 비닝하는 경우, 도 3에 비해서 수평 방향 및 수직 방향의 해상도가 향상된 깊이 영상이 출력될 수 있다.
또한, 도 5에서 하나의 깊이 픽셀을 표현하기 위해 비닝되는 서브 픽셀의 개수를 조절함으로써 깊이 영상의 해상도도 향상될 수 있다. 즉, 깊이 픽셀을 표현하기 위해 비닝되는 서브 픽셀의 개수가 감소할수록 깊이 영상의 해상도가 증가할 수 있다.
도 5의 경우, 서브 픽셀인 R, G, B의 컬러 필터의 IR 투과율이 동일해야 하며 비닝 과정을 위한 배선 배치로 인해서 감도가 낮아질 수 있지만, 이는 향상된 픽셀 공정을 적용함으로써 감도를 향상시킬 수 있다.
도 6은 도 2와 도 4가 결합된 형태를 도시한 도면이다.
앞서 설명한 도면들은 깊이 영상의 정확도가 향상되거나 또는 깊이 영상의 해상도가 향상되는 경우를 나타낸다. 이와 달리, 도 6은 깊이 영상의 정확도와 해상도가 동시에 향상되는 시킬 수 있는 경우를 도시한다.
도 6은 4x4 구조의 서브 픽셀(601)들에 대해 전송 게이트(602, 603)와 유동 확산 노드(604, 605)의 배치를 픽셀 단위 또는 줄 단위마다 서로 다르게 배치한 구조를 도시한다. 뿐만 아니라, 도 6은 4x4 구조의 서브 픽셀(601)의 배치를 다르게 함으로써 표현되는 깊이 픽셀(Z)이 수평 방향으로 어긋나도록 비닝 과정을 제어하는 것을 나타낸다.
도 6과 동일한 서브 픽셀(601)의 배치를 전제로 하여, 4x4 구조의 서브 픽셀(601)들을 통해 표현되는 깊이 픽셀(Z)이 수직 방향으로 어긋나도록 서브 픽셀(601)가 출력한 센싱 신호의 비닝 과정이 제어될 수 있다. 그리고, 도 6과 동일한 서브 픽셀(601)의 배치를 전제로 하여, 4x4 구조의 서브 픽셀(601)들을 통해 표현되는 깊이 픽셀(Z)이 대각 방향으로 배치되도록 서브 픽셀(601)가 출력한 센싱 신호의 비닝 과정이 제어될 수 있다.
일실시예에 따른 영상 센싱 장치는 복수의 서브 픽셀들을 포함하고, 상기 깊이 영상은 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하여 표현되는 깊이 픽셀로 구성될 수 있다.
상기 영상 센싱 장치는, NxN 구조에 따라 배치된 복수의 서브 픽셀들을 포함할 수 있다.
상기 복수의 서브 픽셀들은, 전송 게이트와 유동 확산 노드가 서로 일렬로 배치될 수 있다.
상기 복수의 서브 픽셀들은, 전송 게이트와 유동 확산 노드가 서로 엇갈리도록 배치될 수 있다.
상기 복수의 서브 픽셀들은, 전송 게이트와 유동 확산 노드가 픽셀 단위 또는 줄 단위마다 서로 엇갈리도록 배치될 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 일렬로 연결되도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 수평 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 수직 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 대각 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 복수의 서브 픽셀들 각각은, 전송 게이트와 유동 확산 노드가 서로 엇갈리게 배치되고, 상기 영상 센싱 장치는, 상기 깊이 픽셀이 수평 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 복수의 서브 픽셀들 각각은, 전송 게이트와 유동 확산 노드가 서로 엇갈리게 배치되고, 상기 영상 센싱 장치는, 상기 깊이 픽셀이 수직 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 복수의 서브 픽셀들 각각은, 전송 게이트와 유동 확산 노드가 서로 엇갈리게 배치되고, 상기 영상 센싱 장치는, 상기 깊이 픽셀이 대각 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
다른 실시예에 따른 영상 센싱 장치는 전송 게이트와 유동 확산 노드의 위치가 픽셀 단위 또는 줄 단위에 따라 믹싱된 복수의 서브 픽셀들을 포함할 수 있다.
또 다른 실시예에 따른 영상 센싱 장치는 해상도에 따라 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하여 깊이 영상의 깊이 픽셀을 표현할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 수평 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 수직 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
상기 영상 센싱 장치는, 상기 깊이 픽셀이 대각 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어할 수 있다.
또 다른 실시예에 따른 영상 센싱 장치는 전송 게이트와 유동 확산 노드의 위치가 픽셀 단위 또는 줄 단위에 따라 믹싱된 복수의 서브 픽셀들을 포함하고, 해상도에 따라 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하여 깊이 영상의 깊이 픽셀을 표현할 수 있다.
결론적으로, 복수의 서브 픽셀들을 비닝하여 하나의 깊이 픽셀을 표현하는 영상 센싱 장치에서, 서브 픽셀의 전송 게이트 및 유동 확산 노드의 위치를 적절하게 조합함으로써 비대칭성을 최소화할 수 있다. 이러한 비대칭성의 최소화로 인해서 영상 센싱 장치로부터 출력되는 깊이 영상의 정확도가 향상될 수 있다.
또한, 복수의 서브 픽셀에 대해 비닝하고자 하는 서브 픽셀의 위치를 다르게 함으로써 깊이 영상의 해상도를 향상시킬 수 있다. 구체적으로, 영상 센싱 장치는 서브 픽셀을 비닝함으로써 표현되는 깊이 픽셀이 수평 방향, 수직 방향 또는 대각 방향으로 어긋나도록 비닝함으로써 깊이 영상의 해상도를 향상시킬 수 있다.
앞서 설명한 서브 픽셀의 구조는 컬러 영상 및 깊이 영상을 동시에 획득할 수 있는 영상 센싱 장치뿐만 아니라, 깊이 영상만 획득하는 영상 센싱 장치에도 적용될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 깊이 영상을 획득하는 영상 센싱 장치에 있어서,
    복수의 서브 픽셀들을 포함하고,
    상기 깊이 영상은 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하여 표현되는 깊이 픽셀로 구성되는 영상 센싱 장치.
  2. 제1항에 있어서,
    상기 영상 센싱 장치는, NxN 구조에 따라 배치된 복수의 서브 픽셀들을 포함하는 영상 센싱 장치.
  3. 제1항에 있어서,
    상기 복수의 서브 픽셀들은,
    전송 게이트와 유동 확산 노드가 서로 일렬로 배치된 영상 센싱 장치.
  4. 제1항에 있어서,
    상기 복수의 서브 픽셀들은,
    전송 게이트와 유동 확산 노드가 서로 엇갈리도록 배치된 영상 센싱 장치.
  5. 제4항에 있어서,
    상기 복수의 서브 픽셀들은,
    전송 게이트와 유동 확산 노드가 픽셀 단위 또는 줄 단위마다 서로 엇갈리도록 배치된 영상 센싱 장치.
  6. 제1항에 있어서,
    상기 영상 센싱 장치는,
    상기 깊이 픽셀이 일렬로 연결되도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하는 영상 센싱 장치.
  7. 제1항에 있어서,
    상기 영상 센싱 장치는,
    상기 깊이 픽셀이 수평 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하는 영상 센싱 장치.
  8. 제1항에 있어서,
    상기 영상 센싱 장치는,
    상기 깊이 픽셀이 수직 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하는 영상 센싱 장치.
  9. 제1항에 있어서,
    상기 영상 센싱 장치는,
    상기 깊이 픽셀이 대각 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하는 영상 센싱 장치.
  10. 제1항에 있어서,
    상기 복수의 서브 픽셀들 각각은, 전송 게이트와 유동 확산 노드가 서로 엇갈리게 배치되고,
    상기 영상 센싱 장치는,
    상기 깊이 픽셀이 수평 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하는 영상 센싱 장치.
  11. 제1항에 있어서,
    상기 복수의 서브 픽셀들 각각은, 전송 게이트와 유동 확산 노드가 서로 엇갈리게 배치되고,
    상기 영상 센싱 장치는,
    상기 깊이 픽셀이 수직 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하는 영상 센싱 장치.
  12. 제1항에 있어서,
    상기 복수의 서브 픽셀들 각각은, 전송 게이트와 유동 확산 노드가 서로 엇갈리게 배치되고,
    상기 영상 센싱 장치는,
    상기 깊이 픽셀이 대각 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하는 영상 센싱 장치.
  13. 깊이 영상을 획득하는 영상 센싱 장치에 있어서,
    전송 게이트와 유동 확산 노드의 위치가 픽셀 단위 또는 줄 단위에 따라 믹싱된 복수의 서브 픽셀들을 포함하는 영상 센싱 장치.
  14. 깊이 영상을 획득하는 영상 센싱 장치에 있어서,
    해상도에 따라 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하여 깊이 영상의 깊이 픽셀을 표현하는 영상 센싱 장치.
  15. 제14항에 있어서,
    상기 영상 센싱 장치는,
    상기 깊이 픽셀이 수평 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하는 영상 센싱 장치.
  16. 제14항에 있어서,
    상기 영상 센싱 장치는,
    상기 깊이 픽셀이 수직 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하는 영상 센싱 장치.
  17. 제14항에 있어서,
    상기 영상 센싱 장치는,
    상기 깊이 픽셀이 대각 방향으로 엇갈리도록 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하는 영상 센싱 장치.
  18. 깊이 영상을 획득하는 영상 센싱 장치에 있어서,
    전송 게이트와 유동 확산 노드의 위치가 픽셀 단위 또는 줄 단위에 따라 믹싱된 복수의 서브 픽셀들을 포함하고,
    해상도에 따라 복수의 서브 픽셀들 각각이 출력한 센싱 신호를 비닝하는 것을 제어하여 깊이 영상의 깊이 픽셀을 표현하는 영상 센싱 장치.
KR1020120121248A 2012-10-30 2012-10-30 깊이 영상을 센싱하는 영상 센싱 장치 KR20140055025A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120121248A KR20140055025A (ko) 2012-10-30 2012-10-30 깊이 영상을 센싱하는 영상 센싱 장치
US13/849,699 US20140118497A1 (en) 2012-10-30 2013-03-25 Image sensing apparatus for sensing depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120121248A KR20140055025A (ko) 2012-10-30 2012-10-30 깊이 영상을 센싱하는 영상 센싱 장치

Publications (1)

Publication Number Publication Date
KR20140055025A true KR20140055025A (ko) 2014-05-09

Family

ID=50546719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120121248A KR20140055025A (ko) 2012-10-30 2012-10-30 깊이 영상을 센싱하는 영상 센싱 장치

Country Status (2)

Country Link
US (1) US20140118497A1 (ko)
KR (1) KR20140055025A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109387854A (zh) * 2017-08-09 2019-02-26 延世大学校产学协力团 器的两步跟踪的距离测量装置及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7093773B2 (ja) * 2016-11-10 2022-06-30 マジック リープ， インコーポレイテッド 複数のｆ値レンズのための方法およびシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040012689A1 (en) * 2002-07-16 2004-01-22 Fairchild Imaging Charge coupled devices in tiled arrays
KR100657863B1 (ko) * 2005-02-07 2006-12-14 삼성전자주식회사 핑거드 타입 소스 폴로워 트랜지스터를 이용한 상보성금속 산화막 반도체 액티브 픽셀 센서
EP2154879A1 (en) * 2008-08-13 2010-02-17 Thomson Licensing CMOS image sensor with selectable hard-wired binning
KR101484111B1 (ko) * 2008-09-25 2015-01-19 삼성전자주식회사 입체 이미지 센서
JP2011199196A (ja) * 2010-03-23 2011-10-06 Toshiba Corp 固体撮像装置
FR2978855B1 (fr) * 2011-08-04 2013-09-27 Commissariat Energie Atomique Procede et dispositif de calcul d'une carte de profondeur a partir d'une unique image

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109387854A (zh) * 2017-08-09 2019-02-26 延世大学校产学协力团 器的两步跟踪的距离测量装置及方法
KR101938984B1 (ko) * 2017-08-09 2019-04-10 연세대학교 산학협력단 Spad 거리측정 센서 기반의 2단계 트래킹을 이용한 거리 측정 장치 및 방법
US10746543B2 (en) 2017-08-09 2020-08-18 Industry-Academic Cooperation Foundation, Yonsei University Apparatus for measuring distance using two-step tracking based on SPAD sensor and method thereof
CN109387854B (zh) * 2017-08-09 2023-06-09 延世大学校产学协力团 距离测量装置及方法

Also Published As

Publication number Publication date
US20140118497A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
KR102136850B1 (ko) 깊이 센서, 및 이의 동작 방법
KR101788032B1 (ko) 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
US10666875B2 (en) Solid-state imaging device
EP3333893A1 (en) Solid-state imaging device
US10802144B2 (en) Method and device of measuring the distance to an object
US10509126B2 (en) Method for driving a time-of-flight system
US9076706B2 (en) Image sensor based on depth pixel structure
EP2549745A2 (en) Method and image sensor having pixel structure for capturing depth image and color image
US9621868B2 (en) Depth sensor, image capture method, and image processing system using depth sensor
JP5698527B2 (ja) 深さセンサーの深さ推定方法及びその記録媒体
KR101967717B1 (ko) 멀티 레이어 디스플레이 장치
JP6509914B2 (ja) 深度推定のための画像センサ
US10177192B2 (en) Image sensor having photodiodes sharing one color filter and one micro-lens
WO2015162843A1 (ja) 情報処理装置、情報処理方法、プログラム、調整装置、及び画像表示システム
KR102286136B1 (ko) 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
KR101715141B1 (ko) 깊이 센서의 픽셀 및 상기 픽셀을 포함하는 이미지 센서
KR101812035B1 (ko) 컬러 이미지와 깊이 이미지를 동시에 얻을 수 있는 이미지 센서, 이미지 센서의 동작 방법 및 이미지 센서를 포함하는 이미지 처리 시스템
US20130258099A1 (en) Depth Estimation Device And Operating Method Using The Depth Estimation Device
CN104025584B (zh) 彩色摄像元件及摄像装置
US20120173184A1 (en) Depth sensor, defect correction method thereof, and signal processing system including the depth sensor
US9571764B2 (en) Image sensor and method of driving image sensor
JP2007527516A5 (ko)
KR20150078838A (ko) 얼룩 보상 방법과 이를 이용한 표시장치
KR20140055025A (ko) 깊이 영상을 센싱하는 영상 센싱 장치
JP2018019296A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid