KR20130082047A - 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치 - Google Patents

이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치 Download PDF

Info

Publication number
KR20130082047A
KR20130082047A KR1020120027328A KR20120027328A KR20130082047A KR 20130082047 A KR20130082047 A KR 20130082047A KR 1020120027328 A KR1020120027328 A KR 1020120027328A KR 20120027328 A KR20120027328 A KR 20120027328A KR 20130082047 A KR20130082047 A KR 20130082047A
Authority
KR
South Korea
Prior art keywords
color
depth
integration time
pixel
pixels
Prior art date
Application number
KR1020120027328A
Other languages
English (en)
Inventor
민동기
오브시아니코프 일리야
라오 프라빈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20130082047A publication Critical patent/KR20130082047A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명의 실시예에 따른, 피사체에 의해 반사되는 반사광 및 가시광선을 수신하여 피사체의 이미지를 센싱하는 이미지 센서에 있어서, 상기 가시광선을 센싱하는 칼라 픽셀(color pixel)들 및 상기 반사광을 센싱하는 깊이 픽셀(depth pixel)들을 포함하는 픽셀 어레이; 및 각 칼라 픽셀을 칼라 적분 시간의 단위로 리셋(reset)하고 상기 칼라 적분 시간의 단위로 독출(read)하여 칼라 픽셀 신호를 센싱하며, 각 깊이 픽셀을 상기 칼라 적분 시간과 상이한 깊이 적분 시간의 단위로 리셋하고 상기 깊이 적분 시간 단위로 독출하여 깊이 픽셀 신호를 센싱하는 셔터링(shuttering)부를 구비한다.

Description

이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치{Image sensor, image sensing method, and image photographing apparatus including the image sensor}
본 발명은 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 이미지 촬영 장치에 관한 것으로, 특히 센싱한 이미지의 퀄리티를 향상시킬 수 있는 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 이미지 촬영 장치에 관한 것이다.
이미지 장치 및 이미지 촬영 방법에 대한 기술이 빠른 속도로 진화하고 있다. 이미지 센서는 보다 정확한 영상 정보를 센싱하기 위해, 피사체에 대한 칼라(color) 정보와 함께, 깊이(depth) 정보도 획득하도록 개발되고 있다.
본 발명이 해결하고자 하는 기술적 과제는 피사체에 대한 이미지를 정확하게 센싱할 수 있는 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 이미지 촬영 장치를 제공하는 것이다.
본 발명의 실시예에 따른, 피사체에 의해 반사되는 반사광 및 가시광선을 수신하여 피사체의 이미지를 센싱하는 이미지 센서에 있어서, 상기 가시광선을 센싱하는 칼라 픽셀(color pixel)들 및 상기 반사광을 센싱하는 깊이 픽셀(depth pixel)들을 포함하는 픽셀 어레이; 및 각 칼라 픽셀을 칼라 적분 시간의 단위로 리셋(reset)하고 상기 칼라 적분 시간의 단위로 독출(read)하여 칼라 픽셀 신호를 센싱하며, 각 깊이 픽셀을 상기 칼라 적분 시간과 상이한 깊이 적분 시간의 단위로 리셋하고 상기 깊이 적분 시간 단위로 독출하여 깊이 픽셀 신호를 센싱하는 셔터링(shuttering)부를 구비한다.
상기 셔터링부는, 상기 픽셀 어레이의 로우(row) 단위로 상기 리셋 동작 및 상기 독출을 수행하는 롤링 셔터(rolling shutter)일 수 있다.
상기 칼라 적분 시간은, 상기 픽셀 어레이의 임의의 로우의 상기 칼라 픽셀들이 리셋된 후, 상기 임의의 로우의 상기 칼라 픽셀들이 독출되는데 소요되는 시간이고, 상기 깊이 적분 시간은, 상기 픽셀 어레이의 임의의 로우의 상기 깊이 픽셀들이 리셋된 후, 상기 임의의 로우의 상기 깊이 픽셀들이 독출되는데 소요되는 시간일 수 있다.
상기 셔터링부는, 상기 픽셀 어레이의 임의의 로우의 상기 칼라 픽셀들을 리셋한 후, 상기 칼라 적분 시간이 경과된 후에 상기 임의의 로우의 칼라 픽셀들 및 깊이 픽셀들을 독출할 수 있다.
상기 셔터링부는, 상기 픽셀 어레이의 임의의 로우의 상기 깊이 픽셀들을 리셋한 후, 상기 깊이 적분 시간이 경과된 후에 상기 임의의 로우의 칼라 픽셀들 및 깊이 픽셀들을 독출할 수 있다.
상기 칼라 적분 시간이 상기 깊이 적분 시간보다 길거나, 상기 칼라 적분 시간이 상기 깊이 적분 시간보다 짧을 수 있다.
본 발명의 실시예에 따른, 피사체에 의해 반사되는 반사광 및 가시광선을 수신하여 피사체의 이미지를 센싱하는 이미지 센싱 방법에 있어서, 칼라 적분 시간 동안 이미지 센서의 픽셀 어레이의 칼라 픽셀들에 의해 센싱된 상기 가시광선을, 칼라 픽셀 신호로 출력하는 단계; 상기 칼라 적분 시간과 상이한 깊이 적분 시간 동안 상기 픽셀 어레이의 깊이 픽셀들에 의해 센싱된 상기 반사광을, 깊이 픽셀 신호로 출력하는 단계; 및 각각, 상기 칼라 픽셀 신호 및 상기 깊이 픽셀 신호를 상기 피사체의 이미지 정보로 산출하는 단계를 구비한다.
상기 칼라 픽셀 신호를 출력하는 단계는, 각 칼라 픽셀을 상기 칼라 적분 시간의 단위로 리셋하고 리셋된 칼라 픽셀을 상기 칼라 적분 시간의 단위로 독출할 수 있다.
상기 깊이 픽셀 신호를 출력하는 단계는, 각 깊이 픽셀을 상기 깊이 적분 시간의 단위로 리셋하고 리셋된 깊이 픽셀을 상기 깊이 적분 시간의 단위로 독출할 수 있다.
본 발명의 실시예에 따른, 이미지 촬영 장치에 있어서, 피사체에 반사되어 전달되는 반사광 및 가시광선을 수신하는 렌즈; 상기 렌즈로부터 전달되는 반사광으로부터 상기 피사체에 대한 영상 정보를 센싱하는 이미지 센서; 및 상기 이미지 센서를 제어하고 상기 이미지 센서로부터 전송된 상기 영상 정보를 신호 처리하는 프로세서를 구비하고, 상기 이미지 센서는, 상기 가시광선을 센싱하는 칼라 픽셀(color pixel)들 및 상기 반사광을 센싱하는 깊이 픽셀(depth pixel)들을 포함하는 픽셀 어레이; 및 각 칼라 픽셀을 칼라 적분 시간의 단위로 리셋(reset)하고 상기 칼라 적분 시간의 단위로 독출(read)하여 칼라 픽셀 신호를 센싱하며, 각 깊이 픽셀을 상기 칼라 적분 시간과 상이한 깊이 적분 시간의 단위로 리셋하고 상기 깊이 적분 시간 단위로 독출하여 깊이 픽셀 신호를 센싱하는 셔터링(shuttering)부를 구비한다.
본 발명에 따른 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 이미지 촬영 장치에 의하면, 칼라 정보 및 깊이 정보를 서로 다른 노출 시간으로 센싱함으로써, 충분한 크기의 픽셀 신호를 센싱할 수 있는 장점이 있다. 따라서, 본 발명에 따른 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 영상 촬영 장치에 의하면, 센싱된 이미지의 퀄리티를 향상시킬 수 있는 장점이 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시예에 따른 이미지 센서를 나타내는 블록도이다.
도 2A 및 도 2B는 도 1의 이미지 센서의 동작을 더 자세히 설명하기 위한 도면이다.
도 3A 및 도 3B은 도 1의 픽셀들의 구조를 더 자세히 나타내는 도면이다.
도 4는 도 1의 이미지 센싱에 사용되는 변조 신호들을 나타내는 도면이다.
도 5A 내지 도 5E 및 도 6A 내지 도 6E는 도 1의 셔터링부의 동작을 설명하기 위한 도면이다.
도 7 및 도 8은 각각, 도 1의 셔터링부의 동작에 대한 다른 예를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 이미지 캡쳐 장치를 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 이미지 처리 시스템을 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 컴퓨팅 시스템 장치를 나타내는 블럭도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시예에 따른 이미지 센서를 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 이미지 센서(ISEN)는, 픽셀 어레이(PA), 타이밍 발생기(TG), 로우 드라이버(RD), 샘플링부(SM), 아날로그-디지털 변환기(ADC), 칼라 정보 계산부(CC), 깊이 정보 계산부(DC) 및 셔터링부(SHUT)를 구비한다. 본 발명의 실시예에 따른 이미지 센서(ISEN)는 피사체(OBJ)에 대한 영상 정보(칼라 정보(CINF) 및 깊이 정보(DINF))를 센싱하는 TOF(Time of Flight) 이미지 센서일 수 있다.
본 발명의 실시예에 따른 이미지 센서(ISEN)의 동작에 대하여 간략히 나타내고 있는 도 2A에 도시되는 바와 같이, 이미지 센서(ISEN)는 광원(LS)으로부터 발산된 출력광(OLIG)이 피사체(OBJ)에 반사되어 렌즈(LE)를 통해 수신되는 반사광(RLIG)으로부터 피사체(OBJ)에 대한 깊이 정보(DINF))를 센싱(sensing)한다. 이때, 출력광(OLIG) 및 반사광(RLIG)은 도 2B에 도시되는 바와 같이, 주기적인 파형을 가질 수 있다. 특히, 본 발명의 실시예에 따른 이미지 센서(ISEN)는 출력광(OLIG)과 반사광(RLIG)과의 위상 지연(phase delay, φ)으로부터 피사체(OBJ)에 대한 깊이 정보(DINF)를 구할 수 있다. 이미지 센서(ISEN)는 피사체(OBJ)의 가시 광선(VLIG)으로부터 칼라 정보(CINF)를 구할 수 있다.
다시 도 1을 참조하면, 픽셀 어레이(PA)는 행들 및 열들의 교차점에 배열되는 복수의 픽셀(PX)들을 구비한다. 픽셀 어레이(PA)는 도 3A 및 도 3B에 도시되는 바와 같이, 다양한 구조로 픽셀들을 배열할 수 있다. 예를 들어, 도 3A와 같이, 깊이 픽셀(PXd)들이 칼라 픽셀(PXc)들보다 크지만 칼라 픽셀(PXc)들보다 작은 개수로 구비될 수 있다. 또는, 도 3B와 깊이 픽셀(PXd)들이 칼라 픽셀(PXc)들과 동일한 크기를 갖고 깊이 픽셀(PXd)들이 칼라 픽셀(PXc)들과 교대로 구비되는 구조를 가질 수 있다.
도 3A 및 도 3B는 비록, 칼라 픽셀(PXc)들과 깊이 픽셀(PXd)들이 별도로 구비되는 예를 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 칼라 픽셀(PXc)들과 깊이 픽셀(PXd)들이 하나로 구비될 수도 있다.
픽셀(PX)들은 각각, 반사광(RLIG)에 대응되는 전기적 변화를 야기하는 광전 변환 소자(미도시)를 구비할 수 있다. 광전 변환 소자는 포토 다이오드, 포토 트랜지스터, 포토 게이트 또는 핀드 포토 다이오드 등으로 구현될 수 있다. 픽셀(PX)들은 또한, 광전 변환 소자와 연결되어 광전 변환 소자를 제어하거나 광전 변환 소자의 전기적 변화를 픽셀 신호(POUTc, POUTd)로 출력하는 전달 트랜지스터, 드라이브 트랜지스터, 선택 트랜지스터 그리고 리셋 트랜지스터를 포함할 수 있다. 픽셀(PX)들에 포함되는 각 트랜지스터들은 각 픽셀(PX)들의 광전 변환 소자가 수신하는 반사광에 대응되는 전압(픽셀 신호 POUTc, POUTd))로 출력할 수 있다. 픽셀의 구조 및 기능에 대한 자세한 설명은 생략한다.
본 발명의 실시예에 따른 픽셀 어레이(PA)가 도 3A 및 도 3B와 같이, 칼라 픽셀(PXc)들 및 깊이 픽셀(PXd)들을 별도로 구비하는 경우, 픽셀 신호(POUTc, POUTd)는 칼라 픽셀(PXc)들로부터 출력되어 칼라 정보(CINF)를 구하는데 사용되는 칼라 픽셀 신호(POUTc) 및 깊이 픽셀(PXd)들로부터 출력되어 깊이 정보(DINF)를 구하는데 사용되는 깊이 픽셀 신호(POUTd)로 구분될 수 있다.
다시 도 1을 참조하면, 광원(LS)은 이미지 센서(ISEN)의 내부 또는 외부에 위치할 수 있는 광원 드라이버(LSD)에 의해 제어된다. 광원(LS)은 타이밍 발생기(TG)를 통해 인가되는 시각 ta에서 변조되는 출력광(OLIG)을 발산할 수 있다. 타이밍 발생기(TG)는 또한, 로우 디코더(RD) 및 셔터링부(SHUT) 등과 같은 이미지 센서(ISEN)의 다른 구성 요소들도 컨트롤할 수 있다.
타이밍 발생기(TG)는 이미지 센서(ISEN)의 각 깊이 픽셀(PXd)들이 반사광(RLIG)으로부터 시각 ta에 동기되어 복조되도록, 각 픽셀(PX)들의 활성화를 제어한다. 깊이 픽셀(PXd)들의 광전 변환 소자는, 깊이 적분 시간(Tint_Dep) 동안 반사광(RLIG)에 대응되는 전기적 전하를 깊이 픽셀 신호(POUTd)로 출력한다. 칼라 픽셀(PXc)들의 광전 변환 소자는, 칼라 적분 시간(Tint_Col) 동안 가시 광선에 대응되는 전기적 전하를 칼라 픽셀 신호(POUTc)로 출력한다. 깊이 적분 시간(Tint_Dep) 및 칼라 적분 시간(Tint_Col)에 대한 자세한 설명은 셔터링부(SHUT)에 대한 설명을 참조될 것이다.
본 발명의 실시예에 따른 이미지 센서(ISEN)의 깊이 픽셀 신호(POUTd)는 반사광(RLIG)으로부터 추출(sample)되는 복수개의 변조 신호들에 대응되어 출력된다. 예를 들어, 도 4에 도시되는 바와 같이, 반사광(RLIG)으로부터, 각 깊이 픽셀(PXd)들은 출력광(OLIG)에 대하여 각각, 0도, 90도, 180도 및 270도로 위상(phase)이 쉬프트(shift)되는 4개의 변조 신호들(SIGD0 ~ SIGD3)을 추출하여 이에 대응되는 깊이 픽셀 신호(POUTd)을 출력할 수 있다.
각 캡쳐된 프레임들로부터 출력된 깊이 픽셀 신호들은 A0, A1, A2 및 A3로 지명된다. 또한, 칼라 픽셀들(PXc)는 가시 광선에 의해 일루미네이션(illumination)을 수신하고, 대응되는 칼라 픽셀 신호(POUTc)를 출력한다. 도 4를 참조하면, 각 깊이 픽셀(PXc)들은 한번에 하나의 변조 신호에 의해 일루미네이션을 수신한다.
다시 도 1을 참조하면, 샘플링부(SM)는 상기의 깊이 픽셀 신호(POUTd)들을 깊이 픽셀(PXd)들로부터 샘플링하고, 깊이 픽셀 신호(POUTd)들을 아날로그-디지털 변환기(ADC)로 전송한다. 또한, 샘플링부(SM)는 상기의 칼라 픽셀 신호(POUTc)들을 칼라 픽셀(PXc)들로부터 샘플링하고, 칼라 픽셀 신호(POUTc)들을 아날로그-디지털 변환기(ADC)로 전송한다. 아날로그-디지털 변환기(ADC)는 각각 아날로그 전압 값을 갖는 픽셀 신호들(POUTd, POUTc)을 디지털 데이터로 변환한다. 샘플링부(SM) 또는 아날로그-디지털 변환기(ADC)가 깊이 픽셀 신호(POUTd) 및 칼라 픽셀 신호(POUTc)에 대해 다른 시간에 동작하더라도, 이미지 센서는 칼라 정보(CINF)를 깊이 정보(DINF)와 동기시킬 수 있다. 예를 들어, 샘플링부(SM)는 픽셀 신호들(POUTd, POUTc)을 동시에 리드 아웃할 수 있다.
칼라 정보 계산부(CC)는 아날로그-디지털 변환기(ADC)에 의해 디지털 데이터로 변환되 칼라 픽셀 신호(POUTc)로부터 칼라 정보(CINF)를 산출한다.
깊이 정보 계산부(DC)는 아날로그-디지털 변환기(ADC)에 의해 디지털의 데이터로 변환된 깊이 픽셀 신호(POUTd=A0~A3)로부터 깊이 정보(DINF)를 산출한다. 구체적으로, 깊이 정보 계산부(DC)는 다음의 수학식 1과 같이, 출력광(OLIG)과 반사광(RLIG)과의 위상 지연(φ)을 추정(estimating)하여, 이미지 센서(ISEN)와 피사체(OBJ) 사이의 거리(D)를 결정한다.
[수학식 1]
Figure pat00001
깊이 정보 계산부(DC)는 또한, 상기 수학식 1로부터 구하여진 출력광(OLIG)과 반사광(RLIG)과의 위상 지연(φ)을 다음의 수학식 2에 대입하여, 이미지 센서(ISEN)와 피사체(OBJ) 사이의 거리(D)를 구한다.
[수학식 2]
Figure pat00002
상기 수학식 2에서, D는 센서와 물체 사이의 거리를 미터(meter) 단위로 나타낸 값이고 Fm은 변조파 주기를 초(second) 단위로 나타낸 값이다. 그리고, c는 빛의 속도(m/s)를 나타낸다. 이렇듯, 이미지 센서(ISEN)와 피사체(OBJ) 사이의 거리(D)는, 피사체(OBJ)에 대한 반사광(RLIG)이 도 3A 및 도 3B의 깊이 픽셀(PXd)들로부터 출력되는 깊이 픽셀 신호(POUTd)로부터 깊이 정보(DINF)로 센싱될 수 있다.
계속해서 도 1을 참조하면, 본 발명의 실시예에 따른 셔터링부(SHUT)는 도 5A 내지 도 5E에 도시되는 바와 같이 롤링 셔터(rolling shutter)로 동작할 수 있다. 셔터링부(SHUT)는 로우 디코더(RD)로 리셋 신호(XRST)를 전송한다. 로우 디코더(RD)는 리셋 신호(XRST)에 응답하여 픽셀 어레이(PA)에 대하여 로우(row) 단위로 제1 로우(R1)에서 마지막 로우(Rn)까지 순차적으로 리셋시킬 수 있다.
본 발명의 실시예에 따른 셔터링부(SHUT)는 제1 리셋부(SHUT1) 및 제2 리셋부(SHUT2)를 구비할 수 있다. 제1 리셋부(SHUT1)는 각 로우의 칼라 픽셀(PXc)들에 대하여 순차적으로 리셋(reset)을 수행할 수 있다. 제2 리셋부(SHUT2)는 각 로우의 깊이 픽셀(PXd)들에 대하여 순차적으로 리셋을 수행할 수 있다. 이때, 칼라 적분 시간(Tint_Col) 및 깊이 적분 시간(Tint_Dep)은 상이할 수 있다.
셔터링부(SHUT)의 동작을 설명도 5A 내지 도 5E는, 칼라 적분 시간(Tint_Col)이 깊이 적분 시간(Tint_Dep)보다 긴 예를 도시한다. 도 5A 및 도 5B에 도시되는 바와 같이, 제1 리셋부(SHUT1)가 먼저 제1 로우(R1)를 리셋(①: C_RST_PTR)한 후, 일정 시간이 경과된 후에 제2 리셋부(SHUT2)가 제1 로우(R1)를 리셋(②: D_RST_PTR)한다. 그리고 나서, 도 5C에 도시되는 바와 같이, 픽셀 어레이(PA)에 대한 독출(③)이 칼라 픽셀(PXc)들에 대하여는 칼라 적분 시간(Tint_Col)이 경과한 후에 수행(③: C_RD_PTR)되고, 깊이 픽셀(PXd)들에 대하여는 깊이 적분 시간(Tint_Dep)이 경과한 후에 수행(③: D_RD_PTR)된다. 따라서, 칼라 적분 시간(Tint_Col)이 깊이 적분 시간(Tint_Dep)보다 ΔTint 만큼 길다. 독출 동작, 즉 픽셀 신호(POUTc, POUTd)의 센싱은 마지막 로우(Rn)의 칼라 픽셀(PXc)에 대한 리셋을 수행하는 때에 제1 로우(R1)부터 순차적으로 수행될 수 있다.
본 발명의 실시예에 따른 셔터링부(SHUT)는 도 5D 및 도 5E에 도시되는 바와 같이, 도 5A 내지 도 5C의 동작을 반복하여 수행한다. 즉, 제1 리셋부(SHTU1)는 칼라 픽셀들에 대한 노출 시간(적분 시간)을 제어하고, 제2 리셋부(SHTU2)는 깊이 픽셀들에 대한 노출 시간을 제어한다. 이미지 센서(ISEN)가 시작되면, 제1 리셋부(SHTU1) 및 제2 리셋부(SHTU2) 중 더 긴 노출 시간을 갖는 리셋부가 먼저 동작을 시작할 수 있다. 예를 들어, 제1 리셋부(SHTU1)가 제2 리셋부(SHTU2)보다 긴 노출 시간을 가지면, 제1 리셋부(SHTU1)가 그것의 노출 시간으로 동작을 먼저 시작할 수 있다. 제1 리셋부(SHTU1)의 노출 시간이 경과하면, 칼라 픽셀 신호(POUTc)들이 샘플링될 수 있다. 그리고 나서, 제2 리셋부(SHTU2)가 그것의 노출 시간으로 동작을 시작할 수 있다. 제2 리셋부)의 노출 시간이 경과하면, 깊이 픽셀 신호(POUTd)들이 샘플링될 수 있다.
전술한 바와 같이, 샘플링부는 칼라 픽셀 신호(POUTc)들 및 깊이 픽셀 신호(POUTd)들을 샘플링한다. 또한, 셔터링부(SHTU)는 적어도 두 개의 리드 셔터들(미도시)를 구비할 수 있다. 하나의 리드 셔터는 칼라 픽셀들에 대한 리드(read)를 제어할 수 있고, 다른 리드 셔터는 깊이 픽셀들에 대한 리드를 제어할 수 있다. 예를 들어, 각 리드 셔터는 리드하고자 하는 로우의 어드레스를 로우 디코더(RD)로 전송할 수 있다.
각 리셋 셔터가 픽셀 어레이의 끝에서 동작을 마치면, 리셋 셔터는 다시 감겨 제1 로우부터 다시 동작을 시작할 수 있다. 제1 로우는 임의의 로우일 수 있다.
도 5A 내지 도 5E가 칼라 픽셀(PXc)들에 대한 칼라 적분 시간(Tint_col)이 깊이 픽셀(PXd)들에 대한 깊이 적분 시간(Tint_dep)보다 긴 예를 도시하고 있으나, 이에 한정되는 것은 아니다. 도 6A 내지 도 6E는 칼라 픽셀(PXc)들에 대한 칼라 적분 시간(Tint_col)이 깊이 픽셀(PXd)들에 대한 깊이 적분 시간(Tint_dep)보다 짧은 예를 도시한다. 이 경우, 도 6A에 도시된 바와 같이, 제2 리셋부(SHTU2)가 제1 로우(R1)에서 리셋을 시작한 후, 도 6B에 도시된 바와 같이, 제1 리셋부(SHTU1)가 제1 로우(R1)에서 리셋을 시작한다. 이때, 도 6C에 도시된 바와 같이, 칼라 적분 시간(Tint_Col)이 깊이 적분 시간(Tint_Dep)보다 ΔTint 만큼 짧다.
본 발명의 실시예에 따른 셔터링부(SHUT)는 도 6D 및 도 6E에 도시되는 바와 같이, 도 6A 내지 도 6C의 동작을 반복하여 수행한다. 즉, 제1 리셋부(SHTU1)는 칼라 픽셀들에 대한 노출 시간(적분 시간)을 제어하고, 제2 리셋부(SHTU2)는 깊이 픽셀들에 대한 노출 시간을 제어한다.
전술한 바와 같이, 본 발명의 실시예에 따른 이미지 센서(ISEN)는, 다른 타입의 픽셀들이 다른 적분 시간을 설정하는 등, 깊이 픽셀(PXd)들에 대한 셔터링을 칼라 픽셀(PXc)들에 대한 셔터링과 분리하여 수행한다. 따라서, 본 발명의 실시예에 따른 이미지 센서(ISEN)에 의하면, 다른 빛으로 센싱되는 칼라 픽셀(PXc)들과 깊이 픽셀(PXd)들의 특성 및 촬영 환경에 최적화된 센싱이 수행될 수 있다. 따라서, 본 발명의 이미지 센서(ISEN)는 보다 퀄리티가 향상된 이미지로 센싱할 수 있다.
픽셀 어레이(PA)는 하나의 이미지로부터 깊이 맵(depth map)을 만들기 위해, A0~A3를 출력하는 충분한 개수의 깊이 픽셀들 하나의 이미지로부터 샘플링될 수 있다. 예를 들어, 4-탭 픽셀들이 채택되거나(A0~A3), 1-탭 픽셀 또는 2-탭 픽셀들이 채택될 수 있다. 이러한 경우, 칼라 프레임 시간(Tfc) 및 깊이 프레임 시간(Tfd)은 동일하다(Tfc=Tfd). 칼라 프레임 시간(Tfc) 및 깊이 프레임 시간(Tfd)은 각각, 칼라 적분 시간(Tint_col) 및 깊이 적분 시간(Tint_dep)일 수 있다. 이 경우, 칼라 이미지의 캡쳐와 깊이 이미지의 캡쳐가 동시에 수행될 수 있다. 그리고, 양 이미지는 동일한 프레임 레이트(frame rate)로 출력될 수 있다. 또한, 칼라 이미지 및 깊이 이미지 각각에 대한 리드 동작은 동시 또는 비슷한 시간에 수행될 수 있다. 이러한 깊이 이미지 및 칼라 이미지의 동기화는 거의 동시에 촬영 대상인 객체(의 이미지)를 묘사하여, 객체의 움직임에 의한 이미지들 사이의 차이가 작을 수 있다.
픽셀 어레이(PA)가 충분한 깊이 픽셀들을 포함하지 아니하는 경우, 하나의 깊이 맵(depth map)을 계산하기 위해 하나 이상의 프레임이 연속적으로 캡쳐될 수 있다. 이 경우, 하나의 칼라 이미지에 대한 프레임 레이트(Tfc)와 하나의 깊이 맵을 형성하는 k개의 깊이 이미지에 대한 프레임 레이트(k*Tfd)가 동일하다(Tfc = k*Tfd). 이 경우, 제1 리셋부(SHTU1) 및 제2 리셋부(SHTU2)는 로우들을 동시에 리드 아웃하지 아니한다. 예를 들어, D_RD_PTR and C_RD_PTR이 동시에 위치하지 아니한다. 예를 들어, k가 4이면, 깊이 프레임 레이트(Tfd)는 칼라 프레임 레이트(Tfc)보다 4배 빠를 수 있다(Tfc = 4*Tfd). 그리고, 각 깊이 로우의 리셋과 리드가 각 칼라 로우의 리셋 및 리딩보다 4배 빠를 수 있다. 비록, 셔터링이 도 5A 내지 도 5E의 픽셀 어레이(PA)에 수행되더라도, 본 발명의 실시예들은 이에 제한되지 아니한다. 제1 리셋부(SHTU1) 및 제2 리셋부(SHTU2)는 로우 리셋을 시작하고, 각 로우(row)로부터 리드 아웃을 수행한다. 그리고, 마지막 로우까지 리드 아웃하여 마지막 로우에서 리셋을 끝낼 수 있다.
도 1, 도 5A 내지 도 5E 및 도 8을 참조하면, 이미지 센서는 다양한 방법으로 픽셀 데이터를 리드(read)할 수 있다. 깊이 픽셀들 및 칼라 픽셀들의 로우가 동시에 샘플링되면, 센서는 깊이 픽셀 값들 및 칼라 픽셀 값들을, 도 7에 도시되는 바와 같이, 서로 인터리브되어(interleaved) 연속하여 출력한다. 깊이 픽셀들 및 칼라 픽셀들의 로우가 동시에 샘플링되지 않는다면, 센서는 깊이 픽셀 값들 및 칼라 픽셀 값들을, 도 8에 도시되는 바와 같이, 한 번에 하나의 대응되는 로우의 값들씩 샘플링 된다. 예를 들어, 깊이 적분 시간(Tint_dep = Tfd)이 칼라 적분 시간(Tint_col = Tfc)보다 4배 크면(Tfd = 4 * Tfc), 네 개의 깊이 픽셀들은 하나의 출력으로 샘플링되고, 연속하여 칼라 픽셀들의 하나의 로우가 샘플링된다.
그러나, 이에 한정되지는 아니하고, 도 1의 이미지 센서(ISEN)는 다양한 개수의 깊이 픽셀 신호들을 동시에 출력할 수 있다.
도 9는 본 발명의 실시예에 따른 이미지 촬영 장치를 나타내는 도면이다.
도 1 및 도 9를 참조하면, 본 발명의 실시예에 따른 이미지 촬영 장치(CMR)는 광원(LS)으로부터 출력되는 출력광(OLIG)이 피사체(OBJ)에 반사되는 반사광(RLIG)을 렌즈(LE)를 통해 수신하여, 피사체에 대한 영상 정보(IMG)로 센싱하는 도 1의 이미지 센서(ISEN)를 포함할 수 있다. 광원(LS)는 가시광선 및 적외선을 모두 발산할 수 있다. 본 발명의 실시예에 따른 이미지 촬영 장치(CMR)는 또한, 제어 신호(XCON)를 통해 이미지 센서(ISEN)를 제어하는 컨트롤러(CNT) 및 이미지 센서(ISEN)에 의해 센싱된 영상 정보(IMG)에 대한 신호 처리를 수행하는 신호 처리 회로(ISP)를 구비하는 프로세서(PRO)를 더 구비할 수 있다.
도 10은 본 발명의 실시예에 따른 영상 처리 및 시각화 시스템을 나타내는 도면이다.
도 10을 참조하면, 본 발명의 실시예에 따른 영상 처리 및 시각화 시스템을 (ICVS)은 도 9의 이미지 촬영 장치(CMR) 및 이미지 촬영 장치(CMR)로부터 수신되는 영상을 디스플레이하는 표시 장치를 구비할 수 있다. 이를 위해, 도 9의 프로세서(PRO)는 이미지 센서(ISEN)로부터 수신되는 영상 정보(IMG)를 표시 장치(DIS)로 전송하는 인터페이스(IF)를 더 구비할 수 있다.
도 11은 본 발명의 실시예에 따른 컴퓨팅 시스템 장치를 나타내는 블럭도이다.
도 11을 참조하면, 본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)은 버스(BS)에 전기적으로 연결된 중앙 처리 장치(CPU), 사용자 인터페이스(UI) 및 이미지 촬영 장치(CMR)를 구비한다. 이미지 촬영 장치(CMR)는 전술한 바와 같이, 본 발명의 실시예에 따른 이미지 센서(ISEN) 및 프로세서(PRO)를 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)는 파워 공급 장치(PS)를 더 구비할 수 있다. 또한, 본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)는 이미지 촬영 장치(CMR)로부터 전송되는 영상 정보(IMG)를 저장하는 저장 장치(RAM)를 더 구비할 수 있다.
본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)가 모바일 장치인 경우, 컴퓨팅 시스템의 동작 전압을 공급하기 위한 배터리 및 베이스밴드 칩셋(baseband chipset)과 같은 모뎀이 추가적으로 제공될 수 있다. 또한, 본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)에는 응용 칩셋(application chipset), 모바일 디램, 등이 더 제공될 수 있음은 이 분야의 통상적인 지식을 습득한 자들에게 자명한 사항인 바, 더 자세한 설명은 생략한다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 예를 들어, 이상에서는 연속되는 이미지들에 대한 위상 지연을 구하는 방법에 한하여 설명하였다. 그러나 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 피사체에 의해 반사되는 반사광 및 가시광선을 수신하여 피사체의 이미지를 센싱하는 이미지 센서에 있어서,
    상기 가시광선을 센싱하는 칼라 픽셀(color pixel)들 및 상기 반사광을 센싱하는 깊이 픽셀(depth pixel)들을 포함하는 픽셀 어레이; 및
    각 칼라 픽셀을 칼라 적분 시간의 단위로 리셋(reset)하고 상기 칼라 적분 시간의 단위로 독출(read)하여 칼라 픽셀 신호를 센싱하며, 각 깊이 픽셀을 상기 칼라 적분 시간과 상이한 깊이 적분 시간의 단위로 리셋하고 상기 깊이 적분 시간 단위로 독출하여 깊이 픽셀 신호를 센싱하는 셔터링(shuttering)부를 구비하는 것을 특징으로 하는 이미지 센서.
  2. 제1 항에 있어서, 상기 셔터링부는,
    상기 픽셀 어레이의 로우(row) 단위로 상기 리셋 동작 및 상기 독출을 수행하는 롤링 셔터(rolling shutter)인 것을 특징으로 하는 이미지 센서.
  3. 제2 항에 있어서,
    상기 칼라 적분 시간은,
    상기 픽셀 어레이의 임의의 로우의 상기 칼라 픽셀들이 리셋된 후, 상기 임의의 로우의 상기 칼라 픽셀들이 독출되는데 소요되는 시간이고,
    상기 깊이 적분 시간은,
    상기 픽셀 어레이의 임의의 로우의 상기 깊이 픽셀들이 리셋된 후, 상기 임의의 로우의 상기 깊이 픽셀들이 독출되는데 소요되는 시간인 것을 특징으로 하는 이미지 센서.
  4. 제2 항에 있어서, 상기 셔터링부는,
    상기 픽셀 어레이의 임의의 로우의 상기 칼라 픽셀들을 리셋한 후, 상기 칼라 적분 시간이 경과된 후에 상기 임의의 로우의 칼라 픽셀들 및 깊이 픽셀들을 독출하는 것을 특징으로 하는 이미지 센서.
  5. 제2 항에 있어서, 상기 셔터링부는,
    상기 픽셀 어레이의 임의의 로우의 상기 깊이 픽셀들을 리셋한 후, 상기 깊이 적분 시간이 경과된 후에 상기 임의의 로우의 칼라 픽셀들 및 깊이 픽셀들을 독출하는 것을 특징으로 하는 이미지 센서.
  6. 제1 항에 있어서,
    상기 칼라 적분 시간이 상기 깊이 적분 시간보다 길거나, 상기 칼라 적분 시간이 상기 깊이 적분 시간보다 짧은 것을 특징으로 하는 이미지 센서.
  7. 피사체에 의해 반사되는 반사광 및 가시광선을 수신하여 피사체의 이미지를 센싱하는 이미지 센싱 방법에 있어서,
    칼라 적분 시간 동안 이미지 센서의 픽셀 어레이의 칼라 픽셀들에 의해 센싱된 상기 가시광선을, 칼라 픽셀 신호로 출력하는 단계;
    상기 칼라 적분 시간과 상이한 깊이 적분 시간 동안 상기 픽셀 어레이의 깊이 픽셀들에 의해 센싱된 상기 반사광을, 깊이 픽셀 신호로 출력하는 단계; 및
    각각, 상기 칼라 픽셀 신호 및 상기 깊이 픽셀 신호를 상기 피사체의 이미지 정보로 산출하는 단계를 구비하는 것을 특징으로 하는 이미지 센싱 방법.
  8. 제7 항에 있어서, 상기 칼라 픽셀 신호를 출력하는 단계는,
    각 칼라 픽셀을 상기 칼라 적분 시간의 단위로 리셋하고 리셋된 칼라 픽셀을 상기 칼라 적분 시간의 단위로 독출하는 것을 특징으로 하는 이미지 센싱 방법.
  9. 제7 항에 있어서, 상기 깊이 픽셀 신호를 출력하는 단계는,
    각 깊이 픽셀을 상기 깊이 적분 시간의 단위로 리셋하고 리셋된 깊이 픽셀을 상기 깊이 적분 시간의 단위로 독출하는 것을 특징으로 하는 이미지 센싱 방법.
  10. 영상 촬영 장치에 있어서,
    피사체에 반사되어 전달되는 반사광 및 가시광선을 수신하는 렌즈;
    상기 렌즈로부터 전달되는 반사광으로부터 상기 피사체에 대한 영상 정보를 센싱하는 이미지 센서; 및
    상기 이미지 센서를 제어하고 상기 이미지 센서로부터 전송된 상기 영상 정보를 신호 처리하는 프로세서를 구비하고,
    상기 이미지 센서는,
    상기 가시광선을 센싱하는 칼라 픽셀(color pixel)들 및 상기 반사광을 센싱하는 깊이 픽셀(depth pixel)들을 포함하는 픽셀 어레이; 및
    각 칼라 픽셀을 칼라 적분 시간의 단위로 리셋(reset)하고 상기 칼라 적분 시간의 단위로 독출(read)하여 칼라 픽셀 신호를 센싱하며, 각 깊이 픽셀을 상기 칼라 적분 시간과 상이한 깊이 적분 시간의 단위로 리셋하고 상기 깊이 적분 시간 단위로 독출하여 깊이 픽셀 신호를 센싱하는 셔터링(shuttering)부를 구비하는 것을 특징으로 하는 영상 촬영 장치.
KR1020120027328A 2012-01-10 2012-03-16 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치 KR20130082047A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/347,019 2012-01-10
US13/347,019 US20130176426A1 (en) 2012-01-10 2012-01-10 Image sensor, method of sensing image, and image capturing apparatus including the image sensor

Publications (1)

Publication Number Publication Date
KR20130082047A true KR20130082047A (ko) 2013-07-18

Family

ID=48743658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120027328A KR20130082047A (ko) 2012-01-10 2012-03-16 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치

Country Status (2)

Country Link
US (1) US20130176426A1 (ko)
KR (1) KR20130082047A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US10484629B2 (en) * 2015-10-16 2019-11-19 Capso Vision Inc Single image sensor for capturing mixed structured-light images and regular images
US20190020411A1 (en) * 2017-07-13 2019-01-17 Qualcomm Incorporated Methods and apparatus for efficient visible light communication (vlc) with reduced data rate
CN109951625B (zh) * 2019-04-12 2023-10-31 光微信息科技(合肥)有限公司 彩色深度图像传感器以及成像装置
CN112505722A (zh) * 2019-08-26 2021-03-16 天津大学青岛海洋技术研究院 一种同时捕获深度及灰度信息的ToF像素结构

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405750B2 (en) * 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
US8445828B2 (en) * 2010-07-01 2013-05-21 Silicon Optronics, Inc. High dynamic range image sensor with in pixel memory
US9229096B2 (en) * 2011-07-27 2016-01-05 Semiconductor Components Industries, Llc Time-of-flight imaging systems
US20130075590A1 (en) * 2011-09-28 2013-03-28 Truesense Imaging, Inc. Image sensors having multiple row-specific integration times

Also Published As

Publication number Publication date
US20130176426A1 (en) 2013-07-11

Similar Documents

Publication Publication Date Title
US10116883B2 (en) System and methods for depth imaging using conventional CCD image sensors
US20150281618A1 (en) Image capturing apparatus and control method thereof, and storage medium
CN106576135A (zh) 一种具有扩展的动态范围上限的图像传感器
JP5979961B2 (ja) 焦点検出装置、焦点検出方法及び撮像装置
KR20130082047A (ko) 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
WO2017101451A1 (zh) 成像方法、成像装置及电子装置
US9413995B2 (en) Radiographic apparatus and method for controlling radiographic apparatus
JP2016524423A5 (ko)
CN105960799A (zh) 摄像设备及其控制方法
CN102547149A (zh) 放射线摄像设备和放射线摄像设备的控制方法
JP4793059B2 (ja) 撮像装置及び撮像システム
KR20130082045A (ko) 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
CN107707789A (zh) 使用单色成像器和颜色映射传感器进行单色‑彩色映射
US20130175429A1 (en) Image sensor, image sensing method, and image capturing apparatus including the image sensor
KR101689665B1 (ko) 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
JP2017069927A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2015119206A5 (ja) 画像処理装置、撮像装置、その制御方法及びプログラム
US10694125B2 (en) Solid-state imaging element, method of operating solid-state imaging element, imaging apparatus, and electronic device
CN101980299A (zh) 基于棋盘标定的摄像机映射方法
RU2526890C1 (ru) Устройство селекции подвижных целей
JPWO2015190021A1 (ja) 撮像制御装置、撮像装置、撮像システムおよび撮像制御方法
KR101434916B1 (ko) 3차원 영상 정보를 얻기 위한 이미지센서 및 2차원 영상과 3차원 영상 정보의 정합 방법
KR102544622B1 (ko) 무프레임 랜덤 액세스 이미지 감지
CN115079187A (zh) 飞行时间测量方法、装置及时间飞行深度相机
JP2007288768A (ja) 撮像素子、撮像装置、撮像システム及び撮像方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid