KR20130080749A - 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치 - Google Patents

이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치 Download PDF

Info

Publication number
KR20130080749A
KR20130080749A KR1020120027327A KR20120027327A KR20130080749A KR 20130080749 A KR20130080749 A KR 20130080749A KR 1020120027327 A KR1020120027327 A KR 1020120027327A KR 20120027327 A KR20120027327 A KR 20120027327A KR 20130080749 A KR20130080749 A KR 20130080749A
Authority
KR
South Korea
Prior art keywords
image
integration time
images
intensity
image sensor
Prior art date
Application number
KR1020120027327A
Other languages
English (en)
Inventor
민동기
오브시아니코프 일리야
라오 프라빈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20130080749A publication Critical patent/KR20130080749A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예에 따른, 출력광이 피사체에 의해 반사되는 반사광을 수신하여 피사체의 이미지를 센싱하는 이미지 센서에 있어서, 상기 반사광으로부터 위상을 달리하는 복수개의 변조 신호들을 추출하고 상기 복수개의 변조 신호들에 대응되는 픽셀 출력 신호들을 출력하는 픽셀들을 구비하고, 상기 픽셀 출력 신호들 중 동시에 출력되는 픽셀 출력 신호들에 의해 형성되는 이미지들을 순차적으로 출력하는 픽셀 어레이; 및 상기 이미지들의 세기와 기준 세기를 비교하여, 상기 이미지들의 형성에 적용된 적분 시간의 변동을 검출하고, 상기 적분 시간이 변동된 경우 변동된 적분 시간을 조절하는 적분 시간 조절부를 구비하고, 상기 픽셀 어레이는, 상기 조절된 적분 시간을 적용하여, 상기 적분 시간 조절부에서 적분 시간의 변동 여부의 검출에 사용된 이미지들의 이후 이미지들을 형성한다.

Description

이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치{Image sensor, image sensing method, and image photographing apparatus including the image sensor}
본 발명은 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치에 관한 것으로, 특히 적분 시간의 변화에 따른 영향을 줄일 수 있는 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 구비하는 포함하는 이미지 캡쳐 장치에 관한 것이다.
영상 장치 및 영상 촬영 방법에 대한 기술이 빠른 속도로 진화하고 있다. 이미지 센서는 보다 정확한 영상 정보를 센싱하기 위해, 피사체에 대한 칼라(color) 정보와 함께, 깊이(depth) 정보도 획득하도록 개발되고 있다.
본 발명이 해결하고자 하는 기술적 과제는 피사체에 대한 깊이 정보를 빠르고 정확하게 획득할 수 있는 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치를 제공하는 것이다.
본 발명의 실시예에 따른, 출력광이 피사체에 의해 반사되는 반사광을 수신하여 피사체의 이미지를 센싱하는 이미지 센서에 있어서, 상기 반사광으로부터 위상을 달리하는 복수개의 변조 신호들을 추출하고 상기 복수개의 변조 신호들에 대응되는 픽셀 출력 신호들을 출력하는 픽셀들을 구비하고, 상기 픽셀 출력 신호들 중 동시에 출력되는 픽셀 출력 신호들에 의해 형성되는 이미지들을 순차적으로 출력하는 픽셀 어레이; 및 상기 이미지들의 세기와 기준 세기를 비교하여, 상기 이미지들의 형성에 적용된 적분 시간의 변동을 검출하고, 상기 적분 시간이 변동된 경우 변동된 적분 시간을 조절하는 적분 시간 조절부를 구비하고, 상기 픽셀 어레이는, 상기 조절된 적분 시간을 적용하여, 상기 적분 시간 조절부에서 적분 시간의 변동 여부의 검출에 사용된 이미지들의 이후 이미지들을 형성한다.
상기 적분 시간 조절부는, 상기 이미지들의 세기와 상기 기준 세기를 비교하여, 상기 이미지들이 과다 노출 상태 또는 과소 노출 상태인지를 나타내는 정보를 생성하는 이미지 컨디션 검출부; 및 상기 정보에 응답하여, 상기 조절된 적분 시간을 산출하는 적분 시간 산출부를 구비하고, 상기 이미지 컨디션 검출부는, 상기 이미지들 중 최대 세기를 갖는 이미지의 세기인 최대 이미지 세기와 상기 기준 세기와 비교할 수 있다.
상기 적분 시간 산출부는, 상기 적분 시간이 변동되기 이전의 적분 시간에, 상기 기준 세기에 대한 상기 최대 이미지 세기의 비를 곱하여, 상기 조절된 적분 시간을 산출할 수 있다.
상기 순차적으로 형성되는 이미지들 중, 서로 다른 위상으로 형성되고 각각 적용된 적분 시간이 동일한 이미지들부터 상기 출력광 및 상기 반사광 사이의 지연을 추정하여, 상기 피사체에 대한 깊이 정보를 계산하는 깊이 정보 계산부를 더 구비할 수 있다.
본 발명의 실시예에 따른, 출력광이 피사체에 의해 반사되는 반사광을 수신하여 피사체의 이미지를 센싱하는 이미지 센서에서의 이미지 센싱 방법에 있어서, 상기 반사광으로부터 위상을 달리하는 복수개의 변조 신호들을 추출하고 상기 복수개의 변조 신호들에 대응되는 픽셀 출력 신호들 중, 동시에 출력되는 픽셀 출력 신호들로 구성되는 이미지들을 형성하는 단계; 및 상기 이미지들의 세기와 기준 세기를 비교하여, 상기 이미지들의 형성에 적용된 적분 시간의 변동을 검출하고, 상기 적분 시간이 변동된 경우 변동된 적분 시간을 조절하는 단계를 구비하고, 상기 이미지들을 형성하는 단계는, 상기 조절된 적분 시간을 적용하여, 적분 시간의 변동 여부의 검출에 사용된 이미지들의 이후 이미지들을 형성할 수 있다.
상기 적분 시간을 조절하는 단계는, 상기 이미지들의 세기와 기준 세기와 기준 세기를 비교하여, 상기 서로 다른 위상의 이미지들이 과다 노출 상태 또는 과소 노출 상태인지를 검출하는 단계; 및 상기 검출 결과에 응답하여, 상기 서로 다른 위상의 이미지들의 형성에 적용된 적분 시간의 변동에 대응되는 조절된 적분 시간을 산출하는 단계를 구비할 수 있다.
상기 이미지의 상태를 검출하는 단계는, 상기 이미지들 중 최대 세기를 갖는 이미지의 세기인 최대 이미지 세기와 상기 기준 세기를 비교하거나, 상기 최대 이미지 세기와 상기 기준 세기의 비를 기준 값과 비교하거나,
상기 최대 값을 갖는 최대 이미지 세기를 스무딩 필터링한 세기와 상기 기준 세기의 비를 상기 기준 값과 비교할 수 있다.
상기 조절된 적분 시간을 산출하는 단계는, 상기 적분 시간이 변동되기 이전의 적분 시간에, 상기 기준 세기에 대한 상기 최대 이미지 세기의 비를 곱하거나, 상기 스무딩된 최대 이미지 세기의 비를 곱하여, 상기 조절된 적분 시간을 산출할 수 있다.
상기 순차적으로 형성되는 이미지들 중, 서로 다른 위상으로 형성되고 각각 적용된 적분 시간이 동일한 이미지들부터 상기 출력광 및 상기 반사광 사이의 지연을 추정하여, 상기 피사체에 대한 깊이 정보를 계산하는 단계를 더 구비할 수 있다.
본 발명의 실시예에 따른 영상 캡쳐 장치에 있어서, 출력광을 발산하는 광원; 상기 광원으로부터 발산된 출력광이 피사체에 반사되어 전달되는 반사광을 수신하는 렌즈; 상기 렌즈로부터 전달되는 반사광으로부터 상기 피사체에 대한 영상 정보를 센싱하는 이미지 센서; 및 상기 이미지 센서를 제어하고 상기 이미지 센서로부터 전송된 상기 영상 정보를 신호 처리하는 프로세서를 구비하고, 상기 이미지 센서는, 상기 반사광으로부터 위상을 달리하는 복수개의 변조 신호들을 추출하고 상기 복수개의 변조 신호들에 대응되는 픽셀 출력 신호들을 출력하는 픽셀들을 구비하고, 상기 픽셀 출력 신호들 중 동시에 출력되는 픽셀 출력 신호들에 의해 형성되는 이미지들을 순차적으로 출력하는 픽셀 어레이; 및 상기 이미지들의 세기와 기준 세기를 비교하여, 상기 이미지들의 형성에 적용된 적분 시간의 변동을 검출하고, 상기 적분 시간이 변동된 경우 변동된 적분 시간을 조절하는 적분 시간 조절부를 구비하고, 상기 픽셀 어레이는, 상기 조절된 적분 시간을 적용하여, 상기 적분 시간 조절부에서 적분 시간의 변동 여부의 검출에 사용된 이미지들의 이후 이미지들을 형성한다.
본 발명에 따른 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치에 의하면, 적분 시간의 변화를 자동으로 검출하여 변화된 적분 시간을 조절함으로써, 피사체에 대한 깊이 정보를 빠르고 정확하게 획득할 수 있는 장점이 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시예에 따른 이미지 센서를 나타내는 블록도이다.
도 2A 및 도 2B는 도 1의 이미지 센서의 동작을 더 자세히 설명하기 위한 도면이다.
도 3A 및 도 3B는 도 1의 픽셀들의 구조를 더 자세히 나타내는 도면이다.
도 4는 도 1의 이미지 센싱에 사용되는 변조 신호들을 나타내는 도면이다.
도 5는 연속적으로 수신되는 반사광으로부터 캡쳐(capture)되는 이미지들의 시퀀스의 일 예를 나타내는 도면이다.
도 6은 적분 시간이 감소한 경우에 대한 이미지들의 시퀀스를 나타내는 도면이다.
도 7은 적분 시간이 증가한 경우에 대한 이미지들의 시퀀스를 나타내는 도면이다.
도 8 내지 도 10은 본 발명의 실시예에 따른 이미지 센싱 방법들을 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 이미지 캡쳐 장치를 나타내는 도면이다.
도 12는 본 발명의 실시예에 따른 이미지 캡쳐 및 시각화 시스템을 나타내는 도면이다.
도 13은 본 발명의 실시예에 따른 컴퓨팅 시스템 장치를 나타내는 블럭도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 실시예에 따른 이미지 센서를 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 이미지 센서(ISEN)는, 픽셀 어레이(PA), 타이밍 발생기(TG), 로우 드라이버(RD), 샘플링부(SM), 아날로그-디지털 변환기(ADC), 칼라 정보 계산부(CC), 깊이 정보 계산부(DC) 및 적분 시간 조절부(TAU)를 구비한다. 본 발명의 실시예에 따른 이미지 센서(ISEN)는 피사체(OBJ)에 대한 영상 정보(칼라 정보(CINF) 및 깊이 정보(DINF))를 센싱하는 TOF(Time of Flight) 이미지 센서일 수 있다.
본 발명의 실시예에 따른 이미지 센서(ISEN)의 동작에 대하여 간략히 나타내고 있는 도 2A에 도시되는 바와 같이, 이미지 센서(ISEN)는 광원(LS)으로부터 발산된 출력광(OLIG)이 피사체(OBJ)에 반사되어 렌즈(LE)를 통해 수신되는 반사광(RLIG)으로부터 피사체(OBJ)에 대한 깊이 정보(DINF))를 센싱(sensing)한다. 이때, 출력광(OLIG) 및 반사광(RLIG)은 도 2B에 도시되는 바와 같이, 주기적인 파형을 가질 수 있다. 특히, 본 발명의 실시예에 따른 이미지 센서(ISEN)는 출력광(OLIG)과 반사광(RLIG)과의 위상 지연(phase delay, φ)으로부터 피사체(OBJ)에 대한 깊이 정보(DINF)를 구할 수 있다. 이미지 센서(ISEN)는 피사체(OBJ)의 가시 광선으로부터 칼라 정보(CINF)를 구할 수 있다.
다시 도 1을 참조하면, 픽셀 어레이(PA)는 행들 및 열들의 교차점에 배열되는 복수의 픽셀(PX)들을 구비한다. 픽셀 어레이(PA)는 도 3A 및 도 3B에 도시되는 바와 같이, 다양한 구조로 픽셀들을 배열할 수 있다. 예를 들어, 도 3A와 같이, 깊이 픽셀(PXd)들이 칼라 픽셀(PXc)들보다 크지만 칼라 픽셀(PXc)들보다 작은 개수로 구비될 수 있다. 또는, 도 3B와 깊이 픽셀(PXd)들이 칼라 픽셀(PXc)들과 동일한 크기를 갖고 깊이 픽셀(PXd)들이 칼라 픽셀(PXc)들과 교대로 구비되는 구조를 가질 수 있다. 도 3B에서 깊이 픽셀(PXd)들이 칼라 픽셀(PXc)들보다 적게 구비될 수 있다.
도 3A 및 도 3B는 비록, 칼라 픽셀(PXc)들과 깊이 픽셀(PXd)들이 별도로 구비되는 예를 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 칼라 픽셀(PXc)들과 깊이 픽셀(PXd)들이 하나로 구비될 수도 있다.
픽셀(PX)들은 각각, 반사광(RLIG)에 대응되는 전기적 변화를 야기하는 광전 변환 소자(미도시)를 구비할 수 있다. 광전 변환 소자는 포토 다이오드, 포토 트랜지스터, 포토 게이트 또는 핀드 포토 다이오드 등으로 구현될 수 있다. 픽셀(PX)들은 또한, 광전 변환 소자와 연결되어 광전 변환 소자를 제어하거나 광전 변환 소자의 전기적 변화를 픽셀 신호(POUTc, POUTd)로 출력하는 전달 트랜지스터, 드라이브 트랜지스터, 선택 트랜지스터 그리고 리셋 트랜지스터를 포함할 수 있다. 픽셀(PX)들에 포함되는 각 트랜지스터들은 각 픽셀(PX)들의 광전 변환 소자가 수신하는 반사광에 대응되는 전압(픽셀 신호 POUTc, POUTd))로 출력할 수 있다. 픽셀의 구조 및 기능에 대한 자세한 설명은 생략한다.
본 발명의 실시예에 따른 픽셀 어레이(PA)가 도 3A 및 도 3B와 같이, 칼라 픽셀(PXc)들 및 깊이 픽셀(PXd)들을 별도로 구비하는 경우, 픽셀 신호(POUTc, POUTd)는 칼라 픽셀(PXc)들로부터 출력되어 칼라 정보(CINF)를 구하는데 사용되는 칼라 픽셀 신호(POUTc) 및 깊이 픽셀(PXd)들로부터 출력되어 깊이 정보(DINF)를 구하는데 사용되는 깊이 픽셀 신호(POUTd)로 구분될 수 있다.
다시 도 1을 참조하면, 광원(LS)은 이미지 센서(ISEN)의 내부 또는 외부에 위치할 수 있는 광원 드라이버(LSD)에 의해 제어된다. 광원(LS)은 타이밍 발생기(TG)를 통해 인가되는 시각 ta에서 변조되는 출력광(OLIG)을 발산할 수 있다.
타이밍 발생기(TG)는 이미지 센서(ISEN)의 각 깊이 픽셀(PXd)들이 반사광(RLIG)으로부터 시각 ta에 동기되어 복조되도록, 각 픽셀(PX)들의 활성화를 제어한다. 깊이 픽셀(PXd)들의 광전 변환 소자는, 깊이 적분 시간(Tint_Dep) 동안 반사광(RLIG)에 대응되는 전기적 전하를 깊이 픽셀 신호(POUTd)로 출력한다. 칼라 픽셀(PXc)들의 광전 변환 소자는, 칼라 적분 시간(Tint_Col) 동안 가시 광선에 대응되는 전기적 전하를 칼라 픽셀 신호(POUTc)로 출력한다. 깊이 적분 시간(Tint_Dep) 및 칼라 적분 시간(Tint_Col)에 대한 자세한 설명은 적분 시간 조절부(TAU)에 대한 설명을 참조될 것이다.
본 발명의 실시예에 따른 이미지 센서(ISEN)의 깊이 픽셀 신호(POUTd)는 반사광(RLIG)으로부터 추출(sample)되는 복수개의 변조 신호들에 대응되어 출력된다. 예를 들어, 도 4에 도시되는 바와 같이, 반사광(RLIG)으로부터, 각 깊이 픽셀(PXd)들은 출력광(OLIG)에 대하여 각각, 0도, 90도, 180도 및 270도로 위상(phase)이 쉬프트(shift)되는 4개의 변조 신호들(SIGD0 ~ SIGD3)을 추출하여 이에 대응되는 깊이 픽셀 신호(POUTd)을 출력할 수 있다.
각 캡쳐된 프레임들로부터 출력된 깊이 픽셀 신호들은 A0, A1, A2 및 A3로 지명된다. 또한, 칼라 픽셀들(PXc)는 가시 광선에 의해 일루미네이션(illumination)을 수신하고, 대응되는 칼라 픽셀 신호(POUTc)를 출력한다. 도 4를 참조하면, 각 깊이 픽셀(PXd)들은 한번에 하나의 변조 신호에 의해 일루미네이션을 수신한다.
다시 도 1을 참조하면, 샘플링부(SM)는 상기의 깊이 픽셀 신호(POUTd)들을 깊이 픽셀(PXd)들로부터 샘플링하고, 깊이 픽셀 신호(POUTd)들을 아날로그-디지털 변환기(ADC)로 전송한다. 샘플링부(SM)는 픽셀 어레이의 한 부분일 수 있다. 또한, 샘플링부(SM)는 상기의 칼라 픽셀 신호(POUTc)들을 칼라 픽셀(PXc)들로부터 샘플링하고, 칼라 픽셀 신호(POUTc)들을 아날로그-디지털 변환기(ADC)로 전송한다. 아날로그-디지털 변환기(ADC)는 각각 아날로그 전압 값을 갖는 픽셀 신호들(POUTd, POUTc)을 디지털 데이터로 변환한다. 샘플링부(SM) 또는 아날로그-디지털 변환기(ADC)가 깊이 픽셀 신호(POUTd) 및 칼라 픽셀 신호(POUTc)에 대해 다른 시간에 동작하더라도, 이미지 센서는 칼라 정보(CINF)를 깊이 정보(DINF)와 동기시킬 수 있다. 예를 들어, 샘플링부(SM)는 픽셀 신호들(POUTd, POUTc)을 동시에 리드 아웃할 수 있다.
칼라 정보 계산부(CC)는 아날로그-디지털 변환기(ADC)에 의해 디지털 데이터로 변환되 칼라 픽셀 신호(POUTc)로부터 칼라 정보(CINF)를 산출한다.
깊이 정보 계산부(DC)는 아날로그-디지털 변환기(ADC)에 의해 디지털의 데이터로 변환된 깊이 픽셀 신호(POUTd=A0~A3)로부터 깊이 정보(DINF)를 산출한다. 구체적으로, 깊이 정보 계산부(DC)는 다음의 수학식 1과 같이, 출력광(OLIG)과 반사광(RLIG)과의 위상 지연(φ)을 추정(estimating)하여, 이미지 센서(ISEN)와 피사체(OBJ) 사이의 거리(D)를 결정한다.
[수학식 1]
Figure pat00001
깊이 정보 계산부(DC)는 또한, 상기 수학식 1로부터 구하여진 출력광(OLIG)과 반사광(RLIG)과의 위상 지연(φ)을 다음의 수학식 2에 대입하여, 이미지 센서(ISEN)와 피사체(OBJ) 사이의 거리(D)를 구한다.
[수학식 2]
Figure pat00002
상기 수학식 2에서, D는 센서와 물체 사이의 거리를 미터(meter) 단위로 나타낸 값이고 Fm은 변조파 주기를 초(second) 단위로 나타낸 값이다. 그리고, c는 빛의 속도(m/s)를 나타낸다. 이렇듯, 이미지 센서(ISEN)와 피사체(OBJ) 사이의 거리(D)는, 피사체(OBJ)에 대한 반사광(RLIG)이 도 3A 및 도 3B의 깊이 픽셀(PXd)들로부터 출력되는 깊이 픽셀 신호(POUTd)로부터 깊이 정보(DINF)로 센싱될 수 있다. 수학식 1 및 수학식 2에서 살펴본 바와 같이, 피사체(OBJ)에 대한 하나의 장면(scene)을 형성하기 위해서는, 각각, 0도, 90도, 180도 및 270도로 변조된 변조 신호들에 대응되는 제1 내지 제4 픽셀 출력 신호들(A0~A3)이 요구된다.
이상에서는 픽셀의 관점에서 깊이 정보를 구하는 방법에 대하여 알아보았다. 다만, 픽셀 단위로 깊이 정보를 계산할 경우 이미지 센싱에 많은 시간이 소요될 수 있다. 따라서, 이하에서는, N*M (N, M: 2 이상의 정수)개의 픽셀들로부터 동시에 출력되는 픽셀 출력 신호들에 의해 형성되는 이미지의 관점에서 깊이 정보를 구하는 방법에 대하여 알아본다. 도 1에서는 복수개의 픽셀들로부터 출력되는 픽셀 출력 신호들을 하나의 이미지로 형성하는 동작을 수행하는 구성에 대하여 별도로 도시하지 아니하였다. 다만, 픽셀 어레이에서의 출력단 또는 아날로그-디지털 변환기의 전 또는 후에 구비되는 버퍼(미도시) 등에 연결되는 샘플링부(SM)에 의해, 복수개의 픽셀들로부터 출력되는 픽셀 출력 신호들을 하나의 이미지로 형성될 수 있다.
나아가, 픽셀 출력 신호(POUT)는 픽셀(PX)들의 노출이 초과되거나 불충분한 상태로 센싱될 수 있다. 픽셀 출력 신호(POUT, 이미지 값)들은 노출이 초과되거나 불충분한 상태로 센싱됨으로써, 부정확할 수 있다. 이미지 센서(ISEN)는 노출의 초과 또는 불충분한 픽셀(PX)들에 대한 적분 시간을 자동적으로 검출하고 새로운 적분 시간을 적용함으로써, 전술된 에러의 발생을 줄이거나 방지할 수 있다. 이에 대하여 자세히 설명한다.
도 5를 참조하면, 도 5의 이미지들은 각각 동일한 적분 시간(Tint = Tint1)을 갖는다. 이 경우, 깊이 정보(DINF, 거리 D)를 구하는 방법에 대하여 알아본다.
도 5에서, 일 시점에서 깊이 정보를 구하기 위해 후술되는 수학식 3 내지 수학식 8에 대입되는 4개의 이미지들이 슬라이딩 윈도우에 포함되는 것으로 도시된다.이미지 센서(ISEN)가 임의의 장면(scene) i의 이미지들 Ai ,0 ~ Ai ,3에 대한 깊이 계산을 완료하여, 슬라이딩 윈도우가 화살표 방향으로 움직인다. 이에 따라, 이미지 센서(ISEN)가 시각 t=5에서, 이미지 Ai ,3 다음으로 새로이 슬라이딩 윈도우에 포함된 이미지 Ai +1,0을 캡쳐한다고 하자. 그리고, 이미지 센서(ISEN)의, 최근에 캡쳐한 3개의 이미지들 Ai ,1, Ai ,2, 및 Ai ,3과 시각 t=5에서 캡쳐한 이미지 Ai +1,0 각각에 대한 적분 시간(Tint)은 제1 적분 시간(Tint1)으로 동일하다고 하자.
이 경우, 시각 t=5에서의 깊이 정보(DINF)는, 전술된 수학식 1 및 수학식 2를 이용하여 4개의 픽셀 출력 신호들(A0~A3)에 대한 깊이 정보(DINF)를 구한 것과 같이, 다음의 수학식 3으로부터 구하여지는 위상 지연(φ0)을 수학식 4에 대입하여 얻을 수 있다.
[수학식 3]
Figure pat00003
[수학식 4]
Figure pat00004
이러한 방법으로 위상 지연들(φ0, φ1, φ2, φ3)이 다음의 수학식 5 내지 수학식 8에 각각, 연속된 시간에서 새로이 캡쳐되는 네 개의 이미지들(시각 t=6에서의 이미지 Ai +1,1, 시각 t=7에서의 이미지 Ai +1,2, 시각 t=8에서의 이미지 Ai +1,3 , 시각 t=9에서의 이미지 Ai +2,0)의 값들로 대입됨으로써 계산될 수 있다.
[수학식 5]
Figure pat00005
[수학식 6]
Figure pat00006
[수학식 7]
Figure pat00007
[수학식 8]
Figure pat00008
도 6 및 도 7을 참조하면, 시각 t=6에서 새로이 캡쳐한 이미지 Ai +1,1에 대한 적분 시간(Tint)이, 최근에 캡쳐한 3개의 이미지들 Ai ,2, Ai ,3 및 Ai +1,0에 대한 적분 시간(Tint)인 제1 적분 시간(Tint1)과 상이한 제2 적분 시간(Tint2)일 수 있다. 예를 들어, 전술한 바와 같이, 이미지 센서(ISEN)는 자동적으로 적분 시간을 검출하고 초과 또는 불충분하게 노출된 픽셀들에 근거한 새로운 적분 시간을 적용할 수 있다. 이로써, 부적절한 적분 시간이 적절한 적분 시간으로 변경될 수 있다. 즉, 도 6 및 도 7에 도시되는 바와 같이, 깊이 정보(DINF)를 계산하는 중에 적분 시간(Tint)이 감소되거나 증가될 수 있다.
그런데, 이렇게 깊이 정보(DINF)를 계산하기 위해 수학식 3 내지 수학식 8에 대입되는, 서로 위상을 달리하는 복수개(4개)의 이미지들에 대한 적분 시간이 다른 경우, 서로 위상을 달리하는 복수개의 이미지들에 대한 적분 시간이 모두 동일하게 될 때까지, 깊이 정보 계산부(DC)는 깊이 정보(DINF)에 대한 계산을 중단할 수 있다. 도 6 및 도 7와 같이, 시각 t=6에서 적분 시간(Tint)이 제1 적분 시간(Tint1)에서 제2 적분 시간(Tint2)으로 변경되면, 시각 t=9에서 수학식 8에 대입되는 모든 이미지들에 대한 적분 시간(Tint)이 제2 적분 시간(Tint2)으로 같아질 때까지, 깊이 정보 계산부(DC)는 깊이 정보(DINF)에 대한 계산을 중단할 수 있다. 적분 시간(Tint)이 변동되면, 변동된 적분 시간이 적용된 이미지가 과다 노출 또는 과소 노출 상태일 수 있고, 이미지가 과다 노출 또는 과소 노출 상태일 경우 수학식 3 등에 대입되는 이미지의 값이 상수가 아니므로, 깊이 정보(DINF)에 대한 계산이 부정확하거나 계산이 불가능할 수 있기 때문이다. 그러나, 적분 시간(Tint)의 변화에 의해 깊이 정보(DINF)에 대한 계산을 중단하는 경우, 이미지 센서의 동작 속도가 느려지는 문제가 발생한다.
본 발명의 실시예에 따른 이미지 센서(ISEN)는 적분 시간(Tint)의 변화가 발생하더라도 깊이 정보(DINF)의 계산을 중단하지 않으면서도 자동적으로 변화된 적분 시간을 검출하고 검출된 적분 시간에 대응되는 동작을 수행하여 정확한 깊이 정보(DINF)를 계산할 수 있다. 이에 대하여 보다 자세히 설명한다.
도 8은 본 발명의 실시예에 따른 이미지 센싱 방법을 나타내는 도면이다.
도 1 및 도 8을 참조하면, 본 발명의 실시예에 따른 이미지 센싱 방법(800)은 전술한 바와 같이, 복수개의 이미지(들) Aj ,k를 순차적으로 캡쳐한다(S820). 본 발명의 실시예에 따른 이미지 센서(ISEN)의 적분 시간 조절부(TAU)는 캡쳐된 이미지(들) Aj ,k로 부터 적분 시간(Tint)의 변동 여부를 자동으로 검출하고, 변동된 적분 시간(Tint)을 조절한다(S840). 이를 위해, 본 발명의 실시예에 따른 이미지 센서(ISEN)의 적분 시간 조절부(TAU)는 도 1에 도시되는 바와 같이, 이미지 컨디션 검출부(ICD) 및 적분 시간 산출부(ATC)를 구비할 수 있다.
이미지 컨디션 검출부(ICD)는 캡쳐된 이미지들의 세기와 기준 세기를 비교하여 이미지가 과다 노출 또는 과소 노출되었는지를 판단한다. 이를 위해 이미지 컨디션 검출부(ICD)는 우선, 다음의 수학식 9를 이용하여 이미지 Aj ,k의 세기 I를 검출한다(S841).
[수학식 9]
Figure pat00009
이미지 Aj ,k의 세기 I는 수학식 9에 나타난 바와 같이, N*M 크기의 이미지 Aj ,k를 구성하는 각 픽셀의 픽셀 출력 신호들의 값을 평균한 것이다. 수학식 9에서, (x, y)는 이미지 Aj ,k 내에서의 좌표(픽셀의 좌표)를 나타낸다. 현재, 이미지 세기가 계산되는 이미지 Aj ,k는 바로 전에 캡쳐된 이미지(Aj ,k-1 또는 Aj -1,k)와 적분 시간(Tint)이 동일하다고 가정한다.
상기의 수학식 9는 이미지 Aj ,k가 블랙 레벨(black level)에서 제로(0)의 값을 갖는 경우에 대한 것이다. 그러나, 실제적으로 이미지 Aj ,k는 블랙 레벨의 반사광(RLIG)에 대하여 제로(0)가 아닌, 임의의 값 B를 가질 수 있다. 즉, 이미지가 블랙 레벨에 대하여 임의의 값 B를 갖는 경우, 다음의 수학식 10과 같이, 이미지를 구성하는 각 픽셀 값(픽셀 출력 신호의 값)에 대하여 임의의 값 B를 차감(오차 보정)한 상태에서 이미지의 세기 I를 계산되어야 할 것이다(S842).
[수학식 10]
Figure pat00010
이하에서는 계산의 정확성을 위해, 상기 수학식 10에 의해 이미지 Aj ,k의 세기 I가 계산되는 것으로 한정하여 설명한다.
이미지 컨디션 검출부(ICD)는 서로 위상을 달리하는 복수개(4개)의 이미지들에 대하여 상기 수학식 10의 이미지 세기 I를 구하고, 그 중 가장 큰 이미지 세기인 최대 이미지 세기 IM를 선정할 수 있다. 예를 들어, 이미지 컨디션 검출부(ICD)는 각각 0도, 90도, 180도 및 270도의 위상을 갖는 이미지들 Aj ,0, Aj ,1, Aj ,2, 및 Aj ,3에 대하여 다음의 수학식 11으로부터 최대 이미지 세기 IM를 구할 수 있다(S843).
[수학식 11]
Figure pat00011
이미지 컨디션 검출부(ICD)는 다음으로, 최대 이미지 세기 IM와 기준 세기 Iref를 다음의 수학식 12와 같이 비교하여(S844), 이미지가 과다 노출 또는 과소 노출 상태인지를 검출한다.
[수학식 12]
Figure pat00012
이때, 기준 세기 Iref는 다음의 수학식 13과 같이, 최대 픽셀 출력 신호 pM를 인자 α를 곱한 값으로, 최대 픽셀 출력 신호 pM의 일정 비율에 해당한다.
[수학식 13]
Figure pat00013
수학식 13에서 최대 픽셀 출력 신호 pM은 일반적인 이미지 캡쳐 장치에서 촬영된 일반적인 이미지에서 과다 노출 또는 과소 노출이 존재하지 아니하는 이미지를 구성하는 픽셀 출력 신호들의 최대 값이고, α는 0과 1 사이의 값을 나타낸다. 예를 들어, 최대 픽셀 출력 신호는 이미지 센서의 노말 상태의 픽셀 출력 신호 중 하나일 수 있다.
이상에서, 이미지의 과다 노출 또는 과소 노출 여부를 검출하기 위해, 서로 위상을 달리하는 복수개의 이미지들에 대한 이미지 세기 중 가장 큰 값인 최대 이미지 세기 IM를, 기준 세기 Iref와 비교하는 대상으로 하는 것은, 최대 이미지 세기 IM 보다 작은 값의 이미지 세기를 그 비교의 대상으로 할 경우 작은 값의 이미지 세기보다 큰 이미지 세기를 갖는 이미지에 대한 컨디션을 검출할 수 없기 때문이다.
그리고, 이미지 컨디션 검출부(ICD)가 상기 수학식 13의 α를 크게 설정하면, 이미지의 상태를 과다 노출 또는 과소 노출로 판단되는 경우가 많아지는 반면, 즉 이미지 컨디션 검출부(ICD)가 보다 정확하게 과다 노출 또는 과소 노출 상태를 검출할 수 있다. 이와 반대로, 이미지 컨디션 검출부(ICD)가 상기 수학식 12의 α를 작게 설정하면, 적분 시간 산출부(ATC)에 의한 적분 시간 조절이 덜 수행되어 이미지 센서(ISEN)의 동작이 빨라질 수 있다.
다시 수학식 12를 참조하면, 상기 수학식 12가 참(true)인 경우(S844의 YES), 본 발명의 실시예에 따른 이미지 컨디션 검출부(ICD)는 해당 이미지에 과다 노출 또는 과소 노출 컨디션이 존재하는 것으로 판단한다. 따라서, 이미지 컨디션 검출부(ICD)는 적분 시간(Tint)의 변동 여부를 알려 적분 시간(Tint)의 조절 여부를 지시하는 제3 제어 신호(XCON3)를 적분 시간 산출부(ATC)로 전송할 수 있다.
계속해서 도 1 및 도 8을 참조하면, 적분 시간 산출부(ATC)는 제3 제어 신호(XCON3)를 수신하여 다음의 수학식 14와 같이, 각 캡쳐된 이미지의 적분 시간(Tint)에 최대 이미지 세기 IM와 기준 세기 Iref의 비를 곱하여 조절된 적분 시간(Tint,adj)을 산출하고(S845), 조절된 적분 시간(Tint,adj)을 픽셀 어레이(PA)에 적용한다(S845).
[수학식 14]
Figure pat00014
이렇게, 본 발명의 실시예에 따른 적분 시간 산출부(ATC)는 변동된 적분 시간을 최대 이미지 세기 IM와 기준 세기 Iref의 비로 조절함으로써, 적분 시간(Tint)의 변화에 따른 영향을 줄일 수 있다.
픽셀 어레이(PA)는 조절된 적분 시간(Tint,adj)으로 다음의 이미지들을 캡쳐 한다(S860). 반면, 상기 수학식 12가 거짓(false)인 경우(S844의 NO), 픽셀 어레이(PA)는 적분 시간(Tint)을 조절하지 아니한 상태로, 즉 기존의 적분 시간(Tint)으로 이미지(들)을 캡쳐한다(S870). 즉, 픽셀 어레이(PA)는 조절된 적분 시간(Tint,adj)이 인가된 경우에 한해, 적분 시간(Tint)을 조절된 적분 시간(Tint,adj)으로 한다.
깊이 정보 계산부(DC)는 전술된 바와 같이, 캡쳐된 이미지들에 대한 깊이 정보(DINF)를 생성한다(S880).
도 8의 이미지 센싱 방법(800)에 따른 적분 시간 조절부(TAU)는 상기 수학식 11로부터 구하여진 최대 이미지 세기 IM와 기준 세기 Iref를 비교하여 적분 시간(Tint)의 변동을 검출하였다. 다만, 이에 한정되는 것은 아니다. 본 발명의 다른 실시예들에 대하여 이하의 도 9 및 도 10의 이미지 센싱 방법에서 설명한다.
도 9는 본 발명의 실시예에 따른 이미지 센싱 방법을 나타내는 도면이다.
도 9를 참조하면, 본 발명의 실시예에 따른 이미지 센싱 방법(900)은 이미지를 캡쳐하는 단계(S920)에서 최대 이미지 세기 IM를 구하는 단계(S941~S943)까지는 도 8의 이미지 센싱 방법(800)의 경우(S820, S841~S843)와 동일하다. 다만, 도 9의 이미지 센싱 방법(900)에 따라 동작하는 적분 시간 조절부(TAU)는 다음의 수학식 15와 같이, 최대 이미지 세기 IM와 기준 세기 Iref의 비 R를 구하여(S943', 이를 기준 값 TR과 비교(S944)함으로써 적분 시간(Tint)의 변동을 검출할 수 있다.
[수학식 15]
Figure pat00015
단, 수학식 15에서 최대 이미지 세기 IM와 기준 세기 Iref의 비 R은 다음의 수학식 16과 같이 구하여져서, 1 이상의 값을 가질 수 있다.
[수학식 16]
Figure pat00016
또한, 상기 수학식 15의 기준 값 TR은 다음의 수학식 17과 같이, 0 이상이고, 상기 수학식 13에서 기준 세기 Iref를 구하기 위해 최대 픽셀 출력 신호 pM에 곱하여진 인자 α의 역수 미만일 수 있다.
[수학식 17]
Figure pat00017
상기 수학식 15가 참(true)인 경우(S944의 YES), 본 발명의 실시예에 따른 이미지 컨디션 검출부(ICD)는 이미지 Aj ,k에 과다 노출 또는 과소 노출 컨디션이 존재하는 것으로, 즉 적분 시간(Tint)의 변동이 발생한 것으로 판단한다. 따라서, 이미지 컨디션 검출부(ICD)는 적분 시간(Tint)의 변동 여부를 알려 적분 시간(Tint)의 조절 여부를 지시하는 정보(Inf_exp)를 적분 시간 산출부(ATC)로 전송할 수 있다.
적분 시간 산출부(ATC)는 정보(Inf_exp)를 수신하여 상기 수학식 14와 같이, 각 캡쳐된 이미지의 적분 시간(Tint)에 최대 이미지 세기 IM와 기준 세기 Iref의 비를 곱하여 조절된 적분 시간(Tint,adj)을 산출하고, 조절된 적분 시간(Tint,adj)을 픽셀 어레이(PA)에 적용한다(S945).
픽셀 어레이(PA)는 조절된 적분 시간(Tint,adj)으로 다음의 이미지들을 캡쳐 한다(S960). 반면, 상기 수학식 15가 거짓(false)인 경우(S844의 NO), 픽셀 어레이(PA)은 적분 시간(Tint)을 조절하지 아니한 상태로, 즉 기존의 적분 시간(Tint)으로 이미지(들)을 캡쳐한다(S970).
깊이 정보 계산부(DC)의 동작(S980)은 전술된 도 8의 이미지 센싱 방법(800)의 경우(S880)와 동일하다.
도 10은 본 발명의 다른 실시예에 이미지 센싱 방법을 나타내는 도면이다.
도 10을 참조하면, 본 발명의 실시예에 따른 이미지 센싱 방법(1000)은 이미지를 캡쳐하는 단계(S1020)에서 최대 이미지 세기 IM를 구하는 단계(S1041~S1043)까지는 도 8의 이미지 센싱 방법(800)의 경우(S820, S841~S843)와 도 9의 이미지 센싱 방법(900)의 경우(S941~S943)와 각각 동일하다. 다만, 도 10의 이미지 센싱 방법(1000)에 따라 동작하는 적분 시간 조절부(TAU)는 최대 이미지 세기 IM가 아닌, 최대 이미지 세기 IM를 다음의 수학식 18과 같이 스무딩 필터링(smoothing filtering)하여(S1043', 스무딩된 최대 이미지 세기 IMA와 기준 세기 Iref의 비 R'fmf구하고(S1043", 이를 기준 값 TR과 비교(S1044)함으로써 적분 시간(Tint)의 변동을 검출할 수 있다.
[수학식 18]
Figure pat00018
상기의 수학식 18에서, 현재 구하여진 이미지들(Aj ,0, Aj ,1, Aj ,2 및 Aj ,3)에 대한 최대 이미지 세기 IM(j)와 최근에 구하여진 이미지들(Aj -1,0, Aj -1,1, Aj -1,2 및 Aj -1,3)에 대한 최대 이미지 세기 IM(j-1)에 각각 스무딩 계수 β를 상반되게 곱함으로써, 현재의 최대 이미지 세기 IM(j)와 최근의 최대 이미지 세기 IM(j-1)와의 차이를 완화시킬 수 있다. 스무딩 계수 β는 0 보다 크고 1 이하인 값을 갖는다.
그러나, 처음으로 캡쳐되는 이미지들에 대한 경우, 또는 새로운 적분 시간으로 처음으로 캡쳐되는 이미지들에 대한 경우에는, 현재의 최대 이미지 세기 IM(j)가 스무딩될 대상(최근의 최대 이미지 세기 IM (j-1))이 존재하지 아니하므로, 스딩된 최대 이미지 세기 IMA는 최대 이미지 세기 IM와 같다.
또한, 상기의 수학식 18에서, β의 값이 크게 설정될 경우, 하나의 이미지를 캡쳐한 다음에 다른 이미지를 캡쳐하는데 소요되는 시간이 빨라질 수 있다. 반면, β의 값이 작게 설정될 경우, 순차적으로 수행되는 이미지들에 대한 캡쳐 동작이 안정적으로 수행될 수 있다.
[수학식 19]
Figure pat00019
상기의 수학식 19의 스무딩된 최대 이미지 세기 IMA와 기준 세기 Iref의 비 R'를 다음의 수학식 20으로부터 구하여 질 수 있다.
[수학식 20]
Figure pat00020
상기 수학식 19가 참(true)인 경우(S1044의 YES), 본 발명의 실시예에 따른 이미지 컨디션 검출부(ICD)는 이미지 Aj ,k에 과다 노출 또는 과소 노출 컨디션이 존재하는 것으로, 즉 적분 시간(Tint)의 변동이 발생한 것으로 판단한다. 따라서, 이미지 컨디션 검출부(ICD)는 정보(Inf_exp)를 적분 시간 산출부(ATC)로 전송할 수 있다.
적분 시간 산출부(ATC)는 정보(Inf_exp)를 수신하여 다음의 수학식 21과 같이, 각 캡쳐된 이미지의 적분 시간(Tint)에 스무딩된 최대 이미지 세기 IMA와 기준 세기 Iref의 비를 곱하여 조절된 적분 시간(Tint,adj)을 산출하고, 조절된 적분 시간(Tint,adj)을 픽셀 어레이(PA)에 적용한다(S1045).
[수학식 21]
Tint,adj(j,k) = Tint(j,k) * (Iref/IMA(j))
픽셀 어레이(PA)는 조절된 적분 시간(Tint,adj)으로 다음의 이미지들을 캡쳐 한다(S960). 반면, 상기 수학식 19가 거짓(false)인 경우(S1044의 NO), 픽셀 어레이(PA)는 적분 시간(Tint)을 조절하지 아니한 상태로, 즉 기존의 적분 시간(Tint)으로 이미지들을 캡쳐한다(S1070).
깊이 정보 계산부(DC)의 동작(S1080)은 전술된 도 8의 이미지 센싱 방법(800)의 경우(S880)와 동일하다.
이렇듯, 본 발명의 실시예에 따른 이미지 센서는 적분 시간의 변동을 자동으로 검출하고 변경된 적분 시간을 조절함으로써, 깊이 정보의 계산을 중단하지 아니하고도 정확하게 깊이 정보를 구할 수 있다.
다시 도 1을 참조하면, 본 발명의 실시예에 따른 이미지 센서(ISEN)의 칼라 정보 계산부(CC)는 픽셀 어레이(PA)의 칼라 픽셀(PXc) 또는 칼라 및 깊이를 동시에 검출할 수 있는 픽셀 등으로부터 출력되어 아날로그-디지털 변환된 픽셀 출력 신호(POUTc)로부터 칼라 정보(CINF)를 계산하여 출력한다. 칼라 정보(CINF)를 구하는 방법에 대한 더 자세한 설명은 생략한다.
도 11은 본 발명의 실시예에 따른 이미지 촬영 장치를 나타내는 도면이다.
도 1 및 도 11을 참조하면, 본 발명의 실시예에 따른 이미지 촬영 장치(CMR)는 광원(LS)으로부터 출력되는 출력광(OLIG)이 피사체(OBJ)에 반사되는 반사광(RLIG)을 렌즈(LE)를 통해 수신하여, 피사체에 대한 영상 정보(IMG)로 센싱하는 도 1의 이미지 센서(ISEN)를 포함할 수 있다. 본 발명의 실시예에 따른 이미지 촬영 장치(CMR)는 또한, 제어 신호(XCON)를 통해 이미지 센서(ISEN)를 제어하는 컨트롤러(CNT) 및 이미지 센서(ISEN)에 의해 센싱된 영상 정보(IMG)에 대한 신호 처리를 수행하는 신호 처리 회로(ISP)를 구비하는 프로세서(PRO)를 더 구비할 수 있다. 제어 신호(CON)는 프로세서(PRO)에서 이미지 센서(ISEN)로 전송될 수 있다.
도 12는 본 발명의 실시예에 따른 영상 캡쳐 및 시각화 시스템을 나타내는 도면이다.
도 12를 참조하면, 본 발명의 실시예에 따른 영상 캡쳐 및 시각화 시스템을 (ICVS)은 도 9의 이미지 촬영 장치(CMR) 및 이미지 촬영 장치(CMR)로부터 수신되는 영상을 디스플레이하는 표시 장치를 구비할 수 있다. 이를 위해, 도 11의 프로세서(PRO)는 이미지 센서(ISEN)로부터 수신되는 영상 정보(IMG)를 표시 장치(DIS)로 전송하는 인터페이스(IF)를 더 구비할 수 있다.
도 13은 본 발명의 실시예에 따른 컴퓨팅 시스템 장치를 나타내는 블럭도이다.
도 13을 참조하면, 본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)은 버스(BS)에 전기적으로 연결된 중앙 처리 장치(CPU), 사용자 인터페이스(UI) 및 이미지 촬영 장치(CMR)를 구비한다. 이미지 촬영 장치(CMR)는 전술한 바와 같이, 본 발명의 실시예에 따른 이미지 센서(ISEN) 및 프로세서(PRO)를 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)는 파워 공급 장치(PS)를 더 구비할 수 있다. 또한, 본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)는 이미지 촬영 장치(CMR)로부터 전송되는 영상 정보(IMG)를 저장하는 저장 장치(RAM)를 더 구비할 수 있다.
본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)가 모바일 장치인 경우, 컴퓨팅 시스템의 동작 전압을 공급하기 위한 배터리 및 베이스밴드 칩셋(baseband chipset)과 같은 모뎀이 추가적으로 제공될 수 있다. 또한, 본 발명의 실시예에 따른 컴퓨팅 시스템 장치(COM)에는 응용 칩셋(application chipset), 모바일 디램, 등이 더 제공될 수 있음은 이 분야의 통상적인 지식을 습득한 자들에게 자명한 사항인 바, 더 자세한 설명은 생략한다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 예를 들어, 이상에서는 연속되는 이미지들에 대한 위상 지연을 구하는 방법에 한하여 설명하였다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 출력광이 피사체에 의해 반사되는 반사광을 수신하여 피사체의 이미지를 센싱하는 이미지 센서에 있어서,
    상기 반사광으로부터 위상을 달리하는 복수개의 변조 신호들을 추출하고 상기 복수개의 변조 신호들에 대응되는 픽셀 출력 신호들을 출력하는 픽셀들을 구비하고, 상기 픽셀 출력 신호들 중 동시에 출력되는 픽셀 출력 신호들에 의해 형성되는 이미지들을 순차적으로 출력하는 픽셀 어레이; 및
    상기 이미지들의 세기와 기준 세기를 비교하여, 상기 이미지들의 형성에 적용된 적분 시간의 변동을 검출하고, 상기 적분 시간이 변동된 경우 변동된 적분 시간을 조절하는 적분 시간 조절부를 구비하고,
    상기 픽셀 어레이는,
    상기 조절된 적분 시간을 적용하여, 상기 적분 시간 조절부에서 적분 시간의 변동 여부의 검출에 사용된 이미지들의 이후 이미지들을 형성하는 것을 특징으로 하는 이미지 센서.
  2. 제1 항에 있어서, 상기 적분 시간 조절부는,
    상기 이미지들의 세기와 상기 기준 세기를 비교하여, 상기 이미지들이 과다 노출 상태 또는 과소 노출 상태인지를 나타내는 정보를 생성하는 이미지 컨디션 검출부; 및
    상기 정보에 응답하여, 상기 조절된 적분 시간을 산출하는 적분 시간 산출부를 구비하고,
    상기 이미지 컨디션 검출부는,
    상기 이미지들 중 최대 세기를 갖는 이미지의 세기인 최대 이미지 세기와 상기 기준 세기와 비교하는 것을 특징으로 하는 이미지 센서.
  3. 제2 항에 있어서, 상기 적분 시간 산출부는,
    상기 적분 시간이 변동되기 이전의 적분 시간에, 상기 기준 세기에 대한 상기 최대 이미지 세기의 비를 곱하여, 상기 조절된 적분 시간을 산출하는 것을 특징으로 하는 이미지 센서.
  4. 제1 항에 있어서,
    상기 순차적으로 형성되는 이미지들 중, 서로 다른 위상으로 형성되고 각각 적용된 적분 시간이 동일한 이미지들부터 상기 출력광 및 상기 반사광 사이의 지연을 추정하여, 상기 피사체에 대한 깊이 정보를 계산하는 깊이 정보 계산부를 더 구비하는 것을 특징으로 하는 이미지 센서.
  5. 출력광이 피사체에 의해 반사되는 반사광을 수신하여 피사체의 이미지를 센싱하는 이미지 센서에서의 이미지 센싱 방법에 있어서,
    상기 반사광으로부터 위상을 달리하는 복수개의 변조 신호들을 추출하고 상기 복수개의 변조 신호들에 대응되는 픽셀 출력 신호들 중, 동시에 출력되는 픽셀 출력 신호들로 구성되는 이미지들을 형성하는 단계; 및
    상기 이미지들의 세기와 기준 세기를 비교하여, 상기 이미지들의 형성에 적용된 적분 시간의 변동을 검출하고, 상기 적분 시간이 변동된 경우 변동된 적분 시간을 조절하는 단계를 구비하고,
    상기 이미지들을 형성하는 단계는,
    상기 조절된 적분 시간을 적용하여, 적분 시간의 변동 여부의 검출에 사용된 이미지들의 이후 이미지들을 형성하는 것을 특징으로 하는 이미지 센싱 방법.
  6. 제5 항에 있어서, 상기 적분 시간을 조절하는 단계는,
    상기 이미지들의 세기와 기준 세기와 기준 세기를 비교하여, 상기 서로 다른 위상의 이미지들이 과다 노출 상태 또는 과소 노출 상태인지를 검출하는 단계; 및
    상기 검출 결과에 응답하여, 상기 서로 다른 위상의 이미지들의 형성에 적용된 적분 시간의 변동에 대응되는 조절된 적분 시간을 산출하는 단계를 구비하는 것을 특징으로 하는 이미지 센싱 방법.
  7. 제6 항에 있어서, 상기 이미지의 상태를 검출하는 단계는,
    상기 이미지들 중 최대 세기를 갖는 이미지의 세기인 최대 이미지 세기와 상기 기준 세기를 비교하거나,
    상기 최대 이미지 세기와 상기 기준 세기의 비를 기준 값과 비교하거나,
    상기 최대 값을 갖는 최대 이미지 세기를 스무딩 필터링한 세기와 상기 기준 세기의 비를 상기 기준 값과 비교하는 것을 특징으로 하는 이미지 센싱 방법.
  8. 제7 항에 있어서, 상기 조절된 적분 시간을 산출하는 단계는,
    상기 적분 시간이 변동되기 이전의 적분 시간에,
    상기 기준 세기에 대한 상기 최대 이미지 세기의 비를 곱하거나,
    상기 스무딩된 최대 이미지 세기의 비를 곱하여, 상기 조절된 적분 시간을 산출하는 것을 특징으로 하는 이미지 센싱 방법.
  9. 제5 항에 있어서,
    상기 순차적으로 형성되는 이미지들 중, 서로 다른 위상으로 형성되고 각각 적용된 적분 시간이 동일한 이미지들부터 상기 출력광 및 상기 반사광 사이의 지연을 추정하여, 상기 피사체에 대한 깊이 정보를 계산하는 단계를 더 구비하는 것을 특징으로 하는 이미지 센싱 방법.
  10. 영상 캡쳐 장치에 있어서,
    출력광을 발산하는 광원;
    상기 광원으로부터 발산된 출력광이 피사체에 반사되어 전달되는 반사광을 수신하는 렌즈;
    상기 렌즈로부터 전달되는 반사광으로부터 상기 피사체에 대한 영상 정보를 센싱하는 이미지 센서; 및
    상기 이미지 센서를 제어하고 상기 이미지 센서로부터 전송된 상기 영상 정보를 신호 처리하는 프로세서를 구비하고,
    상기 이미지 센서는,
    상기 반사광으로부터 위상을 달리하는 복수개의 변조 신호들을 추출하고 상기 복수개의 변조 신호들에 대응되는 픽셀 출력 신호들을 출력하는 픽셀들을 구비하고, 상기 픽셀 출력 신호들 중 동시에 출력되는 픽셀 출력 신호들에 의해 형성되는 이미지들을 순차적으로 출력하는 픽셀 어레이; 및
    상기 이미지들의 세기와 기준 세기를 비교하여, 상기 이미지들의 형성에 적용된 적분 시간의 변동을 검출하고, 상기 적분 시간이 변동된 경우 변동된 적분 시간을 조절하는 적분 시간 조절부를 구비하고,
    상기 픽셀 어레이는,
    상기 조절된 적분 시간을 적용하여, 상기 적분 시간 조절부에서 적분 시간의 변동 여부의 검출에 사용된 이미지들의 이후 이미지들을 형성하는 것을 특징으로 하는 영상 캡쳐 장치.
KR1020120027327A 2012-01-05 2012-03-16 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치 KR20130080749A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/344,111 US20130175429A1 (en) 2012-01-05 2012-01-05 Image sensor, image sensing method, and image capturing apparatus including the image sensor
US13/344,111 2012-01-05

Publications (1)

Publication Number Publication Date
KR20130080749A true KR20130080749A (ko) 2013-07-15

Family

ID=48743264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120027327A KR20130080749A (ko) 2012-01-05 2012-03-16 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치

Country Status (2)

Country Link
US (1) US20130175429A1 (ko)
KR (1) KR20130080749A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102246111B1 (ko) * 2019-12-27 2021-04-29 엘아이지넥스원 주식회사 광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US9313485B2 (en) * 2014-02-21 2016-04-12 Semiconductor Components Industries, Llc Imagers with error checking capabilities
JP6328965B2 (ja) * 2014-03-12 2018-05-23 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
KR102486385B1 (ko) * 2015-10-29 2023-01-09 삼성전자주식회사 깊이 정보 획득 장치 및 방법
US10382736B1 (en) * 2018-02-09 2019-08-13 Infineon Technologies Ag Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379163B2 (en) * 2005-02-08 2008-05-27 Canesta, Inc. Method and system for automatic gain control of sensors in time-of-flight systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102246111B1 (ko) * 2019-12-27 2021-04-29 엘아이지넥스원 주식회사 광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치

Also Published As

Publication number Publication date
US20130175429A1 (en) 2013-07-11

Similar Documents

Publication Publication Date Title
CN110192387B (zh) 用于基于事件的视觉传感器的数据速率控制
KR20130080749A (ko) 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치
JP6410824B2 (ja) 画像センサのフリッカ検出
US10928518B2 (en) Range image generation apparatus and range image generation method
CN108541374A (zh) 一种图像融合方法、装置及终端设备
EP2927710B1 (en) Ranging system, information processing method and program thereof
CN111164407B (zh) 二维闪烁测量装置、二维闪烁测量系统、二维闪烁测量方法以及二维闪烁测量程序
EP3040754B1 (en) Imaging device, method, and program
US9875423B2 (en) Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic
US8508656B2 (en) Control of a dynamic image sensor
JP6724603B2 (ja) 脈波測定装置、脈波測定プログラム、脈波測定方法及び脈波測定システム
US20130176550A1 (en) Image sensor, image sensing method, and image photographing apparatus including the image sensor
JP2019078880A (ja) 制御装置、撮像装置、制御方法、及びプログラム
KR20170035844A (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
CN111164406B (zh) 二维闪烁测定装置及二维闪烁测定方法
US6542696B2 (en) Distance measurement apparatus of camera
US9300953B2 (en) Imaging apparatus and method of controlling the same
US20130176426A1 (en) Image sensor, method of sensing image, and image capturing apparatus including the image sensor
EP2827580B1 (en) Flicker detection method and flicker detection apparatus
KR101306780B1 (ko) Ｈｄｒ 영상 시스템에서 영상 간의 노출 정도를 보정하기 위한 장치 및 그 방법
US11330191B2 (en) Image processing device and image processing method to generate one image using images captured by two imaging units
JP6313617B2 (ja) 距離画像生成装置、物体検出装置および物体検出方法
JP2015233202A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2016500848A (ja) 解像度および焦点改善

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid