KR101694797B1 - 3차원 이미지 센서의 구동 방법 - Google Patents

3차원 이미지 센서의 구동 방법 Download PDF

Info

Publication number
KR101694797B1
KR101694797B1 KR1020100131147A KR20100131147A KR101694797B1 KR 101694797 B1 KR101694797 B1 KR 101694797B1 KR 1020100131147 A KR1020100131147 A KR 1020100131147A KR 20100131147 A KR20100131147 A KR 20100131147A KR 101694797 B1 KR101694797 B1 KR 101694797B1
Authority
KR
South Korea
Prior art keywords
light source
light
image sensor
dimensional image
subject
Prior art date
Application number
KR1020100131147A
Other languages
English (en)
Other versions
KR20120069833A (ko
Inventor
장승혁
박윤동
이용제
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100131147A priority Critical patent/KR101694797B1/ko
Priority to US13/239,925 priority patent/US20120154537A1/en
Priority to CN201110421183.0A priority patent/CN102547355B/zh
Publication of KR20120069833A publication Critical patent/KR20120069833A/ko
Priority to US14/883,453 priority patent/US10602086B2/en
Application granted granted Critical
Publication of KR101694797B1 publication Critical patent/KR101694797B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

광원(light source) 모듈을 포함하는 3차원 이미지 센서의 구동 방법에서, 광원 모듈에서 방출되는 광을 이용하여 3차원 이미지 센서로부터 피사체의 거리가 측정된다. 측정된 거리에 기초하여 광원 모듈에서 방출되는 광의 확산각이 조절된다. 3차원 이미지 센서의 구동 방법에 의해 정밀도가 향상되고 전력 소모가 감소될 수 있다.

Description

3차원 이미지 센서의 구동 방법{METHOD OF OPERATING A THREE-DIMENSIONAL IMAGE SENSOR}
본 발명은 이미지 센서에 관한 것으로서, 더욱 상세하게는 3차원 이미지 센서의 구동 방법에 관한 것이다.
이미지 센서는 영상(Image) 또는 거리(Distance, Depth) 정보를 포함하는 광 신호를 전기적인 신호로 변환하는 장치이다. 정밀하면서도 정확하게 원하는 정보를 제공하기 위하여 이미지 센서에 대한 연구가 진행 중이며, 특히, 영상 정보뿐만 아니라 거리 정보를 제공하는 3차원 이미지 센서(3D Image Sensor)에 대한 연구 및 개발이 최근 활발하게 진행되고 있다.
3차원 이미지 센서는 광원으로서 적외선 또는 근적외선을 이용하여 피사체에 대한 거리 정보를 획득할 수 있다. 종래의 3차원 이미지 센서에서는, 피사체가 존재하지 않는 영역에도 광이 조사되어 광 에너지가 낭비되는 문제가 있다.
상기와 같은 문제점을 해결하기 위하여, 본 발명의 일 목적은 적은 광 에너지로 거리 정보를 정밀하게 획득할 수 있는 3차원 이미지 센서의 구동 방법을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 광원(light source) 모듈을 포함하는 3차원 이미지 센서의 구동 방법에서, 상기 광원 모듈에서 방출되는 광을 이용하여 상기 3차원 이미지 센서로부터 피사체의 거리가 측정된다. 상기 측정된 거리에 기초하여 상기 광원 모듈에서 방출되는 상기 광의 확산각이 조절된다.
일 실시예에서, 상기 광원 모듈에서 방출되는 상기 광은 적외선 또는 근적외선일 수 있다.
일 실시예에서, 상기 피사체의 거리는, 상기 광원 모듈에서 방출되는 상기 광이 상기 피사체에서 반사되어 상기 3차원 이미지 센서에 도달할 때까지의 비행 시간(time of flight)에 기초하여 측정될 수 있다.
일 실시예에서, 상기 피사체의 거리를 측정하도록, 상기 광원 모듈에서 상기 광이 최대 확산각으로 방출되고, 상기 광의 비행 시간에 기초하여 상기 3차원 이미지 센서로부터 상기 피사체의 거리가 측정될 수 있다.
일 실시예에서, 상기 광의 확산각은, 상기 3차원 이미지 센서로부터 상기 피사체의 거리가 멀수록 감소될 수 있다.
일 실시예에서, 상기 광원 모듈은 광원 및 렌즈를 포함할 수 있다. 상기 광의 확산각을 조절하도록, 상기 측정된 거리에 기초하여 상기 광원과 상기 렌즈 사이의 간격이 조절될 수 있다.
일 실시예에서, 상기 광원과 상기 렌즈 사이의 간격을 조절하도록, 상기 3차원 이미지 센서로부터 상기 피사체의 거리가 멀수록 상기 광원과 상기 렌즈 사이의 간격을 증가시키는 방향으로 상기 광원이 이동될 수 있다.
일 실시예에서, 상기 광원과 상기 렌즈 사이의 간격을 조절하도록, 상기 3차원 이미지 센서로부터 상기 피사체의 거리가 멀수록 상기 광원과 상기 렌즈 사이의 간격을 증가시키는 방향으로 상기 렌즈가 이동될 수 있다.
일 실시예에서, 상기 광원 모듈은 광원 및 렌즈를 포함하고, 상기 광의 확산각을 조절하도록, 상기 측정된 거리에 기초하여 상기 렌즈의 굴절률이 조절될 수 있다.
일 실시예에서, 상기 렌즈의 굴절률을 조절하도록, 상기 3차원 이미지 센서로부터 상기 피사체의 거리가 멀수록 상기 렌즈의 굴절률을 증가시킬 수 있다.
일 실시예에서, 상기 광원 모듈은 광원 및 렌즈를 포함하고, 상기 광의 확산각을 조절하도록, 상기 측정된 거리에 기초하여 상기 렌즈의 곡률이 조절될 수 있다.
일 실시예에서, 상기 렌즈의 곡률을 조절하도록, 상기 3차원 이미지 센서로부터 상기 피사체의 거리가 멀수록 상기 렌즈의 곡률이 증가될 수 있다.
일 실시예에서, 상기 광의 확산각이 조절된 양에 따라 상기 광원 모듈에서 방출되는 상기 광의 진폭이 조절될 수 있다.
일 실시예에서, 상기 광의 진폭을 조절하도록, 상기 광의 확산각이 감소됨에 따라 상기 광의 진폭이 감소될 수 있다.
상기 일 목적을 달성하기 위해, 광원(light source) 및 렌즈를 구비하는 광원 모듈을 포함하는 3차원 이미지 센서의 구동 방법에서, 상기 광원 모듈에서 방출되는 광을 이용하여 피사체의 위치 정보가 획득되고, 상기 위치 정보에 기초하여 상기 렌즈에 대한 상기 광원의 상대적 위치가 조절될 수 있다.
일 실시예에서, 상기 위치 정보는, 상기 3차원 이미지 센서로부터 상기 피사체의 거리, 상기 피사체의 수평 위치, 상기 피사체의 수직 위치, 또는 상기 피사체의 면적 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 상대적 위치는, 상기 광원과 상기 렌즈 사이의 간격, 상기 광원의 수평 위치, 또는 상기 광원의 수직 위치 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 위치 정보는 상기 피사체의 수평 위치 및 수직 위치를 포함하고, 상기 상대적 위치를 조절하기 위하여, 상기 피사체, 상기 렌즈 및 상기 광원이 일직선 상에 놓이도록 상기 렌즈 또는 상기 광원이 수평 방향 또는 수직 방향으로 이동될 수 있다.
일 실시예에서, 상기 위치 정보는 상기 3차원 이미지 센서로부터 상기 피사체의 거리 및 상기 피사체의 면적을 포함하고, 상기 상대적 위치를 조절하기 위하여, 상기 광원 모듈에서 방출되는 상기 광이 상기 피사체에 상응하는 영역에 조사되도록 상기 광원과 상기 렌즈 사이의 간격이 조절될 수 있다.
일 실시예에서, 상기 광이 조사되는 영역의 크기에 따라 상기 광원 모듈에서 방출되는 상기 광의 진폭이 조절될 수 있다.
본 발명의 실시예들에 따른 3차원 이미지 센서의 구동 방법은 거리 정보를 정밀하게 획득할 수 있다.
또한, 본 발명의 실시예들에 따른 3차원 이미지 센서의 구동 방법은 전력 소모를 감소시킬 수 있다.
도 1은 본 발명의 실시예들에 따른 3차원 이미지 센서를 나타내는 블록도이다.
도 2는 도 1의 3차원 이미지 센서에서 피사체의 거리를 계산하는 일 예를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이다.
도 4는 도 3의 3차원 이미지 센서의 구동 방법에 따라 피사체의 거리를 측정하는 예를 설명하기 위한 도면이다.
도 5a 및 도 5b는 도 3의 3차원 이미지 센서의 구동 방법에 따라 광의 확산각을 조절하는 예들을 설명하기 위한 도면들이다.
도 6은 본 발명의 다른 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이다.
도 7은 도 6의 3차원 이미지 센서의 구동 방법에 따라 피사체의 수평 및 수직 위치를 측정하는 예를 설명하기 위한 도면이다.
도 8은 도 6의 3차원 이미지 센서의 구동 방법에 따라 렌즈에 대한 광원의 상대적 위치를 조절하는 예를 설명하기 위한 도면이다.
도 9는 본 발명의 또 다른 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이다.
도 10은 도 9의 3차원 이미지 센서의 구동 방법에 따라 피사체의 면적을 측정하는 예를 설명하기 위한 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이다.
도 12는 본 발명의 실시예들에 따른 3차원 이미지 센서를 카메라에 응용한 예를 나타내는 블록도이다.
도 13은 본 발명의 실시예들에 따른 3차원 이미지 센서를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 14는 도 13의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제1 구성 요소로 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성 요소에 대해서는 동일하거나 유사한 참조 부호를 사용한다.
도 1은 본 발명의 실시예들에 따른 3차원 이미지 센서를 나타내는 블록도이다.
도 1을 참조하면, 3차원 이미지 센서(100)는 픽셀 어레이(110), 아날로그-디지털 변환(Analog-to-Digital Conversion; ADC)부(120), 로우 주사 회로(130), 컬럼 주사 회로(140), 제어부(150) 및 광원 모듈(200)을 포함한다.
픽셀 어레이(110)는 광원 모듈(200)에서 송신된 광(TX)이 피사체(160)에서 반사되어 수신된 광(RX)을 전기적인 신호로 변환하는 거리 픽셀(depth pixel)들을 포함한다. 상기 거리 픽셀들은 흑백 영상 정보와 함께 3차원 이미지 센서(100)로부터 피사체(160)의 거리에 대한 정보를 제공할 수 있다.
픽셀 어레이(110)는 컬러 영상 정보를 제공하는 컬러 픽셀들을 더 포함할 수 있다. 이 경우, 3차원 이미지 센서(100)는 상기 컬러 영상 정보 및 상기 거리 정보를 동시에 제공하는 3차원 컬러 이미지 센서일 수 있다. 일 실시예에서, 적외선(또는 근적외선) 필터가 상기 거리 픽셀들 상에 형성되고, 컬러 필터(예를 들어, 적색, 녹색 및 청색 필터들)가 상기 컬러 픽셀들 상에 형성될 수 있다. 실시예에 따라, 상기 거리 픽셀과 상기 컬러 픽셀의 개수 비는 변경될 수 있다.
ADC부(120)는 픽셀 어레이(110)로부터 출력되는 아날로그 신호를 디지털 신호로 변환할 수 있다. 실시예에 따라, ADC부(120)는 각 컬럼 라인마다 연결된 아날로그-디지털 변환기를 이용하여 아날로그 신호들을 병렬로 변환하는 컬럼 ADC를 수행하거나, 단일한 아날로그-디지털 변환기를 이용하여 상기 아날로그 신호들을 순차적으로 변환하는 단일 ADC를 수행할 수 있다.
실시예에 따라, ADC부(120)는 유효 신호 성분을 추출하기 위한 상관 이중 샘플링(Correlated Double Sampling; CDS)부를 포함할 수 있다. 일 실시예에서, 상기 CDS부는 리셋 성분을 나타내는 아날로그 리셋 신호와 신호 성분을 나타내는 아날로그 데이터 신호의 차이에 기초하여 상기 유효 신호 성분을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다. 다른 실시예에서, 상기 CDS부는 상기 아날로그 리셋 신호와 상기 아날로그 데이터 신호를 디지털 신호들로 각각 변환한 후 상기 유효 신호 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다. 또 다른 실시예에서, 상기 CDS부는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.
로우 주사 회로(130)는 제어부(150)로부터 제어 신호들을 수신하여 픽셀 어레이(110)의 로우 어드레스 및 로우 주사를 제어할 수 있다. 로우 주사 회로(130)는 로우 라인들 중에서 해당 로우 라인을 선택하기 위하여 해당 로우 라인을 활성화시키는 신호를 픽셀 어레이(110)에 인가할 수 있다. 일 실시예에서, 로우 주사 회로(130)는 픽셀 어레이(110) 내의 로우 라인을 선택하는 로우 디코더 및 선택된 로우 라인을 활성화시키는 신호를 공급하는 로우 드라이버를 포함할 수 있다.
컬럼 주사 회로(140)는 제어부(150)로부터 제어 신호들을 수신하여 픽셀 어레이(110)의 컬럼 어드레스 및 컬럼 주사를 제어할 수 있다. 컬럼 주사 회로(140)는 ADC부(120)에서 출력되는 디지털 출력 신호를 디지털 신호 프로세싱 회로(Digital Signal Processing Circuit, 미도시) 또는 외부의 호스트(미도시)로 출력할 수 있다. 예를 들어, 컬럼 주사 회로(140)는 수평 주사 제어 신호를 ADC부(120)에 출력함으로써, ADC부(120) 내의 복수의 아날로그-디지털 변환기들을 순차적으로 선택할 수 있다. 일 실시예에서, 컬럼 주사 회로(140)는 복수의 아날로그-디지털 변환기들 중 하나를 선택하는 컬럼 디코더 및 선택된 아날로그-디지털 변환기의 출력을 수평 전송선으로 유도하는 컬럼 드라이버를 포함할 수 있다. 한편, 상기 수평 전송선은 상기 디지털 출력 신호를 출력하기 위한 비트 폭을 가질 수 있다.
제어부(150)는 ADC부(120), 로우 주사 회로(130), 컬럼 주사 회로(140) 및 광원 모듈(200)을 제어할 수 있다. 제어부(150)는 ADC부(120), 로우 주사 회로(130), 컬럼 주사 회로(140) 및 광원 모듈(200)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 공급할 수 있다. 일 실시예에서, 제어부(150)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.
광원 모듈(200)은 소정의 파장을 가진 광(예를 들어, 적외선 또는 근적외선)을 출력할 수 있다. 광원 모듈(200)은 광원(210) 및 렌즈(220)를 포함할 수 있다. 광원(210)은 제어부(150)에 의해 제어되어 세기가 주기적으로 변하는 광(TX)을 출력할 수 있다. 예를 들어, 광(TX)의 세기는 연속적인 펄스들을 가지는 펄스 파, 사인 파, 코사인 파 등과 같은 형태를 가지도록 제어될 수 있다. 광원(210)은 발광 다이오드(light emitting diode, LED), 레이저 다이오드 등으로 구현될 수 있다. 렌즈(220)는 광원(210)에서 출력된 광(TX)의 확산각을 조절할 수 있다. 예를 들어, 광원(210)과 렌즈(220)의 간격이 제어부(150)에 의해 제어되어 광(TX)의 확산각이 조절될 수 있다.
이하, 본 발명의 실시예들에 따른 3차원 이미지 센서(100)의 동작을 설명한다.
제어부(150)는 주기적으로 변동하는 세기를 가지는 광(TX)을 출력하도록 광원 모듈(200)을 제어할 수 있다. 광원 모듈(200)에서 방출된 광(TX)은 피사체(160)에서 반사되고, 수신 광(RX)으로서 상기 거리 픽셀들에 입사될 수 있다. 상기 거리 픽셀들은 로우 주사 회로(130)에 의해 활성화되어 수신 광(RX)에 상응하는 아날로그 신호를 출력할 수 있다. ADC부(120)는 상기 거리 픽셀들로부터 출력된 아날로그 신호를 디지털 데이터(DATA)로 변환할 수 있다. 디지털 데이터(DATA)는 컬럼 주사 회로(140)에 의해 제어부(150)에 제공될 수 있다.
제어부(150)에 포함된 계산부(155)는 디지털 데이터(DATA)에 기초하여 3차원 이미지 센서(100)로부터 피사체(160)의 거리, 피사체(160)의 수평 위치, 피사체(160)의 수직 위치 및/또는 피사체(160)의 면적 등을 계산할 수 있다. 제어부(150)는 측정된 피사체(160)의 거리, 수평 위치, 수직 위치 및/또는 면적에 기초하여 광원 모듈(200)에서 방출되는 광(TX)의 확산각, 조사 위치 등을 제어할 수 있다. 예를 들어, 제어부(150)는 광원(210)과 렌즈(220)의 간격, 광원(210)과 렌즈(220)의 상대적 위치, 렌즈(220)의 굴절률, 렌즈(220)의 곡률 등을 조절할 수 있다. 이에 따라, 광원 모듈(200)에서 방출된 광(TX)이 피사체(160)에 상응하는 영역에 집중됨으로써, 상기 거리 픽셀들에 의해 제공되는 거리 정보의 정밀도가 향상될 수 있다. 또한, 제어부(150)는 광(TX)의 확산각이 조절된 양 또는 광(TX)이 조사되는 영역의 크기에 따라 광(TX)의 최대 세기(또는, 진폭)를 조절할 수 있다. 예를 들어, 제어부(150)는 광(TX)의 확산각이 감소됨에 따라 광(TX)의 진폭을 감소시킬 수 있다. 이에 따라, 본 발명의 실시예들에 따른 3차원 이미지 센서(100)에서, 전력 소모가 감소될 수 있다.
피사체(160)에 상응하는 영역에 조사된 광(TX)은 피사체(160)에서 반사되어 상기 거리 픽셀들에 다시 입사될 수 있다. 상기 거리 픽셀들은 수신 광(RX)에 상응하는 아날로그 신호를 출력하고, ADC부(120)는 상기 거리 픽셀들로부터 출력된 아날로그 신호를 디지털 데이터(DATA)로 변환할 수 있다. 디지털 데이터(DATA)는 계산부(155)에 의해 거리 정보로 변환되고, 상기 거리 정보는 디지털 신호 프로세싱 회로 또는 외부의 호스트로 제공될 수 있다. 실시예에 따라, 픽셀 어레이(110)는 컬러 픽셀들을 포함할 수 있고, 상기 디지털 신호 프로세싱 회로 또는 상기 호스트에는 상기 거리 정보와 함께 컬러 영상 정보가 제공될 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 3차원 이미지 센서(100)에서, 광원 모듈(200)에서 방출된 광(TX)이 피사체(160)에 상응하는 영역에 집중됨으로써, 거리 정보의 정밀도가 향상되고, 전력 소모가 감소될 수 있다.
도 2는 도 1의 3차원 이미지 센서에서 피사체의 거리를 계산하는 일 예를 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 광원 모듈(200)에서 방출된 광(TX)은 주기적으로 변동하는 세기를 가질 수 있다. 예를 들어, 방출된 광(TX)의 세기(즉, 단위 면적당 광자의 수)는 사인 파의 형태를 가질 수 있다.
광원 모듈(200)에서 방출된 광(TX)은 피사체(160)에서 반사되어 수신 광(RX)으로서 픽셀 어레이(110)에 입사된다. 픽셀 어레이(110)는 수신 광(RX)을 주기적으로 샘플링할 수 있다. 실시예에 따라, 픽셀 어레이(110)는 수신 광(RX)의 각 주기(즉, 방출된 광(TX)의 주기)마다 180 도의 위상 차를 가지는 두 개의 샘플링 포인트들, 각각 90 도의 위상 차를 가지는 네 개의 샘플링 포인트들, 또는 그 이상의 샘플링 포인트들에서 수신 광(RX)을 샘플링할 수 있다. 예를 들어, 픽셀 어레이(110)는 매 주기 마다 방출된 광(TX)의 90 도, 180 도, 270도 및 360도의 위상들에서 수신 광(RX)의 샘플들(A0, A1, A2, A3)을 추출할 수 있다.
수신 광(RX)은 추가적인 배경 광, 노이즈 등에 의해 광원 모듈(200)에서 방출된 광(TX)의 오프셋과 다른 오프셋(B)을 가질 수 있다. 수신 광RX)의 오프셋(B)은 [수학식 1]과 같이 계산될 수 있다.
[수학식 1]
Figure 112010084210213-pat00001
여기서, A0는 방출된 광(TX)의 90 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A1은 방출된 광(TX)의 180 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A2는 방출된 광(TX)의 270 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A3는 방출된 광(TX)의 360 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타낸다.
수신 광(RX)은 광 손실에 의해 광원 모듈(200)에서 방출된 광(TX)의 진폭(amplitude)보다 작은 진폭(A)을 가질 수 있다. 수신 광(RX)의 진폭(A)은 [수학식 2]와 같이 계산될 수 있다.
[수학식 2]
Figure 112010084210213-pat00002
픽셀 어레이(110)에 포함된 거리 픽셀들 각각에 대한 수신 광(RX)의 진폭(A)에 기초하여 피사체(160)에 대한 흑백 영상 정보가 제공될 수 있다.
수신 광(RX)은 방출된 광(TX)에 대하여 3차원 이미지 센서(100)로부터 피사체(160)의 거리의 두 배에 상응하는 위상 차(φ)만큼 지연된다. 방출된 광(TX)에 대한 수신 광(RX)의 위상 차(φ)는 [수학식 3]과 같이 계산될 수 있다.
[수학식 3]
Figure 112010084210213-pat00003
방출된 광(TX)에 대한 수신 광(RX)의 위상 차(φ)는 광의 비행 시간(Time-Of-Flight; TOF)에 상응한다. 3차원 이미지 센서(100)로부터 피사체(160)의 거리는 수학식 “R = c * TOF / 2”(여기서, R은 피사체(160)의 거리를 나타내고, c는 빛의 속도를 나타낸다)을 이용하여 계산될 수 있다. 또한, 3차원 이미지 센서(100)로부터 피사체(160)의 거리는 수신 광(RX)의 위상 차(φ)를 이용하여 [수학식 4]와 같이 계산될 수 있다.
[수학식 4]
Figure 112010084210213-pat00004
여기서, f는 변조 주파수, 즉 방출된 광(TX)(또는 수신 광(RX))의 주파수를 나타낸다.
상술한 바와 같이, 본 발명의 실시예들에 따른 3차원 이미지 센서(100)는 광원 모듈(200)에서 방출된 광(TX)을 이용하여 피사체(160)에 대한 거리 정보를 획득할 수 있다. 도 2에는 사인 파의 형태를 가지도록 변조된 광(TX)을 이용한 예가 도시되어 있으나, 실시예에 따라, 3차원 이미지 센서(100)는 다양한 형태의 변조된 광(TX)을 이용할 수 있다. 또한, 3차원 이미지 센서(100)는 광(TX)의 세기의 파형, 거리 픽셀의 구조 등에 따라 다양한 방식으로 거리 정보를 추출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이고, 도 4는 도 3의 3차원 이미지 센서의 구동 방법에 따라 피사체의 거리를 측정하는 예를 설명하기 위한 도면이며, 도 5a 및 도 5b는 도 3의 3차원 이미지 센서의 구동 방법에 따라 광의 확산각을 조절하는 예들을 설명하기 위한 도면들이다.
도 1, 도 3, 도 4, 도 5a 및 도 5b를 참조하면, 3차원 이미지 센서(100)는 광원 모듈(200)에서 방출된 광을 이용하여 3차원 이미지 센서(100)로부터 피사체(160)의 거리(DIST)를 측정한다(S310). 광원(210)에서 생성된 광은 렌즈(220)를 통하여 외부로 방출된다. 광원(210)과 렌즈(220)가 제1 간격(ITV1)을 가질 때, 외부로 방출되는 광은 제1 확산각(θ1)을 가질 수 있다. 일 실시예에서, 제1 확산각(θ1)은 광원 모듈(200)에서 방출된 광의 최대 확산각일 수 있다. 3차원 이미지 센서(100)는 피사체(160)에서 반사된 광을 검출하여 차원 이미지 센서(100)로부터 피사체(160)의 거리(DIST)를 측정할 수 있다.
3차원 이미지 센서(100)는 피사체(160)의 거리(DIST)에 기초하여 광원 모듈(200)에서 방출된 광의 확산각을 조절한다(S330). 일 실시예에서, 도 5a에 도시된 바와 같이, 3차원 이미지 센서(100)는 광원 모듈(200)에서 방출된 광이 제2 확산각(θ2)을 가지도록 광원(210)과 렌즈(220) 사이의 간격을 제2 간격(ITV2)으로 조절할 수 있다. 예를 들어, 제어부(150)는 피사체(160)의 거리(DIST)가 멀수록 광의 확산각을 감소시키도록 광원 모듈(200)을 제어할 수 있다. 일 예에서, 제어부(150)는 피사체(160)의 거리(DIST)가 멀수록 광원(210)과 렌즈(220) 사이의 간격을 증가시키는 방향으로 광원(210)을 이동시킬 수 있다. 다른 예에서, 제어부(150)는 피사체(160)의 거리(DIST)가 멀수록 광원(210)과 렌즈(220) 사이의 간격을 증가시키는 방향으로 렌즈(220)을 이동시킬 수 있다.
다른 실시예에서, 도 5a에 도시된 바와 같이, 3차원 이미지 센서(100)는 광원 모듈(200)에서 방출된 광이 제2 확산각(θ2)을 가지도록 렌즈(220)의 곡률을 조절할 수 있다. 예를 들어, 제어부(150)는 피사체(160)의 거리(DIST)가 멀수록 광의 확산각을 감소시키도록 렌즈(220)의 곡률을 증가(즉, 곡률 반경을 감소)시킬 수 있다.
또 다른 실시예에서, 3차원 이미지 센서(100)는 광원 모듈(200)에서 방출된 광이 제2 확산각(θ2)을 가지도록 렌즈(220)의 굴절률을 조절할 수 있다. 예를 들어, 제어부(150)는 피사체(160)의 거리(DIST)가 멀수록 광의 확산각을 감소시키도록 렌즈(220)의 굴절률을 증가시킬 수 있다.
본 발명의 일 실시예에 따른 3차원 이미지 센서(100)의 구동 방법에서, 광원 모듈(200)에서 방출된 광의 확산각이 피사체(160)의 거리(DIST)에 상응하도록 조절됨으로써, 피사체(160)에 조사되는 광 에너지가 증가하고, 3차원 이미지 센서(100)에서 획득되는 거리 정보의 정밀도가 향상될 수 있다.
실시예에 따라, 3차원 이미지 센서(100)는 광의 확산각을 조절하기 전에 최대 진폭을 가지는 광을 방출하고, 광의 확산각 조절 후 광의 확산각이 조절된 양에 따라 광의 진폭을 감소시킬 수 있다. 이에 따라, 광원 모듈(200)에서 소모되는 전력이 감소될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이고, 도 7은 도 6의 3차원 이미지 센서의 구동 방법에 따라 피사체의 수평 및 수직 위치를 측정하는 예를 설명하기 위한 도면이며, 도 8은 도 6의 3차원 이미지 센서의 구동 방법에 따라 렌즈에 대한 광원의 상대적 위치를 조절하는 예를 설명하기 위한 도면이다.
도 1, 도 6, 도 7 및 도 8을 참조하면, 3차원 이미지 센서(100)는 광원 모듈(200)에서 방출된 광을 이용하여 피사체(160)의 수평 위치(HP1) 및/또는 수직 위치(VP1)를 측정한다(S410). 예를 들어, 피사체(160)는 광원(210)의 중심과 렌즈(220)의 중심을 연결한 중심선으로부터 양의 수평 방향으로 소정의 거리(HP1)만큼 이격되고, 양의 수평 방향으로 소정의 거리(VP1)만큼 이격될 수 있다. 광원 모듈(200)에서 방출된 광(TX)은 피사체(160)에서 반사된다. 피사체(160)에서 반사된 광(RX)은 픽셀 어레이(110)에 포함된 거리 픽셀들 및 ADC부(120)에 의해 데이터(DATA)로 변환되고, 제어부(150)는 데이터(DATA)에 기초하여 상기 중심선을 기준으로 한 피사체(160)의 수평 위치(HP1) 및/또는 수직 위치(VP1)를 측정할 수 있다.
3차원 이미지 센서(100)는 피사체(160)의 수평 위치(HP1) 및/또는 수직 위치(VP1)에 기초하여 렌즈(220)에 대한 광원(210)의 상대적 위치를 조절할 수 있다(S430). 일 실시예에서, 도 8에 도시된 바와 같이, 제어부(150)는 측정된 피사체(160)의 수평 위치(HP1) 및/또는 수직 위치(VP1)에 기초하여 광원(210)을 음의 수평 방향으로 소정의 거리(HP2)만큼 이동시키고, 음의 수직 방향으로 소정의 거리(VP2)만큼 이동시킬 수 있다. 예를 들어, 광원(210)의 수평 위치(HP2)와 피사체(160)의 수평 위치(HP1)의 비 및 광원(210)의 수직 위치(VP2)와 피사체(160)의 수직 위치(VP1)의 비는 렌즈(220)로부터 광원(210)의 거리와 렌즈(220)로부터 피사체(160)의 거리의 비에 상응할 수 있다.
다른 실시예에서, 제어부(150)는 측정된 피사체(160)의 수평 위치(HP1) 및/또는 수직 위치(VP1)에 기초하여 렌즈(220)를 양의 수평 방향으로 소정의 거리만큼 이동시키고, 양의 수직 방향으로 소정의 거리만큼 이동시킬 수 있다.
실시예에 따라, 제어부(150)는 측정된 피사체(160)의 수평 위치(HP1) 및/또는 수직 위치(VP1)에 기초하여 광원(210), 렌즈(220) 및 피사체(160)가 일직선 상에 놓이도록 광원(210) 또는 렌즈(220)를 수평 방향 및/또는 수직 방향으로 이동시킬 수 있다. 또한, 제어부(150)는 3차원 이미지 센서(100)로부터 피사체(160)의 거리 및/또는 피사체(160)의 면적에 상응하도록 광원 모듈(200)에서 방출되는 광의 확산각을 조절하고, 상기 광의 진폭을 감소시킬 수 있다.
상술한 바와 같이, 본 발명의 다른 실시예에 따른 3차원 이미지 센서(100)의 구동 방법에서, 피사체(160)의 수평 위치(HP1) 및/또는 수직 위치(VP1)에 따라 렌즈(220)에 대한 광원(210)의 상대적 위치를 조절함으로써, 피사체(160)에 조사되는 광 에너지가 증가할 수 있다. 이에 따라, 3차원 이미지 센서(100)에서 획득되는 거리 정보의 정밀도가 향상되고, 광원 모듈(200)에서 소모되는 전력이 감소될 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이고, 도 10은 도 9의 3차원 이미지 센서의 구동 방법에 따라 피사체의 면적을 측정하는 예를 설명하기 위한 도면이다.
도 1, 도 9 및 도 10을 참조하면, 3차원 이미지 센서(100)는 광원 모듈(200)에서 방출된 광을 이용하여 피사체(160)의 면적을 측정한다(S510). 광원 모듈(200)에서 방출된 광(TX)은 피사체(160)에서 반사된다. 피사체(160)에서 반사된 광(RX)은 픽셀 어레이(110)에 포함된 거리 픽셀들 및 ADC부(120)에 의해 데이터(DATA)로 변환되고, 제어부(150)는 데이터(DATA)에 기초하여 피사체(160)의 면적을 측정할 수 있다.
3차원 이미지 센서(100)는 피사체(160)의 면적에 기초하여 렌즈(220)에 대한 광원(210)의 상대적 위치를 조절할 수 있다(S530). 도 10에 도시된 바와 같이, 3차원 이미지 센서(100)는 광원 모듈(200)에서 방출된 광이 피사체(160)의 면적에 상응하는 영역(170)에 조사되도록 광의 확산각을 조절할 수 있다. 예를 들어, 3차원 이미지 센서(100)는, 도 5a 또는 도 5b에 도시된 바와 같이, 광원(210)과 렌즈(220) 사이의 간격을 조절하도록 광원(210) 또는 렌즈(220)를 이동시키거나, 렌즈(220)의 굴절률 또는 곡률을 변경할 수 있다.
상술한 바와 같이, 본 발명의 또 다른 실시예에 따른 3차원 이미지 센서(100)의 구동 방법에서, 피사체(160)의 면적에 따라 렌즈(220)에 대한 광원(210)의 상대적 위치 또는 렌즈(220)의 속성을 조절함으로써, 피사체(160)에 조사되는 광 에너지가 증가할 수 있다. 이에 따라, 3차원 이미지 센서(100)에서 획득되는 거리 정보의 정밀도가 향상되고, 광원 모듈(200)에서 소모되는 전력이 감소될 수 있다.
도 11은 본 발명의 또 다른 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이다.
도 1 및 도 11을 참조하면, 3차원 이미지 센서(100)는 광원 모듈(200)에서 방출된 광을 이용하여 피사체(160)의 위치 정보를 획득한다(S610). 예를 들어, 상기 위치 정보는, 3차원 이미지 센서(100)로부터 피사체(160)의 거리, 피사체(160)의 수평 위치, 피사체(160)의 수직 위치, 또는 피사체(160)의 면적을 포함할 수 있다.
3차원 이미지 센서(100)는 피사체(160)에 대한 상기 위치 정보에 기초하여 렌즈(220)에 대한 광원(210)의 상대적 위치를 조절할 수 있다(S630). 예를 들어, 3차원 이미지 센서(100)는 3차원 이미지 센서(100)로부터 피사체(160)의 거리에 기초하여 광원(210)과 렌즈(220) 사이의 간격을 조절하거나, 렌즈(220)의 굴절률 또는 곡률을 조절할 수 있다. 또한, 3차원 이미지 센서(100)는 피사체(160)의 수평 위치 및 수직 위치에 기초하여 광원(210), 렌즈(220) 및 피사체(160)각 일직선 상에 놓이도록 광원(210) 또는 렌즈(220)를 수평 방향 또는 수직 방향으로 이동시킬 수 있다. 게다가, 3차원 이미지 센서(100)는 피사체(160)의 면적에 기초하여 광원 모듈(200)에서 방출되는 광이 피사체(160)에 상응하는 영역에 조사되도록 광원(210)과 렌즈(220) 사이의 간격을 조절하거나, 렌즈(220)의 굴절률 또는 곡률을 조절할 수 있다.
실시예에 따라, 3차원 이미지 센서(100)는 렌즈(220)에 대한 광원(210)의 상대적 위치를 조절하기 전에 최대 진폭을 가지는 광을 방출하고, 렌즈(220)에 대한 광원(210)의 상대적 위치를 조절한 후 광의 진폭을 감소시킬 수 있다. 이에 따라, 광원 모듈(200)에서 소모되는 전력이 감소될 수 있다.
상술한 바와 같이, 본 발명의 또 다른 실시예에 따른 3차원 이미지 센서(100)의 구동 방법에서, 피사체(160)의 위치 정보에 기초하여 렌즈(220)에 대한 광원(210)의 상대적 위치를 조절함으로써, 피사체(160)에 조사되는 광 에너지가 증가할 수 있다. 이에 따라, 3차원 이미지 센서(100)에서 획득되는 거리 정보의 정밀도가 향상되고, 광원 모듈(200)에서 소모되는 전력이 감소될 수 있다.
한편, 도 1 내지 도 11에는 광원 모듈(200)이 광원(210) 및 렌즈(220)를 포함하는 예가 도시되어 있으나, 실시예에 따라, 광원 모듈(200)은 렌즈(220) 대신에 반사경을 포함할 수 있다.
도 12는 본 발명의 실시예들에 따른 3차원 이미지 센서를 카메라에 응용한 예를 나타내는 블록도이다.
도 12를 참조하면, 카메라(800)는 수광 렌즈(810), 3차원 이미지 센서(100), 모터부(830) 및 엔진부(840)를 포함할 수 있다. 3차원 이미지 센서(100)는 3차원 이미지 센서 칩(820) 및 광원 모듈(200)을 포함할 수 있다. 실시예에 따라, 3차원 이미지 센서 칩(820) 및 광원 모듈(200)은 각각 별도의 장치로 구현되거나, 광원 모듈(200) 중 적어도 일부의 구성이 3차원 이미지 센서 칩(820)에 포함되도록 구현될 수 있다.
수광 렌즈(810)는 3차원 이미지 센서 칩(820)의 수광 영역(예를 들어, 도 1의 픽셀 어레이(110)에 포함된 거리 픽셀들 및/또는 컬러 픽셀들)으로 입사광을 집광시킬 수 있다. 3차원 이미지 센서 칩(820)은 수광 렌즈(810)를 통하여 입사된 광에 기초하여 거리 정보 및/또는 컬러 영상 정보를 포함하는 데이터(DATA1)를 생성할 수 있다. 예를 들어, 3차원 이미지 센서 칩(820)에서 생성되는 데이터(DATA1)는 광원 모듈(200)에서 방출된 적외선 또는 근적외선을 이용하여 생성된 거리 데이터 및 외부 가시광선을 이용하여 생성된 베이어 패턴의 RGB 데이터(RGB)를 포함할 수 있다. 3차원 이미지 센서 칩(820)은 클록 신호(CLK)에 기초하여 데이터(DATA1)를 엔진부(840)에 제공할 수 있다. 실시예에 따라, 3차원 이미지 센서 칩(820)은 MIPI(Mobile Industry Processor Interface) 및/또는 CSI(Camera Serial Interface)를 통하여 엔진부(840)와 인터페이싱할 수 있다.
모터부(830)는 엔진부(840)로부터 수신된 제어 신호(CTRL)에 응답하여 수광 렌즈(810)의 포커스를 조절하거나, 셔터링(shuttering)을 수행할 수 있다. 실시예에 따라, 광원 모듈(200)에서, 광원(210)과 렌즈(220)의 상대적 위치는 모터부(830) 또는 3차원 이미지 센서 칩(820)에 의해 제어될 수 있다.
엔진부(840)는 3차원 이미지 센서(100) 및 모터부(830)를 제어한다. 또한, 엔진부(840)는 3차원 이미지 센서 칩(820)으로부터 수신된 데이터(DATA1)를 처리할 수 있다. 예를 들어, 엔진부(840)는 3차원 이미지 센서 칩(820)으로부터 수신된 데이터(DATA1)에 기초하여 입체 컬러 데이터를 생성할 수 있다. 다른 예에서, 엔진부(840)는 데이터(DATA1)에 포함된 상기 RGB 데이터에 기초하여 휘도 성분, 상기 휘도 성분과 청색 성분의 차, 및 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터를 생성하거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다. 엔진부(840)는 호스트/어플리케이션(850)에 연결될 수 있으며, 엔진부(840)는 마스터 클록(MCLK)에 기초하여 데이터(DATA2)를 호스트/어플리케이션(850)에 제공할 수 있다. 또한, 엔진부(840)는 SPI(Serial Peripheral Interface) 및/또는 I2C(Inter Integrated Circuit)를 통하여 호스트/어플리케이션(850)과 인터페이싱할 수 있다.
도 13은 본 발명의 이미지 센서를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 13을 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 메모리 장치(1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050) 및 3차원 이미지 센서(100)를 포함할 수 있다. 한편, 도 13에는 도시되지 않았지만, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030) 및 입출력 장치(1040)와 통신을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(1020)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다. 저장 장치(1030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.
3차원 이미지 센서(100)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 상술한 바와 같이, 3차원 이미지 센서(100)는 피사체의 위치 정보에 기초하여 광원 모듈에서 방출되는 광의 조사 영역을 조절함으로써, 정밀도를 향상시킬 수 있고, 전력 소모를 감소시킬 수 있다. 3차원 이미지 센서(100)는 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.
3차원 이미지 센서(100)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 3차원 이미지 센서(100)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.
한편, 컴퓨팅 시스템(1000)은 3차원 이미지 센서를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.
도 14는 도 13의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 14를 참조하면, 컴퓨팅 시스템(1100)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(1110), 3차원 이미지 센서(1140) 및 디스플레이(1150) 등을 포함할 수 있다. 어플리케이션 프로세서(1110)의 CSI 호스트(1112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 3차원 이미지 센서(1140)의 CSI 장치(1141)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, CSI 호스트(1112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(1141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(1110)의 DSI 호스트(1111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(1150)의 DSI 장치(1151)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, DSI 호스트(1111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템(1100)은 어플리케이션 프로세서(1110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(1160)을 더 포함할 수 있다. 컴퓨팅 시스템(1100)의 PHY(1113)와 RF 칩(1160)의 PHY(1161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(1110)는 PHY(1161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(1114)를 더 포함할 수 있다. 한편, 컴퓨팅 시스템(1100)은 지피에스(Global Positioning System; GPS)(1120), 스토리지(1170), 마이크(1180), 디램(Dynamic Random Access Memory; DRAM)(1185) 및 스피커(1190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(1100)은 초광대역(Ultra WideBand; UWB)(1210), 무선 랜(Wireless Local Area Network; WLAN)(1220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(1230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(1100)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
본 발명은 광원(light source) 모듈을 포함하는 3차원 이미지 센서에 적용될 수 있다. 또한, 본 발명은 컴퓨터, 디지털 카메라, 3차원 카메라, 휴대폰, PDA, 스캐너, 차량용 네비게이션, 비디오 폰, 감시 시스템, 자동 포커스 시스템, 추적 시스템, 동작 감지 시스템, 이미지 안정화 시스템 등에 유용하게 이용될 수 있다.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.
100: 3차원 이미지 센서
200: 광원 모듈
210: 광원
220: 렌즈

Claims (10)

  1. 광원(light source) 모듈을 포함하는 3차원 이미지 센서의 구동 방법에 있어서,
    상기 광원 모듈이 광을 방출하는 단계;
    상기 광원 모듈에서 방출된 광이 피사체에서 반사되어 상기 3차원 이미지 센서에 도달할 때까지의 비행 시간(time of flight)을 측정하는 단계;
    상기 측정된 비행 시간에 기초하여 상기 3차원 이미지 센서로부터 상기 피사체의 거리를 측정하는 단계; 및
    상기 측정된 거리에 기초하여 상기 광원 모듈에서 방출되는 상기 광의 확산각을 조절하는 단계를 포함하는 3차원 이미지 센서의 구동 방법.
  2. 제1 항에 있어서, 상기 광의 확산각은, 상기 3차원 이미지 센서로부터 상기 피사체의 거리가 멀수록 감소되는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  3. 제1 항에 있어서, 상기 광원 모듈은 광원 및 렌즈를 포함하고, 상기 광의 확산각을 조절하는 단계는,
    상기 측정된 거리에 기초하여 상기 광원과 상기 렌즈 사이의 간격을 조절하는 단계를 포함하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  4. 제1 항에 있어서, 상기 광원 모듈은 광원 및 렌즈를 포함하고, 상기 광의 확산각을 조절하는 단계는,
    상기 측정된 거리에 기초하여 상기 렌즈의 굴절률을 조절하는 단계를 포함하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  5. 제1 항에 있어서, 상기 광원 모듈은 광원 및 렌즈를 포함하고, 상기 광의 확산각을 조절하는 단계는,
    상기 측정된 거리에 기초하여 상기 렌즈의 곡률을 조절하는 단계를 포함하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  6. 제1 항에 있어서,
    상기 광의 확산각이 조절된 양에 따라 상기 광원 모듈에서 방출되는 상기 광의 진폭을 조절하는 단계를 더 포함하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  7. 광원(light source) 및 렌즈를 구비하는 광원 모듈을 포함하는 3차원 이미지 센서의 구동 방법에 있어서,
    상기 광원 모듈이 광을 방출하는 단계;
    상기 광원 모듈에서 방출된 광이 피사체에서 반사되어 상기 3차원 이미지 센서에 도달할 때까지의 비행 시간(time of flight)을 측정하는 단계;
    상기 측정된 비행 시간에 기초하여 상기 피사체의 위치 정보를 획득하는 단계; 및
    상기 위치 정보에 기초하여 상기 렌즈에 대한 상기 광원의 상대적 위치를 조절하는 단계를 포함하는 3차원 이미지 센서의 구동 방법.
  8. 제7 항에 있어서, 상기 위치 정보는,
    상기 3차원 이미지 센서로부터 상기 피사체의 거리, 상기 피사체의 수평 위치, 상기 피사체의 수직 위치, 또는 상기 피사체의 면적 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  9. 제7 항에 있어서, 상기 상대적 위치는,
    상기 광원과 상기 렌즈 사이의 간격, 상기 광원의 수평 위치, 또는 상기 광원의 수직 위치 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  10. 제7 항에 있어서,
    상기 광이 조사되는 영역의 크기에 따라 상기 광원 모듈에서 방출되는 상기 광의 진폭을 조절하는 단계를 더 포함하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
KR1020100131147A 2010-12-21 2010-12-21 3차원 이미지 센서의 구동 방법 KR101694797B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100131147A KR101694797B1 (ko) 2010-12-21 2010-12-21 3차원 이미지 센서의 구동 방법
US13/239,925 US20120154537A1 (en) 2010-12-21 2011-09-22 Image sensors and methods of operating the same
CN201110421183.0A CN102547355B (zh) 2010-12-21 2011-12-13 图像传感器和操作该图像传感器的方法
US14/883,453 US10602086B2 (en) 2010-12-21 2015-10-14 Methods of operating image sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131147A KR101694797B1 (ko) 2010-12-21 2010-12-21 3차원 이미지 센서의 구동 방법

Publications (2)

Publication Number Publication Date
KR20120069833A KR20120069833A (ko) 2012-06-29
KR101694797B1 true KR101694797B1 (ko) 2017-01-11

Family

ID=46233860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131147A KR101694797B1 (ko) 2010-12-21 2010-12-21 3차원 이미지 센서의 구동 방법

Country Status (3)

Country Link
US (2) US20120154537A1 (ko)
KR (1) KR101694797B1 (ko)
CN (1) CN102547355B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019245315A1 (ko) * 2018-06-22 2019-12-26 엘지이노텍 주식회사 카메라 모듈

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI471630B (zh) * 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
US10158842B2 (en) * 2012-06-20 2018-12-18 Honeywell International Inc. Cargo sensing detection system using spatial data
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
KR102102881B1 (ko) * 2012-11-13 2020-04-21 엘지디스플레이 주식회사 터치 센싱 시스템과 그 소비전력 제어방법
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
KR102153045B1 (ko) * 2013-12-04 2020-09-07 삼성전자주식회사 파장 분리 소자 및 이를 포함하는 3차원 영상 획득 장치
KR102101864B1 (ko) * 2014-01-29 2020-04-20 엘지이노텍 주식회사 깊이 정보 추출 장치
KR102263064B1 (ko) * 2014-08-25 2021-06-10 삼성전자주식회사 피사체의 움직임을 인식하는 장치 및 그 동작 방법
US20160073061A1 (en) * 2014-09-04 2016-03-10 Adesa, Inc. Vehicle Documentation System
KR102364084B1 (ko) * 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102312273B1 (ko) * 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
KR102305998B1 (ko) * 2014-12-08 2021-09-28 엘지이노텍 주식회사 영상 처리 장치
US9989630B2 (en) * 2015-05-13 2018-06-05 Infineon Technologies Ag Structured-light based multipath cancellation in ToF imaging
CN104902171B (zh) * 2015-05-19 2018-05-01 广东欧珀移动通信有限公司 一种摄像头角度纠正方法及终端
CN104967763B (zh) * 2015-06-09 2019-04-26 联想(北京)有限公司 一种图像采集器件、图像采集方法及电子设备
KR102311688B1 (ko) 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105472224B (zh) * 2016-01-05 2017-03-15 北京度量科技有限公司 一种被动式光学动作捕捉设备及其应用
US10594974B2 (en) 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
WO2017181381A1 (zh) * 2016-04-21 2017-10-26 华为技术有限公司 一种获取深度信息的方法及摄像装置
US10580234B2 (en) 2017-01-20 2020-03-03 Adesa, Inc. Vehicle documentation system
JP7103354B2 (ja) * 2017-05-24 2022-07-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019106033A1 (en) * 2017-11-28 2019-06-06 Sony Semiconductor Solutions Corporation Illumination device, time of flight system and method
CN109981993B (zh) * 2017-12-28 2021-02-05 舜宇光学(浙江)研究院有限公司 深度相机投射器功耗控制方法及其应用
CN109031334A (zh) * 2018-08-27 2018-12-18 湖北工业大学 一种基于三维图像测距的安全监测系统与方法
CN109788174B (zh) * 2019-01-11 2021-05-07 维沃移动通信有限公司 一种补光方法及终端
KR20200136148A (ko) 2019-05-27 2020-12-07 엘지이노텍 주식회사 카메라 모듈
CN112153442A (zh) * 2019-06-28 2020-12-29 Oppo广东移动通信有限公司 播放方法、装置、终端、电视设备、存储介质及电子设备
KR102432531B1 (ko) * 2019-10-23 2022-08-18 세메스 주식회사 액적 검사 모듈 및 액적 검사 방법
KR20210063674A (ko) * 2019-11-25 2021-06-02 엘지이노텍 주식회사 카메라 모듈
WO2021184155A1 (zh) * 2020-03-16 2021-09-23 深圳市汇顶科技股份有限公司 三维图像传感系统以及相关电子装置以及飞时测距方法
EP4280600A1 (en) * 2021-01-15 2023-11-22 LG Innotek Co., Ltd. Camera module
KR102473423B1 (ko) * 2021-05-03 2022-12-02 삼성전기주식회사 Tof 카메라 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198864A (ja) 2002-12-20 2004-07-15 Sony Corp 照明装置およびカメラ
JP2004333736A (ja) 2003-05-06 2004-11-25 Mitsubishi Electric Corp 携帯機器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2927179B2 (ja) * 1994-06-15 1999-07-28 ミノルタ株式会社 3次元形状入力装置
US6407817B1 (en) * 1993-12-20 2002-06-18 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
HUP9700348A1 (hu) * 1997-02-04 1998-12-28 Holografika E.C. Eljárás és berendezés háromdimenziós kép megjelenítésére
DE10235562A1 (de) * 2002-08-03 2004-02-19 Robert Bosch Gmbh Verfahren und Vorrichtung zur optischen Distanzmessung
US7178250B2 (en) * 2004-07-21 2007-02-20 Irwin Industrial Tool Company Intersecting laser line generating device
JP4577311B2 (ja) * 2004-07-28 2010-11-10 東洋製罐株式会社 飽和ポリエステル中空体の加熱結晶化装置及びその加熱方法
WO2006011674A1 (en) * 2004-07-30 2006-02-02 Matsushita Electric Works, Ltd. Image processing device
JP4659414B2 (ja) 2004-09-01 2011-03-30 アバゴ・テクノロジーズ・イーシービーユー・アイピー(シンガポール)プライベート・リミテッド 発光ダイオード及びそれを用いる発光制御システム
DE102006015332A1 (de) * 2005-04-04 2006-11-16 Denso Corp., Kariya Gastservice-System für Fahrzeugnutzer
WO2006118037A1 (ja) * 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. 光ピックアップ装置、該光ピックアップ装置を有する光情報装置、及び該光情報装置を有する光情報記録再生装置
JP2007195020A (ja) 2006-01-20 2007-08-02 Sanyo Electric Co Ltd カメラ
EP2118699B1 (en) * 2006-11-06 2018-09-12 University of Massachusetts Systems and methods of all-optical fourier phase contrast imaging using dye doped liquid crystals
US8496575B2 (en) * 2006-11-14 2013-07-30 Olympus Corporation Measuring endoscope apparatus, program and recording medium
KR100825919B1 (ko) 2006-12-18 2008-04-28 엘지전자 주식회사 거리 측정 센서, 거리 측정 센서를 가진 이동로봇 및 그를이용한 이동로봇 주행 방법
JP2009170075A (ja) * 2007-09-20 2009-07-30 Panasonic Corp 光ピックアップ光学系、これを用いた光ピックアップ装置
CN101849137B (zh) 2007-11-08 2011-12-07 建兴电子科技股份有限公司 照明系统
JP5239326B2 (ja) * 2007-12-19 2013-07-17 ソニー株式会社 画像信号処理装置、画像信号処理方法、画像投影システム、画像投影方法及びプログラム
JP4879218B2 (ja) * 2008-04-25 2012-02-22 シャープ株式会社 レンズ体、光源ユニット及び照明装置
JP2011133836A (ja) * 2009-12-24 2011-07-07 Shinten Sangyo Co Ltd リニア駆動led発光装置を備えたカメラ付き携帯電話

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198864A (ja) 2002-12-20 2004-07-15 Sony Corp 照明装置およびカメラ
JP2004333736A (ja) 2003-05-06 2004-11-25 Mitsubishi Electric Corp 携帯機器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019245315A1 (ko) * 2018-06-22 2019-12-26 엘지이노텍 주식회사 카메라 모듈
US11885981B2 (en) 2018-06-22 2024-01-30 Lg Innotek Co., Ltd. Camera module

Also Published As

Publication number Publication date
US20160037094A1 (en) 2016-02-04
CN102547355B (zh) 2017-04-12
KR20120069833A (ko) 2012-06-29
CN102547355A (zh) 2012-07-04
US20120154537A1 (en) 2012-06-21
US10602086B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
KR101694797B1 (ko) 3차원 이미지 센서의 구동 방법
KR20120105169A (ko) 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
KR20120111013A (ko) 3차원 이미지 센서 및 이를 이용한 거리 측정 방법
US20120249740A1 (en) Three-dimensional image sensors, cameras, and imaging systems
US10186045B2 (en) Methods of and apparatuses for recognizing motion of objects, and associated systems
KR102007279B1 (ko) 3차원 이미지 센서의 거리 픽셀, 이를 포함하는 3차원 이미지 센서 및 3차원 이미지 센서의 거리 픽셀의 구동 방법
US20130229491A1 (en) Method of operating a three-dimensional image sensor
KR101977711B1 (ko) 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
KR102007277B1 (ko) 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서
KR101797014B1 (ko) 3차원 이미지 센서의 단위 픽셀
CN110187354B (zh) 模拟距离的方法、系统和计算机可读介质
US20130222543A1 (en) Method and apparatus for generating depth information from image
KR20120075739A (ko) 이미지 처리 시스템 및 이미지 처리 방법
US8901498B2 (en) Unit pixels, depth sensors and three-dimensional image sensors including the same
US20160182791A1 (en) Image Sensor Having Multiple Output Ports
US11789133B2 (en) Time-of-flight sensor and method of calibrating errors in the same
US9258502B2 (en) Methods of operating depth pixel included in three-dimensional image sensor and methods of operating three-dimensional image sensor
US20150296194A1 (en) Image sensor and image sensor system including the same
WO2022241942A1 (zh) 一种深度相机及深度计算方法
KR20120111092A (ko) 촬상 장치
US20150054919A1 (en) Three-dimensional image sensor module and method of generating three-dimensional image using the same
KR20120110614A (ko) 3차원 이미지 센서
US20220345646A1 (en) Depth sensor and image signal processor for changing binning mode
KR20240034012A (ko) 이미지 센서 및 그 동작 방법
KR20220145237A (ko) 비닝 모드를 변경하는 깊이 센서 및 이미지 신호 프로세서

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191226

Year of fee payment: 4