KR20130100524A - 3차원 이미지 센서의 구동 방법 - Google Patents

3차원 이미지 센서의 구동 방법 Download PDF

Info

Publication number
KR20130100524A
KR20130100524A KR1020120021785A KR20120021785A KR20130100524A KR 20130100524 A KR20130100524 A KR 20130100524A KR 1020120021785 A KR1020120021785 A KR 1020120021785A KR 20120021785 A KR20120021785 A KR 20120021785A KR 20130100524 A KR20130100524 A KR 20130100524A
Authority
KR
South Korea
Prior art keywords
image sensor
dimensional image
subject
dimensional
mode
Prior art date
Application number
KR1020120021785A
Other languages
English (en)
Inventor
김왕현
민동기
진영구
일리아 오브시아니코브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120021785A priority Critical patent/KR20130100524A/ko
Priority to US13/743,595 priority patent/US20130229491A1/en
Publication of KR20130100524A publication Critical patent/KR20130100524A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

광원(light source) 모듈을 포함하는 3차원 이미지 센서의 구동 방법에서, 3차원 이미지 센서가 저전력 대기 모드에서 2차원 이미지를 생성하여 피사체의 위치 변화를 검출한다. 2차원 이미지 내에서 피사체의 위치 변화가 검출되면, 3차원 이미지 센서의 모드를 저전력 대기 모드에서 저전력 대기 모드보다 큰 전력을 소모하는 3차원 동작 모드로 전환한다. 3차원 이미지 센서가 3차원 동작 모드에서 3차원 이미지를 생성하여 피사체에 대한 동작 인식을 수행한다. 3차원 이미지 센서의 구동 방법에 의해 전력 소모가 감소될 수 있다.

Description

3차원 이미지 센서의 구동 방법{METHOD OF OPERATING A THREE-DIMENSIONAL IMAGE SENSOR}
본 발명은 이미지 센서에 관한 것으로, 더욱 상세하게는 3차원 이미지 센서의 구동 방법에 관한 것이다.
이미지 센서는 영상(Image) 또는 거리(Distance, Depth) 정보를 포함하는 광 신호를 전기적인 신호로 변환하는 장치이다. 정밀하면서도 정확하게 원하는 정보를 제공하기 위하여 이미지 센서에 대한 연구가 진행 중이며, 특히, 영상 정보뿐만 아니라 거리 정보를 제공하는 3차원 이미지 센서(3D Image Sensor)에 대한 연구 및 개발이 최근 활발하게 진행되고 있다.
3차원 이미지 센서는 동작 인식 또는 몸짓 인식(gesture recognition)을 수행하기 위해 주로 사용된다. 그러나, 3차원 이미지 센서는 동작 인식 중에 과도한 전력을 소모하게 된다는 문제가 있다. 따라서, 배터리로 구동되는 장치들, 예를 들어 스마트 폰이나 전자 태블릿(tablet)을 구현하는데 어려움이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은 저전력 대기 모드를 통해 전력 소모를 감소시킬 수 있는 3차원 이미지 센서의 구동 방법을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3차원 이미지 센서의 구동 방법은, 광원 모듈(light source)을 포함하는 3차원 이미지 센서가 저전력 대기 모드에서 2차원 이미지를 생성하여 피사체의 위치 변화를 검출하고, 상기 2차원 이미지 내에서 상기 피사체의 위치 변화가 검출되면 상기 3차원 이미지 센서의 모드를 상기 저전력 대기 모드에서 상기 저전력 대기 모드보다 더 큰 전력을 소모하는 3차원 동작 모드로 전환하며, 상기 3차원 이미지 센서가 상기 3차원 동작 모드에서 3차원 이미지를 생성하여 상기 피사체에 대한 동작 인식(gesture recognition)을 수행한다.
일 실시예에 의하면, 상기 광원 모듈은, 상기 저전력 대기 모드에서 비활성화되고, 상기 3차원 동작 모드에서 활성화될 수 있다.
일 실시예에 의하면, 상기 광원 모듈은, 상기 저전력 대기 모드에서 저 휘도의 광을 방출하고, 상기 3차원 동작 모드에서 고 휘도의 광을 방출할 수 있다.
일 실시예에 의하면, 상기 광원 모듈에서 방출되는 상기 저 휘도의 광 및 상기 고 휘도의 광은 적외선 또는 근적외선일 수 있다.
일 실시예에 의하면, 상기 동작 인식은, 상기 3차원 이미지 센서와 상기 피사체 사이의 거리 및 상기 피사체의 수평 이동을 측정함으로써 수행될 수 있다.
일 실시예에 의하면, 상기 3차원 이미지 센서와 상기 피사체 사이의 거리는, 상기 광원 모듈에서 방출되는 광이 상기 피사체에서 반사되어 상기 3차원 이미지 센서에 도달할 때까지의 비행 시간(time of flight)에 기초하여 측정될 수 있다.
일 실시예에 의하면, 상기 3차원 이미지 센서는 복수의 거리 픽셀들을 포함할 수 있다.
일 실시예에 의하면, 상기 3차원 이미지 센서는 복수의 컬러 픽셀들 및 복수의 거리 픽셀들을 포함하고, 상기 3차원 이미지 센서는 상기 저전력 대기 모드에서 상기 복수의 컬러 픽셀들을 이용하여 상기 2차원 이미지를 생성하고, 상기 3차원 동작 모드에서 상기 복수의 거리 픽셀들을 이용하여 상기 3차원 이미지를 생성할 수 있다.
일 실시예에 의하면, 상기 3차원 이미지 센서는 복수의 거리 픽셀들을 포함하고, 상기 3차원 이미지 센서는 상기 복수의 거리 픽셀들을 서로 다른 사이즈를 가지는 복수의 픽셀 그룹들로 그룹화하고, 상기 복수의 픽셀 그룹들에서 각각 생성되는 픽셀 그룹 출력 신호에 기초하여 상기 2차원 이미지를 생성할 수 있다.
일 실시예에 의하면, 상기 복수의 픽셀 그룹들의 사이즈는 상기 3차원 이미지 센서의 시야(Field Of View)의 중심으로부터의 거리에 따라 결정되고, 상기 시야의 중심부에 위치하는 픽셀 그룹에 포함되는 거리 픽셀들의 수는 상기 시야의 주변부에 위치하는 픽셀 그룹에 포함되는 거리 픽셀들의 수보다 적을 수 있다.
일 실시예에 의하면, 상기 3차원 이미지 센서는 복수의 로우들(rows) 및 복수의 칼럼들(columns)로 구성된 매트릭스 형태로 배열된 복수의 거리 픽셀들을 포함하고, 상기 3차원 이미지 센서는 상기 복수의 로우들 중 일부의 로우들에 상응하는 거리 픽셀들을 사용하여 상기 2차원 이미지를 생성할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 3차원 이미지 센서의 구동 방법은, 광원(light source) 모듈을 포함하는 3차원 이미지 센서가 저전력 대기 모드에서 2차원 이미지를 생성하여 피사체의 위치 변화를 검출하고, 상기 2차원 이미지 내에서 상기 피사체의 위치 변화가 검출되면 상기 3차원 이미지 센서의 모드를 상기 저전력 대기 모드에서 상기 저전력 대기 모드보다 더 큰 전력을 소모하는 3차원 동작 모드로 전환하고, 상기 3차원 이미지 센서가 상기 3차원 동작 모드에서 3차원 이미지를 생성하여 상기 피사체에 대한 동작 인식(gesture recognition)을 수행하며, 상기 동작 인식이 완료되면 상기 3차원 이미지 센서의 모드를 상기 3차원 동작 모드에서 상기 저전력 대기 모드로 전환한다.
일 실시예에 의하면, 상기 저전력 대기 모드에서 상기 2차원 이미지를 생성하기 위한 집광 시간(integration time)은 상기 3차원 동작 모드에서 상기 3차원 이미지를 생성하기 위한 집광 시간보다 길 수 있다.
일 실시예에 의하면, 상기 3차원 이미지 센서가 상기 저전력 대기 모드에서 상기 2차원 이미지를 생성할 때, 상기 광원 모듈에서 방출되는 저 휘도의 광 또는 주변 광(ambient light)을 이용할 수 있다.
일 실시예에 의하면, 상기 피사체의 위치 변화가 검출되지 않을 때, 상기 3차원 이미지 센서의 모드를 상기 저전력 대기 모드로 유지시킬 수 있다.
본 발명의 실시예들에 따른 3차원 이미지 센서의 구동 방법은 저전력 대기 모드를 통해 전력 소모를 감소시킬 수 있다.
다만, 본 발명의 효과는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 3차원 이미지 센서를 나타내는 블록도이다.
도 3은 도 2의 3차원 이미지 센서에서 피사체의 거리를 계산하는 일 예를 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이다.
도 5는 도 4의 3차원 이미지 센서의 구동 방법의 일 예를 나타내는 순서도이다.
도 6a 내지 도 6d는 도 4의 3차원 이미지 센서의 구동 방법에 따라 동작 인식을 수행하는 일련의 과정을 나타내는 도면들이다.
도 7은 3차원 이미지 센서에 포함되는 복수의 거리 픽셀들의 동작 방법의 일 예를 나타내는 도면이다.
도 8은 3차원 이미지 센서에 포함되는 복수의 거리 픽셀들의 동작 방법의 다른 예를 나타내는 도면이다.
도 9는 3차원 이미지 센서에 포함되는 픽셀 어레이의 일 예를 나타내는 도면이다.
도 10은 본 발명의 실시예들에 따른 3차원 이미지 센서를 카메라에 응용한 예를 나타내는 블록도이다.
도 11은 본 발명의 실시예들에 따른 3차원 이미지 센서를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이다.
도 1을 참조하면, 광원(light source) 모듈을 포함하는 3차원 이미지 센서의 구동 방법에 있어서, 상기 3차원 이미지 센서가 저전력 대기 모드에서 2차원 이미지를 생성하여 피사체의 위치 변화를 검출한다(S10). 본 발명의 실시예들에 따르면, 상기 피사체의 움직임이 없을 때, 즉 일반적인 대기 상태에서 상기 3차원 이미지 센서는 상기 저전력 대기 모드로 구동될 수 있다. 실시예에 따라, 상기 광원 모듈은 저전력 동작 모드에서 비활성화되거나 저 휘도의 광을 방출할 수 있다. 또한, 상기 광은 적외선 또는 근적외선일 수 있다. 일반적으로 3차원 이미지 센서에서 광원이 큰 전력을 소모하므로, 3차원 이미지 센서가 피사체에 대한 동작 인식을 수행하지 않을 때는 광원을 꺼두거나 낮은 휘도의 광을 방출하도록 함으로써 전력 소모를 감소시킬 수 있다.
상기 3차원 이미지 센서는 상기 저전력 대기 모드에서 3차원 이미지 센싱이 아닌 2차원 이미지 센싱을 수행할 수 있다. 즉, 상기 3차원 이미지 센서는 상기 저전력 대기 모드에서 상기 피사체의 위치 변화를 검출하기 위해 상기 2차원 이미지를 생성할 수 있다. 일 실시예에서, 상기 2차원 이미지를 생성하기 위한 집광 시간(integration time)은 3차원 이미지를 생성하기 위한 집광 시간보다 길 수 있다. 이에 따라, 상기 3차원 이미지 센서는 상기 저전력 대기 모드에서 낮은 휘도의 광을 이용하여 상기 2차원 이미지를 생성할 수 있다. 따라서, 상기 3차원 이미지 센서는 광원 모듈을 저전력 모드로 구동하거나, 아니면 광원 모듈을 비활성화시킨 상태에서 주변 광 만으로도 상기 2차원 이미지를 생성할 수 있다.
보다 구체적으로, 상기 3차원 이미지 센서는 상대적으로 긴 집광 시간을 이용하여 2차원 이미지들을 포착(capture)할 수 있다. 1-탭(tap) 3차원 이미지 센서는 한 장의 3차원 이미지를 생성하기 위해 보통 네 장의 2차원 이미지들을 포착해야 한다. 결과적으로, 동일한 초당 프레임 수(Frames Per Second; FPS)로 구동되는 경우, 2차원 모드에서 2차원 이미지를 생성하는데 소요되는 집광 시간은 3차원 이미지를 구성하는 각 2차원 이미지들을 생성하는데 소요되는 집광 시간보다 최소 네 배 이상 길 수 있다. 또한, 2-탭(tap) 3차원 이미지 센서는 한 장의 3차원 이미지를 생성하기 위해 보통 두 장의 2차원 이미지들을 포착해야 한다. 그러므로, 동일한 FPS로 구동되는 경우, 2차원 모드로 동작할 때의 집광 시간은 3차원 이미지를 구성하는 각 2차원 이미지들을 생성하는데 소요되는 집광 시간보다 최소 두 배 이상 길 수 있다. 예를 들어, 3차원 이미지 센서가 30FPS로 구동되고, 하나의 3차원 프레임 당 네 장의 2차원 프레임을 포착하는 경우, 3차원 동작 모드에서의 집광 시간은 1/(30*4) = 8.3밀리세크(msec)가 되지만, 2차원 모드, 즉 저전력 동작 모드에서의 집광 시간은 1/30 = 33.3밀리세크(msec)가 된다.
일 실시예에서, 상기 3차원 이미지 센서는 미리 정해진 FPS에 따라 한 프레임 당 하나의 2차원 이미지를 생성할 수 있다. 이때 상기 3차원 이미지 센서는 생성된 2차원 이미지들을 비교하여 상기 피사체의 위치 변화를 검출할 수 있다. 다시 말해, 인접한 프레임들의 2차원 이미지들을 비교하여 상기 피사체의 위치가 변화된 경우 상기 피사체의 움직임이 있는 것으로 판단할 수 있다.
다시 도 1을 참조하면, 상기 2차원 이미지 내에서 상기 피사체의 위치 변화가 검출되면, 상기 3차원 이미지 센서의 모드를 저전력 대기 모드에서 3차원 동작 모드로 전환한다(S20). 상기 3차원 이미지 센서는 3차원 동작 모드에서 저전력 대기 모드에서보다 더 큰 전력을 소모한다. 실시예에 따라, 상기 광원 모듈은 3차원 동작 모드에서 활성화되거나 고 휘도의 광을 방출한다.
다음으로, 상기 3차원 이미지 센서가 3차원 동작 모드에서 3차원 이미지를 생성하여 상기 피사체에 대한 동작 인식(gesture recognition)을 수행한다(S30). 일 실시예에서, 상기 동작 인식은 상기 3차원 이미지 센서와 상기 피사체 사이의 거리 및 상기 피사체의 수평 이동을 측정함으로써 수행될 수 있다. 예를 들어, 상기 3차원 이미지 센서가 전자 책(E-book)으로 구현되는 경우, 상기 3차원 이미지 센서 앞에서 사용자가 손으로 페이지를 넘기는 동작을 취하면, 상기 3차원 이미지 센서는 상기 사용자의 손의 수평 이동을 측정할 수 있다. 또한, 상기 3차원 이미지 센서가 비디오 게임 장치 등으로 구현되는 경우, 사용자가 상기 비디오 게임 장치를 향해 다가오거나 상기 비디오 게임 장치로부터 멀어지면, 상기 3차원 이미지 센서는 상기 3차원 이미지 센서와 상기 사용자 사이의 거리를 측정할 수 있다.
상기 피사체의 수평 이동은 각 프레임 당 생성되는 복수의 3차원 이미지들을 비교하여 측정될 수 있다. 여기서, 상기 피사체의 수평 이동은 상기 3차원 이미지 센서와 상기 피사체를 잇는 방향과 수직하는 방향으로 상기 피사체가 상하 및 좌우로 이동하는 경우를 포함할 수 있다. 상기 3차원 이미지 센서와 상기 피사체 사이의 거리는 상기 광원 모듈에서 방출되는 광이 상기 피사체에서 반사되어 상기 3차원 이미지 센서에 도달할 때까지의 비행 시간(time of flight)에 기초하여 측정될 수 있다. 상기 거리 측정에 관하여는 도 2 및 도 3을 참조하여 상세히 후술한다.
도 2는 본 발명의 실시예들에 따른 3차원 이미지 센서를 나타내는 블록도이다.
도 2를 참조하면, 3차원 이미지 센서(100)는 픽셀 어레이(110), 아날로그-디지털 변환(Analog-to-Digital Conversion; ADC)부(120), 디지털 신호 처리(Digital Signal Processing; DSP)부(130), 광원 모듈(140) 및 제어부(150)를 포함한다.
픽셀 어레이(110)는 광원 모듈(140)에서 방출되고 피사체(160)에서 반사되어 되돌아온 광(RX)을 수신하고 수신된 광(RX)을 전기적인 신호로 변환하는 거리 픽셀들(depth pixel)을 포함한다. 상기 거리 픽셀들은 3차원 이미지 센서(100)로부터 피사체(160)까지의 거리에 대한 정보를 제공할 수 있다. 일 실시예에서, 3차원 이미지 센서(100)는 광원 모듈(140)에서 방출되는 저 휘도의 적외선 또는 근적외선(TX)을 이용할 수 있다. 다른 실시예에서, 3차원 이미지 센서(100)는 주변 광(ambient light)에 포함되는 적외선 또는 근적외선을 이용할 수 있다.
실시예에 따라, 픽셀 어레이(110)는 컬러 영상 정보를 제공하는 컬러 픽셀들을 더 포함할 수 있다. 이 경우, 3차원 이미지 센서(100)는 상기 컬러 영상 정보 및 상기 거리 정보를 동시에 제공하는 3차원 컬러 이미지 센서일 수 있다. 또 다른 실시예에서, 3차원 이미지 센서(100)는 주변 광에 포함되는 가시광선을 이용할 수 있다. 3차원 이미지 센서(100)는 저전력 대기 모드에서 상기 컬러 픽셀들을 이용하여 2차원 이미지를 생성하고, 3차원 동작 모드에서 상기 거리 픽셀들을 이용하여 3차원 이미지를 생성할 수 있다.
일 실시예에서, 적외선(또는 근적외선) 필터가 상기 거리 픽셀들 상에 형성되고, 컬러 필터(예를 들어, 적색, 녹색 및 청색 필터들)가 상기 컬러 픽셀들 상에 형성될 수 있다. 실시예에 따라, 픽셀 어레이(110)는 다양한 개수 비 및 사이즈 비로 거리 픽셀들 및 컬러 픽셀들을 포함할 수 있다.
ADC부(120)는 픽셀 어레이(110)로부터 출력되는 아날로그 신호를 디지털 신호로 변환할 수 있다. 실시예에 따라, ADC부(120)는 각 컬럼 라인마다 연결된 아날로그-디지털 변환기를 이용하여 아날로그 신호들을 병렬로 변환하는 컬럼 ADC를 수행하거나, 단일한 아날로그-디지털 변환기를 이용하여 상기 아날로그 신호들을 순차적으로 변환하는 단일 ADC를 수행할 수 있다.
실시예에 따라, ADC부(120)는 유효 신호 성분을 추출하기 위한 상관 이중 샘플링(Correlated Double Sampling; CDS)부를 포함할 수 있다. 일 실시예에서, 상기 CDS부는 리셋 성분을 나타내는 아날로그 리셋 신호와 신호 성분을 나타내는 아날로그 데이터 신호의 차이에 기초하여 상기 유효 신호 성분을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다. 다른 실시예에서, 상기 CDS부는 상기 아날로그 리셋 신호와 상기 아날로그 데이터 신호를 디지털 신호들로 각각 변환한 후 상기 유효 신호 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다. 또 다른 실시예에서, 상기 CDS부는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.
DSP부(130)는 ADC부(120)로부터 출력된 디지털 이미지 신호를 수신하고, 상기 디지털 이미지 신호에 대하여 이미지 데이터 처리를 수행할 수 있다. 예를 들어, DSP부(130)는 이미지 보간(Image Interpolation), 색 보정(Color Correction), 화이트 밸런스(White Balance), 감마 보정(Gamma Correction), 색 변환(Color Conversion) 등을 수행할 수 있다.
광원 모듈(140)은 소정의 파장을 가진 광(TX)(예를 들어, 적외선 또는 근적외선)을 출력할 수 있다. 광원 모듈(140)은 광원(141) 및 렌즈(143)를 포함할 수 있다. 광원(141)은 제어부(150)에 의해 세기가 주기적으로 변하도록 변조된 광(TX)을 출력할 수 있다. 예를 들어, 방출되는 광(TX)의 세기는 연속적인 펄스들을 가지는 펄스 파, 사인 파, 코사인 파 등과 같은 형태를 가지도록 변조될 수 있다. 실시예에 따라, 광원(141)은 발광 다이오드(light emitting diode, LED), 레이저 다이오드 등으로 구현될 수 있다. 렌즈(143)는 광원(141)에서 방출된 광(TX)을 피사체(160)에 집중시킬 수 있다. 일 실시예에서, 광원 모듈(140)은 3차원 이미지 센서(100)의 동작 모드에 따라 다른 휘도의 광을 방출할 수 있다. 저전력 동작 모드에서 광원 모듈(140)은 비활성화되거나 저 휘도의 광을 방출할 수 있다.
제어부(150)는 픽셀 어레이(110), ADC부(120), DSP부(130) 및 광원 모듈(140)을 제어할 수 있다. 제어부(150)는 픽셀 어레이(110), ADC부(120), DSP부(130) 및 광원 모듈(140)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 공급할 수 있다. 일 실시예에서, 제어부(150)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.
도 2에 도시되지는 않았지만, 3차원 이미지 센서(100)는 픽셀 어레이(110) 내의 로우 라인을 선택하는 로우 디코더 및 선택된 로우 라인을 활성화시키는 로우 드라이버를 더 포함할 수 있다. 또한, 일 실시예에서, 3차원 이미지 센서(100)는 ADC부(120)에 포함된 복수의 아날로그-디지털 변환기들 중 하나를 선택하는 컬럼 디코더 및 선택된 아날로그-디지털 변환기의 출력을 DSP부(130) 또는 외부의 호스트(미도시)에 제공하기 위한 컬럼 드라이버를 포함할 수 있다.
이하, 본 발명의 실시예들에 따른 3차원 이미지 센서(100)의 동작을 설명한다.
제어부(150)는 주기적으로 변동하는 세기를 가지도록 변조된 광(TX)을 출력하도록 광원 모듈(140)을 제어할 수 있다. 일 실시예에서, 광원 모듈(140)은 저전력 대기 모드에서 저 휘도의 광(TX)을 피사체(160)에 조사할 수 있다. 다른 실시예에서, 광원 모듈(140)은 저전력 대기 모드에서 비활성화되고, 3차원 이미지 센서(100)는 주변 광(ambient light)을 이용하여 피사체(160)를 검출할 수 있다. 이후, 방출된 광(TX)은 피사체(160)에서 반사되고, 수신 광(RX)으로서 픽셀 어레이(110)에 포함된 거리 픽셀들에 입사될 수 있다. 상기 거리 픽셀들은 수신 광(RX)에 상응하는 아날로그 신호를 출력할 수 있다. ADC부(120)는 상기 거리 픽셀들로부터 출력된 아날로그 신호를 디지털 신호로 변환할 수 있다. DSP부(130)는 상기 디지털 신호에 기초하여 픽셀 출력을 생성하고, 상기 픽셀 출력을 제어부(150) 및 외부의 호스트에 제공할 수 있다. 상기 픽셀 출력은 2차원 이미지에 상응한다. 제어부(150)는 생성된 상기 2차원 이미지에 기초하여 피사체(160)의 위치 변화를 검출할 수 있다.
상기 2차원 이미지 내에서 피사체(160)의 위치 변화가 검출되는 경우, 제어부(150)는 광원 모듈(140)을 제어하여 고 휘도의 광(TX)을 방출하도록 할 수 있다. 또한, 제어부(150)는 피사체(160)에서 반사되어 상기 거리 픽셀들에 입사되는 수신 광(RX)을 분석하여 피사체(160)의 동작 인식을 수행할 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 3차원 이미지 센서(100)는 저전력 대기 모드에서 낮은 전력을 소비하면서 피사체(160)에 대한 2차원 이미지를 생성하고, 상기 2차원 이미지 내에서 피사체(160)의 위치 변화가 검출되는 경우, 3차원 동작 모드로 전환될 수 있다. 3차원 이미지 센서(100)는 3차원 동작 모드에서 고 휘도의 광(TX)을 이용하여 피사체(160)에 대한 동작 인식을 수행할 수 있다. 그 결과, 3차원 이미지 센서(100)는 불필요한 전력 소모를 줄일 수 있다
도 3은 도 2의 3차원 이미지 센서에서 피사체의 거리를 계산하는 일 예를 설명하기 위한 도면이다.
도 2 및 도 3을 참조하면, 광원 모듈(140)에서 방출된 광(TX)은 주기적으로 변동하는 세기를 가질 수 있다. 예를 들어, 방출된 광(TX)의 세기(즉, 단위 면적당 광자의 수)는 사인 파의 형태를 가질 수 있다.
광원 모듈(140)에서 방출된 광(TX)은 피사체(160)에서 반사되어 수신 광(RX)으로서 픽셀 어레이(110)에 입사된다. 픽셀 어레이(110)는 수신 광(RX)을 주기적으로 샘플링할 수 있다. 실시예에 따라, 픽셀 어레이(110)는 수신 광(RX)의 각 주기(즉, 방출된 광(TX)의 주기)마다 180 도의 위상 차를 가지는 두 개의 샘플링 포인트들, 각각 90 도의 위상 차를 가지는 네 개의 샘플링 포인트들, 또는 다른 샘플링 포인트들에서 수신 광(RX)을 샘플링할 수 있다. 예를 들어, 픽셀 어레이(110)는 매 주기 마다 방출된 광(TX)의 90 도, 180 도, 270도 및 360도의 위상들에서 수신 광(RX)의 샘플들(A0, A1, A2, A3)을 추출할 수 있다.
수신 광(RX)은 추가적인 배경 광, 노이즈 등에 의해 광원 모듈(140)에서 방출된 광(TX)의 오프셋과 다른 오프셋(B)을 가질 수 있다. 수신 광(RX)의 오프셋(B)은 [수학식 1]과 같이 계산될 수 있다.
Figure pat00001
여기서, A0는 방출된 광(TX)의 90 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A1은 방출된 광(TX)의 180 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A2는 방출된 광(TX)의 270 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A3는 방출된 광(TX)의 360 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타낸다.
수신 광(RX)은 광 손실에 의해 광원 모듈(140)에서 방출된 광(TX)의 진폭(amplitude)보다 작은 진폭(A)을 가질 수 있다. 수신 광(RX)의 진폭(A)은 [수학식 2]와 같이 계산될 수 있다.
Figure pat00002
픽셀 어레이(110)에 포함된 거리 픽셀들 각각에 대한 수신 광(RX)의 진폭(A)에 기초하여 피사체(160)에 대한 흑백 영상 정보, 즉 2차원 이미지가 제공될 수 있다.
수신 광(RX)은 방출된 광(TX)에 대하여 3차원 이미지 센서(100)로부터 피사체(160)의 거리의 두 배에 상응하는 위상 차(φ)만큼 지연된다. 방출된 광(TX)에 대한 수신 광(RX)의 위상 차(φ)는 [수학식 3]과 같이 계산될 수 있다.
Figure pat00003
방출된 광(TX)에 대한 수신 광(RX)의 위상 차(φ)는 광의 비행 시간(Time-Of-Flight; TOF)에 상응한다. 3차원 이미지 센서(100)로부터 피사체(160)의 거리는 수학식 “R = c * TOF / 2”(여기서, R은 피사체(160)의 거리를 나타내고, c는 빛의 속도를 나타낸다)을 이용하여 계산될 수 있다. 또한, 3차원 이미지 센서(100)로부터 피사체(160)의 거리는 수신 광(RX)의 위상 차(φ)를 이용하여 [수학식 4]와 같이 계산될 수 있다.
Figure pat00004
여기서, f는 변조 주파수, 즉 방출된 광(TX)(또는 수신 광(RX))의 주파수를 나타낸다.
상술한 바와 같이, 본 발명의 실시예들에 따른 3차원 이미지 센서(100)는 광원 모듈(140)에서 방출된 광(TX)을 이용하여 피사체(160)에 대한 거리 정보를 획득할 수 있다. 도 2에는 사인 파의 형태를 가지도록 변조된 광(TX)을 이용한 예가 도시되어 있으나, 실시예에 따라, 3차원 이미지 센서(100)는 다양한 형태의 변조된 광(TX)을 이용할 수 있다. 또한, 3차원 이미지 센서(100)는 광(TX)의 세기의 파형, 거리 픽셀의 구조 등에 따라 다양한 방식으로 거리 정보를 추출할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 3차원 이미지 센서의 구동 방법을 나타내는 순서도이다.
도 4를 참조하면, 광원(light source) 모듈을 포함하는 3차원 이미지 센서의 구동 방법에 있어서, 상기 3차원 이미지 센서가 저전력 대기 모드에서 2차원 이미지를 생성하여 피사체의 위치 변화를 검출한다(S100). 본 발명의 실시예들에 따르면, 상기 피사체의 움직임이 없을 때, 즉 일반적인 대기 상태에서 상기 3차원 이미지 센서는 저전력 대기 모드로 구동될 수 있다. 실시예에 따라, 상기 광원 모듈은 저전력 동작 모드에서 비활성화되거나 저 휘도의 광을 방출할 수 있다. 상기 3차원 이미지 센서는 상기 광원 모듈에서 방출되는 저 휘도의 광 또는 주변 광을 이용하여 상기 2차원 이미지를 생성함으로써, 상기 2차원 이미지 내에서 상기 피사체의 위치 변화를 검출할 수 있다.
상기 2차원 이미지 내에서 상기 피사체의 위치 변화가 검출되면, 상기 3차원 이미지 센서의 모드를 저전력 대기 모드에서 3차원 동작 모드로 전환한다(S200). 상기 3차원 이미지 센서는 3차원 동작 모드에서 저전력 대기 모드에서보다 더 큰 전력을 소모한다. 일 실시예에서, 상기 광원 모듈은 3차원 동작 모드에서 활성화되거나 고 휘도의 광을 방출한다. 반대로, 상기 2차원 이미지 내에서 상기 피사체의 위치 변화가 검출되지 않으면, 상기 3차원 이미지 센서의 모드를 저전력 대기 모드로 유지할 수 있다.
다음으로, 상기 3차원 이미지 센서가 3차원 동작 모드에서 3차원 이미지를 생성하여 상기 피사체에 대한 동작 인식(gesture recognition)을 수행한다(S300). 일 실시예에서, 상기 동작 인식은 상기 3차원 이미지 센서와 상기 피사체 사이의 거리 및 상기 피사체의 수평 이동을 측정함으로써 수행될 수 있다. 일 실시예에서, 저전력 대기 모드에서 상기 2차원 이미지를 생성하기 위한 집광 시간(integration time)은 3차원 동작 모드에서 상기 3차원 이미지를 생성하기 위한 집광 시간보다 길 수 있다.
이후, 상기 동작 인식이 완료되면, 상기 3차원 이미지 센서의 모드를 3차원 동작 모드에서 저전력 대기 모드로 전환한다(S400). 본 발명의 실시예들에 따른 3차원 이미지 센서는 3차원 동작 모드에서 동작 인식이 완료되는 경우 다시 저전력 대기 모드로 전환됨으로써 불필요한 전력 소모를 감소시킬 수 있다.
상기 동작 인식의 완료 시점은 상기 3차원 이미지 센서가 적용되는 어플리케이션(application)에 따라 다를 수 있다. 예를 들어, 전자 책의 경우, 3차원 이미지 센서 앞에서 사용자의 손으로 페이지를 넘기는 동작(flip)을 한 번 취할 때 상기 동작 인식이 완료된다. 다시 말해, 사용자의 손이 상기 전자 책의 일측에서 수평 이동하여 타측으로 옮겨졌을 때 상기 동작 인식이 완료된다. 상기 전자 책에 관하여는 도 6a 내지 도 6d를 참조하여 상세히 후술한다. 또한, 다른 예로 계속적인 동작 제어가 필요한 비디오 게임 등의 경우, 단일 동작이 완료될 때 상기 동작 인식이 완료되는 것이 아니라 사용자의 설정에 따라 상기 동작 인식의 완료 시점이 결정된다. 즉, 사용자의 단일 동작이 완료되거나 소정의 시간 동안 사용자의 움직임이 없더라도 상기 동작 인식이 자동으로 완료되지는 않고, 사용자가 게임 세션(session)을 종료할 때 상기 동작 인식이 완료될 수 있다.
도 5는 도 4의 3차원 이미지 센서의 구동 방법의 일 예를 나타내는 순서도이다. 이하, 도 5를 참조하여 3차원 이미지 센서의 구동 방법을 설명한다.
3차원 이미지 센서를 켜면(S150), 상기 3차원 이미지 센서는 저전력 대기 모드로 구동된다(S250). 저전력 대기 모드에서 상기 3차원 이미지 센서에 포함되는 광원 모듈은 비활성화되거나 저 휘도의 광을 방출함으로써 전력 소모를 감소시킨다. 상기 3차원 이미지 센서는 저전력 대기 모드에서 2차원 이미지 센싱을 수행한다(S350). 2차원 이미지는 상대적으로 긴 집광 시간을 가지므로 낮은 휘도의 광으로도 생성될 수 있다. 생성되는 2차원 이미지를 분석하여 피사체의 움직임이 검출되는 경우, 상기 3차원 이미지 센서는 3차원 동작 모드로 모드를 전환한다(S450). 이때 상기 피사체의 움직임이 검출되지 않는 경우, 상기 3차원 이미지 센서는 저전력 대기 모드를 유지하면서 피사체의 움직임을 검출한다(S450). 3차원 동작 모드로 전환된 상기 3차원 이미지 센서는 상기 피사체에 대한 동작 인식을 수행한다(S550). 상기 3차원 이미지 센서는 동작 또는 상호작용(interactive session)이 종료될 때까지 계속하여 상기 동작 인식을 수행하고, 동작 또는 상호작용이 완료되는 경우, 다시 저전력 동작 모드로 돌아간다(S650).
도 6a 내지 도 6d는 도 4의 3차원 이미지 센서의 구동 방법에 따라 동작 인식을 수행하는 일련의 과정을 나타내는 도면들이다. 도 6a 내지 도 6d는 3차원 이미지 센서(600)를 적용한 어플리케이션의 일례로 전자 책(600)의 동작을 설명하기 위한 것이다.
도 6a를 참조하면, 3차원 이미지 센서(600)는 피사체의 움직임이 없는 대기 상태에서 저전력 대기 모드(2D MODE)로 구동된다. 이때 광원 모듈(610)은 비활성화되거나 저 휘도의 광을 방출한다. 3차원 이미지 센서(600)는 복수의 거리 픽셀들(630)을 포함한다.
도 6b에서, 전자 책(600)의 페이지를 넘기기 위해 사용자가 손(650)을 거리 픽셀들(630) 위로 올리면, 거리 픽셀들(630)은 피사체(650)를 검출하고 3차원 이미지 센서(600)의 모드가 3차원 동작 모드로 전환된다. 이에 따라, 광원 모듈(610)은 고 휘도의 광을 방출한다. 보다 구체적으로, 3차원 이미지 센서(600)는 저전력 동작 모드에서 거리 픽셀들(630)을 이용해 2차원 이미지를 생성하는데, 피사체(650)가 거리 픽셀들(630) 상에 나타나면 상기 생성된 2차원 이미지 내에서 피사체(650)의 위치 변화가 검출된다. 그러면, 3차원 이미지 센서(600)는 피사체(650)에 대한 동작 인식을 위해 동작 모드를 전환하게 된다.
도 6c는 사용자가 전자 책(600)의 페이지를 넘기기 위해 사용자의 손(650)을 거리 픽셀들(630) 상에서 수평으로 이동시키는 동작을 나타낸다. 3차원 이미지 센서(600)는 거리 픽셀들(630)을 이용해 3차원 이미지를 생성하는데, 각 프레임 당 생성되는 3차원 이미지들에 기초하여 피사체(650)의 이동 방향 및 동작의 종류를 분석한다. 예를 들어, 사용자의 손(650)이 거리 픽셀들(630) 상의 오른쪽 측면에서 왼쪽 측면으로 이동되는 경우 전자 책(600)의 페이지를 넘기는 동작으로 인식할 수 있다.
도 6d에서, 사용자의 손(650)이 거리 픽셀들(630) 상에서 사라지면, 3차원 이미지 센서(600)는 피사체(650)의 동작이 완료된 것으로 판단하고 동작 인식을 종료한다. 그러면, 3차원 이미지 센서(600)의 모드가 3차원 동작 모드에서 저전력 대기 모드로 전환되고, 전력 소모가 감소될 수 있다.
도 7은 3차원 이미지 센서에 포함되는 복수의 거리 픽셀들의 동작 방법의 일 예를 나타내는 도면이다.
도 7은 각각의 영역들(210)로 분할된 3차원 이미지 센서의 시야(200)를 나타낸다. 각 영역(210)은 픽셀 어레이에 포함된 하나의 거리 픽셀에 상응할 수 있다. 복수의 거리 픽셀들은 시야(200)의 중심으로부터의 거리에 따라 결정되는 사이즈를 가지는 복수의 픽셀 그룹들(230, 250)로 그룹화될 수 있다. 본 발명의 실시예들에 따른 3차원 이미지 센서는 상기 복수의 픽셀 그룹들에서 각각 생성되는 픽셀 그룹 출력 신호에 기초하여 2차원 이미지를 생성할 수 있다.
도 7에 도시된 바와 같이, 상기 복수의 거리 픽셀들은, 시야(200)의 중심으로부터의 거리가 증가될수록 각 픽셀 그룹에 포함된 거리 픽셀들의 수가 증가되도록 그룹화될 수 있다. 예를 들어, 시야(200)의 중심에 위치한 제 1 픽셀 그룹(230)은 가장 적은 수의 거리 픽셀들(예를 들어, 4개의 거리 픽셀들)을 포함할 수 있고, 시야(200)의 중심으로부터 이격된 제 2 픽셀 그룹(250)은 제 1 픽셀 그룹(230)보다 많은 수의 거리 픽셀들(예를 들어, 36개의 거리 픽셀들)을 포함할 수 있다. 이와 같이, 시야(230)의 중심부에 위치한 픽셀 그룹이 상대적으로 적은 수의 거리 픽셀들을 포함함으로써, 시야(200)의 중심부에서 높은 해상도를 가지는 2차원 이미지가 생성되고, 시야(200)의 주변부에 위치한 픽셀 그룹이 상대적으로 많은 수의 거리 픽셀들을 포함함으로써, 시야(200)의 주변부에서 향상된 신호 대 잡음 비(Signal-to-Noise Ratio; SNR)를 가지는 2차원 이미지가 생성될 수 있다. 일 실시예에서, 상기 2차원 이미지를 분석하여 피사체의 움직임을 검출할 수 있다.
한편, 설명의 편의상, 도 7에는 7 개의 픽셀 그룹들이 예시적으로 도시되어 있으나, 실시예에 따라, 픽셀 그룹들의 수는 다양할 수 있다. 또한, 설명의 편의상, 도 7에는 364 개의 거리 픽셀들이 예시적으로 도시되어 있으나, 실시예에 따라, 거리 픽셀들의 수는 다양할 수 있다. 게다가, 도 7에는 거리 픽셀들에 상응하는 시야(200)가 도시되어 있으나, 실시예에 따라, 컬러 픽셀들이 더 포함될 수 있다.
본 발명의 실시예들에 따른 3차원 이미지 센서는 저전력 대기 모드에서 2차원 이미지를 생성하여 피사체의 위치 변화를 검출할 수 있으므로, 상대적으로 긴 집광 시간을 가지며, 낮은 휘도의 광으로도 상기 2차원 이미지를 생성할 수 있다. 따라서, 각각의 거리 픽셀들의 출력 신호보다 세기가 약한 상기 픽셀 그룹들의 픽셀 그룹 출력 신호를 이용하여도 상기 2차원 이미지를 생성할 수 있고, 이에 따라 전력 소모를 추가적으로 감소시킬 수 있다.
도 8은 3차원 이미지 센서에 포함되는 복수의 거리 픽셀들의 동작 방법의 다른 예를 나타내는 도면이다.
도 8은 3차원 이미지 센서의 픽셀 어레이(300)의 일례를 나타낸다. 본 발명의 실시예들에 따른 3차원 이미지 센서의 픽셀 어레이(300)는 복수의 로우들(rows) 및 복수의 칼럼들(columns)로 구성된 매트릭스 형태로 배열된 복수의 거리 픽셀들(310)을 포함할 수 있다. 이때, 상기 3차원 이미지 센서는 저전력 동작 모드에서 상기 복수의 로우들 중 일부의 로우들(330)에 상응하는 거리 픽셀들만을 사용하여 2차원 이미지를 생성할 수 있다. 즉, 로우(row) 라인 별로 스킵(skip)하며 사용할 수 있다.
한편, 설명의 편의상, 도 8에는 364 개의 거리 픽셀들이 예시적으로 도시되어 있으나, 실시예에 따라, 거리 픽셀들의 수는 다양할 수 있다. 또한, 도 8에는 하나의 로우 라인씩 스킵하며 거리 픽셀들을 사용하는 것으로 도시되어 있으나, 실시예에 따라, 스킵되는 로우 라인들의 수는 다양할 수 있다. 게다가, 도 8에는 로우 라인 스키핑(skipping)이 도시되어 있으나, 다른 실시예에서, 칼럼 라인 스키핑이 사용될 수도 있다. 또 다른 실시예에서, 전체 프레임들 중 일부 프레임만을 사용하는 프레임 스키핑이 사용될 수 있다. 예를 들어, 상기 3차원 이미지 센서가 60FPS로 구동된다고 하면, 초당 30 프레임만 사용하여 상기 2차원 이미지를 생성할 수 있다.
본 발명의 실시예들에 따른 3차원 이미지 센서는 저전력 대기 모드에서 2차원 이미지를 생성하여 피사체의 위치 변화를 검출할 수 있으므로, 상대적으로 긴 집광 시간을 가지며, 낮은 휘도의 광으로도 상기 2차원 이미지를 생성할 수 있다. 따라서, 모든 거리 픽셀들을 사용하지 않고, 일부의 거리 픽셀들만을 이용하여 상기 2차원 이미지를 생성할 수 있고, 이에 따라 전력 소모를 추가적으로 감소시킬 수 있다.
도 9는 3차원 이미지 센서에 포함되는 픽셀 어레이의 일 예를 나타내는 도면이다.
도 9에 도시된 바와 같이, 실시예에 따라, 픽셀 어레이(400)는 복수의 거리 픽셀들(Z)과 더불어 복수의 컬러 픽셀들(R, G, B)을 포함할 수 있다.
도 9를 참조하면, 픽셀 어레이(400)는 컬러 영상 정보를 제공하는 컬러 픽셀들(R, G, B) 및 거리 정보를 제공하는 거리 픽셀(Z)을 포함하는 픽셀 패턴(410)을 포함할 수 있다. 픽셀 패턴(410)은 픽셀 어레이(400)에서 반복적으로 배치될 수 있다. 예를 들어, 컬러 픽셀들(R, G, B)은 레드 픽셀(R), 그린 픽셀(G) 및 블루 픽셀(B)을 포함할 수 있다. 실시예에 따라, 컬러 픽셀들(R, G, B) 및 거리 픽셀(Z) 각각은 포토 다이오드(Photodiode), 포토 트랜지스터(Photo-transistor), 포토 게이트(Photo-gate), 핀드 포토 다이오드(Pinned Photo Diode; PPD), 또는 이들의 조합을 포함할 수 있다.
일 실시예에서, 컬러 픽셀들(R, G, B)에는 컬러 필터들이 형성되고, 거리 픽셀(Z)에는 적외선(또는 근적외선) 필터가 형성될 수 있다. 예를 들어, 레드 픽셀(R)에는 레드 필터가 형성되고, 그린 픽셀(G)에는 그린 필터가 형성되며, 블루 픽셀(B)에는 블루 필터가 형성되고, 거리 픽셀(Z)에는 적외선(또는 근적외선) 패스 필터가 형성될 수 있다. 또한, 컬러 픽셀들(R, G, B)에는 적외선(또는 근적외선) 차단(Cut) 필터가 추가적으로 형성될 수 있다.
본 발명의 실시예들에 따른 3차원 이미지 센서는, 저전력 대기 모드에서 복수의 컬러 픽셀들(R, G, B)을 이용하여 2차원 이미지를 생성하고, 3차원 동작 모드에서 복수의 거리 픽셀들(Z)을 이용하여 3차원 이미지를 생성할 수 있다. 이 경우, 상기 3차원 이미지 센서는 상기 저전력 대기 모드에서 광원 모듈을 비활성화시킬 수 있다.
도 10은 본 발명의 실시예들에 따른 3차원 이미지 센서를 카메라에 응용한 예를 나타내는 블록도이다.
도 10을 참조하면, 카메라(800)는 수광 렌즈(810), 3차원 이미지 센서(100), 모터부(830) 및 엔진부(840)를 포함할 수 있다. 3차원 이미지 센서(100)는 3차원 이미지 센서 칩(820) 및 광원 모듈(140)을 포함할 수 있다. 실시예에 따라, 3차원 이미지 센서 칩(820) 및 광원 모듈(140)은 각각 별도의 장치로 구현되거나, 광원 모듈(140) 중 적어도 일부의 구성이 3차원 이미지 센서 칩(820)에 포함되도록 구현될 수 있다. 또한 수광 렌즈(810)는 3차원 이미지 센서(100)의 일부 구성 요소로서 포함될 수도 있다.
수광 렌즈(810)는 3차원 이미지 센서 칩(820)의 수광 영역(예를 들어, 도 2의 픽셀 어레이(110)에 포함된 거리 픽셀들 및/또는 컬러 픽셀들)으로 입사광을 집광할 수 있다. 일 실시예에서, 3차원 이미지 센서 칩(820)은 저전력 동작 모드에서 수광 렌즈(810)를 통하여 입사되는 광에 기초하여 2차원 이미지를 생성하고, 생성된 2차원 이미지를 분석하여 피사체의 움직임을 검출 할 수 있다. 상기 피사체의 움직임이 검출되는 경우, 3차원 이미지 센서 칩(820)은 광원 모듈(140)을 제어하여 고 휘도의 광을 피사체를 향해 방출하도록 하고, 수광 렌즈(810)를 통하여 입사되는 광에 기초하여 3차원 이미지를 생성하며, 생성된 3차원 이미지를 분석하여 상기 피사체에 대한 동작 인식을 수행할 수 있다. 또한, 3차원 이미지 센서 칩(820)은 수광 렌즈(810)를 통하여 입사된 광에 기초하여 거리 정보 및/또는 컬러 영상 정보를 포함하는 데이터(DATA1)를 생성할 수 있다.
3차원 이미지 센서 칩(820)은 클록 신호(CLK)에 기초하여 데이터(DATA1)를 엔진부(840)에 제공할 수 있다. 실시예에 따라, 3차원 이미지 센서 칩(820)은 MIPI(Mobile Industry Processor Interface) 및/또는 CSI(Camera Serial Interface)를 통하여 엔진부(840)와 인터페이싱할 수 있다.
모터부(830)는 엔진부(840)로부터 수신된 제어 신호(CTRL)에 응답하여 수광 렌즈(810)의 포커스를 조절하거나, 셔터링(shuttering)을 수행할 수 있다.
엔진부(840)는 3차원 이미지 센서(100) 및 모터부(830)를 제어한다. 또한, 엔진부(840)는 3차원 이미지 센서 칩(820)으로부터 수신된 데이터(DATA1)를 처리할 수 있다. 예를 들어, 엔진부(840)는 3차원 이미지 센서 칩(820)으로부터 수신된 데이터(DATA1)에 기초하여 입체 컬러 데이터를 생성할 수 있다. 다른 예에서, 엔진부(840)는 데이터(DATA1)에 포함된 상기 RGB 데이터에 기초하여 휘도 성분, 상기 휘도 성분과 청색 성분의 차, 및 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터를 생성하거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다. 엔진부(840)는 호스트/어플리케이션(850)에 연결될 수 있으며, 엔진부(840)는 마스터 클록(MCLK)에 기초하여 데이터(DATA2)를 호스트/어플리케이션(850)에 제공할 수 있다. 또한, 엔진부(840)는 SPI(Serial Peripheral Interface) 및/또는 I2C(Inter Integrated Circuit)를 통하여 호스트/어플리케이션(850)과 인터페이싱할 수 있다.
도 11은 본 발명의 실시예들에 따른 3차원 이미지 센서를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 11을 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 메모리 장치(1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050) 및 3차원 이미지 센서(100)를 포함할 수 있다. 한편, 도 11에 도시되지는 않았지만, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030) 및 입출력 장치(1040)와 통신을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에 더욱 연결될 수 있다. 메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(1020)는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), 모바일 DRAM 등과 같은 휘발성 메모리로 구현되거나, EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리(Flash Memory), PRAM(Phase Change Random Access Memory), RRAM(Resistance Random Access Memory), NFGM(Nano Floating Gate Memory), PoRAM(Polymer Random Access Memory), MRAM(Magnetic Random Access Memory), FRAM(Ferroelectric Random Access Memory) PRAM(Phase Change Random Access Memory), RRAM(Resistance Random Access Memory), NFGM(Nano Floating Gate Memory), PoRAM(Polymer Random Access Memory), MRAM(Magnetic Random Access Memory), FRAM(Ferroelectric Random Access Memory) 등과 같은 비휘발성 메모리로 구현될 수 있다. 저장 장치(1030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.
3차원 이미지 센서(100)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 상술한 바와 같이, 3차원 이미지 센서(100)는 저전력 대기 모드에서 낮은 전력을 소비하면서 피사체에 대한 2차원 이미지를 생성하고, 상기 2차원 이미지 내에서 상기 피사체의 위치 변화가 검출되는 경우, 3차원 동작 모드로 전환될 수 있다. 3차원 동작 모드에서는 고 휘도의 광을 이용하여 피사체에 대한 동작 인식을 수행할 수 있다. 그 결과, 3차원 이미지 센서(100)는 불필요한 전력 소모를 줄일 수 있다. 3차원 이미지 센서(100)는 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.
3차원 이미지 센서(100)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 3차원 이미지 센서(100)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.
한편, 컴퓨팅 시스템(1000)은 3차원 이미지 센서를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 휴대폰(Mobile Phone), 스마트 폰(Smart Phone), 개인 정보 단말기(personal digital assistant; PDA), 휴대형 멀티미디어 플레이어(portable multimedia player; PMP), 디지털 카메라(Digital Camera), 개인용 컴퓨터(Personal Computer; PC), 서버 컴퓨터(Server Computer), 워크스테이션(Workstation), 노트북(Laptop), 디지털 TV(Digital Television), 셋-탑 박스(Set-Top Box), 음악 재생기(Music Player), 휴대용 게임 콘솔(Portable Game Console), 네비게이션(Navigation) 시스템 등을 포함할 수 있다.
본 발명은 이미지 센서를 포함하는 여러 응용분야에서 폭 넓게 적용될 수 있다. 특히, 본 발명은 낮은 전력을 소모하여 배터리로 구동될 수 있는 이미지 센서를 포함하는 디지털 카메라, 컴퓨터, PDA, 전자 책, 스마트 폰, 스마트 패드, 전자 태블릿 등에 유용하게 이용될 수 있다.
상기에서는 본 발명을 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.
100: 3차원 이미지 센서 110: 픽셀 어레이
120: 아날로그-디지털 변환부 130: 디지털 신호 처리부
140: 광원 모듈 150: 제어부
160: 피사체

Claims (10)

  1. 광원(light source) 모듈을 포함하는 3차원 이미지 센서의 구동 방법에 있어서,
    상기 3차원 이미지 센서가 저전력 대기 모드에서 2차원 이미지를 생성하여 피사체의 위치 변화를 검출하는 단계;
    상기 2차원 이미지 내에서 상기 피사체의 위치 변화가 검출되면, 상기 3차원 이미지 센서의 모드를 상기 저전력 대기 모드에서 상기 저전력 대기 모드보다 더 큰 전력을 소모하는 3차원 동작 모드로 전환하는 단계; 및
    상기 3차원 이미지 센서가 상기 3차원 동작 모드에서 3차원 이미지를 생성하여 상기 피사체에 대한 동작 인식(gesture recognition)을 수행하는 단계를 포함하는 3차원 이미지 센서의 구동 방법.
  2. 제 1 항에 있어서, 상기 광원 모듈은, 상기 저전력 대기 모드에서 비활성화되고, 상기 3차원 동작 모드에서 활성화되는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  3. 제 1 항에 있어서, 상기 광원 모듈은, 상기 저전력 대기 모드에서 저 휘도의 광을 방출하고, 상기 3차원 동작 모드에서 고 휘도의 광을 방출하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  4. 제 3 항에 있어서, 상기 광원 모듈에서 방출되는 상기 저 휘도의 광 및 상기 고 휘도의 광은 적외선 또는 근적외선인 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  5. 제 1 항에 있어서, 상기 동작 인식은, 상기 3차원 이미지 센서와 상기 피사체 사이의 거리 및 상기 피사체의 수평 이동을 측정함으로써 수행되는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  6. 제 1 항에 있어서, 상기 3차원 이미지 센서는 복수의 컬러 픽셀들 및 복수의 거리 픽셀들을 포함하고,
    상기 3차원 이미지 센서는, 상기 저전력 대기 모드에서 상기 복수의 컬러 픽셀들을 이용하여 상기 2차원 이미지를 생성하고, 상기 3차원 동작 모드에서 상기 복수의 거리 픽셀들을 이용하여 상기 3차원 이미지를 생성하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  7. 제 1 항에 있어서, 상기 3차원 이미지 센서는 복수의 거리 픽셀들을 포함하고,
    상기 3차원 이미지 센서는, 상기 복수의 거리 픽셀들을 서로 다른 사이즈를 가지는 복수의 픽셀 그룹들로 그룹화하고, 상기 복수의 픽셀 그룹들에서 각각 생성되는 픽셀 그룹 출력 신호에 기초하여 상기 2차원 이미지를 생성하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  8. 제 7 항에 있어서, 상기 복수의 픽셀 그룹들의 사이즈는 상기 3차원 이미지 센서의 시야(Field Of View)의 중심으로부터의 거리에 따라 결정되고,
    상기 시야의 중심부에 위치하는 픽셀 그룹에 포함되는 거리 픽셀들의 수는 상기 시야의 주변부에 위치하는 픽셀 그룹에 포함되는 거리 픽셀들의 수보다 적은 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  9. 제 1 항에 있어서, 상기 3차원 이미지 센서는 복수의 로우들(rows) 및 복수의 칼럼들(columns)로 구성된 매트릭스 형태로 배열된 복수의 거리 픽셀들을 포함하고,
    상기 3차원 이미지 센서는 상기 복수의 로우들 중 일부의 로우들에 상응하는 거리 픽셀들을 사용하여 상기 2차원 이미지를 생성하는 것을 특징으로 하는 3차원 이미지 센서의 구동 방법.
  10. 광원(light source) 모듈을 포함하는 3차원 이미지 센서의 구동 방법에 있어서,
    상기 3차원 이미지 센서가 저전력 대기 모드에서 2차원 이미지를 생성하여 피사체의 위치 변화를 검출하는 단계;
    상기 2차원 이미지 내에서 상기 피사체의 위치 변화가 검출되면, 상기 3차원 이미지 센서의 모드를 상기 저전력 대기 모드에서 상기 저전력 대기 모드보다 더 큰 전력을 소모하는 3차원 동작 모드로 전환하는 단계;
    상기 3차원 이미지 센서가 상기 3차원 동작 모드에서 3차원 이미지를 생성하여 상기 피사체에 대한 동작 인식(gesture recognition)을 수행하는 단계; 및
    상기 동작 인식이 완료되면, 상기 3차원 이미지 센서의 모드를 상기 3차원 동작 모드에서 상기 저전력 대기 모드로 전환하는 단계를 포함하는 3차원 이미지 센서의 구동 방법.
KR1020120021785A 2012-03-02 2012-03-02 3차원 이미지 센서의 구동 방법 KR20130100524A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120021785A KR20130100524A (ko) 2012-03-02 2012-03-02 3차원 이미지 센서의 구동 방법
US13/743,595 US20130229491A1 (en) 2012-03-02 2013-01-17 Method of operating a three-dimensional image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120021785A KR20130100524A (ko) 2012-03-02 2012-03-02 3차원 이미지 센서의 구동 방법

Publications (1)

Publication Number Publication Date
KR20130100524A true KR20130100524A (ko) 2013-09-11

Family

ID=49042617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120021785A KR20130100524A (ko) 2012-03-02 2012-03-02 3차원 이미지 센서의 구동 방법

Country Status (2)

Country Link
US (1) US20130229491A1 (ko)
KR (1) KR20130100524A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009121A (ko) * 2017-07-18 2019-01-28 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
WO2020085525A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 이동단말기 및 그 제어 방법
US11500103B2 (en) 2018-10-23 2022-11-15 Lg Electronics Inc. Mobile terminal
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823347B1 (ko) * 2011-07-08 2018-02-01 삼성전자주식회사 센서와 이를 포함하는 데이터 처리 시스템
TW201419036A (zh) * 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
TW201422053A (zh) * 2012-11-29 2014-06-01 Beyond Innovation Tech Co Ltd 關聯於發光二極體的負載驅動裝置
US20140168372A1 (en) * 2012-12-17 2014-06-19 Eminent Electronic Technology Corp. Ltd. Sensing apparatus and sensing method for generating three-dimensional image information
US9210769B2 (en) * 2013-03-15 2015-12-08 Microchip Technology Incorporated Constant brightness LED drive communications port
US9336440B2 (en) 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
CN105981362B (zh) * 2014-02-18 2019-08-27 华为技术有限公司 用于获得图片的方法和多相机系统
US9560273B2 (en) * 2014-02-21 2017-01-31 Apple Inc. Wearable information system having at least one camera
US9665157B2 (en) 2014-04-15 2017-05-30 Qualcomm Incorporated System and method for deferring power consumption by post-processing sensor data
EP2988192A1 (en) * 2014-08-20 2016-02-24 Posterfy Oy Apparatus for providing touchless user interface
US9955294B2 (en) 2015-01-13 2018-04-24 Senaya, Inc. Aircraft container tracking device
TWI610198B (zh) * 2015-04-17 2018-01-01 鈺立微電子股份有限公司 遙控裝置與根據至少一靜態手勢產生控制指令的方法
US10009598B2 (en) * 2015-05-01 2018-06-26 Dell Products L.P. Dynamic mode switching of 2D/3D multi-modal camera for efficient gesture detection
US11340710B2 (en) * 2016-06-08 2022-05-24 Architectronics Inc. Virtual mouse
US11417002B2 (en) 2016-06-17 2022-08-16 Pixart Imaging Inc. Image recognition system, sensor module, and method for image recognition
TW201800901A (zh) * 2016-06-17 2018-01-01 原相科技股份有限公司 偵測動作資訊的方法及感光陣列
WO2018027530A1 (zh) * 2016-08-09 2018-02-15 深圳市瑞立视多媒体科技有限公司 红外光源的亮度调节方法与装置、光学动捕摄像机
WO2019033232A1 (zh) * 2017-08-14 2019-02-21 深圳市汇顶科技股份有限公司 三维影像系统及电子装置
US10885314B2 (en) * 2018-01-22 2021-01-05 Kneron Inc. Face identification system and face identification method with high security level and low power consumption
US10496936B2 (en) * 2018-03-05 2019-12-03 Capital One Services, Llc Systems and methods for preventing machine learning models from negatively affecting mobile devices through intermittent throttling
KR20220010885A (ko) * 2020-07-20 2022-01-27 에스케이하이닉스 주식회사 ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법
DE112022001551T5 (de) * 2021-03-12 2024-01-18 Sony Group Corporation Abbildungsvorrichtung und Entfernungsmesssystem

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8604932B2 (en) * 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
US8922666B2 (en) * 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009121A (ko) * 2017-07-18 2019-01-28 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
US11782161B2 (en) 2017-07-18 2023-10-10 Lg Innotek Co., Ltd. ToF module and object recognition device using ToF module
WO2020085525A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 이동단말기 및 그 제어 방법
US11500103B2 (en) 2018-10-23 2022-11-15 Lg Electronics Inc. Mobile terminal
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal

Also Published As

Publication number Publication date
US20130229491A1 (en) 2013-09-05

Similar Documents

Publication Publication Date Title
KR20130100524A (ko) 3차원 이미지 센서의 구동 방법
US10531069B2 (en) Three-dimensional image sensors
US10931884B2 (en) Pixel sensor having adaptive exposure time
US11888002B2 (en) Dynamically programmable image sensor
KR101694797B1 (ko) 3차원 이미지 센서의 구동 방법
EP3900324B1 (en) Programmable pixel array
KR20120105169A (ko) 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
US11910114B2 (en) Multi-mode image sensor
US9866740B2 (en) Image sensor having multiple output ports
KR20140056986A (ko) 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
KR20120111013A (ko) 3차원 이미지 센서 및 이를 이용한 거리 측정 방법
KR20140147334A (ko) 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
US20210281752A1 (en) Imaging device and electronic device including the same
JP2015169986A (ja) 半導体装置及び電子機器
US11789133B2 (en) Time-of-flight sensor and method of calibrating errors in the same
US9485483B2 (en) Image sensor and image sensor system including the same
KR20120111092A (ko) 촬상 장치
KR20120110614A (ko) 3차원 이미지 센서
Colaco et al. 3dim: Compact and low power time-of-flight sensor for 3d capture using parametric signal processing
US10929994B2 (en) Image processing device configured to generate depth map and method of operating the same
CN116821047B (zh) 一种感存算一体化电路、系统及方法
US20230105527A1 (en) Noise-reduction circuit for an image sensor
KR20180065891A (ko) 깊이 맵을 생성하도록 구성된 이미지 처리 장치 및 그 동작 방법
TW200517920A (en) Multifunctional optical device

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid