KR101861393B1 - 통합형 저전력 깊이 카메라 및 비디오 프로젝터 장치 - Google Patents

통합형 저전력 깊이 카메라 및 비디오 프로젝터 장치 Download PDF

Info

Publication number
KR101861393B1
KR101861393B1 KR1020137007745A KR20137007745A KR101861393B1 KR 101861393 B1 KR101861393 B1 KR 101861393B1 KR 1020137007745 A KR1020137007745 A KR 1020137007745A KR 20137007745 A KR20137007745 A KR 20137007745A KR 101861393 B1 KR101861393 B1 KR 101861393B1
Authority
KR
South Korea
Prior art keywords
light
frame
light source
sensor
control circuit
Prior art date
Application number
KR1020137007745A
Other languages
English (en)
Other versions
KR20130138225A (ko
Inventor
사기 카츠
쉴로모 펠젠쉬테인
아비샤이 애들러
지오라 야하브
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20130138225A publication Critical patent/KR20130138225A/ko
Application granted granted Critical
Publication of KR101861393B1 publication Critical patent/KR101861393B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7408—Direct viewing projectors, e.g. an image displayed on a video CRT or LCD display being projected on a screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

비디오 프로젝터 장치는 표면 또는 물체에 이미지를 투사하는 가시광 프로젝터 및 가시광 센서를 포함하는데, 이는 비행시간 원리를 이용하여 물체에 관한 깊이 데이터를 획득하는데 사용될 수 있다. 센서는 깊이 데이터를 획득할 뿐만 아니라 컬러 이미지를 획득하는 전하 커플링(charge-coupled) 장치일 수 있다. 투사된 광은 연속적인 프레임에서 제공될 수 있다. 프레임은, 비행시간 데이터를 얻기 위해 센서가 게이트되는 동안 연속 광이 후속하는 펄스 광의 게이트 서브프레임, 반사도 데이터를 얻기 위해 센서가 게이트되지 않는 동안 연속 광이 후속하는 펄스 광의 비게이트 서브프레임, 및 배경 광의 수준을 결정하기 위해 센서가 게이트되는 동안 연속 광이 후속하는 무광의 배경 서브프레임을 포함할 수 있다. 컬러 서브프레임은 센서가 활성인 동안 연속 광을 투사한다.

Description

통합형 저전력 깊이 카메라 및 비디오 프로젝터 장치{INTEGRATED LOW POWER DEPTH CAMERA AND PROJECTION DEVICE}
실시간 깊이 카메라(depth camera)는 카메라의 시야에서 사람이나 다른 물체까지의 거리를 결정하고, 카메라의 프레임 레이트에 기초하여 실질적으로 실시간으로 거리를 업데이트할 수 있다. 이러한 깊이 카메라는, 예를 들어, 물리적인 공간에서 인체나 기타 객체의 위치와 움직임에 관한 데이터를 획득하기 위한 모션 캡처 시스템에서 사용될 수 있고, 이 데이터를 연산 시스템에서 애플리케이션의 입력으로 사용할 수 있다. 군용, 엔터테인먼트용, 스포츠용 및 의료용과 같은 많은 애플리케이션이 가능하다. 깊이 카메라는 보통 시야를 조명하는 적외선 조명기와, 이미지를 형성하기 위해 시야로부터 반사광을 감지하는 하나 이상의 적외선 이미지 센서를 포함함다. 또한, 깊이 카메라는 사용자 가정의 텔레비전과 같은 디스플레이 장치와 통신하는 게임 콘솔의 일부로서 제공될 수도 있다. 그러나, 깊이 카메라 기술을 비디오 프로젝터 장치와 같은 휴대용 또는 기타 작은 폼팩터 장치에 적응시키는데 다양한 도전이 존재한다. 이들 도전은 전원 및 공간 제한을 포함한다.
소형의 크기와 감소된 전력 소비 및 비용의 목적을 달성하는 비디오 프로젝터 장치가 제공된다. 비디오 프로젝터 장치의 백라이트는, 가시광 카메라에 의해 검출될 수 있고 시야에 관한 거리/깊이 데이터로 변환될 수 있는 광 펄스를 생성하도록 변조된다. 이러한 종류의 변조는 투사된 광의 이미지 품질에 알아챌 수 있을 정도로 영향을 주지 않고, 장치 상에서 또는 장치에 연결된 호스트 상에서 실행되는 다양한 애플리케이션에 대해 사용되는 다양한 이동 또는 비이동 장치에 포함될 수 있다.
일 실시형태에서, 비디오 프로젝터 장치는 가시 광을 발산하는 프로젝터의 백라이트 등의 광원을 포함한다. 비디오 프로젝터 장치의 프로젝터 부분에서, 광원으로부터 발산되는 가시광을 변조하는 드라이버가 제공된다. 또한, 개별적으로 제어가능한 픽셀을 갖는 하나 이상의 광투과 LCD 패널이 제공될 수 있어서 광원으로부터의 가시광에 컬러 비디오 정보를 준다. 시야에서 컬러 코딩된 가시광을 투사하는 적어도 하나의 광 컴포넌트가 제공된다. 예를 들어, 하나 이상의 렌즈가 사용될 수 있다. 비디오 프로젝터 장치의 센서 부분에, 시야 내 적어도 하나의 물체로부터 반사되는 가시광을 포함하여 가시광을 감지하는 전하 커플링 장치(charge-coupled device)(CCD)와 같은 하나 이상의 센서가 제공되는데, 여기서 센서는 픽셀의 어레이를 포함한다. 바람직하게, 센서는 디지털 카메라에서 사용되는 유형의 종래의 CCD일 수 있다. 비디오 프레임을 투사하는 적어도 하나의 제어 회로가 제공된다. 프레임은 센서가 게이트 모드에서 동작되는 동안 광원이 펄스 모드에서 구동되는 게이트 서브프레임을 포함할 수 있는데, 그 후에 광 강도 값을 획득하기 위해 센서가 판독되는 동안 광원이 연속 모드에서 구동된다. 적어도 하나의 제어 회로는 비행시간 원리를 이용하여 광 강도 값에 기초하여 시야 내 적어도 하나의 물체에 관한 깊이 데이터를 획득한다. 깊이 데이터는 예를 들어 시야의 깊이 맵의 형태로 제공될 수 있다.
본 개요는 아래의 설명에서 더 설명되는 개념 중 선택된 것을 단순화된 형태로 소개하기 위하여 제공된다. 본 개요는 청구된 주제의 핵심 특징 또는 중요 특징을 식별하려는 것이 아니고, 청구된 주제의 범위를 제한하는데 사용되려는 것도 아니다.
도면에서, 동일한 부호의 구성요소는 서로 대응한다.
도 1은 비디오 프로젝터 장치가 관여되는 예시적인 환경의 측면을 도시한다.
도 2는 도 1의 예시적인 환경의 상면을 도시한다.
도 3은 도 1의 비디오 프로젝터 장치의 예시적인 블록도를 도시한다.
도 4(a)는 비디오 프로젝터 장치를 이용하는 프로세스를 도시한다.
도 4(b)는 도 4(a)의 단계 400에서 사용될 수 있는 서브프레임이 관여되는 프로세스의 예를 도시한다.
도 4(c)는 4(a)의 단계400에서 사용될 수 있는 서브프레임이 관여되는 프로세스의 다른 예를 도시한다.
도 5a는 도 4(b)의 단계 410에서 제시되는 바와 같은 게이트(gated) 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 5b는 도 4(b)의 단계 412에서 제시되는 바와 같은 비게이트(ungated) 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 5c는 도 4(b)의 단계 414에서 제시되는 바와 같은 백그라운드 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 5d는 도 4(b)의 단계 416에서 제시되는 바와 같은 컬러 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 6(a)는 도 4(c)의 단계 420에서 제시되는 바와 같은 게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 6(b)는 도 4(c)의 단계 422에서 제시되는 바와 같은 비게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 7a는 도 4(b)의 프로세스에 대응하는 프로젝터의 출력을 도시한다.
도 7b는 도 7a의 프로젝터 출력에 기초한 센서로의 입력을 도시한다.
도 7c는 연속적인 투사가 일어나는 비-깊이-감지 프레임을 도시한다.
도 7d는 교대로 낮고 높은 광 강도를 갖는 프레임을 제공하는 예시적인 프레임 시퀀스를 도시한다.
도 7e는 교대로 길고 짧은 프레임 길이를 갖는 프레임을 제공하는 예시적인 프레임 시퀀스를 도시한다.
도 8(a)는 도 4(c)의 프로세스에 대응하는 프로젝터의 출력을 도시한다.
도 8(b)는 도 8(a)의 프로젝터 출력에 기초한 센서에 대한 입력을 도시한다.
도 9(a)는 구형파를 이용하는 프로젝터로부터의 출력인 펄스 광을 도시한다.
도 9(b)는 도 9(a)의 프로젝터의 출력에 기초한 센서에 대한 입력인 펄스 광을 도시한다.
도 10(a)는 삼각파를 이용하는 프로젝터로부터의 출력인 펄스 광을 도시한다.
도 10(b)는 도 10(a)의 프로젝터 출력에 기초한 센서에 대한 입력인 펄스 광을 도시한다.
많은 애플리케이션에서 유용한 비디오 프로젝터 장치가 제공된다. 한 가지 예시적 애플리케이션은 표면에 이미지를 투사하는데, 여기서 이미지는 사용자 인터페이스 내 메뉴 아이템과 같은 다수의 선택가능한 이미지 부분을 갖는다. 사용자는 예를 들어 이미지 부분 중 하나를 선택하는데 그의 손을 이용하여 제스처를 취할 수 있다. 대응하는 제어 입력은, 새로운 비디오 또는 정지 이미지 컨텐츠를 선택하거나, 현재 투사되는 비디오 또는 정지 이미지 컨텐츠를 수정하거나, 게임을 플레이하거나, 전화 통화와 같은 통신을 시작하는 등을 위한 애플리케이션에 제공될 수 있다. 한 가지 접근에서, 표면에 투사된 이미지는 터치 디스플레이가 된다. 다른 예시적 애플리케이션에서, 시야 내 물체의 3-D 형태가 감지되고 기록된다. 비디오 프로젝터 장치는 연속적인 광을 시야 내 표면 또는 물체 위 등에 시야 내에서 희망 패턴으로 투사하는 한편 비행시간(time-of-flight) 원리를 이용하여 깊이 데이터를 획득하는데 사용하기 위해 펄스 광(pulsed light)을 또한 제공하기 위해 가시 광 프로젝터를 유용하게 사용한다. 이미지 품질이 현저히 감소되지 않도록, 연속적인 광 출력이 제공되는 기간에 대해 제한된 기간 동안 가시광 펄스를 제공하도록 광 소스를 주기적으로 구동함으로써 깊이 데이터가 획득될 수 있다. 제한된 기간 동안에, 시야로부터 반사된 가시광 펄스를 검출하기 위해 비디오 프로젝터 장치의 센서가 게이트된다(gated). 센서는 또한, 통상의 디지털 카메라와 같이, 정지 이미지, 예를 들어, 사진, 또는 비디오 이미지, 예를 들어 비디오를 획득하는 등을 위하여 시야로부터 컬러 데이터를 획득하는 기능을 가질 수 있다.
비디오 프로젝터 장치에서 보통 사용되는 구성요소는, 장치를 3-D 데이터 검출 장치로 변환함으로써 추가의 기능을 달성하기 위해 새로운 방식으로 사용될 수 있다. 예를 들어, 3-D 깊이 데이터는 비디오 이미지가 투사되는 표면 근처의 물체에 대해 획득될 수 있다.
비디오 프로젝터는 가시광 펄스가 제공되지만 연속 광 출력이 제공되지 않는 감지 전용(sensing-only) 모드에서 동작할 수도 있다. 다른 옵션에서, 색 대비(color contrast)를 증가시키기 위해, 비디오 프로젝터가 투사 및 감지(projection and sensing) 모드에서 동작하는 때에 비디오 프로젝터가 투사 전용(projectoin-only) 모드에서 동작하는 때에 비해 프레임 길이가 길게 되거나 및/또는 광 강도가 감소될 수 있다.
도 1은 비디오 프로젝터 장치가 관여되는 예시적인 환경의 측면을 도시한다. 서도에 언급한 바와 같이, 깊이 카메라는 점차 흔해지고 있다. 깊이 감지 기술은 이동 또는 기타 소형 폼팩터 비디오 프로젝터 장치와 같은 기타 장치에서 사용될 수 있다. 비디오 프로젝터 장치는 피코 프로젝터, 이동 프로젝터 또는 포켓 프로젝터라고도 불리는 소형 핸드헬드 장치를 포함한다. 이와 같은 장치는 편평한 벽이나 테이블 또는 일반적으로 임의의 형태의 표면/물건과 같은 임의의 근처의 보기 표면에 디지털 이미지를 투사할 수 있는 소형화된 하드웨어 및 소프트웨어를 포함할 수 있다. 비디오 프로젝터 장치는, 테이블 위에 놓는 장치와 벽 또는 기타 표면에 설치되는 장치를 포함하여, 반드시 핸드헬드 또는 휴대용일 필요는 없는 기타 장치를 포함할 수 있다.
하나의 애플리케이션은 정지 또는 비디오 이미지를 표시하고, 사용자가 손 제스처를 통해 움직임으로써 이미지를 수정할 수 있도록 하는 것이다. 예를 들어, 손 또는 한 손의 손가락을 벌리는(moving apart) 제스처는 투사된 이미지가 확대/줌인되도록 할 수 있고, 반대의 동작은 투사된 이미지가 축소/줌아웃되도록 할 수 있다. 객체가 선택되는 때에 객체의 투사가 변경되도록 투사된 이미지로부터 물체를 들어올리거나 기타 선택할 수 있다. 손을 옆으로 흔들거나(wave) 휙 움직이는(flick) 제스처는 메뉴의 스크롤 또는 비디오나 정지 이미지 디스플레이를 중지 또는 시작하도록 할 수 있다. 사용자가 투사된 객체가 실제 물리적 객체인 것처럼 객체와 상호작용하는 NUI(natural user interface) 경험이 생성될 수 있다. 많은 다른 애플리케이션이 가능하다. 사람의 일부, 전체 사람 또는 다른 물체를 추적하는 것에 관한 추가의 정보는, 예를 들어, 2010.8.5. 공개된 명칭 "Visual Target Tracking"인 US 2010/0197399 및 2010.8.5. 공개된 명칭 "Body Scan"인 US 2010/0194872에서 찾아볼 수 있으며, 이들 각각은 본 명세서에 참조로 포함된다.
도 1에서, 비디오 프로젝터 장치(100)는 테이블 위(102)에 놓이는 것으로 도시된다. 프로젝터 렌즈(100)는 본 예에서 광선(112 및 114)에 의해 경계 지워지는 시야에서 가시광선을 전송 또는 투사하는데 사용된다. 투사된 광의 일부는, 광선(122 및 124)에 의해 경계지워지는 영역에 의해 도시되는 바와 같이 반사되고, 카메라 렌즈(120)를 통해 비디오 프로젝터 장치(100)에서 센서에 의해 감지된다. 손의 존재와 손의 여하한 움직임이 센서에 의해 감지될 수 있도록 사용자(130)는 그의 팔이나 손(132)을 투사된 시야에 놓는다.
도 2는 도 1의 예시적인 환경의 상면을 도시한다. 테이블 상부(102) 상에 비디오 프로젝터 장치에 의해 이미지 영역(150)이 투사된다. 예를 들어, 이미지 영역(150)은 이미지 부분(152, 154, 156 및 158)을 포함한다. 사용자는 이미지 부분(152) 위에 손(132)을 배치함으로써 이미지 부분(152)을 선택할 수 있다. 이미지 부분(152)의 선택은 다양한 방식으로 트리거될 수 있다. 일 접근에서, 1-2초 등의 최소 시간 기간에 걸친 이미지 부분(152) 위의 손의 존재는 이미지 부분(152)의 선택을 트리거할 수 있다. 다른 접근에서, 사용자는 이미지 부분(152) 위에 손을 배치한 후에 이미지 부분(152) 쪽으로 손을 내리거나 이미지 부분(152)으로부터 멀리 손을 들어올리는 것과 같은 제스처를 수행하도록 요구된다. 많은 다르 가능성이 존재한다. 반드시 편평할 필요는 없는 다른 표면에 또는 수직 표면 상에 이미지가 투사되는 유사한 예가 제공될 수 있다.
도 3은 도 1의 비디오 프로젝터 장치의 예시적인 블록도를 도시한다. 구성요소들은 단일의 하우징 내에 제공될 수 있다. 비디오 프로젝터 장치(300)는 백라이트와 같은 광원(318)을 포함하는데, 이는 연속적인 또는 펄스 가시광을 발산하도록 활성화될(전원공급되거나 켜질) 수 있다. 광원(318)은 전력 소비를 줄이기 위해 가시광을 발산하지 않도록 비활성화될(전원공급중단되거나 꺼질) 수도 있다. 광원은 깊이 감지 동안 변조(modulate)되고 비디오 투사 동안 활성화되도록 유지된다. 꺼진 겨우, 이는 시스템에 컬러 비디오/이미지를 캡처만 할 수 있음을 의미한다. 한 가지 가능한 접근에서, 광원(318)은 하나 이상의 발광 다이오드(LED)를 포함할 수 있다. 도시되지 않은 다양한 다른 광학 컴포넌트도 보통 사용된다. 한 가지 접근에서, 금속 할로겐 램프(metal halide lamp)와 같은 백색 광원이 사용되는 때에, 광원은 프리즘에 의해 3개의 색 요소(예를 들어, 적, 녹 및 청)로 분리되는 백색광을 포하고, 각각의 색 요소는 별도의 변조기를 통과한다. 각 색상의 변조된 광은 이후에 적절한 광학 컴포넌트를 이용하여 결합되고 투사된다. 다른 접근에서, 백색광이 컬러휠(color wheel)과 같은 컴포넌트를 통해 단일 변조기로 제공되어서, 예를 들어, 적, 녹 및 청 성분이 변조기에 시간 다중화 방식(time-multiplexed)으로 제공된다. 다른 접근에서, LED가 사용되는 때 등에, LED의 각 그룹은 적, 녹 및 청과 같은 상이한 색을 발산하고, 각각의 색 성분은 별개의 변조기를 통과하며, 각 색상의 변조된 광은 이후에 적절한 광학 컴포넌트를 이용하여 결합되고 투사된다.
광원에 대한 다른 옵션은 Digital Light Processing (DLP)® 칩(텍사스 인스트루먼트 社(Texas Instruments, Inc.))인데, 이는 2백만 개에 달하는 힌지로 설치된(hinge-mounted) 마이크로스코픽 미러의 정사각 어레이를 포함하며, 마이크로스코픽 미러는 스크린이나 다른 표면에 디지털 이미지를 반사한다. DLP 칩의 변조는 LCD 칩의 변조와 유사하다. 단일 DLP 칩 구성에서, 백색광은 컬러 필터를 통과하여 적, 녹, 청, 그리고 옐로우(yellow), 시안(cyan), 마젠타(magenta) 등과 같은 추가적 주색(primary color)이 DLP 칩의 표면에서 시퀀스로 빛나게 한다. 미러의 스위칭과 그들이 온 또는 오프인 시간의 비율은 그 위에서 빛나는 색상에 따라 조정된다. 그러면, 투사되는 풀 컬러 이미지를 생성하기 위해 시퀀스 컬러가 조합된다.
LCD 패널(320)은 광원으로부터 발산된 광을 컬러 비디오 정보로 인코딩하여, 투사 렌즈(322)와 같은 적어도 하나의 광 컴포넌트를 통해 투사되는 인코딩된 컬러 가시광을 제공한다. 예를 들어, 광 투과(light-transmissive) LCD 칩을 이용하는 등에 의하여 하나 이상의 광 투과 LCD 패널이 제공될 수 있다. LCD 패널은 프로젝터 제어 회로(310)에 응답하여, 각각의 픽셀이 개별적으로 제어될 수 있는 하나 이상의 광 투과 픽셀의 어레이를 포함할 수 있다. LCD 패널의 픽셀은 투사될 희망 컬러 이미지와 같은 이미지 데이터를 전해주도록 제어될 수 있다.
투사 렌즈(322) 및/또는 센서 렌즈(36)는 센서 제어 회로(340)로부터 프로젝터 제어 회로(310)로 제공되는 깊이 정보에 기초하여, 자동초점(auto-focus) 기능등을 제공하도록 프로젝터 제어 회로(310)에 의해 제어될 수 있다. 시야 내의 하나 이상의 객체의 알려진 깊이 또는 깊이 범위를 이용하여, 최적 초점이 설정될 수 있다.
프로젝터 제어 회로(310)는 프로세서(312)에 의해 표시되는 하나 이상의 프로세서, 메모리 컴포넌트(314)에 의해 표시되는 하나 이상의 메모리 컴포넌트 및 드라이버(316)에 의해 표시되는 하나 이상의 드라이버를 포함할 수 있다. 프로세서는 예를 들어 여기에 설명되는 기능을 제공하기 위해 메모리(314)에 저장되는 명령을 실행하는 마이크로 프로세서일 수 있다. 메모리(314)는 프로세서(312)에 의해 실행되는 명령을 저장할 수 있을 뿐만 아니라, 희망 투사 이미지를 제공하도록 LCD 패널(320)을 제어하기 위해 이미지 데이터를 저장할 수 있다. 예를 들어, 메모리(314)는 RAM(random access memory), ROM(read only memeory), 캐시, 플래시 메모리, 하드 디스크 또는 여하한 기타 적당한 유형의(tangible) 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 메모리 컴포넌트(314)는, 예를 들어, 버스를 통해 프로젝터 제어 회로(310) 및/또는 프로세서(312)와 통신하는 별도의 컴포넌트일 수 있다. 또는, 메모리 컴포넌트(314)는 프로세서(312) 및/또는 프로젝터 제어 회로(310)로 통합될 수 있다. 메모리(314)는 여기 설명된 바와 같이 비디오 프로젝터 장치에서 이미지 데이터를 처리하기 위한 방법을 수행하도록 적어도 하나의 프로세서(312)를 프로그래밍하기 위해 컴퓨터 판독가능 소프트웨어를 포함하는 유형의(tangible) 컴퓨터 판독가능 저장 매체이다.
드라이버(316)는 여기에 설명되는 바와 같이 광원을 구동 또는 변조하기 위해 광원과 통신한다. 예를 들어, 발산된 광이 변조되도록 광원으로의 전류 및/또는 전압은 드라이버에 의해 변조될 수 있다. 드라이버는 고속 펄스(fast pulse) 모드와 연속 조명 모드 모두를 지원하는 커스텀 드라이버일 수 있다. 프로젝터 제어 회로는 LCD 패널의 픽셀의 행과 열을 제어할 수 있다.
사용자 인터페이스(330)는 사용자가 비디오 프로젝터 장치를 제어하라는 명령을 입력할 수 있게 하는 버튼이나 터치 스크린과 같은 제어를 포함할 수 있다. 예시적인 명령은 프레임의 비디오 프로젝터 시퀀스를 시작하거나 중단하는 것, 정지 이미지, 예를 들어, 단일 프레임의 투사를 시작하거나 중단하는 것, 및 깊이 감지 모드를 시작하거나 중단하는 것을 포함한다. 한 가지 접근에서, 사용자는 감지 전용 모드에서 스냅 샷(snap shot)과 유사한 깊이 데이터의 단일 프레임을 캡처하는 옵션을 갖는다. 사용자는 예를 들어, 투사 및 깊이 감지 모드(projecting and depth-sensing mode), 투사 및 비 깊이 감지 모드(projecting and non-depth-sensing mode), 또는 깊이 감지 및 비 투사 모드(depth-sensing but non-projecting mode)를 설정할 수 있다. 사용자는 시야 내 물체를 추적하는데 있어 응답이나 감도에 영향을 주는 설정을 조정할 수도 있다. 상이한 사용자는, 그들이 투사된 이미지와 상호작용하면서, 상이한 상황에서 상이한 추적 감도 레벨을 선호할 수 있다. 사용자는 또한 프로젝터 밝기와 같은 설정을 조정할 수 있다.
비디오 프로젝터 장치(300)의 센서 부분은 시야로부터의 가시광이 통과하여 센서(350)에 의해 표시되는 하나 이상의 센서에 도달하는 센서 렌즈(360)를 포함한다. 가시광은 투사된 광뿐만 아니라, 비디오 프로젝터 장치 외의 인공 광원, 예를 들어 전기 램프로부터, 자연 광원, 예를 들어 방안의 햇빛으로부터 등의 주변 배경 광의 반사를 포함할 수 있다. 센서는 하나 이상의 CCD를 포함할 수 있는데, 예를 들어, 이는 광 감지(light-sensitive) 픽셀을 갖는다. 각각의 픽셀은 전하를 생성하고, 누적 또는 집적된 전하의 양은 픽셀에 도달한 광 강도의 표시로서 판독될 수 있다. 센서는 센서 제어 회로(340)의 제어 하에서 게이트(gated) 또는 비게이트(ungated) 모드에서 동작할 수 있다.
게이트 동작의 일 구현에서 픽셀은 제어된 시퀀스로 교대로 활성 및 비활성된다. 픽셀이 활성화되는 시간은 게이트 기간이라고 불린다. 픽셀이 활성화되는 때에, 픽셀은 광을 감지하고 전하를 누적할 수 있다. 픽셀이 비활성화되는 때에, 광이 픽셀에 입사하는 경우에도 픽셀은 광을 감지하고 전하를 누적할 수 없다. 게이트 동작의 다른 구현에서, 센서(350)와 렌즈(360) 사이에 있고 셔터와 같이 광을 차단하거나 통과시키는 기능을 갖는 별도의 변조기(미도시)가 제공될 수 있다. 변조기나 센서는 희망에 따라 열리거나 닫힐 수 있는 셔터로서 동작할 수 있다.
비게이트 동작의 일 구현에서, 센서 픽셀은 활성화되어 방해되지 않는 시간 기간에 전하를 누적하고, 그 후에 누적된 전하의 양은 센서 제어 회로(340)에 의해 독출된다.
센서 제어 회로(340)는 프로세서(342)에 의해 표시되는 하나 이상의 프로세서와 메모리 컴포넌트(348)에 의해 표시되는 하나 이상의 메모리 컴포넌트를 포함할 수 있다. 프로세서는 마이크로 프로세서일 수 있고, 예를 들어, 이는 여기에 설명되는 기능을 제공하기 위해 메모리(348)에 저장되는 명령을 실행한다. 메모리(348)는 프로세서(312)에 의해 실행되는 명령을 저장할 수 있을 뿐만 아니라, 센서로부터의 판독 및 이미지 데이터를 저장한다. 메모리(348)는 전술한 바와 같은 메모리(314)와 유사하게 구성될 수 있다. 메모리(348)는, 여기에 설명된 바와 같은 비디오 프로젝터 장치에서 이미지 데이터를 처리하기 위한 방법을 수행하도록 적어도 하나의 프로세서(342)를 프로그래밍하기 위해 컴퓨터 판독가능 소프트웨어를 포함하는 유형의(tangible) 컴퓨터 판독가능 저장 매체이다.
프로세서(342)는 센서로부터 판독을 수신하고 이를 센서의 각각의 픽셀에 대한 깊이 데이터로 변환하는 깊이 데이터 처리 부분(344)을 포함할 수 있다. 예를 들어, 픽셀로부터의 판독은 누적된 전하의 양을 나타낼 수 있고, 이는 센서의 특성에 기초하여 광 감도와 상관(correlated)될 수 있다. 또한, 프로젝터가 펄스 모드에서 동작하고 센서가 게이트 모드에서 동작하는 때에, 픽셀의 감지된 광의 타이밍이 프로젝터로부터의 광의 펄스와 상관될 수 있다. 이는 깊이 값이 비행시간(time-of-flight) 원리에 기초하여 픽셀과 연관될 수 있도록 한다. 깊이 값을 얻기 위하여, 게이트 및 비게이트의 2개의 측정이 필요하다. 센서의 픽셀 중 일부 또는 전부로부터의 깊이 값의 세트는 감지된 이미지 데이터의 프레임에 대한 깊이 맵을 제공한다. 예를 들어, 깊이 맵은 메모리(348)에 저장될 수 있다. 센서 제어 회로(340)는 깊이 데이터 처리 부분(344)이 깊이 값을 계산하기 위해 사용하는 타이밍 데이터를 얻기 위해 프로젝터 제어 회로와 통신할 수 있다. 선택적으로, 중앙 제어 회로는, 프로젝터 제어 회로(310)에서 펄스 또는 연속 모드를 설정하기 위한, 그리고 센서 제어 회로(340)에서 게이트 또는 비게이트 모드를 설정하기 위한 타이밍 데이터를 제공하는 것을 포함하여, 프로젝터 제어 회로(310)와 센서 제어 회로(340)를 관리한다.
프로세서(342)는 정지 또는 비디오 카메라 센서가 동작하는 것과 유사한 방식으로 센서로부터 컬러 픽셀 데이터를 수신하는 컬러 데이터 처리 부분(346)을 포함할 수 있다. 이러한 방식으로, 센서의 시야의 컬러 이미지가 획득되고, 예를 들어, 메모리(348)에 저장될 수 있다.
프로세서(342)는 또한, 손 제스처를 포함하여 사용자에 의해 수행될 수 있는 제스처에 관한 정보를 각각 갖는 제스처 필터의 집합과 같은 제스처 라이브러리(347)를 포함할 수 있다. 검출된 움직임을 각각의 필터에 비교함으로서, 사용자에 의해 수행되는 특정한 제스처 또는 움직임이 식별될 수 있다.
도 4(a)는 비디오 프로젝터 장치를 사용하는 프로세스를 도시한다. 단계400은 깊이 데이터를 획득하기 위해 센서를 판독하는 한편 가시광을 시야로 투사함으로서 이미지 데이터의 프레임을 제공하는 것을 포함한다. 단계 402는 깊이 데이터에 기초하여 애플리케이션으로 제어 입력을 제어하는 것을 포함한다. 결정 단계 404는 다음 프레임이 투사되어야 하는지 여부를 결정한다. 다음 프레임이 투사되어야 한다면, 프로세스는 단계 400에서 시작하여 반복된다. 다음 프레임이 투사되어야 하지 않으면, 프로세스는 단계 406에서 종료한다. 단계 400의 예시적인 구현이 아래에 논의된다.
도 4(b)는 도 4(a)의 단계 400에서 사용될 수 있는 서브 프레임이 관여되는 프로세스의 예를 도시한다. 일반적으로, 광원에 의해 발산되는 광은 센서의 게이팅 시퀀스에 따라 변조될 수 있다. 예를 들어, 센서의 한 가지 가능한 구현은 SONY® 모델 ICX424AQ CCD 센서이다. ICX424AL은 정사각형 픽셀 어레이를 갖는 대각선 6mm (타입 1/3) 인터라인 CCD 솔리드 스테이트 이미지 센서이다. 프로그레시브 스캔은 약 1/60 초 내에 모든 픽셀의 신호가 독립적으로 출력될 수 있도록 한다. 칩은 가변 전하-저장 시간을 갖는 전자 셔터를 갖는데, 이는 기계적인 셔터 없이 풀 프레임 정지 이미지를 실현할 수 있게 한다. 이는 VGA(Video Graphics Array) (640x480 @ 60Hz), QVGA(quarter-VGA) (320x240 @ 120Hz) 및 QQVGA(quarter-QVGA) (160x120 @ 240Hz)를 포함하는 몇 가지 픽셀 해상도/모드를 지원한다. 도 7a 및 7b를 또한 참조하면, QQVGA 모드가 사용된다고 가정하는데, 이는 4개의 섹션이나 서브프레임으로 나누어지는 풀 프레임 기간 또는 33msec. 투사 기간을 포함한다. 각각의 서브 프레임에서, 센서는 광에 노출되고, 광 강도 값이 선택된 서브 프레임에서 판독된다.
풀 프레임은 투사될 픽셀 데이터의 프레임에 의해 정의될 수 있다. 펄스 또는 연속 모드로 픽셀 데이터가 투사되는 다른 서브프레임에서, 프레임의 동일한 픽셀 데이터가 사용될 수 있다. 하지만, 투사된 이미지가 검은 부분을 갖는다면, 펄스 광이 동일한 이미지를 나타내는 경우에 깊이를 측정할 수 없을 것이다. 이는 블랙 레벨을 변경하는 것(그러면 무엇인가를 투사할 것이다)을 포함하여 몇 가지 방법으로 해결될 수 있다. 서브 프레임은 결합되는 때에 프레임의 완전한 출력을 제공하는 이미지이다. 예를 들어, 게이트 및 미게이트 이미지가 서브프레임이다. 우리의 용어사용에서, 프레임은 감지의 한 사이클 내의 모든 서프 브레임을 포함한다. 투사된 픽셀 데이터는 광원 변조에 (동기화되기는 하지만) 독립적이다. 광원의 드라이버는 일반적으로 투사된 픽셀 데이터에 액세스하지 못한다.
단계 410은 연속 광이 후속하는 펄스 광을 이용하여 게이트 서브 프레임을 제공한다. 이 서브 프레임에서, 펄스는 프로젝터에 의해 전송되고 게이트 이미지는 센서에 의해 감지되는데, 예를 들어, 센서는 각각의 전송 펄스에 대응하는 제한된 인터벌 동안에만 광을 감지하도록 허용된다. 프로젝터는 펄스 조명이 사용된 후에 연속 조명 모드를 제공한다. 게이트 서브 프레임은 시야 내의 하나 이상의 물체의 깊이 데이터와 상관되는 광 강도 값을 도출할 수 있다.
단계 412는 연속 광이 후속하는 펄스 광을 이용하여 비게이트 서브프레임을 제공한다. 이 서브프레임에서, 펄스는 다시 프로젝터에 의해 전송되지만 비게이트 이미지는 센서에 의해 감지된다. 보통 비게이트 모드에서, 센서는 게이트 모드와 유사하게 동작하지만, 주요 차이는 셔터가 열리고 닫히는 시간이다. 여하한 경우에, 배경 광에 대한 강건성(tobustness)을 증가시키지 위해, 센서는 각각의 송신 펄스에 대응하는 시간 인터벌에 열린다. 비게이트 서브 프레임은 시야 내 하나 이상의 물체의 반사도 데이터를 도출할 수 있다.
단계 414는 무광(no light) 후 연속 광을 이용하여 배경 서브프레임을 제공한다. 이 서브프레임에서, 초기에 프로젝터에 의해 광이 전송되지 않아 센서에 의해 배경 광이 감지된다. 후속하여, 연속 광이 프로젝터에 의해 제공된다. 배경 서브프레임은 시야에서 배경 광에 관한 데이터를 도출할 수 있다. 배경 광은 비디오 프로젝터 장치로부터 유래하는 것이 아니고, 인공 또는 자연 광원으로부터 유래할 수 있다.
단계 416은 연속 광을 이용하여 선택적인(optional) 컬러 서브프레임을 제공한다. 이 서브프레임에서, 센서는 시야로부터의 컬러 데이터를 감지 및 저장함으로써 카메라로서 동작한다. 컬러 데이터는 예를 들어 표준 RGB 이미지일 수 있다. 컬러 서브프레임에서, 광은 센서가 활성인 동안 연속 모드에서 구동될 수 있다.
서브프레임의 순서는 변할 수 있음을 유의하라. 한 가지 접근에서, 게이트 서브프레임이 제공되고, 그 후에 비게이트 서브프레임, 배경 서브프프레임, 컬러 서브프레임이 후속한다. 그러나, 이 순서가 요구되는 것은 아니다. 또한, 상이한 서브 프레임은 상이한 발생 빈도로 제공될 수 있다. 예를 들어, 만약 사용된다면, 게이트 서브프레임은 n1≥1 프레임마다 제공될 수 있고, 비게이트 서브프레임은 n2≥1 프레임마다 제공될 수 있고, 배경 서브프레임은 n3≥1 프레임마다 제공될 수 있으며, 컬러 서브프레임은 n4≥1 프레임마다 제공될 수 있다. nl, n2, n3 및 n4는 모두 양의 정수이다. 예를 들어, 2 프레임마다 깊이 데이터를 제공하면 충분하다고 가정하면, nl=n2=n3=2 및 n4=l이다. 하나 이상의 서브프레임이 하나의 프레임에서 제공되지 않는 때에, 프레임의 나머지 부분이 프레임 기간을 채우도록 연장될 수 있다. 예를 들어, 컬러 서브프레임만을 포함하는 프레임에 대해, 컬러 서브프레임은 전체 33 msec로 연장된다. 또는, 프레임 기간이 단축될 수 있다. 한 가지 접근에서, 프레임 시간의 나머지는 투사된 비디오의 대비를 증가시키도록 연속 투사를 위해 이용될 수 있다. 깊이 감지를 위해, 노출 시간을 연장하는 것은 바람직하지 않다. 반면 컬러에 대해, 로우 라이트(low light) 장면에서는 바람직할 수 있다.
다른 예에서, 컬러 데이터가 필요 없다면, 프레임이 배경 서브프레임, 게이트 서브프레임, 비게이트 서브프레임 및 배경 서브프레임을 이 순서로 포함하는 제2 배경 감지가 제공될 수 있다.
도 4(c)는 도 4(a)의 단계 400에서 사용될 수 있는 서브프레임이 관여되는 프로세스의 다른 예를 도시한다. 이 경우, 시야에서 연속 투사 없이 깊이 감지만이 수행된다. 단계 420은 연속 광이 후속하지 않는 펄스 광을 이용하여 게이트 서브프레임을 제공하는 것을 포함한다. 단계 422는 다시 연속 광이 후속하지 않는 펄스 광을 이용하여 비게이트 서브프레임을 제공하는 것을 포함한다. 펄스 가시광은 일반적으로 사람의 눈에는 감지될 수 없는데, 조명 기간이 매우 짧기 때문이다. 또한 얻어진 배경 이미지(펄스 없는 이미지)도 있을 수 있다(단계 424). 이 경우, 배경 이미지와 컬러 이미지는 동일한 이미지일 수 있는 광 조건에 차이가 없기 때문이다. 컬러 서브프레임도 제공될 수 있는데(단계 426), 이는 배경 서브프레임과 동일하다. 연속 투사 없이 깊이를 감지하는 것의 장점은 전력 소비가 감소된다는 것이다. 더 상세한 사항에 대해서는 도 8(a) 와 8(b)를 참조하라.
도 5a는 도 4(b)의 단계 410에서 제시된 것과 같은 게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 500은 프로젝터로부터의 연속 광이 후속하는 펄스 광을 이용하는 게이트 서브프레임을 시작한다. 단계 502와 503은 적어도 부분적으로 동시에 일어날 수 있다. 한 가지 접근에서, 광원은 연속적으로 가시광을 발산한다. 단계 502에서, 프로젝터의 광원은 펄스 모드에서 구동되어 펄스 가시광이 시야에서 발산된다. 도 9(a)와 도 10(a)는 펄스 광에 대한 예시적인 파형을 제공한다. 도 7a에서 시간 0-2 msec도 참조하라. 단계 503에서, (배경 광뿐만 아니라) 반사된 펄스가 감지되는 동안 센서는 게이트 모드에서 동작된다. 도 9(b)와 도 10(b)는 감지된 광에 대한 예시적인 파형을 제공한다. 도 7b에서 시간 0-2 msec도 참조하라.
단계 504와 505는 적어도 부분적으로 동시에 일어날 수 있다. 단계 504에서, 광원은 연속 모드에서 구동되어 연속 가시광이 시야에서 발산된다. 도 7a에서 시간 2-8 msec을 참조하라. 단계 505에서, 광 강도 값을 획득하기 위해 센서가 판독된다. 도 7b에서 시간 2-8 msec을 참조하라. 이 독출 기간 동안, 센서에 의해 추가의 광이 감지되지 않는다. 광 강도 값은 깊이 값을 결정하는데 후속하여 사용하기 위해 저장될 수 있다. 예를 들어, 광 강도 값은 광 강도 값에 기초하여 정규화 될 수 있는데, 이는 비게이트 서브프레임에서 획득된다. 이 정규화는 게이트 및 비게이트 서브프레임 모두로부터의 배경 서브프레임을 감산한 후에 이루어질 수 있다. 정규화된 광 강도 값은 그 후 깊이 값을 결정하는데 사용될 수 있다.
도 5b는 도 4(b)의 단계 412에서 제시되는 바와 같은 비게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 510은 프로젝터로부터의 연속 광이 후속하는 펄스 광을 이용하는 비게이트 서브프레임을 시작한다. 단계 512와 513은 적어도 부분적으로 동시에 일어날 수 있다. 단계 512에서, 광원은 펄스 모드에서 구동되어 펄스 가시광이 시야에서 발산된다. 도 9(a)와 도 10(a)는 펄스 광에 대한 예시적인 파형을 제공한다. 도 7a의 시간 8-10 msec도 참조하라. 단계 513에서, (배경 광 뿐만 아니라) 반면 반사된 펄스가 감지되는 동안 센서는 비게이트 모드에서 동작된다. 도 9(b)와 도 10(b)는 감지된 광에 대한 예시적인 파형을 제공한다. 도 7b의 시간 8-10 msec 도 참조하라.
단계 514와 515는 적어도 부분적으로 동시에 일어날 수 있다. 단계 514에서, 광원이 연속 모드에어 구동되어 시야에서 연속 가시광이 발산된다. 도 7a의 시간 10-16 msec을 참조하라. 단계 515에서, 반사도를 나타내는 광 강도 값을 얻기 위해 센서가 판독된다. 도 7b의 시간 10-16 msec을 참조하라. 단계 516에서, 도 5a의 단계 505에서 결정된 광 강도 값은, 단계 515의 광 강도 값에 기초하여 조정, 예를 들어, 정규화된다. 일반적으로, 광의 이동 거리, 물체의 반사도, 그리고 광이 반사되는 물체의 법선 방향을 포함하는 몇몇의 속성이 센서의 각각의 픽셀에 도달하는 광의 양에 영향을 준다. 이 조정은 반사도와 법선 방향을 고려한다. 비게이트 서브프레임 동안에, 각각의 펄스에 대해, 시야에 투사되고 센서로 다시 반사되는 광을 전부 다시 받은 후에 특정 시간에 센서로의 셔터를 닫는다. 반면, 게이트 이미지에 있어, 광 펄스 전부가 센서로 반사되어 돌아오기를 기다리지 않는다. 반사도 및/또는 법선 방향 때문에 상대적으로 많은 양의 광이 반사되어 돌아오면, 상대적으로 높은 비게이트 광 강도 값을 가질 것이다. 단계 515의 대응 광 강도 값으로 나눔으로써 깊이 값을 생성하도록 단계 505의 광 강도 값이 정규화될 수 있다.
도 5c는 도 4(b)의 단계 414에서 제시된 바와 같은 배경 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 520은 프로젝터로부터의 연속 광이 후속하는 무광(no light)을 이용하는 배경 서브프레임을 시작한다. 단계 522와 523은 적어도 부분적으로 동시에 일어날 수 있다. 단계 522에서, 광원은 구동되지 않아서 시야에서 가시광이 발산되지 않는다. 도 7a의 16-18 msec을 참조하라. 단계 523에서, 배경 광이 감지되는 동안 센서가 게이트 모드에서 동작된다. 배경은 비게이트 모드에서도 감지될 수 있다. 게이트 모드는 활성 조명 페이즈 동안 배경 광이 수신되는 방식을 "시뮬레이션(simulate)"한다. 도 7b에서 시간 16-18 msec을 참조하라.
단계 525와 526은 적어도 부분적으로 동시에 발생할 수 있다. 단계 525에서, 광원은 연속 모드에서 구동되어 시야에서 연속 가시광이 발산된다. 도 7a의 시간 18-24를 참조하라. 단계 526에서, 배경 광의 양을 나타내는 광 강도 값을 획득하기 위해 센서가 판독된다. 도 7b에서 시간 18-24 msec을 참조하라. 단계 527에서, 도 5a의 단계 505 또는 도 5b의 단계 516에서 결정된 광 강도 값이 단계 526의 광 강도 값에 기초하여 조정된다. 조정에는 배경 광 강도 값을 감산하는 것이 관여될 수 있다. 반사도에 대한 조정은 배경 광에 대한 조정 후에 이루어져야 함을 유의하라. 비게이트 이미지에 의한 게이트 이미지의 정규화는 깊이 데이터를 제공하기 위해 사용된다. 배경 이미지를 이용하는 정규화는, 예를 들어, 어둠 속에서 프로젝터를 동작시키는 때에 생략될 수 있다. 단계 528에서, 깊이 값은 조정된 광 강도 값에 기초하여 결정된다.
도 5d는 도 4(b)의 단계 416에서 제시된 바와 같은 컬러 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 530은 프로젝터로부터의 연속 광을 이용하는 컬러 서브프레임을 시작한다. 단계 532와 533은 적어도 부분적으로 동시에 일어날 수 있다. 단계 532에서, 프로젝터의 광원은 연속 모드에서 구동되어 연속 가시광이 시야에서 발산된다. 도 7a의 시간 24-26 msec을 참조하라. 단계 533에서, (배경 광 뿐만 아니라) 반사된 광이 감지되는 동안 센서가 컬러 감지 모드에서 동작되고, 이는 표준 디지털 카메라 감지 모드이다. 도 7b에서 시간 24-26 msec을 참조하라. 단계 534에서, 컬러 데이터를 나타내는 광 강도 값을 얻기 위해 센서가 판독된다.
도 6(a)는 도 4(c)의 단계 420에서 제시된 바와 같은 게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 600에서 펄스 광을 이용하는 게이트 서브프레임을 시작한다. 단계 602와 603은 적어도 부분적으로 동시에 일어날 수 있다. 단계 602에서, 프로젝터의 광원은 펄스 모드에서 구동되어 펄스 가시광이 시야에서 발산된다. 도 9(a)와 도 10(a)는 펄스 광에 대한 예시적인 파형을 제공한다. 도 8(a)의 시간 0-2 msec도 참조하라. 단계 603에서, (배경 광뿐만 아니라) 반사 펄스가 감지되는 동안, 센서가 게이트 모드에서 동작된다. 도 9(b)와 도 10(b)는 감지된 광에 대한 예시적인 파형을 제공한다. 도 8(b)에서 시간 0-2 msece도 참조하라.
단계 605와 606은 적어도 부분적으로 동시에 일어날 수 있다. 단계 605에서, 광원이 구동되지 않아서 가시광이 발산되지 않는다. 도 8(a)에서 시간 2-8 msec을 참조하라. 단계 606에서, 광 강도 값을 획득하기 위해 센서가 판독된다. 도 8(b)에서 시간 2-8 msec을 참조하라. 광 강도 값은 깊이 값을 결정하는데 후속하여 사용하기 위해 저장될 수 있다. 예를 들어, 비게이트 서브프레임에서, 그리고 선택적으로는 배경 서브프레임에서 획득되는 광 강도 값에 기초하여 광 강도 값이 조정될 수 있다. 조정된 광 강도 값은 그 후에 깊이 값을 결정하기 위해 사용될 수 있다.
도 6(b)은 도 4(c)의 단계 422에서 제시되는 바와 같은 비게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 610은 펄스 광을 이용하는 비게이트 서브프레임을 시작한다. 단계 612와 613은 적어도 부분적으로 동시에 일어날 수 있다. 단계 612에서, 광원은 펄스 모드에서 구동되어 시야에서 펄스 가시광이 발산된다. 도 9(a)와 도 10(a)는 펄스 광에 대한 예시적인 파형을 제공한다. 도 8(a)의 시간 8-10 msec도 참조하라. 단계 613에서, (배경 광뿐만 아니라) 반사된 펄스가 감지되는 동안 센서는 비게이트 모드에서 동작된다. 도 9(b)와 도 10(b)는 감지된 광에 대한 예시적인 파형을 제공한다. 도 8(b)에서 시간 8-10 msec도 참조하라.
단계 615와 616은 적어도 부분적으로 동시에 일어날 수 있다. 단계 615에서, 광원은 구동되지 않는다. 결과로, 가시광이 발산되지 않는다. 도 8(a)에서 시간 10-16 msec을 참조하라. 단계 616에서, 반사도를 나타내는 광 강도 값을 획득하기 위해 센서가 판독된다. 도 8(b)에서 시간 10-16 msec을 참조하라. 단계 617에서, 도 6(a)의 단계 606에서 결정된 광 강도 값이 단계 616의 광 강도 값에 기초하여 조정된다. 단계 618에서, 깊이 값이 조정된 광 강도 값에 기초하여 결정된다.
후술하는 도 7a와 7b의 예시적인 구현은 4개의 섹션 또는 서브프레임으로 나누어지는 33 msec. 프레임 기간을 포함하는 QQVGA 모드에 대한 것이다. 이는 깊이 감지, 컬러 감지 및 투사를 포함하는 프레임의 예이다. 많은 다른 구현이 가능하다. 또한, 언급한 바와 같이, 다른 서브프레임이 다른 프레임에서 사용될 수 있다. 예를 들어, 일부 서브프레임은 모든 프레임보다 덜 자주 사용되는 반면 다른 서브프레임은 모든 프레임에서 사용될 수 있다.
도 7a는 도 4(b)의 프로세스에 대응하는 프로젝터의 출력을 도시한다. 33 msec의 예시적인 프레임 기간에서, 4개의 서브프레임이 제공된다. 게이트 서브프레임은 0-8 msec으로부터 연장된다. 0-2 msec으로부터 프로젝터는 펄스 가시광을 출력한다. 2-8 msec으로부터, 프로젝터는 크기(amplitude) 12를 갖는 연속 가시광을 출력한다. 비게이트 서브프레임은 8-16 msec으로부터 연장된다. 8-10 msec으로부터, 프로젝터는 펄스 가시광을 출력한다. 10-16 msec으로부터, 프로젝터 출력은 연속 가시광을 출력한다. 배경 서브프레임은 16-24 msec으로부터 연장한다. 16-18 msec으로부터, 프로젝터는 가시광을 출력하지 않는다. 18-24 msec으로부터, 프로젝터는 연속 가시광을 출력한다. 컬러 서브프레임은 24-33 msec으로부터 연장한다. 24-26 msec으로부터, 프로젝터는 연속 가시광을 출력한다. 26-33 msec으로부터, 프로젝터는 계속하여 연속 가시광을 출력한다.
선 700은 비-깊이 감지 프레임에서, 프로젝터가 연속 출력을 제공하고 감지가 일어나지 않는 프레임의 광 강도 I1를 나타낸다. 한 가지 접근에서, I1>I2이도록 더 낮은 강도 또는 전력 출력이 사용된다. 펄스 광 또는 무광 출력이 사용되는 기간 동안에 보상함으로써, 투사된 이미지의 색대비를 개선하는데 있어 비-깊이 감지 프레임에 비해 깊이 감지 프레임 동안 더 높은 광 출력을 제공하는 것이 유용할 수 있다. 추가로 또는 대체하여 사용될 수 있는 다른 옵션은 깊이 감지 프레임에 비해 비 깊이 감지 프레임에 대해 더 긴 프레임 기간(도 7c에서 프레임 기간 FP로 도시)을 제공하는 것이다. 예를 들어, FP>33 msec인데, 33 msec은 깊이 감지 프레임의 프레임 기간이다. 어떤 접근도 시간 단위 당 프로젝터에 의해 출력되는 광의 양을 증가시킨다. 광 강도 및/또는 프레임 기간을 선택적으로 조정함으로써, 전력 소비 및 투사 이미지 품질이 최적화된다. 더 상세한 사항에 대해서는 도 7d 및 7e를 참조하라.
도 7b는 도 7a의 프로젝터 출력에 기초한 센서에 대한 입력을 도시한다. 각각의 서브프레임은 통합 또는 활성 감지 기간을 포함하는데, 여기서 센서 내 각각의 픽셀에 의해 감지된 광의 양에 비례하여 전하가 생성되고, 그 후에 모든 픽셀로부터 누적된 전하의 양이 판독되는 독출 또는 오버헤드 기간이 후속한다. 독출 동안, 누적기(accumulator)로 불리는 픽셀의 부분이 판독될 수 있고, 누적기는 후속 감지를 위하여 0으로 지워진다. 게이트 서브프레임에서, 프로젝터가 펄스되는 동안 0-2 msec부터 센서가 전하를 집적 또는 누적하고, 2-8 msec부터 누적된 전하가 독출된다. 비게이트 서브프레임에서, 8-10 msec부터 프로젝터가 펄스되는 동안 센서가 전하를 집적하고, 10-16 msec부터 누적된 전하가 독출된다. 배경 서브프레임에서, 16-18 msec부터, 프로젝터가 광을 출력하지 않는 동안 센서가 전하를 집적하고, 18-24 msec 부터 누적된 전하가 독출된다. 컬러 서브프레임에서, 24-26 msec부터 프로젝터 출력이 연속적인 동안 센서가 전하를 집적하고, 26-33 msec 부터 누적된 전하가 독출된다.
도 7d는 단계 720 및 724에서와 같이 더 낮은 광 강도 I1을 이용하는 비-깊이 감지 프레임과 단계 722 및 726에서와 같이 더 높은 광 강도 I2를 이용하는 깊이 감지 프레임을 교대로 제공하는 예시적인 프레임 시퀀스를 도시한다. 여기서, 적어도 하나의 제어 회로는 다른 시간에 다음을 제공한다: (a) 적어도 하나의 제어 회로가 비행시간 원리를 이용하여 센서로부터 판독되는 광 강도 값에 기초하여 시야 내 적어도 하나의 물체에 관한 깊이 데이터를 도출하는 깊이 감지 프레임(단계 722와 726) 및 (b) 적어도 하나의 제어 회로가 시야 내 적어도 하나의 물체에 관한 깊이 데이터를 도출하지 않는 비 깊이 감지 프레임(단계 720과 724). 또한, 적어도 하나의 제어 회로가 광원이 깊이 감지 프레임 동안 비 깊이 감지 프레임 동안 보다 더 높은 조명 전력으로 가시광을 발산하도록 한다.
다른 옵션에는 다른 깊이 감지 모드가 관여된다. 일반적으로, 시야 내 적어도 하나의 물체에 관한 깊이 데이터를 획득하기 위해 적어도 하나의 제어 회로가 하나 이상의 프레임 중 제한된 수를 이용하는 제1 모드에서, 그리고 적어도 하나의 제어 회로가 시야 내 적어도 하나의 물체에 관한 깊이 데이터를 연속적으로 획득하는 제2 모드에서, 선택적으로 동작하도록 적어도 하나의 제어 회로가 제어가능하다. 예를 들어, 제1 모드에서 깊이 데이터를 획득하기 위한 하나 이상의 프레임 중 제한된 수는 단일 프레임이거나 또는, 예를 들어, 1초까지의 기간 내의 프레임 중 적은 수일 수 있다. 이는 사용자 명령에 기초하여 정적인 물체와 같은 시야 내 물체에 대한 깊이 데이터가 획득되는 스냅 샷 깊이 감지 모드를 제공하는데 사용될 수 있다. 예를 들어, 관심 물체에 대한 깊이 데이터가 획득될 수 있다. 제2 모드에서, 움직이는 물체와 같은 관심 물체에 대해 깊이 데이터가 연속적으로 획득된다. 언급된 바와 같이, 프로젝터 모드는 깊이 데이터를 획득하는 때에 사용될 필요가 없다.
도 7e는 단계 730와 734에서와 같이 더 짧은 프레임 기간/길이를 이용하는 비 깊이 감지 프레임과 단계 732와 736에서와 같이 더 긴 프레임 기간을 이용하는 깊이 감지 프레임을 교대로 제공하는 예시적인 프레임 시퀀스를 도시한다.
후술하는 도 8(a)와 도 8(b)의 예시적인 구현은, 2개의 서브프레임으로 나누어지는 33 msec 프레임 기간을 포함하는 QQVGA 모드에 대한 것인데, 여기서 감지만이 수행된다. 이는 깊이 감지 프레임과 비 투사 프레임의 예이다.
도 8(a)는 도 4(c)의 프로세스에 대응하는 프로젝터의 출력을 도시한다. 0-8 msec으로부터 게이트 서브프레임이 연장된다. 0-2 msec으로부터, 프로젝터는 펄스 가시광을 출력한다. 2-8 msec으로부터, 프로젝터는 가시광을 출력하지 않는다. 비게이트 서브프레임은 8-16 msec으로부터 연장한다. 8-10 msec으로부터, 프로젝터는 펄스 가시광을 출력한다. 10-16 msec으로부터, 프로젝터는 가시광을 출력하지 않는다. 유사하게, 프레임의 나머지에서, 16-33 msec으로부터 프로젝터는 가시광을 출력하지 않는다. 이 모드에서, 16-33 msec부터 배경 이미지가 컬러 이미지로부터 획득되는데, 이들이 실질적으로 동일하기 때문이다.
도 8(b)는 도 8(a)의 프로젝터 출력에 기초한 센서로의 입력을 도시한다. 게이트 서브프레임에서, 0-2 msec부터, 프로젝터가 펄스되는 동안 센서가 전하를 집적하고, 2-8 msec부터 누적된 전하가 독출된다. 비게이트 서브프레임에서, 8-10 msec부터 프로젝터가 펄스되는 동안 센서가 전하를 집적하고 10-16 msec부터 누적된 전하가 독출된다. 프레임의 나머지에서, 16-33 msec부터 실질적으로 동일한 배경 서브프레임 및 컬러 서브프레임이 감지될 수 있다. 언급된 바와 같이, 이 모드는 비디오 프로젝터 장치가 투사가 일어나지 않는 감지 전용 모드에서 동작할 수 있도록 하여 전력 소비가 감소된다. 게이트 서브프레임 및 비게이트 서브프레임 동안 외의 시간에서 가시광이 발산되지 않는다. 예를 들어, 광원은 전력 소비를 줄이기 위해 꺼질 수 있다.
도 9(a)는 구형파를 이용하는 프로젝터로부터의 출력인 펄스 광을 도시한다. 비행시간 원리는 시야 내 물체 상의 점의 깊이가, 광이 프로젝터로부터 점까지 이동하고 다시 센서로 반사되어 돌아오는 경과 시간에 기초하여 결정될 수 있도록 한다. 또한, 게이트 기간 동안 센서의 광표면 상의 픽셀에 의해 등록된 광의 양은 픽셀 상에 이미징된 장면의 표면 요소까지의 거리를 결정하는데 사용된다. 예시적인 펄스 레이트는 44 Mhz이다. 시간을 나타내는 x축을 따라, Δt1은 예시적인 펄스 900과 920의 펄스 길이를 나타내고 Δt2는 각 펄스의 시작 사이의 기간을 나타낸다. 이 구현에서, 투사된 광 강도를 나타내는 y축을 따라, 각각의 펄스가 단계별로 올라가고 실질적으로 구형(square) 파형을 갖는다. 한 가지 접근에서, 각각의 펄스는 실질적으로 0 강도의 수준으로부터 최대 수준까지 단계별로 올라간다. 다른 접근에서, 각각의 펄스는 0이 아닌(non-zero) 강도 수준으로부터 최대 수준까지 단계별로 올라간다. 다른 접근에서, 투사된 강도는 별도의 광 펄스를 제공하는 대신에 사인파와 같은 연속파 변조를 따른다. 이 경우, 특정 광 펄스의 전체 여행 시간을 직접 측정하는 것이 아니라, 전송 및 수신된 신호 사이의 위상 차이가 측정된다. 변조 주파수가 알려져 있으므로 이 측정된 위상은 비행시간에 직접 대응한다. 펄스 광원은 광원을 그에 따라 구동함으로써 획득될 수 있다.
도 9(b)는 도 9(a)의 프로젝터 출력에 기초한 센서로의 입력인 펄스 광을 도시한다. 도 9(b)의 x축은 도 9(a)의 x축과 시간 정렬된다. 센서가 게이트 모드에 있을 때, 감지가 일어날 수 있는 게이트 기간 Δt3이 정의된다. 감지된 광은 펄스 910과 930에 의해 표시된다. 통상, Δt3>Δt1이어서, 시간 마진 Δt4f와 Δt4b가 각각의 게이트 기간의 앞과 뒤에 각각 제공된다. 펄스 900와 910에 의해 표시되는 비행시간(TOF)이 도시된다. 감지된 펄스 910과 930은 각각 투사된 펄스 900과 920에 대응한다. 감지된 광의 주변 또는 바닥 수준이 감지에 걸쳐 존재하는 것으로 도시된다.
도 10(a)는 삼각파를 이용하여 프로젝터로부터 출력되는 펄스 광을 도시한다. 삼각파는 다음 중 적어도 하나를 갖는 펄스라고 생각될 수 있다: (a) 변조기의 스텝 업(step up) 레이트 미만인 레이트에서 더 높이 전이하는 리딩 에지(leading edge), 및 (b) 변조기의 스텝 다운 레이트 미만인 레이트에서 더 낮게 전이하는 꼬리 에지(trailing edge). 즉, 리딩 에지는 가능한 가장 빠른 레이트보다 낮은 레이트에서 위로 전이하도록 제어되거나-이는 바로 위 단계임- 및/또는 꼬리 에지는 가능한 가장 빠른 레이트보다 느린 레이트에서 아래로 전이하도록 제어된다-바로 아래 단계임-. 이러한 파형은 대칭 또는 비대칭 리딩 및 꼬리 에지를 가질 수 있다. 한 가지 옵션에서, 파형은 최대 크기에 도달하고 소정 시간 동안 그 수준에서 유지되어 파형은 예시적인 파형 1000과 1010에서와 같이 사다리꼴 모양을 갖는다. 파형 1000은 리딩 에지(1002), 최대 크기(1004) 및 꼬리 에지(1006)를 포함한다. 다른 옵션에서, 파형은 날카로운 피크를 갖는 삼각형이다.
도 10(b)는 도 10(a)의 투사된 출력에 기초한 센서로의 입력인 펄스 광을 도시한다. 감지된 파형(1020과 1030)은 각각 투사된 파형 펄스(1000과 1010)에 대응한다.
여기의 기술의 전술한 상세한 설명은 예시 및 설명의 목적으로 제시되었다. 망라적이거나 개시된 정확한 형태로 기술을 제한하려는 것이 아니다. 위의 교시에 비추어 많은 변형 및 변경이 가능하다. 설명된 실시형태는 본 기술의 원리 및 그의 실질적 애플리케이션을 가장 잘 설명하고 그에 의해 고려되는 특정 용도에 적당한 다양한 실시형태에서 다양한 변경으로 당업자가 기술을 가장 잘 이용할 수 있도록 하기 위해 선택되었다. 본 기술의 범위는 여기 첨부된 청구범위에 의해 정의되려는 의도이다.

Claims (17)

  1. 비디오 프로젝터 장치에 있어서,
    광원;
    상기 광원을 구동하는 드라이버;
    시야 내에 상기 광원으로부터 가시광을 투사하는 광 컴포넌트;
    가시광을 감지하며 복수의 픽셀들을 포함하는 센서; 및
    상기 드라이버 및 상기 센서와 연관된 적어도 하나의 제어 회로
    를 포함하고,
    상기 적어도 하나의 제어 회로는,
    프레임 기간 내에 물체(object) 상에 픽셀 데이터의 프레임을 투사하도록, 상기 프레임 기간을, 게이트(gated) 서브프레임을 포함하는 다수의 서브프레임들로 분할하고, 상기 비디오 프로젝터 장치로 하여금, 상기 게이트 서브프레임 동안, 투사 및 감지 모드와 이에 후속하는 감지(sensing)하지 않는 투사 전용 모드에서 동작하게 하며,
    상기 투사 및 감지 모드를 제공하도록, 상기 복수의 픽셀들이 상기 물체로부터의 가시광의 펄스들의 반사들로부터 전하를 집적하도록 상기 센서가 게이트 모드에서 동작하게 하면서, 상기 광원이 가시광의 펄스들을 방출하는 펄스 모드에서, 상기 드라이버가 상기 광원을 구동하게 하며,
    상기 감지하지 않는 투사 전용 모드를 제공하도록, 광 강도 값들을 획득하도록 상기 복수의 픽셀들로부터 집적된 전하를 독출하면서, 상기 광원이 연속 가시광을 방출하는 연속 모드에서, 상기 드라이버가 상기 광원을 구동하게 하며,
    비행시간(time-of-flight) 원리를 이용하여 상기 광 강도 값에 기초하여 상기 시야 내 상기 물체에 대한 깊이 데이터를 도출하는 것인, 비디오 프로젝터 장치.
  2. 제1항에 있어서,
    상기 다수의 서브프레임들은 상기 게이트 서브프레임에 후속되는 비게이트(ungated) 서브프레임을 포함하고,
    상기 적어도 하나의 제어 회로는, 상기 센서가 비게이트 모드에서 동작되는 동안 상기 드라이버가 상기 광원을 상기 펄스 모드에서 구동되게 한 후, 광 강도 값을 획득하기 위해 상기 센서가 판독되는 동안 상기 드라이버가 상기 광원을 상기 연속 모드에서 구동하게 함으로써, 상기 비게이트 서브프레임을 제공하며,
    상기 적어도 하나의 제어 회로는, 상기 시야 내 상기 물체의 반사도를 보상하기 위해, 상기 센서로부터 판독되고 상기 비게이트 서브프레임 동안 획득되는 상기 광 강도 값에 기초하여, 상기 게이트 서브프레임 동안 획득되는 상기 광 강도 값을 조정하는 것인, 비디오 프로젝터 장치.
  3. 제1항에 있어서,
    상기 다수의 서브프레임들은 상기 게이트 서브프레임에 후속되는 배경(background) 서브프레임을 포함하고,
    상기 적어도 하나의 제어 회로는 상기 배경 서브프레임을 제공하고, 상기 배경 서브프레임에서는, 상기 센서가 배경 광을 감지하도록 게이트 모드에서 동작되는 동안 어떠한 가시광도 상기 비디오 프로젝터 장치에 의해 상기 물체 쪽으로 방출되지 않고, 그 후, 광 강도 값을 획득하기 위해 상기 센서가 판독되는 동안 상기 드라이버가 상기 광원을 상기 연속 모드에서 구동하게 하며,
    상기 적어도 하나의 제어 회로는, 상기 시야 내 상기 배경 광을 보상하기 위해, 상기 센서로부터 판독되고 상기 배경 서브프레임 동안 획득되는 상기 광 강도 값에 기초하여 상기 게이트 서브프레임 동안 획득되는 상기 광 강도 값을 조정하는 것인, 비디오 프로젝터 장치.
  4. 제3항에 있어서, 상기 적어도 하나의 제어 회로는 상기 다수의 프레임들 내에 2 개의 상기 배경 서브프레임들을 제공하는 것인, 비디오 프로젝터 장치.
  5. 제1항에 있어서,
    상기 다수의 서브프레임들은 상기 게이트 서브프레임에 후속되는 컬러 서브프레임을 포함하고,
    상기 적어도 하나의 제어 회로는, 상기 센서가 표준 컬러 감지 모드에서 동작되는 동안 상기 드라이버가 상기 광원을 상기 연속 모드에서 구동하게 하고, 그 후 상기 시야로부터의 컬러 데이터를 포함하는 광 강도 값을 획득하기 위해 상기 센서가 판독되는 동안 상기 드라이버가 상기 광원을 상기 연속 모드에서 구동하게 함으로써, 상기 컬러 서브프레임을 제공하는 것인, 비디오 프로젝터 장치.
  6. 제1항에 있어서, 상기 다수의 서브프레임들은 컬러 서브프레임을 포함하고, 이 컬러 서브프레임에서, 상기 적어도 하나의 제어 회로는, 상기 센서가 활성 중인 동안 상기 드라이버가 상기 광원을 상기 연속 모드에서 구동하게 하는 것인, 비디오 프로젝터 장치.
  7. 제1항에 있어서, 상기 적어도 하나의 제어 회로는, 상기 게이트 서브프레임 동안 상기 드라이버가 삼각형상(triangular shaped) 펄스를 이용하여 상기 광원을 구동하게 하는 것인, 비디오 프로젝터 장치.
  8. 제1항에 있어서, 상기 적어도 하나의 제어 회로는, 상기 드라이버가 펄스들을 이용하여 상기 광원을 구동하게 하며, 상기 펄스들 각각은, (a) 상기 광원의 스텝 업(step up) 레이트 미만인 레이트에서 더 높이 전이하는 리딩 에지(leading edge), 및 (b) 상기 광원의 스텝 다운 레이트 미만인 레이트에서 더 낮게 전이하는 꼬리 에지(trailing edge) 중 적어도 하나를 갖는 것인, 비디오 프로젝터 장치.
  9. 제1항에 있어서, 상기 광원은 상기 비디오 프로젝터 장치의 백라이트인 것인, 비디오 프로젝터 장치.
  10. 제1항에 있어서, 상기 광원, 상기 광 컴포넌트, 상기 적어도 하나의 제어 회로 및 상기 센서는 공통의 하우징 내에 제공되는 것인, 비디오 프로젝터 장치.
  11. 제1항에 있어서, 상기 가시광에 비디오 정보를 인코딩하는 적어도 하나의 광투과(light-transmissive) LCD 패널을 더 포함하고, 상기 적어도 하나의 광투과 LCD 패널은 복수의 픽셀들을 포함하는 것인, 비디오 프로젝터 장치.
  12. 제1항에 있어서, 상기 적어도 하나의 제어 회로는 상기 깊이 데이터에 기초하여 상기 광 컴포넌트를 포커싱(focus)하는 것인, 비디오 프로젝터 장치.
  13. 제1항에 있어서, 상기 가시광의 펄스들이, 상기 연속 가시광이 제공되는 기간 보다 짧은 기간 동안 제공되어, 상기 물체 상에 투사되는 이미지의 이미지 품질은 감소되지 않는, 비디오 프로젝터 장치.
  14. 비디오 프로젝터 장치에 있어서,
    광원;
    상기 광원을 구동하는 드라이버;
    시야 내에 상기 광원으로부터 가시광을 투사하는 광 컴포넌트;
    상기 시야 내의 물체로부터 반사되는 가시광을 포함하는 가시광을 감지하고, 복수의 픽셀들을 포함하는 센서; 및
    깊이 감지 프레임과 비-깊이 감지 프레임(non-depth-sensing frame)이 교대로 상기 물체 상에 투사되게 하는 적어도 하나의 제어 회로
    를 포함하고,
    상기 적어도 하나의 제어 회로는,
    (a) 상기 깊이 감지 프레임을 제공하도록,
    상기 깊이 감지 프레임의 일부분 동안 상기 광원이 가시광 펄스들을 방출하는 펄스 모드에서 상기 드라이버가 상기 광원을 구동하게 하고,
    상기 가시광 펄스들을 검출하도록 상기 깊이 감지 프레임의 상기 일부분 동안 상기 센서가 게이트 모드에서 동작하게 하고,
    비행시간 원리를 이용하여, 상기 센서로부터 판독되는 광 강도 값에 기초하여 상기 시야 내 상기 물체에 대한 깊이 데이터를 도출하고,
    상기 깊이 감지 프레임의 다른 일부분 동안 상기 광원이 연속 가시광을 방출하는 연속 모드에서 상기 드라이버가 상기 광원을 구동하게 하며,
    (b) 상기 깊이 감지 프레임과는 다른 시간에서, 상기 비-깊이 감지 프레임을 제공하도록,
    상기 광원이 연속 가시광을 방출하는 연속 모드에서 상기 드라이버가 상기 광원을 구동하게 하고,
    상기 시야 내의 물체에 대한 깊이 데이터를 도출하지 않는 것인, 비디오 프로젝터 장치.
  15. 제14항에 있어서, 상기 적어도 하나의 제어 회로는, 상기 광원이 상기 깊이 감지 프레임 동안 상기 비 깊이 감지 프레임 동안 보다 더 높은 조명 전력으로 가시광을 방출하게 하는 것인, 비디오 프로젝터 장치.
  16. 제14항에 있어서, 상기 깊이 감지 프레임은 상기 비 깊이 감지 프레임보다 긴 것인, 비디오 프로젝터 장치.
  17. 제14항에 있어서, 상기 적어도 하나의 제어 회로는, 상기 시야 내 물체에 대한 깊이 데이터를 획득하기 위해 상기 적어도 하나의 제어 회로가 제한된 개수의 하나 이상의 프레임들을 이용하는 제1 모드에서, 그리고 상기 적어도 하나의 제어 회로가 상기 시야 내 물체에 대한 깊이 데이터를 연속적으로 획득하는 제2 모드에서, 선택적으로 동작하도록 제어가능한 것인, 비디오 프로젝터 장치.
KR1020137007745A 2010-09-28 2011-08-29 통합형 저전력 깊이 카메라 및 비디오 프로젝터 장치 KR101861393B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/892,589 US8681255B2 (en) 2010-09-28 2010-09-28 Integrated low power depth camera and projection device
US12/892,589 2010-09-28
PCT/US2011/049606 WO2012047410A1 (en) 2010-09-28 2011-08-29 Integrated low power depth camera and projection device

Publications (2)

Publication Number Publication Date
KR20130138225A KR20130138225A (ko) 2013-12-18
KR101861393B1 true KR101861393B1 (ko) 2018-05-28

Family

ID=45870307

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137007745A KR101861393B1 (ko) 2010-09-28 2011-08-29 통합형 저전력 깊이 카메라 및 비디오 프로젝터 장치

Country Status (9)

Country Link
US (1) US8681255B2 (ko)
EP (1) EP2622847B1 (ko)
JP (1) JP5894600B2 (ko)
KR (1) KR101861393B1 (ko)
CN (1) CN102510461B (ko)
CA (1) CA2812433C (ko)
ES (1) ES2587436T3 (ko)
IL (1) IL225090A (ko)
WO (1) WO2012047410A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116754A1 (en) * 2018-12-06 2020-06-11 Samsung Electronics Co., Ltd. Electronic device and method for acquiring depth information of object using the same
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330822B2 (en) * 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US9723293B1 (en) * 2011-06-21 2017-08-01 Amazon Technologies, Inc. Identifying projection surfaces in augmented reality environments
US9001190B2 (en) * 2011-07-05 2015-04-07 Microsoft Technology Licensing, Llc Computer vision system and method using a depth sensor
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US8840250B1 (en) 2012-01-11 2014-09-23 Rawles Llc Projection screen qualification and selection
US9462255B1 (en) * 2012-04-18 2016-10-04 Amazon Technologies, Inc. Projection and camera system for augmented reality environment
CN104364673B (zh) 2012-05-29 2018-03-13 布莱特瓦维森有限公司 使用自适应景深的选通成像
US9438805B2 (en) * 2012-06-08 2016-09-06 Sony Corporation Terminal device and image capturing method
FR2999730B1 (fr) * 2012-12-18 2018-07-06 Valeo Comfort And Driving Assistance Afficheur pour afficher dans le champ de vision d'un conducteur une image virtuelle et dispositif de generation d'images pour ledit afficheur
US9602807B2 (en) 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US10371943B2 (en) 2013-03-14 2019-08-06 Valve Corporation Method and system to control the focus depth of projected images
US20140320605A1 (en) * 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9774833B2 (en) * 2013-07-16 2017-09-26 Texas Instruments Incorporated Projector auto-focus correction with the aid of a camera
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10194124B2 (en) * 2013-12-19 2019-01-29 Maxell, Ltd. Projection type video display device and projection type video display method
EP2887029B1 (de) 2013-12-20 2016-03-09 Multipond Wägetechnik GmbH Befüllungsvorrichtung und Verfahren zum Erfassen einer Befüllung
CN103813115A (zh) * 2014-01-27 2014-05-21 吴砺 一种模拟窗户
CN106233189B (zh) 2014-01-31 2020-06-26 奇跃公司 多焦点显示系统和方法
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
CN106537219B (zh) 2014-05-30 2021-03-16 奇跃公司 用于在虚拟和增强现实中产生焦平面的方法和系统
NZ727361A (en) 2014-05-30 2020-05-29 Magic Leap Inc Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN106796388A (zh) * 2014-07-31 2017-05-31 惠普发展公司，有限责任合伙企业 来自发光二极管(led)投影仪的白色闪光生成
WO2016018418A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Misalignment detection
WO2016043704A1 (en) * 2014-09-15 2016-03-24 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel
TWI552597B (zh) * 2014-11-12 2016-10-01 觸動創意股份有限公司 行動無線環物攝影之系統及其方法
JP6597636B2 (ja) * 2014-12-10 2019-10-30 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10145942B2 (en) * 2015-03-27 2018-12-04 Intel Corporation Techniques for spatio-temporal compressed time of flight imaging
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US10132616B2 (en) 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
JP6554310B2 (ja) * 2015-04-28 2019-07-31 浜松ホトニクス株式会社 距離測定装置
US10721420B2 (en) * 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
US10512508B2 (en) 2015-06-15 2019-12-24 The University Of British Columbia Imagery system
CN107850784B (zh) 2015-07-20 2021-06-01 奇跃公司 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计
WO2017038203A1 (ja) 2015-08-28 2017-03-09 富士フイルム株式会社 距離画像取得装置付きプロジェクタ装置及びプロジェクションマッピング方法
US9762873B2 (en) * 2015-09-04 2017-09-12 Microvision, Inc. Dynamic constancy of brightness or size of projected content in a scanning display system
US9648223B2 (en) * 2015-09-04 2017-05-09 Microvision, Inc. Laser beam scanning assisted autofocus
JP6467516B2 (ja) * 2015-09-29 2019-02-13 富士フイルム株式会社 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
JP2018533061A (ja) 2015-10-05 2018-11-08 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想／拡張現実システムにおける光ファイバ走査のためのマイクロレンズコリメータ
JP7216547B2 (ja) 2015-10-06 2023-02-01 マジック リープ， インコーポレイテッド 逆角度回折格子を有する仮想／拡張現実システム
CN108139482B (zh) * 2015-10-09 2023-01-06 新唐科技日本株式会社 摄像装置、以及在其中使用的固体摄像元件
FR3043210A1 (fr) * 2015-10-28 2017-05-05 Valeo Comfort & Driving Assistance Dispositif et procede de detection d'objets
WO2017110418A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017110413A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
CN108431630A (zh) 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
CN108370435B (zh) * 2015-12-21 2020-12-29 株式会社小糸制作所 车辆用图像获取装置、以及包括了车辆用图像获取装置的车辆
EP3396411A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGING DEVICE FOR VEHICLES AND VEHICLE THEREWITH
JP6907218B2 (ja) 2016-01-20 2021-07-21 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想／拡張現実システムにおける偏波維持光ファイバ
CN106997586B (zh) * 2016-01-25 2019-12-20 杭州海康威视数字技术股份有限公司 一种物体材料确定方法、装置及系统
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
KR20170105701A (ko) * 2016-03-09 2017-09-20 한국전자통신연구원 스캐닝 장치 및 이의 동작 방법
US20170323429A1 (en) 2016-05-09 2017-11-09 John Peter Godbaz Multiple patterns in time-of-flight camera apparatus
US10386486B2 (en) 2016-06-21 2019-08-20 Microsoft Technology Licensing, Llc Systems and methods for time of flight laser pulse engineering
CN109804266B (zh) * 2016-11-30 2023-09-19 索尼半导体解决方案公司 测距装置及测距方法
TWI620420B (zh) * 2016-12-02 2018-04-01 財團法人資訊工業策進會 可見光通訊系統及方法
CN106534803A (zh) * 2016-12-13 2017-03-22 Tcl集团股份有限公司 一种仿真窗显示的方法及系统
US10425628B2 (en) 2017-02-01 2019-09-24 Microsoft Technology Licensing, Llc Alternating frequency captures for time of flight depth sensing
US11287292B2 (en) 2017-02-13 2022-03-29 Lockheed Martin Corporation Sensor system
US10554958B2 (en) * 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
KR102493992B1 (ko) * 2017-03-21 2023-01-30 매직 립, 인코포레이티드 가상, 증강 및 혼합 현실 시스템들을 위한 깊이 감지 기술
JP2019083501A (ja) * 2017-10-27 2019-05-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US10339718B1 (en) * 2017-12-29 2019-07-02 Verizon Patent And Licensing Inc. Methods and systems for projecting augmented reality content
CN109059795B (zh) * 2018-06-29 2020-11-03 歌尔光学科技有限公司 深度测量方法、深度测量装置及拍摄设备
JP6822445B2 (ja) * 2018-07-02 2021-01-27 カシオ計算機株式会社 投影装置、投影方法及びプログラム
WO2020085525A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 이동단말기 및 그 제어 방법
US11500103B2 (en) 2018-10-23 2022-11-15 Lg Electronics Inc. Mobile terminal
EP3942797A4 (en) * 2019-03-19 2022-12-14 INTEL Corporation HIGH-LEVEL SYNTAX FOR IMMERSIVE VIDEO ENCODING
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
US20210356597A1 (en) * 2020-05-15 2021-11-18 Analog Devices International Unlimited Company Continuous wave time of flight system
CN114125193A (zh) * 2020-08-31 2022-03-01 安霸国际有限合伙企业 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
JP2002031516A (ja) 2000-07-18 2002-01-31 Asahi Optical Co Ltd ３次元画像入力装置
US20040037450A1 (en) 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
US20060139314A1 (en) 2002-05-28 2006-06-29 Matthew Bell Interactive video display system
JP2007271924A (ja) 2006-03-31 2007-10-18 Nikon Corp 投影装置およびカメラシステム
JP2009003281A (ja) 2007-06-22 2009-01-08 Ricoh Co Ltd 携帯型電子機器
US20100046802A1 (en) 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
US20100079581A1 (en) 2008-09-30 2010-04-01 Texas Instruments Incorporated 3d camera using flash with structured light

Family Cites Families (181)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4653104A (en) * 1984-09-24 1987-03-24 Westinghouse Electric Corp. Optical three-dimensional digital data acquisition system
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
DE69635891T2 (de) 1995-06-22 2006-12-14 3Dv Systems Ltd. Verbesserte optische kamera zur entfernungsmessung
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
KR100429799B1 (ko) * 2001-11-10 2004-05-03 삼성전자주식회사 디스플레이 장치에서의 투사 광의 세기 제어 장치 및 방법
JP2003279887A (ja) * 2002-03-22 2003-10-02 Nec Viewtechnology Ltd Ｄｍｄプロジェクターとその映像信号補正方法
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7151521B2 (en) 2003-03-31 2006-12-19 Intel Corporation Methods and apparatus for driving pixels in a microdisplay
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US6919549B2 (en) * 2003-04-11 2005-07-19 Canesta, Inc. Method and system to differentially enhance sensor dynamic range
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR100604323B1 (ko) 2004-08-28 2006-07-24 삼성테크윈 주식회사 내장형 카메라 장치 및 이를 구비한 휴대폰
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
WO2006086508A2 (en) 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7911207B2 (en) 2005-11-16 2011-03-22 Board Of Regents, The University Of Texas System Method for determining location and movement of a moving object
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US7643745B2 (en) 2006-08-15 2010-01-05 Sony Ericsson Mobile Communications Ab Electronic device with auxiliary camera function
WO2008036092A1 (en) * 2006-09-21 2008-03-27 Thomson Licensing A method and system for three-dimensional model acquisition
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
JP2008241695A (ja) * 2007-02-27 2008-10-09 Fujifilm Corp 測距装置及び測距方法
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8994757B2 (en) * 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
WO2008139960A1 (ja) 2007-05-07 2008-11-20 Nikon Corporation 投射機能付きカメラ、投射機能付き携帯電話および投射機能付き携帯電子機器
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
CN102027388B (zh) 2008-04-11 2013-08-28 瑞士联邦理工大学，洛桑(Epfl) 采用显示器作为照明源的基于飞行时间的成像系统
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
WO2010006081A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
GB2461894B (en) 2008-07-16 2010-06-23 Light Blue Optics Ltd Holographic image display systems
CN102112844B (zh) 2008-07-29 2013-04-24 微软国际控股私有有限公司 成像系统
CN101650520A (zh) 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
US8337020B2 (en) 2008-11-02 2012-12-25 Citizen Finetech Miyota Co., Ltd. Polarization conversion and color-combination techniques for pico projector illuminators

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
JP2002031516A (ja) 2000-07-18 2002-01-31 Asahi Optical Co Ltd ３次元画像入力装置
US20060139314A1 (en) 2002-05-28 2006-06-29 Matthew Bell Interactive video display system
US20040037450A1 (en) 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
JP2007271924A (ja) 2006-03-31 2007-10-18 Nikon Corp 投影装置およびカメラシステム
JP2009003281A (ja) 2007-06-22 2009-01-08 Ricoh Co Ltd 携帯型電子機器
US20100046802A1 (en) 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
US20100079581A1 (en) 2008-09-30 2010-04-01 Texas Instruments Incorporated 3d camera using flash with structured light

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
WO2020116754A1 (en) * 2018-12-06 2020-06-11 Samsung Electronics Co., Ltd. Electronic device and method for acquiring depth information of object using the same

Also Published As

Publication number Publication date
IL225090A (en) 2017-08-31
CA2812433C (en) 2018-05-15
US20120075534A1 (en) 2012-03-29
CN102510461A (zh) 2012-06-20
JP5894600B2 (ja) 2016-03-30
EP2622847A1 (en) 2013-08-07
CN102510461B (zh) 2015-04-29
JP2013546222A (ja) 2013-12-26
EP2622847B1 (en) 2016-06-29
WO2012047410A1 (en) 2012-04-12
ES2587436T3 (es) 2016-10-24
US8681255B2 (en) 2014-03-25
KR20130138225A (ko) 2013-12-18
CA2812433A1 (en) 2012-04-12
EP2622847A4 (en) 2014-08-06

Similar Documents

Publication Publication Date Title
KR101861393B1 (ko) 통합형 저전력 깊이 카메라 및 비디오 프로젝터 장치
JP4707034B2 (ja) 画像処理方法、入力インタフェース装置
US8947401B2 (en) Display device
KR102210928B1 (ko) 향상된 화상을 형성하도록 장면의 대상들을 선택적으로 촬상하기 위한 방법 및 시스템
US20110058109A1 (en) Image display apparatus, image display method, and recording medium having image display program stored therein
JP2018119942A (ja) 撮像装置及びその監視方法並びにプログラム
US20110164191A1 (en) Interactive Projection Method, Apparatus and System
JP2004312733A (ja) 網膜トラッキングを組み込んだ装置及び方法
US10567715B2 (en) Image display apparatus and method for controlling the same
JP2010152285A (ja) 撮像装置
US20120086915A1 (en) Image Projection Apparatus Tiling System and Method
JP6375660B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
US7167201B2 (en) Device incorporating eye-start capability
US10313586B2 (en) Electronic apparatus, method for controlling the same, and storage medium
US20160249003A1 (en) Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic
CN110072044B (zh) 深度相机的控制方法及控制装置、终端及可读存储介质
JP2014171810A (ja) 撮像システム
JP7314501B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
CN116339049A (zh) Tof传感器和基于tof传感器的投影矫正方法及系统
TW201128455A (en) Signaling device position determination
EP2605505B1 (en) Apparatus and method for controlling a camera and infrared illuminator in an electronic device
JP2020101878A (ja) 画像処理装置、および検出機能付き表示装置
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions
WO2020248097A1 (zh) 图像获取方法、终端及计算机可读存储介质
CN117061715A (zh) 投影图像参数确定方法、投影设备及计算机存储介质

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant