KR20140053235A - 레이저 깊이 지도 레인지를 확대하는 방법 - Google Patents

레이저 깊이 지도 레인지를 확대하는 방법 Download PDF

Info

Publication number
KR20140053235A
KR20140053235A KR1020147004997A KR20147004997A KR20140053235A KR 20140053235 A KR20140053235 A KR 20140053235A KR 1020147004997 A KR1020147004997 A KR 1020147004997A KR 20147004997 A KR20147004997 A KR 20147004997A KR 20140053235 A KR20140053235 A KR 20140053235A
Authority
KR
South Korea
Prior art keywords
image
environment
level
light
brightness level
Prior art date
Application number
KR1020147004997A
Other languages
English (en)
Other versions
KR101879478B1 (ko
Inventor
샘 엠 사마스트
도널드 엘 두리틀
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140053235A publication Critical patent/KR20140053235A/ko
Application granted granted Critical
Publication of KR101879478B1 publication Critical patent/KR101879478B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

다른 광도 레벨에서 및/또는 다른 센서 적분 시간에 걸쳐 캡쳐된 복수의 이미지들의 합성 이미지로부터 깊이 정보를 얻음으로써 깊이 지도의 다이내믹 레인지를 확대하는 방법이 설명된다. 몇몇 실시예에서, 환경이 제 1 광도의 빛으로 조명될 때 환경의 초기 이미지가 캡쳐된다. 환경이 하나 이상의 다른 광도를 갖는 빛으로 조명될 때, 하나 이상의 다음 이미지들이 이어서 캡쳐된다. 하나 이상의 다른 광도는 이전에 캡쳐된 이미지와 관련된 화소 포화도에 기반하여 동적으로 구성될 수 있다. HDR 이미징 기법(high dynamic range imaging technique)을 적용하여 초기 이미지와 하나 이상의 다음 이미지들을 합성 이미지로 합성할 수 있다.

Description

레이저 깊이 지도 레인지를 확대하는 방법{METHOD TO EXTEND LASER DEPTH MAP RANGE}
깊이 지도(depth map)는 일반적으로 특정 기준점으로부터 환경 내의 객체들까지의 거리에 관한 깊이 정보를 포함하는 환경의 이차원 이미지를 포함한다. 특정 기준점은 이미지 캡쳐 장치와 관련될 수 있다. 이차원 이미지의 화소 각각은 특정 기준점으로부터의 직선 거리(linear distance)를 나타내는 깊이 값과 관련될 수 있다. 구조광 조명(structured light illumination)과 TOF(time of flight) 기법과 같은 다양한 기법을 사용하여 깊이 지도를 만들 수 있다.
구조광 조명은 환경에 광 패턴(light pattern)을 투사하고, 반사된 광 패턴의 이미지를 캡쳐한 후, 투사된 광 패턴에 대해 반사된 광 패턴과 관련된 스페이싱(spacings) 및/또는 왜곡으로부터 거리 정보를 결정하는 것을 포함한다. 광 패턴은 육안으로는 볼 수 없는 빛(예컨대, IR 또는 UV 광)을 사용하여 투사될 수 있고, 하나의 점, 하나의 선, 또는 다양한 차원의 패턴(예컨대, 수평선 및 수직선, 또는 바둑판 패턴)을 포함할 수 있다. 경우에 따라서는, 정확한 깊이 정보를 생성하기 위해 몇몇 다른 광 패턴이 필요할 수 있다.
TOF 기법은 광원으로부터 전송되는 빛이 객체들에 도달하고 다시 이미지 센서로 반사되는 데 걸리는 시간을 측정함으로써 환경 내에서 객체들까지의 거리를 결정할 수 있다. 경우에 따라서, 짧은 광 펄스(short light pulse)(또는 연속 광 펄스(series of light pulses))가 첫 번째 시점에 환경에 투사되고, 짧은 광 펄스와 관련된 반사가 첫 번째 시점 이후에 두 번째 시점에서 캡쳐될 수 있다. TOF 시스템은 시차(time difference)와 관련된 특정 거리(또는 거리 범위)에 있는 객체들을 탐지하기 위해 첫 번째 시점과 두 번째 시점 사이의 시차를 조정할 수 있다.
다른 광도(light intensity) 레벨에서 및/또는 다른 센서 적분 시간(sensor integration times)에 걸쳐 캡쳐된 복수의 이미지들의 합성 이미지(synthesized image)로부터 깊이 정보를 얻음으로써 깊이 지도의 다이내믹 레인지(dynamic range)를 확대하는 기술이 설명된다. 몇몇 실시예에서, 환경이 제 1 광도의 빛으로 조명될 때 환경의 초기 이미지가 캡쳐된다. 환경이 하나 이상의 다른 광도를 갖는 빛으로 조명될 때, 하나 이상의 다음 이미지들이 이어서 캡쳐된다. 하나 이상의 다른 광도는 이전에 캡쳐된 이미지들에 관련된 화소 포화도(degree of pixel saturation)에 기반하여 동적으로 구성될 수 있다. HDR 이미징 기법(high dynamic range imaging technique)을 적용하여 초기 이미지와 하나 이상의 다음 이미지들을 합성 이미지로 합성할 수 있다.
일 실시예로 제 1 광도 레벨을 사용하여 제 1 환경에 광 패턴을 투사하는 단계, 제 1 센서 적분 시간 동안 제 1 환경의 제 1 이미지를 캡쳐하는 단계, 제 1 이미지와 관련된 화소 포화도를 결정하는 단계, 및 화소 포화도에 기반하여 제 2 광도 레벨을 설정하는 단계를 포함한다. 상기 방법은 제 2 광도 레벨을 사용하여 제 1 환경에 광 패턴을 투사하는 단계, 제 1 환경의 제 2 이미지를 캡쳐하는 단계, 제 1 이미지와 제 2 이미지를 결합 이미지로 합성하는 단계, 및 결합 이미지에 기반하여 깊이 지도를 출력하는 단계를 더 포함한다.
본 요약은 아래의 상세한 설명에서 추가적으로 설명되는 일련의 개념을 간략화된 형태로 소개하기 위한 것이다. 본 요약은 특허청구된 대상의 핵심적인 특징 또는 필수적인 특징을 밝히기 위한 것이 아니며, 특허청구된 대상의 범위를 결정하는 데 일조하기 위해 사용되는 것도 아니다.
도 1은 복싱 게임을 하는 중인 사용자가 있는 타겟 탐지 및 추적 시스템(target detection and tracking system)의 일 실시예를 도시한다.
도 2는 타겟 탐지 및 추적 시스템과 캡쳐 장치의 시야 내의 환경의 일 실시예를 도시한다.
도 3은 캡쳐 장치와 컴퓨팅 환경을 포함하는 컴퓨팅 시스템의 일 실시예를 도시한다.
도 4(a)는 시간에 걸쳐 환경에 투사되는 연속 광 펄스의 일 실시예를 도시한다.
도 4(b)는 도 4(a)의 도시에서와 동일한 기간 동안 연속 센서 적분 시간의 일 실시예를 도시한다.
도 5(a)는 환경에 투사되고 있는 제 1 광도의 광 펄스의 일 실시예를 도시한다.
도 5(b)는 도 5(a)의 도시에서와 동일한 기간 동안 연속 센서 적분 시간의 일 실시예를 도시한다.
도 6(a)는 환경에 투사되고 있는 제 1 광도의 광 펄스의 일 실시예를 도시한다.
도 6(b)는 센서 적분 시간의 일 실시예를 도시한다.
도 6(c)는 시간에 걸쳐 환경에 투사되는 연속 광 펄스의 일 실시예를 도시한다.
도 6(d)는 도 6(c)의 도시에서와 동일한 기간 동안 연속 센서 적분 시간의 일 실시예를 도시한다.
도 6(e)는 특정 거리가 주어질 때 초기 광도를 결정하는 함수의 일 실시예이다.
도 7a는 깊이 지도의 다이내믹 레인지를 확대하는 프로세스의 일 실시예를 도시하는 순서도이다.
도 7b는 복수의 이미지로부터 깊이 정보를 생성하는 프로세스의 일 실시예를 도시하는 순서도이다.
도 7c는 광도 레벨과 센서 적분 시간을 업데이트하는 프로세스의 일 실시예를 도시하는 순서도이다.
도 8은 게임 및 미디어 시스템의 일 실시예의 블록도이다.
도 9는 이동 장치의 일 실시예의 블록도이다.
도 10은 컴퓨팅 시스템 환경의 일 실시예의 블록도이다.
다른 광도 레벨에서 및/또는 다른 센서 적분 시간에 걸쳐 캡쳐된 복수의 이미지들의 합성 이미지로부터 깊이 정보를 얻음으로써 깊이 지도의 다이내믹 레인지를 확대하는 기술이 설명된다. 몇몇 실시예에서, 환경이 제 1 광도의 빛으로 조명될 때 환경의 초기 이미지가 캡쳐된다. 환경이 하나 이상의 다른 광도를 갖는 빛으로 조명될 때, 하나 이상의 다음 이미지들이 이어서 캡쳐된다. 하나 이상의 다른 광도는 이전에 캡쳐된 이미지와 관련된 화소 포화도에 기반하여 동적으로 구성될 수 있다. HDR 이미징 기법을 적용하여 초기 이미지와 하나 이상의 다음 이미지들을 합성 이미지로 합성할 수 있다.
깊이 지도는 특정 광 패턴을 투사하는 광원과 이 특정 광 패턴의 반사에 관련된 하나 이상의 이미지를 캡쳐하는 광 센서 장치를 포함하는 깊이 탐지 시스템을 사용하여 생성될 수 있다. 깊이 지도와 관련된 환경(예컨대, 플레이 공간)이 깊이 지도가 생성되는 광 센서 장치(예컨대, 카메라 시스템 또는 이미지 센서)에 가깝고 먼 물체 모두를 포함할 때 깊이 지도의 정확도와 다이내믹 레인지가 저하될 수 있다. 광 센서 장치가 멀리 있는 객체들을 보기 위해는, 광 센서 장치가 멀리 있는 객체들로부터 반사된 빛을 탐지할 수 있도록 멀리 있는 객체들을 “비추기” 위해 더 큰 광도(예컨대, 더 큰 광 레이저 파워를 통해)가 요구될 수 있다. 그러나, 깊이 지도 시스템에서의 더 큰 광도의 사용으로 인해 광 센서 장치 부근에 있는 객체들이 포화되거나 색이 바랠 수 있고(saturated or washed-out), 그러므로 의미 있는 깊이 정보를 구별하기 어려워질 수 있다. 따라서, 투사된 광도가 멀리 있는 객체들을 조명하도록 설정되면, 객체가 광 센서 장치에 점점 더 가까워질수록 그 객체의 이미지가 더 포화될 수 있다. 어느 시점에서, 화소 포화로 인해 깊이 차이가 구별되지 않게 될 수 있다.
또한, 반사면, 반투명한 표면, 또는 투명한 표면의 객체들이 깊이 탐지 시스템의 문제가 될 수 있다. 예를 들어, 객체의 표면이 잘 반사하면(highly reflective), 광 센서 장치로부터 빛이 반사되어 나가 광 센서 장치로 곧장 집중된다. 객체의 표면이 아주 투명하면, 충분한 빛이 광 센서 장치로 다시 반사되지 않을 수 있다. 따라서, 객체의 광 센서 장치로부터의 각기 다른 거리에 더해, 객체의 표면 특성도 광 센서 장치에서 캡쳐되는 반사광에서 현저한 차이를 만들 수 있다.
본 명세서의 목적을 위해, 용어 “빛”은 가시 광선, 적외선 및 자외선을 포함하는 모든 종류의 광학 방사(optical radiation)를 말한다.
도 1은 복싱 게임을 하는 중인 사용자(18)가 있는 타겟 탐지 및 추적 시스템(10)의 일 실시예를 도시한다. 타겟 탐지 및 추적 시스템(10)은 사용자(18)와 같은 인간 타겟 및/또는 사용자(18)가 들고 있는 소품(도시되지 않음)과 같은 비-인간 타겟을 탐지, 인식, 분석 및/또는 추적할 수 있다. 타겟 탐지 및 추적 시스템(10)은 사용자(18)가 존재하는 플레이 공간 환경의 깊이 지도를 생성하기 위한 깊이 탐지 시스템을 포함할 수 있다.
도 1에 도시된 바와 같이, 타겟 탐지 및 추적 시스템(10)은 컴퓨팅 환경(12)을 포함할 수 있다. 컴퓨팅 환경(12)은 컴퓨터, 게임 시스템 또는 콘솔 등을 포함할 수 있다. 일 실시예에 따르면, 컴퓨팅 환경(12)은 운영 체제와 게임 애플리케이션, 비게임 애플리케이션 등의 애플리케이션들을 실행하는 데에 사용될 수 있도록 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트들을 포함할 수 있다. 일 실시예에서, 컴퓨팅 시스템(12)은 본원에 기술된 프로세스들을 실행하는 프로세서 판독 가능 저장 장치 상에 저장된 명령어를 실행할 수 있는 표준화된 프로세서, 특화된 프로세서, 마이크로프로세서 등의 프로세서를 포함할 수 있다.
타겟 탐지 및 추적 시스템(10)은 캡쳐 장치(20)를 더 포함할 수 있다. 일 실시예에서, 캡쳐 장치(20)는 사용자(18)를 비롯한 한 명 이상의 사용자들을 포함하는 하나 이상의 타겟을 시각적으로 모니터링하기 위해 사용 가능한 카메라를 포함할 수 있다. 한 명 이상의 사용자들이 행하는 제스처(포즈 포함)를 캡쳐, 분석 및 추적하여 운영 체제나 애플리케이션의 사용자-인터페이스를 위한 하나 이상의 제어 또는 액션을 실행할 수 있다. 몇몇 실시예에서, 캡쳐 장치(20)는 깊이 감지 카메라(depth sensing camera)를 포함할 수 있다.
사용자는 자신의 신체를 움직임으로써 제스처를 생성할 수 있다. 제스처는 이미지 데이터로써 캡쳐되고 의미 해석을 위해 파싱될 수 있는 사용자에 의한 모션이나 포즈를 포함할 수 있다. 제스처는 공 던지기 흉내와 같은 모션을 포함하여 동적일 수 있다. 제스처는 팔짱을 끼고 있는 것과 같이 정적인 포즈일 수 있다. 제스처는 가짜 검을 흔드는 것과 같이 소품을 포함할 수도 있다.
캡쳐 장치(20)는 하나 이상의 사용자 및/또는 객체들에 관한 이미지와 오디오 데이터를 캡쳐할 수 있다. 예를 들어, 한 명 이상의 사용자의 신체 일부 또는 전신의 움직임, 제스처, 및 스피치에 관한 정보를 캡쳐하기 위해 캡쳐 장치(20)가 사용될 수 있다. 캡쳐 장치(20)에 의해 캡쳐된 정보는 컴퓨팅 환경(12) 및/또는 캡쳐 장치(20) 내의 처리 요소에 의해 수신되어 게임 또는 기타 애플리케이션의 양태를 렌더링(render), 인터랙션 및 제어하는 데 사용될 수 있다. 일 실시예에서, 캡쳐 장치(20)는 특정 사용자에 관한 이미지 및 오디오 데이터를 캡쳐하고, 컴퓨팅 환경(12)은 캡쳐된 정보를 처리하여 얼굴 및 음성 인식 소프트웨어를 실행하는 것에 의해 특정 사용자를 식별한다.
몇몇 실시예에서, 타겟 탐지 및 추적 시스템(10)은 환경의 객체들을 탐지 및/또는 추적하기 위해 깊이 지도를 생성하여 이용할 수 있다. 깊이 지도는 환경에 관련된 깊이 정보를 포함하는 환경의 이미지나 프레임을 포함할 수 있다. 일례로, 깊이 이미지는 관찰된 화소 각각이 관련 깊이 값을 갖고 있는 복수의 관찰된 화소들을 포함할 수 있다. 예를 들어, 각각의 화소는 캡쳐 장치의 관점에서부터 환경의 객체까지의 길이 또는 거리와 같은 깊이 값을 포함할 수 있다.
타겟 탐지 및 추적 시스템(10)은 사용자(18)와 같은 사용자에게 게임 또는 애플리케이션 비주얼 및/또는 오디오를 제공하는 텔레비전, 모니터 또는 HDTV(high-definition television)와 같은 오디오비주얼 장치(16)에 연결될 수 있다. 예를 들어, 컴퓨팅 환경(12)은 게임 애플리케이션, 비게임 애플리케이션 등과 관련된 오디오비주얼 신호를 제공하는 그래픽 카드 등의 비디오 어댑터 및/또는 사운드 카드 등의 오디오 어댑터를 포함할 수 있다. 오디오비주얼 장치(16)는 컴퓨팅 환경(12)으로부터 오디오비주얼 신호를 수신하여, 이 오디오비주얼 신호와 관련된 게임 또는 애플리케이션의 비주얼 및/또는 오디오를 사용자(18)에게 제공한다. 오디오비주얼 장치(16)는 예를 들어, S-Video 케이블, 동축 케이블, HDMI 케이블, DVI 케이블, VGA 케이블 등을 통해 컴퓨팅 환경(12)에 연결될 수 있다.
도 1에 도시된 바와 같이, 컴퓨팅 환경(12)에서 실행되고 있는 애플리케이션은 사용자(18)가 플레이할 수 있는 복싱 게임일 수 있다. 컴퓨팅 환경(12)은 오디오비주얼 장치(16)를 사용하여 사용자(18)에게 복싱 상대(22)의 시각적인 형상(visual representation)을 제공할 수 있다. 컴퓨팅 환경(12)은 또한 오디오비주얼 장치(16)를 사용하여 사용자(18)가 자신의 움직임으로 제어할 수 있는 플레이어 아바타(24)의 시각적인 형상을 제공할 수 있다. 예를 들어, 사용자(18)는 물리적인 공간에서 펀치를 날려, 플레이어 아바타(24)가 게임 공간에서 펀치를 날리게 할 수 있다. 일 실시예에서, 타겟 탐지 및 추적 시스템(10)의 컴퓨팅 환경(12) 및 캡쳐 장치(20)가 물리적 공간에서의 사용자(18)의 펀치를 인식하고 분석하는 데에 사용되어, 그 펀치가 게임 공간에서 플레이어 아바타(24)의 게임 제어로 해석될 수 있다.
일 실시예에서, 사용자의 움직임은 플레이어 아바타(24)의 제어가 아닌 액션들에 대응할 수 있는 제어들로 해석될 수 있다. 예를 들어, 플레이어가 특정 움직임을 통해 게임의 종료, 게임 일시 중지, 게임 저장, 레벨 선택, 최고점 보기, 친구와의 통신 등을 할 수 있다. 다른 실시예에서, 타겟 탐지 및 추적 시스템(10)은 타겟 움직임들을 게임 세상 밖의 운영 체제 및/또는 애플리케이션 제어로 해석할 수 있다. 예를 들어, 운영 체제 및/또는 애플리케이션의 제어가능한 사실상 모든 양태가 사용자(18)와 같은 타겟의 움직임에 의해 제어될 수 있다. 또 다른 실시예에서, 사용자(18)는 움직임을 사용하여 메인 사용자 인터페이스에서 게임이나 기타 애플리케이션을 선택할 수 있다. 사용자(18)의 모든 움직임은 애플리케이션이나 운영 체제와 인터랙션할 수 있도록 적절한 임의의 방식으로 이용 가능, 사용 및 분석될 수 있다.
타겟 탐지 및 추적 시스템(10)과 그 컴포넌트들의 적절한 예시들은 다음의 동시 계류 중인 특허 출원들: "Environment And/Or Target Segmentation"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/475,094호, "Auto Generating a Visual Representation"이라는 발명의 명칭으로 2009년 7월 29일에 출원된 미국 특허 출원 제 12/511,850호, "Gesture Tool"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/474,655호, "Pose Tracking Pipeline"이라는 발명의 명칭으로 2009년 10월 21일에 출원된 미국 특허 출원 제 12/603,437호, "Device for Identifying and Tracking Multiple Humans Over Time"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/475,308호, "Human Tracking System"이라는 발명의 명칭으로 2009년 10월 7일에 출원된 미국 특허 출원 제 12/575,388호, "Gesture Recognizer System Architecture"라는 발명의 명칭으로 2009년 4월 13일에 출원된 미국 특허 출원 제 12/422,661호, "Standard Gestures"라는 발명의 명칭으로 2009년 2월 23일에 출원된 미국 특허 출원 제 12/391,150호, 및 "Gesture Tool"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/474,655호에서 발견되며, 이들 모두는 그 전체가 참조로서 본원에 통합된다.
도 2는 타겟 탐지 및 추적 시스템(10)과 캡쳐 장치(20)의 시야 내의 환경(300)의 일 실시예를 도시한다. 환경(300)은 인간 객체(사용자(18))와 비-인간 객체(의자(19))를 포함하고 있다. 도시된 바와 같이, 의자(19)보다 사용자(18)가 캡쳐 장치(20)에 훨씬 더 가깝다. 일 실시예에서, 타겟 탐지 및 추적 시스템(10)은 환경의 둘 이상의 다른 이미지들을 통합하거나 합성하여 환경(300)의 깊이 지도를 생성한다. 둘 이상의 다른 이미지들 각각은 환경(300)이 다른 광도 레벨의 광 패턴으로 조명될 때 캡쳐될 수 있다. 환경의 둘 이상의 다른 이미지들을 합성 이미지로 합성함으로써, 가까운 객체 및 멀리 있는 객체 모두에 관한 정보가 보존될 수 있다. 예를 들어, 더 높은 다이내믹 레인지의 합성 이미지로부터 깊이 정보를 생성하는 것은 캡쳐 장치(20)로부터 사용자(18)와 의자(19)까지의 거리를 더욱 정확하게 결정할 수 있게 한다.
일 실시예에서, 제 1 광도의 제 1 광 펄스가 환경(300)에 투사되고 캡쳐 장치(20)에 의해 캡쳐된다. 이어서, 제 2 광도의 제 2 광 펄스가 환경(300)에 투사되고 캡쳐 장치(20)에 의해 캡쳐된다. 제 1 광도는 제 2 광도보다 더 낮은 광도일 수 있다. 이와 같은 경우에, 더 낮은 광도의 제 1 광 펄스는 사용자(18)와 관련된 깊이 정보를 캡쳐하는 데 사용되는 반면, 더 높은 광도의 제 2 광 펄스는 의자(19)와 관련된 깊이 정보를 캡쳐하는 데 사용될 수 있다(즉, 더 먼 거리에 있는 객체들을 조명하기 위해 더 낮은 광도보다는 더 높은 광도가 사용된다.).
타겟 탐지 및 추적 시스템(10)은 다양한 광도의 이미지들을 생성하기 위해 환경에 투사되고 있는 광도를 수정하거나(예컨대, 광원에 공급되는 전류량 또는 전력량을 증가 또는 감소시킴) 캡쳐장치의 노출 시간을 수정할 수 있다(예컨대, 센서 적분 시간을 증가하거나 감소시킴). 몇몇 실시예에서, 다양한 광도의 사전 결정된 개수의 광 펄스들이 환경(300)에 투사되고 각각의 광 펄스에 대한 환경의 관련 이미지가 연이어 캡쳐될 수 있다.
깊이 지도를 생성하기에 앞서, 타겟 탐지 및 추적 시스템(10)은 특정 환경에 필요한 최대 광도 레벨을 결정하기 위해 교정(calibration) 단계를 실행할 수 있다(예컨대, 깊이 탐지 시스템이 위치한 방이나 플레이 공간의 크기를 추정함). 또한 타겟 탐지 및 추적 시스템(10)은 전력 및 성능 요구 사항에 기반하여 최대 광 펄스 개수 및/또는 최대 캡쳐 단계 수를 결정할 수 있다. 예를 들어, 타겟 탐지 및 추적 시스템(10)이 저전력 모드인 경우 최대 광 펄스 개수가 줄어들 수 있다. 따라서, 시스템 요구 사항이 변하면 최대 광 펄스 개수 및/또는 최대 캡쳐 단계 수가 시간이 흐름에 따라 조정될 수 있다.
도 3은 캡쳐 장치(58)와 컴퓨팅 환경(54)을 포함하는 컴퓨팅 시스템(50)의 일 실시예를 도시한다. 컴퓨팅 시스템(50)은 도 1-2의 타겟 탐지 및 추적 시스템(10)의 일 구현예이다. 예를 들어, 컴퓨팅 환경(54)은 도 1-2의 컴퓨팅 환경(12)에 해당하고, 캡쳐 장치(58)는 도 1-2의 캡쳐 장치(20)에 해당할 수 있다.
일 실시예에서, 캡쳐 장치(58)는 이미지와 비디오를 캡쳐하는 하나 이상의 이미지 센서를 포함할 수 있다. 이미지 센서는 CCD 이미지 센서나 CMOS 센서를 포함할 수 있다. 몇몇 실시예에서, 캡쳐 장치(58)는 IR CMOS 이미지 센서를 포함할 수 있다. 또한, 캡쳐 장치(58)는 예를 들어, TOF, 구조광, 스테레오 이미지 등을 포함하는 적절한 임의의 기법을 통해, 깊이 값을 포함하는, 깊이 이미지 등의 깊이 정보가 있는 비디오를 캡쳐하도록 구성되는 깊이 카메라(또는 깊이 감지 카메라)를 포함할 수 있다.
캡쳐 장치(58)는 이미지 카메라 컴포넌트(32)를 포함할 수 있다. 일 실시예에서, 이미지 카메라 컴포넌트(32)는 장면의 깊이 이미지를 캡쳐하는 깊이 카메라일 수 있다. 깊이 이미지는 캡쳐된 장면의 2-D(two-dimensional) 화소 영역을 포함할 수 있고, 2-D 화소 영역의 각 화소는 이미지 카메라 컴포넌트(32)로부터 캡쳐된 장면에서 객체의 거리 등의 깊이 값을 센티미터, 밀리미터 등으로 나타낼 수 있다.
이미지 카메라 컴포넌트(32)는 캡쳐 영역의 깊이 이미지를 캡쳐하기 위해 사용되는 적외선 컴포넌트(IR light component, 34), 3-D(three-dimensional) 카메라(36) 및 RGB 카메라(38)를 포함할 수 있다. 예를 들면, TOF 분석법에서는, 캡쳐 장치(58)의 적외선 컴포넌트(34)가 캡쳐 영역으로 적외선을 내보내고, 센서들을 사용하여, 예를 들어, 3-D 카메라(36) 및/또는 RGB 카메라(38)를 사용한 캡쳐 영역의 하나 이상의 타겟 및 객체들의 표면으로부터 후방 산란되는 빛을 검출한다. 몇몇 실시예에서는, 펄스 적외선(pulsed infrared light)을 사용하여, 나가는 광 펄스와 이에 대응하여 들어오는 광 펄스 간의 시간을 측정하고, 이를 사용하여 캡쳐 장치(58)로부터 캡쳐 영역의 하나 이상의 객체들의 특정 지점까지의 물리적인 거리를 결정할 수 있다. 또한, 나가는 광파의 위상과 들어오는 광파의 위상을 비교하여 위상 변위(phase shift)를 결정할 수 있다. 이후, 이 위상 변위를 사용하여 캡쳐 장치로부터 하나 이상의 객체의 특정 지점까지의 물리적인 거리를 결정할 수 있다.
다른 실시예에서, 캡쳐 장치(58)는 구조광을 사용하여 깊이 정보를 캡쳐할 수 있다. 이러한 분석법에서는, 패턴화된 광(즉, 그리드 패턴이나 스트라이프 패턴과 같이 공지된 패턴으로 디스플레이되는 광)이 예를 들어, 적외선 컴포넌트(34)를 통해 캡쳐 영역에 투사될 수 있다. 캡쳐 영역의 하나 이상의 객체(또는 타겟)의 표면에 부딪치면, 패턴이 그에 따라 변형되게 된다. 이러한 패턴의 변형이 예컨대, 3-D 카메라(36) 및/또는 RGB 카메라(38)에 의해 캡쳐되고 분석되어, 캡쳐 장치로부터 하나 이상의 객체의 특정 지점까지의 물리적인 거리를 결정할 수 있다. 캡쳐 장치(58)는 콜리메이션된 빛(collimated light)을 생성하는 광학 장치를 포함할 수 있다. 몇몇 실시예에서, 레이저 프로젝터를 사용하여 구조광 패턴을 만들 수 있다. 광 프로젝터는 레이저, 레이저 다이오드, 및/또는 LED를 포함할 수 있다.
몇몇 실시예에서, 둘 이상의 다른 카메라들이 통합 캡쳐 장치에 포함될 수 있다. 예를 들어, 깊이 카메라와 비디오 카메라(예컨대, RGB 비디오 카메라)가 공통 캡쳐 장치에 포함될 수 있다. 몇몇 실시예에서, 동일하거나 다른 유형의 둘 이상의 별개의 캡쳐 장치들이 함께 사용될 수 있다. 예를 들어, 깊이 카메라 및 별개의 비디오 카메라가 사용될 수 있거나, 두 개의 비디오 카메라가 사용될 수 있거나, 두 개의 깊이 카메라가 사용될 수 있거나, 두 개의 RGB 카메라가 사용될 수 있고, 또는 임의의 조합과 개수의 카메라가 사용될 수 있다. 일 실시예에서, 캡쳐 장치(58)는 깊이 정보의 생성을 위해 분석되는 비주얼 스테레오 데이터를 얻기 위해 각기 다른 각도에서 캡쳐 영역을 볼 수 있는 물리적으로 분리된 둘 이상의 카메라들을 포함할 수 있다. 단색광(monochromatic), 적외선, RGB, 또는 기타 임의의 유형의 탐지기일 수 있는 복수의 탐지기를 사용하여 이미지를 캡쳐하고 시차 계산(parallax calculation)을 하여 깊이를 결정할 수 있다.
도 3에 도시된 바와 같이, 캡쳐 장치(58)는 마이크로폰(40)을 포함할 수 있다. 마이크로폰(40)은 소리를 수신하여 이를 전기 신호로 변환하는 변환기(transducer) 또는 센서를 포함할 수 있다.
캡쳐 장치(58)는 이미지 카메라 컴포넌트(32)와 통신 가능한 프로세서(42)를 포함할 수 있다. 프로세서(42)는 표준화된 프로세서, 특화된 프로세서, 마이크로 프로세서 등을 포함할 수 있다. 프로세서(42)는 필터나 프로파일 저장, 이미지 수신 및 분석, 특정 상황 발생 여부 결정을 하는 명령어 또는 기타 임의의 적절한 명령어를 포함하는 명령어를 실행할 수 있다. 적어도 몇 개의 이미지 분석 및/또는 타겟 분석 및 추적 작업이 캡쳐 장치(58)와 같은 하나 이상의 캡쳐 장치에 포함된 프로세서들에 의해 실행될 수 있음을 이해하여야 한다.
캡쳐 장치(58)는, 프로세서(42)로 실행가능한 명령어, 3-D 카메라 또는 RGB 카메라로 캡쳐된 이미지 또는 이미지 프레임, 필터나 프로파일, 또는 기타 임의의 적절한 정보, 이미지 등을 저장하는 메모리 컴포넌트(44)를 더 포함할 수 있다. 일례로, 메모리(44)는 RAM(random access memory), ROM(read only memory), 캐시(cache), 플래시 메모리, 하드 디스크 또는 기타 적절한 저장 컴포넌트를 포함한다. 도 4에 도시된 바와 같이, 메모리(44)는 이미지 캡쳐 컴포넌트(32) 및 프로세서(42)와 통신하는 별개의 컴포넌트일 수 있다. 또 다른 실시예에 따르면, 메모리(44)가 프로세서(42) 및/또는 이미지 캡쳐 컴포넌트(32)에 통합될 수도 있다. 다른 실시예에서, 도 4에 도시된 캡쳐 장치(58)의 컴포넌트들(32, 34, 36, 38, 40, 42 및 44)은 하나의 하우징에 수용된다.
캡쳐 장치(58)는 통신 링크(46)를 통해 컴퓨팅 환경(54)과 통신할 수 있다. 통신 링크(46)는 USB 연결, 파이어와이어(Firewire) 연결, 이더넷 케이블 연결 등을 포함하는 유선 연결 및/또는 무선 802.11 b, g, a 또는 n 연결 등의 무선 연결일 수 있다. 컴퓨팅 환경(54)은 장면을 언제 캡쳐할 지를 결정하는 데에 사용되는 클럭을 통신 링크(46)를 통해 캡쳐 장치(58)로 제공할 수 있다. 일 실시예에서, 캡쳐 장치(58)는 예를 들어, 3-D 카메라(36) 및/또는 RGB 카메라(38)에서 캡쳐되는 이미지들을 통신 링크(46)를 통해 컴퓨팅 환경(54)으로 제공할 수 있다.
도 3에 도시된 바와 같이, 컴퓨팅 환경(54)은 운영 체제(196)와 통신하는 이미지 및 오디오 처리 엔진(194)을 포함한다. 이미지 및 오디오 처리 엔진(194)은 가상 데이터 엔진(197), 객체 및 제스처 인식 엔진(190), 구조 데이터(198), 처리 장치(191), 및 기억 장치(192)를 포함하고, 이들 모두는 서로 통신한다. 이미지 및 오디오 처리 엔진(194)은 캡쳐 장치(58)로부터 수신한 비디오, 이미지, 및 오디오 데이터를 처리한다. 객체의 탐지 및/또는 추적을 돕기 위해, 이미지 및 오디오 처리 엔진(194)은 구조 데이터(198)와 객체 및 제스처 인식 엔진(190)을 이용할 수 있다. 가상 데이터 엔진(197)은 가상 객체들을 처리하고, 기억 장치(192)에 저장된 현실 세계 환경의 각종 지도와 관련하여 가상 객체들의 위치와 방향(orientation)을 기록한다(register).
처리 장치(191)는 객체, 얼굴, 및 음성 인식 알고리즘을 실행하는 하나 이상의 프로세서를 포함할 수 있다. 일 실시예에서, 이미지 및 오디오 처리 엔진(194)은 이미지나 비디오 데이터에 객체 인식 및 얼굴 인식 기법을 적용할 수 있다. 예를 들어, 객체 인식을 사용하여 특정 객체들(예컨대, 축구공, 자동차, 또는 랜드마크)을 탐지할 수 있고, 얼굴 인식을 사용하여 특정인의 얼굴을 탐지할 수 있다. 이미지 및 오디오 처리 엔진(194)은 오디오 데이터에 오디오 및 비디오 인식 기법을 적용할 수 있다. 예를 들어, 오디오 인식을 사용하여 특정 소리를 탐지할 수 있다. 탐지될 특정 얼굴, 음성, 소리, 및 객체가 기억 장치(192)에 포함된 하나 이상의 메모리에 저장될 수 있다.
몇몇 실시예에서, 객체 탐지 및/또는 추적을 개선하기 위해, 추적되고 있는 하나 이상의 객체는 IR 역반사 표식(marker)과 같은 하나 이상의 표식으로 보완될 수 있다. 평면 기준(reference) 이미지, 코디드(coded) AR 표식, QR 코드, 및/또는 바코드를 사용하여 객체 탐지 및/또는 추적을 개선할 수도 있다. 하나 이상의 객체를 탐지하면, 이미지 및 오디오 처리 엔진(194)은 탐지된 각각의 객체의 정체(identification)와 대응 위치 및/또는 방향을 운영 체제(196)에 알릴 수 있다.
이미지 및 오디오 처리 엔진(194)은 객체 인식을 실행하는 중에 구조 데이터(198)를 이용할 수 있다. 구조 데이터(198)는 추적될 타겟 및/또는 객체들에 대한 구조 정보를 포함할 수 있다. 예를 들어, 신체 부위의 인식을 돕기 위해 사람의 골격 모델이 저장될 수 있다. 다른 예로, 구조 데이터(198)는 하나 이상의 무생물체의 인식을 돕기 위해 하나 이상의 무생물체에 관한 구조 정보를 포함할 수 있다.
이미지 및 오디오 처리 엔진(194)은 또한 객체 인식을 실행하는 중에 객체 및 제스처 인식 엔진(190)을 이용할 수 있다. 일례로, 객체 및 제스처 인식 엔진(190)은 제스처 필터 컬렉션을 포함할 수 있고, 각각의 제스처 필터는 골격 모델이 실행 가능한 제스처에 관한 정보를 포함한다. 객체 및 제스처 인식 엔진(190)은 캡쳐된 골격 모델 및 그에 관련된 움직임 형태의, 캡쳐 장치(58)에 의해 캡쳐된 데이터를 제스처 라이브러리의 제스처 필터들과 비교하여, 사용자(골격 모델로 표현됨)가 언제 하나 이상의 제스처들을 취했는지를 확인할 수 있다. 일례로, 이미지 및 오디오 처리 엔진(194)은 객체 및 제스처 인식 엔진(190)을 사용하여 골격 모델의 움직임의 해석을 돕고 특정 제스처의 실행을 탐지할 수 있다.
객체의 탐지 및 추적에 관한 추가 정보는 “Motion Detection Using Depth Images”라는 발명의 명칭으로 2009년 12월 18일에 출원된 미국 특허 출원 제 12/641,788호, 및 "Device for Identifying and Tracking Multiple Humans Over Time"이라는 발명의 명칭으로 출원된 미국 특허 출원 제 12/475,308에서 찾을 수 있으며, 이들 모두는 그 전체가 참조로서 본원에 통합된다. 객체 및 제스처 인식 엔진(190)에 대한 추가 정보는, 그 전체가 참조로써 본원에 통합된 "Gesture Recognizer System Architecture"라는 발명의 명칭으로 2009년 4월 13일에 출원된 미국 특허 출원 제 12/422,661호에서 찾을 수 있다. 제스처 인식에 관한 추가 정보는 "Standard Gestures"라는 발명의 명칭으로 2009년 2월 23일에 출원된 미국 특허 출원 제 12/391,150호, 및 “Gesture Tool”이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/474,655호에서 찾을 수 있으며, 이들 모두는 그 전체가 참조로서 본원에 통합된다.
도 4(a)는 시간에 걸쳐 환경에 투사되는 연속 광 펄스의 일 실시예를 도시한다. 도시된 대로, 시간(t1과 t4) 사이에 광도(I4)의 제 1 광 펄스가 환경에 투사되고, 시간(t5와 t8) 사이에 광도(I2)의 제 2 광 펄스가 투사되고, 시간(t9과 t12) 사이에 광도(I3)의 제 3 광 펄스가 환경에 투사된다. 일 실시예에서, 제 1 광 펄스는 환경에 투사되는 초기 광 펄스를 포함한다. 제 1 광 펄스와 관련된 광도는 특정 광원과 관련된 최대 광도로 설정되거나, 또는 도 3의 캡쳐 장치(58)와 같은 캡쳐 장치로부터 특정 거리(또는 범위)에 관련된 특정 광도로 설정될 수 있다.
도 4(b)는 도 4(a)의 도시에서와 동일한 기간 동안 연속 센서 적분 시간의 일 실시예를 도시한다. 도시된 바와 같이, 세 개의 센서 적분 시간은 도 4(a)에 도시된 세 개의 광 펄스들에 대응한다. 몇몇 실시예에서, 도 1-2의 타겟 탐지 및 추적 시스템(10)과 같은 타겟 탐지 및 추적 시스템은 시간(t1)에서 시작되는 제 1 광 펄스를 투사하고 시간(t2와 t3) 사이에 제 1 광 펄스와 관련된 제 1 이미지를 캡쳐할 수 있다. 다음으로 타겟 탐지 및 추적 시스템은 제 1 이미지와 관련된 화소 포화도를 결정할 수 있다. 그 후에, 다음 광 펄스들의 광도는 이전에 캡쳐된 이미지들에 관련된 화소 포화도에 따라 동적으로 조정될 수 있다.
일 실시예에서, 화소 포화도는 제 1 이미지 내에서 포화된 화소들의 백분율을 결정함으로써 결정된다. 제 1 이미지가 특정 백분율 임계치를 넘는 화소 포화도를 갖고 있으면(예컨대, 5 %가 넘는 화소들이 포화되면), 다음 광 펄스에 관련된 광도 레벨이 감소될 수 있다. 제 1 이미지에 관련된 화소 포화도의 결정에는 가능한 최고 광도 설정(예컨대, 255와 동일한 8-비트 화소값)에 부여된 화소 개수의 결정이나 특정 임계치를 넘는 광도 값(예컨대, 250과 동일한 8-비트 화소 값을 넘는 모든 값들)이 부여된 화소 개수의 결정이 포함될 수 있다.
도시된 바와 같이, 도 4(a)의 제 2 광 펄스는 시간(t5)에서 시작하여 제 1 광도(I4)의 절반인 광도(I2)로 투사된다. 시간(t16과 t17) 사이에, 타겟 탐지 및 추적 시스템은 제 2 광 펄스와 관련된 제 2 이미지를 캡쳐한다. 이어서, 제 2 이미지에 관한 화소 포화도가 결정된다. 화소 포화도가 특정 임계치 아래이면, 다음 광 펄스의 광도 레벨이 증가될 수 있다. 제 3 광 펄스가 제 1 광 펄스와 제 2 광 펄스의 광도 사이에 있는 광도로 투사되고, 시간(t10 및 t11) 사이에 제 3 이미지가 캡쳐된다.
도 5(a)는 시간(t1과 t8) 사이에 환경에 투사되고 있는 광도(I1)의 광 펄스의 일 실시예를 도시한다. 도 5(b)는 도 5(a)의 도시에서와 동일한 기간 동안 연속 센서 적분 시간의 일 실시예를 도시한다. 도시된 바와 같이, 시간(t2와 t3) 사이의 제 1 센서 적분 시간 동안 제 1 이미지가 캡쳐된다. 몇몇 실시예에서, 도 1-2의 타겟 탐지 및 추적 시스템(10)과 같은 타겟 탐지 및 추적 시스템은 제 1 이미지에 관한 화소 포화도를 결정할 수 있다. 제 1 이미지가 특정 백분율 임계치를 넘는 화소 포화도를 갖고 있으면(예컨대, 5 %가 넘는 화소들이 포화되면), 다음 캡쳐 타임과 관련된 적분 시간이 감소될 수 있다. 따라서, 센서 적분 시간은 이전에 캡쳐된 이미지들에 관련된 화소 포화도에 따라 동적으로 조정될 수 있다.
도시된 바와 같이, 시간(t4와 t5) 사이의 제 2 센서 적분 시간 동안 제 2 이미지가 캡쳐된다. 제 1 이미지가 특정 임계치보다 높은 화소 포화도를 갖도록 결정되기 때문에, 제 2 센서 적분 시간과 관련된 센서 적분 시간은 제 1 센서 적분 시간의 절반이 된다. 이어서, 타겟 탐지 및 추적 시스템은 제 2 이미지에 관련된 화소 포화도를 결정할 수 있다. 제 2 이미지와 관련된 화소 포화도가 특정 임계치보다 낮으면, 다음 캡쳐 시간에 관련된 센서 적분 시간이 증가될 수 있다. 도시된 바와 같이, 시간(t6와 t7) 사이의 제 3 센서 적분 시간은 제 1 센서 적분 시간과 제 2 센서 적분 시간 사이에 있는 적분 시간량(또는 노출 시간)이 주어진다.
몇몇 실시예에서, 광도 레벨 및/또는 센서 적분 시간 모두는 이전에 캡쳐된 이미지들에 관련된 화소 포화도에 따라 동적으로 조정될 수 있다. 예를 들어, 이미지에 관한 화소 포화도가 특정 임계치보다 높으면 광도 레벨과 센서 적분 시간 모두가 감소될 수 있다.
또한, 광 펄스 개수 및/또는 센서 적분 시간의 수는 타겟 탐지 및 추적 시스템이 얼마나 많은 처리 능력, 메모리, 및 시간을 가지고 있는지에 의해 제한될 수 있다. 캡쳐되는 이미지 수가 많을수록, 합성 이미지를 처리하고 생성하는 데 필요한 자원량이 많아진다. 많은 애플리케이션에서, 깊이 정보를 생성하기 위해 필요한 시간은 최종 사용자에게 투사되는 비디오 스트림이 초당 30 프레임보다 느려서는 안 된다.
도 6(a)는 시간(t1과 t2) 사이에 환경에 투사되고 있는 광도(I4)의 광 펄스의 일 실시예를 도시한다. 도 6(b)는 시간(t3와 t4) 사이의 센서 적분 시간의 일 실시예를 도시한다. 센서 적분 시간이 광 펄스와 중첩되지 않으므로, 센서 적분 시간 동안 캡쳐된 이미지는 광 펄스와 센서 적분 시간의 시차와, 객체들로부터 다시 반사되는 광 펄스의 TOF 지연에 관련된 거리에서 환경 안에 있는 이들 객체들에 달려있을 것이다. 예를 들어, 빛이 15 미터 떨어진 객체까지 갔다가 캡쳐 장치로 다시 반사되는 시간은 대략 100 ns이다(즉, 15 미터 * 2 / 300,000,000 mps). 광 펄스의 펄스 폭(예컨대, 레이저 광원으로부터의)은 객체들을 볼 수 있는 범위의 해상도(resolution)를 결정한다(즉, 펄스 폭이 좁을수록, 거리 면에서 해상도가 좋다). 예를 들어, 3 미터 해상도에는, 10 ns 펄스가 요구된다(즉, 3 미터 /3 00,000,000 mps). 또한, 투사된 빛이 센서 적분 시간 내에서 언제든지 반사되고 캡쳐될 수 있으므로 센서 적분 시간이 해상도도 감소시킬 수 있다(즉, 시간(t3)에 캡쳐된 빛이 시간(t4)에 캡쳐된 빛보다 더 짧은 거리를 이동했을 가능성이 크다). 최악의 경우, 시간(t2)에 투사된 빛이 시간(t3)에 캡쳐되고, 시간(t1)에 투사된 빛이 시간(t4)에 캡쳐될 것이다. 따라서, 투사된 광 펄스와 대응 센서 적분 시간 사이의 시차를 사용하여 타겟 탐지 및 추적 시스템으로부터의 특정 범위에 관한 거리 정보를 캡쳐할 수 있다(예컨대, 특정 시차를 사용하여 타겟 탐지 및 추적 시스템으로부터 10 미터와 20 미터 사이에 있는 객체들을 캡쳐할 수 있다).
일 실시예에서, 투사된 광 펄스와 대응 센서 적분 시간 간의 시차는 타겟 탐지 및 추적 시스템으로부터의 특정 거리(또는 거리 범위)에 기반할 수 있다. 예를 들어, 도 6(a) 및 6(b)의 시간(t2와 t3) 사이의 시차는 타겟 탐지 및 추적 시스템으로부터 먼 거리에 관련된 거리 정보를 캡쳐할 때에 비해 타겟 탐지 및 추적 시스템에 더 가까운 거리에 관련된 거리 정보를 캡쳐할 때 더 작을 수 있다.
도 6(c)는 시간에 걸쳐 환경에 투사되는 연속 광 펄스의 일 실시예를 도시한다. 도시된 바와 같이, 광도(I4)의 제 1 광 펄스가 시간(t1과 t2) 사이에 환경에 투사되고, 광도(I4보다 낮은 I2)의 제 2 광 펄스가 시간(t5에서 t6) 사이에 환경에 투사된다. 도 6(d)는 도 6(c)의 도시에서와 동일한 기간 동안 연속 센서 적분 시간의 일 실시예를 도시한다. 시간(t3와 t4) 사이의 제 1 센서 적분 시간은 제 1 광 펄스에 대응하고 환경의 제 1 이미지를 캡쳐할 수 있다. 시간(t7와 t8) 사이의 제 2 센서 적분 시간은 제 2 광 펄스에 대응하고 환경의 제 2 이미지를 캡쳐할 수 있다. 도시된 바와 같이, 제 1 광 펄스 투사와 제 1 센서 적분 시간 사이의 제 1 시차(D1)가 제 2 광 펄스와 제 2 적분 시간 사이의 제 2 시차(D2)보다 크다. 이런 경우에, 환경의 제 1 이미지는 제 2 이미지에 관련된 제 2 거리 범위보다 타겟 탐지 및 추적 시스템으로부터 더 멀리 있는 제 1 거리 범위에 관한 거리 정보를 포함할 수 있다.
일 실시예에서, 광 펄스의 광도 및 광 펄스 투사와 대응 센서 적분 시간 간의 시차는 모두 타겟 탐지 및 추적 시스템으로부터의 캡쳐 거리에 기반하여 조정될 수 있다. 광도와 시차 양쪽 모두는 캡쳐 거리가 타겟 탐지 및 추적 시스템으로부터 멀 때보다 타겟 탐지 및 추적 시스템에 더 가까울 때 감소될 수 있다.
도 6(e)는 특정 거리(또는 거리 범위)가 주어질 때 초기 광도를 결정하는 함수의 일 실시예이다. 도시된 바와 같이, 거리(d1과 d2)와 관련된 특정 범위에 대해, 환경에 투사되는 제 1 광 펄스에 초기 광도(I3)가 사용될 것이다. d2보다 더 먼 거리의 경우, 초기 광도(I4)가 사용될 것이다. 룩업 테이블과 다양한 선형 또는 비선형 함수들도 사용될 수 있다. 몇몇 실시예에서, 거리가 멀수록, 초기 광도는 더 커진다.
일 실시예에서, 제 1 광 펄스와 제 1 센서 적분 시간 사이의 제 1 시차를 사용하여 타겟 탐지 및 추적 시스템으로부터 제 1 거리 범위 안에 있는(예컨대, 타겟 탐지 및 추적 시스템으로부터 처음 10 미터 안에 있는) 거리 정보를 결정한다. 투사된 광 패턴에 대한 초기 광도를 결정하기 위해, 타겟 탐지 및 추적 시스템으로부터의 거리에 따르는 사전 결정된 최대 광도들의 룩업 테이블이 사용될 수 있다. 그 후에 타겟 탐지 및 추적 시스템은 다양한 광도의 복수의 광 펄스를 투사하고, 모두 동일한 제 1 시차를 사용하여 복수의 광 펄스에 관련된 복수의 이미지를 캡쳐할 수 있다. 타겟 탐지 및 추적 시스템으로부터 제 2 거리 범위 내의(예컨대, 타겟 탐지 및 추적 시스템의 10 미터에서 20 미터 내의) 거리 정보를 결정하기 위해, 제 2 시차가 사용될 수 있다. 제 2 거리 범위가 제 1 거리 범위보다 멀기 때문에 투사된 광 패턴에 더 큰 초기 광도가 사용될 수 있다. 다음으로, 다양한 광도의 제 2 복수의 광 펄스가 환경에 투사되고, 동일한 제 2 시차를 사용하여 제 2 복수의 이미지가 캡쳐될 수 있다.
도 7a는 깊이 지도의 다이내믹 레인지를 확대하는 프로세스의 일 실시예를 도시하는 순서도이다. 도 7a의 프로세스는 연속적으로 하나 이상의 컴퓨터 장치로 실행될 수 있다. 도 7a의 프로세서에서 각각의 단계는 다른 단계에서 사용되는 컴퓨팅 장치들과 동일하거나 다른 컴퓨팅 장치로 실행될 수 있고, 각각의 단계는 반드시 하나의 컴퓨팅 장치로 실행될 필요는 없다. 일 실시예에서, 도 7a의 프로세스는 도 1-2의 타겟 탐지 및 추적 시스템(10)과 같은 타겟 탐지 및 추적 시스템으로 실행된다.
단계(502)에서, 광도 레벨 설정, 센서 적분 시간, 및 이미지의 최대 개수가 초기화된다. 초기 광도 레벨과 센서 적분 시간은 타겟 탐지 및 추적 시스템으로부터의 특정 범위에 기반할 수 있다. 이미지의 최대 개수는 원하는 비디오 프레임률의 함수일 수 있다(예컨대, 초당 30 프레임). 단계(504)에서, 이와 같은 광도 레벨의 빛이 처음으로 방사된다. 방사된 빛은 환경에 투사되고 있는 구조화된 패턴을 포함할 수 있다. 단계(506)에서, 복수의 이미지들의 제 1 이미지가 센서 적분 시간 동안 캡쳐된다. 단계(507)에서, 제 1 이미지가 저장된다. 일례로, 제 1 이미지가 메모리 버퍼에 저장될 수 있다.
단계(508)에서, 이미지의 최대 개수가 캡쳐되었는지 여부가 결정된다. 이미지의 최대 개수가 캡쳐되지 않았다고 결정되면, 단계(510)가 실행된다. 단계(510)에서, 제 1 이미지에 관련된 화소 포화도가 결정된다. 화소 포화도는 제 1 이미지 내에서 포화된 화소 개수의 함수일 수 있다. 화소 포화도는 이미지 센서 안에 있는 임계치 탐지 회로나 이미지 처리 소프트웨어에 의해 결정될 수 있다. 단계(512)에서, 광도 레벨과 센서 적분 시간이 단계(510)에서 결정된 화소 포화도에 기반하여 업데이트된다. 단계(514)에서, 업데이트된 광도 레벨과 센서 적분 시간에 관련된 하나 이상의 스케일 값(scaling value)이 저장된다. 일례로, 업데이트된 광도 레벨이 이전 광도 레벨의 절반이면, 스케일 값 1/2이 저장될 것이다. 단계(514) 후에, 업데이트된 광도 레벨과 센서 적분 시간을 사용하여 단계(504)가 다시 실행된다.
이미지의 최대 개수가 캡쳐되었다고 결정되면, 단계(516)가 실행된다. 단계(516)에서, 복수의 캡쳐 이미지로부터 깊이 정보가 생성된다. 일 실시예에서, 깊이 정보는 복수의 이미지로부터 합성된 기반 이미지(base image)로부터 얻어진다.
도 7b는 복수의 이미지로부터 깊이 정보를 생성하는 프로세스의 일 실시예를 도시하는 순서도이다. 도 7b에 설명된 프로세스는 도 7a의 단계(516)를 구현하는 프로세스의 일례이다. 도 7b의 프로세스는 연속적으로 하나 이상의 컴퓨터 장치로 실행될 수 있다. 도 7b의 프로세서에서 각각의 단계는 다른 단계에서 사용되는 컴퓨팅 장치들과 동일하거나 다른 컴퓨팅 장치로 실행될 수 있고, 각각의 단계는 반드시 하나의 컴퓨팅 장치로 실행될 필요는 없다. 일 실시예에서, 도 7b의 프로세스는 도 1-2의 타겟 탐지 및 추적 시스템(10)과 같은 타겟 탐지 및 추적 시스템으로 실행된다.
단계(522)에서, 복수의 이미지 각각이 공통 좌표계에 기록되거나 그에 따라 조정된다. 이미지 기록 중에, 타겟 탐지 및 추적 시스템은 환경과 관련된 공통 좌표계에 특정 환경에서 찍힌 다른 이미지들(예컨대, 조금씩 다른 관점에서 및/또는 다른 시점에 찍힌 이미지들)을 기록할 수 있다.
단계(524)에서, 복수의 이미지가 도 7a의 단계(514)에서 저장되는 하나 이상의 스케일 값에 기반하여 기반 이미지로 합성된다. 일 실시예에서, 기반 이미지는 복수의 이미지에 HDR 이미징 기법을 적용하여 생성할 수 있다. HDR 이미징 기법은 종래의 디지털 이미징 기법과 비교하여 이미지의 가장 밝은 영역과 가장 어두운 영역 사이에 더 큰 다이내믹 레인지의 휘도(luminance)를 제공함으로써, 큰 대조비(contrast ratio)를 갖는 환경의 세부 사항을 보존할 수 있다. HDR 이미지들은 일반적으로 다수의 이미지를 캡쳐하고, 보통 노출 브라케팅(exposure bracketing)을 사용한 후, 이들을 하나의 HDR 이미지로 합침으로써 생성된다.
몇몇 실시예에서, 타겟 탐지 및 추적 시스템에 더 가까이에 있는 이미지의 포화된 화소 위치들에 타겟 탐지 및 추적 시스템에 더 멀리 있는 하나 이상의 이미지와 관련된 스케일링된 화소 값이 부여된다. 두 개의 이미지가 합성된 경우에, 더 높은 광도와 관련된 이미지의 포화된 화소 위치들이 더 낮은 광도와 관련된 이미지로부터의 관련 스케일링된 화소 값들로 대체된다.
단계(526)에서, 기반 이미지와 관련된 깊이 정보가 생성된다. 몇몇 실시예에서, 구조광 패턴에서의 왜곡 및/또는 구조광 패턴의 부분들 간의 스페이싱을 고려하는 이미지 처리 기법이 사용될 수 있다. 단계(528)에서, 깊이 정보가 출력된다. 일례로, 깊이 정보는 도 3의 컴퓨팅 환경(54)과 같은 컴퓨팅 환경에 전송된다.
도 7c는 광도 레벨과 센서 적분 시간을 업데이트하는 프로세스의 일 실시예를 도시하는 순서도이다. 도 7c에 설명된 프로세스는 도 7a의 단계(512)를 구현하는 프로세스의 일례이다. 도 7c의 프로세스는 연속적으로 하나 이상의 컴퓨터 장치로 실행될 수 있다. 도 7c의 프로세서에서 각각의 단계는 다른 단계에서 사용되는 컴퓨팅 장치들과 동일하거나 다른 컴퓨팅 장치로 실행될 수 있고, 각각의 단계는 반드시 하나의 컴퓨팅 장치로 실행될 필요는 없다. 일 실시예에서, 도 7c의 프로세스는 도 1-2의 타겟 탐지 및 추적 시스템(10)과 같은 타겟 탐지 및 추적 시스템으로 실행된다.
단계(542)에서, 화소 포화도가 특정 임계치를 충족하였는지가 결정된다. 화소 포화도가 특정 임계치를 충족한 것으로 결정되면, 단계(548)이 실행된다. 단계(548)에서는, 광도 레벨 또는 센서 적분 시간이 감소된다. 일례로, 다음 광 펄스의 광도 레벨이 절반으로 줄어든다. 또 다른 예로, 다음 광 펄스와 관련된 센서 적분 시간이 1/4로 줄어든다. 화소 포화도가 특정 임계치를 충족하지 못한 것으로 결정되면, 단계(546)가 실행된다. 단계(546)에서, 광도 레벨 또는 센서 적분 시간이 증가될 수 있다. 일례로, 광도 레벨은 이전 광도 레벨과 최대 광도 레벨(또는 초기 광도 레벨) 사이의 레벨로 설정된다. 일 실시예에서, 화소 포화도가 특정 임계치 아래이면, 광 펄스나 이미지가 더 이상 캡쳐되지 않을 수 있다.
개시된 기술은 다양한 컴퓨팅 시스템으로 사용될 수 있다. 도 8-10은 개시된 기술의 실시예들을 구현하는 데 사용 가능한 다양한 컴퓨팅 시스템의 예시들을 제공한다.
도 8은 도 1-2의 컴퓨팅 환경(12)의 일례인 게임 및 미디어 시스템(7201)의 일 실시예의 블록도이다. 콘솔(7203)은 CPU(Central Processing Unit)(7200) 및 메모리 컨트롤러(7202)를 구비하며, 상기 메모리 컨트롤러(7202)는 플래시 ROM(Read Only Memory)(7204), RAM(Random Access Memory)(7206), 하드 디스크 드라이브(7208) 및 포터블 미디어 드라이브(7107)를 포함하는 각종 메모리로의 프로세서 액세스를 용이하게 한다. 일 구현예로, CPU(7200)는 레벨 1 캐시(7210) 및 레벨 2 캐시(7212)를 포함하여, 데이터를 일시적으로 저장하고 따라서 하드 드라이브(7208)에 실행되는 메모리 액세스 사이클의 수를 줄임으로써, 처리 속도와 처리량을 개선한다.
CPU(7200), 메모리 컨트롤러(7202) 및 각종 메모리 디바이스는 하나 이상의 버스(도시되지 않음)를 통해 상호 접속되어 있다. 이런 하나 이상의 버스는 직렬 및 병렬 버스, 메모리 버스, 주변 장치 버스, 및 임의의 다양한 버스 아키텍처를 사용한 프로세서나 로컬 버스를 중 하나 이상을 포함할 수 있다. 예를 들어, 이러한 아키텍처로는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 버스, 및 PCI(Peripheral Component Interconnect) 버스를 들 수 있다.
일 구현예로서, CPU(7200), 메모리 컨트롤러(7202), ROM(7204), 및 RAM(7206)은 공통 모듈(7214) 상에 집적된다. 이런 구현예에서, ROM(7204)은 PCI 버스 및 ROM 버스(양자 모두 도시되지 않음)를 통해 메모리 컨트롤러(7202)에 접속된 플래시 ROM으로서 구성된다. RAM(7206)은 개별 버스(도시되지 않음)를 통해 메모리 컨트롤러(7202)에 의해 독립적으로 제어되는 복수의 DDR SDRAM(Double Data Rate Synchronous Dynamic RAM) 모듈로서 구성된다. 하드 디스크 드라이브(7208) 및 포터블 미디어 드라이브(7107)는 PCI 버스 및 ATA(AT Attachment) 버스(7216)를 통해 메모리 컨트롤러(7202)에 접속되어 있는 것으로 도시된다. 그러나, 다른 구현에서, 다른 유형의 전용 데이터 버스 구조가 대신 적용될 수 있다.
3D 그래픽 처리 장치(7220) 및 비디오 인코더(7222)는 고속 고해상도(예컨대, HD) 그래픽 처리를 위한 비디오 처리 파이프라인을 형성한다. 데이터는 그래픽 처리 장치(7220)로부터 디지털 비디오 버스(도시되지 않음)를 통해 비디오 인코더(7222)에 운반된다. 오디오 처리 장치(7224) 및 오디오 코덱(코더/디코더)(7226)은 다양한 오디오 포맷의 다중 채널 오디오 처리를 위해 대응 오디오 처리 파이프라인을 형성한다. 오디오 데이터는 통신 링크(도시되지 않음)를 통해 오디오 처리 장치(7224)와 오디오 코덱(7226) 사이에서 운반된다. 상기 비디오 및 오디오 처리 파이프라인은 텔레비전 또는 기타 디스플레이로의 송신을 위해 A/V(오디오/비디오) 포트(7228)에 데이터를 출력한다. 도시된 구현예에서, 비디오 및 오디오 처리 컴포넌트(7220-7228)는 모듈(7214) 상에 탑재된다.
도 8은 USB 호스트 컨트롤러(7230)와 네트워크 인터페이스(7232)를 포함하는 모듈(7214)을 도시한다. USB 호스트 컨트롤러(7230)는 버스(도시되지 않음)를 통해 CPU(7200) 및 메모리 컨트롤러(7202)과 통신하고 있고, 주변 컨트롤러들(7205(1)-7205(4))의 호스트로서 기능한다. 네트워크 인터페이스(7232)는 네트워크(예컨대, 인터넷, 홈 네트워크 등)로의 액세스를 제공하며 이더넷 카드, 모뎀, 무선 액세스 카드, 블루투스 모듈, 케이블 모뎀 등을 포함한 임의의 다양한 유선 또는 무선 인터페이스 컴포넌트일 수 있다.
도 8에 도시된 구현예에서, 콘솔(7203)은 4 개의 컨트롤러(7205(1))-7205(4))를 지원하는 컨트롤러 서포트 서브어셈블리(7240)를 포함한다. 컨트롤러 서포트 서브어셈블리(7240)는 예를 들어, 미디어 및 게임 컨트롤러와 같은 외부 제어 장치와의 유무선 동작을 지원하는 데 필요한 임의의 하드웨어 및 소프트웨어 컴포넌트를 포함한다. 프론트 패널 I/O 서브어셈블리(7242)는 임의의 LED(light emitting diode) 또는 게임 콘솔(7203)의 외면에 노출된 기타 표시기뿐만 아니라, 전원 버튼(7213), 배출 버튼(7215)의 다수의 기능을 지원한다. 서브어셈블리(7240 및 7242)는 하나 이상의 케이블 어셈블리(7244)를 통해 모듈(7214)과 통신한다. 다른 구현예에서, 콘솔(7203)은 추가 컨트롤러 서브어셈블리를 포함할 수 있다. 도시된 구현예에서는 모듈(7214)로 전송 가능한 신호를 (예컨대, 리모트 컨트롤(7290)로부터) 송수신하도록 구성되는 광학 I/O 인터페이스(7235)도 도시한다.
MU들(7241(1) 및 7241(2))은 각각 "A"(7231(1)) 및 "B"(7231(2))에 연결 가능한 것으로 도시되어 있다. 추가 MU들(예컨대, MU(7241(3)-7241(6)))이 컨트롤러들(7205(1) 및 7205(3))들에, 즉, 각 컨트롤러 당 두 개의 MU가 연결 가능한 것으로 도시되어 있다. 컨트롤러들(7205(2) 및 7205(4))은 MU들을 수신하도록 구성될 수 있다(도시되지 않음). 각각의 각 MU(7241)은 게임, 게임 파라미터 및 기타 데이터가 저장될 수 있는 추가 스토리지를 제공한다. 포터블 USB 장치와 같은 추가 메모리 장치들이 MU 대신 사용될 수 있다. 몇몇 구현예에서, 다른 데이터는 임의의 디지털 게임 컴포넌트, 실행 가능한 게임 애플리케이션, 게임 애플리케이션 확장을 위한 명령어 집합, 및 미디어 파일을 포함할 수 있다. 콘솔(7203)이나 컨트롤러에 삽입된 경우, MU(7241)은 메모리 컨트롤러(7202)에 의해 액세스될 수 있다. 시스템 전력 공급 모듈(7250)은 게임 시스템(7201)의 컴포넌트에 전력을 공급한다. 팬(7252)은 콘솔(7203) 내부의 회로를 냉각한다.
기계 명령어를 포함하는 애플리케이션(7260)은 하드 디스크 드라이브(7208)에 저장된다. 콘솔(7203)이 켜질 때, 애플리케이션(7260)의 각종 부분들이 CPU(7200) 상에서의 실행을 위해 RAM(7206), 및/또는 캐시(7210 및 7212)에 로딩된다. 다른 애플리케이션들도 CPU(7200) 상에서의 실행을 위해 하드 디스크 드라이브에 저장될 수 있다.
게임 및 미디어 시스템(7201)은 단지 모니터, 텔레비전, 비디오 프로젝터, 또는 기타 디스플레이 장치에 시스템을 접속시킴으로써 독립형 시스템으로 동작할 수 있다. 이와 같은 독립형 모드에서, 게임 및 미디어 시스템(7201)은 한 명 이상의 플레이어가 게임을 플레이하거나 (예컨대, 영화를 보거나 음악을 들음으로써) 디지털 미디어를 즐길 수 있게 할 수 있다. 반면, 네트워크 인터페이스(7232)를 통해 이용 가능해진 광대역 접속 통합으로, 게임 및 미디어 시스템(7201)은 더 큰 네트워크 게임 커뮤니티의 참가자로서 동작할 수 있다.
도 9는 도 3의 컴퓨팅 시스템(50)을 구현하는 데 사용될 수 있는 이동 장치(8300)의 일 실시예의 블록도이다. 이동 장치는 랩톱 컴퓨터, 포켓 컴퓨터, 이동 전화, PDA, 및 무선 수신기/송신기 기술이 집적된 핸드헬드 미디어 장치를 포함할 수 있다.
이동 장치(8300)는 하나 이상의 프로세서(8312), 및 메모리(8310)를 포함한다. 메모리(8310)는 애플리케이션들(8330)가 비휘발성 저장 장치(8340)를 포함한다. 메모리(8310)는 비휘발성 및 휘발성 메모리를 포함하는 임의의 다양한 메모리 저장 매체 유형일 수 있다. 이동 장치 운영 체제는 이동 장치(8300)의 다른 동작을 처리하고, 전화 통화 걸고 받기, 문자 메시지 하기, 음성 메시지 확인 등과 같은 동작을 위한 사용자 인터페이스를 포함할 수 있다. 애플리케이션(8330)은 사진 및/또는 비디오를 위한 카메라 애플리케이션, 주소록, 달력 애플리케이션, 미디어 플레이어, 인터넷 브라우저, 게임, 알람 애플리케이션, 및 기타 애플리케이션과 같은 여러 종류의 프로그램일 수 있다. 메모리(8310)의 비휘발성 저장 컴포넌트(8340)는 음악, 사진, 연락처 데이터, 스케쥴링 데이터, 및 기타 파일과 같은 데이터를 포함할 수 있다.
하나 이상의 프로세서(8312)는 안테나(8302)에 결합되는 RF 송신기/수신기 회로(8306), 적외선 송신기/수신기(8308), GPS(global positioning service) 수신기(8365), 및 가속도계 및/또는 자력계를 포함할 수 있는 움직임/방향 센서(8314)와 통신한다. RF 송신기/수신기(8308)는 블루투스나 IEEE 802.11 표준과 같은 다양한 무선 기술 표준을 통한 무선 통신을 가능하게 할 수 있다. 가속도계는 이동 장치에 통합되어, 제스처를 통해 사용자들이 명령어를 입력하게 하는 지능형 사용자 인터페이스 애플리케이션과, 이동 장치가 회전할 때 자동으로 디스플레이를 초상화에서 풍경화로 변경할 수 있는 방향 애플리케이션과 같은 애플리케이션들을 가능하게 한다. 가속도계는, 예컨대 반도체 칩에 내장된 작은 기계 장치(마이크로미터 크기)인 마이크로 전자 기계 시스템(MEMS)에 의해 제공될 수 있다. 가속 방향뿐만 아니라, 방향, 진동 및 충격이 감지될 수 있다. 하나 이상의 프로세서(8312)는 추가로 벨 장치/진동 장치(ringer/vibrator)(8316), 사용자 인터페이스 키패드/스크린(8318), 스피커(8320), 마이크로폰(8322), 카메라(8324), 광 센서(8326) 및 온도 센서(8328)와 통신한다. 사용자 인터페이스 키패드/스크린은 터치-감지 스크린 디스플레이를 포함할 수 있다.
하나 이상의 프로세서(8312)는 무선 신호의 송신 및 수신을 제어한다. 송신 모드 동안, 하나 이상의 프로세서(8312)는 마이크로폰(8322)으로부터의 음성 신호 또는 다른 데이터 신호를 RF 송신기/수신기 회로(8306)에 제공한다. 송신기/수신기 회로(8306)는 안테나(8302)를 통해 신호를 전송한다. 벨 장치/진동 장치(8316)는 착신 통화, 텍스트 메시지, 일정 리마인더, 알람 시계 리마인더 또는 다른 통지를 사용자에게 송신하는 데 이용된다. 수신 모드 동안, RF 송신기/수신기 회로(8306)는 안테나(8302)를 통해 원격 스테이션으로부터 음성 신호 또는 다른 데이터 신호를 수신한다. 수신된 음성 신호는 스피커(8320)에 제공되고, 다른 수신된 데이터 신호는 또한 적절히 처리된다.
추가적으로, 물리적 연결 장치(8388)는 배터리(8304)를 재충전하기 위해서 AC 어댑터나 전원이 공급되는 도킹 스테이션(docking station)과 같은 외부 전원에 이동 장치(8300)를 연결시키는 데 사용될 수 있다. 물리적 연결 장치(8388)는 외부 컴퓨팅 장치에 대한 데이터 연결로서도 사용될 수 있다. 데이터 연결을 통해 이동 장치 데이터와 다른 장치의 컴퓨팅 데이터와의 동기화 등의 동작이 가능해진다.
도 10은 도 3의 컴퓨팅 환경(54)과 같은 컴퓨팅 시스템 환경(2200)의 일 실시예의 블록도이다. 컴퓨팅 환경(2200)은 컴퓨터(2210) 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(2210)의 구성 요소는 처리 장치(2220), 시스템 메모리(2230), 및 시스템 메모리(2230)를 포함하는 여러 시스템 구성 요소를 처리 장치(2220)에 접속시키는 시스템 버스(2221)를 포함할 수 있지만 이에 제한되지는 않는다. 시스템 버스(2221)는 메모리 버스, 주변 장치 버스, 및 임의의 다양한 버스 구조를 이용하는 로컬 버스를 포함하는 여러 유형의 버스 구조일 수 있다. 예를 들어, 그러나 제한 없이, 이러한 아키텍처로는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 버스, 및 PCI(Peripheral Component Interconnect) 버스를 들 수 있다.
컴퓨터(2210)는 통상 다양한 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터(2210)에 의해 액세스될 수 있고, 양방의 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체를 포함하는 이용 가능한 임의의 매체일 수 있다. 예를 들어, 그러나 제한 없이, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능한 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체와 같은 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는 데 이용될 수 있고, 컴퓨터(2210)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지 않는다. 상기의 임의의 조합은 컴퓨터 판독 가능 매체의 범주 내에 또한 포함되어야 한다.
시스템 메모리(2230)는 ROM(read only memory)(2231) 및 RAM(random access memory)(2232)과 같은 휘발성 및/또는 비휘발성 메모리의 형태의 컴퓨터 저장 매체를 포함한다. 예컨대, 시동 중에, 컴퓨터(2210) 내의 소자 사이로 정보를 전달하는 데 도움을 주는 기본적 루틴을 포함하는 기본적 입력/출력 시스템(2233)(BIOS)은 전형적으로 ROM(2231) 내에 저장된다. RAM(2232)은 전형적으로 처리 장치(2220)에 즉시 액세스 가능하고 및/또는 처리 장치(2220)에 의해 현재 동작되는 데이터 및/또는 프로그램 모듈을 포함한다. 예컨대, 그러나 제한 없이, 도 10은 운영 체제(2234), 애플리케이션 프로그램(2235), 다른 프로그램 모듈(2236) 및 프로그램 데이터(2237)를 도시한다.
컴퓨터(2210)는 다른 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 도 10은 비이동식, 비휘발성 자기 매체로부터/로 읽고/쓰기를 하는 하드 디스크 드라이브(2241), 이동식, 비휘발성 자기 디스크(2252)로부터/로 읽고/쓰기를 하는 자기 디스크 드라이브(2251), 및 CD ROM 또는 다른 광 매체와 같은 이동식, 비휘발성 광 디스크(2256)로부터/로 읽기/쓰기를 하는 광 디스크 드라이브(2255)를 도시한다. 예시적인 운영 환경에 사용될 수 있는 다른 이동식/비이동식, 휘발성/비휘발성 유형의 컴퓨터 판독 가능 저장 매체로는 자기 테이프 카세트, 플래시 메모리 카드, DVD(digital versatile disks), 디지털 비디오 테이프, 고체 상태 RAM, 고체 상태 ROM 등이 포함되나 그러한 것에 국한되지 않는다. 하드 디스크 드라이브(2241)는 통상적으로 인터페이스(2240)와 같은 비이동식 메모리 인터페이스를 통해 시스템 버스(2221)에 연결되고, 자기 디스크 드라이브(2251) 및 광 디스크 드라이브(2255)는 통상적으로 인터페이스(2250)와 같은 이동식 메모리 인터페이스를 통해 시스템 버스(2221)에 연결된다.
상기에서 논의되고 도 10에 도시된 드라이브들 및 그 관련 컴퓨터 저장 매체는 컴퓨터(2210)에 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 저장을 지원한다. 도 10에서, 예를 들어 하드 디스크 드라이브(2241)는 운영 체제(2244), 애플리케이션 프로그램(2245), 기타 프로그램 모듈(2246), 및 프로그램 데이터(2247)를 저장하는 것으로 도시된다. 이런 구성요소들은 운영 체제(2234), 애플리케이션 프로그램(2235), 기타 프로그램 모듈(2236), 및 프로그램 데이터(2237)와 같을 수도 다를 수도 있다는 것을 알아야 한다. 운영 체제(2244), 애플리케이션 프로그램(2245), 기타 프로그램 모듈(2246), 및 프로그램 데이터(2247)에는 여기서 최소한 그들이 다른 사본들임을 묘사하기 위해 다른 부호들이 주어진다. 사용자는 키보드(2262) 및 통상 마우스, 트랙볼 또는 터치 패드라 일컫는 포인팅 장치(2261)와 같은 입력 장치들을 통해 컴퓨터(2210)에 명령어와 정보를 입력할 수 있다. 다른 입력 장치들(도시되지 않음)에는 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너 등이 포함될 수 있다. 이들 및 기타 입력 장치들은 흔히 시스템 버스에 연결된 사용자 입력 인터페이스(2260)를 통해 처리 장치(2220)에 연결되나, 병렬 포트나 게임 포트 또는 USB(universal serial bus)와 같은 다른 인터페이스 및 버스 구조에 의해 연결될 수도 있다. 모니터(2291) 또는 다른 유형의 디스플레이 장치 역시 비디오 인터페이스(2290)와 같은 인터페이스를 통해 시스템 버스(2221)에 연결된다. 모니터 외에, 컴퓨터들은 출력 주변 기기 인터페이스(2295)를 통해 연결될 수 있는 스피커(2297) 및 프린터(2296)와 같은 다른 주변 기기 출력 장치들을 포함할 수도 있다.
컴퓨터(2210)는 원격 컴퓨터(2280)와 같은 한 개 이상의 원격 컴퓨터로의 논리 접속을 이용하여, 네트워킹 환경 안에서 동작할 수 있다. 원격 컴퓨터(2280)는 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 다른 전형적 네트워크 노드일 수 있으며, 도 10에는 메모리 저장 장치(2281)만이 도시되었지만 통상적으로 컴퓨터(2210)와 관련해 상기에서 기술된 구성요소들 중 다수나 전부를 포함한다. 도 10에 도시된 논리 접속들은 LAN(local area network)(2271) 및 WAN(wide area network)(2273)을 포함하지만, 다른 네트워크들 역시 포함할 수 있다. 이와 같은 네트워킹 환경은 사무소, 기업 전체의 컴퓨터 네트워크, 인트라넷 및 인터넷에서 일반적이다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(2210)는 네트워크 인터페이스나 어댑터(2270)를 통해 LAN(2271)에 연결된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(2210)는 통상적으로, 인터넷 같은 WAN(2273)을 통한 통신을 설정하기 위한 모뎀(2272) 또는 다른 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(2272)이 사용자 입력 인터페이스(2260)나 다른 적절한 메커니즘을 통해 시스템 버스(2221)에 연결될 수 있다. 네트워킹 환경에서, 컴퓨터(2210)와 관련해 도시된 프로그램 모듈들이나 그 일부는 원격 메모리 저장 장치에 저장될 수 있다. 예를 들어, 그러나 제한 없이, 도 10는 원격 애플리케이션 프로그램(2285)을 메모리 장치(2281) 상에 상주하는 것으로서 묘사한다. 도시된 네트워크 접속은 본보기적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 다른 수단 역시 사용될 수 있다는 것을 알 수 있을 것이다.
개시된 기술은 다양한 다른 범용 혹은 특수 목적 컴퓨팅 시스템 환경이나 구성에서 구현될 수 있다. 본 기술의 사용에 적합한 잘 알려진 컴퓨팅 장치들의 예시들로는 개인용 컴퓨터, 서버 컴퓨터, 핸드-헬드 또는 랩톱 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋톱 박스, 게임 콘솔, 프로그램가능한 가전 제품, 네트워크 PC, 미니 컴퓨터, 메인프레임 컴퓨터, 상기 시스템 또는 장치들 중 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이에 제한되는 것은 아니다.
개시된 기술은 일반적으로 프로그램 모듈과 같이 컴퓨팅 장치에서 실행되는 컴퓨터 실행 가능 명령어로 설명될 수 있다. 일반적으로, 본원에서 설명된 바와 같은 소프트웨어 및 프로그램 모듈은 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조, 및 특정 작업을 수행하거나 특정 추상(abstract) 데이터 유형을 구현하는 그 밖의 유형의 구조 등을 포함한다. 하드웨어 또는 하드웨어와 소프트웨어의 조합이 본원에서 설명된 바와 같은 소프트웨어 모듈을 대체할 수 있다.
개시된 기술은 또한 통신 네트워크를 통해 링크된 원격 처리 장치에 의해 작업이 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 로컬 컴퓨터 저장 매체와 원격 컴퓨터 저장 매체 모두에 위치할 수 있다.
본 명세서의 목적을 위해, 다른 실시예들을 설명하도록 명세서에서 “일 실시예(an embodiment)”, “일 실시예(one embodiment)”, “몇몇 실시예(some embodiments)”, 또는 “다른 실시예(another embodiment)”가 사용되며 반드시 동일한 실시예를 가리키는 것은 아니다.
본 명세서의 목적을 위해, 연결(connection)은 직접적인 연결이나 간접적인 연결(예컨대, 다른 부분을 통해)일 수 있다.
본 명세서의 목적을 위해, 객체들의 “집합”이라는 용어는 하나 이상의 객체들의 “집합”을 말한다.
본 대상은 구조적인 특징 및/또는 방법론적인 동작(methodological acts)에 특수한 언어로 설명되었지만, 첨부된 청구항에 정의된 대상이 전술한 특정 특징이나 동작에 국한될 필요는 없다. 오히려 특정의 특징 및 동작은 청구항을 구현하는 예시적인 형태로서 기재된 것이다.

Claims (10)

  1. 깊이 지도 레인지를 확대하는 방법에 있어서,
    제 1 광도(light intensity) 레벨을 사용하여 제 1 환경에 광 패턴을 투사하는 단계,
    제 1 센서 적분 시간(integration time) 동안 상기 제 1 환경의 제 1 이미지를 캡쳐하는 단계 - 상기 제 1 이미지는 상기 제 1 광도 레벨과 관련됨 -,
    상기 제 1 이미지와 관련된 화소 포화도를 결정하는 단계,
    상기 화소 포화도에 기반하여 상기 제 1 광도 레벨과 다른 제 2 광도 레벨을 설정하는 단계,
    상기 제 2 광도 레벨을 사용하여 상기 제 1 환경에 상기 광 패턴을 투사하는 단계,
    상기 제 1 환경의 제 2 이미지를 캡쳐하는 단계 - 상기 제 2 이미지는 상기 제 2 광도 레벨과 관련됨 -, 및
    상기 제 1 이미지와 제 2 이미지를 결합 이미지(combined image)로 합성하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 화소 포화도는 포화된, 상기 제 1 이미지와 관련된 화소들의 백분율을 포함하고,
    상기 제 2 광도 레벨을 설정하는 단계는 포화된, 상기 제 1 이미지와 관련된 화소들의 백분율이 사전 결정된 백분율보다 크면 상기 제 2 광도 레벨을 상기 제 1 광도 레벨보다 낮은 광도 레벨로 설정하는 단계를 포함하는 방법.
  3. 제 1 항에 있어서,
    상기 제 2 광도 레벨을 설정하는 단계는 상기 화소 포화도가 임계치 이하이면 상기 제 2 광도 레벨을 상기 제 1 광도 레벨보다 높은 광도 레벨로 설정하는 단계를 포함하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 하나의 항에 있어서,
    상기 제 1 이미지와 제 2 이미지를 결합 이미지로 합성하는 단계는 상기 제 1 이미지의 포화된 화소 위치에 대응하는 상기 결합 이미지의 화소 위치에 상기 제 2 이미지와 관련된 스케일링된 화소 값을 부여하는 단계를 포함하는 방법.
  5. 제 1 항 내지 제 3 항 중 어느 하나의 항에 있어서,
    상기 제 1 이미지와 제 2 이미지를 결합 이미지로 합성하는 단계는 상기 제 1 이미지 및 제 2 이미지에 HDR 이미징 기법(high dynamic range imaging technique)을 적용하는 단계를 포함하는 방법.
  6. 제 1 항에 있어서,
    상기 광 패턴을 제 1 환경에 투사하는 단계는 레이저를 사용하여 상기 광 패턴을 투사하는 단계를 포함하고,
    상기 광 패턴을 제 1 환경에 투사하는 단계는 제 1 기간 동안 일어나고 - 상기 제 1 센서 적분 시간은 상기 제 1 기간 다음임 -,
    상기 제 1 광도 레벨은 상기 레이저로부터의 특정 거리에 관련된 방법.
  7. 깊이 지도 레인지를 확대하는 전자 장치에 있어서,
    조명원(illumination source) - 상기 조명원은 제 1 광도 레벨을 사용하여 제 1 환경에 광 패턴을 투사함 -,
    센서 - 상기 센서는 제 1 센서 적분 시간 동안 상기 제 1 환경의 제 1 이미지를 캡쳐하고, 상기 제 1 이미지는 상기 제 1 광도 레벨과 관련됨 -, 및
    하나 이상의 프로세서 - 상기 하나 이상의 프로세서는 상기 제 1 이미지에 관련된 화소 포화도를 결정하고, 상기 하나 이상의 프로세서는 상기 화소 포화도에 기반하여 제 2 광도 레벨을 결정하며, 상기 조명원은 상기 제 2 광도 레벨을 사용하여 상기 제 1 환경에 상기 광 패턴을 투사하고, 상기 센서는 상기 제 1 환경의 제 2 이미지를 캡쳐하고, 상기 제 2 이미지는 상기 제 2 광도 레벨과 관련되며, 상기 제 2 광도 레벨은 상기 제 1 광도 레벨과 다르고, 상기 하나 이상의 프로세서는 상기 제 1 이미지와 제 2 이미지로부터 결합 이미지를 생성함 - 를 포함하는 전자 장치.
  8. 제 7 항에 있어서,
    상기 화소 포화도는 포화된, 상기 제 1 이미지와 관련된 화소들의 백분율을 포함하고,
    상기 하나 이상의 프로세서는 포화된, 상기 제 1 이미지와 관련된 화소들의 백분율이 특정 백분율보다 크면 상기 제 2 광도 레벨을 상기 제 1 광도 레벨보다 낮은 광도 레벨로 설정하는 전자 장치.
  9. 제 7 항에 있어서,
    상기 하나 이상의 프로세서는 상기 화소 포화도가 임계치 이하이면 상기 제 2 광도 레벨을 상기 제 1 광도 레벨보다 높은 광도 레벨로 설정하는 전자 장치.
  10. 제 7 항 내지 제 9 항 중 어느 하나의 항에 있어서,
    상기 하나 이상의 프로세서는 상기 제 1 이미지 및 제 2 이미지에 HDR 이미징 기법을 적용하여 상기 결합 이미지를 생성하는 전자 장치.
KR1020147004997A 2011-08-30 2012-08-29 레이저 깊이 지도 레인지를 확대하는 방법 KR101879478B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/221,066 US9491441B2 (en) 2011-08-30 2011-08-30 Method to extend laser depth map range
US13/221,066 2011-08-30
PCT/US2012/052781 WO2013033151A1 (en) 2011-08-30 2012-08-29 Method to extend laser depth map range

Publications (2)

Publication Number Publication Date
KR20140053235A true KR20140053235A (ko) 2014-05-07
KR101879478B1 KR101879478B1 (ko) 2018-07-17

Family

ID=47743140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147004997A KR101879478B1 (ko) 2011-08-30 2012-08-29 레이저 깊이 지도 레인지를 확대하는 방법

Country Status (6)

Country Link
US (1) US9491441B2 (ko)
EP (1) EP2752012A4 (ko)
JP (1) JP2014533347A (ko)
KR (1) KR101879478B1 (ko)
CN (1) CN103765879A (ko)
WO (1) WO2013033151A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195984A1 (ko) * 2016-05-13 2017-11-16 (주)칼리온 3차원 스캐닝 장치 및 방법
CN111819464A (zh) * 2018-03-15 2020-10-23 欧姆龙株式会社 光检测装置、光检测方法和光学式测距传感器

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
GB2494629A (en) * 2011-09-09 2013-03-20 St Microelectronics Res & Dev Optical navigation device with sleep mode and active mode
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
JP5918984B2 (ja) * 2011-12-06 2016-05-18 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5713885B2 (ja) * 2011-12-26 2015-05-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) * 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
EP2860960B1 (en) * 2012-07-25 2020-10-14 Denso Corporation State monitoring device
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
JP5740370B2 (ja) * 2012-09-04 2015-06-24 株式会社東芝 領域特定装置、方法、及びプログラム
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
JP6088864B2 (ja) * 2013-03-13 2017-03-01 国立大学法人 鹿児島大学 キャリブレーションシステム、およびキャリブレーション方法
US9948852B2 (en) 2013-03-15 2018-04-17 Intuitive Surgical Operations, Inc. Intelligent manual adjustment of an image control element
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9721161B2 (en) * 2013-08-14 2017-08-01 Infineon Technologies Ag Dynamic adjustment of imaging parameters
US9847082B2 (en) * 2013-08-23 2017-12-19 Honeywell International Inc. System for modifying speech recognition and beamforming using a depth image
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9407809B2 (en) 2013-11-27 2016-08-02 Qualcomm Incorporated Strategies for triggering depth sensors and transmitting RGBD images in a cloud-based object recognition system
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
US9307161B2 (en) * 2014-01-10 2016-04-05 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
KR102101864B1 (ko) * 2014-01-29 2020-04-20 엘지이노텍 주식회사 깊이 정보 추출 장치
BR102014010722B1 (pt) * 2014-05-05 2022-09-27 União Brasileira De Educação E Assistência Sistema e método de localização de coordenadas espaciais de objetos e uso do referido sistema para localização de objetos dispostos em ambientes internos
CN103996382B (zh) * 2014-05-07 2016-04-20 成都京东方光电科技有限公司 提高rgbw图像饱和度的方法及系统
US9786251B1 (en) * 2014-05-28 2017-10-10 Musco Corporation Apparatus, method, and system for visually indicating perceived glare thresholds
KR102194234B1 (ko) * 2014-06-02 2020-12-22 삼성전자주식회사 깊이 카메라를 이용하여 피사체에 대응하는 깊이 값을 생성하는 방법 및 장치
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US10495726B2 (en) 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
JP6492588B2 (ja) * 2014-12-01 2019-04-03 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
US9846919B2 (en) 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US10456685B2 (en) * 2015-04-14 2019-10-29 Nintendo Co., Ltd. Identifying and tracking objects via lighting patterns
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US10145678B2 (en) 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
KR102473740B1 (ko) * 2015-04-20 2022-12-05 삼성전자주식회사 동시 rgbz 센서 및 시스템
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
WO2016180957A2 (en) * 2015-05-13 2016-11-17 Naked Labs Austria Gmbh 3d body scanner data processing flow
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置
US10613225B2 (en) * 2015-09-21 2020-04-07 Kabushiki Kaisha Toshiba Distance measuring device
KR20170048972A (ko) 2015-10-27 2017-05-10 삼성전자주식회사 영상을 생성하는 방법 및 장치
KR102372087B1 (ko) * 2015-10-28 2022-03-08 삼성전자주식회사 깊이 영상 촬영장치 및 방법
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US9990689B2 (en) 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US10095928B2 (en) * 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10529135B2 (en) * 2016-07-27 2020-01-07 Google Llc Low-power mode feature identification at a head mounted display
US10062262B2 (en) * 2016-11-16 2018-08-28 The Nielsen Company (Us), Llc People metering enhanced with light projection prompting for audience measurement
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US10425633B2 (en) * 2016-12-30 2019-09-24 Konica Minolta Laboratory U.S.A., Inc. Method and system for capturing images for wound assessment with moisture detection
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10403050B1 (en) 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
SE542644C2 (en) 2017-05-30 2020-06-23 Photon Sports Tech Ab Method and camera arrangement for measuring a movement of a person
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10334232B2 (en) * 2017-11-13 2019-06-25 Himax Technologies Limited Depth-sensing device and depth-sensing method
CN109842789A (zh) * 2017-11-28 2019-06-04 奇景光电股份有限公司 深度感测装置及深度感测方法
US10593055B2 (en) * 2018-03-23 2020-03-17 Capsovision Inc Method and apparatus for capturing images and associated 3D model based on a single image sensor and structured-light patterns in the visible spectrum
US11169251B2 (en) * 2018-03-28 2021-11-09 Qualcomm Incorporated Proximity detection using multiple power levels
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US20190045169A1 (en) * 2018-05-30 2019-02-07 Intel Corporation Maximizing efficiency of flight optical depth sensors in computing environments
KR102545980B1 (ko) 2018-07-19 2023-06-21 액티브 서지컬, 인크. 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법
US10771717B2 (en) 2018-07-30 2020-09-08 Lumileds Llc Use of IR pre-flash for RGB camera's automatic algorithms
US20200036877A1 (en) * 2018-07-30 2020-01-30 Lumileds Llc Use of ir pre-flash for rgb camera's automatic algorithms
US10607353B2 (en) * 2018-08-30 2020-03-31 Facebook Technologies, Llc Structured light depth sensing
US10960297B2 (en) * 2018-09-17 2021-03-30 Disney Enterprises, Inc. Systems and methods for tracking a physical object using a passive object having a reflective surface
CN109543666A (zh) * 2018-11-05 2019-03-29 北京小米移动软件有限公司 结构光组件控制方法及装置
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル， インコーポレイテッド 医療撮像のためのシステムおよび方法
US11590650B2 (en) * 2019-06-10 2023-02-28 Preferred Networks, Inc. Generation method for training dataset, model generation method, training data generation apparatus, inference apparatus, robotic controller, model training method and robot
CN114599263A (zh) 2019-08-21 2022-06-07 艾科缇弗外科公司 用于医疗成像的系统和方法
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US10819915B1 (en) 2019-10-17 2020-10-27 Horiba Instruments Incorporated Apparatus and method generating high dynamic range video
JP7364439B2 (ja) * 2019-11-25 2023-10-18 ファナック株式会社 Ｔｏｆセンサを用いた物体検出システム
US11988775B1 (en) * 2019-12-18 2024-05-21 Zoox, Inc. Dynamic sensor illumination
CN113126072B (zh) * 2019-12-30 2023-12-29 浙江舜宇智能光学技术有限公司 深度相机及控制方法
CN112781522A (zh) * 2020-12-25 2021-05-11 复旦大学 一种基于彩色相移结构光的去高光轮廓仪
CN112887628B (zh) * 2021-01-26 2022-08-30 光为科技(广州)有限公司 光探测和测距设备及增加其动态范围的方法
CN112887627B (zh) * 2021-01-26 2022-08-30 光为科技(广州)有限公司 增加LiDAR设备动态范围的方法、光检测测距LiDAR设备及机器可读介质
DE102021115221A1 (de) * 2021-06-11 2022-12-15 K.A. Schmersal Holding Gmbh & Co. Kg Sichere Überwachung eines Schutzbereichs mittels einer ToF-Kamera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0921620A (ja) * 1995-07-05 1997-01-21 Fuji Facom Corp 物体の三次元形状計測方法
JP2000230814A (ja) * 1999-02-09 2000-08-22 Mitsubishi Heavy Ind Ltd レーザ光を利用した形状測定方法
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US20100128109A1 (en) * 2008-11-25 2010-05-27 Banks Paul S Systems And Methods Of High Resolution Three-Dimensional Imaging

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781807A (en) * 1996-08-16 1998-07-14 Lester A. Dine, Inc. Close-up attachment for a digital camera
EP1006386B1 (en) * 1998-05-25 2011-05-04 Panasonic Corporation Range finder and camera
US6678351B1 (en) 1999-05-06 2004-01-13 The United States Of America As Represented By The United States Department Of Energy Laser radiography forming bremsstrahlung radiation to image an object
JP2001280951A (ja) * 2000-03-31 2001-10-10 Omron Corp 光学式変位計
US7128266B2 (en) 2003-11-13 2006-10-31 Metrologic Instruments. Inc. Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture
US7464877B2 (en) 2003-11-13 2008-12-16 Metrologic Instruments, Inc. Digital imaging-based bar code symbol reading system employing image cropping pattern generator and automatic cropped image processor
US6753876B2 (en) * 2001-12-21 2004-06-22 General Electric Company Method for high dynamic range image construction based on multiple images with multiple illumination intensities
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7492375B2 (en) 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
JP4825809B2 (ja) 2004-12-20 2011-11-30 イムラ アメリカ インコーポレイテッド 調整可能なグレーティングコンプレッサを備えたパルスレーザ光源
KR100672818B1 (ko) * 2006-01-26 2007-01-22 주식회사 고영테크놀러지 3차원형상 측정방법
KR100809345B1 (ko) * 2006-06-16 2008-03-05 삼성전자주식회사 영상 생성 장치 및 방법
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
US8494252B2 (en) * 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
WO2009110589A1 (ja) * 2008-03-07 2009-09-11 株式会社ニコン 形状測定装置および方法、並びにプログラム
US8054290B2 (en) * 2009-05-27 2011-11-08 Microsoft Corporation Image contrast enhancement in depth sensor
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0921620A (ja) * 1995-07-05 1997-01-21 Fuji Facom Corp 物体の三次元形状計測方法
JP2000230814A (ja) * 1999-02-09 2000-08-22 Mitsubishi Heavy Ind Ltd レーザ光を利用した形状測定方法
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US20100128109A1 (en) * 2008-11-25 2010-05-27 Banks Paul S Systems And Methods Of High Resolution Three-Dimensional Imaging

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195984A1 (ko) * 2016-05-13 2017-11-16 (주)칼리온 3차원 스캐닝 장치 및 방법
CN111819464A (zh) * 2018-03-15 2020-10-23 欧姆龙株式会社 光检测装置、光检测方法和光学式测距传感器
CN111819464B (zh) * 2018-03-15 2023-06-20 欧姆龙株式会社 光检测装置、光检测方法和光学式测距传感器

Also Published As

Publication number Publication date
US20130050426A1 (en) 2013-02-28
US9491441B2 (en) 2016-11-08
WO2013033151A1 (en) 2013-03-07
CN103765879A (zh) 2014-04-30
EP2752012A4 (en) 2014-08-27
KR101879478B1 (ko) 2018-07-17
EP2752012A1 (en) 2014-07-09
JP2014533347A (ja) 2014-12-11

Similar Documents

Publication Publication Date Title
KR101879478B1 (ko) 레이저 깊이 지도 레인지를 확대하는 방법
US8660362B2 (en) Combined depth filtering and super resolution
US10816331B2 (en) Super-resolving depth map by moving pattern projector
US10007349B2 (en) Multiple sensor gesture recognition
US10927969B2 (en) Auto range control for active illumination depth camera
US9628843B2 (en) Methods for controlling electronic devices using gestures
US10293252B2 (en) Image processing device, system and method based on position detection
US9210404B2 (en) Calibration and registration of camera arrays using a single circular grid optical target
US9049428B2 (en) Image generation system, image generation method, and information storage medium
CA2786439C (en) Depth camera compatibility
US10101154B2 (en) System and method for enhanced signal to noise ratio performance of a depth camera system
US20170374331A1 (en) Auto keystone correction and auto focus adjustment
US20120306850A1 (en) Distributed asynchronous localization and mapping for augmented reality
US20190045169A1 (en) Maximizing efficiency of flight optical depth sensors in computing environments
US20210256245A1 (en) Real-time multi-view detection of objects in multi-camera environments
CN110152293A (zh) 操控对象的定位方法及装置、游戏对象的定位方法及装置
US9261974B2 (en) Apparatus and method for processing sensory effect of image data

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant