KR20170129882A - 스테레오 카메라 및 구조화된 광을 사용한 헤드 마운트 디스플레이의 심도 맵핑 - Google Patents

스테레오 카메라 및 구조화된 광을 사용한 헤드 마운트 디스플레이의 심도 맵핑 Download PDF

Info

Publication number
KR20170129882A
KR20170129882A KR1020177030158A KR20177030158A KR20170129882A KR 20170129882 A KR20170129882 A KR 20170129882A KR 1020177030158 A KR1020177030158 A KR 1020177030158A KR 20177030158 A KR20177030158 A KR 20177030158A KR 20170129882 A KR20170129882 A KR 20170129882A
Authority
KR
South Korea
Prior art keywords
light pattern
cell
structured light
cells
modulation
Prior art date
Application number
KR1020177030158A
Other languages
English (en)
Other versions
KR101904181B1 (ko
Inventor
니타이 로마노
나다브 그로싱거
야이르 알펀
에밀 알론
가이 라즈
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20170129882A publication Critical patent/KR20170129882A/ko
Application granted granted Critical
Publication of KR101904181B1 publication Critical patent/KR101904181B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • H04N13/0271—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H04N13/0253—
    • H04N13/044—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/005—Optical components external to the laser cavity, specially adapted therefor, e.g. for homogenisation or merging of the beams or for manipulating laser pulses, e.g. pulse shaping
    • H01S5/0085—Optical components external to the laser cavity, specially adapted therefor, e.g. for homogenisation or merging of the beams or for manipulating laser pulses, e.g. pulse shaping for modulating the output, i.e. the laser beam is modulated outside the laser cavity
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/40—Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42—Arrays of surface emitting lasers
    • H01S5/423—Arrays of surface emitting lasers having a vertical cavity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

추적 시스템은 로컬 영역에 구조화된 광 패턴을 생성한다. 본 시스템은 광을 생성하는 레이저 어레이를 포함한다. 레이어 어레이는 복수의 레이어 및 광학 요소를 포함한다. 복수의 레이저는 적어도 2개의 서브세트의 레이저로 그룹화되고, 적어도 2개의 서브세트의 어레이는 각각 독립적으로 전환될 수 있다. 광학 요소는 레이저 어레이의 각각의 서브세트와 각각 정렬되는 복수의 셀을 포함한다. 각각의 셀은 레이저 어레이의 대응하는 레이저로부터 광을 수신하고, 각각의 셀은 셀을 통과하는 수신된 광에 개별적으로 변조를 적용하여 로컬 영역으로 투영되는 구조화된 광 패턴의 대응하는 일부를 형성한다.

Description

스테레오 카메라 및 구조화된 광을 사용한 헤드 마운트 디스플레이의 심도 맵핑
본 발명은 일반적으로 구조화된 광을 사용하는 3차원 심도 맵핑에 관한 것으로서, 더 상세하게는 전적으로는 아니지만 추적 시스템에 관한 것이다.
컴퓨터 앞의 3차원 필드에서 스타일러스와 손가락을 추적하는 것이 이용 가능하며 다양한 추적 기술을 사용할 수 있다. 추적 기술은 시각 및 IR 영상 및 초음파 등을 포함할 수 있다.　용어 "추적(tracking)"은 3차원 공간에서 물체의 위치 및 움직임을 따라가는 것을 일컬을 수 있고, 위치 또는 움직임을 결정하기 위해 추적 컴퓨터에서 수신되는 입력을 처리하는 것을 포함한다.　예를 들어, 컴퓨터 마우스의 경우, 추적은 움직임을 결정하기 위해 마우스 출력을 처리하는 것을 포함할 수 있다.　시각적으로 추적되는 물체의 경우, 추적이라는 용어는 물체를 캡처하는 연속적인 프레임의 이미지 처리를 포함할 수 있다.　한 가지 이미징 방법은 단순히 카메라를 사용하여 장면을 보고 처리하는 것이다.　카메라는 장면에 배치된 특정 마크를 따라갈 수 있거나, 이미징 시스템이 가령 손가락과 같이 특별히 인식할 수 있는 특징을 찾을 수 있다.　이러한 시각적 이미징의 결점은 3차원 영역이 충분히 밝혀져야 한다는 요구 사항을 포함한다.　또한, 추적될 수 있는 유일한 특징은 미리 인식되는 특징이며, 특징 인식과 결합된 움직임 추적은 정확한 결과를 제공하지 않을 수 있다.　이러한 문제를 극복하기 위해 구조화된 광을 사용한 추적이 도입되었다.
구조화된 광을 사용하여 추적하는 경우, 추적이 발생할 로컬 영역으로 알려진 픽셀 패턴이 투영된다. 패턴이 눈에 띄는 표면에서 변형되는 방식을 통해 비전 시스템은 장면 내 물체의 심도와 표면 정보를 계산할 수 있다.　사용되는 전형적인 패턴은 가령 가로 바 또는 세로 바와 같은 하나 이상의 구조 광 요소를 그리드로 구성한다.　다른 실시예에서, 구조화된 광 패턴은 가령 원, 삼각형, 각진 바 또는 이들의 임의의 조합과 같은 다른 규칙적인 기하학적 요소로 구성될 수 있다.　다양한 장치는 구조화된 광 패턴을 사용하여 제스처 인식 및 3D 심도 매핑의 사용을 가능하게 한다.　구조화된 광 패턴 송신기는 레이저 이미터 및 회절 광학 요소(DOE)를 포함한다.
좁은 대역의 광을 3차원 형상의 표면으로 투영하면 투영기의 관점과 다른 관점들에서 왜곡되어 보이는 조명 라인이 생성되고, 표면 형상을 정확하게 기하학적으로 재구성하는데 사용될 수 있다.
더 신속하고 다양한 방법은 한 번에 많은 바로 구성된 패턴 또는 임의의 줄무늬의 패턴을 투영하는 것이며, 이렇게 하면 여러 샘플을 동시에 획득할 수 있다. 다른 시점에서 보았을 때, 패턴은 물체의 표면 형상 때문에 기하학적으로 왜곡되어 나타난다.
비록 구조화된 광 투영의 많은 다른 변형이 가능하지만, 평행한 바의 패턴이 널리 사용된다. 바(bars)의 변위는 물체의 표면에 있는 임의의 세부사항의 3차원 좌표를 정확하게 검색할 수 있게 한다.
스트라이프 패턴 생성의 한 가지 알려진 방법은 2개의 넓은 평면 레이저 빔 프런트를 이용하는 레이저 간섭 방법이다. 빔 프런트 사이의 간섭으로 인해 규칙적이고 등거리의 라인 패턴이 생성된다.　이러한 빔 사이의 각도를 변경하여 다른 패턴 크기가 획득될 수 있다.　이 방법을 사용하면 무한한 필드 심도로 매우 정밀한 패턴을 정확하고 쉽게 생성할 수 있다.　단점으로는 높은 구현 비용, 이상적인 빔 기하학 구조를 제공하는 어려움, 그리고 스펙클 노이즈(speckle noise) 및 물체에서 반사된 빔 부분과의 가능한 자체-간섭과 같은 레이저의 전형적인 효과가 있다. 또한, 그레이 코드(Gray codes)와 같이 각각의 바를 변조하는 수단이 없다.
구체적으로, 가령 에지 이미터 레이저 다이오드와 같은 단일 소스 이미터를 사용하는 단점은 그것이 생성하는 광 패턴이 단일 유닛으로서만 제어될 수 있다는 점이다. 즉, 광 패턴을 완전히 켜거나 끄거나 흐리게 표시할 수는 있지만 동적으로 변경할 수는 없다.
구조화된 광 패턴은 가령 적외선과 같은 보이지 않는 광을 사용하여 구성될 수 있다. 대안으로, 높은 프레임 속도는 구조화된 광을 사용자가 감지하지 못하게 하거나 컴퓨터의 다른 시각적 작업을 방해하지 않을 수 있다.
수직 공동 면 발광 레이저(vertical-cavity surface-emitting laser, VCSEL)는 와이퍼에서 각각의 칩의 쪼개짐에 의해 형성된 표면으로부터 방출되는 종래의 에지-방출 반도체 레이저와는 달리, 레이저 빔 방출이 상부 표면으로부터 수직인 반도체 레이저 다이오드의 일종이다.
에지-방출 레이저와 달리 VCSEL를 생성하는 몇 가지 장점이 있다. 에지 이미 터는 생성 프로세스가 끝날 때까지 테스트될 수 없다. 에지 이미터가 접촉 불량 또는 재료 성장 품질 저하로 인해 제대로 작동하지 않으면, 생성 시간과 공정 재료가 낭비된다.　VCSEL은 공정 전반에 걸쳐 여러 단계에서 테스트되어 재료 품질 및 공정 문제를 검사할 수 있다.　예를 들어, 비아(vias)가 에칭 동안 유전체 재료를 완전히 제거하지 않았다면, 중간 테스트 프로세스는 상부 금속층이 초기 금속층과 접촉하고 있지 않음을 결정하는데 사용될 수 있다.　또한, VCSEL은 레이저 활성 영역에 수직으로 빔을 방출하기 때문에, 수십만 개의 VCSEL이 3인치 갈륨 비소(Gallium Arsenide) 웨이퍼에서 동시에 처리될 수 있다.　게다가, 비록 VCSEL 생성 프로세서가 더 노동력 및 재료 집약적인 경우에도, 수율은 더 예측 가능한 결과로 제어될 수 있다.
어레이를 사용하면 구조화된 광 송신기 장치의 크기를 감소시킬 수 있다는 점에서 구조화된 광 시스템용 VCSEL 레이저 어레이를 사용하는 중요한 이점이 있다. 감소는 가령 휴대 전화 또는 웨어러블 장치와 같은 크기 제한이 있는 장치에 송신기를 내장할 때 특히 중요하다.
그러나, 상기 이점에도 불구하고, VCSEL 어레이는 여러 가지 이유로 구조화된 광 스캔 시스템에 현재 사용되고 있지 않다. 많은 회절 패턴은 고해상도 추적에 필요한 고밀도 패턴을 생성하기 위해 코히렌트 가우시안 형상의 빔을 필요로 한다.　VCSEL 어레이는 서로 인접하여 배치되고 일반적으로 이들 사이에 중첩되는 다수의 개별 가우스 빔을 제공한다.　다수의 지점과 그 사이의 중첩은 광 패턴의 고밀도 영역에서 감지 성능을 감소시키고, 기정의된 가우시안 빔을 필요로 하는 다양한 회절 설계 기술의 사용을 제한한다.　이러한 설계는 톱-햇(Top-Hat) 설계, 동종 라인 생성기 및 다른 복잡한 고성능 구조를 포함한다.
실제로 표준 회절 설계의 문제점은 전체 VCSEL 레이저 어레이가 단일 광원으로 사용된다는 점이다. 따라서, 다중 스팟 설계를 사용할 때, 집중된 가우시안 빔을 갖는 대신에 각 스팟에 대해 어레이 이미지가 얻어진다.　가우시안 빔을 입력으로 요구하는 회절 설계는 필요한 출력을 전혀 얻을 수 없다.　이러한 광 패턴에서 소스 빔을 작은 스팟에 집중시켜 특징을 분리해야 하고 이는 광원이 레이저 어레이 인경우 불가능하기 때문에 그 문제는 조밀한 광 패턴에서 더욱 심해진다.
본 실시예는 가령 VCSEL 레이저 어레이와 같은 레이저 어레이를 제공한다. 레이저 어레이의 각각의 개별 레이저는 개별적으로 또는 그룹으로 변조된다.　개별 레이저 또는 레이저 그룹은 필요에 따라 구조화된 광 패턴을 생성하고 변경하기 위해 정적 또는 동적으로 변조될 수 있다.
함께 변조되는 어레이 또는 레이저 그룹의 각 레이저에는 자체 광학 요소가 제공된다. 개별 레이저 또는 레이저 그룹과 관련된 광학 요소는 전형적으로 회절 요소이다.　회절 요소는 전체적인 구조화된 광 패턴이 주어진 환경에 대해 선택될 수 있고/있거나 관심 영역을 동적으로 따라갈 수 있도록 개별적으로 제어될 수 있다.
본 명세서는 구조화된 광 패턴을 생성하는 기기를 제공한다. 구조화된 광 패턴은 광을 패턴으로 3차원(3D) 공간으로 투영하도록 배열된 레이저 어레이 및 복수의 광학 요소를 포함하는 기기에 의해 생성된다.　각각의 광학 요소는 VCSEL 레이저 어레이의 개별 셀을 정의한다.　각각의 셀은 VCSEL 레이저 어레이의 각 서브세트와 정렬된다.　각 셀의 광학 요소는 광학 요소를 통과하는 광에 변조를 개별적으로 적용하여 구조화된 광 패턴의 구별 가능한 부분을 생성한다.　일실시예에서, 레이저 이미터 또는 레이저 이미터들의 어레이는 적합한 드라이버에 의해 독립적으로 켜지거나 꺼질 수 있는 레이저 이미터의 행 또는 열과 같은 다수의 레이저 이미터의 서브세트로 그룹화됨으로써 변경 가능한 패턴을 생성한다.　다른 실시예에서, 레이저 이미터들의 스위칭 가능한 서브세트는 짝수 행 및 홀수 행의 2개의 스위칭 가능한 그룹으로 수집될 수 있다.
광학 변조는 회절 변조, 굴절 변조 또는 회절 및 굴절 변조의 일부 조합을 포함할 수 있다. 일실시예에서, 각각의 셀을 포함하는 레이저 어레이의 광학 요소 및 서브세트는 하나의 몰딩된 요소로 구성된다.　다른 실시예에서, 셀의 폭은 1mm 이하이다.　또 다른 실시예에서, 광학 요소의 폭은 1mm 이하이며, 셀은 회절 변조를 변경하기 위해 개별적으로 제어 가능하다.
셀들은 외부 제어 또는 프로세서로부터의 하나 이상의 명령을 수신하는 것에 기초하여 생성되는 구조화된 광 패턴을 동적으로 변화시키도록 구성될 수 있다. 즉, 셀과 관련된 하나 이상의 회절 특성은 수신된 데이터에 따라 동적으로 변경될 수 있다.　로컬 영역으로부터의 복수의 픽셀을 포함하는 캡처된 프레임이 분석될 수 있고 새로운 레이저 구성이 추적을 최적화하도록 도달될 수 있다.　일실시예에서, 구조화된 광 이미터와 관련된 셀은 생성되는 구조화된 광 요소의 위치 및 형상에 대해 추가로 제어 가능하다.　일실시예에서, 동적 제어는 구조화된 광 패턴의 증가 된 해상도를 장면의 일부에 적용하여 구조화된 광 패턴의 감소된 해상도를 장면의 다른 부분에 적용하도록 구성 가능하다.　다른 실시예에서, 구조화된 광 패턴에 대한 동적 변경은 구조화된 광 패턴 또는 구조화된 광 패턴을 포함하는 구조화된 광 요소의 방위에 대한 변경을 포함한다.　구조화된 광 패턴을 동적으로 변경하면 광 어레이와 관련된 하나 이상의 셀이 셀 방식으로 변경될 수 있다.　즉, 투영된 및/또는 생성된 패턴의 동적 변경은 복수의 셀에서의 특정 셀에서의 대응하는 변경과 관련된다.　변경은 방출 세기, 편광, 필터링 파라미터 및 초점을 포함하는 광학 기능의 하나 이상의 변경일 수 있다.
달리 정의되지 않으면, 본 명세서에서 사용되는 모든 기술적이고/이거나 과학적인 용어들은 본 발명에 관한 해당 기술분야의 당업자에 의해 공통으로 이해되는 것과 동일한 의미를 가진다. 본 명세서에 개시된 것과 유사하거나 동등한 방법 및 재료가 본 발명의 실시예의 실행 또는 시험에 사용될 수 있지만, 예시적인 방법 및/또는 재료가 하기에 설명된다.　상충하는 경우, 정의를 포함하는 특허 명세서가 조절할 수 있다.　또한, 재료들, 방법들 및 예들은 단지 예시적인 것이며, 반드시 제한하려는 의도는 아니다.
본 발명의 내용 중에 포함되어 있다.
도 1은 일실시예에 따른 패턴화된 광을 사용하는 3D 추적을 위한 구조화된 광 이미터(SLE)의 개략도이다.
도 2a는 일실시예에 따라 하나 이상의 패턴의 광을 갖는 로컬 영역을 조명하는 SLE를 도시한다.
도 2b는 일실시예에 따라 셀이 2 이상의 레이저 이미터, 특히 도시된 경우에는 3개의 레이저 이미터를 포함하는 도 2a에 도시된 SLE의 단순화된 개략도를 도시한다.
도 2c는 일실시예에 따라 서로 다른 셀이 서로 다른 설계 및 방위를 가지는 도 2a에 도시된 SLE의 단순화된 개략도를 도시한다.
도 2d는 일실시예에 따라 각 셀이 반드시 개별 타일 구조로 조직화되지 않는 패턴의 다양한 광 특징부를 생성해야 하는 도 2a에 도시된 SLE의 단순화된 개략도를 도시한다.
도 3은 일실시예에 따른 예시적인 추적 시스템을 나타내는 간략화된 개략도이다.
도 4a는 일실시예에 따라 광학 요소, LPA 및 광 빔을 특정 방향으로 지향시키는 특징부를 포함하는 SLE를 도시한다.
도 4b는 일실시예에 따라 입사 광학 빔을 집중시키는 광학 요소를 포함하는 SLE를 도시한다.
도 4c는 일실시예에 따라 입사 광학 빔을 성형하기 위한 SLE를 도시한다.
도 5a는 일실시예에 따라 손과 평행하게 배향된 복수의 수평 바를 포함하는 광 패턴에 의해 추적되는 손을 도시한다.
도 5b는 일실시예에 따라 복수의 수직 바를 포함하는 광 패턴에 의해 추적되는 손을 도시한다.
도 6a는 일실시예에 따라 바의 수평 방향에서 수직 방향으로의 변화를 도시한다.
도 6b는 일실시예에 따라 바의 수평 방향에서 수직 방향으로의 변화를 도시한다.
도 6c는 일실시예에 따라 수평 바의 밀도 증가를 도시한다.
도 6d는 일실시예에 따라 투영된 패턴의 형상의 변화를 도시한다.
도 6e는 일실시예에 따른 강도의 변화를 도시한다.
도 7은 일실시예에 따라 밝은 물체 및 어두운 물체를 추적하는 도 2a의 SLE의 단순화된 개략도를 도시한다.
도 8은 일실시예에 따라 하나 이상의 셀에서 패턴을 변경하기 위한 절차를 도시하는 단순화된 흐름도이다.
도면은 오로지 예시의 목적으로 본 명세서의 실시예들을 도시한다. 통상의 기술자는 이하의 설명으로부터 본 명세서에 도시되는 구조 및 방법의 대안적 실시예가 본 명세서에 기술되는 개시내용의 원리로부터 벗어나지 않고 이용되거나 그 이점이 권유될 수 있음을 쉽게 인식할 것이다.
도 1은 일실시예에 따라 패턴화된 광을 사용하는 3D 추적을 위한 구조화된 광 이미터(SLE)(100)의 개략도이다. SLE(100)는 구조화된 광과 같은 패턴화된 광을 방출하도록 구성된 광 생성 어레이(LPA)(110)를 포함한다.　하나 이상의 실시예에서, LPA(110)는 레이저 이미터(120)와 같은 복수의 광원을 포함하는 레이저 어레이이다.　또한, SLE(100)는 광학 요소(140)를 포함한다.　다양한 실시예에서, 광학 요소(140)는 복수의 셀(160)을 포함한다.　각 셀(160)은 회절 소자로서 구성되고, 복수의 셀(160)의 개개의 셀이 각각의 레이저 이미터(120)에 의해 방출된 광을 변조하도록 특정 레이저 이미터(120)와 정렬된다.　셀(160)의 줌(180)은 각각 고유한 회절 패턴을 갖는 4개의 셀(160)을 도시한다.　SLE(100)는 LPA(110)로부터 구조화된 광 패턴을 생성할 수 있다.　하나 이상의 실시예에서, 생성되는 구조화된 광 패턴은 물체 및 그 공간 내의 로컬 영역의 일부를 추적하기 위한 3D 공간으로 투영된다. 본 명세서에서, 생성된 패턴은 구조화된 광 패턴과 관련되는 것으로 가정된다.
LPA(110)는 생성된 광 패턴의 고밀도 영역에서 감지 성능을 감소시키고 기정의된 가우시안 빔을 필요로 하는 다양한 회절 설계 기술의 사용을 제한하는 중첩을 갖는 다수의 가우시안 형상의 빔을 생성할 수 있다. 예컨대, 회절 설계 기술은 톱-햇(Top-Hat) 설계, 동종 라인 생성기 및 다른 복잡한 고성능 구조를 포함할 수 있다. LPA(110)는 하나 이상의 레이저 이미터(120)를 포함할 수 있다.　레이저 이미터(120)는 전자기 스펙트럼의 적외선(IR), 가시광선(RGB) 또는 자외선(UV) 세그먼트에서 가우시안 레이저 빔을 방출하도록 구성된 VSCEL 레이저일 수 있다.
LPA(110)는 LPA(110) 내의 각각의 레이저 이미터(120)가 개별적으로 또는 그룹으로 동작될 수 있도록 외부 제어기(미도시)로 구성될 수 있다. 예를 들어, 각각의 레이저 이미터들(120)은 정적 또는 동적으로 변조되어, 필요에 따라 특정 레이저 이미터(120)와 관련된 방출 광을 제공하고 변경한다.　LPA(110)의 사용을 통해 상당한 이점이 얻어질 수 있다.　예를 들어, 개별 레이저 이미터(120)를 포함하는 LPA(110)의 사용은 SLE(100)가 가령 모바일 전화 또는 다른 착용 가능한 장치와 같은 크기 제한을 갖는 장치에 내장될 수 있게 하는 SLE(100)의 크기를 감소시킬 것이다.
함께 변조되는 각각의 레이저 이미터(120) 또는 레이저 이미터들(120) 그룹은 광학 요소(140)와 관련된 하나 이상의 셀(160)과 정렬될 수 있다. 예를 들어, 레이저 이미터(120)에 의해 생성된 광은 셀(160)을 통과하고, 셀(160)은 통과하는 광에 회절 변조를 적용하여 셀(160)의 각 서브세트가 구조화된 광 패턴(패턴)의 구별 가능한 부분을 제공하도록 구성된다.　다양한 실시예에서, 광학 요소(140)는 광학 요소(140)의 평면이 LPA(110)의 평면과 평행하도록 SLE(100)에 인접한 표면 상에 위치된다.　다른 실시예에서, 광학 요소(140)의 폭은 1 밀리미터 이하이다.
본 명세서에서 사용된 서브세트는 셀(160) 및 관련 레이저 이미터(120)의 그룹, 쌍, 삼중 세트, 조합 및 동적으로 변하는 조합의 하나의 구성을 포함한다는 것을 주목하는 것이 중요하다. 하나 이상의 실시예에서, 레이저의 각 그룹은 독립적으로 스위칭 가능하다.　즉, 셀의 각 서브세트 및 관련 레이저 이미터는 도 3과 관련하여 이하에서 더 설명되는 제어기에 의해 독립적으로 제어될 수 있다.
도 1에 도시된 바와 같이, 광학 요소(140)의 표면은 하나 이상의 셀(160)로 분할될 수 있다. 광학 소자(140) 내의 각각의 셀(160)은 외부 제어기(미도시)를 통해 함께 제어되는 단일 레이저 이미터(120) 또는 레이저 이미터(120)의 서브-그룹 위에 위치될 수 있는 영역을 나타낸다.　그룹 또는 서브그룹 내의 레이저 이미터들(120)은 다른 그룹 또는 서브그룹 내의 레이저 이미터들(120)과 별도로 함께 제어됨을 알아야 한다.
광학 소자(140)와 관련된 셀(160)은 제어 가능한 광학 회절 소자이다. 즉, 고유한 회절 패턴은 각각의 셀(160)에 대해 설계될 수 있다. 일부 실시예에서, 셀(160)은 굴절 광학 요소 또는 굴절 및 회절 광학 요소의 일부 조합을 포함한다.　하나 이상의 실시예들에서, 각각의 셀은 이를 통과하는 생성된 광에 회절 변조를 개별적으로 적용한다.
일실시예에서, 셀(160)의 폭은 1 밀리미터 이하이다. 광학 요소(140)의 셀(160)은 외부 제어기(미도시)에 의해 동적 및 정적으로 모두 개별적으로 제어될 수 있다.　이러한 셀(160)의 구성은 어레이의 상이한 부분에서 상이한 광 패턴을 제공할 수 있어서, 전체 구조화된 광 패턴이 소정의 환경에 대해 선택될 수 있고/있거나 관심 영역을 동적으로 따라갈 수 있다.　셀(160)에 의해 생성된 광 패턴은 가령 바, 그리드 및 도트와 같은 구조를 포함할 수 있으며, 도 2a 내지 도 2d 및 도 6a 내지 6e와 관련하여 이하에서 더 상세히 설명될 것이다. 다음에서, '셀'이란 용어는 투영된 패턴의 특정 부분을 제공하도록 함께 동작되는 단일 레이저 또는 임의의 그룹의 레이저 이미터(120)로 작동할 수 있는 표면에 관한 것이다.　셀(160)의 구조 및 동적 제어는 이하에서 더 설명된다.　편의상, 회절 광학 요소는 본 명세서에서 회절 광학 요소, 굴절 광학 요소, 또는 회절 및 굴절 광학 요소의 임의의 조합을 의미하는 것으로 이해된다.
고유한 회절 패턴이 각각의 셀(160)에 대해 설계될 수 있으므로, 구조화된 광 패턴의 임의의 부분의 생성이 가능해진다. 예를 들어, 셀(160)에 의해 생성될 수 있는 회절 패턴은 셀(160)의 회절 패턴을 통과하는 레이저 이미터(120)에 의해 생성된 광을 포함한다.　줌(180)은 4개의 셀(160)의 그룹을 도시하며, 밝은 부분이 굴절 요소를 나타내고 어두운 부분이 회절 요소를 나타낸다.　셀(160)의 회절 패턴을 통과하는 광은 구조화된 광의 서브-패턴과 전체 패턴을 생성할 수 있으며, 각각의 개별 셀(160)을 통과하는 광에 의해 생성된 패턴으로 형성될 수 있다.　예를 들어, 전체 패턴은 광학 요소(140)와 관련된 셀(160) 또는 셀(160)의 서브세트에 의해 생성된 개별 특징부의 위치에 대해 타일링, 중첩 또는 다른 방식으로 생성된다.
셀(160)의 회절 패턴은 적어도 2개의 광학 기능의 조합에 의해 결정된다. 하나 이상의 실시예에서, 제1 광학 기능은 전체 구조화된 광 이미지에서 광 특징부의 위치를 결정하는 위치지정 기능이며, 광을 지향하도록 하나 이상의 광학 요소를 이용할 수 있다. 예를 들어, 위치지정 기능은 프리즘 블레이즈 격자(prism blased grating)를 사용하여 관련 레이저 이미터(120)에 의해 방출된 광의 경로를 변경하고 이후 셀(160)을 통과한다.　두 번째로, 광학 기능은 생성된 광 특징부의 형상과 관련될 수 있다.　예로서, 이러한 광학 기능은 라인 발생기, 멀티 스팟 패턴 또는 생성된 광 패턴의 서브 특징을 포함하는 다른 특징을 포함한다.
또한, 추가적인 광학 기능이 셀(160)과 관련될 수 있다. 이러한 추가적인 광학 기능은 강도, 초점 길이, 편광 및 위상을 포함한다.　상기 열거된 광학 기능은 배타적인 목록이 아니며, 다른 유형의 광학 기능은 당업자에게 명백할 것이다.　또한, 상기 열거된 광학 기능 또는 광학 기능들의 조합이 하나의 셀(160) 또는 광학 요소(140)와 관련된 셀들(160)의 조합에 의해 구현될 수 있음을 알아야 한다.
LPA(110)에 대한 셀(160)을 포함하는 광학 요소(140)의 설계된 위치에 따라, 임의의 패턴이 생성될 수 있다. 예를 들어, 하나 이상의 레이저 이미터(120)에 의해 생성된 인접-가우시안 빔은 단일 광원 관점을 피하기 위해 결합된다.　다른 실시예에서, 셀(160)은 하나 이상의 셀(160)과 관련된 하나 이상의 광학 기능의 조합을 변조함으로써 동적 패턴을 생성할 수 있다.　예를 들어, 각각의 셀(160)은 그에 인가된 전류 또는 전압 파형을 변조함으로써 개별적으로 제어될 수 있다.　하나 이상의 실시예에서, 전류 또는 전압 파형은 모바일 장치와 관련된 프로세서와 같은 외부 제어기(미도시)로부터 수신된다.　외부 제어기 또는 프로세서는 도 3과 관련하여 하기에 더 설명된다.
다양한 실시예에서, 셀(160)은 동적으로 제어되어서 생성되는 구조화된 광 패턴에 변경을 제공하도록 구성된다. 예를 들어, 셀(160)은 셀(160)의 회절 패턴을 변경하도록 동적으로 제어될 수 있다.　다양한 실시예에서, 생성된 패턴은 장면의 다양한 부분에서 해상도를 증가 또는 감소시키도록 변경될 수 있다.　예를 들어, 패턴은 결정된 관심 레벨이 높은 것에 기초하여 해상도를 증가시키도록 변경될 수 있다.　대안으로, 결정된 관심 레벨이 낮다면, 생성된 패턴은 해상도를 감소시키도록 변경될 수 있다.　다른 실시예에서, 생성된 패턴은 강도, 편광, 밀도, 초점 길이, 필터링 파라미터 또는 당업자에게 자명한 임의의 다른 광 특성 중 적어도 하나 이상을 증가 또는 감소시키도록 변경될 수 있다.　하나 이상의 셀(160)에 대한 동적 변경은 셀 방식 변경을 포함한다.　즉, 투영되고/되거나 생성된 패턴의 동적 변경은 특정 셀에서의 대응하는 변경과 관련된다.　SLE(100)에 의해 생성될 수 있는 패턴은 도 6a 내지 6e와 관련하여 이하에서 더 설명된다.
결정된 관심 레벨에 기초하여 삼각 측량 및 심도 추정에 관한 추가 세부 사항을 제공하기 위해 패턴의 다른 부분이 일시적으로 변경될 수 있음에 유의해야 한다. 즉, 셀(160)은 LPA(110)의 초기 구성으로 캡처된 프레임과 관련되는 수신된 데이터에 따라 동적으로 변경될 수 있다.　예를 들어, 픽셀들의 2차원(2D) 어레이를 포함하는 프레임은 LPA(110)의 초기 구성을 사용하여 캡처된다.　수신된 프레임이 분석되고, 프로세서(미도시)는 뉴스 초기 LPA(110) 구성을 결정할 수 있다.　이런 새로운 LPA(110) 구성은 사이클이 계속됨에 따라 다음 단계에 대한 새로운 초기 LPA(110) 구성이 된다.　한 예는 도 8과 관련하여 하기에 설명되고 논의된다.
일실시예에서, 생성된 광 패턴의 강도는 전형적으로 변경된다. 생성된 패턴의 강도는 생성된 광 패턴의 일부 또는 전부에 대해 변경될 수 있다.　예를 들어, 로컬 영역의 일부는 입사광에 의해 밝게 조명되고, 로컬 영역의 다른 부분은 희미하게 조명된다.　상기 예에서, 고강도의 광은 밝게 조명된 부분을 목표로 할 수 있고, 저강도의 광은 로컬 영역의 희미하게 조명된 영역을 목표로 할 수 있다.　강도 변조의 다른 형태는 LPA(110)와 관련된 하나 이상의 셀(160) 또는 셀(160)과 관련된 레이저 이미터(120)의 하나 이상의 서브 세트를 동시에 또는 연속적으로 온 또는 오프 상태로 스위칭하는 것을 포함할 수 있다.　다양한 실시예에서, 생성된 광 패턴의 변조는 전력을 절약하기 위해 사용된다.
다른 실시예에서, 생성된 광의 밀도 또는 방위는 물체의 정확한 추적 및 심도 인식을 가능하게 하기 위해 로컬 영역의 상이한 뷰를 제공하도록 변경될 수 있다. 특정 방위의 예에서, 로컬 영역의 특징부는 소정의 방위로 더 효과적으로 조명될 수 있다.　추가적인 광 패턴은 도 5 및 도 6과 관련하여 이하에서 더 상세하게 논의된다.
도 2a 내지 도 2d는 일실시예에 따라 로컬 영역 상에 광 패턴을 생성하는 SLE(200)의 다양한 실시예를 도시하는 간소화된 개략도를 각각 도시한다. SLE(200)는 도 1과 관련하여 상술한 SLE(100)의 일실시예이고, LPA(110)를 포함하는 복수의 셀(211-219) 및 광학 요소(140)를 포함한다.　도 2a 내지 도 2d에서, SLE(200)는 9개의 별개의 셀(예컨대, 셀(211-219))을 포함하며, 각각의 셀(211-219)은 도 1과 관련하여 상술한 바와 같은 셀(160)의 한 실시예이다.　즉, 각각의 SLE(200)는 대응 셀들(211-219)과 정렬된 하나 이상의 레이저 이미터(120)를 포함하는 LPA(110)를 포함한다.　다른 실시예에서, SLE(200)는 본 명세서에 도시된 셀보다 많거나 적은 셀을 포함할 수 있다.
도 2a는 일실시예에 따라 하나 이상의 광 패턴을 갖는 로컬 영역을 조명하는 SLE(200)를 도시한다. SLE(200)는 일실시예에 따라 LPA(예컨대, LPA(110)) 및 광학 요소(예컨대, 광학 요소(140))를 포함한다.　도 1과 관련하여 상술한 바와 같이, LPA(110)는 각각의 레이저 이미터(120)가 대응하는 셀(예컨대, 셀들(211-219) 중 하나)에 결합되는 하나 이상의 레이저 이미터(120)를 포함한다.　각 셀(211-219)은 순방향 투영으로 로컬 영역(220)의 상이한 로컬 영역 타일(예컨대, 로컬 영역 타일(221-219))을 조명한다.　예를 들어, 셀(211)은 로컬 영역 타일(221)을 조명한다.　유사하게, 셀(219)은 로컬 영역 타일(229)을 조명한다.　로컬 영역(220)에서 각각의 로컬 영역 타일(예컨대, 221-229)은 상이한 패턴을 갖는다는 점에 유의해야 한다.　다양한 실시예에서, 모든 로컬 영역 타일들(221-219)은 함께 병합되어 완전한 광 패턴을 형성한다.
셀(211-219)은 SLE(100)를 포함하는 레이저 이미터(120)와 정렬된다. 각각의 셀(211-219)은 개별 셀(211-219)이 구조화된 광 매체의 구별 가능한 부분을 투영하도록 셀을 통과하는 광에 회절 변조를 개별적으로 적용한다.　셀은 회절 변조를 변경하기 위해 개별적으로 제어될 수 있다.　따라서, 생성된 패턴의 상이한 부분이 달라지거나 장면의 상이한 부분이 구조화된 광 요소의 상이한 밀도를 포함할 수 있다.　각각의 셀(211-219) 및 각각의 레이저 이미터(미도시)는 함께 대응하는 로컬 영역 타일 상에 광을 투영한다.　예를 들어, 셀(211)은 3개의 수평 바를 포함하는 로컬 영역 타일(221) 상에 광 패턴을 투영하고, 셀(219)은 인접한 로컬 영역 타일들(222, 224 및 225)을 조명하지 않는다.　마찬가지로, 셀(216)은 3개의 수평 바를 포함하는 로컬 영역 타일(226)에 광 패턴을 투영하고, 셀(216)은 인접한 로컬 영역 타일(222, 223, 225, 228 및 229)을 조명하지 않는다.　투영된 모든 타일(예컨대, 로컬 영역 타일(221-220))은 함께 병합되어 로컬 영역(220)에 완전한 광 패턴을 형성한다.　도 2a에서 로컬 영역 타일(221)에 패턴이 도시되고, 나머지 로컬 영역 타일들에 패턴들은 간략화를 위해 생략된다.
도 2b는 도 2a에 도시된 SLE(200)의 간소화된 개략도를 도시하는데, 이때 셀(211-219)은 2 이상의 레이저 이미터를 포함한다. 도 2b에서, SLE(200)는 로컬 영역(220) 상에 패턴을 투영하도록 구성된다.　SLE(200)에 의해 투영된 패턴은 도 2a의 투영된 패턴의 변화를 나타내며, 셀(211-219)에 의해 생성된 개별적인 패턴을 로컬 영역 타일(221-229) 상에 타일링함으로써 형성된다.　셀(211)은 로컬 영역 타일(221)을 조명하고 셀(213)은 로컬 영역 타일(223)을 조명한다.　마찬가지로, 셀들(214 및 216)은 로컬 영역 타일들(224 및 226)을 각각 조명한다.　도 2b에서, 각각의 셀(211-219)은 로컬 영역 타일들(221-219)의 다른 삼중 세트를 조명한다.　삼중 세트는 패턴을 공유하는 로컬 영역 타일(221-229)의 행이다.　도 2b에 도시된 바와 같이, 로컬 영역(220)은 3개 삼중 세트의 세트를 포함한다.　예를 들어, 로컬 영역 타일들(221-223)은 하나의 삼중 세트를 포함하고, 로컬 영역 타일들(224-226)은 다른 삼중 세트를 포함하며, 로컬 영역 타일들(227-229)은 세 번째 삼중 세트를 포함한다.　삼중 세트의 로컬 영역 타일(221-229)은 인접한 삼중 세트의 해당 로컬 영역 타일과 다른 패턴을 공유한다.　예를 들어, 제1 삼중 세트(221-223)의 로컬 영역 타일은 점선 수평 바에 의해 각각 분리된 2개의 실선 수평 바의 패턴을 포함하는 한편, 두 번째 삼중 세트를 포함하는 로컬 영역 타일, 로컬 영역 타일(224-227)은 바를 포함하지 않는다.　다양한 실시예에서, 하나 이상의 로컬 영역 타일(221-219)의 삼중 세트의 조합은 하나의 완전한 패턴을 포함한다.
도 2c는 도 2a에 도시된 SLE(200)의 간소화된 개략도를 도시하는데, 이때 서로 다른 셀은 서로 다른 설계 및 서로 다른 방위를 가진다. 도 2c의 SLE(200)는 로컬 영역(220) 상에 광 패턴을 투영하도록 구성된다.　투영된 광 패턴은 셀(211-219)에 의해 투영된 하나 이상의 광 패턴을 포함할 수 있다.　서로 다른 셀(211-219)은 가령 수평 바(230) 및 수직 바(240)와 같은 서로 다른 설계 및 서로 다른 방위를 갖는다는 것을 유의해야 한다.　도 2c에서, 각각의 셀(211-219)은 로컬 영역(220)에서 하나 이상의 로컬 영역 타일들(221-229)을 조명한다.
셀(211-219)은 종횡비를 포함하는 가변 크기의 로컬 영역(220) 상에 광 패턴을 투영할 수 있다. 도 2c에서, 로컬 영역(220)은 다양한 크기의 정사각형 및 직사각형을 포함하는 광 패턴을 포함한다.　다양한 실시예에서, 개별 로컬 타일들(221-229)의 치수에 관계없이, 로컬 영역(220)의 면적은 일정하게 유지된다.　예로서, 특정 로컬 영역 타일(229)의 영역이 확장되면, 하나 이상의 다른 로컬 영역 타일들(221-228)의 영역은 로컬 영역(220)의 전체 영역이 유지되도록 비례적으로 감소한다.　대안으로, 특정 로컬 영역 타일(221-229)의 영역이 감소하면, 로컬 영역(220) 내의 하나 이상의 나머지 로컬 영역 타일들(221-219)의 영역은 비례하여 증가한다.　예를 들어, 큰 직사각형 로컬 타일(224)은 정사각형 타일(221)의 면적을 감소시킨다.　유사하게, 예를 들어, 큰 직사각형 로컬 타일(225)은 로컬 영역 타일(226)이 작은 직사각형을 형성하도록 로컬 영역 타일(226)의 크기 및 종횡비를 변경시킨다.　또한, 셀(211-219)은 타일을 설정된 수의 각도만큼 회전시킴으로써 조명된 로컬 영역 타일(221-229)의 방위를 변경할 수 있다.　일부 실시예에서, 필요한 타일 크기, 종횡비 및 방위는 프로세서(미도시) 및 이미저(미도시)에 의해 실시간으로 계산된다.　프로세서 및 이미저에 대해서는 하기에 더 설명된다.
도 2d는 도 2a에 도시된 SLE(200)의 간소화된 개략도를 도시하는데, 이때 각각의 셀은 반드시 개별 타일 구조로 조직화되지 않은 패턴의 다양한 광 특징부를 생성하는 역할을 한다. 도 2d의 SLE(200)는 서로 다른 셀(211-219)에 의해 투영된 패턴이 서로 다른 설계를 갖도록 로컬 영역(220)에 패턴을 투영하도록 구성된다. 도 2d에서, 각각의 셀(211-219)은 광 특징부(250)로 하나 이상의 로컬 영역 타일(221-229)을 조명하도록 구성된다.　도 2d는 하나의 실선 수평 바 및 2개의 점선 수평 바를 포함하는 광 특징부(250)로 조명된 로컬 영역 타일(221-223)을 도시하는 반면 로컬 영역 타일(224-229)은 공백이다.　일부 실시예에서, 광 특징부는 임의의 수의 수평 바, 수직 바 또는 다른 형상(예컨대, 불규칙한 다각형)일 수 있다.　추가적인 광 특징부는 도 6과 관련하여 이하에서 설명된다.　다른 실시예에서 투영된 패턴은 서로 다른 설계, 서로 다른 방위 또는 이들의 임의의 조합을 가질 수 있음에 유의해야 한다.
도 3은 일실시예에 따른 예시적인 추적 시스템(300)을 도시한 간소화된 개략도이다. 추적 시스템(300)은 로컬 영역(330) 내의 하나 이상의 물체를 추적한다. 추적 시스템(300)은 레이저 광을 생성하는 LPA(310), 생성된 레이저 광을 변조하고 로컬 영역(330)을 조명하는 광학 요소(320)를 포함한다.　LPA(310), 광학 요소(320) 및 로컬 영역(330)은 광축(340)을 따라 배열된다.　일부 실시예에서, LPA(310) 및 광학 요소(320)는 SLE(100)의 실시예와 관련된다.　도 3은 또한 로컬 영역(330)에 관한 정보를 추적하고 제어기(360)에 피드백을 제공하는 이미저(350)를 포함한다.　제어기(360)는 이미저(350)로부터 데이터를 수신하고 로컬 영역(330)을 조명하기 위해 LPA(310) 및 광학 요소(320)에 전압 및/또는 전류 파형을 생성한다.
LPA(310) 및 광학 요소(320)는 LPA(110) 및 광학 요소(140)의 실시예이다. 다양한 실시예에서, LPA(310)는 광의 파장 범위(즉, "광의 대역")에서 간섭성 광학 빔을 생성한다.　LPA(310)에 의해 생성된 광의 예시적인 대역은 가시광선 대역(~ 380nm 내지 750nm), 적외선(IR) 대역(~ 750nm 내지 1500nm), 자외선 대역(1nm 내지 380nm), 그 일부 조합의 전자기 스펙트럼의 또 다른 부분을 포함한다.　이후, 생성된 레이저 광은 LPA(310)에 의해 생성된 레이저 광을 변조하는 광학 요소(320)를 통해 로컬 영역(330)으로 전송될 수 있다.　다양한 실시예에서, LPA(310) 및 광학 요소(320)는 생성된 레이저 광을 투영하도록 구성되고, 생성된 레이저 광은 로컬 영역(330) 상에 투영된다.　변조된 레이저 광은 2D 또는 3D 로컬 영역(330)의 전부 또는 일부를 조명한다.　예를 들어, LPA(310)는 광학 요소(320)에 의해 후속적으로 변조되고 로컬 영역(330)을 조명하는 가우시안 레이저 빔을 생성하는 VCSEL 레이저 어레이를 포함한다.　하나 이상의 실시예에서, 변조된 레이저는 수평 바, 수직 바 또는 규칙적인 기하학적 형상의 세트를 나타낸다.　LPA(310) 및 광학 요소(320)의 실시예는 도 1 및 도 2와 관련하여 더 상술된다.
광학 요소(320)와 관련된 임의의 특정 셀은 생성된 빔의 위치, 위상, 초점, 형상, 세기 또는 편향이 수정되도록 할 수 있다. 상기 내용은 배타적인 목록이 아니며, 다른 변형은 당업자에게 자명할 것이다.　또한, 광학 기능은 도 4와 관련하여 하기에 더 설명되는 바와 같이 단일 광학 요소에 의해 또는 다수의 광학 요소에 의해 이용될 수 있다.
이미저(350)는 로컬 영역(330)의 전부 또는 일부를 모니터하도록 구성된다. 다양한 실시예에서, 이미저(350)는 로컬 영역(330)을 모니터하고 로컬 영역(330)의 하나 이상의 프레임을 캡처한다.　이미저(350)는 하나 이상의 디지털 프레임 또는 CMOS(complementary metal oxide silicon) 어레이와 같은 임의의 이미지 센서를 캡처하도록 구성된 디지털 카메라일 수 있다. 예를 들어, 이미저(350)는 스틸 프레임을 캡처하도록 구성된 디지털 카메라 또는 로컬 영역(330)의 하나 이상의 프레임의 시퀀스를 캡처하도록 구성된 디지털 비디오 카메라이다.　다양한 실시예에서, 이미저(350)는 가시광, IR, UV 또는 그 일부 조합으로 프레임을 캡처하고, 캡처된 하나 이상의 프레임을 제어기(360)로 전송한다.　다양한 실시예에서, 이미저(350)는 LPA(310)가 동작하는 것과 동일한 전자기 대역의 하나 이상의 프레임을 캡처하도록 구성된다.　즉, LPA(310)가 IR 대역에서 패턴을 투영하는 경우, 이미저(350)는 IR 대역에서 프레임을 또한 캡처하도록 구성된다.　 일부 실시예에서, 캡처된 프레임은 디지털 이미지를 조직화하고 저장하는 표준화된 수단을 나타내는 파일 포맷으로 제어기(360)로 전송될 수 있다.　예를 들어, 캡처된 프레임은 JPEG(Joint Photographic Experts Group) 파일, BMP(bitmap) 파일 또는 PNG(potable network graphics) 파일로 전송될 수 있다.　또 다른 예에서, 이미저(350)는 적절한 비디오 파일 포맷으로 일련의 캡처된 프레임을 전송한다.　다양한 실시예에서, 이미 저(350)에 의해 생성된 이미지 프레임은 비-압축, 압축 또는 벡터 포맷의 데이터를 포함한다.　이미저(350)에 의해 캡처된 하나 이상의 프레임은 제어기(360)로 전송된다.
제어기(360)는 이미저(350) 및 LPA(310) 모두에 연결된다. 제어기(360)는 전압 또는 전류 파형을 생성하여 LPA(310)에 의해 생성된 광을 변조하도록 구성될 수 있다.　일실시예에서, 제어기(360)에 의해 생성된 전류 또는 전압 파형은 LPA(310)에 의해 생성된 광을 변조하는 하나 이상의 명령이고 제어기(360)는 LPA(310)로 명령을 전송하도록 구성된다.　예를 들어, 제어기(360)는 전류원, 전압원 및 LPA(310)와 관련된 하나 이상의 레이저를 제어하도록 구성된 전자 필터를 포함할 수 있다.　다른 실시예에서, 제어기(360)는 또한 광학 요소(320)를 포함하는 하나 이상의 셀(160)을 포함하는 광학 요소(320)를 동적으로 제어하도록 구성될 수 있다.　예를 들어, 제어기(360)는 광학 요소(320)를 포함하는 LPA(310)로 명령을 제공하여, LPA(310)와 관련된 레이저에 의해 생성된 광을 회절시킴으로써 하나 이상의 수직 바, 하나 이상의 수평 바 또는 광학 요소(320)에 의해 생성될 수 있는 임의의 다른 형상을 포함하는 패턴으로 로컬 영역(330)을 조명할 수 있다.　하나 이상의 실시예에서, 광학 요소(320)에 대한 명령은 광학 요소(320)와 관련된 하나 이상의 셀 서브세트(160)에 대한 명령을 포함한다.　따라서, 광학 요소(320)와 관련된 셀은 구조화된 광 패턴에 변화를 제공하도록 동적으로 제어될 수 있다.
또 다른 실시예에서, 제어기(360)는 광학 요소(320)에 의해 생성된 패턴과 관련된 하나 이상의 광학 기능을 변경하기 위해 LPA(310) 및 광학 요소(320)에 명령을 제공할 수 있다. 예를 들어, 제어기(360)는 LPA(310)와 관련된 레이저 이미 터들의 하나 이상의 서브 세트를 독립적으로 제어하기 위해 LPA(310)에 명령을 제공할 수 있다.　LPA(310)의 서브세트는 2 이상의 레이저 이미터(120)를 포함한다는 것에 유의해야 한다.　일실시예에서, 각각의 셀(160) 및 광학 요소(320)를 포함하는 2 이상의 레이저 이미터를 포함하는 LPA(310)의 서브세트는 하나의 몰딩된 요소로 구성된다.
제어기(360)는 추적을 향상시키기 위해 광 변조를 추적 및 수행하는 것과 관련된 하나 이상의 프로세스를 수행하도록 구성된 외부 제어기 또는 모바일 전화와 같은 디지털 프로세서일 수 있다. 예를 들어, 제어기(360)는 광학 요소(320)를 포함하는 LPA(310)에 의해 생성된 광 패턴과 관련된 하나 이상의 광학 기능을 변경하기 위한 명령을 제공한다.　일실시예에서, 제어기(360)는 이미저(350)로부터 프레임을 수신하고, 수신된 프레임을 분석하며 조명된 로컬 영역을 적절하게 변조하기 위해 하나 이상의 명령을 LPA(310) 및 광학 요소(320)로 전송하도록 구성된다.　생성된 패턴을 변경하는 명령은 추적을 향상시키기 위해 생성된 패턴을 지시, 초점화 또는 형성하는 것을 포함할 수 있다.　다른 실시예에서, 프로세서는 이미저(350)와 동시에, 연속적으로 또는 조정으로 온 또는 오프 상태로 스위칭하도록 명령을 LPA(310)의 하나 이상의 서브세트로 제공할 수 있다.　수신, 분석 및 송신하는 단계는 도 8과 관련하여 이하에서 더 설명된다.
도 4a는 일실시예에 따라 특정 방향으로 광 빔을 지향시키는 광학 요소(410), LPA(420) 및 특징부(430)를 포함하는 SLE(400)를 도시한다. SLE(400)는 SLE(100)의 실시예이고, LPA(420) 및 광학 요소(410)는 각각 LPA(110) 및 광학 요소(140)의 실시예를 나타낸다.　도 4a에 도시된 바와 같이, 광학 요소(410)는 광학 요소(410)로부터 돌출된 하나 이상의 특징부(430)를 통해 LPA(420)에 의해 생성된 입사 광학 빔을 지향시킨다.　입사 광학 빔은 광학 요소(410)의 전방 본체(415)로부터 나오는 복수의 특징부(430)에 반사된다.　일실시예에서, 하나 이상의 특징부(430)로부터의 광의 반사는 광 빔의 방향의 변화를 야기한다.　다른 실시예에서, 특징부(430)의 배열에 따라, 광은 굴절, 회절 또는 굴절 및 회절의 조합으로 인해 지향될 수 있다.　일부 실시예에서, 광학 요소(410)는 광학 요소(140)의 일실시예이며 LPA(420)에 의해 생성된 입사 광 빔을 반사, 회절, 굴절시키도록 구성된 하나 이상의 셀(160)을 포함한다.　다른 실시예에서, 광학 요소(410)와 관련된 셀(160)은 입사 광 빔의 반사, 회절, 굴절의 조합을 수행한다.　도 4a에서, 톱니 형상이 하향 경사면을 갖는 상부면 및 수평 하부면을 갖는 특징부(430)의 톱니 구성은 광의 하향 구부림을 유발한다.　당업자가 쉽게 알 수 있는 바와 같이, 다른 실시예에서, 특징부(430)는 광이 다른 방향으로 지향될 수 있도록 구성될 수 있다.
도 4b는 일실시예에 따라 입사 광학 빔을 집속하기 위한 광학 요소(410)를 포함하는 SLE(405)를 도시한다. SLE(405)는 도 1과 관련하여 상술한 SLE(100)의 일실시예이다.　SLE(405)는 LPA(420)에 의해 생성된 입사 광 빔을 집속하도록 구성된 구조(440)를 포함한다.　구조(440)는 광학 요소(410) 및 전방 몸체(415)로부터 나오는 복수의 특징부(430)를 포함한다.　구조(440)는 지점(460)으로 광 빔을 집속하도록 구성된다.　도 4b에서, 구조(450)와 관련된 특징부(430)는 톱니 형상으로 구성되지만, 톱니형 특징부(430)의 방위는 구조(440)의 하반부에서 교환된다. 2세트의 특징부(430) 사이의 특징부(430)는 그 초점이 초점(460)과 일치하도록 평-볼록 렌즈(plano-convex lens)로 구성된다.　이러한 구조(440)는 빔의 상부 및 하부 절반 부에 입사하는 입사 광 빔으로부터의 광선이 초점(460)에서 만나게 한다.　중심을 통과하는 광선은 특징부(430)에 의해 형성된 렌즈의 초점에 수렴한다.　즉, 구조(450)는 볼록 렌즈의 기능을 모방한다.　다른 실시예에서, 구조(450)는 구조(450) 뒤에 위치한 초점(450)을 갖는 오목 렌즈의 기능을 모방하도록 구성될 수 있다.
도 4c는 일실시예에 따라 입사 광학 빔을 성형하기 위한 SLE(407)를 도시한다. SLE(407)는 SLE(100)의 실시예이며, 광학 빔을 성형하기 위해 전방 몸체(415)로부터 나오는 표면(470)을 포함하여 광학 요소(410)뿐만 아니라 LPA(420)에 의해 생성된 광학 빔을 포함한다.　기설정된 랜덤 함수는 광학 요소의 표면(470)을 정의하는데 사용된다.　다양한 실시예에서, 표면(470)은 광학 요소(410)와 관련된 하나 이상의 셀(예컨대, 셀(160))을 통해 실현될 수 있음에 유의해야 한다.　셀(160)과 관련된 하나 이상의 반사, 회절 또는 임의의 조합의 반사 및 회절 특성은 표면(470)을 생성할 수 있다. 예를 들어, 광학 요소(410)와 관련된 셀은 입사하는 광학 빔의 각도에 기초하여 보강 및 상쇄 간섭의 조합을 제공하도록 구성된다.　다른 실시예들(미도시)에서, 구조(440)와 관련된 하나 이상의 특징부(예컨대, 특징부(430))는 표면(470)을 구현하고 입사 광학 빔을 형성하는데 이용할 수 있다.　형상화된 입사 광학 빔은 입사 광학 빔의 공간 필터링을 제공할 수 있다.　예를 들어, 공간 필터링은 입사 광학 빔의 지향성을 증가시키는데 사용될 수 있다.　다른 실시 예에서, 표면(470)은 로컬 영역(330)을 조명하기 위해 입사하는 광학 빔을 산란시키는데 사용될 수 있다.　당업자가 쉽게 알 수 있는 바와 같이, 다양한 다른 실시예에서, 표면(470)은 입사 광학 빔에 다른 공간 필터링 특성을 제공하는데 사용될 수 있다.
하나 이상의 실시예에서, 광학 요소(140) 및 특징부(430)를 포함하는 구조(440)는 도 4a 내지 4c와 관련하여 상술한 SLE(400, 401 및 402)에 의해 수행되는 하나 이상의 광학 기능을 결합하도록 구성된다. 예를 들어, 하나 이상의 실시예에서, 3개의 광학 요소(140)를 포함하는 구조(440)는 집속하고, 하향으로 휘어지며, LPA(110)에 의해 생성된 빔을 형상화할 수 있다.　다양한 실시예에서, 가령 초점, 형상 등과 같은 광학 기능은 로컬 영역에서 고유한 패턴을 생성하기 위해 하나 이상의 광학 요소(140)를 사용하는 구조(440)에 의해 수행된다.　게다가, 일부 실시예에서, 도 4a 내지 도 4c의 일부 또는 전부로부터의 구성요소들의 일부 또는 전부가 결합될 수 있다.　예를 들어, SLE(400)는 표면(470)을 갖는 광학 요소(410)에 결합되는 광을 방출하는 구조(440)에 결합되는 광을 방출할 수 있다.
도 5a는 일실시예에 따라 손(510)에 평행하게 배향된 복수의 수평 바(520)를 포함하는 광 패턴에 의해 추적되는 손(510)을 도시한다. 도 5a에서, 수평 바(520)를 포함하는 생성된 광 패턴과 관련된 하나 이상의 수평 바는 손가락의 축과 일치한다는 것이 명백하다.　따라서, 데이터를 포함하는 결정된 정보는 제한되고 로컬 영역 내 물체(예컨대, 추적되는 손(510))의 형상을 식별하고 추적하는 것은 어렵다.　그러나, 손가락은 시스템이 명령으로 사용하는 제스처를 제공할 수 있기 때문에 손가락이 흔히 주요한 관심 부분일 수 있다.　예를 들어, 추적된 하나 이상의 제스처를 기반으로, 시스템은 바의 방위를 자동으로 변경한다(예컨대, 수평에서 수직으로 또는 수직에서 수평으로).　다른 실시예에서, 생성된 광 패턴은 SLE(예컨대, SLE(100))와 연관된 광학 요소(140)에 의해 생성되는 구조화된 광의 세트이다.　구조화된 광의 예는 수평 바 또는 수직 바, 그리드, 또는 로컬 영역을 비출 때 변형되도록 구성된 다른 기하학적 물체를 포함하는 광 패턴을 포함한다.　추가로 생성된 광 패턴은 하기에 기술된다.
도 5b는 일실시예에 따라 복수의 수직 바(530)를 포함하는 광 패턴에 의해 추적되는 손(510)을 도시한다. 수직 바(530)는 손(510)과 관련된 손가락의 축에 수직으로 배향된다.　즉, 수직 바(530)를 포함하는 광 패턴과 관련된 바는 손(510)과 관련된 손가락을 가로질러 놓여 있다.　이러한 바의 구성은 추적되는 물체(예컨대, 손(510)과 관련된 손가락)에 관한 더 많은 정보를 제공할 수 있다.　하나 이상의 실시예에서, 구조화된 광(예컨대, 수직 바(520) 또는 수평 바(530))의 선택은 도 3과 관련하여 상술한 SLE(100)와 연관된 프로세서에 대한 입력에 기초하여 수행된다. 구조화된 요소를 선택하는 프로세스는 도 8과 관련하여 이하에서 더 설명된다.
도 6a 내지 도 6e는 일실시예에 따라 추적을 향상시키기 위해 SLE(100)에 의해 생성된 광 패턴에 대해 행해질 수 있는 다양한 변화를 도시한다. 또한, 도 6a-6e는 모두 제1 세트가 제1 광 패턴을 나타내고 제2 세트의 바가 세트 내 바와 관련된 하나 이상의 파라미터의 변경 후에 제1 광 패턴인 2개의 세트의 바를 포함한다.　도 6a 내지 도 6e에서, 하기에 기술되는 바와 같이, 변경된 파라미터는 간격(620), 길이(630), 밀도(640), 형상(650) 및 세기(660)일 수 있다.
도 6a는 일실시예에 따라 수평에서 수직으로의 바의 방위의 변화를 도시한다. 도 6a는 제1 광 패턴 및 변경된 광 패턴을 도시한다.　제1 광 패턴은 yO의 간격(620) 및 x0의 길이(630)를 갖는 5개 바의 세트를 포함하는 한편, 변경된 광 패턴은 y의 간격(620) 및 x의 길이(630)를 갖는 5개의 수직 바의 세트를 포함한다. yO의 간격(620) 및 x0의 길이(630)는 바의 본래 구성과 관련된 공칭 간격 및 길이이다. 수평 또는 수직으로부터의 바의 방위 변경은 세트 내 바의 길이(630) 및 간격(620)을 유지한다.　즉, 도 6a에 도시된 바와 같이, 변경된 바는 y = yO의 간격(620) 및 x = x0의 길이를 갖는다. 다른 실시예에서, 바(bar)는 간격(620)과 길이(630) 사이의 관계를 유지하면서 수직에서 수평으로의 방위의 변화를 겪을 수 있다.
도 6b는 일실시예에 따라 한 세트의 바의 변화로 인한 시야의 좁아짐을 도시한다. 도 6b는 제1 광 패턴 및 변경된 광 패턴을 도시한다.　제1 광 패턴은 yO의 간격(620) 및 x0의 길이를 포함하는 수평 바의 세트를 포함한다. 도 6b에 도시된 바와 같이, 변경된 광 패턴은 길이(630)가 아닌 바들 사이에 간격(620)을 유지하는 바의 세트를 포함한다.　즉, 변경된 광 패턴에서 간격(620)은 yO이고 길이(630)는 x0의 미만인 값(x)과 동일하다. 다양한 실시예에서, 길이(630)가 이렇게 감소하면 이에 대응하여 시야가 좁아질 수 있다.　일반적으로 시야를 좁히는 것이 물체를 추적하는 데 유용할 수 있음에 유의해야 한다.　예를 들어, 손가락이 관심의 대상이고 추적되어야 하는 경우에는 시야를 좁히는 것이 필요하다.　대안으로, 시야는 공칭 길이 xO보다 크도록 길이(630)를 증가시킴으로써 확대될 수 있다. 예로서, xO보다 큰 길이(630)를 가진 바의 세트는 로컬 영역에 손가락을 스캔하고 위치결정하는데 사용되며, 손가락이 발견되면 시야가 좁아진다.
하기에 상세히 기술되는 도 6c-6e는 일실시예에 따라 심도 치수에서 관심 물체를 추적하기 위해 SLE(100)에 의해 생성될 수 있는 다양한 광 패턴을 각각 도시한다.
도 6c는 일실시예에 따라 수평 바의 밀도 증가를 도시한다. 제1 광 패턴은 x0의 길이(630) 및 u0의 밀도(640)를 갖는 5개의 수평 바의 세트를 포함한다. 파라미터 밀도(640)는 소정의 영역 내 바의 수를 나타낸다는 것에 유의해야 한다.　도 6c에 도시된 바와 같이, 변경된 광 패턴은 10개의 수평 바를 갖는 도 6c의 제1 광 패턴이다. 다시 말하면, 변경된 광 패턴의 밀도(640)는 도 6d의 제1 광 패턴의 밀도보다 크다. 대안으로, 도 6d의 변경된 광 패턴에서의 수평 바의 수가 5보다 작은 경우, 변경된 광 패턴의 밀도(640)는 제1 광 패턴의 밀도보다 작을 것이다.　또 다른 예에서, 고밀도 및 저밀도 바의 조합을 포함하는 광 패턴은 고밀도 바가 관심 물체에 투영되도록 로컬 영역(220)에 투영된다.　다른 실시예에서, 바는 수직일 수 있다.　고밀도(640)의 바(수평 바 또는 수직 바)는 심도 치수로 추적되는 물체의 해상도를 높이는데 사용될 수 있다.　다양한 실시예에서, 생성된 광 패턴의 특정 방위 및 밀도는 제어기(360)에 의해 동적으로 제어된다.
도 6d는 일실시예에 따라 투영된 패턴의 형상의 변화를 도시한다. 도 6d는 5개의 실선 수평 바(650)를 포함하는 제1 광 패턴 및 5개의 점선 수평 바(652)를 포함하는 변경된 광 패턴으로 구성된다.　가령 제1 광 패턴과 변경된 광 패턴 사이의 간격(620), 길이(630) 및 밀도(640)와 같은 모든 다른 파라미터가 유지된다.　다양한 실시예에서, 패턴은 광학 요소(140)에 의해 생성될 수 있다.　예를 들어, 광학 요소는 하나 이상의 삼각형, 사각형, 원, 타원, 다른 불규칙한 다각형 또는 이들의 임의의 조합을 생성할 수 있다.　하나 이상의 실시예에서, 생성된 패턴은 제어기(360)에 의해 결정되고 도 8과 관련하여 이하에서 더 설명된다.
도 6e는 일실시예에 따른 투영된 패턴의 강도의 변화를 도시한다. 제1 광 패턴은 3개의 고강도 바뿐 아니라 2개의 저강도 바(660)를 포함한다.　도 6e는 변경된 광 패턴에서 제1 광 패턴의 저강도 바(660)가 고강도 바(662)로 변경되고 그 역도 또한 동일한 경우의 변경된 광 패턴을 묘사한다.　특정 광 패턴을 선택하는 프로세스는 도 8과 관련하여 이하에서 더 설명된다.
도 7은 일실시예에 따라 밝은 물체(710) 및 어두운 물체(720)를 추적하는 SLE(700)의 간소화된 개략도를 도시한다. 도 7에 도시된 SLE(700)는 도 2a 내지 2d에 도시된 SLE(200)의 일실시예이다. 밝은 물체(710)는 하나 이상의 광학 대역(예컨대, IR, UV, 가시광)에서 임계치보다 큰 반사율을 갖는 물체이다.　마찬가지로, 어두운 물체(720)는 하나 이상의 광학 대역에서 임계치보다 작은 반사율을 갖는 물체이다.　다양한 실시예에서, 반사율의 임계치는 기정의되고 제어기(360)에 저장된다.　다른 실시예에서, 반사율의 임계치는 이미저(350)로부터 수신된 하나 이상의 캡처된 프레임에 기초하여 제어기(360)에 의해 동적으로 결정된다.
도 7에서, 밝은 물체(710)는 로컬 영역 타일(221)에 위치한다. 셀(211)은 바(230)의 강도를 감소시킬 수 있으며, 이로써 도 6과 관련하여 상술한 바와 같이 수신된 추적 정보의 해상도를 증가시킨다. 다른 실시예에서, 셀 그룹의 하나 이상의 셀(211-219)은 로컬 영역 타일(711)을 조명할 수 있다.　또한, 로컬 영역(220)의 예시에서 어두운 물체(720)가 로컬 영역 타일(226)에서 발견된다는 점에 유의해야 한다.　다양한 실시예에서, 로컬 영역 타일(229)은 셀(219)에 의해 조명되고, 수신된 추적 정보의 해상도를 증가시키기 위해 바(230)의 강도가 증가된다.　일실시예에서, 셀(221-229)은 도 8과 관련하여 후술하는 바와 같이 프로세서로부터 바(230) 강도에 관한 정보를 수신한다. 상이한 셀들(211-219)은 독립적으로 동작할 수 있고 각각의 셀(211-219)은 관련 로컬 영역 타일(221-229) 내의 하나 이상의 물체에 적절히 반응하도록 개별적으로 제어될 수 있다.
도 8은 일실시예에 따라 하나 이상의 셀(160)에서 패턴을 변경하는 방법을 나타내는 간소화된 흐름도이다. 일실시예에서, 도 8의 흐름도는 추적 시스템(300)에 의해 수행된다.　일부의 실시예에서, 다른 장치들은 다른 실시예들에서 프로세스의 단계의 일부 또는 전부를 수행할 수 있다.　마찬가지로, 실시예들은 다른 단계 및/또는 추가 단계를 포함하거나, 상이한 순서로 단계들을 수행할 수 있다.
추적 시스템은 초기의 레이저 구성으로 3D 공간을 조명한다. 로컬 영역을 조명하는 것은 이전에 생성된 패턴과 관련된 초기의 레이저 구성을 나타내는 것을 포함할 수 있다.　하나 이상의 실시예에서, 초기의 레이저 구성은 이전에 프레임을 캡처하는데 사용되었던 이전의 레이저 구성이다.　다른 실시예에서, 추적 시스템은 이전에 사용된 레이저 구성으로 로컬 영역을 조명하기 위한 명령을 SLE에 제공한다.
추적 시스템(300)은 이미지 프레임을 캡처한다(820). 예를 들어, 프레임은 이미저(350)를 사용하여 캡처될 수 있다.　다양한 실시예에서, 프레임은 하나 이상의 전자기 대역(예컨대, UV, IR, 가시광)으로 캡처될 수 있다.　프레임을 캡처하는 프로세스는 도 3과 관련하여 더 상술된다.
추적 시스템(300)은 캡처된 프레임을 분석한다(830). 다양한 실시예에서, 프레임은 하나 이상의 표준 2차원 신호 처리 기술을 통해 분석되고(830), 그 출력은 프레임과 관련된 특성 또는 파라미터의 세트이다.　예를 들어, 분석 정보는 심도가 프레임 내 각각의 물체와 관련되도록 캡처된 프레임으로부터 심도 정보(즉, 이미저로부터의 거리)를 추출할 수 있다.
일부 실시예에서, 추적 시스템은 캡처된 프레임과 관련되는 저장된 분석 가이드라인의 검색을 수행한다. 즉, 임의의 특정 구성에 대하여, 분석을 수행하기 위한 절차와 관련된 하나 이상의 기정의된 분석 가이드라인이 있을 수 있다.　예시적인 분석 가이드라인은 "광도의 임계 레벨을 결정하고; 특별한 변화를 결정하는 것"일 수 있다.　다른 실시예에서, 가이드라인은 하나 이상의 디지털 이미지 처리 기술에 대한 명령(기간)을 포함할 수 있다.
추적 시스템(300)은 적용할 하나 이상의 광학 기능을 포함하는 새로운 레이저 구성을 결정한다(840). 새로운 레이저 구성은 변조(즉, 회절, 굴절 또는 회절 및 굴절 변조의 임의의 조합)의 변화, 하나 이상의 광학 기능, 패턴의 변화 또는 이들의 임의의 조합과 관련될 수 있다.　하나 이상의 실시예에서, 새로운 레이저 구성이 초기의 레이저 구성이라는 점에 유의해야 한다.　즉, 캡처된 프레임에 기초한 일부 상황에서, 제어기(360)는 현재의 레이저 구성에 대한 어떠한 변화도 필요로 하지 않을 수도 있다고 결정할 수 있다.
추적 시스템(300)은 새로운 레이저 구성으로 레이저 구성을 업데이트(850)하고, 프로세스 흐름은 업데이트된 레이저 구성을 사용하여 로컬 영역을 조명하는 것으로 이동한다(810).
추가적인 구성 정보
본 명세서의 실시예들의 상술한 설명은 예시의 목적으로 제시되었을 뿐, 배타적이거나 개시된 구체적인 형태로 본 명세서를 제한하고자 하는 것은 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 상기 개시로부터 다양한 변화 및 변경이 가능함을 인식할 수 있을 것이다.
본 명세서의 일부 부분은 본 명세서의 실시예들을 정보에 대한 동작의 알고리즘적 및 기호적 표현으로 설명한다. 이러한 알고리즘적 설명 및 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 다른 통상의 지식을 가진 자에게 전달하기 위하여 데이터 프로세싱 분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 설명된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 구현될 수 있다.
본 명세서에 기술된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 설명된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
또한, 본 실시예들은 본 명세서의 동작들을 수행하기 위한 장치와 관련될 수 있다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형(tangible)의 컴퓨터 판독가능한 저장 매체나 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 타입의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.
또한, 본 실시예들은 본 명세서에 기술된 컴퓨팅 프로세스에 의해 생산된 제품에 관한 것일 수 있다. 이런 제품은 컴퓨팅 프로세스의 결과로 생성된 정보를 포함할 수 있는데, 여기서 정보는 비-일시적인 유형의 컴퓨터 판독가능한 저장 매체에 저장되며, 본 명세서에 기술된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용된 언어는 원칙적으로 읽기 쉬운 지침상의 목적으로 선택되었으며, 발명의 요지를 상세히 설명하거나 제한하려고 선택된 것은 아닐 수 있다. 따라서, 본 명세서의 범위는, 본 발명의 상세한 설명에 의해 제한되는 것이 아니며, 본 출원이 기초로 하는 제출되는 청구범위에 의한 것으로 의도되었다. 그러므로, 본 실시예들에 관한 설명은 하기의 청구항들에 제시된 본 명세서의 범위의 예시가 되나, 이에 제한되지 않는다.

Claims (20)

  1. 구조화된 광 패턴을 생성하는 시스템으로서,
    각각 독립적으로 전환될 수 있는 적어도 2개의 서브세트의 레이저로 그룹화되는 복수의 레이저를 포함하고 광을 생성하는 레이저 어레이; 및
    각각의 셀이 레이저 어레이 중 대응하는 레이저로부터 광을 수신하고 각각의 셀이 셀을 통과하는 수신된 광에 개별적으로 변조를 적용하여 로컬 영역으로 투영되는 구조화된 광 패턴의 대응하는 일부를 형성하도록 레이저 어레이의 각각의 서브세트와 각각 정렬되는 복수의 셀을 포함하는 광학 요소를 포함하는, 구조화된 광 패턴을 생성하는 시스템.
  2. 제 1 항에 있어서,
    상기 변조는 회절 변조(diffractive modulation), 굴절 변조(refractive modulation) 및 회절 변조와 굴절 변조의 조합을 포함하는 그룹 중 하나인, 구조화된 광 패턴을 생성하는 시스템.
  3. 제 1 항에 있어서,
    적어도 2개의 서브세트 중 레이저 어레이의 한 서브세트 및 그의 각각의 셀은 하나의 몰딩된 요소로 구성되는, 구조화된 광 패턴을 생성하는 시스템.
  4. 제 1 항에 있어서,
    복수의 셀 중 한 셀의 폭은 1mm 이하인, 구조화된 광 패턴을 생성하는 시스템.
  5. 제 1 항에 있어서,
    하나 이상의 셀은 변조를 변경하도록 개별적으로 제어될 수 있는, 구조화된 광 패턴을 생성하는 시스템.
  6. 제 5 항에 있어서,
    광학 요소와 연관된 하나 이상의 셀은 2차원 레이아웃으로 복수의 픽셀을 포함하는 적어도 하나의 캡처된 프레임을 수신하고 분석하는 것에 기반하여 구조화된 광 패턴에 대한 변경을 동적으로 제공하도록 제어될 수 있는, 구조화된 광 패턴을 생성하는 시스템.
  7. 제 5 항에 있어서,
    복수의 셀은 생성되는 구조화된 광 패턴의 위치 및 형태에 대하여도 또한 제어될 수 있는, 구조화된 광 패턴을 생성하는 시스템.
  8. 제 6 항에 있어서,
    동적인 제어는 증가한 해상도의 구조화된 광 패턴을 구조화된 광 패턴의 제1 부분에 적용하고 감소한 해상도의 구조화된 광 패턴을 로컬 영역의 제2 부분에 적용하도록 구성되는, 구조화된 광 패턴을 생성하는 시스템.
  9. 제 6 항에 있어서,
    구조화된 광 패턴에 대한 변경은 광학 요소와 연관된 복수의 셀 중 적어도 하나의 셀의 변경을 포함하는, 구조화된 광 패턴을 생성하는 시스템.
  10. 제 6 항에 있어서,
    구조화된 광 패턴에 대한 변경은 광학 요소와 연관된 복수의 셀 중 적어도 하나의 셀의 변경을 포함하는, 구조화된 광 패턴을 생성하는 시스템.
  11. 제 10 항에 있어서,
    구조화된 광 패턴에 대한 변경은 복수의 셀 중 적어도 하나의 셀의 변경을 포함하는, 구조화된 광 패턴을 생성하는 시스템.
  12. 구조화된 광 패턴을 생성하는 시스템으로서,
    각각 독립적으로 전환될 수 있는 적어도 2개의 서브세트의 레이저로 그룹화되는 복수의 레이저를 포함하고 광을 생성하는 레이저 어레이;
    각각의 셀이 레이저 어레이 중 대응하는 레이저로부터 광을 수신하도록 레이저 어레이의 각각의 서브세트와 각각 정렬되는 복수의 셀을 포함하는 광학 요소;
    구조화된 광 패턴의 적어도 일부를 포함하는 로컬 영역의 하나 이상의 이미지를 캡처하도록 구성되는 이미저(imager); 및
    하나 이상의 이미지를 사용하여 3차원 공간 내 하나 이상의 물체에 대한 심도 정보를 결정하도록 구성되는 제어기를 포함하며,
    각각의 셀은 셀을 통과하는 수신된 광에 개별적으로 변조를 적용하여 로컬 영역으로 투영되는 구조화된 광 패턴의 대응하는 일부를 형성하는, 구조화된 광 패턴을 생성하는 시스템.
  13. 제 12 항에 있어서,
    상기 변조는 회절 변조(diffractive modulation), 굴절 변조(refractive modulation) 및 회절 변조와 굴절 변조의 조합을 포함하는 그룹 중 하나인, 구조화된 광 패턴을 생성하는 시스템.
  14. 제 12 항에 있어서,
    적어도 2개의 서브세트 중 레이저 어레이의 한 서브세트 및 그의 각각의 셀은 하나의 몰딩된 요소로 구성되는, 구조화된 광 패턴을 생성하는 시스템.
  15. 제 12 항에 있어서,
    복수의 셀 중 한 셀의 폭은 1mm 이하인, 구조화된 광 패턴을 생성하는 시스템.
  16. 제 12 항에 있어서,
    하나 이상의 셀은 변조를 변경하도록 개별적으로 제어될 수 있는, 구조화된 광 패턴을 생성하는 시스템.
  17. 제 16 항에 있어서,
    하나 이상의 셀은 2차원 레이아웃으로 복수의 픽셀을 포함하는 적어도 하나의 캡처된 프레임을 수신하고 분석하는 것에 기반하여 구조화된 광 패턴에 대한 변경을 동적으로 제공하도록 제어될 수 있는, 구조화된 광 패턴을 생성하는 시스템.
  18. 제 16 항에 있어서,
    복수의 셀은 생성되는 구조화된 광 패턴의 위치 및 형태에 대하여도 또한 제어될 수 있는, 구조화된 광 패턴을 생성하는 시스템.
  19. 제 17 항에 있어서,
    동적인 제어는 증가한 해상도의 구조화된 광 패턴을 구조화된 광 패턴의 제1 부분에 적용하고 감소한 해상도의 구조화된 광 패턴을 로컬 영역의 제2 부분에 적용하도록 구성되는, 구조화된 광 패턴을 생성하는 시스템.
  20. 구조화된 광 패턴을 생성하는 시스템으로서,
    각각 독립적으로 전환될 수 있는 적어도 2개의 서브세트의 레이저로 그룹화되는 복수의 레이저를 포함하고 광을 생성하는 레이저 어레이;
    각각의 셀이 레이저 어레이 중 대응하는 레이저로부터 광을 수신하도록 레이저 어레이의 각각의 서브세트와 각각 정렬되는 복수의 셀을 포함하는 광학 요소;
    구조화된 광 패턴의 적어도 일부를 포함하는 로컬 영역의 하나 이상의 이미지를 캡처하도록 구성되는 이미저(imager); 및
    하나 이상의 캡처된 프레임에 기반하여 하나 이상의 레이저의 변조를 변경하도록 구성되는 제어기를 포함하며,
    각각의 셀은 셀을 통과하는 수신된 광에 개별적으로 변조를 적용하여 로컬 영역으로 투영되는 구조화된 광 패턴의 대응하는 일부를 형성하는, 구조화된 광 패턴을 생성하는 시스템.
KR1020177030158A 2015-03-22 2016-03-22 스테레오 카메라 및 구조화된 광을 사용한 헤드 마운트 디스플레이의 심도 맵핑 KR101904181B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562136549P 2015-03-22 2015-03-22
US62/136,549 2015-03-22
PCT/US2016/023611 WO2016154218A1 (en) 2015-03-22 2016-03-22 Depth mapping with a head mounted display using stereo cameras and structured light

Publications (2)

Publication Number Publication Date
KR20170129882A true KR20170129882A (ko) 2017-11-27
KR101904181B1 KR101904181B1 (ko) 2018-10-04

Family

ID=56977613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177030158A KR101904181B1 (ko) 2015-03-22 2016-03-22 스테레오 카메라 및 구조화된 광을 사용한 헤드 마운트 디스플레이의 심도 맵핑

Country Status (6)

Country Link
US (1) US10031588B2 (ko)
EP (1) EP3274653B1 (ko)
JP (1) JP6386194B2 (ko)
KR (1) KR101904181B1 (ko)
CN (1) CN107637074B (ko)
WO (1) WO2016154218A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
JP7114387B2 (ja) * 2018-07-30 2022-08-08 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
CN110855961A (zh) * 2018-08-20 2020-02-28 奇景光电股份有限公司 深度感测装置及其操作方法
US10909373B1 (en) * 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
EP3788545B1 (en) 2019-03-26 2022-12-07 Shenzhen Goodix Technology Co., Ltd. Multizone illumination for optical face identification
CN111566663B (zh) * 2019-03-26 2023-05-02 深圳市汇顶科技股份有限公司 用于光学脸部识别的多区域照明
CN112036222B (zh) * 2019-06-04 2023-12-29 星宸科技股份有限公司 脸部辨识系统及方法
US11422638B2 (en) 2019-07-08 2022-08-23 Apple Inc. Input devices that use self-mixing interferometry to determine movement within an enclosure
US20220290976A1 (en) * 2019-09-04 2022-09-15 ams Sensors Singapore Pte. Ltd Designing and constructing dot projectors for three-dimensional sensor modules
US11409365B2 (en) * 2019-09-06 2022-08-09 Apple Inc. Self-mixing interferometry-based gesture input system including a wearable or handheld device
US11419546B2 (en) 2019-09-24 2022-08-23 Apple Inc. Wearable self-mixing interferometry device used to sense physiological conditions
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
KR20220074957A (ko) 2019-10-07 2022-06-03 트리나미엑스 게엠베하 적어도 하나의 대상체를 조명하기 위한 프로젝터
CN111240009B (zh) 2019-12-31 2020-12-29 嘉兴驭光光电科技有限公司 可用于投射斜线的衍射光学元件、投射装置及其设计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130054870A (ko) * 2011-11-17 2013-05-27 재단법인대구경북과학기술원 구조광 패턴 기반의 깊이 정보 추정 장치 및 방법
KR20130055088A (ko) * 2011-11-18 2013-05-28 재단법인대구경북과학기술원 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
KR20140019765A (ko) * 2010-09-08 2014-02-17 마이크로소프트 코포레이션 구조광 및 스테레오 비전에 기초한 깊이 카메라

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4115445C2 (de) 1990-07-05 1994-02-17 Reinhard Malz Verfahren zum Aufnehmen eines dreidimensionalen Bildes eines Objektes nach dem aktiven Triangulationsprinzip und Vorrichtung hierzu
US5212555A (en) * 1991-12-17 1993-05-18 Texas Instruments Incorporated Image capture with spatial light modulator and single-cell photosensor
US5335288A (en) 1992-02-10 1994-08-02 Faulkner Keith W Apparatus and method for biometric identification
JP3531014B2 (ja) 1994-06-22 2004-05-24 株式会社トプコン レーザ照準装置
US6102552A (en) 1996-10-18 2000-08-15 Hewlett-Packard Company Laser-array based digital illuminator
US6549288B1 (en) 1998-05-14 2003-04-15 Viewpoint Corp. Structured-light, triangulation-based three-dimensional digitizer
US6040910A (en) 1998-05-20 2000-03-21 The Penn State Research Foundation Optical phase-shift triangulation technique (PST) for non-contact surface profiling
JP2000267800A (ja) 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
JP2004523031A (ja) 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6714234B1 (en) 2001-04-11 2004-03-30 Applied Minds, Inc. Maintaining eye-contact in teleconferencing using structured light
US6947575B2 (en) 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
JP3975892B2 (ja) 2002-05-02 2007-09-12 富士ゼロックス株式会社 位置計測システム
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US20040119833A1 (en) 2002-07-25 2004-06-24 Duncan Donald D. Three-dimensional context sensitive scanner
CN1176351C (zh) 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
US7064810B2 (en) 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
JP5201999B2 (ja) 2006-02-03 2013-06-05 パナソニック株式会社 入力装置、及びその方法
EP1980935A1 (en) 2006-02-03 2008-10-15 Matsushita Electric Industrial Co., Ltd. Information processing device
CN101957994B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
JP5592070B2 (ja) 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
WO2008010024A1 (en) 2006-07-16 2008-01-24 Cherradi I Free fingers typing technology
US8144121B2 (en) 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US7907781B2 (en) 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090189858A1 (en) 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
US8107083B2 (en) * 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
FR2932562B1 (fr) * 2008-06-12 2010-08-27 Univ Pasteur Dispositif de projection de lumiere structuree au moyen de vcsel et de composants optiques diffractifs de phase.
EP2166305B1 (de) 2008-09-23 2012-05-16 Sick Ag Beleuchtungseinheit und Verfahren zur Projektion eines Beleuchtungsmusters
CN101451826B (zh) 2008-12-17 2010-06-09 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
TWI409502B (zh) 2009-01-23 2013-09-21 Univ Nat Taipei Technology 相位資訊擷取方法及其三維形貌量測系統
US20100309391A1 (en) * 2009-06-03 2010-12-09 Honeywood Technologies, Llc Multi-source projection-type display
JP2011018090A (ja) 2009-07-07 2011-01-27 Panasonic Corp 電子ペン及び電子ペンシステム
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US20120194561A1 (en) * 2009-09-22 2012-08-02 Nadav Grossinger Remote control of computer devices
US9075184B2 (en) * 2012-04-17 2015-07-07 Milan Momcilo Popovich Compact edge illuminated diffractive display
JP2011127932A (ja) * 2009-12-15 2011-06-30 Nippon Telegr & Teleph Corp <Ntt> 三次元形状測定装置、三次元形状測定方法、三次元形状測定プログラム、および記録媒体
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
CN102985786A (zh) * 2010-07-16 2013-03-20 皇家飞利浦电子股份有限公司 投光器和用于距离测定的视觉系统
US9870068B2 (en) * 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
US9008515B2 (en) * 2010-10-07 2015-04-14 Alcatel Lucent Direct laser modulation
KR20120071551A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 구조 영상을 이용한 사용자 인터랙션 장치 및 방법
US20120200829A1 (en) 2011-02-09 2012-08-09 Alexander Bronstein Imaging and projecting devices and methods
EP2500687A3 (en) * 2011-03-14 2013-02-20 Heliotis SA Structured light projector
KR101446902B1 (ko) 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
US9606237B2 (en) * 2012-03-01 2017-03-28 Iee International Electronics & Engineering S.A. Spatially coded structured light generator
CN107806826B (zh) * 2012-03-26 2021-10-26 螳螂慧视科技有限公司 三维照相机及其投影仪
WO2014083485A1 (en) * 2012-11-29 2014-06-05 Koninklijke Philips N.V. Laser device for projecting a structured light pattern onto a scene
JP6070274B2 (ja) * 2013-02-28 2017-02-01 旭硝子株式会社 拡散素子、照明光学系および計測装置
KR20140133093A (ko) 2013-05-09 2014-11-19 한국전자통신연구원 인식 장치 및 그 방법
US10019843B2 (en) 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
AU2014338511B2 (en) * 2013-10-23 2018-08-09 Facebook Technologies, Llc Three dimensional depth mapping using dynamic structured light
US9749513B2 (en) 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
JP6417702B2 (ja) 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140019765A (ko) * 2010-09-08 2014-02-17 마이크로소프트 코포레이션 구조광 및 스테레오 비전에 기초한 깊이 카메라
KR20130054870A (ko) * 2011-11-17 2013-05-27 재단법인대구경북과학기술원 구조광 패턴 기반의 깊이 정보 추정 장치 및 방법
KR20130055088A (ko) * 2011-11-18 2013-05-28 재단법인대구경북과학기술원 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법

Also Published As

Publication number Publication date
JP2018509632A (ja) 2018-04-05
EP3274653A4 (en) 2018-11-14
EP3274653A1 (en) 2018-01-31
WO2016154218A1 (en) 2016-09-29
JP6386194B2 (ja) 2018-09-05
CN107637074A (zh) 2018-01-26
CN107637074B (zh) 2020-09-18
EP3274653B1 (en) 2020-11-25
US20180157342A1 (en) 2018-06-07
KR101904181B1 (ko) 2018-10-04
US10031588B2 (en) 2018-07-24

Similar Documents

Publication Publication Date Title
KR101904181B1 (ko) 스테레오 카메라 및 구조화된 광을 사용한 헤드 마운트 디스플레이의 심도 맵핑
US9870068B2 (en) Depth mapping with a head mounted display using stereo cameras and structured light
US20210297651A1 (en) Three dimensional depth mapping using dynamic structured light
EP3175201B1 (en) Overlapping pattern projector
CN103053167B (zh) 扫描投影机及用于3d映射的图像捕获模块
US20120236288A1 (en) Range Based Sensing
CN104284625A (zh) 用于对目标对象的表面的深度进行仿形的装置和方法
US20200192206A1 (en) Structured light projector, three-dimensional camera module and terminal device
US11067820B2 (en) Structured light projector and three-dimensional image sensing module
CN110836647B (zh) 三维扫描系统
JP6626552B1 (ja) マルチ画像プロジェクタ及びマルチ画像プロジェクタを有する電子デバイス
CN115867765A (zh) 漫射照明和多模式照明装置
CN110955056B (zh) 多影像投影机以及具有多影像投影机的电子装置
CN110297225A (zh) 光调制激光雷达系统
KR102103919B1 (ko) 다중 이미지 프로젝터 및 다중 이미지 프로젝터를 구비한 전자 기기
JP2024035101A (ja) 構造化光走査システムと方法、並びにその画像プロジェクター

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant