KR102027184B1 - 동적 구조화 광을 사용하는 3차원 깊이 맵핑 - Google Patents

동적 구조화 광을 사용하는 3차원 깊이 맵핑 Download PDF

Info

Publication number
KR102027184B1
KR102027184B1 KR1020167011475A KR20167011475A KR102027184B1 KR 102027184 B1 KR102027184 B1 KR 102027184B1 KR 1020167011475 A KR1020167011475 A KR 1020167011475A KR 20167011475 A KR20167011475 A KR 20167011475A KR 102027184 B1 KR102027184 B1 KR 102027184B1
Authority
KR
South Korea
Prior art keywords
structured light
light pattern
modulation
lasers
array
Prior art date
Application number
KR1020167011475A
Other languages
English (en)
Other versions
KR20160075548A (ko
Inventor
니타이 로마노
나다브 그로싱거
야이르 알펀
에밀 알론
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20160075548A publication Critical patent/KR20160075548A/ko
Application granted granted Critical
Publication of KR102027184B1 publication Critical patent/KR102027184B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/4255—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application for alignment or positioning purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/40—Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42—Arrays of surface emitting lasers
    • H01S5/423—Arrays of surface emitting lasers having a vertical cavity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Semiconductor Lasers (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Optical Communication System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Optical Integrated Circuits (AREA)

Abstract

3차원 공간에서의 광학 추적을 위한 동적인 구조화 광 패턴을 생성하기 위한 장치는, 가령 VCSEL 레이저 어레이와 같은, 3차원 공간 속에 광을 패턴으로 투사하는 레이저들의 어레이; 및 셀들에 정렬된 광학 요소 또는 요소를 포함한다. 셀들은 레이저 어레이의 서브세트들과 정렬되고, 각각의 셀은, 동적 구조화 광 패턴의 구별가능하고 별도로 제어가능한 부분을 제공하기 위해, 레이저 또는 레이저들의 서브세트로부터의 광에 변조, 특히 강도 변조를 개별적으로 적용한다. 구조화 광 패턴을 생성하는 방법이 개시되며, 방법에서 광은 레이저들의 어레이로부터 제공되고, 광은 구조화 광 패턴의 구분되는 부분들을 제공하기 위해 레이저들의 어레이의 서브세트들로부터 개별적으로 투사된다.

Description

동적 구조화 광을 사용하는 3차원 깊이 맵핑{THREE DIMENSIONAL DEPTH MAPPING USING DYNAMIC STRUCTURED LIGHT}
본 발명은 구조화 광을 사용하는 3차원 깊이 맵핑에 관한 것으로, 배타적이진 않으나 더욱 특히, 입력을 컴퓨터 또는 유사 장치로 입력을 제공하기 위한 추적 시스템에 관한 것이다.
컴퓨터 또는 다른 계산 장치로 입력을 제공하기 위한 추적은 컴퓨터 마우스와 같은 유비쿼터스 기술을 수반한다. 컴퓨터 앞에서의 3차원 필드에서 스타일러스 및 손가락의 추적이 또한, 이용가능하며 시각적 및 적외선 이미징 및 초음파와 같은 다양한 추적 기술을 사용한다. 용어 '추적'은 객체의 위치 및 움직임을 추종하는 것을 의미할 수 있고, 위치나 움직임을 결정하기 위해 추적하는 컴퓨터에서 수신된 입력을 프로세싱하는 것을 포함한다. 따라서, 컴퓨터 마우스의 경우, 추적은 움직임을 결정하기 위해 마우스 출력을 프로세싱하는 것을 포함할 수 있다. 시각적으로 추종되는 객체의 경우, 용어 추적은 객체를 캡처하는 연속적 프레임들의 이미지 프로세싱을 포함할 수 있다.
하나의 이미징 방법은 단순하게 장면을 보고 프로세싱하는 카메라를 사용한다. 카메라는 장면에 배치된 특정 표시를 추종할 수 있거나 이미징 시스템은 가령 손가락과 같이 특별히 인식가능한 특징들을 찾을 수 있다.
이러한 시각적 이미징의 단점은 3차원 구역이 충분하게 조명이 밝혀져야 하는 요건을 포함한다. 더욱이, 추적될 수 있는 특징들은 오로지 사전에 인식가능한 특징들이며, 특징 인식과 조합된 움직임 추적은 정확한 결과를 주지 못할 수 있다.
상기와 같은 문제점들을 극복하기 위해, 구조화 광을 사용하는 추적이 소개된다. 알려진 픽셀 패턴이 추적이 발생하는 공간상에 투사된다. 스트라이킹 표면상에 패턴이 변형되는 방식은 비전 시스템이 장면에서 객체의 깊이와 표면 정보를 계산할 수 있게 한다. 전형적인 사용되는 패턴들은 그리드 또는 수평 바들이다. 다양한 장치들은, 제스처 인식 및 3D 깊이 맵핑의 사용을 가능하게 하도록 구조화 광 패턴들을 사용한다. 구조화 광 패턴 송신기는 레이저 이미터 및 회절형 광학 요소(diffractive optical element; DOE)를 포함한다.
좁은 밴드의 광을 3차원적 형상화된 표면상에 투사하는 것은 프로젝터와는 다른 관점으로부터 변형되는 것으로 나타나는 조명 라인을 생성하고, 이는 표면 형상의 정확한 기하하적 재구성에 사용될 수 있다.
더 빠르고 유용한 방법은 한 번에 다수의 스트라이프 또는 임의의 프린지(fringe)로 구성된 패턴들을 투사하는 것으로, 이는 동시에 다수의 샘플의 획들을 가능하게 한다. 상이한 관점들에서 보여지는 것처럼, 패턴은 객체의 표면 형상으로 인해 기하학적으로 왜곡되는 것으로 나타난다.
구조화 광 투사의 많은 다른 변형들이 가능하지만, 평행 스트라이프 패턴이 널리 사용된다. 스트라이프의 변위는, 객체의 표면상의 임의의 세부사항들의 3D 좌표의 정확한 검색을 허용한다.
하나의 공지된 스트라이프 패턴 생성 방법은 레이저 간섭 방법으로서, 2개의 넓은 평면형 레이저 빔 프론트(planar laser beam front)를 이용한다. 빔 프론트들 사이의 간섭은 정규적인, 등거리의 라인 패턴을 생성한다. 상이한 패턴 크기가, 이러한 빔들 사이의 각도를 변경함으로써 획득될 수 있다. 방법은 제한되지 않는 필드의 깊이로 매우 섬세한 패턴의 정확하고 용이한 생성을 가능하게 한다. 단점은 구현의 높은 비용, 이상적인 빔 기하학의 제공의 어려움, 및 스펙클 노이즈(speckle noise)와 객체로부터 반사되는 빔 부분들과의 잠재적인 자기-간섭과 같은 레이저에 전형적인 효과들이다. 더욱이, 그레이 코드와 같이 개별 스트라이프들을 변조하기 위한 수단이 존재하지 않는다.
구체적으로, 가령 에지 이미터 레이저 다이오드와 같은 단일 소스 이미터를 사용하는 것의 단점은 생성하는 광 패턴이 단일 유닛으로만 제어될 수 있다는 사실이다. 이는 광 패턴이 전체적으로 전원이 켜지거나 꺼지거나, 또는 희미해질 수 있으나, 동적으로 변경될 수는 없다는 것을 의미한다.
구조화 광 패턴들은, 가령 적외선 광과 같이 비가시광을 사용하여 구성될 수 있다. 대안으로, 높은 프레임 속도는 구조화 광이 사용자들에게 인식가능하지 않게 만들 수 있거나, 또는 컴퓨터의 다른 시각 작업들과의 간섭을 회피할 수 있다.
수직 캐비티 표면 방출 레이저(vertical-cavity surface-emitting laser; VCSEL)는, 레이저 빔 방출이, 종래의 에지 방출 반도체 레이저가 웨이퍼로부터의 개별 칩을 쪼갬으로써 표면으로 방출되는 것과는 반대로, 상부 표면에서 수직인 반도체 레이저 다이오드의 타입이다.
에지-방출 레이저가 아닌 VCSELs을 생성하는 것의 몇몇 장점들이 있다. 에지-이미터들은 생산 프로세스의 종료시까지 테스트될 수 없다. 에지-이미터가 불량 접촉 또는 저품질의 재료 성장으로 인해 적절히 기능하지 않는다면, 생산 시간과 프로세싱 재료는 낭비될 것이다. VCSELs은 재료 품질 및 프로세싱 이슈에 대해 검사하기 위해 프로세스 전반에 걸쳐 몇몇 단계들에서 테스트될 수 있다. 예컨대, 비아(via)가 에치 동안에 유전체 물질이 완전히 제거되지 않았다면, 중간 테스팅 프로세스가 상부 금속 층이 초기 금속 층과의 접촉을 이루고 있지 않다고 결정하는데 사용될 수 있다. 추가로, VCSELs은 레이저의 활성 영역에 수직으로 빔을 방출하기 때문에, 수만 개의 VCSELs은 3인치 갈륨 비소 웨이퍼 상에서 동시에 프로세싱될 수 있다. 게다가, VCSEL 생산 프로세스가 더욱 노동 및 재료 집약적이다 하더라도, 수율이 보다 예측가능한 결과가 되도록 제어될 수 있다.
구조화 광 시스템을 위해 VCSEL 레이저 어레이를 사용하는 것에는 중요한 장점이 있는데, 이는 어레이의 사용이 구조화 광 송신기 장치의 크기의 감소를 가능하게 한다는 것이다. 이러한 감소는 가령 휴대 전화나 착용형 장치와 같이 크기 제약을 갖는 장치들에서 송신기를 내장하는데 있어서 특히 중요하다.
하지만, 상기와 같은 장점에도 불구하고, VCSEL 어레이는 많은 이유로 인해 구조화 광 스캐닝 시스템에 현재 사용되지 않는다. 많은 회절 패턴들은, 고해상도 추적을 위해 필요한 고밀도 패턴을 생성하기 위해 응집된 가우시안 형상의 빔을 요구한다. VCSEL 어레이는 서로 옆에 배치되고 보통은 그들 간의 오버랩이 되는 다수의 개별적 가우시안 빔들을 제공한다. 그들 간의 다수의 지점 및 오버랩은 광 패턴에서의 고밀도 영역의 감지 성능을 감소시키고, 기-정의된 가우시안 빔을 요구하는 다양한 회절 설계 기술의 사용을 제한한다. 이러한 설계는 Top-Hat 설계, 균일폭 생성기 및 다른 복잡하고 고성능인 구조를 포함한다.
실제로 표준형 회절 설계가 갖는 문제점은 전체 VCSEL 레이저 어레이가 단일 광원으로 사용된다는 것이다. 따라서, 다수의 스팟(spot) 설계를 사용할 때, 어레이 이미지가, 초점이 맞춰진 가우시안 빔을 갖는 대신에 각각의 스팟에 대해 획득된다. 입력으로 가우시안 빔을 요구하는 회절 설계는 요구되는 출력을 전혀 얻어내지 못할 것이다. 이러한 광 패턴에서는, 특징들을 분리시키기 위해 작은 스팟상에 소스 빔의 초점을 맞출 필요가 있기 때문에, 고밀도 광 패턴에서 보다 심각해지는데, 이것은 광원이 레이저들의 어레이라면, 가능하지 않은 것이다.
본 발명의 내용 중에 포함되어 있다.
본 실시예들은 VCSEL 레이저의 어레이를 제공하며, 어레이의 레이저들은 개별적으로 또는 그룹으로 변조된다. 개별 레이저 또는 그룹은, 필요에 따른 구조화 광 패턴을 제공하고 변경하기 위해 정적으로 또는 동적으로 변조될 수 있다.
따라서, 어레이의 각각의 레이저, 또는 함께 변조되는 레이저들의 그룹에, 전형적으로는 회절 요소인 그들 자신의 광학 요소가 제공된다. 굴절 요소는 개별적으로 제어되어서 전체 구조화 광 패턴이 주어진 상황에 대해 선택되거나 및/또는 관심있는 영역을 동적으로 추종하도록 한다.
본 발명의 제1 양태에 따르면, 구조화 광 패턴을 생성하기 위한 장치가 제공되며, 상기 장치는:
3차원 공간 속에 광을 패턴으로 투사하도록 정렬된 레이저들의 어레이; 및
각각이 셀들을 정의하는 복수의 광학 요소를 포함하며, 상기 셀들은 레이저들의 어레이의 각각의 서브세트와 정렬되고, 각각의 셀의 광학 요소는, 구조화 광 패턴의 분별가능한 부분을 제공하기 위해 각각의 서브세트로부터 광학 요소를 통과하는 광에 대해 변조를 개별적으로 적용한다.
일실시예로, 광 변조는 회절 변조, 굴절 변조 및 회절과 굴절 변조의 조합 중 임의의 것이다.
일실시예로, 광학 요소 및 레이저들의 어레이의 서브세트는 단일 몰딩된(moulded) 요소로부터 구성되는 각각의 셀을 포함한다.
일실시예로, 셀의 폭은 1mm 이하이다.
일실시예로, 광학 요소의 폭은 1mm 이하이다.
일실시예로, 셀들은 회절 변조를 변경하도록 개별적으로 제어가능하다.
일실시예로, 셀들은 적어도 하나의 캡처된 프레임을 수신하고 분석하는 것에 기반하여 구조화 광 패턴에 대한 변경을 제공하도록 동적으로 제어가능하며, 프레임은 2차원 레이아웃에서 복수의 픽셀들을 포함한다.
일실시예로, 셀들은 또한, 구조화 광 패턴 내에서의 배치 및 광에 적용되는 형상과 관련하여 제어가능하다.
일실시예로, 동적 제어는, 구조화 광 패턴의 감소된 해상도를 장면의 다른 부분들에 적용하기 위해, 장면의 부분들에 구조화 광 패턴의 증가된 해상도를 적용하도록 구성가능하다.
일실시예로, 구조화 광 패턴에 대한 동적 변경은 구조화 광 패턴의 배향의 변경을 포함한다.
일실시예로, 구조화 광 패턴의 동적 변경은 셀단위의(cellwise) 변경을 포함한다.
일실시예로, 변경은 강도의 변경, 편광의 변경, 필터링 파라미터의 변경, 초점의 변경 중 임의의 것이다.
일실시예로, 서브세트는 개별 레이저들, 레이저들의 쌍, 레이저들의 트리플렛(triplet), 상이한 크기의 레이저들의 조합, 및 동적으로 변경되는 레이저들의 조합 중 임의의 것이다.
일실시예로, 각각의 서브세트로부터 투사되는 광은 기울어지거나 오버랩된다.
일실시예로, 레이저 어레이는 VCSEL 레이저 어레이를 포함한다.
일실시예로, 레이저 어레이는 레이저 바를 포함한다.
장치는: 컴퓨터, 랩톱 컴퓨터, 모바일 통신 장치, 태블릿 장치, 게임 콘솔, 및 움직임 캡처 장치 중 임의의 것으로 통합될 수 있다.
장치는 3차원 장면의 추적을 위해 사용될 수 있다.
본 발명의 제2 양태에 따르면, 3차원 추적을 위한 구조화 광 패턴을 생성하는 방법이 제공되며, 상기 방법은:
레이저들의 어레이로부터 광을 제공하는 단계; 및
구조화 광 패턴의 구별된 부분들을 제공하기 위해 레이저들의 어레이의 서브세트로부터의 광을 개별적으로 투사하는 단계를 포함한다.
본 발명의 제3 양태에 따르면, 구조화 광 패턴을 생성하기 위한 장치가 제공되며, 상기 장치는:
3차원 공간 내에 광을 패턴으로 투사하도록 정렬된 레이저들의 어레이; 및
복수의 광학 요소 셀들을 포함하며, 상기 셀들은 레이저들의 어레이의 각각의 서브세트와 정렬되고, 각각의 셀은, 구조화 광 패턴의 분별가능한 부분을 제공하기 위해 각각의 서브세트로부터 요소를 통과하는 광에 대해 강도 변조를 개별적으로 적용한다.
달리 정의되지 않는다면, 본 명세서에 사용되는 모든 기술적 및/또는 과학적 용어들은 본 발명의 속하는 기술분야의 통상의 기술자에게 일반적으로 이해되는 것과 동일한 의미가 있다. 본 명세서에 기술되는 것과 유사하거나 동등한 방법들 및 재료들이 본 발명의 실시예들의 실행 또는 테스팅에 사용될 수 있으나, 예시적인 방법 및/또는 재료들이 하기에 기술된다. 분쟁이 생기는 경우, 정의를 포함하는 특허 명세서가 제어할 것이다. 추가로, 재료, 방법, 및 예들은 예시적인 것일 뿐이며, 필수적으로 제한하려는 의도가 아니다.
본 발명의 실시예들의 방법 및/또는 시스템의 구현은 수동으로, 자동으로, 또는 이들의 조합으로 선택된 작업들을 수행하거나 완료하는 것을 수반할 수 있다. 더욱이, 본 발명의 방법 및/또는 시스템의 실시예들의 실제 구현 및 장비에 따르면, 몇몇 선택된 작업들은 운영 시스템을 사용하여 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현될 수 있다.
예컨대, 본 발명의 실시예들에 따라 선택된 작업들을 수행하기 위한 하드웨어는 칩 또는 회로로 구현될 수 있다. 소프트웨어로서, 본 발명의 실시예들에 따른 선택된 작업들은 임의의 적절한 운영 시스템을 사용하여 컴퓨터에 의해 실행되는 복수의 소프트웨어 명령어들로 구현될 수 있다. 본 발명의 예시적인 실시예에서, 본 명세서에 기술되는 방법 및/또는 시스템의 예시적인 실시예들에 따른 하나 이상의 작업들은 가령, 복수의 명령어들을 실행하기 위한 컴퓨팅 플랫폼과 같은 데이터 프로세서에 의해 수행된다. 선택적으로, 데이터 프로세서는, 명령어들 및/또는 데이터를 저장하기 위한 휘발성 메모리 및/또는 예컨대, 명령어들 및/또는 데이터를 저장하기 위한 자기 하드-디스크 및/또는 제거가능한 매체와 같은 비-휘발성 메모리를 포함한다. 선택적으로, 네트워크 연결이 또한, 제공된다. 디스플레이 및/또는 가령, 키보드 또는 마우스와 같은 사용자 입력 장치가 또한, 선택적으로 제공된다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 일부 실시예들은, 오로지 예시적으로, 수반되는 도면들을 참조하여 본 명세서에 기술된다. 이제 세부적으로 도면들을 구체적으로 참조할 때에, 세부사항들은 예시를 위한 것이며, 본 발명의 실시예들을 예시적으로 논의하기 위한 목적임이 강조된다. 이러한 관점에서, 상세한 설명을 도면과 함께 취함으로써, 어떻게 본 발명의 실시예들이 실행되는지가 통상의 기술자에게 명확해질 것이다.
도 1은 본 발명의 실시예에 따른 장치를 생성하는 구조화 광의 기본 셋업을 도시하는 단순화된 개략도이며, 개별 패턴을 갖는 광학 요소의 셀은 VCSEL 레이저 어레이에서 특정 VCSEL에 해당한다.
도 2는 도 1의 실시예의 단순화된 개략도이며, 각각의 셀이 전체의 구조화 광 패턴의 부분 타일을 생성하는 광 패턴 구성을 도시한다.
도 3은 각각의 셀이 트리플렛(triplet)의 VCSEL 레이저들로 구성되는 도 1의 실시예의 변형을 도시하는 개략도이다.
도 4는 상이한 광 패턴이 이전과 같은 상이한 셀 패턴에 의해 생성되지만, 셀이 다양한 크기와 배향을 갖는, 도 1의 실시예의 변형을 도시하는 개략도이다.
도 5는 상이한 광 패턴이 이전과 같이 상이한 셀 패턴에 의해 생성되고, 개별 셀들은 분리된 타일 구조로 구조화될 필요가 없는 전체 구조화 패턴의 다양한 광 특징들을 담당하는 도 1의 실시예의 변형을 도시하는 개략도이다.
도 6은 본 발명의 실시예에 따른 카메라와 프로세서를 갖는 추적 시스템을 도시하는 개략도이다.
도 7은 본 발명의 실시예에 따른 광학 요소에 의해 적용될 수 있는 상이한 변조들을 도시하는 개략도이다.
도 8은 본 발명의 실시예에 따른 광학 요소에 의한 빔을 배치하거나 다시 지향하는 것을 도시하는 개략도이다.
도 9는 빔의 초점맞춤을 위해 본 발명의 광학 요소를 사용하는 것을 도시하는 단순화된 다이어그램이다.
도 10은 본 발명의 실시예에 따른 빔 형성을 수행하는 광학 요소를 도시하는 단순화된 다이어그램이다.
도 11은 본 발명의 실시예에 따른 초점맞춤, 빔 지향 및 빔 형성을 포함하는 다중-단계 광학 요소를 도시하는 단순화된 다이어그램이다.
도 12a 및 12b는 포인팅 손가락 상에 스트라이프를 사용하는 효과와 스트라이프들이 손가락에 평행하다면, 어떻게 재배향될 필요가 있는지를 도시한다.
도 13은 본 발명의 실시예에 따른 이 경우 수직 및 수평 라인 사이에서의 패턴의 동적 변경을 도시한다.
도 14는 본 발명의 실시예에 따른 큰 시야각으로부터 작은 시야각으로의 패턴의 동적 변경을 도시한다.
도 15는 본 발명의 실시예에 따른 저밀도 및 고밀도 라인 사이의 패턴의 동적 변경을 도시한다.
도 16은 본 발명의 실시예에 따른 연속 라인과 점선으로 구성된 라인 사이의 패턴의 동적 변경을 도시한다.
도 17은 본 발명의 실시예에 따른 저강도 라인과 고강도 라인 사이의 패턴의 동적 변경을 도시한다.
도 18은 본 발명의 실시예에 따른 객체의 암도 또는 밝기에 기반한 광 강도의 변경을 도시한다.
도 19는 본 발명의 실시예에 따른 프레임 분석에 후속하여 수행되는 패턴의 동적 변경을 도시하는 단순화된 흐름도이다.
본 발명의 일부 실시예로, 본 발명은 구조화 광을 사용하여 3차원 깊이 맵핑에 관한 것이며, 배타적이진 않지만 보다 상세하게는, 컴퓨터에 입력을 제공하기 위한 추적 시스템에 관한 것이다.
동일한 출원인에 의한 다음의 출원들: 즉, 2010년 9월 19일자 출원된 미국 특허출원 제13/497,589호, 2012년 9월 13일자 출원된 국제 특허출원 WO2013/088442, 2014년 1월 13일자 출원된 미국 특허가출원 제61/926,476호, 및 2014년 8월 10일자 출원된 미국 특허가출원 제62/035,442호는, 본 명세서에 그 전체가 기재되는 것처럼, 본 명세서에 참조로 통합된다.
전술한 바와 같이, 다양한 장치들은 구조화 광 패턴들을 사용하여 제스처 인식 및 3D 깊이 맵핑을 가능하게 한다. 구조화 광 패턴 송신기는, 예컨대 레이저 이미터와 같은 광원, 및 가령 회절 광학 요소(DOE)와 같은 광학 요소를 포함한다. 많은 회절 설계들이 고밀도 패턴을 생성하기 위해 응집성 있는 가우시안 형상의 빔을 요구하는 것처럼, VCSEL 레이저 어레이의 사용은 일반적으로 가능하지 않다. 예컨대, VCSEL 어레이와 같은 광학 요소는 오버랩을 갖는 다수의 가우시안 형상의 빔들을 생성하며, 이는 광 패턴에서의 고밀도 영역들에서 감지 성능을 감소시키고, 기-정의된 가우시안 빔을 요구하는 다양한 회절 설계 기술의 사용을 제한한다. 이러한 설계는 Top-Hat 설계, 균일폭 생성기 및 다른 복잡하고 고성능인 구조를 포함한다.
하지만, 구조화 광 송신기 장치의 크기를 감소시키는 VCSEL 레이저 어레이의 사용의 상당한 이점이 있다. 이것은 가령 휴대 전화 또는 착용형 장치와 같은 크기 제약을 갖는 장치들에 송신기를 내장하는데 있어서 특히 중요하다.
따라서, 본 실시예들은 VCSEL 레이저들의 어레이를 제공하며, 어레이의 레이저들은 개별적으로 또는 그룹으로 변조된다. 개별 레이저들 또는 그룹들은 필요에 따라 구조화 광 패턴을 제공하고 변경하기 위해 정적으로 또는 동적으로 변조될 수 있다.
어레이에서 각각의 레이저, 또는 함께 변조되는 레이저들의 그룹에 전형적으로 회절 요소인 그들 자신의 광학 요소의 셀이 제공된다. 회절 요소의 셀들은 어레이의 상이한 부분들에서 상이한 광 패턴을 제공하도록 개별적으로 제어되어서, 전체 구조화 광 패턴이 주어진 상황에 따라 선택될 수 있거나 및/또는 관심 있는 영역들을 동적으로 추종할 수 있으며, 이는 하기에서 보다 상세하게 논의될 것이다.
전형적 구조들은 스트라이프, 그리드 및 점들을 포함한다.
언급한 것처럼, 단일 소스 이미터, 가령 에지 이미터 레이저 다이오드를 사용하는 것의 문제는 그것이 생산하는 광 패턴이 오로지 단일 유닛으로만 제어될 수 있다는 사실이다. 결과적으로, 광 패턴은 전체로서 전원이 켜지거나, 꺼지거나, 또는 희미해질 수 있으나, 동적으로 변경될 수 없다. 반면에, 본 실시예들에 따른 어레이에서의 각각의 VCSEL 레이저는, 제어부가 광학 요소의 셀의 레벨에 있으므로, 개별적으로 제어될 수 있고, 예컨대 DOEs의 적절한 설계는 다양한 사용예 및 피드백을 위해 유연한 감지를 생성할 수 있는 동적 광 패턴을 제공할 수 있다. 다음에서, 용어 "셀(cell)"은 패턴의 특정 부분을 제공하기 위해 함께 동작되는 단일 레이저 또는 임의의 레이저들의 그룹으로 동작하는 표면에 관한 것이다. 셀 구조는 패턴이 변경됨에 따라 동적으로 변경될 수 있다.
회절 광학 요소 대신에, 굴절 요소가 사용되거나, 회절 및 굴절 요소의 조합이 사용될 수 있다.
일실시예에 따르면, 셀 및/또는 셀의 광학 요소는 크기에 의해 제한될 수 있으며, 예컨대, 셀은 1mm보다 적은 크기의 단위일 수 있다.
보다 상세하게는, 본 실시예들은 동적 광 패턴을 생성하기 위해 VCSEL 어레이의 사용을 가능하게 하는 일반적 렌즈/DOE 설계에 관한 것이다. DOE는 VCSEL 어레이 옆의 표면상에 배치되어서, DOE의 평면이 어레이/메트릭스의 평면이 평행이 되도록 한다. 본 실시예에서, DOE의 표면은 셀들로 분할된다. 각각의 셀은 함께 제어되도록 의도되는 단일 VCSEL 레이저 또는 VCSELs의 서브-그룹 위에 위치하는 영역을 표현한다. 명확성을 위해, 그룹 또는 서브그룹의 레이저들은, 다른 그룹들 또는 서브그룹들과 분리되어 함께 제어된다.
고유한 회절 패턴이 각각의 셀에 대해 설계되어서, 요구되는 구조화 광 패턴의 부분을 생성할 수 있다. 각각의 셀의 회절 패턴을 추종하는 VCSEL 레이저에 의해 생성된 개별 패턴은 구조화 광의 서브패턴을 생성한다. 전체 패턴은 이후, 예컨대 기울이기, 오버랩핑, 또는 개별 특징들의 배치를 위한 다른 방법들에 의해, 개별 셀들의 패턴으로부터 형성된다.
각각의 셀의 설계는 2개의 광학 기능을 포함할 수 있다. 제1 위치결정(positioning) 기능은 전체 구조화 광 이미지에서 광 특징의 위치를 결정한다. 예컨대, 이러한 위치결정 기능은 요구되는 패턴에서 굴절된 광의 위치를 타일의 실제 위치로 구부리는 프리즘 블레이즈된 격자(prism blazed grating)로 구성될 수 있다. 제2 광학 기능은 광 특징의 형상에 관한 것이다. 이러한 광 기능의 예들은 라인 생성기, 다중 스팟 패턴, 또는 다른 특징들, 또는 광 패턴의 다른 하위-특징들을 포함할 수 있다.
DOE에 기반한 VCSEL 레이저 메트릭스와 셀 사이의 적절한 정렬로, 임의의 패턴이 달성가능하며, 이는 전체 어레이의 인접한-가우시안 빔 형상이 단일 광원 관점으로서 회피될 수 있기 때문이다.
다른 실시예로, 동적 광 패턴이 제시된다. 각각의 셀은 적절한 위치에서 상이한 전류를 DOE에 적용함으로써 출력 강도에 관해 개별적으로 제어될 수 있고, 따라서 구조화 광 패턴에서의 다양한 특징들이 또한, 제어될 수 있다.
추적의 단계 동안에 셀 패턴을 변경시키는 것을 의미하는 동적 제어는 다양한 기능을 가능하게 한다. 즉, 각각의 셀의 광학 요소는 수신된 데이터, 예컨대 레이저들의 초기 구성으로 시작하는 시퀀스에 따라 동적으로 변경될 수 있다. 장면에 대해 프레임이 캡처되고, 예컨대 프레임은 2차원의 픽셀들의 어레이이다. 수신된 프레임은 분석된다. 이후, 새로운 레이저 구성이 분석된 프레임에 기반하여 달성된다. 새로운 레이저 구성은 이후, 싸이클이 계속됨에 따라 다음 단계를 위한 초기 구성이 된다. 도 19와 관련하여 하나의 예가 도시되고 이하에서 설명된다. 예컨대, 의심되는 VCSEL의 강도를 변경함으로써 각각의 보여지는 광 특징의 소스를 확인하는 것이 가능하다. 이러한 확인은 깊이 감지 방법에 기반한 삼각측량(triangulation)에서 매우 유용하다. 추가 기능은 광 패턴의 밀도를 변경하는 능력이다. 밀도의 변경은 시나리오가 대략적으로 맵핑된 후에 더 높은 해상도의 샘플링을 가능하게 하고, 카메라 셋업 또는 가령 조명 조건, 반사성 등과 같은 다른 시나리오 효과에 의해 야기되는 강도 에러를 수정할 수 있다. 더욱이, 광 패턴에서 특징들의 배향을 변경하는 것이 가능하다. 강도 또는 배향을 변경하는 것은 이미지 프로세싱 소프트웨어에 새로운 관점, 및 전술한 카메라로부터 수신된 데이터에 따른 장면을 프로세싱할 추가적인 기회를 주는 방법을 제공한다.
이제, 본 실시예에 따른 패턴화된 광을 사용하여 3차원 추적을 하기 위한 장치의 기본 배열을 기술하는 단순화된 개략도인 도 1을 참조한다. 도 1 및 다음의 도면들에서, 점선 및 파선은 문맥에 의해 제공되는 개념적 및 구조적 선들을 표시하는 것이며, 각각의 실시예에서 가시적인 물리적 선들을 필연적으로 표시하는 것은 아님을 유의해야 한다.
도 1의 배열에서, 예컨대, VCSEL 어레이(10)일 수 있는 레이저 어레이인 광 생성 어레이는 레이저들의 메트릭스(12.1.1...12.n.n)를 포함한다. 광학 요소(14)는, 레이저들 외부로 정렬된 셀들(16.1.1...16.n.n)을 포함하여서, 개별 셀들이 각각의 레이저로부터의 광을 변조하게끔 위치하도록 한다. 각각의 레이저는 예컨대, 회절 광학 요소의 분리된 셀을 갖고, 각각의 분리된 셀은 상이한 회절 패턴을 갖는다. 셀들(16)의 줌(18)은 각각이 고유의 회절 패턴을 갖는 4개의 회절 요소를 도시한다. 따라서, 회절 광학 요소는 셀마다 하나씩 다수의 개별 설계를 갖고, 각각의 설계는 하나의 VCSEL 레이저의 광을 회절시킨다.
셋업은 그 공간 내의 객체 및 장면의 부분들을 추적하기 위해 3차원 공간으로 투사되는 레이저들의 어레이로부터의 구조화 광 패턴을 생성할 수 있다. 구조화 광 패턴은 깊이 정보를 컴퓨터로 제공하기 위해 분석될 수 있는 임의의 적절한 패턴일 수 있고, 스트라이프, 그리드 및/또는 점들의 영역을 포함하는 패턴들을 포함한다.
셀들은 레이저들의 어레이의 서브세트들과 정렬되고, 각각의 셀은 통과하는 광에 회절 변조를 개별적으로 적용하여, 각각의 서브세트가 구조화 광 패턴의 분별가능한 부분을 제공하도록 한다.
셀들(16.1.1....16.n.n)은 회절 변조를 변경하도록 개별적으로 제어가능할 수 있다. 따라서, 패턴의 상이한 부분들은 다를 수 있고, 상이한 구조화 광 패턴들이 상이한 상황, 또는 장면의 상이한 부분들에서 사용될 수 있다.
셀들은 구조화 광 패턴에 변경을 제공하기 위해 동적으로 더 제어될 수 있다. 따라서, 패턴은 관심 있는 것으로 간주되는 장면의 부분들에서 해상도를 증가시키고 및/또는 관심이 없는 것으로 간주되는 장면의 부분들에서 해상도를 감소시키기 위해 변경될 수 있다. 대안으로, 패턴의 특정 부분들은 삼각측정 및 깊이 추정을 위한 추가 단서들을 제공하기 위해, 장면의 특정 부분에 도달하는 특정 광원을 표시하도록 일시적으로 변경될 수 있다. 전형적으로, 강도가 변경될 수 있다. 즉, 변경은 셀에 영향을 주는 레이저들의 어레이의 강도를 제어하는 것에 기반한다. 대안으로서, 편광, 필터링 파라미터들, 또는 초점 길이나 통상의 기술자에게 자명한 광의 임의의 다른 특징들이 변경될 수 있다.
강도는 패턴의 일부 또는 전부에 걸쳐 변경될 수 있다. 예컨대, 장면의 부분들은 입사광에 의해 밝게 밝혀질 수 있고, 장면의 다른 부분들은 희미하게 밝혀질 수 있다. 고강도 광은 밝게 밝혀진 부분들을 향할 수 있고, 저강도 광은 희미하게 밝혀진 부분들을 향할 수 있어서, 전력을 절약할 수 있다.
대안으로, 전형적으로 하기에 더 상세히 기술될 것처럼 추적 및 깊이 추정을 위해 장면의 상이한 관점을 주기 위해, 패턴의 밀도가 변경되거나 패턴의 배향이 변경될 수 있다. 배향과 관련하여, 장면의 특징은 주어진 배향에서 보다 효과적으로 밝혀질 수 있다. 예컨대, 길고 좁은 특징은, 그것의 세로 방향에 수직인 스트라이프에 의해 가장 효과적으로 밝혀질 수 있다. 스트라이프 방향은, 시간에 걸쳐 특징의 배향이 변경됨에 따라 업데이트될 수 있다. 밀도 역시 시간에 걸쳐 변경되어서, 특정 특징들이 더 정확하게 추적될 수 있도록 하거나, 미세한 특징들이 시야에 들어옴에 따라 밀도가 변경될 수 있다.
도 1에 도시된 서브세트들은 개별 레이저들이다. 하지만, 다음의 도면들과 연계하여 논의될 것처럼, 대안적 서브세트들은 레이저들의 쌍, 레이저들의 트리플렛(triplet), 상이한 크기의 레이저 그룹핑들의 조합, 및 동적으로 변경되는 레이저들의 조합을 포함한다. 셀들은 1mm 크기의 단위일 수 있다.
투사된 광은 타일들 또는 오버래핑 또는 임의의 다른 적절한 배치로 조직화될 수 있다.
추적 배치에 기반한 구조화 패턴은, 랩톱 컴퓨터, 태블릿 또는 포드 장치 또는 모바일 통신 장치 가령 휴대 전화, 또는 게임 콘솔, 또는 배우의 움직임을 캡처하기 위해 애니메이터에 의해 사용되는 유형의 장치와 같은 움직임 캡처 장치, 또는 3차원에서의 추적이 유용한 입력을 제공할 수 있는 임의의 유형의 장치를 포함하는 컴퓨터로 통합될 수 있다.
셀들에 정렬된 단일 회절 광학 요소 대신에, 다수의 회절 요소들이 사용될 수 있고, 본 명세서에서 셀들에 대한 언급은 분리된 광학 요소들을 추가로 언급하는 것으로 해석된다.
본 실시예는 따라서, VCSEL 레이저 어레이 및 회절 광학 요소(DOE)를 사용하여 구조화 광 패턴을 생성하고 구조화 광 패턴을 동적으로 변경하기 위해 각각의 VCSEL을 개별적으로 제어할 수 있도록 한다.
동적 제어는 광 패턴에서 개별 특징들의 강도, 또는 특징들의 밀도나 배향을 변경하거나, 실제로 광 패턴의 개별 특징들을 켜거나 끄거나, 또는 구조화 광 분석으로부터의 피드백에 기반하여 상기의 것들 중 임의의 것을 변경하는 것을 포함할 수 있다. 예컨대, 분석이 더 높은 해상도가 필요하다고 밝혀내면, 이후 밀도가 증가하며, 이는 하기에 더 상세히 논의될 것이다. 분석이 외부 조명이 판독(readout)과 간섭한다는 것을 밝혀내면, 강도가 이후 증가한다. 외부 조명으로부터의 광 반사가 문제가 된다면, 이후 광 패턴의 배향이 변경될 수 있다. 앞서 언급한 것처럼, 외부 조명의 문제를 떠나서, 추적되는 객체에 대해 수직이 되는 것을 유지하기 위해 스트라이프들을 재배향하는 것이 가능하다. 따라서, 시나리오로부터의 피드백이 광 패턴을 변경하는데 사용된다. 장면에서의 입사광 조건들은 패턴의 영향을 받는 부분들 상의 밝기를 조정함으로써 처리될 수 있다. 따라서, 개별 셀들의 제어는 장면으로부터의 피드백에 기반하여 다른 영역들이 아닌 패턴의 특정 영역들이 수정되도록 할 수 있다. 패턴은 그리드들, 스트라이프들, 및 점들 사이에서 동적으로 변경될 수 있거나, 임의의 다른 패턴이 사용될 수 있으며, 상이한 셀들은 상이한 패턴들을 가질 수 있고, 셀들은 필요에 따라 동적으로 재정의될 수 있다.
이제, 도 1의 배치가 사용될 수 있는 하나의 방식을 도시하는 단순화된 개략도인 도 2를 참조한다. 도 2에서, 레이저들의 어레이는 참조번호 20에 의해 표시되고, 각각의 레이저(22.1.1..22.n.n)는 단일 셀에 해당한다. 셀은 각각 전방 투사(26)에서 상이한 타일(24.1.1...24.n.n)을 밝힌다. 투사(26)에서, 각각의 타일은 상이한 패턴을 가지며, 모든 타일은 완전한 광 패턴을 형상하도록 함께 합쳐진다.
이제, 2개 이상의 VCSEL 레이저, 특히 도시되는 경우 VCSEL 레이저의 트리플렛(triplet)에 대해 셀이 캐스터(caster)하는 도 1의 배치의 변형을 도시하는 단순화된 개략도인 도 3을 참조한다. 도 3에서, 레이저들의 어레이는 참조번호 30으로 표시되고, 개별 레이저들은 광학 요소에 의해 레이저 셀의 트리플렛(triplet)(32.1.- 32.3)으로 조합된다. 셀들은 전방 투사(36)에서 각각 상이한 타일의 트리플렛(34.1..34.n)을 비춘다. 투사(36)에서, 동일한 트리플렛에서의 모든 타일들은 패턴을 공유하지만, 각각의 트리플렛은 전체 투사된 광 패턴(36) 내에서 상이한 패턴을 가진다.
이제, 상이한 셀들이 상이한 설계 및 상이한 배향을 갖는 도 1의 배치의 변형을 도시하는 단순화된 개략도인 도 4를 참조한다. 도 4에서, 레이저들의 어레이는 참조번호 40으로 표시되고, 개별 레이저들(42.1.1 ...42.n.n)은 1개 및 2개의 레이저 셀들을 형성한다. 셀들은 전방 투사(46)에서 각각 상이한 타일들(44.1.1...44.n.n)을 밝힌다. 투사(46)에서, 타일들은 상이한 크기이며, 2개 중 하나의 셀 크기는 단일 패턴을 공유한다.
이제, 각각의 셀이 분리된 타일 구조로 조직화될 필요는 없는 패턴의 다양한 광 특징들을 생성하는 것을 담당하는, 도 1의 배치의 추가 변형을 도시하는 단순화된 개략도인 도 5를 참조한다. 도 5에서, 레이저들의 어레이는 참조번호 50으로 표시되고, 개별 레이저들(52.1.1...52.n.n)은 개별의 일-레이저 셀들을 형성한다. 레이저(52.1.1)는 타일들의 트리플렛 상의 수평 라인들을 제공하기 위해 전방 투사(56)에서 타일 트리플렛(54.1)을 밝힌다.
이제, 본 발명의 실시예에 따른 추적을 위한 예시적인 시스템을 도시하는 단순화된 개략도인 도 6을 참조한다. VCSEL 어레이(60)는 3D 볼륨(64) 속에 밝혀지는 패턴을 형성하기 위해 광학 요소(62)에 의해 변조되는 레이저 광을 생성한다. 카메라(66)는 3D 볼륨을 모니터하고, 프로세서(68)에 의해 분석되는 이미지 프레임을 생성한다. 프로세서(68)는 모두 추적을 수행하고, 하기에 더 상세하게 논의되는 것처럼 추적을 향상시키기 위해 광 변조를 또한, 수정한다. 프로세서는 모바일 장치의 그것과 같은 외부 프로세서일 수 있다. 카메라는 예컨대, CMOS(complementary metal oxide silicon) 어레이에 기반할 수 있는 임의의 이미지 센서 또는 디지털 카메라일 수 있다. 프로세서는 카메라 및 레이저 둘 다에 연결될 수 있고, 프레임이 일단 분석되면, 프로세서가 레이저를 그에 따라 제어하도록 한다.
이제, 투사된 패턴들을 형성하도록 레이저 어레이(72)를 사용하여 도 1에 도시된 셀(18)과 같은 단일 또는 하위 광학 셀(70), 또는 다수의 셀로부터의 레이저 광을 변조하는데 이용가능하고, 광학 요소의 상이한 광 기능인, 다양한 동작들을 도시하는 단순화된 개략도인 도 7을 참조한다. 임의의 특정 셀은, 빔의 위치가 수정되거나(76), 빔의 위상이 수정되거나(78), 또는 초점이 수정되거나(80), 또는 빔의 형상이 수정되거나(82), 또는 빔의 강도가 수정되거나(84), 빔의 편광이 수정(86)될 수 있도록 한다. 상기는 제한적인 리스트가 아니며, 다른 수정들이 통상의 기술자에게 자명할 것이다. 추가로, 광학 기능들이 도 11에 도시되는 단일 광학 요소 또는 다수의 광학 요소들에 의해 이용될 수 있으며, 초점, 형상 등과 같은 다수의 기능은 셀 요소로 통합된다.
이제, 광학 요소(90)가 광 빔의 방향을 변경하는 것을 도시하는 도 8을 참조한다. 장치의 몸체로부터 나타나는 특징(92)은, 광 빔의 방향의 변경을 야기하고, 이는 구성에 따라, 굴절, 회절, 또는 굴절 및 회절의 조합으로 인한 것일 수 있다. 도시된 예에서, 이빨-같은 형상이 상부 전면(upper face) 및 수평의 더 낮은 전면이 아래 방향으로의 기울기를 갖는 톱니 구성은 광의 아래 방향으로의 휘어짐을 야기한다.
이제, 광 빔의 초점을 맞추기 위한 구성(94)을 도시하는 도 9를 참조한다. 특징(96)은 도 8에서의 톱니 구성으로 배치되지만, 이빨-같은 특징들의 배향은 구성의 하반에서 교환되어, 빔의 상반 및 하반이 초점(focal point; 98)에서 만나도록 한다.
이제, 빔의 형성을 위한 광학 요소의 변형(100)을 도시하는 단순화된 다이어그램인 도 10을 참조한다. 기설정된 랜덤 함수가, 빔을 다른 빔들로부터 분리시키는 방식으로 빔을 형상화하기 위해 광학 요소의 표면(102)을 정의하는데 사용된다.
이제, 셀 또는 서브셀과 관련될 수 있고, 이전 3개의 도면의 광학 요소들을 조합하는 광학 요소(110)를 도시하는 단순화된 다이어그램인 도 11을 참조한다. 제1 부분(112)은 VCSEL 어레이(113)에 의해 생성된 빔의 초점을 맞춘다. 부분(114)은 빔을 휘게 하며, 이 경우 아래 방향으로 휘게 하며, 부분(116)은 빔을 형상화한다.
이제, 수평 스트라이프의 패턴(122)에 의해 손(120)이 추적되는 것을 도시하는 도 12a를 참조한다. 패턴은 손가락의 길이와 일치하게 됨이 명백하고, 따라서 손가락과 관련하여 제공된 정보/데이터는 제한되며, 객체의 형상을 식별하는 것이 어렵다. 그렇지만, 손가락은 자주, 그들이 시스템이 명령으로 사용하는 제스처를 제공하므로 주 관심거리가 되는 지점일 수 있다. 시스템은 따라서, 예컨대 도 12b에 도시되는 것과 같이 스트라이프의 배향을 자동으로 변경할 수 있고, 스트라이프가 손가락을 가로지르게 되어서 더 많은 정보를 제공하도록 한다. 변경은 흐름도에 포함되는 이미지 분석 피드백에 기반하여 이루어진다.
도 13 내지 17은 추적을 향상시키기 위해 광 패턴에 가해지는 다양한 변경을 도시한다. 도 13은 이전의 도면에서처럼 수평에서 수직으로의 스트라이프들의 배향의 변경을 도시한다. 도 14는 시야각이 좁아지는 것을 도시한다. 좁아지는 것은 예컨대, 손가락들이 관심 있는 특징인 경우에 유용할 수 있다. 손가락이 일단 발견되면, 이후 시야각이 좁아져서 그것들에 집중될 수 있다.
도 15는 스트라이프의 밀도의 증가를 도시한다. 도 16은 순연한 스트라이프에서 점선으로의 형상의 변경을 도시한다. 도 17은 강도의 변경을 도시한다. 제1 이미지에서의 저강도 라인들은 제2 이미지에서의 고강도 라인들로 변경되고, 그 반대도 된다. 저밀도 및 고밀도 라인들의 적절한 선택이 깊이 차원에서 객체를 추적하는데 사용될 수 있다.
이제, 어떻게 밝고 어두운 객체들이 도 2의 실시예를 사용하여 추적될 수 있는지를 도시하는 도 18을 참조한다. 도 2와 동일한 부분들은 동일한 참조번호가 주어지고, 본 실시예의 이해를 위해 필요한 것을 제외하고는 다시 기술되진 않는다. 도 18에서, 밝게 채색된 객체(180)가 셀 영역(24.11)에서 발견된다. 스트라이프들의 강도가 감소한다. 어둡게 채색된 객체(182)는 반면에, 셀(24.2.3)의 영역에서 발견된다. 어두운 객체에 대해, 강도가 증가한다. 상이한 셀들은 독립적으로 동작할 수 있고, 각각의 영역은 각각이 추적하는 객체들에 적절하게 반응한다.
이제, 본 발명의 실시예에 따라 셀에서 패턴을 수정하기 위한 절차를 도시하는 단순화된 흐름도인 도 19를 참조한다. 특정 셀은 초기 구성(190)으로 싸이클을 시작한다. 프레임이 캡처(192)되고 분석(194)된다. 분석으로부터 새로운 레이저 구성이 정의된 분석 가이드라인(198)에 기반하여 결정(196)된다. 즉, 임의의 특정 상황에 대해, 패턴의 정의된 변경이 있고, 정의된 변경은 프레임에서 객체에 관해 더 많은 정보를 획득할 수 있다. 새로운 레이저 구성은 이후, 다음 프레임에 대한 초기 레이저 구성으로서의 역할을 한다.
용어들 "포함한다", "포함하는", "포함한다", "포함하는", "갖는" 및 그들의 활용형들(conjugate)은 "포함하지만 제한되지는 않는"을 의미한다.
용어 "구성되는"은 "포함하지만 제한되지 않는"을 의미한다.
본 명세서에 사용되는 것처럼, 단수형 "a", "an" 및 "the"는, 문맥에서 달리 명시하지 않는 한 복수형 언급을 포함한다.
별개의 실시예들의 문맥에서 명확성을 위해, 설명되는 본 발명의 일정 특징들은 또한, 단일 실시예에서 조합으로 제공될 수 있고, 상기 설명은 이러한 조합이 명시적으로 기술되는 것처럼 해석될 수 있음을 유의해야 한다. 반대로, 간결함을 위해 단일 실시예의 문맥에서 설명된 본 발명의 다양한 특징들은 또한, 별개로, 또는 임의의 적절한 하위조합으로, 또는 본 발명의 임의의 다른 기술된 실시예에서 적절하게 제공될 수 있으며, 상기 설명은 이러한 별개의 실시예들이 명시적으로 기술되는 것으로 해석된다. 다양한 실시예들의 문맥에서 설명되는 일정 특징들은, 실시예가 이러한 요소들 없이 동작할 수 없는 것이 아니라면, 이러한 실시예들의 필수적 특징들로 간주되지 않는다.
본 발명은 본 발명의 구체적 실시예들과 함께 기술되었으나, 많은 대안들, 수정들, 및 변형들이 통상의 기술자에게 자명할 것임이 명백하다. 따라서, 본 발명은 첨부되는 청구범위의 정신 및 넓은 범위 내에 속하는 모든 이러한 대안들, 수정들, 및 변형들을 포괄하는 것으로 의도되었다.
본 명세서에서 언급되는 모든 공보, 특허 및 특허출원들은, 각각의 개별 공보, 특허 또는 특허출원이 구체적이고 개별적으로 표시되어 본 명세서에 참조로 통합되는 것과 같은 정도로, 본 명세서에 전체가 참조로 통합된다. 추가로, 본 출원에서 임의의 참고문헌에 대한 인용이나 식별은 이러한 참조문헌이 본 발명에 대한 선행기술로서 이용가능하다고 인정하는 것으로 해석되어서는 안 된다. 섹션 헤딩이 사용되는 정도만큼, 그들은 필수적으로 제한하는 것으로 해석되어서는 안 된다.

Claims (27)

  1. 3차원 공간에 광을 패턴으로 투사하도록 배열되고, 3차원 장면을 추적하도록 구성되는 레이저들의 어레이;
    각각 셀을 포함하는 복수의 광학 요소;
    구조화 광 패턴의 적어도 일부를 포함하는 장면의 하나 이상의 이미지를 캡처하도록 구성되는 카메라; 및
    하나 이상의 캡처된 이미지를 분석하고, 및
    분석에 기반하여, 구조화 광 패턴의 대응되는 타일의 변화에 영향을 주도록 셀을 통해 통과하는 광의 변조를 동적으로 조정하기 위해 하나 이상의 셀로 하나 이상의 명령어를 제공하도록 구성되는 프로세서를 포함하고,
    셀들은, 구조화 광 패턴의 구별되는 부분을 형성하도록 셀을 통해 통과하는 광에 변조를 동적으로 적용하기 위해 각 셀이 개별적으로 제어가능하도록 레이저들의 어레이의 서브세트와 정렬되고,
    구조화 광 패턴은 복수의 타일들로부터 형성되고, 복수의 타일들 각각은 구조화 광 패턴의 상이한 구별되는 부분에 대응하는 구조화 광 패턴을 생성하기 위한 장치.
  2. 제 1 항에 있어서,
    변조는 회절 변조, 굴절 변조 및 회절 변조와 굴절 변조의 조합으로 구성된 그룹의 일원(member)인 구조화 광 패턴을 생성하기 위한 장치.
  3. 제 1 항에 있어서,
    셀을 포함하는 광학 요소 및 레이저들의 어레이의 서브세트는 단일 몰딩된 요소로부터 구성되는 구조화 광 패턴을 생성하기 위한 장치.
  4. 제 1 항에 있어서,
    셀의 폭은 1mm 이하인 구조화 광 패턴을 생성하기 위한 장치.
  5. 제 1 항에 있어서,
    광학 요소의 폭은 1mm 이하인 구조화 광 패턴을 생성하기 위한 장치.
  6. 제 1 항에 있어서,
    셀들은 상기 구조화 광 패턴 내의 위치결정 및 광에 적용되는 형상과 관련하여 또한, 제어가능한 구조화 광 패턴을 생성하기 위한 장치.
  7. 제 1 항에 있어서,
    동적으로 적용되는 변조는, 장면의 부분들에 구조화 광 패턴의 증가된 해상도를 적용하고, 장면의 다른 부분들에 구조화 광 패턴의 감소된 해상도를 적용하는 구조화 광 패턴을 생성하기 위한 장치.
  8. 제 1 항에 있어서,
    구조화 광 패턴에 동적으로 적용되는 변조는 구조화 광 패턴의 배향의 셀단위의 변경을 포함하는 구조화 광 패턴을 생성하기 위한 장치.
  9. 제 8 항에 있어서,
    동적으로 적용되는 변조는 강도의 변경, 편광의 변경, 필터링 파라미터들의 변경, 및 초점의 변경으로 구성된 그룹의 일원인 구조화 광 패턴을 생성하기 위한 장치.
  10. 제 1 항에 있어서,
    서브세트들은 개별 레이저들, 레이저들의 쌍들, 레이저들의 트리플렛들(triplet), 상이한 크기의 레이저들의 조합들, 및 동적으로 변경되는 레이저들의 조합들로 구성되는 그룹의 일원을 포함하는 구조화 광 패턴을 생성하기 위한 장치.
  11. 제 1 항에 있어서,
    각각의 서브세트로부터 투사된 광은 타일로 되어있는(tiled) 구조화 광 패턴을 생성하기 위한 장치.
  12. 제 1 항에 있어서,
    레이저 어레이는 수직 캐비티 방출(vertical cavity emitting) 레이저 어레이를 포함하는 구조화 광 패턴을 생성하기 위한 장치.
  13. 제 1 항에 있어서,
    레이저 어레이는 레이저 바를 포함하는 구조화 광 패턴을 생성하기 위한 장치.
  14. 제 1 항에 있어서,
    컴퓨터, 랩톱 컴퓨터, 모바일 통신 장치, 태블릿 장치, 게임 콘솔, 및 움직임 캡처 장치로 구성되는 그룹의 임의의 일원으로 통합되는 구조화 광 패턴을 생성하기 위한 장치.
  15. 3차원 추적을 수행하도록 구성되는 레이저들의 어레이로부터 광을 제공하는 단계;
    레이저들의 어레이의 서브세트로부터 광을 투사하는 단계;
    구조화 광 패턴의 구별되는 부분을 형성하도록 각 셀을 통해 통과하는 투사된 광에 변조를 동적으로 적용하는 단계;
    2차원 레이아웃에서 복수의 픽셀을 포함하는 장면의 적어도 하나의 수신되고 캡처된 프레임을 분석하는 단계; 및
    분석에 응답하여, 2차원 레이아웃에서 복수의 픽셀을 포함하는 적어도 하나의 캡처된 프레임을 수신 및 분석하는 것에 기반하여 각 셀에서 구조화 광 패턴을 동적으로 변경하는 단계를 포함하고,
    각 셀이 개별적으로 제어가능하도록 레이저들의 어레이의 서브세트와 정렬되는 각 셀을 포함하는 복수의 광학 요소를 통해 투사된 광이 통과하고,
    구조화 광 패턴은 복수의 타일들로부터 형성되고, 복수의 타일들 각각은 구조화 광 패턴의 상이한 구별되는 부분에 대응하는 구조화 광 패턴을 생성하는 방법.
  16. 제 15 항에 있어서,
    변조를 동적으로 적용하는 단계는 투사된 광에 변조를 적용하는 단계를 포함하고,
    상기 변조는 굴절, 편광, 파장의 변경, 필터링 파라미터의 변경, 강도의 변경으로 구성된 그룹의 일원인 구조화 광 패턴을 생성하는 방법.
  17. 제 15 항에 있어서,
    구조화 광 패턴을 동적으로 변경하는 단계는 레이저들의 어레이의 서브세트로부터 투사된 광에 적용된 변조를 변경하는 단계를 포함하는 구조화 광 패턴을 생성하는 방법.
  18. 제 16 항에 있어서,
    구조화 광 패턴을 동적으로 변경하는 단계는 추적되는 장면의 부분에서 해상도 레벨을 증가시키고, 장면의 상이한 부분에서 해상도를 감소시키는 단계를 포함하는 구조화 광 패턴을 생성하는 방법.
  19. 제 16 항에 있어서,
    구조화 광 패턴을 동적으로 변경하는 단계는 구조화 광 내에서 패터닝의 밀도를 변경하는 단계를 더 포함하는 구조화 광 패턴을 생성하는 방법.
  20. 3차원 공간에 광을 패턴으로 투사하도록 배열되는 레이저들의 어레이;
    레이저들의 어레이의 각 서브세트와 정렬되는 복수의 셀;
    구조화 광 패턴의 적어도 일부를 포함하는 장면의 하나 이상의 프레임을 캡처하고 송신하도록 구성되는 카메라; 및
    하나 이상의 수신되는 캡처된 이미지를 분석하고, 및
    적어도 하나의 캡처된 프레임의 분석에 기반하여, 제2 변조 구성을 결정하도록 구성되는 프로세서를 포함하고,
    각 셀은, 구조화 광 패턴의 구별되는 부분을 제공하기 위해 레이저들의 각 서브세트로부터 셀을 통해 통과하는 광에 변조를 동적으로 적용하도록 구성되고 개별적으로 제어가능하며, 복수의 셀에 의해 적용되는 변조는 초기 변조를 나타내고,
    제2 변조 구성은 초기 변조와는 상이한 변조를 기술하며,
    복수의 셀은 제2 변조를 적용하기 위해 셀을 통해 통과하는 광의 변조를 동적으로 조정하도록 구성되고,
    구조화 광 패턴은 복수의 타일들로부터 형성되고, 복수의 타일들 각각은 구조화 광 패턴의 상이한 구별되는 부분에 대응하는 구조화 광 패턴을 생성하기 위한 장치.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
KR1020167011475A 2013-10-23 2014-10-23 동적 구조화 광을 사용하는 3차원 깊이 맵핑 KR102027184B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361894471P 2013-10-23 2013-10-23
US61/894,471 2013-10-23
PCT/IL2014/050922 WO2015059705A1 (en) 2013-10-23 2014-10-23 Three dimensional depth mapping using dynamic structured light

Publications (2)

Publication Number Publication Date
KR20160075548A KR20160075548A (ko) 2016-06-29
KR102027184B1 true KR102027184B1 (ko) 2019-10-01

Family

ID=51897406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167011475A KR102027184B1 (ko) 2013-10-23 2014-10-23 동적 구조화 광을 사용하는 3차원 깊이 맵핑

Country Status (11)

Country Link
US (4) US10091494B2 (ko)
EP (1) EP3060941A1 (ko)
JP (2) JP6547104B2 (ko)
KR (1) KR102027184B1 (ko)
CN (1) CN105659106B (ko)
AU (1) AU2014338511B2 (ko)
BR (1) BR112016009202A8 (ko)
CA (1) CA2924622C (ko)
IL (1) IL245002B (ko)
MX (1) MX2016005338A (ko)
WO (1) WO2015059705A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656543A (zh) 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
US9552074B2 (en) 2014-05-21 2017-01-24 Facebook, Inc. Method and system for generating user feedback of a gesture capturing device
KR102364084B1 (ko) * 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2016112019A1 (en) * 2015-01-06 2016-07-14 Oculus Vr, Llc Method and system for providing depth mapping using patterned light
EP3274653B1 (en) * 2015-03-22 2020-11-25 Facebook Technologies, LLC Depth mapping with a head mounted display using stereo cameras and structured light
US9648698B2 (en) 2015-05-20 2017-05-09 Facebook, Inc. Method and system for generating light pattern using polygons
KR102311688B1 (ko) 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
CN108604053B (zh) 2015-10-21 2021-11-02 普林斯顿光电子股份有限公司 编码图案投影仪
WO2017135894A1 (en) * 2016-02-01 2017-08-10 Heptagon Micro Optics Pte. Ltd. Illumination modules and optoelectronic systems
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
EP3500820A4 (en) * 2016-08-18 2020-04-29 Ramot at Tel-Aviv University Ltd. PROJECTOR OF STRUCTURED LIGHT
JP6999658B2 (ja) * 2016-09-30 2022-01-18 マジック リープ， インコーポレイテッド 空間光変調を伴うプロジェクタ
CN107918499B (zh) * 2016-10-09 2022-09-06 北京墨土科技有限公司 光学定位系统及方法、定位用光学观测设备
US10904514B2 (en) * 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
KR102619582B1 (ko) 2017-03-13 2024-01-02 옵시스 테크 엘티디 눈-안전 스캐닝 lidar 시스템
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
CN111065886B (zh) * 2017-07-18 2022-05-06 ams传感器新加坡私人有限公司 生成结构光
CN115015883A (zh) 2017-07-28 2022-09-06 欧普赛斯技术有限公司 具有小角发散度的vcsel阵列lidar发送器
US10551614B2 (en) * 2017-08-14 2020-02-04 Facebook Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
US10586342B2 (en) 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
CN107589623A (zh) * 2017-09-19 2018-01-16 深圳奥比中光科技有限公司 高密度的结构光投影仪
US10666020B2 (en) * 2017-09-20 2020-05-26 Lumentum Operations Llc Reconfigurable emitter array
US11802943B2 (en) 2017-11-15 2023-10-31 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
US10740913B2 (en) 2017-12-12 2020-08-11 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US11262192B2 (en) 2017-12-12 2022-03-01 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
US10578717B2 (en) * 2018-01-31 2020-03-03 Honeywell International Inc. Dimmable glass for eye safety for LiDAR technology
CN110133853B (zh) * 2018-02-09 2021-09-21 舜宇光学（浙江）研究院有限公司 可调散斑图案的调节方法及其投射方法
JP6880512B2 (ja) * 2018-02-14 2021-06-02 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
US10935376B2 (en) 2018-03-30 2021-03-02 Koninklijke Philips N.V. System and method for 3D scanning
KR102604050B1 (ko) * 2018-04-01 2023-11-22 옵시스 테크 엘티디 잡음 적응형 솔리드-스테이트 lidar 시스템
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
US11675114B2 (en) * 2018-07-23 2023-06-13 Ii-Vi Delaware, Inc. Monolithic structured light projector
JP2020020680A (ja) * 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、撮像装置、センシングモジュール
KR20200017017A (ko) 2018-08-07 2020-02-18 삼성전자주식회사 구조광 프로젝터 및 이를 포함하는 전자 장치
US11378724B2 (en) 2018-12-23 2022-07-05 Ii-Vi Delaware, Inc. Diffraction grating array for wide-angle illuminateon
CN109901191B (zh) * 2019-03-08 2023-02-10 中国科学院上海光学精密机械研究所 旋转扫描式激光雷达成像装置
CN110058424A (zh) * 2019-03-27 2019-07-26 努比亚技术有限公司 一种激光衍射装置、3d装置及终端
DE102019107957A1 (de) * 2019-03-27 2020-10-01 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Optoelektronische vorrichtung und lidar-system
JP2022526998A (ja) 2019-04-09 2022-05-27 オプシス テック リミテッド レーザ制御を伴うソリッドステートｌｉｄａｒ送光機
CN113906316A (zh) 2019-05-30 2022-01-07 欧普赛斯技术有限公司 使用致动器的眼睛安全的长范围lidar系统
US11644303B2 (en) 2019-12-16 2023-05-09 Faro Technologies, Inc. Three-dimensional coordinate measuring instrument coupled to a camera having a diffractive optical element
KR20220030007A (ko) 2020-09-02 2022-03-10 삼성전자주식회사 이미지 생성 장치 및 방법
CN112379530B (zh) * 2020-11-24 2022-06-10 北京华捷艾米科技有限公司 深度相机的光源装置和深度相机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292385A (ja) * 2005-04-05 2006-10-26 Hiroshima Univ 視覚情報処理システム及びその視覚情報処理方法
JP2013061228A (ja) * 2011-09-13 2013-04-04 Sumitomo Electric Ind Ltd 半導体レーザ素子の端面角度測定方法

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4115445C2 (de) 1990-07-05 1994-02-17 Reinhard Malz Verfahren zum Aufnehmen eines dreidimensionalen Bildes eines Objektes nach dem aktiven Triangulationsprinzip und Vorrichtung hierzu
US5212555A (en) 1991-12-17 1993-05-18 Texas Instruments Incorporated Image capture with spatial light modulator and single-cell photosensor
US5335288A (en) 1992-02-10 1994-08-02 Faulkner Keith W Apparatus and method for biometric identification
JP3531014B2 (ja) 1994-06-22 2004-05-24 株式会社トプコン レーザ照準装置
US6690474B1 (en) * 1996-02-12 2004-02-10 Massachusetts Institute Of Technology Apparatus and methods for surface contour measurement
US6102552A (en) 1996-10-18 2000-08-15 Hewlett-Packard Company Laser-array based digital illuminator
WO1999058930A1 (en) 1998-05-14 1999-11-18 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
US6040910A (en) 1998-05-20 2000-03-21 The Penn State Research Foundation Optical phase-shift triangulation technique (PST) for non-contact surface profiling
JP2000267800A (ja) 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7140543B2 (en) * 2000-11-24 2006-11-28 Metrologic Instruments, Inc. Planar light illumination and imaging device with modulated coherent illumination that reduces speckle noise induced by coherent illumination
JP2004523031A (ja) 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6714234B1 (en) 2001-04-11 2004-03-30 Applied Minds, Inc. Maintaining eye-contact in teleconferencing using structured light
US6947575B2 (en) 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
JP2003228003A (ja) * 2002-02-04 2003-08-15 Olympus Optical Co Ltd 観察光学系
JP3975892B2 (ja) 2002-05-02 2007-09-12 富士ゼロックス株式会社 位置計測システム
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US20040119833A1 (en) * 2002-07-25 2004-06-24 Duncan Donald D. Three-dimensional context sensitive scanner
CN1176351C (zh) 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
US7064810B2 (en) 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
ATE520046T1 (de) * 2004-04-23 2011-08-15 Olivier M Parriaux Hocheffiziente optische beugungseinrichtung
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US20090002342A1 (en) 2006-02-03 2009-01-01 Tomohiro Terada Information Processing Device
EP1983402A4 (en) 2006-02-03 2013-06-26 Panasonic Corp INPUT DEVICE AND ITS METHOD
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
WO2008010024A1 (en) 2006-07-16 2008-01-24 Cherradi I Free fingers typing technology
US8144121B2 (en) 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
JP4962852B2 (ja) 2007-03-05 2012-06-27 株式会社ニコン 形状測定方法および形状測定装置
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US7907781B2 (en) 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US7701580B2 (en) * 2008-02-01 2010-04-20 Palo Alto Research Center Incorporated Transmitting/reflecting emanating light with time variation
US20090189858A1 (en) 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
JP2009192620A (ja) 2008-02-12 2009-08-27 Panasonic Corp レーザ照射装置
FR2932562B1 (fr) * 2008-06-12 2010-08-27 Univ Pasteur Dispositif de projection de lumiere structuree au moyen de vcsel et de composants optiques diffractifs de phase.
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
EP2166305B1 (de) 2008-09-23 2012-05-16 Sick Ag Beleuchtungseinheit und Verfahren zur Projektion eines Beleuchtungsmusters
JP5161024B2 (ja) 2008-10-10 2013-03-13 富士フイルム株式会社 ３次元形状計測用撮影装置および方法並びにプログラム
CN101451826B (zh) * 2008-12-17 2010-06-09 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
TWI409502B (zh) 2009-01-23 2013-09-21 Univ Nat Taipei Technology 相位資訊擷取方法及其三維形貌量測系統
JP2011018090A (ja) 2009-07-07 2011-01-27 Panasonic Corp 電子ペン及び電子ペンシステム
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
CN102656543A (zh) 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US9477324B2 (en) * 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
JP5970631B2 (ja) 2010-08-25 2016-08-17 国立大学法人東京農工大学 ホログラム表示用モジュールおよび立体表示装置
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
KR20120071551A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 구조 영상을 이용한 사용자 인터랙션 장치 및 방법
US20120200829A1 (en) 2011-02-09 2012-08-09 Alexander Bronstein Imaging and projecting devices and methods
KR101446902B1 (ko) 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
US9518864B2 (en) 2011-12-15 2016-12-13 Facebook, Inc. Controllable optical sensing
WO2013127974A1 (en) 2012-03-01 2013-09-06 Iee International Electronics & Engineering S.A. Spatially coded structured light generator
EP2926422B1 (en) 2012-11-29 2017-11-22 Koninklijke Philips N.V. Laser device for projecting a structured light pattern onto a scene
KR20140133093A (ko) 2013-05-09 2014-11-19 한국전자통신연구원 인식 장치 및 그 방법
US20150260830A1 (en) * 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US10019843B2 (en) 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
US9462253B2 (en) * 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9749513B2 (en) 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
JP6417702B2 (ja) 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292385A (ja) * 2005-04-05 2006-10-26 Hiroshima Univ 視覚情報処理システム及びその視覚情報処理方法
JP2013061228A (ja) * 2011-09-13 2013-04-04 Sumitomo Electric Ind Ltd 半導体レーザ素子の端面角度測定方法

Also Published As

Publication number Publication date
JP6547104B2 (ja) 2019-07-24
CA2924622A1 (en) 2015-04-30
CA2924622C (en) 2020-03-10
CN105659106A (zh) 2016-06-08
US11962748B2 (en) 2024-04-16
US11057610B2 (en) 2021-07-06
KR20160075548A (ko) 2016-06-29
JP2019164144A (ja) 2019-09-26
US10687047B2 (en) 2020-06-16
WO2015059705A1 (en) 2015-04-30
US10091494B2 (en) 2018-10-02
MX2016005338A (es) 2017-03-20
AU2014338511B2 (en) 2018-08-09
CN105659106B (zh) 2018-12-28
BR112016009202A8 (pt) 2020-03-24
US20210297651A1 (en) 2021-09-23
AU2014338511A1 (en) 2016-04-21
IL245002B (en) 2019-02-28
US20160286202A1 (en) 2016-09-29
JP2016540189A (ja) 2016-12-22
IL245002A0 (en) 2016-05-31
US20200267377A1 (en) 2020-08-20
EP3060941A1 (en) 2016-08-31
US20180324412A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
US11057610B2 (en) Three dimensional depth mapping using dynamic structured light
JP6386194B2 (ja) ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング
US9870068B2 (en) Depth mapping with a head mounted display using stereo cameras and structured light
US9826216B1 (en) Systems and methods for compact space-time stereo three-dimensional depth sensing
KR101331543B1 (ko) 스페클 패턴을 이용한 3차원 센싱
TW202030453A (zh) 基於垂直腔表面發射雷射的投影機
JP2009531655A5 (ko)
JP2013513179A (ja) 距離に基づく検知
CN104284625A (zh) 用于对目标对象的表面的深度进行仿形的装置和方法
US20200319341A1 (en) Distance-imaging system and method of distance imaging
TWI719383B (zh) 多影像投影機以及具有多影像投影機之電子裝置
JP2023522717A (ja) コリメータ機能付き回折光学素子
CN113009705A (zh) 一种消除零级衍射影响的结构光组件

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant