KR20180039674A - 혼합 모드 심도 검출 - Google Patents

혼합 모드 심도 검출 Download PDF

Info

Publication number
KR20180039674A
KR20180039674A KR1020187006676A KR20187006676A KR20180039674A KR 20180039674 A KR20180039674 A KR 20180039674A KR 1020187006676 A KR1020187006676 A KR 1020187006676A KR 20187006676 A KR20187006676 A KR 20187006676A KR 20180039674 A KR20180039674 A KR 20180039674A
Authority
KR
South Korea
Prior art keywords
target
depth
structured light
display
image
Prior art date
Application number
KR1020187006676A
Other languages
English (en)
Other versions
KR102595996B1 (ko
Inventor
피. 셀반 비사나탄
Original Assignee
마이크로비젼, 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로비젼, 인코퍼레이티드 filed Critical 마이크로비젼, 인코퍼레이티드
Publication of KR20180039674A publication Critical patent/KR20180039674A/ko
Application granted granted Critical
Publication of KR102595996B1 publication Critical patent/KR102595996B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

간략하게, 하나 이상의 실시예에 따르면, 혼합 모드 심도 검출을 구현하기 위한 MEMS 레이저 빔 디스플레이는, MEMS 레이저 빔 디스플레이의 시야(field of view) 내에 영상을 투영하는 영상 엔진, 심도 검출의 제1 모드에서 상기 시야 내의 표적까지의 거리를 결정하고 또한 상기 표적의 거친 심도 데이터를 결정하는 비행 시간(time of flight: TOF) 심도 검출기(114), 및 심도 검출의 제2 모드에서 상기 표적까지의 거리를 결정하고 또한 상기 표적의 정밀 심도 데이터를 결정하는 구조화된 광 심도 검출기(116)를 포함한다. 심도 처리 회로는 상기 표적의 합성 3차원(3D) 영상을 생성할 수도 있고 또는 제스처 인식을 위해 상기 표적의 제스처 영역을 식별할 수도 있다.

Description

혼합 모드 심도 검출
심도 검출(depth detection)을 위한 비행 시간(time of flight: TOF) 방법은 디스플레이 또는 다른 장치로부터 표적의 심도 또는 거리를 결정하기 위해 이용될 수도 있다. 마이크로전자기계 시스템(microelectromechanical system: MEMS) 레이저 빔 디스플레이는 주사 사이클(scanning cycle)에서 미리 결정된 슬롯(slot) 동안 다중 질문 펄스(multiple interrogation pulses)를 표적에 발송하기 위해 변조된 적외선(infrared: IR) 광원을 병합할 수 있다. 반사된 펄스가 검출되고, 펄스 트리거(pulse trigger)와 복귀 펄스 간의 시간차, 즉, 비행 시간이 결정된다. 왕복 거리는 빛의 속도를 사용하여 계산해서 표적까지의 심도 또는 거리를 결정할 수도 있다. IR 질문 펄스(interrogation pulses)의 공간적으로 분리된 높은 비율로, 주사 매개 변수를 사용하여 라스터화(rasterized)될 때 계산된 심도 데이터는 프로그래밍 방식으로 결정될 수도 있는 디스플레이 시야(display field of view : FOV) 내의 FOV의 심도 맵(depth map) 또는 하위 영역을 산출한다. 심도 맵의 공간 해상도는 IR 펄싱 및 TOF 검출기 회로의 누적 지연(latency) 및 디스플레이의 주사 매개 변수에 의해 제한될 수도 있다. 더 높은 해상도의 정밀 심도 맵을 얻기 위해, 수신 회로에 여러 개의 IR 레이저 다이오드 및/또는 구성 요소의 중복이 요구될 수도 있다. 대안으로 단일 IR 레이저 빔으로 오버샘플링(oversampling)하면, 더 높은 해상도의 심도 맵을 얻을 수 있지만, 처리 지연(심도 맵 획득의 프레임 속도 감소됨)이 증가하고, FOV에서 낮은 지연 제스처 인식(gesture recognition)을 방해한다. 제스처 인식 및 3D 영상은 일반적으로 상술한 접근법에서 오버헤드(overhead) 없이 낮은 지연의 고해상도 심도 맵으로부터 이익을 얻을 수도 있다.
청구하는 주제는 명세서의 결론 부분에 특별히 지적하고 명백하게 청구한다. 그러나, 그러한 주제는 첨부된 이하의 도면과 함께 읽을 때 다음의 상세한 설명을 참조함으로써 이해될 수도 있다.
도 1은 하나 이상의 실시예에 따른 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이의 블록도;
도 2는 하나 이상의 실시예에 따른 혼합 모드 심도 검출 회로의 추가 세부 사항을 도시하는 도 1의 MEMS 레이저 빔 디스플레이의 블록도;
도 3은 하나 이상의 실시예에 따른 MEMS 레이저 빔 디스플레이의 시야 내의 표적의 혼합 모드 심도 검출을 도시하는 도 1의 디스플레이의 등대도;
도 4a 내지 도 4f는 하나 이상의 실시예에 따라 시야 내의 다양한 영역에 걸쳐 제1 모드 및 제2 모드를 사용하여 표적의 심도 검출을 도해하는 도 1의 MEMS 레이저 빔 디스플레이의 시야를 나타낸 도면;
도 5는 하나 이상의 실시예에 따라 시야 내의 표적의 선택된 영역에서 제스처 인식을 도해하는 도 1의 MEMS 레이저 빔 디스플레이의 시야를 나타낸 도면;
도 6은 하나 이상의 실시예에 따른 혼합 모드 심도 검출을 이용하는 합성 3차원 영상 및 제스처 인식을 생성하는 방법의 흐름도;
도 7은 하나 이상의 실시예에 따른 혼합 모드 심도 검출을 이용하는 합성 3차원 영상 및 제스처 인식을 생성하는 대안적인 방법의 흐름도;
도 8은 하나 이상의 실시예에 따른 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이를 갖는 정보 처리 시스템의 블록도;
도 9는 하나 이상의 실시예에 따른 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이를 포함하는 정보 처리 시스템의 등대도;
도 10은 하나 이상의 실시예에 따른 헤드 업 디스플레이(HUD)로서 배치된 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이를 포함하는 차량의 도면; 그리고
도 11은 하나 이상의 실시예에 따른 HMD(head-mounted display)로서 배치된 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이를 포함하는 안경을 나타내는 도면.
도해의 단순화 및/또는 명료성을 위해, 도면들에 도해된 요소들은 반드시 일정한 비율로 그려진 것은 아니라는 것을 이해할 것이다. 예를 들어, 일부 요소의 치수는 명확성을 위해 다른 요소에 비해 과장될 수도 있다. 또한, 적절한 것으로 고려되는 경우, 참조 부호는 대응하는 및/또는 유사한 요소를 나타내기 위해 도면들 사이에서 반복되었다.
다음의 상세한 설명에서, 다수의 특정 세부 사항들을 청구된 주제의 완전한 이해를 제공하기 위해 설명한다. 그러나, 당해 기술 분야의 당업자는 청구된 주제가 이들 특정 세부 사항 없이 실시될 수도 있음을 이해할 것이다. 다른 경우에, 잘 알려진 방법, 절차, 구성 요소 및/또는 회로는 상세히 설명하지 않았다.
다음의 상세한 설명 및/또는 청구 범위에서, '결합된' 및/또는 '접속된' 용어는 그 파생어와 함께 사용될 수도 있다. 특정 실시예에서, '접속된'은 2개 이상의 소자가 서로 직접적으로 물리적 및/또는 전기적으로 접촉하고 있음을 나타내기 위해 사용될 수도 있다. '결합된'은 두 개 이상의 요소가 직접 물리적 및/또는 전기적으로 접촉하고 있음을 의미할 수도 있다. 그러나, '결합된'은 또한 2개 이상의 요소가 서로 직접 접촉하지 않을 수도 있지만, 여전히 서로 협력 및/또는 상호 작용할 수 있음을 의미할 수도 있다. 예를 들어, "결합된"은 둘 이상의 요소가 서로 접촉하지 않지만 다른 요소 또는 중간 요소를 통해 간접적으로 결합되었음을 의미할 수도 있다. 마지막으로, 용어 "상에(on)", "위에 배치되는(overlying)" 및 "위에(over)"라는 용어는 다음의 설명 및 청구범위에서 사용될 수도 있다. "상에", "위에 배치되는" 및 "위에"는 둘 이상의 요소가 서로 직접 물리적으로 접촉함을 나타내기 위해 사용될 수도 있다. 그러나 "위에"는 둘 이상의 요소가 서로 직접 접촉하지 않음을 의미할 수도 있다. 예를 들어, "위에"는 한 요소가 다른 요소 위에 있지만 서로 접촉하지 않고 두 요소 사이에 다른 요소를 가질 수도 있음을 의미할 수도 있다. 또한, "및/또는"이라는 용어는 "및"을 의미할 수도 있고 "또는"을 의미할 수도 있고, "배타적인" 또는 "하나"를 의미할 수도 있으며, "일부는 아니지만 전부를 의미할 수도 있다". 청구된 주제의 범위가 이 점에 국한되지는 않지만 "어느 것도 아님"을 의미할 수도 있고 및/또는 "둘 다"를 의미할 수도 있다. 다음의 설명 및/또는 청구범위에서, "포함하다" 및 "내포하다"라는 용어는 파생어와 함께 사용될 수도 있고, 서로 동의어로 사용된다.
이제 도 1을 참조하여, 하나 이상의 실시예에 따른 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이의 블록도를 설명할 것이다. 도 1에 도시된 바와 같이, 디스플레이(100)는 하나 이상의 주사 빔(104)을 통해 표적(target)(102) 상으로 영상을 투영할 수 있는 마이크로전자기계 시스템(MEMS) 주사 엔진(110)을 포함하는 MEMS 기반 프로젝터를 포함한다. 주사 빔(104)은 보이는 가시 광선, 예를 들어, 적색, 녹색 또는 청색 광 빔 및/또는 보이지 않는 비가시 광선, 예를 들어, 적외선 광 빔인 평행 광 빔 또는 레이저 빔이다. 본 명세서에 언급된 MEMS 주사 엔진(110)은 미러된 표면을 갖는 2축 단일 액츄에이터(actuator) 또는 각 액츄에이터 상에 미러 표면을 갖는 2개 이상의 독립적인 액츄에이터일 수도 있다. 각 액츄에이터는 어느 구성에서나 라스터 주사로 작동되거나 시야 내에서 복잡한 광 빔 패턴을 투영한다. 위에서 설명한 MEMS 구성은 어느 것이나 전자기 및/또는 정전기 작동 중 하나 또는 모두를 포함하는 많은 방법 중 하나에서 그에 제한되지 않고 작동될 수도 있다. 또한, 도 1은 MEMS 디스플레이를 포함하는 디스플레이(100)의 하나의 특정 예를 도시하지만, 하나 이상의 대안적인 실시예에서 디스플레이(100)는 디지털 마이크로미러 디바이스(digital micromirror device: DMD) 기반 프로젝터, 디지털 광 처리기(digital light processor: DLP) 기반 프로젝터 또는 실리콘 액정 표시장치(liquid-crystal on silicon: LCOS) 기반 프로젝터 등을 포함할 수도 있고, 도 1에 도시된 바와 같은 회로에서 명목상의 변화를 가지며, 본 발명의 범위는 이들 관점에서 제한되지 않는다. MEMS 주사 엔진(110)은 일반적으로 MEMS 주사 미러, DMD 또는 DLP 등과 같은 다양한 실시예의 기술을 사용하여 영상을 투영하도록 구성된 영상 엔진을 포함할 수도 있으며, 청구된 주제의 범위는 이에 관하여 제한되지 않는다. MEMS 주사 엔진(110)은 일반적으로 MEMS 주사 미러, DMD 또는 DLP 등과 같은 다양한 실시예의 기술을 사용하여 영상을 투영하도록 구성된 영상 엔진을 포함할 수 있으며, 청구된 주제의 범위는 이러한 관점에서 제한되지 않는다. MEMS 주사 엔진(110)이 어레이 또는 미러들을 포함하는 실시예들에서, 광 빔은 MEMS 어레이의 구성 요소들의 고속 변조에 의해 주사되지 않고 순차적으로 프레임으로 제공될 수도 있다. 대안적으로, MEMS 주사 엔진(110)은 다른 타입의 빔 주사 엔진을 포함할 수도 있고, 청구된 주제의 범위는 이러한 관점에서 제한되지 않는다. 예를 들어, MEMS 주사 엔진(110)은 미국 공개 출원 US 2013/0235441 A1에 기재된 바와 같은 나노 스케일 통합 빔 스캐너를 포함할 수도 있으며, 이 출원 내용을 본 명세서에 합체한다.
디스플레이(100)는 디스플레이(100)로부터 표적(102)까지의 심도 또는 거리를 검출하기 위해 혼합 모드 심도 검출을 제공하기 위해 비행 시간(TOF) 심도 검출기(114) 및 구조화된 광 심도 검출기(116)를 더 포함할 수 있다. 상세히 후술하는 바와 같은 하나 이상의 실시예에서, TOF 심도 검출기(114)는 제1 심도 검출 모드에서 디스플레이(100)로부터 표적(102)까지의 거친 심도(COARSE DEPTH)를 결정하기 위해 이용될 수도 있으며, 또한 구조화된 광 심도 검출기(116)는 제2 심도 검출 모드에서 디스플레이(100)로부터 표적(102)까지의 정밀 심도(FINE DEPTH)를 결정할 수 있지만, 청구된 주제의 범위는 이에 관하여 제한되지 않는다. 예를 들어, TOF 심도 검출기(114)는 그 전체가 본원에 합체된 미국 공개 출원 US 2013/0107000 A1에 기재된 장치를 포함할 수도 있다. 다른 예에서, 구조화된 광 심도 검출기(116)는 그 전체가 본원에 합체된 문헌 Salvi, Joaqim 등의 구조화된 광 시스템의 패턴화 전략, Institut d'Informatica I Applicacions, Universitat de Girona(스페인)(2005)을 사용할 수도 있다. 심도 처리 회로(118)는 TOF 심도 검출기(114) 및 구조화된 광 심도 검출기(116)로부터의 출력을 수신하여 다양한 목적 또는 루틴(routine)을 위해 심도 신호를 처리하여, 예를 들어, 표적(102)에서 하나 이상의 피사체를 식별하여 3차원 표적(102)의 맵, 또는 표적(150)의 제스처 인식을 수행할 수 있으며, 청구된 주제의 범위는 이에 관하여 제한되지 않는다. TOF 심도 검출기(114), 구조화된 광 심도 검출기(116) 및 심도 처리 회로(118)에 관한 더 상세한 설명은 도 2와 관련하여 도시하고 설명한다.
이제 도 2를 참조하여 하나 이상의 실시예에 따른 혼합 모드 심도 검출 회로의 부가적인 세부 사항을 도시하는 도 1의 MEMS 레이저 빔 디스플레이의 블록도를 설명한다. 도 2에 도시된 바와 같이, MEMS 주사 엔진(110)은 적색(R), 녹색(G), 청색(B) 및 적외선(IR) 레이저 다이오드(112)로부터 수신된 광을 수신해서 재인도하여 RGB 레이저로 표적(102) 상에 가시 영상을 투영하고, 또한 IR 레이저로 표적(102) 상에 비가시 영상을 추가로 투영한다. 영상 프로세서(160)는 비디오 입력 신호 및 대응하는 SYNC 정보를 수신하여 픽셀 변조 및 타이밍 정보를 갖는 RGB + IR 레이저 다이오드(112) 및 펄스 론칭 로직(pulselaunch logic)(124)을 제공한다. TOF 심도 검출기(114)는 표적(102)으로부터 반사된 반사 IR 빔(106)을 검출하기 위해 적외선(IR) 광 검출기(120)를 포함할 수도 있다. 광 검출기(120)의 출력은 트랜스 임피던스 증폭기(transimpedance amplifier: TIA), 다양한 이득 스테이지(op-amp), 필터, 미분기, 교차점 검출기 및 시간-전압 변환기(Time-to-Voltage Converter: TVC) 또는 시간-지연 변환기(Time-to-Delay Converter: TDC)를 포함할 수도 있는 아날로그 프론트 엔드(Analog Front End: AFE)(122)에 제공된다. TVC 및 TDC는 본질적으로 반사 후 송신기에서 검출기까지의 광자의 TOF에 해당하는 전압 또는 지연의 적분기로서 기능한다. 펄스 론칭 로직 회로(124)는 영상 프로세서(160)로부터 타이밍 정보를 수신하고 변조된 RGB 및/또는 IR 펄스의 시간적 배치를 제어한다. 본 명세서에 설명된 실시예들과 일치하여, 124는 영상 및 비디오 디스플레이 및 구조화된 광 애플리케이션(structured light applications)을 위한 RGB 및 IR 레이저 다이오드를 112에서 직접 제어하거나 TOF 심도 검출 애플리케이션을 위한 TOF 펄스 형성 회로(126)를 통해 제어할 수 있다. 또 다른 예에서, TOF 심도 검출기는 IR 광 검출기(120)가 디스플레이 FOV와 일치하는 FOV를 가지도록 광학적으로 렌즈 형성된 특정 해상도의 매트릭스 센서(TOF 센서 IC)이고, 그러한 구성에서, 구성 요소 122 및 128는 동일한 다이 또는 패키지 내의 매트릭스 센서 어레이를 또한 포함하는 주문형 집적 회로(ASIC)에 고도로 통합될 수도 있다. 구조화된 광 심도 검출기(116)는 MEMS 주사 엔진(110)에 의해 표적(102) 상에 투영된 IR 영상 및/또는 가시 영상을 캡처할 수 있는 카메라(130)를 포함할 수도 있다. 카메라(130)의 출력은 126으로부터 수신된 공간 코딩 정보를 이용하여 영상 처리 유닛(136)에서의 변환을 적용하여 102에서 표적의 심도 정보를 추출한다.
하나 이상의 실시예에서, ADC 회로(128)는 합성 심도 맵 회로(142)의 심도 맵(TOF) 회로(140)에 출력을 제공하고, 영상 처리 회로(136)는 합성 심도 맵 회로(142)의 심도 맵(구조화된 광) 회로(138)에 출력을 제공한다. 합성 심도 맵 회로(142)는 TOF 심도 검출기(114)에 의해 얻어진 거친 심도 영상과 구조화된 광 심도 검출기(116)에 의해 얻어진 정밀/고밀 심도 영상의 조합인 합성 3D 심도 영상(150)을 생성할 수도 있다. 심도 맵(TOF) 회로(140)는 골격 추출(TOF) 회로(146)에 출력을 제공할 수도 있고, 심도 맵(구조화된 광) 회로(138)는 골격 추출(구조화된 광) 회로(148)에 출력을 제공하여 합성 골격 모델(144)을 제공할 수도 있다. 골격 모델은 제스처 인식 회로(152)에 제공되어 사람의 손 및/또는 손가락과 같은 표적(102)의 하나 이상의 형태 또는 구조를 식별할 수도 있으며, 예를 들어, 사용자에 의해 정보 처리 시스템의 입력으로서 제공된 제스처의 인식을 용이하게 할 수도 있다. 심도 처리 회로(118)는 비록 청구된 주제의 범위가 이 관점에서 제한되지 않지만, 전체적으로 또는 부분적으로 하드웨어로 또는 전체적으로 또는 부분적으로 소프트웨어로, 예를 들어, 명령을 실행할 경우 도 1에 도시된 회로의 기능들을 프로세서가 구현하거나 실행하게 하는 비 일시적인 저장 매체에 저장된 명령들로서 구현될 수도 있음을 알아야 한다. 디스플레이(100)가 혼합 모드 심도 검출을 사용하는 방법의 예를 이하에 설명한다.
이제 도 3을 참조하여, 하나 이상의 실시예에 따른 MEMS 레이저 빔 디스플레이의 시야 내의 표적의 혼합 모드 심도 검출을 도시하는 도 1의 디스플레이의 등대도를 설명한다. 도 3에 도시된 바와 같이, 디스플레이(100)는 표적(102)이 위치할 수도 있는 시야(FOV)(210) 내에 하나 이상의 주사 빔(104)을 투영할 수도 있다. 거친 심도 맵은 FOV(210)의 일부 또는 전부에 걸쳐 TOF 영역(310) 내의 TOF 심도 검출기(114)로 획득될 수도 있다. 정밀 심도 맵은 디스플레이(100)에 의해 구조화된 광 영역(312)에 투영된 구조화된 광 패턴으로부터 FOV(210)의 일부 또는 전부에 걸쳐 구조화된 광 영역(312) 내의 구조화된 광 심도 검출기(116)로 획득될 수도 있다. 하나 이상의 실시예에서, 구조화된 광 패턴은 예를 들어, 적색, 청색 및/또는 녹색 빔과 같은 MEMS 주사 엔진(110)의 가시 광선 중 임의의 하나 이상을 사용하여 투영된 가시 구조화된 광 패턴이거나, 또는 예를 들어, IR 빔과 같은 MEMS 주사 엔진(100)의 하나 이상의 비가시 빔을 사용하는 비가시적 구조화된 광 패턴일 수도 있다. 구조화된 광 패턴은 임의의 하나 이상의 다양한 패턴일 수도 있는데, 이는 지로 나 대학(스페인)(2005), 인스티튜트 인포마티카 아이 애플리카시온스, 살비 요아 킴 등의 구조화된 광 시스템에서의 패턴 코드화 전략(Salvi, Joaqim et al. Pattern Codification Strategies in Structured Light Systems, Institut d'Informatica I Aplicacions, Universitat de Girona (Spain) (2005))에 기술된 바와 같은 정밀 심도 맵, 예를 들어, 드 브루이진 시퀀스(De Bruijn sequence), 바이너리 코드, n-진 코드, 하이브리드 방법, 비 형식적 코드화, M-어레이, 레벨, 컬러 패턴 등의 심도 검출 및 발생을 용이하게 하기 위해 이용될 수도 있다. 구조화된 광 패턴은 일반적으로 시간 다중화, 공간 코딩 또는 직접 코딩으로 분류되며, 공간 코드화(spatial codification)는 원샷(one-shot) 심도 획득 코드를 제공하므로 제스처 인식을 위한 낮은 대기 지연 심도 획득에 매우 적합하다. 이들은 단지 적절한 구조화된 광 패턴의 예일 뿐이며, 청구된 주제의 범위는 이 관점에서 제한되지 않는다는 것을 알아야 한다.
하나 이상의 실시예에서, 디스플레이(100)는 표적(102)이 FOV(210) 내에 위치되는 곳을 검출하기 위해, 특히 구조화된 광 영역(312)에서 구조화된 광 패턴을 투영할 표적(102)의 어느 부분인지, 그 부분에서 정밀 심도 맵을 얻기 위해 거친 심도 맵을 사용할 수도 있다. 디스플레이(100)의 심도 처리 회로(118)는 구조화된 광 영역(312)에서 구조화된 광 영상을 투영하기 위한 FOV(210) 내의 어느 곳인지 및/또는 표적(102) 상의 어느 위치인지를 결정하기 위해 이용될 수도 있다. 대안적으로, 사용자는 후보 구조화된 광 영역(312)을 식별할 수 있고, 디스플레이(100)에 대한 입력으로서 액츄에이터(314)에 대한 사용자 입력(316)을 사용하여 상기 식별된 구조화된 광 영역(312)으로 투영된 구조화된 광 패턴을 수동으로 제어하거나 조종할 수 있다. 예를 들어, 액츄에이터(314)는 투영된 구조화된 광 패턴을 원하는 구조화된 광 영역(312)으로 조정하도록 사용자 입력(316)으로서 사용자에 의해 조작되는 마우스, 조이스틱, 트랙 패드, 키보드, 터치 입력 디스플레이 등을 포함할 수도 있다. 또한, 사용자 입력(316)은 대안적으로 또는 동시에 눈 또는 시선 추적 장치로부터, 또는 표적(102) 상의 기점을 검출하는 센서 또는 카메라로부터 입력을 수신할 수도 있다. 사용자는 또 구조화된 광 패턴을 조작하여 원하는 구조화된 광 영역(312)의 크기 및/또는 형상을 일치시키고, 예를 들어, 구조화된 광 패턴의 크기를 증가 또는 감소시키거나 또는 구조화된 광 패턴의 형상을 회전 또는 변화시킬 수도 있다. 다양한 심도 검출 모드에 대한 예시적인 패턴을 도 4a 내지 도 4f에 도시하고 그를 참조하여 설명한다.
이제 도 4a 내지 도 4f를 참조하여, 하나 이상의 실시예에 따라 시야 내의 다양한 영역에 걸쳐 제1 모드 및 제2 모드를 사용하여 표적의 심도 검출을 도해하는 도 1의 MEMS 레이저 빔 디스플레이의 시야에 대한 도면들을 설명한다. 도 4a에서, TOF 영역(310)은 TOF 심도 검출기(114)를 사용하여 거친 심도 맵이 얻어질 수 있는 FOV(210)의 전부 또는 거의 전부를 포함할 수도 있다. 주사 광 영역(312)은 구조화된 광 검출기(116)를 사용하여 정밀 심도 맵이 획득될 수도 있는 표적(102)의 부분을 포함할 수도 있다. 도 4b에서, TOF 영역(310)은 FOV(210)의 전부 또는 거의 전부를 포함할 수도 있고, 다수의 구조화된 광 영역, 예를 들어, 구조화된 광 영역(312), 구조화된 광 영역(314) 또는 구조화된 광 영역(316)은 정밀 심도 맵이 얻어질 수도 있는 표적(102)의 다중 부분을 포함할 수도 있다. 도 4c에서, TOF 영역(310)은 FOV(210)의 전부 또는 거의 전부를 포함할 수도 있고, 구조화된 광 영역(312)은 표적(102)의 전부 또는 거의 전부와 일치할 수도 있다. 도 4d에서, TOF 영역(310) 및 구조화된 광 영역(312) 양자는 FOV(210)의 전부 또는 거의 전부를 포함할 수도 있다.
일부 실시예에서, 거친 심도 맵 및 정밀 심도 맵은 TOF 영역(310) 및 구조화된 광 영역(312)이 시간적으로 겹치거나 및/또는 하나 이상의 프레임에서 동시에 존재하는 동시에 또는 거의 동시에 획득될 수도 있다. 일부 대안적 실시예에서, 거친 심도 맵 및 정밀 심도 맵은 TOF 영역(310) 및 구조화된 광 영역(312)이 시간적으로 중첩되지 않고 및/또는 동일한 프레임에 나타나지 않도록 순차적으로 획득될 수도 있다. 예를 들어, 도 4e에서, TOF 영역(310)은 구조화된 광 영역(312)이 제1 시간에 및/또는 제1 프레임에 존재하는 구조화된 광 영역(312)이 없는 FOV(210)의 전부 또는 거의 전부를 포함할 수도 있고, 도 4f에서, 구조화된 광 영역(312)은 제2 시간에 및/또는 제2 프레임에 존재하는 TOF 영역(210)이 없는 표적(102)의 적어도 일부를 포함할 수도 있다. 또 다른 대안적인 실시예에서, 거친 심도 맵 및 정밀 심도 맵은 TOF 영역(310) 및 구조화된 광 영역(312)이 시간적으로 중첩하지 않도록 순차적으로 획득될 수도 있지만, 예를 들어, 정밀 심도 맵 획득은 FOV의 순방향 주사 방향으로 수행되고, 거친 심도 맵 획득은 수직 귀선 기간으로 이관되거나 또는 거친 및 정밀 심도 맵 획득이 동일한 비디오 프레임, 즉 시간적으로 분리되지만 공간적으로 거의 중첩되며, 여기서 중첩 범위는 스캐너 특성에 따라 다르다. 도 4a 내지 도 4f에 도시된 실시예는 디스플레이(100)가 TOF 심도 검출기(114) 및 구조화된 광 심도 검출기(116)와 함께 혼합 모드 심도 검출을 어떻게 이용할 수 있는지의 예에 불과하며, 청구된 주제의 범위는 이들 관점에서 제한되지 않는다. 혼합 모드 심도 검출을 사용하는 제스처 인식을 구현하기 위한 도 4a 내지 도 4f의 실시예의 예시적인 애플리케이션은 도 5에 도시하고 이를 참조하여 이하에 설명한다.
이제 도 5을 참조하여, 하나 이상의 실시예에 따라 시야 내의 표적의 선택된 영역에서 제스처 인식을 도해하는 도 1의 MEMS 레이저 빔 디스플레이의 시야에 대한 도면을 설명한다. 도 5에 도시된 바와 같이, 표적(102)은 디스플레이(100)에 의해 인식될 수도 있는 다양한 손 및/또는 손가락 제스처를 사용하는 사람 또는 사용자일 수도 있다. 예를 들어, 사용자는 디스플레이(100)에 의해 투영된 사용자 인터페이스에 입력 및/또는 명령을 제공하기 위해 입력 및 사용자 인터페이스 제어로서 제스처를 사용할 수도 있다. 사용자에 의해 만들어진 하나 이상의 제스처를 인식하기 위해, 디스플레이(100)의 FOV(210)는 표적(102), 사용자에게 지향될 수도 있어서, 표적(102)은 FOV(210) 내에 적어도 부분적으로 위치될 수 있다. 하나 이상의 실시예에서, TOF 심도 검출기(114)는 TOF 영역(310)에서 거친 심도 맵을 획득할 수도 있다. 거친 심도 맵은 표적(102)의 골격을 이 경우 사람의 골격 모델을 추출하기 위해 골격 추출(TOF) 회로(146)에 제공될 수도 있다. 골격 추출(TOF) 회로(146)의 출력을 사용하여, 구조화된 광 영역(312)은 제스처 인식을 위해 사용되는 정밀 심도 맵을 획득하도록 표적(102) 상에서 자동적으로 또는 프로그램적으로 식별될 수도 있다. 도 5에 도시된 실시예에서, 사용자의 손은 구조화된 광 영역(312)으로서 식별될 수도 있고, 디스플레이(100)는 구조화된 광 영역(312) 내의 구조화된 광 패턴을, 이 경우 사용자의 손 및 손가락에 투영할 수도 있다. 구조화된 광 심도 검출기(116)는 구조화된 광 영역(312)에서 사용자의 손 및/또는 손가락의 정밀한 움직임을 식별하기 위해 골격 추출(구조화된 광) 회로(148)에 제공되는 구조화된 광 영역(312)에 대한 정밀 심도 맵을 얻을 수도 있다. 골격 추출(TOF) 회로(146) 및 골격 추출(구조화된 광) 회로(148)의 출력은 사용자에 의해 만들어진 제스처를 검출 및 식별하고 또한 제스처를 디스플레이(100) 및/또는 다른 장치에 사용자 입력으로서 제스쳐를 제공하기 위해 제스처 인식 회로(152)에 제공되며, 그에 디스플레이(100)가 프로세서, 컴퓨터, 태블릿, 전화 등과 같은 것에 결합될 수도 있다. 하나 이상의 실시예에서, 제스처 인식은 미국 특허 US 9,002,058 B2에 개시된 바와 같이 수행될 수도 있으며, 이는 본 명세서에 그 전문을 참고로 인용한다. 도 5에 도시된 제스처 인식 예는 디스플레이(100)와 혼합 모드 심도 검출을 사용하는 단지 일 예이며, 청구된 주제의 범위는 이 관점에서 제한되지 않음을 유의해야 한다. 혼합 모드 심도 검출 및/또는 제스처 인식의 다양한 방법을 도 6과 도 7에 도시하고 그에 관하여 설명한다.
이제 도 6을 참조하여, 하나 이상의 실시예에 따라 혼합 모드 심도 검출을 이용하는 합성 3차원 영상 및 제스처 인식을 생성하는 방법의 흐름도를 설명한다. 도 6은 방법(600)의 동작의 하나의 특정 순서 및 수를 도해하지만, 다른 실시예에서 방법(600)은 다양한 다른 순서에서 더 적은 수의 동작을 포함할 수도 있으며, 청구된 주제의 범위는 이들 관점에서 제한되지 않는다. 블럭(610)에서, 디스플레이(100)의 시야(FOV)(210)는 적외선(IR) 레이저 빔으로 주사될 수도 있다. 블록(612)에서, 반사된 IR 빔이 검출될 수도 있고, 블록(614)에서 거친 심도 맵이 반사된 IR 빔 데이터로부터 얻어질 수도 있다. 하나 이상의 정밀 심도 맵 영역은 거친 심도 맵의 블록(616)에서 식별될 수도 있다. 구조화된 광 영상은 블록(618)에서 식별된 정밀 심도 맵 영역에 묘화될 수도 있고, 식별된 정밀 심도 맵 영역에 대한 영상 데이터는 블록(620)에서 캡처될 수도 있다. 식별된 정밀 심도 맵 영역에 대한 정밀 심도 맵은 블록(622)에서 획득될 수도 있다. 거친 심도 맵 및 정밀 심도 맵으로부터 합성 3차원(3D) 영상이 블록(624)에서 생성될 수도 있다. 블록(626)에서 제스처 인식이 합성 심도 맵에서 수행될 수도 있다.
이제 도 7을 참조하여, 하나 이상의 실시예에 따라 혼합 모드 심도 검출을 이용하는 합성 3차원 영상 및 제스처 인식을 생성하기 위한 대안적인 방법의 흐름도를 설명한다. 도 7은 방법(700)의 동작의 하나의 특정 순서 및 수를 도해하지만, 다른 실시예에서 방법(700)은 다양한 다른 순서에서 더 적은 수의 동작을 포함할 수도 있으며, 청구된 요지의 범위는 이들 관점에서 제한되지 않는다. 블록(710)에서, 디스플레이(100)의 시야(FOV)는 적외선(IR) 레이저 빔으로 주사될 수도 있고, 반사된 IR 빔은 블록(712)에서 검출될 수도 있다. 거친 심도 맵은 블록(714)에서 반사된 IR 빔 데이터로부터 결정될 수도 있다. 시야 내의 하나 이상의 표적은 블록(716)에서, 예를 들어, 거친 심도 맵을 사용하여 식별될 수도 있다. 블록(718)에서 하나 이상의 구조화된 광 영상이 하나 이상의 표적 상에 그려질 수도 있다. 하나 이상의 표적에 대한 영상 데이터는 블록(720)에서 캡처될 수도 있고, 하나 이상의 표적에 대한 정밀 심도 맵은 블록(722)에서 결정될 수도 있다. 합성 3차원(3D) 영상은 블록(724)에서 거친 심도 맵 및 정밀 심도 맵으로부터 생성될 수도 있다. 제스처 인식은 블럭(726)에서 하나 이상의 표적에 대한 합성 심도 맵에서 수행될 수도 있다.
이제 도 8을 참조하여, 하나 이상의 실시예에 따른 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이를 갖는 정보 처리 시스템의 블록도를 설명한다. 정보 처리 시스템(800)은 스마트 폰, 태블릿, 휴대용 게임 장치, 개인용 컴퓨터 등과 같은 여러 타입의 컴퓨팅 플랫폼의 일례를 나타내지만, 정보 처리 시스템(800)은 도 8에 도시된 것보다 더 많은 또는 더 적은 요소들 및/또는 상이한 요소들의 배열들을 포함할 수도 있다. 청구된 주제의 범위는 이들 관점에서 제한되지 않는다. 정보 처리 시스템(800)은 MEMS 레이저 빔 디스플레이(100)를, 예를 들어, 디스플레이 표면 상에 영상을 투영하기 위해 또한 여기에 설명된 바와 같은 혼합 모드 심도 검출 및/또는 제스처 인식을 구현하기 위해 한 프로젝션 디스플레이로서 이용할 수도 있고, 청구된 주제는 이러한 관점에서 제한되지 않는다.
하나 이상의 실시예에서, 정보 처리 시스템(800)은 애플리케이션 프로세서(810) 및 기저 대역 프로세서(812)를 포함할 수도 있다. 애플리케이션 프로세서(810)는 정보 처리 시스템(800)을 위한 애플리케이션 및 다양한 서브 시스템을 실행하기 위한 범용 프로세서로서 이용될 수도 있다. 애플리케이션 프로세서(810)는 단일 코어를 포함할 수도 있고 또는 대안적으로 다수의 프로세싱 코어를 포함할 수도 있는데, 예를 들어, 하나 이상의 코어는 디지털 신호 프로세서 또는 디지털 신호 프로세싱 코어를 포함할 수도 있다. 또한, 애플리케이션 프로세서(810)는 동일한 칩 상에 배치된 그래픽 프로세서 또는 코 프로세서를 포함할 수 있고 또는 대안적으로 애플리케이션 프로세서(810)에 결합된 그래픽 프로세서는 별개의 개별적인 그래픽 칩을 포함할 수도 있다. 애플리케이션 프로세서(810)는 캐시 메모리와 같은 온 보드 메모리를 포함할 수도 있고, 동작 동안 애플리케이션을 저장 및/또는 실행하기 위한 동기식 동적 랜덤 액세스 메모리(SDRAM)(814)와 같은 외부 메모리 장치 및 애플리케이션을 저장하기 위한 NAND 플래시(816) 및/또는 데이터를 처리할 수 있다. 하나 이상의 실시예들에서, 정보 처리 시스템(800) 및/또는 그 구성 요소들 또는 서브 시스템들은 본 명세서에서 설명된 방식으로 동작하도록 동작시키거나 구성하기 위한 명령들은 비 일시적인 저장 매체를 포함하는 제품에 저장될 수도 있다. 하나 이상의 실시예에서, 저장 매체는 본 명세서에 도시되고 설명된 메모리 디바이스 중 임의의 것을 포함할 수도 있지만, 청구된 주제의 범위는 이에 국한되지 않는다. 기저 대역 프로세서(812)는 정보 처리 시스템(800)에 대한 광대역 무선 기능들을 제어할 수도 있다. 기저 대역 프로세서(812)는 그러한 광대역 무선 기능들을 제어하기 위한 코드를 NOR 플래시(818)에 저장할 수도 있다. 기저 대역 프로세서(812)는 광대역 네트워크 신호를 변조 및/또는 복조하기 위해, 예를 들어, 제3 세대(3G) 또는 제4 세대(4G) 네트워크 등이나 또는 예를 들어, 엘티이(Long Term Evolution: LTE) 네트워크를 넘어 통신하기 위해 사용되는 무선 광대역 네트워크(WWAN) 송수신기(820)를 제어한다. WWAN 송수신기(820)는 WWAN 광대역 네트워크를 통해 무선 주파수 신호를 송신 및 수신하기 위해 하나 이상의 안테나(824)에 각각 결합된 하나 이상의 전력 증폭기(822)에 결합된다. 기저 대역 프로세서(812)는 또한 하나 이상의 적절한 안테나(828)들에 결합되고, 또한 Wi-Fi, 블루투스, 및/또는 진폭 변조(AM) 또는 IEEE 802.11 a/b/g/n 표준 등을 포함하는 주파수 변조(FM) 무선 표준을 통해 통신할 수도 있는 무선 근거리 통신망(WLAN) 송수신기(826)를 제어할 수도 있다. 이들은 애플리케이션 프로세서(810) 및 기저 대역 프로세서(812)에 대한 단지 예시적인 구현일 뿐이며, 청구된 주제의 범위는 이들 관점에서 제한되지 않는다는 것을 알아야 한다. 예를 들어, SDRAM(814), NAND 플래시(816) 및/또는 NOR 플래시(818) 중 임의의 하나 이상은 자성 메모리, 칼코겐화물 메모리(chalcogenide memory), 상 변화 메모리 또는 오보닉 메모리(ovonic memory)와 같은 다른 타입의 메모리 기술을 포함할 수 있으며, 청구된 주제는 이 관점에서 제한되지 않는다.
하나 이상의 실시예에서, 애플리케이션 프로세서(810)는 다양한 정보 또는 데이터를 디스플레이 하기 위해 디스플레이(830)를 구동할 수 있으며, 예를 들어, 손가락 또는 스타일러스(stylus)를 통해 터치 스크린(832)을 통해 사용자로부터 터치 입력을 더 수신할 수 있다. 주변 광 센서(834)는 예를 들어, 주변 광 센서에 의해 검출된 주변 광의 강도의 함수로서 디스플레이(830)에 대한 휘도 또는 콘트라스트 값을 제어하기 위해 정보 처리 시스템(800)이 동작하는 주변 광량을 검출하기 위해 이용될 수도 있다. 하나 이상의 카메라(836)는 애플리케이션 프로세서(810)에 의해 처리되고 및/또는 NAND 플래시(816)에 적어도 일시적으로 저장된 영상을 캡처하기 위해 이용될 수도 있다. 또한, 애플리케이션 프로세서는 정보 처리 시스템(800)의 위치, 이동 및/또는 방향을 포함하는 다양한 환경 특성의 검출을 위해 적절한 GPS 안테나(848)에 결합된 자이로스코프(838), 가속도계(840), 자력계(842), 오디오 코더/디코더(CODEC)(844), 및/또는 글로벌 위치 시스템(GPS) 제어기(846)에 결합할 수도 있다. 대안적으로, 제어기(846)는 글로벌 네비게이션 위성 시스템(Global Navigation Satellite System: GNSS) 제어기를 포함할 수도 있다. 오디오 CODEC(844)은 오디오 포트(850)를 통해 예를 들어, 헤드폰 및 마이크로폰 잭을 통해 정보 처리 시스템에 결합된 외부 장치 및/또는 내부 장치를 통해 마이크로폰 입력 및 스피커 출력을 제공하기 위해 하나 이상의 오디오 포트(850)에 결합될 수도 있다. 또한, 애플리케이션 프로세서(810)는 범용 직렬 버스(universal serial bus: USB) 포트, 고화질 멀티미디어 인터페이스(high-definition multimediainterface: HDMI) 포트, 직렬 포트 등과 같은 하나 이상의 I/O 포트(854)에 결합하기 위해 하나 이상의 입/출력(I/O) 송수신기(852)에 결합할 수도 있다. 또한, 하나 이상의 I/O 송수신기(852)는 보안 디지털(secure digital: SD) 카드 또는 가입자 신원 모듈(subscriberidentity module: SEVI) 카드와 같은 선택적인 착탈식 메모리를 위한 하나 이상의 메모리 슬롯(856)에 결합할 수도 있으며, 청구된 주제의 범위는 이러한 관점에서 제한되지 않는다. 하나 이상의 실시예에서, MEMS 레이저 빔 디스플레이(100)는 하나 이상의 I/O 송수신기(852)에 결합될 수도 있고, 또한 정보 처리 시스템(800)의 하우징 내에 통합될 수도 있거나 또는 대안적으로 하우징 외부에 배치될 수도 있으며, 청구된 주제의 범위는 이들 관점에서 제한되지 않는다.
이제 도 9를 참조하여, 하나 이상의 실시예에 따른 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이(100)를 포함하는 정보 처리 시스템의 등대도를 설명한다. 도 9의 정보 처리 시스템(900)은 도 8의 정보 처리 시스템(800)의 실제적인 실시예를 나타낼 수도 있다. 정보 처리 시스템(900)은 셀 폰, 개인 휴대 정보 단말기(personal digital assistants: PDA), 넷북(netbook), 노트북 컴퓨터, 인터넷 브라우징 장치, 태브릿, 패드 등을 포함하는 여러 타입의 컴퓨팅 플랫폼(computing platform) 중 임의의 것을 포함할 수 있으며, 청구된 주제는 이러한 관점에서 제한되지 않는다. 도 9에 도시된 예에서, 정보 처리 시스템(900)은, 본 명세서에서 설명된 바와 같이 MEMS 레이저 빔 디스플레이(100)를 내장하여 예를 들어, 주사 출력 빔(920)을 제공하여, 영상을 투영하고 및/또는 본 명세서에 설명된 바와 같은 혼합 모드 심도 검출기를 제공하는 하우징(housing)을 포함할 수도 있다. 정보 처리 시스템(900)은 선택적으로 디스플레이(912)를 포함할 수도 있으며, 이는 터치 스크린 디스플레이, 키보드(914) 또는 다른 제어 버튼 또는 액츄에이터, 선택적 마이크로폰 입력을 갖는 스피커 또는 헤드폰 잭(916), 제어 버튼(918), 메모리 카드 슬롯(920), 및/또는 입/출력(I/O) 포트(922), 또는 이들의 조합일 수도 있다. 또한, 정보 처리 시스템(900)은 도시된 것 이외의 다른 형성 팩터(form factors) 및 도시된 것보다 적거나 더 많은 특징을 가질 수도 있고, 청구된 주제의 범위는 이들 관점에서 제한되지 않는다.
이제 도 10을 참조하여, 하나 이상의 실시예에 따른 헤드 업 디스플레이(head-up display: HUD)로서 배치된 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이를 포함하는 차량의 도면을 설명한다. 도 10에 도시된 실시예에서, MEMS 레이저 빔 디스플레이(100)는 차량(1010)의 대시 보드와 같은 곳에 배치될 수도 있으며 차량의 운전자 또는 승객이 볼 수도 있는 영상(1020)을 투영할 수도 있다. 도 10은 디스플레이 프로젝터로서 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이(100)의 일 예시적인 배치를 도시하고 있지만, 다른 타입의 배치가 제공될 수도 있으며, 청구된 주제의 범위는 이에 국한되지 않는다.
이제 도 11을 참조하여, 하나 이상의 실시예에 따른 헤드 장착 디스플레이(head-mounted display: HMD)로서 배치된 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이를 포함하는 안경 도면을 설명한다. 도 11에 도시된 실시예에서, MEMS 레이저 빔 디스플레이 빔 스캐너(100)는 안경(1110) 또는 예를 들어, 안경(1110)의 프레임에 부착된 다른 헤드 착용 장치에 배치될 수도 있고, 이는 안경(1110) 착용자에 의해 볼 수도 있는 영상(1120)을 투영할 수도 있다. 도 11은 디스플레이 프로젝터로서 혼합 모드 심도 검출을 이용하는 MEMS 레이저 빔 디스플레이(100)의 일 예시적인 배치를 도시하고 있지만, 다른 타입의 배치가 제공될 수도 있으며, 청구된 주제의 범위는 이에 국한되지 않는다.
비록 청구된 주제가 어느 정도의 특정성을 갖는 것으로 설명되었지만, 청구된 주제의 정신 및/또는 범위를 벗어나지 않고 그 요소가 당업자에 의해 변경될 수도 있음을 인식해야 한다. 혼합 모드 심도 검출 및 이에 수반되는 다수의 유틸리티(utilities)에 관한 주제는 전술한 설명에 의해 이해될 것이며, 다양한 형태의 변경이 청구된 주제의 범위 및/또는 사상으로부터 벗어나지 않고, 또는 그의 모든 물질적 이점을 희생하지 않으면서, 그의 구성 요소들의 형태, 구성 및/또는 배열에서 이루어질 수 있으며, 이전에 설명된 형태는 단지 예시적인 실시예일 뿐 아니라 및/또는 실질적인 변화를 제공하지 않음이 명백할 것이다. 그러한 변경을 포함 및/또는 함축하는 것이 청구범위의 의도이다.

Claims (15)

  1. MEMS 레이저 빔 디스플레이로서,
    상기 MEMS 레이저 빔 디스플레이의 시야 내에 영상을 투영하는 영상 엔진;
    심도 검출의 제1 모드에서 시야 내의 표적까지의 거리를 결정하고 또한 상기 표적의 거친 심도 데이터를 결정하기 위한 비행 시간(time of flight: TOF) 심도 검출기; 및
    심도 검출의 제2 모드에서 상기 표적까지의 거리를 결정하고 또한 상기 표적의 정밀 심도 데이터를 결정하기 위한 구조화된 광 심도 검출기;
    를 포함하는, MEMS 레이저 빔 디스플레이.
  2. 제1항에 있어서,
    상기 거친 심도 데이터와 상기 정밀 심도 데이터의 조합을 사용하여 상기 표적의 합성 3차원(3D) 영상을 생성하는 심도 처리 회로를 더 포함하는, MEMS 레이저 빔 디스플레이.
  3. 제1항에 있어서,
    상기 거친 심도 데이터를 통해 상기 표적의 제스처 영역을 식별하고, 또한 상기 정밀 심도 데이터를 사용하여 상기 제스처 영역 내의 제스처를 식별하는 심도 처리 회로를 더 포함하는, MEMS 레이저 빔 디스플레이.
  4. 제1항에 있어서,
    상기 영상 엔진은 마이크로전자기계 시스템(microelectromechanical system: MEMS) 스캐너 또는 나노 스케일(nanoscale) 스캐너, 또는 이들의 조합을 포함하는, MEMS 레이저 빔 디스플레이.
  5. 제1항에 있어서,
    상기 TOF 심도 검출기는 상기 영상 엔진에 의해 방출되어 상기 표적으로부터 반사된 광의 빔을 검출하고, 상기 검출된 광의 빔 상에서 비행 시간 계산을 통해 상기 표적까지의 거리를 결정하는 광 검출기를 포함하는, MEMS 레이저 빔 디스플레이.
  6. 제1항에 있어서,
    상기 구조화된 광 심도 검출기는, 상기 영상 엔진에 의해 상기 표적 상으로 방출된 구조화된 광 패턴의 반사를 검출하고, 상기 구조화된 광 패턴의 상기 검출된 반사 상의 거리 계산을 통해 상기 표적까지의 거리를 결정하기 위한 카메라를 포함하는, MEMS 레이저 빔 표시 장치.
  7. 제1항에 있어서,
    상기 영상 엔진에 의해 방출된 하나 이상의 구조화된 광 패턴을 상기 표적의 선택된 영역으로 지향시키도록 사용자로부터의 입력을 수신하는 액츄에이터를 더 포함하는, MEMS 레이저 빔 디스플레이.
  8. 제1항에 있어서,
    상기 TOF 심도 검출기에 의해 얻어진 상기 거친 심도 데이터로부터 상기 표적의 골격 모델을 획득하고, 상기 획득된 골격 모델을 사용하여 상기 표적의 하나 이상의 영역을 결정해서 구조화된 광 패턴을 지향시켜 정밀 심도 데이터를 획득하는 심도 처리 회로를 더 포함하는, MEMS 레이저 빔 디스플레이.
  9. 제1항에 있어서,
    상기 영상 엔진은 시야에서 적외선(IR) 빔을 방출할 수 있고, 상기 TOF 심도 검출기는 상기 표적으로부터 상기 적외선(IR) 빔의 반사를 검출하는 IR 광 검출기를 포함하는, MEMS 레이저 빔 디스플레이.
  10. 제1항에 있어서,
    상기 영상 엔진은 상기 표적 상에 가시 구조화된 광 패턴 또는 비가시 구조화된 광 패턴, 또는 이들의 조합을 방출할 수 있고, 상기 구조화된 광 심도 검출기는 상기 표적으로부터 반사된 가시 구조화된 광 패턴 또는 비가시 구조화된 광 패턴, 또는 이들의 조합을 검출하는, MEMS 레이저 빔 디스플레이.
  11. 표적의 3차원 영상을 획득하는 방법으로서,
    상기 표적 상으로 시야 내의 주사 빔을 투영하는 단계;
    상기 표적으로부터 반사된 상기 주사 빔의 반사를 검출하는 단계;
    상기 주사 빔의 반사로부터 상기 표적의 거친 심도 맵을 결정하는 단계;
    정밀 심도 데이터를 획득하기 위해 상기 거친 심도 맵에서 하나 이상의 영역을 식별하는 단계;
    상기 하나 이상의 영역에서 구조화된 광 패턴을 투영하는 단계;
    상기 구조화된 광 패턴의 반사로부터 상기 하나 이상의 영역에서 상기 표적의 정밀 심도 맵을 결정하는 단계; 및
    상기 거친 심도 맵과 상기 정밀 심도 맵의 합성을 사용하여 상기 표적의 3차원 영상을 획득하는 단계;
    를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 주사 빔을 투영하는 단계는 적외선(IR) 빔을 투영하는 단계를 포함하고, 상기 검출하는 단계는 적외선 광 검출기를 사용하여 상기 적외선 빔의 반사를 검출하는 단계를 포함하는, 방법.
  13. 제11항에 있어서,
    상기 거친 심도 맵을 결정하는 단계는 상기 주사 빔의 비행 시간을 계산하는 단계를 포함하는, 방법.
  14. 제11항에 있어서,
    상기 정밀 심도 맵을 결정하는 단계는 상기 하나 이상의 영역으로부터의 상기 구조화된 광 패턴의 반사로부터 심도 정보를 계산하는 단계를 포함하는, 방법.
  15. 제11항에 있어서,
    상기 식별하는 단계는 상기 거친 심도 맵으로부터 상기 표적의 골격 모델을 획득하는 단계를 포함하고, 상기 하나 이상의 영역은 상기 표적의 골격 모델 상에 위치하는, 방법.
KR1020187006676A 2015-09-08 2016-08-03 혼합모드 심도 검출 KR102595996B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/848,128 2015-09-08
US14/848,128 US10503265B2 (en) 2015-09-08 2015-09-08 Mixed-mode depth detection
PCT/US2016/045374 WO2017044204A1 (en) 2015-09-08 2016-08-03 Mixed-mode depth detection

Publications (2)

Publication Number Publication Date
KR20180039674A true KR20180039674A (ko) 2018-04-18
KR102595996B1 KR102595996B1 (ko) 2023-10-30

Family

ID=58190325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187006676A KR102595996B1 (ko) 2015-09-08 2016-08-03 혼합모드 심도 검출

Country Status (6)

Country Link
US (1) US10503265B2 (ko)
EP (1) EP3347738B1 (ko)
JP (1) JP6821200B2 (ko)
KR (1) KR102595996B1 (ko)
CN (1) CN108027441B (ko)
WO (1) WO2017044204A1 (ko)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI694604B (zh) 2015-07-23 2020-05-21 光澄科技股份有限公司 光偵測器
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
CN108028258B (zh) 2015-08-04 2022-06-21 光程研创股份有限公司 锗硅感光设备
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
EP3783656B1 (en) 2015-08-27 2023-08-23 Artilux Inc. Wide spectrum optical sensor
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
IL288771B2 (en) * 2016-03-01 2023-09-01 Magic Leap Inc Depth sensing system
EP3343246A1 (en) * 2016-12-30 2018-07-04 Xenomatix NV System for characterizing surroundings of a vehicle
US10904514B2 (en) 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
JP6894268B2 (ja) * 2017-03-17 2021-06-30 京セラ株式会社 電磁波検出装置、プログラム、および電磁波検出システム
US20230107110A1 (en) * 2017-04-10 2023-04-06 Eys3D Microelectronics, Co. Depth processing system and operational method thereof
CN107071106A (zh) * 2017-04-20 2017-08-18 焦文涛 一种激光测距手机及激光测距方法
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
KR102429877B1 (ko) 2017-07-03 2022-08-05 삼성전자주식회사 하이브리드 2차원 스캐너 시스템과 그 동작방법
US10175489B1 (en) 2017-07-05 2019-01-08 Microsoft Technology Licensing, Llc Compact optical system with MEMS scanners for image generation and object tracking
WO2019041116A1 (zh) * 2017-08-29 2019-03-07 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
CN111263899B (zh) 2017-11-28 2023-11-24 索尼半导体解决方案公司 照明装置、飞行时间系统和方法
TWI788246B (zh) 2018-02-23 2022-12-21 美商光程研創股份有限公司 光偵測裝置
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
CN112236686B (zh) 2018-04-08 2022-01-07 奥特逻科公司 光探测装置
US10854770B2 (en) 2018-05-07 2020-12-01 Artilux, Inc. Avalanche photo-transistor
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
US11187804B2 (en) * 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
CN110554395A (zh) * 2018-05-31 2019-12-10 宁波舜宇车载光学技术有限公司 激光探测系统及其方法
EP3751849A4 (en) * 2018-06-28 2021-03-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. DEPTH PROCESSOR AND THREE-DIMENSIONAL IMAGE DEVICE
WO2020019704A1 (zh) 2018-07-27 2020-01-30 Oppo广东移动通信有限公司 结构光投射器的控制系统和电子装置
US10739189B2 (en) * 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US11473970B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Subpixel apertures for channels in a scanning sensor array
KR102543027B1 (ko) * 2018-08-31 2023-06-14 삼성전자주식회사 3차원 이미지를 획득하기 위한 방법 및 장치
WO2020045770A1 (en) * 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
CN111083453B (zh) * 2018-10-18 2023-01-31 中兴通讯股份有限公司 一种投影装置、方法及计算机可读存储介质
US11353588B2 (en) 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
US11448830B2 (en) 2018-12-12 2022-09-20 Artilux, Inc. Photo-detecting apparatus with multi-reset mechanism
CN109685042A (zh) * 2019-02-03 2019-04-26 同方威视技术股份有限公司 一种三维图像识别装置及其识别方法
US11796642B2 (en) * 2019-03-26 2023-10-24 Infineon Technologies Ag Oversamplng and transmitter shooting pattern for light detection and ranging (LIDAR) system
US11747476B2 (en) * 2019-04-16 2023-09-05 Microvision, Inc. Dynamically interlaced laser beam scanning 3D depth sensing system and method
TWI845706B (zh) 2019-06-19 2024-06-21 美商光程研創股份有限公司 光偵測裝置以及電流再利用方法
WO2021006338A1 (ja) * 2019-07-11 2021-01-14 ローム株式会社 ３次元センシングシステム
JP7510641B2 (ja) 2019-07-11 2024-07-04 ローム株式会社 ３次元センシングシステム
CN110488240A (zh) * 2019-07-12 2019-11-22 深圳奥比中光科技有限公司 深度计算芯片架构
CN110456380B (zh) * 2019-07-31 2021-12-28 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其深度检测方法
US10805549B1 (en) * 2019-08-20 2020-10-13 Himax Technologies Limited Method and apparatus of auto exposure control based on pattern detection in depth sensing system
CN111123625B (zh) * 2019-12-13 2021-05-18 成都极米科技股份有限公司 投影仪及投影方法
US20210239839A1 (en) * 2020-01-30 2021-08-05 Melexis Technologies Nv Depth mapping system and method therefor
IL272450B (en) * 2020-02-03 2021-10-31 Elbit Systems Ltd A system and method for creating 3D maps based on mapping information
US20230384424A1 (en) 2020-10-21 2023-11-30 Sony Semiconductor Solutions Corporation Light emitting device and ranging system
US20220291500A1 (en) * 2021-03-09 2022-09-15 Silicon Light Machines Corporation High Contrast Spatial Light Modulator
CN113238248A (zh) * 2021-04-27 2021-08-10 深圳市安思疆科技有限公司 一种结构光与tof技术融合的3d成像装置
WO2023181308A1 (ja) * 2022-03-24 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント コンピュータシステム、方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
WO2015024871A1 (en) * 2013-08-19 2015-02-26 Basf Se Optical detector

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9600897D0 (sv) 1996-03-07 1996-03-07 Geotronics Ab Avståndmätare
US7538864B2 (en) * 2005-03-24 2009-05-26 Hunter Engineering Company Vehicle wheel alignment system scanned beam imaging sensor
US7609875B2 (en) * 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
DE102008055159A1 (de) 2008-12-29 2010-07-01 Robert Bosch Gmbh Adaptive Winkel- und Leistungsanpassung bei 3D-Mikrospiegel-Lidar
DE102009023896B4 (de) * 2009-06-04 2015-06-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erfassen einer Pflanze
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US10739460B2 (en) 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
CN103003713B (zh) * 2010-09-08 2015-04-01 法罗技术股份有限公司 具有投影器的激光扫描器或激光跟踪器
US9092136B1 (en) * 2011-06-08 2015-07-28 Rockwell Collins, Inc. Projected button display system
CN102831380A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
EP3392876A1 (en) * 2011-09-30 2018-10-24 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9684075B2 (en) 2011-10-27 2017-06-20 Microvision, Inc. Scanning laser time of flight 3D imaging
US9002058B2 (en) 2011-12-01 2015-04-07 Microvision, Inc. Scanned image projection system with gesture control input
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
US8659813B2 (en) 2012-03-12 2014-02-25 Microvision, Inc. Nanoscale integrated beam scanner
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9462255B1 (en) * 2012-04-18 2016-10-04 Amazon Technologies, Inc. Projection and camera system for augmented reality environment
US9052579B1 (en) * 2012-08-01 2015-06-09 Rawles Llc Remote control of projection and camera system
EP2889733A1 (en) * 2012-08-27 2015-07-01 Citizen Holdings Co., Ltd. Information input device
US20140085426A1 (en) * 2012-09-24 2014-03-27 Alces Technology, Inc. Structured light systems with static spatial light modulators
US8913037B1 (en) * 2012-10-09 2014-12-16 Rawles Llc Gesture recognition from depth and distortion analysis
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
US9204121B1 (en) * 2012-11-26 2015-12-01 Amazon Technologies, Inc. Reflector-based depth mapping of a scene
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US8992050B1 (en) * 2013-02-05 2015-03-31 Rawles Llc Directional projection display
US9196067B1 (en) * 2013-03-05 2015-11-24 Amazon Technologies, Inc. Application specific tracking of projection surfaces
US9465484B1 (en) * 2013-03-11 2016-10-11 Amazon Technologies, Inc. Forward and backward looking vision system
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
US20140282224A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
EP2972081B1 (en) 2013-03-15 2020-04-22 Apple Inc. Depth scanning with multiple emitters
KR102150013B1 (ko) * 2013-06-11 2020-08-31 삼성전자주식회사 음향신호를 위한 빔포밍 방법 및 장치
US9363501B2 (en) 2013-07-18 2016-06-07 A. Tron3D Gmbh Combining depth-maps from different acquisition methods
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US9462253B2 (en) * 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
WO2015077455A1 (en) 2013-11-25 2015-05-28 Digimarc Corporation Methods and systems for contextually processing imagery
US20150192677A1 (en) 2014-01-03 2015-07-09 Quanergy Systems, Inc. Distributed lidar sensing system for wide field of view three dimensional mapping and method of using same
US9298994B2 (en) 2014-01-09 2016-03-29 Harman International Industries, Inc. Detecting visual inattention based on eye convergence
DE102014211073A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
DE102014211071A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
US9674415B2 (en) * 2014-12-22 2017-06-06 Google Inc. Time-of-flight camera system with scanning illuminator
US9635231B2 (en) * 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
KR102317329B1 (ko) 2015-01-02 2021-10-26 삼성전자주식회사 광 스캐닝 프로브 및 이를 이용한 3차원 데이터 생성 장치
EP3411660A4 (en) 2015-11-30 2019-11-27 Luminar Technologies, Inc. LIDAR SYSTEM WITH DISTRIBUTED LASER AND MULTIPLE SENSOR HEADS AND PULSED LASER FOR LIDAR SYSTEM

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
WO2015024871A1 (en) * 2013-08-19 2015-02-26 Basf Se Optical detector

Also Published As

Publication number Publication date
CN108027441B (zh) 2021-10-26
EP3347738A1 (en) 2018-07-18
US10503265B2 (en) 2019-12-10
CN108027441A (zh) 2018-05-11
JP2018529124A (ja) 2018-10-04
EP3347738A4 (en) 2018-09-05
JP6821200B2 (ja) 2021-01-27
KR102595996B1 (ko) 2023-10-30
WO2017044204A1 (en) 2017-03-16
EP3347738B1 (en) 2020-11-25
US20170068319A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
KR102595996B1 (ko) 혼합모드 심도 검출
US10102676B2 (en) Information processing apparatus, display apparatus, information processing method, and program
US9846968B2 (en) Holographic bird's eye view camera
EP3191888B1 (en) Scanning laser planarity detection
WO2019227050A1 (en) Programmable pixel array
US11102467B2 (en) Array detector for depth mapping
US10902623B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US10481739B2 (en) Optical steering of component wavelengths of a multi-wavelength beam to enable interactivity
CN112189147B (zh) 一种飞行时间ToF相机和一种ToF方法
US10791282B2 (en) High dynamic range camera assembly with augmented pixels
US20220382064A1 (en) Metalens for use in an eye-tracking system of a mixed-reality display device
US10574938B1 (en) Variable frame rate depth camera assembly
US10791286B2 (en) Differentiated imaging using camera assembly with augmented pixels
US11509803B1 (en) Depth determination using time-of-flight and camera assembly with augmented pixels
CN108141002B (zh) 扫描光束投影仪脉冲激光控制
KR20220148922A (ko) 지리 공간 이미지 표면화 및 선택
EP4198873A1 (en) Sparse rgb filter hardware accelerator
CN117043547A (zh) 混合模式深度成像
KR20220096115A (ko) 전자 장치 및 그의 제어 방법
US20240213746A1 (en) Three-dimensional (3d) compressive sensing based eye tracking
US11709364B1 (en) Addressable crossed line projector for depth camera assembly
EP4318379A1 (en) Sparse color reconstruction using deep neural networks
US10609350B1 (en) Multiple frequency band image display system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant