KR102394600B1 - 주사 레이저 이미지 투영으로 깊이 맵핑을 제공하기 위한 장치 및 방법 - Google Patents

주사 레이저 이미지 투영으로 깊이 맵핑을 제공하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR102394600B1
KR102394600B1 KR1020197005125A KR20197005125A KR102394600B1 KR 102394600 B1 KR102394600 B1 KR 102394600B1 KR 1020197005125 A KR1020197005125 A KR 1020197005125A KR 20197005125 A KR20197005125 A KR 20197005125A KR 102394600 B1 KR102394600 B1 KR 102394600B1
Authority
KR
South Korea
Prior art keywords
scan
scan line
line pattern
laser
depth mapping
Prior art date
Application number
KR1020197005125A
Other languages
English (en)
Other versions
KR20190030743A (ko
Inventor
피. 셀반 비스와나탄
자리 혼카넨
더글라스 알. 웨이드
빈 슈에
Original Assignee
마이크로비젼, 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로비젼, 인코퍼레이티드 filed Critical 마이크로비젼, 인코퍼레이티드
Publication of KR20190030743A publication Critical patent/KR20190030743A/ko
Application granted granted Critical
Publication of KR102394600B1 publication Critical patent/KR102394600B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3164—Modulator illumination systems using multiple light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

이미지 투영과 표면 주사를 결합하는 장치를 설명한다. 일반적으로, 상기 장치 및 방법은 레이저 빔(102)을 생성하기 위해 적어도 하나의 레이저 광원을 사용하고, 상기 레이저 빔을 주사선 패턴으로 반사시키는 주사 미러(104)를 이용한다. 상기 광원은 상기 주사선 패턴의 제1 부분 동안 투영된 이미지 화소들을 선택적으로 생성하고, 상기 주사선 패턴의 제2 부분 동안 깊이 맵핑 펄스들을 선택적으로 생성하도록 제어된다. 투영된 이미지 화소는 투영된 이미지를 생성하는 반면, 깊이 맵핑 펄스는 표면에서 반사 수신되어 각 점에서 측정된 표면 깊이를 나타내는 3차원 지점 클라우드를 생성하기 위해 사용된다. 따라서, 패턴의 각 주사 동안 투영된 이미지 및 표면 깊이 맵 모두가 생성될 수 있다.

Description

주사 레이저 이미지 투영으로 깊이 맵핑을 제공하기 위한 장치 및 방법
주사 레이저 프로젝터에서, 이미지는 주사 미러가 패턴의 변조된 광을 주사할 때 레이저 광원으로부터의 광을 변조함으로써, 생성된 개별 화소를 갖는 패턴으로 레이저 빔을 주사함으로써 투영된다. 깊이 맵핑 센서는 표면의 3D 맵을 생성하기 위해 개발되었으며, 여기서 3D 맵은 표면의 깊이 변화를 나타낸다. 주사 레이저 프로젝터와 깊이 맵핑을 결합하려는 과거의 시도는 전력 제한으로 인해 제약을 받았다. 구체적으로, 주사 레이저 프로젝터는 일반적으로 전력 제한으로 인해 제약을 받는다. 레이저 투영과 레이저 깊이 감지의 결합은 전력 제한에 의해 더욱 제약을 받을 것이다.
더욱이, 일부 이전의 깊이 맵핑 센서는 유연성이 제한되어 있다. 예를 들어, 대표적인 깊이 맵핑 센서들은 특정 해상도로 3D 맵을 생성하는 것으로 제한되어 왔다.
예를 들어, 일부 깊이 맵핑 센서는 표면으로부터 반사된 광을 수신하고 그 수신된 광으로부터 3D 맵을 생성하기 위해 CMOS 이미징 센서를 사용한다. 이러한 깊이 맵핑 센서는 표면에서 반사되어 CMOS 이미징 센서에 의해 수신된 빛에 대한 비행 시간을 결정할 수 있고, 결정된 비행 시간을 사용하여 3D 맵을 생성할 수 있다.
그러나, 이러한 CMOS 이미징 센서는 일반적으로 고정된 수평 및 수직 해상도를 갖는다. 따라서, 그러한 CMOS 이미징 센서를 사용하는 깊이 맵핑 센서는 CMOS 이미징 센서의 수평 및 수직 해상도보다 작거나 같은 해상도를 갖는 3D 맵을 제공하는 것으로 제한된다.
이와 같이, 주사 레이저 프로젝터와 깊이 맵핑을 결합하는 개선된 장치에 대한 필요성이 남아 있다. 또한, 깊이 맵핑을 위한 개선된 장치 및 방법, 특히 개선된 유연성을 갖는 깊이 맵핑에 대한 필요성이 여전히 남아 있다.
도 1은 본 발명의 다양한 실시예에 따른 주사 레이저 프로젝터의 개략도를 나타내며;
도 2는 본 발명의 다양한 실시예에 따른 깊이 맵핑 장치의 개략도를 나타내며;
도 3a, 도 3b, 도 3c 및 도 3d는 본 발명의 다양한 실시예에 따른 수직 주사 패턴 및 래스터 패턴의 그래픽 표현이며;
도 4a 및 도 4b는 본 발명의 다양한 실시예에 따른 수직 주사 패턴 및 래스터 패턴의 그래픽 표현이며;
도 5는 본 발명의 다양한 실시예에 따른 주사 레이저 프로젝터의 개략도를 나타내며;
도 6은 본 발명의 다양한 실시예에 따른 주사 미러를 구비한 마이크로전자기계시스템(MEMS) 장치의 평면도이며;
도 7은 본 발명의 다양한 실시예에 따른 이동 장치의 블록도를 나타내며;
도 8은 본 발명의 다양한 실시예에 따른 이동 장치의 사시도를 나타내며;
도 9는 본 발명의 다양한 실시예에 따른 헤드 업 표시 시스템의 사시도를 나타내며;
도 10은 본 발명의 다양한 실시예에 따른 안경의 사시도를 나타내며;
도 11은 본 발명의 다양한 실시예에 따른 로봇 장치의 사시도를 나타내며; 그리고
도 12는 본 발명의 다양한 실시예에 따른 게임 장치의 사시도를 나타낸다.
본 명세서에 설명된 실시예는 이미지 투영을 표면 주사와 결합하기 위한 장치 및 방법을 제공한다. 구체적으로, 여기에 기술된 실시예는 표면 매핑을 수행하면서 이미지를 투영하는 능력을 제공할 수 있다. 일반적으로, 상기 장치 및 방법은 레이저 빔을 생성하기 위해 적어도 하나의 레이저 광원을 사용하고, 상기 레이저 빔을 주사선 패턴으로 반사시키는 주사 미러(들)를 이용한다. 상기 광원은 상기 주사선 패턴의 제1 부분 동안 투영된 이미지 화소들을 선택적으로 생성하고, 상기 주사선 패턴의 제2 부분 동안 깊이 맵핑 펄스들을 선택적으로 생성하도록 제어된다. 투영된 이미지 화소는 투영된 이미지를 생성하는 반면, 깊이 맵핑 펄스는 표면에서 반사 수신되어 각 지점에서 측정된 표면 깊이를 나타내는 3차원 지점 클라우드를 생성(예: 표면의 깊이 맵을 제공)하기 위해 사용된다. 따라서, 패턴의 각 주사 동안 투영된 이미지 및 표면 깊이 맵 모두가 생성될 수 있다.
이들 실시예에서, 투영된 이미지 화소 및 깊이 맵핑 펄스는 시간적으로 분리되며, 따라서 표면 상의 동일한 위치로 동시에 투영되지 않는다. 이는 주사 레이저 프로젝터가 투영된 이미지 화소와 깊이 맵핑 펄스 모두에서 최대 허용 전력을 이용할 수 있게 한다. 다른 말로 표현하면, 화소 및 펄스가 일시적으로 중첩되지 않기 때문에, 깊이 맵핑 펄스의 생성은 투영된 이미지 화소를 생성하기 위해 사용될 수 있는 전력에 부가적인 제한을 결과하지 않을 것이다. 따라서, 전체 이용 가능한 전력이 이미지 투영에 사용될 수 있고, 이미지 밝기 및 화질은 이미지 투영에 깊이 맵핑 기능을 추가하는 것에 의해 포함되지 않는다. 마찬가지로, 전체 이용 가능 전력은 깊이 맵핑을 위해 사용될 수 있고, 또한 이미지 투영에 사용되는 전력에 의해 제한되지 않는다.
더욱이, 일부 실시예에서, 주사 미러(들)의 움직임은 표면의 결과적인 3차원 지점 클라우드의 특성을 수정하도록 동적으로 조정될 수 있다. 예를 들어, 주사 미러 움직임의 수직 주사 속도, 수직 주사 진폭 및/또는 수직 주사 파형 형상이 동적으로 조정될 수 있다. 주사 미러 움직임의 이러한 조정은 결과적인 3차원 지점 클라우드의 특성을 수정하도록 구성된다. 예를 들어, 주사 미러 움직임을 조정하면 표면의 측정된 깊이를 묘사하는 결과적인 3차원 지점 클라우드의 해상도 또는 데이터 밀도를 수정할 수 있다.
이제 도 1을 참조하면, 주사 레이저 프로젝터(100)의 개략도가 도시되어 있다. 주사 레이저 프로젝터(100)는 화소 구동 생성기(101), 레이저 광원(102), 주사 미러(104), 구동 회로(106) 및 깊이 맵핑 장치(108)를 포함한다. 동작하는 동안, 레이저 광원(102)은 주사 미러(들)(104)에 의해 주사 영역(112) 내의 주사선 패턴(114)으로 반사되는 레이저 빔의 빔을 생성한다. 도 1의 예에서, 주사선의 패턴(114)은 래스터 패턴을 포함한다. 그러나 이것은 단지 일례이며, 다른 실시예에서는 주사선의 다른 패턴이 사용될 때 생성될 수 있다. 예를 들어, 나선형 패턴과 리사쥬 패턴(Lissajous patterns)을 대신 사용할 수 있다. 이를 용이하게 하기 위해, 구동 회로(106)는 주사 미러(들)(104)의 움직임을 제어한다. 구체적으로, 구동 회로(106)는 주사 미러(들)(104)의 움직임을 여기시키기 위한 여기 신호(들)를 제공한다.
이미지 투영을 용이하게 하기 위해, 화소 구동 생성기(101)는 주사선의 패턴(114)의 제1 부분 동안 이미지 화소를 생성하기 위해 화소 데이터로 인코딩된다. 패턴(114)으로 주사될 때, 이들 투영된 이미지 화소는 충격 표면 상에 가시 이미지를 생성한다. 일 실시예에서, 레이저 광원(102)은 투영된 이미지 화소를 생성하기 위해 사용되는 적색, 녹색 및 청색 레이저를 포함한다.
깊이 맵핑을 용이하게 하기 위해, 화소 구동 생성기(101)는 깊이 맵핑을 위한 펄스로 인코딩된다. 일 실시예에서, 레이저 광원(102)은 또한 깊이 맵핑 펄스를 생성하기 위해 사용되는 적외선 레이저를 포함한다. 깊이 맵핑 장치(108)는 표면으로부터 깊이 맵핑 펄스의 반사를 수신하고, 수신된 반사 깊이 맵핑 펄스에 적어도 부분적으로 기초하여 표면의 3차원 지점 클라우드를 생성하도록 구성된다. 예를 들어, 깊이 맵핑 장치(108)는 각각의 수신된 깊이 맵핑 펄스의 복귀에 대한 비행 시간을 계산하도록 구성될 수 있다. 이것으로 부터, 깊이 맵핑 장치(108)는 표면의 3차원 지점 클라우드를 생성할 수 있다.
패턴(114)에서의 레이저 빔의 수평 움직임은 3차원 지점 클라우드 내의 이미지 화소 및/또는 데이터 지점의 행을 정의한다는 것을 주목해야 한다. 패턴(114)에서의 레이저 빔의 수직 움직임은 수직 주사 속도를 규정하고, 따라서 투영된 이미지 및/또는 3차원 지점 클라우드에서의 행들의 수를 결정한다.
전술한 바와 같이, 화소 구동 생성기(101)는 주사선의 패턴(114)의 제1 부분 동안 투영된 이미지 화소를 선택적으로 생성하고, 패턴의 제2 부분 동안 깊이 매핑 펄스를 선택적으로 생성하도록 레이저 광원(102)을 제어한다. 일 실시예에서, 주사선 패턴(114)의 제1 부분은 제1 방향으로 움직이는 주사선을 포함하고, 주사선 패턴(114)의 제2 부분은 제2 방향으로 움직이는 주사선을 포함하며, 여기서 제1 방향과 제2 방향은 반대 방향이다. 예를 들어, 패턴(114)의 제1 부분은 좌측으로 움직이는 수평 주사선을 포함할 수 있고, 패턴(114)의 제2 부분은 우측으로 움직이는 수평 주사선을 포함할 수 있다. 이러한 실시예에서, 주사선의 패턴(114)의 제1 부분 및 래스터 패턴(114)의 제2 부분은 함께 효과적으로 인터레이스된다.
다른 실시예에서, 주사선 패턴(114)의 제1 부분은 활성 표시 기간 동안 생성된 주사선들을 포함하고, 주사선 패턴(114)의 제2 부분은 수직 귀선 기간 동안 생성된 주사선들을 포함한다.
전술한 바와 같이, 주사 미러(들)(104)는 레이저 빔을 반사시키도록 구성되고, 구동 회로(106)는 주사 미러(들)(104)의 움직임을 여기시키기 위한 여기 신호를 제공하도록 구성된다. 구체적으로, 주사 미러(104)가 주사선의 래스터 패턴(114)으로 레이저 빔을 반사시키도록 움직임이 여기된다. 여기에 설명된 실시예에 따르면, 구동 회로(106)는 결과적인 투영된 이미지 및/또는 표면의 3차원 지점 클라우드의 특성을 수정하기 위해 주사 미러(들)(104)의 움직임을 동적으로 조정하도록 구성된다.
하나의 구체 실시예에서, 구동 회로(106)는 주사 미러(104) 움직임의 수직 주사 속도를 동적으로 감소시켜서 투영된 이미지 및/또는 표면의 3차원 지점 클라우드에서 증가된 수직 해상도를 제공하도록 구성된다.
이제 도 2를 참조하면, 깊이 맵핑 장치(200)의 보다 상세한 실시예가 도시되어 있다. 도 2에서, 깊이 맵핑 장치(200)는 광학 센서(202) 및 프로세서(204)를 포함한다. 일반적으로, 광학 센서(202)는 표면으로부터 반사된 레이저 빔을 수신하고 수신된 레이저 빔 반사에 비례하는 신호를 생성하도록 구성된다. 이들 신호는 프로세서(204)로 전달된다. 일부 실시예에서, 이들 신호는 프로세서(204)에 송신되기 전에 필터링, 합성 또는 다른 방식으로 처리될 수 있는 반면, 다른 실시예에서는 프로세서(204)에 의해 처리될 수 있다. 프로세서(204)는 또한 광원(예, 레이저 광원(102))으로부터 광 타이밍 데이터를 수신한다. 이 광 타이밍 데이터는 표면에 투영된 깊이 매핑 펄스의 타이밍을 묘사한다. 마찬가지로, 프로세서(204)는 구동 회로(예, 구동 회로(106))로부터 미러 위치 데이터를 수신한다. 미러 위치 데이터는 각 깊이 맵핑 펄스와 관련된 미러의 위치를 묘사한다. 프로세서(204)는 광학 센서(202)로부터 신호를 수신하고, 광 타이밍 데이터 및 미러 위치 데이터를 수신하여, 표면의 3차원 지점 클라우드를 생성한다.
일 실시예에서, 레이저 광원(102)은 표면 위의 패턴(예, 래스터 패턴) 주사 동안 적외선 레이저 빔의 펄스를 생성하도록 구성될 수 있다. 적외선 레이저 빔의 각 펄스는 표면에서 반사되어 광학 센서(202)에 의해 수신되고, 반사된 레이저 빔의 각 펄스는 3차원 지점 클라우드 내의 한 지점에 대응할 수 있다. 이러한 실시예에서, 광학 센서(202)는 임의의 적절한 센서를 포함할 수 있다. 예를 들어, 광학 센서(202)는 실리콘 포토 다이오드 및 애벌런치 포토 다이오드를 포함하여 적외선에 민감하도록 구현된 적합한 포토 다이오드로 구현될 수 있다. 다른 실시예에서, 광학 센서(202)는 실리콘 광전자 증배기 또는 광전자 증배관으로 구현될 수 있다. 마지막으로 일부 실시예에서, 가시광 레이저를 포함하여 펄스를 생성하기 위해 다른 유형의 레이저가 사용될 수도 있다는 것을 알아야 한다.
프로세서(204)는 광학 센서(202)에 연결되어 표면 깊이를 묘사하는 3차원 지점 클라우드를 생성한다. 일 실시예에서, 프로세서(204)는 광학 센서에 의해 반사되어 반사된 각각의 펄스에 대한 비행 시간을 계산함으로써 3차원 지점 클라우드를 생성한다. 구체적으로, 각 펄스가 광원으로부터 표면으로 움직여 광학 센서(202)로 되돌아가는 비행 시간은 광 타이밍 데이터 및 광학 센서(202)로부터의 신호에 의해 적어도 부분적으로 결정될 수 있다. 각 펄스에 대응하는 표면 상의 위치는 미러 위치 데이터로부터 적어도 부분적으로 결정될 수 있다. 각 펄스의 비행 시간은 그 지점에서 표면까지의 거리에 비례하므로, 비행 시간은 반사 지점에서 표면 깊이를 계산하기 위해 사용될 수 있다. 그리고 래스터 패턴 주사의 각 점에서 결정된 표면 깊이의 합성이 이루어지면, 결과적인 컨텐츠는 주사된 표면의 표면 깊이를 묘사하는 3차원 지점 클라우드를 제공할 수 있다.
이를 용이하게 하기 위해, 프로세서(204)는 임의의 적합한 유형의 처리 시스템 또는 장치로 구현될 수 있다. 예를 들어, 프로세서(204)는 메모리에 로딩되고 하드웨어 상에서 실행되는 소프트웨어 구현된 프로그램으로 구현될 수 있으며, 하드웨어는 그러한 프로그램을 실행하도록 설계된 집적회로를 이용한다. 다른 실시예에서, 프로세서(204)는 하드웨어로 단독으로 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 예를 들어, 프로세서(204)는 이 특정 응용을 위해 설계된 응용 주문형 집적회로(ASIC: application-specific integrated circuit) 또는 컴퓨팅 장치에서 처리 기능을 공통으로 제공하는 범용 중앙 처리 장치(CPU)를 포함하도록 구현될 수 있다. 게다가, SoC(System on Chip) 프로세서는 다양한 시스템 구성 요소를 단일 통합 장치에 통합할 수 있으며, 디지털, 아날로그, 광학 및 기타 기능을 단일 반도체 기판에 포함할 수도 있다.
전술한 바와 같이, 주사 레이저 프로젝터의 동작 중에, 주사선의 패턴(예, 도 1에 도시된 바와 같은 래스터 패턴)을 생성하기 위해, 주사선 미러(들)로부터 레이저 빔이 반사된다. 이 주사선의 래스터 패턴은 부분적으로 투영된 이미지의 해상도 및/또는 주사의 해상도 및 표면 깊이를 묘사하는 결과적인 3차원 지점 클라우드를 결정한다. 일반적으로 래스터 패턴의 "저속축"은 수직축인 반면, "고속축"은 수평축이며, "수직" 및 "수평"이라는 용어는 주사 레이저 프로젝터의 방향에 의해 결정되므로 문맥에서 본질적으로 임의적이다. 이러한 래스터 패턴을 생성하기 위해, 미러의 수직 주사 움직임은 상대적으로 저속 톱니형 패턴을 따르고, 수평 주사 움직임은 상대적으로 고속 정현파형 패턴을 따른다.
레이저 광원은 래스터 패턴의 제1 부분 동안 투영된 이미지 화소를 선택적으로 생성하고, 래스터 패턴의 제2 부분 동안 깊이 맵핑 펄스를 선택적으로 생성하도록 제어된다. 일 실시예에서, 이들 제1 및 제2 부분은 반대 방향으로 움직이는 주사선을 포함할 수 있다. 이제 도 3a를 참조하면, 래스터 패턴(300)의 단순화된 예시 부분이 도시되어 있다. 또한, 도 3a에는 투영된 이미지 화소(흰색 점으로 표시)와 깊이 맵핑 펄스(검은 점으로 표시)가 도시되어 있다. 도 3a는 스케일에 따라 그려지지 않았고, 전형적인 래스터 패턴은 더 많은 수평 주사선 및 더 많은 이미지 화소 및/또는 맵핑 펄스를 포함할 것임을 알아야 한다. 맵핑 펄스에 대한 이미지 화소의 비율은 변경될 수 있음도 또한 알아야 한다. 예를 들어, 다른 실시예에서 맵핑 펄스에 대한 동일한 수의 이미지 화소가 사용될 수 있다. 또 다른 실시예에서, 맵핑 펄스에 대한 이미지 화소의 더 큰 비율이 사용될 수 있다.
도 3a에 도시된 바와 같이, 투영된 이미지 화소는 한 방향(즉, 제1 부분)으로 움직이는 수평 주사선 동안 투영되고, 깊이 맵핑 펄스는 제2 방향(즉, 제2 부분)으로 움직이는 수평 주사선 동안 투영되고, 여기서 제2 방향은 제1 방향과 반대이다. 달리 말하면, 투영된 이미지 화소가 생성되는 주사선은 깊이 맵핑 펄스가 생성되는 주사선과 교차(interlace)된다.
이 예에서, 결과적인 투영된 이미지의 유효 수직 해상도는 모든 수평 주사선을 사용하여 투영된 이미지에 비해 절반으로 감소된다는 것을 주목해야 한다. 마찬가지로, 결과적인 3차원 지점 클라우드의 수직 해상도는 모든 수평 주사선을 사용하여 그러한 지점 클라우드를 생성하는 주사에 비해 절반으로 감소한다. 그러나, 아래에 설명되는 바와 같이, 수평 주사선의 수는 수직 주사 속도를 수정함으로써 수정될 수 있다.
도 3a는 투영된 이미지 화소를 갖는 개별적인 주사선이 깊이 맵핑 펄스를 갖는 개별적인 주사선과 교대하는 예시적인 래스터 패턴(300)을 나타내며, 이것은 단지 하나의 예이며, 다른 구현예가 가능함을 알아야 한다. 예를 들어, 래스터 패턴(300)은 투영된 이미지 화소의 다수의 주사선 및/또는 깊이 맵핑 펄스의 다수의 주사선을 함께 가지도록 변형될 수 있으며, 따라서 상이한 패턴으로 교호할 수 있다. 하나의 구체예로서, 래스터 패턴(300)은 래스터 패턴(300)에 대해 2-1-2-1 배열로 반복하는, 깊이 맵핑 펄스들의 하나의 주사선이 뒤따르는 투영된 이미지 화소들의 2개의 주사선을 갖도록 수정될 수 있다. 다른 상세한 예로서, 래스터 패턴(300)은 2-2-2-2, 4-1-4-1 또는 3-2-3-2의 배열을 갖도록 수정될 수 있다. 이들 각각의 변형은 투영된 이미지 및/또는 3차원 지점 클라우드에 대해 상이한 해상도 레벨을 제공할 수 있으며, 일부 실시예에서는 바람직할 수도 있다. 고르지 않은 분포를 갖는 일부 패턴은 이미지 아티팩트(artifacts)로 결과할 수 있지만, 이러한 아티팩트는 연속 프레임에서 맵핑 펄스로 개별 이미지 화소를 교체하거나 교대로 바꾸는 것에 의해 제한될 수 있음에 유의해야 한다.
전술한 바와 같이, 래스터 패턴의 수평 주사선의 수는 수직 주사 속도를 수정함으로써 수정될 수 있다. 이제 도 3b를 참조하면, 제1 수직 주사 패턴(302), 제1 래스터 패턴(304), 수정된 수직 주사 패턴(306) 및 수정된 래스터 패턴(308)이 도시되어 있다. 이러한 예들에서, 수직 주사 패턴들(302 및 306)은 상대적으로 짧은 수직 귀선 기간(톱니형 패턴의 가파른 하향 경사 부분 동안 발생함) 및 상대적으로 긴 활성 표시 기간(톱니 패턴의 상대적으로 얕은 상향 경사 부분 동안 발생함)을 포함한다. 이러한 실시예에서, 래스터 패턴(304 및 308)은 활성 표시 기간 동안 생성되고, 상대적으로 짧은 수직 귀선 기간은 각 래스터 패턴 후에 미러를 원래의 수직 위치로 복귀시키기 위해 사용된다.
일반적으로, 이들 그래프는 수직 주사 속도의 동적 감소가 수직 해상도를 증가시키기 위해 어떻게 사용될 수 있는지를 도시하고 있다. 구체적으로, 수직 주사 속도의 이러한 감소는 수평선의 수를 증가시킬 수 있고, 따라서 투영된 이미지의 해상도 및/또는 표면의 결과적인 3차원 지점 클라우드를 증가시키기 위해 사용될 수 있다.
구체적으로, 제1 수직 주사 패턴(302)은 상대적으로 고속 톱니형 패턴이고, 이 상대적으로 고속 패턴은 제1 래스터 패턴(304)으로 결과한다. 반대로, 수정된 수직 주사 패턴(306)은 상대적으로 저속 톱니형 패턴이고, 상대적으로 저속 패턴은 제2 래스터 패턴(308)으로 결과한다. 도 3b에 도시된 바와 같이, 수직 주사 속도를 상대적으로 저속 톱니 패턴으로 감소시키면, 결과적인 래스터 패턴의 수평선들 사이의 간격이 줄어든다. 이러한 감소된 간격은 주어진 수직 거리에 대해 더 많은 수평 주사선으로 결과하고, 따라서 주사의 수직 해상도 및 수직 데이터 밀도를 증가시킨다. 반대로 수평선 사이의 간격이 증가하면, 주어진 수직 거리에 비해 수평 주사선이 줄어들어 주사의 수직 해상도가 감소한다.
수평선의 수를 증가시키기 위해 수직 주사 속도를 감소시키는 것은 깊이 매핑에 사용되는 주사선을 보상할 수 있다. 구체적으로, 수평선의 수의 이러한 증가(도 3a에 도시된 바와 같이)가 투영된 이미지 화소 및 깊이 맵핑 펄스의 교대선과 결합될 때, 그러한 기술은 투영된 이미지의 해상도 및/또는 깊이 맵핑 주사를 유지하면서 각 프레임에서 이미지 투영 및 깊이 맵핑 모두를 제공할 수 있다. 물론, 수직 주사 속도의 이러한 감소는 또한 투영된 이미지의 프레임 속도를 감소시킬 것이고, 따라서 이것은 모든 응용에 바람직하지 않을 수 있다.
따라서, 여기에 설명된 실시예에 따르면, 구동 회로(예, 구동 회로(106))는 결과적인 투영된 이미지 및/또는 표면의 3차원 지점 클라우드의 수직 해상도를 증가시키기 위해 수직 주사 속도를 선택적으로 감소시키도록 구성될 수 있다. 반대로, 구동 회로는 결과적인 투영된 이미지 및/또는 3차원 지점 클라우드의 수직 해상도를 감소시키기 위해 수직 주사 속도를 선택적으로 증가시키도록 구성될 수 있다.
다시 레이저 광원은 래스터 패턴의 제1 부분 동안 투영된 이미지 화소를 선택적으로 생성하고, 래스터 패턴의 제2 부분 동안 깊이 맵핑 펄스를 선택적으로 생성하도록 제어된다. 다른 실시예에서, 이들 제1 및 제2 부분은 수평 주사선에 교호 위치를 포함할 수 있다. 이제 도 3c를 참조하면, 래스터 패턴(300)의 간략화된 예시적인 부분이 도시되어 있으며, 투영된 이미지 화소는 다시 백색 점들로 식별되고, 깊이 맵핑 펄스는 흑색 점들로 다시 식별된다. 다시, 도 3c는 스케일링되지 않고, 전형적인 래스터 패턴은 더 많은 수평 주사선 및 더 많은 이미지 화소 및/또는 맵핑 펄스를 포함할 것이다.
도 3c에 도시된 바와 같이, 투영된 이미지 화소는 수평 주사선에서 깊이 맵핑 펄스와 번갈아 나타난다. 다른 말로 말하면, 투영된 이미지 화소는 수평 주사선에서 깊이 맵핑 펄스와 교차된다.
도 3c는 개개의 투영된 이미지 화소가 개별 깊이 맵핑 펄스와 번갈아 나타나는 예시적인 래스터 패턴(320)을 도시하지만, 이는 단지 일례이며 다른 구현예도 가능함을 알아야 한다. 예를 들어, 래스터 패턴(300)은 다수의 연속 화소 및/또는 펄스를 갖도록 수정될 수 있다. 따라서, 투영된 이미지 화소 및 깊이 맵핑 펄스는 상이한 패턴으로 번갈아 나타날 수 있다. 하나의 구체예로서, 래스터 패턴(300)은 래스터 패턴(320)을 각 수평선에 걸쳐 3-1-3-1 배열로 반복하면서 하나의 매핑 펄스가 뒤따르는 3개의 이미지 화소를 갖도록 수정될 수 있다. 다른 상세한 예로서, 래스터 패턴(300)은 2-2-2-2, 4-1-4-1 또는 3-2-3-2의 화소/펄스 배열을 갖도록 수정될 수 있다. 다시, 이들 각각의 변형은 투영된 이미지 및/또는 3차원 지점 클라우드에 대해 상이한 해상도 레벨을 제공할 수 있으며, 일부 실시예에서는 바람직할 수 있다. 분포가 불규칙한 일부 패턴은 이미지 아티팩트(artifacts)를 유발할 수 있지만, 연속 아티팩트는 연속적인 프레임에서 맵핑 펄스를 사용하여 개별 이미지 화소를 교체(swapping) 하거나 교번(alternating)함으로써 제한될 수 있다.
이 예에서, 결과적인 투영된 이미지의 유효 수평 해상도는 투영된 이미지 화소만이 생성되는 구현예와 비교하여 감소될 수 있음을 주목해야 한다. 이러한 감소를 보상하기 위해 수평 주사 진폭을 조정할 수도 있다.
이제 도 3d 를 참조하면, 제1 래스터 패턴(322) 및 수정된 래스터 패턴(324)이 도시되어 있다. 또한, 제1 래스터 패턴(322)의 확장된 부분(326) 및 변형된 래스터 패턴(324)의 확장된 부분(328)이 도시되어 있다. 확장된 부분(326) 및 확장된 부분(328)은 모두 예시적인 투영된 이미지 화소(330) 및 깊이 맵핑 펄스(332)를 나타낸다. 다시, 이러한 예시적인 특징들은 단지 도시한 것일 뿐이며 반드시 실제 크기로 그려지는 것은 아니라는 점에 유의해야 한다.
일반적으로, 이들 그래프는 수평 주사 진폭의 동적 감소가 어떻게 투영된 이미지 및/또는 표면의 3차원 지점 클라우드에서 수평 해상도 및 수평 데이터 밀도를 증가시킬 수 있는지를 나타낸다. 구체적으로, 수평 주사 진폭의 감소는 레이저 광원이 표면에 충돌할 때 생성되는 펄스와 인접 화소 사이의 간격을 감소시키게 된다. 또한, 수평 주사 진폭의 감소는 투영된 이미지의 시야 및 투영된 이미지의 투사 속도를 감소시킬 것이라는 점에 유의해야 한다. 따라서, 일부 실시예에서, 투영된 이미지의 종횡비를 유지하기 위해 수평 및 수직 방향 모두에서 진폭에 유사한 변화를 수행하는 것이 바람직할 수도 있다.
구체적으로, 제1 래스터 패턴(322)은 상대적으로 큰 수평 진폭을 가지며, 이 수평 진폭은 화소와 펄스간의 간격을 상대적으로 넓게 한다. 반대로, 변형된 래스터 패턴(324)은 상대적으로 작은 수평 진폭을 가지며, 동일한 화소 속도를 가정하면, 이 상대적으로 작은 진폭은 화소와 펄스간의 간격을 상대적으로 가깝게 한다.
전술한 바와 같이, 일부 실시예에서, 주사선의 래스터 패턴의 제1 부분은 활성 표시 기간 동안 생성된 주사선을 포함하고, 주사선의 래스터 패턴의 제2 부분은 수직 귀선 기간 동안 생성된 주사선을 포함한다. 이제 도 4a를 참조하면, 예시적인 수직 주사 패턴(400)이 도시되어 있다. 수직 주사 패턴(400)은 활성 표시 기간(402) 및 수직 귀선 기간(404)을 포함한다. 구체적으로, 수직 주사 패턴(400)은 상대적으로 긴 활성 표시 기간(402) 및 상대적으로 짧은 수직 귀선 기간(404)을 갖는 톱니형 패턴이다. 이 때문에, 이러한 톱니형 패턴은 전형적으로 활성 표시 기간(402) 동안 투영된 이미지를 생성하기 위해 사용되며, 상대적으로 짧은 수직 귀선 기간(404)은 미러를 원래의 수직 위치로 복귀시키기 위해 사용된다.
그러나, 설명된 실시예에서, 상대적으로 짧은 수직 귀선 기간(404)은 또한 표면의 3차원 지점 클라우드를 생성하기 위해 사용될 수 있다. 따라서, 투영된 이미지 화소는 활성 표시 부분(402) 동안 생성될 수 있고, 수직 귀선 기간 동안 깊이 맵핑 펄스가 생성될 수 있다. 그러나, 활성 표시 기간(402)은 수직 귀선 기간(404)보다 훨씬 길기 때문에, 결과적인 래스터 패턴은 깊이 맵핑 펄스들의 행들의 수에 비해 이미지 화소들의 더 많은 행들을 포함할 것이다.
도 4b를 참조하면, 예시적인 래스터 패턴(410)이 도시되어 있다. 래스터 패턴(410)은 활성 표시 기간 동안 생성된 래스터 패턴(412)의 제1 부분 및 수직 귀선 기간 동안 생성된 래스터 패턴(414)의 제2 부분을 나타낸다. 다시 이 예에서, 투영된 이미지 화소는 래스터 패턴(412)의 제1 부분 동안 생성될 수 있고, 깊이 맵핑 펄스는 래스터 패턴(414)의 제2 부분 동안 생성될 수 있다. 도 4b에서 알 수 있는 바와 같이, 래스터 패턴(412)의 제1 부분은 래스터 패턴(414)의 제2 부분보다 많은 수평 행을 갖는다. 따라서, 투영된 이미지는 상대적으로 높은 수직 해상도를 갖는 반면, 생성된 3차원 지점 클라우드는 상대적으로 낮은 수직 해상도를 가질 것이다.
이제 도 5를 참조하면, 주사 레이저 프로젝터(700)의 개략도가 도시되어 있다. 주사 레이저 프로젝터(700)는 본 발명의 다양한 실시예에 따라 사용될 수 있는 시스템 유형의 더욱 상세한 예이다. 구체적으로, 주사 레이저 프로젝터(700)는 레이저 깊이 주사 및 레이저 이미지 투영을 제공하도록 구현될 수 있다. 주사 레이저 프로젝터(700)는 이미지 프로세싱 구성 요소(702), 화소 구동 생성기(704), 적외선 레이저 모듈(705), 적색 레이저 모듈(706), 녹색 레이저 모듈(708) 및 청색 레이저 모듈(710)을 포함한다. 이러한 실시예에서 적색, 녹색 및 청색 광은 이미지 투영을 위해 사용될 수 있는 반면, 적외선 광은 깊이 주사를 위해 사용될 수 있다. 주사 레이저 프로젝터(700)는 또한 절첩 미러(718), 구동 회로(720), 주사 미러(724)를 갖는 MEMS 장치(722) 및 깊이 맵핑 장치(740)를 포함한다. 다양한 레이저 모듈로부터의 출력을 조합하기 위한 이러한 도시된 배치는 단지 일례의 구현예이며, 상이한 파장의 레이저 빔을 코밍(combing)하기 위한 상이한 기술을 사용하는 다른 구현예가 대신 사용될 수 있다는 것을 알아야 한다.
동작 시, 이미지 처리 구성 요소(702)는 출력 화소가 화소 구동 생성기(704)에 의해 표시될 각 주사 위치에 대한 적절한 공간 이미지 컨텐츠를 결정하기 위해 2차원 보간 알고리즘을 사용할 때 비디오 컨텐츠를 처리한다. 예를 들어, 비디오 컨텐츠는 임의 해상도(예: 640x480, 848x480, 1280x720 및 1920x1080)에서의 화소 그리드를 나타낼 수도 있다. 입력 광 강도 인코딩은 전형적으로 8, 10, 12 비트 이상의 해상도로 광 강도를 나타낸다.
이 컨텐츠는 레이저로부터의 출력 세기가 입력 이미지 컨텐츠와 일치하도록 적색, 녹색 및 청색 레이저 소스 각각에 대해 명령된 전류로 맵핑된다. 일부 실시예에서, 이 프로세스는 150MHz를 초과하는 출력 화소 속도에서 발생한다. 레이저 빔은 초고속 짐벌 장착 2차원 2축 레이저 주사 미러(724) 상으로 지향된다. 일부 실시예에서, 이 2축 주사 미러는 MEMS 프로세스를 사용하여 실리콘으로 제조된다. 수직 회전축은 준 정적으로 동작하며 수직 톱니형 래스터 궤적을 생성한다. 수직축은 저속 주사축이라고도 한다. 수평축은 주사 미러의 공진 진동 모드에서 동작한다. 일부 실시예에서, MEMS 장치는 MEMS 다이 및 영구 자석의 작은 서브 어셈블리 및 전기 인터페이스를 포함하는 소형 어셈블리를 사용하여 달성되는 전자기 동작을 사용하지만, 다양한 실시예는 이에 국한되지 않는다. 예를 들어, 일부 실시예는 정전기 또는 압전 동작을 이용한다. 본 발명의 범위를 벗어나지 않으면서 임의 수의 미러 및 미러 구동 유형이 채용될 수 있다.
일부 실시예에서, 수평축은 공진 모드로 구동되며, 일반적으로 고속-주사축으로 지칭된다. 일부 실시예에서, 래스터 패턴(726)은 수평축 상의 정현파 성분 및 수직축 상의 톱니파 성분을 결합함으로써 형성된다. 이들 실시예에서, 출력 빔(728)은 정현파 패턴에서 좌우로 왕복하고, 플라이 백(아래에서 위) 동안 표시가 소거된 톱니형 패턴으로 수직(위에서 아래)으로 스위프한다.
도 5는 빔이 수직으로 위에서 아래로 스위프할 때의 정현 패턴을 도시하지만, 아래에서 위로 플라이 백을 나타내지는 않음을 알아야 한다. 다른 실시예에서, 수직 스위프는 플라이 백이 존재하지 않도록 삼각파로 제어된다. 또 다른 실시예에서, 수직 스위프는 정현적이다. 본 발명의 다양한 실시예는 수직 및 수평 스위프 또는 결과적인 래스터 패턴(726)을 제어하기 위해 사용되는 파형에 의해 제한되지 않는다.
구동 회로(720)는 MEMS 장치(722)에 구동 신호를 제공한다. 구동 신호는 고속 주사축 상에서 주사 미러(724)의 공진각 움직임을 제어하기 위한 여기 신호를 포함하고, 또한 저속 주사축 상에서 편향을 일으키는 저속 주사 구동 신호를 포함한다. 고속 및 저속 주사축 모두에서 결과적인 미러 편향은 출력 빔(728)이 이미지 영역(730)에서 래스터 주사(726)를 생성하게 한다. 동작 시, 레이저 광원은 각 출력 화소에 대해 광 펄스를 생성하고, 주사 미러(724)는 빔(728)이 래스터 패턴(726)을 가로지를 때 광 펄스를 반사시킨다. 구동 회로(720)는 또한 MEMS 장치(722)로부터 피드백 신호를 수신한다. MEMS 장치(722)로부터의 피드백 신호는 미러의 최대 편향각을 기술할 수 있으며, 여기서는 피드백 신호의 진폭이라고도 한다. 이 피드백 신호는 구동 회로(720)에 제공되고, 구동 회로(720)에 의해 주사 미러(724)의 움직임을 정확하게 제어하기 위해 사용된다.
동작 시, 구동 회로(720)는 피드백 신호의 진폭이 일정하도록 주사 미러(724)의 공진 움직임을 여기시킨다. 이는 래스터 패턴(726)에 도시된 바와 같이 고속-주사축 상에 일정한 최대 각도 편향을 제공한다. 주사 미러(724)의 공진 움직임을 여기시키기 위해 사용되는 여기 신호는 진폭 및 위상 모두를 포함할 수 있다. 구동 회로(720)는 피드백 신호 진폭을 실질적으로 일정하게 유지하기 위해 여기 신호 진폭을 수정하는 피드백 회로(들)를 포함한다. 부가적으로 구동 회로(720)는 래스터 패턴(726)의 수평 위상 정렬 및 수직 위치를 제어하기 위해 여기 신호를 수정할 수 있다.
구동 회로(720)는 깊이 주사 동안 주사 미러(724)의 움직임을 동적으로 조정하여 표면의 결과적인 3차원 지점 클라우드의 특성을 수정하도록 또한 구성된다. 예를 들어, 구동 회로(720)는 이미지 투영을 위한 제1 부분과 깊이 주사를 위한 제2 부분을 갖는 래스터 패턴을 생성하도록 주사 미러(724)를 구동하도록 구성될 수 있다. 부가적으로. 구동 회로(720)는 수평 주사 속도, 수평 주사 진폭, 수직 주사 속도, 수직 주사 진폭 및/또는 주사 미러 움직임의 수직 주사 파형 형상의 동적 조정을 제공하도록 구성될 수 있다. 전술한 바와 같이, 주사 미러(724)의 이러한 조정은 결과적인 투영된 이미지 및/또는 3차원 지점 클라우드의 특성을 수정한다.
이를 용이하게 하기 위해, 구동 회로(720)는 하드웨어, 프로그램 가능 프로세서 또는 임의의 조합으로 구현될 수도 있다. 예를 들어, 일부 실시예에서, 구동 회로(720)는 주문형 집적회로(ASIC)로 구현된다. 또한, 일부 실시예에서, 더 높은 고속 데이터 경로 제어의 일부는 ASIC에서 수행되고, 전체 제어는 소프트웨어 프로그램 가능 마이크로 프로세서에 의해 제공된다.
다음으로, 도 5는 깊이 스캐닝을 위한 레이저 광(예, 적외선 레이저 모듈(705)로부터의 광) 및 동일한 투영 영역(730)으로 투영된 이미지 투영을 위한 레이저 광(예, 적색 레이저 모듈(706), 녹색 레이저 모듈(708) 및 청색 레이저 모듈(710)로부터의 레이저 광) 모두를 도시하며, 이는 단지 예시적인 구현예임을 알아야 한다. 다른 실시예에서, 깊이 맵핑을 위한 레이저 광 펄스는 하나의 필드 또는 영역으로 지향될 수 있는 반면, 이미지 투영을 위한 화소는 다른 필드 또는 영역으로 지향된다. 펄스 또는 화소의 이러한 재지향은 파장 종속 광학 요소의 사용을 통해 달성될 수 있으며, 여기서 이 파장 종속 광학 요소는 일부 구성 요소 파장의 광을 제1 영역으로 지향시키고, 다른 구성 요소 파장의 광을 다른 영역으로 지향시키도록 구성된다. 이들 파장 종속적인 구성 요소는 다양한 빔 분리기 및 이들의 다양한 조합을 포함하는 투과 및 반사 구성 요소 모두를 포함할 수 있다. 이러한 기술은 이미지가 다른 영역으로 투영되는 동안 한 영역에서 깊이 매핑이 수행되도록 한다.
도 5는 단일 MEMS 장치(722) 및 단일 주사 미러(724)를 갖는 실시예를 도시하며, 이는 단지 하나의 예시적인 구현예임을 알아야 한다. 다른 예로서, 주사 레이저 프로젝터는 하나의 축을 따라 편향되도록 구성된 하나의 미러 및 제1 축에 거의 수직인 제2 축을 따라 편향되도록 구성된 다른 미러를 갖는 2개의 주사 미러를 포함하는 주사 미러 어셈블리로 대신 구현될 수 있다.
이러한 실시예는 제2 MEMS 장치, 제2 주사 미러, 및 제2 구동 회로를 포함할 수 있다. 제1 주사 미러는 수평 주사 움직임을 생성하도록 구성될 수 있고, 제2 주사 미러는 수직 움직임을 생성하도록 구성될 수 있다. 따라서, 하나의 주사 미러의 움직임은 수평 주사 진폭을 결정하고, 다른 주사 미러의 움직임은 수직 주사 진폭을 결정한다.
최종적으로, 적색, 녹색, 청색 및 적외선 레이저 광원이 도 5에 도시되어 있지만, 다양한 실시예는 레이저 광원에 의해 방출되는 광의 파장에 의해 제한되지 않는다.
본 명세서에 설명된 실시예들에 따라, 화소 구동 생성기(704)는 주사선들의 래스터 패턴의 제1 부분 동안 투영된 이미지 화소들을 선택적으로 생성하고, 주사선의 래스터 패턴의 제2 부분 동안 깊이 매핑 펄스들을 선택적으로 생성하도록 구성될 수 있다. 구체적으로, 화소 구동 생성기(704)는 이미지 투영을 위한 래스터 패턴의 제1 부분 동안 적색 레이저 모듈(706), 녹색 레이저 모듈(708) 및 청색 레이저 모듈(710)을 구동하도록 구성될 수 있다. 마찬가지로, 화소 구동 발생기(704)는 깊이 맵핑을 위한 래스터 패턴의 제2 부분 동안 깊이 맵핑 펄스를 생성하도록 적외선 레이저 모듈(705)을 구동하도록 구성될 수 있다.
또한, 여기에 설명된 실시예에 따라, 깊이 맵핑 장치(740)는 표면의 3차원 지점 클라우드를 생성하도록 제공된다. 이를 용이하게 하기 위해, 깊이 맵핑 장치(740)는 표면으로부터 반사된 레이저 빔을 수신하고 수신된 레이저 빔 반사에 비례하는 신호를 생성하는 광 센서를 포함할 수 있다. 깊이 맵핑 장치(740)는 또한 화소 구동 생성기(704) 및/또는 적외선 레이저 모듈(705)로부터 광 타이밍 데이터를 수신할 수 있다. 깊이 맵핑 장치는 또한 구동 회로(720)로부터 미러 위치 데이터를 수신할 수 있다. 이들 신호 및 데이터로부터, 깊이 맵핑 장치(740)는 표면의 3차원 지점 클라우드를 생성한다. 일 실시예에서, 깊이 맵핑 장치(740)는 반사되어 광학 센서에 의해 수신되는 각각의 펄스에 대한 비행 시간을 계산함으로써 3차원 지점 클라우드를 생성한다. 구체적으로, 각각의 펄스가 적외선 레이저 모듈(705)로부터 표면으로 이동하여 광 센서로 되돌아가는 비행 시간은 광 타이밍 데이터 및 광 센서로부터의 신호에 의해 적어도 부분적으로 결정될 수 있다. 각 펄스에 대응하는 표면 상의 위치는 미러 위치 데이터로부터 적어도 부분적으로 결정될 수 있다. 각 펄스의 비행 시간은 그 지점에서 표면까지의 거리에 비례하므로, 비행 시간은 반사 지점에서 표면 깊이를 계산하기 위해 사용될 수 있다. 그리고, 래스터 패턴 주사의 각 지점에서 결정된 표면 깊이의 합성이 이루어지면, 결과 컨텐츠는 주사된 표면의 표면 깊이를 설명하는 3차원 지점 클라우드를 제공할 수 있다.
이제 도 6을 참조하면, 주사 미러를 갖는 마이크로전자기계시스템(MEMS) 장치의 평면도가 도시되어 있다. MEMS 장치(800)는 고정 플랫폼(802), 주사 플랫폼(840) 및 주사 미러(816)를 포함한다. 주사 플랫폼(840)은 만곡부(810 및 812)에 의해 고정 플랫폼(802)에 연결되고, 주사 미러(816)는 만곡부(820 및 822)에 의해 주사 플랫폼(840)에 연결된다. 주사 플랫폼(840)은 구동 회로(예, 구동 회로(720))로부터 제공된 구동 신호에 의해 구동되는 구동선(850)에 연결된 구동 코일을 갖는다. 구동 신호는 고속-주사축 상에서 주사 미러(816)의 공진 움직임을 여기시키기 위한 여기 신호를 포함하고, 또한 저속 주사축 상에서 주사 플랫폼(840)의 비 공진 움직임을 일으키기 위한 저속 주사 구동 신호를 포함한다. 구동선(850)으로의 전류 구동은 구동 코일에 전류를 생성한다. 동작 시, 외부 자기장 소스(도시 안됨)는 구동 코일 상에 자기장을 부과한다. 외부 자기장 소스에 의해 구동 코일에 부과된 자기장은 코일의 평면에 하나의 성분을 가지며, 2개의 구동축에 대해 비 직교하도록 배향된다. 코일 권선의 면내 전류는 면내 자기장과 상호 작용하여 도체에 평면 외 로렌츠 힘을 발생시킨다. 구동 전류는 주사 플랫폼(840) 상에 루프를 형성하기 때문에, 전류는 주사축을 가로질러 부호를 반전시킨다. 이것은 로렌츠 힘이 주사축을 가로질러 부호를 반전시킴으로써, 자기장의 평면과 자기장에 수직인 토크를 발생시킨다는 것을 의미한다. 이 결합된 토크는 토크의 주파수 컨텐츠에 따라 두 주사 방향으로 응답을 생성한다.
만곡부(810 및 812)의 장축은 선회축을 형성한다. 만곡부(810 및 812)는 비틀림 휨이 가해지는 가요성 부재로서, 이에 의해 주사 플랫폼(840)이 선회축 상에서 회전할 수 있게 하고, 고정된 플랫폼(802)에 대해 각 변위를 갖는다. 만곡부(810 및 812)는 도 6에 도시된 바와 같이 비틀림 실시예로 제한되지 않는다. 예를 들어, 일부 실시예에서, 만곡부(810 및 812)는 아크, "S"자 모양 또는 다른 구불구불한 모양과 같은 다른 모양을 취한다. 본 명세서에서 사용되는 용어 "만곡부"는 주사 플랫폼을 다른 플랫폼(주사 또는 고정)에 연결하고 주사 플랫폼이 다른 플랫폼에 대해 각 변위를 갖도록 하는 움직임이 가능한 임의의 가요성 부재를 지칭한다.
주사 미러(816)는 만곡부(820 및 822)에 의해 형성된 제1 축 상에서 선회하고, 만곡부(810 및 812)에 의해 형성된 제2 축 상에서 선회한다. 제1 축은 본 명세서에서 수평축 또는 고속-주사축으로 지칭되고, 제2 축은 본 명세서에서 수직축 또는 저속-주사축으로 지칭된다. 일부 실시예에서, 주사 미러(816)는 수평축 상의 기계적 공진 주파수에서 주사하여 정현파 수평 스위프를 발생시킨다. 또한, 일부 실시예에서, 주사 미러(816)는 비 공진 주파수에서 수직으로 주사하기 때문에, 수직 주사 주파수는 독립적으로 제어될 수 있다.
전형적인 실시예에서, MEMS 장치(800)는 또한 하나 이상의 집적된 압전 저항 센서를 통합할 것이다. 예를 들어, 피에조저항 센서(880)는 주사 플랫폼(840)에 대한 미러(816)의 변위를 나타내는 전압을 생성하도록 구성될 수 있으며, 이 전압은 구동 회로에 다시 제공될 수 있다. 또한, 일부 실시예에서, 위치 센서는 하나의 주사축 상에 제공되고, 다른 실시예에서는 위치 센서가 양 축에 제공된다.
MEMS 장치(800)는 일 예로서 제공되며, 본 발명의 다양한 실시예가 이 특정의 구현으로 정의되지 않는다는 것을 유의해야 한다. 예를 들어, 광 빔을 래스터 패턴 또는 다른 적절한 패턴으로 반사시키기 위해 2차원으로 스위핑할 수 있는 임의의 주사 미러가 본 발명의 범위를 벗어나지 않으면서 포함될 수도 있다. 또한, 예를 들어, 정적 및 동적/주사 미러(예, 2개의 미러: 각 축에 하나씩)의 임의의 조합이 광 빔을 래스터 패턴으로 반사시키기 위해 이용될 수도 있다. 본 발명의 범위를 벗어나지 않으면서 임의 유형의 미러 구동 기구가 이용될 수도 있다. 예를 들어, MEMS 장치(800)가 정적 자기장을 갖는 움직이는 플랫폼 상의 구동 코일을 사용하지만, 다른 실시예는 고정된 플랫폼 상의 구동 코일을 갖는 움직이는 플랫폼 상의 자석을 포함할 수 있다. 또한, 미러 구동기구는 정전 구동기구를 포함할 수도 있다.
전술한 주사 레이저 프로젝터(예, 도 1의 주사 레이저 프로젝터(100) 및 도 5의 주사 레이저 프로젝터(700))는 다양한 장치에서 그리고 다양한 응용에 대해 구현될 수 있다. 이러한 유형의 장치의 몇몇 구체예는 도 7-12를 참조하여 논의되지 않을 것이다. 각각의 경우에, 전술한 다양한 실시예는 그러한 장치로 또는 그 일부로서 구현될 수 있다.
도 7을 참조하면, 다양한 실시예에 따른 이동 장치(900)의 블록도가 도시되어 있다. 구체적으로, 이동 장치(900)는 주사 레이저 프로젝터가 구현될 수 있는 장치의 유형의 예이다. 도 7에 도시된 바와 같이, 이동 장치(900)는 무선 인터페이스(910), 프로세서(920), 메모리(930) 및 레이저 프로젝터(902)를 포함한다.
레이저 프로젝터(902)는 임의의 이미지 소스로부터 이미지 데이터를 수신할 수 있다. 예를 들어, 일부 실시예에서, 레이저 프로젝터(902)는 스틸 이미지를 보유하는 메모리를 포함한다. 다른 실시예에서, 레이저 프로젝터(902)는 비디오 이미지를 포함하는 메모리를 포함한다. 또 다른 실시예에서, 주사 레이저 프로젝터(902)는 커넥터, 무선 인터페이스(910), 유선 인터페이스 등과 같은 외부 소스로부터 수신된 이미지를 표시한다.
무선 인터페이스(910)는 임의의 무선 송신 및/또는 수신 능력을 포함할 수도 있다. 예를 들어, 일부 실시예에서, 무선 인터페이스(910)는 무선 네트워크를 통해 통신할 수 있는 네트워크 인터페이스 카드(NIC)를 포함한다. 예를 들어, 일부 실시예에서, 무선 인터페이스(910)는 셀룰러 전화 기능을 포함할 수도 있다. 또 다른 실시예에서, 무선 인터페이스(910)는 GPS(Global Positioning System) 수신기를 포함할 수도 있다. 당업자는 무선 인터페이스(910)가 본 발명의 범위를 벗어나지 않으면서 임의 유형의 무선 통신 기능을 포함할 수 있음을 이해할 것이다.
프로세서(920)는 이동 장치(900)의 다양한 구성 요소들과 통신할 수 있는 임의 타입의 프로세서일 수도 있다. 예를 들어, 프로세서(920)는 주문형 집적회로(ASIC) 벤더들로부터 이용 가능한 임베디드 프로세서일 수 있거나, 상업적으로 입수 가능한 마이크로 프로세서일 수도 있다. 일부 실시예에서, 프로세서(920)는 주사 레이저 프로젝터(902)에 이미지 또는 비디오 데이터를 제공한다. 이미지 또는 비디오 데이터는 무선 인터페이스(910)로부터 검색되거나 무선 인터페이스(910)로부터 검색된 데이터로부터 유도될 수도 있다. 예를 들어, 프로세서(920)를 통해, 주사 레이저 프로젝터(902)는 무선 인터페이스(910)로부터 직접 수신된 이미지 또는 비디오를 표시할 수도 있다. 또한, 예를 들어, 프로세서(920)는 무선 인터페이스(910)로부터 수신된 이미지 및/또는 비디오에 부가하기 위한 오버레이(overlays)를 제공하거나, 무선 인터페이스(910)로부터 수신된 데이터에 기초하여 저장된 이미지를 수정(예, 무선 인터페이스(910)가 위치 좌표를 제공하는 GPS 실시예 내의 맵 표시를 수정하는 것)할 수도 있다.
도 8을 참조하면, 다양한 실시예에 따른 이동 장치(1000)의 사시도가 도시되어 있다. 구체적으로, 이동 장치(1000)는 주사 레이저 프로젝터가 구현될 수 있는 장치의 유형의 예이다. 이동 장치(1000)는 통신 능력을 갖거나 갖지 않는 휴대용 주사 레이저 프로젝터일 수도 있다. 예를 들어, 일부 실시예에서, 이동 장치(1000)는 거의 또는 전혀 기능하지 않는 레이저 프로젝터일 수도 있다. 또한, 예를 들어, 일부 실시예에서, 이동 장치(1000)는 예를 들어, 셀룰러 폰, 스마트 폰, 태블릿 컴퓨팅 장치, GPS(Global Positioning System) 수신기 등을 포함하는 통신에 사용 가능한 장치일 수도 있다. 또한, 이동 장치(1000)는 무선(예, 셀룰러)을 통해 더 큰 네트워크에 접속될 수도 있고, 또는 이 장치는 조정되지 않은 스펙트럼(예, WiFi) 접속을 통해 데이터 메시지 또는 비디오 컨텐츠를 수신 및/또는 송신할 수 있다.
이동 장치(1000)는 레이저 프로젝터(1020), 터치 감지 표시 장치(1010), 오디오 포트(1002), 제어 버튼(1004), 카드 슬롯(1006) 및 오디오/비디오(A/V) 포트(1008)를 포함한다. 다시, 레이저 프로젝터(1020)는 레이저 깊이 주사를 갖는 주사 레이저 프로젝터의 조합을 구현할 수 있다. 일부 실시예에서, 이동 장치는 터치 감지 표시 장치(1010), 오디오 포트(1002), 제어 버튼(1004), 카드 슬롯(1006) 또는 A/V 포트(1008) 없이 레이저 프로젝터(1020)만을 포함할 수도 있다. 일부 실시예는 이들 요소의 서브 세트를 포함한다. 예를 들어, 액세서리 프로젝터는 주사 레이저 프로젝터(1020), 제어 버튼(1004) 및 A/V 포트(1008)를 포함할 수도 있다. 스마트폰 실시예는 터치 감지 표시 장치(1010)와 프로젝터(1020)를 결합할 수도 있다.
터치 감지 표시 장치(1010)는 임의 유형의 표시 장치일 수도 있다. 예를 들어, 일부 실시예에서, 터치 감지 표시 장치(1010)는 액정 표시 장치(LCD) 스크린을 포함한다. 일부 실시예에서, 표시 장치(1010)는 터치에 민감하지 않다. 표시 장치(1010)는 레이저 프로젝터(1020)에 의해 투영된 이미지를 항상 표시하거나 표시하지 않을 수도 있다. 예를 들어, 액세서리 제품은 표시 장치(1010) 상에 투영된 이미지를 항상 표시할 수 있는 반면, 이동 전화의 실시예는 표시 장치(1010) 상에 상이한 컨텐츠를 표시하면서 비디오를 투영할 수도 있다. 일부 실시예는 터치 감지 표시 장치(1010)에 추가하여 키패드를 포함할 수도 있다. A/V 포트(1008)는 비디오 및/또는 오디오 신호를 수신 및/또는 송신한다. 예를 들어, A/V 포트(1008)는 디지털 오디오 및 비디오 데이터를 전달하기 위해 적합한 케이블을 수용하는 고선명 멀티미디어 인터페이스(FIDMI)와 같은 디지털 포트일 수도 있다. 또한, A/V 포트(1008)는 합성 입력을 수신 또는 송신하기 위한 RCA 잭을 포함할 수도 있다. A/V 포트(1008)는 아날로그 비디오 신호를 수신하거나 송신하기 위한 VGA 커넥터를 포함할 수도 있다.
일부 실시예에서, 이동 장치(1000)는 A/V 포트(1008)를 통해 외부 신호 소스에 연결될 수도 있고, 이동 장치(1000)는 A/V 포트(1008)를 통해 수신된 컨텐츠를 투영할 수도 있다. 다른 실시예에서, 이동 장치(1000)는 컨텐츠의 발신자일 수도 있고, A/V 포트(1008)는 다른 장치로 컨텐츠를 송신하기 위해 사용된다.
오디오 포트(1002)는 오디오 신호를 제공한다. 예를 들어, 일부 실시예에서, 이동 장치(1000)는 오디오 및 비디오를 기록 및 재생할 수 있는 미디어 레코더이다. 이들 실시예에서, 비디오는 레이저 프로젝터(1020)에 의해 투영될 수도 있고, 오디오는 오디오 포트(1002)에서 출력될 수도 있다.
이동 장치(1000)는 또한 카드 슬롯(1006)을 포함한다. 일부 실시예에서, 카드 슬롯(1006)에 삽입된 메모리 카드는 오디오 포트(1002)에서 출력될 오디오 소스 및/또는 레이저 프로젝터(1020)에 의해 주사함으로써 투영될 비디오 데이터를 제공할 수도 있다. 카드 슬롯(1006)은 예를 들어, 보안 디지털(SD) 메모리 카드를 포함하는 임의 유형의 고체 상태 메모리 장치를 수신할 수도 있다.
도 9를 참조하면, 다양한 실시예에 따른 헤드 업 표시 시스템(1100)의 사시도가 도시되어 있다. 구체적으로, 헤드 업 표시 시스템(1100)은 전술한 바와 같은 주사 레이저 프로젝터가 구현될 수 있는 장치의 유형의 예이다. 헤드 업 표시 시스템(1100)은 레이저 프로젝터(1102)를 포함한다. 레이저 프로젝터(1102)는 주사 레이저 프로젝터로서 다시 구현될 수 있다. 레이저 프로젝터(1102)는 헤드 업 표시를 투영하기 위해 차량 대시에 장착된 것으로 도시되어 있다. 자동차 헤드 업 표시가 도 9에 도시되어 있지만, 이는 제한이 아니며 다른 응용이 가능하다. 예를 들어, 다양한 실시예는 항공 전자 응용, 항공 교통 제어 응용 및 다른 응용의 헤드 업 표시를 포함한다.
도 10을 참조하면, 다양한 실시예에 따른 안경(1200)의 사시도가 도시되어 있다. 구체적으로, 안경(1200)은 전술한 바와 같은 주사 레이저 프로젝터가 구현될 수 있는 유형의 장치의 예이다. 안경(1200)은 안경의 시야에서 표시를 투영하기 위해 주사 레이저 프로젝터(1202)를 포함한다. 일부 실시예들에서, 안경(1200)은 투시성이며, 다른 실시예에서는 안경(1200)은 불투명하다. 예를 들어, 안경(1200)은 착용자가 물리적 세계에 겹쳐진 프로젝터(1202)로부터의 표시를 볼 수 있는 증강 현실 응용에 사용될 수 있다. 또한, 예를 들어, 안경(1200)은 착용자의 전체 시야가 프로젝터(1202)에 의해 생성되는 가상 현실 응용에 사용될 수도 있다.
단지 하나의 프로젝터(1202)만이 도 10에 도시되어 있지만, 이는 제한이 아니며 다른 구현도 가능하다. 예를 들어, 일부 실시예에서, 안경(1200)은 각각의 눈에 하나씩 2개의 프로젝터(1202)를 포함한다.
도 11을 참조하면, 다양한 실시예에 따른 로봇 장치(1300)의 사시도가 도시되어 있다. 로봇 장치(1300)는 주사 레이저 프로젝터(1302)로 구현될 수 있는 유형의 장치의 예이다. 다시, 전술한 바와 같이, 주사 레이저 프로젝터(1302)는 이미지 투영 및 깊이 맵핑 능력을 제공하도록 구현될 수 있다.
도시된 예에서, 로봇 장치(1300)는 다양한 기능을 수행할 수 있는 자체 안내 이동 로봇이다. 예를 들어, 로봇 장치(1300)는 청소 서비스, 배달 서비스, 미디어 서비스, 게임, 또는 기타 엔터테인먼트 장치로서의 역할을 제공하도록 구현될 수 있다. 각각의 경우에 있어서, 주사 레이저 프로젝터(1302)에 의해 제공되는 깊이 맵핑은 네비게이션, 상화 작용, 물체 인식 등을 포함하는 다양한 기능을 제공하기 위해 사용될 수 있다.
일 예시로서, 주사 레이저 프로젝터(1302)에 의해 제공되는 깊이 맵핑은 청소 또는 다른 네비게이션 중에 로봇 장치(1300)를 안내하기 위해 사용될 수 있다. 다른 예로서, 주사 레이저 프로젝터(1302)에 의해 제공되는 깊이 맵핑은 물체를 위치시키고 식별하기 위해 사용될 수 있다. 다른 예로서, 주사 레이저 프로젝터(1302)에 의해 제공되는 이미지 투영 및 깊이 맵핑은 예를 들어, 이미지를 투영하여 사용자로 하여금 로봇 장치(1300)와 상호 작용하는 제스처로 장치를 제어함으로써, 로봇 장치(1300)로 사용자 인터페이스를 제공하기 위해 사용될 수 있다. 다른 예로서, 로봇 장치(1300)는 깊이 맵핑을 사용하여 표면의 위치를 식별한 다음, 그 위치된 표면 상에 이미지를 투영하는 것과 같은 시각적 매체를 사용자에게 표시하기 위해 주사 레이저 프로젝터(1302)를 사용할 수 있다. 최종적으로, 이러한 다양한 실시예는 사람, 동물 또는 다른 그러한 생물과 같은 캐릭터를 모방하는 애니메트로닉 로봇 장치에도 적용될 수 있음을 알아야 한다.
이를 용이하게 하기 위해, 로봇 장치(1300)는 다양한 다른 특징을 포함할 수 있다는 것을 알아야 한다. 예를 들어, 주사 레이저 프로젝터(1302)에 추가하여, 다른 감지 장치가 네비게이션에 기여하도록 포함될 수 있다. 다른 휴먼 인터페이스가 로봇 장치(1300)의 상호 작용 및 제어를 용이하게 하기 위해 제공될 수 있다. 다른 예로서, 로봇 장치(1300)는 또한 오디오 출력 장치 및 다른 그러한 통신 장치를 포함할 수도 있다.
도 12를 참조하면, 다양한 실시예에 따른 게임 장치(1400)의 사시도가 도시되어 있다. 다시, 게임 장치(1400)는 주사 레이저 프로젝터로 구현될 수 있다. 게임 장치(1400)는 버튼(1404), 표시 장치(1410) 및 프로젝터(1402)를 포함한다. 일부 실시예에서, 게임 장치(1400)는 사용자가 게임을 하기 위해 더 큰 콘솔을 필요로 하지 않는 독립형 장치이다. 예를 들어, 사용자는 표시 장치(1410) 및/또는 투영된 컨텐츠를 보면서 게임을 할 수도 있다. 다른 실시예에서, 게임 장치(1400)는 보다 큰 게임 콘솔을 위한 제어기로서 동작한다. 이들 실시예에서, 사용자는 표시 장치(1410) 및/또는 투영된 컨텐츠와 결합하여 콘솔에 연결된 더 큰 스크린을 볼 수도 있다.
일 실시예에서, 주사 레이저 프로젝터를 제공하되, 레이저 빔을 생성하도록 구성되는 적어도 하나의 레이저 광원; 상기 레이저 빔을 반사시키도록 구성되는 적어도 하나의 주사 미러; 상기 적어도 하나의 주사 미러의 움직임을 여기시키기 위해 여기 신호를 제공하여 주사선의 패턴으로 상기 레이저 빔을 반사시키도록 구성되는 구동 회로; 상기 적어도 하나의 레이저 광원을 제어하여 상기 레이저 빔으로 투영 이미지 화소를 선택적으로 생성하고 또한 상기 레이저 빔으로 깊이 맵핑 펄스를 선택적으로 생성하도록 구성되며, 상기 주사선 패턴의 제1 부분 동안 투영된 이미지 화소들을 생성하고 또한 상기 주사선 패턴의 제2 부분 동안 깊이 매핑 펄스들을 생성하도록 구성되는 화소 구동 생성기; 및 표면으로부터의 상기 깊이 맵핑 펄스의 반사를 수신하여 표면으로부터의 상기 깊이 맵핑 펄스의 상기 수신된 반사의 타이밍에 적어도 부분적으로 기초하여 상기 표면의 상기 3차원 지점 클라우드를 생성하도록 구성되는 깊이 맵핑 장치를 포함하는, 주사 레이저 프로젝터를 제공한다.
다른 실시예에서, 이미지를 투영하는 방법을 제공하되, 레이저 빔을 생성하는 단계; 상기 레이저 빔을 반사시켜 주사선 패턴을 생성하는 단계; 상기 주사선 패턴의 제1 부분 동안 상기 레이저 빔으로 투영된 이미지 화소들을 선택적으로 생성하는 단계; 상기 주사선 패턴의 제2 부분 동안 상기 레이저 빔으로 깊이 맵핑 펄스들을 선택적으로 생성하는 단계; 표면으로부터 상기 깊이 맵핑 펄스의 반사를 수신하는 단계; 및 상기 표면으로부터 상기 깊이 맵핑 펄스들의 상기 수신된 반사에 적어도 부분적으로 기초하여 상기 표면의 3차원 지점 클라우드를 생성하는 단계를 포함하는, 방법을 제공한다.
전술한 상세한 설명에서, 본 발명이 실시될 수 있는 구체 실시예를 도시하여 보여주는 첨부 도면을 참조하였다. 이러한 실시예들은 당업자가 본 발명을 실시할 수 있도록 충분히 상세하게 설명되었다. 본 발명의 다양한 실시예는 상이하지만, 반드시 상호 배타적인 것은 아니라는 것을 이해해야 한다. 예를 들어, 일 실시예와 관련하여 본 명세서에 설명된 구체 특징, 구조 또는 특성은 본 발명의 범위를 벗어나지 않고 다른 실시예 내에서 구현될 수도 있다. 개시된 각각의 실시 형태 내의 개별 요소의 위치 또는 배치는 본 발명의 범위를 벗어나지 않고 수정될 수 있다는 것을 이해해야 한다. 그러므로, 전술한 상세한 설명은 제한적인 의미로 해석되어서는 안되며, 본 발명의 범위는 청구범위가 부여되는 등가물의 전체 범위와 함께 적절하게 해석되는 첨부된 청구범위에 의해서만 정의된다. 도면에서, 동일한 도면 부호는 여러 도면에서 동일하거나 유사한 기능을 나타낸다.
본 발명은 구체 실시예와 관련하여 설명되었지만, 당업자가 쉽게 이해할 수 있는 바와 같이 본 발명의 범위를 벗어나지 않으면서 수정 및 변형이 가해질 수 있음을 이해해야 한다. 이러한 수정 및 변화는 본 발명의 범위 및 첨부된 청구범위 내에 있는 것으로 간주된다.

Claims (15)

  1. 주사 레이저 프로젝터에 있어서,
    레이저 빔을 생성하도록 구성되는 적어도 하나의 레이저 광원;
    상기 레이저 빔을 반사시키도록 구성되는 적어도 하나의 주사 미러;
    상기 적어도 하나의 주사 미러의 움직임을 여기시키기 위해 여기 신호를 제공하여 주사선의 패턴으로 상기 레이저 빔을 반사시키도록 구성되는 구동 회로;
    상기 적어도 하나의 레이저 광원을 제어하여 상기 주사선 패턴의 제1 부분 동안 상기 레이저 빔으로 투영 이미지 화소를 선택적으로 생성하고, 또한 상기 레이저 빔으로 상기 주사선 패턴의 제2 부분 동안 깊이 맵핑 펄스를 선택적으로 생성하도록 구성되며, 여기서 상기 주사선 패턴의 상기 제1 부분이 상기 제2 부분과 일시적으로 중첩되지 않도록 작동하는 화소 구동 생성기; 및
    표면으로부터의 상기 깊이 맵핑 펄스의 반사를 수신하여 표면으로부터의 상기 깊이 맵핑 펄스의 상기 수신된 반사의 타이밍에 적어도 부분적으로 기초하여 상기 표면의 3차원 지점 클라우드를 생성하도록 구성되는 깊이 맵핑 장치;를 포함하는, 주사 레이저 프로젝터.
  2. 청구항 1에 있어서,
    상기 주사선 패턴의 상기 제1 부분은 제1 방향으로 움직이는 주사선을 포함하고, 상기 주사선 패턴의 상기 제2 부분은 제2 방향으로 움직이는 주사선을 포함하며, 여기서 상기 제1 방향과 상기 제2 방향은 반대 방향인, 주사 레이저 프로젝터.
  3. 청구항 1에 있어서,
    상기 주사선 패턴의 상기 제1 부분 및 상기 주사선 패턴의 상기 제2 부분은 함께 인터레이스된 수평 주사선인, 주사 레이저 프로젝터.
  4. 청구항 1에 있어서,
    상기 주사선 패턴의 상기 제1 부분은 활성 표시 기간 동안 주사선을 포함하고, 상기 주사선 패턴의 상기 제2 부분은 수직 귀선 기간 동안 주사선을 포함하는, 주사 레이저 프로젝터.
  5. 청구항 1에 있어서,
    상기 주사선 패턴의 상기 제1 부분 및 상기 주사선 패턴의 상기 제2 부분은 각 주사선에서 투영된 이미지 화소 및 깊이 맵핑 펄스를 생성하는, 주사 레이저 프로젝터.
  6. 청구항 1에 있어서,
    상기 맵핑 장치는 상기 레이저 빔에서 상기 깊이 맵핑 펄스의 복귀에 대한 비행 시간을 계산함으로써 상기 표면의 상기 3차원 지점 클라우드를 생성하는, 주사 레이저 프로젝터.
  7. 청구항 1에 있어서,
    상기 적어도 하나의 주사 미러의 상기 움직임은 수평 주사 속도, 수평 주사 진폭, 수직 주사 속도 및 수직 주사 진폭을 가지며, 상기 구동 회로는 상기 수평 주사 속도, 수평 주사 진폭, 수직 주사 속도 및 수직 주사 진폭 중 적어도 하나를 동적으로 조정하여 상기 표면의 상기 3차원 지점 클라우드의 특성을 수정하도록 구성되는, 주사 레이저 프로젝터.
  8. 청구항 7에 있어서,
    상기 구동 회로는 상기 적어도 하나의 주사 미러의 상기 수직 주사 속도를 동적으로 감소시켜서 상기 표면의 상기 3차원 지점 클라우드에서 증가된 수직 해상도를 제공하도록 구성되는, 주사 레이저 프로젝터.
  9. 청구항 7에 있어서,
    상기 구동 회로는 상기 적어도 하나의 주사 미러의 수평 주사 진폭을 동적으로 감소시켜서 상기 표면의 상기 3차원 지점 클라우드에서 증가된 수평 데이터 밀도를 제공하도록 구성된, 주사 레이저 프로젝터.
  10. 청구항 1에 있어서,
    상기 적어도 하나의 레이저 광원은 적외선 레이저를 포함하고, 상기 화소 구동 생성기는 상기 적외선 레이저로 상기 깊이 맵핑 펄스를 생성하도록 구성되는, 주사 레이저 프로젝터.
  11. 청구항 10에 있어서,
    상기 적어도 하나의 레이저 광원은 적색 레이저, 청색 레이저 및 녹색 레이저를 추가로 포함하고, 상기 화소 구동 생성기는 상기 적색 레이저, 청색 레이저 및 녹색 레이저를 사용하여 투영된 이미지 화소를 생성하도록 구성되는, 주사 레이저 프로젝터.
  12. 이미지를 투영하는 방법에 있어서,
    레이저 빔을 생성하는 단계;
    상기 레이저 빔을 반사시켜 주사선 패턴을 생성하는 단계;
    상기 주사선 패턴의 제1 부분 동안 상기 레이저 빔으로 투영된 이미지 화소들을 선택적으로 생성하는 단계;
    상기 주사선 패턴의 상기 제1 부분과 일시적으로 중첩하지 않는 상기 주사선 패턴의 제2 부분 동안 상기 레이저 빔으로 깊이 맵핑 펄스들을 선택적으로 생성하는 단계;
    표면으로부터 상기 깊이 맵핑 펄스의 반사를 수신하는 단계; 및
    상기 표면으로부터 상기 깊이 맵핑 펄스들의 상기 수신된 반사에 적어도 부분적으로 기초하여 상기 표면의 3차원 지점 클라우드를 생성하는 단계를 포함하는, 이미지를 투영하는 방법.
  13. 청구항 12에 있어서,
    상기 주사선 패턴의 상기 제1 부분은 제1 방향으로 움직이는 주사선을 포함하고, 상기 주사선 패턴의 상기 제2 부분은 제2 방향으로 움직이는 주사선을 포함하며, 여기서 상기 제1 방향과 상기 제2 방향은 반대 방향인 것을 특징으로 하는, 방법
  14. 청구항 12에 있어서,
    상기 주사선 패턴의 상기 제1 부분 및 상기 주사선 패턴의 상기 제2 부분은 함께 인터레이스된 수평 주사선인, 방법.
  15. 청구항 12에 있어서,
    상기 주사선 패턴의 상기 제1 부분은 활성 표시 기간 동안 주사선을 포함하고, 상기 주사선 패턴의 상기 제2 부분은 수직 귀선 기간 동안 주사선을 포함하는, 방법.
KR1020197005125A 2016-08-12 2017-07-28 주사 레이저 이미지 투영으로 깊이 맵핑을 제공하기 위한 장치 및 방법 KR102394600B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/236,133 2016-08-12
US15/236,133 US10145680B2 (en) 2016-08-12 2016-08-12 Devices and methods for providing depth mapping with scanning laser image projection
PCT/US2017/044497 WO2018031268A1 (en) 2016-08-12 2017-07-28 Devices and methods for providing depth mapping with scanning laser image projection

Publications (2)

Publication Number Publication Date
KR20190030743A KR20190030743A (ko) 2019-03-22
KR102394600B1 true KR102394600B1 (ko) 2022-05-04

Family

ID=61159228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197005125A KR102394600B1 (ko) 2016-08-12 2017-07-28 주사 레이저 이미지 투영으로 깊이 맵핑을 제공하기 위한 장치 및 방법

Country Status (6)

Country Link
US (1) US10145680B2 (ko)
EP (1) EP3497926B1 (ko)
JP (1) JP6981680B2 (ko)
KR (1) KR102394600B1 (ko)
CN (1) CN109565579B (ko)
WO (1) WO2018031268A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014710A1 (ko) * 2022-07-13 2024-01-18 삼성전자 주식회사 객체의 깊이 정보를 획득하는 전자 장치 및 그 동작 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9766060B1 (en) * 2016-08-12 2017-09-19 Microvision, Inc. Devices and methods for adjustable resolution depth mapping
JP7152897B2 (ja) * 2018-08-02 2022-10-13 キヤノン株式会社 投写装置及びその制御方法ならびにプログラム
AU2019418812B2 (en) * 2019-01-04 2022-06-09 Aurora Operations, Inc. Method and system for refractive beam-steering
CN110430406A (zh) * 2019-08-05 2019-11-08 歌尔股份有限公司 深度图像生成方法、装置、设备及计算机可读存储介质
US11397317B2 (en) 2019-09-23 2022-07-26 Microvision, Inc. Automatic power reduction using a pre-scanned virtual protective housing
EP4191318A4 (en) * 2020-07-31 2024-01-17 FUJIFILM Corporation OPTICAL SCANNING DEVICE, CONTROL METHOD THEREOF, AND IMAGE DRAWING SYSTEM
EP4402429A1 (de) * 2021-09-17 2024-07-24 Oqmented GmbH Verfahren und vorrichtung zur messung von tiefeninformationen einer szene anhand von mittels zumindest einer parallelstrahlungsquelle generiertem strukturierten licht

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107000A1 (en) * 2011-10-27 2013-05-02 Microvision, Inc. Scanning Laser Time of Flight 3D Imaging

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029201A (ja) * 2001-07-11 2003-01-29 Canon Inc 画像投射装置及び画像補正方法
US7609875B2 (en) 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US8251517B2 (en) 2007-12-05 2012-08-28 Microvision, Inc. Scanned proximity detection method and apparatus for a scanned image projection system
JP2009222973A (ja) * 2008-03-17 2009-10-01 Citizen Holdings Co Ltd 画像投射装置
US7952783B2 (en) * 2008-09-22 2011-05-31 Microvision, Inc. Scanning mirror control
DE102008055159A1 (de) 2008-12-29 2010-07-01 Robert Bosch Gmbh Adaptive Winkel- und Leistungsanpassung bei 3D-Mikrospiegel-Lidar
US10739460B2 (en) * 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
US9438871B2 (en) * 2012-12-26 2016-09-06 Citizen Holdings Co., Ltd. Laser projection apparatus with bundled fibers
CN105143820B (zh) 2013-03-15 2017-06-09 苹果公司 利用多个发射器进行深度扫描
US9140971B2 (en) * 2013-10-31 2015-09-22 Microvision, Inc. Scanning laser proximity detection
US20150192677A1 (en) 2014-01-03 2015-07-09 Quanergy Systems, Inc. Distributed lidar sensing system for wide field of view three dimensional mapping and method of using same
DE102014211071A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
DE102014211073A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
WO2016043704A1 (en) 2014-09-15 2016-03-24 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel
US10080004B2 (en) 2014-11-06 2018-09-18 Disney Enterprises, Inc. Method and system for projector calibration
KR102317329B1 (ko) 2015-01-02 2021-10-26 삼성전자주식회사 광 스캐닝 프로브 및 이를 이용한 3차원 데이터 생성 장치
JP6852085B2 (ja) 2015-11-30 2021-03-31 ルミナー テクノロジーズ インコーポレイテッド 分布型レーザー及び複数のセンサー・ヘッドを備える光検出及び測距システム、並びに、光検出及び測距システムのパルス・レーザー
US9766060B1 (en) * 2016-08-12 2017-09-19 Microvision, Inc. Devices and methods for adjustable resolution depth mapping
US10200683B2 (en) * 2016-12-21 2019-02-05 Microvision, Inc. Devices and methods for providing foveated scanning laser image projection with depth mapping

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107000A1 (en) * 2011-10-27 2013-05-02 Microvision, Inc. Scanning Laser Time of Flight 3D Imaging

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014710A1 (ko) * 2022-07-13 2024-01-18 삼성전자 주식회사 객체의 깊이 정보를 획득하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
EP3497926A1 (en) 2019-06-19
CN109565579B (zh) 2021-04-16
CN109565579A (zh) 2019-04-02
WO2018031268A1 (en) 2018-02-15
EP3497926A4 (en) 2019-08-14
JP6981680B2 (ja) 2021-12-17
EP3497926B1 (en) 2021-09-01
KR20190030743A (ko) 2019-03-22
JP2019534467A (ja) 2019-11-28
US20180047166A1 (en) 2018-02-15
US10145680B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
KR102385030B1 (ko) 해상도가 조정가능한 깊이 매핑 장치 및 방법
KR102394600B1 (ko) 주사 레이저 이미지 투영으로 깊이 맵핑을 제공하기 위한 장치 및 방법
US10200683B2 (en) Devices and methods for providing foveated scanning laser image projection with depth mapping
US11137498B2 (en) Scanning rangefinding system with variable field of view
US9693029B1 (en) System and method for feedback control in scanning projectors
US8511838B2 (en) Scanning laser projector with safety system
EP3345050B1 (en) Dynamic constancy of brightness or size of projected content in a scanning display system
KR102598428B1 (ko) 레이저 기반 프로젝터 디스플레이용 멀티스트라이프 레이저
US10598943B2 (en) Method and apparatus for collimating light from a laser diode
US9798149B1 (en) Devices and methods for optical power sensing scanning laser projectors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant