JP6981680B2 - レーザ画像投影の走査と共に深度マッピングを提供するための装置および方法 - Google Patents

レーザ画像投影の走査と共に深度マッピングを提供するための装置および方法 Download PDF

Info

Publication number
JP6981680B2
JP6981680B2 JP2019506478A JP2019506478A JP6981680B2 JP 6981680 B2 JP6981680 B2 JP 6981680B2 JP 2019506478 A JP2019506478 A JP 2019506478A JP 2019506478 A JP2019506478 A JP 2019506478A JP 6981680 B2 JP6981680 B2 JP 6981680B2
Authority
JP
Japan
Prior art keywords
scanning
laser
scan
depth mapping
scan line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019506478A
Other languages
English (en)
Other versions
JP2019534467A (ja
Inventor
ヴィスワナサン,ピー.セルヴァン
ホンカネン,ジャリ
アール. ウェイド,ダグラス
シュエ,ビン
Original Assignee
マイクロビジョン,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイクロビジョン,インク. filed Critical マイクロビジョン,インク.
Publication of JP2019534467A publication Critical patent/JP2019534467A/ja
Application granted granted Critical
Publication of JP6981680B2 publication Critical patent/JP6981680B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/529Depth or shape recovery from texture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3161Modulator illumination systems using laser light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3164Modulator illumination systems using multiple light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Measurement Of Optical Distance (AREA)

Description

走査型レーザプロジェクタにおいて、画像は、走査ミラーが変調された光をパターンで走査するときに、レーザ光源からの光を変調することによって生成された個々の画素を用いて、レーザ光をパターンに走査することによって投影される。
深度マッピングセンサ(depth mapping sensor)は、表面の3Dマップ(3D map,三次元マップ)を生成するために開発されており、この3Dマップは、表面上の深度の変化を表す。
走査型レーザプロジェクタを深度マッピングと組み合わせる過去の試みは、電力制限(power limitation)によって制約されてきた。具体的には、走査型レーザプロジェクタは、一般的に電力制限によって制約される。レーザ投影とレーザ深度検知との組み合わせは、電力制限によってさらに制約される。
さらに、従来の深度マッピングセンサは、柔軟性において制限されてきた。例えば、典型的な深度マッピングセンサは、特定の解像度を有する3Dマップを生成することに限定される。
例えば、いくつかの深度マッピングセンサは、表面から反射された光を受光するためにCMOS撮像センサ(imaging sensor、CMOイメージングセンサ)を使用し、次いで受信した光から3Dマップを生成する。これらの深度マッピングセンサは、表面から反射されてCMOS撮像センサによって受け取られた光の飛行時間を決定することができ、決定された飛行時間を使用して3Dマップを生成することができる。
しかし、そのようなCMOS撮像センサは、典型的には固定の水平解像度および垂直解像度を有する。したがって、このようなCMOS撮像センサを使用する深度マッピングセンサは、CMOS撮像センサの水平解像度および垂直解像度以下の解像度の3Dマップを提供することに限定される。
したがって、走査型レーザプロジェクタを深度マッピングと組み合わせるための改良された装置の必要性がいまだ存在している。また、深度マッピングの改良された装置および方法の必要性、特に、改良された柔軟性を有する深度マッピングの必要性が残っている。
図1は本発明の様々な実施形態に従った、走査型レーザプロジェクタの概略図である。 図2は本発明の様々な実施形態による深度マッピング手段の概略図である。
図3Aは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。 図3Bは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。 図3Cは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。 図3Dは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。
図4Aは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。 図4Bは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。
図5は本発明の様々な実施形態に従った、走査型レーザプロジェクタの概略図である。 図6は本発明の様々な実施形態に従った、走査ミラーを備えた微小電気機械システム(MEMS)の平面図を示している。
図7は本発明の様々な実施形態に従った、モバイルデバイスのブロック図を示している。
図8は本発明の様々な実施形態に従った、モバイルデバイスの斜視図である。
図9は本発明の様々な実施形態に従った、ヘッドアップディスプレイシステムの斜視図である。
図10は本発明の様々な実施形態に従った、アイウェアの斜視図である。
図11は本発明の様々な実施形態に従った、ロボット装置の斜視図である。
図12は本発明の様々な実施形態に従った、ゲーム装置の斜視図である。
本明細書に記載された実施形態は、画像投影を表面走査と組み合わせるための装置および方法を提供する。具体的には、本明細書に記載された実施形態は、表面マッピングを実行しながら画像を投影する機能を提供することができる。一般に、装置および方法は、レーザビームを発生させるための、レーザ光の少なくとも1つの光源と、レーザビームを走査線のパターンで反射する走査ミラーとを利用する。光源は、走査線のパターンの第1の部分の間、投影された画像の画素を選択的に生成し、走査線のパターンの第2の部分の間、深度マッピング用パルスを選択的に発生させるように制御される。投影された画像の画素は、投影された画像を生成し、一方で深度マッピング用パルスは、表面で反射し、受け取られて、各点における測定された表面深度を表示する三次元の点群(point clouds)を生成するために使用される(例えば、表面の深度マップを提供する)。そして、パターンのそれぞれの走査の間に、投影された画像および表面の深度マップの両方を生成することができる。
これらの実施形態では、投影された画像画素と深度マッピング用パルスは時間的に分離されるため、表面の同一箇所に同時に投影されない。これにより、走査型レーザプロジェクタは、投影される画像画素と深度マッピング用パルスの両方において最大許容電力(maximum allowable power)を利用することができる。示される別の方法では、画素およびパルスは時間的に重複しないため、深度マッピング用パルスを発生させることは、投影される画像画素を生成するために使用可能な電力に追加的な限界をもたらすことはない。したがって、利用可能な全ての電力を画像投影に使用することができ、さらに画像の明るさおよび品質は、深度マッピング機能を画像投影に追加することによって成立するものではない。同様に、全ての利用可能な電力を深度マッピングに使用することができ、画像投影に使用される電力によってさらに制限されることはない。
さらに、いくつかの実施形態では、走査ミラーの動作を動的に調整して、結果として得られる表面の三次元の点群の特性を修正することができる。例えば、走査ミラー動作の垂直方向の走査速度(scan rate、スキャンレート)、垂直方向の走査振幅、および/または垂直方向の走査波形形状(vertical scan waveform shape)を動的に調整することができる。走査ミラー動作のこの調整は、結果として得られる三次元の点群の特性を修正するように構成される。例えば、走査ミラー動作の調整は、測定された表面の深さを表示する、結果として得られる三次元の点群の解像度またはデータ密度を修正することができる。
ここで図1を参照すると、走査型レーザプロジェクタ100の概略図が示されている。走査型レーザプロジェクタ100は、画素駆動生成部101(pixel drive generator 101)と、レーザ光源102と、走査ミラー104と、駆動回路106と、深度マッピング手段108とを備えている。動作中、レーザ光源102は、走査ミラー104で走査領域112内の走査線のパターン114に反射されたレーザ光のビームを発生させる。図1の例では、走査線のパターン114はラスターパターンを含む。ただし、これは一例であり、走査線の他の実施形態では、他のパターンの走査線を使用するように発生させてもよい。例えば、螺旋状のパターンやリサジューパターンを代わりに用いることも可能である。これを遂行するために、駆動回路106は走査ミラー104の動作を制御する。具体的には、駆動回路106は、走査ミラー104の動作を励起するための励起信号を提供する。
画像投影を遂行するために、画素駆動生成部101はレーザ光の光線(beam、ビーム)を、走査線のパターン114の第1の部分で画像画素を生成するように、画素データで符号化(encode、コード化)する。パターン114で走査されると、これらの投影された画像画素は、衝突面上に可視画像を生成する。ある実施形態では、レーザ光源102は、投影される画像画素を生成するために使用される赤色、緑色、および青色レーザを含む。
深度マッピングを遂行するために、画素駆動生成部101は、レーザ光のビームを深度マッピング用パルスと共に符号化する。一実施形態では、レーザ光源は深度マッピング用パルスの発生に使用される赤外線レーザをも含む。深度マッピング手段108は、表面からの深度マッピング用パルスの反射を受け取り、受け取った、反射された深度マッピング用パルスに少なくとも部分的に基づいて表面の三次元の点群を生成するように構成される。例えば、深度マッピング手段108は、受け取ったそれぞれの深度マッピング用パルスの戻りの飛行時間を計算するように構成することができる。この計算結果から、深度マッピング手段108は、表面の三次元の点群を生成することができる。
パターン114内のレーザ光のビームの水平方向の動作が三次元の点群内の画像画素および/またはデータポイントの行を規定することに留意されたい。パターン114内のレーザ光のビームの垂直方向の動作は、垂直方向の走査速度を規定し、よって投影された画像および/または三次元の点群における行数を決定する。
上述したように、画素駆動生成部101は、レーザ光源102を制御し、走査線のパターン114の第1の部分の間に、投影される画像画素を選択的に生成するとともに、走査線のパターンの第2の部分の間に深度マッピングのパルスを選択的に発生させるように構成されている。ある実施形態では、走査線のパターン114の第1の部分は、第1の方向に移動する走査線を含み、走査線のパターン114の第2の部分は、第2の方向に移動する走査線を含み、前記第1の方向と前記第2の方向とが逆方向である。例えば、パターン114の第1の部分は、左に移動する水平方向の走査線を含むことができ、パターン114の第2の部分は、右を移動する水平方向の走査線を含むことができる。このような実施形態では、走査線のパターン114の第1の部分とラスターパターン114の第2の部分とが互いに対して効果的にインターレースされる(interlace)。
別の実施形態では、走査線のパターン114の第1の部分は、有効な(active、アクティブな)表示期間中に生成された走査線を含み、走査線のパターン114の第2の部分は、垂直方向の帰線期間中に生成された走査線を含む。
上述のように、走査ミラー104は、レーザビームを反射するように構成されており、駆動回路106は、走査ミラーの動作を励起する励起信号を提供するように構成されている。具体的には、走査ミラー104は、走査線のラスターパターン114にレーザ光を反射するよう励起されるように、運動が励起される。また、本明細書に記載した実施形態によれば、駆動回路106は、走査ミラー104の動作を動的に調整し、表面の得られた投影された画像および/または三次元の点群の特性を修正するように構成されている。
ある特定の実施形態では、駆動回路106は、走査ミラー104の垂直方向の走査速度を動的に減少させ、投影される画像および/または表面の三次元の点群における垂直方向の解像度を増加させるように構成される。
ここで図2を参照すると、深度マッピング手段のより詳細な実施形態が示されている。図2において、深度マッピング手段200は、光センサ202と、プロセッサ204を備えている。一般に、光センサ202は表面から反射されたレーザ光を受光し、受光したレーザ光の反射に比例した信号を発生させるように構成されている。これらの信号はプロセッサ204に転送される。いくつかの実施形態では、これらの信号は、プロセッサ204に送信する前に、フィルタリング、合成、または加工することができ、一方で、別の実施形態では、これらの信号はプロセッサ204によって処理されることができる。また、プロセッサ204は、レーザ光源(例えば、レーザ光源102)からの光のタイミングデータを受信する。この光のタイミングデータは、表面に投影された深度マッピング用パルスのタイミングを表示する。同様に、プロセッサ204は、駆動回路、(例えば、駆動回路106)からミラーの位置データを受信する。ミラーの位置データは、各深度マッピング用パルスに関係するときのミラーの位置を表示する。プロセッサ204は、光学センサ202、光のタイミングデータおよびミラー位置データから信号を受信し、表面の三次元の点群を生成する。
ある実施形態では、レーザ光源102は、表面に亘るパターン走査中、例えばラスターパターンに、赤外線レーザ光のパルスを発生させるように構成することができる。赤外線レーザ光の各パルスは表面から反射され、光学センサ202によって受光され、反射されたレーザ光の各パルスは、三次元の点群における一点に一致することができる。そのような実施形態では、光学センサ202は、任意の適切なセンサを含むことができる。例えば、光学センサ202は、赤外線に感受性があるように実装された、シリコンフォトダイオードおよびアバランシェフォトダイオード(avalanche photodiode)を含む適切なフォトダイオードで実現することができる。他の実施形態では、光学センサ202は、シリコン光電子増倍管または光電子増倍管で実現することができる。いくつかの実施形態では、可視光レーザを含む他のタイプのレーザを使用してパルスを発生させることができることに留意されたい。
プロセッサ204は、光学センサ202に結合され、表面深度を表示する三次元の点群を生成する。一つの実施形態では、プロセッサ204は、反射されて戻り、光センサによって受光される各パルスの飛行時間を計算することによって、三次元の点群を生成する。具体的には、光源から表面に飛行し、そして光学センサ202に戻るように飛行する各パルスの飛行時間は、少なくとも部分的に、光のタイミングデータと光センサ202からの信号とによって決定することができる。各パルスに対応する表面上の位置は、少なくとも部分的にミラーの位置データから決定することができる。各パルスの飛行時間は、その点(at that point)での表面までの距離に比例するため、飛行時間を使用して、その反射点の表面深度を計算することができる。そして、ラスターパターン走査における各点からの決定された表面深さの複合体(composite、合成物)が作成されると、得られたコンテンツは、走査された表面の表面深度を表示する三次元の点群を提供することができる。
三次元の点群の提供を遂行するために、プロセッサ204は、任意の適切なタイプの処理システムまたは装置で実施することができる。例えば、プロセッサ204は、メモリに搭載され、ハードウェア上で実行されるソフトウェア実装プログラムで実施でき、ハードウェアは、そのようなプログラムを実行するように設計された集積回路を利用する。他の実施形態では、プロセッサ204は、ハードウェアのみで、またはハードウェアとソフトウェアの組み合わせで実装することができる。例えば、プロセッサ204は、特定の応用のために設計された、特定用途向け集積回路(ASIC)、または、一般的にコンピュータ装置上で処理機能を提供する汎用中央処理装置(CPU) を含んで実装することができる。さらに、システムオンチップ(SoC)プロセッサは、様々なシステムの構成要素を単一の集積装置に統合することができ、デジタル機能、アナログ機能、光学機能、および他の機能を単一の半導体基板上に含んでもよい。
上述したように、走査型レーザプロジェクタの動作中、レーザビームは、走査ミラーによって反射され、走査線のパターン(例えば、図1に示すようなラスターパターン)を生成する。この走査線のラスターパターンは、部分的に、投影される画像の解像度、および/または走査の解像度と、表面深度を表示する結果と得られる三次元の点群とを決定する。一般に、ラスターパターンの「低速軸」は垂直軸(縦軸)で、「高速軸」は水平軸(矛軸)である。「垂直」および「水平」という用語は、走査型レーザプロジェクタの向きによって決定されるので、本文中において本質的に任意であることが認識されるべきである。そのようなラスターパターンを生成するために、ミラーの垂直方向の走査運動は、比較的低速で鋸歯状のパターンに従ってもよく、一方、水平方向の走査運動は、比較的高速な正弦波状のパターンに従ってもよい。
レーザ光源は、ラスターパターンの第1の部分の間に投影される画像画素を選択的に生成し、ラスターパターンの第2の部分の間に深度マッピング用パルスを選択的に生成するように制御される。ある実施形態では、これらの第1の部分および第2の部分は、逆方向に移動する走査線を含むことができる。ここで図3Aを参照すると、ラスターパターン300の簡略化された例が示されている。また、図3Aは投影される画像画素(白色点で識別される)および深度マッピング用パルス(黒色の点で識別される)を図示している。図3Aは、縮尺通りに描かれていないこと、および、典型的なラスターパターンは、より多くの水平方向の走査線、および、より多くの画像画素および/またはマッピングパルスを含むことに留意されたい。さらに、マッピングパルスに対する画像画素の比率を変更することができることにも留意すべきである。例えば、他の実施形態では、マッピングパルスに等しい数の画像画素を使用することができる。さらに他の実施形態では、マッピングパルスに対してより大きな比率の画像画素を使用することができる。
図3Aに示すように、投影される画像画素は一方向に移動する水平方向の走査線(すなわち第1の部分)の間に投影され、前記深度マッピング用パルスは、第2の方向に移動する水平方向の走査線(すなわち、第2の部分)の間に投影され、第2の方向は、前記第1の方向とは反対方向である。言い換えれば、投影される画像画素が生成される走査線は、深度マッピング用パルスが発生する走査線に対してインターレースされる。
この例では、結果として得られる投影された画像の有効な垂直解像度は、すべての水平方向の走査線を使用して投影される画像に比べて半分に低減されることに留意されたい。同様に、結果として得られる三次元の点群の垂直解像度は、全ての水平方向の走査線を用いてそのような点群を生成する走査に比べて半分に低減される。しかし、以下に説明するように、垂直方向の走査速度を修正することにより、水平方向の走査線の数を修正することができる。
図3Aは例示的なラスターパターンを示しており、ここでは、投影された画像画素を有する個々の走査線が、深度マッピング用パルスを伴う個々の走査線と交互になっているが、
これは単なる一例であり、他の実施も可能であることに留意すべきである。例えば、ラスターパターン300は投影された画像画素の複数の走査線、および/または深度マッピング用パルスの複数の走査線を共に有するように修正されてもよく、したがって、異なるパターンで交互に変化してもよい。1つの具体的な例として、ラスターパターン300は、投影された画像画素の2つの走査線、およびその後に深度マッピング用パルスの1つの走査線を有するように修正されてもよく、ラスターパターン300に渡って2−1−2−1の配列を繰り返す。他の詳細な例として、ラスターパターンは、2−2−2−2、4−1−4−1、または3−2−3−2の配列を有するように修正されてもよい。これらの変化のそれぞれは、投影された画像データおよび/または三次元の点群のための異なる解像度レベルを提供することができ、いくつかの実施形態では望ましい場合がある。不均一な分布によるいくつかのパターンは、画像アーチファクトをもたらす可能性があること、そのようなアーチファクトは、個々の画像画素を、連続するフレームにおけるマッピングパルスと交換または交替させることによって制限されうることを理解されたい。
上述のように、ラスターパターンにおける水平方向の走査線の数は、垂直方向の走査速度を修正することによって修正することができる。図3Bを参照すると、第1の垂直方向の走査パターン302、第1のラスターパターン304、修正された垂直方向の走査パターン306および修正されたラスターパターン308が示されている。これらの実施例では、垂直方向の走査パターン302、306は、比較的短い垂直方向の帰線期間(鋸歯状パターンの急な下り勾配部分に発生すると、比較的長い有効な表示期間(鋸歯状パターンの比較的緩やかな上がり勾配部分に発生する)とを含む。そのような実施形態では、ラスターパターン304および308は、有効な表示期間中に生成されることができるが、一方で、各ラスターパターンの後にミラーを元の垂直位置に戻すために相対的に短い垂直方向の帰線期間が使用される。
全般に、これらのグラフは、垂直解像度を増加させるために、垂直方向の走査速度の動的減少がどのように使用されうるかを示す。具体的には、この垂直方向の走査速度の減少は、水平線の数を増加させることができ、したがって、投影された画像の解像度および/または表面の結果として得られる三次元の点群を増加させるために使用することができる。
具体的には、第1の垂直方向の走査パターンは比較的高速な鋸歯状パターンであり、この比較的高速なパターンが第1のラスターパターン304となる。反対に、修正された垂直方向の走査パターン306は、比較的低速の鋸歯状パターンであり、この比較的低速のパターンが第2のラスターパターン308となる。図3Bに示されるように、垂直方向の走査速度を比較的低速の鋸歯状パターンに減少することで、結果として得られるラスターパターンの水平線間の間隔を減少することになる。この減少された間隔は、所与の垂直距離にわたってより多くの水平方向の走査線をもたらし、走査の垂直解像度および垂直方向のデータ密度を増加させる。逆に、水平線間の間隔が増加すると、所与の垂直距離にわたって水平方向の走査線が少なくなり、走査の垂直解像度を低下させる。
水平線の数を増加させるために垂直方向の走査速度を減少させることにより、深度マッピングで使用される走査線を補償することができる。具体的には、そのような水平線の数の増加が投影された画像画素の交互の線および深度マッピング用パルスと組み合される場合(図3A参照)、そのような技術は、投影された画像および/または深度マッピング走査の解像度を維持しながら、各フレームにおける画像投影および深度マッピングの両方を提供することができる。当然ながら、垂直方向の走査速度のこのような減少も、投影された画像のフレームレートを減少させることとなり、全てのアプリケーションにとって望ましくない可能性がある。
したがって、本明細書に記載される実施形態によれば、駆動回路例えば駆動回路106が、結果として得られる投影された画像および/または表面の三次元の点群の垂直解像度を増加させるように、垂直方向の走査速度を選択的に減少するように構成することができる。反対に、駆動回路は、結果として得られる投影された画像および/または表面の三次元の点群の垂直解像度を減少させるように、垂直方向の走査速度を選択的に増加させるように構成することができる。
繰り返しとなるが、レーザ光源は、ラスターパターンの第1の部分の間、投影された画像画素を選択的に生成し、ラスターパターンの第2の部分の間、深度マッピング用パルスを選択的に発生させるように制御される。別の実施形態では、これらの第1および第2の部分は、水平方向の走査線における位置の交替を含んでもよい。次に、図3Cを参照すると、ラスターパターン300の簡略化された例示部分が示されており、今回も白色点で識別された投影された画像画素と、今回も黒色点で識別された深度マッピング用パルスとで表されている。繰り返しとなるが、図3Cは縮尺どおりに描かれておらず、典型的なラスターパターンは、より多くの水平方向の走査線、およびより多くの画像画素および/またはマッピングパルスを含むであろう。
図3Cに示すように、投影された画像画素は、水平方向の走査線における深度マッピング用パルスと交替する。言い換えれば、投影された画像画素は、水平方向の走査線における深度マッピング用パルスとインターレースされる。
図3Cは、個々の投影された画像画素が個々の深度マッピング用パルスと交差する例示的なラスターパターンを示しているが、これは単なる一例であり、他の具現化が可能であることにも留意すべきである。例えば、ラスターパターン300は、複数の連続する画素および/またはパルスを有するように修正することができる。したがって、投影された画像画素および深度マッピング用パルスは、異なるパターンで交差することができる。1つの具体的な例として、ラスターパターン300は、1つのマッピングパルスが後に続く3つの画像画素を有するように修正されてもよく、パターン320の各水平線に渡って3−1−3−1の配列で繰り返される。他の詳細な例として、ラスターパターン300は、2−2−2−2、4−1−4−1、または3−2−3−2の配列の画素/パルスを有するように修正することができる。繰り返しとなるが、これらの変化のそれぞれは、投影された画像データおよび/または三次元の点群のための異なる解像度レベルを提供することができ、いくつかの実施形態では望ましい場合がある。不均一な分布によるいくつかのパターンは、画像アーチファクトをもたらす可能性があること、そのようなアーチファクトは、個々の画像画素を、連続するフレームにおけるマッピングパルスと交換または交替することによって制限されうることを理解されたい。
この例では、投影された画像画素のみが生成される実施例と比較して、結果として得られる投影された画像の有効な水平解像度が低減されうることに留意されたい。このような低減を相殺するために、水平方向の走査振幅も調整することができる。
ここで図3Dを参照すると、第1のラスターパターン322および修正されたラスターパターン324が示されている。また、第1のラスターパターン322の拡大部分326と、修正されたラスターパターン324の拡大部分328も示されている。拡張部分326および拡張部分328は、両方とも、例示的な投影された画像画素330および深度マッピング用パルス332を示している。繰り返しとなるが、これらの例示的な特徴は単なる例示であり、必ずしも縮尺どおりに描かれていないことに留意されたい。
全般に、これらのグラフは、水平方向の走査振幅の動的減少が、投影された画像および/または表面の三次元の点群における水平解像度および水平方向のデータ密度を増加させることが可能であることを示している。具体的には、水平方向の走査振幅の減少は、レーザ光源によって生成される隣接する画素とパルスの間の間隔を、それらが表面に衝突する際に減少する結果となる。さらに水平方向の走査振幅の減少は、投影された画像の視野および投光比を減少することに留意されたい。したがって、いくつかの実施形態では、投影された画像のアスペクト比を維持するために、水平方向および垂直方向の両方において、同様の変化を振幅に実行することが望ましい場合がある。
具体的には、第1のラスターパターン322は、比較的大きな水平振幅を有し、この水平振幅の結果、画素とパルスとの間の間隔が比較的広くなる。反対に、修正されたラスターパターン324は比較的小さい水平振幅を有し、等しい画素レート(pixel rate)を想定すると、この比較的小さな振幅は画素とパルスとの間の比較的近接した間隔をもたらす。
上記で説明したように、いくつかの実施形態では、走査線のラスターパターンの第1の部分は、有効な表示期間中に生成される走査線を含み、走査線のラスターパターンの第2の部分は、垂直方向の帰線期間中に生成された走査線を含む。ここで図4Aを参照すると、例示的な垂直方向の走査パターン400が示されている。垂直方向の走査パターン400は、有効な表示期間402と垂直方向の帰線期間404とを含む。具体的には、垂直方向の走査パターン400は鋸歯状のパターンであり、比較的長い有効な表示期間402および比較的短い垂直方向の帰線期間404を有する。このような鋸歯状パターンは、通常、有効な表示期間402中に投影された画像を生成するために使用され、比較的短い垂直方向の帰線期間404は、ミラーを元の垂直位置に戻すために使用される。
しかし、記載された実施形態では、比較的短い垂直方向の帰線期間404は表面の三次元の点群を生成するためにも使用することができる。これにより、投影された画像画素を有効な表示期間402の間に、および、深度マッピング用パルスを垂直方向の帰線期間404の間に発生させるように構成されている。しかし、有効な表示期間402は、垂直方向の帰線期間404よりもはるかに長いため、結果として得られるラスターパターンは、深度マッピング用パルスの行数と比較して大幅に多い画像画素の行を含むであろう。
図4Bを参照すると、例示的なラスターパターン410が示されている。ラスターパターン410は、有効な表示期間中に生成されたラスターパターン412の第1の部分と、垂直方向の帰線期間中に生成されたラスターパターン414の第2の部分を示している。繰り返しとなるが、この例では、投影された画像画素は、ラスターパターン412の第1の部分の間に生成することができ、深度マッピング用パルスはラスターパターン414の第2の部分の間に生成することができる。図4Bに見られるように、ラスターパターン412の第1の部分は、ラスターパターン414の第2の部分よりも多くの水平列を有する。このように、投影された画像は比較的高い垂直解像度を有し、一方で生成された三次元の点群は、比較的低い垂直解像度を有することになる。
ここで図5を参照すると、走査型レーザプロジェクタ700の概略図が示されている。走査型レーザプロジェクタ700は、本発明の様々な実施形態にしたがって使用することができるシステムのタイプのより詳細な例である。具体的には、走査型レーザプロジェクタ700は、レーザ深度走査およびレーザ画像投影の両方を提供するように実装することができる。具体的には、走査型レーザプロジェクタ700は、レーザ深度走査およびレーザ画像投影の両方を提供するように実装することができる。走査型レーザプロジェクタ700は、画像処理要素702、画素駆動生成部704、赤外線レーザモジュール705、赤色レーザモジュール706、緑色レーザモジュール708および青色レーザモジュール710を含む。このような実施形態では、赤色、緑色および青色の光は、画像投影に使用されてもよく、一方で深度走査には赤外線光を用いることができる。レーザモジュールからの光は、ダイクロイックミラー712、714、716、717と組み合わされる。また、走査型レーザプロジェクタ700は、折り畳みミラー718と、駆動回路720と、走査ミラー724を有するMEMSデバイス722、および深度マッピング手段740とを含む。様々なレーザモジュールからの出力を組み合わせるための、この図示された構成は単なる一実施例であり、その代わりに、異なる波長のレーザ光をコーミングする異なる技術を使用する他の実装を使用することができる。
動作中、画像処理要素702は、2次元補間アルゴリズムを用いてビデオコンテンツを処理して、画素駆動生成部704により出力画素が表示される走査位置毎の適切な空間画像コンテンツを決定する。例えば、ビデオコンテンツは、任意の解像度の画素のグリッド(例えば、640×480、848×480、1280×720および1920×1080)を表してもよい。入力光強度の符号化は、典型的には、8、10、12ビットまたはそれ以上の解像度の光強度を表す。
次いで、このコンテンツは、レーザからの出力強度が入力画像コンテンツと一致するように、赤色レーザ源、緑色レーザ源、および青色レーザ源の各々について指令された電流にマッピングされる。いくつかの実施形態では、このプロセスは150MHzを超える出力画素レートで行われる。次に、レーザビームは超高速ジンバルに取り付けられた2次元二軸レーザ走査ミラー724に向けられる。いくつかの実施形態では、この二軸走査ミラーは、MEMSプロセスを用いてシリコンで製造される。回転の垂直軸は準静的に動作され、垂直鋸歯状のラスター軌跡を生成する。垂直軸は、低速走査軸とも呼ばれる。水平軸は、走査ミラーの共振振動モードで作動する。いくつかの実施形態では、MEMSデバイスは、MEMSダイを含む小型アセンブリを使用して達成される電磁作動と、永久磁石および電気的インタフェースの小型サブアセンブリを使用するが、様々な実施形態はこれらに限定されない。例えば、いくつかの実施形態は、静電または圧電作動を採用する。本発明の範囲から逸脱することなく、任意の数のミラーおよびミラー作動のタイプを採用することができる。
いくつかの実施形態では、水平軸は共振モードで駆動され、それらは一般に高速走査軸と呼ばれる。いくつかの実施形態では、ラスターパターン726は、水平軸の正弦波成分と、垂直軸の鋸歯状成分を組み合わせることによって形成される。これらの実施形態では、出力ビーム728は、正弦波パターンで前後左右に掃引し、および、フライバック中にブランキングされた表示(下から上へ)による鋸歯状パターンで垂直方向(上から下)に掃引する。
図5は、ビームが上から下へと垂直に掃引するときの正弦波パターンを示しているが、下から上へのフライバックを示していないことに留意すべきである。他の実施形態では、垂直掃引は、フライバックがないように三角波で制御される。さらに別の実施形態では、垂直掃引は正弦波である。本発明の様々な実施形態は、垂直および水平掃引または結果として得られるラスターパターン726を制御するために使用される波形によって限定されない。
駆動回路720は、MEMSデバイスに駆動信号を提供する。駆動信号は、高速走査軸上の走査ミラー724の共振角運動を制御するための励起信号を含み、さらに、低速走査軸を偏向させる低速走査駆動信号を含む。高速走査軸上および低速走査軸上の、結果として生じるミラー偏向は、出力ビーム728に画像領域730でラスター走査726を生成させる。動作時に、レーザ光源は、各出力画素に対して光パルスを発生させ、走査ミラー724は、ビーム728がラスターパターン726を横断するとき、光パルスを反射する。駆動回路720は、MEMSデバイス722からのフィードバック信号を受信する。MEMSデバイス722からのフィードバック信号は、ミラーの最大偏向角を表示することができる、本明細書では、フィードバック信号の振幅とも呼ばれる。このフィードバック信号は、駆動回路720に供給され、走査ミラー724の動作を正確に制御するために、駆動回路720により使用される。
動作において、駆動回路720は、フィードバック信号の振幅が一定になるように、走査ミラー724の共振運動を励起する。上記は、ラスターパターン726に示されているように、高速走査軸上で一定の最大角偏向を提供する。走査ミラー724の共振運動を励起するために使用される励起信号は、振幅と位相の両方を含むことができる。駆動回路720は、励起信号の振幅を修正して、フィードバック信号の振幅を実質的に一定に保つフィードバック回路を含む。さらに駆動回路720は、ラスターパターン726の水平方向の位相合わせおよびラスターパターン726の垂直方向位置を制御する励起信号を修正することができる。
駆動回路720は、深度走査中に走査ミラー724の動作を動的に調整して、結果として得られる表面の三次元の点群の特性を修正するようにさらに構成される。例えば、駆動回路720は、走査ミラー724を駆動して画像投影のための第1の部分、および深度走査のための第2の部分を含むラスターパターンを生成するように構成することができる。さらに、駆動回路720は、走査ミラー動作の水平方向の走査速度、水平方向の走査振幅、垂直方向の走査速度、垂直方向の走査振幅および/または垂直方向の走査波形形状の動的な調整を提供するように構成することができる。上記のように、走査ミラー724の動作におけるこの調整は、結果として得られた投影された画像および/または三次元の点群の特性を修正する。
これを遂行するために、駆動回路720は、ハードウェア、プログラマブルプロセッサ、または任意の組み合わせで実施することができる。例えば、いくつかの実施形態では、駆動回路720は、特定用途向け集積回路(ASIC)に実装される。さらに、いくつかの実施形態では、より高速なデータ経路制御がASICで実施され、全体的な制御がソフトウェアプログラマブルマイクロプロセッサによって提供される。
次に、図5は、いずれも同一の領域730に投影された、深度走査のためのレーザ光(例えば赤外線レーザモジュール705からの光)と、画像投影用レーザ光(例えば、赤色レーザモジュール706、緑色レーザモジュール708および青色レーザモジュール710からのレーザ光)の両方を示しているが、これは単なる一実施形態であることに留意されたい。他の実施形態では、深度マッピングのためのレーザ光パルスは、1つのフィールドまたは領域に向けることができ、一方で、画像投影のための画素は、別のフィールドまたは領域に向けられる。このようなパルスまたは画素のリダイレクトは、波長依存光学要素を使用することによって達成することができ、これらの波長依存性光学素子は、ある要素(component)の波長の光を第1の領域に向け、他の要素の波長の光を別の領域に向けるように構成されている。これらの波長に依存している要素は、透過性の要素と反射性コの要素の両方を含むことができ、様々なビームスプリッタおよびそれらの様々な組合せを含む。このような技術は、深度マッピングを1つの領域に渡って実施し、一方で、画像が別の領域に投影されることを可能にする。
図5は、単一のMEMSデバイス722および単一の走査ミラー724を有する実施形態を示しているが、単なる例示的な実施形態に過ぎないことを理解されたい。別の例として、走査型レーザプロジェクタは、代わりに、2つの走査ミラーを含む走査ミラーアセンブリを用いて実施することができ、そのうちの1つのミラーは1つの軸に沿って偏向するように構成され、もう1つのミラーは第1の軸に略垂直な第2の軸に沿って偏向するように構成されている。
このような実施形態は、第2のMEMSデバイス、第2の走査ミラー、および第2の駆動回路を含むことができる。第1の走査ミラーは水平方向の走査運動を生成し、第2の走査ミラーは垂直運動を生成するように構成することができる。このように、1つの走査ミラーの動作が水平方向の走査振幅を決定され、他の走査ミラーの動作が垂直方向の走査振幅を決定する。
最後に、図5には赤色、緑色、青色および赤外線レーザ光源が示されているが、様々な実施形態は、レーザ光源から放射される光の波長によって限定されない。
本明細書に記載された実施形態によれば、画素駆動生成部704は、走査線のラスターパターンの第1の部分の間に、投影された画像画素を選択的に生成し、および、走査線のラスターパターンの第2の部分の間に深度マッピング用パルスを選択的に発生させるように構成されている。具体的には、画素駆動生成部704は、画像投影のためのラスターパターンの第1の部分の間に、赤色レーザモジュール706、緑色レーザモジュール708および青色レーザモジュール710を駆動するように構成することができる。同様に、画素駆動生成部704は、赤外線レーザモジュール705を駆動し、深度マッピングのためのラスターパターンの第2の部分の間に深度マッピング用パルスを発生させるように構成することができる。
また、本明細書に記載された実施形態によれば、深度マッピング手段740は、表面の三次元の点群を生成するために設けられる。これを遂行するために、深度マッピング手段740は、表面から反射されたレーザ光を受光し、受光されたレーザ光反射に比例する信号を発生させる光学センサを含むことができる。また、深度マッピング手段740は、画素駆動生成部704および/または赤外線レーザモジュール705からの光のタイミングデータを受信することができる。また、深度マッピング手段は、駆動回路720からミラー位置データを受信することもできる。それらの信号およびデータから、深度マッピング手段740は、表面の三次元の点群を生成する。1つの実施形態では、深度マッピング手段740は、光学センサによって反射、受光される各パルスの飛行時間を計算することによって三次元の点群を生成する。具体的には、赤外線レーザモジュール705から表面に移動し、光学センサに戻る各パルスの飛行時間を、光のタイミングデータと光センサからの信号とに少なくとも部分的に基づいて決定することができる。各パルスに対応する表面上の位置は、少なくとも部分的にミラー位置データから決定することができる。各パルスの飛行時間はその時点での表面までの距離に比例するため、飛行時間を使用して、その反射点における表面深度を計算することができる。ラスターパターン走査の各点からの決定された表面深度の複合体が作成されると、結果として得られたコンテンツは、走査された表面の表面深度を表示する三次元の点群を提供することができる。
ここで図6を参照すると、走査ミラーを有する微小電気機械システムMEMSの平面図が示されている。MEMSデバイス800は、固定プラットフォーム802、走査プラットフォーム840、および走査ミラー816を含む。走査プラットフォーム840は、湾曲部材810、812(flexture、たわみ部材)によって固定プラットフォーム802に結合され、走査ミラー816は、湾曲部材820、822によって走査プラットフォーム840に結合される。走査プラットフォーム840は、駆動線850に接続された駆動コイルを有し、駆動線850は駆動回路(例えば駆動回路720)から供給される駆動信号により駆動される。駆動信号は、高速走査軸上の走査ミラー816の共振運動を励起する励起信号を含み、低速走査軸上の走査プラットフォーム840の非共振動作を引き起こす低速走査駆動信号を含む。駆動線850への電流駆動は、駆動コイルに電流を発生させる。動作時、外部磁界源(図示せず)は、駆動コイルに磁界を印加する。外部磁界源によって駆動コイルに課せられる磁界は、コイルの平面方向の成分(component)を有し、2つの駆動軸に対して非直交に配向(方向付け)されている。コイル巻線における面内電流は、面内磁界と相互作用し、導体に面外のローレンツ力を発生させる。駆動電流は走査プラットフォーム840上にループを形成するので、電流は走査軸を横切ると符号(sign、向き)を反転させる。これは、ローレンツ力も、走査軸を横切るとき符号が逆転することを意味し、結果として磁界の面内にトルクを生じさせ、且つ磁界の垂直方向のトルクを生じさせる。この統合されたトルクは、トルクの周波数内容に応じて、2つの走査方向に応答を発生させる。
湾曲部材810、812の長軸は枢動軸を形成する。湾曲部材810 、812は、捩り撓みを受ける可撓性部材であり、それによって、走査プラットフォーム840が旋回軸上で回転し、固定プラットフォームに対して角度変位を有することを可能にする。湾曲部材810、812は、図6に示されるような捩りの実施形態に限定されない。例えば、いくつかの実施形態では、湾曲部材810、812は、円弧、「S」字型、または他の蛇行形状といった他の形状を取っている。本明細書で使用される「湾曲部材(たわみ)」という用語は、走査プラットフォームを別のプラットフォーム(走査または固定)に結合し、走査プラットフォームが他のプラットフォームに対して角度変位を有することを可能にする動作機能を持つ任意の可撓性部材を指す。
走査ミラー816は、湾曲部材820および822によって形成された第1の軸上で旋回し、可撓性部材810、812によって形成された第2の軸上で旋回する。第1の軸は、本明細書では水平軸または高速走査軸と呼ばれ、第2の軸は、本明細書では垂直軸または低速走査軸と呼ばれる。一部の実施形態では、走査ミラー816は、水平軸上の機械的共振周波数で走査して、正弦波の水平掃引をもたらす。さらに、いくつかの実施形態では、走査ミラー816は、非共振周波数で垂直方向に走査し、垂直方向の走査周波数を独立して制御することができる。
典型的な実施形態では、MEMSデバイス800は、1またはそれ以上の集積されたピエゾ抵抗位置センサを含む。例えば、ピエゾ抵抗センサ880は、走査プラットフォーム840に対するミラー816の変位を示す電圧を発生させるように構成されてもよく、この電圧は駆動回路にフィードバックされる。さらに、いくつかの実施形態では、1つの走査軸上に位置センサが設けられ、他の実施形態では、両方の軸に位置センサが設けられている。
MEMSデバイス800は、一例として提供されることに留意されたい。また、本発明の様々な実施形態は、この特定の実施形態に限定されない。例えば、本発明の範囲から逸脱することなく、ラスターパターンまたは他の適切なパターンに光ビームを反射させるために、2次元で掃引する機能を有する任意の走査ミラーが組み込まれてもよい。また、例えば、光ビームをラスターパターンに反射するように、静的および動的/走査ミラーの任意の組み合わせ(例えば、2つのミラー:各軸に対する1つのミラー)を使用することができる。例えば、MEMSデバイス800は、静磁場を有する移動プラットフォーム上に駆動コイルを使用するが、他の実施形態は、固定プラットフォーム上に駆動コイルを有する移動プラットフォーム上の磁石を含むことができる。さらに、ミラー駆動機構は、静電駆動機構を含むことができる。
上述の走査型レーザプロジェクタ(例えば、図1の走査型レーザプロジェクタおよび図5の走査型レーザプロジェクタ700)は、多種多様な装置および多種多様な用途に実装することができる。これらのタイプの装置の具体例は、図7から図12を参照して説明されてはいない。各事案において、上述の様々な実施形態は、そのような装置を伴って、またはそのような装置の一部として実装することができる。
図7を参照すると、様々な実施形態によるモバイルデバイス900のブロック図が示されている。具体的には、モバイルデバイス900は、走査型レーザプロジェクタを実装することができるデバイスの種類の一例である。図7に示すように、モバイルデバイス900は、無線インタフェース910、プロセッサ920、メモリ930、およびレーザプロジェクタ902を含む。
レーザプロジェクタ902は、任意の画像ソースから画像データを受信することができる。例えば、一部の実施形態では、レーザプロジェクタ902は、静止画像を保持するメモリを含む。他の実施形態では、レーザプロジェクタ902は、ビデオ画像を含むメモリを含む。さらに別の実施形態では、走査型レーザプロジェクタ902は、コネクタ、無線インタフェース910、有線インタフェース等のような外部ソースから受信した画像を表示する。
無線インタフェース910は、任意の無線送信および/または受信機能を含むことができる。例えば、いくつかの実施形態では、無線インタフェース910は、無線ネットワークを介して通信することができるネットワークインタフェースカード(NIC)を含む。また、例えば、いくつかの実施形態では、無線インタフェース910は、セルラー電話機能を含むことができる。さらに別の実施形態では、無線インタフェース910は、全地球測位システム(GPS)受信機を含むことができる 当業者は、無線インタフェース910が、本発明の範囲から逸脱することなく、任意のタイプの無線通信機能を含むことができることを理解するであろう。
プロセッサ920は、モバイルデバイス900の様々な構成要素と通信することができる任意のタイプのプロセッサであってもよい。例えば、プロセッサ920は、特定用途向け集積回路(ASIC)から利用可能な組み込み型プロセッサ、または市販のマイクロプロセッサであってもよい。いくつかの実施形態では、プロセッサ920は、画像またはビデオデータを走査型レーザプロジェクタ902に提供する。画像または映像データは、無線インタフェース910から検索されてもよく、または、例えば無線インタフェース910から検索されたデータから導出されてもよい。例えば、走査型レーザプロジェクタ902は、プロセッサ920を介して、無線インタフェース910から直接受信された画像または映像を表示することができる。また、例えば、プロセッサ920は、無線インタフェース910から受信された画像および/または映像に追加するためのオーバーレイを提供することができ、あるいは、無線インタフェース910から受信されたデータ(例えば、無線インタフェース910が位置座標を提供するGPS実施形態におけるマップ表示を修正する)に基づいて記憶された画像を変更してもよい。
図8を参照すると、様々な実施形態によるモバイルデバイス1000の斜視図が示されている。具体的には、モバイルデバイス1000は、走査型レーザプロジェクタを実装することができるタイプのデバイスの一例である。モバイルデバイス1000は、通信機能を有する、あるいは有さない手持ち式走査型レーザプロジェクタであってもよい。例えば、いくつかの実施形態では、モバイルデバイス1000は、他の機能をほとんどまたは全く有さないレーザプロジェクタであってもよい。また、例えば、いくつかの実施形態では、モバイルデバイス1000は、例えば、携帯電話、スマートフォン、タブレットコンピュータデバイス、全地球測位システム(GPS)受信機等を含む、通信に使用可能なデバイスであってもよい。さらに、モバイルデバイス1000は、無線(例えば無線)を介して、より大きなネットワークに接続することができるか、またはこのデバイスは非調整型スペクトル(例えばWiFi)接続を介したデータメッセージまたは映像コンテンツを受信および/または送信することができる。
モバイルデバイス1000は、レーザプロジェクタ1020、タッチ感知ディスプレイ1010、オーディオポート1002、コントロールボタン1004、カードスロット1006、およびオーディオ/ビデオ(A/V)ポート1008を含む。繰り返しとなるが、レーザプロジェクタ1020は、レーザ深度走査を有する組合せ走査型レーザプロジェクタを実装することができる。いくつかの実施形態では、モバイルデバイスは、タッチ感知ディスプレイ1010、オーディオポート1002、制御ボタン1004、カードスロット1006、またはA/Vポート1008のいずれも含まずに、レーザプロジェクタ1020のみを含むことができる。いくつかの実施形態はこれらの要素のサブセットを含む。例えば、アクセサリプロジェクタは、走査型レーザプロジェクタ1020、制御ボタン1004およびA/Vポート1008を含むことができる。スマートフォンの実施形態は、タッチ感知ディスプレイデバイス1010とプロジェクタ1020とを組み合わせてもよい。
タッチ感知ディスプレイ1010は、任意のタイプのディスプレイであってもよい。例えば、いくつかの実施形態では、タッチ感知ディスプレイ1010は、液晶ディスプレイ(LCD)スクリーンを含む。いくつかの実施形態では、ディスプレイ1010はタッチ感知ではない。ディスプレイ1010は、レーザプロジェクタ1020によって投影された画像を常に表示してもなくてもよい。例えば、アクセサリ製品は、投影された画像をディスプレイ1010に常に表示することができるが、他方、携帯電話実施形態はディスプレイ1010に異なるコンテンツを表示しながら、映像を投影してもよい。いくつかの実施形態は、タッチ感知ディスプレイ1010に加えてキーパッドを含むことができる。A/Vポート1008は、映像および/または音声信号を受信および/または送信する。例えば、A/Vポート1008は、デジタルオーディオおよびビデオデータを伝送するのに適したケーブルを受ける高精細マルチメディアインタフェース(HDMI(登録商標))のようなデジタルポートであってもよい。さらに、A/Vポート1008は、複合入力を受信または送信するためのRCAジャックを含むことができる。さらに、A/Vポート1008は、アナログ映像信号を受信または送信するためのVGAコネクタを含むことができる。
いくつかの実施形態では、モバイルデバイス1000は、A/Vポート1008を介して外部信号ソースにつながれてもよい。また、モバイルデバイス1000は、A/Vポート1008を介して受信されたコンテンツを投影することができる。他の実施形態では、モバイルデバイス1000をコンテンツの発信者とすることができ、A/Vポート1008は、コンテンツを異なるデバイスに送信するために使用される。
オーディオポート1002はオーディオ信号を提供する。例えば、いくつかの実施形態では、モバイルデバイス1000は、オーディオおよびビデオを記録および再生することができるメディアレコーダである。これらの実施形態では、ビデオはレーザプロジェクタ1020によって投影され、オーディオはオーディオポート1002で出力されてもよい。
また、モバイルデバイス1000はカードスロットを含む。いくつかの実施形態では、カードスロット1006に挿入されたメモリカードは、オーディオポート1002で出力されるオーディオのソースおよび/または、走査型レーザプロジェクタ1020によって投影されるビデオデータを提供することができる。カードスロット1006は、例えばセキュアデジタル(SD)メモリカードを含む、任意のタイプの半導体メモリデバイスを受けることができる。
図9を参照すると、様々な実施形態によるヘッドアップディスプレイシステム1100の斜視図が示されている。具体的には、ヘッドアップディスプレイシステム1100は、上記の走査型レーザプロジェクタが実装可能なタイプのデバイスの一例である。ヘッドアップディスプレイシステム1100は、レーザプロジェクタ1102を含む。レーザプロジェクタ1102は、走査レーザとしても実現可能である。レーザプロジェクタ1102は、ヘッドアップディスプレイを投影するために車両ダッシュボードに取り付けられている。図9には、自動車のヘッドアップディスプレイが示されているが、これは限定を意味しておらず、他の用途も可能である。例えば、様々な実施形態は、航空電子応用におけるヘッドアップディスプレイ、航空管制応用、および他の応用でのヘッドアップディスプレイを含む。
図10を参照すると、様々な実施形態によるアイウェア1200の斜視図が示されている。具体的には、アイウェア1200は、上述したような走査型レーザプロジェクタを実装することができるタイプのデバイスの一例である。アイウェア1200は、アイウェアの視野内にディスプレイを投影するための走査型レーザプロジェクタ1202を含む。いくつかの実施形態ではアイウェア1200は透明であり、他の実施形態ではアイウェア1200は不透明である。例えば、アイウェア1200は、拡張現実応用において使用されてもよく、着用者は物理世界にオーバーレイされたプロジェクタ1202からの表示を見ることができる。また、例えば、アイウェア1200は仮想現実応用において使用されてもよく、プロジェクタ1202により、着用者の全体の視野が生成される。
1つのプロジェクタ1202のみが図10に示されているが、これは限定ではなく、他の実装も可能である。例えば、いくつかの実施形態では、アイウェア1200は、各眼に対して1つを有する2つのプロジェクタ1202を含む。
図11を参照すると、様々な実施形態によるロボット装置1300の斜視図が示されている。ロボット装置1300は、走査型レーザプロジェクタ1302で実装可能なタイプのデバイスの一例である。上述のように、走査型レーザプロジェクタ1302は、画像投影および深度マッピング機能の両方を提供するように実装することができる。
図示した例では、ロボット装置1300は、様々な機能を実行することができる自己誘導型移動ロボットである。例えば、ロボット装置1300は、清掃サービス、配送サービス、メディアサービス、ゲームを提供するか、または、エンタテインメントデバイスとして動作するように実装することができる。それぞれの場合において、走査型レーザプロジェクタ1302によって提供される深度マッピングを使用して、ナビゲーション、対話性、オブジェクト認識などを含む様々な機能を提供することができる。
一例として、清掃中、またはその他のナビゲーションの間、走査型レーザプロジェクタ1302によって提供される深度マッピングを、ロボット装置1300を案内するために使用することができる。他の例として、走査型レーザプロジェクタ1302によって提供される深度マッピングを使用して、物体を設置し識別することができる。別の例として、走査型レーザプロジェクタ1302によって提供される画像投影および深度マッピングを、例えば、画像を投影して、ユーザに、それらの画像とインタラクトするジェスチャで当該装置を制御させることによって、ロボット装置1300とのユーザインタフェースを提供するために使用することができる。別の例として、ロボット装置1300は、深度マッピングを使用して表面位置を識別し、次いでそこに位置する表面に画像を投影することなどによって、走査型レーザプロジェクタ1302を使用して、視覚メディアをユーザに表示することができる。最後に、これらの様々な実施形態は、人間、動物または他のそのような生活様特性を模倣するアニマトロニックロボットデバイスにも適用可能であることに留意すべきである。
このロボット装置1300を実現するために、様々な他の特徴を含めることができることに留意すべきである。例えば、走査型レーザプロジェクタ1302に加えて、他のセンサデバイスを含めてナビゲーションに寄与することができる。さらに、ロボット装置1300の相互作用および制御を容易にするために、他のヒューマンインターフェイスを設けることができる。別の例として、ロボット装置1300は、音声出力装置および他のそのような通信装置を含むことができる。
図12を参照すると、様々な実施形態によるゲーム装置1400の斜視図が示されている。この場合も、ゲーム装置1400は、走査型レーザプロジェクタを用いて実施することができる。ゲーム装置1400は、ボタン1404、ディスプレイ1410、およびプロジェクタ1402を含む。いくつかの実施形態では、ゲーム装置1400は、ゲームをプレイするためのより大きなコンソールを必要としないスタンドアロン装置である。例えば、ユーザは、ディスプレイ1410および/または投影されたコンテンツを見ながらゲームをプレイすることができる。他の実施形態では、ゲーム装置1400は、より大きなゲームコンソールのためのコントローラとして動作する。これらの実施形態では、ユーザは、ディスプレイ1410および/または投影されたコンテンツと組み合わせて、コンソールにつながれたより大きな画面を見ることができる。
1つの実施形態では、走査型レーザプロジェクタが提供され、当該走査型レーザプロジェクタは、レーザ光の少なくとも1つの光源であって、レーザ光を発生させるように構成されたレーザ光の少なくとも1つの光源と、レーザビームを反射するように構成された少なくとも1つの走査ミラーと、走査線のパターンにレーザビームを反射するように、少なくとも1つの走査ミラーの動作を励起する励起信号を提供するように構成された駆動回路と、レーザ光の少なくとも1つの光源に、レーザビームを用いて投影された画像画素を選択的に生成させるとともに、レーザビームを用いて深度マッピング用パルスを選択的に発生させるよう制御するように構成された画素駆動生成部であって、走査線のパターンの第1の部分の間、投影された画像画素を生成し、走査線のパターンの第2の部分の間、深度マッピング用パルスを発生させるように構成された画素駆動生成部と、表面から深度マッピング用パルスの反射を受光し、表面から深度マッピング用パルスの反射を受光したタイミングに少なくとも部分的に基づいて、表面の三次元の点群を生成するように構成された深度マッピング手段と、を備える。
別の実施形態では、画像を投影する方法が提供され、当該方法は、レーザビームを発生させるステップと、レーザビームを反射して、走査線のパターンを生成するステップと、走査線のパターンの第1の部分の間、投影された画像画素を選択的に生成するステップと、走査線のパターンの第2の部分の間、深度マッピング用パルスを選択的に生成するステップと、表面から深度マッピング用パルスの反射を受光するステップと、表面から深度マッピング用パルスの受光した反射に少なくとも部分的に基づいて、表面の三次元の点群を生成するステップと、を含む。
前の詳細な説明では、本発明を実施することができる特定の実施形態を例示として示す添付の図面が参照された。これらの実施形態は、当業者が本発明を実施できる程度に詳細に説明された。本発明の様々な実施形態は互いに異なるが、必ずしも互いに排他的ではないことを理解すべきである。例えば、一実施形態に関連してここに説明された特定の特徴、構造または特性が、本発明の範囲から逸脱することなく、他の実施形態で実施することができる。さらに、開示された各実施形態の個々の要素の位置または配置が本発明の範囲から逸脱することなく修正されてもよいことを理解すべきである。したがって、前述の詳細な説明は、限定的な意味で解釈されるべきではない。また、本発明の範囲は、添付の特許請求の範囲によってのみ定義され、特許請求の範囲に記載された均等物の全範囲とともに、適切に解釈される。図面において、同様の数字は、複数の図を通して同一または同様の機能を指す。
本発明は、特定の実施形態に関連して説明されたが、本発明の範囲から逸脱することなく、特定の実施形態に関連して当業者が容易に理解できるように説明された修正および変形を行うことができることを理解すべきである。かかる修正および変形は、本発明および添付の請求項の範囲内であるとみなされる。

Claims (13)

  1. レーザ光の少なくとも1つの光源であって、レーザ光を生成するように構成されたレーザ光の少なくとも1つの光源と、
    前記レーザビームを反射するように構成された少なくとも一つの走査ミラーと、
    走査線のパターンに前記レーザビームを反射するように、前記少なくとも一つの走査ミラーの動作を励起する励起信号を提供するように構成された駆動回路と、
    画素駆動生成部であって、レーザ光の前記少なくとも一つの光源に、前記レーザビームを用いて投影される画像画素を選択的に生成させ、且つ前記レーザビームを用いて深度マッピング用パルスを選択的に生成させるように制御するように構成された画素駆動生成部であって、前記走査線のパターンの第一の部分の間投影される画像画素を生成し、前記走査線のパターンの第二の部分の間深度マッピング用パルスを生成するように構成された画素駆動生成部と、
    深度マッピング手段であって、表面から前記深度マッピング用パルスの反射を受け取り、前記表面から前記深度マッピング用パルスの反射を受け取ったタイミングに少なくとも部分的に基づいて、前記表面の三次元の点群を生成するように構成された深度マッピング手段と、
    を備えており、
    前記走査線のパターンの前記第一の部分は、第一の方向に移動する走査線を備え、前記走査線のパターンの前記第二の部分は、第二の方向に移動する走査線を備え、前記第一の方向と前記第二の方向は反対方向であることを特徴とする走査型レーザプロジェクタ。
  2. 前記走査線のパターンの前記第一の部分および前記走査線のパターンの前記第二の部分は、互いにインターレースされる水平方向の走査線であることを特徴とする請求項1に記載の走査型レーザプロジェクタ。
  3. 前記走査線のパターンの前記第一の部分は有効な表示期間中の走査線を含み、前記走査線のパターンの前記第二の部分は、垂直方向の帰線期間中の走査線を含むことを特徴とする請求項1に記載の走査型レーザプロジェクタ。
  4. 前記走査線のパターンの前記第一の部分および前記走査線のパターン前記第二の部分は、それぞれの走査線の中に、投影された画像画素および深度マッピング用パルスを含むことを特徴とする請求項1に記載の走査型レーザプロジェクタ。
  5. 前記マッピング手段は、前記レーザビーム内の前記深度マッピング用パルスの戻りの飛行時間を計算することにより、前記表面の前記三次元の点群を生成することを特徴とする請求項1に記載の走査型レーザプロジェクタ。
  6. 前記少なくとも1つの走査ミラーの前記動作は、水平方向の走査速度、水平方向の走査振幅、垂直方向の走査速度、及び垂直方向の走査振幅を有しており、さらに前記駆動回路は、前記水平方向の走査速度、前記水平方向の走査振幅、前記垂直方向の走査速度、前記垂直方向の走査振幅のうち、少なくとも1つを動的に調節して、前記表面の前記三次元の点群の特性を修正するように構成されていることを特徴とする請求項1に記載の走査型レーザプロジェクタ。
  7. 前記駆動回路は、前記少なくとも一つの走査ミラーの前記垂直方向の走査速度を動的に減少させて、前記表面の前記三次元の点群の垂直解像度を増加させるように構成されていることを特徴とする請求項に記載の走査型レーザプロジェクタ。
  8. 前記駆動回路は、前記少なくとも一つの走査ミラーの前記水平方向の走査振幅を動的に減少させて、前記表面の前記三次元の点群の水平方向のデータ密度を増加させるように構成されていることを特徴とする請求項に記載の走査型レーザプロジェクタ。
  9. レーザ光の前記少なくとも一つの光源が赤外線レーザを含んでおり、画素駆動生成部が前記赤外線レーザを用いて前記深度マッピング用パルスを生成するように構成されていることを特徴とする請求項1に記載の走査型レーザプロジェクタ。
  10. レーザ光の前記少なくとも1つの光源が、赤色レーザ、青色レーザ、および緑色レーザを追加的に含んでおり、画素駆動生成部が、前記赤色レーザ、前記青色レーザ、および前記緑色レーザを使用して、投影される画像画素を生成するように構成されていることを特徴とする請求項に記載の走査型レーザプロジェクタ。
  11. 画像を投影する方法であって、
    レーザビームを生成するステップと、
    前記レーザビームを反射して、走査線のパターンを生成するステップと、
    前記走査線のパターンの第一の部分の間、投影される画像画素を選択的に生成するステップと、
    前記走査線のパターンの第二の部分の間、深度マッピング用パルスを選択的に生成するステップと、
    表面から前記深度マッピング用パルスの反射を受け取るステップと、
    前記表面から前記深度マッピング用パルスの受け取った前記反射に少なくとも部分的に基づいて、前記表面の三次元の点群を生成するステップと、
    を含み、
    前記走査線のパターンの前記第一の部分が第一の方向に移動する走査線を備えており、前記走査線のパターンの前記第二の部分が第二の方向に移動する走査線を備えており、前記第一の方向と前記第二の方向とが反対方向であることを特徴とする方法。
  12. 前記走査線のパターンの前記第一の部分と、前記走査線のパターンの前記第二の部分とが互いにインターレースされる水平方向の走査線であることを特徴とする請求項11に記載の方法。
  13. 前記走査線のパターンの前記第一の部分は有効な表示期間中の走査線を含み、前記走査線のパターンの前記第二の部分は、垂直方向の帰線期間中の走査線を含むことを特徴とする請求項11に記載の方法。
JP2019506478A 2016-08-12 2017-07-28 レーザ画像投影の走査と共に深度マッピングを提供するための装置および方法 Active JP6981680B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/236,133 2016-08-12
US15/236,133 US10145680B2 (en) 2016-08-12 2016-08-12 Devices and methods for providing depth mapping with scanning laser image projection
PCT/US2017/044497 WO2018031268A1 (en) 2016-08-12 2017-07-28 Devices and methods for providing depth mapping with scanning laser image projection

Publications (2)

Publication Number Publication Date
JP2019534467A JP2019534467A (ja) 2019-11-28
JP6981680B2 true JP6981680B2 (ja) 2021-12-17

Family

ID=61159228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506478A Active JP6981680B2 (ja) 2016-08-12 2017-07-28 レーザ画像投影の走査と共に深度マッピングを提供するための装置および方法

Country Status (6)

Country Link
US (1) US10145680B2 (ja)
EP (1) EP3497926B1 (ja)
JP (1) JP6981680B2 (ja)
KR (1) KR102394600B1 (ja)
CN (1) CN109565579B (ja)
WO (1) WO2018031268A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9766060B1 (en) * 2016-08-12 2017-09-19 Microvision, Inc. Devices and methods for adjustable resolution depth mapping
JP7152897B2 (ja) * 2018-08-02 2022-10-13 キヤノン株式会社 投写装置及びその制御方法ならびにプログラム
AU2019418812B2 (en) * 2019-01-04 2022-06-09 Aurora Operations, Inc. Method and system for refractive beam-steering
CN110430406A (zh) * 2019-08-05 2019-11-08 歌尔股份有限公司 深度图像生成方法、装置、设备及计算机可读存储介质
US11397317B2 (en) 2019-09-23 2022-07-26 Microvision, Inc. Automatic power reduction using a pre-scanned virtual protective housing
EP4191318A4 (en) * 2020-07-31 2024-01-17 FUJIFILM Corporation OPTICAL SCANNING DEVICE, CONTROL METHOD THEREOF, AND IMAGE DRAWING SYSTEM
EP4402429A1 (de) * 2021-09-17 2024-07-24 Oqmented GmbH Verfahren und vorrichtung zur messung von tiefeninformationen einer szene anhand von mittels zumindest einer parallelstrahlungsquelle generiertem strukturierten licht
KR20240009275A (ko) * 2022-07-13 2024-01-22 삼성전자주식회사 객체의 깊이 정보를 획득하는 전자 장치 및 그 동작 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029201A (ja) * 2001-07-11 2003-01-29 Canon Inc 画像投射装置及び画像補正方法
US7609875B2 (en) 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US8251517B2 (en) 2007-12-05 2012-08-28 Microvision, Inc. Scanned proximity detection method and apparatus for a scanned image projection system
JP2009222973A (ja) * 2008-03-17 2009-10-01 Citizen Holdings Co Ltd 画像投射装置
US7952783B2 (en) * 2008-09-22 2011-05-31 Microvision, Inc. Scanning mirror control
DE102008055159A1 (de) 2008-12-29 2010-07-01 Robert Bosch Gmbh Adaptive Winkel- und Leistungsanpassung bei 3D-Mikrospiegel-Lidar
US10739460B2 (en) * 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
US9684075B2 (en) * 2011-10-27 2017-06-20 Microvision, Inc. Scanning laser time of flight 3D imaging
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
US9438871B2 (en) * 2012-12-26 2016-09-06 Citizen Holdings Co., Ltd. Laser projection apparatus with bundled fibers
CN105143820B (zh) 2013-03-15 2017-06-09 苹果公司 利用多个发射器进行深度扫描
US9140971B2 (en) * 2013-10-31 2015-09-22 Microvision, Inc. Scanning laser proximity detection
US20150192677A1 (en) 2014-01-03 2015-07-09 Quanergy Systems, Inc. Distributed lidar sensing system for wide field of view three dimensional mapping and method of using same
DE102014211071A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
DE102014211073A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
WO2016043704A1 (en) 2014-09-15 2016-03-24 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel
US10080004B2 (en) 2014-11-06 2018-09-18 Disney Enterprises, Inc. Method and system for projector calibration
KR102317329B1 (ko) 2015-01-02 2021-10-26 삼성전자주식회사 광 스캐닝 프로브 및 이를 이용한 3차원 데이터 생성 장치
JP6852085B2 (ja) 2015-11-30 2021-03-31 ルミナー テクノロジーズ インコーポレイテッド 分布型レーザー及び複数のセンサー・ヘッドを備える光検出及び測距システム、並びに、光検出及び測距システムのパルス・レーザー
US9766060B1 (en) * 2016-08-12 2017-09-19 Microvision, Inc. Devices and methods for adjustable resolution depth mapping
US10200683B2 (en) * 2016-12-21 2019-02-05 Microvision, Inc. Devices and methods for providing foveated scanning laser image projection with depth mapping

Also Published As

Publication number Publication date
EP3497926A1 (en) 2019-06-19
CN109565579B (zh) 2021-04-16
CN109565579A (zh) 2019-04-02
WO2018031268A1 (en) 2018-02-15
EP3497926A4 (en) 2019-08-14
EP3497926B1 (en) 2021-09-01
KR20190030743A (ko) 2019-03-22
JP2019534467A (ja) 2019-11-28
KR102394600B1 (ko) 2022-05-04
US20180047166A1 (en) 2018-02-15
US10145680B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
JP6993000B2 (ja) 解像度が調整可能な深度マッピング装置および方法
JP6981680B2 (ja) レーザ画像投影の走査と共に深度マッピングを提供するための装置および方法
US10200683B2 (en) Devices and methods for providing foveated scanning laser image projection with depth mapping
US11137498B2 (en) Scanning rangefinding system with variable field of view
JP6884417B2 (ja) 走査型プロジェクタにおけるフィードバック制御のシステムおよび方法
JP6838748B2 (ja) 走査型表示システムにおける投影コンテンツの輝度またはサイズの動的恒常性
US20200344459A1 (en) 3D Imaging System for RGB-D Imaging
JP6904592B2 (ja) レーザベースのプロジェクタディスプレイのためのマルチストライプレーザ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211111

R150 Certificate of patent or registration of utility model

Ref document number: 6981680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350