JP6993000B2 - 解像度が調整可能な深度マッピング装置および方法 - Google Patents

Description

深度マッピングセンサ（ｄｅｐｔｈ ｍａｐｐｉｎｇ ｓｅｎｓｏｒ）は、表面の３Ｄマップ（３Ｄ ｍａｐ，三次元マップ）を生成するために開発されており、この３Ｄマップは表面上の深度の変化を表す。

典型的な深度マッピングセンサの１つの制限は、その限られた柔軟性である。例えば、典型的な深度マッピングセンサは、特定の解像度を有する３Ｄマップを生成することに限定される。

例えば、いくつかの深度マッピングセンサは、表面から反射された光を受光するためにＣＭＯＳ撮像センサ（ｉｍａｇｉｎｇ ｓｅｎｓｏｒ、ＣＭＯイメージングセンサ）を使用し、次いで受信した光から３Ｄマップを生成する。しかし、そのようなＣＭＯＳ撮像センサは、典型的には、固定の水平解像度および垂直解像度を有する。したがって、このようなＣＭＯＳ撮像センサを使用する深度マッピングセンサは、ＣＭＯＳ撮像センサの水平解像度および垂直解像度以下の解像度の３Ｄマップを提供することに限定される。

したがって、深度マッピングのための改善された装置および方法の必要性が残っており、特に、改善された柔軟性を有する深度マッピングの必要性がいまだ残っている。

図１は本発明の様々な実施形態に従った、レーザ深度検知装置の概略図である。 図２は本発明の様々な実施形態に従った深度マッピング手段の概略図である。

図３Ａは本発明の様々な実施形態によるラスターパターンの図による表示である。 図３Ｂは本発明の様々な実施形態によるラスターパターンの図による表示である。 図３Ｃは本発明の様々な実施形態によるラスターパターンの図による表示である。 図３Ｄは本発明の様々な実施形態によるラスターパターンの図による表示である。

図４は本発明の様々な実施形態によるラスターパターンの拡大部分の図による表示である。

図５は本発明の様々な実施形態による走査レーザプロジェクタの概略図である。

図６は本発明の様々な実施形態による、走査ミラーを備えた微小電気機械システム（ＭＥＭＳ）の平面図を示す。

図７は本発明の様々な実施形態によるモバイル装置のブロック図を示す。

図８は本発明の様々な実施形態によるモバイル装置の斜視図である。

図９は本発明の様々な実施形態によるヘッドアップディスプレイシステムの斜視図である。

図１０は本発明の様々な実施形態によるアイウェアの斜視図である。

図１１は本発明の様々な実施形態によるロボット装置の斜視図である。

図１２は本発明の様々な実施形態によるゲーム装置の斜視図である。

本明細書に記載された実施形態は、表面を走査し、各点で測定された表面の深さを表示する三次元の点群（ｐｏｉｎｔ ｃｌｏｕｄｓ）を生成するための装置および方法を提供する。一般的に、この装置および方法は、レーザビームを走査線のパターンに反射する走査ミラー（ｓｃａｎｎｉｎｇ ｍｉｒｒｏｒ）を利用する。走査線のラスターパターンが表面に向けられた時、表面からのレーザビームの反射が受光され、各点で測定された表面深度を表示する三次元の点群の生成に使用される（例えば表面の深度マップを提供する。）

ここに記載された実施形態によれば、１つまたは複数の走査ミラーの動作を動的に調整して、得られた表面の三次元の点群の特性を修正することができる。例えば、走査ミラーの動作の水平方向の走査速度（ｓｃａｎ ｒａｔｅ、スキャンレート）、水平方向の走査振幅、垂直方向の走査速度、垂直方向の走査振幅および／又は垂直方向の走査波形形状（ｖｅｒｔｉｃａｌ ｓｃａｎ ｗａｖｅｆｏｒｍ ｓｈａｐｅ）を動的に調整することができる。走査ミラー動作のこの調整は、結果として生じる三次元の点群の特性を修正するように構成される。例えば、走査ミラー動作の調整は、測定された表面の深さを表示する三次元の点群の解像度またはデータ密度を変更することができる。

したがって、本明細書に記載された実施形態は、固定の水平および垂直解像度を有するシステム（例えば、規定された水平および垂直解像度を有するＣＭＯＳ撮像センサを使用するシステム）の柔軟性を向上させることができる。

ここで図を参照すると、レーザ深度検知装置（ｌａｓｅｒ ｄｅｐｔｈ ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ）の概略図が示されている。レーザ深度検知装置１００は、レーザ光源１０２と、走査ミラー（ｓｃａｎｉｎｇ ｍｉｒｒｏｒ）１０４と、駆動回路１０６と、深度マッピング手段（ｄｅｐｔｈ ｍａｐｐｉｎｇ ｄｅｖｉｃｅ）１０８とを備えている。動作時、レーザ光源１０２は、走査ミラー１０４によって、走査領域１２内の走査線のパターン１１４に反射されるレーザ光線を発生させる。図１の例では、走査線のパターン１１４はラスターパターンを含む。しかし、これは単なる一例であり、他の実施形態では、走査線の他のパターンが使用に応じて生成されてもよい。例えば、螺旋状パターンやリサジューパターンを代わりに用いることも可能である。パターン１１４を生成するために、駆動回路１０６は、走査ミラー１０４の動作を制御することができる。具体的には、駆動回路１０６は励起信号を提供し、走査線のパターン１１４が生成されるように走査ミラー１０４の動作を励起する。

本明細書に記載した実施形態によれば、深度マッピング手段１０８は、表面からのレーザビームの反射を受光し、受光したレーザビームの反射に少なくとも部分的に基づいて、表面の三次元の点群を生成するように構成されている。例えば、レーザ光源１０２は、レーザビームの中でパルスを発生させるように構成することが可能である。これらのパルスの反射は、深度マッピング手段１０８によって受光され、深度マッピング手段１０８は、受光した各パルスの戻りの飛行時間を算出する。深度マッピング手段１０８は、上記から表面の三次元の点群を生成する。

このパターン１１４におけるレーザ光線の水平動作（ｈｏｒｉｚｏｎｔａｌ ｍｏｔｉｏｎ、水平運動）は、三次元の点群におけるデータ点の行を規定し、一方でパターン１１４におけるレーザ光線の垂直動作は、垂直方向の走査速度を規定し、これにより三次元の点群における行数（ｎｕｍｂｅｒ ｏｆ ｒｏｗ）を規定する。

上述のように、走査ミラー１０４は、レーザビームを反射するように構成され、駆動回路１０６は、走査ミラー１０４の動作を励起する励起信号を提供するように構成されている。具体的には、走査ミラー１０４がレーザ光線を走査線のラスターパターン１１４で反射するように、動作を励起する。本明細書に記載された実施形態によれば、駆動回路１０６は、走査ミラーの動作を動的に調整（ａｄｊｕｓｔ）し、得られた表面の三次元の点群の特性を修正（ｍｏｄｉｆｙ）するように構成されている。例えば、駆動回路１０６は、走査ミラーの動作の水平方向の走査速度、水平方向の走査振幅、水平方向の走査波形形状、垂直方向の走査速度、垂直方向の走査振幅、および／又は垂直方向の走査波形形状の動的な調整を提供するように構成可能である。この走査ミラー動作の調整は、深度マッピング手段１０８によって結果として生成された三次元の点群の特性を修正する。例えば、走査ミラー動作の調整は、深度マッピング手段１０８によって生成された表面の測定された深さを表示した、結果としての三次元の点群の解像度またはデータ密度を修正することができる。したがって、レーザ深度検知装置１００は、固定の水平および垂直解像度を有するシステムにわたって、より高い柔軟性を提供することができる。

ある特定の実施形態では、駆動回路１０６は、走査ミラー１０４の動作の垂直方向の走査速度を動的に減少させるように構成され、表面の三次元の点群におけるより高い垂直解像度を提供する。別の特定の実施形態では、駆動回路１０６は、走査ミラー１０４の動作の垂直方向の走査振幅を動的に減少させるように構成され、表面の三次元の点群におけるより高い垂直方向のデータ密度を提供する。

別の特定の実施形態では、駆動回路１０６は、走査ミラー１０４の動作の水平方向の走査振幅を動的に減少させるように構成され、表面の三次元の点群におけるより高い水平解像度を提供する。具体的には、水平方向の走査振幅の減少は、表面に衝突したときに、レーザ光源１０２によって生成される隣接するパルス間の間隔の減少をもたらす。

別の特定の実施形態では、走査ミラー１０４の動作の間、垂直方向の走査速度を動的に変更（ｃｈａｎｇｅ）し、表面の三次元の点群に可変の水平方向のデータ解像度を提供するように構成される。別の特定の実施形態では、駆動回路１０６は、走査ミラー１０４の動作の垂直方向の走査波形形状を動的に変化し、表面の三次元の点群に、増加した水平解像度と減少した解像度（ｉｎｃｒｅａｓｅｄ ｈｏｒｉｚｏｎｔａｌ ａｎｄ ｄｅｃｒｅａｓｅｄ ｒｅｓｏｌｕｔｉｏｎ）を提供するように構成される。さらに別の特定の実施形態では、駆動回路１０６は、走査ミラー１０４の水平方向の走査波形形状を動的に変化するように構成されている。

別の特定の実施形態では、レーザ光源１０２は、走査線のラスターパターンの隣り合う線の中のレーザ光のパルスを互い違いに配置する（ｓｔａｇｇｅｒ、ジグザクの配置）ように構成されている。ここで図２を参照すると、深度マッピング手段のより詳細な実施形態が示されている。図２において、深度マッピング手段２００は、光センサ２０２と、プロセッサ２０４とを備えている。一般に、光センサ２０２は、表面から反射されたレーザ光を受光し、受信したレーザ光反射に比例した信号を発生させるように構成されている。これらの信号はプロセッサ２０４に送信される。

いくつかの実施形態では、これらの信号は、プロセッサ２０４に送信する前に、フィルタリング、合成、または他の方法で処理することができ、他の実施形態では、これらの信号は、プロセッサ２０４によって処理されることが可能である。また、プロセッサ２０４は、光源（例えばレーザ光源１０２）からの光のタイミングデータ（ｌｉｇｈｔ ｔｉｍｉｎｇ ｄａｔａ）を受信する。この光のタイミングデータは、表面に投影された深度マッピングパルスのタイミングを表示する。同様に、プロセッサ２０４は、駆動回路（例えば、駆動回路１０６）からミラー位置データを受信する。ミラー位置データは、それぞれの深度マッピングパルスに関係する場合、ミラーの位置を表示する。プロセッサ２０４は、光センサ２０２から、光のタイミングデータおよびミラー位置データからなる信号を受信し、表面の三次元の点群を生成する。

いくつかの実施形態では、レーザ光源１０２は、表面上にパターン走査（例えばラスターパターン）している間に、赤外線レーザ光のパルスを発生させるように構成可能である。赤外線レーザ光のそれぞれのパルスは表面から反射され、光センサ２０２によって受光され、次いで反射されたレーザ光の各パルスは、三次元の点群の一点と対応させることができる。そのような実施形態では、光学センサ２０２は、任意の適切なセンサを含んでもよい。例えば、光センサは、赤外線に感度の高い適切なフォトダイオードを実装することでで実現することができ、シリコンフォトダイオードおよびアバランシェフォトダイオード（ａｖａｌａｎｃｈｅ ｐｈｏｔｏｄｉｏｄｅ）を含むことができる。他の実施形態では、光センサ２０２は、シリコン製光電子増倍管または光電子増倍管で実現することができる。いくつかの実施形態では、可視光レーザを含む他のタイプのレーザを使用してパルスを発生させることができることに留意する必要がある。

プロセッサ２０４は、光学センサ２０２に結合され、表面深度を表示する三次元の点群を生成する。一つの実施形態では、プロセッサ２０４は、反射されて戻り、光センサによって受光される各パルスの飛行時間を計算することによって、三次元の点群を生成する。具体的には、光源から表面に飛行し、そして光学センサ２０２に戻るように飛行する各パルスの飛行時間は、少なくとも部分的に、光のタイミングデータと光センサ２０２からの信号とによって決定することができる。各パルスに対応する表面上の位置は、少なくとも部分的にミラーの位置データから決定することができる。各パルスの飛行時間は、その点（ａｔ ｔｈａｔ ｐｏｉｎｔ）での表面までの距離に比例するため、飛行時間を使用して、その反射点の表面深度を計算することができる。そして、ラスターパターン走査における各点からの決定された表面深さの複合体（ｃｏｍｐｏｓｉｔｅ、合成物）が作成されると、得られたコンテンツは、走査された表面の表面深度を表示する三次元の点群を提供することができる。

上記を実現するために、プロセッサ２０４は、任意の適切なタイプの処理システムまたは機器で実施することができる。例えば、プロセッサ２０４は、メモリにロードされ、ハードウェア上で実行されるソフトウェアで実装するプログラムで実施される。当該ハードウェアは、そのようなプログラムを実行するように設計された集積回路を利用する。他の実施形態では、プロセッサ２０４は、ハードウェア単体、またはハードウェアとソフトウェアの組み合わせで実装することができる。例えば、プロセッサ２０４は、この特定の応用のために設計された、特定用途向け集積回路（ＡＳＩＣｓ）を含むように実装することができ、あるいはコンピュータデバイス上で処理機能を一般的に提供する汎用の中央処理装置（ＣＰＵ）用に設計されている。さらに、システムオンチップ（ＳｏＣ）プロセッサは、様々なシステムの構成要素を単一の集積装置に統合することができ、および、デジタル、アナログ、光、および他の機能を単一の半導体基板上に含んでもよい。

上述したように、レーザ深度検知装置の動作中、レーザビームは走査ミラーによって反射されて走査線のパターン（例えばラスターパターン）を生成する。この走査線のラスターパターンは、走査の解像度を決定し、結果としての表面深度を表示する三次元の点群とを決定する。一般に、ラスターパターンの「低速軸」は垂直軸（縦軸）であり、「高速軸」は水平軸（横軸）である。「垂直」および「水平」という用語は、レーザ深度検知装置の向きによって決定されるので、本文中において本質的に任意であることが認識されるべきである。そのようなラスターパターンを生成するために、ミラーの垂直方向の走査動作は比較的低速の鋸歯状のパターンに従ってもよく、一方、水平方向の走査の動作は比較的高速の正弦波状のパターンに従ってもよい。

図３Ａを参照すると、第一の（最初の）垂直方向の走査パターン３０２と、第一の（最初の）ラスターパターン３０４と、修正された垂直方向の走査パターン３０６と、修正されたラスターパターン３０８が示されている。一般に、これらのグラフは垂直方向の走査速度の動的減少が、表面の結果として得られる三次元の点群の垂直方向の分解能を向上させるためにどのように使用されうるかを示している。

具体的には、第一の垂直方向の走査パターンは比較的高速な鋸歯状パターンであり、この比較的高速なパターンが第一のラスターパターン３０４となる。反対に、修正された垂直方向の走査パターン３０６は、比較的低速の鋸歯状パターンであり、この比較的低速のパターンが第２のラスターパターン３０８となる。これらの例では、垂直方向の走査パターン３０２、３０６は、比較的短い垂直帰線期間（鋸歯状パターンの急な下り勾配部分に発生する）と、比較的長い有効な（アクティブな）表示期間（鋸歯状パターンの比較的緩やかな上がり勾配部分に発生する）とを含む。そのような実施形態では、ラスターパターン３０４および３０８は有効な表示期間中に生成され、各ラスターパターンの後に、比較的短い垂直帰線期間を使用してミラーを元の垂直位置に戻す。

図３Ａに見られるように、比較的低速の鋸歯状パターンに垂直方向の走査速度）を減少させることにより、結果として生じるラスターパターンの水平線間の間隔が減少する。この減少した間隔は、与えられた垂直距離に亘って、より多くの水平方向の走査線をもたらし、したがって走査の垂直解像度および垂直方向のデータ密度を増大させる。反対に、水平線間の間隔を増大させると、与えられた垂直距離に亘って水平方向の走査ラインが減少し、したがって走査の垂直解像度を低下させる。垂直方向の走査速度のこの減少は、水平方向の走査波形形状も変化させることにも留意すべきである。

このように、本明細書に記載される実施形態によれば、駆動回路（例えば、駆動回路１０６）が、結果として得られる表面の三次元の点群の垂直解像度を増大させるように、垂直方向の走査速度を選択的に減少させるように構成することができる。反対に、結果として得られる表面の三次元の点群の垂直解像度を低下させるように、垂直方向の走査速度を選択的に増大させるように構成することができる。これは、垂直解像度が固定解像度センサによって提供される値に限定されないこととなるので、深度マッピングにおける柔軟性の増大をもたらす。

図３Ａは、ラスターパターンの生成中に垂直方向の走査速度が比較的一定である例を示していることに留意すべきである。言い換えれば、垂直位置は、鋸歯状パターンにわたって実質的に直線的（線形）に変化する。これは単に一例であることに留意すべきであり、他の実施形態では、垂直方向の走査速度は、各ラスターパターンにわたって可変であってもよい。

次に図３Ｂを参照すると、速度が可変の垂直方向の走査パターン３０９、および結果として生じるラスターパターン３１０がグラフで示されている。垂直方向の走査パターン３０９は、各ラスターパターンに対する垂直方向の動作の割合が変化するような形状を有している。これにより、垂直解像度を減少させたラスターパターンの一部と、垂直解像度を増加させたラスターパターンの他の部分とが生じる。このような構成は、表面の選択された部分のより詳細な走査を実行することができる。

したがって、本明細書に記載される実施形態によれば、駆動回路（例えば、駆動回路１０６）は、走査ミラー動作の垂直方向の走査波形形状を動的に変更して、表面の三次元の点群の第１の部分（最初の部分）の増加した水平解像度を提供するとともに、表面の三次元の点群の第２の部分（それに次ぐ部分）の減少した水平解像度を提供するように構成されることができる。

図３Ｃを参照すると、最初の垂直方向の走査パターン３１２、最初のラスターパターン３１４、修正された垂直方向の走査パターン３１６および修正されたラスターパターン３１８が示されている。一般に、これらのグラフは、垂直方向の走査振幅の動的な減少が、どのように表面の三次元の点群における増加した垂直方向のデータ密度を提供するかを示している。

具体的には、最初の垂直方向の走査パターン３１２は、比較的大きな振幅を有し、この大きな振幅の結果として最初のラスターパターン３１４が得られる。反対に、修正された垂直方向の走査パターン３１６は比較的小さい振幅を有し、当該比較的小さい振幅の結果、第２のラスターパターン３１８が得られる。図３Ｃに示すように、垂直方向の走査振幅を低減することにより、同じ数の水平方向の走査線で走査される垂直距離が減少し、上記により得られたラスターパターンの水平線間の間隔を再び減少させる。この減少された間隔は、所与の垂直距離にわたってより多くの水平方向の走査線をもたらし、したがって走査中の垂直方向のデータ密度を増加させる。反対に、水平ライン間の間隔が増大すると、所与の垂直距離にわたってより多くの水平方向の走査ラインが生じ、したがって走査中の垂直方向のデータ密度を減少させる。

したがって、本明細書に記載される実施形態によれば、駆動回路（例えば、駆動回路１０６）が、結果として得られる表面の三次元の点群の垂直方向のデータ密度を増大させるように、垂直方向の走査振幅を選択的に減少するように構成することができる。反対に、結果として得られる表面の三次元の点群の垂直方向のデータ密度を低下させるように、垂直方向の走査振幅を選択的に増大するように構成することができる。この場合も、深度マッピングにおける柔軟性の増大をもたらす。

図３Ａ、３Ｂ、３ｃに示す実施形態は、結果として得られる三次元の点群の垂直解像度および／または垂直方向のデータ密度を増大させる技術を示す。これらの実施形態の変化形は水平解像度および／または水平方向のデータ密度を増大させることもできる。具体的には、水平ライン間の間隔を小さくしながらレーザビームのパルスのタイミングを制御することにより、水平方向のデータ密度を増大させる、互い違いに配置されたパルス構成を発生させることができる

図３Ｄを参照すると、ラスターパターン３２２の拡大部分が示されている。ラスターパターン３２２の拡大部分は例示的なパルス衝突位置３２４を示し、位置３２４は黒色点として示されている。これらの位置は単なる例示であり、必ずしも縮尺どおりに描かれていないことに留意されたい。図３Ｄに見られるように、パルスのタイミングは、ラスター走査パターンの隣接する水平ラインのパルスを互い違いに配置するように構成される。隣接するライン間隔が十分に近い場合、隣接するパルスのラインは互いに交互配置してギャップを埋め、２倍の解像度を有する１つの水平ラインを効果的に形成する。したがって、この技術は、結果として生じる表面の三次元の点群の水平解像度を向上することができる。

ここで図４を参照すると、第１のラスターパターン４２２および修正されたラスターパターン４２４が示されている。また、第１ラスターパターン４２２の拡大部分４２６、および、修正されたラスターパターン４３４の拡大部分４２８も示されている。拡大部分４２６および拡大部分４２８は両方とも、例示的なパルス衝突位置４３０を示しており、位置４３０は黒色点で示されている。ここでもこれらの位置は単なる例示であり、必ずしも縮尺どおりに描かれていないことに留意すべきである。

一般に、これらのグラフは、垂直方向の走査振幅の動的減少が、どのように表面の三次元の点群における増大する水平解像度および水平方向のデータ密度をもたらすのかを示している。具体的には、水平方向の走査振幅の減少は、パルスが表面に衝突した際に、レーザ光源によって生成された隣接するパルスの間の間隔の減少をもたらす。

具体的には、第１のラスターパターン４２２は相対的に大きな水平振幅を有し、この水平振幅はパルス間の相対的に広い間隔をもたらす。反対に、修正されたラスターパターン４２４は相対的に小さい水平振幅を有し、等速のパルスレート（ｅｑｕａｌ ｐｕｌｓｅ ｒａｔｅ、等しいパルスのペース）を仮定すると、この相対的に小さな振幅はパルス間の相対的に近接した間隔をもたらす。図４に示すように、パルス間の水平間隔を減少させることにより、走査における水平方向のデータ密度が増大する。反対に、水平方向の走査振幅を増大させると、パルス間の間隔が増大し、水平方向のデータ密度が減少する。

したがって、本明細書に記載される実施形態によれば、駆動回路（例えば、駆動回路１０６）が、結果として得られる表面の三次元の点群の水平解像度およびデータ密度を増加させるように、水平方向の走査振幅を選択的に減少させるように構成することができる。反対に、結果として得られる表面の三次元の点群の水平解像度およびデータ密度を低下させるように、水平方向の走査振幅を選択的に増加させるように構成することができる。

したがって、本明細書に記載された実施形態は、表面の結果として得られる三次元の点群の特性を修正するために走査ミラーの動作の動的調整を提供する。これらの技術は、スタンドアローン型のレーザ深度検知装置に関連して説明されてきたが、他の実施形態では、これらのデバイスおよび技術は、走査レーザプロジェクタと共に実装することができる。走査レーザプロジェクタでは、レーザ光が画素データで符号化されて（ｅｎｃｏｄｅｄ）画像の画素が生成される。符号化されたレーザ光は走査ミラーで反射されて、画像を投影する。

これらの実施形態では、走査レーザプロジェクタは、少なくとも２つのモードで動作するように構成することができ、画像投影のための第１のモードと、深度走査のための第２のモードとを有する。このような走査型レーザプロジェクタにおいて、駆動回路は、モードに応じて、走査ミラーを異なる駆動で駆動するように構成することができる。したがって、走査レーザプロジェクタは、第１のモードで動作するときに、画像投影に最適化された第１のラスターパターンを生成することができ、さらに、走査レーザプロジェクタは、第２のモードで動作するときに、深度走査に最適化された第２のラスターパターンを生成することができるように構成可能である。具体的には、駆動回路は、第２のモード中に動作するときに、少なくとも１つの走査ミラーの動作を修正し、水平方向の走査速度、水平方向の走査振幅、水平方向の走査波形形状、垂直方向の走査速度、垂直方向の走査振幅および垂直方向の走査波形形状のうち少なくとも１つを変更するように構成することができる。したがって、走査レーザプロジェクタは、１つのモードにおいて所望の画像品質を、および、別のモードにおいて、所望の走査解像度および／またはデータ密度の両方を提供することができる。

他の実施形態では、走査レーザプロジェクタは、画像投影と深度走査の両方を１つのモードで稼働させることができる。具体的には、そのような実施形態では、駆動回路は、画像投影および深度走査の両方の間に、同一の走査パターンを生成するように構成することができる。さらに、そのような実施形態では、画像投影および深度走査は、同相（ｉｎ ｐｈａｓｅ）または位相がずれた状態（ｏｕｔ ｏｆ ｐｈａｓｅ）で時間的に同時に行うことができる。

ここで図５を参照すると、走査レーザプロジェクタの概略図が示されている。走査レーザプロジェクタは、本発明の様々な実施形態に従って使用することができるシステムのタイプの、より詳細な例である。具体的には、走査レーザプロジェクタ７００は、レーザ深度走査およびレーザ画像投影の両方を提供するように組み込むことができる。走査レーザプロジェクタ７００は、画像処理要素７０２（ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｃｏｍｐｏｎｅｎｔ）、画素駆動生成部７０４（ｐｉｘｅｌ ｄｒｉｖｅ ｇｅｎｅｒａｔｏｒ）、赤外線レーザモジュール７０５、赤色レーザモジュール７０６、緑色レーザモジュール７０８および青色レーザモジュール７１０を含む。このような実施形態では、赤色光、緑色光および青色光を画像投影に使用可能であり、一方で深度走査には赤外光を用いることができる。レーザモジュールからの光は、ダイクロイックミラー（ｄｉｃｈｒｏｉｃｓ）７１２、７１４、７１６、７１７と集約される（ｃｏｍｂｉｎｅ）。走査レーザプロジェクタ７００はまた、折り返しミラー７１８、駆動回路７２０、走査ミラー７２４を備えたＭＥＭＳデバイス７２２、および深度マッピング手段７４０を含む。様々なモジュールからの出力を合成するための、この図示された構成は単なる一実施例であり、異なる波長のレーザ光を組み合わせるために、異なる技術を使用する他の愚見が手段を代替的に使用できることに留意すべきである。

動作中、画像処理要素７０２は、２次元補間のアルゴリズムを用いて映像コンテンツを処理し、出力画素が画素駆動生成部７０４により表示される各位置の適切な空間画像コンテンツを決定する。例えば映像コンテンツは、任意の解像度（例えば（６４０×４８０）、（８４８×４８０）、（１２８０×７２０）、（１９２０×１０８０））の画素のグリッドを表すことができる。入力光の強度の符号は、典型的には、８、１０、１２ビットまたはそれ以上の解像度の光強度を表す。

次いで、このコンテンツは、レーザからの出力強度が入力画像コンテンツと一致するように、赤色、緑色および青色レーザ光の各々に関する要求された電流にマッピングされる。いくつかの実施形態では、このプロセスは、１５０ＭＨｚを超える出力画素レートで行われる。次に、レーザビームは、超高速ジンバルに取り付けられた二次元二軸レーザ走査ミラー７２４に向けられる。ある実施形態では、この二軸走査ミラーは、ＭＥＭＳプロセスを用いてシリコンから形成される。回転の垂直軸は準静的（ｑｕａｓｉ－ｓｔａｔｉｃａｌｌｙ）に操作され、垂直方向の鋸歯状のラスター軌跡を生成する。垂直軸は、低速走査軸とも呼ばれる。水平軸は、走査ミラーの共振振動モードで動作する。いくつかの実施形態では、ＭＥＭＳデバイスは電磁的な作動を使用しており、ＭＥＭＳ台座（ｄｉｅ、型）を含む小型の組立体と、永久磁石の小型のサブアセンブリと、電気的インタフェースとを使用して実現されるが、多様な実施形態はこの点に限定されない。例えば、いくつかの実施形態は静電作動または圧電作動を採用する。本発明の範囲から逸脱することなく、任意の数のミラーおよびミラーの作動の種類を採用することができる。

また、画素駆動生成部７０４は、深度走査のための赤外線レーザモジュール用のパルスを発生させる。上述のように、このパルスは、増加させた水平方向の走査解像度のための、隣接するパルスの互い違い（ｓｔａｇｇｅｒｉｎｇ）の配置を含むことができる。

いくつかの実施形態では、水平軸は共振モードで駆動され、それは一般に高速走査軸と呼ばれる。いくつかの実施形態では、ラスターパターン７２６は、水平軸上の正弦波成分と垂直軸上の鋸歯状成分を組み合わせることによって形成される。これらの実施形態では、出力ビーム７２８は正弦波パターンで前後左右に掃引（スイープ）され、鋸歯状パターンで垂直方向（上から下）に掃引され、表示はフライバック（下から上）の間で空白となる。

図５は、ビームが垂直方向で上から下に掃引するときの正弦波パターンを示しているが、下から上へのフライバックを示していないことに留意すべきである。他の実施形態では、垂直掃引は、フライバックがないように三角波で制御される。さらに別の実施形態では、垂直掃引は正弦波である。本発明の様々な実施形態は、垂直方向の掃引および水平方向の掃引を制御するために使用される波形、および結果として生じるラスターパターン７２６によって限定されない。

駆動回路７２０は、ＭＥＭＳデバイス７２２に駆動信号を供給する。駆動信号は、高速走査軸上の走査ミラー７２４の共振角運動（ｒｅｓｏｎａｎｔ ａｎｇｕｌａｒ ｍｏｔｉｏｎ）を制御する励起信号を含み、また、低速走査軸の偏向（ｄｅｆｌｅｃｔｉｏｎ）を生じさせる低速走査駆動信号を含む。高速走査軸および低速走査軸上の、結果として生じるミラーの偏向は、画像領域７３０にラスター走査７２６を生成する出力ビーム７２８を発生させる。動作時に、レーザ光源は各出力画素に対応する光パルスを発生させ、走査ミラー７２４は、ビーム７２８がラスターパターン７２６をジグザクに通過する（ｔｒａｖｅｒｓｅ）とき、光パルスを反射する。駆動回路７２０は、ＭＥＭＳデバイス７２２からのフィードバック信号も受信する。ＭＥＭＳデバイス７２２からのフィードバック信号はミラーの最大偏向角を示すことができ、本明細書ではこれはフィードバック信号の振幅とも称される。このフィードバック信号は駆動回路７２０に供給されるとともに、走査ミラー７２４の動作を正確に制御するために、駆動回路７２０により使用される。

動作において、駆動回路７２０は、フィードバック信号の振幅が一定になるように、走査ミラー７２４の共振運動を励起する。上記はラスターパターン７２６に示される高速走査軸に一定の最大角偏向（ｍａｘｉｍｕｍ ａｎｇｕｌａｒ ｄｅｆｌｅｃｔｉｏｎ）をもたらす。走査ミラー７２４の共振運動を励起するために使用される励起信号は、振幅および位相の両方を含むことができる。駆動回路７２０は、励起信号振幅を修正して、フィードバック信号の振幅を実質的に一定に保つフィードバック回路を含む。さらに、駆動回路７２０は、励起信号を修正してラスターパターン７２６の水平方向の位相合わせおよび垂直位置を制御することが可能である。

駆動回路７２０は、深度走査中に走査ミラー７２４の動作を動的に調整して、結果として得られる表面の三次元の点群の特性を修正するようにさらに構成される。例えば、駆動回路７２０は、画像投影のための第１のモードの間に１つのラスターパターンを生成するように、走査ミラー７２４を駆動し、深度走査のための第２のラスターパターンを生成するために、走査ミラー７２４の駆動を選択的に変更するように構成されることができる。例えば、駆動回路７２０は、第２のモードで動作するときの、走査ミラー動作の水平方向の走査速度、水平方向の走査振幅、水平方向の走査波形形状、垂直方向の走査速度、垂直方向の走査振幅および／または垂直方向の走査波形形状の動的調整を提供するように構成することができる。上述のように、走査ミラー動作のこの調整は、第１のモードの間に結果として生じる三次元の点群の特性と比較して、結果として生じる三次元の点群の特性を修正する。例えば、走査ミラー７２４の動作の調整は、深度マッピング手段７４０によって生成された、測定された表面の深さを表示する、結果として生じる三次元の点群の解像度またはデータ密度を修正することができる。

上記を実現するために、駆動回路（７２０）を、ハードウェア、プログラマブルプロセッサ、または他の任意の組み合わせで構成することができる。例えば、いくつかの実施形態では、駆動回路（７２０）は、特定用途向け集積回路（ＡＳＩＣ）によって実現される。さらに、いくつかの実施形態では、より高速のデータ経路の制御がＡＳＩＣで実行され、全体的な制御がソフトウェアプログラマブルマイクロプロセッサによって提供される。

次に、図５は、深度走査のためのレーザ光（例えば赤外線レーザモジュール７０５からの光）、及び画像投影のためのレーザ光（例えば、赤色レーザモジュール（７０６）、緑色レーザモジュール（７０８）、及び青色レーザモジュール７１０）からのレーザ光）の両方が、全て同一の領域７３０に投影されることを示しているが、上記は単なる一実施形態であることを理解されたい。他の実施形態では、深度マッピングのためのレーザ光のパルスは、１つの部分（ｆｉｅｌｄ）または領域（ｒｅｇｉｏｎ）に方向付けることができ、一方で、画像投影のための画素は別のフィールドまたは領域に方向付けられることができる。このようなパルスまたは画素の方向付けの変更（リダイレクト）は、波長依存光学要素（ｗａｖｅｌｅｎｇｔｈ ｄｅｐｅｎｄｅｎｔ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）を使用することによって実現できる。これらの波長依存性光学素子は、ある構成要素の波長の光を第１の領域に向け、他の構成要素の波長の光を別の領域に向けるように構成することができる。これらの波長依存要素は、様々なビームスプリッタおよびそれらの様々な組合せを含む、透過性および反射性の構成要素の両方を含むことができる。このような技術は、画像が別の領域に投影されている間に、ある領域に亘って深度マッピングを実行することを可能にする。

図５は、単一のＭＥＭＳデバイス７２２および単一の走査ミラー７２４を有する実施形態を示しているものの、上記は１つの例示的な実施形態であることを理解されたい。代替的な例として、走査レーザプロジェクタは、代わりに、２つの走査ミラーを含む走査ミラーアセンブリを用いて実施することができる。ここで、１つのミラーは １つの軸に沿って偏向するように構成され、別のミラーは第１の軸にほぼ垂直な第２の軸に沿って偏向するように構成される。

このような実施形態は、第２のＭＥＭＳデバイス、第２の走査ミラー、および第２の駆動回路を含むことができる。第１の走査ミラーは水平方向の走査動作を生成するように構成可能であり、第２の走査ミラーは、垂直動作を生成するように構成可能である。このように、１つの走査ミラーの動作が水平方向の走査振幅を決定し、他の走査ミラーの動作が垂直方向の走査振幅を決定することができる。

最後に、赤色、緑色、青色および赤外線レーザ光源が図５に示されているが、様々な実施形態は、レーザ光源によって放射される光の波長によって限定されない。

本明細書に記載された実施形態によれば、深度マッピング手段７４０が、表面の三次元の点群を生成するために提供される。これを実施するために、深度マッピング手段７４０は、表面から反射されたレーザ光を受けとり、受け取ったレーザ光の反射に比例する信号を生成する光学センサを含むことができる。また、深度マッピング手段７４０は、画素駆動生成部７０４及び／又は赤外線レーザモジュール７０５からの光のタイミングデータを受信することができる。さらに、深度マッピング手段は、駆動回路７２０からミラー位置データを受信することができる。これらの信号およびデータから、深度マッピング手段７４０は表面の三次元の点群を生成する。１つの実施形態では、深度マッピング手段７４０は、反射されて戻り、光センサによって受信される各パルスの飛行時間を計算することによって、三次元の点群を生成する。具体的には、赤外線レーザモジュール７０５から表面に進み、光センサへと戻る各パルスの飛行時間は、少なくとも一部が、光のタイミングデータおよび光センサからの信号によって決定することができる。各パルスに対応する表面上の位置は、少なくとも一部は、ミラー位置データから決定することができる。各パルスの飛行時間は、その点での表面までの距離に比例するため、反射点における表面深度を計算するために飛行時間が使用されてもよい。そして、ラスターパターン走査における各点からの決定された表面深さの複合体が作成されると、結果として得られたコンテンツは、走査された表面の表面深度を表示する三次元の点群を提供することができる。

ここで図６を参照すると、走査ミラーを有する微小電気機械システムＭＥＭＳデバイスの平面図が示されている。ＭＥＭＳデバイス８００は固定プラットフォーム８０２、走査プラットフォーム８４０、および走査ミラー８１６を含む。走査プラットフォーム８４０は、湾曲部材８１０、８１２（ｆｌｅｘｕｒｅ、たわみ部材）によって固定プラットフォーム８０２に結合され、走査ミラー８１６は、湾曲部材８２０、８２２によって走査プラットフォーム８４０に結合される。走査プラットフォーム８４０は、駆動ライン８５０に接続された駆動コイルを有し、駆動ライン８５０は駆動回路例えば駆動回路７２０から供給される駆動信号によって駆動される。駆動信号は、高速走査軸上の走査ミラー８１６の共振運動を励起する励起信号を含み、低速走査軸上の走査プラットフォーム８４０の非共振運動を引き起こすための低速走査駆動信号を含む。駆動ライン８５０への駆動電流は、駆動コイルに電流を発生させる。動作時、外部磁界源（図示せず）は、駆動コイルに磁界を印加する。外部磁界源によって駆動コイルに付加される磁界は、コイルの平面方向の成分（ｃｏｍｐｏｎｅｎｔ）を有し、２つの駆動軸に対して非直交する向きに配向（方向付け）されている。コイル巻線における面内電流は、面内磁界と相互作用し、導体に面外のローレンツ力を発生させる。駆動電流は走査プラットフォーム８４０上にループを形成するので、電流は走査軸を横切ると符号（ｓｉｇｎ、向き）を逆転する。これは、ローレンツ力が走査軸を横切るとき符号が逆転することを意味し、結果として磁界の平面内にトルクを生じさせ、および磁界に垂直にトルクを生じさせる。この組み合わされたトルクは、トルクの周波数内容に応じて、２つの走査方向に応答を発生させる。

湾曲部材８１０および８１２の長軸は回転軸（ｐｉｖｏｔ ａｘｉｓ、ピボット軸）を形成する。湾曲部材８１０、８１２は、捩り撓みを受ける柔軟な部材であり、それによって走査プラットフォーム８４０が回転軸上で回転し、固定プラットフォーム８０２に対して角度変位を有することを可能にする。湾曲部材８１０および８１２は、図６に示されるような捩りを伴う実施形態に限定されない。例えば、いくつかの実施形態では、湾曲部材８１０、８１２は、円弧、「Ｓ」形状、または他の蛇行形状のような他の形状をとる。本明細書で使用される「湾曲部材」という用語は、走査プラットフォームを別の（走査または固定の）プラットフォームに結合する任意の柔軟な部材を指し、前記走査プラットフォームが前記他のプラットフォームに対して角度変位を有することを可能にする動作が可能である。

走査ミラー８１６は、湾曲部材８２０および８２２によって形成された第１の軸上で軸回転（ｐｉｖｏｔ）する。本明細書では第１の軸は横軸または高速走査軸と呼ばれ、第２の軸は垂直軸または低速走査軸と呼ばれる。いくつかの実施形態では、走査ミラー８１６は、水平軸上の機械的な共振周波数で走査して、正弦波の水平掃引をもたらす。さらに、いくつかの実施形態では、走査ミラー８１６は、非共振周波数で垂直方向に走査するため、垂直方向の走査周波数を独立して制御することができる。

典型的な実施形態では、ＭＥＭＳデバイス８００は１つまたは複数の一体的なピエゾ抵抗位置センサを含む。例えば、ピエゾ抵抗センサ（８８０）は、ミラー８１６の、走査プラットフォーム８４０に対する変位を示す電圧を生成するように構成することができ、この電圧を駆動回路に戻すことができる。さらに、いくつかの実施形態では、１つの走査軸上に位置センサが設けられ、他の実施形態では、両方の軸上に位置センサが設けられている。

ＭＥＭＳデバイス８００は一例として提供されており、本発明の様々な実施形態はこの特定の実施形態に限定されないことに留意されたい。例えば、ラスターパターンまたは他の適切なパターンによる光ビームを反射するように、２次元で掃引可能な任意の走査ミラーが、本発明の範囲から逸脱することなく組み込まれてもよい。また、例えば、静的及び動的／走査ミラーの任意の組み合わせ（例えば２つのミラー：各軸に対して１つ）がラスターパターンの光ビームを反射させるために使用されてもよい。さらに、本発明の範囲から逸脱することなく、任意のタイプのミラー駆動機構が使用されてもよい。例えば、ＭＥＭＳデバイス（８００）は、静磁場を有する移動プラットフォーム上で駆動コイルを使用し、他の実施形態は、固定プラットフォーム上に駆動コイルを有する移動プラットフォーム上の磁石を含んでもよい。さらに、ミラー駆動機構は静電駆動機構を含んでもよい。

上述のレーザ深度検知装置（例えば、図１のレーザ深度検知装置）は、多様な装置および用途に実装することができる。これらのタイプの装置のいくつかの具体的な例は図７から１２では説明されていない。いずれの場合にも上述の多様な実施形態はかかる装置を用いて、またはかかる装置の一部を用いて実装される。

図７を参照すると、様々な実施形態によるモバイル装置９００のブロック図が示されている。具体的には、モバイル装置９００は、スタンドアローン型レーザ深度検知装置（例えば図１のレーザ深度検知装置１００）、または走査レーザプロジェクタ／レーザ深度検知装置（例えば図５の走査レーザプロジェクタ７００）が実装可能なタイプの装置の例である。図７に示すように、モバイル装置９００は、無線インタフェース９１０、プロセッサ９２０、メモリ９３０、およびレーザプロジェクタ９０２を含む。本明細書で説明される実施形態によると、レーザプロジェクタ９０２はスタンドアローン型のレーザ深度検知装置、またはレーザ深度検知装置を備えた組合せ走査型レーザプロジェクタを実装することができる。

レーザプロジェクタ９０２は、任意の画像ソースから画像データを受信することができる。例えば、いくつかの実施形態では、レーザプロジェクタは、静止画像を保持するメモリを含む。他の実施形態では、レーザプロジェクタ９０２は、映像画像を含むメモリを含む。さらに別の実施形態では、走査レーザプロジェクタ９０２は、コネクタ、無線インタフェース９１０、有線インタフェース等のような外部ソースから受信した画像を表示する。

無線インタフェース９１０は、任意の無線送信及び／又は受信機能を含むことができる。例えば、いくつかの実施形態では、無線インタフェース９１０は、無線ネットワークを介して通信することができるネットワークインタフェースカード（ＮＩＣ）を含む。
また、例えば、いくつかの実施形態では、無線インタフェース９１０は、セルラー電話機能を含むことができる。さらに別の実施形態では、無線インタフェース９１０は、全地球測位システム（ＧＰＳ）受信機を含むことができる。当業者は、無線インタフェース９１０が、本発明の範囲から逸脱することなく、任意のタイプの無線通信機能を含むことができることを理解するであろう。

プロセッサ９２０は、モバイル装置９００の様々な構成要素と通信することができる任意のタイプのプロセッサであってもよい。例えば、プロセッサ９２０は、特定用途向け集積回路（ＡＳＩＣ）販売者から入手可能な組込型プロセッサであってもよく、または市販のマイクロプロセッサであってもよい。いくつかの実施形態では、プロセッサ９２０は、画像または映像データを走査レーザプロジェクタ９０２に提供する。画像又は映像データは、無線インタフェース９１０から検索されてもよく、又は、無線インタフェース９１０から検索されたデータから導出されてもよい。例えば、プロセッサ９２０を介して、走査レーザプロジェクタ９０２は、例えば、無線インタフェース９１０から直接受信された画像または映像を表示することができる。さらに、例えばプロセッサ９２０は、無線インタフェース９１０から受信された画像及び／又は映像に追加するためのオーバーレイを提供することができ、または、無線インタフェース９１０から受信されたデータに基づいて記憶された画像を変更してもよい。例えば、無線インタフェース９１０が位置座標を提供するＧＰＳ実施形態におけるマップ表示を修正する。

図８を参照すると、様々な実施形態によるモバイル装置１０００の斜視図が示されている。具体的には、モバイル装置１０００は、スタンドアローン型のレーザ深度検知装置または走査型レーザプロジェクタとレーザ深度検知装置との組み合わせが実装可能なタイプの装置の例である。モバイル装置１０００は、手持ち式走査レーザプロジェクタであってもよいし、または通信機能を有さないものであってもよい。例えば、いくつかの実施形態では、モバイル装置１０００は、他の機能をほとんどまたは全く有さないレーザプロジェクタであってもよい。また、例えば、いくつかの実施形態では、モバイル装置１０００は、携帯電話、スマートフォン、タブレット型コンピューティングデバイス、全地球測位システム（ＧＰＳ） 受信機等を含む通信に使用可能な装置であってもよい。さらに、モバイル装置１０００は、無線（例えば、セルラー方式）を介したより大きなネットワークに接続されてもよく、またはこのデバイスはデータメッセージまたは映像コンテンツを、非調整型スペクトル（例えばＷｉＦｉ）接続を介して受信および／または送信することができる。

モバイル装置１０００は、レーザプロジェクタ１０２０、タッチ感知ディスプレイ１０１０（ｔｏｕｃｈ ｓｅｎｓｉｔｉｖｅ ｄｉｓｐｌａｙ、タッチパネル式ディスプレイ）、オーディオポート１００２、コントロールボタン１００４、カードスロット１００６、およびオーディオ／ビデオＡ／Ｖポート１００８を含む。再度となるが、レーザプロジェクタ１０２０は、スタンドアローン型のレーザ深度検知装置または走査型レーザプロジェクタとレーザ深度検知装置との組み合わせで実装可能である。いくつかの実施形態では、モバイル装置は、タッチ感知ディスプレイ１０１０、オーディオポート１００２、制御ボタン１００４、カードスロット１００６、またはＡ／Ｖポート１００８のいずれも含まずに、レーザプロジェクタ１０２０のみを含んでもよい。いくつかの実施形態は、これらの要素のサブセットを含む。例えば、付属プロジェクタは、走査レーザプロジェクタ１０２０、制御ボタン１００４およびＡ／Ｖポート１００８を含むことができる。スマートフォンの実施形態は、タッチ感知ディスプレイデバイス１０１０とプロジェクタ１０２０とを組み合わせてもよい。

タッチ感知ディスプレイ１０１０は、任意のタイプのディスプレイとすることができる。例えば、いくつかの実施形態では、タッチ感知ディスプレイ１０１０は、液晶ディスプレイＬＣＤスクリーンを含む。いくつかの実施形態では、ディスプレイ１０１０はタッチ感知ではない。ディスプレイ１０１０は、レーザプロジェクタ１０２０によって投影された画像を常に表示しても、あるいはしなくてもよい。例えば、付属するプロジェクタは、投影された画像をディスプレイ１０１０に常に表示することができるが、一方で携帯電話の実施形態は、異なるコンテンツをディスプレイ１０１０に表示しながら、映像を投影することができる。いくつかの実施形態はタッチ感知ディスプレイ１０１０に加えてキーパッドを含むことができる。Ａ／Ｖポート１００８は、映像及び／又は音声信号を受信、及び／又は送信する。例えば、Ａ／Ｖポート１００８は、デジタルオーディオ及びビデオデータを搬送するのに適したケーブルを受容する高精細マルチメディアインタフェース（ＵＤＭＩ）のようなデジタルポートであってもよい。さらに、Ａ／Ｖポート１００８は、複合入力を受け入れるまたは送信するためのＲＣＡジャックを含むことができる。さらに、Ａ／Ｖポート１００８は、アナログビデオ信号を受信又は送信するためのＶＧＡコネクタを含むことができる。

いくつかの実施形態では、モバイル装置１０００は、Ａ／Ｖポートを介して外部信号ソースにつながれてもよい。また、モバイル装置１０００は、Ａ／Ｖポート１００８を介して受け入れられたコンテンツを投影することができる。他の実施形態では、モバイル装置１０００は、コンテンツの発信者とすることができ、Ａ／Ｖポート１００８は、コンテンツを異なる装置に送信するために使用される。

オーディオポート１００２は、オーディオ信号を提供する。例えば、いくつかの実施形態では、モバイル装置１０００は、オーディオおよびビデオを記録および再生することができるメディアレコーダである。これらの実施形態では、ビデオはレーザプロジェクタ１０２０によって投影されてもよく、オーディオはオーディオポート１００２で出力されてもよい。

また、モバイル装置１０００はカードスロット１００６を含む。いくつかの実施形態では、カードスロット１００６に挿入されたメモリカードは、オーディオポート１００２で出力されるオーディオのソース、および／または、走査レーザプロジェクタ１０２０によって投影されるビデオデータを提供することができる。カードスロット１００６は、例えばセキュアデジタル（ＳＤ）メモリカードを含む任意のタイプの固体メモリデバイスを受信することができる。

図９を参照すると、様々な実施形態によるヘッドアップディスプレイシステム１１００の斜視図が示されている。具体的には、ヘッドアップディスプレイシステム１１００は、上述したようなレーザプロジェクタを実現することができるタイプの装置の一例である。ヘッドアップディスプレイシステム１１００は、レーザプロジェクタ１１０２を含む。繰り返しとなるが、レーザプロジェクタ１１０２は、スタンドアローン型レーザ深度検知装置または走査型レーザプロジェクタとレーザ深度検知装置の組合せとして実施することができる。レーザプロジェクタ１１０２は、ヘッドアップディスプレイを投影するために、車両ダッシュボード（ｖｅｈｉｃｌｅ ｄａｓｈｂｏａｒｄ）に搭載されているように示されている。図９には、自動車用ヘッドアップディスプレイが示されているが、これは限定ではなく、他の用途も可能である。例えば、様々な実施形態は、アビオニクス応用、エアトラフィック制御応用、および他の応用におけるヘッドアップディスプレイを含む。

図１０を参照すると、様々な実施形態によるアイウェア１２００（眼鏡型装置１２００）の斜視図が示されている。具体的には、アイウェア１２００は、上述したようなレーザプロジェクタを実装することができるタイプの装置の一例である。アイウェア１２００は、眼鏡の視野にディスプレイを投影するための走査レーザプロジェクタ１２０２を含む。いくつかの実施形態では、アイウェア１２００は透視可能であり、他の実施形態では、アイウェア１２００は不透明である。例えば、アイウェア１２００は、拡張現実応用において使用されてもよく、この拡張現実アプリケーションでは、着用者は物理的世界に重ねられたプロジェクタ１２０２からの表示を見ることができる。また、例えば、アイウェア１２００は、バーチャルリアリティ応用において使用されてもよい。ここではプロジェクタ１２０２により着用者の全体の視野が生成される。

図１０には１つのプロジェクタのみが示されているが、これは限定ではなく、他の実装も可能である。例えば、いくつかの実施形態では、アイウェア１２００は２つのプロジェクタ１２０２を含み、各眼に対して１つが割り当てられる。

図１１を参照すると、様々な実施形態によるロボット装置１３００の斜視図が示されている。ロボット装置１３００は走査レーザプロジェクタ１３０２で実現可能なタイプの装置の一例を示す。本発明は、上述したように、走査レーザプロジェクタ１３０２は、画像投影および深度マッピング機能の両方を提供するように実装することができる。

図示の例では、ロボット装置１３００は、様々な機能を実行することができる自己誘導型移動ロボットである。例えば、ロボット装置１３００は、クリーニングサービス、配信サービス、メディアサービス、ゲームを提供する、あるいはエンターテイメント装置として動作することができるように実装することができる。それぞれのケースにおいて、走査レーザプロジェクタ１３０２によって提供される深度マッピングを使用して、ナビゲーション、対話性、オブジェクト認識などを含む様々な機能を提供することができる。

一例として、クリーニング中または他のナビゲーション中にロボット装置１３００を案内するために、走査レーザプロジェクタ１３０２によって提供される深度マッピングを使用することができる。別の例として、オブジェクトを配置、識別するために、走査レーザプロジェクタ１３０２によって提供される深度マッピングを使用することができる。別の例として、例えば、画像を投影し、ユーザがそれらの画像と相互作用するジェスチャを用いて装置を制御することを可能にすることによって、ロボット装置１３００とのユーザインタフェースを提供するために、走査レーザプロジェクタ１３０２によって提供される画像投影および深度マッピングを使用することができる。別の例として、ロボット装置１３００は、走査レーザプロジェクタ１３０２を使用して、深さマッピングを使用して表面の位置を識別し、その位置する表面上に画像を投影することによって視覚メディアをユーザに表示することができる。最後に、これらの様々な実施形態は、人間、動物、他の類似の生活様特性を模倣するアニマトロニクスロボット装置にも適用することができることに留意すべきである。

このロボット装置１３００を実現するために、様々な他の特徴を含めることができることに留意すべきである。例えば、走査レーザプロジェクタ１３０２に加えて、ナビゲーションに寄与するために他のセンサ装置を含めてもよい。さらに、ロボット装置１３００の相互作用および制御を実現するために、他のヒューマンインターフェイスを設けることができる。他の例として、ロボット装置１３００は音声出力装置および他の類似の通信装置を含むことができる。

図１２を参照すると、様々な実施形態によるゲーム装置１４００の斜視図が示されている。この場合も、ゲーム装置１４００は、スタンドアローンのレーザ深度検知装置または走査レーザプロジェクタとレーザ深度検知装置の組合せで実現することができる。ゲーム装置１４００は、ボタン１４０４、ディスプレイ１４１０、およびプロジェクタ１４０２を含む。いくつかの実施形態では、ゲーム装置１４００は、ユーザがゲームをプレイするためのより大きなコンソールを必要としないスタンドアローン型装置である。例えば、ユーザは、ディスプレイ１４１０および／または投影されたコンテンツを見ながらゲームをプレイすることができる。他の実施形態では、ゲーム装置１４００は、より大きなゲームコンソールのためのコントローラとして動作する。これらの実施形態では、ユーザは、ディスプレイ１４１０および／または投影されたコンテンツを見ながら、コンソールに連結されたより大きな画面を見ることができる。

１つの実施形態ではレーザ深度検知装置が提供され、当該装置は、レーザビームを発生させるように構成された少なくとも１つのレーザ光源と、レーザビームを反射するように構成された少なくとも１つの走査ミラーと、表面からのレーザビームの反射を受光し、表面からのレーザビームの受光反射のタイミングに少なくとも部分的に基づいて表面の三次元の点群を生成するように構成された深度マッピング手段と、レーザビームを表面上の走査線のパターンに反射させるために、少なくとも１つの走査ミラーの動作を励起させる励起信号を提供するように構成された駆動回路とを備え、少なくとも１つの走査ミラーの動作は、水平方向の走査速度、水平方向の走査振幅、垂直方向の走査速度、垂直方向の走査振幅および垂直方向の走査波形形状を有し、駆動回路は、水平方向の走査速度、水平方向の走査振幅、水平方向の走査波形形状、垂直方向の走査速度、垂直方向の走査振幅及び垂直方向の走査波形形状のうち、少なくとも１つを動的に調整して、表面の三次元の点群の特性を修正するように構成されている。

別の実施形態では、走査レーザプロジェクタが提供され、当該プロジェクタは、レーザビームを発生させるように構成された少なくとも１つのレーザ光源と、レーザビームを反射するように構成された少なくとも１つの走査ミラーと、表面からのレーザビームの反射を受光し、表面からのレーザビームの受光反射のタイミングに少なくとも部分的に基づいて表面の三次元の点群を生成するように構成された深度マッピング手段と、少なくとも１つの走査ミラーの動作を励起するための励起信号を提供するように構成された駆動回路であって、少なくとも１つの走査ミラーの動作は、前記レーザビームを前記表面上の走査線のパターンで反射するように構成された駆動回路とを備え、前記少なくとも１つの走査ミラーの動作は、水平方向の走査速度、水平方向の走査振幅、水平方向の走査波形形状、垂直方向の走査速度、垂直方向の走査振幅および垂直方向の走査波形形状を有し、駆動回路は画像を投影する第１のモード、および、三次元の点群を生成する第２のモードで動作するように構成され、駆動回路は、少なくとも１つの水平方向の走査速度を調整するようにさらに構成され、駆動回路は、前記第２のモードで動作しているときに、水平方向の走査速度、水平方向の走査振幅、垂直方向の走査速度、垂直方向の走査振幅、および垂直方向の走査波形形状のうち少なくとも１つを調整するように構成されている。

別の実施形態では、表面の三次元の点群を生成する方法が提供され、当該方法は、レーザビームを発生させるステップと、レーザビームを少なくとも１つの走査ミラーで反射するステップと前記レーザビームを前記表面上の走査線のパターンに反射させるように、少なくとも１つの走査ミラーの動作を励起するステップであって、前記少なくとも１つの走査ミラーの動作は、水平方向の走査速度、水平方向の走査振幅、垂直方向の走査速度、垂直方向の走査振幅および垂直方向の走査波形形状を有するステップと、表面からのレーザビームの反射を受光し、表面からのレーザビームの受光反射のタイミングに少なくとも部分的に基づいて表面の三次元の点群を生成するステップと、水平方向の走査速度、水平方向の走査振幅、水平方向の走査波形形状、垂直方向の走査速度、垂直方向の走査振幅及び垂直方向の走査波形形状のうち、少なくとも１つを動的に調整して、表面の三次元の点群の特性を修正するステップとを含む。

前の詳細な説明では、本発明を実施することができる特定の実施形態を例示として示す添付の図面が参照された。これらの実施形態は、当業者が本発明を実施できる程度に詳細に説明された。本発明の様々な実施形態は互いに異なるが、必ずしも互いに排他的ではないことを理解すべきである。例えば、一実施形態に関連してここに説明された特定の特徴、構造または特性が、本発明の範囲から逸脱することなく、他の実施形態で実施することができる。さらに、開示された各実施形態の個々の要素の位置または配置が本発明の範囲から逸脱することなく修正されてもよいことを理解すべきである。したがって、前述の詳細な説明は、限定的な意味で解釈されるべきではない。また、本発明の範囲は、添付の特許請求の範囲によってのみ定義され、特許請求の範囲に記載された均等物の全範囲とともに、適切に解釈される。図面において、同様の数字は、複数の図を通して同一または同様の機能を指す。

本発明は、特定の実施形態に関連して説明されたが、本発明の範囲から逸脱することなく、特定の実施形態に関連して当業者が容易に理解できるように説明された修正および変形を行うことができることを理解すべきである。かかる修正および変形は、本発明および添付の請求項の範囲内であるとみなされる。

Claims (13)

1. レーザビームを発生させるように構成された少なくとも１つのレーザ光源と、
   前記レーザビームを反射するように構成された少なくとも１つの走査ミラーと、
   表面からの前記レーザビームの反射を受け取り、表面からの受け取った前記レーザビームの反射のタイミングに少なくとも部分的に基づいて、前記表面の三次元の点群を生成するように構成された深度マッピング手段と、
   前記レーザビームを前記表面上に走査線のパターンで反射させるために、前記少なくとも一つの走査ミラーの動作を励起させる励起信号を提供するように構成された駆動回路であって、前記少なくとも一つの走査ミラーの動作は、水平方向の走査速度、水平方向の走査振幅、垂直方向の走査速度、垂直方向の走査振幅、および垂直方向の走査波形形状を有しており、前記水平方向の走査速度、前記水平方向の走査振幅、水平方向の走査波形形状、前記垂直方向の走査速度、前記垂直方向の走査振幅、及び前記垂直方向の走査波形形状のうち、少なくとも一つを動的に調整して、前記表面の三次元の点群の特性を修正するように構成されることを特徴とする前記駆動回路と、
   を備えており、
   前記駆動回路が、前記少なくとも一つの走査ミラーを、垂直方向ではより低速の鋸歯状のパターンで走査するよう駆動し、且つ水平方向ではより高速の正弦波状のパターンで走査するよう駆動しており、
   レーザ光の前記少なくとも一つのレーザ光源は、前記レーザビーム内にパルスを発生させるように構成されており、前記深度マッピング手段は、前記レーザビーム内の前記パルスの戻りの飛行時間を計算することにより前記表面の前記三次元の点群を生成し、
   レーザ光の前記少なくとも一つのレーザ光源は、一回の垂直方向の走査で生成される、一本の連続した走査線による前記パターンの隣接する線にレーザビームの前記パルスを互い違いに配置し、前記表面の前記三次元の点群における水平方向のデータ密度を改善するように構成されていることを特徴とする、レーザ深度検知装置。
2. 前記駆動回路は、前記少なくとも一つの走査ミラーの動作のうち前記垂直方向の走査速度を動的に減少させて、前記表面の前記三次元の点群における垂直解像度を増加させるように構成されていることを特徴とする請求項１に記載のレーザ深度検知装置。
3. 前記駆動回路は、前記少なくとも一つの走査ミラー動作のうち前記垂直方向の走査振幅を動的に減少させて、前記表面の前記三次元の点群における垂直方向のデータの密度を増加させるように構成されていることを特徴とする請求項１に記載のレーザ深度検知装置。
4. 前記駆動回路は、前記少なくとも１つの走査ミラー動作のうち前記水平方向の走査振幅を動的に減少し、前記表面の前記三次元の点群における水平方向のデータ密度を増大するように構成されていることを特徴とする請求項１に記載のレーザ深度検知装置。
5. レーザ光の前記少なくとも１つのレーザ光源は、前記レーザビーム内にパルスを発生させるように構成されており、前記深度マッピング手段は、前記レーザビームにおける前記パルスの戻りの飛行時間を計算することにより前記表面の前記三次元の点群を生成し、前記水平方向の走査振幅の減少は、隣接するパルスの間の間隔をさらに減少させることを特徴とする請求項４に記載のレーザ深度検知装置。
6. 前記駆動回路は、前記少なくとも１つの走査ミラーの動作のそれぞれの垂直方向の走査の間に前記垂直方向の走査速度を動的に変更し、前記表面の前記三次元の点群における可変な水平方向のデータ解像度を提供するように構成されていることを特徴とする請求項１に記載のレーザ深度検知装置。
7. 前記駆動回路は、前記少なくとも１つの走査ミラーの動作の前記垂直方向の走査波形形状を動的に変更し、前記表面の前記三次元の点群の第一の部分における水平解像度を増加させ、且つ前記表面の前記三次元の点群の第二の部分における水平解像度を減少させることを特徴とする請求項１に記載のレーザ深度検知装置。
8. 前記少なくとも１つのレーザ光源は、赤外線レーザを備えていることを特徴とする請求項１に記載のレーザ深度検知装置。
9. 前記少なくとも１つのレーザ光源は、赤色レーザ、青色レーザ、及び緑色レーザをさらに備えていることを特徴とする請求項８に記載のレーザ深度検知装置。
10. 走査レーザプロジェクタであって、
    少なくとも一つのレーザ光源であって、レーザビームを発生させるように構成された少なくとも一つのレーザ光源と、
    前記レーザビームを反射するように構成された少なくとも一つの走査ミラーと、
    表面からのレーザビームの反射を受光し、表面からのレーザビームの受光反射のタイミングに少なくとも部分的に基づいて表面の三次元の点群を生成するように構成された深度マッピング手段と、
    前記少なくとも一つの走査ミラーの動作を励起するための励起信号を提供するように構成された駆動回路であって、少なくとも一つの走査ミラーの動作が前記レーザビームを前記表面上の走査線のパターンで反射するように構成されており、前記少なくとも一つの走査ミラーの動作が、水平方向の走査速度、水平方向の走査振幅、水平方向の走査波形形状、垂直方向の走査速度、垂直方向の走査振幅、および垂直方向の走査波形形状を有しており、前記駆動回路が画像を投影する第一のモードと三次元の点群を生成する第二のモードとで動作するように構成されており、前記駆動回路がさらに、少なくとも一つの水平方向の走査速度を調整するように構成されており、前記駆動回路が、前記第二のモードで動作しているときに、水平方向の走査速度、水平方向の走査振幅、垂直方向の走査速度、垂直方向の走査振幅、および垂直方向の走査波形形状のうち少なくとも１つを調整するように構成されている駆動回路と、
    を備えており、
    前記駆動回路が、前記少なくとも一つの走査ミラーを、垂直方向ではより低速の鋸歯状のパターンで走査するよう駆動し、且つ水平方向ではより高速の正弦波状のパターンで走査するよう駆動しており、
    レーザ光の前記少なくとも一つのレーザ光源は、第二のモードとして動作するときに、前記レーザビーム内にパルスを発生させるように構成されており、前記深度マッピング手段は、前記レーザビーム内の前記パルスの戻りの飛行時間を計算することにより前記表面の前記三次元の点群を生成し、
    レーザ光の前記少なくとも一つのレーザ光源は、一回の垂直方向の走査で生成される、一本の連続した走査線による前記パターンの隣接する線にレーザビームの前記パルスを互い違いに配置し、前記表面の前記三次元の点群における水平方向のデータ密度を改善するように構成されていることを特徴とする、走査レーザプロジェクタ。
11. レーザ深度検知装置であって、
    レーザビームを発生させるように構成された少なくとも一つのレーザ光源と、
    前記レーザビームを反射するように構成された、第一の走査ミラー及び第二の走査ミラーと、
    表面からの前記レーザビームの反射を受け取り、受け取った前記表面からの前記レーザビームの反射のタイミングに少なくとも部分的に基づいて前記表面の三次元の点群を生成するように構成された深度マッピング手段と、
    前記第一の走査ミラーの動作を励起させる第一の励起信号を提供するように構成された第一の駆動回路と、前記第二の走査ミラーの動作を励起させる第二の励起信号を提供するように構成された第二の駆動回路とを備えており、前記第一の走査ミラーの動作と前記第二の走査ミラーの動作とが前記レーザビームを前記表面上への走査線のパターンで反射させるように構成されており、前記第二の走査ミラーの動作は、垂直方向の走査速度、垂直方向の走査振幅、および垂直方向の走査波形形状を有しており、前記第二の駆動回路は、前記垂直方向の走査速度、前記垂直方向の走査振幅、および前記垂直方向の走査波形形状のうち、少なくとも一つを動的に調整して、前記表面の前記三次元の点群の特性を修正するように構成されていることを特徴とする第一の駆動回路及び第二の駆動回路と、
    を備えており、
    前記第一の駆動回路が、前記第一の走査ミラーを、水平方向でより高速の正弦波状のパターンで走査するよう駆動しており、
    前記第二の駆動回路が、前記第二の走査ミラーを、垂直方向でより低速の鋸歯状のパターンで走査するよう駆動し、
    レーザ光の前記少なくとも一つのレーザ光源は、前記レーザビーム内にパルスを発生させるように構成されており、前記深度マッピング手段は、前記レーザビーム内の前記パルスの戻りの飛行時間を計算することにより前記表面の前記三次元の点群を生成し、
    レーザ光の前記少なくとも１つのレーザ光源は、一回の垂直方向の走査で生成される、一本の連続した走査線による前記パターンの隣接する線にレーザビームの前記パルスを互い違いに配置し、前記表面の前記三次元の点群における水平方向のデータ密度を改善するように構成されていることを特徴とする、レーザ深度検知装置。
12. 前記第二の駆動回路が、前記第二の走査ミラーの動作の前記垂直方向の走査速度を動的に減少させ、前記表面の前記三次元の点群における垂直解像度を増加させるように構成されていることを特徴とする請求項１１に記載のレーザ深度検知装置。
13. 前記第二の駆動回路が、前記第二の走査ミラーの動作の前記垂直方向の走査振幅を動的に減少させ、前記表面の前記三次元の点群における垂直方向のデータ密度を増加させるように構成されていることを特徴とする請求項１１に記載のレーザ深度検知装置。

Images