JP6547104B2 - 動的構造化光を用いた三次元深度マッピング - Google Patents

Description

本発明は、構造化光を用いた三次元深度マッピングに関し、排他的ではないがより詳細には、コンピュータ等の装置に入力を与えるために追跡を行うシステムに関する。

コンピュータ又は他の計算装置に入力を与えるための追跡は、コンピュータマウス等のユビキタステクノロジを含む。コンピュータの前の三次元被写界内でスタイラス及び指を追跡することも利用可能であり、追跡には視覚映像化、ＩＲ映像化、超音波等の様々な追跡技術を使用する。「追跡」という用語は、対象の位置及び動きをたどることを指すことができ、位置又は動きを算出するために追跡コンピュータにおいて受け取られる入力を処理することを含む。従って、コンピュータマウスの場合、追跡は動きを算出するためにマウスの出力を処理することを含み得る。視覚的にたどられる対象の場合、追跡という用語は、対象を捕捉する連続フレームの画像処理を含み得る。

画像化の１つの方法は、シーンを閲覧し、処理するために単純にカメラを使用する。カメラは、シーン内に配置される特定の印をたどることができ、又は画像化システムが指等の明確に認識可能な特徴を探すことができる。

そのような視覚的画像化の難点は、三次元領域が十分に照らされているという必要条件を含む。更に、追跡可能な唯一の特徴は事前に認識される特徴であり、特徴認識と組み合わせた動作追跡が正確な結果を与えない場合がある。

上記の問題を克服するために、構造化光を用いた追跡が導入された。追跡を行う空間上に知られている画素パターンを投影する。そのパターンが衝突面上でどのように変形するのかにより、シーン内の対象の深度及び面情報を視覚システムが計算することができる。使用される典型的なパターンはグリッド又は水平バーである。様々な装置が、ジェスチャ認識及び３Ｄ深度マッピングを使用できるようにするために構造化光パターンを使用する。構造化光パターン送信機は、レーザ発光体及び回折光学素子（ＤＯＥ：ｄｉｆｆｒａｃｔｉｖｅ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）を含む。

三次元形状の面上に狭帯域の光を投影することは、投光器の照明の線よりも他のパースペクティブ（ｐｅｒｓｐｅｃｔｉｖｅｓ）から歪んで見える照明の線が生成され、表面形状の正確な幾何学的再現に使用され得る。

より速く、より汎用性のある方法は、多くのストライプ又は任意の縞からなるパターンを一度に投影することであり、それにより多数のサンプルを同時に取得できるようになる。異なる視点から見ると、対象の表面形状によりパターンが幾何学的に歪んで見える。

構造化光投影の他の多くの改変形態があり得るが、平行ストライプのパターンが広く使われている。ストライプの位置を変えることにより、対象の面に関する如何なる細部の３Ｄ座標も正確に取得できるようになる。

ストライプパターンを生成する１つの知られている方法は、２つの広い平面のレーザビームフロントを利用するレーザ干渉法である。ビームフロント間の干渉が規則的で等距離の線パターンをもたらす。それらのビーム間の角度を変えることにより、様々なパターンサイズを得ることができる。この方法は、被写界深度の制限なしに非常に細かいパターンを正確且つ容易に生成できるようにする。欠点は、実装費用が高価であること、ビームの理想的な幾何学的形状を提供する難しさ、並びにスペックル雑音及び対象から反射されるビーム部分とのあり得る自己干渉等のレーザに特有の作用である。更に、グレイコードによって等、個々のストライプを変調する手段がない。

とりわけ、端面発光レーザダイオード等の単一源の発光体を使用する欠点は、単一源の発光体が作り出す光パターンが単一の構成単位としてしか制御できないことである。つまり、光パターンは完全にオンにし、完全にオフにし、又は調光することができるが、動的に変えることはできない。

構造化光パターンはＩＲ光等の不可視光を使用して構築することができる。或いは、高フレームレートが構造化光を利用者の感知できなくし、又はコンピュータの他の視対象との干渉を回避することができる。

面発光レーザ、即ちＶＣＳＥＬは、ウェハから個々のチップを切り出すことによって形成される面から発光する従来の端面発光半導体レーザとは対照的に、レーザビームの発光が上面から垂直である半導体レーザダイオードの一種である。

端面発光レーザとは対照的に、ＶＣＳＥＬを作る幾つかの利点がある。端面発光体は製造工程が終わるまで検査することができない。端面発光体が接触不良又は低質の材料成長によって適切に機能しない場合、製造時間及び処理材料が無駄になる。ＶＣＳＥＬであれば、材料品質及び処理上の問題がないかどうかを工程にわたる幾つかの段階で検査することができる。例えばエッチング中に誘電材料からバイアスが完全に除去されていない場合、一時的な検査工程を使用して一番上の金属層が最初の金属層と接触していないことを判定することができる。加えて、ＶＣＳＥＬはビームをレーザの活性領域に対して垂直に放つため、７６．２ｍｍ（３インチ）のガリウムヒ素ウェハ上で何万ものＶＣＳＥＬを同時に処理することができる。更に、ＶＣＳＥＬの製造工程にはより多くの労力及び材料を要するが、歩留まりをより予測できる結果に管理することができる。

構造化光システムにＶＣＳＥＬレーザアレイを使用することには著しい利点があり、それはかかるアレイを使用することで構造化光送信機を小さくできるからである。このように小さくすることは、携帯電話又はウェアラブルデバイス等の大きさの制約がある装置の中に送信機を埋め込むのにとりわけ重要である。

しかし、上記の利点にもかかわらず、ＶＣＳＥＬアレイは幾つかの理由から構造化光走査システムに現在使用されていない。多くの回折パターンは、高分解能の追跡に必要な高密度のパターンを作り出すためにコヒーレントなガウシアン形状のビームを必要とする。ＶＣＳＥＬアレイは、隣同士に位置し、通常それらの間に重複がある複数の個々のガウスビームを提供するに過ぎない。複数の点及びそれらの間の重複は、光パターン内の高密度領域における検出性能を低下させ、既定のガウスビームを必要とする様々な回折設計技法の使用を制限する。かかる設計は、トップハット設計、ホモジニアスラインジェネレータ（Ｈｏｍｏｇｅｎｅｏｕｓ ｌｉｎｅ ｇｅｎｅｒａｔｏｒ）、及び他の複雑な高性能構造を含む。

実際に、標準的な回折設計の問題は、全ＶＣＳＥＬレーザアレイが単一光源として使用されることである。従って、多重スポット設計を使用する場合、焦点が合ったガウスビームを有する代わりに、スポットごとにアレイ画像が取得される。入力としてガウスビームを必要とする回折設計は所要の出力を全く得ることがない。高密度の光パターンでは問題がより深刻になり、それはそれらの光パターンでは特徴を分けるためにソースビームの焦点を小さなスポット上に合わせる必要があり、光源がレーザアレイである場合はそれができないからである。

本実施形態は、アレイのレーザが個々に又はグループ単位で変調されるＶＣＳＥＬレーザアレイを提供する。必要に応じて構造化光パターンを提供し、且つそれを変えるために、個々のレーザ又はグループを静的に又は動的に変調することができる。

従って、アレイ内の各レーザ又は一緒にモデレートされる（ｍｏｄｅｒａｔｅｄ）レーザ群が、独自の光学素子、典型的には回折素子を備える。全体的な構造化光パターンが、所与の状況のために選択され得るように且つ／又は関心領域を動的にたどることができるように回折素子を個々に制御することができる。

本発明の第１の態様によれば、
パターン状の光を三次元空間内に投影するように構成されるレーザアレイと、
複数の光学素子であって、個々の光学素子がセルを画定し、セルがレーザアレイの個々の部分集合と整列され、各セルの光学素子が、個々の部分集合から光学素子を通過する光に対して個々に変調を加えて構造化光パターンの区別可能な部分を提供する、複数の光学素子と
を備える、構造化光パターンを生成するための装置が提供される。

一実施形態では、光変調が、回折変調、屈折変調、及び回折変調と屈折変調との組合せのうちの何れかである。
一実施形態では、個々のセルを構成する光学素子及びレーザアレイの部分集合が単一の成形体から構築される。

一実施形態では、セルの幅が１ｍｍ以下である。
一実施形態では、光学素子の幅が１ｍｍ以下である。
一実施形態では、回折変調を変更するようにセルが個々に制御可能である。

一実施形態では、少なくとも１つの捕捉フレームを受け取って解析することに基づいて構造化光パターンの変更をもたらすようにセルが動的に制御可能であり、フレームは二次元レイアウト内の複数の画素を含む。

一実施形態では、セルが構造化光パターン内の位置決めに関して、及び光に適用される形状に関して更に制御可能である。
一実施形態では、動的制御が、シーンの一部に構造化光パターンの高い分解能を適用して、シーンの他の部分に構造化光パターンの低い分解能を適用するように構成可能である。

一実施形態では、構造化光パターンの動的変更が、構造化光パターンの向きの変更を含む。
一実施形態では、構造化光パターンの動的変更がセルに関する変更を含む。

一実施形態では、変更、強度の変更、偏光の変更、フィルタリングパラメータの変更、及び焦点の変更の何れかである。
一実施形態では、部分集合が、個々のレーザ、レーザの対、レーザの三つ組、異なる大きさのレーザの組合せ、及び動的に変化するレーザの組合せの何れかである。

一実施形態では、個々の部分集合から投影される光がタイル化される（ｔｉｌｅｄ）か、又は重複される。
一実施形態では、レーザアレイがＶＣＳＥＬレーザアレイを含む。

一実施形態では、レーザアレイがレーザバーを含む。
装置は、コンピュータ、ラップトップコンピュータ、移動通信装置、タブレット装置、ゲーム機、及び動き捕捉装置のうちの何れかに組み込むことができる。

装置は、三次元シーンを追跡するために使用することができる。
本発明の第２の態様によれば、三次元追跡用の構造化光パターンを生成する方法が提供され、この方法は、
レーザアレイから光を与えるステップと、
レーザアレイの部分集合から個々に光を投影して、構造化光パターンの分化部分を提供するステップと
を含む。

本発明の第３の態様によれば、
パターン状の光を三次元空間内に投影するように構成されるレーザアレイと、
複数の光学素子セルであって、セルはレーザアレイの個々の部分集合と整列され、各セルが、個々の部分集合から素子を通過する光に対して強度変調を個々に加えて構造化光パターンの区別可能な部分を提供する、複数の光学素子セルと
を含む、構造化光パターンを生成するための装置が提供される。

別段の定めがなければ、本明細書で使用する全ての専門用語及び／又は科学用語は、本発明が関係する技術分野の当業者が一般に理解するのと同じ意味を有する。本発明の実施形態を実践し又は試験する際、本明細書に記載するのと同様の又は均等な方法及び材料を使用することができるが、例示的方法及び／又は材料を以下に記載する。矛盾がある場合、定義を含む本特許明細書が優先する。更に、材料、方法、及び例は例示に過ぎず、必ずしも限定的であることを意図しない。

本発明の実施形態の方法及び／又はシステムの実装形態は、選択されたタスクを手動で、自動で、又はその組合せによって実行し若しくは完了することを含み得る。更に、本発明の方法及び／又はシステムの実施形態の実際の器具及び装置によれば、幾つかの選択されたタスクがハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せによってオペレーティングシステムを使用して実施され得る。

例えば、本発明の実施形態による選択されたタスクを実行するためのハードウェアは、チップ又は回路として実装することができる。ソフトウェアとしては、本発明の実施形態による選択されたタスクは、任意の適切なオペレーティングシステムを使用するコンピュータが実行する複数のソフトウェア命令として実装することができる。本発明の例示的実施形態では、本明細書に記載の方法及び／又はシステムの例示的実施形態による１つ又は複数のタスクが、複数の命令を実行するための計算プラットフォーム等のデータプロセッサによって実行される。任意選択的に、データプロセッサは、命令及び／若しくはデータを記憶するための揮発性メモリ、並びに／又は命令及び／若しくはデータを記憶するための不揮発性記憶域、例えば磁気ハードディスク及び／若しくはリムーバブルメディアを含む。任意選択的にネットワーク接続も提供される。ディスプレイ及び／又はキーボード又はマウス等のユーザ入力装置も任意選択的に提供される。

本発明の幾つかの実施形態を添付図面に関して専ら例として本明細書で説明する。次に図面を具体的に詳しく参照し、図示の詳細は例であり、本発明の実施形態を例示的に解説するためのものであることを強調しておく。この点に関し、図面と共に説明を理解することにより、本発明の実施形態をどのように実践できるのかが当業者に明らかになる。

本発明の一実施形態による構造化光発生装置の基本設定を示す単純化した概略図であり、個々のパターンを有する光学素子のセルはＶＣＳＥＬレーザアレイ内の特定のＶＣＳＥＬに対応する。 図１の実施形態の、及び光パターンの構築を示す単純化した概略図であり、各セルは全体的な構造化光パターンの部分的タイルを作り出す。 図１の実施形態の改変形態を示す概略図であり、各セルはＶＣＳＥＬレーザの三つ組からなる。 図１の実施形態の改変形態を示す概略図であり、様々な光パターンが前述のように様々なセルパターンによって作られるが、セルが様々な大きさ及び向きからなる。 図１の実施形態の改変形態を示す概略図であり、様々な光パターンが前述のように様々なセルパターンによって作られ、個々のセルが、必ずしも分けられたタイル構造にまとめられない全体的な構造化パターンの様々な光の特徴を担う。 本発明の実施形態による、カメラ及びプロセッサを有する追跡システムを示す概略図である。 本発明の実施形態による、光学素子によって適用され得る様々な変調を示す概略図である。 本発明の実施形態による、光学素子によるビームの配置又は方向変更を示す概略図である。 ビームの焦点を合わせるために本発明の光学素子を使用することを示す単純化した図面である。 本発明の一実施形態による、ビーム成形を行う光学素子を示す単純化した図面である。 本発明の一実施形態による、焦点合わせ、ビームの方向付け、及びビーム成形を含む多段階光学素子を示す単純化した図面である。 ａ及びｂは、人差し指に対してストライプを使用する効果を示し、ストライプが指に平行な場合、ストライプの向きをどのように変更しなければならない可能性があるのかを示す。 本発明の実施形態による、この場合は垂直線と水平線との間でのパターンの動的変更を示す。 本発明の実施形態による、広視野から狭視野へのパターンの動的変更を示す。 本発明の実施形態による、低密度の線と高密度の線との間でのパターンの動的変更を示す。 本発明の実施形態による、実線と断線からなる線との間でのパターンの動的変更を示す。 本発明の実施形態による、低強度の線と高強度の線との間でのパターンの動的変更を示す。 本発明の実施形態による、対象の暗さ又は明るさに応じた光強度の変更を示す。 本発明の実施形態による、フレーム解析後に行われるパターンの動的変更を示す単純化したフローチャートである。

本発明はその一部の実施形態で、構造化光を用いた三次元深度マッピングに関し、排他的ではないがより詳細には、コンピュータに入力を与えるために追跡を行うシステムに関する。

同一譲受人への以下の出願を参照により本明細書に完全に記載されているかのように本明細書に援用し、その出願とは即ち、２０１０年９月１９日に出願された米国特許出願第１３／４９７，５８９号明細書、２０１２年９月１３日に出願された国際公開第２０１３／０８８４４２号パンフレット、２０１４年１月１３日に出願された米国仮特許出願第６１／９２６，４７６号明細書、及び２０１４年８月１０日に出願された米国仮特許出願第６２／０３５，４４２号明細書である。

上記のように、様々な装置が、ジェスチャ認識及び３Ｄ深度マッピングを使用できるようにするために構造化光パターンを使用する。構造化光パターン送信機は、光源、例えばレーザ発光体及び回折光学素子（ＤＯＥ）等の光学素子を含む。多くの回折設計は、高密度のパターンを作り出すためにコヒーレントなガウシアン形状のビームを必要とするため、ＶＣＳＥＬレーザアレイを使用することが一般にできない。光学素子、例えばＶＣＳＥＬアレイは、重複を伴う複数のガウシアン形状のビームを作り出し、そのことは光パターン内の高密度領域における検出性能を低下させ、既定のガウスビームを必要とする様々な回折設計技法の使用を制限する。かかる設計は、トップハット設計、ホモジニアスラインジェネレータ、及び他の複雑な高性能構造を含む。

しかし、構造化光送信機を小さくするためにＶＣＳＥＬレーザアレイを使用する著しい利点がある。このように小さくすることは、携帯電話又はウェアラブルデバイス等の大きさの制約がある装置の中に送信機を埋め込むのにとりわけ重要である。

従って本実施形態は、アレイのレーザが個々に又はグループ単位で変調されるＶＣＳＥＬレーザアレイを提供する。必要に応じて構造化光パターンを提供し、且つそれを変えるために、個々のレーザ又はグループを静的に又は動的に変調することができる。

アレイ内の各レーザ又は一緒にモデレートされるレーザ群が独自の光学素子、典型的には回折素子のセルを備える。以下でより詳細に説明するように、全体的な構造化光パターンが所与の状況のために選択され得るように且つ／又は関心領域を動的にたどることができるように、回折素子のセルを個々に制御してアレイの様々な部分において様々な光パターンをもたらすことができる。

典型的な構造は、ストライプ、グリッド、及びドットを含む。
先に述べたように、端面発光レーザダイオード等の単一源の発光体を使用する問題は、単一源の発光体が作り出す光パターンが単一の構成単位としてしか制御できないことである。その結果、光パターンは完全にオンにし、完全にオフにし、又は調光することができるが、動的に変えることはできない。対照的に、本実施形態によるアレイ内の各ＶＣＳＥＬレーザは、光学素子のセルレベルで制御がなされるため、個々に制御することができ、例えばＤＯＥの適切な設計が、様々な使用事例及びフィードバックのための柔軟な検出をもたらすことができる動的光パターンを与え得る。以下、「セル」という用語は、単一のレーザ、又は一緒に動作してパターンの特定の部分を与える任意のレーザ群によって動作可能な面に関する。パターンを変更するとセル構造も動的に変わり得る。

回折光学素子の代わりに、屈折素子又は回折素子と屈折素子との組合せを使用しても良い。
一実施形態によれば、セル及び／又はセルの光学素子が大きさによって制限される場合があり、例えばセルは約１ｍｍ未満の大きさであり得る。

より詳細には、本実施形態は、動的光パターンを作り出すためにＶＣＳＥＬアレイを使用できるようにする汎用レンズ／ＤＯＥの設計に関する。ＤＯＥの面がアレイ／マトリクスの面に平行であるように、ＤＯＥはＶＣＳＥＬアレイに隣接する表面上に位置する。本実施形態では、ＤＯＥの表面がセルに分割される。各セルは、単一のＶＣＳＥＬレーザ又は一緒に制御することを意図するＶＣＳＥＬのサブグループ上に位置する領域を表す。明瞭にするために、グループ又はサブグループ内のレーザは、他のグループ又はサブグループ内のレーザとは別に、一緒に制御される。

所要の構造化光パターンの一部を作る固有の回折パターンをセルごとに設計することができる。各セルの回折パターンに従ってＶＣＳＥＬレーザによって生成される個々のパターンは、構造化光のサブパターンを作る。次いで、例えばタイリング（ｔｉｌｉｎｇ）、オーバラッピング、又は個々の特徴を位置決めするための他の方法により、個々のセルのパターンから全体的なパターンを形成する。

各セルの設計は２つの光機能を含み得る。第１の位置決め機能は、全構造化光画像内の光の特徴の位置を決める。例えば、かかる位置決め機能は、所要のパターン内のタイルの実際の位置まで回折光の位置を曲げるプリズムブレーズド格子（ｐｒｉｓｍ ｂｌａｚｅｄ ｇｒａｔｉｎｇ）からなり得る。第２の光機能は、光の特徴の形状に関する。かかる光機能の例には、ラインジェネレータ（ｌｉｎｅ ｇｅｎｅｒａｔｏｒ）、多重スポットパターン、又は光パターンの他の特徴若しくは下位特徴が含まれ得る。

ＶＣＳＥＬレーザマトリクスとセルベースのＤＯＥとを適切に整列させることにより、全アレイの隣接ガウスビーム形状が単一光源のパースペクティブとして回避されるため、如何なるパターンも実現可能であり得る。

別の実施形態では、動的光パターンが提示される。適切な位置においてＤＯＥに様々な電流を加えることにより、各セルを出力強度の点で個々に制御することができ、従って構造化光パターン内の様々な特徴も制御することができる。

追跡中にセルパターンを変えることを意味する動的制御は様々な機能を使用可能にする。つまり、受信データに応じて各セルの光学素子を動的に、例えばレーザの初期構成で始まる順序で変更することができる。シーンのフレームを捕捉し、そのフレームは例えば画素の二次元配列である。受け取ったフレームを解析する。次いで、解析したフレームに基づいて新たなレーザ構成に到達する。サイクルが続くとき、その新たなレーザ構成が次の段階の初期構成になる。図１９に関して一例を図示し以下で説明する。例えば、あり得るＶＣＳＥＬの強度を変えることにより、各見える光の特徴の源を確認することができる。このような確認は三角測量に基づく深度検出方法において非常に有用である。更なる機能は、光パターンの密度を変える能力である。密度を変えることは、事象が大まかにマップされた後、より高分解能でサンプリングすることを可能にし、カメラ設定又は照明条件、反射率等の他の事象効果によって引き起こされる強度の誤りを補正することができる。更に、光パターン内の特徴の向きを変えることもできる。強度又は向きを変えることは、上記のように事実上新たなパースペクティブであるものから、及びカメラから受け取ったデータに従って、シーンを処理する追加の機会を画像処理ソフトウェアに与える方法を提供する。

次に図１を参照し、図１は本実施形態によるパターン光を用いた三次元追跡用の装置の基本構成を示す単純化した概略図である。この図面及び他の図面では、点線及び断線は文脈によって与えられる概念上及び構造上の線を表し、必ずしも個々の実施形態で目に見える物理的な線ではないことを理解すべきである。

図１の構成では、発光アレイ、例えばＶＣＳＥＬアレイ１０とすることができるレーザアレイが、レーザマトリクス１２．１．１．．．１２．ｎ．ｎを含む。光学素子１４が、個々のレーザからの光を変調するよう個々のセルが位置するようにレーザの外部に整列されるセル１６．１．１．．．１６．ｎ．ｎを構成する。各レーザは、例えば回折光学素子の分離セルを有し、各分離セルは異なる回折パターンを有する。セル１６の拡大表示１８は、独自の回折パターンをそれぞれ有する４つの回折素子を示す。従って、回折光学素子はセルごとに１つ、複数の個々の設計を有し、各設計は１つのＶＣＳＥＬレーザの光を回折する。

この設定は、レーザアレイから構造化光パターンを発生させることができ、かかる光パターンは、三次元空間内の対象及びシーンの一部を追跡するために三次元空間内に投影される。構造化光パターンは、パーズされて（ｐａｒｓｅｄ）コンピュータに深度情報を与えることができる任意の適切なパターンとすることができ、ストライプ、グリッド、及び／又はドット領域を含むパターンを含む。

セルは、レーザアレイの部分集合と整列され、各セルは通過する光に回折変調を個々に施し、それにより各部分集合は構造化光パターンの区別可能な部分をもたらす。
セル１６．１．１．．．１６．ｎ．ｎは、回折変調を変更するように個々に制御可能である。従って、パターンの様々な部分が異なるようにすることができ、様々な状況で又はシーンの様々な部分で異なる構造化光パターンを使用することができる。

セルは更に、構造化光パターンへの変化をもたらすために動的に制御することができる。従ってパターンは、関心があると見なされるシーンの部分内の分解能を高めるように変化することができ、且つ／又は関心がないと見なされる前述のシーンの部分内の分解能を落とすことができる。或いは、特定の光源がシーンの特定の部分に到達していることを示し、それにより三角測量及び深度推定の更なる手がかりを与えるためにパターンの特定の部分を瞬間的に変えることができる。典型的には強度を変える。つまり変更が、セルに影響を及ぼすレーザアレイの強度を制御することに基づく。代替策として、偏光、フィルタリングパラメータ、焦点距離、又は当業者に明らかな光の他の任意の特徴を変えることができる。

強度はパターンの一部又は全体にわたって変えることができる。例えば、シーンの一部を入射光によって明るく照らすことができ、シーンの他の部分を暗く照らすことができる。明るく照らす部分に強い光の狙いを定め、暗く照らす部分に弱い光の狙いを定め、それにより節電することができる。

或いは、以下でより詳細に説明するように、概して追跡及び深度推定のためのシーンの異なるビューを与えるために、パターンの密度を変えることができ、又はパターンの向きを変えることができる。向きに関して、シーンの特徴が所与の向きでより効果的に照らされる場合がある。例えば細長い特徴は、その縦方向に垂直なストライプによって最も効果的に照らされ得る。時間が経つにつれて特徴の向きが変わると、ストライプの方向を更新することができる。特定の特徴をより正確に追跡できるようにするために、又は細かい特徴がビューに入るとき、密度も経時的に変えることができる。

図１に示す部分集合は個々のレーザである。しかし、以下の図面に関して論じるように、代替的な部分集合はレーザの対、レーザの三つ組、異なる大きさのレーザ群の組合せ、及び動的に変化するレーザの組合せを含む。セルは約１ｍｍの大きさとすることができる。

投影される光は、タイル、オーバラッピング、又は他の任意の適切な構成として組織化され得る。
構造化パターンに基づく追跡の構成はコンピュータに組み込むことができ、コンピュータには、ラップトップコンピュータ、又はタブレット、又はポッドデバイス、又は携帯電話等の移動通信装置、ゲーム機、役者の動きを捕捉するためにアニメータが使用するような装置等の動き捕捉装置、又は三次元内の追跡が有用な入力を与え得る任意の種類の装置が含まれる。

セル内に単一の回折光学素子を配置する代わりに複数の回折素子を使用しても良く、本明細書内のセルへの如何なる言及も別個の光学素子を付加的に言及するものとして解釈すべきである。

従って本実施形態は、ＶＣＳＥＬレーザアレイ及び回折光学素子（ＤＯＥ）を使用して構造化光パターンを発生させ、構造化光パターンを動的に変えるために各ＶＣＳＥＬを個別に制御することを可能にする。

動的制御は、光パターン内の個々の特徴の強度を変えること、特徴の密度若しくは向きを変えること、実際に光パターンの個々の特徴をオン／オフすること、又は構造化光解析からのフィードバックに基づき上記の何れかを変えることを含み得る。例えば以下でより詳細に説明するように、更に高い分解能が必要であることを解析が明らかにする場合は密度を高めることができる。外部照明が読出情報と干渉していることを解析が明らかにする場合は強度が高められる。外部照明からの光反射が問題である場合は光パターンの向きを変えることができる。上記のように、外部照明の問題とは別に、追跡している対象に対してストライプを垂直に保つために、ストライプの向きを変えることが可能である。従って、照明パターンを変えるために事象からのフィードバックを使用する。パターンの影響を受ける部分上の明るさを調節することにより、シーン内の入射照明条件に対処することができる。従って、個々のセルを制御することは、シーンからのフィードバックに基づいてパターンの他ではなく特定の領域を修正することを可能にし得る。パターンは、グリッド、ストライプ、ドット、又は使用され得る他の任意のパターン間で動的に変えることができ、異なるセルは異なるパターンを有することができ、セルは必要に応じて動的に再定義される。

次に図２を参照し、図２は、図１の構成を使用することができる１つの方法を示す単純化した概略図である。図２では、レーザアレイを数字２０で示し、各レーザ２２．１．１．．．２２．ｎ．ｎは単一のセルに対応する。それらのセルは、異なるタイル２４．１．１．．．２４．ｎ．ｎを順方向投影２６でそれぞれ照らす。投影２６内では、各タイルが異なるパターンを有し、全てのタイルが組み合わさって完全な光パターンを形成する。

次に図３を参照し、図３は図１の構成の改変形態を示す単純化した概略図であり、セルが２つ以上の、とりわけ図示の事例では３つのＶＣＳＥＬレーザに応じる。図３では、レーザアレイを数字３０で示し、個々のレーザが光学素子によって３つのレーザセル３２．１〜３２．３へと組み合わせられる。それらのセルは、異なるタイルの三つ組３４．１．．．３４．ｎを順方向投影３６でそれぞれ照らす。投影３６内では、同じ三つ組内の全てのタイルがパターンを共有するが、各三つ組は全体的な投影光パターン３６内の異なるパターンを有する。

次に図４を参照し、図４は図１の構成の改変形態を示す単純化した概略図であり、異なるセルが異なる設計及び異なる向きを有する。図４では、レーザアレイを数字４０で示し、個々のレーザ４２．１．１．．．４２．ｎ．ｎが１つ及び２つのレーザセルを形成する。それらのセルは、異なるタイル４４．１．１．．．４４．ｎ．ｎを順方向投影４６でそれぞれ照らす。投影４６内では、タイルの大きさを自由に変えることができ、単一のパターンを共有する２つ分の大きさのセルが１つある。

次に図５を参照し、図５は図１の構成の更なる改変形態を示す単純化した概略図であり、図５では各セルが、必ずしも別々のタイル構造に組織化されていないパターンの様々な光の特徴を作り出すことを担う。図５では、レーザアレイを数字５０で示し、個々のレーザ５２．１．１．．．５２．ｎ．ｎが個々の一つのレーザセルを形成する。レーザ５２．１．１は順方向投影５６でタイルの三つ組５４．１を照らし、そのタイルの三つ組にわたる水平線をもたらす。

次に図６を参照し、図６は、本発明の実施形態による追跡用の例示的システムを示す単純化した概略図である。ＶＣＳＥＬアレイ６０がレーザ光を作り出し、３Ｄボリューム６４内に照らされるパターンを形成するようにそのレーザ光が光学素子６２によって変調される。カメラ６６が３Ｄボリュームをモニタし、プロセッサ６８によって解析される画像フレームを作り出す。以下でより詳細に説明するように、プロセッサ６８は、追跡すること、及び追跡を改善するために光変調を修正することの両方を行う。プロセッサは、モバイル装置のプロセッサ等、外部のプロセッサとすることができる。カメラは、デジタルカメラ又は例えば相補型金属酸化膜シリコン（ＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｉｌｉｃｏｎ）アレイに基づき得る任意の画像センサとすることができる。フレームが解析されるとプロセッサがレーザをしかるべく制御するように、プロセッサはカメラ及びレーザの両方に接続することができる。

次に図７を参照し、図７は、投影パターンを形成するためにレーザアレイ７２を使用する単一の光学セル若しくは下位光学セル７０又は図１に示す１８等の幾つかのセルからのレーザ光を変調するのに使用可能な、光学素子の様々な光機能である様々な操作を示す単純化した概略図である。或る特定のセルが、ビームの位置を修正することを可能にすることができ（７６）、又はビームの位相を修正することができ（７８）、焦点を修正することができ（８０）、ビームの形状を修正することができ（８２）、ビームの強度を修正することができ（８４）、若しくはビームの偏光を修正することができる（８６）。上記に挙げたものは網羅的な一覧ではなく、他の修正形態が当業者に明らかになる。加えて、光機能は単一の光学素子によって、又は図１１に示すように複数の光学素子によって使用されても良く、焦点や形状等の複数の機能がセル要素に組み込まれる。

次に図８を参照し、図８は、光ビームの向きを変える光学素子９０を示す。装置本体から現れる特徴９２が光ビームの向きの変化を引き起こし、特徴９２は構造にもよるが、屈折、回折、又は屈折と回折との組合せにより得る。図示の例では、歯のような形が下方に傾斜する上面と水平の下面とを有する鋸歯状の構成が光を下方に曲げる。

次に図９を参照し、図９は、光ビームの焦点を合わせるための構造９４を示す。特徴９６は、図８と同様に鋸歯状の構成で配置されるが、歯のような特徴の向きが構造の下半分で逆になっており、ビームの上半分と下半分とが焦点９８において合うようにしてある。

次に図１０を参照し、図１０は、ビームを成形するための光学素子の改変形態１００を示す単純化した図である。他のビームと区別する方向にビームを成形するために、予め設定されたランダム関数を使用して光学素子の表面１０２を定める。

次に図１１を参照し、図１１は、セル又はサブセルに関係することができ、前の３つの図面の光学素子を組み合わせた光学素子１１０を示す単純化した図面である。第１の部分１１２が、ＶＣＳＥＬアレイ１１３によって作り出されるビームの焦点を合わせる。部分１１４が、ビームをこの事例では下向きに曲げ、部分１１６がビームを成形する。

次に図１２Ａを参照し、図１２Ａは、水平ストライプのパターン１２２によって追跡されている手１２０を示す。このパターンが指の長さとたまたま一致することが明らかであり、従って指に関して与えられる情報／データが限られており、対象の形状を明らかにすることが困難である。それでもなお、指はシステムがコマンドとして使用するジェスチャを与えるため、多くの場合に非常に肝心な点であり得る。従って、ストライプが指に交差し、その結果より多くの情報を与えるように、システムがストライプの向きを図１２Ｂに示す向きに例えば自動で変えることができる。この変更は、フローチャートに含めた画像解析のフィードバックに基づいて行われる。

図１３から図１７は、追跡を改善するために光パターンに加えることができる様々な変更を示す。図１３は、ストライプの向きを前の図面と同様に水平から垂直に変えることを示す。図１４は、視野を狭めることを示す。狭めることは、例えば関心がある特徴が指である場合に有用であり得る。指が見つかると、指に集中するために視野を狭めることができる。

図１５は、ストライプの密度を高めることを示す。図１６は、純粋なストライプから断線に形状を変えることを示す。図１７は強度を変えることを示す。第１の画像内の低強度の線が、第２の画像内の高強度の線に変わり、その逆も同様である。低密度の線と高密度の線とを適切に選択することは、深度次元内で対象を追跡するために使用することができる。

次に図１８を参照し、図１８は、図２の実施形態を用いて明るい対象及び暗い対象をどのように追跡できるのかを示す。図２と同じ部分には同じ参照番号を与え、本実施形態の理解に必要な場合を除き再度説明していない。図１８では、明るい色の対象１８０がセル領域２４．１１内にある。ストライプの強度が落とされている。対照的に、暗い色の対象１８２がセル領域２４．２．３内にある。暗い対象については強度が高められている。異なるセルは独立に動作することができ、各領域はそれぞれ追跡している対象に合わせて適切に反応する。

次に図１９を参照し、図１９は、本発明の一実施形態によるセル内のパターンを修正するための手順を示す単純化したフローチャートである。特定のセルが初期構成でサイクルを開始する（１９０）。フレームを捕捉し（１９２）、解析する（１９４）。解析から、定義済みの解析ガイドライン１９８に基づいて新たなレーザ構成を決定する（１９６）。つまり或る特定の状況について、定められたパターンの変化があり、その定められた変化はフレーム内の対象に関するより多くの情報を得ることができる。その後、新たなレーザ構成が次のフレームの初期レーザ構成になる。

用語「包含する」、「包含している」、「含む」、「含んでいる」、「有する」、及びその同根語は「〜を含むがそれだけに限定されない」という意味である。
用語「〜からなる」は、「〜を含みそれに限定される」という意味である。

明瞭にするために別々の実施形態を検討する中で説明した本発明の特定の特徴は、単一の実施形態の中で組み合わせて提供しても良く、上記の説明は、その組合せが明確に書かれているかのように解釈されるべきであることが理解されよう。逆に、簡潔にするために単一の実施形態を検討する中で説明した本発明の様々な特徴も、本発明の他の任意の記載した実施形態の中で別々に、任意の適切な部分的組合せで、又は適切なように提供することができ、上記の説明はそれらの別々の実施形態が明確に書かれているかのように解釈されるべきである。様々な実施形態を検討する中で説明した特定の特徴は、実施形態がかかる要素なしでは機能できない場合を除き、それらの実施形態に不可欠な特徴であると解釈すべきではない。

本発明をその具体的実施形態と共に説明してきたが、多くの代替形態、修正形態、及び改変形態が当業者に明らかになることが明白である。従って、添付の特許請求の範囲の趣旨及び広い範囲に含まれるそのような全ての代替形態、修正形態、及び改変形態を包含することを意図する。

本明細書で言及した全ての刊行物、特許、及び特許出願は、それぞれの刊行物、特許、又は特許出願が参照により本明細書に援用されるように具体的且つ個別に示されている場合と同程度に、参照によりその全体を本明細書に援用する。加えて、本願における如何なる参考文献の引用又は確認も、かかる参考文献が従来技術として本発明で利用可能であることを認めるものとして解釈すべきではない。段落の見出しが使用される限り、それらの見出しは必ずしも限定的であるものとして解釈すべきではない。

Claims (22)

1. 構造化光パターンを生成するための装置であって、
   パターン状の光を三次元空間内に投影するように構成されるレーザアレイと、ここで、前記レーザアレイは、複数の部分集合を含み、
   複数の光学素子であって、個々の光学素子がセルを画定し、前記セルが、前記レーザアレイの前記複数の部分集合の個々の部分集合と整列され、各セルの前記光学素子が、前記個々の部分集合から前記光学素子を通過する光に対して個々に変調を加えて前記構造化光パターンの区別可能な部分を提供する、前記複数の光学素子とを備え、
   前記構造化光パターンは、複数のタイルから形成され、前記複数のタイルの各々は、前記構造化光パターンの区別可能な部分に対応しており、
   前記セルは、前記変調を変更するように個々に制御可能であり、かつ前記構造化光パターンの個々のタイルに影響を与え、
   少なくとも１つの捕捉フレームを受け取って解析することに基づいて前記構造化光パターンの変更をもたらすように前記セルが動的に制御可能であり、フレームは二次元レイアウト内の複数の画素を含む、装置。
2. 前記変調が、回折変調、屈折変調、及び回折変調と屈折変調との組合せからなる群のうちの一つの要素である、請求項１に記載の装置。
3. セルを構成する前記光学素子及び前記レーザアレイの前記複数の部分集合のうちの１つの部分集合が単一の成形体から構築される、請求項１に記載の装置。
4. セルの幅が１ｍｍ以下である、請求項１に記載の装置。
5. 光学素子の幅が１ｍｍ以下である、請求項１に記載の装置。
6. 前記セルが前記構造化光パターン内の位置決めに関して、及び前記光に適用される形状に関して更に制御可能である、請求項１に記載の装置。
7. 動的制御が、シーンの一部に前記構造化光パターンの高い分解能を適用して、前記シーンの他の部分に前記構造化光パターンの低い分解能を適用するように構成可能である、請求項１に記載の装置。
8. 前記構造化光パターンの動的変更が、前記構造化光パターンの向きの変更を含む、請求項１に記載の装置。
9. 前記構造化光パターンの動的変更がセルに関する変更を含む、請求項１に記載の装置。
10. 前記変更が、強度の変更、偏光の変更、フィルタリングパラメータの変更、及び焦点の変更を含む群のうちの一つの要素である、請求項９に記載の装置。
11. 前記複数の部分集合のうちの１つの部分集合が、個々のレーザ、レーザの対、レーザの三つ組、異なる大きさのレーザの組合せ、及び動的に変化するレーザの組合せからなる群のうちの一つの要素を含む、請求項１〜１０の何れか一項に記載の装置。
12. 前記レーザアレイがＶＣＳＥＬレーザアレイを含む、請求項１〜１１の何れか一項に記載の装置。
13. 前記レーザアレイがレーザバーを含む、請求項１〜１２の何れか一項に記載の装置。
14. コンピュータ、ラップトップコンピュータ、移動通信装置、タブレット装置、ゲーム機、及び動き捕捉装置からなる群のうちの何れかの要素に組み込まれる、請求項１〜１３の何れか一項に記載の装置。
15. 使用時に三次元シーンを追跡するためのものである、請求項１〜１４の何れか一項に記載の装置。
16. 三次元追跡用の構造化光パターンを生成する方法であって、
    レーザアレイから光を与えるステップと、ここで、前記レーザアレイは、複数の部分集合を含み、
    光学要素を使用して光を変調して構造化光パターンを形成するステップと、ここで、個々の光学素子がセルを画定し、前記セルが、前記レーザアレイの前記複数の部分集合の個々の部分集合と整列され、各セルの前記光学素子が、前記個々の部分集合から前記光学素子を通過する光に対して個々に変調を加えて前記構造化光パターンの区別可能な部分を提供し、
    前記セルからの変調された構造化光パターンを個々に光を投影して、前記構造化光パターンの分化部分を提供するステップとを含み、
    前記構造化光パターンは、複数のタイルから形成され、前記複数のタイルの各々は、前記構造化光パターンの区別可能な部分に対応しており、
    前記セルは、前記変調を変更するように個々に制御可能であり、かつ前記構造化光パターンの個々タイルに影響を与え、
    少なくとも１つの捕捉フレームを受け取って解析することに基づいて前記構造化光パターンの変更をもたらすように前記セルが動的に制御可能であり、フレームは二次元レイアウト内の複数の画素を含む、方法。
17. 前記変調は、回折させること、偏光させること、波長を変更すること、フィルタリングパラメータを変更すること、強度を変更することを含む群のうちの一つの要素である、請求項１６に記載の方法。
18. 前記変調が、サブグループの個々の投影光に適用される変調を動的に変更することを含む、請求項１６に記載の方法。
19. 前記動的に変更することが、前記部分集合の１つのパターンを瞬間的に変更して、追跡しているシーン内の深度決定を補助することを含む、請求項１８に記載の方法。
20. 前記動的に変更することが、追跡しているシーンの関心があると見なされる部分内の分解能レベルを高めること、前記シーンの関心がないと見なされる部分内の分解能レベルを落とすことを含む、請求項１８に記載の方法。
21. 前記動的に変更することが、前記構造化光パターン内のパターニングの密度を変更することを含む、請求項１８に記載の方法。
22. 前記動的に変更することが、前記構造化光パターン内のパターニングの向きを変更することを含む、請求項１８に記載の方法。