JP6821200B2

JP6821200B2 - 混合モードの深度検出

Info

Publication number: JP6821200B2
Application number: JP2018512186A
Authority: JP
Inventors: ヴィスワナサン，ピー．セルヴァン
Original assignee: マイクロビジョン，インク．
Priority date: 2015-09-08
Filing date: 2016-08-03
Publication date: 2021-01-27
Anticipated expiration: 2036-08-03
Also published as: CN108027441B; EP3347738A1; US20170068319A1; KR20180039674A; US10503265B2; WO2017044204A1; EP3347738B1; EP3347738A4; JP2018529124A; CN108027441A; KR102595996B1

Description

深度検出（ｄｅｐｔｈｄｅｔｅｃｔｉｏｎ）のための飛行時間（ＴＯＦ）法は、ディスプレイまたは他のデバイスからのターゲットの深度または距離を決定するために利用することができる。

微小電気機械システム（ＭＥＭＳ）レーザビームディスプレイは、走査サイクルにおける予め決められたスロットの間に複数の質問パルス（ｉｎｔｅｒｒｏｇａｔｉｏｎｐｕｌｓｅ）をターゲット上へ送り出すために、変調赤外線（ＩＲ）光源を組み込む場合がある。反射されたパルスが検出されて、パルストリガと戻りパルスとの時間差、すなわち飛行時間、が決定される。往復距離は、ターゲットまでの深度または距離を決定することができるように、光の速さを用いて計算することができる。

米国特許出願公開第２０１３／０２３５４４１号明細書米国特許出願公開第２０１３／０１０７０００号明細書

ＪｏａｑｉｍＳａｌｖｉ外著「ＰａｔｔｅｒｎＣｏｄｉｆｉｃａｔｉｏｎＳｔｒａｔｅｇｉｅｓｉｎＳｔｒｕｃｔｕｒｅｄＬｉｇｈｔＳｙｓｔｅｍｓ」、Ｉｎｓｔｉｔｕｔｄ´ＩｎｆｏｒｍａｔｉｃａＩＡｐｌｉｃａｃｉｏｎｓ，ＵｎｉｖｅｒｓｉｔａｔｄｅＧｉｒｏｎａ（スペイン）（２００５年）

空間的に分離される高率のＩＲ質問パルスにより、算出された深度データは、走査パラメータを用いてラスタ化されると、ディスプレイ視野（ＦＯＶ）またはプログラムに従って決定することができるＦＯＶ内の部分領域の深度マップを産出する。深度マップの空間分解能は、ＩＲパルス化およびＴＯＦ検出器回路の累積待ち時間およびディスプレイの走査パラメータによって制限される場合もある。より高い分解能の精細な深度マップを得るためには、受信回路内に複数のＩＲレーザダイオードおよび／またはコンポーネント（ｃｏｍｐｏｎｅｎｔ、構成要素）の重複が必要である場合もある。あるいは、単一のＩＲレーザビームによるオーバーサンプリングは、より高い分解能の深度マップを産出するが、処理待ち時間が増し（深度マップ取得のフレームレートが低減）かつＦＯＶにおける低待ち時間のジェスチャ認識（ｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎ）を妨げることになる。

ジェスチャ認識および３Ｄ画像の捕捉は、概して、上述の取り組み方におけるオーバヘッド（ｏｖｅｒｈｅａｄ）なしに、短い待ち時間でより高い分解能の深度マップから恩恵を受けることができる。

特許請求の範囲に記載された発明の主題は、明細書の結論部分において具体的に指摘されかつ明確に記載されている。しかしながら、このような主題は、添付の図面と共に以下の詳細な説明を読んで参照することにより理解することができる。

図１は、一または複数の実施形態による、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイを示すブロック図である。図２は、一または複数の実施形態による、混合モードの深度検出回路の追加的詳細を示す、図１のＭＥＭＳレーザビームディスプレイのブロック図である。図３は、一または複数の実施形態による、ＭＥＭＳレーザビームディスプレイの視野内のターゲットの混合モードの深度検出を示す、図１のディスプレイの等角図である。図４Ａは、一または複数の実施形態による、図１のＭＥＭＳレーザビームディスプレイの視野の図であり、視野内のある領域に渡る、第１のモードおよび第２のモードを用いるターゲットの深度検出を示す。図４Ｂは、一または複数の実施形態による、図１のＭＥＭＳレーザビームディスプレイの視野の図であり、視野内のある領域に渡る、第１のモードおよび第２のモードを用いるターゲットの深度検出を示す。図４Ｃは、一または複数の実施形態による、図１のＭＥＭＳレーザビームディスプレイの視野の図であり、視野内のある領域に渡る、第１のモードおよび第２のモードを用いるターゲットの深度検出を示す。図４Ｄは、一または複数の実施形態による、図１のＭＥＭＳレーザビームディスプレイの視野の図であり、視野内のある領域に渡る、第１のモードおよび第２のモードを用いるターゲットの深度検出を示す。図４Ｅは、一または複数の実施形態による、図１のＭＥＭＳレーザビームディスプレイの視野の図であり、視野内のある領域に渡る、第１のモードおよび第２のモードを用いるターゲットの深度検出を示す。図４Ｆは、一または複数の実施形態による、図１のＭＥＭＳレーザビームディスプレイの視野の図であり、視野内のある領域に渡る、第１のモードおよび第２のモードを用いるターゲットの深度検出を示す。図５は、一または複数の実施形態による、図１のＭＥＭＳレーザビームディスプレイの視野の図であり、視野内のターゲットの選択された領域におけるジェスチャ認識を示す。図６は、一または複数の実施形態による、混合モードの深度検出を利用して複合３次元画像およびジェスチャ認識を作成する方法を示すフロー図である。図７は、一または複数の実施形態による、混合モードの深度検出を利用して複合３次元画像およびジェスチャ認識を作成する代替方法を示すフロー図である。図８は、一または複数の実施形態による、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイを有する情報処理システムを示すブロック図である。図９は、一または複数の実施形態による、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイを含む情報処理システムを示す等角図である。図１０は、一または複数の実施形態による、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイをヘッドアップディスプレイ（ＨＵＤ）として配備して含む車両を示す線図である。図１１は、一または複数の実施形態による、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイをヘッドマウントディスプレイ（ＨＭＤ）として配備して含むアイウェアを示す線図である。

説明を簡潔にしかつ／または明瞭にするために、諸図に示す要素が必ずしも一定の縮尺で描かれていないことは、理解されるであろう。例えば、一部の要素の寸法は、明瞭さのために他の要素より誇張されることがある。さらに、適切とされる場合、参照数字は、対応する、かつ／または類似の要素を示すために図面間で反復使用されている。

以下の詳細な説明では、特許請求する主題を完全に理解するために、多くの具体的な詳細を記載する。しかしながら、発明の主題がこれらの具体的で詳細な記載なしに実施することができることは当業者に理解されるであろう。他の例において、周知の方法、手順、コンポーネントおよび／または回路については、詳述していない。

以下の明細書本文および／または特許請求の範囲では、結合および／または連結という用語、ならびにその派生語が使用されることがある。具体的な実施形態において、「連結」は、２つ以上の要素が互いに物理的および／または電気的に直に接触していることを示すために使用することができる。結合は、２つ以上の要素が物理的および／または電気的に直に接触していることを意味してもよい。しかしながら、結合は、２つ以上の要素が互いに直に接触していないかもしれないが、それでもなお、互いに協力し合いかつ／または相互に作用し合うことを意味する場合もある。例えば、「結合」は、２つ以上の要素が互いに接触していないが、別の要素または中間要素を介して間接的に接合されることを意味していてもよい。最後に、以下の明細書本文および特許請求の範囲では、「上（ｏｎ）」、「重なり（ｏｖｅｒｌｙｉｎｇ）」および「に渡る（ｏｖｅｒ）」という用語が使用されることがある。「上」、「重なり」および「に渡る」は、２つ以上の要素が互いに物理的に直に接触していることを示すために使用することができる。しかしながら、「に渡る」は、２つ以上の要素が互いに直に接触していないことを意味する場合もある。例えば、「に渡る」は、ある要素が別の要素より上にあるが、互いに接触はせず、２つの要素の間に一または複数の別の要素を有していることを意味する場合がある。さらに、「および／または」という用語は、「および」を意味することがあり、「または」を意味することがあり、「排他的論理和」を意味することがあり、「１つ」を意味することがあり、「幾つか、但し全てではない」を意味することがあり、「どちらでもない」を意味することがあり、かつ／または「両方」を意味することがあるが、特許請求する主題の範囲はこれに関して限定されない。以下の明細書本文および／または特許請求の範囲において、「備える（ｃｏｍｐｒｉｓｅ）」および「含む（ｉｎｃｌｕｄｅ）」、ならびにその派生語は、互いに同義語として使用されてもよく、かつそのように意図される。

次に、図１を参照して、一または複数の実施形態による、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイのブロック図について論じる。図１に示すように、ディスプレイ１００は、一または複数の走査ビーム１０４を介してターゲット１０２上へ画像を投射することができる微小電気機械システム（ＭＥＭＳ）走査エンジン１１０を備えるＭＥＭＳベースのプロジェクタを備える。走査ビーム１０４は、例えば赤、緑または青の光ビームである可視光ビーム、および／または、例えば赤外線ビームである不可視光ビームであるコリメートされた光ビームまたはレーザビームを含んでもよい。ここでいうＭＥＭＳ走査エンジン１１０は、鏡面を有する単一の二軸アクチュエータであっても、何れの構成においても視野内に光ビームの複雑なパターンをラスタ走査または投射するように作動される、各アクチュエータ上に鏡面を有する２つ以上の独立したアクチュエータであってもよい。上述の何れのＭＥＭＳ構成も、電磁およびまたは静電アクチュエーションの何れか、または両方を含む、但しこれらに限定されない多くの方法のうちの１つにおいて作動されてもよい。図１は、１つのＭＥＭＳディスプレイを備えるディスプレイ１００の具体的な一例を示しているが、一または複数の代替実施形態において、ディスプレイ１００は、デジタルマイクロミラーデバイス（ＤＭＤ）ベースのプロジェクタ、デジタル光プロセッサ（ＤＬＰ）ベースのプロジェクタ、または液晶オンシリコン（ＬＣＯＳ）ベースのプロジェクタ、等の他の様々なディスプレイ技術を、図１に示す回路の公称変更を行って備えてもよい。但し、特許請求する主題の範囲は、これらに関して限定されない。ＭＥＭＳ走査エンジン１１０は、概して、ＭＥＭＳ走査ミラー、ＤＭＤまたはＤＬＰ、等の様々な実施形態の技術を用いて画像を投射するように構成される画像化エンジンを備えてもよいが、特許請求する主題の範囲は、これらに関して限定されない。ＭＥＭＳ走査エンジン１１０がアレイまたはミラーを備える実施形態では、光ビームは、走査すらされずに、ＭＥＭＳアレイの構成要素の高速変調によって、順次フレームを提示される場合もある。あるいは、ＭＥＭＳ走査エンジン１１０は、他のタイプのビーム走査エンジンを備えてもよいが、特許請求する主題の範囲は、これに関して限定されない。例えば、ＭＥＭＳ走査エンジン１１０は、代替的に、米国特許出願公開第２０１３／０２３５４４１号明細書に記載されているようなナノスケール集積ビームスキャナを備えてもよく、該出願公開は、参照によりその全体が本開示に含まれる。

ディスプレイ１００は、さらに、ディスプレイ１００からターゲット１０２までの深度または距離を検出すべく混合モードの深度検出を提供するために、飛行時間（ＴＯＦ）型深度検出器１１４と、構造化光深度検出器（ｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔｄｅｐｔｈｄｅｔｅｃｔｏｒ、パターン光方式深度検出器）１１６とを含んでもよい。一または複数の実施形態では、後にさらに詳細に論じるように、ＴＯＦ型深度検出器１１４が、第１の深度検出モードにおいて、ディスプレイ１００からターゲット１０２までの粗い深度（ＣＯＡＲＳＥＤＥＰＴＨ）を決定するために利用されてもよく、かつ構造化光深度検出器１１６が、第２の深度検出モードにおいて、ディスプレイ１００からターゲット１０２までの詳細な深度（ＦＩＮＥＤＥＰＴＨ）を決定するために利用されてもよいが、特許請求する主題の範囲は、これに関して限定されない。例えば、ＴＯＦ型深度検出器１１４は、米国特許出願公開第２０１３／０１０７０００号明細書に記載されているような装置を備えてもよく、該出願公開は、参照によりその全体が本開示に含まれる。別の実施例では、構造化光深度検出器１１６は、ＪｏａｑｉｍＳａｌｖｉ外著「ＰａｔｔｅｒｎＣｏｄｉｆｉｃａｔｉｏｎＳｔｒａｔｅｇｉｅｓｉｎＳｔｒｕｃｔｕｒｅｄＬｉｇｈｔＳｙｓｔｅｍｓ」、Ｉｎｓｔｉｔｕｔｄ´ＩｎｆｏｒｍａｔｉｃａＩＡｐｌｉｃａｃｉｏｎｓ，ＵｎｉｖｅｒｓｉｔａｔｄｅＧｉｒｏｎａ（スペイン）（２００５年）に記載されているような構造化光パターンを用いてもよく、該文献は、参照によりその全体が本開示に含まれる。深度処理回路１１８は、ＴＯＦ型深度検出器１１４および構造化光深度検出器１１６からの出力を受信して、深度信号を様々な目的またはルーチンのために、例えば、とりわけ、ターゲット１０２において一または複数のオブジェクトを特定（ｉｄｅｎｔｉｆｙ、識別）し、ターゲット１０２の３次元（３Ｄ）マップを提供し、またはターゲット１５０のジェスチャ認識を実行するために処理してもよいが、特許請求する主題の範囲は、これに関して限定されない。以下、図２において、かつ図２を参照して、ＴＯＦ型深度検出器１１４、構造化光深度検出器１１６および深度処理回路１１８のさらなる詳細を示し、かつ説明する。

次に、図２を参照して、一または複数の実施形態による混合モードの深度検出回路の追加的な詳細を示す、図１のＭＥＭＳレーザビームディスプレイのブロック図について論じる。図２に示すように、ＭＥＭＳ走査エンジン１１０は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）および赤外線（ＩＲ）レーザダイオード１１２から光を受け入れ、かつ受け入れた光をリダイレクトして、可視光カラー画像をＲＧＢレーザによりターゲット１０２上へ投射し、かつさらに、不可視画像をＩＲレーザによりターゲット１０２上へ投射する。画像プロセッサ１６０は、ビデオ入力信号および対応するＳＹＮＣ情報を受信して、ＲＧＢ＋ＩＲレーザダイオード１１２およびパルス起動論理１２４にピクセル変調およびタイミング情報を提供する。ＴＯＦ型深度検出器１１４は、ターゲット１０２から反射される反射ＩＲビーム１０６を検出するための赤外線（ＩＲ）光検出器１２０を含んでもよい。光検出器１２０の出力は、アナログフロントエンド（ＡＦＥ）１２２へ供給され、ＡＦＥ１２２は、トランスインピーダンス増幅器（ＴＩＡ）、様々な利得段（オペアンプ）、フィルタ、微分器、クロスポイント検出器および時間−電圧変換器（ＴＶＣ）または時間−遅延変換器（ＴＤＣ）を含んでもよい。ＴＶＣおよびＴＤＣは、送信機から反射後の検出器までの光子のＴＯＦに対応する電圧または遅延の積分器として略機能する。パルス起動論理回路１２４は、画像プロセッサ１６０からタイミング情報を受信し、かつ変調されたＲＧＢパルスおよび／またはＩＲパルスの時間的配置を制御する。本明細書に記述している実施形態と整合して、１２４は、１１２におけるＲＧＢおよびＩＲレーザダイオードを、画像およびビデオ表示および構造化光用途のために直に、およびまたは、ＴＯＦ型の深度の検出用途のためにＴＯＦパルス成形回路１２６を介して、制御することができる。さらに他の実施例において、ＴＯＦ型深度検出器は、ＩＲ光検出器１２０が、ディスプレイＦＯＶと一致するＦＯＶを有するように光学的にレンズされる所定の分解能のマトリクスセンサ（ＴＯＦセンサＩＣ）であって、このような構成において、コンポーネント１２２および１２８が、同じダイまたはパッケージ内にマトリクスセンサアレイも含む特定用途向け集積回路（ＡＳＩＣ）に高度に集積化することができるように設計されてもよい構造化光深度検出器１１６は、ＭＥＭＳ走査エンジン１１０によりターゲット１０２上へ投射されるＩＲ画像および／または可視画像を捕捉できるカメラ１３０を備えてもよい。カメラ１３０の出力は、構造化光エンジン１３２へ提供されてもよく、構造化光エンジン１３２は、１３０から捕捉画像を受け取り、かつ１２６から受信する空間コード化情報を利用して、画像処理ユニット１３６において変換を適用し、１０２におけるターゲットの深度情報を抽出する。

一または複数の実施形態において、ＡＤＣ回路１２８は、出力を、複合深度マップ回路１４２の深度マップ（ＴＯＦ）回路１４０へ提供し、かつ画像処理回路１３６は、出力を、複合深度マップ回路１４２の深度マップ（構造化光）回路１３８へ提供する。複合深度マップ回路１４２は、ＴＯＦ型深度検出器１１４により取得される粗い深度画像と、構造化光深度検出器１１６により取得される精細／高詳細な深度画像との組合せである複合３Ｄ深度画像１５０を生成してもよい。深度マップ（ＴＯＦ）回路１４０は、出力をスケルトン抽出（ＴＯＦ）回路１４６へ提供し、かつ深度マップ（構造化光）回路１３８は、出力をスケルトン抽出（構造化光）回路１４８へ提供し、複合スケルトンモデル１４４が提供される。スケルトンモデル（ｓｋｅｌｅｔｏｎｍｏｄｅｌ）は、人の両手および／または指等のターゲット１０２の一または複数の形または構造体を特定して、例えば、情報処理システムの入力としてユーザにより提供されるジェスチャの認識を容易にするために、ジェスチャ認識回路１５２へ提供されてもよい。なお、深度処理回路１１８は、全体的または部分的にハードウェアにおいて、または全体的または部分的にソフトウェアにおいて、例えば非一時的記憶媒体に記憶される命令として実装されてもよく、命令は、実行されると、プロセッサに図１に示す回路の機能を実装または実行させるが、特許請求の範囲は、これに関して限定されない。以下、ディスプレイ１００が混合モードの深度検出をどのように用いることができるかの例について説明する。

次に、図３を参照して、一または複数の実施形態による、ＭＥＭＳレーザビームディスプレイの視野内のターゲットの混合モードの深度検出を示す、図１のディスプレイの等角図について論じる。図３に示すように、ディスプレイ１００は、一または複数の走査ビーム１０４を、ターゲット１０２が位置決めすることができる視野（ＦＯＶ）２１０内に投射することができる。粗い深度マップは、ＦＯＶ２１０の一部または全部に渡るＴＯＦ領域３１０において、ＴＯＦ型深度検出器１１４によって取得されてもよい。精細な深度マップは、ディスプレイ１００により構造化光領域３１２内に投射される構造化光パターンから、ＦＯＶ２１０の一部または全部に渡る構造化光領域３１２において、構造化光深度検出器１１６によって取得されてもよい。一または複数の実施形態において、構造化光パターンは、ＭＥＭＳ走査エンジン１１０の可視ビーム、例えば赤色、青色および／または緑色ビーム、のうちの任意の１つ以上を用いて投射される可視構造化光パターンであっても、ＭＥＭＳ走査エンジン１００の任意の一または複数の不可視ビーム、例えばＩＲビーム、を用いる不可視構造化光パターンであってもよい。構造化光パターンは、深度検出および精細な深度マップの生成を容易にするために利用することができる任意の一または複数の様々なパターン、例えば、ドゥブリュエイン列、２進コード、ｎ進コード、ハイブリッド法、非公式なコード化、Ｍアレイ、グレーレベル、カラーパターン、およびＪｏａｑｉｍＳａｌｖｉ外著「ＰａｔｔｅｒｎＣｏｄｉｆｉｃａｔｉｏｎＳｔｒａｔｅｇｉｅｓｉｎＳｔｒｕｃｔｕｒｅｄＬｉｇｈｔＳｙｓｔｅｍｓ」、Ｉｎｓｔｉｔｕｔｄ´ＩｎｆｏｒｍａｔｉｃａＩＡｐｌｉｃａｃｉｏｎｓ，ＵｎｉｖｅｒｓｉｔａｔｄｅＧｉｒｏｎａ（スペイン）（２００５年）に記載されているようなもの等であってもよい。構造化光パターンは、概して、時分割、空間コード化または直接コード化として分類され、空間コード化は、ワンショット深度捕捉コードを提示し、よって、ジェスチャ認識のための低待ち時間深度捕捉によく適する。なお、これらは、適切な構造化光パターンの単なる例であって、特許請求する主題の範囲はこれに関して限定されない。

一または複数の実施形態において、ディスプレイ１００は、粗い深度マップを用いて、ターゲット１０２がＦＯＶ２１０内のどこに位置決めされているかを検出してもよく、かつ具体的には、精細な深度マップを取得するための構造化光領域３１２において、ターゲット１０２のどの部分に構造化光パターンを投射すべきかを検出してもよい。ディスプレイ１００の深度処理回路１１８は、ＦＯＶ２１０のどこで、かつ／または構造光領域３１２においてターゲット１０２のどこに構造化光画像を投射すべきかを決定するために利用されてもよい。代替的には、ユーザは、構造化光領域３１２の候補を特定してもよく、かつアクチュエータ３１４へのユーザ入力３１６をディスプレイ１００への入力として用いて、投射される構造化光のパターンを特定した構造化光領域３１２へ手動で制御または操舵してもよい。例えば、アクチュエータ３１４は、投射される構造化光パターンを所望される構造化光領域３１２へと操舵するためにユーザによりユーザ入力３１６として操作される、マウス、ジョイスティック、トラックパッド、キーボード、タッチ入力ディスプレイ、等を備えてもよい。あるいは、または同時に、ユーザ入力３１６は、入力を眼または視線追跡器から、またはターゲット１０２上のフィデューシャルを検出するセンサまたはカメラからも受け取ってよい。ユーザは、さらに、構造化光パターンを操作して、所望される構造化光領域３１２のサイズおよび／または形状に合わせ、例えば、構造化光パターンのサイズを増し、または減らしても、構造化光パターンの形状を回転または変更してもよいが、特許請求する主題の範囲は、これらに関して限定されない。以下、様々な深度検出モードのパターン例を図４Ａ〜図４Ｆに示し、かつこれらの図に関連して説明する。

次に、図４Ａ〜図４Ｆを参照して、一または複数の実施形態による、視野内の様々な領域に渡る第１のモードおよび第２のモードを用いるターゲットの深度検出を示す、図１のＭＥＭＳレーザビームディスプレイの視野の図について論じる。図４Ａにおいて、ＴＯＦ領域３１０は、ＴＯＦ型深度検出器１１４を用いて粗い深度マップを取得することができるＦＯＶ２１０の全て、またはほぼ全てを含んでもよい。走査光領域３１２は、構造化光検出器１１６を用いて精細な深度マップを取得することができるターゲット１０２の一部分を含んでもよい。図４Ｂにおいて、ＴＯＦ領域３１０は、ＦＯＶ２１０の全て、またはほぼ全てを含んでもよく、かつ複数の構造化光領域、例えば構造化光領域３１２、構造化光領域３１４または構造化光領域３１６、は、精細な深度マップを取得することができるターゲット１０２の複数の部分を含んでもよい。図４Ｃにおいて、ＴＯＦ領域３１０は、ＦＯＶ２１０の全て、またはほぼ全てを含んでもよく、かつ構造化光領域３１２は、ターゲット１０２の全て、またはほぼ全てに一致してもよい。図４Ｄでは、ＴＯＦ領域３１０および構造化光領域３１２の両方が、ＦＯＶ２１０の全て、またはほぼ全てを含んでもよい。

実施形態によっては、粗い深度マップおよび精細な深度マップは、同時に、またはほぼ同時に取得されてもよく、その場合、ＴＯＦ領域３１０および構造化光領域３１２は、時間的に重なり合い、かつ／または一または複数のフレーム内に同時に存在する。代替実施形態によっては、粗い深度マップおよび精細な深度マップは、ＴＯＦ領域３１０および構造化光領域３１２が時間的に重ならず、かつ／または同じフレーム内に現れないように、順次取得されてもよい。例えば、図４Ｅにおいて、ＴＯＦ領域３１０は、構造化光領域３１２が第１の時間において、かつ／または第１のフレーム内に存在することなく、ＦＯＶ２１０の全て、またはほぼ全てを含んでもよく、かつ図４Ｆにおいて、構造化光領域３１２は、ＴＯＦ領域２１０が第２の時間において、かつ／または第２のフレーム内に存在することなく、ターゲット１０２の少なくとも一部分を含んでもよい。さらに他の代替実施形態において、粗い深度マップおよび精細な深度は、ＴＯＦ領域３１０および構造化光領域３１２が時間的に重ならず、走査サイクルの異なる段階で提示されるように順次取得されてもよく、例えば、精細な深度マップの捕捉は、ＦＯＶの前方走査方向で実行され、粗い深度マップの捕捉は、垂直帰線期間へ追いやられ、または、粗い深度マップの捕捉と精細な深度マップの捕捉とが同じビデオフレームにおいてインタレースされ、即ち、時間的には分離されるが、空間的にはほぼ重なり合い、この場合の重なり具合は、スキャナの特性に依存する。なお、図４Ａ〜図４Ｆに示されている実施形態は、単に、ディスプレイ１００がＴＯＦ型深度検出器１１４および構造化光深度検出器１１６を用いる混合モードの深度検出をどのように利用するかを示す例であって、特許請求する主題の範囲はこれらに関して限定されない。以下、混合モードの深度検出を用いるジェスチャ認識を実装するための図４Ａ〜図４Ｆに示す実施形態のアプリケーション例を、図５に示しかつ図５に関連して説明する。

次に、図５を参照して、一または複数の実施形態による、視野内のターゲットの選択された領域におけるジェスチャ認識を示す、図１のＭＥＭＳレーザビームディスプレイの視野の図について論じる。図５に示すように、ターゲット１０２は、ディスプレイ１００により認識することができる様々な手および／または指のジェスチャを用いる人またはユーザであってもよい。例えば、ユーザは、ジェスチャを入力およびユーザインタフェース制御として用いて、ディスプレイ１００により投射されるユーザインタフェースに入力および／またはコマンドを提供してもよい。ユーザにより行われる一または複数のジェスチャを認識するために、ディスプレイ１００のＦＯＶ２１０は、ユーザであるターゲット１０２が少なくとも部分的にＦＯＶ２１０内に位置決めされるように、ターゲット１０２に向けられてもよい。一または複数の実施形態において、ＴＯＦ型深度検出器１１４は、ＦＯＶ２１０のＴＯＦ領域３１０内で粗い深度マップを取得してもよい。粗い深度マップは、ターゲット１０２のスケルトン、この場合は人のスケルトンモデル、を抽出するために、スケルトン抽出（ＴＯＦ）回路１４６へ提供されてもよい。構造化光領域３１２は、スケルトン抽出（ＴＯＦ）回路１４６の出力を用いて、ターゲット１０２上で自動的に、またはプログラムに従って特定されてもよく、ジェスチャ認識のために使用される精細な深度マップは、この構造化光領域３１２において取得される。図５に示す実施例では、ユーザの手が構造化光領域３１２として特定されてもよく、ディスプレイ１００は、構造化光パターンを構造化光領域３１２内に、この場合はユーザの手指上へ、投射してもよい。構造化光深度検出器１１６は、構造化光領域３１２の精細な深度マップを取得してもよく、これは、スケルトン抽出（構造化光）回路１４８へ提供されて構造化光領域３１２におけるユーザの手および／または指の精細な動きが特定される。スケルトン抽出（ＴＯＦ）回路１４６およびスケルトン抽出（構造化光）回路１４８の出力は、ジェスチャ認識回路１５２へ提供されてユーザにより行われるジェスチャが検出されかつ特定され、かつジェスチャがユーザ入力としてディスプレイ１００へ、および／またはプロセッサ、コンピュータ、タブレット、電話、等といった、ディスプレイ１００を連結することができる別のデバイスへ提供される。一または複数の実施形態において、ジェスチャ認識は、米国特許第９，００２，０５８号明細書に記載されているように実行されてもよく、該特許は、参照によりその全体が本開示に含まれる。なお、図５に示すジェスチャ認識の実施例は、単にディスプレイ１００による混合モードの深度検出を用いる一例であって、特許請求する主題の範囲はこれに関して限定されない。以下、混合モードの深度検出および／またはジェスチャ認識の様々な方法を図６および図７に示し、かつこれらの図に関連して説明する。

次に、図６を参照して、一または複数の実施形態による、混合モードの深度検出を利用して複合３次元画像およびジェスチャ認識を作成する方法を示すフロー図について論じる。図６は、方法６００の動作の特定の１つの順序および数を示しているが、他の実施形態において、方法６００は、これより多い、または少ない動作を他の様々な順序で含んでもよく、特許請求する主題の範囲は、これらに関して限定されない。ブロック６１０において、ディスプレイ１００の視野（ＦＯＶ）２１０は、赤外線（ＩＲ）レーザビームによって走査されてもよい。ブロック６１２では、反射されたＩＲビームが検出されてもよく、ブロック６１４では、反射されたＩＲビームのデータから粗い深度マップが取得されてもよい。ブロック６１６では、粗い深度マップにおいて、一または複数の精細な深度マップ領域が特定されてもよい。ブロック６１８では、特定された精細な深度マップ領域内に構造化光画像が描画されてもよく、ブロック６２０では、特定された精細な深度マップ領域の画像データが捕捉されてもよい。ブロック６２２では、特定された精細な深度マップ領域の精細な深度マップが取得されてもよい。ブロック６２４では、粗い深度マップおよび精細な深度マップから複合３次元（３Ｄ）画像が生成されてもよい。次に、ブロック６２６では、複合深度マップにおいてジェスチャ認識が実行されてもよい。

次に、図７を参照して、一または複数の実施形態による、混合モードの深度検出を利用して複合３次元画像およびジェスチャ認識を作成する代替方法を示すフロー図について論じる。図７は、方法７００の動作の特定の１つの順序および数を示しているが、他の実施形態において、方法７００は、これより多い、または少ない動作を他の様々な順序で含んでもよく、特許請求する主題の範囲は、これらに関して限定されない。ブロック７１０において、ディスプレイ１００の視野（ＦＯＶ）は、赤外線（ＩＲ）レーザビームによって走査されてもよく、ブロック７１２では、反射されたＩＲビームが検出されてもよい。ブロック７１４では、反射されたＩＲビームのデータから粗い深度マップが決定されてもよい。ブロック７１６では、視野内の一または複数のターゲットが、例えば、粗い深度マップを用いて特定されてもよい。ブロック７１８では、一または複数のターゲット上に一または複数の構造化光画像が描画されてもよい。ブロック７２０では、一または複数のターゲットの画像データが捕捉されてもよく、ブロック７２２では、一または複数のターゲットの精細な深度マップが決定されてもよい。ブロック７２４では、粗い深度マップおよび精細な深度マップから複合３次元（３Ｄ）画像が生成されてもよい。ブロック７２６では、ターゲットのうちの１つ以上の複合深度マップにおいてジェスチャ認識が実行されてもよい。

次に、図８を参照して、一または複数の実施形態による、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイを有する情報処理システムを示すブロック図について論じる。情報処理システム８００は、スマートフォン、タブレット、ハンドヘルドゲーム機、パーソナルコンピュータ等の幾つかのタイプのコンピューティングプラットフォームの一例を表しているが、情報処理システム８００は、これより多い、または少ない要素および／または図８に示すものとは異なる要素の配置を含んでもよく、特許請求する主題の範囲は、これらに関して限定されない。情報処理システム８００は、ＭＥＭＳレーザビームディスプレイ１００を、例えばディスプレイ表面に画像を投射し、かつさらに、本明細書に記述しているような混合モードの深度検出および／またはジェスチャ認識を実装するためのプロジェクションディスプレイとして利用してもよいが、特許請求する主題の範囲は、これらに関して限定されない。

一または複数の実施形態において、情報処理システム８００は、アプリケーションプロセッサ８１０と、ベースバンドプロセッサ８１２とを含んでもよい。アプリケーションプロセッサ８１０は、情報処理システム８００のアプリケーションおよび様々なサブシステムを実行するための汎用プロセッサとして利用されてもよい。アプリケーションプロセッサ８１０は、単一のコアを含んでもよく、あるいは代替として、複数の処理コアを含んでもよく、例えば、一または複数のコアは、デジタル信号プロセッサまたはデジタル信号処理コアを含んでもよい。さらに、アプリケーションプロセッサ８１０は、同じチップ上に配置されるグラフィックスプロセッサまたはコプロセッサを含んでもよく、あるいは代替として、アプリケーションプロセッサ８１０へ結合されるグラフィックスプロセッサは、別個の離散的なグラフィックスチップを備えてもよい。アプリケーションプロセッサ８１０は、キャッシュメモリ等のオンボードメモリを含んでもよく、さらに、動作中にアプリケーションを記憶しかつ／または実行するための同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）８１４および情報処理システム８００の電源がオフであってもアプリケーションおよび／またはデータを記憶するためのＮＡＮＤフラッシュ８１６等の外部メモリデバイスへ結合されてもよい。一または複数の実施形態において、情報処理システム８００および／またはそのコンポーネントまたはサブシステムの何れかを本明細書に記述しているような方式で動作するように操作または設定するための命令は、非一時的記憶媒体を備える製品に記憶されてもよい。一または複数の実施形態において、記憶媒体は、本明細書において示しかつ記述しているメモリデバイスの何れを含んでもよいが、特許請求する主題の範囲は、これに関して限定されない。ベースバンドプロセッサ８１２は、情報処理システム８００の広帯域無線機能を制御してもよい。ベースバンドプロセッサ８１２は、このような広帯域無線機能を制御するためのコードをＮＯＲフラッシュ８１８に記憶してもよい。ベースバンドプロセッサ８１２は、例えば第３世代（３Ｇ）または第４世代（４Ｇ）のネットワーク等を介して、または例えばロングタームエボリューション（ＬＴＥ）ネットワークを超えて通信するために、広帯域ネットワーク信号の変調および／または復調に使用される無線広域ネットワーク（ＷＷＡＮ）トランシーバ８２０を制御する。ＷＷＡＮトランシーバ８２０は、一または複数の電力増幅器８２２に結合し、電力増幅器８２２は、各々、ＷＷＡＮ広帯域ネットワークを介して無線周波数信号を送受信するための一または複数のアンテナ８２４へ結合される。ベースバンドプロセッサ８１２はまた、一または複数の適切なアンテナ８２８へ結合される無線ローカルエリアネットワーク（ＷＬＡＮ）トランシーバ８２６を制御してもよく、ＷＬＡＮトランシーバ８２６は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）および／またはＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格等を含む振幅変調（ＡＭ）または周波数変調（ＦＭ）無線規格を介して通信することができてもよい。なお、これらは、単にアプリケーションプロセッサ８１０およびベースバンドプロセッサ８１２の実装例であって、特許請求する主題の範囲はこれらに関して限定されない。例えば、ＳＤＲＡＭ８１４、ＮＡＮＤフラッシュ８１６および／またはＮＯＲフラッシュ８１８の何れか一または複数は、磁気メモリ、カルコゲナイドメモリ、相変化メモリまたはオボニックメモリ等の他のタイプのメモリ技術を含んでもよく、特許請求する主題の範囲は、これに関して限定されない。

一または複数の実施形態において、アプリケーションプロセッサ８１０は、様々な情報またはデータを表示するためのディスプレイ８３０を駆動してもよく、かつさらに、ユーザからタッチスクリーン８３２を介して、例えば指またはスタイラスを介して、タッチ入力を受信してもよい。周囲光センサ８３４は、例えば、ディスプレイ８３０の明度またはコントラスト値を周囲光センサ８３４により検出される周囲光強度の関数として制御するために、中で情報処理システム８００が動作している周囲光の量を検出するために利用されてもよい。一または複数のカメラ８３６は、アプリケーションプロセッサ８１０により処理されかつ／または少なくとも一時的にＮＡＮＤフラッシュ８１６に記憶される画像を捕捉するために利用されてもよい。さらに、アプリケーションプロセッサは、情報処理システム８００の位置、動きおよび／または方向性を含む様々な環境特性を検出するために、ジャイロスコープ８３８、加速度計８４０、磁力計８４２、オーディオコーダ／デコーダ（ＣＯＤＥＣ）８４４および／または適切なＧＰＳアンテナ８４８へ結合される全地球測位システム（ＧＰＳ）コントローラ８４６へ結合してもよい。あるいは、コントローラ８４６は、全球測位衛星システム（ＧＮＳＳ）コントローラを備えてもよい。オーディオＣＯＤＥＣ８４４は、内部デバイスおよび／またはオーディオポート８５０を介して情報処理システムへ結合される外部デバイスの何れかを介して、例えばヘッドフォンおよびマイクロフォンジャックを介してマイクロフォン入力およびスピーカ出力を提供するために、一または複数のオーディオポート８５０へ結合されてもよい。さらに、アプリケーションプロセッサ８１０は、一または複数の入／出力（Ｉ／Ｏ）トランシーバ８５２へ結合して、ユニバーサルシリアルバス（ＵＳＢ）ポート、高精細度マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポート、シリアルポート、等といった一または複数のＩ／Ｏポート８５４へ結合してもよい。さらに、Ｉ／Ｏトランシーバ８５２のうちの１つ以上は、セキュアデジタル（ＳＤ）カードまたは加入者識別モジュール（ＳＩＭ）カード等の任意選択のリムーバブルメモリのための一または複数のメモリスロット８５６へ結合してもよいが、特許請求する主題の範囲は、これらに関して限定されない。一または複数の実施形態において、ＭＥＭＳレーザビームディスプレイ１００は、Ｉ／Ｏトランシーバ８５２のうちの１つ以上へ結合されてもよく、かつ情報処理システム８００のハウジング内に統合されてもよく、あるいは、ハウジングの外部に配置されてもよいが、特許請求する主題の範囲は、これらに関して限定されない。

次に、図９を参照して、一または複数の実施形態による、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイ１００を含む情報処理システムを示す等角図が論じられる。図９の情報処理システム９００は、図８の情報処理システム８００の有形の実施形態を表すことができる。情報処理システム９００には、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、ネットブック、ノートブックコンピュータ、インターネットブラウジングデバイス、タブレット、パッド、等を含む幾つかのタイプのコンピューティングプラットフォームの何れが含まれてもよいが、特許請求する主題の範囲は、これらに関して限定されない。図９に示す実施例において、情報処理システム９００は、例えば、画像を投射しかつ／または本明細書で論じているような混合モードの深度検出を提供すべく走査出力ビーム９２０を提供するために、本明細書で論じているようなＭＥＭＳレーザビームディスプレイ１００を収容するハウジング９１０を備えてもよい。情報処理システム９００は、場合により、タッチスクリーンディスプレイとすることができるディスプレイ９１２、キーボード９１４または他の制御ボタンまたはアクチュエータ、任意選択のマイクロフォン入力を備えるスピーカまたはヘッドフォンジャック９１６、制御ボタン９１８、メモリカードスロット９２０および／または入／出力（Ｉ／Ｏ）ポート９２２、またはこれらの組合せを含んでもよい。さらに、情報処理システム９００は、他のフォームファクタおよび図示されているものより少ない、または多い特徴を有してもよいが、特許請求する主題の範囲は、これらに関して限定されない。

次に、図１０を参照して、一または複数の実施形態による、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイをヘッドアップディスプレイ（ＨＵＤ）として配備して含む車両を示す線図について論じる。図１０に示す実施形態において、ＭＥＭＳレーザビームディスプレイ１００は、自動車１０１０のダッシュボード内等、車両１０１０内に配備されてもよく、このディスプレイ１００は、車両の運転者または乗員により視認可能である画像１０２０を投射してもよい。図１０は、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイ１００をディスプレイプロジェクタとして配備する一例を示しているが、他のタイプの配備も同様に提供されてもよく、特許請求する主題の範囲は、これに関して限定されない。

次に、図１１を参照して、一または複数の実施形態による、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイをヘッドマウントディスプレイ（ＨＭＤ）として配備して含むアイウェアを示す線図について論じる。図１１に示す実施形態において、ＭＥＭＳレーザビームディスプレイのビームスキャナ１００は、アイウェア１１１０内に、または例えばアイウェア１１１０のフレームに付着される他の頭部装着型デバイス内に配備されてもよく、かつこれは、アイウェア１１１０の装着者によって視認可能である画像１１２０を投射してもよい。図１１は、混合モードの深度検出を利用するＭＥＭＳレーザビームディスプレイ１００をディスプレイプロジェクタとして配備する一例を示しているが、他のタイプの配備も同様に提供されてもよく、特許請求する主題の範囲は、これに関して限定されない。

請求項の発明の主題を、ある程度の具体性を伴って記述してきたが、その要素が、特許請求する主題の趣旨および／または範囲を逸脱することなく当業者により変更され得ることは、認識されるべきである。混合モードの深度検出に関連する主題およびそれに付随するユーティリティの多くは、これまでに述べた説明によって理解されることが確信され、かつそのコンポーネントの形態、構成および／または配置に対し、特許請求する主題の範囲および／または趣旨を逸脱することなく、またはその実質的利点を犠牲にすることなく様々な変更を行い得ることは明らかであって、本明細書においてこれまでに述べた形態は、単にそれを説明する実施形態であり、かつ／または、さらに特許請求する主題に対して実質的な変更を提供するものではない。このような変更を包含し、かつ／または含むことは、特許請求の範囲の意図するところである。

Claims

ＭＥＭＳレーザビームディスプレイであって、
前記ＭＥＭＳレーザビームディスプレイの視野内に画像を投射する画像化エンジンと、
第一の深度検出モードにおいて前記視野内のターゲットまでの距離を決定するための飛行時間（ＴＯＦ）深度検出器であって、前記ターゲットの粗い深度データを決定することを特徴とするＴＯＦ型深度検出器と、
第二の深度検出モードにおいて前記ターゲットまでの距離を決定するための構造化光深度検出器であって、前記ターゲットの精細な深度データを決定することを特徴とする構造化光深度検出器と、
を備え、
前記ＴＯＦ型深度検出器により取得される粗い深度データから前記ターゲットのスケルトンモデルを取得し、前記スケルトンモデルを用いて構造化光パターンを方向づけるべき前記ターゲットの一または複数の領域を決定し、前記精細な深度データを取得する、深度処理回路をさらに備えていることを特徴とするＭＥＭＳレーザビームディスプレイ。
前記粗い深度データと前記精細な深度データとの組合せを用いて、前記ターゲットの複合三次元（３Ｄ）画像を生成するための深度処理回路をさらに備えることを特徴とする請求項１に記載のＭＥＭＳレーザビームディスプレイ。
前記粗い深度データを介して前記ターゲットのジェスチャ領域を特定し、且つ前記精細な深度データを用いて前記ジェスチャ領域内のジェスチャを特定する深度処理回路をさらに備えることを特徴とする請求項１に記載のＭＥＭＳレーザビームディスプレイ。
前記画像化エンジンは、微小電気機械システム（ＭＥＭＳ）スキャナ、もしくはナノスケールスキャナ、またはこれらの組合せを備えることを特徴とする請求項１に記載のＭＥＭＳレーザビームディスプレイ。
前記ＴＯＦ型深度検出器は、前記画像化エンジンにより放射されて前記ターゲットから反射される光ビームを検出し、前記検出された光ビームに対する飛行時間計算を介して前記ターゲットまでの距離を決定する光検出器を備えていることを特徴とする請求項１に記載のＭＥＭＳレーザビームディスプレイ。
前記構造化光深度検出器は、前記画像化エンジンにより前記ターゲット上へ放射される構造化光パターンの反射を検出し、且つ前記検出された構造化光パターンの反射に対する距離計算を介して前記ターゲットまでの距離を決定するカメラを備えていることを特徴とする請求項１に記載のＭＥＭＳレーザビームディスプレイ。
前記画像化エンジンにより放射される一または複数の構造化光パターンを前記ターゲットの選択された領域へ方向づけるためのユーザからの入力を受信するアクチュエータをさらに備えていることを特徴とする請求項１に記載のＭＥＭＳレーザビームディスプレイ。
前記画像化エンジンは、前記視界内に赤外線（ＩＲ）ビームを放射することができ、かつ前記ＴＯＦ型深度検出器は、前記ターゲットからの前記ＩＲビームの反射を検出するためのＩＲ光検出器を備えていることを特徴とする請求項１に記載のＭＥＭＳレーザビームディスプレイ。
前記画像化エンジンは、前記ターゲット上へ、可視構造化光パターン、もしくは不可視構造化光パターン、またはこれらの組合せを放射することができ、かつ前記構造化光深度検出器は、前記ターゲットから反射される、前記可視構造化光パターン、もしくは前記不可視構造化光パターン、またはこれらの組合せを検出するためのカメラを備えていることを特徴とする請求項１に記載のＭＥＭＳレーザビームディスプレイ。
ターゲットの３次元画像を取得する方法であって、
走査ビームを視野内で前記ターゲット上に投射するステップと、
前記ターゲットから反射される前記走査ビームの反射を検出するステップと、
前記走査ビームの前記反射から前記ターゲットの粗い深度マップを決定するステップと、
前記粗い深度マップにおいて、精細な深度データを取得すべき一または複数の領域を特定するステップと、
前記一または複数の領域内に構造化光パターンを投射するステップと、
前記構造化光パターンの反射から、前記一または複数の領域内の前記ターゲットの精細な深度マップを決定するステップと、
前記粗い深度マップと前記精細な深度マップとの複合体を用いて、前記ターゲットの３次元画像を取得するステップと
を含む方法。
前記走査ビームを投射するステップは、赤外線（ＩＲ）ビームを投射することを含み、かつ前記検出するステップは、前記赤外線ビームの反射をＩＲ光検出器を用いて検出することを含むことを特徴とする請求項１０に記載の方法。
前記粗い深度マップを決定するステップは、前記走査ビームの飛行時間を計算することを含むことを特徴とする請求項１０に記載の方法。
精細な深度マップを決定する前記ステップは、前記一または複数の領域からの前記構造化光パターンの反射から深度情報を計算することを含むことを特徴とする請求項１０に記載の方法。
前記特定するステップは、前記粗い深度マップから前記ターゲットのスケルトンモデルを取得することを含み、前記一または複数の領域は、前記ターゲットの前記スケルトンモデル上に位置決めされることを特徴とする請求項１０に記載の方法。