JP5791131B2 - 自然な相互作用のための相互作用的現実拡張 - Google Patents

Description

（関連出願）
本出願は２０１０年７月２０日付け出願の米国暫定出願６１／３６５７８８（特許文献１）の恩恵を請求し、それはここに参照して採り入れられる。

本発明は、自然な相互作用システムに関し、より詳細には適応的現実拡張及び３次元入力インタフェースに関するものである。

自然なユーザインタフェースは娯楽およびコンピュータ業界において勢いを得ている。所作（ジェスチャー）による制御はキーボード、マウス、ゲームコントローラやリモコンなどの従来型の自然さの少ないインタフェースを補完し又は代替している。しかしユーザ相互作用は、コンピュータモニタに大きく関係し、それにより、このようなインタフェースの適用可能性や使用の容易性が制限されている。所作による制御には光学的３次元マッピングに依存しているものもある。

３次元マッピング即ち、ある物体の表面の３次元形状をその物体の光学的画像を処理することにより生成すること、では種々の方法が公知である。この種の形状は深さマップ又は深さ画像とも呼ばれ、３次元マッピングは深さマッピングとも呼ばれる。

ある方法は、レーザスペックルパターンを物体に投影し、物体上のパターンの画像を解析することに基づいている。例えば特許文献２、それはここに参照され採り入れられるが、は物体の再構築のシステムと方法を記載しており、そこではコヒーレントな光源及びランダムスペックルパターンの生成器が物体上にコヒーレントなランダムスペックルパターンを投影する。画像化ユニットは照射領域の光の応答を検知し、そして画像データを生成する。物体の画像内のパターンの参照画像に対するずれは、物体の３次元マップのリアルタイムの再構築に使用される。スペックルパターンを使用した３次元マッピングのさらに詳細な方法は特許文献３に記載されており、それはここに参照され採り入れられる。

米国暫定特許出願６１／３６５７８８ ＷＯ ２００７／０４３０３６ ＷＯ ２００７／１０５２０５ ＷＯ ２０１０／００４５４２ 米国特許出願２００９／０１８３１２５ 米国暫定特許出願６１／３７２，７２９ 米国暫定特許出願６１／４２５，７８８ 米国特許出願１２／８５４，１８７ 米国特許出願公報２０１１／００５２００６ 米国特許出願公報２０１１／００８１０７２

本発明は、ある実施形態において、改良型コンテンツ投影装置を提供することを願い、その装置は視野内の物体を認知し、その物体がコンテンツをその上に投影するのに適していると認識する。投影装置は投影されたコンテンツの縮尺、歪み、焦点を制御し、そして投影されたコンテンツ自体を変化させることにより、その物体の幾何学的形状と特性に適応してもよい。さらに或いは、投影装置は、視線ベクトル、コンテンツが投影されている面からの距離、及び他の類似パラメータのような、観察者の投影されたコンテンツに対する関係に従って投影されたコンテンツを適応させてもよい。投影のために幾何学的形状を分析するのに使用された２Ｄ／３Ｄ入力装置は、投影されたコンテンツと相互作用するためにも使用可能である。

本発明の開示された実施形態によれば、コンテンツ投影のための下地として機能する最適な物体を判定する手段として３次元入力装置を使用する、入力装置インタフェースのようなコンテンツの投影のための方法と装置が提供される。

本発明によれば、データを処理する装置であって、３次元カメラを有する、視覚野（シーン）を獲得するための検知要素と、３次元カメラにリンクし、３次元カメラの出力を使用してシーンの深さマップを生成するようにプログラムされ、そして画像をその上に投影するための事前設定基準に適合するシーン内の１つの３次元物体を識別するためシーン分析をするプロセッサと、及びプロセッサの命令に応答して１つの画像を形成するコンテンツプロジェクタと、 を有することを特徴とする装置が提供される。

本発明の装置の一側面では、着用可能モニタを有し、コンテンツプロジェクタは投影された画像を仮想画像として着用可能モニタ又は仮想空間に形成するように動作可能である。検知要素、プロセッサ、及びコンテンツプロジェクタは着用可能モニタに包含されてもよい。

本発明をより理解するため、発明の詳細が例示のための実施形態を参照して示される。それは図を参照し、図内の類似の要素は類似の参照番号を与えられる。
本発明の開示された実施形態に従って構築され、稼動する相互作用３次元ビデオディスプレイシステムの概略鳥瞰図である。 本発明の１実施形態に従って構築され、稼動する図１のシステムのブロック図である 本発明の１実施形態に従って構築され、稼動する例示的処理装置の一部分の機能的要素を示すブロック図である。 本発明の１実施形態に従った、シーン内の３次元物体を識別する方法の例示的フロー図である。 本発明の１実施形態に従った、疑似表面上に投影された携帯機器のスクリーンを示す図である。 本発明の１実施形態に従った装着可能モニタを含む相互作用３次元ビデオディスプレイシステムを示す図である。

以下の記述では本発明の種々の原理を十分に理解するため多くの特定の詳細が示される。しかし当業者にとってこれらの詳細の全てが本発明を実施するために必要であるとは限らないことは明白である。本明細書では全体の概念を不必要に不明確にしないために、周知の回路、制御ロジック、従来技術のアルゴリズムやプロセスに対するコンピュータプログラム命令の詳細は示されない。

ここで使用される「コンテンツ投影」とは、コンテンツの画像をシースルーの眼鏡のような着用可能透明モニタ上に形成すること、その場合画像は眼鏡着用者以外には見えないが、又は物理的物体上に形成すること、その場合はその物体と相互作用する誰にでも見えるが、を含む。この用語は上記の事例に留まらない。それは網膜投影、シースルー眼鏡上への投影、画像の仮想空間への投影、例えばホログラムとして、及び拡張現実を生成する他の技術、を含む多くの手段で画像を形成することを含む。

（システム構成）
図１は本発明の開示された実施形態に従って構築され、作動する相互作用３次元ビデオディスプレイシステム１０の概略鳥瞰図である。システム１０は３−Ｄ（３次元）カメラ１２を有し、カメラ１２は赤外プロジェクタ及びそのプロジェクタ帯域に対して開かれた対応するＣＭＯＳ／ＣＣＤを有してもよい。３−Ｄカメラ１２は、ユーザの身体（又は少なくとも身体の一部）、コンピュータアプリケーションを制御するためユーザが操作または振り回す接触可能実体、及び３−Ｄカメラ１２の視野内の他の物体を含む、３−Ｄ情報を獲得する。この種の３−Ｄ画像化組立体の詳細は特許文献４及び特許文献５に記載され、それはここに参照され採り入れられる。

３−Ｄカメラ１２は一般的に近赤外スペクトルにおいて動作する。しかし、本発明の原理は、３−Ｄカメラ１２が電磁エネルギーを近赤外スペクトル以外、例えば遠赤外又は紫外エネルギーで獲得することを可能にする変更に対しても同様に適用可能である。システム１０はまた、２−Ｄ（２次元）カメラ１４を有してもよく、それは可視光スペクトルにおいて動作し、シーン内の書込まれた情報の自動的解釈を可能にするのに十分な解像度で１つのシーンを獲得でき、そして典型的に赤緑青（ＲＧＢ）出力信号を生成する。
３−Ｄカメラ１２と２−Ｄカメラ１４は、全てコンピュータ１８のようなプロセッサの制御の下でコンテンツプロジェクタ１６と協働する。

３−Ｄカメラ１２と２−Ｄカメラ１４をバンドルするシステム１０に適合するユニットはプライムセンス社、米国２７５１３ノースカロライナ州Ｃａｒｙ，Ｃａｍｂａｙ Ｃｔ．１０４から入手可能なプライムセンサ（登録商標）リファレンスデザインである。コンテンツプロジェクタ１６はミクロビジョン社、米国６２２２ワイオミング州Ｒｅｄｍｏｎｄ，１８５ｔｈ Ａｖｅ．ＮＥから入手可能なＰｉ−ｃｏＰ（登録商標）ディスプレイエンジンでもよい。ある実施形態では３−Ｄカメラ１２と２−Ｄカメラ１４はプライムセンサ（登録商標）リファレンスデザインの変化形としてコンテンツプロジェクタ１６に統合されてもよい。ある実施形態では、３−Ｄカメラ１２と２−Ｄカメラ１４は、スポットのパターンを物体上に投影しそして投影されたパターンの画像を獲得する、赤外線プロジェクタを含む統合モジュールである。

あるいは、赤外線プロジェクタは他のモジュール（不図示）として実現されてもよい。赤外線プロジェクタは２０１０年８月１１日出願の特許文献６及び２０１０年１２月２２日出願の特許文献７の教授に従って実施可能であり、これら文献はここに参照され採り入れられる。この暫定出願はまた深さマッピングに必要な赤外と、可視のコンテンツの両方を投影するためにスキャン用ハードウェアを再使用する方法を教授している。
プロセッサは一般的に引用されるタイトル「３次元シーンの分析」の特許文献８の教授を使用してシーンを分析してもよく、この文献はここに参照され採り入れられる。

コンピュータ１８は、以下に記載される機能を実行するようにソフトウェア内でプログラムされる汎用コンピュータプロセッサを有してもよい。ソフトウェアは電子形態で、例えばネット経由でプロセッサにダウンロードされてもよく、或いは、非一過性接触可能記憶媒体、例えば、光学、磁気、又は電子的記憶媒体上に提供されてもよい。さらに或いは、画像化機能の一部又は全部がカスタム、準カスタムＩＣ又はプログラム可能デジタル信号プロセッサ（ＤＳＰ）のような専用ハードウェア内に実装されてもよい。コンピュータ１８は例示のため３−Ｄカメラとは別のユニットとして図１に示されるが、コンピュータの一部又は全部の処理機能は３−Ｄカメラ１２と２−Ｄカメラ１４に付属する又は躯体内の適切な専用回路により実行されてもよい。

以下の議論に見られるように、ユーザが動き回り、そして自由にほぼリアルタイムでシーンと相互作用できるために、システム１０の要素は小型化されそして着用可能モニタに包含されてもよい。いずれの場合も３−Ｄカメラ１２と２−Ｄカメラ１４はセンサ要素として機能し、シーン（ユーザとその周辺）を観察する。コンピュータ１８は、認識要素として機能し、そのシーンとその周辺内のユーザ相互作用を、コンテンツプロジェクタ１６により提供された情報により媒介され又は誘発されるように理解する。

コンピュータ１８はプライムセンサ・レファレンスデザインと共にプライムセンス社から入手可能なＮｉｔｅ（登録商標）ミドルウェアを使用してもよい。例えば、プライムセンサ・レファレンスデザインはコンピュータ１８のアプリケーションレイヤに制御ウィジェットを提供し、それにより、ユーザの所作又は姿勢を既知の決定論的アプリケーション入力に翻訳する、アプリケーションプログラムインタフェース（ＡＰ）を提供する。そのミドルウェアは、赤外線プロジェクタを有する３−Ｄカメラ１２と２−Ｄカメラ１４を含む、システム１０の構成要素により生成されたデータに画像処理操作を実行し、ユーザ２０及び獲得されたシーンの３次元マップを再構築する。

「３次元マップ」とはある所与の物体の表面を表わす１組の３次元座標を意味する。３次元マップのある形態は深さ画像又は深さマップと呼ばれ、そこでは各ピクセルは、２次元画像でのその点の輝度及び色彩ではなく、カメラからシーン内の対応する点までの距離を示す１つの値を有する。コンピュータ１８はその後、対照実体の表面上の点の３次元座標を、パターン内のスポットの横方向ずれに基づいて三角法により計算する。

代表的なアプリケーションでは、３−Ｄカメラ１２で獲得された情報は、コンテンツプロジェクタ１６を駆動するコンピュータ１８により処理される。コンピュータ１８はユーザに対し自然な又は作為的な経験を生成するように設計されたプログラムに従って作動してもよい。図１に示すように、システム１０はシーン内の１つの本を認識し、そして販売オファー２４「７５．９９ドルで買いましょう」をその本２２の上に投影した。ユーザはそのオファーに手の所作（ジェスチャー）２６で応答していて、それはコンピュータ１８への入力としての役割を果たす。コンピュータ機器のジェスチャー制御は例えば一般的に引用される特許文献５により公知であり、その文献はここに参照され採り入れられるが、それはまた仮想画像空間へのシーンの投影の方法を教授している。ジェスチャー制御はＮｉｔｅミドルウェアの機能性に含まれ、それは３−Ｄカメラ１２と２−Ｄカメラ１４によって獲得されたユーザ２０の所作、例えば販売オファーに対する応答、を解釈する。

さらに、ユーザ２０の本２２及び販売オファー２４との相互作用が、例えば本２２を掴むユーザ２０により発現すると、コンピュータ１８内で実行される凝視識別モジュールが、ユーザ２０が本２２を見ていると認識してもよい。獲得された２次元画像を処理することにより、本のタイトルがコンピュータ１８内で認識、解釈可能である。その後、最適投影パラメータを計算して、書評が本２２の上に投影されてもよい。ユーザ２０は投影された書評を、あたかもそれをディスプレイスクリーン上で見ているようにスクロールし、書評と相互作用してもよい。このように、システム１０は、ユーザ２０と協働して、ユーザ２０の利便のために、本２２を即興的なやり方で仮想情報スクリーンに変換する。

システム１０はディスプレイスクリーン２８及びキーボード３０やマウス３２のような従来技術の入力装置を選択肢として含み、それらは管理目的、例えば、システム構成のため及びユーザ２０によるシステム１０の作動制御のためのユーザインタフェースを提供してもよい。

図２は発明の１実施形態に従う図１のシステム１０のブロック図である。シーン３４が２つのカメラ２−Ｄカメラ３６と３−Ｄカメラ３８により同時に獲得され、それらのカメラは別個のユニットでも、組合わされたユニットに統合されていてもよい。或いは、シーンは２−Ｄカメラ３６のみにより獲得され、又は３−Ｄカメラ３８のみにより獲得されてもよいが、いずれの場合も獲得された画像に対し画像解析が行われる。上述のようにこれらカメラはプライムセンサ・レファレンスデザインとして実現されてもよい。２−Ｄカメラ３６と３−Ｄカメラ３８によるデータ出力はプロセッサ４０への入力であり、そのプロセッサはミドルウェア、例えば上記のＮｉｔｅミドルウェアを実行する。

ミドルウェアは２つのカメラに獲得されたシーンを位置合わせする。ミドルウェアは物体分析モジュール４２を含み、それはシーン３４内の物体を識別し、そしてそれらの物体がそれらの上にコンテンツを投影することに適しているかを判断する。ミドルウェアのもう１つの要素であるプロジェクタ制御モジュール４４はシーン３４内の物体、例えば１つの物体４６の座標と特性を変換し、そして投影用の１つの画像を準備する。モジュール４４はプロジェクタ４８に対し適切な命令を発し、それにより画像、一般的に情報コンテンツを含む、が物体４６上に投影される。命令は物体４６の寸法、姿勢及び構成に起因する歪みに対する補正を含んでもよい。さらに或いはプロジェクタ４８はこのような歪みを補正するそれ自身のメカニズムを有してもよい。

ユーザの位置と姿勢は投影パラメータを計算する時に考慮されてもよい。例えば、上記のように、投影されたコンテンツへの視線ベクトルはユーザがシーン内で動くと変化する。投影パラメータは、ユーザにとって現実的な経験であると装うため、このような変化を補償するように調整される、例えば、寸法、視差及び類似の歪みに対して調整されてもよい。このような調整の１つの例は、３次元物体は異なる方向から見ると異なって見える、即ち、物体の異なる側面又は異なる２次元投影が観察者に見えるようになる、という事実に対する調整である。投影コンテンツは視線ベクトル及び仮想物体に対するユーザの位置の関数として調整可能であり、それにより観察者の前に物体が実際に存在するという現実的な経験を生成する。

視線方向は周知の既存技術により観測可能である。例えば、シースルーの眼鏡に埋め込まれた装置の場合は、ヘッド位置の向きは、周りの世界の装置に対する厳密な位置合わせにより得られる。視線方向はまた、例えば、Ｔｏｂｉｉテクノロジー社、バージニア州フォールズチャーチ、ワシントンストリート５１０Ｎ、スイート２００から入手できる視標追跡製品を使用して測定可能である。視線はその後センサによって得られた３次元情報を使用して物体の座標に翻訳されてもよい。

（物体認識）
体の部位を識別し追跡する技術はタイトル「３−Ｄマップからの骨格の抽出」のよく指定される特許文献９により公知であり、この文献はここに参照され採り入れられる。本質的に、これはヒト類似形状を含むシーンの深さマップの一時的シークエンスを受取ることにより達成される。デジタルプロセッサは少なくとも１つの深さマップを処理し、頭又は手のような所定の身体部位の位置を発見し、そして位置に基づいてヒト類似形状の寸法を推定する。プロセッサは推定寸法を使用してヒト類似形状の動きをシークエンスに亘って追跡する。これらの教授は上記のＮｉｔｅミドルウェアに採用されており、そして他の公知の認識ルーチンを組み合わせることにより当業者により改良可能である。

例えば、体の頭部を識別する場合、１つの３次元形状を分割、分析して右腕と左腕を識別し、その後それらの腕の間の空間を検索して頭部を見つけてもよい。さらに或いは、認識技術が使用されてもよい。深さマップは頭又は他の物体の２次元画像と位置合わせされてもよい。プロセッサはパターンまたは顔認識技術を適用して２次元画像内のヒト類似形状の顔を識別してもよい。２次元画像内の顔の位置は３次元形態の頭の位置と関連付けられる。同一の技術を使用して、シーン全体が分析され、分割され、そして物体の既知のカテゴリーが、画像をその上に投影する候補として識別されてもよい。

（物体プロセッサ）
図３は本発明の１実施形態に従って構築され、稼動するプロセッサ４０（図２）の構成要素である、例示的処理装置５０の一部分の機能的要素を示すブロック図である。処理装置５０は選択肢としてのホストコンピュータ５４へのＵＳＢポート５２を有する、単一の半導体基板上の専用の集積回路に組み立てられてもよい。処理装置５０は物体分析器５６を含む他のインタフェースをも有してもよい。物体分析器５６はデータベース５８にリンクされ、それは物体分析器５６に認知されそして評価されるべき物体の記述を含むライブラリを保持する。当業者は処理装置５０の他の構成を構成可能であろう。上述のように、処理装置５０の動作は命令メモリ６０及びデータメモリ６２内に存在するミドルウェアにより制御可能である。

深さプロセッサ６４は３Ｄカメラ１２（図１）が捕獲した情報を処理して深さマップを生成する。深さプロセッサ６４はメモリ６６内の専用メモリ空間を使用する。以下に示すように、このメモリはコントローラ６８からもアクセス可能であるが、一般的にはホストコンピュータ５４からはアクセス不能である。むしろ、深さプロセッサ６４はアプリケーションプログラムインタフェース（ＡＰＩ）経由でホストコンピュータ５４によりプログラムされる。

深さプロセッサ６４は深さＣＭＯＳインタフェース７０経由で３Ｄカメラ１２（図１）から入力ＩＲデータを受け取る。深さプロセッサ６４はビデオデータを処理して連続する深さマップ、即ち深さデータのフレームを生成する。深さプロセッサ６４はこれらのデータをＵＳＢ ＦＩＦＯ（先入れ先だし）ユニット７４内の深さＦＩＦＯメモリ７２にロードする。

深さ入力と処理操作に並行して、カラー処理ブロック７６が入力カラービデオデータを２Ｄカメラ１４（図１）からカラーＣＭＯＳセンサインタフェース７８経由で受け取る。カラー処理ブロック７６は未処理の入力データをＲＧＢビデオデータの出力フレームに変換し、これらのデータをＵＳＢ ＦＩＦＯユニット７４内のＲＧＢ ＦＩＦＯメモリ８０にロードする。或いは、カラー処理ブロック７６がＹＵＶ又はベイヤー（Ｂａｙｅｒ）モザイクフォーマットなどの他のフォーマットのビデオデータを出力してもよい。

ＵＳＢ ＦＩＦＯユニット７４は種々のデータ供給元とＵＳＢコントローラ８２との間のバッファレベルとして動作する。ユニット７４は種々のデータタイプを異なるクラス（ＵＳＢビデオクラスやＵＳＢ音響クラスなど）に従ってパックしフォーマットし、またさらにＵＳＢバンド幅異常に起因するデータ損出を防止するように働く。それはＵＳＢコントローラにデータを送信する前に、ＵＳＢプロトコル及びフォーマットに従ってデータをＵＳＢパケットに整える。

高度高性能バス（ＡＨＢ）８４のような高帯域幅バスマトリックスが処理装置５０の構成要素間のデータ輸送に使用され、特にホストコンピュータ５４への送信のためのＵＳＢ ＦＩＦＯユニット７４からＵＳＢコントローラ８２へのデータ転送に使用される。（ＡＨＢはＡＲＭ社、英国ケンブリッジ市、により発表されたバスプロトコルである。）ＵＳＢ ＦＩＦＯユニット７４にパケットが準備済みで、そしてＵＳＢコントローラ８２の内部メモリに空きが有る場合、ＵＳＢコントローラ８２はダイレクトメモリアクセス（ＤＭＡ）を使用して、データを深さＦＩＦＯメモリ７２、ＲＧＢ ＦＩＦＯメモリ８０及び音響ＦＩＦＯメモリ８６からＡＨＢスレーブモジュール８８及びＡＨＢバスマトリックス８４経由で読み出す。ＵＳＢコントローラ８２はＵＳＢポート５２経由でのホストコンピュータ５４への出力のため、カラー、深さ及び音響データを、単一のデータ流にマルチプレクスする。

ＵＳＢ通信のため、処理装置５０はＵＳＢ物理層インタフェース、ＰＨＹ９０を有し、それはＵＳＢコントローラ８２により操作されて適合するＵＳＢケーブル経由でホストコンピュータ５４のＵＳＢポートと通信してもよい。ＵＳＢ ＰＨＹのタイミングは、周知のように水晶振動子９２及び位相固定ループ（ＰＬＬ）９４により制御される。

或いはＵＳＢコントローラ８２は選択肢として、ホストコンピュータ５４とＵＳＢ２．０送受信機マクロセルインタフェース（ＵＴＭＩ）及び外部ＰＨＹ９６経由で通信してもよい。

プロジェクタ制御モジュール９８を含む種々の外部装置がホストコンピュータ５４と協働して処理装置５０と接続してもよく、プロジェクタ制御モジュール９８は処理装置５０及びホストコンピュータ５４から命令を受け取り、所望の画像を空間内の特定の座標に投影する。

コントローラ６８は、ブートアップ、自己診断テスト、構成、電源及びインタフェース管理、及びパラメータ調整を含む、処理装置５０の機能の管理に責任を負っている。

コントローラ６８は、ＡＨＢマトリックス８４上のデータ移動を制御するためのデジタル信号プロセッサ（ＤＳＰ）コア１００及びＡＨＢマスタ１０２を有してもよい。一般的に、コントローラ６８はブート読み出し専用メモリ１０４からブートし、そしてその後プログラムコードをフラッシュメモリ（不図示）からフラッシュメモリインタフェース１０６経由で命令ＲＡＭ６０及びデータメモリ６２にロードする。コントローラ６８は更に外部コンピュータ１１０によるデバッグのため、共同テスト行動委員会（ＪＴＡＧ）インタフェースのようなテストインタフェース１０８を有してもよい。

コントローラ６８は構成データ及びパラメータを処理装置５０の他の構成要素に、高度ペリフェラルバス（ＡＰＢ）のような構成登録インタフェース１１２経由で配布し、コントローラ６８は構成登録インタフェース１１２にＡＨＢマトリックス８４及びＡＰＢブリッジ１１４経由で接続している。
処理装置５０の更なる詳細は前述の特許文献４に記載されている。

（物体分析）
図３を引き続き参照して、物体分析器は、カラー処理ブロック７６とＵＳＢ ＦＩＦＯユニット７４と協働して深さプロセッサ６４により作られたデータを評価し、３Ｄカメラ１２（図１）により獲得されたシーンを評価する。

物体分析器５６によって実行されるアルゴリズムはホストコンピュータ５４内のアプリケーションプログラムにより指示されてもよい。例えば物体分析器５６はデータベース５８内で特定されたシーン内の１つ以上の既知の物体を検索し報告するように命令されてもよい。その後直ちにホストコンピュータ５４は、コンテンツプロジェクタ１６（図１）に、選択された物体上に画像を投影するように命令してもよい。さらに或いは、物体分析器５６は、データベース５８に頼ることなく、事前設定の判断基準に合致する物体を識別し報告するように命令されてもよい。

識別された物体に関して物体分析器５６によって通信されるデータは、一般的に物体の寸法と位置、及び、好適には対照座標系に対する縮尺、ピッチ、ヨー及び回転角度を含む自由度６の方向を含む。この情報によりプロジェクタは、投影された画像を適切に縮尺しそして歪めることにより歪みを補償して、その画像を選択された物体上に投影し、観察者が実質的に歪みの無い画像を見ることが可能となる。投影された画像の構成は、例えばタイトル「画像処理装置、画像処理方法及びプログラム」の特許文献１０から公知である。複雑な光学的装置のコストを無くし、そして簡単にオフアクシス画像変形のような影響を避けることを可能にするため、画像がソフトウェア内で構成されてもよい。或いは上記のように商業的に利用可能な投影が、歪み制御のためのそれら自体の補償を提供してもよい。

図４は本発明の１実施形態に従ったシーン内の３次元物体を識別する方法の例示的フロー図である。説明の利便性のため、方法は図１及び図３の装置に関連して開示されているが、異なる構成にも適用可能である。説明の容易さのため、処理ステップは図４の特定の直線的な順列で示されるが、多くの処理ステップが非同期で並行処理され、又は別の順序で処理可能なことは自明である。当業者は、１つの処理プロセスが代替として多くの相互に関連した状態又はイベント、例えば状態図として表示可能であることを理解しよう。さらに、全ての表示されたステップがプロセスの実行に必要ではないかもしれない。またさらに、詳細の多くはホストコンピュータ５４の命令及びアプリケーションプログラムの要求により変化する可能性がある。

観察者が本屋にいると仮定する。最初のステップ１１６においてホストコンピュータ５４で実行されるアプリケーションプログラムがテキスト情報を表示する開いた本を識別しようとする。これはデータベース５８内で既知の定義を有する３次元物体であり、それは少なくとも１つの一般的に明るい色の平らな表面を有している。３Ｄカメラ１２が起動され、そして３次元のシーンが処理装置５０の中に獲得される。物体分析器５６がシーンを評価し、３次元空間内で物体を位置決めし、そして識別する。
判断ステップ１１８において１つの平らな表面がシーン内で位置決めされたかが判断される。

つぎに判断ステップ１２０に進み、そこで平らな表面が本に対する判断基準に適合するかが判断される。判断基準には、中でも、寸法、他の一定の物体との近接度、及び閉じた又は開いた本に対応する幾何学的詳細を含む。

判断ステップ１２０が「はい」の場合、最後のステップ１２２に進む。本の座標と向きが物体分析器５６によりコントローラ６８に報告され、コントローラ６８は、プロジェクタ制御モジュール９８に対しホストコンピュータ５４と協働してアプリケーションが判断した画像（ＭＥＮＵ−１）を識別された本の上に表示するように命令する。その画像は例えば、そのアイテムを購入する、又は追加の詳細情報、例えば本の書評、や人気ランキングを獲得する、という選択肢を含んでもよい。実際、３Ｄカメラ１２が本のタイトルの獲得に成功した場合、追加の詳細情報が投影される画像に含まれてもよい。ホストコンピュータ５４がローカルの又は分散データベースにアクセスを有しており、又はインターネット経由で自動的に問合せすることが出来ると仮定されている。

判断ステップ１２０における判断が「いいえ」の場合、判断ステップ１２４に進む。シーン内に処理すべき物体がまだあるかが判断される。
判断ステップ１２４における判断が「はい」の場合、判断ステップ１１８に戻る。
判断ステップ１２４における判断が「いいえ」の場合、方法の第２の状態が始まる。アプリケーションプログラムは、３Ｄカメラに見える場合、画像がユーザの手に投影される第２の選択肢に至ると仮定されている。

判断ステップ１２６に進み、シーン内に身体部分があるかが判断される。これは上記特許文献１０の教授を使用して達成できる。
判断ステップ１２６における判断が「はい」の場合、判断ステップ１２８に進み、身体部分が手であるかが判断される。
判断ステップ１２８における判断が「はい」の場合、最終ステップ１３０に進み、それはステップ１２２と類似している。しかしこのステップでは手に異なるメニュー（ＭＥＮＵ−２）が投影され、それは、例えば、コンピュータアプリケーションを管理する制御選択肢を含んでもよい。最終ステップ１２２及び１３０の両方において、ユーザがコンテンツと相互作用する時に、ユーザの側に自然な感覚を形成するように画像が構成される。

判断ステップ１２８における判断が「いいえ」の場合、判断ステップ１３２に進み、シーン内にまだ処理すべき物体があるかが判断される。
判断ステップ１３２における判断が「はい」の場合、判断ステップ１２６に戻る。そうでない場合、最終ステップ１３４に進み、従来のメニューが表示スクリーン上に表示される。最終ステップ１３４は、画像をその上に投影する適合する外部の物体が識別できなかったことを意味する。
図４の方法は、支配するアプリケーションプログラムの仕様に従う必要性に基づいて変更され、そして詳細を作成される可能性が有ることに留意されたい。種々の物体と画像の認識と優先順位付けは、特定のシーンの構成とプログラム自体のニーズを包含するようにプログラムされてよい。

（代替的実施形態１）
この実施形態は第１の実施形態と類似するが、異なる点は、画像の投影とユーザによるアクセスのため便利な仮想面が提供される点である。図５には、一般的に携帯電話、例えばスマートフォンなどの携帯情報機器１３８のスクリーン１３６が示され、それは本発明の実施形態に従って仮想表面上に投影される。このような機器は便利な相互作用及びメディアの使用には小さすぎる。スクリーン１３６は小型プロジェクタ１４０及び検知機器１４２を内蔵し、それらは図１の実施形態における３Ｄカメラ１２とコンテンツプロジェクタ１６と同じ機能を果たす。この目的に適したプロジェクタは、例えばミクロビジョン社から入手可能である。この実施形態では、プロジェクタ１４０は１つの画像を仮想投影面１４４に投影し、その画像はスクリーン１３６に比べて拡大されている。

操作の１つのモードではプロジェクタ１４０はスクリーン１３６上に表示された情報の拡大バージョンを生成してもよい。
他の１つのモードでは、検知機器１４２が外部のシーンを獲得する。携帯情報機器１３８は図４を参照して上記で記載されたシーン分析方法を実行するように構成されてもよい。この事例では、開いた本１４６が外部シーン内で識別された。携帯情報機器１３８内で実行されるアプリケーションプログラムは、プロジェクタ１４０に本１４６の画像１４８を仮想投影面１４４に投影させ、メニュー１５０を画像１４８上に重ね合わせる。メニュー１５０はユーザに本１４６をセールス価格７５．９９ドルで購入するか、表示をキャンセルするかを訊ねている。

（代替実施形態２）
第１の実施形態では、画像は物理的物体、例えば、本又は手、の上への投影として記述された。この実施形態では、プロジェクタはコンテンツを眼鏡のような着用可能モニタ上に投影する機器として実施されている。この実施形態では、図４の最終ステップ１２２と１３０は変更される。

図６は、本発明の１実施形態に従った装着可能モニタを含む相互作用３次元ビデオディスプレイシステムを示す図である。システムは、それぞれの画像を物体自体ではなく装着可能モニタに投影する。このような機器は、図４を参照して記述された方法によって形成されるコンピュータ生成画像が、現実世界の光景の上に生成され、かつ選択肢として重ね合わされることを許容する可能性を提供する。このような機器は、一方で外部シーンを見ながら、コンピュータ生成画像を部分反射鏡経由で投影することにより動作してもよい。あるいは機器がコンピュータ生成画像と現実世界の光景を電子的に混合してもよい。

図６の事例では、ユーザ１５２は立体画像を表示可能な着用可能モニタ１５４を着用している。着用可能モニタ１５４はシステム１０（図１）の構成要素と類似の構成要素を有し、またインタフェースされている。システム１０と同様に、着用可能モニタ１５４は外部シーンを分析するように適応されている。この事例では、それは本１４６を識別し、そして画像１４８（図５）と同じ情報を含む画像１５６を生成する。着用可能モニタ１５４は分離されたユニットでも、システム１０の他の構成要素を包含してもよい。

図６の実施形態において、着用可能モニタ１５４は、小型プロジェクタ１５８及び検出要素１６０を含む。さらに或いは、着用可能モニタ１５４は外部のプロセッサ又は検知装置と無線リンク経由で通信してもよい。着用可能モニタ１５４として使用可能な着用可能ヘルメット搭載ディスプレイ及びシースルー眼上着用ディスプレイは、ノベロ（Ｎｏｖｅｒｏ）社のマディソン製品群又はルマス（Ｌｕｍｕｓ）社、２ Ｂｅｒｇｍａｎ Ｓｔｒｅｅｔ Ｒｅｈｏｖｏｔ ７６７０５，イスラエルより入手可能である。

画像１５６は着用可能モニタ１５４内で実際に形成されるが、ある実施形態では図６に示すように、ユーザ１５２には、空間の外部領域内に重ね合わされているように観察されてもよい。このような実施形態における着用可能モニタ１５４は位置決め、頭追跡、及び視標追跡サブシステムを具備してもよい。

当業者は、本発明が上記において特に示され記述されたものに限定されないことを理解しよう。本発明の範囲は上記の種々の特徴の組合せやサブ組合せを含み、また上記の記載を読んだ当業者が想起する従来技術にない変形や変更を含む。

Claims (10)

1. データを処理する装置であって、
   ３次元カメラを有する、シーン（視覚野）を獲得するための検知要素と、
   前記３次元カメラと同時に前記シーンの２次元画像を獲得するための２次元カメラと、
   前記３次元カメラ及び前記２次元カメラの両方にリンクし、前記３次元カメラの出力を使用して前記シーンの深さマップを生成するようにプログラムされ、そして画像をその上に投影するための事前設定基準に適合する前記シーン内の１つの３次元物体を識別するためシーン分析をするプロセッサと、及び
   前記プロセッサの命令に応答して前記３次元物体上に１つの画像を形成するコンテンツプロジェクタと、
   を有し、
   前記プロセッサが前記２次元画像の中の前記３次元物体に関する情報を認識するように動作し、そしてさらに前記プロセッサが、認識された前記情報に応答して前記コンテンツプロジェクタに対し前記３次元物体のメタデータを前記画像の中に含むように命令するように動作することを特徴とする装置。
2. 前記１つの画像を形成するステップは前記１つの画像を前記１つの３次元物体の上に投影するステップを含む、ことを特徴とする請求項１に記載の装置。
3. 前記プロセッサの命令は前記シーン分析に対する応答であり、前記プロセッサは、前記シーン分析に応答して少なくとも１つの投影パラメータとコンテンツを変化させることについて前記コンテンツプロジェクタと協働する、ことを特徴とする請求項１に記載の装置。
4. 前記プロセッサは、ユーザと前記シーンとの相互作用に応答して前記画像の特性を変化させることについて前記コンテンツプロジェクタと協働する、ことを特徴とする請求項１に記載の装置。
5. 前記相互作用は前記３次元物体に向かう前記ユーザの視線ベクトルの変化を含む、ことを特徴とする請求項４に記載の装置。
6. 着用可能モニタをさらに有し、前記コンテンツプロジェクタは前記画像を仮想画像として前記着用可能モニタに形成するように動作し、そして前記検知要素、前記プロセッサ、及び前記コンテンツプロジェクタは前記着用可能モニタに包含される、ことを特徴とする請求項１に記載の装置。
7. データ処理システムとの拡張された相互作用の方法であって、
   シーンの１つの３次元画像を獲得するステップと、
   前記３次元画像と同時に前記シーンの１つの２次元画像を獲得するステップと、
   デジタルプロセッサを使用して、前記１つの３次元画像を処理してその中の３次元物体を位置決めし、そしてその上の画像の投影のための事前設定の判断基準を満たす３次元物体を識別するステップと、そして
   前記プロセッサの命令にしたがって、ユーザが相互作用するための、コンテンツを包含する１つの画像を前記３次元物体上に形成するステップと、
   を有し、
   前記プロセッサが前記２次元画像の中の前記３次元物体に関する情報を認識するように動作し、そしてさらに前記プロセッサが、認識された前記情報に応答して前記コンテンツプロジェクタに対し前記３次元物体のメタデータを前記画像の中に含むように命令するように動作することを特徴とする方法。
8. 前記ユーザと前記シーンとの相互作用に応答して前記コンテンツを包含する１つの画像の特徴を変更するステップをさらに有し、前記相互作用は、前記ユーザの前記３次元物体の１つに向く視線ベクトルの変化を含む、ことを特徴とする請求項７に記載の方法。
9. データ処理システムとの拡張された相互作用の方法であって、
   その上に画像を投影するための第１の判断基準を満たす３次元物体、を含むシーンの深さマップを受信するステップと、
   前記深さマップと同時に獲得された、前記シーンの、１つの２次元画像を受信するステップと、
   デジタルプロセッサを使用して、前記深さマップを処理して前記３次元物体の位置を決めるステップと、
   コンピュータアプリケーションを実行して前記２次元画像を分析し、第２の判断基準に従って最も適合する前記３次元物体の１つを識別するステップと、
   前記コンピュータアプリケーションに対するユーザインタフェースをコンテンツを含む画像として、前記最も適合する３次元物体の内の１つの上に投影するステップと、
   前記デジタルプロセッサを使用して、所作を認識するステップと、
   前記所作を前記ユーザインタフェースとの相互作用として解釈するステップと、そして 前記相互作用に応答して前記コンピュータアプリケーションを制御するステップと、
   を有することを特徴とする方法。
10. データ処理システムとの拡張された相互作用の方法であって、
    その上に画像を投影するための第１の判断基準を満たす３次元物体、を含むシーンの深さマップを受信するステップと、
    前記深さマップと同時に、前記シーンの、１つの２次元画像を獲得するステップと、
    デジタルプロセッサを使用して、前記深さマップを処理して前記３次元物体の位置を決めるステップと、
    コンピュータアプリケーションを実行して、前記２次元画像に適用される第２の判断基準に従って最も適合する前記３次元物体の１つを識別するステップと、
    前記最も適合する３次元物体の１つの画像を着用可能モニタ上に投影するステップと、 前記デジタルプロセッサを使用して、所作を認識するステップと、
    前記所作を前記最も適合する前記３次元物体の１つの画像との相互作用として解釈するステップと、そして
    前記相互作用に応答して前記コンピュータアプリケーションを制御するステップと、
    を有することを特徴とする方法。

Images