JP5650845B2 - 画像の中の仮想視覚情報を識別するための方法および構成 - Google Patents

Description

本発明は、実際の視覚情報と仮想視覚情報とを含む視覚シーンの連続画像のシーケンスから、少なくとも２つの画像の中の前記仮想視覚情報を識別するための方法および構成に関する。

１つまたは複数のカメラを使用して現実の世界のシーンを取り込むときには、実際に存在しており、また例えば、投影により仮想的にそこに提示されているものでないシーンの被写体を取り込むことだけが、望ましい。一例としては、いくつかの異なる会議室に物理的に位置している幾人かの人々の間でのビデオ会議を可能にするための将来のビデオ会議システムが挙げられる。そのようなシステムにおいては、すべての参加者が配置されている仮想環境が、スクリーンの上への投影によって表されることもあり、あるいは実際の会議室の中に存在する使用可能な視覚化デバイスのうちの１つまたは複数の上にレンダリングされることもある。この仮想環境のレンダリングを可能にするなどのために必要とされる情報を、例えば、どの人達が参加しているか、彼らの動き、彼らの表情などを取り込むために、異なる会議室に配置されたカメラが使用される。しかしながら、これらのカメラは、部屋の中の実際の人々および被写体を追跡するだけでなく、例えば、これらの同じ会議室の内部のこれらの大きなスクリーンの上に仮想的にレンダリングされるような人々および被写体も追跡する。実際の人々は、もちろん追跡されて、より良いビデオ会議経験を可能にする必要があるが、彼らの投影は、追跡されるべきではなく、あるいは後続のステップにおいて、少なくともフィルタをかけて取り除かれるべきである。

この問題に対する、可能性のある既存の解決法では、望ましくない視覚情報をフィルタで取り除くために、簡単な規則をもたらし得る較正されたカメラと協働する固定された位置の視覚化デバイスを使用する。これは、会議室の内部の固定された位置を有する伝統的なスクリーンの場合に使用することができる。

この解決法に伴う問題は、これが、比較的静的なシーンの場合だけに機能することであり、この構成については、前もって知られている。この解決法はまた、手動のキャリブレーション・ステップを必要としており、この手動のキャリブレーション・ステップは、簡単な展開可能性を必要とするこれらの状況での欠点がある。別の欠点は、その内容にかかわらず、投影された仮想内容のスクリーン・エリアに対応する取り込まれた画像のうちのエリアが、フィルタで取り除かれることになることに関連している。これは、より古いタイプのスクリーンの場合に適切であることもあるが、それは、例えば、話している人のカット・アウト・ビデオ（ｃｕｔ−ｏｕｔ ｖｉｄｅｏ）の表示の場合に、表示される必要がある何かが存在するときに、ある種のエリアにおいて不透明になるだけの、例えば、半透明のスクリーンなど、より新しいスクリーン技術の場合には、もはや適切ではない可能性がある。この場合には、ある種のカメラについて「仮想的」であるとして割り付けられるエリアは、時間のすべてのインスタンスにおいて、そのようではない。移動するカメラは、この解決法を使用してサポートすることが、さらに難しい。

ｈｔｔｐ：／／ｈａｌ．ａｒｃｈｉｖｅｓ−ｏｕｖｅｒｔｅｓ．ｆｒ／ｄｏｃｓ／００／１７／４７／３９／ＰＤＦ／ＲＲ−６３０３．ｐｄｆ

本発明の実施形態の一目的は、したがって、実際の視覚情報と仮想視覚情報とを含む視覚シーンの連続画像のシーケンスのうちの少なくとも２つの画像の内部の前記仮想視覚情報を識別するための方法であるが、先行技術の方法の固有の欠点を提示しない方法を提供することである。

本発明の実施形態によれば、この目的は、
前記少なくとも２つの画像のうちの少なくとも１つに対して特徴検出を実行するステップと、
前記少なくとも２つの画像の間の検出された特徴の動きを決定するステップであって、それによって動きの組を取得する、決定するステップと、
前記組のうちのどの動きが、実質的に垂直の平面の中の動きに関連するかを識別するステップであって、それによって垂直の動きの組を識別する、識別するステップと、
仮想視覚情報を識別するなどのために、前記垂直の動きに関連する特徴を前記少なくとも２つの画像の中の前記仮想視覚情報に関係づけるステップと
を含む方法によって達成される。

このようにして、垂直の平面の中の特徴の動きの検出を使用して、これらの特徴に関連する画像部分の仮想内容を識別する。これらの特徴は、人間、テーブル、壁、スクリーン、椅子など、認識された被写体、または口、耳、目、．．．などそれらの部分とすることができる。これらの特徴は、コーナー、境界線、勾配、またはよく知られているスケールが不変の特徴変換アルゴリズムなどのアルゴリズムによって提供される特徴など、より複雑な特徴とすることもできる。

会議室の内部の仮想スクリーン情報が、例えば、話すことにより、書くことにより、彼らの頭を回転させることなどにより、通常いくつかの動きを示す、会議の出席者の画像を一般に含むことになるので、またスクリーンの位置が、実質的に垂直であると考えることができるので、以下で垂直の動きとして示される、垂直の平面の中にある動きの検出は、実際の、それゆえに、投影されていない人々の実際の動きが一般に３次元の動きであり、したがって垂直の平面の中にはないので、画像の上の仮想視覚内容を識別する簡単なやり方とすることができる。このようにして識別された仮想視覚情報は、次いで、さらに、次の画像またはビデオの処理ステップにおいて、画像からフィルタで取り除かれることもある。

本方法の一実施形態においては、垂直の動きは、前記特徴に関連する、動きの第２の組の動きに対してホモグラフィによって関係づけられる動きの前記組の動きとして識別され、動きの前記第２の組は、画像の第２のシーケンスからの少なくとも２つの他の画像から取得され、また画像の前記第１のシーケンスのうちの前記少なくとも２つの画像と同じタイミング・インスタンスに関連している。

動きの２つの組の間のホモグラフィを決定することは、どちらかといえば直接的で簡単なオペレーションであるので、これらの実施形態は、垂直の平面の中の動きの簡単な検出を可能にしている。これらの動きは、一般に、垂直のスクリーンの上に投影された動きに対応しており、これらの動きは、それゆえに、仮想視覚情報の動きを表すものである。

動きの第１の組は、第１のビデオ・シーケンスの上で決定されるが、動きの第２の組は、第２のカメラによって取り込まれる同じシーンの画像の第２のシーケンスから決定されるか、または、代わりに仮想情報を含むだけの所定のシーケンスから決定されるかのいずれかである。この所定のシーケンスは、例えば、スクリーンの上に投影されるべきシーケンスに対応していることもあり、また別個のビデオまたはＴＶのチャネルを用いて構成に対して供給されることもある。

第２のシーケンスの動きと第１のシーケンスの動きを比較すること、およびどの動きが、ホモグラフィの観点から関係づけられるかを識別することにより、第２のシーケンスのうちのいくつかの動きとのホモグラフィの関係を有するこれらの動きが、これがホモグラフィの関係の特性であるので、それゆえに、平面の中の動きであることを推論することができる。平面の中の他の動きが、存在しない、例えば、すべての人が、まだ依然としてテーブルの周囲に着席していながら、ただ移動していることが、シーン情報から知られる場合、検出された動きが、スクリーンの上での動きに対応するこれらの動きであり、したがって、平面の中の他の動きが存在しないことになるように、垂直の平面の中にある動きに対応していることが、結論づけられる可能性がある。

しかしながら、万一人々が、会議室の周囲でもまた移動している場合には、動きは、床という水平面の上で検出されることもある。これらの状況では、水平な動きをフィルタで取り除く余分なフィルタリング・ステップ、または代わりに、平面の中で検出されるすべての動きから垂直の平面の中の動きだけを選択する余分な選択ステップが、適切であることもある。

ひとたび垂直な動きが見出された後に、これらの垂直な動きの対応する特徴に関連するそれぞれの画像部分は、次いで、仮想視覚情報として識別されることもある。

垂直状態は、水平の基準面に対して決定されるべきであり、この水平の基準面は、例えば、会議室の床に対応することもあり、または第１のカメラの水平の基準面に対応することもあることに、注意すべきである。この基準水平面に関して一般的に９０度である垂直な角度に対する許容範囲は、一般的に、これらの９０度に対して１０度上および１０度下である。

本発明は、本方法の実施形態を実行するための一構成の実施形態にも同様に関連しており、また本方法を実行するためのコードを組み込んでいるコンピュータ・プログラム製品にも同様に関連しており、そのような構成を組み込むための画像分析器にも同様に関連している。

特許請求の範囲において使用される用語「結合される」は、直接的な接続だけに限定されるように解釈されるべきではないことに注意すべきである。したがって、表現「デバイスＢに結合されたデバイスＡ」の範囲は、デバイスＡの出力が、デバイスＢの入力に直接に接続されるデバイスまたはシステムだけに限定されるべきではない。それは、他のデバイスまたは手段を含む経路とすることができる、Ａの出力と、Ｂの入力との間の経路が存在することを意味している。

特許請求の範囲において使用される用語「備える（含む）」は、その後にリストアップされる手段だけに限定されるように解釈されるべきではないことに注意すべきである。したがって、表現「手段ＡおよびＢを備えるデバイス」の範囲は、コンポーネントＡとＢとだけから構成されるデバイスだけに限定されるべきではない。それは、本発明に関して、デバイスの単に関連のあるコンポーネントが、ＡおよびＢであることを意味している。

本発明の上記および他の目的および特徴は、添付図面と併せて解釈される実施形態の以下の説明を参照することにより、より明らかになり、また本発明は、それ自体、添付図面と併せて解釈される実施形態の以下の説明を参照することにより、最も良く理解されるであろう。

本方法の第１の変形の高レベルの概略的実施形態を示す図である。 図１のモジュール２００のより詳細な実装形態を示す図である。 図１のモジュール２００のより詳細な実装形態を示す図である。 本方法の他の変形のより詳細な実装形態を示す図である。 本方法の他の変形のより詳細な実装形態を示す図である。 本方法の他の変形のより詳細な実装形態を示す図である。 本方法の他の変形のより詳細な実装形態を示す図である。

本説明および図面は、単に本発明の原理を示すものにすぎない。したがって、当業者なら、本明細書において明示的に説明されても、または示されてもいないが、本発明の原理を実施し、またその精神および範囲の内部に含まれる様々な構成を工夫することができるようになることが、理解されるであろう。さらに、本明細書において列挙されるすべての例は、主として、当技術を推進することに本発明者（単数または複数）によって寄与される本発明の原理、および概念を理解するに際して読者を助ける教育上の目的のためにすぎないように明示的に意図されており、またそのような具体的に列挙された例および状態に対する限定のないものとして解釈されるべきである。さらに、本発明の原理、態様、および実施形態、ならびにその特定の例を列挙する本明細書におけるすべての記述は、その同等形態を包含するよう意図されている。

本明細書における任意のブロック図は、本発明の原理を実施する実例となる回路の概念図を表すことが、当業者によって理解されるべきである。同様に、任意のフロー・チャート、流れ図、状態遷移図、擬似コードなどは、そのようなコンピュータまたはプロセッサが明示的に示されているか否かにかかわらず、コンピュータ読取り可能媒体の形で実質的に表され、またコンピュータまたはプロセッサによってそのように実行され得る様々なプロセスを表すことが、理解されるであろう。

図１は、本方法の第１の実施形態の高レベルの概略スキームを示すものである。画像のシーケンスからの２つの画像Ｉ０ｔ０とＩ０ｔｉの上で、動きの特徴が、抽出される。画像のシーケンスは、ソース０と示される、１つのソースによって、例えば、スタンドアロンの、または組み込まれたビデオ・カメラ、ウェブカメラ、．．．によって提供され、または記録される。それぞれの画像は、時間の２つのインスタンスにおける、１００および１０１と示されるステップにおいて、このシーケンスから取り込まれ、または選択されており、これらのタイミング・インスタンスは、ｔ０およびｔｉと示されている。時間の両方のインスタンスは、意味のある動きを検出するために、互いに十分に引き離される。これは、人間の動きを含むことができるが、また例えば、会議室における他の項目の他の動きも含むことができる。典型的な値は、０．１秒と２秒との間にある。

動き特徴抽出は、ステップ２００において行われ、これらの動きの特徴は、動きベクトル自体など、特徴の動きに関係づけることができ、または代わりに、単一の特徴に関連するこれらの動きベクトルの集約された始点および終点に関係づけることもでき、それゆえに動き自体に関連した特徴にもっと関連している。特徴のこれらの動きを決定するための方法は、図２を参照して説明される。

ひとたび特徴のこれらの動きが、決定された後に、これらが垂直の動きに、この文書においては、それゆえに垂直の平面の中の動きを意味しているものに、関連するかどうかが、ステップ３００においてチェックされることになる。垂直の平面は、ある種の許容範囲で、水平基準面に対するものとして定義される。この水平基準面は、例えば、会議室の床に対応することもあり、または画像の第１のシーケンスを提供するカメラまたはソースの水平基準面に対応することもある。典型的な値は、この基準水平面に対して８０から１００である。垂直の動きのこの決定がどのように行われるかについては、例えば、図３を参照して説明されることになる。識別されることになる仮想情報が通常垂直のスクリーンに投影されるような人間または彼らのアバターの画像に関連していることに垂直の動きが関連しているので、垂直の動きが探索される。したがって、垂直な動きを検出することにより、部屋の中の人々の投影された画像／表現を識別することができるようになり、この投影された画像／表現は、次いで仮想情報として識別されることになる。

特徴の動きが、垂直の平面の中にあるかどうかを決定するための方法は、図３〜４を参照して説明されることになる。

ひとたび垂直の平面の中の特徴の動きが決定された後には、これらの特徴は、識別され、またソースの取り込まれた画像のそれらのそれぞれの画像部分に逆に関係づけられることになる。これは、ステップ４００および５００において行われる。次いで、これらの画像部分は、必要な場合には、フィルタで取り除くことができる仮想情報であるものとして、それに応じて識別され、またはマーク付けされることになる。

図２ａ〜ｂは、特徴の動きを抽出するためのより詳細な実装形態を示すものである。第１の段階２０１および２０２においては、特徴が、２つの画像Ｉ０ｔ０およびＩ０ｔｉの上で検出され、また抽出される。特徴は、被写体に関係づけることができるが、コーナーや、境界線、勾配など、より抽象的な項目にも関係づけることができ、またはシフト（Ｓｉｆｔ）アルゴリズムによって省略される、スケールが不変の特徴変換などのアルゴリズムによって提供される特徴など、より複雑な特徴にも関係づけることができる。特徴抽出は、キャニー・エッジ・コーナー検出器（ｃａｎｎｙ ｅｄｇｅ ｃｏｒｎｅｒ ｄｅｔｅｃｔｏｒ）やこの前述のシフト方法など、標準的な方法を使用して行われることもある。両方の画像Ｉ０ｔ０とＩ０ｔｉとは、同じシーンを記録する単一のソースによって提供される同じシーケンスに由来するので、両方の画像の中の類似した特徴、またはマッチした特徴を識別することにより、動きを検出することが可能である。しかしながら、（これらの図の上には示されていないが）ピクセルの間で、またはマクロブロックの間で動きベクトルを決定するための従来のブロック・マッチング技法により、それらの画像のうちの１つの画像の上の特徴だけを検出することも可能であり、また次いでこの画像の検出された特徴に属するすべてのピクセルについての動きベクトルを決定する伝統的な方法によってこれらの特徴の動きを決定することも可能である。

図２ａ〜ｂに示される実施形態においては、特徴抽出は、それゆえに、両方の画像、およびマッチした特徴の間の変位について実行され、次いでマッチされた特徴の間の動き、または動きベクトルを提供する。これは、特徴ごとに単一の動きベクトル、例えば、マッチした被写体の重心の変位とすることができ、または代わりに、被写体を形成するピクセルの変位を識別するための動きベクトルのグループとすることができる。これは、また代替的な方法についての場合とすることもでき、そこではただ１つの特徴抽出が、１つの画像について実行され、またこの特徴を形成するすべてのピクセルの変位が、計算される。この場合にもまた、特徴の動きベクトルを表すための１つの単一動きベクトルが、このグループから選択されることもある。

図２ａ〜ｂの上で、１つの画像と、他の画像との間の特徴の動きの特徴マッチングおよび対応する決定が、ステップ２０３において実行され、このようにしてマッチされた特徴ごとに１つまたは複数の動きベクトルをもたらす。この結果は、図２ａ〜ｂにおける動きベクトルとして示される。意味のある動きを選択するためだけに、オプションとしてのフィルタリング・ステップ２０４が、存在することができる。これは、例えば、ノイズに起因するある小さな動きをフィルタで取り除くために使用することもできる。このフィルタリング・ステップは、通常、ある種のしきい値より下にあるすべての検出された動きを取り除くことによって行われ、このしきい値は、一般に、カメラ特性に関係づけられる。

このオプションとしてのフィルタリング・ステップの結果は、意味のある動きを表すことができる動きベクトルであり、それゆえに、ある種のノイズしきい値よりも上にある。これらの動きベクトルは、図２ａにおける場合のように、または図２ｂにおけるような代替的一実施形態におけるように、などのように提供されることもあり、特徴ごとに、動きベクトルの始点および終点を集約することが適切であるとすることができる。

次の段階においては、このようにして検出された特徴の動き、または代わりに特徴の動きに関連した特徴は、次いで、それらが垂直の平面の中の動きに関連するかどうかを決定するためのチェックを受けることになる。

図３は、特徴のこれらの動きが、垂直の平面の中にあるかどうかを決定するための好ましい一実施形態を示すものである。図３の実施形態において、これは、ホモグラフィの関係が、特徴の識別された動きと、これらの同じ特徴の動きの第２の組との間に存在するかどうかを識別することにより行われる。動きのこの第２の組は、第２のカメラまたはソースによって記録される、同じシーンの画像の第２のシーケンスから、類似したやり方で、決定することができる。この実施形態は、図３に示され、そこでは、この第２のソースは、ソース１と示され、またその第２のソースから選択される画像は、Ｉ１ｔ０およびＩ１ｔｉと示される。画像Ｉ０ｔ０およびＩ１ｔ０は、ｔ０と示される時間の同じインスタンスにおいて取り込まれるべきである。同じことが、画像Ｉ０ｔｉおよびＩ１ｔｉに当てはまり、タイミング・インスタンスは、ここでは、ｔｉと示されている。

代わりに、この第２のシーケンスは、例えば、構成するアプリケーションから、外部から提供することもでき、この構成するアプリケーションは、垂直のスクリーンの上で投影されるための仮想シーケンスを生成するようになっている。この構成するアプリケーションは、スクリーンの上で表示されるべき内容を提供するソースとしてその構成に提供されることもあり、またそれゆえに仮想情報を、例えば、１つの大きな会議室において一緒に会議をしているすべての人々の仮想的視覚シーンを含むだけである。仮想情報を含むだけのこのシーケンスから、再び、インスタンスｔ０およびｔｉにおいて画像が取り込まれることになり、そのすぐ後に、特徴抽出オペレーションと、特徴動き決定オペレーションとが、実行される。特徴の動きの両方の識別された組は、次いで、ホモグラフィの関係が、両方の組のいくつかの動きの間に存在するかどうかを決定するステップに対して提示される。ホモグラフィの関係の存在は、同じ平面に属することを示すものである。この点において、それぞれの各組がそれぞれの平面に関連づけられる、動きのいくつかの組が、得られることになる。図３は、すなわち、ランダム・サンプル・コンセンサス（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）の省略形であるよく知られているＲＡＮＳＡＣアルゴリズムを使用して、どのようにして、そのようなホモグラフィの関係を得ることができるかについての一例を示すものである。しかしながら、全数検索などの代替的方法を使用することもできる。

このステップの結果は、それゆえに、各組が、一平面の中の動きに関連する、動きの１つまたは複数の組である。これは、別の平面の中の動きも期待されることになるこれらの状況については特に、オプションとしてのフィルタリング・ステップ、または垂直の平面に関連する動きのこれらの組を選択するだけの選択ステップによって追随されることもある。これは、例えば、部屋の中を歩いている人々についての場合とすることができ、これは、水平の床の上の動きを作り出すことにもなる。

いくつかの実施形態においては、水平に位置付けられることが仮定されることもあり、それゆえに基準水平面を表しているカメラに対する平面の方向性は、当業者に知られており、また例えば、ｈｔｔｐ：／／ｈａｌ．ａｒｃｈｉｖｅｓ−ｏｕｖｅｒｔｅｓ．ｆｒ／ｄｏｃｓ／００／１７／４７／３９／ＰＤＦ／ＲＲ−６３０３．ｐｄｆに開示されるホモグラフィの分解方法を用いてホモグラフィから計算することができる。これらの技法は、次いで、一平面の中のすべての動きのグループから垂直の動きを選択するために使用することができる。

垂直の動きの決定のすぐ後に、それらが関連している特徴は、再び決定され、画像Ｉ０ｔ０およびＩ０ｔｉの中のそれぞれの部分に対するそれらのマッピングによって追随され、これらの画像の部分は、次いで、仮想情報に関連するものとして識別されることになる。

同じシーンを記録する第２のカメラまたはソースを使用した実施形態の場合には、識別された垂直の動きは、画像Ｉ１ｔ０およびＩ１ｔｉの中の特徴および画像部分に対して逆に関係づけられる可能性もある。

図４は、図３と類似している実施形態を示しているが、以前のインスタンスとの集約の余分のステップを含んでいる。この集約のステップは、時間の以前のインスタンスにおいて決定される特徴を使用しており、これは、ホモグラフィの決定中に助けになり得る。

図５は、別の実施形態を示しているが、そこでは、両方のソースの、時間のいくつかのインスタンス、例えば、ビデオ・シーケンスのいくつかのフレームは、マッチした特徴を見出すために追跡される。個々の特徴の個々の動きを追跡することからもたらされる複合動きベクトルは、次いで両方のシーケンスをもたらすであろう。次いで、ホモグラフィの関係は、複合経路に沿って移動する特徴について探索されることになる。これは、同じ動きの経路の内部の特徴が、同じホモグラフィの中にあるべきであるという知識を有するという利点を有する。これは、問題の自由度を低減させ、ホモグラフィによって関係づけられる特徴のより簡単な解決を容易にしている。

図６は、動きの経路に沿って特徴を追跡することにより、どのようにして、そのような構成された動きベクトルが使用され得るかについての一例を示すものである。これにより、例えば、あまりにも小さすぎる動きについての中間のフィルタリング・オペレーションを実行することができるようになる。

本発明の原理は、特定の装置に関連して上記で説明されてきているが、この説明は、例としてだけ、行われるものであり、また添付の特許請求の範囲において定義されるようには、本発明の範囲についての限定として行われるものではないことが、明確に理解されるべきである。

Claims (15)

1. 実際の視覚情報と仮想視覚情報とを含む視覚シーンの連続画像の第１のシーケンスから少なくとも２つの画像の中の前記仮想視覚情報を識別する方法であって、
   前記少なくとも２つの画像のうちの少なくとも１つに対して特徴検出を実行するステップと、
   前記少なくとも２つの画像の間の前記検出された特徴の動きを決定するステップであって、それによって動きの組を取得する、決定するステップと、
   前記組のうちのどの動きが、実質的に垂直の平面の中の動きに関連するかを識別するステップであって、それによって垂直の動きの組を取得する、識別するステップと、
   前記仮想視覚情報を識別するなどのために、前記垂直の動きに関連する特徴を前記少なくとも２つの画像の中の前記仮想視覚情報に関係づけるステップとを含む、方法。
2. 垂直の動きは、前記特徴に関連する動きの第２の組のうちの動きにホモグラフィによって関係づけられる動きの前記組の動きとして識別され、動きの前記第２の組は、画像の第２のシーケンスからの少なくとも２つの他の画像から取得されており、また画像の前記第１のシーケンスの前記少なくとも２つの画像と同じタイミング・インスタンスに関連している、請求項１に記載の方法。
3. 画像の前記第２のシーケンスは、前記同じ視覚シーンを記録する第２のカメラによって提供される、請求項２に記載の方法。
4. 画像の前記第２のシーケンスの前記少なくとも２つの画像は、前記仮想情報だけを含む、請求項２に記載の方法。
5. 垂直の平面内のホモグラフィによって関係づけられる動きを選択するステップをさらに含む、請求項２に記載の方法。
6. 前記特徴の動きの決定を可能にするなどのために、互いからの時間の分離に基づいて前記第１のシーケンスから前記少なくとも２つの画像を選択するステップをさらに含む、請求項１に記載の方法。
7. 前記実質的に垂直の平面は、前記シーンの水平基準面に対して８０度と１００度との間の傾斜角を有する、請求項１に記載の方法。
8. 実際の視覚情報と仮想視覚情報とを含む視覚シーンの連続画像の第１のシーケンスから少なくとも２つの画像の中の前記仮想視覚情報を識別する構成であって、連続画像の前記第１のシーケンスを受信するように適合され、さらに、
   前記少なくとも２つの画像のうちの少なくとも１つに対して特徴検出を実行するように適合され、
   前記少なくとも２つの画像の間の前記検出された特徴の動きを決定し、それによって動きの組を取得するように適合され、
   前記組のうちのどの動きが、実質的に垂直の平面の中の動きに関連するかを識別し、それによって垂直の動きの組を取得するように適合され、
   前記仮想視覚情報を識別するなどのために、前記垂直の動きに関連する特徴を前記少なくとも２つの画像の中の前記仮想視覚情報に関係づけるように適合されている、装置。
9. 前記装置は、前記特徴に関連する動きの第２の組のうちの動きにホモグラフィによって関係づけられる前記組の動きとして垂直の動きを識別するようにさらに適合され、前記装置に対して提供される第２のシーケンスからの少なくとも２つの他の画像から動きの前記第２の組を取得するようにさらに適合されて、前記第１のシーケンスの前記少なくとも２つの画像と同じタイミング・インスタンスに関連する、請求項８に記載の装置。
10. 画像の前記第１のシーケンスを前記装置に対して提供する第１のカメラと同じ前記視覚シーンを同時に記録する第２のカメラから画像の前記第２のシーケンスを受信するようにさらに適合されている、請求項９に記載の装置。
11. 前記装置が前記仮想情報を提供するだけのように登録されたビデオ・ソースから、画像の前記第２のシーケンスを前記装置が受信するように適合されるように、画像の前記第２のシーケンスが前記仮想情報のみを含む、請求項９に記載の装置。
12. 垂直の平面内のホモグラフィによって関係づけられる動きを選択するようにさらに適合されている、請求項９に記載の装置。
13. 前記特徴の動きの決定を可能にするなどのために、前記少なくとも２つの画像が、互いに時間において分離されるように、前記第１のシーケンスから前記少なくとも２つの画像を選択するようにさらに適合されている、請求項８に記載の装置。
14. 前記実質的に垂直の平面は、前記シーンの水平基準面に対して８０度と１００度との間の傾斜角を有している、請求項８に記載の装置。
15. データ処理装置の上で実行されるときに、請求項１乃至７のいずれか１項において提示されるようなステップのうちのどれかを実行するように適合されるソフトウェアを備えるコンピュータ・プログラム。

Images