JP5133418B2 - 現実環境内にバーチャルオブジェクトを描写する方法および装置 - Google Patents

Description

この発明は、現実環境内にバーチャルオブジェクトを描写する方法および装置に関し、特に、記録装置が生成する現実環境の画像内にバーチャルオブジェクトを合成する方法および装置に関する。

上記のような方法および装置は、特に、いわゆる拡張リアリティシステムに関連して、従来技術において公知である。これは、コンピュータで生成したバーチャル情報を、現実環境のビジュアルな印象つまり画像と重ね合わせることができるものである。このようなバーチャル情報もしくはバーチャルオブジェクトの挿入は、脈絡に沿った形で、かつ正しい遠近感でもって、つまり視認されている現実環境から導き出されかつこれに適合したものとして、行うことができる。バーチャル情報は、基本的に、オブジェクト、テキスト、画像、等のいかなる形式のデータであってもよい。現実環境は、例えばユーザの頭部に装着されるカメラによって取り込むことができる。さらに、特に、モデルもしくは仕様に沿って製造された現実のものの正確性をチェックする目的でもって、バーチャルモデルを現実のものと重ね合わせることが知られている。この技術の用途の範囲としては、例えば工場でのプランニング（ＤＥ１０１２８０１５Ａ１、ＤＥ１０２００４０４６Ａ１）や自動車の設計（ＤＥ２０２０３３６７）がある。

さらに、ＤＥ１０３０１８４９Ｂ４に記載されているように、製品の表現のための拡張リアリティシステムが従来技術から公知である。ここには、家具を使用環境内で描写する方法が記載されているが、この方法では、使用環境内に基準ジオメトリ（基準幾何形状）が設けられ、この基準ジオメトリを含む使用環境が静止画像記録装置の手段によって光学的に記録されて、記録画像データの形で保存され、基準ジオメトリに対する静止画像記録装置の位置が画像処理によって把握され、バーチャルに存在する家具の画像データと記録した画像データとが正しい遠近感でもって互いに結合される。そして、正しい遠近感でもって挿入された家具とともに使用環境がユーザに表示される。この記載されたシステムおよび方法の利点は、特に、使用環境と組み合わせた製品の感じ方が得られることである。これにより、種々の製品の使用目的についての適性を、直感的に評価できるようになる。さらに、使用する場所における製品の幾何学的な適性を極めて容易に把握することができる。さらに、使用目的に対する製品の適性、例えば家具類の適性を、先に配送することなく、判定することが可能となる。ユーザは、製品と他のオブジェクトとの干渉を、素早く発見することができる。

製品と他のオブジェクトとの干渉は、しばしば、その隠れた状態が、実際のように、つまり実際に忠実な形では描写されない、という問題を生じる。例えば、正しい遠近感の描写では必要とされるのにバーチャルオブジェクトがリアルオブジェクトによって隠されることができない干渉の例では、バーチャルオブジェクトは常に最前面に描かれ、リアルオブジェクトを覆ってしまう。これはむしろ非現実的な描写となる。さらに、例えば既存の家具を新しい家具と置き換える場合など、特定のリアルオブジェクト（「スプリアス・オブジェクト」）を取り除くことが好ましいこともある。

ＤＥ１０２００５０１１１２６Ａ１によれば、現実のモデルを含む方法が公知であり、ここでは、現実環境に対するバーチャルオブジェクトの位置に依存して、現実環境およびバーチャルオブジェクトが相互に隠されるようにしている。研究プロジェクトＡＲＩＳもまた拡張リアリティを扱っていた。遮蔽の問題（「オクルージョン（咬合）」として知られる）は、既にここで挙げられていた。ユーザは、自身の環境を「スキャン」する。オクルージョンならびにオブジェクトの干渉に対し、照明条件、部屋の再現（いかに行うかは記載なし）および用途が考慮される。カメラの校正が消失点を介してなされ、ユーザは、彼の環境の画像からオブジェクトを除去することが可能である。

『Lepetit, V., Berger, M.-O., Handling occlusion in augmented reality systems: a semi-automatic method. In Augmented Reality, 2000. (ISAR 2000). Proceedings. IEEE and ACM International Symposium on Augmented Reality. Publication date: 2000, pages 137-146, Meeting date: 10/05/2000 - 10/06/2000, ISBN: 0-7695-0846-4』この文献においては、オブジェクトのオクルージョンは手動で初期化する必要がある。自動的な情報の受理は、カメラポーズの微小変化についてのみ可能である。手動での初期化は、下記の方法でも必要である。『「Resolving occlusion in image sequence made easy」Kiem Ching Ong, Hung Chuan Teh, Tiow Seng Tan. 「The Visual Computer 」(1998) 14:153± 165, Springer-Verlag 1998』。

『「Handling Occlusions in Real-time Augmented Reality: Dealing with Movable Real and Virtual Objects」Pierre-Alexandre Fortin and Patrick Hebert. In Proceedings of the 3rd Canadian Conference on Computer and Robot Vision (CRV'06) 0-7695-2542-3/06 2006 IEEE』。この文献においては、オクルージョンの問題は、非常に制御されかつ制限された基礎的条件の中で解決される。ここでは、２つのアプローチが比較されている。一つのアプローチは、スプリアス・オブジェクトをラベル付けする必要がある光学的マーキングに拘束された３Ｄ初期化ジオメトリによって働く。そして、この初期化ジオメトリは背景減算アルゴリズムと組み合わされる。しかしながら、背景は一様である必要があり、また、ビジュアル化カメラは動いてはならない。オブジェクトの自動的なリアルな描写には、この方法は不適当である。第２のアプローチは、ステレオカメラシステムからの深度（奥行）情報を用い、これをオクルージョンに直接的に適用する。しかしながら、ノイズや深度カメラを用いることによる周知の問題によって、このアプローチは、定性的に不十分なものとなる。

スプリアス・オブジェクトの除去に関しては、セグメントを用いる従来技術もまた知られている。下記の文献の主たる着目点は、テクスチャ（質感）の情報を生成するアプローチである。しかしながら、置き換えセグメントの識別は、スプリアス・オブジェクトに一般的に適用できるものではなく、画像処理アルゴリズムによって容易に認識されかつカメラポーズの生成に役立つマーキングを除去できるに過ぎない。（Siltanen, Sanni「Texture Generation over the Marker Area」IEEE/ACM International Symposium on Mixed and Augmented Reality, 2006. ISMAR 2006. Publication date: Oct. 2006, pages: 253-254, Place: Santa Barbara, CA, USA, ISBN: 1-4244-0651-X）。

本発明の目的は、現実環境内にバーチャルオブジェクトを描写する方法および装置を提供し、現実環境と合成した際にバーチャルオブジェクトとリアルオブジェクトとの間で生じる干渉を、現実に近い形で描写できるようにすることである。

本発明は、請求項１の特徴を有する方法および請求項３７，３８の特徴を有する装置に関する。さらに、本発明は、請求項３９のコンピュータプログラム製品に関する。

本発明の用途の例としては、例えば、自動車の内装デザインのプランニング、工場でのプランニング、製品開発におけるプロトタイプの製造や試作の製造、などの拡張リアリティの用途を含む。特に、合成時に干渉が生じる場合であっても、バーチャルオブジェクトを現実環境に現実に近い形で合成することができる。

本発明のシステムおよび方法の可能性のある用途としては、特に、販売やサービスおよび保守管理の分野における拡張リアリティ技術の応用、製造への応用、一般的なモバイル機器への応用、を含む。さらに、使用箇所に対する製品の幾何学的な適性の把握が非常に容易となる。

特に、本発明の一つの態様は、現実環境内にバーチャルオブジェクトを描写する方法に関し、記録装置によって現実環境の少なくとも１つあるいは複数の２次元画像を生成するステップと、現実環境の少なくとも１つの構成要素に対する上記記録装置の位置を把握するステップと、３Ｄ画像情報ないし空間的情報を生成するステップと、現実環境の少なくとも１つのセグメントを現実環境の残りの部分から区別して識別するように、対応するセグメント化データを供給しつつ、非マニュアル式に生成された３Ｄ情報に基づいて、上記２次元画像における現実環境の少なくとも１つの領域をセグメント化するステップと、上記セグメント化データを考慮して、バーチャルオブジェクトを、現実環境の２次元画像と、あるいは光学的半透明要素手段によって現実と直接に、合成するステップと、を備える。

特に、本発明はまた現実環境内にバーチャルオブジェクトを描写する方法に関し、この方法では、バーチャルオブジェクトは現実環境の２次元画像の上に重ね合わせるのではなく、光学的半透明要素手段によって現実の上に直接に重ね合わされ、この際に、２次元画像からのセグメント化データが考慮される。

従って、本発明の一つの基本的な着想は、スプリアス・オブジェクトを通した遮蔽（オクルージョン）および該スプリアス・オブジェクトの除去のために、センサの指標（例えば、レーダーないしカメラに基づく３Ｄ再構築データ）を２Ｄセグメント化方法と組み合わせることである。

上述したように、オクルージョンの問題をセグメント手段によって部分的に解決するようにした従来技術の文献が知られている。しかしながら、これまで公知の方法では、オクルージョン・オブジェクトを囲むセグメントをマニュアル操作で識別しかつマーキングする必要があった。本発明のアプローチでは、これが自動的に解決され、あるいは、マニュアル式のステップが、改良された対話方式の簡単なやり方で実現される。

上述した刊行物のいくつかは、拡張リアリティ設定において、特徴部を用いること、およびセグメント化法を用いること、を記述している。しかしながら、本発明においては、２Ｄセグメント化法が、３Ｄ特徴部情報ないし空間的情報に基づいて、初期化される。この事実によって、本発明が新規であることは明らかであり、広範囲な用途に亘り、初めて現実感を可能なものとしている。

本発明は、画像セグメントの利用により、遮蔽（オクルージョン）およびスプリアス・オブジェクトの除去という問題を解決する。部屋のプランニングについては、一つずつのステップは全て基本的にマニュアル（手動）で、あるいは、自動化したコンピュータ支援の方法（いわゆる「ウィザード」）を用いて実行することができる。ウィザードは、情報を自動的に抽出することを試み、ユーザは、その結果を確認するか、あるいはさらなる情報を指定することでその結果を改善することができる。例えば、ウィザードはスプリアス・オブジェクトを認識し、その輪郭にマーク付けすることができる。ユーザは、任意選択的に、その輪郭を改善することができる。

本発明は、部屋のプランニングに適用できるだけでなく、他の拡張リアリティ用途、例えば自動車の拡張リアリティ・ナビゲーションシステムにも適用することができる。さらに、本発明は、いわゆるビデオ・シースルー・システムだけではなく光学的シースルー・システムに対しても利用することが可能である。

特に、記録装置としてのカメラおよび表示装置としてのディスプレーから構成される、いわゆるビデオ・シースルー・システムでは、ユーザの眼の前にビデオスクリーンが位置し、その上に、現実とバーチャルとのビジュアルな印象が合成される。いわゆる光学的シースルーの場合は、ユーザの眼の前のいわゆる光学的ミキサーつまり半透明表示装置（例えばユーザの頭部に装着する半透明のデータゴーグル）で合成がなされ、現実世界は装置の透明性を通して見ることができ、バーチャル情報を表示装置上に投影することで重ね合わせが行われる。

本発明の一実施例においては、現実環境の二次元描写ないし視野とバーチャルオブジェクトとの合成は、セグメント化データを考慮して、バーチャルオブジェクトの少なくとも一部が現実環境のセグメントの少なくとも一部によって遮蔽されものとして描写されるように実行される。例えば１つあるいは複数の描写あるいは視点についてセグメントが生成された後に、これらは、遮蔽（オクルージョン）のために用いることができる。これは、原理的に、従来から公知の方法を用いて実現することができる。

特に、バーチャルオブジェクトおよび現実環境の正しい遠近感での描写においてバーチャルオブジェクトの前方に配置される現実環境のセグメントの少なくとも一部によって、バーチャルオブジェクトの少なくとも一部が遮蔽されたものとして描写される。この目的のために、バーチャルオブジェクトおよび現実環境の正しい遠近感での描写において、上記の現実環境の少なくとも１つのセグメントがバーチャルオブジェクトの前方に配置されているか背後に配置されているかの選択を、ユーザが行うことができる。しかしながら、バーチャルオブジェクトおよび現実環境の正しい遠近感での描写において、上記の現実環境の少なくとも１つのセグメントがバーチャルオブジェクトの前方に配置されているか背後に配置されているかを、記録装置によって得られた記録画像データからの３次元情報に基づいて、自動的に把握するようにすることもできる。

他の実施例においては、バーチャルオブジェクトと現実環境の２次元描写との合成が、セグメント化データを考慮して、現実環境のセグメントの少なくとも一部が現実環境の描写から除去されるように実行される。

可能性のある本実施例の用途の一つは、例えば空きスペースを必要とするバーチャルな家具を部屋に置くための現実の部屋の模様替えである。拡張リアリティ技術の利点は、オブジェクトを現実環境内で見ることであり、例えば、木製テーブルを既存の木製フロアの上で見たり、あるいは既存のキャビネットの前で見たりすることである。従って、純粋にバーチャルに作業するのではなく、物理的には別として、シーンからスプリアスなリアル家具類を除去するか、あるいは、これらを消去することなく、部屋内での各々の位置を変更することが役に立つ。

この目的のために、現実環境の少なくとも１つの領域が選択され、除去すべき現実環境の一部の遮蔽に対する情報が、ここから得られる。例えば、除去すべき現実環境の一部の遮蔽が、除去すべき部分の周囲のテクスチャ情報に基づいて実行される。適宜な情報源の選択のために、特に、用いるテクスチャ情報の選択のために既存のフロア平面もしくは既存の壁平面の形態でもって、３次元の深度（奥行）情報を考慮することも可能である。

本発明の一実施例においては、基準ジオメトリを含む現実環境が光学的に記録され、記録装置の位置が基準ジオメトリを利用して把握される。マーカーが基準ジオメトリとして機能し、これにより、記録された現実に対する記録装置の空間的位置が把握される。

本発明の有利な実施例では、現実環境が記録装置によって該記録装置の異なる複数位置から光学的に記録され、かつ、それぞれの記録が、対応する記録画像データセットに保存される。そして、この記録画像データセットの１つから得たセグメントデータが、記録画像データセットの他の１つにおいて、少なくとも部分的に、記録画像データセットに対応するそれぞれの視点でもって挿入されたバーチャルオブジェクトとともに現実環境を現すために、用いられる。ここで、複数の記録に亘ってセグメントの識別とセグメントの選択との双方を保持することができる。

セグメントの識別は、各々現実の構成要素が画像化された細分された画像領域を指定する。例えば、可能性のあるセグメントは、キャビネットや車両の前方が画像化された画像領域となる。セグメントの選択は、ユーザによって実行され、例えばそのセグメントを「消去」すべきことをシステムに知らせることとなる。

本発明の一実施例においては、バーチャルオブジェクトは、家具もしくは家具の一部であり、現実環境はその使用環境である。例えば、この方法は、コンピュータ支援のショッピング用プラットフォーム、特に家具、の拡張リアリティシステムにおいて実行される。これは、例えば、家具店のショッピング用プラットフォームである。

本発明の他の実施例においては、バーチャルオブジェクトは車両に基づくオブジェクトもしくは車両に基づくディスプレーであり、現実環境は車両環境である。例えば、この方法は、車両の拡張リアリティシステムにおいて実行される。

本発明の現実環境内にバーチャルオブジェクトを描写する装置は、現実環境の２次元描写を生成する記録装置と、記録された現実環境の少なくとも１つの構成要素に対する上記記録装置の位置を判定するデータ処理システムと、を備える。上記データ処理システム内では、現実環境の少なくとも１つのセグメントを現実環境の残りの部分から区別して識別するために、対応するセグメント化データを供給しつつ、上記描写における現実環境の少なくとも１つの領域をセグメント化するのに適した方法が実行される。表示装置が上記データ処理システムに接続されており、上記表示装置は、上記セグメント化データを考慮して、記録装置が生成した現実環境の描写をバーチャルオブジェクトと合成して表示する。

上記記録装置は、カメラ、レーダー装置、飛行時間型カメラ、あるいはステレオカメラ、から構成でき、あるいはこれらを含むものとすることができる。また、２Ｄカメラと飛行時間型カメラとを組み合わせることも可能である。特に、記録装置としてのカメラおよび表示装置としてのディスプレーから構成される、いわゆるビデオ・シースルー・システムでは、ユーザの眼の前にビデオスクリーンが位置し、その上に、現実とバーチャルとのビジュアルな印象が合成される。

他の実施例では、バーチャルオブジェクトを含む現実環境を描写するために、スクリーンに代えて、光学的シースルー・ディスプレー装置が用いられる。ここでは、ユーザの眼の前の半透明ディスプレー装置の形態をなすいわゆる光学的ミキサー（いわゆる光学的シースルー）を通して合成がなされる。

本発明は、また、本発明の方法に適したソフトウェアコード部分を有するコンピュータプログラム製品に関する。このコンピュータプログラム製品は、現実環境内にバーチャルオブジェクトを描写するシステム内に記憶されることで、記録装置の位置を把握し、理想的には１つあるいは複数の画像から３Ｄ画像データを生成し、現実環境の少なくとも１つの領域をセグメント化し、セグメント化データを考慮してバーチャルオブジェクトを現実環境と合成する。

本発明のさらなる実施例およびその改良が従属請求項に記載されている。

以下、本発明を図を参照してさらに詳細に説明する。

バーチャルオブジェクトと合成すべき現実環境の描写ないし視点を示す説明図であり、バーチャルオブジェクトの一部がリアルオブジェクトの背後に位置し、部分的に干渉している。 バーチャルオブジェクトと合成される現実空間のセグメント化のステップを示すためのシーンの一例を示す図。 バーチャルオブジェクトと合成される現実空間のセグメント化のステップを示すためのシーンの一例を示す図。 画像の特徴部に基づく３次元セグメント化の初期設定のステップを示す図。 バーチャルオブジェクトと合成される現実空間のマニュアルないし半マニュアルでのセグメント化のステップを示すためのシーンの一例を示す図。 現実空間のマニュアルないし半マニュアルでのセグメント化の他の実施例を示すシーンの一例の図。 現実空間のマニュアルないし半マニュアルでのセグメント化の他の実施例を示すシーンの一例の図。 現実空間のマニュアルないし半マニュアルでのセグメント化の他の実施例を示すシーンの一例の図。２Ｄセグメント化法のための初期情報として３Ｄ空間情報を利用することを示す。 現実空間のマニュアルないし半マニュアルでのセグメント化の他の実施例を示すシーンの一例の図。 本発明の方法の一実施例を示すフローチャート。 本発明の方法の一実施例を示すフローチャート。 本発明の装置の構成要素の説明図。 本発明の装置の構成要素の説明図。

特別な予防策のない拡張リアリティ技術のよく知られた問題は、バーチャルオブジェクトが現実の視点においては、個々のリアルオブジェクトにしばしば遮られる、ということである。これを、図１のシーン１を例にして明らかにすると、ここでは、バーチャルオブジェクトは家具であり、現実環境はその使用環境である。バーチャルオブジェクトは、ここではソファ３の形態として実施されており、このソファ３が、リアルオブジェクト、ここではテーブル２、の背部に置かれている。図１では、他のリアルオブジェクトとして、キャビネット５、フロア７、および該フロア７上のマーカーの形態をなす基準ジオメトリ４が示されている。

特に、図１および後続の図２〜図８のシーンをそれぞれ生成するために、現実の使用環境内にバーチャル家具を描写する方法が適用される。この例では、位置データを得るために基準ジオメトリが使用環境内で用いられる。しかしながら、基本的には、例えば使用する記録カメラの位置判定のために、マーカー無しトラッキングなどの他の公知の方法を適用することも可能である
図１の例で示されているように、基準ジオメトリ４を含む使用環境６は、図示しない記録装置（例えばカメラ）によって光学的に記録され、この記録は、記録画像データの形で保存される。基準ジオメトリ４に対する記録装置の位置は、公知の画像処理アルゴリズムによって把握され、これによって、バーチャルに存在する家具（ここではソファ３）の画像データと記録画像データとが、正しい遠近感でもって互いに組み合わせられる。そして、正しい遠近感でもって挿入されたソファ３とともに、その使用環境６がユーザに対し表示される。この記載したシステムおよび方法の利点は、特に、使用環境におけるリアルオブジェクトおよびバーチャルオブジェクトの組み合わせた感じ方が得られることである。これにより、種々の製品の使用目的についての適性を、直感的に評価できるようになる。さらに、使用する場所における製品の幾何学的な適性を極めて容易に把握することができる。さらに、使用目的に対する製品の適性、例えば家具類の適性を、先に配送することなく、判定することが可能となる。ユーザは、製品と他のオブジェクトとの干渉を、素早く発見することができる。

図１に見られるように、バーチャルソファ３の少なくとも一部は、シーン１の合成した視点ないし表示の中で、テーブル２によって隠れているように描写されるべきである。しかしながら、付加的な情報のない従来の拡張リアリティ技術では、バーチャルオブジェクトはその空間位置に拘わらず常に最前面に表示され、つまり、ソファ３が図１に示す位置にシフトしたときに、テーブル２の少なくとも一部がソファ３と咬合する。しかし、これは、リアルな見え方を損ない、合成した表現が現実に近いように見えるようにするためには、空間的にリアルオブジェクトの背部に配置されたバーチャルオブジェクトが、リアルオブジェクトによって隠れているように描写されるべきである。換言すれば、テーブル２は、バーチャルソファ３を置いたときにスプリアス・オブジェクトとみなすことができる。

ソファ３を置いたときの他の可能性は、部屋（使用環境６）の変更であり、例えば、テーブル２のない部屋でソファ３がどのようになるか見るため、あるいはソファ３とテーブル２が各々の位置で干渉する場合に空きスペースを作るための、部屋の変更である。このような拡張リアリティ技術の利点は、オブジェクトを現実環境内で見ることであり、例えば、バーチャルソファ３を既存の木製フロア７の上に置いて見たり、あるいは既存のキャビネット５の前に置いて見たりすることである。従って、その対策としては、純粋にバーチャルに作業するのではなく、物理的には別として、風景からスプリアスなリアル家具類を除去するか、あるいは、これらを消去することなく、部屋内での各々の位置を変更することである。

図１０および図１１は、それぞれ、ビデオ・シースルー装置および光学的シースルー装置を用いた本発明のシステムの一実施例を概略的に示している。

図１０および図１１に示す装置は、現実環境６の２次元画像を生成するための記録装置９２（例えばカメラ）を有するとともに、現実環境に対する記録装置９２の位置を判定するデータ処理システム９３を有する。図１０および図１１においては、リアルテーブル２とバーチャルソファ３とが、模式的に立方体形状でもって示してある。図１０ではスクリーン９４が、図１１では半透明型データ・ゴーグル９５が、表示装置としてデータ処理システム９３に接続されており、各々、ユーザ９１の目の前に、現実環境６と合成したバーチャルオブジェクト３を表示する。

表示装置としては、例えば自動車のウィンドシールド手段によるヘッドアップディスプレーとして、運転者の目の前に情報を表示することもできる。また、記録装置として、選択的に、レーダー装置、スキャナ、深度カメラ、あるいはこれらに類似したものを用いることもできる。

本発明の最終な目的は、画像セグメントを用いて、遮蔽（オクルージョン）およびスプリアス・オブジェクトの除去の問題を解決することである。部屋のプランニングについて、一つずつのステップは全て基本的にマニュアル（手動）で、あるいは、いわゆるウィザードを用いて実行することができる。ウィザードは、情報を自動的に抽出することを試み、ユーザは、その結果を確認するか、あるいはさらなる情報を指定することでその結果を改善することができる。例えば、ウィザードはスプリアス・オブジェクトを認識し、その輪郭にマーク付けすることができる。ユーザは、任意選択的に、その輪郭を改善することができる。

要約すると、本発明の基本的なアイデアは、描写した現実に対するセンサ位置についてのセンサ指標ないしセンサ・データ（例えばレーダーないしカメラに基づく３Ｄ再構築データ）を、スプリアス・オブジェクトを通したオクルージョンおよび該スプリアス・オブジェクトの除去のために、２Ｄセグメント化方法と組み合わせることである。

本発明は、部屋のプランニングに適用できるだけでなく、他の拡張リアリティ用途、例えば自動車の拡張リアリティ・ナビゲーションシステムにも適用することができる。さらに、本発明は、ビデオ・シースルー・システムだけではなく光学方式のものにおけるオクルージョンの問題に対しても利用することが可能である。

以下、図１〜８に例示したシーンないし描写に関連して、この発明の一実施例を、図９Ａおよび図９Ｂのフローチャートを参照して説明する。

［基本的条件］
本システムに適用可能な情報について以下に説明する。

焦点距離
焦点距離は、現実環境の記録に用いるカメラの内部カメラパラメータに関連する。焦点距離は、自己校正によって把握することができる。代替として、いわゆるEXIFデータあるいはカメラデータベースから得ることもできる。もしEXIFデータが不完全な場合、例えば焦点距離だけがmmで記述され、チップ寸法が記述されていない場合には、チップ寸法だけをデータベースから得ることもできる。代わりに、デジタルカメラの平均的焦点距離とみなしてもよい。あるいは代替として、消失点の情報から焦点距離を得ることもできる。この場合、ユーザは、現実の中に例えば２本の平行な直線をマーキングする。その消失点から焦点距離を演算することが可能である。マーキングした直線は、コンピュータ・ビジョン方法による画像中の実際の直線と高精度にマッチングしていなければならない。有利には、複数の画像が利用可能であるならば、複数の画像から焦点距離を演算することもできる。

歪曲
カメラ画像の歪曲は、理想的なケースでは指定されており、画像をデジタル的に修正することができ、あるいはその値を演算の度に考慮に入れることができる。Zhang あるいは Luhmannには、公知の修正値の例が記述されている。もし修正値が既知でない場合は、自動校正のアプローチを実行することができる。代替として、ユーザは、現実では直線であるが画像中では曲がっている画像エレメント（寄木模様、壁／フロアの境界、など）を、インタラクティブにパラメータを変更することによって「直線化」することができる。歪曲の修正のために、特に、ユーザによる直線についての情報、例えば部屋の境界や焦点距離決定のための直線、についての情報を用いることができる。

外部パラメータ
カメラの外部パラメータつまり空間内でのカメラの位置および方向を把握するために、異なる方法を適用することができる。

・マーカーのトラッキング（二乗法ないし学習テクスチャ）。

・スケールが既知の場合（天井高さなど）には、画像上での手動の「クリック」。

・複数の画像に亘り画像の特徴部およびその３Ｄ位置を学習（手動もしくは自動に）し、マーカーが見えない画像に用いる。

特徴部の学習の特殊なケースとしては、壁もしくはフロアの情報の使用あるいは３Ｄ特徴部位置の修正を行う。

バーチャルオブジェクトを表示するために光学的半透明型エレメントを用いる本発明の一実施例においては、カメラとバーチャルカメラとの間のオフセットつまり目と半透明型ディスプレイとの間の距離、が追加的に存在することが知られている。ここでは、上記のオフセットは非常に小さいものとみなされ、例えば、従来技術で公知の光学的シースルー校正法によって決定される。厳密な２Ｄセグメントの場合、従来技術で公知の近似法を用いてバーチャルカメラへと変換される。

理想的には、光学的シースルー・ディスプレーは、理想的には表示可能な画素毎に、外部からの光線を完全に不透過とするように切り換えることができる機構を付加的に備えている。

画像の予備処理
有利には、システムによって処理すべき画像データを、最初の段階で編集することができる。

フロア平面
殆どのケース（但し、全てのケースではない）では、ほぼ平坦なフロア平面が存在し、その上に、マーカー（もし用いる場合には）が平面的に置かれる、とみなすことができる。

[プロセスの説明]
図９のステップ１．０（１つあるいは多数の画像についてのカメラポーズの判定。例えばマーカーとコンピュータビジョン、あるいはマニュアル操作、あるいは外部センサ（例えば車両のセンサ）による。）：
最初のステップ１．０においては、各拡張リアリティシステムにおいて、記録装置（ここではカメラ）の空間内でのポーズが判定される。これは、部屋内に配置したマーキング手段（図１〜図８におけるマーカー４を参照）によって把握され、あるいは、外部センサ手段（例えばメカニカルトラッキング）によって、あるいはマーカー無しトラッキング法によって、あるいは単純なマニュアルプロセスによって、把握される。

ステップ１．５（空間情報の任意選択的な記述）：
他の方法と比較して本発明における有益な要素は、インテリアデザインのプランニングの場合に、しばしば壁が画像中に存在する、という事実を考慮することである。壁はほぼ平面であるとみなされる。さらに、壁は、フロア平面に対し直角に配置されているものとみなされる。

最初のステップにおいて、ユーザからシステムに対し、画像中の壁についての情報を与える。

最も単純なケースでは、壁もしくはフロア平面は、ユーザがマウスを使って画像中の個々のコーナ点をマーキングすることで構成される多角形（ポリゴン）として記述することができる。

壁は、座標システムをドラッグしかつ「コーナ」に置くことによって、ユーザが定義することができる。特殊なケース（自立型の壁）では、特定の壁の長さを、調整可能である。それ以外では、シーンの壁は、壁の各部分からなる。

代替として、ユーザは、壁の多角形を個々のコーナに「ドラッグ」することができる。有利には、画像処理アルゴリズムは、エッヂ認識の手段によって壁平面の配置を再調整することができる。ドアをマーキングすることも同様に可能である。

代替として、フロア・壁平面の自動抽出法（壁ウィザード）を用いることもできる。例えば単純なウィザードは、画像中の全ての直線エッヂを提供する（例えばハフ変換の利用による）。

ステップ２．０（セグメントの識別）：
部屋のプランニングの場合においては、フロア平面や壁平面や他のオブジェクトを表すセグメントの認識および把握が重要である。拡張リアリティの車両用ナビゲーションにおいては、どのセグメントが道路や他の車両あるいは他のオブジェクトを表しているかを認識することが関心事となる。個々のサブステップ２．１〜２．４は、初期化情報を提供し、これが、ステップ３．０の２Ｄセグメント化アプローチに入力される。ステップ２．１のような自動処理ステップとステップ２．２のようなマニュアルステップとの組み合わせは、いわゆるハイブリッドアプローチとして知られている。

ステップ２．１（３Ｄ情報の考慮、例えば、レーダー、飛行時間（ＴＯＦ）、複数フレーム（画像データセット）に亘る特徴部検出）：
後述する２Ｄセグメント化は、スプリアス・オブジェクト毎に前景／背景の分化をなす場合には、より効果的である。スプリアス・オブジェクトを３Ｄデータから識別するために、クラスタ・アルゴリズム（以下の「クラスタリング」を参照）を適用することができる。クラスタリングとは、分類が初期には未知であることを意味する。そして、３Ｄ情報は、例えばグラフ・カットの手段により、２Ｄセグメント化の初期化に寄与する。

学習型アプローチ：
スプリアス・オブジェクトの３Ｄ認識のために、１組の例からシステムが予めスプリアス・オブジェクトの学習を行う学習型アプローチが使用される。例えば、異なる家具部品ないし基本形状についてデータベースが生成される。家具は一般に（壁にぶら下がる棚を除いて）フロア平面の上をずれるだけであるので、ここでは、自由度を制限することが役に立つ。おそらく、これが、少なくとも単純な家具部品を自動的にマッチングする方法となり、例えば３Ｄ長方形でもって近似できる（状態ベクトル：位置−ｘ、位置−ｙ、回転−ｚ、ｘ寸法、ｙ寸法、ｚ寸法）。

３Ｄ特徴部：
特徴部のマッチング（例えば、ＳＵＲＦ、ＳＩＦＴ、あるいは、広角特徴部ディスクリプタによる）は、有利には、複数の画像に亘って（ステレオカメラでは１つの画像から）、ある点がフロア平面上に位置するか否かを把握することができる。もしフロア平面上になければ、その３Ｄ点は、いわゆるスレッシュホールディングの基礎として、あるいは、他の２Ｄセグメント化法の基礎として、働く。特徴部マッチングからの３Ｄ点は、また、フロア平面についての情報にかかわらずに、クラスタ・アルゴリズムに入力することもでき、２Ｄセグメント化法の基礎として働く。３Ｄ位置の演算は、例えば、三角測量あるいは動的法ないし光学流れからの構造により実行することができる。

前提の画像におけるスプリアスな要素としてのオブジェクト：
このアプローチのためには、同じマーカーおよび除去すべきオブジェクトを各々が含む少なくとも２つの画像が必要である。最初に一つの画像が基準画像として選択される。マーカーの手段により判定されたカメラポーズに基づいて、残りの画像は、マーカーが位置する平面が全ての画像においてマッチングするように、変換される。その後、基準画像と各々の変換した画像との間の差分の画像が形成される。マーカー平面は全ての画像でマッチングしているので、これらは、各々の差分画像では見えない。従って、フロア（マーカー平面）とオブジェクト（基準画像で見えているもの）とを識別することが可能となる。

このようなアプローチでは、特に、下記のような問題が起こる。

フロア（マーカー平面）がテクスチャを有していて、カメラポーズないし画像間のマッピングが正確に判定できない場合に、画素同士のグレースケール値の差に基づく差分画像を用いたときに、フロア全体（あるいはその一部）がスプリアスな要素としてマーキングされてしまうことがある。ここでは、より複雑な比較方法、例えば局部的なカラー／グレースケール値ヒストグラムの差など、を使用することがより有望であると思われる。

オブジェクトがモノクロ（広い面積に亘って）である場合には、差分画像において一部のみがスプリアスな要素として見えるようになる。これは、オブジェクトの各部が、変換した画像のオブジェクト自体の上にマッピングされ得るためである。しかしながら、それでも、この一部は、セグメント化の初期設定として働くものと考えられる（例えば、いわゆるグラフ・カットの手段による）。

センサ類：
オクルージョン問題に関する本発明は、インテリアデザインのプランニングにのみ役立つものではなく、例えば自動車における拡張リアリティに対しても役立つ。ここでは、いわゆる飛行時間型カメラないしレーダーのようなセンサについて、オクルージョン・オブジェクトおよびその深度（奥行）の指標を与えることができる。しかしながら、センサの情報は、一般に、ビジュアル表示のためには、過度にノイズが多く、かつ解像度が低すぎる。従って、後述する２Ｄセグメント化ステップがステップ３．０として行われる。

フロア平面およびこれと直交する表面：
フロア平面が存在し、他の全ての平面／表面がこのフロア平面に直交する、という条件の下では、次の文献に記載の方法を適用することができる。"Efficient Monocular 3D Reconstruction from Segments for Visual Navigation in Structured Environments" (P.E. Lopez-de-Teruel, A. Ruiz, L. Fernandez, 18th International Conference on Pattern Recognition, 2006, pp. 143-146)。

このような処理において、画像中のエッヂが最初に抽出され、エッヂの両側における局部的に存在する色の描写が生成される（"Real-Time Extraction of Colored Segments for Robot Visual Navigation" by Lopez-de-Teruel, Ruiz, Garcia-Mateos, Garca, Book series: Lecture Notes in Computer Science, Springer Berlin/Heidelberg, Volume 2626/2003, Book: Computer Vision Systems: Third International Conference, Graz, Austria, April 1-3, 2003, Proceedingsを参照）。この色情報を適用した後に、エッヂは、共通の表面に割り当てられる。上記のようになされる制約に基づき、特定の表面の位置を演算することが可能となる。

記述した方法の組み合わせを利用することも勿論可能である。

ステップ２．２（３Ｄの外殻（hull）（例えば円筒形）のマニュアルでの配置）
オプションとして、ユーザは、スプリアス・オブジェクトをマーキングし、かつ背景をマーキングする。そして、各形状の３Ｄ情報がそれらのクラスに割り当てられる。これは、分類と呼ばれる。

一つの方法によってある画像中で識別された「スプリアス・オブジェクト」は、他の画像中でもしばしば識別され得る。

どのスプリアス・オブジェクトをユーザがシーンから除去したいと希望したか、どれは希望していないか、あるいは、どの周辺のケースがスプリアス・オブジェクトとして他の画像中でより明確に識別され得るか、あるいは、早期初期化を他の画像の情報から回復することができるか、といった割り当てを自動的に見いだすことが有益である。

この目的での一つのアプローチは、フロア表面上のスプリアス・オブジェクトの大まかな位置決定である。複数の画像が半自動のプロセスで必要だとすると、カメラポーズの手段によってユーザにとって画像の選択が促進され得る。従って、ユーザは、画像中のスプリアス・オブジェクトを識別できる。システムは、プロセスの上で理論上適当な追加の画像を、（例えば最初の視点に対し直交して）ユーザに対し自動的に表示し得る。

図４において、これは、例えば矩形３１の手段によって実行されており、この矩形３１は、ユーザによって、描写３０の中で椅子８の形態をなすスプリアス・オブジェクトに重ねて配置される。なお、他の幾何学形状、例えば、円形、楕円形、あるいはこれらから作られる種々の形状、としてもよい。椅子８は、次に、この選択に基づいてセグメント化される。

図５においては、セグメント化が例えば円筒形４１の手段によって実行されており、この円筒形４１は、ユーザによって、描写４０の中で椅子８の形態をなすスプリアス・オブジェクトに重ねて配置される。なお、他の幾何学形状、例えば、立方体、楕円輪郭形状、あるいはこれらから作られる種々の形状、としてもよい。椅子８は、次に、この選択に基づいてセグメント化される。

図６において、椅子８は、表示５０の中で、前景をマーキングする前景ライン５１および背景をマーキングする背景ライン５２によってセグメント化される。これらのラインの配置によって、データ処理システムによる認識が可能となり、このシステムは、椅子８（前景）の形態をなすオブジェクトに沿って構成要素を画像化し、セグメント化する。

この目的のために、図７には、表示６０の一実施例が示されており、ここでは、シード（種）７０から始まり、椅子８の形態をなすオブジェクトをセグメント化するために、成長領域７１に拡がる（例えばオブジェクト８内での「クリック」およびいわゆる領域の成長によって。下記を参照）。

図８は、表示８０において、領域８１の「ペインティング」によって椅子８のセグメント化がどのようにマニュアルで実行されるのか、を示している。

ステップ２．３（セグメント化のシードを用いずに自動化した２Ｄセグメント化）：
基本的に、追加の情報を用いない自動セグメント化プロセスによってプロセスを実行することも可能である。この情報は、ステップ３．０においてステップ２．１の結果と合成される。

「レベル・セット」：
セグメント化は、オブジェクトの輪郭を記述する関数を変更することによって実行される（"Fast Marching Methods and Level Set Methods for Propagating Interfaces.pdf", J. A. Sethian, von Karman Institute Lecture Series, Computational Fluid Mechanics, 1998を参照）。

「分割および合成」：
「領域合成」においては、画像が非常に小さい画像領域（例えば２×２ピクセル）に分割され、かつ互いに均質（homogeneous）な隣接領域同士が再度結合される。「領域分割」においては、画像は最初に全体として観察され、その後、各領域が均質なものとなるまで逐次分割されていく。「分割および合成」は、これら２つのアプローチを組み合わせたものであり、最初に画像は全ての領域が均質なものとなるまで細分され、続いて、均質性の基準を侵すことなく、隣接する領域が再結合される。

「分水界」：
（グレースケール値の）画像は、丘や窪地を有する等高線地図として解釈できる。このような等高線地図に水を満たしたとすると、互いに沿った異なる領域が形成される。この「水で満たす」ためには、２つの異なるアプローチが存在し、以下で簡単に説明する。

「降雨法」：
マーキングされていない各画素の上に雨滴を配置する。この雨滴を、カラー値の傾斜に従って局所的最小へと「流れる」ようにする。通過した各画素に、最小というラベルを付す。

「洪水法」：
最も低いカラー値（グレースケール値）から開始して、徐々に「水位」を上昇させる。これにより、風景は徐々に洪水となる。２つの窪地が繋がり始めようとしたときに、これを防ぐように２つの窪地の境界にダムを立てる。このようにして、最終的なセグメント化が得られる。

図２Ａ，２Ｂに関連するステップ２．４（一般的なセグメントの認識。特に、壁／フロア平面を越えていこうとするセグメントの識別）：
図２Ａのシーン１０において、フロア平面１７および壁１８が存在すると仮定すると、これらの平面が識別されたときに、ウィザードは、フロアと壁との間の境界を横切っている全てのオブジェクトを識別することができる。この目的のために、表面のセグメント化を先に実行することもでき、表面が直線１９と交差していてもよい。代替として、直線１９に沿って諧調度の観測を実行するようにしてもよく、セグメント化のためのシードが成長するに従い、双方の平面で類似した色と組み合わされた少数派のユニットを外していくようにしてもよい。

図２Ｂにおいては、現実環境のオブジェクトが直線１９（つまり壁平面とフロア平面との移行部）と交差している箇所が、参照符号１６によってマーキングされている。これは、この箇所のオブジェクトが後の遮蔽ないし消去のためにセグメント化され得る、ということの指標となる。これらの直線の部分は、例えば、前景としてグラフ・カット・アルゴリズムに入力することができる。

ステップ３．０（ステップ２．１（オプションとしてステップ２．２〜２．４）からの情報に基づく２Ｄセグメント化）：
２Ｄセグメント化のためには異なるアプローチが可能であり、有利には、画像中から影の部分を抽出し、オクルージョン・セグメントとして影のセグメントを除去するために、これらのアプローチを組み合わせることができる。さらに、画像中に複数のスプリアス・オブジェクトが予想される場合には、これらのアプローチを、例えばその数と組み合わせて、１つの画像に対し数回実行することもできる。

「グラフ・カット法」：
個々の画素からなるノードを含むグラフが、画像から形成され、２つの追加のノードがオブジェクトおよび非オブジェクト／背景に挿入される。各画素は、隣接する画素（４方向の隣接画素）および２つの追加のノードに、接続される。このようにして、オブジェクト・ノードはオブジェクトの画素のみに、背景ノードは残りの画素のみに、それぞれ接続されるように、グラフが分割される。オブジェクト画素あるいは背景画素として、３Ｄ情報が画像中にマッピングされる。スプリアス・オブジェクトは複数存在し得るので、グラフ・カット法も１つの画像に対し複数回実行することができる。以下を参照のこと。

C. Rother, V. Kolmogorov and A. Blake, "Interactive Foreground Extraction Using Graph Cuts", ACM Transactions on Graphics, 2004。

A. Blake, C. Rother, M. Brown, P. Perez, and P. Torr, "Interactive image segmentation using an adaptive GMMRF model", Proc. Eur. Conf. on Computer Vision, ECCV (2004)。

「スネーク法」：
変形可能なモデルを用いるセグメント化。ここでは、３つのコスト関数が最小化される。

内部エネルギ：スネークそのものに基づくもの＞ライン／モデルの「スムースな」過程を得るように正規化したもの。

外部エネルギ：画像値に基づくもの＞諧調度に基づき正規化したもの（スネークはエッヂへ引き寄せられる）。

バルーン力：モデルが崩壊しないようにする（１点に収縮する）。

参考：M. Kass, A. Witkin and D. Terzopoulos, "Snakes: Active Contour Models", International Journal of Computer Vision, pp. 321-331, 1987, Volume 1, Number 4 。

「スレッシュホールディング／アダプティブ・スレッシュホールディング／カラー・スレッシュホールディング」：
画像値に対して制限値が定義される。もし画素が所定範囲内の画像値を示せば、それはオブジェクトに割り当てられ、それ以外のものは割り当てられない。制限値の決定はヒストグラムに基づいて自動的になされ、あるいは、ユーザとの対話（ヒストグラムもしくは画像領域のマーキング）を介して行われる。

「領域成長」（図７参照）：
画像中の開始点が選択され（自動もしくはマニュアルで）、ここから他の画素へと進行して、隣接する画素が均質性の基準（閾値内など）を満たすものであればキューに加えていく。このキューは、ステップ・バイ・ステップに処理され、現在の画素に隣接するものがそれぞれ観察される。均質性の基準を満たす画素は、求めるオブジェクトに追加される。

「ライブ・ワイヤ／ライブ・レーン／アダプティブ・レーン」：
画像は、計画性のないグラフとみなされ、各画素がノードに対応する。ここでユーザが自由な形の線を与える（マウスで）と、この線の両端の点を結ぶ最小のコストを有する経路がグラフ内で求められる。エッヂのコストは、エッヂが上記経路として望ましくは選択されるように、選択される。これは、ライブ・ワイヤアプローチに対応し、他方、ライブ・レーン／アダプティブ・レーンアプローチでは、最小コストの経路を探すサーチ領域が、提供された線の周囲に制限される。この周囲の大きさは、例えばマウスの動きの速度に応じて選択することができる。

参考：E. Mortensen, B. Morse, W. Barrett, J. Udupa, "Adaptive boundary detection using 'live-wire' two-dimensional dynamic programming", Proceedings of Computers in Cardiology, 1992。

ハイブリッド・アプローチ：
上述した方法（より複雑な方法を初期化するための「単純な」アプローチ）の組み合わせ。

ステップ３．１（マニュアルでのセグメントの変更／適応）：
もし自動もしくは半自動のプロセスにおいて誤差が発生した場合には、マウスによる描画などの単純なマニュアルでの介入によって、これを変更することができる。勿論、これは、全ての用途で可能ないし役立つわけではない（例えば車両における拡張リアリティ）。

以下、本発明の実施例における「遮蔽」（オクルージョン）の問題および「周囲の消去」について各ステップを説明する。

遮蔽についての実施例：
特別な予防策のない拡張リアリティ技術のよく知られた問題は、バーチャルオブジェクトがしばしば現実のものの一部を遮る、ということである。空間的にリアルオブジェクトの背部に配置されたバーチャルオブジェクトはリアルオブジェクトによって遮蔽されるべきであるので、このことはリアルな印象を損なう。

ステップ４．０（前方にセグメントが配置されてなる３Ｄジオメトリのオクルージョン）：
１つあるいは複数の画像についてセグメントが生成された後に、これらは、オクルージョンのために用いられ得る。これは従来から公知の方法を用いて実現できる。例えば、いわゆるOpenGLレンダリングのいわゆるステンシル・バッファ情報を、２Ｄ表面情報に基づいて記述し、ｚバッファの占有についてのマスクとして使用することができる。さらに、ＶＲＭＬのいわゆるビルボード・ノードを用いることができる。しかしながら、異なる複数画像におけるセグメントの画像化に基づいて体積体を形成し、体積レンダリングを用いることもできる。オクルージョン構造物が示す深度ないし３Ｄ位置は、別の方法によって決定できる。

有利には、後述する双方の方法では、これが有用な場合、カメラ自体の座標系においてではなく、フロア平面に対し部屋のマーキング（例えばマーカー）の座標系において深度情報が表現され、ビジュアル化システムに伝えられる。

ステップ４．１Ａ（前方／背後となるセグメントのマニュアルでの選択）
オクルージョン構造物の深度ないし３Ｄ位置の確定は、ユーザによるマニュアルでの対話形式によって簡単に行うことができる。例えば、この対話により、カメラに対する、メートルでの深度を調整することができる。また、「前方」および「背後」の調整が有利であり、これにより、全ての描写したバーチャルオブジェクトの前方もしくは背後に常にオクルージョン構造物が位置するように、自動的に深度が演算される。さらに、固定したフロア平面を用いる場合には、マーキングによって、フロア平面に関して調整された深度が表示され得る。

ステップ４．１Ｂ（前方／背後の把握のための３Ｄ情報（ステップ２．１，２．２から）の考慮）：
本発明の他の有利な設定では、ステップ２．０〜２．４の情報に基づいてオクルージョン構造物に深度が自動的に割り当てられる。例えば、深度は、３Ｄオブジェクトに基づくセグメント化の際に、カメラに対し先頭の面の点に基づいて定義され得る。

セグメントが特徴部の情報に基づいて生成される場合には、この特徴部の情報をオクルージョン構造物の深度の決定に利用することができる。もし複数の特徴部が存在する場合には、オクルージョン構造物の深度は変化し得る。例えば、深度を、把握した複数の特徴部の深度の間で補間することができる。図３の概略図は、画像の特徴部２１に基づく３次元セグメント化の初期化ステップを示す。これらは、画像２０から、対応する検出アルゴリズムによって抽出される。

さらに、用途のシナリオに応じて、フロア平面が存在するとみなし得る場合には、フロア平面についての奥行を、フロア平面上の最も下方のセグメントの画素の位置に基づいて、推測することができる。

４．１Ａの処理と４．１Ｂの処理とを組み合わせることも勿論可能である。

既存オブジェクトのシフトおよびカラー／テクスチャの変更による周囲の消去に関する実施例：
本発明の可能性のある用途の一つは、部屋の模様替えであり、例えば、空きスペースを必要とするバーチャルな家具を部屋の中に置いてみることである。拡張リアリティ技術の利点は、現実環境の中でオブジェクトを見ることであり、例えば木製テーブルを既存の木製フロアの上や既存のキャビネットの前に置いて見ることである。従って、完全なバーチャルではなく、シーンからスプリアスな現実の家具部品を除去し、あるいは、これらを消すことなくマニュアルでその位置を部屋の脇に変更することが、役立つものとなる。

ステップ４．０（消去すべきセグメントの選択）
スプリアス・オブジェクトがセグメント化されたときに、ユーザは、どれを除去すべきかを選択することができる（例えば対応するセグメントをクリックすることによる）。この情報は、可能であれば、トラッキング情報に基づき複数の画像に亘って作用するものとすべきである。

ステップ５．０Ａ（消去の情報が選択されるセグメントのマーキング（例えばフロア／壁））：
リアルオブジェクトの遮蔽は、簡単に言えば、「隣のもの」から光学的構造物によって遮蔽することで、生じる。これにより、本発明の範囲内で、追加の情報（例えば空間的記述）に対するアプローチの質を高めることができる。

ユーザは、アルゴリズムに対しマニュアル操作で指標を与える機会を有し、これが、どの領域で上書きのためのテクスチャ情報を用いるかを示す。例えば、ウィザードは、ユーザに対し、除去される画像領域の全体ないし一部をテクスチャリングするために、どの画像領域を用いるかを示すことができる。そして、ユーザは、これらの画像領域を選択することができる。また、ユーザは、アルゴリズムに対し、テクスチャリングの際に付加的に考慮すべきエッヂを指定することができる。

ステップ５．０Ｂ（周囲のテクスチャ情報（望ましくは選択したもの）に基づく選択したセグメントのオクルージョン。さらに、適当な情報源の選択のための３Ｄ深度情報の考慮。さらに、適当な情報源の選択のための空間的記述（例えばフロア／壁）の考慮）：
先のステップにおいてユーザにより除去すべきスプリアス・オブジェクトが選択されており、かつそのアウトラインが既知であるときに、オブジェクト領域のテクスチャの置き換えが実行される。この目的のために、除去した画像領域を埋めるためのソース源として、元の画像の中のオブジェクトによって覆われていない表面が用いられる。この置き換えをできるだけリアルに行うために、下記の付加的情報が利用される。

画像の２Ｄエッヂ情報が、部分的に遮蔽されたオブジェクトの境界のリアルな連続性を可能とするために利用できる。ここで、２Ｄエッヂは、その方向に沿って連続している。

オブジェクト境界や他のエッジの交差を正しく演算するために、３Ｄエッヂ情報を利用できる。

遮蔽している対応する画像領域をリアルにテクスチャリングするために、元画像を、フロアや他のオブジェクトのテクスチャないし個々の壁を含む１つずつの画像とする、細分化／セグメント化を実行することができる。例えば、壁がフロアのテクスチャで埋められてはならない。同様に、フロアが、元は他の既知のオブジェクトの位置にあったテクスチャで埋められてはならない。

もし複数の画像を利用可能であるならば、システムは、できれば全ての視野からスプリアス・オブジェクトを自動的に除去すべきである。従来技術では、例えば下記の「塗り直し」メカニズムが公知であり、これは、ステップ５．０Ａおよび５．０Ｂと組み合わせることができる。

"Object Removal by Exemplar-Based Inpainting" by A. Criminisi, P. Perez, K. Toyama, Jun. 2003, Madison, WI, Proc. IEEE Computer Vision and Pattern Recognition
"PatchWorks: Example-Based Region Tiling for Image Editing" by P. Perez, M. Gangnet, A. Blake, Microsoft Research Report TR-2004-04 (2004)
"Inference of Segmented Color and Texture Description by Tensor Voting" by Jiaya Jia, Chi-Keung Tang, IEEE Transactions on Pattern Analysis and Machine Intelligence, June 2004, Volume 26, Issue 6, pp. 771-786
"Image Inpainting" by M. Bertalmio, G. Sapiro, V. Caselles, C. Ballester, Proc. Of SIGGRAPH 2000, pp. 417-424, New Orleans, USA, July 2000。

周囲の情報を利用し、かつできるだけ上手く置き換えを実行するように試みたいくつかのアルゴリズムがある。例えば、いくつかの試みでは、周囲の中で、エッヂを連続させる。ステップ５．０Ａおよび５．０Ｂからの情報が、これらの役に立つものとなり得る。

ステップ６．０：オプションとして、除去したセグメントを修正した遠近感でもって他の場所に再挿入する。

本発明の他の利点は、例えばインテリアデザインのプランニングにおいて、スプリアス・オブジェクトを除去し得るだけではなく、これらを新たな場所に再挿入できることである。従って、例えばユーザは僅かな距離だけ脇にソファを動かし、次いで、バーチャルなキャビネットをシーンに挿入することができる。このセグメントは、回転することなく僅かな並進のみであれば、変化することなく新たな場所に挿入できる。代替として、セグメントに基づく他のアプローチとして、既存のオブジェクトの複数の画面からオブジェクトの新しい画面を生成するものがある。これらは、画像に基づくビジュアルな外殻および空間のカービング（切り取り）を含む。

参考：Image-Based Photo Hulls, Gregory G. Slabaugh, Ronald W. Schafer, Mat C. Hans, Client and Media Systems Laboratory, HP Laboratories Palo Alto, HPL-2002-28, February 4th, 2002。

International Journal of Computer Vision 38(3), 199-218, 2000, °c 2000 Kluwer Academic Publishers. Manufactured in The Netherlands. "A Theory of Shape by Space Carving", KIRIAKOS N. KUTULAKOS, Department of Computer Science and Department of Dermatology, University of Rochester, Rochester, NY 14627, USA, （kyros@cs.rochester.edu）, STEVEN M. SEITZ, The Robotics Institute, Carnegie Mellon University, Pittsburgh。

クラスタリング：
参考："Shared Nearest Neighbor": "A New Shared Nearest Neighbor Clustering Algorithm and its Applications" by Levent Ertoz, Michael Steinbach, Vipin Kumar, Workshop on Clustering High Dimensional Data and its Applications at 2nd SIAM International Conference on Data Mining (2002)。類似性の指標として、共通の最も近い隣のものの個数を用いる。

「オート・クラスタ」：
参考："AUTOCLUST: Automatic Clustering via Boundary Extraction for Mining Massive Point-data Sets" by Vladimir Estivill-Castro, Ickjai Lee, in Proceedings of the 5th International Conference on Geocomputation, Callaghan 2308, Australia, 2000。

"Effective and efficient boundary-based clustering for three-dimensional geoinformation studies" by Lee, I. and Estivill-Castro, V., The Proceedings of the Third International Symposium on Cooperative Database Systems for Advanced Applications, 2001, pp. 82-91, Beijing, China。

オート・クラスタは、細分化すべき点を設定しかつ特定のプロパティのエッヂを除去するために、Delaunayの図を用いる。残りのエッヂは、データ空間を個々の領域へと分割する。

「GRAVIクラスタ」：
参考："Gravity Based Spatial Clustering" by M. Indulska, M. E. Orlowska, pp. 125-130, Proceedings of the Tenth ACM International Symposium on Advances in Geographic Information Systems, McLean, VA, USA, Nov. 8-9, 2002.。GRAVIクラスタにおいては、初期のクラスタ中心が最初に演算され、次いで、対応するコスト関数の最小化によってこれらが最適化される。クラスタの個数が先に既知でなければならず、あるいは、この個数は、反復的に把握することができる。

「セルフ・オーガナイズ・マップ（SOM）」：
参考："Self-Organizing Maps", T. Kohonen. Springer, Berlin, 1995。 "Automatic formation of topological maps of patterns in a self-organizing system", T. Kohonen, in Proceedings of 2nd Scandinavian Conference on Image Analysis, Espoa, Finland, pp. 214-220.。

セルフ・オーガナイズ・マップは、ｍ個のノードのｎ次元列である。このセルフ・オーガナイズ・マップにおける各ノードは、マップ中でのその位置を定める局部ベクトルを備え、かつデータセットの領域からの点に対応する参照ベクトルを備える。マップのトレーニングでは、各データ点に対する各学習ステップにおいて、参照ベクトルが最小の距離を有するようにノードが決定される。次いで、全てのノードについて、その勝ち残ったノードの隣からの参照ベクトルが修正される。

SAHN（Sequential agglomerative hierarchical non-overlapping cluster analysis）：
参考："Efficient algorithms for agglomerative hierarchical clustering methods", William H. E. Day and Herbert Edelsbrunner, Journal of Classification, Volume 1, pp. 1-24, 1984。このアルゴリズムの開始時点では、データセットの各点が個々のクラスタを表すものとみなされる。各ステップで、最小の距離を有する一対のクラスタが決定される。これらの２つのクラスタは、１つのクラスタに合成される。アルゴリズムを完了するためには、存在するクラスタの数が既知でなければならず、あるいは、この数を反復的に把握する必要がある。

DBSCAN（Density-based spatial clustering of applications with noise）：
参考："Density-based clustering in spatial databases; the algorithm DBSCAN and its applications", J. Sander, M. Ester, H.-P. Kriegel, X. Xu. Data Mining and Knowledge Discovery, Volume 2, Number 2, June 1998, pp. 169-194 (26)。

"A distribution-based clustering algorithm for mining in large spatial databases", X. Xu, M. Ester, H.-P. Kriegel, J. Sander, 14th Int. Conf. on Data Engineering (ICDE'98), Orlando, Florida, USA, 1998。

これはSAHNアルゴリズムの亜種であり、ここでは、クラスタの合成のために、距離の測定に代えて、密度エスティメータが用いられる。

SDHN（Sequential divisive hierarchical non-overlapping cluster analysis）：
このアルゴリズムの開始時点では、全ての点が同じクラスタ内に位置する。そして、存在するクラスタがステップ・バイ・ステップで細分される。アルゴリズムを完了するためには、存在するクラスタの数が既知であるか、あるいは、さらなるクラスタの細分が有益であるかどうかの分析（例えばHopkinsのインデックスによって）を実行する必要がある。

クラスタ・モデルの交互の最適化（Alternating cluster estimation, ACE）：
参考："Alternating cluster estimation: a new tool for clustering and function approximation" by T. A. Runkler, J. C. Bezdek, IEEE Transactions on Fuzzy Systems, Vol. 7, Issue 4, Aug. 1999, pp. 377-393。ここでは、クラスタ中心と仕切りの行列が交互に最適化される。可能性のあるクラスタ・モデルとしては、c-means (CM model) あるいはGustafson-Kessel (GK model)である。

Claims (15)

1. 現実環境内にバーチャルオブジェクトを描写する方法であって、
   記録装置手段によって現実環境の少なくとも１つの２次元画像を生成するステップと、
   現実環境の少なくとも１つの構成要素に対する上記記録装置の位置を把握するステップと、
   上記２次元画像において、現実環境の少なくとも１つのセグメントを現実環境の残りの部分から区別して識別するために、対応するセグメント化データを供給しつつ、センサデータを用いて非マニュアル式に生成された３次元画像情報又は空間的情報に基づいて、現実環境の少なくとも１つの領域をセグメント化するステップであって、３次元画像情報又は空間的情報は、２次元セグメント化の初期化に用いられる、セグメント化するステップと、
   上記セグメント化データを考慮して、バーチャルオブジェクトを、現実環境の２次元画像と、あるいは光学的半透明要素手段によって現実と直接に、合成するステップと、
   を備え、
   前記把握するステップ、セグメント化するステップ及び合成するステップは、コンピュータプログラムによって実行されることを特徴とする方法。
2. セグメント化データを考慮したバーチャルオブジェクトと現実環境との上記の合成が、バーチャルオブジェクトの少なくとも一部が現実環境のセグメントの少なくとも一部によって遮蔽されるものとして描写されるように実行されることを特徴とする請求項１に記載の方法。
3. バーチャルオブジェクトおよび現実環境の正しい遠近感での描写において、上記の現実環境の少なくとも１つのセグメントがバーチャルオブジェクトの前方に配置されているか背後に配置されているかの選択が、ユーザによってなされることを特徴とする請求項１または２に記載の方法。
4. セグメント化データを考慮したバーチャルオブジェクトと現実環境の２次元描写との上記の合成が、現実環境のセグメントの少なくとも一部が現実環境の描写から除去されるように実行されることを特徴とする請求項１〜３のいずれかに記載の方法。
5. 上記の現実環境のセグメントの少なくとも一部が現実環境の元の描写から除去され、かつ描写の他の場所に再挿入されることを特徴とする請求項４に記載の方法。
6. 選択されたセグメントについての情報が、境界ジオメトリ手段によって、空間的に記述され、このセグメントを得た同じリアルオブジェクトの別の視点のために再利用可能であることを特徴とする請求項４または５に記載の方法。
7. 情報源を選択する３次元深度情報が、特に既存のフロア平面もしくは既存の壁平面の形態でもって、用いるテクスチャ情報の選択のために考慮されることを特徴とする請求項４〜６のいずれかに記載の方法。
8. 現実環境の少なくとも１つのセグメントの識別のために、現実環境の既存のフロア平面と既存の壁平面との間の境界を横切る現実環境の１つの領域が識別されることを特徴とする請求項１〜７のいずれかに記載の方法。
9. 現実環境の少なくとも１つのセグメントの識別のために、２次元又は３次元の幾何学形状を有するバーチャルな図形が現実環境の対応する場所に配置されることを特徴とする請求項１〜８のいずれかに記載の方法。
10. 上記の３次元図形は、空間的記述ないし光学的マーキングにより既知なフロア平面に基づいて、現実に近似するように、空間内でフロア平面と平行に動くことを特徴とする請求項９に記載の方法。
11. 空間的記述から把握される空間的情報あるいはセグメント化データが、バーチャルオブジェクトの影に影響することを特徴とする請求項１〜１０のいずれかに記載の方法。
12. 現実環境が記録装置手段によって該記録装置手段の異なる複数位置から光学的に記録され、それぞれの記録が、対応する記録画像データセットに保存され、
    この記録画像データセットの１つから得たセグメントデータが、記録画像データセットの他の１つにおいて、記録画像データセットに対応するそれぞれの視点でもって挿入されたバーチャルオブジェクトとともに現実環境を現すために、用いられる、
    ことを特徴とする請求項１〜１１のいずれかに記載の方法。
13. 現実環境内にバーチャルオブジェクトを描写する装置であって、
    現実環境の２次元画像を生成する記録装置と、
    記録された現実環境の少なくとも１つの構成要素に対する上記記録装置の位置を判定するデータ処理システムと、
    上記データ処理システムに接続された表示装置と、
    を備えてなり、
    上記データ処理システム内では、現実環境の少なくとも１つのセグメントを現実環境の残りの部分から区別して識別するために、対応するセグメント化データを供給しつつ、センサデータを用いて非マニュアル式に生成された３次元画像情報又は空間的情報に基づいて、上記２次元画像における現実環境の少なくとも１つの領域をセグメント化する方法が実行され、
    ３次元画像情報又は空間的情報は、２次元セグメント化の初期化に用いられ、
    上記表示装置は、上記セグメント化データを考慮して、記録装置が生成した現実環境の画像をバーチャルオブジェクトと合成して表示する、
    ことを特徴とする装置。
14. 現実環境内にバーチャルオブジェクトを描写する装置であって、
    現実環境の２次元画像を生成する記録装置と、
    記録された現実環境の少なくとも１つの構成要素に対する上記記録装置の位置を判定するデータ処理システムと、
    光学的半透明表示装置であって、その透明性を通して現実環境を見ることができ、かつ該表示装置に投影することでバーチャルオブジェクトを現実環境と合成する光学的半透明表示装置と、
    を備えてなり、
    上記データ処理システムは、現実環境の少なくとも１つの構成要素に対する上記表示装置の位置を判定し、
    上記データ処理システム内では、現実環境の少なくとも１つのセグメントを現実環境の残りの部分から区別して識別するために、対応するセグメント化データを供給しつつ、センサデータを用いて非マニュアル式に生成された３次元画像情報又は空間的情報に基づいて、上記２次元画像における現実環境の少なくとも１つの領域をセグメント化する方法が実行され、
    ３次元画像情報又は空間的情報は、２次元セグメント化の初期化に用いられ、
    上記表示装置には、上記セグメント化データを考慮して現実環境と合成したバーチャルモデルの描写が表示される、
    ことを特徴とする装置。
15. 請求項１〜１４のいずれかに記載の方法に利用されるソフトウェアコード部分を有するコンピュータプログラム製品であって、現実環境内にバーチャルオブジェクトを描写するシステム内に記憶されることで、記録装置の位置を把握し、現実環境の少なくとも１つの領域をセグメント化し、セグメント化データを考慮してバーチャルオブジェクトを現実環境と合成するコンピュータ読み取り可能記録媒体。

Images