JP6499854B2 - 減損現実 - Google Patents

Description

拡張現実の出現により、現実の画像と仮想の画像との要素を種々組み合わせることができる。しかし、拡張現実の適用性を制限する課題の一つが、現実そのものである。改造予定の家の部屋の現実の画像内には、既にソファがあり、そこに新しい仮想のソファを置きたい。画像内には既存のキャビネットがあり、そこに新しいキャビネットを仮想化する必要がある。物が表示されている場所に、異なる構成などを仮想化したい。店舗フロアの現実の画像内には、棚の上に製品があり、そこに他の製品を配置したり、現在の製品を再配置したいかもしれない。拡張現実を使用して、新しく設計した仮想の状態に対象物を持っていきたいときには、現実は既に「どこにでも」存在する。

従って、もはや要らなくなった、画像内のキャプチャされた異なる現実の物体を消去することにより、現実の画像を整える必要がある。例えば、キッチンキャビネット等の仮想の物体の構成が適合することを適切に分析することができるように、改造予定の空間の正確な寸法を感知することができる関連のニーズがある。

コンピュータ支援の技術には、製品設計をオーサリングするためのソフトウェアソリューションに関連するコンピュータ支援設計すなわちＣＡＤがあることが知られている。同様に、ＣＡＥはＣｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ（コンピュータ支援エンジニアリング）の頭文字であり、未来の製品の物理的挙動をシミュレーションするためのソフトウェアソリューションに関連するものである。ＣＡＭはＣｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｍａｎｕｒａｃｔｕｒｉｎｇ（コンピュータ支援製造）を表し、典型的には、製造のプロセスおよび操作作業を定義するためのソフトウェアソリューションを含む。

製品を形成する物体（または部品）の設計、または物体の組立体のための多数のシステムおよびプログラムが、市場に提供される。これらのＣＡＤシステムにより、ユーザは、複雑な三次元すなわち物体または物体の組立体の３Ｄのモデルを構築および操作することができる。従って、ＣＡＤシステムによって、面を有する特定の筐体内に、エッジまたは線を使用してモデル化した物体の表現が提供される。線またはエッジは種々の様式、例えば、非一様有理Ｂスプライン（ＮＵＲＢＳ：ｎｏｎ−ｕｎｉｆｏｒｍ ｒｅｔｉｏｎａｌ Ｂ−ｓｐｌｉｎｅｓ）で表現されてよい。これらのＣＡＤシステムは、部品または部品の組立体をモデル化された物体として管理し、大部分がジオメトリの仕様である。具体的には、ＣＡＤファイルには仕様が含まれ、この仕様からジオメトリが生成され、ジオメトリにより表現が生成される。ジオメトリおよび表現は単一のＣＡＤファイルまたは複数のＣＡＤファイルに格納することができる。ＣＡＤシステムには、モデル化された物体を設計者に対して表すためのグラフィックツールが含まれ、これらのツールは、複雑な物体の表示専用のものであり、ＣＡＤシステムにおける物体を表現するファイルの典型的なサイズは、一部品当たり１メガバイトの範囲であり、組立体には数千の部品が含まれてよい。ＣＡＤシステムは物体のモデルを管理し、物体のモデルは電子ファイルに格納される。

コンピュータ支援技術では、グラフィックユーザインターフェースＧＵＩが、技術の効率について重要な役割を果たす。モデル化された物体を操作および／またはナビゲートすることが求められる操作作業のほとんどは、ＧＵＩを介してユーザ（例えば、設計者）により行われる。特に、ユーザは、製品を形成するモデル化された物体を、作成、修正、および削除することができ、かつ、モデル化された物体がどのように相互関係を持つのか、例えば、製品構造を通じて理解するように当該物体を調査することもできる。従来、これらの操作作業は、ＧＵＩの側に配置される専用のメニューおよびアイコンを通じて行われる。近年、ＣＡＤシステムでは、これらの操作作業を製品表現に近接して呼び出すことができる。設計者はもはや、メニューおよびアイコンに向かってマウスを動かす必要がない。従って、操作作業がマウスの手近な範囲で可能とされる。加えて、操作作業は、設計者が選択した所与の操作作業についてセマンティックに挙動し、ＣＡＤシステムは設計者に対して、なおマウスに近接したまま、設計者が選択しそうな前回選択した操作作業に従って、新しい操作作業のセットを示唆することができる。

種々の環境が、本発明の実施形態の関心の対象であってよい。説明を明確にするために、例示の環境が図面および以下の検討において示される。これらの例は例示目的のものであり、本発明の原理を限定するものではない。対象環境は、非制限例として、家またはオフィスの部屋、小売店の特定の通路および他の部分、ならびに他のユーザ構成領域であってよい。

対象環境は異なる段階および状態を有する。部屋の例では、ベア段階とは、部屋に家具および調度品、概して「物体」が無いことを意味する。反対の段階であるフル段階において、部屋には多数の物体がある。中間段階において、部屋には中間的な数の物体、すなわち、１つまたは複数であるがフル段階より少ない、家具および調度品がある。店舗の通路の例のように、ベア段階では、店舗の通路の棚には製品／在庫が無い（物体を保持していない）。または、棚／棚ユニットが無くてもよい。中間段階において、棚にはいくらかの製品（中間的な数の物体）がある。フル段階において、棚にはその最大数の物体がある。その他もろもろである。

概して、物体は、環境内で物理的配置（配列／組織）および向きを変更することが可能である。物体は、色および／または素材の仕上げ（またはテクスチャ）を更新することができる。物体は、異なるスタイルおよび／または構成（形、サイズおよび他の物理的特徴）を有する代替えの物体と交換／置換することができる。

中間またはフル段階における対象環境の画像は、種々の物体をキャプチャし、かつ、現在の現実を描写する。画像を見ている人は、対象環境において、表示される物体の何らかの色または仕上げ（テクスチャ）が更新されたものを想像することができる。拡張現実のビューでは、表示される物体のそのような外観を変更することを支援することができる。しかし、画像を見ている人は、拡張現実を用いても用いなくても、典型的には、対象環境において、表示される物体の何らかが再配置されたもの、または対象環境において消去されたもの、または代替え物と交換されたものを想像することができない。

本発明の実施形態は、上述の問題に対処し、以下のように作用する。

例示の実施形態において、現実ステージングエンジンが、現在の環境の画像ビューをユーザが所望する段階、例えば、上記の例における部分的または完全に、家の空き部屋または、店の空き棚、に設定する。（所望の／選択された段階における対象環境の）結果のビューを、「減損現実」と称する、３Ｄモデリングエンジンまたはモデラは、減損現実バージョンの対象環境の実用的な３Ｄモデルを生成する。

拡張現実サブシステムでは、種々の表示要素（仮想要素）を３Ｄモデル減損現実のビューに重畳する。表示要素は、ユーザ支援の、交換または変更（再配置、再方向づけまたは他の再構成）される現実世界の物体を表し、これが、ユーザに対して、新しく描写される拡張現実のビューにおける対象環境をもたらす。

上述のものは、本発明の例示の実施形態の以下のより特定の説明から明らかにされ、添付の図面において例示されるように、異なる図面を通じて同様の参照符号が同一の部分を示す。図面は必ずしも縮尺が同じではなく、本発明の実施形態を例示することに重点が置かれる。

本発明の実施形態のブロック図である。 一実施形態におけるユーザインタラクション操作を例示するためのマークが付けられた写真を示す図である。 一実施形態におけるユーザインタラクション操作を例示するためのマークが付けられた写真を示す図である。 一実施形態におけるユーザインタラクション操作を例示するためのマークが付けられた写真を示す図である。 一実施形態におけるユーザインタラクション操作を例示するためのマークが付けられた写真を示す図である。 一実施形態におけるユーザインタラクション操作を例示するためのマークが付けられた写真を示す図である。 実施形態において処理で考慮される画像内の角度の概略説明図である。 実施形態において処理で考慮される画像内の角度の概略説明図である。 実施形態において処理で考慮される画像内の角度の概略説明図である。 実施形態において処理で考慮される画像内の角度の概略説明図である。 本発明を具現化するコンピュータシステムのブロック図である。 図５のコンピュータシステムを採用するコンピュータネットワークの概略図である。

以下、本発明の例示的実施形態について説明する。

本明細書において引用される全ての特許、公開された出願、参考文献が参照として組み込まれる。

非制限的な例示の実施形態が、コンピュータベースツール１００として図１に示される。他のコンピュータベースの方法、システムおよびコンピュータプログラム製品が本発明の他の実施形態および実装を提供することができることは、理解されたい。ツール１００は、プロセッサ実行の現実ステージングエンジン１０７および３Ｄモデラ１１０から形成される。プロセッサ１１３は、ツール１００、現実ステージングエンジン１０７および３Ｄモデラ１１０を実行する、またはサポートする。以下で明らかになるように、現実ステージングエンジン１０７は、ソース１０５からの（関心の環境の）対象画像内の現実を、片付け、整え、または減少させる。画像ソース１０５は、カメラ、２Ｄまたは３Ｄのスキャナ、１つまたは複数のデータストア（画像のデータベース）、映像ストリーム等であってよい。

ソース画像１０５に表示されるような対象環境内の複数の物体のそれぞれについて、物体を減損現実ビューで表示することは、ユーザ選択可能である。このように、ステージングエンジン１０７により生成される画像１１５内の減損現実の度合い（現実の減損）は、ユーザ定義可能である。

３Ｄモデラ１１０は、入力として、減損現実画像１１５をステージングエンジン１０７から受け取る。３Ｄモデラ１１０は、受け取った減損現実画像１１５の対象物または内容の３Ｄモデル１３１を生成する。すなわち、３Ｄモデラ１１０は、ユーザが選択した減損段階、例えば、ベアまたは中間段階、において、関心の環境の３Ｄモデル１３１を生成する。画像からの３Ｄモデリングの技術が採用される。

拡張現実サブシステム１２１は、種々の仮想画像要素をモデラ１１０からの３Ｄモデル１３１上に重畳または重ねる。例えば、種々の候補要素（仮想の）の画像は、関心の対象環境の片づけられたまたは整えられたシーン（減損された現実）上の出力１０３に表示することができる。サブシステム１２１のグラフィカルユーザインターフェースでは、ユーザが、既知の技術を使用して出力されるそのような拡張現実画像１４０と相互作用（インタラクション）することができる。

次に、現実ステージングエンジン１０７およびツール１００のさらなる詳細について提示する。

家の部屋の画像１２５，１２７（図２Ａ−２Ｃおよび３Ａ−３Ｂ）の例は、例示の目的で使用されるものであり、制限するものではない。ツール１００では、家具が備え付けられた対象の部屋の１つまたは数個の写真（画像）を使用し、完全または部分的に空き部屋の３Ｄコンピュータモデル表現を作成するための関連する方位データが示されている。例えば、現実ステージングエンジン１０７は、部屋の最初の空間を持つビュー１１５を再作成し、まるで、ユーザが交換したい現在の家具、設備または装飾品を設置する前であるかのようにする。具体的には、現実ステージングエンジン１０７は、画像ソース１０５から入力として現在の部屋の１つまたはいくつかの画像１２５、１２７（リアルタイムのもの、または写真）を取得する。ツール１００は、図２Ａおよび３Ａのように、ソース画像をユーザに対して表示し、それとユーザの相互作用ができるようにする。ユーザは、画像１２５、１２７上の、論理的な幾何学的部分または部屋の領域の間の角度を持つ境界を表す、可視線の区分（例えば、壁と隣接する水平壁、壁と天井、および、壁と床）を識別する。ユーザは、これらの線区分を、現実世界の物体（例えば、新しいまたは候補の家具、装飾品など）を表す新しい仮想要素をユーザが置きたい、少なくとも画像領域において識別する。いくつかの境界は、表示されるようなソース画像１２５、１２７内のビューに応じて隠され、ユーザは、与えられた線の区分だけを示すことができる。

図２Ｂの例では、ユーザは、天井から、表示されるテレビ１０２の上端の真上までの２つの壁の交わりを定義する線区分１２９を示す。テレビ１０２と台１０４とに隠れた角の領域を定義する線区分１２６は、このビュー（画像１２５）では隠れている、または遮られている。ユーザは、これらの線区分１２６を描画しない。図２Ｃでは、ユーザは、部屋の出入り口の開口の輪郭を描く線区分１２３を示している。同様に、図３Ｂでは、ユーザは、キャビネット１０８の間の可視の壁−天井の連結部分の線区分１３３と、表示されるビュー（画像１２７）では可視の２つの壁の交わりを定義する線区分１３５とを示すだけである。ユーザは、表示される冷蔵庫およびキャビネット１０８の上に線区分１３６を描画しない（以下で明らかになるであろう）。

次に、現実ステージングエンジン１０７により、ユーザは、天井、壁、床にそれぞれ適用されるテクスチャ１３９ａ、ｂ、ｃを相互作用的に識別することが可能である。これは、一実施形態において、ユーザが、部屋の要素（壁、天井および床）の最初の状態を表す、壁、天井および床の各々の領域を、表示画像上で丸で囲むことにより行われる。

図２Ｂおよび３Ｂの例において、ユーザは、表示画像１２５、１２７内の物が取り去られた場所の天井および壁のペイント色およびテクスチャ１３９ａ、ｂを、丸で囲む。同様に、ユーザは、表示された床の、物が取り去られた代表的な領域１３９ｃを丸で囲んで、それぞれの床の色およびテクスチャ１３９ｃを示す。

上述のユーザ選択（相互作用的な入力）を用いて、現実ステージングエンジン１０７は以下の判定を行う。現実ステージングエンジン１０７は、図２Ｂおよび３Ｂにおいてユーザによって開始された境界線を完成させる。特に、現実ステージングエンジン１０７は、境界線が、交わるところ、角の隠れるところ、表示される家具の背後、または図２Ｂ−２Ｃおよび図３に完成して示されるような他の物体、を完成させる。現実ステージングエンジン１０７は、線区分１２６を、図２Ｂ−２Ｃの表示されるテレビ１０２および台１０４の上に描き、かつ、線区分１３６を、図３Ｂの冷蔵庫およびキャビネット（上部および下部）１０８の上に描く。完成した境界線から、現実ステージングエンジン１０７は、部屋（対象環境）が、例えば、そのベアすなわち空き段階にあると判定する。

上記は、対象環境のいくつかのソース画像１０５（部屋の例における画像１２５、１２７）について繰り返される。上記の各繰り返しは、異なるソース画像１０５に対して行う。異なるソース画像１０５は、対象環境（例えば、部屋）の異なる部分および異なる画角、ならびに、その中の現実世界の物体を示す。上述の手順により、ユーザは、ソース画像１０５に表示される対象環境内の各物体の表示を、物体ごとに、選択的に維持または除去することができる。このように、実用的なビュー内の対象環境の減損現実の度合い（ベア／空きから中間までの段階の範囲で）は、ツール１００でユーザが定義可能である。

次に、現実ステージングエンジン１０７は、ソース画像１２５、１２７内のどこがむき出しの領域（すなわち、壁、天井、モールディング、床、柱礎）であるかを判定する。現実ステージングエンジン１０７は、これらの領域からユーザが丸で示したペイント色およびテクスチャを判定する。

上述の判定の結果により、ベアすなわち空きの段階または他のユーザ選択の中間段階にある部屋（対象環境）の減損現実画像１１５が生成される。図２および３の例示の部屋では、減損現実画像１１５は大部分が、床、天井、壁、出入り口および窓を表示しており、すなわち、多くの表面および平面が対象環境（部屋）の包含境界を定義する現実ステージングエンジン１０７は、結果として得られた減損現実画像１１５を３Ｄモデラに供給して、ベア段階の対象環境の実用的な３Ｄモデル１３１（図１）を生成する（すなわち、図２Ａ−２Ｃの例では空きまたはほとんど空きの居間、および、図３Ａ−３Ｂの例では空きまたはほとんど空きのキッチン）。実用的な３Ｄモデル１３１の各領域は、ソース画像１２５、１２７のユーザが丸で囲んだ領域に対応する色およびテクスチャを使用して全体としてペイントされる。階調を用いて３Ｄモデル１３１の着色およびテクスチャリングを行うことができる。ペイントは、図２Ａ−２Ｃおよび図３Ａおよび３Ｂに示すように、部屋の全ての可視のフレーム上の適切なテクスチャを有する３Ｄワーキングモデル１３１の各領域を覆う。

異なる向きおよび位置からの複数の画像１１５を考えると、３Ｄモデラ１１０は、部屋（ソース画像１０５内でキャプチャされた対象環境）の３Ｄコンピュータモデルまたは３Ｄ画像表現を作成するが、ベア段階、または、少なくともソース画像１２５、１２７に表示されるものとは異なる段階を除く。結果として得られるワーキング３Ｄモデル１３１は、ソース１０５のカメラの向きとは無関係である。

結果として、空き部屋（または部分的に空いている部屋）の、完成した３Ｄモデル／画像表現１３１は、作成することができる。図２Ａ−２Ｃおよび図３Ａ−３Ｂの居間およびキッチンの例において、これらの部屋の３Ｄモデル表現１３１から、家具、アメニティ、および高級家具を差し引いたものが作成される。

３Ｄモデラ１１０は、生成された３Ｄモデル１３１を、例えば拡張現実サブシステム１２１への入力として出力する。次に、３Ｄモデル１３１は拡張現実と相互作用的に使用することができる。例えば、拡張現実内の３Ｄモデル１３１画像を使用して、図２Ａ−３Ｃの例における、新しいキッチンの設計、居間の改築または室内の装飾／家具を備え付けることを確認することができる。他の例では、小売店の床および棚は、販促計画および製品の在庫設計を確認するために使用することができる。拡張現実サブシステム１２１により、ユーザは、ベア段階の対象環境／空き部屋の３Ｄモデル１３１の画像上に、画像要素を重ね合わせるまたは重畳することが可能となる。画像要素は、標的（ターゲット）または候補の現実世界の物体、例えば、対象の部屋用の家具、備え付け家具、アメニティ、装飾品、高級家具などの画像または類似の物であってよい。

候補の物体は、ソース画像１０５内に表示される同等の物体と置換または交換してもよい。候補の物体は、ソース画像１０５内に表示される同等の物体の再配置したものまたは異なる組織（構成）であってもよい。候補の物体は、ソース画像１０５内に同等または等価のものを有しなくてもよく、ユーザは、仮想ビュー１４０において絵を用いて新しい物体を対象環境／部屋に導入することができる。これらのシナリオの任意の混合が、拡張現実サブシステム１２１によりサポートされる。

他の例において、上述のシナリオ交換仮想ビュー１４０は、種々の既知の着色および表面テクスチャリングのツールに、加えてよく、または組み合わせてもよい。そのような組み合わせにより、ユーザは、構造ベースの物体の構成（形状、サイズ、ジオメトリ）を実質的に調査することができるだけでなく、美的かつ室内設計ベースの構成（物体、色、テクスチャ、グルーピング、およびパターン）を検討することもできる。

これらおよび他の使用／用途において、ツール１００により、いくつかのユーザ定義可能な量の、（対象環境の）ソース画像の現実が維持され、一方で、他の量の現実（すなわち、ソース画像１０５内に表示される対象環境内の現実世界の物体）の外観を妨げる／邪魔することからユーザが解放される。

拡張現実サブシステム１２１により、エンドユーザは、拡張現実表示装置１０３（図１）を用いて出力画像１４０のビューを認識することが可能となる。実施形態において、拡張現実ビュー１４０は、マーク無の形式で表示されてよいが、ユーザ相互作用の手動指定またはマーカの使用が可能となる。他の実施形態では、さらに自動化されたユーザ相互作用が可能となる。

３Ｄモデル１３１から、拡張現実サブシステム１２１は、出力画像１４０内の対象環境ビューの実用的または論理的に作動する線を判定かつ定義する。一実施形態においてこれを達成するための手順は、以下の通りである。

天井およびモールディングから開始する
ドア周辺の床に続く（柱礎を使用）
壁の間の水平線区分を見る
その周りの窓および枠を見る
その周りのドアおよび枠をみる

次に、拡張現実サブシステム１２１は、出力画像１４０および対応する線を生成する。まず、エッジ検出アルゴリズムが出力画像１４０に適用される。その結果、さらなる分析を必要とする多数の線が生じる。

次に、光学に起因するバレル歪みおよびピンクッション歪みを除去することにより、直線的画像１４０を作成する。その結果、主エッジ用の直線でできたすっきりした画像が生じる。この工程はソース画像１０５のカメラで使用される光学の質によっては、行わなくてもよい。

拡張現実サブシステム１２１によって出力されるそのような画像１４０は５つの異なるパラメータ、すなわち、パン、チルト、ズーム、ロール、およびフォーカスプレーンを有する。一部の実施形態において、既知のアルゴリズムはフォーカスプレーンに採用される。他の実施形態において、フォーカスプレーンパラメータは無視される。

パン用の画像１４０のパラメータは、コンパスセンサによって追跡されるサブシステム１２１の向きにより、キャプチャすることができる。

画像１４０のズームのパラメータは、対象環境における壁または平らな面の、非マスクの部分上の基準を用いることにより、キャプチャすることができる。例えば、標準的な紙（例えば、８．５×１１インチまたはＡ４の用紙）を対角線に沿って２つに折られたものである。折られた紙は、壁／基準表面の非マスク部分に透明に接着テープに貼ることができる。これは、拡張現実サブシステム１２１によって認識され、ズームおよび紙までの距離が与えられる。

出力画像１４０のロールパラメータは、画像１４０のほぼ垂直なエッジをみてエッジを真の垂直にするためにロールを修正するサブシステム１２１によって計測することができる。

チルトは、画像１４０のキャプチャにおけるサブシステム１２１のカメラの高さに依存し、これは、画像を撮る人の高さに関連する。出力画像１４０上のチルトは同一の画像フレームまたは複数の異なる画像（フレーム）上における天井および床をカバーする。

天井の角を表示する出力画像１４０の場合、拡張現実サブシステム１２１は、各壁と天井との交差により作られる２つの線の間の見掛け角度に応じて、画像を生成かつ調整する。上側角度１４３が１８０度より小さい場合、図４Ａに示すように、出力画像１４０内の三面体の交点からサブシステム１２１カメラまでの距離が、対象環境における三面体とソース画像１０５のカメラとの間の距離より大きい。上側角度１４３が１８０度より大きい場合、図４Ｂに示すように、出力画像１４０内の三面体の交点から拡張現実サブシステム１２１カメラまでの距離が、対象環境における三面体とソース画像１０５のカメラとの間の距離より短い。従って、拡張現実サブシステム１２１カメラは、ソース画像１０５が撮影された時にはソース画像カメラの位置よりも前にある。

同様に、床の角を含む出力画像１４０の場合、拡張現実サブシステム１２１は、各壁と床との交差により作られる２つの線の間の見掛け角度に応じて、画像１４０を調整する。三面体の下側角度１４５が１８０度より小さい場合、図４Ｃに示すように、出力画像１４０内の交点とサブシステム１２１におけるカメラとの間の距離は、ソース画像１０５が撮影されたときのソース画像カメラの距離よりも大きい。

三面体の下側角度１４５が１８０度より大きい場合、図４Ｄに示すように、出力画像１４０内の交点とサブシステム１２１におけるカメラとの間の距離は、ソース画像１０５が撮影されたときのソース画像カメラの距離よりも近い（短い）。

これら全ての角について、最初に推測は、２つの隣接する壁面の間の角度が９０度であることである。部屋中の壁の角度の合計が３６０度に等しくない場合、修正が行われる。

このソリューションは、いくつかの工程により、適切な計算資源を用いてリアルタイムで、半自動化または完全自動化することができる。

図５は、例示のコンピュータ支援設計ステーション３００のブロック図であり、以下においては、コンピュータシステムとも称する。本明細書において使用されるとき、用語「コンピュータ支援設計ステーション」および「コンピュータシステム」は、概して、上記で説明したプロセスおよび／または上記で説明したものに関連する任意の追加的なプロセスを実行するために使用される任意の適切なコンピュータ装置をいう。

例示の一実施形態において、コンピュータ支援設計ステーション３００は、上記で説明したプロセスおよび／または上記で説明したものに関連する任意の追加的なプロセスを実行する１つまたは複数のプロセッサ３０２を含む。用語「プロセッサ」は、概して、システムおよびマイクロコントローラ、ＲＩＳＣ（ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔｓ ｃｉｒｃｕｉｔ（縮小命令セット回路））、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃｅ ｉｎｔｅｒａｔｅｄ ｃｉｒｃｕｉｔ（特定用途向け集積回路））、プログラム可能論理回路、および／または本明細書に記載される機能を実行可能な任意の他の回路またはプロセッサを含む任意のプログラム可能システムをいう。上記の例は、単なる例示であり、従って、用語「プロセッサ」の定義および／または意味をいかようにも制限することは意図していない。

上記で説明したプロセッサおよび／または上記で説明したものに関連する任意の追加的なプロセッサの工程は、コンピュータ実行可能命令として、例えば、システムバス３０６によりプロセッサ３０２と動作可能または通信可能に連結される、メモリ領域３０４などの非一時的コンピュータ可読媒体に、格納されてよい。「メモリ領域」は、本明細書において使用されるとき、概して、減損現実ツール１００を使用して関心の環境の減損現実ビュー（画像）を生成する際に支援となる、１つまたは複数のプロセッサにより実行可能なプログラムコードおよび命令を格納する任意の手段をいう。メモリ領域３０４には、１つ、または複数の、メモリの形式が含まれてよい。例えば、メモリ領域３０４には、ＲＡＭ（ｒａｎｄｏｍ−ａｃｃｅｓｓ ｍｅｍｏｒｙ）３０８が含まれてよく、これには、不揮発性ＲＡＭ、磁気ＲＡＭ、強誘電体ＲＡＭ、および／または他の形式ＲＡＭが含まれてよい。メモリ領域３０４にはまた、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）３１０およびまたはフラッシュメモリおよび／またはＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ−ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）が含まれてよい。任意の他の適切な磁気、光および／または半導体のメモリ、例えば、ハードディスクドライブ（ＨＤＤ）３１２、が、それそのものとして、または他の形式のメモリと組み合わせられて、メモリ領域３０４に含まれてよい。ＨＤＤ３１２はまた、ディスクコントローラ３１４に連結されて、メッセージをプロセッサ３０２との間で送受信する際に使用されてもよい。さらに、メモリ領域３０４はまた、着脱可能または取外し可能なメモリ３１６、例えば、適切なカートリッジディスク、ＣＤ―ＲＯＭ、ＤＶＤ、またはＵＳＢメモリ、などであってよく、またはそれらを含んでよい。上記の例は、例示のみの目的のものであり、従って、用語「メモリ領域」の定義および／または意味をいかようにも制限することは意図していない。

コンピュータ支援設計ステーション３００にはまた、表示コントローラ３２０に、動作可能なように、連結される表示装置３１８が含まれてよい。表示コントローラ３２０は、表示装置３１８により表示するためのデータをシステムバス３０６を介して受け取る。表示装置３１８は、モニタ、テレビディスプレイ、プラズマディスプレイ、液晶ディスプレイ、ＬＥＤ（発光ダイオード）ベースのディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ベースのディスプレイ、表面伝導型電子放出素子ベースのディスプレイ、投影および／または反射画像を含むディスプレイ、または任意の他の適切な電子装置または表示機構、であってよいがこれに限定されない。さらに、表示装置３１８には、関連するタッチスクリーンコントローラを有するタッチスクリーンが含まれる。上記の例は、例示のみの目的のものであり、従って、用語「表示装置」の定義および／または意味をいかようにも制限することは意図していない。

さらに、コンピュータ支援設計ステーション３００は、ネットワーク（図５には図示せず）と通信する際に使用されるネットワークインターフェース３２２が含むようにしてよい。さらに、コンピュータ支援設計ステーション３００は、１つまたは複数の入力装置、例えば、キーボード３２４、および／または、ローラボール、マウス、タッチパッドなどのポインティング装置３２６を含めることができる。入力装置は、入力／出力（Ｉ／Ｏ）インターフェース３２８により連結かつ制御され、インターフェース３２８はさらにシステムバス３０６に連結される。

表示装置３１８、キーボード３２４、ポインティング装置３２６、ならびに、コントローラ３２０、ディスクコントローラ３１４、ネットワークインターフェース３２２、およびＩ／Ｏインターフェース３２８の全体的な特徴および機能性については既知であるため、簡潔にする目的で本明細書においては説明を省略する。

図６は、例示のシステム４００の概略ブロック図であり、上記で説明したプロセスおよび／または上記で説明したものに関連する任意の追加的なプロセスなどの、関心の環境の片づけられた／整ったまたは減損された現実のビューのコンピュータ支援設計に使用される。例示の一実施形態において、メモリ領域４０２には、１つまたは複数の記憶装置４０４が含まれ、ソース画像データ、モデル化された減損現実データなどのＣＡＤデータ、拡張現実データ、および／または拡張現実の物体に関するポジショニングデータの格納に使用される。いくつかの実施形態において、メモリ領域４０２はサーバ４０６と連結され、サーバ４０６は、ネットワーク４１２を介して管理システム４０８および／またはユーザシステム４１０に連結される。記憶装置４０４は、１つまたは複数のデータベースとして具現化されてよく、１つまたは複数の地理的場所に設置されてよく、または、サーバ４０６と統合されてもよい。

理解されるように、ネットワーク４１２は、インターネットなどの公衆網、またはＬＡＮもしくはＷＡＮネットワークなどの私的ネットワーク、またはその任意の組み合わせ、とすることができ、また、ＰＳＴＮまたはＩＳＤＮサブネットワークが含まれてもよい。ネットワーク４１２はまた、イーサネット（登録商標）ネットワークなどの有線とすることができ、または、ＥＤＧＥ、３Ｇおよび４Ｇ無線セルラーシステムを含むセルラーネットワークなどの無線とすることもできる。無線ネットワークはまた、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または既知の任意の他の無線形式の通信とすることができる。従って、ネットワーク４１２は単なる例であり、現在の進歩の範囲を全く制限しない。

当業者は認識するであろうが、管理システム４０８および／またはユーザシステム４１０は、図５を参照して説明したようなもの、または既知の任意の他のコンピュータシステムなどのコンピュータ支援設計ステーションとすることができる。さらに、管理システム４０８および／またはユーザシステム４１０が、上記で説明したプロセスおよび／または上記で説明したものに関連する任意の追加的なプロセスを実行するべく構成されることは理解すべきである。

サーバ４０６は、上記で説明したプロセスを実行するコンピュータ可読命令を格納し、かつ、これらの命令をネットワーク４１２を介して管理システム４０８およびユーザシステム４１０に提供する。さらに、サーバ４０６はまた、管理システム４０８およびユーザシステム４１０の必要に応じて、メモリ領域４０２からデータを提供する。このように、図６には、クラウドコンピューティング、分散コンピューティングなどを介したシステム４００の実装が含まれる。

減損現実の環境およびそのインタラクティブな画像をコンピュータ支援設計する際に使用するための、システム、方法、装置、コンピュータプログラム製品、およびコンピュータ可読記憶媒体、の例示の実施形態について上記で詳細に説明した。システム、方法、装置、コンピュータプログラム製品、およびコンピュータ可読記憶媒体は、本明細書に記載される具体的な実施形態に限定されず、むしろ、方法、プログラム製品および／または記憶媒体の作用、ならびに、システムおよび／または装置のコンポーネントは、本明細書に記載される作用および／またはコンポーネントからは独立かつ別個に利用されてよい。さらに、説明された作用および／またはコンポーネントはまた、他のシステム、方法、装置、プログラム製品および／または記憶媒体において定義されてよく、かつ、それらの組み合わせで使用されてよく、また、本明細書に記載されるようなシステム、方法、装置、プログラム製品および／または記憶媒体のみと共に実践されることに限定されない。

本明細書に記載されるようなコンピュータまたはコンピュータシステムには、少なくとも１つのプロセッサまたはプロセシングユニットおよびシステムメモリが含まれる。コンピュータまたはコンピュータシステムは典型的には、少なくともいくつかの形式のコンピュータ可読媒体を有する。制限ではなく例として、コンピュータ可読媒体には、コンピュータ記憶媒体および通信媒体が含まれる。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータ、などの情報を格納するための任意の方法または技術により実装される、揮発性および不揮発性の、取外し可能および取外し不可能な媒体含まれる。通信媒体は典型的には、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを、搬送波または転送機構などの変調データ信号で具現化し、かつ任意の情報配信媒体を含む。当業者は、変調データ信号には精通しており、変調データ信号の１つまたは複数の特徴が、信号内に情報を符号化する様式で、設定または変更されている。上記のうちの任意の組み合わせもまた、コンピュータ可読媒体の範囲に含まれる。

上記で説明したプロセスで使用するための例示の非一時的なコンピュータ実行可能コンポーネントには、表示コンポーネントが含まれるがこれのみを含むことに限定されず、表示コンポーネントは、プロセッサ３０２（図５に示す）に、モデル化された減損現実環境１３１を、ユーザ選択可能な実世界の物体を表す拡張現実画像要素に重畳して、表示装置３１８（図５に示す）上に提示することを行わせる。コンポーネントにはまた、プロセッサ３０２に、例えば、Ｉ／Ｏインターフェース３２８（図５に示す）を介して入力されるユーザ入力を受け取るインターフェースコンポーネントが含まれる。上記で説明したように、ユーザ入力は、対象環境の物理的な詳細を示して物体を片づける／整えることに関連してよく、ＣＡＤモデルビューを作成する、減損現実のＣＡＤモデルビューに、拡張現実ビューを重ねる、ツール１００のインスタンスを作成する、および／またはユーザインタラクティブな拡張現実ビュー１４０を位置決めする（整列させる）。

さらに、コンポーネントには、上記で説明した工程をプロセッサ３０２に実行させる現実ステージングエンジンコンポーネントおよび３Ｄモデリングコンポーネントが含まれる。現実ステージングエンジンは３Ｄモデリングコンポーネントと共に、現実において減損され、元々表示されていたユーザ選択の物体が片づけられ、拡張現実ビュー１４０内の仮想要素が重ねられた、対象環境ＣＡＤモデルビューを生成する。拡張現実コンポーネントは、これとのユーザインタラクションを可能にして、ユーザによって変更（例えば、再配置、再組織化）され、更新され（色、テクスチャ、など）、および／または置換される現実世界の物体を表す、仮想の要素を更新する。

本発明は、例示のコンピュータシステム環境との関連で説明したが、本発明の実施形態は、多数の他の汎用または専用のコンピュータシステムまたは構成において操作可能である。コンピュータシステム環境では、本発明の任意の態様の使用または機能性の範囲について、任意の制限を示唆することは意図されない。さらに、コンピュータシステム環境は、例示の動作環境において示されるコンポーネントのうちの任意の１つまたは組み合わせに関して、任意の依存または要件を有するものと解釈されるべきではない。本発明の態様を用いる使用に適切であるような周知のコンピュータシステム、環境、および／または構成には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップの装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能家庭用電化製品、携帯電話、ネットワークＰＣ、ミニコンピュータ、マインフレームコンピュータ、上記のシステムまたは装置のいずれかを含む分散コンピュータ環境など、が含まれるが、これに限定されない。

本発明の実施形態は、１つまたは複数のコンピュータまたは他の装置により実行されるプログラムコンポーネントまたはモジュールなどの、コンピュータ実行可能命令の一般的文脈で説明することができる。本発明の態様は、任意の数および組織のコンポーネントまたはモジュールを用いて実装することができる。例えば、本発明の態様は、図面に示されかつ本明細書に記載される、特定のコンピュータ実行可能命令または特定のコンポーネントまたはモジュールに限定されない。本発明の代替え実施形態には、本明細書に示されかつ記載されるものより多いかまたは少ない機能性を有する、異なるコンピュータ実行可能命令またはコンポーネントが含まれてよい。

本明細書に示されかつ記載される本発明の実施形態における動作を実行するまたは行う順番は、特に指定されない限り、重要ではない。すなわち、動作は、特に指定されない限り、任意の順番で行われてよく、本発明の実施形態には、本明細書に開示されるものより追加されたまたはより少ない動作が含まれてよい。例えば、特別の動作を、別の動作の前、同時、または後に実行するまたは行うことは、本発明の態様の範囲内である。

本発明の態様の要素または実施形態を導入する際、冠詞の「１つの」、「ある」、「その」および「前記」は、１つまたは複数の要素がある、ということを意味することが意図される。用語「備える」「含む」および「有する」は包括的であり、かつ、列挙される要素の他に追加的な要素があり得る、ということを意味することが意図される。

本記載は例を使用して、最良の形態を含む、本発明を開示し、かつ、任意の装置またはシステムを作成および使用すること、ならびに、任意の組み込まれる方法を実行すること、を含む本発明の実践を、任意の当業者が行うことを可能とする。本発明の特許性を有する範囲は、請求の範囲により定義され、また、当業者が想到する他の例を含むことができる。そのような他の例は、請求項の文字通り言語とは異ならない構造要素を有する場合、または、請求項の文字通り言語とは実体のない相違を有する等価の構造要素を含む場合、請求の範囲内であることが意図される。

本発明は、その例示の実施形態を参照して特に示されかつ説明されたが、添付の請求項により網羅される本発明の範囲から逸脱することなく、形式および詳細についての種々の変更がなされ得ることは、当業者には理解されるであろう

Claims (20)

1. 対象環境を表示するコンピュータによる実行方法であって、
   現在の状態で対象環境を表示する二次元（２Ｄ）ソース画像を受信するステップと、
   前記２Ｄソース画像内の線区分と前記２Ｄソース画像から外挿された線区分とに基づいて前記対象環境の境界を画定する線区分を決定するステップであって、前記決定された線区分は前記対象環境の背景であるステップと、
   前記対象環境の３Ｄ減損現実の３Ｄモデルをデジタル的に形成するステップであって、
   前記３Ｄモデルは前記対象環境の背景に基づき、前記３Ｄモデルから除去された背景とは別の前記２Ｄソース画像のオブジェクトを有するステップによって、
   第１のビューが前記対象環境の減損現実となるように、対象環境を現在の状態の代わりに開始の状態で示す前記第１のビューを形成する１つまたは複数の画像のセットをデジタル的に生成するステップと、
   前記現在の状態ではなく、可能となるコンピュータを基にした相互作用に基づいた拡張を有する前記開始の状態において、前記第１のビューを形成する画像のセットとのコンピュータベースのユーザ相互作用を、第２のビューを生成する態様で可能にするステップであって、前記第２のビューは前記対象環境の３Ｄ拡張現実表現である、ステップと、
   を含むことを特徴とするコンピュータによる実行方法。
2. 画像のセットをデジタル的に生成するステップは、
   プロセッサにおいて、現在の状態で前記対象環境を表示するソース画像を受け取るステ
   ップと、
   前記対象環境の境界を定義する前記ソース画像において線区分を判定するステップと、
   前記判定される線区分から、前記対象環境の減損現実の３Ｄモデルをデジタル的に形成
   するステップと
   を含むことを特徴とする請求項１に記載のコンピュータによる実行方法。
3. 前記第１のビューは、前記ソース画像内に表示される現実世界の物体の量よりも少ない
   、前記対象環境内における現実世界の物体の量を示すことを特徴とする請求項２に記載の
   コンピュータによる実行方法。
4. 前記第１のビューは、物体のベア状態である前記対象環境を示すことを特徴とする請求
   項２に記載のコンピュータによる実行方法。
5. コンピュータベースのユーザ相互作用を可能にするステップは、ユーザインターフェー
   スを拡張現実サブシステムに提供することを含むことを特徴とする請求項１に記載のコン
   ピュータによる実行方法。
6. 前記生成される第２のビューは、前記第１のビュー上に１つまたは複数の仮想要素を重
   畳し、各仮想要素はそれぞれの現実世界の物体を表すことを特徴とする請求項１に記載の
   コンピュータによる実行方法。
7. 対象環境が部屋であり、
   前記第１のビューは、前記部屋の現在の状態であるのに反して、実質的に空きである前
   記部屋を示すことを特徴とする請求項１に記載のコンピュータによる実行方法。
8. 前記第２のビューは、
   前記部屋の現在の状態には欠く、前記部屋の中の１つまたは複数の物体と、
   前記部屋の現在の状態とは異なる、前記部屋の中の１つまたは複数の物体と、
   のうちの一つとともに、前記部屋の拡張現実表現を表示することを特徴とする請求項７
   に記載のコンピュータによる実行方法。
9. 前記１つまたは複数の物体は、家具、備え付け家具、アメニティ、および装飾品のうち
   のいずれかであることを特徴とする請求項８に記載のコンピュータによる実行方法。
10. 前記対象環境における複数の物体のそれぞれについて、前記第１のビュー内での前記物
    体の表示がユーザ選択可能であることを特徴とする請求項１に記載のコンピュータによる
    実行方法。
11. 前記第１のビューを形成する画像の前記セットを使用して、減損現実において前記対象
    環境の３Ｄモデルを作成するステップをさらに含み、前記３Ｄモデルは、前記対象環境の
    前記拡張現実表現に採用されることを特徴とする請求項１に記載のコンピュータによる実
    行方法。
12. 対象環境を表示するコンピュータ装置であって、
    現在の状態で対象環境を表示する二次元（２Ｄ）ソース画像を受信し、
    前記２Ｄソース画像内の線区分と前記２Ｄソース画像から外挿された線区分とに基づいて前記対象環境の境界を画定する線区分を決定し、前記決定された線分は前記対象環境の背景であることによって、
    プロセッサにより実行可能であり、かつ、対象環境を現在の段階以外の段階で示す第１のビューを形成する１つまたは複数の画像のセットを生成するように構成される、現実ステージングエンジンと、
    前記対象環境の３Ｄ減損現実の３Ｄモデルをデジタル的に形成し、前記３Ｄモデルは前記対象環境の背景に基づき、前記３Ｄモデルから除去された背景とは別の前記２Ｄソース画像のオブジェクトを有することにより、前記現実ステージングエンジンから前記生成される画像のセットを受け取るように連結される３Ｄモデラであって、減損現実において対象環境の３Ｄモデルを形成するように構成される、３Ｄモデラと、
    前記現在の状態ではなく、可能となるコンピュータを基にした相互作用に基づく拡張を有する開始の状態において、前記３Ｄモデルから形成される前記対象環境の拡張現実表現とのユーザ相互作用を可能にする拡張現実インターフェースと
    を備えることを特徴とするコンピュータ装置。
13. 前記現実ステージングエンジンは、
    前記対象環境を前記現在の段階で表示する１つまたは複数の画像を受け取り、
    前記対象環境の境界を定義するソース画像において線区分を判定する
    ようにさらに構成されることを特徴とする請求項１２に記載のコンピュータ装置。
14. 前記３Ｄモデラは、前記判定される線区分から前記３Ｄモデルを形成するように構成さ
    れることを特徴とする請求項１３に記載のコンピュータ装置。
15. 前記第１のビューは、前記対象環境の前記３Ｄモデル内の現実世界の物体の量がソース
    画像内に表示される現実世界の物体の量よりも少なくなるように、前記ソース画像内に表
    示される現実世界の物体の量よりも少ない、前記対象環境内における現実世界の物体の量
    を示すことを特徴とする請求項１４に記載のコンピュータ装置。
16. 前記拡張現実インターフェースは、前記３Ｄモデルのビュー上に１つまたは複数の仮想
    要素を重畳し、各仮想要素はそれぞれの現実世界の物体を表すことを特徴とする請求項１
    ２に記載のコンピュータ装置。
17. 前記対象環境は部屋であり、前記第１のビューは、実質的に空きである前記部屋を示す
    ことを特徴とする請求項１２に記載のコンピュータ装置。
18. 前記部屋の前記拡張現実表現は、
    前記部屋の前記現在の状態を欠く、前記部屋の中の１つまたは複数の物体と、
    前記部屋の前記現在の状態とは異なる、前記部屋の中の１つまたは複数の物体と
    のうちの一つと共に表示されることを特徴とする請求項１７に記載のコンピュータ装置
    。
19. 前記物体は、家具、備え付け家具、アメニティ、および装飾品のうちのいずれかである
    ことを特徴とする請求項１８に記載のコンピュータ装置。
20. コンピュータによって実行されるときに、請求項１ないし１１のいずれか１項に記載の
    方法を前記コンピュータに実行させる、対象環境を表示するためのコンピュータプログラ
    ム。