JP6022562B2 - モバイル拡張現実システム - Google Patents

Description

本発明の実施形態は、概してモバイルコンピューティング装置に関し、より具体的には画像装置によってキャプチャされたライブビュー（生映像）を関連コンテンツで拡張（オーグメント）することに関する。

モバイル（移動式）コンピューティング装置は、典型的に、カメラと、位置センサ及び方位センサと、ますます強力になる計算リソースとを含んでいる。モバイルコンピューティング装置はまた、高帯域幅の接続を構築して、クラウドコンピューティング基盤及びサービスプロバイダを利用することができる。

モバイルコンピューティング装置に含まれるディスプレイは、装置ユーザがリアルタイム画像データ（例えば、写真、ビデオ）をキャプチャすることを可能にするライブ・ファインダとして使用されることがあるが、大抵のアプリケーションは、表示されるライブビュー（すなわち、ファインダ）内の対象物に関連する追加情報をユーザに提供することのためには、モバイルコンピューティング装置に利用可能な計算リソースを利用していない。ライブビューを増強すなわち拡張することを試みる限られた数のアプリケーションも、例えばユーザと或る概略位置との間の距離などの基本的な情報、又はユーザの周りについての基本的な情報（例えば、ライブビュー内の企業の業種）を表示することに限られており、これは、ユーザの位置に関して、そしてライブビュー内にキャプチャされるユーザの周りの描写に関して不正確である。

例えば、キャプチャされたライブビュー内で特定の企業の位置を特定することをユーザが望んでいるが、その企業が幾つかの他の企業とともに或る建物に入居している場合、現行のソリューションは、その建物を特定するデータでライブビューを拡張することはできても、その企業の位置についてのもっと正確な情報を伝えることはできない。

モバイル拡張現実システムを開示する。

一実施形態に係る方法は、興味ポイント（ＰＯＩ）を指定するデータを受信し、イメージセンサによってキャプチャされたライブビュー内に含まれる、前記ＰＯＩを含む構造物の表面を検出し、前記ＰＯＩに対する前記イメージセンサの位置及び向きを、前記ライブビュー内に含まれる前記構造物の前記検出された表面と、第２のセンサからのデータと、に少なくとも部分的に基づいて決定し、前記イメージセンサが前記ライブビューをキャプチャする間、前記イメージセンサの前記位置及び前記向きを追跡することを含み得る。この方法は更に、前記ライブビューを拡張するための前記ＰＯＩに関連付けられた画像データを含む表示データを生成することを含み、該画像データは、前記構造物の前記検出された表面の前記ＰＯＩの位置で前記ライブビュー内に表示されるとき、前記イメージセンサの前記位置及び前記向きと３次元的に一致する。

以下の記載は、本発明の実施形態の実現例として与えられる説明図を有する図面の説明を含んでいる。図面は、限定としてではなく、例として理解されるべきである。ここでは、１つ以上の“実施形態”への言及は、本発明の少なくとも１つの実現例に含まれる機能、構造又は特徴を説明するものとして理解されるものである。故に、ここに現れる“一実施形態において”又は“他の一実施形態において”などの言い回しは、本発明の様々な実施形態及び実現例を説明するものであり、必ずしも同一の実施形態について言及しているわけではない。また、それらは必ずしも相互に排他的なものでもない。
本発明の一実施形態を示すフロー図である。 本発明の一実施形態に従って画像データを拡張するために使用される３Ｄモデルを示す図である。 本発明の一実施形態に従って拡張されるライブビューシーンを示す図である。 本発明の一実施形態に従って３Ｄクラウドデータに基づいて生成される複数の投影マスクを例示する図である。 本発明の一実施形態に従った拡張されたライブビューを例示する図である。 本発明の一実施形態に従った複数の興味ポイントに関する投影マスク及び拡張されたライブビューを例示する図である。 本発明の一実施形態に従った複数の興味ポイントに関する投影マスク及び拡張されたライブビューを例示する図である。 本発明の一実施形態を利用し得るシステムを示すブロック図である。 以下は、後述する実施形態の一部又は全てを描写し得る図面の説明、及びここに提示される発明概念のその他の可能性ある実施形態又は実現例の議論を含む、特定の細部及び実現例の説明である。本発明の実施形態の概説が以下にて提供され、それに続いて、図面を参照しての更に詳細な説明が行われる。

本発明の実施形態は、モバイルコンピューティング装置上に表示される関連データで拡張された画像データを提供するシステム、装置及び方法に関する。現行のソリューションは３Ｄデータを処理して限られたリアルタイム物体認識を実行するが、そのような情報は有用な情報をユーザに伝えるのに不十分なことがある。例えば、キャプチャされたライブビュー内で特定の企業の位置を特定することをユーザが望んでいるが、その企業が幾つかの他の企業とともに或る建物に入居している場合、３Ｄポイントクラウド（点群）データのみを処理することは、その企業の位置がどこかをユーザに教えるのに十分な情報を生成しない。換言すれば、現行のソリューションは、このような状況において、建物を特定するデータでライブビューを拡張することはできても、企業の位置についてのもっと正確な情報を伝えることはできない。

本発明の実施形態は、例えば、共通の建物の外観内に含まれる或る１つの店舗正面口（又は複数の店舗正面口）の範囲を見い出すなど、３Ｄポイントクラウドデータ内の他の物体の中から或る物体を特定する情報でライブビューを拡張することによって、上述の限界を解消する。本発明の実施形態は、ライブビュー内の物体の具体的な位置を取得するために、例えばその物体に関する画像データ及び位置データなど、他の関連データを利用し得る。

本発明の実施形態は更に、モバイルコンピューティング装置のイメージセンサの位置及び向きと３次元的に一致する拡張データとともにライブビューを表示し得る。本発明の実施形態は、ライブビュー画像データ及び既存の３Ｄ画像データを処理することによって、ライブビューのアライメントを決定し得る。イメージセンサの位置及び方位の決定は更に、ホストのモバイルコンピューティング装置のその他のセンサからのセンサデータに基づいてもよい。

後述するシナリオ例は、複数の企業又は店舗を含んだ建物内の興味ポイントに注目したものである。理解されるように、本発明の実施形態は、例えば、壁内に含まれる一組の輪郭によって画定される物体、本棚内に含まれる書物の区画、或る彫刻の特定の造形部など、或る物体内に含まれるが３Ｄポイントクラウドデータのみからでは区別することができない如何なる興味ポイントにも使用され得る。

図１は、本発明の一実施形態のフロー図である。ここに例示するフロー図は、様々な処理動作のシーケンスの例を与えるものである。特定のシーケンス又は順序で示されるが、特に断らない限り、動作順序は変更可能である。故に、示される実現例は単に例として理解されるべきであり、示されるプロセスは異なる順序で実行されることができ、また、幾つかの動作が並行して実行されてもよい。更に、本発明の様々な実施形態においては１つ以上の動作が省略されることができ、故に、全ての動作が全ての実現形態で必要とされるわけではない。他のプロセスフローも可能である。

プロセスフロー１００において、ステップ１１０にて、物体に関する３Ｄクラウドデータのデータベースが処理される。このデータベースは、ライダー、ステレオ撮像、ストラクチャードライト（構造化光）、飛行時間カメラ、又は物体の３Ｄモデルを生成するための入力として使用されるその他の技術、によって取得された３Ｄポイントクラウドデータを含み得る。理解されるように、物体の３Ｄモデルは、その物体の様々な輪郭を表現する複数のセグメント（断片）を含むことになる。例えば、単純な立方体形状を有する物体の３Ｄモデルは、複数の２Ｄ平面の配置を含むことになり、より複雑な表面変化を有する物体は、２Ｄ平面と３Ｄセグメントとの双方を含み得る。

故に、物体の３Ｄデータを処理することは、物体セグメント（例えば、２Ｄ平面）を抽出することと、ポイントクラウドデータの組を結合することと、ポイントクラウドデータを位置データと関連付けること（後述する）と、ノイズ除去とを含み得る。この３Ｄデータの処理は、異なるプロセスによって異なる順序で実行されてもよい。

一部の実施形態において、３Ｄデータを処理することは更に、予め格納された様々な視野角（ビューアングル）からの物体又はシーンの複数の２Ｄ画像を、複数の異なる視野角及び観察位置（ビューポジション）からの対応する３Ｄポイントクラウドデータセットとともに処理することを含み得る。これらのポイントクラウドデータセットは重なっていてもよい。重なっている領域を特定するため、それら複数セットのポイントクラウドデータは局所的な近隣に限定され、関連するポイントクラウド情報が融合され得る。

一実施形態において、３Ｄポイントクラウドデータセットは、実際の３Ｄポイントの一組のノイズのある測定結果としてモデル化される（ノイズ源は測定地点の不確かさ、その方位、センサノイズなどを含み得る）。そして、ノイズ統計の評価と、重なっている領域内のオリジナル（元の）３Ｄポイントセットとが取得され得る。これらのノイズ統計は、後述のように使用されることになる投影マスクを抽出するために、全てのポイントクラウドデータセットに関する一層良好な３Ｄポイントの評価を得るのに利用され得る。理解されるように、重なり領域内の３Ｄポイントが最も正確な評価を有し、故に、これらのポイントに、それらが属する投影マスクを評価する際に優先度を与えてもよい（例えば、これらのポイントに大き目の重みを割り当てて、投影マスクパラメータの評価に加重最小二乗法が使用され得る）。

一実施形態において、３Ｄポイントクラウドデータに関連する確かさ／信頼性情報が受信される。この追加情報は、３Ｄポイント測定の信頼性を推測するために３Ｄポイントクラウドデータとともに活用され得る。一実施形態において、より正確に３Ｄポイントクラウドデータから物体を特定するために、色情報が用いられ得る。例えば、同じ平面内にあり、ピクセル距離において近く、且つ同様の色を有する（すなわち、予め格納された画像内の同じ色のピクセルに対応する）３Ｄポイントは、同一のポテンシャル物体（可能性ある物体）に指定される傾向にある。

ステップ１２０にて、モバイルコンピューティング装置のイメージセンサによってキャプチャされるライブビュー内で、リアルタイム物体検出が実行され得る。上述のように、３Ｄポイントクラウドデータから抽出された物体セグメントは、予め格納された画像データの大まかな３Ｄモデルを形成する。３Ｄモデルからのこれら物体セグメントを使用して、キャプチャされたライブビュー内でその物体を特定し得る。一実施形態において、物体を特定することの助けとなるよう、例えばモバイルコンピューティング装置の位置を特定するデータなどの関連データも使用され得る。モバイルコンピューティング装置は、システムコンポーネント及びアプリケーション（例えば、グローバルポジショニングシステム（ＧＰＳ）センサ、セルラー若しくはＷｉＦｉネットワーク接続、方位センサ）を利用して、当該装置の位置を絞り込んでもよい。

ステップ１３０にて、モバイルコンピューティング装置のイメージセンサの、物体に対する位置及び向きが決定される。これらの位置及び向きは、キャプチャされた物体のライブビューに基づいて決定され得る。すなわち、ライブビュー内でどの物体セグメントが見えているかを特定し、それら物体セグメントを物体の３Ｄモデルに対してマッチングすることによって、モバイルコンピューティング装置のイメージセンサが物体に対してどこに位置しているかを決定することができる。立方体形状の物体を眺める例に戻るに、その立方体状物体の北向きの側面がライブビュー内で視認できる場合、イメージセンサが、ライブビュー内で物体の１つの側面のみを視認できるのに十分な近さの物体の近傍で、立方体状物体の北に位置していることを決定することができる。一実施形態において、関連付けられる上述の位置データはまた、イメージセンサの位置及び視野角を決定することを助けるためにも使用される。

ステップ１４０にて、物体に含まれる興味ポイント用の投影マスクが物体の３Ｄモデルから生成される。興味ポイントは例えば、名称、カテゴリー、主題などによって特定され得る。上述のように、興味ポイントを目立たせるように物体を拡張することにおいて特に難しいのは、物体がその他にもポテンシャル興味ポイント（可能性ある興味ポイント）を含んでいるときである。故に、複数のポテンシャル興味ポイントが、物体の同一３Ｄモデル内に含まれることになり、また、３Ｄモデルの同一３Ｄセグメント内、あるいは更には３Ｄモデルの同一２Ｄ平面内に含まれることもある。

一実施形態において、イメージセンサの位置及び向きの情報が、近似ビュー（例えば、基準モデル）の近くのビューを有する興味ポイントの近似位置の、関連する予め格納された画像データとともに、物体の視覚的な特徴を抽出するために使用され得る。これら視覚的な特徴が３Ｄモデルの適切なセグメントにマッピングされ、物体の３Ｄモデル内のその興味ポイント用の投影マスクが形成される。故に、各投影マスクは、３Ｄモデルのセグメントのサブセット（部分集合）を含むことになり、あるいは状況により、後述のように、３Ｄモデルの１つのセグメントの一部を含むことになる。

そしてステップ１５０にて、画像データが投影マスク内に含められるよう、且つ画像データがイメージセンサの位置及び向きと３次元的に一致して表示されるよう、ライブビューが画像データで拡張される。故に、拡張アプリケーション又はモジュールは、興味ポイント又は興味物体に関連する生成された投影マスク内にデータを投影し得る。換言すれば、ユーザは、モバイルコンピューティング装置を用いて画像を取得し、それを３Ｄモデルにおける正確な眺めに合わせることができる。画像又はライブビューは、例えばテキスト、画像若しくはビデオ、又は何らかの３Ｄ構造などの追加情報を正確な眺めで付加して、リアルタイムに拡張され得る。

上述の実施形態プロセスを実行するモバイルクライアントプラットフォームは、カメラ、位置センサ及び方位センサ、並びに無線通信能力を含み得る。一実施形態において、モバイルクライアント装置は、サーバからの処理されたデータにネットワークを介してリアルタイムにアクセスする。ユーザがコスト又はその他の理由によりネットワークに接続することができない場合には、小さいデータベースをモバイルクライアント装置に予めロードすることができる。

故に、本発明の実施形態は、オフラインでのデータベース処理、オンラインでの物体検出、及びモバイルコンピューティング装置追跡を実行し、オフラインデータ及びオンラインデータを有意義な拡張ユーザ表示へと結合してもよい。

図２は、本発明の一実施形態に従って画像データを拡張するために使用される３Ｄモデルを示す図である。図２は、本発明の実施形態によって処理され得る画像データ、３Ｄポイントクラウドデータ及び投影マスクを例示している。３Ｄポイントクラウド（点群）２５０は、物体２０５の予め格納された３Ｄ画像２００に対応している。クラウド２５０内の各３Ｄポイントは、画像２００のピクセルの実際の３Ｄ位置を表す。画像２００内の一部のピクセル（例えば、空の中のピクセル）は、対応する３Ｄポイントを有しないことがある。

一部の実施形態において、３Ｄポイントクラウドデータ２５０は、後続処理に一層適した座標系に変換される。例えば、３Ｄポイントクラウドデータ２５０が“緯度、経度及び高度”のフォーマットである場合、このフォーマットを、座標値が小さくなるよう（すなわち、地球の中心を原点とする系における座標と比較して）、例えば東、北、高さ（east，north，up；ＥＮＵ）などの座標系へと変換することがより有用となり得る。この変換はまた、３Ｄポイントクラウドデータ２５０の鉛直方向及び水平方向を更に良好に伝え得る。

一部の実施形態において、３Ｄポイントクラウドデータ２５０は、より大きい３Ｄポイントクラウドデータセットを計算の高速化のために部分サンプリングしたものから得られる。これは、予め格納された画像又は対応する３Ｄポイントクラウドをダウンサンプリングすることによって達成され得る。例えば、２００×５００の画像の場合、対応する３Ｄポイントクラウドデータのサイズは１５０，０００ものポイントで構成され得る。この画像を水平方向及び鉛直方向の双方の次元でレート１０でサンプリングすることにより、３Ｄポイントの数は１，５００ポイントまで減少され得る。

３Ｄポイントクラウドデータ２５０から物体２０５の輪郭を決定するため、本発明の実施形態は、３Ｄポイントクラウドデータを任意にサンプリングするのではなく、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）手法を採用してもよく、ＲＡＮＳＡＣにおけるサンプリング処理をガイドするために、予め格納された画像２００及び３Ｄポイントクラウドデータ２５０の双方を組み合わせてもよい。この例において、物体２０５は立方体形状であるので、その３Ｄモデルは、２Ｄ平面セグメント２９０、２９１及び２９２を含む限られた数の２Ｄ平面からなる。

物体２０５内のユーザ指定された興味ポイントを特定する使用例において、何れの２Ｄ平面セグメントがその興味ポイントを含んでいるかが決定され得る。この例において、ユーザ指定された興味ポイントは２Ｄ平面セグメント２９０及び２９１内に見えている。ユーザ選択された興味ポイントのその他の情報を処理して、図示のような投影マスク２９９を生成するための興味ポイントの境界が決定される。

図３は、本発明の一実施形態に従って拡張されるライブビューシーンである。この例において、ディスプレイ３１０は、モバイルコンピューティング装置３００に含まれたイメージセンサ（例えば、カメラ）を介したユーザの周囲のリアルタイムビュー３２０を含んでいる。この装置は、例えばラップトップコンピュータ、タブレットコンピュータ、スマートフォン、手持ち式コンピューティング装置、車両コンピューティングシステムなど、如何なる可搬式コンピューティングシステムであってもよい。

理解されるように、リアルタイムビュー３２０を表示することにより、ディスプレイ３１０は、画像データ（例えば、写真、ビデオ）を表示するファインダとして機能して、ユーザが装置３００のイメージセンサの標的を観察することを可能にし得る。この例において、リアルタイムビュー３２０は建物３３０、３４０、３５０、３６０及び３７０のビューを含んでおり、これら建物のビューの一部は樹木３８０及び３８５によって部分的に遮られている。

本発明の実施形態は、モバイル装置３００でのリアルタイムの使用のために、利用可能な３Ｄモデル及び潜在的な拡張情報を処理する。例えば、本発明の実施形態は、所在地住所、３Ｄモデル、３Ｄポイントクラウド、奥行画像、及び放射測定（カラー）画像を融合して、各建物内のポテンシャル興味ポイントの真の範囲を決定し得る。一部の実施形態はこの情報をオフラインで前処理するので、時間、計算の複雑さ、又は記憶に厳しい制約は存在しない（すなわち、理解されるように、建物検出は計算的に高価な演算であり、典型的にビデオフレームレートで実行されることができない）。

また、上述の処理は、装置３００がビュー３２０内の建物の検出（すなわち、認識）及び追跡を行って建物に対する装置３００のイメージセンサの位置及び向きを推定することを可能にする。一実施形態において、ＧＰＳ、又は例えばＷｉＦｉ及び３Ｇなどのその他の位置特定サービスが、方位センサ（例えば、コンパス、加速度計）と結合されて、イメージセンサの位置及び向きを見い出すために使用される。理解されるように、システムは位置及び向きの制約を満たすデータベース画像のみに対してマッチングを行えばよいので、このセンサ情報は建物検出を簡易化し得る。建物検出を行うため、装置３００の入力ビデオフレームからの視覚的な特徴が抽出され、これが、候補データベース画像からの前処理された視覚的な特徴と比較され得る。

建物検出及び装置追跡の処理は計算のために異なる時間長さを要し得るので、本発明の実施形態は、マルチスレッド化されたフレームワークを用いてこれらのタスクを連係させてもよい。例えば、装置３００の位置及び向きを決定するための追跡スレッドはリアルタイムで行われる一方で、建物検出スレッドは厳しい時間制約なしで行われてもよい。マルチスレッド化されたフレームワークはまた、建物検出スレッドからの出力と追跡スレッドからの出力とを連係させ得る。一実施形態において、確かさ測定を利用して、建物検出処理からの出力の信頼性が検査され、新たな結果が利用可能なとき、それらが以前の結果より確かである場合にディスプレイ３１０が更新される。確かさ値が追跡スレッドからの古くなった確かさ値より大きい場合、建物検出スレッドからの出力を用いて、装置３００の決定された姿勢が更新される。

故に、ライブビュー３２０を拡張することに先立ち、本発明の実施形態は、上述の建物検出・装置追跡処理を実行し得る。この処理は、モバイルコンピューティング装置上、モバイルコンピューティング装置に動作的に結合された別のコンピューティング装置若しくはサーバ上、又はこれらの組み合わせで行われ得る。同様に、建物検出・装置追跡処理で使用されるデータは、モバイルコンピューティング装置上、モバイルコンピューティング装置に動作的に結合された別のコンピューティング装置若しくはサーバ上、又はこれらの組み合わせに含められ得る。

この例において、装置３００の位置は、建物３３０−３７０の正面のみがビュー３２０内にあるような位置である。上述のように、ユーザ指定の興味ポイントがその他の非選択企業とともに或る建物内に含まれる企業であるとき、特定の難題が屋外建物認識及び拡張に発生する。この例において、建物３３０及び３５０は各々、複数の企業を含んでおり、故に、単に建物を特定して各建物の正面に関する投影マスクを抽出するだけでは、意味のある拡張コンテンツをユーザに伝えることには十分でない。これらの理由により、システムは、各建物の緯度及び経度とともに、その３Ｄ幾何学構成を認識しなければならない。シーンが拡張されるとき、意味があるようにラベルを個々の店舗正面口に関連付けなければならない。故に、本発明の実施形態は更に、関連データを処理することで、拡張コンテンツを関連する店舗正面口に位置決めし、建物の正面のうちの適切な部分に拡張コンテンツが現れるように投影マスクを生成することを可能にする。一実施形態において、拡張コンテンツは店舗正面口の中心又はその付近に置かれ、生成される投影マスクの範囲は店舗正面口の範囲と同じにされる。この種の体験をユーザに提示するため、本発明の実施形態は、適切な場合に、建物を意味的に拡張し得る。

図４は、本発明の一実施形態に従って３Ｄクラウドデータに基づいて生成される複数の投影マスクを例示するものである。図示する投影マスクは、上述のプロセスを介して、ビュー３２０に関係する３Ｄ情報から抽出される。この例において、ビュー３２０内で建物の形状及びそれらの眺めが与えられており、複数の投影マスクが、各建物の正面に含まれる２Ｄ平面セグメントであるように示されている。

建物３３０は、４つの異なるポテンシャル興味ポイント（例えば、４つの異なる企業）を含んでおり、投影マスク４３１、４３２、４３３及び４３４によって表されている。建物３５０は、３つの異なるポテンシャル興味ポイントを含んでおり、投影マスク４５１、４５２及び４５３によって表されている。建物３４０、３６０及び３７０は各々１つのポテンシャル興味ポイントを含むのみであり、故に、各々がそれぞれ単一の投影マスク４４１、４６１及び４７１によって表されている。

上述の投影マスクの各々は、ビュー３２０に現れるとき、それらそれぞれの建物の表面と幾何学的に一致する。複数のポテンシャル興味ポイントを含んでいる建物３３０及び３５０に関し、本発明の実施形態は、適切な投影マスクを生成するために、位置情報、建物幾何学構成、及び視覚的イメージを処理し得る。

一実施形態において、建物の３Ｄモデルにおける店舗正面口の中心が推定される。この中心は、例えば、所在地ブロックに対する各店舗正面口の順序及び大体の位置を与え得るものである各企業の既知の所在地住所を活用して推定され得る。そして、幾何学的な制約を強いて、この粗い推定を３Ｄモデル上に投影することができる。このような制約は、店舗正面口の最小幅及び最大幅、又は正面の区別可能な平面に対する位置を含み得る。

一実施形態において、処理されたデータは、既知の高密度のＧＰＳ位置でのストリートレベルの球面パノラマ画像の集合を含む。奥行データの形態の３Ｄ情報とともに処理されたこれらの画像、及び一連の投影マスクは、ビュー３２０に含まれる都市景観の構造を近似することになる。上述のように、一部の実施形態において、このようなデータをモバイル装置上での処理（例えば、検出、追跡、及び拡張）に使用可能にするには前処理が必要である。これらのパノラマは、ディスプレイ３１０を含んだ装置に対して固定された向きで上述の平面に該パノラマを投影することによって処理される。理解されるように、このような投影された２Ｄ画像は、モバイル装置からの問い合わせ画像と同様のジオメトリを有するとき、モバイル装置上での視覚的なマッチングの基準画像として使用されるのに適したものとなり得る。

一実施形態において、各建物内の個々の店舗正面口の真の範囲の更なる推定が、上述のストリートレベルの球面パノラマ画像の集合を用いて行われる。各店舗正面口はデータベース内の複数のビューに表されており、それらから細かい尺度の奥行が再構成される。そして、このカラー及び奥行のデータが３Ｄモデルを用いて組み立てられ、各店舗正面口の範囲が、自然なカラー及び／又は奥行境界に到達するまで、中心点から拡大され得る。

本発明の実施形態は更に、例えば投影マスクの中心のＧＰＳ座標といった位置情報を用いて、ジオコーディング（平面画像セグメントに座標を付与すること）、又は逆ジオコーディング（所与の位置に関する既存情報を調べること）を実行し得る。逆ジオコーディングは、リアルタイム装置オペレーションのための拡張情報の１つのソース（情報源）として使用されることができる。ジオコーディングシステムの準備が整うと、後の使用のためにユーザに関してレガシー画像・ビデオコンテンツにジオタギングするサービスとして配備され得る。

店舗正面口の範囲を推定することは更に、事業主又は装置ユーザによって提供される一層多くのデータを含めることによって支援されることができる。装置ユーザの場合、本発明の実施形態は、拡張を操作するための単純な編集方法を提供し得る。これは、ユーザがコーナーを移動することを可能にされる単純な多角形とし得る。これは、サービスを迅速に更新するために、正確であるが僅かに位置がずれた結果をユーザが入力することを可能にする。そして、次のユーザが改善されたサービスを受けるように、これらの更新が集約され、互いに、及びその他の既知のデータに対して比較される。一実施形態において、店主は店舗についての正確なデータの一層やる気のある信頼できる貢献者であると想定されるので、事業主からのデータはこの集約手法において高い優先度を与えられてもよい。

図５は、本発明の一実施形態に従った拡張されたライブビューを例示するものである。この実施形態において、拡張されたコンテンツウィンドウ５００が、建物３５０内の適切な興味ポイントを特定し、リアルタイムビュー５２０内に興味ポイントに関する画像データ５１０を表示している。画像データ５１０は、そのそれぞれの投影マスクと幾何学的に一致するよう（すなわち、図４の２Ｄ平面４５２に幾何学的に一致するよう）表示されている。

画像データ５１０は、例えば、興味ポイントの境界を特定する画像、興味ポイントに関するビデオコンテンツ（例えば、ビデオ広告）、３Ｄアニメーションオブジェクト（例えば、３Ｄアニメーション広告）、又は興味点に関するテキストデータといった、興味ポイントに関する画像を含み得る。この画像データは、装置３００のメモリストレージに含まれていてもよいし、あるいはネットワーク接続（例えば、無線インターネット接続）を介してデータベースから取得されてもよい。

図６Ａ及び６Ｂは、本発明の一実施形態に従った複数の興味ポイントに関する投影マスク及び拡張されたライブビューを例示している。この実施形態において、建物６００のキャプチャされたビューは、イメージセンサの視点から比較的平面状である２つの正面セグメント６１０及び６３０と、曲線状の正面セグメント６２０とを含んでいる。故に、本発明の実施形態は、２Ｄ平面セグメント及び３Ｄ曲面／球面マスクを利用して、建物６００の正面の範囲の粗い見積もりをシステムに提供し得る。

故に、理解されるように、投影されるマスク６１０−６３０を用いて、物体の該当部分の表面輪郭を表現し得る。曲面状の投影マスク６２０は後にリアルタイム処理で拡張コンテンツに使用され、その拡張コンテンツはマスク６２０の輪郭と一致する（且つ、建物６００に対するホストモバイル装置の向きと一致する）ように投影されることになる。さらに、輪郭情報をエッジ検出と組み合わせて用いて、建物６００を特定する物体検出を向上させ得る。

故に、複数の興味ポイントが特定され得る。これらの興味ポイントに対応する関連画像データ（例えば、アイコン、テキストデータ、ビデオ、３Ｄアニメーションオブジェクト、又は上述のような画像データ）が表示され得る。この例においては、図６Ｂに示されるように、建物６００内の各企業の名称を特定するテキストデータが表示されている。これらのテキストデータは、それぞれの企業の境界内で中心に置かれるとともに、該当する投影マスクに基づいて表示されている。

図７は、本発明の一実施形態を利用し得るシステムのブロック図である。システム７００は、予め格納された画像及び３Ｄポイントクラウドデータに関与する処理を実行して上述のような物体の３Ｄモデルを生成する前処理モジュール７１０を含み得る。システム７００は更に、上述のような画像データをキャプチャするイメージセンサ７２０を含み得る。

投影モジュール７３０が、上述のように、３Ｄデータ及び物体の位置データを処理して投影マスクを生成し得る。拡張モジュール７４０が、上述のように投影マスク内で、キャプチャされた画像データを関連コンテンツで拡張し得る。拡張された画像データがディスプレイ７５０上に表示され得る。

この実施形態において、モジュール７１０、７３０及び７４０はプロセッサ７６０によって実行される。上述のシステム７００のコンポーネントは全て、バス７７０を介して動作的に結合され得る。理解されるように、図７に記載される様々なモジュールは全て、モバイルコンピューティング装置に含まれていてもよいし、様々な位置に別々に含まれていてもよい（すなわち、図７のモジュールの何れか又は全てが、“バックエンド処理”を提供するようモバイルコンピューティング装置とインタフェース接続されるサーバに含まれていてもよい）。また、理解されるように、記載のモジュールに関する処理は単に一実施形態例であり、上述の何れかの処理が共に動作的に結合された複数の装置によって実行されてもよい。

ここに記載のプロセッサ、サーバ又はツールを参照した様々なコンポーネントは、上述の機能を実行する一手段である。ここに記載の各コンポーネントは、ソフトウェア若しくはハードウェア、又はこれらの組み合わせを含む。各々全てのコンポーネントは、ソフトウェアモジュール、ハードウェアモジュール、専用ハードウェア（例えば、特定用途向けハードウェア、ＡＳＩＣ、ＤＳＰなど）、内臓コントローラ、ハードワイヤード回路、ハードウェアロジックなどとして実装され得る。ソフトウェアコンテンツ（例えば、データ、命令、設定）は、実行されることが可能な命令を表現するコンテンツを提供する非一時的な有形のコンピュータ又は機械読み取り可能記憶媒体を含む製造品を介して提供され得る。これらのコンテンツは、コンピュータがここに記載の様々な機能／処理を実行することをもたらす。コンピュータ読み取り可能記憶媒体は、例えば記録可能／記録不能な媒体（例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、等々）など、コンピュータ（例えば、コンピューティング装置、電子システム、等々）によってアクセス可能な形態で情報を提供（すなわち、格納及び／又は伝送）する何らかの機構を含む。コンテンツは、直接的に実行可能な形態（“オブジェクト”若しくは“実行可能”形態）、ソースコード、又は差分コード（“デルタ”若しくは“パッチ”コード）とし得る。コンピュータ読み取り可能記憶媒体はまた、それからコンテンツをダウンロードすることができるストレージ又はデータベースを含み得る。コンピュータ読み取り可能記憶媒体はまた、販売時又は配達時にコンテンツを格納される装置又は製品を含み得る。故に、格納コンテンツを有する装置を送達すること、又は通信媒体上でのダウンロードにコンテンツを提供することは、ここに記載のそのようなコンテンツを有する製造品を提供することとして理解され得る。

Claims (20)

1. プロセッサと、
   メモリと、
   前記メモリに含まれる拡張モジュールであり、前記プロセッサによって実行されて、
   ３次元（３Ｄ）ポイントクラウドデータから、興味ポイント（ＰＯＩ）を含んだ物体セグメントを含む３Ｄモデルを生成し、
   前記３Ｄモデルからの前記物体セグメントを用いて、イメージセンサによってキャプチャされたライブビュー内に含まれる、前記ＰＯＩを含む構造物の表面及び前記ＰＯＩの境界を検出し、
   前記ＰＯＩに対する前記イメージセンサの位置及び向きを、前記ライブビュー内に含まれる前記構造物の前記検出された表面と、第２のセンサからのデータと、に少なくとも部分的に基づいて決定し、
   前記イメージセンサが前記ライブビューをキャプチャする間、前記イメージセンサの前記位置及び前記向きを追跡し、且つ
   前記ライブビューを拡張するための前記ＰＯＩに関連付けられた画像データを含む表示データを生成し、前記画像データは、前記構造物の前記検出された表面の前記ＰＯＩの前記境界の位置で前記ライブビュー内に表示されるとき、前記イメージセンサの前記位置及び前記向きと３次元的に一致する、
   拡張モジュールと、
   を有する装置。
2. 当該装置は、モバイルコンピューティング装置に動作的に結合されるサーバ装置を有し、前記モバイルコンピューティング装置が、前記イメージセンサと、前記第２のセンサと、前記ＰＯＩに関連付けられた前記画像データを含む拡張されたライブビューを表示するディスプレイとを含む、請求項１に記載の装置。
3. 当該装置はモバイルコンピューティング装置を有し、該モバイルコンピューティング装置は更に、前記ＰＯＩに関連付けられた前記画像データを含む拡張されたライブビューを表示するディスプレイを含む、請求項１に記載の装置。
4. 前記構造物は建物を有し、前記構造物の前記検出された表面は前記建物の外面を有する、請求項１に記載の装置。
5. 前記第２のセンサからの前記データはグローバルポジショニングシステム（ＧＰＳ）データを有する、請求項１に記載の装置。
6. 当該装置は更に移動電話動作ユニットを有し、前記第２のセンサは、セルラー電話塔三角測量による当該装置の地理情報を捕捉する、請求項３に記載の装置。
7. 前記第２のセンサからの前記データは、加速度計によって捕捉される加速度データを有する、請求項１に記載の装置。
8. 前記第２のセンサからの前記データは、コンパスによって捕捉される磁界データを有する、請求項１に記載の装置。
9. 前記ＰＯＩに関連付けられた前記画像データは、前記構造物の前記検出された表面内の前記ＰＯＩの一組の境界線を特定する、請求項１に記載の装置。
10. 前記拡張モジュールは更に、前記構造物の前記検出された表面内の前記ＰＯＩの中心を決定し、前記表示データは、前記ＰＯＩの前記中心に基づいて生成される、請求項１に記載の装置。
11. 前記ＰＯＩに関連付けられた前記画像データは、静止画像データ及びビデオ画像データのうちの少なくとも一方を有する、請求項１に記載の装置。
12. ３次元（３Ｄ）ポイントクラウドデータから、興味ポイント（ＰＯＩ）を含んだ物体セグメントを含む３Ｄモデルを生成し、
    前記３Ｄモデルからの前記物体セグメントを用いて、イメージセンサによってキャプチャされたライブビュー内に含まれる、前記ＰＯＩを含む構造物の表面及び前記ＰＯＩの境界を検出し、
    前記ＰＯＩに対する前記イメージセンサの位置及び向きを、前記ライブビュー内に含まれる前記構造物の前記検出された表面と、第２のセンサからのデータと、に少なくとも部分的に基づいて決定し、
    前記イメージセンサが前記ライブビューをキャプチャする間、前記イメージセンサの前記位置及び前記向きを追跡し、且つ
    前記ライブビューを拡張するための前記ＰＯＩに関連付けられた画像データを含む表示データを生成し、前記画像データは、前記構造物の前記検出された表面の前記ＰＯＩの前記境界の位置で前記ライブビュー内に表示されるとき、前記イメージセンサの前記位置及び前記向きと３次元的に一致する、
    ことを有する方法。
13. 前記構造物は建物を有し、前記構造物の前記検出された表面は前記建物の外面を有する、請求項１２に記載の方法。
14. 前記第２のセンサからの前記データはグローバルポジショニングシステム（ＧＰＳ）データを有する、請求項１２に記載の方法。
15. 前記第２のセンサからの前記データは、セルラー電話塔三角測量によって捕捉される地理情報を有する、請求項１２に記載の方法。
16. 前記第２のセンサからの前記データは、加速度計によって捕捉される加速度データを有する、請求項１２に記載の方法。
17. 前記第２のセンサからの前記データは、コンパスによって捕捉される磁界データを含み、請求項１２に記載の方法。
18. 前記ＰＯＩに関連付けられた前記画像データは、前記構造物の前記検出された表面内の前記ＰＯＩの一組の境界線を特定する、請求項１２に記載の方法。
19. 当該方法は更に、前記構造物の前記表面内の前記ＰＯＩの中心を決定することを有し、前記表示データは、前記ＰＯＩの前記中心に基づいて生成される、請求項１２に記載の方法。
20. 前記ＰＯＩに関連付けられた前記画像データは、静止画像データ及びビデオ画像データのうちの少なくとも一方を有する、請求項１２に記載の方法。

Images