JP5678131B2 - パノラマイメージデータの中のナビゲーションを促進するためのイメージコンテンツの使用 - Google Patents

パノラマイメージデータの中のナビゲーションを促進するためのイメージコンテンツの使用 Download PDF

Info

Publication number
JP5678131B2
JP5678131B2 JP2013128251A JP2013128251A JP5678131B2 JP 5678131 B2 JP5678131 B2 JP 5678131B2 JP 2013128251 A JP2013128251 A JP 2013128251A JP 2013128251 A JP2013128251 A JP 2013128251A JP 5678131 B2 JP5678131 B2 JP 5678131B2
Authority
JP
Japan
Prior art keywords
image
viewport
feature
sight
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013128251A
Other languages
English (en)
Other versions
JP2013242881A (ja
Inventor
チアジュン チュー
チアジュン チュー
フィリップ ダニエル
フィリップ ダニエル
ビンセント ルーク
ビンセント ルーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2013242881A publication Critical patent/JP2013242881A/ja
Application granted granted Critical
Publication of JP5678131B2 publication Critical patent/JP5678131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)

Description

本発明は、パノラマイメージ間でナビゲートすることに関する。
マップ上の位置にジオコード化される（ｇｅｏ−ｃｏｄｅｄ）複数のパノラマイメージを含むコンピュータシステムが存在する。隣のパノラマイメージ間でナビゲートするために、ユーザはマップ上のボタンを選択し得、新たな隣のパノラマイメージは、ロードされ、表示され得る。
この技術は利点を有するが、１つのイメージから次のイメージへジャンプすることは、ユーザの注意をそらすこと（ｄｉｓｔｒａｃｔｉｎｇ）であり得る。従って、新たなナビゲーションの方法およびシステムが必要とされる。
本発明は、パノラマイメージデータの中のナビゲーションを促進するためのイメージコンテンツを用いることに関する。第１の実施形態において、パノラマイメージデータの中でナビゲートするための、コンピュータにインプリメントされる方法は、（１）視線と仮想モデルとの交点を決定することであって、該視線は、イメージのカメラビューポートから延び、該仮想モデルは、複数の前面の平面を含む、ことと、（２）パノラマイメージを取り出すことと、（３）該パノラマイメージを該交点に向けることと、（４）向けられたパノラマイメージを表示することとを含む。
第２の実施形態において、注釈（ａｎｎｏｔａｔｉｏｎ）を生成および表示する方法は、（１）複数の２次元イメージから仮想モデルを生成することと、（２）視線と該仮想モデルとの交点を決定することであって、該視線は、第１のイメージのカメラビューポートから延びる、ことと、（３）パノラマイメージを取り出すことと、（４）該交点に対面するように該パノラマイメージを向けることと、（５）該パノラマイメージを表示することとを含む。
第３の実施形態において、システムが、仮想モデルに対応する注釈を生成および表示し、該仮想モデルは、複数の２次元イメージから生成される。該システムは、第１のイメージのカメラビューポートから延ばされる視線と仮想モデルとの交点を決定するナビゲーションコントローラであって、該ナビゲーションコントローラは、第３のパノラマイメージを取り出し、該交点に対面するように該第３のパノラマイメージを向ける、ナビゲーションコントローラを含む。該仮想モデルは、複数の前面の平面を含む。
本発明のさらなる実施形態、特徴および利点、ならびに本発明の様々な実施形態の構造および動作は、添付の図面への参照を用いて下記に詳述される。
例えば、本発明は以下の項目を提供する。
（項目１）
パノラマイメージデータの中でナビゲートする、コンピュータにインプリメントされる方法であって、
該方法は、
（１）視線と仮想モデルとの交点を決定することであって、該視線は、イメージのカメラビューポートから延び、該仮想モデルは、複数の前面の平面を含む、ことと、
（２）パノラマイメージを取り出すことと、
（３）該パノラマイメージを該交点に向けることと、
（４）向けられたパノラマイメージを表示することと
を含む、方法。
（項目２）
（２）は、ストリートの第１のレーンに対応する位置からのカメラ視点を有する前記パノラマイメージを取り出すことを含み、前記イメージは、該ストリートの第２のレーンに対応する位置を有する、項目１に記載の方法。
（項目３）
（２）は、ユーザに選択された位置を有する、カメラ視点を有する前記パノラマイメージを取り出すことを含む、項目１に記載の方法。
（項目４）
（２）は、前記交点についての選択された距離内で前記パノラマイメージを取り出すことを含む、項目１に記載の方法。
（項目５）
前記イメージは、ストリートレベルから撮影された写真のイメージを含み、前記パノラマイメージは、ストリートレベルから撮影された写真のイメージを含む、項目１に記載の方法。
（項目６）
注釈を生成および表示する方法であって、
該方法は、
（１）複数の２次元イメージから仮想モデルを生成することと、
（２）視線と該仮想モデルとの交点を決定することであって、該視線は、第１のイメージのカメラビューポートから延ばされ、該仮想モデルは、第２のイメージの中の特徴に対応する、ことと、
（３）パノラマイメージを取り出すことと、
（４）該交点に対面するように該パノラマイメージを向けることと、
（５）向けられたパノラマイメージを表示することと
を含む、方法。
（項目７）
（１）は、
（ａ）第１のイメージの第１の複数の特徴と第２のイメージの第２の複数の特徴とを識別することと、
（ｂ）特徴の複数の対を決定することであって、特徴の各対は、該第１の複数の特徴からの第１の特徴と、該第２の複数の特徴からの、該第１の特徴に一致する第２の特徴とを含む、ことと、
（ｃ）該特徴の複数の対に対応する複数のポイントを決定することと、
（ｄ）該複数のポイントに基づいて前面の平面を決定することと、
（ｅ）ストリートの位置に対応するストリート平面を決定することと、
（ｆ）該前面の平面および該ストリート平面に対応する仮想モデルを生成することと
を含む、項目６に記載の方法。
（項目８）
（ａ）は、高速化ロバスト特徴（ＳＵＲＦ）アルゴリズムを用いることを含む、項目７に記載の方法。
（項目９）
（ｂ）は、
（ｉ）前記第１の複数の特徴に対するスピルツリーを決定することと、
（ｉｉ）前記第２のイメージの中の各特徴のほぼ最も近い隣のものおよびほぼ２番目に近い隣のものに対する該スピルツリーを検索することと、
（ｉｉｉ）該ほぼ最も近い隣のものと該ほぼ２番目に近い隣のものとの特徴類似性比率を閾値と比較することと
を含む、項目８に記載の方法。
（項目１０）
（ｉｉｉ）は、前記ほぼ最も近い隣のものと前記ほぼ２番目に近い隣のものとの特徴類似性比率を０．５以上かつ０．９５以下の閾値と比較することを含む、項目９に記載の方法。
（項目１１）
（ｃ）は、
（ｉ）前記特徴の複数の対についての特徴の各対に対して、前記第１のイメージの第１のカメラ視点から該対からの前記第１の特徴を介して延びる第１の視線と、前記第２のイメージの第２のカメラ視点から該対からの前記第２の特徴を介して延びる第２の視線とを決定することと、
（ｉｉ）該特徴の複数の対についての特徴の各対に対して、該第１の視線および該第２の視線の交点に対応するポイントを決定することと
を含む、項目７に記載の方法。
（項目１２）
（ｄ）は、ベストフィットアルゴリズムまたは適用最適化アルゴリズムを用いることを含む、項目７に記載の方法。
（項目１３）
仮想モデルに対応する注釈を生成および表示するシステムであって、該仮想モデルは、複数の２次元イメージから生成され、該システムは、ナビゲーションコントローラを含むサーバーを含み、
該ナビゲーションコントローラは、イメージのカメラビューポートから延ばされる視線と仮想モデルとの交点を決定し、パノラマイメージを取り出し、該交点に対面するように該パノラマイメージを向け、該仮想モデルは、複数の前面の平面を含む、システム。
（項目１４）
前記ナビゲーションコントローラは、第２のレーンと異なる第１のレーンの中の、前記パノラマイメージのカメラビューポートの位置を決定するスイッチングレーンコントローラを含み、前記イメージのカメラビューポートの位置は、該第２のレーンの中に存在する、項目１３に記載のシステム。
（項目１５）
前記ナビゲーションコントローラは、ユーザ選択に対応する前記パノラマイメージのカメラビューポートの位置を決定するクリックアンドゴーコントローラを含む、項目１３に記載のシステム。
（項目１６）
前記ナビゲーションコントローラは、前記交点に対応する前記パノラマイメージのカメラビューポートの位置を決定するウォークアラウンドコントローラを含む、項目１５に記載のシステム。
（項目１７）
複数の２次元イメージから仮想モデルを生成するプロセッシングパイプラインサーバー
をさらに含む、項目１３に記載のシステム。
（項目１８）
前記プロセッシングパイプラインサーバーは、
第１のイメージの第１の複数の特徴と第２のイメージの第２の複数の特徴とを識別する特徴抽出器と、
特徴の複数の対を決定する特徴照合器であって、特徴の各対は、該第１の複数の特徴からの第１の特徴、および該第２の複数の特徴からの第２の特徴を含み、該第１の特徴は、該第２の特徴と一致する、特徴照合器と、
該特徴の複数の対に対応する複数のポイントを決定するポイント計算器と、
該複数のポイントに基づいて前記仮想モデルを生成する表面推定器と
を含む、項目１７に記載のシステム。
（項目１９）
前記特徴抽出器は、高速化ロバスト特徴（ＳＵＲＦ）アルゴリズムを用いる、項目１８に記載のシステム。
（項目２０）
前記特徴照合器は、前記第１の複数の特徴に対するスピルツリーを決定し、前記第２のイメージの中の各特徴のほぼ最も近い隣のものおよびほぼ２番目に近い隣のものに対する該スピルツリーを検索し、該ほぼ最も近い隣のものと該ほぼ２番目に近い隣のものとの特徴類似性比率が閾値未満であるかどうかを決定する、項目１８に記載のシステム。
（項目２１）
前記閾値は、０．５以上かつ０．９５以下である、項目２０に記載のシステム。
（項目２２）
前記特徴の複数の対における特徴の各対に対して、前記ポイント計算器は、前記第１のイメージの第１のカメラ視点から該対からの前記第１の特徴を介して延びる第１の視線と、該対からの前記第２の特徴の第２のカメラ視点から延びる第２の視線とを決定し、該第１の視線と該第２の視線との交点として該複数のポイントからポイントを決定する、項目１８に記載のシステム。
（項目２３）
パノラマイメージデータの中でナビゲートする、コンピュータにインプリメントされた方法であって、
該方法は、
視線と仮想モデルとの交点を決定する手段であって、該視線は、イメージのカメラビューポートから延び、該仮想モデルは、複数の前面の平面を含む、手段と、
パノラマイメージを取り出す手段と、
該パノラマイメージを該交点に向ける手段と、
向けられたパノラマイメージを表示する手段と
を含む、方法。
本明細書内に援用され、かつ、明細書の一部を形成する添付の図面は、本発明を示し、発明を実施するための形態とともに、本発明の原理を説明するため、かつ、当業者が本発明の実施および利用することを可能にするためにさらに供する。
図１は、本発明の一実施形態に従って、パノラマイメージデータの中のナビゲーションを促進するためにイメージコンテンツを用いることを示す概略図である。 図２Ａ〜Ｄは、さらなる詳細において、パノラマイメージデータの中のナビゲーションを促進する方法を説明する概略図である。 図２Ａ〜Ｄは、さらなる詳細において、パノラマイメージデータの中のナビゲーションを促進する方法を説明する概略図である。 図２Ａ〜Ｄは、さらなる詳細において、パノラマイメージデータの中のナビゲーションを促進する方法を説明する概略図である。 図２Ａ〜Ｄは、さらなる詳細において、パノラマイメージデータの中のナビゲーションを促進する方法を説明する概略図である。 図３は、本発明の一実施形態に従って、パノラマイメージデータ内でナビゲートする方法を示すフローチャートである。 図４は、本発明の一実施形態に従って、イメージデータから仮想モデルを生成する方法を示すフローチャートである。 図５Ａ〜Ｃは、図４の方法に従って、一致する特徴を探し出すことを示す概略図である。 図５Ａ〜Ｃは、図４の方法に従って、一致する特徴を探し出すことを示す概略図である。 図５Ａ〜Ｃは、図４の方法に従って、一致する特徴を探し出すことを示す概略図である。 図６〜７は、図４における方法に従って、一致する特徴の対に基づくポイントを決定することを示す概略図である。 図６〜７は、図４における方法に従って、一致する特徴の対に基づくポイントを決定することを示す概略図である。 図８Ａ〜Ｂは、図４の方法に従って決定された複数のポイントを示す概略図である。 図９Ａ〜Ｃは、図４の方法に従って、複数のポイントに基づいて表面を決定することを示す概略図である。 図１０は、本発明の一実施形態に従って、イメージデータ内をナビゲートするための仮想モデルを用いるシステムを示す概略図である。 図１１は、本発明の一実施形態に従って、イメージデータから仮想モデルを生成するためのシステムを示す概略図である。
構成要素が最初に現れる図面は、対応する参照番号の中の最も左側の数字または最も左側の複数の数字によって典型的に示される。複数の図面において、同じ参照番号は、同一の構成要素または機能的に類似した構成要素を示し得る。
本発明は、パノラマイメージデータの中のナビゲーションを促進するためのイメージコンテンツを用いることに関する。次に続く本発明の発明を実施するための形態において、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「例示的実施形態」などへの言及は、述べられる実施形態が特定の特徴、構造または特性を含み得ることを示すが、必ずしも全ての実施形態が、特定の特徴、構造または特性を含まないことがあり得る。その上、そのような語句は、必ずしも同じ実施形態を参照しない。さらに、特定の特徴、構造または特性が、実施形態に関して述べられる場合、他の実施形態に関してそのような特徴、構造または特性をもたらすことは、明白に述べられるか否かに関わらず当業者の有する知識の範囲内で提示される。
本明細書内に述べられる通り、本発明の実施形態は、ユーザがイメージコンテンツを用いてパノラマイメージ間でナビゲートすることを可能にする。一実施形態において、モデルが、生成されてイメージコンテンツを表す。ユーザは、第１のパノラマイメージに含まれるオブジェクトを選択し得る。オブジェクトの位置は、モデル上へのユーザの選択の投射によって決定される。第２のパノラマは、その位置に従って選択および／または向けられる。この方法において、この発明の実施形態は、ユーザがイメージコンテンツを用いて第１のパノラマと第２のパノラマとの間でナビゲートすることを可能にする。
図１は、本発明の一実施形態に従って、パノラマイメージデータの中のナビゲーションを促進するためにイメージコンテンツを用いることを示す概略図１００である。概略図１００は、ビルディング１１４およびツリー１１６を示す。ビルディング１１４およびツリー１１６の位置は、仮想モデル１１２によって近似される。仮想モデル１１２は、下記に述べられる通り、ビルディング１１４およびツリー１１６の撮影されたイメージを用いて生成される３次元のモデルであり得る。ストリート１０２は、ビルディング１１４およびツリー１１６と並んで走る。
いくつかのアバター（即ち、車）１０４、１０６、１０８および１１０は、ストリート１０２上の位置に示される。各アバター１０４、１０６、１０８および１１０は、ストリート１０２上のアバターの位置にジオコード化された関連付けられたパノラマイメージを有する。パノラマイメージは、アバターを取り囲んで３６０度、コンテンツを含み得る。しかし、パノラマの一部のみが、例えばビューポートを介して、一度にユーザに表示され得る。概略図１００において、ユーザに表示されるパノラマの一部は、各アバターの向きによって示される。アバター１０４、１０６、１０８および１１０は、それぞれ向き１２４、１２６、１２２、１２０を有する。
アバター１０４は、ポイント１１８に対面する向き１２４を有する。アバター１０４のビューポートは、アバター１０４の位置にジオコード化されたパノラマの一部を表示する。ビューポートの中に表示されるパノラマの一部は、ポイント１１８を含む。本発明の実施形態は、仮想モデル１１２を用いて、アバター１０４の位置からアバター１０６、１０８および１１０の位置までをナビゲートする。
本発明の第１の実施形態（以下、スイッチングレーン実施形態という）において、ユーザは、レーン間でナビゲートし得る。スイッチングレーン実施形態は、ユーザがアバター１０４のパノラマからアバター１０６のパノラマまでをナビゲートすることを可能にする。アバター１０６のパノラマは、ストリート１０２の異なるレーンの中にあることを除いて、アバター１０４のパノラマに類似する位置にジオコード化される。アバター１０４およびアバター１０６が同じ向きを有する場合、パノラマは異なる位置にジオコード化されるため、それらの対応するビューポートは、異なるコンテンツを表示する。ビューポートにおいて表示されるコンテンツを変更することは、ユーザが方向を失うことであり得る。スイッチングレーン実施形態は、仮想モデル１１２上のポイント１１８に対面するようにアバター１０６を向ける。この方法において、アバター１０６のビューポートの中に表示されるパノラマの一部は、アバター１０４のビューポートの中に表示されるパノラマの一部と同じコンテンツを含む。この方法において、スイッチングレーン実施形態は、レーン間のスイッチングを、方向を失うことのより少ないものにする。
本発明の第２の実施形態（以下、ウォークアラウンド実施形態という）において、ユーザは、異なる観察点からオブジェクトを比較的容易に見得る。ユーザは、彼／彼女がオブジェクトを一巡している感覚を得られ得る。ウォークアラウンド実施形態は、ユーザがアバター１０４のパノラマからアバター１０８のパノラマまでをナビゲートすることを可能にする。アバター１０８の位置は、例えば、ユーザによって選択され得る。例えば、ユーザは、マップ上の位置を選択することか、またはキーボード上の矢印ボタンを押すことによってアバター１０８の位置を選択し得る。アバター１０４およびアバター１０６が同じ向きを有する場合、パノラマは異なる位置にジオコード化されるため、それらの対応するビューポートは、異なるコンテンツを表示し、アバター１０４のビューポートにおいて表示される対象（ｉｎｔｅｒｅｓｔ）のオブジェクトは、アバター１０６のビューポートにおいて表示されないことがある。ウォークアラウンド実施形態は、仮想モデル１１２上のポイント１１８に対面するようにアバター１０８を向ける。この方法において、アバター１０６のビューポートの中に表示されるパノラマの一部は、アバター１０４のビューポートの中に表示されるパノラマの一部と同じコンテンツを含む。結果として、ユーザは、異なる観察点からのオブジェクトを比較的容易に見得る。
一実施形態において、アバター１０４とアバター１０８との間でユーザに変わり目（ｔｒａｎｓｉｔｉｏｎ）が表示され得る。変わり目は、アバター１０４とアバター１０８との間のアバター位置に対する中間のパノラマを示し得る。中間のパノラマも、ポイント１１８に対面するように向けられ得る。
本発明の第３の実施形態（以下、クリックアンドゴー（ｃｌｉｃｋ−ａｎｄ−ｇｏ）実施形態という）において、ユーザは、第１のパノラマのオブジェクトの位置に従って、新たな位置において第２のパノラマイメージにナビゲートし得る。クリックアンドゴー実施形態は、ユーザがアバター１０４のパノラマからアバター１１０のパノラマまでをナビゲートすることを可能にする。アバター１１０の位置は、仮想モデル１１２上のポイント１１８に最も近い利用可能なパノラマの位置である。ポイント１１８は、第１のパノラマにおけるユーザによる選択に従って決定され得る。
複数の実施形態において、アバター１１０は、ポイント１１８に対面する向き１２０または異なる向き１２８を有し得る。向き１２８は、ストリート１０２の向きの向きであり得る。
仮想モデル１１２上のポイント１１８に従うアバター１１０を選択することによって、クリックアンドゴー実施形態は、仮想モデル１１２を用いて、パノラマイメージ間でナビゲートする。下記に述べられる通り、一実施形態において、仮想モデル１１２は、パノラマイメージのコンテンツを用いて生成される。
一実施例において、クリックアンドゴー実施形態は、ユーザがオブジェクトを比較的近くで見ることを可能にし得る。その実施例において、ユーザは、第１のパノラマの中のオブジェクトを選択し得、そのオブジェクトに近い第２のパノラマがロードされる。さらに、そのオブジェクトを含む第２のパノラマの一部は、ビューポートの中に表示され得る。この方法において、パノラマイメージ間でナビゲートするためのパノラマイメージのコンテンツを用いることは、満足するというユーザ体験を比較的多くもたらし、方向を失うというユーザ体験を比較的少なくもたらす。
一実施例において、パノラマビューアは、アバター１０４とアバター１０８との間の変わり目を表示し得る。変わり目は、アバター１０４とアバター１０８との間のアバター位置に対する中間のパノラマを表示し得る。中間のパノラマも、ポイント１１８に対面するように向けられ得る。
図２Ａ〜Ｄは、さらなる詳細において、パノラマイメージデータの中のナビゲーションを促進する方法を説明する概略図である。
図２Ａは、モデル上のポイント（例えば、図１におけるポイント１１８）がどのように生成され得るかを示す概略図２００である。概略図２００は、ビルディング２６２およびツリー２６４を示す。仮想モデル２０２は、ビルディング２６２およびツリー２６４を表す。モデル２０２は、下記に詳述される通り、イメージコンテンツを用いて生成され得る。概略図２００はまた、ビルディング２６２およびツリー２６４の撮影されたイメージ２６６を示す。イメージ２６６は、ビューポートを介してユーザに表示される、ストリートレベルから撮影されたパノラマイメージの一部であり得る。ポイント２６８は、イメージ２６６上に示される。一部の実施形態（例えば、スイッチングレーン実施形態およびウォークアラウンド実施形態）において、ポイント２６８は、イメージ２６６の中心であり得る。他の実施形態（例えば、クリックアンドゴー実施形態）において、ポイント２６８は、入力デバイス（例えば、マウス）を用いてユーザによって選択され得る。
視線２１２は、ポイント２６８を介してカメラ視点２１０から延ばされる。一実施例において、カメラ視点２１０は、写真のイメージ２６６を撮影するのに用いられるカメラの焦点であり得る。その実施例において、イメージ２６６とカメラ視点２１０との間の距離は、焦点距離２７０である。
ポイント２０４は、視線２１２と仮想モデル２０２との間の交点である。ポイント２０４は、図２Ｂ〜Ｄにおいて示される通り、ストリートレベルパノラマイメージ間でナビゲートするために用いられ得る。
図２Ｂは、スイッチングレーン実施形態の一実施例を示す概略図２２０である。視線２１２とモデル２０２上のポイント２０４とは、ストリート２０８上の位置２１４を有するイメージを用いて決定される。位置２１４に近い位置２０６から撮影されるパノラマイメージは、ストリート２０８の異なるレーンの中にあることを除いて、図２Ｂにおいてまた識別される。位置２０６を有するパノラマのイメージは、ポイント２０４に対面するように向けられる。
図２Ｃは、ウォークアラウンド実施形態の一実施例を示す概略図２３０である。視線２１２とモデル２０２上のポイント２０４とは、位置２１４から撮影されたイメージを用いて決定される。位置２３２を有するパノラマイメージが、例えば、ユーザによって選択され得る。位置２３２を有するパノラマイメージは、ポイント２０４に対面するように向けられる。
図２Ｄは、クリックアンドゴー実施形態の一実施例を示す概略図２５０である。視線２１２とモデル２０２上のポイント２０４とは、位置２１４を有するイメージを用いて決定される。位置２０４に近い位置２５２を有するパノラマイメージが選択される。一実施例において、図２Ｄに示される通り、ポイント２０４は、位置２５２からストリート２０８に垂直であり得る。別の実施例において、位置２５２は、ポイント２０４から仮想モデル２０２に垂直であり得る。位置２５２を有するパノラマイメージは、ポイント２０４に対面するように向けられるか、またはストリート２０８の方向に対面するように向けられるかし得る。
図３は、本発明の一実施形態に従って、パノラマイメージデータ内でナビゲートする方法３００を説明するフローチャートである。方法３００は、ステップ３０２において、第１のパノラマイメージを向けることから開始する。ステップ３０４において、図２Ａについての実施例に対して述べられる通り、視線が、第１のパノラマイメージの向きの方向において延ばされる。視線はまた、パノラマイメージ上のユーザに選択されたポイントに従って決定され得る。ステップ３０６において、視線と仮想モデルとの間で交点が決定される。仮想モデルは、イメージコンテンツを用いて決定され得る。
複数の実施形態において、その交点は、パノラマイメージ間でナビゲートするためのいくつかの方法において用いられ得る。例えば、スイッチングレーン実施形態またはウォークアラウンド実施形態において、第２のパノラマイメージは、ステップ３１０において選択され得る。スイッチングレーン実施形態において、第２のパノラマイメージは、異なるレーンにあることを除いて、第１のパノラマイメージと同様の位置を有する。ウォークアラウンド実施形態において、第２のパノラマイメージは、例えばユーザによって選択され得る。第２のパノラマイメージは、ステップ３１６において交点に対面するように向けられる。ステップ３１６の後に、方法３００は終了する。
クリックアンドゴー実施形態において、第２のパノラマイメージは、図２Ｄについて述べられる通り、ステップ３０８においてその交点の近く（例えば、選択されるか、または予め定義されるかする交点の距離内）に存在するように存在し得る。ステップ３１４において、第２のパノラマイメージはその交点に対面するように向けられるか、または第２のパノラマイメージは他の方向に向けられるかし得る。例えば、第２のパノラマイメージは、ストリートの方向に向けられ得る。ステップ３１４の後に、方法３００は終了する。
図４は、本発明の一実施形態に従って、イメージデータから仮想モデルを生成する方法４００を説明するフローチャートである。
方法４００は、ステップ４０２から開始する。ステップ４０２において、イメージの特徴が識別される。一実施形態において、その特徴は、後続の比較のためにイメージから抽出される。このことは、図５Ａ〜５Ｂについて下記にさらに詳述される。一実施形態において、用いられるイメージは、ストリートレベルパノラマイメージであり、ストリートレベルパノラマイメージは、走行のルートに沿って互いに近くの位置から撮影される。
ステップ４０４において、隣のイメージの中の特徴が照合される。一実施形態において、特徴を一致させることは、スピルツリー（ｓｐｉｌｌ ｔｒｅｅ）を構成することを含み得る。このことは、図５Ｃについて下記にさらに詳述される。
ステップ４０６において、例えば３次元空間におけるポイントとして、特徴の位置が計算される。一実施形態において、ポイントは、ステップ４０４において決定されるような一致する特徴の対を用いて、立体の三角測量（ｓｔｅｒｅｏ ｔｒｉａｎｇｕｌａｔｉｏｎｓ）を計算することによって決定される。３次元空間におけるポイントを計算する方法は、図６〜７について下記にさらに詳述される。ステップ４０６の結果は、一群のポイント（ａ ｃｌｏｕｄ ｏｆ ｐｏｉｎｔｓ）である。
ステップ４０８において、前面の平面は、ステップ４０６において計算される一群のポイントに基づいて推定される。一実施形態において、ステップ４０８は、適用最適化アルゴリズム（ａｄａｐｔｉｖｅ ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）またはベストフィットアルゴリズム（ｂｅｓｔ ｆｉｔ ａｌｇｏｒｉｔｈｍ）を用いることを含み得る。一実施形態において、ステップ４０８は、平面を掃引すること（ｓｗｅｅｐｉｎｇ ａ ｐｌａｎｅ）（例えば、図９について下記に述べられる通り、その平面がストリートに整列されること）を含む。
ステップ４１０において、ストリート平面は、ストリートの位置に基づいて推定される。ステップ４０８において推定された前面の平面とともにこれらのストリート平面は、複数の２次元イメージの中に示されるオブジェクトに対応する仮想モデルを形成するために用いられる。
図５Ａ〜Ｃは、方法４００に従って、イメージにおける特徴を識別および一致させる方法の一実施例を示す。
図５Ａは、イメージ５０２およびイメージ５０４を図示する。イメージ５０２およびイメージ５０４は、例えば、異なる観察点からの同一のビルディングおよびツリーの２つの写真を表す。一実施形態において、イメージ５０２およびイメージ５０４は、ストリートレベルパノラマイメージの一部であり得る。２つのイメージ５０２および５０４は、異なる観察点を用いることを除いて、近くの位置から撮影され得る。
一実施形態において、イメージ５０２および５０４は、固定された８つのカメラのローゼット（ｒｏｓｅｔｔｅ）を有する移動車両から撮影され得る。８つのカメラは、異なる観察点から同時に８つのイメージを撮影する。８つのイメージは次いで、合成され（ｓｔｉｔｃｈｅｄ ｔｏｇｅｔｈｅｒ）、パノラマを形成し得る。イメージ５０２は、車両に対して垂直に方向付けられた８つのカメラローゼットの中の第１のカメラからの合成されていないイメージ（ｕｎｓｔｉｔｃｈｅｄ ｉｍａｇｅ）であり得る。イメージ５０４は、後の時点の間に撮影された、第１のカメラに隣接した第２のカメラからの合成されていないイメージであり得る。
図５Ｂは、方法４００のステップ４０４に従って、識別された／抽出された代表的な特徴を有するイメージ５０２およびイメージ５０４を示す。イメージ５０２は、代表的な特徴５０６、５０８および５１２を含む。イメージ５０４は、代表的な特徴５１０、５１４および５１６を含む。６つの代表的な特徴のみが示されているが、実際は、各イメージに対して識別され、かつ、抽出された数千の特徴が存在し得る。
一実施形態において、特徴を抽出するステップは、対象ポイント検出および特徴記述を含み得る。対象ポイント検出は、条件に従ってイメージの中のポイントを検出し、イメージバリエーション（例えば、輝度および観察点におけるバリエーション）のもとで好ましくは再現可能である。各対象ポイントの隣が特徴である。各特徴は、特徴記述によって表される。特徴記述は、好ましくは独特である。
一実施例において、高速化ロバスト特徴（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）（ＳＵＲＦ）アルゴリズムは、隣のイメージから特徴を抽出するために用いられる。ＳＵＲＦアルゴリズムは、例えば、Ｈｅｒｂｅｒｔ Ｂａｙ， Ｔｉｎｎｅ Ｔｕｙｔｅｌａａｒｓ， Ｌｕｃ Ｖａｎ Ｇｏｏｌ，「ＳＵＲＦ：Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ」， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｎｉｎｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００６年５月において述べられる。ＳＵＲＦアルゴリズムは、対象ポイント検出および特徴記述のスキームを含む。ＳＵＲＦアルゴリズムにおいて、各特徴記述はベクトルを含む。一実施形態において、ベクトルは１２８次元であり得る。一実施例において、イメージがストリートレベルから撮影されるパノラマである場合に、ＳＵＲＦアルゴリズムは、各イメージにおいて、４〜５千個の特徴を抽出し得、１〜２メガバイトのサイズの特徴記述子ファイルをもたらす。
図５Ｃは、照合される抽出された特徴を示す。図５Ｃは、一致５２０および一致５２２を図示する。一致５２０は、特徴５１２および特徴５１４を含む。一致５２２は、特徴５０６および特徴５１６を含む。図５Ｃにおいて表される通り、イメージ５０２の中の全ての特徴は、必ずしもイメージ５０４の中に一致する特徴を有さない。また、逆の場合も同様である。例えば、イメージ５０４の中で覆い隠されるツリーの一部を特徴５０８が示すため、イメージ５０２の中の特徴５０８は、イメージ５０４の中に一致する特徴を有さない。別の実施例において、イメージ５０４の中の特徴５１０は、例えば、特徴識別において不明瞭のため、イメージ５０２の中に一致を有さない。特徴識別は、可能な限り厳密であるべきである。しかし、照明、向きおよびその他の要因におけるバリエーションに起因して、一部の不明瞭は起こり得る。この理由のために、その不明瞭を補償する特徴照合スキームが必要とされる。一実施例の特徴照合スキームは、下記に述べられる。
一実施例において、各特徴（例えば特徴５１２）は、特徴記述子によって表される。各特徴記述子は、１２８次元ベクトルを含む。第１の特徴と第２の特徴との間の類似性は、第１の特徴記述子のベクトルと第２の特徴記述子のベクトルとの間のユークリッドの距離を探し出すことによって決定され得る。
第２のイメージの中の特徴の中での、第１のイメージの中の特徴に対する一致は、例えば次の通りに決定され得る。第１に、第１のイメージの中の特徴の（例えば、１２８次元空間における）最も近い隣のものが、第２のイメージの中の特徴の中から決定される。第２に、第１のイメージの中の特徴の（例えば、１２８次元空間における）２番目に近い隣のものが、第２のイメージの中の特徴の中から決定される。第３に、第１のイメージの中の特徴と第２のイメージの中の最も近い隣の特徴との間の第１の距離が決定され、第１のイメージの中の特徴と第２のイメージの中の２番目に近い隣の特徴との間の第２の距離が決定される。第４に、特徴類似性比率が、第１の距離を第２の距離で割ることによって計算される。特徴類似性比率が特定の閾値未満である場合、第１のイメージの中の特徴と第２のイメージの中のその特徴の最も近い隣のものとの間の一致が存在する。
特徴類似性比率が低すぎる場合、必ずしも十分な一致は決定されない。特徴類似性比率が高すぎる場合、多すぎる誤った一致が存在する。一実施形態において、特徴類似性比率は、０．５以上かつ０．９５以下であり得る。
一実施形態において、その最も近い隣のものとその２番目に近い隣のものとは、第２のイメージの中の特徴のスピルツリーを構成することによって決定され得る。スピルツリーは、最も近い隣のものを厳密に近似し、効率的にプロセッサリソースを用いる。一実施例において、比較されるイメージがストリートレベルから撮影されたイメージである場合に、イメージの各対に対して、数百の一致した特徴の対が存在し得る。一致した特徴の各対に対して、例えば立体の三角測量を用いて、３次元空間におけるポイントが決定され得る。
図６および７は、３次元の立体の三角測量を用いて、一致した特徴に基づいて３次元空間におけるポイントを決定する一実施例を示す。一実施形態において、例えば方法４００のステップ４０６をインプリメントするために、この技術が用いられる。一致した特徴の対に対応する３次元空間におけるポイントを決定するために、一致した特徴の対に対して視線が構成され、視線の交点に基づいてポイントが決定される。このことは、下記にさらに詳述される。
図６は、どのように視線が形成されるかを示す一実施例６００を示す。図６に示される通り、視線６０６は、イメージ６０８の特徴６０４を介して、イメージ６０８のカメラ視点６０２からの視線を投射することまたは延ばすことによって形成され得る。実施例６００において、カメラ視点６０２は、イメージ６０８を撮影するために用いられるカメラの焦点に対応する。イメージ６０８とカメラ視点６０２との間の距離は、焦点距離６１０と等しい。
一致する特徴の各々に対する視線が形成された後、３次元空間におけるポイントは決定され得る。図７は、どのようにポイントが決定されるかを図示する一実施例７００を示す。
実施例７００において、２つのカメラローゼット７０２および７０４が示される。一実施形態において、これらの２つのカメラローゼットは同じであり得る（例えば、同じカメラローゼットが、異なる位置および異なる時点においてイメージを撮影するのに用いられ得る）。各カメラローゼット７０２および７０４は、一致した特徴を有するイメージを含む。実施例７００において、カメラローゼット７０２は、カメラローゼット７０４の特徴７０８に一致した特徴７０６を含む。図７に示される通り、第１の視線７１０は、カメラローゼット７０２のカメラ視点から、特徴７０６を介して視線７１０を延ばすことによって形成される。同様に、第２の視線７１２は、カメラローゼット７０４のカメラ視点から、特徴７０８を介して視線７１２を延ばすことによって形成される。視線７１０および視線７１２の交点は、３次元ポイント７１４である。複数の実施形態において、例えば、特徴の識別および一致における不明瞭に起因して、視線７１０および７１２は、実際にポイント７１４で交わらないことがある。視線７１０および７１２が実際に交わらない場合、それらの視線が最も近づいた位置での線分が決定され得る。これらの状況において、用いられる３次元ポイント７１４は、その線分の中間点であり得る。
複数の実施形態において、上記に述べられる通り、実施例６００および７００によって示されるステップは、一群の３次元ポイントを決定するために、各対の一致した特徴に対して繰り返される。
図８Ａは、ビルディング８０６およびツリー８０８を含む３次元空間の一実施例８００を示す。実施例８００はまた、ストリート８１０を含む。一実施形態において、ビルディング８０６およびツリー８０８の写真のイメージは、ストリート８１０に沿って移動する車両から撮影され得る。第２の写真のイメージが位置８０４から撮影され得る一方、第１の写真のイメージは、位置８０２から撮影され得る。
本明細書内に述べられる通り、本発明の一実施形態に従って、特徴が第１および第２のイメージから抽出される。一致する特徴は識別され、一致する特徴の各対に対して、例えば立体の三角測量を用いて３次元ポイントが決定される。これは、一群の３次元ポイント（例えば、これらは図８Ｂにおいて示される）をもたらす。図８Ｂは、一群の３次元ポイント８５２が図示される一実施例８５０を示す。
図９Ａ〜Ｃは、３次元空間における複数のポイントに基づいて前面の表面を決定する方法の一実施例を示す。この実施例は、単に例示的であり、例えば、方法４００のステップ４０８をインプリメントするために用いられ得る。他の実施形態において、その表面は、例えば最小自乗アルゴリズムまたは適用最適化アルゴリズムのようなベストフィットアルゴリズムまたは回帰分析アルゴリズムを用いて決定され得る。適用最適化アルゴリズムの実施例は、限定されることなく、ヒルクライミングアルゴリズム（ｈｉｌｌ−ｃｌｉｍｂｉｎｇ ａｌｇｏｒｉｔｈｍ）、確率的なヒルクライミングアルゴリズム（ｓｔｏｃｈａｓｔｉｃ ｈｉｌｌ−ｃｌｉｍｂｉｎｇ ａｌｇｏｒｉｔｈｍ）、Ａ−スターアルゴリズム（Ａ−ｓｔａｒ ａｌｇｏｒｉｔｈｍ）および遺伝的アルゴリズムを含む。
図９Ａは、ストリート９０８および一群の３次元ポイント９１０を図示する。ストリート９０８に平行に走るのは、前面の平面９０２である。動作中において、前面の平面９０２は、ストリート９０８から外側の軸上に平行移動される。外側に移動する各位置において、前面の平面９０２の特定の範囲内のポイントの数が計測される。図９Ａにおいて、その範囲は、破線９１２および９１４によって示される。図９Ａにおいて示される通り、ゼロ個のポイントが破線９１２と９１４との間に位置する。
図９Ｂは、ストリート９０８から外側の軸上に平行移動させられた前面の平面９０４を示す。図９Ｂにおいて、前面の平面９０４は、図９Ａにおいて示される前面の平面９０２のそれよりも長い距離をストリート９０８から外側に移動させられる。結果として、３つのポイントが、前面の平面９０４からのその範囲内に存在する。
一実施形態において、前面の平面に対する位置（例えば、特定される数の近くのポイントを有する位置）が探し出されない場合、前面の平面の角度は、ストリートに対して変化され得る。従って、図９Ｃは、ストリート９０８に対して平行でない角度において存在する前面の平面９０６を示す。図９Ｃに示される通り、前面の平面９０６に近い５つのポイントが存在する。
本明細書内に述べられる通り、本発明に従った仮想モデルは、前面の平面から形成される。前面の平面は、イメージコンテンツに従って生成され得る。一実施形態において、モデルはまた、１つ以上のストリート平面（例えば、ストリートに平行な平面）を含み得る。一実施形態において、ストリート平面は、ストリートの既知の位置（例えば、イメージを撮影するために用いられるカメラに対するストリートの位置を知り得る）に基づいて計算され得る。仮想モデルは、２次元または３次元であり得る。
図１０は、本発明の一実施形態に従って、イメージデータ内をナビゲートするために３次元のモデルを用いるシステム１０００を示す。図１０に示される通り、システム１０００は、クライアント１００２を含む。クライアント１００２は、例えばネットワーク（単数または複数）１０４４を渡って、１つ以上のサーバー１０２４と通信する。クライアント１００２は、汎用コンピュータであり得る。あるいは、クライアント１００２は、例えば携帯電話のような特化されたコンピューティングデバイスであり得る。同様に、サーバー（単数または複数）１０２４は、クライアント１００２にデータを供給する能力のある任意のコンピューティングデバイスを用いてインプリメントされ得る。
サーバー１０２４は、ウェブサーバーを含み得る。ウェブサーバーは、ＨＴＴＰ応答を用いてハイパーテキスト転送プロトコル（ＨＴＴＰ）要求に応答するソフトウェアコンポーネントである。例示的な実施例の通り、ウェブサーバーは、限定なく、Ａｐａｃｈｅ ＨＴＴＰ Ｓｅｒｖｅｒ、Ａｐａｃｈｅ Ｔｏｍｃａｔ、Ｍｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｅｒｖｅｒ、ＪＢｏｓｓ Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｅｒ、ＷｅｂＬｏｇｉｃ Ａｐｐｌｉｃａｔｉｏｎ ＳｅｒｖｅｒまたはＳｕｎ Ｊａｖａ（登録商標） Ｓｙｓｔｅｍ Ｗｅｂ Ｓｅｒｖｅｒであり得る。ウェブサーバーは、コンテンツ（例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能なマークアップ言語（ＸＭＬ）、文書、ビデオ、イメージ、マルチメディアフィーチャー（ｍｕｌｔｉｍｅｄｉａ ｆｅａｔｕｒｅｓ）、またはそれらの任意の組合せ）を供給し得る。この実施例は、厳密に例示的であり、本発明を限定しない。
サーバー１０２４は、下記に論述される通り、マップタイル１０１４、プログラム１０１６、構成情報１０１８および／またはパノラマタイル１０２０を供給し得る。
ネットワーク（単数または複数）１０４４は、データ通信を搬送し得る任意のネットワークか、または複数のネットワークの組合せかであり得、本明細書内でコンピュータネットワークと呼ばれ得る。ネットワーク（単数または複数）１０４４は、限定されることなく、ローカルエリアネットワーク、中域エリアネットワーク（ｍｅｄｉｕｍ ａｒｅａ ｎｅｔｗｏｒｋ）および／または広域ネットワーク（例えば、インターネット）を含み得る。ネットワーク（単数または複数）１０４４は、限定されることなく、ワールドワイドウェブのプロトコルおよび／またはサービスを含むプロトコルおよび技術をサポートし得る。介在のウェブサーバー、ゲートウェイまたは他のサーバーが、特定のアプリケーションまたは環境に依存するシステム１０００のコンポーネント間で提供され得る。
サーバー１０２４は、パノラマデータベース１０２８およびモデルデータベース１０３０に結合される。パノラマデータベース１０２８は、イメージを格納する。一実施例において、そのイメージは、ストリートレベルから撮影された写真のイメージであり得る。同じ位置から撮影された写真のイメージが合成され、パノラマを形成し得る。モデルデータベース１０３０は、パノラマデータベース１０２８におけるイメージに対応する３次元モデルを格納する。３次元モデルがどのように生成され得るかについての一実施例は、下記にさらに詳細に論述される。注釈データベース１０３２は、ユーザに生成された注釈を格納する。
パノラマデータベース１０２８、モデルデータベース１０３０および注釈データベース１０３２の各々は、リレーショナルデータベース管理システム上でインプリメントされ得る。リレーショナルデータベースの実施例は、Ｏｒａｃｌｅ、Ｍｉｃｒｏｓｏｆｔ ＳＱＬ ＳｅｒｖｅｒおよびＭｙＳＱＬを含む。これらの実施例は、例示的であり、本発明を限定することは意図されない。
サーバー１０２４は、ナビゲーションコントローラ１０３２を含む。ナビゲーションコントローラ１０３２は、パノラマ間でナビゲーションを促進するために、イメージコンテンツから生成されるモデルデータベース１０３０におけるモデルを用いる。ナビゲーションコントローラ１０３２は、ナビゲーションデータ１０４２からの入力を受容する。ナビゲーションデータ１０４２は、現在の位置および向きについてのデータ、ならびに所望の次の位置についてのデータを含む。例えば、クリックアンドゴー実施形態において、ナビゲーションデータ１０４２は、ユーザが行きたい場所の第１のパノラマイメージ、および第１のパノラマイメージにおける位置を含み得る。ナビゲーションデータ１０４２は、例えば、ＨＴＴＰパラメータとしてエンコードされたデータを有するＨＴＴＰ要求であり得る。
ナビゲーションデータ１０４２に応答して、ナビゲーションコントローラ１０３２は、モデルデータベース１０３０におけるモデルに基づいて、パノラマデータベース１０２８における新たなパノラマを決定する。ナビゲーションコントローラ１０３２はまた、第２のパノラマを表示するための向きを決定する。ナビゲーションコントローラ１０３２は、構成情報１０１８における新たなパノラマおよび向きならびにパノラマタイル１０２０を出力する。
ナビゲーションコントローラ１０３２は、スイッチングレーンコントローラ１０３４、クリックアンドゴーコントローラ１０３６およびウォークアラウンドコントローラ１０３８を含み得る。本発明の一実施形態に従って、スイッチングレーンコントローラ１０３４、クリックアンドゴーコントローラ１０３６およびウォークアラウンドコントローラ１０３８の各々は、ナビゲーションデータ１０４２に応答する。
スイッチングレーンコントローラ１０３４は、本発明のスイッチングレーン実施形態に従って動作する。ナビゲーションデータ１０４２に応答して、スイッチングレーンコントローラ１０３４は、パノラマデータベース１０２８から第２のパノラマイメージを選択する。第２のパノラマイメージは、異なるレーンの中にあることを除いて、第１のパノラマイメージの位置に近い。一実施例において、第２のパノラマイメージは、パノラマデータベース１０２８の中の最も近いパノラマイメージであって、異なるレーンの中に存在するパノラマイメージであり得る。スイッチングレーンコントローラ１０３４は、ナビゲーションデータ１０４２における第１のパノラマの位置および向きに従って、モデルデータベース１０３０の中のモデルにおける位置を決定する。一実施形態において、位置を決定するために、スイッチングレーンコントローラ１０３４は、図２Ａについて述べられる通り、その位置からのその向きの方向における視線を延ばす。スイッチングレーンコントローラ１０３４は次いで、図２Ｂについて述べられる通り、第２のパノラマの向きを決定する。最後に、スイッチングレーンコントローラ１０３４は、パノラマタイル１０２０単位での第２のパノラマと、構成情報１０１８における第２のパノラマの向きとを返す。
クリックアンドゴーコントローラ１０３６は、本発明のクリックアンドゴー実施形態に従って動作する。ナビゲーションデータ１０４２に応答して、クリックアンドゴーコントローラ１０３６は、パノラマデータベース１０２８から第２のパノラマイメージを選択する。クリックアンドゴーコントローラ１０３６は、ナビゲーションデータ１０４２から第１のパノラマイメージの中の位置に基づいて、第２のパノラマイメージを選択する。第１のパノラマイメージの中の位置は、ユーザの入力（例えば、マウス）によって決定され得る。クリックアンドゴーコントローラ１０３６は、図２Ａについて述べられる通り、モデルデータベース１０４２の中のモデルにおける位置を決定するために、第１のパノラマイメージの中の位置を用いる。クリックアンドゴーコントローラ１０３６は次いで、モデルにおける位置に基づいて第２のパノラマイメージを選択する。第２のパノラマイメージは、図２Ｄについて述べられる通り、モデルにおける位置に近い。一実施例において、モデル上の位置がストリートに垂直になるように、第２のパノラマイメージは位置を有し得る。別の実施例において、第２のパノラマイメージは、仮想モデルに垂直である位置を有し得る。クリックアンドゴーコントローラ１０３６は次いで、第２のパノラマの向きを決定する。第２のパノラマは、モデルにおける位置に対面するように向けられ得るか、または第２のパノラマは、ストリートの方向において向けられ得る。最後に、クリックアンドゴーコントローラ１０３６は、パノラマタイル１０２０単位での第２のパノラマと、構成情報１０１８におけるその向きとを返す。
ウォークアラウンドコントローラ１０３８は、ナビゲーションデータ１０４２に応答して、パノラマデータベース１０２８から第２のパノラマイメージを選択する。第２のパノラマイメージは、例えば、ユーザによって入力されるナビゲーションデータ１０４２における位置に従って、選択され得る。ウォークアラウンドコントローラ１０３８は、ナビゲーションデータ１０４２における第１のパノラマの位置および向きに従って、モデルデータベース１０３０の中のモデルにおける位置を決定する。その位置を決定するために、ウォークアラウンドコントローラ１０３８は、図２Ａについて述べられる通り、その位置からのその向きの方向における視線を延ばす。ウォークアラウンドコントローラ１０３８は、上述された通り、第２のパノラマの向きを決定する。最後に、ウォークアラウンドコントローラ１０３８は、パノラマタイル１０２０単位での第２のパノラマと、構成情報１０１８における第２のパノラマの向きとを返す。
一実施形態において、クライアント１００２は、マッピングサービス１００６およびパノラマビューア１００８を含み得る。マッピングサービス１００６およびパノラマビューア１００８の各々は、スタンドアローンのアプリケーションであるか、またはブラウザ１００４内で実行されるかし得る。複数の実施形態において、ブラウザ１００４は、Ｍｏｚｉｌｌａ ＦｉｒｅｆｏｘまたはＭｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒであり得る。パノラマビューア１００８は、ブラウザ１００４内でスクリプトとして（例えば、ブラウザ１００４内でプラグインとして）実行されるか、またはブラウザのプラグイン（例えば、Ａｄｏｂｅ（Ｍａｃｒｏｍｅｄｉａ）Ｆｌａｓｈプラグイン）内で実行するプログラムとして実行されるかし得る。
マッピングサービス１００６は、例えば、マップタイルのグリッドへのビューポートとして、マップのビジュアル表現を表示する。マッピングシステム１００６は、マークアップおよびスクリプティングの要素の組合せを用いて（例えば、ＨＴＭＬおよびＪａｖａ（登録商標）ｓｃｒｉｐｔを用いて）インプリメントされる。要求されたマップタイルがローカルキャッシュメモリの中にそれまでにキャッシュされていないことを想定して、ビューポートが移動させられるとき、マッピングサービス１００６は、サーバー（単数または複数）１０２４からのさらなるマップタイル１０１４を要求する。特に、マップタイル１０１４を供給するサーバー（単数または複数）は、パノラマタイル１０２０、構成情報１０１８、または本明細書内に含まれる他のデータを供給するサーバー（単数または複数）と同一または異なるサーバー（単数または複数）であり得る。
一実施形態において、マッピングサービス１００６は、そのブラウザ１００４がサーバー（単数または複数）１０２４からパノラマビューア１００８に対してプログラム１０１６をダウンロードするように進むことと、プログラム１０１６を起動するのに必要な任意のプラグインをそのブラウザ１００４がインスタンス化するように進むこととを要求し得る。プログラム１０１６は、フラッシュファイルか、または実行可能なコンテンツの一部の他の形態かであり得る。パノラマビューア１００８は、プログラム１０１６に従って実行および動作する。
パノラマビューア１００８は、サーバー（単数または複数）１０２４からの構成情報１０１８を要求する。構成情報は、ロードされるパノラマについてのメタ情報であって、他のパノラマへのパノラマ内のリンクについての情報を含むメタ情報を含む。一実施形態において、構成情報は、拡張可能なマークアップ言語（ＸＭＬ）のような形態で与えられる。パノラマビューア１００８は、例えば、パノラマイメージの形態で、またはパノラマイメージタイルの形態で、パノラマに対するビジュアルアセット（ｖｉｓｕａｌ ａｓｓｅｔ）１０２０を取り出す。別の実施形態において、ビジュアルアセットは、関連のあるファイルフォーマットにおいて構成情報を含む。パノラマビューア１００８は、構成情報１０１８およびビジュアルアセット１０２０から生成されるような、パノラマおよびさらなるユーザインターフェース要素のビジュアル表現をクライアントディスプレイ上に提示する。ユーザがパノラマのビジュアル表現を操作するために入力デバイスを操作するとき、パノラマビューア１００８は、ビジュアル表現を更新し、必要に応じてさらなる構成情報およびビジュアルアセットをダウンロードするように進む。
ブラウザ１００４、マッピングサービス１００６およびパノラマビューア１００８の各々は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組合せにおいてインプリメントされ得る。
図１１は、本発明の一実施形態に従って、イメージデータから仮想モデルを生成するシステム１１００を示す。システム１１００は、パノラマデータベース１０２８およびモデルデータベース１０３０を含み、パノラマデータベース１０２８およびモデルデータベース１０３０はそれぞれ、プロセッシングパイプラインサーバー（ｐｒｏｃｅｓｓｉｎｇ ｐｉｐｅｌｉｎｅ ｓｅｒｖｅｒ）１１２４に結合される。プロセッシングパイプラインサーバーは、任意のコンピューティングデバイスであり得る。コンピューティングデバイスの実施例は、限定されることなく、コンピュータ、ワークステーション、分散コンピューティングシステム、エンベデッドシステム、スタンドアローン電子デバイス、ネットワーク化されたデバイス、モバイルデバイス、ラックサーバー、テレビジョン、または他の種類のコンピューティングシステムを含む。
プロセッシングパイプラインサーバー１１２４は、特徴抽出器（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｏｒ）１１１６、特徴照合器（ｆｅａｔｕｒｅ ｍａｔｃｈｅｒ）１１１８、ポイント計算器（ｐｏｉｎｔ ｃａｌｃｕｌａｔｏｒ）１１２０および表面推定器（ｓｕｒｆａｃｅ ｅｓｔｉｍａｔｏｒ）１１２２を含む。特徴抽出器１１１６、特徴照合器１１１８、ポイント計算器１１２０および表面推定器１１２２の各々は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組合せにおいてインプリメントされ得る。
特徴抽出器１１１６は、パノラマデータベース１０２８からイメージ１１０２を選択する。一実施形態において、イメージ１１０２は、ストリートレベルの合成されていないパノラマイメージである２つのイメージを含み得る。その２つのイメージは、異なる観察点から撮影され得ることを除いて、互いに近い位置から撮影され得る。一実施形態において、イメージは、固定された８つのカメラのローゼットを有する移動車両から撮影され得る。８つのカメラは、異なる観察点から同時に８つのイメージを撮影する。８つのイメージは次いで、合成され、パノラマを形成し得る。第１のイメージは、８つのカメラのローゼットにおける第１のカメラからの合成されていないイメージであり得る。第２のイメージは、後の時点の間に撮影された、第１のカメラに隣接した第２のカメラからの合成されていないイメージであり得る。
特徴抽出器１１１６は、イメージ１１０２から特徴を抽出する。一実施形態において、特徴抽出器１１１６は、例えば、対象ポイント検出および特徴記述のような２つ以上の機能を実行し得る。対象ポイント検出は、条件に従ってイメージの中のポイントを検出し、イメージバリエーション（例えば、輝度および観察点におけるバリエーション）のもとで好ましくは再現可能である。各対象ポイントの近隣が次いで、特徴として記述される。これらの特徴は、特徴記述によって表される。特徴記述は、好ましくは独特である。
一実施形態において、高速化ロバスト特徴（ＳＵＲＦ）アルゴリズムは、イメージから特徴を抽出するために用いられ得る。ＳＵＲＦアルゴリズムは、対象ポイント検出および特徴記述のスキームを含む。ＳＵＲＦアルゴリズムにおいて、各特徴記述はベクトルを含む。一実施形態において、ベクトルは１２８次元であり得る。一実施例において、イメージがストリートレベルから撮影されるパノラマである場合に、ＳＵＲＦアルゴリズムは、各イメージにおいて、４〜５千個の特徴を抽出し得、１〜２メガバイトのサイズの特徴記述子ファイル１１０４をもたらす。
特徴照合器１１１８は、各特徴記述子ファイル１１０４を用いて、２つのイメージにおける特徴を一致させる。一実施例において、各特徴は、特徴記述子ファイル１１０４における特徴記述子によって表される。各特徴記述子は、１２８次元ベクトルを含む。第１の特徴と第２の特徴との間の類似性は、第１の特徴のベクトルと第２の特徴のベクトルとの間のユークリッドの距離を探し出すことによって決定され得る。
第２のイメージの中の特徴の中での、第１のイメージの中の特徴に対する一致は、次の通りに決定され得る。第１に、特徴照合器１１１８は、第２のイメージの中の特徴の中から決定される、第１のイメージの中の特徴の（例えば、１１８次元空間における）最も近い隣のものを決定する。第２に、特徴照合器１１１８は、第２のイメージの中の特徴の中から決定される、第１のイメージの中の特徴の２番目に近い隣のものを決定する。第３に、特徴照合器１１１８は、第１のイメージの中の特徴と第２のイメージの中の最も近い隣の特徴との間の第１の距離を決定し、第１のイメージの中の特徴と第２のイメージの中の２番目に近い隣の特徴との間の第２の距離を決定する。第４に、特徴照合器１１１８は、第１の距離を第２の距離で割ることによって特徴類似性比率を計算する。特徴類似性比率が特定の閾値未満である場合、第１のイメージの中の特徴と第２のイメージの中のその特徴の最も近い隣のものとの間の一致が存在する。
特徴照合器１１１８は、例えばスピルツリーを構成することによって、その最も近い隣のものとその２番目に近い隣のものとを決定し得る。
特徴類似性比率が低すぎる場合、特徴照合器１１１８は、十分な一致を決定し得ない。特徴類似性比率が高すぎる場合、特徴照合器１１１８は、多すぎる誤った一致を決定し得る。一実施形態において、特徴類似性比率は、０．５以上かつ０．９５以下であり得る。実施例において、イメージがストリートレベルから撮影されたパノラマである場合に、数百の一致した特徴が存在し得る。その一致した特徴は、一致した特徴１１０６として、ポイント計算器１１２０に送られる。
ポイント計算器１１２０は、一致した特徴１１０６の各対に対して３次元空間におけるポイントを決定する。３次元空間におけるポイントを決定するために、視線は、各特徴に対して形成されるか、または決定され、そのポイントは、その特徴に対する視線の交点に基づいて決定される。一実施形態において、その視線が交わらない場合、そのポイントは、２つの光線を接続する最も短い線分の中間点に基づいて決定される。ポイント計算器１１２０の出力は、一群の３次元ポイント１１０８（例えば、一致した特徴の各対に対する１つのポイント）である。
表面推定器１１２２は、一群のポイント１１０８に基づいて前面の平面を決定する。表面推定器１１２２は、例えば最小自乗アルゴリズムまたは適用最適化アルゴリズムのようなベストフィットアルゴリズムまたは回帰分析アルゴリズムを用いることによって前面の表面を決定し得る。適用最適化アルゴリズムの実施例は、限定されることなく、ヒルクライミングアルゴリズム、確率的なヒルクライミングアルゴリズム、Ａ−スターアルゴリズムおよび遺伝的アルゴリズムを含む。あるいは、表面推定器１１２２は、図９Ａ〜Ｃについて上述される通り、軸に沿って平面の最良の位置を決定するために、平面を平行移動させることによって前面の表面を決定し得る。
表面推定器１１２２はまた、１つ以上の（ｍｏｒｅ ｏｒ ｍｏｒｅ）ストリート平面を決定し得る。ストリート平面および前面の平面はともに、表面の平面１１１０を形成する。表面推定器１１２２は、モデルデータベース１０３０において表面の平面１１１０を格納する。
発明を実施するための形態の節（課題を解決するための手段の節でなく、要約の節でもない）が特許請求の範囲を解釈するために用いられることが意図されていることは正しく理解されたい。課題を解決するための手段の節および要約の節は、発明者（１人または複数人）によって企図される通り、１つ以上だが全てではない本発明の例示的な実施形態を定め得、従って、いかなる方法においても、本発明および添付の特許請求の範囲を限定することは意図されていない。
本発明は、それらの特定される機能および関係のインプリメンテーションを示す機能的な構成単位の支援を用いて上述された。これらの機能的な構成単位の境界は、記述の便宜のために本明細書内に任意に定義された。それらの特定される機能および関係が適切に行われる限り、代替の境界は定義され得る。
特定の実施形態についての前述の解説は、本発明の全体的な本質を十分に明かすものであり、本発明は、（当業者の知識を応用することによって）特定の実施形態のような様々な用途に対して、必要以上の実験なしに、本発明の全体的な概念から逸脱することなく、難なく改良および／または適合され得る。それゆえ、そのような適合および改良は、本明細書で与えられる教示および示唆に基づいて、開示される実施形態の均等物の意味内および範囲内であることが意図される。本発明の詳述についての専門用語または表現法が、教示および示唆の観点において当業者によって解釈され得るように、本明細書での表現法または専門用語が解説の目的のためであって限定の目的のためではないことは、理解されるべきである。
本発明の広さおよび範囲は、上述された例示的な任意の実施形態によって限定されるべきではないが、続く特許請求の範囲およびそれらの均等物に従ってのみ定義されるべきである。

Claims (15)

  1. イメージを提供する、コンピュータにインプリメントされる方法であって、
    前記方法は、
    １つ以上のコンピューティングデバイスによって、第１のイメージの第１のビューポート内のオブジェクトを識別するユーザ入力を受信することであって、前記第１のビューポートは、第１のコンテンツを有し、前記第１のイメージは、第１の位置でキャプチャされたものである、ことと、
    前記１つ以上のコンピューティングデバイスによって、前記オブジェクトの位置を決定することと、
    前記１つ以上のコンピューティングデバイスによって、前記決定された位置に基づいて第２のイメージを選択することと、
    前記１つ以上のコンピューティングデバイスによって、前記決定された位置に基づいた前記第２のイメージの第２のビューポートを、前記第２のビューポートが前記第１のコンテンツを含むように、決定することであって、前記第２のイメージは、前記第１の位置とは異なる第２の位置でキャプチャされたものである、ことと、
    前記１つ以上のコンピューティングデバイスによって、前記第２のビューポートを用いて、表示のために前記第２のイメージを提供することと
    を含む、方法。
  2. 前記決定された位置を決定することは、
    前記オブジェクトに対応する３次元モデルの表面上に視線を投射することと、
    前記３次元モデルの前記表面と前記視線との交点の位置を決定することと
    を含む、請求項１に記載の方法。
  3. 前記決定された位置を決定することは、
    前記オブジェクトに対応する２次元モデルの表面上に視線を投射することと、
    前記２次元モデルの前記表面と前記視線との交点の位置を決定することと
    を含む、請求項１に記載の方法。
  4. 前記第１のビューポートおよび前記第２のビューポートの各々は、同一のコンテンツを含む、請求項１に記載の方法。
  5. 前記第１のビューポートおよび前記第２のビューポートは、前記第１のイメージおよび前記第２のイメージの異なる向きに対応する、請求項１に記載の方法。
  6. 前記第２のイメージを選択することは、前記決定された位置に対して最も近い利用可能なイメージとして前記第２のイメージを識別することを含む、請求項１に記載の方法。
  7. 前記第２のビューポートが表示される前に、表示のために変わり目のイメージを提供することをさらに含み、前記変わり目のイメージは、前記決定された位置へと向かうような向きでの表示のために提供される、請求項１に記載の方法。
  8. イメージを提供するシステムであって、
    前記システムは、
    複数のイメージを格納するメモリと、
    １つ以上のコンピューティングデバイスと
    を備え、
    前記１つ以上のコンピューティングデバイスは、
    前記複数のイメージのうちの第１のイメージの第１のビューポート内のオブジェクトを識別するユーザ入力を受信することであって、前記第１のビューポートは、第１のコンテンツを有し、前記第１のイメージは、第１の位置でキャプチャされたものである、ことと、
    前記オブジェクトの位置を決定することと、
    前記決定された位置に基づいて第２のイメージを選択することと、
    前記決定された位置に基づいた前記第２のイメージの第２のビューポートを、前記第２のビューポートが前記第１のコンテンツを含むように、決定することであって、前記第２のイメージは、前記第１の位置とは異なる第２の位置でキャプチャされたものである、ことと、
    前記第２のビューポートを用いて、表示のために前記第２のイメージを提供することと
    を実行するように構成される、システム。
  9. ３次元モデルを格納する第２のメモリをさらに備え、
    前記１つ以上のコンピューティングデバイスは、
    前記オブジェクトに対応する前記３次元モデルの表面上に視線を投射することと、
    前記３次元モデルの前記表面と前記視線との交点の位置を決定することと
    によって、前記決定された位置を決定するように構成される、請求項８に記載のシステム。
  10. 前記１つ以上のコンピューティングデバイスは、
    前記オブジェクトに対応する２次元モデルの表面上に視線を投射することと、
    前記２次元モデルの前記表面と前記視線との交点の位置を決定することと
    によって、前記決定された位置を決定するように構成される、請求項８に記載のシステム。
  11. 前記第１のビューポートおよび前記第２のビューポートの各々は、同一のコンテンツを含む、請求項８に記載のシステム。
  12. 前記第１のビューポートおよび前記第２のビューポートは、前記第１のイメージおよび前記第２のイメージの異なる向きに対応する、請求項８に記載のシステム。
  13. 前記第２のイメージを選択することは、前記決定された位置に対して最も近い利用可能なイメージとして前記第２のイメージを識別することを含む、請求項８に記載のシステム。
  14. 前記１つ以上のコンピューティングデバイスは、前記第２のビューポートが表示される前に、表示のために変わり目のイメージを提供するようにさらに構成され、前記変わり目のイメージは、前記決定された位置へと向かうような向きでの表示のために提供される、請求項８に記載のシステム。
  15. プログラムのコンピュータ読み取り可能な命令が格納された非一時的なコンピュータ読み取り可能な格納媒体であって、前記命令は、プロセッサにより実行されると、前記プロセッサに、イメージを提供する方法を実行させ、
    前記方法は、
    第１のイメージの第１のビューポート内のオブジェクトを識別するユーザ入力を受信することであって、前記第１のビューポートは、第１のコンテンツを有し、前記第１のイメージは、第１の位置でキャプチャされたものである、ことと、
    前記オブジェクトの位置を決定することと、
    前記決定された位置に基づいて第２のイメージを選択することと、
    前記決定された位置に基づいた前記第２のイメージの第２のビューポートを、前記第２のビューポートが前記第１のコンテンツを含むように、決定することであって、前記第２のイメージは、前記第１の位置とは異なる第２の位置でキャプチャされたものである、ことと、
    前記第２のビューポートを用いて、表示のために前記第２のイメージを提供することと
    を含む、非一時的なコンピュータ読み取り可能な格納媒体。
JP2013128251A 2008-02-27 2013-06-19 パノラマイメージデータの中のナビゲーションを促進するためのイメージコンテンツの使用 Active JP5678131B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/038,325 US8525825B2 (en) 2008-02-27 2008-02-27 Using image content to facilitate navigation in panoramic image data
US12/038,325 2008-02-27

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010548720A Division JP5337822B2 (ja) 2008-02-27 2009-02-26 パノラマイメージデータの中のナビゲーションを促進するためのイメージコンテンツの使用

Publications (2)

Publication Number Publication Date
JP2013242881A JP2013242881A (ja) 2013-12-05
JP5678131B2 true JP5678131B2 (ja) 2015-02-25

Family

ID=40677548

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010548720A Active JP5337822B2 (ja) 2008-02-27 2009-02-26 パノラマイメージデータの中のナビゲーションを促進するためのイメージコンテンツの使用
JP2013128251A Active JP5678131B2 (ja) 2008-02-27 2013-06-19 パノラマイメージデータの中のナビゲーションを促進するためのイメージコンテンツの使用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010548720A Active JP5337822B2 (ja) 2008-02-27 2009-02-26 パノラマイメージデータの中のナビゲーションを促進するためのイメージコンテンツの使用

Country Status (8)

Country Link
US (4) US8525825B2 (ja)
EP (1) EP2260470B1 (ja)
JP (2) JP5337822B2 (ja)
CN (2) CN103824317B (ja)
AU (1) AU2009217725B2 (ja)
CA (1) CA2716360C (ja)
DE (1) DE202009019124U1 (ja)
WO (1) WO2009108333A2 (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8072448B2 (en) 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
US8525825B2 (en) 2008-02-27 2013-09-03 Google Inc. Using image content to facilitate navigation in panoramic image data
WO2009124156A1 (en) * 2008-04-01 2009-10-08 Decarta Inc. Gradually changing perspective map
US20110113315A1 (en) * 2008-12-31 2011-05-12 Microsoft Corporation Computer-assisted rich interactive narrative (rin) generation
US9454847B2 (en) 2009-02-24 2016-09-27 Google Inc. System and method of indicating transition between street level images
KR100971778B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20110052124A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
JP5387906B2 (ja) * 2009-12-28 2014-01-15 学校法人福岡大学 ３次元座標特定装置、その方法、及びプログラム
US8447136B2 (en) 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
WO2012071445A2 (en) * 2010-11-24 2012-05-31 Google Inc. Guided navigation through geo-located panoramas
US8447116B2 (en) 2011-07-22 2013-05-21 Honeywell International Inc. Identifying true feature matches for vision based navigation
US9036000B1 (en) * 2011-09-27 2015-05-19 Google Inc. Street-level imagery acquisition and selection
US9384711B2 (en) * 2012-02-15 2016-07-05 Microsoft Technology Licensing, Llc Speculative render ahead and caching in multiple passes
US9396577B2 (en) 2012-02-16 2016-07-19 Google Inc. Using embedded camera parameters to determine a position for a three-dimensional model
US8885952B1 (en) * 2012-02-29 2014-11-11 Google Inc. Method and system for presenting similar photos based on homographies
US20130271488A1 (en) * 2012-04-12 2013-10-17 Nokia Corporation Method and apparatus for filtering and transmitting virtual objects
US9230517B2 (en) 2012-05-31 2016-01-05 Microsoft Technology Licensing, Llc Virtual surface gutters
US9235925B2 (en) 2012-05-31 2016-01-12 Microsoft Technology Licensing, Llc Virtual surface rendering
US9286122B2 (en) 2012-05-31 2016-03-15 Microsoft Technology Licensing, Llc Display techniques using virtual surface allocation
US9177533B2 (en) 2012-05-31 2015-11-03 Microsoft Technology Licensing, Llc Virtual surface compaction
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9256983B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. On demand image overlay
EP2897845B1 (en) * 2012-09-20 2017-08-09 Waymo Llc Detecting road weather conditions
US9275460B2 (en) * 2012-10-17 2016-03-01 Google Inc. Reference orientations for viewing panoramic images
US9885789B2 (en) * 2013-03-14 2018-02-06 Google Llc Accounting for atmospheric and terrestrial obstacles in geographic positioning
ITMO20130086A1 (it) * 2013-04-02 2014-10-03 Gabriele Garavini Metodo e sistema per la visita virtuale di luoghi inaccessibili e/o intransitabili mediante veicoli
US9307007B2 (en) 2013-06-14 2016-04-05 Microsoft Technology Licensing, Llc Content pre-render and pre-fetch techniques
JP2015095802A (ja) * 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US20150206337A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for visualization of geo-located media contents in 3d rendering applications
US20150206343A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for evaluating environmental structures for in-situ content augmentation
US10311633B2 (en) 2014-01-17 2019-06-04 Nokia Technologies Oy Method and apparatus for visualization of geo-located media contents in 3D rendering applications
US9235215B2 (en) 2014-04-03 2016-01-12 Honeywell International Inc. Feature set optimization in vision-based positioning
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9185391B1 (en) 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
US9569498B2 (en) * 2014-06-27 2017-02-14 Google Inc. Using image features to extract viewports from images
KR102300034B1 (ko) * 2014-07-04 2021-09-08 엘지전자 주식회사 디지털 이미지 처리 장치 및 제어 방법
US9851299B2 (en) 2014-10-25 2017-12-26 Isle Management Co. Method of analyzing air quality
CN104717278A (zh) * 2014-12-04 2015-06-17 广西蕴藏科技有限公司 一种标记位置引导方法和系统
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US11080871B2 (en) 2016-05-03 2021-08-03 Google Llc Method and system for obtaining pair-wise epipolar constraints and solving for panorama pose on a mobile device
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
CN108510433B (zh) * 2017-02-28 2020-03-24 贝壳找房(北京)科技有限公司 空间展示方法、装置及终端
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
US10102611B1 (en) * 2017-10-16 2018-10-16 Xplorit Llc Interconnected 360 video virtual travel
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
CN109859612A (zh) * 2019-01-16 2019-06-07 中德（珠海）人工智能研究院有限公司 一种街景数据的三维注释的方法及其系统
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
CN111189440B (zh) * 2019-12-31 2021-09-07 中国电建集团华东勘测设计研究院有限公司 一种基于空间信息模型与实时图像比对的定位导航方法
CN111323028B (zh) * 2020-02-20 2022-08-19 川谷汇(北京)数字科技有限公司 一种基于图像识别的室内室外定位装置以及定位方法
EP3923121A1 (en) * 2020-06-09 2021-12-15 Diadrasis Ladas I & Co Ike Object recognition method and system in augmented reality enviroments
US11443443B2 (en) * 2020-07-16 2022-09-13 Siemens Industry Software Inc Method and a data processing system for aligning a first panoramic image and a second panoramic image in a navigation procedure
CN112465696B (zh) * 2020-12-04 2024-09-06 中国科学院深圳先进技术研究院 一种全景呈现方法及其装置
CN113008252B (zh) * 2021-04-15 2023-08-22 东莞市异领电子有限公司 基于全景照片的高精度导航装置及导航方法

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06223198A (ja) 1993-01-26 1994-08-12 Hitachi Ltd 光線追跡による画像生成装置及び方法
US5737533A (en) 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
US5973699A (en) * 1996-09-19 1999-10-26 Platinum Technology Ip, Inc. System and method for increasing the performance for real-time rendering of three-dimensional polygonal data
US6308144B1 (en) 1996-09-26 2001-10-23 Computervision Corporation Method and apparatus for providing three-dimensional model associativity
US6111582A (en) * 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6256043B1 (en) 1997-09-26 2001-07-03 Lucent Technologies Inc. Three dimensional virtual reality enhancement techniques
JPH11259672A (ja) * 1998-03-13 1999-09-24 Mitsubishi Electric Corp ３次元仮想空間表示装置
IL127314A0 (en) 1998-11-27 1999-09-22 Algotec Systems Ltd A method for forming a perspective rendering from a voxel space
US6346938B1 (en) * 1999-04-27 2002-02-12 Harris Corporation Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model
US7620909B2 (en) * 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US7148898B1 (en) * 2000-03-29 2006-12-12 Sourceprose Corporation System and method for synchronizing raster and vector map images
JP2002183150A (ja) 2000-12-13 2002-06-28 Nec Corp 位置関連情報提示システム及び位置関連情報提示方法並びにその制御プログラムを記録した記録媒体
US7096428B2 (en) * 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US20050128212A1 (en) 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
US7570261B1 (en) 2003-03-06 2009-08-04 Xdyne, Inc. Apparatus and method for creating a virtual three-dimensional environment, and method of generating revenue therefrom
JP2004342004A (ja) 2003-05-19 2004-12-02 Minolta Co Ltd 画像処理装置およびプログラム
WO2005029264A2 (en) 2003-09-19 2005-03-31 Alphatech, Inc. Tracking systems and methods
JP4437677B2 (ja) 2004-03-01 2010-03-24 三菱電機株式会社 景観表示装置
US7966563B2 (en) * 2004-03-12 2011-06-21 Vanbree Ken System for organizing and displaying registered images
US20050210008A1 (en) 2004-03-18 2005-09-22 Bao Tran Systems and methods for analyzing documents over a network
US7746376B2 (en) 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
US7460953B2 (en) 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
US7714859B2 (en) 2004-09-03 2010-05-11 Shoemaker Garth B D Occlusion reduction and magnification for multidimensional data presentations
JP2008520052A (ja) 2004-11-12 2008-06-12 モク３， インコーポレイテッド シーン間遷移のための方法
US8103445B2 (en) 2005-04-21 2012-01-24 Microsoft Corporation Dynamic map rendering as a function of a user parameter
US20070210937A1 (en) 2005-04-21 2007-09-13 Microsoft Corporation Dynamic rendering of map information
JP2006309626A (ja) * 2005-04-28 2006-11-09 Ntt Docomo Inc 任意視点画像生成装置
US7373246B2 (en) 2005-05-27 2008-05-13 Google Inc. Using boundaries associated with a map view for business location searching
US7353114B1 (en) 2005-06-27 2008-04-01 Google Inc. Markup language for an interactive geographic information system
US7933001B2 (en) 2005-07-11 2011-04-26 Kabushiki Kaisha Topcon Geographic data collecting system
US20070030396A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
US8818076B2 (en) * 2005-09-01 2014-08-26 Victor Shenkar System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
US7840032B2 (en) 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
US7933897B2 (en) 2005-10-12 2011-04-26 Google Inc. Entity display priority in a distributed geographic information system
WO2007108090A1 (ja) * 2006-03-20 2007-09-27 Fujitsu Limited 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法
CN101055494B (zh) * 2006-04-13 2011-03-16 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
WO2007124513A2 (en) 2006-04-25 2007-11-01 Google, Inc. Ranking and clustering of geo-located objects
CN101090460B (zh) * 2006-06-13 2011-11-02 上海杰图软件技术有限公司 一种在多幅全景图之间切换的方法
US8098934B2 (en) 2006-06-29 2012-01-17 Google Inc. Using extracted image text
GB2440197A (en) * 2006-07-20 2008-01-23 Alan Stuart Radley 3D Perspective Image of a User Interface for Manipulating Focus and Context
US20080033641A1 (en) 2006-07-25 2008-02-07 Medalia Michael J Method of generating a three-dimensional interactive tour of a geographic location
US7712052B2 (en) 2006-07-31 2010-05-04 Microsoft Corporation Applications of three-dimensional environments constructed from images
US7698336B2 (en) 2006-10-26 2010-04-13 Microsoft Corporation Associating geographic-related information with objects
US9369679B2 (en) * 2006-11-07 2016-06-14 The Board Of Trustees Of The Leland Stanford Junior University System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model
US20080143709A1 (en) * 2006-12-14 2008-06-19 Earthmine, Inc. System and method for accessing three dimensional information from a panoramic image
CN1987857A (zh) * 2006-12-18 2007-06-27 于慧 采用虚拟仿真综合图文信息交互实现数字城市系统的方法
US20080268876A1 (en) 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US7843451B2 (en) 2007-05-25 2010-11-30 Google Inc. Efficient rendering of panoramic images, and applications thereof
US7990394B2 (en) 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
CA3036872C (en) 2007-05-25 2020-04-28 Google Llc Rendering, viewing and annotating panoramic images, and applications thereof
US20090132646A1 (en) 2007-11-16 2009-05-21 Iac Search & Media, Inc. User interface and method in a local search system with static location markers
US8072448B2 (en) * 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
WO2009136969A2 (en) 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
US8525825B2 (en) 2008-02-27 2013-09-03 Google Inc. Using image content to facilitate navigation in panoramic image data
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US8700301B2 (en) 2008-06-19 2014-04-15 Microsoft Corporation Mobile computing devices, architecture and user interfaces based on dynamic direction information
US20100076976A1 (en) 2008-09-06 2010-03-25 Zlatko Manolov Sotirov Method of Automatically Tagging Image Data
US7882286B1 (en) 2008-09-26 2011-02-01 EMC (Benelux)B.V., S.A.R.L. Synchronizing volumes for replication
US20100250120A1 (en) 2009-03-31 2010-09-30 Microsoft Corporation Managing storage and delivery of navigation images
US8306973B2 (en) 2009-04-06 2012-11-06 Google Inc. Method for generating location targeted, keyword-triggered, ads and generating user recallable layer-based ads
US20100305855A1 (en) 2009-05-27 2010-12-02 Geodelic, Inc. Location relevance processing system and method
US20110137561A1 (en) 2009-12-04 2011-06-09 Nokia Corporation Method and apparatus for measuring geographic coordinates of a point of interest in an image
US8447136B2 (en) 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
US8525834B2 (en) 2010-02-17 2013-09-03 Lockheed Martin Corporation Voxel based three dimensional virtual environments
US8392354B2 (en) 2010-02-17 2013-03-05 Lockheed Martin Corporation Probabilistic voxel-based database
US20110270517A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Method and apparatus for providing personalized presentations based on navigation information
US9582166B2 (en) 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9245383B2 (en) 2012-08-17 2016-01-26 Google Inc. Accelerated three-dimensional intersection testing using compressed volumes
US9460510B2 (en) 2013-03-29 2016-10-04 Siemens Medical Solutions Usa, Inc. Synchronized navigation of medical images

Also Published As

Publication number Publication date
US20120327184A1 (en) 2012-12-27
CN102016927B (zh) 2013-11-20
CN103824317B (zh) 2017-08-08
CA2716360C (en) 2014-07-08
US9632659B2 (en) 2017-04-25
EP2260470A2 (en) 2010-12-15
CN103824317A (zh) 2014-05-28
US20090213112A1 (en) 2009-08-27
US20170186229A1 (en) 2017-06-29
JP2013242881A (ja) 2013-12-05
EP2260470B1 (en) 2018-05-02
CA2716360A1 (en) 2009-09-03
US8963915B2 (en) 2015-02-24
US10163263B2 (en) 2018-12-25
AU2009217725B2 (en) 2013-10-17
AU2009217725A1 (en) 2009-09-03
WO2009108333A3 (en) 2009-11-05
WO2009108333A2 (en) 2009-09-03
JP2011513829A (ja) 2011-04-28
US20150116326A1 (en) 2015-04-30
DE202009019124U1 (de) 2016-10-31
JP5337822B2 (ja) 2013-11-06
CN102016927A (zh) 2011-04-13
US8525825B2 (en) 2013-09-03

Similar Documents

Publication Publication Date Title
JP5678131B2 (ja) パノラマイメージデータの中のナビゲーションを促進するためのイメージコンテンツの使用
US10540794B2 (en) Three-dimensional annotations for street view data
Chen et al. Rise of the indoor crowd: Reconstruction of building interior view via mobile crowdsourcing
EP3164811B1 (en) Method for adding images for navigating through a set of images
CN109842811A (zh) 一种在视频中植入推送信息的方法、装置及电子设备
US20210385428A1 (en) System and method for identifying a relative position and direction of a camera relative to an object

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150105

R150 Certificate of patent or registration of utility model

Ref document number: 5678131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250