JP5899232B2 - 地理的位置指定パノラマを通した誘導付きナビゲーション - Google Patents
地理的位置指定パノラマを通した誘導付きナビゲーション Download PDFInfo
- Publication number
- JP5899232B2 JP5899232B2 JP2013541029A JP2013541029A JP5899232B2 JP 5899232 B2 JP5899232 B2 JP 5899232B2 JP 2013541029 A JP2013541029 A JP 2013541029A JP 2013541029 A JP2013541029 A JP 2013541029A JP 5899232 B2 JP5899232 B2 JP 5899232B2
- Authority
- JP
- Japan
- Prior art keywords
- navigation
- virtual camera
- path
- panoramic image
- dimensional environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 33
- 238000012937 correction Methods 0.000 claims description 25
- 238000009877 rendering Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims 4
- 230000006698 induction Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 29
- 230000015654 memory Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
Description
図1は、ある実施形態による、街路網に沿った、誘導付きナビゲーションのためのシステム100を図示する略図である。システム100は、ネットワーク130を横断して、サーバ140に通信可能に連結される、クライアント102を含む。ネットワーク130は、データ通信を搬送し得る任意のネットワークまたはネットワークの組み合わせであることができる。そのようなネットワークは、ローカルエリアネットワーク、ミディアムエリアネットワーク、および/またはインターネット等の広域ネットワークを含むことができるが、それらに限定されない。
ある実施形態では、写真パノラマは、ある実施形態による、パノラマ画像によって表される景色内の種々の点に対応する、深度情報を含む。深度情報は、例えば、第1の位置に対する景色内の種々の点の接近度を記述する深度値を含むことができる。第1の位置は、例えば、画像を捕捉するために使用される、画像捕捉デバイス(例えば、特殊デジタルカメラ)の位置であることができる。ある実施形態では、景色内に表されるオブジェクトの表面は、点集合として表され得る。各点は、順に、ベクトルとして表され得、それによって、各点は、画像捕捉デバイスまでのその距離と、そのような画像捕捉デバイスが指向される方向に対するその角度とに関して記憶される。
ある実施形態では、各パノラマ画像のメタデータは、1つ以上の近隣パノラマへの空間リンク、接続、または進路を指定する、接続情報を含む。ある実施形態では、ユーザ相互作用モジュール110(または、その構成要素の任意の組み合わせまたは部分的組み合わせ)は、各パノラマ画像のメタデータ内に含まれる接続情報に基いて、空間的にリンクされたパノラマの指向性グラフ(または、単に「パノラマグラフ」または「接続グラフ」)を構築する。そのようなパノラマグラフは、例えば、クライアント102における、ローカルメモリ(例えば、キャッシュメモリ)内に記憶され得る。ある実施形態では、パノラマグラフを使用して、3次元環境内でレンダリングされた異なるパノラマ間のリンクに沿って、GISのユーザを誘導することができる。ある実施例では、そのようなリンクは、GISのバーチャル3次元環境内の街路網に対応し、パノラマ画像は、網目の街路に沿って、一連の異なる街路レベルのビューを表す。この点において、パノラマグラフは、近隣パノラマ間の街路または道路網(または、「道路網」)を表すことができる。
街路レベルの景色のパノラマは、単一点のビュー(single point−of−view)のみからの景色の正確な表現を提示し得る。例えば、最良の視覚的品質、すなわち、パノラマ内で表される景色の最も正確な視覚的描写を提示する、ビューポイントは、パノラマが撮影された正確な位置に対応し、すなわち、パノラマ画像を捕捉するために使用される画像捕捉デバイスの原位置に対応する、3次元環境内のバーチャルカメラの場所に関連付けられ得る。例えば、この位置は、パノラマの中心に対応し得る。さらに、3次元環境内のレンダリングされたパノラマの視覚的品質は、バーチャルカメラが、パノラマの中心から離れて移動するにつれて、劣化し得る。
前述のように、実施形態は、バーチャルカメラ(および、ユーザ)が、パノラマの3次元表現が、3次元環境内でレンダリングされる場合、良好な画像品質のエリアをたどることを可能にする。また、前述のように、パノラマは、1つ以上の街路に沿って、種々の景色の地上レベルのビューを提供する。したがって、バーチャルカメラの移動は、3次元環境内の街路の表現をたどる。ある実施形態では、進路移動モジュール118はさらに、ユーザ入力、例えば、キーボードおよび/またはマウスイベント(例えば、上方矢印、右矢印、ダブルクリック等)に基づいて、そのようなナビゲーションを促進するように構成される。その結果、進路移動モジュール118は、街路の表現に沿って、進路上でバーチャルカメラを誘導する一方、ユーザが、ナビゲーション制御および/または追加のユーザ入力を使用することによって、進路を保とうとするいかなる過度の負担も軽減させる。
図3A−Eは、街路中心に向かって、および/またはそれに沿って、バーチャルカメラ(および、ユーザ)を緻密に誘導することに関連付けられる、種々の可能な使用例を図示する略図300A−Eである。図3A−Eに示される略図の各々は、交差点に関連付けられたパノラマの道路網を含む。さらに、各略図は、パノラマの各々に対するナビゲーション経路半径302を含む。説明の容易性のために、ナビゲーション経路幅は、示されない。略図の各々において、バーチャルカメラのビューおよび進路方向は、バーチャルカメラに関連付けられた矢印の方向にある。ユーザは、例えば、「前方移動」アクションを実行し得る(例えば、前述のように、矢印キーを選択することによって)。
ある実施例では、バーチャルカメラは、地球の空中の眺めに対応する初期位置を有し得る。ある実施形態では、ユーザは、3次元環境内の適切な位置を選択することによって、地球上の地理的場所に対応する標的を選択し得る。バーチャルカメラは、次いで、選択された標的に基づいて、より低い高度まで、徐々にズームダウンし得る。地上レベル近傍の閾値高度に到達し得、これは、ユーザが、地上レベルのオブジェクトを間近で見ようとしていることを推測するために使用され得る。例えば、衛星画像が、ぼやける、またはあまり有用ではなくなり得る、地上レベル近傍では、いくつかの要因が、そのようなユーザの意図を推測するために、考慮され得る。そのような要因は、地上への接近度、バーチャルカメラの移動、およびユーザ入力(例えば、マウスの動き)を含むことができるが、それに限定されない。
図4は、ある実施形態による、標的に向かう、街路網に沿った、バーチャルカメラの誘導付きナビゲーションのための方法400を図示する流れ図である。説明の容易性のために、方法400は、前述の図1のシステム100に関して説明される。しかしながら、方法400は、それらに限定されるように意図されない。
図1−4に示される実施形態、あるいはその任意の部分または機能は、ハードウェア、ソフトウェアモジュール、ファームウェア、その上に記憶される命令を有する、有形コンピュータ可読媒体、またはそれらの組み合わせを使用して、実装され得、1つ以上のコンピュータシステムまたは他の処理システム内に実装され得る。
概要および要約の項は、本発明者らによって検討されるような本発明の全てではないが1つ以上の例示的実施形態を記載し得、したがって、決して本発明および添付の請求項を限定することを目的としない。
Claims (27)
- 3次元環境における誘導付きナビゲーションのためのコンピュータ実装方法であって、
1つ以上のコンピューティングデバイスによって、3次元環境内にバーチャルカメラのビューポイントからのパノラマ画像の第1の3次元表現を表示することと、
前記1つ以上のコンピューティングデバイスによって、第1のパノラマ画像に関連付けられたメタデータに基づいて、前記第1のパノラマ画像にリンクされた1つ以上の追加のパノラマ画像を識別することと、
前記1つ以上のコンピューティングデバイスによって、前記3次元環境内における、前記第1のパノラマ画像および前記1つ以上の追加のパノラマ画像の各々に対して視覚的表現に関連付けられた基準を満たす視覚的品質の領域を決定することと、
前記1つ以上のコンピューティングデバイスによって、視覚的品質の各領域に基づいて、前記第1のパノラマ画像と前記1つ以上の追加のパノラマ画像との間の進路に対する1つ以上のナビゲーション経路を生成することであって、各ナビゲーション経路は、前記ナビゲーション経路によって規定される空間の境界された体積における視覚的品質の前記領域内の前記バーチャルカメラの移動を制約するレンダリング表面を有する、ことと、
ナビゲーションフィレットが、無衝突区域を表し、かつ前記第1のパノラマ画像のうちの1つの中心に対する接触点の距離に従って、パラメータ化されるように、前記1つ以上のコンピューティングデバイスによって、前記1つ以上のナビゲーション経路のうちの異なるナビゲーション経路の間に衝突球体を接するように適合させることにより、前記1つ以上のナビゲーション経路の交差点の周囲に前記ナビゲーションフィレットを構築することと、
前記1つ以上の追加のパノラマ画像のうちの第2のパノラマ画像内のある位置への前記バーチャルカメラの所望の移動を示す入力イベントに応答して、前記1つ以上のコンピューティングデバイスによって、前記入力イベントに基づいて、前記1つ以上の追加のパノラマ画像のうちの前記第2のパノラマ画像に関連付けられた第2の位置に向かう、前記第1のパノラマ画像に関連付けられた第1の位置からの、前記無衝突区域内の前記進路に沿って、前記3次元環境内において前記バーチャルカメラを再配置することであって、前記移動は、たとえ前記入力イベントによって示された位置が前記ナビゲーション経路の外側であっても、前記ナビゲーション経路によって定義された空間の境界された体積内の視覚的品質の前記領域の外側での前記バーチャルカメラの移動を回避することを含む、ことと
を含む、方法。 - 前記3次元環境内の前記領域を決定することは、
前記パノラマ画像の各々に関連付けられた深度地図に基づいて、前記第1のパノラマ画像および前記1つ以上の追加のパノラマ画像の各々に対してナビゲーション半径を計算することを含み、前記ナビゲーション半径は、前記3次元環境内における、前記パノラマ画像の各々に対する前記決定された領域を表す、請求項1に記載の方法。 - 前記進路に沿った各パノラマ画像に対するナビゲーション球体および各パノラマ画像の前記計算されたナビゲーション半径を補間することに基づいて、各ナビゲーション経路の周囲にシェルを構築することをさらに含み、前記シェルは、前記3次元環境内における前記バーチャルカメラの移動に対する境界を規定する、請求項2に記載の方法。
- 各それぞれのパノラマ画像内の画像オブジェクトに関連付けられた深度値に基づいて、前記第1のパノラマ画像および前記1つ以上の追加のパノラマ画像に対するポリゴンの3次元メッシュを生成することをさらに含む、請求項1に記載の方法。
- 前記第1のパノラマ画像および前記1つ以上の追加のパノラマ画像は、前記3次元環境において、街路網に関連付けられている、請求項1に記載の方法。
- 前記3次元環境において、前記関連付けられた街路網内の交差点において方向転換するための進路を決定することをさらに含む、請求項5に記載の方法。
- 前記第1のパノラマ画像および前記1つ以上の追加のパノラマ画像は、地理的に位置指定されており、前記3次元環境内における、前記それぞれの第1および第2のパノラマ画像に関連付けられた前記第1および第2の位置は、地理的情報システム(GIS)における地理的場所に対応している、請求項1に記載の方法。
- 前記第1および第2のパノラマ画像の各々の中心に対応する、前記3次元メッシュにおける第1および第2の位置を決定することであって、前記第1および第2の位置は、前記第1および第2のパノラマ画像内の前記画像オブジェクトの正確なビューポイントに対応している、ことと、
前記第1および第2のパノラマ画像の各々の前記決定された視覚的品質の領域に基づいて、前記3次元メッシュにおいて、前記第1および第2のパノラマ画像の各々に対するナビゲーション半径を計算することと
をさらに含む、請求項4に記載の方法。 - 前記バーチャルカメラが前記3次元環境内で移動される場合に、前記ナビゲーション経路の前記レンダリング表面を動的に更新することをさらに含む、請求項1に記載の方法。
- 前記移動させることは、
バーチャルカメラのビュー方向に基づいて、前記3次元環境における、前記第2のパノラマ画像に関連付けられた標的場所を決定することと、
前記第1のパノラマ画像に関連付けられた初期場所に対応する前記第1の位置から、前記決定された標的場所に対応する前記第2の位置に向かって、前記ナビゲーション経路内で前記バーチャルカメラを移動させることと、
前記バーチャルカメラが前記進路に沿って移動される場合に、前記バーチャルカメラの前記ビュー方向を前記標的場所に向けて整列させることであって、前記整列させることは、最小の補正角度に基づく、ことと
を含む、請求項1に記載の方法。 - 前記整列させることは、
前記進路に対する前記バーチャルカメラの前記ビュー方向の整列と、ビュー方向補正およびビュー位置補正の大きさのパラメータ化とに基づいて、前記バーチャルカメラが前記3次元環境内で移動される場合に、前記ビュー方向補正および前記ビュー位置補正を適用することをさらに含む、請求項10に記載の方法。 - 前記決定された標的場所は、前記第1および第2のパノラマ画像の中心である、請求項10に記載の方法。
- 前記ビュー方向補正およびビュー位置補正の大きさは、ユーザ入力に基づいて、スムーズにパラメータ化される、請求項11に記載の方法。
- 前記バーチャルカメラの眺めから、前記3次元環境における、前記第1のパノラマ画像に対応する3次元メッシュの第1の部分をレンダリングすることと、
初期位置から標的位置への前記進路に沿って前記バーチャルカメラが移動される場合に、前記3次元環境内における、前記第2のパノラマ画像に対応する前記3次元メッシュの第2の部分を自動的にレンダリングすることと、
前記第1の3次元メッシュの前記第2の部分がレンダリングされる場合、前記第1の3次元メッシュの前記第2の部分を、前記3次元環境における前記レンダリングされた第1の部分とブレンディングすることと
をさらに含む、請求項1に記載の方法。 - 前記第1の部分の前記レンダリングは、前記第1のパノラマ画像に基づいて、第1のテクスチャに従って、前記3次元環境内の前記3次元メッシュの前記第1の部分をレンダリングすることを含み、
前記第2の部分を自動的にレンダリングすることは、前記第2のパノラマ画像に基づいて、第2のテクスチャに従って、前記3次元環境内の前記3次元メッシュの前記第2の部分を自動的にレンダリングすることを含み、
前記ブレンディングすることは、第2の3Dメッシュがレンダリングされる場合に、ブレンディングパラメータに基づいて、前記第1のテクスチャと前記第2のテクスチャとをブレンディングすることを含む、請求項14に記載の方法。 - 3次元環境における誘導付きナビゲーションのためのシステムであって、
コンピューティングデバイス上で実装されているレンダラモジュールであって、前記レンダラモジュールは、
3次元環境内にバーチャルカメラのビューポイントからの第1のパノラマ画像の第1の3次元表現を表示することと、
前記第1のパノラマ画像に関連付けられたメタデータに基づいて、前記第1のパノラマ画像にリンクされた1つ以上の追加のパノラマ画像を識別することと
を行うように構成されている、レンダラモジュールと、
前記コンピューティングデバイス上で実装されている進路プランナモジュールであって、前記3次元環境内における、前記第1のパノラマ画像および前記1つ以上の追加のパノラマ画像の各々に対して視覚的表現に関連付けられた基準を満たす視覚的品質の領域を決定するように構成されている進路プランナモジュールと、
前記コンピューティングデバイス上で実装されている進路移動モジュールであって、前記進路移動モジュールは、
(1)視覚的品質の各領域に基づいて、前記第1のパノラマ画像と前記1つ以上の追加のパノラマ画像との間の進路に対する1つ以上のナビゲーション経路を生成することであって、各ナビゲーション経路は、視覚的品質の前記領域内に前記バーチャルカメラの移動を制約するレンダリング表面を有する、ことと、
(2)ナビゲーションフィレットが、無衝突区域を表し、かつ前記第1のパノラマ画像のうちの1つの中心に対する接触点の距離に従って、パラメータ化されるように、前記1つ以上のナビゲーション経路のうちの異なるナビゲーション経路の間に衝突球体を接するように適合させることにより、前記1つ以上のナビゲーション経路の交差点の周囲に前記ナビゲーションフィレットを構築することと、
(3)ユーザ入力に基づいて、前記1つ以上の追加のパノラマ画像のうちの第2のパノラマ画像に関連付けられた第2の位置に向かう、前記第1のパノラマ画像に関連付けられた第1の位置からの、前記無衝突区域内の前記進路に沿って、前記3次元環境内に前記バーチャルカメラを再配置することと
を行うように構成され、前記進路移動モジュールは、各ナビゲーション経路によって定義された空間の境界された体積の外側での前記バーチャルカメラの所望の移動を示す入力イベントに応答して、その代わりに、前記1つ以上のナビゲーション経路のうちの1つに沿って前記バーチャルカメラを移動させるようにさらに構成されている、進路移動モジュールと
を備えている、システム。 - 前記進路プランナモジュールは、前記パノラマ画像の各々に関連付けられた深度地図に基づいて、前記第1のパノラマ画像および前記1つ以上の追加のパノラマ画像の各々に対してナビゲーション半径を計算するようにさらに構成され、前記ナビゲーション半径は、前記3次元環境内における、各パノラマ画像に対する前記決定された領域を表す、請求項16に記載のシステム。
- 前記進路プランナモジュールは、前記進路に沿った各パノラマ画像に対するナビゲーション球体および各パノラマ画像の前記計算されたナビゲーション半径を補間することに基づいて、各ナビゲーション経路の周囲にシェルを構築するようにさらに構成され、前記シェルは、前記3次元環境内における前記バーチャルカメラの移動に対する境界を規定する、請求項17に記載のシステム。
- 前記レンダラモジュールは、各それぞれのパノラマ画像内の画像オブジェクトに関連付けられた深度値に基づいて、前記第1のパノラマ画像および前記1つ以上の追加のパノラマ画像に対するポリゴンの3次元メッシュを生成するようにさらに構成されている、請求項16に記載のシステム。
- 前記第1のパノラマ画像および前記1つ以上の追加のパノラマ画像は、前記3次元環境において、街路網に関連付けられている、請求項16に記載のシステム。
- 前記進路プランナモジュールは、前記3次元環境において、前記関連付けられた街路網内の交差点において方向転換するための進路を決定するようにさらに構成されている、請求項20に記載のシステム。
- 前記進路プランナモジュールは、
前記第1および第2のパノラマ画像の各々の中心に対応する、前記3次元メッシュにおける第1および第2の位置を決定することであって、前記第1および第2の位置は、前記第1および第2のパノラマ画像内の前記画像オブジェクトの正確なビューポイントに対応している、ことと、
前記第1および第2のパノラマ画像の各々の前記決定された視覚的品質の領域に基づいて、前記3次元メッシュにおいて、前記第1および第2のパノラマ画像の各々に対するナビゲーション半径を計算することと
を行うようにさらに構成されている、
請求項19に記載のシステム。 - 前記レンダラモジュールは、前記バーチャルカメラが前記3次元環境内で移動される場合に、前記ナビゲーション経路の前記レンダリング表面を動的に更新するようにさらに構成されている、請求項16に記載のシステム。
- 前記進路移動モジュールは、
バーチャルカメラのビュー方向に基づいて、前記3次元環境における、前記第2のパノラマ画像に関連付けられた標的場所を決定することと、
前記第1のパノラマ画像に関連付けられた初期場所に対応する前記第1の位置から、前記決定された標的場所に対応する前記第2の位置に向かって、前記ナビゲーション経路内で前記バーチャルカメラを移動させることと、
前記バーチャルカメラが前記進路に沿って移動される場合に、前記バーチャルカメラの前記ビュー方向を前記標的場所に向けて整列させることと
を行うようにさらに構成されている、
請求項16に記載のシステム。 - 前記進路移動モジュールは、前記進路に対する前記バーチャルカメラの前記ビュー方向の整列と、ビュー方向補正およびビュー位置補正の大きさのパラメータ化とに基づいて、前記バーチャルカメラが前記3次元環境内で移動される場合に、前記ビュー方向補正および前記ビュー位置補正を適用するようにさらに構成されている、請求項24に記載のシステム。
- 前記レンダラモジュールは、
前記バーチャルカメラの眺めから、前記3次元環境における、前記第1のパノラマ画像に対応する3次元メッシュの第1の部分をレンダリングすることと、
初期位置から標的位置への前記進路に沿って前記バーチャルカメラが移動される場合に、前記3次元環境内における、前記第2のパノラマ画像に対応する前記3次元メッシュの第2の部分を自動的にレンダリングすることと、
前記第1の3次元メッシュの前記第2の部分がレンダリングされる場合、前記第1の3次元メッシュの前記第2の部分を、前記3次元環境における前記レンダリングされた第1の部分とブレンディングすることと
を行うようにさらに構成されている、
請求項16に記載のシステム。 - 前記レンダラモジュールは、
前記第1のパノラマ画像に基づいて、第1のテクスチャに従って、前記3次元環境内の3次元メッシュの第1の部分をレンダリングすることと、
前記第2のパノラマ画像に基づいて、第2のテクスチャに従って、前記3次元環境内の前記3次元メッシュの第2の部分を自動的にレンダリングすることと、
第2の3Dメッシュがレンダリングされる場合に、ブレンディングパラメータに基づいて、前記第1のテクスチャと前記第2のテクスチャとをブレンディングすることと
を行うようにさらに構成されている、請求項16に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US41712010P | 2010-11-24 | 2010-11-24 | |
US61/417,120 | 2010-11-24 | ||
PCT/US2011/061906 WO2012071445A2 (en) | 2010-11-24 | 2011-11-22 | Guided navigation through geo-located panoramas |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014503882A JP2014503882A (ja) | 2014-02-13 |
JP5899232B2 true JP5899232B2 (ja) | 2016-04-06 |
Family
ID=45401159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013541029A Active JP5899232B2 (ja) | 2010-11-24 | 2011-11-22 | 地理的位置指定パノラマを通した誘導付きナビゲーション |
Country Status (7)
Country | Link |
---|---|
US (1) | US8823707B2 (ja) |
EP (1) | EP2643822B1 (ja) |
JP (1) | JP5899232B2 (ja) |
AU (1) | AU2011332885B2 (ja) |
CA (1) | CA2818695C (ja) |
DE (1) | DE202011110924U1 (ja) |
WO (1) | WO2012071445A2 (ja) |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5652097B2 (ja) | 2010-10-01 | 2015-01-14 | ソニー株式会社 | 画像処理装置、プログラム及び画像処理方法 |
US9848290B2 (en) | 2011-03-10 | 2017-12-19 | Aruba Networks, Inc. | Location based computerized system and method thereof |
WO2013023063A1 (en) | 2011-08-09 | 2013-02-14 | Path 36 Llc | Digital media editing |
US9121724B2 (en) * | 2011-09-30 | 2015-09-01 | Apple Inc. | 3D position tracking for panoramic imagery navigation |
US20130141433A1 (en) * | 2011-12-02 | 2013-06-06 | Per Astrand | Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images |
WO2013109976A1 (en) | 2012-01-20 | 2013-07-25 | Thermal Imaging Radar, LLC | Automated panoramic camera and sensor platform with computer and optional power supply |
US9396577B2 (en) * | 2012-02-16 | 2016-07-19 | Google Inc. | Using embedded camera parameters to determine a position for a three-dimensional model |
US20130321407A1 (en) * | 2012-06-02 | 2013-12-05 | Schlumberger Technology Corporation | Spatial data services |
US9218685B2 (en) * | 2012-06-05 | 2015-12-22 | Apple Inc. | System and method for highlighting a feature in a 3D map while preserving depth |
US10139985B2 (en) | 2012-06-22 | 2018-11-27 | Matterport, Inc. | Defining, displaying and interacting with tags in a three-dimensional model |
US10163261B2 (en) | 2014-03-19 | 2018-12-25 | Matterport, Inc. | Selecting two-dimensional imagery data for display within a three-dimensional model |
US9786097B2 (en) | 2012-06-22 | 2017-10-10 | Matterport, Inc. | Multi-modal method for interacting with 3D models |
US8928666B2 (en) | 2012-10-11 | 2015-01-06 | Google Inc. | Navigating visual data associated with a point of interest |
US9712746B2 (en) | 2013-03-14 | 2017-07-18 | Microsoft Technology Licensing, Llc | Image capture and ordering |
US9305371B2 (en) | 2013-03-14 | 2016-04-05 | Uber Technologies, Inc. | Translated view navigation for visualizations |
US20140267587A1 (en) * | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Panorama packet |
WO2014169061A1 (en) | 2013-04-09 | 2014-10-16 | Thermal Imaging Radar, Llc. | Stepper motor control and fire detection system |
CN105074789B (zh) | 2013-04-09 | 2019-03-12 | 热成像雷达有限责任公司 | 火灾检测系统 |
US9165397B2 (en) * | 2013-06-19 | 2015-10-20 | Google Inc. | Texture blending between view-dependent texture and base texture in a geographic information system |
US10330931B2 (en) * | 2013-06-28 | 2019-06-25 | Microsoft Technology Licensing, Llc | Space carving based on human physical data |
JP6581086B2 (ja) | 2013-08-09 | 2019-09-25 | サーマル イメージング レーダ、エルエルシーThermal Imaging Radar, Llc | 複数の仮想デバイスを使用して熱画像データを解析するための方法、及び深度値を画像画素と相関させるための方法 |
US9760768B2 (en) | 2014-03-04 | 2017-09-12 | Gopro, Inc. | Generation of video from spherical content using edit maps |
US9392212B1 (en) | 2014-04-17 | 2016-07-12 | Visionary Vr, Inc. | System and method for presenting virtual reality content to a user |
US9189839B1 (en) | 2014-04-24 | 2015-11-17 | Google Inc. | Automatically generating panorama tours |
GB2526263B (en) * | 2014-05-08 | 2019-02-06 | Sony Interactive Entertainment Europe Ltd | Image capture method and apparatus |
US9002647B1 (en) | 2014-06-27 | 2015-04-07 | Google Inc. | Generating turn-by-turn direction previews |
US9418472B2 (en) * | 2014-07-17 | 2016-08-16 | Google Inc. | Blending between street view and earth view |
US9685194B2 (en) | 2014-07-23 | 2017-06-20 | Gopro, Inc. | Voice-based video tagging |
US9792502B2 (en) | 2014-07-23 | 2017-10-17 | Gopro, Inc. | Generating video summaries for a video using video summary templates |
US20160191796A1 (en) * | 2014-12-30 | 2016-06-30 | Nokia Corporation | Methods And Apparatuses For Directional View In Panoramic Content |
US9734870B2 (en) | 2015-01-05 | 2017-08-15 | Gopro, Inc. | Media identifier generation for camera-captured media |
US9679605B2 (en) | 2015-01-29 | 2017-06-13 | Gopro, Inc. | Variable playback speed template for video editing application |
US10629001B2 (en) * | 2015-03-04 | 2020-04-21 | Samsung Electronics Co., Ltd. | Method for navigation in an interactive virtual tour of a property |
US10366509B2 (en) | 2015-03-31 | 2019-07-30 | Thermal Imaging Radar, LLC | Setting different background model sensitivities by user defined regions and background filters |
USD776181S1 (en) | 2015-04-06 | 2017-01-10 | Thermal Imaging Radar, LLC | Camera |
US10186012B2 (en) | 2015-05-20 | 2019-01-22 | Gopro, Inc. | Virtual lens simulation for video and photo cropping |
CN105761302A (zh) * | 2015-05-29 | 2016-07-13 | 华北电力大学 | 三维数字航道系统及其应用 |
US9631932B2 (en) | 2015-06-05 | 2017-04-25 | Nokia Technologies Oy | Crowd sourced interaction of browsing behavior in a 3D map |
US9665170B1 (en) | 2015-06-10 | 2017-05-30 | Visionary Vr, Inc. | System and method for presenting virtual reality content to a user based on body posture |
KR101835434B1 (ko) * | 2015-07-08 | 2018-03-09 | 고려대학교 산학협력단 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
US9721611B2 (en) | 2015-10-20 | 2017-08-01 | Gopro, Inc. | System and method of generating video from video clips based on moments of interest within the video clips |
US10204273B2 (en) | 2015-10-20 | 2019-02-12 | Gopro, Inc. | System and method of providing recommendations of moments of interest within video clips post capture |
US11627199B2 (en) * | 2016-01-05 | 2023-04-11 | Schneider Electric USA, Inc. | System and methods for creating a geospatial network model in a client environment |
US10109319B2 (en) | 2016-01-08 | 2018-10-23 | Gopro, Inc. | Digital media editing |
US9812175B2 (en) | 2016-02-04 | 2017-11-07 | Gopro, Inc. | Systems and methods for annotating a video |
US9838730B1 (en) | 2016-04-07 | 2017-12-05 | Gopro, Inc. | Systems and methods for audio track selection in video editing |
US9838731B1 (en) | 2016-04-07 | 2017-12-05 | Gopro, Inc. | Systems and methods for audio track selection in video editing with audio mixing option |
US9794632B1 (en) | 2016-04-07 | 2017-10-17 | Gopro, Inc. | Systems and methods for synchronization based on audio track changes in video editing |
US10185891B1 (en) | 2016-07-08 | 2019-01-22 | Gopro, Inc. | Systems and methods for compact convolutional neural networks |
JP7127539B2 (ja) * | 2016-08-05 | 2022-08-30 | ソニーグループ株式会社 | 画像処理装置および画像処理方法 |
US9836853B1 (en) | 2016-09-06 | 2017-12-05 | Gopro, Inc. | Three-dimensional convolutional neural networks for video highlight detection |
US10284809B1 (en) | 2016-11-07 | 2019-05-07 | Gopro, Inc. | Systems and methods for intelligently synchronizing events in visual content with musical features in audio content |
US10262639B1 (en) | 2016-11-08 | 2019-04-16 | Gopro, Inc. | Systems and methods for detecting musical features in audio content |
JP6849430B2 (ja) * | 2016-12-27 | 2021-03-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US10762653B2 (en) * | 2016-12-27 | 2020-09-01 | Canon Kabushiki Kaisha | Generation apparatus of virtual viewpoint image, generation method, and storage medium |
US10534966B1 (en) | 2017-02-02 | 2020-01-14 | Gopro, Inc. | Systems and methods for identifying activities and/or events represented in a video |
US10127943B1 (en) | 2017-03-02 | 2018-11-13 | Gopro, Inc. | Systems and methods for modifying videos based on music |
US10185895B1 (en) | 2017-03-23 | 2019-01-22 | Gopro, Inc. | Systems and methods for classifying activities captured within images |
US10235798B2 (en) * | 2017-03-24 | 2019-03-19 | Mz Ip Holdings, Llc | System and method for rendering shadows for a virtual environment |
US10083718B1 (en) | 2017-03-24 | 2018-09-25 | Gopro, Inc. | Systems and methods for editing videos based on motion |
US10187690B1 (en) | 2017-04-24 | 2019-01-22 | Gopro, Inc. | Systems and methods to detect and correlate user responses to media content |
EP3617850A4 (en) * | 2017-04-28 | 2021-01-06 | Sony Interactive Entertainment Inc. | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
US10540054B2 (en) * | 2017-09-20 | 2020-01-21 | Matterport, Inc. | Navigation point selection for navigating through virtual environments |
US10574886B2 (en) | 2017-11-02 | 2020-02-25 | Thermal Imaging Radar, LLC | Generating panoramic video for video management systems |
US10859389B2 (en) * | 2018-01-03 | 2020-12-08 | Wipro Limited | Method for generation of a safe navigation path for a vehicle and system thereof |
CN109002165B (zh) * | 2018-07-16 | 2021-03-16 | 中国计量大学 | 一种携带空间定位装置的虚拟空间真实行走引导系统 |
US10818077B2 (en) | 2018-12-14 | 2020-10-27 | Canon Kabushiki Kaisha | Method, system and apparatus for controlling a virtual camera |
WO2020246261A1 (ja) * | 2019-06-05 | 2020-12-10 | ソニー株式会社 | 移動体、位置推定方法、およびプログラム |
CN110458871A (zh) * | 2019-08-14 | 2019-11-15 | 上海霁目信息科技有限公司 | 模型与全景图的配准方法、系统、设备和介质以及地图 |
US11601605B2 (en) | 2019-11-22 | 2023-03-07 | Thermal Imaging Radar, LLC | Thermal imaging camera device |
CN112802206B (zh) * | 2021-02-07 | 2022-10-14 | 北京字节跳动网络技术有限公司 | 漫游视图的生成方法、装置、设备和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6522325B1 (en) * | 1998-04-02 | 2003-02-18 | Kewazinga Corp. | Navigable telepresence method and system utilizing an array of cameras |
CA2688339C (en) * | 2007-05-25 | 2017-04-04 | Google Inc. | Rendering, viewing and annotating panoramic images, and applications thereof |
US7990394B2 (en) * | 2007-05-25 | 2011-08-02 | Google Inc. | Viewing and navigating within panoramic images, and applications thereof |
US20100118116A1 (en) * | 2007-06-08 | 2010-05-13 | Wojciech Nowak Tomasz | Method of and apparatus for producing a multi-viewpoint panorama |
US8525825B2 (en) * | 2008-02-27 | 2013-09-03 | Google Inc. | Using image content to facilitate navigation in panoramic image data |
US9454847B2 (en) * | 2009-02-24 | 2016-09-27 | Google Inc. | System and method of indicating transition between street level images |
-
2011
- 2011-11-22 EP EP11799904.5A patent/EP2643822B1/en active Active
- 2011-11-22 AU AU2011332885A patent/AU2011332885B2/en active Active
- 2011-11-22 CA CA2818695A patent/CA2818695C/en active Active
- 2011-11-22 US US13/302,470 patent/US8823707B2/en active Active
- 2011-11-22 DE DE202011110924.4U patent/DE202011110924U1/de not_active Expired - Lifetime
- 2011-11-22 JP JP2013541029A patent/JP5899232B2/ja active Active
- 2011-11-22 WO PCT/US2011/061906 patent/WO2012071445A2/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP2643822A2 (en) | 2013-10-02 |
WO2012071445A2 (en) | 2012-05-31 |
AU2011332885B2 (en) | 2016-07-07 |
DE202011110924U1 (de) | 2017-04-25 |
AU2011332885A1 (en) | 2013-06-13 |
EP2643822B1 (en) | 2017-03-22 |
US8823707B2 (en) | 2014-09-02 |
US20120127169A1 (en) | 2012-05-24 |
CA2818695C (en) | 2018-06-26 |
CA2818695A1 (en) | 2012-05-31 |
WO2012071445A3 (en) | 2012-07-19 |
JP2014503882A (ja) | 2014-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5899232B2 (ja) | 地理的位置指定パノラマを通した誘導付きナビゲーション | |
US11663785B2 (en) | Augmented and virtual reality | |
US9024947B2 (en) | Rendering and navigating photographic panoramas with depth information in a geographic information system | |
US8686995B2 (en) | Path planning for street level navigation in a three-dimensional environment, and applications thereof | |
US8390617B1 (en) | Visualizing oblique images | |
JP5861150B2 (ja) | 画像情報出力方法 | |
EP2732436B1 (en) | Simulating three-dimensional features | |
JP6092865B2 (ja) | マップ特徴の顕著さをベースとした生成およびレンダリング | |
EP3432273B1 (en) | System and method of indicating transition between street level images | |
US20090289937A1 (en) | Multi-scale navigational visualtization | |
US20110211040A1 (en) | System and method for creating interactive panoramic walk-through applications | |
US20140267273A1 (en) | System and method for overlaying two-dimensional map elements over terrain geometry | |
US10084994B2 (en) | Live streaming video over 3D | |
WO2013092058A1 (en) | Image view in mapping | |
US10878599B2 (en) | Soft-occlusion for computer graphics rendering | |
US20150154798A1 (en) | Visual Transitions for Photo Tours Between Imagery in a 3D Space | |
WO2011123710A1 (en) | Synthesizing panoramic three-dimensional images | |
JP2011138258A (ja) | 景観再現システム | |
JP2011243076A (ja) | 対象管理画像生成装置及び対象管理画像生成プログラム | |
JP2008219390A (ja) | 画像閲覧装置 | |
CN114359498A (zh) | 地图显示方法、装置、设备及计算机程序产品 | |
Huang et al. | Innovative Application and Improvement of Panoramic Digital Technology in Indoor Display Scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150918 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20151007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151009 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5899232 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |