JP5828528B2 - パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション - Google Patents

パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション Download PDF

Info

Publication number
JP5828528B2
JP5828528B2 JP2014095297A JP2014095297A JP5828528B2 JP 5828528 B2 JP5828528 B2 JP 5828528B2 JP 2014095297 A JP2014095297 A JP 2014095297A JP 2014095297 A JP2014095297 A JP 2014095297A JP 5828528 B2 JP5828528 B2 JP 5828528B2
Authority
JP
Japan
Prior art keywords
panoramic image
image
panorama
user
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014095297A
Other languages
English (en)
Other versions
JP2014170580A (ja
Inventor
ビンセント ルーク
ビンセント ルーク
フィリップ ダニエル
フィリップ ダニエル
チャウ スティーブン
チャウ スティーブン
ラフォン ステファン
ラフォン ステファン
チョンハオ ヤン
チョンハオ ヤン
ティモシー シバルスキ アンドリュー
ティモシー シバルスキ アンドリュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/754,266 external-priority patent/US7843451B2/en
Priority claimed from US11/754,265 external-priority patent/US8515207B2/en
Priority claimed from US11/754,267 external-priority patent/US7990394B2/en
Application filed by Google LLC filed Critical Google LLC
Publication of JP2014170580A publication Critical patent/JP2014170580A/ja
Application granted granted Critical
Publication of JP5828528B2 publication Critical patent/JP5828528B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • G06T3/073

Description

本発明は、一般に、パノラマの画像に関連する。
コンピュータで処理される地図作成システムは、従来より、地図作成データのトップダウン方式のプレゼンテーションを提供する。ストリートレベルの画像を有する地図作成システムの機能を拡張することは、様々なインタフェースの課題を与え、その課題とは、例えば、交差点で曲ることを含む、ストリートレベルのビュー内のナビゲーションに対処することと、地図上のユーザのロケーションおよび向きをストリートレベルのビュー内のユーザのロケーションおよび向きと関連づけることとの両方を、絶対項(例えば、緯度、経度および進行方向)で、ならびに都市のストリートおよび都市の交差点のようなランドマークに対するものとして、行うことである。Microsoft(登録商標) Virtual Earth(http://preview.local.live.com)によって支援されるA9 BlockView(もはやオンラインではない)およびWindows(登録商標) Live Local Technology Previewは、近時、都市のストリートレベルのビューに使用できるインタフェースを提供しようと試みた。A9 BlockViewは、画像が2つの細片(strip)になるよう平坦にすることによって、向きの問題に対処したので、ユーザは、360度見渡す自由を有さない。Windows(登録商標) Live Localは、ストリートレベルの画像についての「車」のビューを与え、「車」のビューは、地図ビュー上の車のアバターを操作することによって、90度単位で回転される。
本発明は、パノラマのイメージを描画すること(rendering)および閲覧すること(viewing)と、パノラマのイメージに注釈をつけること(annotating)とに関連する。第1の実施形態において、一方法が、パノラマのイメージを閲覧するために用いられ得る。該方法は、第1のパノラマのイメージの少なくとも一部を受け取ることと、該第1のパノラマのイメージの一部を表示するビューポートを与えることとを含む。該ビューポートは、該第1のパノラマのイメージと共に描画される3次元の覆いを含む。該第1のパノラマのイメージと共に該3次元の覆いが描画される場合、該第1のパノラマのイメージの向きにおける変更と一致するように、3次元の空間において該3次元の覆いの向きが変更される。
第2の実施形態において、一システムが、パノラマのイメージを閲覧するために用いられ得る。該システムは、第1のパノラマのイメージの少なくとも一部を受け取るパノラマビューア(Panorama Viewer)であって、該パノラマビューアは、ビューポートを与え、該ビューポートは、該第1のパノラマのイメージの一部を表示する、パノラマビューアを含む。該ビューポートは、該パノラマのイメージと共に描画される3次元の覆いを含む。該パノラマビューアは、該パノラマのイメージと共に該3次元の覆いが描画される場合、該ビューポート内の該パノラマのイメージの向きにおける変更と一致するように、3次元の空間において該3次元の覆いの向きを変更する。
第3の実施形態において、一方法が、表面を描画するために用いられ得る。該方法は、ビューポートから該表面への第1の変換によって画定される、該表面上の領域を計算することと、該領域から該ビューポートにマップする第2の変換を計算することと、該領域と交わる、イメージの一部を決定することとを含む。最後に、該領域と交わる、該イメージの一部に、該第2の変換は、適用され、変換されたイメージをもたらす。該変換されたイメージは、表示のためにビューポートに描画される。
第4の実施形態において、一システムが表面を描画する。ビューポートから該表面への第1の変換によって画定される、該表面上の領域を計算するサーバーを、該システムは含む。該サーバーはまた、該領域から該ビューポートにマップする第2の変換を計算する。該表面上の該領域と交わる、イメージの一部を決定するパノラマビューアを、該システムはさらに含む。該表面上の該領域と交わる、該イメージの一部に、該パノラマビューアは、該第2の変換を適用し、第2の変換されたイメージをもたらす。該変換されたイメージは、表示のためにビューポートに描画される。
第5の実施形態において、一方法が、パノラマに対する注釈を処理するために用いられ得る。該方法は、第1のパノラマの中のフィーチャー(feature)に対する第1のユーザ注釈を受け取ることと、第2のパノラマの中の該フィーチャーに対する第2のユーザ注釈を受け取ることを含む。該フィーチャーに対する該第1のユーザ注釈に対して生成されるデータと該フィーチャーに対する該第2のユーザ注釈に対して生成されるデータとの交わりに基づいて、座標が決定される。最後に、該フィーチャーを表現する注釈に関連して、該座標が格納される。
第6の実施形態において、一システムが、パノラマに対する注釈を処理するために用いられ得る。該システムは、第1のパノラマの中のフィーチャーに対する第1のユーザ注釈を受け取るサーバーであって、第2のパノラマの中の該フィーチャーに対する第2のユーザ注釈を受け取るサーバーを含む。該サーバーは、該フィーチャーに対する該第1のユーザ注釈の第1のロケーション、および該フィーチャーに対する該第2のユーザ注釈に対する第2のロケーションに基づいて該フィーチャーのロケーションを決定する。
さらに、本発明の実施形態、特色および利点と、本発明の様々な実施形態の構造および動作とが、添付の図面への言及と共に、下記に詳細に述べられる。
例えば、本発明は以下の項目を提供する。
(項目1)
パノラマのイメージを閲覧する方法であって、
該方法は、
(a)第1のパノラマのイメージの少なくとも一部を受け取ることと、
(b)該第1のパノラマのイメージの一部を表示するビューポートを与えることであって、該ビューポートは、該第1のパノラマのイメージと共に描画される3次元の覆いを含む、ことと、
(c)該第1のパノラマのイメージと共に該3次元の覆いが描画される場合、該第1のパノラマのイメージの向きにおける変更と一致するように、3次元の空間において該3次元の覆いの向きを変更することと
を含む、方法。
(項目2)
上記受け取ること(a)がストリートレベルの画像を受け取ることを含む、項目1に記載の方法。
(項目3)
上記与えること(b)が上記覆いの中にナビゲーションアイコンを表示することを含み、該ナビゲーションアイコンは、パノラマのイメージの間をナビゲートするように用いられる、項目1および項目2のうちのいずれか一項に記載の方法。
(項目4)
上記ナビゲーションアイコンをユーザが選択することに応答して、第2のパノラマのイメージを決定することであって、該第2のパノラマのイメージは、上記第1のパノラマのイメージのロケーションに対して所定の方向に位置し、該方向は、上記3次元の覆いの中の該ナビゲーションアイコンの位置に対応する、ことと、
上記ビューポートの中の該第2のパノラマのイメージの少なくとも一部を表示することと
をさらに含む、項目3に記載の方法。
(項目5)
地図上の第1の位置にユーザの向きのキャラクターを表示することであって、該第1の位置は、上記第1のパノラマのイメージのロケーションに対応する、ことと、
上記ナビゲーションアイコンをユーザが選択することに応答して、地図上の第2の位置に該ユーザの向きのキャラクターを表示することであって、該第2の位置は、該第1の位置に対して所定の方向に位置し、該方向は、上記3次元の覆いの中の該ナビゲーションアイコンの位置に対応する、ことと
をさらに含む、項目3に記載の方法。
(項目6)
パノラマのイメージを閲覧するシステムであって、
該システムは、
第1のパノラマのイメージの少なくとも一部を受け取るパノラマビューアであって、該パノラマビューアは、ビューポートを与え、該ビューポートは、該第1のパノラマのイメージの一部を表示し、該パノラマのイメージと共に描画される3次元の覆いを含む、パノラマビューア
を含み、該パノラマビューアは、該パノラマのイメージと共に該3次元の覆いが描画される場合、該ビューポート内の該パノラマのイメージの向きにおける変更と一致するように、3次元の空間において該3次元の覆いの向きを変更する、システム。
(項目7)
上記パノラマのイメージがストリートレベルの画像を含む、項目6に記載のシステム。(項目8)
上記覆いが、パノラマのイメージの間をナビゲートするように用いられるナビゲーションアイコンを含む、項目6および項目7のうちのいずれか一項に記載のシステム。
(項目9)
上記パノラマビューアは、ユーザが上記ナビゲーションアイコンを選択することに応答して、第2のパノラマのイメージを決定し、上記ビューポートの中の該第2のパノラマのイメージの少なくとも一部を表示し、
該第2のパノラマのイメージは、上記第1のパノラマのイメージのロケーションに対して所定の方向に位置し、該方向は、上記3次元の覆いの中の該ナビゲーションアイコンの位置に対応する、項目8に記載のシステム。
(項目10)
上記パノラマビューアは、地図上の第1の位置にユーザの向きのキャラクターを表示し、該第1の位置は、上記第1のパノラマのイメージのロケーションに対応する、項目8に記載のシステム。
(項目11)
上記パノラマビューアは、ユーザが上記ナビゲーションアイコンを選択することに応答して、地図上の第2の位置にユーザの向きのキャラクターを表示し、
該第2の位置は、上記第1の位置に対して所定の方向にあり、該方向は、上記3次元の覆いの中の該ナビゲーションアイコンの位置に対応する、項目10に記載のシステム。
(項目12)
表面を描画する方法であって、
該方法は、
(a)ビューポートから該表面への第1の変換によって画定される、該表面上の領域を計算することと、
(b)該領域から該ビューポートにマップする第2の変換を計算することと、
(c)該領域と交わる、イメージの一部を決定することと、
(d)変換されたイメージを得るための領域と交わる、該イメージの一部に該第2の変換を適用することであって、該変換されたイメージは、表示のためにビューポートに描画される、ことと
を含む、方法。
(項目13)
上記計算すること(a)が円柱上の領域を計算することを含む、項目12に記載の方法。
(項目14)
上記計算すること(a)が、第1のメッシュ上の領域を計算することを含み、該領域は、第2のメッシュから該第1のメッシュへの第1の変換によって画定され、
上記計算すること(b)が、第2の変換を計算することを含み、該第2の変換は、該第1のメッシュから該第2のメッシュへマップする、項目12および項目13のうちのいずれか一項に記載の方法。
(項目15)
上記計算すること(a)が、ボクセルからピクセルへの連続的な変換として、第1の変換を計算することを含み、
上記計算すること(b)が、ボクセルからピクセルへの連続的な変換として、第2の変換を計算することを含む、項目12および項目13のうちのいずれか一項に記載の方法。(項目16)
(e)上記イメージを移すことと、
(f)該(e)で移されたイメージの第2の部分を決定することであって、該第2の部分は、上記(a)で計算された領域と交わる、ことと、
(g)上記(b)で計算される第2の変換を、該(f)で決定されたイメージの該第2の部分に適用し、第2の変換されたイメージをもたらすことであって、該第2の変換されたイメージは、表示のためにビューポートに描画される、ことと
をさらに含む、項目12または項目13のいずれか一項に記載の方法。
(項目17)
上記(d)で決定された変換されたイメージと上記(g)で決定された第2の変換されたイメージとの間の補間を決定することをさらに含む、項目16に記載の方法。
(項目18)
上記イメージを取り込んだカメラの角度に基づいて該イメージを調整することをさらに含む、項目12に記載の方法。
(項目19)
上記決定すること(c)が、上記領域と交わるパノラマのイメージの一部を決定することを含む、項目12、項目13および項目18のうちのいずれか一項に記載の方法。
(項目20)
表面を描画するシステムであって、
該システムは、
ビューポートから該表面への第1の変換によって画定される、該表面上の領域を計算するサーバーであって、該領域から該ビューポートにマップする第2の変換を計算するサーバーと、
該表面上の該領域と交わる、イメージの一部を決定するパノラマビューアであって、該表面上の該領域と交わる、該イメージの一部に、該パノラマビューアは、該第2の変換を適用し、第1の変換されたイメージをもたらし、該第1の変換されたイメージは、表示のためにビューポートに描画される、パノラマビューアと
を含む、システム。
(項目21)
上記表面は円柱である、項目20に記載のシステム。
(項目22)
メッシュが上記ビューポート上に画定され、メッシュが上記表面上に画定され、上記第1の変換および上記第2の変換が、1つのメッシュからもう一方のメッシュへの変換である、項目20に記載のシステム。
(項目23)
上記第1の変換および上記第2の変換が、ボクセルからピクセルへの連続的な変換である、項目20に記載のシステム。
(項目24)
上記パノラマビューアは、ユーザの入力に応答してイメージを移し、該移されたイメージの第2の部分を決定し、該第2の部分は、上記計算された領域と交わり、該パノラマビューアは、上記第2の変換を、該決定されたイメージの該第2の部分に適用し、第2の変換されたイメージをもたらし、該第2の変換されたイメージは、表示のためにビューポートに描画される、項目20、項目21、項目22および項目23のうちのいずれか一項に記載のシステム。
(項目25)
上記パノラマビューアが、第1の変換されたイメージと第2の変換されたイメージとの間の補間を決定する、項目24に記載のシステム。
(項目26)
上記イメージは、該イメージを取り込んだカメラの角度に基づいて調整される、項目20に記載のシステム。
(項目27)
上記イメージはパノラマのイメージである、項目20、項目21、項目22、項目23および項目26のうちのいずれか一項に記載のシステム。
(項目28)
パノラマへの注釈を処理する方法であって、
該方法は、
(a)第1のパノラマの中のフィーチャーに対する第1のユーザ注釈を受け取ることと、
(b)第2のパノラマの中の該フィーチャーに対する第2のユーザ注釈を受け取ることと、
(c)該フィーチャーに対する該第1のユーザ注釈に対して生成されるデータと該フィーチャーに対する該第2のユーザ注釈に対して生成されるデータとの交わりに基づいて座標を決定することと、
(d)該フィーチャーを表現する注釈に関連した該座標を格納することと
を含む、方法。
(項目29)
(e)第3のパノラマ内に注釈を描画することであって、上記座標に従って該第3のパノラマ上に該注釈を投影することを含む、こと
をさらに含む、項目28に記載の方法。
(項目30)
上記決定すること(c)は、上記フィーチャーに対する該第1のユーザ注釈に対して生成されるデータと該フィーチャーに対する該第2のユーザ注釈に対して生成されるデータとの交わりに基づいて3次元の座標を決定することを含む、項目28に記載の方法。
(項目31)
上記受け取ること(a)は、上記第1のユーザ注釈を受け取ることを含み、該第1のユーザ注釈は、第1のメタデータを含み、
上記受け取ること(b)は、上記第2のユーザ注釈を受け取ることを含み、該第2のユーザ注釈は、第2のメタデータを含む、項目28に記載の方法。
(項目32)
上記受け取ること(a)は、上記第1のユーザ注釈を受け取ることを含み、該第1のユーザ注釈は、上記第1のパノラマのイメージの第1の縦揺れ、第1の横揺れおよびロケーションを含み、
上記受けること(b)は、上記第2のユーザ注釈を受け取ることを含み、該第2のユーザ注釈は、上記第2のパノラマのイメージの第2の縦揺れ、第2の横揺れおよびロケーションを含む、項目28、項目29、項目30および項目31のうちのいずれか一項に記載の方法。
(項目33)
上記決定すること(c)は、上記第1のパノラマのイメージの第1の縦揺れ、第1の横揺れおよびロケーション、ならびに上記第2のパノラマのイメージの第2の縦揺れ、第2の横揺れおよびロケーションに基づいて上記交わりを決定することを含む、項目32に記載の方法。
(項目34)
パノラマの注釈を処理するシステムであって、
該システムは、
第1のパノラマの中のフィーチャーに対する第1のユーザ注釈を受け取るサーバーであって、該サーバーは、第2のパノラマの中の該フィーチャーに対する第2のユーザ注釈を受け取り、該フィーチャーに対する該第1のユーザ注釈の第1のロケーションおよび該フィーチャーに対する該第2のユーザ注釈に対する第2のロケーションに基づいて該フィーチャーのロケーションを決定するサーバー
を含む、システム。
(項目35)
第3のパノラマ内に上記注釈を描画するパノラマビューアであって、上記フィーチャーの上記ロケーションに従って該第3のパノラマ上に該注釈を投影するパノラマビューアをさらに含む、項目34に記載のシステム。
(項目36)
上記フィーチャーの上記ロケーションが3次元の座標によって画定される、項目34に記載のシステム。
(項目37)
上記第1の注釈は、第1のメタデータを含み、上記第2の注釈は、第2のメタデータを含む、項目34、項目35および項目36のうちのいずれか一項に記載のシステム。
本発明の実施形態が、添付の図面への言及と共に、述べられる。複数の図面において、同じ参照番号は、同一の要素または機能的に類似した要素を示し得る。
図1は、一実施形態の実施に適した例示的な分散型のシステムの図である。 図2は、一実施形態に従って、どのように地図作成サービスがパノラマビューアと統合され得るかの例を説明する図である。 図3は、一実施形態に従った、ブラウザディスプレイの一例を描く。 図4は、一実施形態に従って、パノラマビューアによって行われる例示的な処理を説明するフローチャートである。 図5は、例示的なエクステンシビル・マークアップ・ランゲージ(XML)設定情報を描く。 図6は、パノラマのイメージの例を説明する。 図7A、7Bおよび7Cは、パノラマビューアのビューポートとのユーザのやり取りを説明する。 図7A、7Bおよび7Cは、パノラマビューアのビューポートとのユーザのやり取りを説明する。 図7A、7Bおよび7Cは、パノラマビューアのビューポートとのユーザのやり取りを説明する。 図8は、一実施形態に従って、レンダラー(renderer)によって行われる処理のフローチャートである。 図9A、9Bおよび9Cは、表面と予め計算された領域とビューポートとの間の関係を説明する。 図9A、9Bおよび9Cは、表面と予め計算された領域とビューポートとの間の関係を説明する。 図9A、9Bおよび9Cは、表面と予め計算された領域とビューポートとの間の関係を説明する。 図10Aおよび10Bは、変換パラメータの生成についての単純な例を説明する。 図10Aおよび10Bは、変換パラメータの生成についての単純な例を説明する。 図11は、本発明の一実施形態に従って、曲げられたパノラマの例を描く。 図12は、図11のパノラマを形成するための横揺れおよび縦揺れに基づく例示的な変換を描く。 図13は、本発明の一実施形態に従って表示される例示的なパノラマイメージを描く。 図14は、一実施形態に従った、ユーザ注釈に対する座標を生成する方法を説明する図である。 図15は、一実施形態に従った、ユーザ注釈座標の生成において行われる処理のフローチャートである。
本発明は、添付の図面への言及と共に述べられる。要素が最初に現れる図面は、対応する参照番号の中の最も左側の数字または最も左側の複数の数字によって典型的に示される。
本発明は、パノラマのイメージを描画することおよび閲覧することと、パノラマのイメージに注釈をつけることと、そのアプリケーションとに関連する。本発明の明細書の発明を実施するための形態において、「一実施形態」、「実施形態」、「例示的実施形態」などへの言及は、述べられる実施形態が特定の特色か、特定の構造か、または特定の特徴かを含み得ることを示すが、必ずしも全ての実施形態が、特定の特色、構造または特徴を含まないことがあり得る。その上、そのような語句は、必ずしも同じ実施形態を参照しない。さらに、特定の特色、構造または特徴が、実施形態に関して述べられる場合、他の実施形態に関してそのような特色、構造または特徴をもたらすことは、明白に述べられるか否かに関わらず当業者の有する知識の範囲内で提示される。
図1は、本発明の実施形態の実施に適した分散型のシステムである。クライアント110は、例えばインターネットまたはローカルエリアネットワークのようなネットワークを渡って、1つ以上のサーバー150と通信する。クライアント110は、プロセッサと、ローカルメモリと、ディスプレイと、キーボードまたはマウスのような1つ以上の入力装置とを有する汎用コンピュータであり得る。あるいは、クライアント110は、例えばモバイルハンドセットのようなコンピューティング装置に特化され得る。サーバー150は、同様に、クライアント110にデータを供給できる任意の汎用コンピュータを用いてインプリメントされ得る。
クライアント110は、パノラマビューア120を実行し、パノラマビューア120の動作はさらに本明細書に述べられる。
図1によって説明される通り、パノラマビューア120は、サーバー(単数または複数)150からの設定情報130を要求する。本明細書にさらに詳しく論じられる通り、設定情報は、ロードされるパノラマについてのメタ情報を含み、そのメタ情報は、パノラマ内に他のパノラマへのリンクについての情報を含む。実施形態において、設定情報は、エクステンシビル・マークアップ・ランゲージ(XML)のような形式で与えられる。パノラマビューア120は、パノラマに対して、例えばパノラマのイメージの形式またはパノラマのイメージタイルの形式で、ビジュアルアセット(visual asset)140を検索する(retrieve)。別の実施形態において、ビジュアルアセットは、設定情報を関係のあるファイル形式で含む。本明細書にさらに述べられる通り、パノラマビューア120は、設定情報130およびビジュアルアセット140から生成されるような、パノラマおよびさらなるユーザインタフェース要素のビジュアル表現(visual representation)を、クライアントディスプレイ上に与える。ユーザが、パノラマのビジュアル表現を操作するために入力装置とやり取りするときに、パノラマビューア120は、必要に応じて、ビジュアル表現をアップデートし、さらなる設定情報およびビジュアルアセットをダウンロードするように処理する。
一実施形態において、パノラマビューア120は、スタンドアローンのアプリケーションであり得、すなわちそれは、Mozilla FirefoxまたはMicrosoft(登録商標) Internet Explorerのようなブラウザ115内で実行され得る。パノラマビューア120は、例えば、ブラウザ115内のスクリプトとしてか、ブラウザ115内のプラグインとしてか、またはAdobe(Macromedia)Flashプラグインのようなブラウザプラグイン内で実行するプログラムとして実行され得る。一実施形態において、パノラマビューア120は、参照により本明細書内にその全てが援用される米国特許第7,158,878号「DIGITAL MAPPING SYSTEM」で述べられるような、地図作成サービスと統合される。
図2は、どのように地図作成サービス210がパノラマビューア120と統合され得るかの例を説明する。地図作成サービス210は、地図のビジュアル表現を、例えば地図タイルのグリッドへのビューポートとして表示する。地図作成システム210は、マークアップ要素およびスクリプト要素の組み合わせを用いて(例えば、HTMLおよびJava(登録商標)scriptを用いて)、インプリメントされる。ビューポートが動かされるとき、地図作成サービス210は、要求された地図タイルがそれまでにローカルキャッシュメモリにキャッシュされていないことを仮定して、サーバー(単数または複数)150からのさらなる地図タイル220を要求する。地図タイル220を供給するサーバー(単数または複数)は、パノラマタイル140か、または本明細書に含まれる他のデータかを供給するサーバー(単数または複数)と、明白に同一か、または明白に異なり得る。
一実施形態において、ブラウザ115が、サーバー(単数または複数)150からパノラマビューア120に対してプログラム250をダウンロードし、プログラム250を動かすのに必要な全てのプラグインをインスタンス化する(instantiate)ように進行することを、地図作成サービス210は要求し得る。プログラム250は、Flashファイルか、または一部の他の実行可能なコンテンツの形式かであり得る。パノラマビューア120は、上記に述べられるように実行および動作する。あるいは、設定情報130および対等のパノラマタイル140は、地図作成サービス210によって検索され得、パノラマビューア120に渡され得る。パノラマビューア120および地図作成サービス210は、ユーザインタフェース要素の動作を整合させる(coordinate)ように通信し、ユーザにパノラマビューア120または地図作成サービス210のどちらかとやり取りすることを可能にするように通信し、ロケーションの変更または向きの変更が両方に反映されるように通信する。
図3は、ブラウザディスプレイ300の一例であり、ブラウザディスプレイ300は、地図作成サービス210のような地図作成サービスと、パノラマビューア120のような統合されるパノラマビューアとの両方を与える。地図作成サービスは、「Street View」とタイトルをつけられるボタン310を提供し、ボタン310は、選択されたときに、好ましくは、パノラマデータが利用可能であるエリアの地図の外観を変更する。例えば、図3において、利用可能なパノラマデータを有するストリートがハイライトされる。このハイライトは、例えば、色をつけられた輪郭および/もしくは陰影をつけられた輪郭であるか、色をつけられた覆いおよび/もしくは陰影をつけられた覆いであるか、または色および/もしくは陰影の変更かであり得る。これは、地図作成サービスに供給される地図タイルと共に透明イメージを用いることによって、または地図作成サービスに供給される地図タイルの中にその効果を直接含むことによってインプリメントされ得る。
地図作成サービスは、地図上の地点をさらに選択することによって、ユーザにパノラマビューアを起動させることを可能にする。ユーザによって地点が選択されたとき、キャラクターアイコン320またはアバターアイコン320は、地図上の地点で表示される。一実施形態において、アバターアイコンは、アバターアイコンがどの方向に面しているかのインジケータを含み、そのインジケータは、図3において、アバターアイコンの下の矢印として表される。
一実施形態において、パノラマビューアが地図作成サービスによってインスタンス化されるときに、パノラマビューアは、アバターアイコン320と関連した情報の吹き出しウィンドウに埋め込まれるビューポート330の形式で与えられる。ビューポート330内のパノラマのビジュアル表現の向きは、アバターアイコン320の向きと一致する。ユーザがビューポート330内でパノラマのビジュアル表現を操作したとき、パノラマビューアは、向きまたはロケーションの全ての変更を地図作成サービスに通知することにより、地図作成サービスがアバターアイコン320の向きおよびロケーションをアップデートし得る。同じように、ユーザが、地図作成サービス内でアバターアイコン320の向きまたはロケーションを操作したとき、地図作成サービスは、パノラマビューワーに通知することにより、パノラマビューワーがそのビジュアル表現をアップデートし得る。
一実施例において、パノラマビューアのビューポート330は、選択されたエリアのパノラマのイメージを与える。ユーザは、360度見渡すために、イメージ上をクリックし、イメージの周りにドラッグし得る。図3に描かれる例示的なビューポート330において、様々なユーザインタフェース要素は、基礎をなすパノラマに追加される。これらの要素は、例えば、ビューポートの左脇上のズームおよびパニング制御(例えばナビゲーションボタン)と、パノラマ自体の中に直接に提供されるライン/バー、矢印およびテキストの形式の注釈の左脇上のズームおよびパニング制御とのようなナビゲーション入力を含む。注釈は、3次元の様式で描画され、3次元の様式は、パノラマに描かれる3次元の景色におおよそ一致する。
図3において、例えば、ビューポート330におけるライン/バーは、対応する地図に描かれるストリートに対応し、さらに地図に描かれるストリートと同じ色で描画され得る。複数の矢印が(クリックすることによって、またはストリートラインに沿ってドラッグすることによって)ユーザによって選択可能であり、矢印は、別の利用可能なパノラマが存在するそれぞれの方向に進む。これらは、ユーザがストリートを上方および下方へナビゲートする(navigate)こと(すなわち、そのストリートが閲覧される立場から、立場を変更すること)を可能にする。ユーザが360度見渡すとき、ラインが基礎をなすストリートの上に残存し、矢印がいつでもスクリーン上に見えるように、ラインおよび矢印は、基礎をなす画像を滑らかにたどる。これは、まっすぐ前方を見る間か、または店先のそばを見る間、ユーザがストリートに沿ってナビゲートすることを可能にする。
ユーザがビューポート内をナビゲートするために矢印上をクリックするとき、ズームクロスフェード効果および他のビジュアル合図は、ユーザに動きの感覚を与える。ユーザが2つのストリートの交差点に到着するとき、それぞれのストリートに対して一つの緑のラインおよび二つの矢印が存在する。これらの全てが同時に見え、全てがラベルで表示されることにより、ユーザは、最新のロケーションを知ることができ、任意の方向に進み得る。この技術は、難なく、4つより多い方向を有する複合の交差点を収容できる縮尺にし得る。ユーザが、道は続くがさらに利用可能な画像がない「行き止まり」に到達するとき、矢印は、ユーザがナビゲートし得る方向を示すストリート上に一つだけ存在する。他の方向について、イメージに埋め込まれる記号およびメッセージは、この方向において画像が利用可能でないことをユーザに通知するように与えられ得る。
ユーザインタフェースは、ストリートを歩いて行くためのラインに沿ってナビゲートすることに制限されず、有用な場合にユーザがそのライン要素からわき道へそれること(例えば、何かを近くで見るためにストリートの向かい側に渡ること)を可能にするように難なく拡張され得る。その上、ストリートからスナップオフ(snap off)することと、近隣のエリア内で自由にナビゲートすることとをユーザが所望することが予期され得る環境(例えば、公園、広場、ショッピングエリアまたは他の歩行者にとって都合のよい公共の場所(Pedestrian−friendly public place))が都市内に存在する。そのインタフェースは、この機能性を提供するために、「自由な動きのゾーン」を用いて難なく高度化される。ユーザインタフェースが分離したストリートレベルのパノラマ間のナビゲーションのコンテキストの中で提供されるが、ストリートに沿ってナビゲートすることがビデオと同じ程度に滑らかであり得るように、ユーザがパノラマのデータの比較的連続的な集合を介してナビゲートすることを可能にするようにユーザインタフェースが同様によく用いられ得ることもまた、留意されるべきである。
ユーザインタフェース要素の動作およびインプリメンテーションは、下記にさらに詳細に述べられる。
図4は、本発明の実施形態に従った、例えばパノラマビューア120のようなパノラマビューアによって行われる処理の典型的なフローチャートである。
ステップ402において、パノラマビューアは、与えられる初めのパノラマに対する識別子と、ビューポートのサイズおよびパノラマ内で閲覧される向きのような様々なビューポートパラメータとを受け取る。この情報は、例えば地図作成サービスにおいてFlashプラグインとJava(登録商標)scriptとの間でFlashvarsまたはExternalInterfaceを用いることによって、地図作成サービスからパノラマビューアへ渡され得る。
ステップ404において、パノラマビューアはパノラマ識別子を用い、それによりサーバーからの設定情報(例えばXMLファイル)を要求する。図5は、典型的なXML設定情報500を描き、典型的なXML設定情報500は、下記にさらに詳細に論じられる。XMLは構文解析され、その情報は、パノラマビューアによる使用のために様々なデータ構造にロードされる。一実施形態において、XMLは、最新のパノラマのデータプロパティおよび投影プロパティのようなパノラマビューアに対する情報と、他のパノラマへのリンクを含むパノラマ内の注釈/リンクについての情報とを含む。
ステップ406において、パノラマビューアは、パノラマに対するビジュアルアセットを要求し、受け取ったビジュアルアセットを、例えばローカルメモリ/ローカルストレージに格納する。一実施形態において、パノラマビューアは、ビジュアルアセットのキャッシュを維持し得、帯域幅の使い方をキャッシュに存在しないビジュアルアセットの検索に制限する。図6は、初めのパノラマのイメージ600の例を説明する。完全なパノラマのイメージ600は、パノラマビューアによって検索され得るか、またはパノラマのイメージ600は、複数のパノラマイメージタイルに分割され得、そのタイルは、パノラマビューアによって必要なときにのみ要求され得る。
ステップ408において、パノラマビューアは、ビューポートの中のパノラマのビジュアル表現をステップ410において描画することに備えて、設定情報およびビジュアルアセットを処理する。ビジュアルアセットに関して、パノラマビューアは、パノラマイメージタイルを、ビューポートとオーバーラップする完全なパノラマイメージの一部に組み立て得る。本明細書にさらに論じられる通り、パノラマビューアは、平坦な表面としてか、または例えば円柱または球のようなテクスチャーマッピングされた3次元の表面としてかのパノラマのイメージを与え得る。ビューポートの中に与えられる注釈の覆いに関して、パノラマビューアは、設定情報を用い、それにより例えばビューポートの中に与えられるライン/バーおよび矢印のようなこれらの様々な要素に対する外形およびロケーションを計算する。
一実施形態において、ポリゴン/外形は、パノラマに描かれる空間に対応する3次元の空間にモデル化される。これらのポリゴン/外形は、例えばピンホールカメラモデル(例えば、焦点距離はビューポートの高さに回転中心の一定の相対的な深さを掛けて生成され得る)を用いてモデル化され得る。注釈の覆いのポリゴン/外形は、ビューポートの向きの変更に一致する方法で、3次元の空間における注釈の覆いのポリゴン/外形の向きを変更する。一実施形態において、ポリゴン/外形は、パノラマにおけるユーザの視点の最新の向きと設定情報で特定されるような注釈の方向との間の差分に等しい角度で回転される。本明細書にさらに述べられる通り、ポリゴン/外形は、平坦でないパノラマを考慮に入れるために異なった空間の軸を中心にしてさらに変換され得る。
ステップ410において、ビューポートにおけるパノラマのビジュアル表現は、描画される。
ステップ412において、パノラマビューアは、例えばマウスイベントおよびキーボードイベントのような入力イベントを取り込むことによって、入力を受け取り、管理する。パノラマビューアは、例えば、ユーザがビューポートをパンした(例えば、マウスをドラッグすることによって、またはパン制御ボタンを選択することによって)かどうか、ズームすることを選択した(例えば、パノラマ上をクリックすることによって、またはマウスでビューポートの左側のズームスライダー制御を動かすことによって)かどうか、または別のパノラマへのリンクを選択した(例えば、マウスで矢印上をクリックすることによって)かどうかを検出する。
ステップ420において、ユーザがビューポートをパンしたかどうかに関して判定がされる。ユーザがビューポートをパンした場合、制御はステップ422へ移る。ユーザがビューポートをパンしなかった場合、制御はステップ430へ移る。
ステップ422において、パノラマビューアは、サーバーまたはキャッシュのどちらかから検索される必要があるいずれかのパノラマイメージタイルとビューポートがオーバーラップするかどうかを判定する。
ステップ424において、本明細書に詳細にさらに述べられる通り、パノラマビューアは、異なった向きにおいてビューポートが正確に描画されることを可能にするために、必要な計算を実行する。
ステップ426において、パノラマビューアは、地図作成サービスにユーザによって選択された新たな向きを知らせることにより、地図作成サービスは、そのアバターアイコンの面しているインジケータをアップデートし得る。パノラマビューアは、ビューポート要素に対する外形およびロケーションを再計算し、ビューポートを描画する。この点を説明するために、図3からのパノラマビューアビューポートを描く図7Aを考慮されたい。図7Bは、ユーザがパノラマを左にパンするように選択した後の結果を示す。パノラマビューアがパノラマの向きを変更するとき、パノラマに描かれる道路に対応するライン/バーは、それらの向きを変更することに留意されたい。
ステップ430において、ユーザがビューポートをズームしたかどうかに関して判定がされる。ユーザがビューポートをズームした場合、制御はステップ432へ移る。ユーザがビューポートをズームしなかった場合、制御はステップ440へ移る。
ステップ432において、パノラマビューアは、例えば、サーバーからの(またはキャッシュからの)新たなより高い解像度パノラマイメージタイルを要求するかどうか、または(例えば、そこでそのようなより高い解像度タイルが全く存在しないとき)存在するタイルを異なったクローズアップの解像度で利用するかどうかを判定する。
ステップ434において、ビューポートパラメータは、異なったズームレベルを反映するように変更される。推移は、パノラマの次のズームレベルに勢いよくズームする性質を持つ概観を与えるように、ズームレベルの間で提供され得る。図7Cは、ユーザが図7Aの中のフィーチャー上にズームインするように選択した後の結果を示す。
ステップ440において、ユーザが別のパノラマへのリンクを選択したかどうかに関して判定がされる。ユーザが別のパノラマへのリンクを選択した場合、制御はステップ442へ移る。ユーザが別のパノラマへのリンクを選択しなかった場合、制御はステップ412へ移る。
ステップ442において、パノラマビューアは、オリジナルのパノラマと新たなパノラマとの間の推移の処理を始めるように進行する。パノラマビューアは、例えば、ユーザに動きの感覚を与えるように、オリジナルのパノラマを新たなパノラマへズームし得、新たなパノラマへクロスフェードを行い得る。あるいは、パノラマビューアは、2つのパノラマの間で実際の映像の推移を再生し得る。
ステップ444において、パノラマビューアは、地図作成サービスにユーザによって選択された新たなロケーションを知らせることによって、地図作成サービスは、そのアバターアイコンのロケーションをアップデートし得、それに応じて地図をスクロールし得る。
一実施形態において、パノラマビューアは、任意の有利なプログラミング言語か、または任意の有利なプログラミングのスタイルかを用いてインプリメントされ得る。例えば、パノラマビューアは、XML設定情報、注釈、テクスチャー生成、タイル管理およびメッシュ生成を扱うように用意される別個のクラスを有するオブジェクト指向のプログラミングを用いて、インプリメントされ得る。
図5は、典型的なXML設定情報500(例えばメタデータ)を明記する。図5に示される例によって説明される通り、設定情報に対するスキーマは、「data_properties」、「projection_properties」および「annotation_properties」に系統立てられる。
下位群のData_Propertiesは、「pano_id」(例えば、パノラマに対するユニークな識別子)ならびに「image_width」および「image_height」(例えば、タイルに分けられる前のパノラマのイメージの次元)ならびに「tile_width」および「tile_height」(例えばタイルの次元)ならびに「lat」および「lng」(例えば、最新のパノラマの座標)ならびに「num_zoom_levels」(例えば、ユーザがパノラマビューアの中で閲覧できるズームレベルの数値)のような属性を含む。この下位群はまた、「text」(例えば、それは最新のパノラマのストリート名を表現するのに用いられ得る)、「copyright」(例えば、コピーライト情報)および「street_range」(例えば、与えられるストリートについての番号の範囲)のような要素を含む。
下位群のProjection_propertiesは、「Pano_yaw_deg」(例えば、パノラマのイメージを生成したイメージを取り込んだ乗物の向き)ならびに「tilt_yaw_deg」および「tilt_pitch_deg」(例えば、本明細書にさらに述べられる通り、勾配をつけられたフィーチャーを有するパノラマを処理するために有用な、最も高い勾配のラインの横揺れおよび縦揺れ)ならびに「vertical_scale」(例えば、比較的低いズームレベルで見えるy軸に沿ったイメージの比)のような属性を含む。
下位群のAnnotation_propertiesは、「horizon_height_fraction」(例えば、注釈とタイルの画像との間の適合度を最大にするように調整され得る地平線からの垂直の位置(高さ)(見える細片の比として表される))および「annotation_height_fraction」(例えば、注釈を含む図面からの垂直の位置(高さ)(見える細片の比として表される))のような属性を含む。この下位群はまた、「pano_link」の下位群を含み、「pano_link」の下位群は、リンク記号のプロパティを述べ、リンク記号は、ユーザが近傍のパノラマか、または別の関連したドキュメントかへナビゲートすることを可能にする。「link」下位群は、「link_text」(例えば、ランディング(landing)パノラマの解説)を要素として含み、次に述べるものを属性として含む。「yaw_deg」(例えば、リンクが指す方向)、「pano_id」(例えば、リンクされるパノラマに対する識別子)および「road_argb」(例えば、地図上の道路の色のような、道路の属性)(示されていない)。その下位群は、パノラマの中の任意のフィーチャーを識別する「floating_text」グループまたは「floating_text」要素をまた含み得、任意のリンク(例えば、ローカルデータリポジトリまたはウェブサイトへの)をまた備え得る(示されていない)。
設定情報に対する上記のスキーマが、単に説明的であり、XMLに頼らない技術を用いることを含む多数の有利な方法のうちのいずれかの方法で設計され得ることに留意されたい。
図8は、本発明の一実施形態に従って、レンダラーによって行われる処理のフローチャートである。
ステップ802において、レンダラーは、逆方向の変換によってビューポートの予めのイメージを予め計算する。これは、表面の一部を画定し、それは、本明細書に「予め計算される領域」として言及される。図9Aは、これを、長方形のビューポート920と共に円柱の表面900のコンテキストで説明し、そのことは、逆方向の変換によって予め計算された領域910を画定する。ビューポートが長方形である必要がないことと、その技術が離散化される円柱(メッシュに基づく)に対してか、または連続的なボクセルとピクセルのマッピングに対して働くこととは留意されたい。例えば、メッシュは、対応するメッシュが円柱上にある状態で、ビューポート上で画定され得る。これらのメッシュは、一様である必要がなく、順方向または逆方向のマッピングによって画定されるような互いのイメージである。円柱上のメッシュは、多くの場合、円柱の一部をカバーするだけである。連続的な変換の場合において、ビューポートの予めのイメージは、円柱の連続的な領域を画定し得る。
ステップ804において、レンダラーは、変換を予め計算し、変換は、それぞれのピクセルを予め計算された領域からビューポートにおけるピクセルにマップする。ある意味、円柱は空間の中で静止して立っていることが想定される。変更する円柱にテクスチャーイメージをアタッチする(attach)代わりに、テクスチャーは円柱上で「スライドする」ことが想定される。
ステップ806において、レンダラーは、ユーザの入力に応答してイメージ/テクスチャーを移す。
ステップ808において、レンダラーは、イメージ/テクスチャーのその一部を決定し、イメージ/テクスチャーは、表面の予め計算された領域と交わる。これは、ビューポートの中で描画される必要があるピクセルのセットを画定する。ユーザが近時、視点を変更した場合、これはアップデートされる必要がある。より正確に、ステップ806において、ビューポートの左側または右側への任意のパンは、対応する方向におけるテクスチャーを移すことによって難なく達成され得、それにより予め計算される領域を用いて異なった交わりを生成する。同じように、上方または下方への任意のパンは、これらの方向に沿ってテクスチャーを移すことによって達成される。パンするいずれの任意の方向も、対応する方向のテクスチャーを単に移すことによって達成される。予め計算された領域との新たな交わりは、いつも生成される。これは、図9Bおよび図9Cにおいて説明され、そこで、950は予め計算された領域を表現し、960はイメージ/テクスチャーを表現する。
ステップ810において、予め計算された変換は、イメージ/テクスチャーの一部に適用され、イメージ/テクスチャーの一部は、予め計算された領域と交わる。
最後に、ステップ812において、変換された画像は、ビューポートに描画される。
一実施形態において、レンダラーは、直線構成の投影のプロパティを利用することにより、パノラマのイメージの描画のスピードを上げる。円柱のような表面が、際限のないように閲覧される場合、それは、自然な動作(例えば、軸に沿った移動、および軸を中心にした回転)を有するGが与えられるグループである。同じように、際限のないように閲覧される場合、テクスチャーはまた、面における移動が与えられるグループHである。GとHとの間に標準的な準同型が存在することがわかる。言い換えれば、例えばx方向において、その軸を中心にした円柱の回転は、テクスチャーの移動に等しい。例えばy方向において、その軸に沿った円柱の移動は、テクスチャーの移動に等しい。これは、レンダラーに、全ての投影パラメータを予め計算させることを可能にし、テクスチャーの移動としてビューポートの変更をシミュレートさせることを可能にする。図10Aおよび図10Bは、スクリーン空間からテクスチャー空間への投影パラメータを計算する方法の例を説明する。図10Aおよび図10Bによって説明される通り、
(1)スクリーン1020上の点Mが座標(x,y)を有する場合、それは空間において座標(x,y,R)を有し、そこでRは円柱1010の半径である。
(2)この場合、
Figure 0005828528
であり、テクスチャー空間において、点Pは次の座標を有する。
Figure 0005828528
最新のズームレベルに基づく動的なテクスチャーが生成され、イメージ空間の中に位置づけられ得る。ユーザが視点を変更するとき(例えば、ズームすることまたはパンすることによって)、このテクスチャーは変化する。このテクスチャーは、適切なレベルおよび適切な縮尺でタイルの角錐からタイルを連結することによって得られ得る。一部のタイルが欠けている場合、タイルの角錐における親のレベルに向かってタイル上にフォールバックし(fall back)得る。テクスチャーは、円柱の上にマップされるようにモデル化される。投影は、スクリーン空間を覆って行われる。この非線形の投影は、区分的にアフィン(affine)変換として近似され得る。より正確に、円柱およびスクリーン空間は、三角形のメッシュを用いて離散化され得る。それぞれの三角形は、それを覆うテクスチャーの1つを線形に(またはむしろ、アフィンに)マッピングすることによって描画され得る。これは、3つの点上のアフィン変換のアクション(従って、三角形の使用)によってアフィン変換がユニークに決定されるので、2次元の面におけるアフィン変換としてwell−definedである。メッシュは、スクリーン空間において(かつ、テクスチャー空間においてではない)一様にされ得る。スクリーンメッシュは、ズームレベルにかかわらず、常に同じである。異なったテクスチャーメッシュは、ズームレベルに依存して用いられ得る。それぞれの三角形に対して、テクスチャーメッシュは、スクリーンメッシュにおけるユニークな三角形と、ユニークな(アフィン)変換マトリックスとに対応する。そのようなマトリックスは、スクリーンマトリックスとテクスチャーマトリックス(の逆)の積として予め計算され得る。
ユーザがパンしたとき、レンダラーが行う必要がある全てのことは、テクスチャーを調整および/またはリフレッシュすることである。これは、それがメモリコピーから成るため、敏速である。大きなひとまとまりのピクセルをコピーすることは、種々のプログラミング言語において、通常、非常に最適化される。
一実施形態において、ズームインすることは、水平なビジョンのフィールドおよび垂直なビジョンのフィールドの両方を2つに分割することと、テクスチャーを生成するように次のズームレベルを用いることから成る。ユーザがズームイン/ズームアウトする場合、パノラマビューアは、アニメーションを滑らかにするように、いくつかのビットマップイメージを予めキャッシュし得る。投影自体に関する限り、不可欠なズームレベルに対して、変換マトリックスの様々なセットを用い得る。不可欠でないズームレベルに対して、前のズームレベルと次のズームレベルとの間に、変換マトリックス(それでも敏速な)を線形に補間し得る。
ピクセルが四角であることが想定される場合において、それらは、均一の連続した角度と対応する。与えられるピクセルのビジョンの基本フィールドは、水平の方向および垂直の方向において同じである。これは、トレードオフ(trade−off)がなされることを可能にする。例えば、直線を厳密に保つことを選択し得るが、これは、側部において比較的激しい歪みになる。あるいは、直線が少し曲がった状態になるようにすることを決め得、それにより歪みの量を減らし得る。一実施形態において、オリジナルのイメージの高さは、ビューポートの高さに縮尺される。ピクセルが四角であるため、ビューポートの高さ分のビューポートの幅の比は、ビジョンの水平のフィールドを決定する。
円柱よりはむしろ球の場合において、上記の想定は、もはや当てはまらない。それゆえに、ビジョンベクトルが円柱の軸に垂直の状態での円柱の軸に沿った動きしか行われないので、上記の技術は、単独で、上方/下方への本来のパンをシミュレートし得ない。それでも、上方/下方への本来のパンのモーションは、一連の変換を予め計算することと、変換の間に線形に補間することによってシミュレートされ得る。
一実施形態において、パノラマビューアは、平坦でないパノラマを扱うように設定される。どのパノラマも、平坦および水平なフィーチャーを描くとは限らない、例えば、San Franciscoの多くのストリートを考慮されたい。例えば、パノラマを取り込むために用いられる、乗物の上に乗せられるカメラは、地面に対して平行である。このように、急な傾斜の上を走ることは、間違った方向に向けられた写真をもたらし得る。それゆえに、そのような状況において、現実の世界における垂直な建物がテクスチャー空間において垂直であることを保証するように、パノラマを曲げることは、有利であり得る。図11は、どのようにしてパノラマ1100がそう曲げられ得るかの例を描く。図12によって説明される通り、その例は、周期的な関数におおよそ従い、その関数は、パノラマの勾配を考慮に入れる方法で、ビューポートの配置、および注釈の生成を導くのに用いられ得る。
本明細書に示される通り、設定情報は、パノラマにおける最も高い勾配の横揺れおよび縦揺れのような投影プロパティを含み得る。図12によって説明される通り、パノラマビューアは、曲げられたパノラマの正弦曲線の細片にビューポートを押し込めるために、最も急な勾配の方向の横揺れおよび縦揺れを用い得る。ビューポートにおける注釈要素の描画はまた、パノラマの勾配の横揺れ情報および縦揺れ情報を考慮に入れるために修正され得る。ライン/バーおよび矢印の空間の向きは、横揺れ情報および縦揺れ情報に基づいて変換され得るか、あるいは、注釈の横揺れと最も急な勾配の横揺れとの間の関連に基づいて評価され得る。図13は、パノラマの勾配についての設定情報に関してのそのような処理の結果を説明する。パノラマは、急な勾配をつけられたストリートについてのパノラマのイメージの中の垂直な建物を正確に配置する。その上、道路を描くライン/バー(例えばストリートラインメタデータ)は、ストリートの勾配におおよそ一致する角度で傾けられる。
一実施形態において、パノラマビューアはまた、パノラマイメージへのユーザ注釈を促進することが可能である。パノラマへのユーザ注釈は、3次元空間における注釈を参照する方法に対する課題を表す。
図14および図15は、3次元空間においてユーザ注釈に対処する実施形態を説明する。図15において説明される処理は、パノラマビューア(または地図作成サービス)で、サーバーで、またはその2つの組み合わせで、生じ得る。
図15を参照すると、ステップ1502において、ユーザは、1つのパノラマに対する注釈を入力する。パノラマビューアは、多数の異なった方法のうちのいずれかのユーザ入力を受け取り得、ユーザが注釈をつけることを所望するパノラマ上のクリックイベントを即座に受け取ることによることを含む。パノラマ上の注釈の2次元のロケーションは、一部の有利な座標システム(例えば、パノラマイメージのロケーションによるか、または横揺れおよび縦揺れの座標による)において記録される。
ステップ1504において、ユーザは、パノラマビューアにおいて近くの別のパノラマにナビゲートし、注釈をつけられる同じフィーチャーを捜し出し、再び第2のパノラマに対して注釈を入力する。パノラマビューアまたは地図作成サービスはまた、十分想定されるように、タイトル、リンク、グラフィックスなどのような注釈に関連した更なるメタデータを加える機能を差し出す。
ステップ1506において、2つのパノラマ上の注釈の座標は、その注釈に対する3次元の座標を生成するのに用いられる。図14において説明される通り、パノラマ1410、パノラマ1420に対するイメージを撮ったカメラの位置が知られ、かつ2次元のイメージに関連するユーザ入力の注釈座標が知られるものと仮定して、1450に描かれるようなその2つの交わりを計算することは、可能である。その結果は、注釈に対する3次元の座標である。
ステップ1508において、注釈に対する3次元の座標は、その注釈に割り当てられ、注釈のデータベースの中に格納される。注釈は、計算された座標の、一部の有利な範囲内の任意のパノラマ(ユーザによってオリジナルに注釈をつけられなかったパノラマを含む)に含められ得る。
あるいは、関連する縦揺れの情報が注釈にとって特に重要でない場合には、両方のパノラマ上の1次元の横揺れ方向としてユーザ注釈を受け取ることが可能であり、そのことは、注釈への2次元の土地のコード(geocode)の割り当てを(デフォルトの縦揺れの情報の有無を問わず)促進する。
本発明の様々な実施形態が上記に述べられたが、それらが例示のために与えられたことと、それらが制限されないことは理解されるべきである。当業者にとって、本発明の範囲から逸脱することなくその中で様々な改変がなされ得ることは明らかである。さらに、本明細書(概要の項および要約の項を除く)に提供される、本発明の、発明を実施するための形態が、特許請求の範囲を解釈するのに用いられるように意図されることは、正しく認識されるべきである。概要の項および要約の項は、発明者らによって予期されるような、本発明の1つ以上の例示的実施形態(しかし、全ての実施形態ではない)を明記する。
特定の実施形態についての前述の解説は、本発明の全体的な本質を十分に明かすものであり、本発明は、(当業者の知識を応用することによって)特定の実施形態のような様々な用途に対して、必要以上の実験なしに、本発明の全体的な概念から逸脱することなく、難なく改良および/または適合され得る。それゆえ、そのような適合および改良は、本明細書で与えられる教示および示唆に基づいて、開示される実施形態の均等物の意味内および範囲内にすることが意図される。本発明の詳述についての専門用語または表現法が、教示および示唆の観点において当業者によって解釈され得るように、本明細書での表現法または専門用語が解説の目的のためであって制限の目的のためではないことは、理解されるべきである。

Claims (14)

  1. パノラマのイメージを閲覧する方法であって、該方法は、
    1つ以上のコンピューティング装置によってビューポートを表示のために提供することであって、該ビューポートは、ストリートレベルの画像に対応する第1のパノラマのイメージの一部と、該第1のパノラマのイメージと共に描画される3次元の覆いとを含み、該3次元の覆いは、パノラマのイメージの間をナビゲートするように用いられるナビゲーションアイコンと、該第1のパノラマのイメージの中のストリートの方向に対応するように位置づけられたストリートラインと、該第1のパノラマのイメージの中の該ストリートを識別するように位置づけられたストリート名とを含む、ことと、
    該ナビゲーションアイコンの選択を示すユーザ入力に応答して、該1つ以上のコンピューティング装置によってストリートレベルの画像に対応する第2のパノラマのイメージを表示のために提供することであって、該第2のパノラマのイメージは、該第1のパノラマのイメージのロケーションに対してある方向に位置し、該方向は、該3次元の覆いの中の該ナビゲーションアイコンの位置に対応する、ことと、
    該第1のパノラマのイメージの一部と該第2のパノラマのイメージの一部との間の遷移を表示する命令を該1つ以上のコンピューティング装置によって提供することと
    を含み、
    該遷移を表示することは、
    該第1のパノラマのイメージ内にズームすることと、
    該第1のパノラマのイメージと該第2のパノラマのイメージとの間でフェードすることにより、該ズームすることおよび該フェードすることが、該第1のパノラマのイメージと該第2のパノラマのイメージとの間の滑らかな遷移を該ユーザに与えることと
    によって行われる、方法。
  2. 地図上の第1の位置においてユーザ向きキャラクターを表示することであって、該第1の位置は、前記第1のパノラマのイメージのロケーションに対応する、ことと、
    前記ユーザ入力に応答して、地図上の第2の位置において該ユーザ向きキャラクターを表示することと
    をさらに含み、
    該第2の位置は、該第1の位置に対してある方向に位置し、該方向は、前記3次元の覆いの中の前記ナビゲーションアイコンの位置に対応し、前記第2のパノラマのイメージのロケーションに対応する、請求項1に記載の方法。
  3. 前記ナビゲーションアイコンは、ユーザによる選択のために構成されたボタンである、請求項1に記載の方法。
  4. 前記第1のパノラマのイメージの一部と前記第2のパノラマのイメージの一部との間の前記遷移を表示する前記命令を用いることをさらに含む、請求項1に記載の方法。
  5. 前記ナビゲーションアイコンの選択を示す前記ユーザ入力を受け取ることをさらに含む、請求項1に記載の方法。
  6. パノラマのイメージを閲覧するシステムであって、該システムは、1つ以上のコンピューティング装置を含み、該1つ以上のコンピューティング装置は、
    ストリートレベルの画像に対応する第1のパノラマのイメージの一部と、該第1のパノラマのイメージと共に描画される3次元の覆いとを含むビューポートを表示のために提供することであって、該3次元の覆いは、パノラマのイメージの間をナビゲートするように用いられるナビゲーションアイコンと、該第1のパノラマのイメージの中のストリートの方向に対応するように位置づけられたストリートラインと、該第1のパノラマのイメージの中の該ストリートを識別するように位置づけられたストリート名とを含む、ことと、
    該ナビゲーションアイコンの選択を示すユーザ入力に応答して、ストリートレベルの画像に対応する第2のパノラマのイメージを表示のために提供することであって、該第2のパノラマのイメージは、該第1のパノラマのイメージのロケーションに対してある方向に位置し、該方向は、該3次元の覆いの中の該ナビゲーションアイコンの位置に対応する、ことと、
    該第1のパノラマのイメージの一部と該第2のパノラマのイメージの一部との間の遷移を表示する命令を提供することと
    を行うように構成されており、
    該遷移を表示することは、
    該第1のパノラマのイメージ内にズームすることと、
    該第1のパノラマのイメージと該第2のパノラマのイメージとの間でフェードすることにより、該ズームすることおよび該フェードすることが、該第1のパノラマのイメージと該第2のパノラマのイメージとの間の滑らかな遷移を該ユーザに与えることと
    によって行われる、システム。
  7. 前記1つ以上のプロセッサは、
    地図上の第1の位置においてユーザ向きキャラクターを表示することであって、該第1の位置は、前記第1のパノラマのイメージのロケーションに対応する、ことと、
    前記ユーザ入力に応答して、地図上の第2の位置において該ユーザ向きキャラクターを表示することと
    を行うようにさらに構成されており、
    該第2の位置は、該第1の位置に対してある方向に位置し、該方向は、前記3次元の覆いの中の前記ナビゲーションアイコンの位置に対応し、前記第2のパノラマのイメージのロケーションに対応する、請求項に記載のシステム。
  8. 前記ナビゲーションアイコンは、ユーザによる選択のために構成されたボタンである、請求項に記載のシステム。
  9. 前記1つ以上のコンピューティング装置は、前記第1のパノラマのイメージの一部と前記第2のパノラマのイメージの一部との間の前記遷移を表示する前記命令を用いるようにさらに構成されている、請求項に記載のシステム。
  10. 前記1つ以上のコンピューティング装置は、前記ナビゲーションアイコンの選択を示す前記ユーザ入力を受け取るようにさらに構成されている、請求項に記載のシステム。
  11. プログラムのコンピュータ読み取り可能な命令が格納されている有形のコンピュータ読み取り可能な格納媒体であって、該命令は、1つ以上のプロセッサによって実行される場合に、パノラマのイメージを閲覧する方法を実行することを該1つ以上のプロセッサに行わせ、該方法は、
    ストリートレベルの画像に対応する第1のパノラマのイメージの一部と、該第1のパノラマのイメージと共に描画される3次元の覆いとを含むビューポートを表示のために提供することであって、該3次元の覆いは、パノラマのイメージの間をナビゲートするように用いられるナビゲーションアイコンと、該第1のパノラマのイメージの中のストリートの方向に対応するように位置づけられたストリートラインと、該第1のパノラマのイメージの中の該ストリートを識別するように位置づけられたストリート名とを含む、ことと、
    該ナビゲーションアイコンの選択を示すユーザ入力に応答して、ストリートレベルの画像に対応する第2のパノラマのイメージを表示のために提供することであって、該第2のパノラマのイメージは、該第1のパノラマのイメージのロケーションに対してある方向に位置し、該方向は、該3次元の覆いの中の該ナビゲーションアイコンの位置に対応する、ことと、
    該第1のパノラマのイメージの一部と該第2のパノラマのイメージの一部との間の遷移を表示する命令を提供することと
    を含み、
    該遷移を表示することは、
    該第1のパノラマのイメージ内にズームすることと、
    該第1のパノラマのイメージと該第2のパノラマのイメージとの間でフェードすることにより、該ズームすることおよび該フェードすることが、該第1のパノラマのイメージと該第2のパノラマのイメージとの間の滑らかな遷移を該ユーザに与えることと
    によって行われる、有形のコンピュータ読み取り可能な格納媒体。
  12. 前記方法は、
    地図上の第1の位置においてユーザ向きキャラクターを表示することであって、該第1の位置は、前記第1のパノラマのイメージのロケーションに対応する、ことと、
    前記ユーザ入力に応答して、地図上の第2の位置において該ユーザ向きキャラクターを表示することと
    をさらに含み、
    該第2の位置は、該第1の位置に対してある方向に位置し、該方向は、前記3次元の覆いの中の前記ナビゲーションアイコンの位置に対応し、前記第2のパノラマのイメージのロケーションに対応する、請求項11に記載の媒体。
  13. 前記ナビゲーションアイコンは、ユーザによる選択のために構成されたボタンである、請求項11に記載の媒体。
  14. 前記方法は、前記第1のパノラマのイメージの一部と前記第2のパノラマのイメージの一部との間の前記遷移を表示する前記命令を用いることをさらに含む、請求項11に記載の媒体。
JP2014095297A 2007-05-25 2014-05-02 パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション Active JP5828528B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US11/754,266 2007-05-25
US11/754,265 2007-05-25
US11/754,266 US7843451B2 (en) 2007-05-25 2007-05-25 Efficient rendering of panoramic images, and applications thereof
US11/754,265 US8515207B2 (en) 2007-05-25 2007-05-25 Annotations in panoramic images, and applications thereof
US11/754,267 US7990394B2 (en) 2007-05-25 2007-05-25 Viewing and navigating within panoramic images, and applications thereof
US11/754,267 2007-05-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013015115A Division JP5542220B2 (ja) 2007-05-25 2013-01-30 パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション

Publications (2)

Publication Number Publication Date
JP2014170580A JP2014170580A (ja) 2014-09-18
JP5828528B2 true JP5828528B2 (ja) 2015-12-09

Family

ID=39811496

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2010510309A Active JP5145414B2 (ja) 2007-05-25 2008-05-27 パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション
JP2011103856A Pending JP2011150734A (ja) 2007-05-25 2011-05-06 パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション
JP2013015115A Active JP5542220B2 (ja) 2007-05-25 2013-01-30 パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション
JP2014095297A Active JP5828528B2 (ja) 2007-05-25 2014-05-02 パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2010510309A Active JP5145414B2 (ja) 2007-05-25 2008-05-27 パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション
JP2011103856A Pending JP2011150734A (ja) 2007-05-25 2011-05-06 パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション
JP2013015115A Active JP5542220B2 (ja) 2007-05-25 2013-01-30 パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション

Country Status (7)

Country Link
EP (3) EP3471053B1 (ja)
JP (4) JP5145414B2 (ja)
CN (2) CN102609973B (ja)
AU (1) AU2008257162B2 (ja)
CA (3) CA2688339C (ja)
DE (2) DE202008018628U1 (ja)
WO (1) WO2008147561A2 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8525825B2 (en) 2008-02-27 2013-09-03 Google Inc. Using image content to facilitate navigation in panoramic image data
US8868338B1 (en) 2008-11-13 2014-10-21 Google Inc. System and method for displaying transitions between map views
US9454847B2 (en) * 2009-02-24 2016-09-27 Google Inc. System and method of indicating transition between street level images
JP5464955B2 (ja) * 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置
CN101826275A (zh) * 2010-04-12 2010-09-08 立得空间信息技术有限公司 在连续地理信息三维影像上标注信息的方法
US9342998B2 (en) * 2010-11-16 2016-05-17 Microsoft Technology Licensing, Llc Techniques to annotate street view images with contextual information
DE202011110924U1 (de) * 2010-11-24 2017-04-25 Google Inc. Geführte Navigation durch mit Geo-Tags versehene Panoramen
WO2012126136A1 (en) * 2011-03-21 2012-09-27 Intel Corporation Panorama picture scrolling
CN102971770B (zh) * 2011-03-31 2016-02-10 松下电器产业株式会社 进行全周围立体图像的描绘的图像描绘装置、图像描绘方法
WO2012132237A1 (ja) 2011-03-31 2012-10-04 パナソニック株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
JP2012222399A (ja) * 2011-04-04 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 映像再生システム、映像再生方法、映像再生装置及びプログラム
WO2013016707A1 (en) * 2011-07-28 2013-01-31 Future Us, Inc. Interactive digital content applications
JP5892361B2 (ja) * 2011-08-02 2016-03-23 ソニー株式会社 制御装置、制御方法、プログラム、及びロボット制御システム
US20130035853A1 (en) * 2011-08-03 2013-02-07 Google Inc. Prominence-Based Generation and Rendering of Map Features
CN102710931A (zh) * 2012-05-30 2012-10-03 广东好帮手电子科技股份有限公司 具有视野缩放功能的全景式泊车系统及其实现方法
WO2013180729A1 (en) * 2012-05-31 2013-12-05 Intel Corporation Rendering multiple remote graphics applications
JP6006536B2 (ja) 2012-06-01 2016-10-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP6124517B2 (ja) 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
WO2014003698A1 (en) 2012-06-29 2014-01-03 Tusaş-Türk Havacilik Ve Uzay Sanayii A.Ş. An aircraft vision system
US8928666B2 (en) * 2012-10-11 2015-01-06 Google Inc. Navigating visual data associated with a point of interest
JP6548203B2 (ja) * 2013-03-18 2019-07-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法
US10062209B2 (en) * 2013-05-02 2018-08-28 Nintendo Co., Ltd. Displaying an object in a panoramic image based upon a line-of-sight direction
US9786075B2 (en) * 2013-06-07 2017-10-10 Microsoft Technology Licensing, Llc Image extraction and image-based rendering for manifolds of terrestrial and aerial visualizations
JP5701967B2 (ja) * 2013-12-16 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
US10019969B2 (en) 2014-03-14 2018-07-10 Apple Inc. Presenting digital images with render-tiles
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
CN105021205A (zh) * 2014-04-28 2015-11-04 高德软件有限公司 导航预览方法、相关设备和导航预览系统
CN104613973B (zh) * 2014-05-07 2018-11-06 腾讯科技(深圳)有限公司 图片生成、展示方法和装置
EP2996088B1 (en) * 2014-09-10 2018-08-29 My Virtual Reality Software AS Method for visualising surface data together with panorama image data of the same surrounding
JP6682821B2 (ja) 2014-12-05 2020-04-15 株式会社リコー サービスシステム、情報処理装置、サービス提供方法
RU2606310C2 (ru) * 2015-01-23 2017-01-10 Общество С Ограниченной Ответственностью "Яндекс" Электронное устройство и способ для отрисовки панорамного изображения
JP5920857B2 (ja) * 2015-02-18 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 画像表示装置および画像表示方法
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
JP6047197B2 (ja) * 2015-05-01 2016-12-21 任天堂株式会社 表示システム、表示制御装置、情報処理プログラム及び表示方法
US20180204387A1 (en) * 2015-07-28 2018-07-19 Hitachi, Ltd. Image generation device, image generation system, and image generation method
US20170053455A1 (en) * 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Asynchronous 3D annotation of a Video Sequence
US10217283B2 (en) * 2015-12-17 2019-02-26 Google Llc Navigation through multidimensional images spaces
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
EP3432567A4 (en) * 2016-03-15 2019-02-27 Ricoh Company, Ltd. Image processing device, image processing method and image processing system
JP6743441B2 (ja) * 2016-03-23 2020-08-19 日本電気株式会社 画像収集装置、表示システム、画像収集方法及びプログラム
JP6122991B2 (ja) * 2016-04-05 2017-04-26 株式会社ソニー・インタラクティブエンタテインメント 画像表示装置および画像表示方法
CN108700998B (zh) 2016-05-03 2021-12-07 谷歌有限责任公司 用于在移动设备上获得成对极线约束和解决全景姿态的方法和系统
CN105973227A (zh) * 2016-06-21 2016-09-28 上海磐导智能科技有限公司 可视化实景导航方法
CN106385587B (zh) * 2016-09-14 2019-08-02 三星电子(中国)研发中心 分享虚拟现实视角的方法、装置及系统
US10681327B2 (en) 2016-09-20 2020-06-09 Cyberlink Corp. Systems and methods for reducing horizontal misalignment in 360-degree video
CN106484830A (zh) 2016-09-29 2017-03-08 北京百度网讯科技有限公司 位置分享方法、装置和系统
EP3319308B1 (en) * 2016-10-27 2022-08-03 Samsung Electronics Co., Ltd. Spherical image display apparatus and method of displaying spherical image on a planar display
KR102598082B1 (ko) 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR102589853B1 (ko) * 2016-10-27 2023-10-16 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
CN106710000B (zh) * 2016-12-05 2019-07-09 武汉大学 一种基于离散全景图构建连续场景的图像投影方法
US10791316B2 (en) * 2017-03-28 2020-09-29 Samsung Electronics Co., Ltd. Method for transmitting data about three-dimensional image
CN107102794B (zh) * 2017-04-27 2020-08-11 武汉数文科技有限公司 操作处理方法及装置
CN107146274B (zh) * 2017-05-05 2021-06-22 上海兆芯集成电路有限公司 图像数据处理系统、纹理贴图压缩和产生全景视频的方法
GB2563927B (en) 2017-06-30 2021-01-06 Imagination Tech Ltd Multi-viewport transformation module for use in 3D rendering system
US10102611B1 (en) 2017-10-16 2018-10-16 Xplorit Llc Interconnected 360 video virtual travel
CN113271412A (zh) * 2021-04-17 2021-08-17 深圳市圆周率软件科技有限责任公司 一种查看全景图像的方法和设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2900632B2 (ja) * 1991-04-19 1999-06-02 株式会社日立製作所 ディジタル地図処理装置及びディジタル地図の表示方法
US5396583A (en) * 1992-10-13 1995-03-07 Apple Computer, Inc. Cylindrical to planar image mapping using scanline coherence
US6356297B1 (en) * 1998-01-15 2002-03-12 International Business Machines Corporation Method and apparatus for displaying panoramas with streaming video
US6563529B1 (en) * 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
US6515664B1 (en) * 1999-11-12 2003-02-04 Pixaround.Com Pte Ltd Fast single-pass cylindrical to planar projection
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
JP2003006680A (ja) * 2001-06-20 2003-01-10 Zenrin Co Ltd 3次元電子地図データの生成方法
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4610156B2 (ja) * 2001-11-13 2011-01-12 アルスロン株式会社 パノラマ画像による道路や河川、鉄道の空間把握システム
US7411594B2 (en) * 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
EP1553521A4 (en) * 2002-10-15 2006-08-02 Seiko Epson Corp PANORAMIC SYNTHESIS PROCESSING MULTIPLE IMAGE DATA
JP4321128B2 (ja) * 2003-06-12 2009-08-26 株式会社デンソー 画像サーバ、画像収集装置、および画像表示端末
CA2455359C (en) * 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
JP4437677B2 (ja) * 2004-03-01 2010-03-24 三菱電機株式会社 景観表示装置
CA2820249C (en) 2004-03-23 2016-07-19 Google Inc. A digital mapping system
DE102004020861B4 (de) * 2004-04-28 2009-10-01 Siemens Ag Verfahren zur Rekonstruktion von Projektionsdatensätzen bei Dosis-reduzierter abschnittsweiser spiralförmiger Abtastung in der Computertomographie
US20060002590A1 (en) * 2004-06-30 2006-01-05 Borak Jason M Method of collecting information for a geographic database for use with a navigation system
JP4130428B2 (ja) * 2004-09-02 2008-08-06 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
KR20070086037A (ko) * 2004-11-12 2007-08-27 목3, 인크. 장면 간 전환 방법
JP4853149B2 (ja) * 2005-09-14 2012-01-11 ソニー株式会社 画像処理装置、画像表示装置、画像処理方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
DE202008018628U1 (de) 2017-01-13
EP2518686B1 (en) 2018-08-08
CA2688339A1 (en) 2008-12-04
CA3036872C (en) 2020-04-28
JP2011150734A (ja) 2011-08-04
CA2958728A1 (en) 2008-12-04
JP5145414B2 (ja) 2013-02-20
WO2008147561A2 (en) 2008-12-04
WO2008147561A3 (en) 2009-04-02
AU2008257162A1 (en) 2008-12-04
CA2688339C (en) 2017-04-04
CN102609973B (zh) 2016-06-01
DE202008018626U1 (de) 2017-01-31
JP2014170580A (ja) 2014-09-18
EP3471053B1 (en) 2020-07-08
AU2008257162B2 (en) 2014-02-06
JP5542220B2 (ja) 2014-07-09
EP2518686A1 (en) 2012-10-31
CN101743569A (zh) 2010-06-16
CN102609973A (zh) 2012-07-25
CA2958728C (en) 2019-04-30
JP2013084307A (ja) 2013-05-09
EP2171690A2 (en) 2010-04-07
CA3036872A1 (en) 2008-12-04
EP2171690B1 (en) 2018-12-19
JP2010531007A (ja) 2010-09-16
EP3471053A1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
JP5828528B2 (ja) パノラマのイメージを描画すること、閲覧すること、および注釈をつけること、ならびにそのアプリケーション
US8982154B2 (en) Three-dimensional overlays within navigable panoramic images, and applications thereof
US8515207B2 (en) Annotations in panoramic images, and applications thereof
US7843451B2 (en) Efficient rendering of panoramic images, and applications thereof
US9024947B2 (en) Rendering and navigating photographic panoramas with depth information in a geographic information system
AU2011332885B2 (en) Guided navigation through geo-located panoramas
CN113393554A (zh) 地图生成方法和地图生成装置
AU2015205844B2 (en) Rendering, viewing and annotating panoramic images, and applications thereof
AU2013206055B2 (en) Rendering, viewing and annotating panoramic images, and applications thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150918

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20151007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151015

R150 Certificate of patent or registration of utility model

Ref document number: 5828528

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250