JP4321028B2 - ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム - Google Patents
ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム Download PDFInfo
- Publication number
- JP4321028B2 JP4321028B2 JP2002270253A JP2002270253A JP4321028B2 JP 4321028 B2 JP4321028 B2 JP 4321028B2 JP 2002270253 A JP2002270253 A JP 2002270253A JP 2002270253 A JP2002270253 A JP 2002270253A JP 4321028 B2 JP4321028 B2 JP 4321028B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- map
- virtual
- action
- video system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般に、仮想現実（バーチャルリアリティ）アプリケーションのためのビデオを使用するシステム及び方法に係り、より詳細には、仮想環境内の仮想経路に沿った仮想動作を実行するためにユーザによって要求されるアクションに応答して、パノラマ(ｐａｎｏｒａｍｉｃ)であると共に空間的に索引付けされる、ビデオを生成するシステム及びビデオシステム用のコンピュータプログラムに関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
「特別な場所にいる」ことの体験を再生するために多くの試みが行われてきた。従来、これは美術及び記述的散文を通してのみ行われたものである。写真技術は、場所を描く際の容易さ及び精度の点で大いなる前進を遂げた。モーションピクチャ及びビデオは他の重要な改善点を提供した。これらの従来の媒体は、前もって撮影者によって選択された空間の視界（ビュー）をユーザに提供する。
【０００３】
理想的には、「特別な場所にいる」ことの体験を再構築することによって、ユーザは自由に動き回り、どこを見るべきかを選択することができる。従来の一つの方法は、空間のコンピュータモデルと、この空間を介してユーザが実際に航行（ナビゲート）するときのリアルタイムビューをレンダリングすることとが必要とされる。他の最近のアプローチは、４次元のドメインを介して、「ライトフィールド（ｌｉｇｈｔ ｆｉｅｌｄｓ）」又は「ルミグラフ（ｌｕｍｉｇｒａｐｈｓ）」を用いてストラクチャを表示することなどによって、空間内の任意方向及び任意地点を介して光の流れを近似するために十分な画像を記録することである。
【０００４】
特別な場所にいる感覚を提供する試みにおいて、二つの従来の画像ベースの方法が先立って開発されている。一つの方法は、パノラマ式の映像であり、これによって、ユーザは、固定された視点から見る方向を自由に選択することができる。パノラマは、ディジタル式で記録され、後処理中に高解像度でスキャンされるフィルムベースの画像を使用することもできる。パノラマ画像又はビデオは、ストリーミングシステムを用いてインターネットを介して分配されてもよい。他のアプローチは、ユーザがフォローできる経路とビデオとの関連付け、即ち画像とこれらの経路に沿った地点との関連付けである。
【０００５】
「特別な場所にいる」ことの体験を再生するための従来の方法の欠点を克服すべく本発明が提供された。例えば、静止画又は動画はいずれも記憶媒体の固有にインタラクティブな形態ではない。これらは、空間のいくつかのビューをユーザに提供するが、これらのビューは前もって撮影者によって選択されたものだけである。エンドユーザは、彼が見るものを殆ど或いは全くコントロールすることができない。ビデオが異なるビューを介してパンされる場合、又はいくつかの経路に沿ったモーションにおいて撮影される場合でさえも、ユーザの体験は、「乗り物には乗っている」が、「どこに行くか何を見るかを選択する」ものではない。
【０００６】
上述された従来の画像ベースの方法は、部分的にしか問題点に、取り組んでいない。これらのアプリケーションはいずれも空間的に索引付けされたパノラマビデオを使用しない。代わりに、従来の画像ベースのシステムはタイムベースのビデオである。従来の空間的に索引付けするシステムにおいて、連続様式で提供されるフルパノラマ画像を提供することができるものは知られていない。
【０００７】
すなわち、従来の技術では、上記記載されたような課題は解決されていない（例えば、非特許文献１〜１２）。
【０００８】
【非特許文献１】
チェンら（Chen et al.）、「画像合成のためのビュー補間」（"V iew Interpolation for Image Synthesis"）、アップルコンピュータ(Apple Computer, Inc)、August 1993、pp.1-7
【非特許文献２】
アリアガら（Aliaga et al.）、「プレノプチックステッチ：３Ｄインタラクティブウォークスルー再構成のスケーラブルな方法」（ "Plenoptic Stitching: A Scalable Method for Reconstructing 3 D Interactive Walkthroughs"）、ルーセントテクノロジーベル研究所(Lucent Technologies Bell Laboratories)、pp.443-450
【非特許文献３】
キンバーら（Kimber et al.）、「飛ぶ：空間的にインデックスされたパノラマビデオ」（"FlyAbout: Spatially Indexed Panoramic Video"）、エフエックス パロ アルト ラボラトリー インコーポレイテッド、パロアルト、CA 94304(FX Palo Alto Laboratory , Inc., Palo Alto, CA94304）
【非特許文献４】
ゴートラーら（Gortler et al.）、「ルミグラフ」（"Lumigraph"）、マイクロソフトリサーチ(Microsoft Research)、1996
【非特許文献５】
ニコレスクら（Necolescu et al.）、「エレクトロニックパン・チルト・ズーム：インテリジェントルームシステムソリューション」（"Electronic Pan-Tilt-Zoom: A Solution for Intelligent Room Systems"）、IEEE、August 2000
【非特許文献６】
リップマン（Lippman）、「ムービーマップ：コンピュータグラフィックスへの光ビデオディスク適用」（"Movie-Maps: An Applicat ion of the Optical Videodisc to Computer Graphics"）、マサチューセッツ工科大学ケンブリッジ校アーキテクチャマシングループ (Architecture Machine Group, Massachusetts Institute of Tech nology, Cambridge, MA 02139)、July 1980、ACM
【非特許文献７】
ネーヤ（Nayar）、「カタディオプトリック全方向カメラ」（"Cat adioptric Omnidirectional Camera"）、コロンビア大学、コンピュータサイエンスデパートメント(Department of Computer Scienc e, Columbia University, New York, New York 10027)、June 199 7
【非特許文献８】
フートら（Foote et al.）、「飛ぶ：実用パノラマビデオおよび自動カメラコントロール」（"FlyCam: Practical Panoramic Video a nd Automatic Camera Control"）、エフエックス パロ アルト ラボラトリー インコーポレイテッド、パロアルト、CA 94304(FX Palo Alto Laboratory, Inc., Palo Alto, CA 94304)、2000
【非特許文献９】
ナイマーク（Naimark）、「カールスルヘのＶＢＫ−Ａムービーマップ（介在されるリアリティおよび場所の意識）」（"VBK-A Movie map of Karlsruhe (Mediated Reality and the Consciousness of Place)"）、明日のリアリティカタログ(From Tomorrow's Realiti es catalog)、Siggraph 1991
【非特許文献１０】
カワサキら（Kawasaki et al.）、「全方位カメラを用いた自動３Ｄ市街構築システム」（"Automatic 3D City Construction System Using Omni Camera"）、東京大学、工業科学研究所、(Institute of Industrial Science, University of Tokyo)、August 2000
【非特許文献１１】
レボイら（Levoy et al.）、「ライトフィールドレンダリング」（ "Light Field Rendering"）、スタンフォード大学、コンピュータサイエンスデパートメント (Stanford University, Computer Scie nce Department)、1996
【非特許文献１２】
ビューケミンら（Beauchemin et al.）、「オプティカルフローの計算」（"The Computation of Optical Flow"）、ウェスタンオンタリオ大学、コンピュータサイエンスデパートメント (University of Western Ontario, Computer Science Department)、ACM Comp uting Surveys、1995、Vol. 27、No. 3、ｐｐ．４３３〜４６７
【０００９】
【課題を解決するための手段】
本発明は、パノラマであると共に空間的に索引付けされたビデオを作成するためのビデオシステムを生成するシステム及び方法を提供することによって、上述された長年の問題に取り組む。本発明のシステム及び方法の種々の実施の形態によれば、仮想環境内の仮想経路は現実の座標位置に基づく。
【００１０】
本発明のシステム及び方法の種々の実施の形態は、パノラマであると共に空間的に索引付けされたビデオを生成することによってユーザから要求されたアクションに応答し、これによって、ユーザは、選択された仮想経路に沿って移動しながら、仮想経路に沿って独立にナビゲートし、様々な方向に独立にパンし、及び／又は、特定のオブジェクト上に視界（ｇａｚｅ）を維持する。ビデオは、再生されると、仮想環境内の仮想経路に沿って移動する体験をユーザに提供することができる。ビデオを空間的に索引付けすることによって、ユーザインターフェースが提供されて、道路に沿って運転するなどの経路に沿ってユーザがナビゲートすることが可能となる。経路のジャンクションや交差点では、ユーザはフォローする仮想経路だけでなく、見る方向も選択することができ、これによって、従来のビデオでは不可能とされた対話（インタラクション）が可能とされる。空間索引をマップ及び／又はオブジェクトの空間データベースと結合することによって、ユーザは、特定のロケーションへナビゲートすることや特別なオブジェクトをインタラクティブに調べることができる。
【００１１】
本発明による種々の例示的な実施の形態において、仮想現実の為のビデオシステムが提供される。種々の実施の形態において、ビデオシステムは、仮想環境を表現するために用いる空間データを有するデータベースと、画像ディスプレイ及びユーザからの指示を受け付けるための指示手段を有するユーザインターフェースと、仮想環境内での仮想経路に沿った移動を伴うアクションを受け付けた前記指示手段からの入力に応答してレンダリングされるビデオを表示するためのビデオ表示手段であって、前記移動を伴うアクションに応じたビデオを生成するために前記データベースからリトリーブされる複数の画像を用い、前記複数の画像の各画像がパノラマであり、前記仮想経路に沿った所定のロケーションに従って前記各画像が空間的に索引付けされ、前記仮想経路に沿った移動における移動地点に対応して索引付けされた前記複数の画像を用いて前記画像ディスプレイに表示するビデオを生成するビデオ表示手段と、を有する。このような実施の形態において、ユーザインターフェースは、ビデオに関連付けられたマップディスプレイ、ビデオに関連付けられたテキストディスプレイ、及び／又はビデオに関連付けられたオーディオデータを伝達するオーディオ出力を更に有する。
【００１２】
本発明による種々の例示的な実施の形態において、ビデオシステムはスタンドアローンシステムとして実施される。或いは、ビデオシステムがサーバ上に配置されてもよいし、ユーザインターフェースは、例えば、ウェブブラウザなどの、クライアントディスプレイプログラムとして実施されてもよい。
【００１３】
本発明による種々の例示的な実施の形態において、空間データはパノラマ画像、マップ、テキスト、オーディオシステム、及びハイパーテキストリンクの少なくとも一つに対応する。空間データは空間索引付けに適切とされる公知のタイプのデータ、又は今後、開発されるデータであってもよい。
【００１４】
本発明による種々の例示的な実施の形態において、アクションが仮想動作に対する要求である。例えば、仮想動作は、走行方向、停止、速度規定、ビューするオブジェクトのスナップ、ポジションアイコンのドラッグにより表される移動、走行開始、及びパンの少なくとも一つであってもよい。このアクションは、本発明による空間索引付けに適切とされる公知のタイプのアクション、又は今後、開発されるアクションであってもよい。このような実施の形態において、アクションは、キーボードコマンド、マウス、ノブ、ジョイスティック、ヘッドトラッキングデバイス、フローティングアロー（ｆｌｏａｔｉｎｇ ａｒｒｏｗ）、フローティングテキスト（ｆｌｏａｔｉｎｇ ｔｅｘｔ）、ペダル、ハイパーテキストリンク、及びコントローラの少なくとも一つを含む選択デバイスによって選択される。アクションは、本発明による空間索引付けに適切とされる公知のタイプの選択デバイス又は今後、開発される選択デバイスであってもよい。
【００１５】
本発明による種々の例示的な実施の形態によれば、仮想現実のためのビデオを生成する方法が提供されている。実施の形態において、この方法は、アクションを特定するステップと、パノラマであると共に仮想経路の位置に沿って空間的に索引付けされたビデオを特定されたアクションに基づいて仮想環境内の仮想経路に沿って生成するステップと、ユーザインターフェースを提供するステップと、ユーザインターフェースを介してビデオをディスプレイするステップと、を有する。
【００１６】
本発明は、本発明の種々の方法を実行するために、バーチャルリアリティ（仮想現実）のためのビデオの提供に使用可能なコントロールプログラムを転送するため、トランスポートプロトコルの使用も更に考慮に入れている。
【００１７】
本発明の第１の態様は、仮想環境である地図内での仮想経路に沿ったロケーションによって空間的に索引付けされたパノラマ画像である複数の画像を有し、かつ前記仮想環境である地図を表現するために用いるマップを有する空間データを保持するデータベースと、ビデオが表示される画像ディスプレイ、前記マップによる前記仮想環境である地図が表示されるマップディスプレイ、及びユーザからの前記マップディスプレイに表示された前記仮想環境である地図内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じて連続提示でレンダリングするアクションを示す指示を受け付けるための指示手段を有するユーザインターフェースと、前記アクションを受け付けた前記指示手段からの入力に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段であって、前記アクションに応じた前記ビデオを生成するために前記アクションに応じて前記データベースからリトリーブされると共に前記アクションに応じて序列付けされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて前記画像ディスプレイに前記移動に応じて複数の画像を連続提示でレンダリングして表示する前記ビデオを生成するビデオ表示手段と、を有する、ビデオシステムである。
【００１８】
本発明の第２の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるマップディスプレイを更に有する、本発明の第１の態様に記載のビデオシステムである。
【００１９】
本発明の第３の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるテキストディスプレイを更に有する、本発明の第２の態様に記載のビデオシステムである。
【００２０】
本発明の第４の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるオーディオデータを伝達するオーディオ出力を更に有する、本発明の第３の態様に記載のビデオシステムである。
【００２１】
本発明の第５の態様は、ビデオシステムは、スタンドアローンシステムである、本発明の第１の態様に記載のビデオシステムである。
【００２２】
本発明の第６の態様は、ビデオシステムは、サーバ上に配置され、ユーザインターフェースは、クライアントディスプレイプログラムとして実施される、本発明の第１の態様に記載のビデオシステムである。
【００２３】
本発明の第７の態様は、空間データがパノラマ画像、マップ、テキスト、オーディオシステム、及びハイパーテキストリンクの少なくとも一つである、本発明の第１の態様に記載のビデオシステムである。
【００２４】
本発明の第８の態様は、特定されたアクションが仮想動作に対する要求である、本発明の第１の態様に記載のビデオシステムである。
【００２５】
本発明の第９の態様は、仮想動作が、走行方向、停止、速度規定、ビューするオブジェクトのスナップ、ポジションアイコンのドラッグ、走行開始、及びパンの少なくとも一つである、本発明の第８の態様に記載のビデオシステムである。
【００２６】
本発明の第１０の態様は、特定のアクションが、キーボードコマンド、マウス、ノブ、ジョイスティック、ヘッドトラッキングデバイス、フローティングアロー、ペダル、ハイパーテキストリンク、及びコントローラの少なくとも一つを含む選択デバイスによって選択される、本発明の第８の態様に記載のビデオシステムである。
【００２７】
本発明の第１１の態様は、特定されたアクションがビデオを連続提示でレンダリングすることへの要求である、本発明の第１の態様に記載のビデオシステムである。
【００２８】
本発明の第１２の態様は、連続提示がガイドされた走行である、請求項１１に記載のビデオシステムである。
【００２９】
本発明の第１３の態様は、コントローラと、空間データとメタデータとを有するデータベースと、ユーザインターフェースと、特定のアクションに応答して生成されるユーザインターフェースにディスプレイされるビデオと、を有し、ユーザインターフェースが、データベースからリトリーブされる複数の画像を有するビデオをディスプレイする画像ディスプレイと、位置に関連付けられた空間データを図示するマップディスプレイと、位置に関連付けられた空間データを図示するテキストディスプレイと、位置に関連付けられたオーディオデータを運ぶオーディオ出力と、を含み、画像の各々が、パノラマであり、仮想環境内の仮想経路に沿った所定位置によって空間的に索引付けされている、ビデオシステムである。
【００３０】
本発明の第１４の態様は、仮想環境である地図内での仮想経路に沿ったロケーションによって空間的に索引付けされたパノラマ画像である複数の画像を有し、かつ前記仮想環境である地図を表現するために用いるマップを有する空間データを保持するデータベースと、ビデオが表示される画像ディスプレイ、前記マップによる前記仮想環境である地図が表示されるマップディスプレイ、及びユーザからの前記マップディスプレイに表示された前記仮想環境である地図内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じて連続提示でレンダリングするアクションを示す指示を受け付けるための指示手段を有するユーザインターフェースと、前記アクションを受け付けた前記指示手段からの入力に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段と、を有するビデオシステムの前記ビデオを生成するプログラムであって、コンピュータを、前記アクションに応じた前記ビデオを生成するために前記アクションに応じて前記データベースからリトリーブされると共に前記アクションに応じて序列付けされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて、前記画像ディスプレイに前記移動に応じて複数の画像を連続提示でレンダリングして表示する前記ビデオを生成するビデオ表示手段として機能させるための、ビデオシステム用のコンピュータプログラムである。
【００３１】
本発明の第１５の態様は、仮想経路に沿った位置に対応するマップをディスプレイするステップを更に有する、本発明の第１４の態様に記載のプログラムである。
【００３２】
本発明の第１６の態様は、仮想経路に沿った位置に対応する空間データを示すテキストをディスプレイするステップを更に有する、本発明の第１５の態様に記載のプログラムである。
【００３３】
本発明の第１７の態様は、仮想経路に沿った位置に関連付けられたオーディオデータを出力するステップを更に有する、本発明の第１６の態様に記載のプログラムである。
【００３４】
本発明の第１８の態様は、アクションを特定するステップが仮想動作を要求することを有する、本発明の第１４の態様に記載のプログラムである。
【００３５】
本発明の第１９の態様は、仮想環境内の仮想経路に沿ってアクションを特定するステップと、特定されたアクションに対応する要求を処理するステップと、ビデオを作成する、各々がパノラマであると共に仮想経路の位置に沿って空間的に索引付けされた複数の画像をリトリーブするステップと、ユーザインターフェースを提供するステップと、ビデオがディスプレイされる画像ディスプレイウィンドウと、ビデオに対応するマップがディスプレイされるマップディスプレイウィンドウと、を有するユーザインターフェースを提供するステップと、特定されたアクションに応答してユーザインターフェース上にビデオ及びマップをレンダリングするステップと、を有する、仮想現実のためのビデオを生成するプログラムである。
【００３９】
本発明の種々の特徴及び利点が記述されているが、その内容は、本発明によるシステム及び方法の様々な例示的な実施の形態の以下の詳細な記述からより明確に理解されるであろう。
【００４０】
以下に詳細に説明された本発明のシステム及び方法の種々の例示的な実施の形態は添付図面によってより詳細に理解されるであろう。
【００４１】
【発明の実施の形態】
バーチャルリアリティ（仮想現実）のための空間的に索引付けされたパノラマビデオを使用するシステムについては、２００１年９月３０日のＡＣＭマルチメディアコンファレンスにおける、Ｄｏｎ Ｋｉｍｂｅｒらに与えられた“ＦｌｙＡｂｏｕｔ: Ｓｐａｔｉａｌｌｙ Ｉｎｄｅｘｅｄ ｐａｎｏｒａｍｉｃ Ｖｉｄｅｏ”に開示されている、この開示内容全体が本明細書中に参照することによって組み込まれている。このシステムによれば、カメラを連続する経路に沿って、３６０°移動することによってパノラマビデオがキャプチャされ、再生されることによって、これらの軌跡に沿って移動する体験、そして興味深いオブジェクト又は方向をインタラクティブにビューする能力がユーザに与えられる。
【００４２】
本発明の種々の実施の形態によれば、空間的に索引付けされたパノラマビデオシステムが、フォトリアリスティック空間又は仮想環境における仮想経路に沿ったインタラクティブナビゲーションのために提供される。仮想環境でのユーザによる仮想移動は、空間的に索引付けされたパノラマビデオシステムによって、ディスプレイのための空間的に索引付けされたパノラマビデオを生成させる。空間的に索引付けされたパノラマビデオシステムは、仮想現実のモデルを生成しレンダリングするための経費を掛けずに仮想環境のイマーシブ（ｉｍｍｅｒｓｉｖｅ）及びインタラクティブなナビゲーションを提供する。空間的に索引付けされたパノラマビデオは、（ユーザが任意の方向を見るのを可能とする）パノラマにも空間的にも索引付けされていることによってビデオ再生がユーザの仮想動作によってコントロールされる。
【００４３】
この空間的に索引付けされたパノラマビデオシステムは、任意に設計されたパノラマカメラ又は広角レンズカメラからキャプチャされた記録されたパノラマビデオに基づいている。現在のパノラマカメラの設計は、広角レンズ、ミラー又は複数のカメラに基づいた設計を含む。パノラマ画像はよく知られた多数の異なる種類のカメラによって記録することができるので、これらのカメラについての説明は以下省略する。
【００４４】
図１は、空間的に索引付けされたパノラマビデオシステム１０の第１の実施の形態を概略的に示した図である。空間的に索引付けされたパノラマビデオシステム１０は、モーションエンジン２１、ユーザインターフェース３０、空間データを記憶するデータベース４０、及び種々のタイプのメタデータを記憶するデータベース５０を有する。ユーザインターフェース３０は空間的に索引付けされたパノラマビデオ６５（図２）をビューすることができるディスプレイデバイス７２に画像ディスプレイ６０を有する。ユーザインターフェース３０にマップディスプレイ７０及びテキストディスプレイ８０を任意に設けてもよい。オーディオも、空間的に索引付けされたパノラマビデオシステム１０の一部として設けられてもよい。画像ディスプレイ６０、マップディスプレイ７０及びテキストディスプレイ８０は、空間データ又はメタデータをディスプレイするためのビューワ実行ソフトウェアプリケーションとして具体化され得る。
【００４５】
第１の実施の形態において、空間的に索引付けされたパノラマビデオシステム１０の基本構造は、単一アドレススペースにおける一つのプログラムとして実施される。例えば、空間的に索引付けされたパノラマビデオシステム１０のコンテンツは、例えば、空間的に索引付けされたパノラマビデオシステム１０のソフトウェアが記憶されるＤＶＤのようなローカルハードドライブに、記憶される。
【００４６】
図２は、本発明の第１の実施の形態によるユーザインターフェース３０を示す。ユーザインターフェース３０は、画像ディスプレイ６０、マップディスプレイ７０、テキストディスプレイ８０、及びオーディオインジケータ９０を有する。空間的に索引付けされたパノラマビデオシステム１０のコンテンツは、例えば、空間的に索引され得るビデオ、マップ、テキスト、オーディオ、及び他の任意のデータ、を含む統合マルチメディアフォームとして提供され得る。
【００４７】
画像ディスプレイ６０は、空間的に索引付けされたパノラマビデオ６５をディスプレイする。空間的に索引付けされたパノラマビデオ６５は、システム１０のユーザによって指定されるアクション又は仮想動作に応答して生成される。空間的に索引付けされたパノラマビデオ６５は空間的に索引付けされた複数の画像６７を有する。画像６７はデータベース４０に記憶される。画像６７は、仮想環境７６において仮想経路７５に沿った所定の場所（ロケーション）に従って、パノラマ及び空間的に索引付けされる。例えば、一つの方法は、図２に示されるように、ウィンドウを介して実行される。画像ディスプレイ６０は、ユーザが（画像内に）実際に存在した場合に見る画像６７を示す。
【００４８】
ユーザインターフェース３０は、画像ディスプレイ６０、例えば、仮想環境７６における連続した仮想経路７５の二次元即ちマップ状の表示に対応した空間データをディスプレイするマップディスプレイ７０も有する。マップディスプレイ７０は、ポジションアイコン７７に仮想環境７６の現在ビューの方向で注視方向インジケータ７８を提供することができる。例えば、図２では、マップディスプレイ７０は、エメラルド湾（Ｅｍｅｒａｌｄ Ｂａｙ）の道路地図を示し、仮想パス７５は、「ルート８９」に沿って示されている。ポジションアイコン７７の注視方向インジケータ７８は北西方向にある。注視方向は、画像ディスプレイ６０内でユーザがビューする現在画像６７と一致している。
【００４９】
さらに、ユーザインターフェース３０は、テキストディスプレイ８０を有する。テキストディスプレイ８０は、画像ディスプレイ６０にディスプレイされた現在画像６７に対応している。空間的に索引付けされたパノラマビデオシステム１０に応じて、種々のタイプのテキストが使用され得る。ディスプレイされるテキストは、例えば、見出し８５又はタイトルの形態におけるような短いものであってもよいし、現在画像６７についての記述のような長いものであってもよい。或いは、テキストは、選択すれば、他のウェブページからもっと多くの情報が得られるハイパーテキストリンク８７であってもよい。テキストディスプレイ８０は、このようなフォームのテキストに限定されず、例えば、サムネイル画像、図形、及びオーディオなどの現在画像６７に関した記述を提供する、あらゆるタイプの情報をディスプレイすることができる。
【００５０】
一つ以上のテキストディスプレイを設けて、ディスプレイのうちのいずれか一つからユーザへ情報を供給することができる。仮想環境７６において空間的に索引付けされたパノラマビデオ６５の視点が移動するにつれて、テキストディスプレイ８０は更新されて、ユーザがビューしているオブジェクトに対応する更なる、より関連性の高いテキストを提供する。一方、テキストディスプレイ８０におけるハイパーテキストリンク８７は、仮想環境７６においてロケーション又は注視方向を変えるために使用され得る。例えば、ホテルやレストランを示す選択可能なアイコンのリストがディスプレイされ、アイコンの一つをクリックすることによって、仮想経路７５上のユーザのロケーションを選択されたホテル又はレストラン近くの仮想経路７５上の他のロケーションへ変更することができる。種々のアイコンは、対象となるオブジェクトへ、或いはその周辺への仮想経路７５に沿う仮想ツアーを含む、多数のオブジェクトに対して設けられてもよい。
【００５１】
空間的に索引付けされたパノラマビデオシステム１０の特筆すべき利点は、空間的に索引付けされたパノラマビデオ６５にハイパーテキストリンク８７を容易に付け加えられることである。視点とロケーションとが一般的に知られているので、空間データベースにおけるあらゆるオブジェクトに対する視点の範囲及び角度が決定され、ハイパーテキストリンク８７は、空間的に索引付けされたパノラマビデオシステム１０を自動的に注釈するために使用され得る。例えば、ハイパーテキストリンク８７は仮想環境７６におけるユーザの空間的ロケーションが対象となる特定なオブジェクトの一定の範囲内にあるときにディスプレイされ得る。或いは又は更に、テキストオーバーレイが、空間的に索引付けされたパノラマビデオ６５の適当な角度で配置され得る。従って、建物や山等のオブジェクトを通過するときは、更なるビデオ解析や処理を行わずに、オブジェクトの名前がオブジェクトの上又はそれに隣接したオーバーレイとしてディスプレイされる。
【００５２】
オーディオ出力は、空間的に索引付けされたパノラマビデオシステム１０における現在画像６７及び／又はオブジェクトに対応するように提供される。例えば、図２において、画像ディスプレイ６０にディスプレイされた景色は空間的に索引付けされたパノラマビデオ６５の現在画像６７の空間的ロケーションに対応するオーディオ出力によって記述されてもよい。また、ユーザが、方向マッピングソフトウェアによって、あるロケーションから他へ方向をインタラクティブにマッピングすることを所望する場合は、「右折してください」、「左折してください」、「まっすぐ１マイル進んでください」などの可聴オーディオのインストラクションによってユーザを方向付けるようにオーディオが提供されてもよい。更に、空間的に索引付けされたパノラマビデオ６５では対象となる特定のオブジェクトが特定の空間的ロケーションに現れた場合、オブジェクトを可聴的に記述するオーディオ出力が提供されてもよい。オーディオ伝送の使用は多種多様な状況で実施され得て上述の例に限定されるものではない。
【００５３】
更に又は或いは、ユーザインターフェース３０は、オーディオインジケータ９０を有する。ユーザは、オーディオインジケータ９０を選択することによって、空間的に索引付けされたパノラマビデオ６５にディスプレイされた現在画像７６を理解するのに役立つあらゆるタイプのオーディオナレーションが提供され得る。オーディオインジケータ９０から転送されたオーディオデータは、オブジェクト、ナレーション、音楽、又は空間的に索引付けされたパノラマビデオ６５の指定されたロケーションによって出力されるあらゆるタイプのオーディオ表示の記述を有する。
【００５４】
本発明の種々の実施の形態によれば、オーディオ表示は様々な方法で実施され得る。例えば、「プレイワンス（一回再生）」型のナレーション、「ループされた」オーディオ表示として実施される。このような例には、特定のロケーションまたはそのロケーション範囲に関連付けられており、ユーザがそのロケーション又はその領域にいるときに連続的に再生する環境サウンド（例えば、交通、滝、鳥の鳴き声）が含まれる。ロケーションから離れて移動することによって、例えば、現実においてそうであるように、距離の２乗の逆数に比例して、関連するオーディオを比例して消えさせることができる。一つのサウンドのロケーションよりも近いロケーションにおいて、ユーザには、それぞれの距離の２乗の逆数に比例したロケーションサウンドの混合したものが聞こえる。更に、オーディオ空間化技術は、特殊なオーディオソースが特殊な方向から発するように見えさせるように使用されてもよい。更に、オーディオ空間化技術は特別なオーディオソースが特別な方向から発するように思わせるために使用され得る。そこで、ユーザがビューの本当らしさを高めるために回転すると、見掛けのオーディオソース方向が回転され得る。例えば、ユーザがそのビューを回転させると、滝は最初に左手に次に右手に現れ、これにより、この滝に関連するオーディオは左から右へ空間化され得る。
【００５５】
再び図１によれば、二つのタイプのデータベースが空間的に索引付けされたパノラマビデオシステム１０に提供されている。データベース４０は空間データを記憶し、メタデータデータベース５０はメタデータを記憶する。空間データは、パノラマ画像、ビデオ、テキスト、マップ、図形表示、及び空間的に索引付けされ得る他の任意のタイプのデータを含むことができるが、これらに限定されない。空間データは、従来と同様、時間によってではなくロケーションによって索引付けされる。ロケーションによって空間的に索引付けされる空間データのいくつかの例は、緯度、経度、及び高度、ｘ−ｙ−ｚの空間座標、倉庫の並び及びアイル、道路の住所表示、建物内の部屋番号、及びロケーションによって索引付けされることが可能な既知の又は、今後、開発されるデータによって定義付けられるグローバルポジショニングサテライト（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｉｎｇ Ｓａｔｅｌｌｉｔｅ（ＧＰＳ））を含むが、これらに限定されない。
【００５６】
空間データデータベース４０及びメタデータデータベース５０は、別個のエレメントとして示されているが、空間データデータベース４０内の空間データとメタデータデータベース５０内のメタデータを結合して単一データベースにすることも本発明によって考慮されている。
【００５７】
メタデータは、例えば、任意の所定の瞬間での仮想環境７６内のｘ、ｙ、ｚ座標システムにおいて、カメラの空間ロケーション又は画像ディスプレイ６０上に示される現在画像６７、を記述するために使用される。空間的に索引付けされたパノラマビデオシステム１０に関連する少なくとも二つのカテゴリのメタデータがある。一つのカテゴリは、例えば、図４に示されるように、キャプション６８に関する。ロダンの彫刻（Ｒｏｄｉｎ Ｓｃｕｌｐｔｕｒｅｓ）と題されたキャプション６８はメタデータである。キャプション６８は、ユーザが特別な興味を示すかもしれないオブジェクトに関連付けられている。キャプション６８は、ユーザインターフェース３０にキャプションをディスプレイすることによって仮想環境７６に関してユーザをナビゲートするのに役立つ。キャプション６８は、ユーザが興味を示すオブジェトに隣接しているかその上にディスプレイされた関連テキスト又はハイパーテキストを含む種々の形態を取ることができるが、これらに限定されない。
【００５８】
メタデータは、既存の地図、空中写真、空間データベース、又は建物の平面図などの他の使用可能な画像からリトリーブすることもできる。ＧＰＳデータ又は同様の正確な空間データを用いて、カメラ経路の単純なマップをデータから直接レンダリングすることもできる。本発明の種々の実施の形態によれば、空間ロケーションデータは、ＧＰＳ緯度／経度の対で記憶される。
【００５９】
メタデータデータベース５０内に記憶された第２のカテゴリのメタデータはデータチュプル（組）である。例えば、カメラの経路は、形式（ｘ、ｙ、ａ、ｔ）（ｘ及びｙはカメラのロケーション、ａはカメラの配向角度、ｔは時間）のデータチュプルとして従来は表示されている。データチュプルは、空間的に索引付けされたパノラマビデオ６５の全ての画像に対して付与される。しかしながら、カメラモーションが比較的滑らかであると仮定した場合、チュプルの数はずっと少なくて済み、中間点でのカメラの位置及び配向を予測するために線形補間を使用することができる。
【００６０】
グローバルポジショニングサテライト（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｉｎｇ Ｓａｔｅｌｌｉｔｅ（ＧＰＳ））ユニットなどの空間センサは空間メタデータを自動的に生成するために使用されてもよい。空間メタデータを決定する種々の他のソースは、車両速度及び進行方向又は加速による無線ビーコン又は推測航法を有するが、これらに限定されない。或いは、空間メタデータは、例えば、知られているポイントから三角測量を用いてカメラ位置を決定するなどして、パノラマ画像の画像処理によって生成されてもよい。また、本発明は、地図、知られている経路、及び空間的に索引付けされたパノラマビデオ６５内の目に見えるランドマークを用いて、空間データを手動で生成することも考慮に入れている。
【００６１】
空間的に索引付けされたパノラマビデオシステム１０は、時間ではなく、空間によって索引付けされたパノラマ画像を記憶する。従来、ビデオ画像は、時間によって序列付けされ、モーションは、時間の進行に対応していた。しかしながら、現在画像６７は、モーションエンジン２１の制御下で、仮想環境７６内の仮想経路７５に沿った仮想動作を要求するユーザによって指定されるモーションに応答して序列付けされる。
【００６２】
図３は、空間的に索引付けされたパノラマビデオシステム１０によるモーションエンジン２１を概略的に示す図である。モーションエンジン２１は、プログラミングされた汎用コンピュータを用いて実施される。プログラミングされた汎用コンピュータは、ユーザが仮想環境７６内の仮想経路７５に沿って移動するときにユーザによって指定されるモーションを処理するようにプログラミングされて空間的に索引付けされたパノラマビデオ６５を生成することもできる。
【００６３】
図３に示されるように、モーションエンジン２１は、共通バス３８０によって相互接続された、コントローラ２０、メモリ３２０、入力インターフェース３５０、少なくとも一つの入力デバイス２１０、ディスプレイインターフェース３７０、及びディスプレイデバイス７２を有する。モーションエンジン２１は、空間データ及びメタデータを受け取るためのデータベース４０及びメタデータデータベースユニット５０のそれぞれに接続されている。
【００６４】
メモリ３２０は、スタティックＲＡＭ、ダイナミックＲＡＭ、又はフラッシュメモリを含む可変ランダムアクセスメモリであってもよい。メモリ３２０は、コントローラ２０によって実行されるプログラムの一つ以上によって使用されるシステムの変数及びデータを記憶するために使用される。メモリ３２０は、例えば、インターネットなどの通信リンク３０５によってアクセス可能なサーバ上のフロッピィ（商標）ディスク及びディスクドライブ、書込み可能な光ディスク及びディスクドライブ、ハードドライブ、フラッシュメモリ、遠隔記憶メモリなどの任意の不揮発性のメモリであってもよい。メモリ３２０は、コントローラ２０によって実行されるプログラムのいずれかによって現在は未使用であるがやがては使用される空間データなどの任意のデータを記憶して、空間的に索引付けされたパノラマビデオシステム１０のソフトウェアアプリケーションを生成することもできる。
【００６５】
入力インターフェース３５０は、入力デバイス２１０をモーションエンジン２１と接続させる。ユーザは、入力デバイス２１０の少なくとも一つによってアクションを入力してもよい。一般に、入力デバイス２１０は、空間的に索引付けされたパノラマビデオシステム１０に選択を生じさせることが可能な任意のデバイス又はモードを有していてもよい。例えば、入力デバイス２１０は、カーソルをドラッグ及びクリックしてオブジェクトなどを選択するためのアイコン、マウス、トラックボール、タッチパッド、キーボード、及びペン型デバイスなどを有していてもよいが、これらに限定されない。入力デバイスはまた、ジョイスティック、ゲームコントローラ（例えば、ステアリングホイール、アクセル／ブレーキペダル）、及びゲーム及び／又は他のアプリケーションを駆動するために専用の他のコントローラを有していてもよい。入力インターフェース３５０は、これらの入力デバイスの二つ以上、例えば、マウス及びキーボードを、モーションエンジン２１と接続させるために使用されてもよい。従って、入力インターフェース３５０は、一つの物理的なデバイス又は二つ以上の別個のデバイスであってもよい。
【００６６】
ディスプレイインターフェース３７０は、ディスプレイデバイス７２をモーションエンジン２１のコントローラ２０と接続させる。ディスプレイインターフェース３７０は、ビデオカードなどの任意の知られているデバイスであってもよいし、ディスプレイデバイスからのデータをコントローラへ伝達することができる任意のこれから開発されるデバイスであってもよい。ディスプレイインターフェース３７０は、一般にそれ自体のメモリを有し、コントローラ２０によって生成されるディスプレイ信号から、ディスプレイ駆動信号を生成し、ディスプレイデバイス７２へ供給するために使用される。
【００６７】
モーションエンジン２１は、サーバプッシュ中、及び遠隔サーバへアクセスするために、搬送波が伝達されるようなアプリケーションのための通信リンク３０５を備えていてもよい。或いは、モーションエンジン２１の通信リンク３０５は、クライアント−プルシステムとして実施される空間的に索引付けされたパノラマビデオシステム１０に応答して搬送波が伝達されるようなところに用いられてもよい。
【００６８】
本発明の種々の実施の形態によれば、空間的に索引付けされたパノラマビデオ６５は、ユーザが要求する仮想動作から指定されたモーションに応答して生成される。さまざまなアクションがユーザによって指定され得る。図２を再び参照すると、アクションは、マウス、キーパッド、ボタン、ユーザインターフェース３０上のアイコン、テーブル、ドロップダウンテーブル、ノブなどの入力デバイス２１０、音声起動、又はアクションを特定するための任意の他の方法を用いた様々な方法、を使用することによって要求され得るが、これらに限定されない。
【００６９】
本実施の形態によれば、ユーザインターフェース３０は、仮想経路７５に沿った仮想環境７６において仮想動作を実行するためにモーションを生成するための入力デバイス２１０を備えている。種々の仮想動作要求は、停止（Ｓｔｏｐ）２２０、前方駆動（Ｆｏｒｗａｒｄ）２２５、後方駆動（Ｂａｃｋｗａｒｄ）２３０、早い運転（Ｆａｓｔｅｒ）２３５、ゆっくり運転（Ｓｌｏｗｅｒ）２４０、及び運転停止（Ｓｔｏｐ）２４５を有する入力デバイス２１０によって示されるように、空間的に索引付けされたパノラマビデオ６５上で実行され得るが、これらに限定されない。また、画像を水平及び垂直方向へパンするために、時計回りパン（ＣＷ）２５０、反時計回りパン（ＣＣＷ）２５５、及びパン停止２６０を有する更なる入力デバイス２１０が設けられてもよいが、これらに限定されない。更なるアクションには、例えば、速度設定、ビデオ位置設定、特定位置への移動、現在位置の確保、注視方向設定、視界設定、又は空間的に索引付けされたパノラマビデオシステム１０において仮想動作を指定するために適した任意の他のアクションが含まれていてもよい。
【００７０】
例えば、空間的に索引付けされたパノラマビデオシステム１０がビデオの速度又は位置を制御するために使用されるとき、速度１はビデオが正常な速度で再生されていることを示すことができる。他の速度は、巻き戻し、スローモーションからなるリアルタイムの倍数、又は選択可能な速度でのその逆（先送りや早回し）を提供するために使用され得る。ユーザインターフェース３０はズームの視界方向や角度における変化を許容することもできる。
【００７１】
例示的な実施の形態の作用において、モーションエンジン２１は、データベース４０に記憶されたパノラマ画像、マップ、テキスト、及びオーディオをメタデータデータベース５０に記憶されたメタデータと相互に関連付けることによって、画像ディスプレイ６０内の空間的に索引付けされたパノラマビデオ６５、マップディスプレイ７０内のマップ、テキストディスプレイ８０内のテキスト、空間的に索引付けされたパノラマビデオシステム１０のユーザによって選択されたアクションに基づいてユーザインターフェース３０へのオーディオ出力を、レンダリングする。特定されたアクションは、空間的に索引付けされたパノラマビデオシステム１０の仮想環境７６内の仮想経路７５に沿ってユーザが作成したいとする仮想動作を定義付ける。ユーザによって選択されたモーションに基づいて、データベース４０からの複数の画像とメタデータデータベース５０からの対応するメタデータとをリトリーブするように要求されることによって、空間的に索引付けされたパノラマビデオ６５が生成される。この要求が処理され、モーションエンジン２１内のコントローラ２０によって画像がリトリーブされ、処理された後、ユーザインターフェース３０上の画像ディスプレイ６０内に空間的に索引付けされたパノラマビデオ６５がレンダリングされる。
【００７２】
所与の速度で仮想経路７５に沿った入力デバイス２１０の少なくとも一つを選択することによって、例えば、「前方へ進む」ようにモーションが指定された場合、モーションエンジン２１は、仮想ナビゲーションをコントロールするためにパラメータを指定する。モーションエンジン２１によって他の様々な特徴もコントロールされ得る。例えば、モーションエンジン２１は、好ましい方向を示すと共に仮想環境７６において交差点に到達した時にどの方向へ走行すべきかを決定することができる。モーションエンジン２１は、「デフォルトルール」を課すことができ、即ち、好ましいとされる方向に最も近い方向に進行する。モーションエンジン２１は、好ましいとされる方向が仮想経路７５に沿った「前方」方向に合うように更新されるモード又は方向を指定してもよい。このモーションは、常に「できるだけまっすぐ」であり、交差点が近づいた時、選択される方向は、交差点に近づく前に走行した仮想経路７５の方向にできるだけ近い方向である。
【００７３】
図４は、同様の参照符号が図２の同様のエレメントに対応している他の例示的なユーザインターフェース３０を示す。ユーザインターフェース３０は、画像ディスプレイ６０及びマップディスプレイ７０を含む。画像ディスプレイ６０は、空間的に索引付けされたパノラマビデオ６５をディスプレイする。空間的に索引付けされたパノラマビデオ６５は、データベース４０からリトリーブされた複数の画像６７を有する。各画像６７は、仮想環境７６における仮想経路７５に沿った所定の位置に応じてパノラマ及び空間的に索引付けされている。
【００７４】
本発明の種々の例示的な実施の形態において、現在画像６７によって示されるように注視方向を指定するための注視方向インジケータ７８を有するポジションアイコン７７が提供される。図３及び図４において、ポジションアイコン７７はフローティングアローとして示されている。ポジションアイコン７７は、種々のモード、例えば、ノブ、マウスの水平モーション、左から右またその逆に、好ましいとされる方向へ変更するためにキーを押下すること、ポジションアイコン７７を回転することによって、例えば、ポジションアイコンをクリックして左から右へ回転させることによって注視方向を変更すること、又はモーションをコントロールする他の任意の方法によってコントロールされ得る。
【００７５】
仮想環境７６を介したナビゲーションは、仮想環境７６内の仮想経路７５に沿って交差点に出会った時に好ましいとされる方向としての注視方向に基づいて行われてもよい。他のナビゲーションモードは、モーションの現在方向を好ましいとされる方向として使用する。この場合、仮想環境７６内の仮想経路７５の交差点に至った時に、空間的に索引付けされたパノラマビデオシステム１０は「できるだけ真直ぐ」な方向に向かうように設計されてもよい。これは、空間的に索引付けされたパノラマビデオシステム１０が、モーションが連続的に仮想経路７５に沿って進む「ハンドオフ走行」として実行されるときに有用である。或いは、例えば、走行距離を短縮するため、又はユーザが仮想経路７５の特別なセグメントをビューするのを確実とするために、交差点の選択を空間的に索引付けされたパノラマビデオシステム１０内の全ての交差点で前もって記録しておくことができるし、また、任意の地点で好ましいとされる方向がセットされてもよい。
【００７６】
例えば、ポジショニングアイコン７７及び／又はボタン２５０、２２５、及び２６０を用いて注視方向をコントロールすることに加えて、ユーザは、他の入力デバイス２１０によってでもモーションをコントロールすることができる。仮想環境７６における任意の所与の仮想経路７５上で、ユーザは、二つの方向のいずれかに移動してもよいし、マウス、ジョイスティック、ボタン２２０，２３５，２４５又はペダルなどの少なくとも一つの入力デバイス２１０を用いて、モーションの速度をコントロールしてもよい。いくつかの仮想経路７５が結合する交差点に、仮想経路に沿ったモーションが、視点位置を移動してきた時、ユーザはそれらが取るいくつかの仮想経路７５のどれかを指し示すことができる。方向の選択があるときに起動される「左、右、真直ぐ」ボタンなどのモーションを選択するための多種多様な例示的なインターフェースが可能である。
【００７７】
ユーザは、例えば、ボタン２２５及び２３０を用いて、注視方向とは無関係にモーションの好ましいとされる方向をコントロールしてもよい。このようにして、空間的に索引付けされたパノラマビデオシステム１０によって、ユーザが、特定の方向というよりはむしろ、見るオブジェクト又はロケーションを指定することを可能とする。図４において、例えば、ユーザが見たいとする選択されたオブジェクトとして「ロダンの彫刻」６８を指定するために「ロダンの彫刻」６８へスナップすることができる。ユーザが仮想環境７６内の仮想経路７５周辺を移動する時、ユーザの視点は、選択されたオブジェクトに固定されたままである。これによって任意の位置からオブジェクトをビューすることが簡単になる。複数の方向から単一のオブジェクトのビューを提供する従来の「オブジェクトムービー」は、空間的に索引付けされたパノラマビデオシステム１０のように、人がオブジェクト以外の方向で見ることを可能としない。更に、一つより多くのオブジェクトの周辺をナビゲートするためのディスプレイ画像にディスプレイされ得る経路セグメント７３を提供することが望ましい。これは、例えば、ｅ−コマースのような自動車販売区域において特に有用である。車がグリッド（格子）状に並べられている場合、全てのグリッドの境界線に沿って空間的に索引付けされたパノラマビデオ６５をキャプチャすることによって、空間的に索引付けされたパノラマビデオシステム１０に任意の車のビューを任意の角度から自動的に生成させることができる。
【００７８】
本発明の種々の実施の形態によれば、ユーザは、仮想環境７６内の仮想経路７５に沿って使用可能なナビゲートできる選択又はモードをユーザに認識させる可視キューを与えられる。
【００７９】
有用な機能は、注視する特定の方向及び走行する特定の方向をユーザが要求するのを可能とすることである。多くの場合、視点から明白となり得る。例えば、コンテンツが仮想道路又は明確な仮想経路７５に沿って集められた場合、ユーザにとって他の仮想経路７５上のどこで曲がればよいのか、又はユーザが単一の仮想経路７５に制限されるべきなのかをユーザにはっきり示さなければならない。しかしながら、可視キューのないところでは、どの仮想経路７５が使用可能なのかが明らかではない。また、仮想環境７６内の道路又はドライブウェイに沿って集められた空間的に索引付けされたパノラマビデオのフィート数によっては、いくつかのわき道やドライブウェイにアクセスできないこともある。これらの状況においては、図４に示されるように、例えば、マップディスプレイ７０を調べることによってユーザは彼の選択範囲を広げることができる。しかしながら、マップを調べることは負担になるし、没頭して注意が散漫になる。この状況では、フローティングアロー６９などの可視キューが航行可能な選択によってユーザに注意を促すことができる。或いは、マップディスプレイ７０の小さな経路セグメント７３は、ユーザの現在の注視方向に対して方向付けられ、おそらく、ユーザの視界をシミュレートするための注視方向インジケータ７８によって、画像ディスプレイ６０内に示される。図４は、画像ディスプレイ６０の右下のコーナーにこの特徴を示している。
【００８０】
ユーザインターフェース３０を強調するために着色してもよい。例えば、仮想環境７６内の仮想経路７５は、仮想環境７６から仮想経路７５を識別するために着色されてもよい。また、ユーザインターフェース３０内の任意のオブジェクトが、空間的に索引付けされたパノラマビデオシステム１０の仮想環境７６を理解するときのユーザを援助するために着色されてもよい。
【００８１】
“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ ｔｏｕｒ（私をそこへ連れてって走行）”は空間的に索引付けされたパノラマビデオシステム１０におけるナビケーションのための他の例示的な使用法である。“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ ｔｏｕｒ”において、システム１０は、ユーザのアクションによって指定された目的地への走行を自動的に生成する。例えば、ユーザは最初と最後の目的地を入力してもよい。“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ ｔｏｕｒ”が、仮想環境７６内の仮想経路７５に沿って最初の目的地から最後の目的地までユーザをナビゲートする。或いは、ユーザは最後の目的地のみを入力してもよい。要求された時点でディスプレイされた現在視点から最後の目的地まで進行することができる。
【００８２】
仮想環境７６内の仮想経路７５上のロケーションから移動するための他の例示的なモードは、例えば、図２に示されるように、サーチボックス６３によるモードである。特別なサーチクエリー（Ｓｅａｒｃｈ ｑｕｅｒｙ）をサーチボックス（Ｓｅａｒｃｈ ｂｏｘ）６３内へ入力することによって一つのロケーションから他のロケーションまで移動させて、最終目的地をリトリーブすることができる。
【００８３】
本発明によって使用される他のナビゲーションモードは、自動生成される仮想案内走行である。例えば、ウェブ−ベースのマップサービスは、所与のルート又は仮想経路７５に沿って運転することがどのような感じなのかを示す空間的に索引付けされたパノラマビデオシステム１０の形態でのマップ又はテキストによる運転命令に代わるものを提供することができる。
【００８４】
図５及び図６は、空間的に索引付けされたパノラマビデオシステム１０のための例示的な方法を示す。
【００８５】
示されているように、コントロールルーチンはステップ６００から開始される。コントロールルーチンはステップ６１０まで進む。
【００８６】
ステップ６１０において、コントロールルーチンは、空間的に索引付けされたパノラマビデオを生成すべきアクションが要求されたか又はユーザによって指定されたかを判断する。空間的に索引付けされたパノラマビデオシステムのアクションは、仮想環境内の仮想経路上でのユーザの空間ロケーション又は位置に基づく。アクションが要求された場合、コントロールルーチンは、ステップ６２０へ進む。アクションは、ボタン、ユーザインターフェース上のアイコン、ハイパーリンクなどによって、カーソルを移動して、ユーザインターフェースの部分を選択し、サーチクエリーを入力し、上述の入力デバイスのいずれか一つを用いてユーザインターフェースの種々の部分上にオーバーレイされたテキストを選択し、及び他の任意の知られている、又は今後、開発される選択を提供する方法などの多種多様な方法で要求され得るが、これに限定されない。ステップ６１０で、アクションが要求されなかった場合、コントロールルーチンは、ステップ６１０を繰り返す。
【００８７】
ステップ６２０において、要求がモーションエンジン内のコントローラへ送られる。
【００８８】
ステップ６３０において、要求が処理され、空間的に索引付けされたパノラマビデオを生成するためのこの要求に対応する空間データがデータベース及びメタデータデータベースのそれぞれからリトリーブされる。図６は、後述するように、この要求を処理する局面を非常に詳細に示している。コントロールルーチンは続いてステップ６４０へ進む。
【００８９】
ステップ６４０において、コントローラによって空間的に索引付けされたパノラマビデオを生成するための要求に対応する空間データが編集され、ユーザインターフェース上にレンダリングされる。コントロールルーチンは次にステップ６１０に戻り、他のアクションがユーザによって生成されたかを判断する。
【００９０】
図６は、空間的に索引付けされたパノラマビデオを生成するための要求に対応するデータベースから空間データを要求するプロセスを示す。示されているように、ステップ６２０ではじまり、コントロールルーチンはステップ６２１へ続く。
【００９１】
ステップ６２１において、コントロールルーチンは、データベースから画像をリトリーブし、アクションの空間ロケーションに対応するメタデータデータベースからメタデータをリトリーブし、空間データをユーザインターフェース３０へ送る。画像はパノラマであり、空間的に索引付けされたパノラマビデオ内の空間ロケーション又は位置に対応するように空間的に索引付けされる。リトリーブされる画像は、「停止」運転リクエストが要求された場合にはほとんど一つに限られる。或いは、加速された速度で「前方へ進め」運転リクエストが要求された場合は、多数の画像がコントローラによって要求されると捉えられ、空間的に索引付けされたパノラマビデオ内で高速で走行することの効果を発揮するように編集される。更に、図４に示されるように、現在画像は、フローティングアローやキャプションなどの可視キューの形態でメタデータを含むこともでき、ユーザに、使用可能なナビゲーション選択に対する注意を促す。即ち、ユーザに詳細を報知するために、オーバーレイされたテキスト、又は，ユーザがテキストを選択した場合は、ユーザが取り得る更なるアクションに対する注意を促す。コントロールルーチンは引き続きステップ６２３へ進む。
【００９２】
ステップ６２３において、コントロールルーチンはアクションの空間ロケーションに対応するデータベースからマップをリトリーブし、このマップを空間データとしてユーザインターフェース３０へ送る。図２及び図４に示されるように、マップディスプレイも、フローティングアローなどの可視キューの形態で空間データを含むこともでき、ユーザに対して、ユーザによって要求されたナビゲーション選択に対する注意を促す。コントロールルーチンは引き続きステップ６２５へ進む。
【００９３】
ステップ６２５において、コントロールルーチンは、アクションの空間ロケーションに対応するデータベースからテキストをリトリーブし、このテキストを空間データとしてユーザインターフェース３０へ送る。再度、図２を参照すると、テキストは、画像ディスプレイ、又はマップディスプレイへオーバーレイされたテキスト、若しくは、画像ディスプレイ内の空間的に索引付けされたパノラマビデオの現在画像をユーザが理解するのを可能にするときに役立つ任意の他のタイプのテキストとしてのヘッディング、記述、ハイパーテキストリンクとして図示されてもよい。コントロールルーチンは引き続きステップ６２７へ進む。
【００９４】
ステップ６２７において、コントロールルーチンは、アクションの空間ロケーションに対応するデータベースからオーディオをリトリーブし、このオーディオを空間的にタグ付けされたオーディオデータとしてユーザインターフェース３０へ送る。オーディオは、画像ディスプレイ内に示される画像についてのナレーション、歌、又は、ユーザが空間的に索引付けされたパノラマビデオシステムを方向ディスプレイソフトウェアと組み合わせて使用する場合などに所望されるロケーションへの方向のセットを含むが、これに限定されない任意数のオーディオセグメントを提供する。コントロールルーチンは引き続きステップ６２８へ進む。
【００９５】
ステップ６２８において、コントロールルーチンは、アクションの空間ロケーションに対応するメタデータデータベースからメタデータをリトリーブし、このデータをユーザインターフェース３０へ送る。コントロールルーチンは引き続きステップ６２９へ進み、そこでステップ６４０へ戻る。
【００９６】
図７は、ネットワークシステムとして実施される空間的に索引付けされたパノラマビデオシステム５１０の第２の実施の形態を示す。この空間的に索引付けされたパノラマビデオシステムは、機能的には、第１の実施の形態における空間的に索引付けされたパノラマビデオシステム１０と同様に動作する。しかしながら、この第２の実施の形態においては、空間的に索引付けされたパノラマビデオシステム５１０は、ブラウザ５０３として実施され、サーバプッシュ、或いは、例えば、ストリーミングメディアプレーヤーによって更新される画像からなる。
【００９７】
図７は、空間的に索引付けされたパノラマビデオシステム５１０を例示的に表示したものである。空間的に索引付けされたパノラマビデオシステム５１０は、クライアントコンピュータ５０４上に位置指定され、例えば、インターネットを介して転送する通信リンク３０５を介してサーバ５０１及びＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ５０１に接続されたクライアントディスプレイプログラム５０３を有する。クライアントディスプレイプログラム５０３内には、画像ディスプレイ５６０、マップディスプレイ５７０、テキストディスプレイ５８０、及びオーディオ出力５９０が設けられている。入力インターフェース５３０は複数の入力デバイス２１０からアクションを受け取り、空間的に索引付けされたパノラマビデオ６５を生成する。サーバ５０１は、モーションエンジン５２０、空間データを記憶するデータベース５４０、及びメタデータを記憶するメタデータデータベース５５０を有する。
【００９８】
この例示的な実施の形態において、画像ディスプレイ５６０は、搬送波を介してサーバプッシュによって更新され得る、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）画像である。これに代わって、ストリーミング・ビデオフォーマットが使用されてもよい。しかしながら、待ち時間がディスプレイインターフェース５３０内のインタラクティビティの意義を損なわないようにバッファリングは十分に小さく保たなければならない。マップディスプレイ５７０はインタラクティブであり、例えば、Ｊａｖａ（登録商標）ａｐｐｌｅｔとして実施され得る。シンプルＨＴＴＰベースのコントロールプロトコルは、モーションエンジン５２０をコントロールするために使用され得る。モーションエンジン５２０は、特別なコントロールＵＲＬ(Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ ｌｏｃａｔｉｏｎ) を用いてＨＴＴＰ ＧＥＴ要求をサーバ５０１、５０２へ送ることによってコントロールされ、これにより、ＨＴＭＬページのリンクからのＪａｖａ（登録商標）ａｐｐｌｅｔによるコントロール、又は、ＨＴＴＰ要求を生成することができる任意の他のデバイス又はシステムによるコントロールが可能となる。
【００９９】
図８は、空間的に索引付けされたパノラマビデオシステム５１０の第２の実施の形態による他の例として示されたユーザインターフェース７３０を示す。
【０１００】
種々の他の実施の形態が本発明の範囲を逸脱するものではない。例えば、空間的に索引付けされたパノラマビデオ６５は、テレビジョン又は投影ディスプレイ上で提供されてもよい。空間的に索引付けされたパノラマビデオ６５のフィート数は、通り又は道路に沿って測られるので、図２及び図８に示されるメタファーのように車内にいるというメタファーが使用されてもよい。或いは、車の異なるウィンドウから人（ユーザ）が期待するビューを提示するために複数の物理的なディスプレイが使用されてもよい。
【０１０１】
ヘッド・マウント・ディスプレイも、より深い体験のために使用されてもよい。このような実施の形態において、ヘッドトラッキングは注視方向を決定するために検知されてもよく、これによって、空間的に索引付けされたパノラマビデオ６５はユーザの頭部位置に応じて変更される。
【０１０２】
本発明による空間的に索引付けされたパノラマビデオシステムは、例えば、不動産業などにおいては多数の利用可能な使用法がある。固定位置のパノラマビューは従来家や地所をウェブ上で示すために使用されるが、本発明による空間的に索引付けされたパノラマビデオシステムは、可能性のある買い手が多数の固定位置から家を見るだけでなく、バーチャルに家の中を歩くことも可能とする。また、本発明による空間的に索引付けされたパノラマビデオシステムは町や近所をナビゲートするために使用され、ユーザは、家の中を歩いたり外を歩き回る前に家までのドライブをバーチャルに体験する。
【０１０３】
本発明による空間的に索引付けされたパノラマビデオシステムのほかの利用法は旅行業界で見られる。ユーザは、ハワイ、ワイキキなどのリゾート地域をバーチャルに運転することができ、どのホテルが最も望ましい位置や眺望を有するかを決定することができる。これによって、ユーザは、特別なロケーションにいることが実際どういう感じなのかということのより良い感覚をユーザに付与することができる。
【０１０４】
更に、本発明による空間的に索引付けされたパノラマビデオシステムは、例えば、高級車のショールームにような商品のバーチャルなショールームをユーザが見て回ることを可能とするｅ−コマースのために使用され得る。空間的に索引付けされたパノラマビデオシステムを車などのオブジェクトに対して方向付けることによって、オブジェクトのレイアウトやナビゲーションを気にせずに特別なオブジェクトをクリックすることができる。
【０１０５】
異なるレベルの詳細が本発明による空間的に索引付けされたパノラマビデオシステムのコンテンツに対して統合されている。例えば、ラスベガスストリップの空間的に索引付けされたパノラマビデオが通りや側道に沿った仮想経路によって生成することができる。これは、特定のリゾートに対する詳細なコンテンツがなくてもユーザにとって有用である。なぜならば、ユーザはあちこち動き回ることができ、施設を外側から見ることができるためである。この空間的に索引付けされたパノラマビデオシステムは、施設をクリックすることによってウェブページや他のデータを呼び出す方法で、ホテルの予約システム又は他の付加価値のあるサービスにリンクされてもよい。更なる素材によってユーザは特別な施設の中又はそれらの構内付近を歩くことが可能となる。
【０１０６】
本発明の空間的に索引付けされたパノラマビデオシステムの用途は、多数あり、娯楽、教育、グランドキャニオン、アルプス、又はタージマハールのような名所旧跡などを含むことができるが、これらに限定されない。
【０１０７】
本発明による空間的に索引付けされたパノラマビデオシステムのためのシステム及び方法は、プログラムされた汎用コンピュータ上で実施され得る。しかしながら、本発明による空間的に索引付けされたパノラマビデオシステムのためのシステム及び方法は、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロ・コントローラ、及び周辺集積回路エレメント、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）又は他の集積回路、ディジタル信号プロセッサ、ディスクリートエレメント回路などのハードワイヤード電子又はロジック回路、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＬＡ（ｐｒｏｇｒａｍｍｅｄ ｌｏｇｉｃ ａｒｒａｙ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、又はＰＡＬ（ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ ｌｏｇｉｃ）などのプログラム可能ロジックデバイス等で実施されてもよい。一般に、図５及び図６に示されたフローチャートを実施することを可能とする有限状態マシンを実施することが可能な任意のデバイスが、本発明のシステム及び方法を実施するために使用され得る。
【０１０８】
図１、図３及び図７に示された種々のブロックが適切にプログラミングされた汎用コンピュータの部分として実施され得る。或いは、図１、図３及び図７に示された種々のブロックは、ＡＳＩＣ内の物理的に別個のハードウェア回路として又はＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬを用いて、又はディスクリートロジックエレメント又はディスクリート回路エレメントを用いて実施され得る。図１、図３及び図７に示されたブロックの各々が取る特別な形態は設計上の選択であり、当業者にとって明白であり予測可能なものである。
【０１０９】
図３に示されているように、メモリ３２０は、可変、揮発性又は不揮発性のメモリ、又は変更不能若しくは固定されたメモリを任意に適当に組み合わせたものを用いて実施され得る。可変メモリは、揮発性又は不揮発性のいずれでもよく、スタティック又はダイナミックＲＡＭ、フロッピィ（商標）ディスク及びディスクドライブ、書込み可能又は書換え可能な光ディスク及びディクスドライブ、ハードドライブ、フラッシュメモリなどの任意の一つ以上を用いることによって実施され得る。同様に、変更不可能又は固定メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭディスクなどの光ＲＯＭディスク、及びディスクドライブなどの任意の一つ以上を用いて実施されていもよい。
【０１１０】
図３及び図７に示されるように、リンク３０５は、空間的に索引付けされたパノラマビデオシステム１０の構成要素を接続するための任意の知られている又は今後、開発されるデバイスであってもよい。空間的に索引付けされたパノラマビデオシステム１０は、直接ケーブル接続、ワイドエリアネットワーク又はローカルエリアネットワークを介した接続、イントラネットを介した接続、インターネットを介した接続、又は任意の他の分散処理ネットワーク又はシステムを介した接続の一つ以上を含んでいてもよい。概して、通信リンク３０５は、任意の知られている、又は今後、開発される接続システムであってもよい。
【０１１１】
また、通信リンク３０５は、ネットワークにワイヤード又はワイヤレスでリンクされ得ることを理解されたい。ネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、イントラネット、インターネット、又は任意の他の分散処理及び記憶ネットワークであってもよい。
【０１１２】
本発明は、概略的に上述された例示的な実施の形態に関して説明されてきたが、当業者にとって多数の変形、改良及び変更が明白であることが明らかである。従って、本発明の例示的な実施の形態は、説明のみを目的としており、これらに限定されるものではない。本発明の精神及び範囲を逸脱することなく種々の変更が行われてもよい。
【図面の簡単な説明】
【図１】本発明による空間的に索引付けされたパノラマビデオシステムの第１の実施の形態を示す略図である。
【図２】本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムのユーザインターフェースを示す図である。
【図３】本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムのモーションエンジンを示す略図である。
【図４】本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムの他のユーザインターフェースを示す略図である。
【図５】本発明による空間的に索引付けされたパノラマビデオシステムのための例示的なプロセスを示すフローチャートである。
【図６】本発明による空間的に索引付けされたパノラマビデオシステムのための例示的なプロセスを示すフローチャートである。
【図７】本発明による空間的に索引付けされたパノラマビデオシステムの第２の実施の形態を示す略図である。
【図８】本発明の第２の実施の形態による空間的に索引付けされたパノラマビデオシステムのユーザインターフェースを示す略図である。
【符号の説明】
１０：パノラマビデオシステム
２１：モーションエンジン
３０：ユーザインターフェース
４０：データベース
５０：データベース
６０：画像ディスプレイ
６５：空間的に索引付けされたパノラマビデオ
７０：マップディスプレイ
７２：ディスプレイデバイス
８０：テキストディスプレイ
【発明の属する技術分野】
本発明は、一般に、仮想現実（バーチャルリアリティ）アプリケーションのためのビデオを使用するシステム及び方法に係り、より詳細には、仮想環境内の仮想経路に沿った仮想動作を実行するためにユーザによって要求されるアクションに応答して、パノラマ(ｐａｎｏｒａｍｉｃ)であると共に空間的に索引付けされる、ビデオを生成するシステム及びビデオシステム用のコンピュータプログラムに関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
「特別な場所にいる」ことの体験を再生するために多くの試みが行われてきた。従来、これは美術及び記述的散文を通してのみ行われたものである。写真技術は、場所を描く際の容易さ及び精度の点で大いなる前進を遂げた。モーションピクチャ及びビデオは他の重要な改善点を提供した。これらの従来の媒体は、前もって撮影者によって選択された空間の視界（ビュー）をユーザに提供する。
【０００３】
理想的には、「特別な場所にいる」ことの体験を再構築することによって、ユーザは自由に動き回り、どこを見るべきかを選択することができる。従来の一つの方法は、空間のコンピュータモデルと、この空間を介してユーザが実際に航行（ナビゲート）するときのリアルタイムビューをレンダリングすることとが必要とされる。他の最近のアプローチは、４次元のドメインを介して、「ライトフィールド（ｌｉｇｈｔ ｆｉｅｌｄｓ）」又は「ルミグラフ（ｌｕｍｉｇｒａｐｈｓ）」を用いてストラクチャを表示することなどによって、空間内の任意方向及び任意地点を介して光の流れを近似するために十分な画像を記録することである。
【０００４】
特別な場所にいる感覚を提供する試みにおいて、二つの従来の画像ベースの方法が先立って開発されている。一つの方法は、パノラマ式の映像であり、これによって、ユーザは、固定された視点から見る方向を自由に選択することができる。パノラマは、ディジタル式で記録され、後処理中に高解像度でスキャンされるフィルムベースの画像を使用することもできる。パノラマ画像又はビデオは、ストリーミングシステムを用いてインターネットを介して分配されてもよい。他のアプローチは、ユーザがフォローできる経路とビデオとの関連付け、即ち画像とこれらの経路に沿った地点との関連付けである。
【０００５】
「特別な場所にいる」ことの体験を再生するための従来の方法の欠点を克服すべく本発明が提供された。例えば、静止画又は動画はいずれも記憶媒体の固有にインタラクティブな形態ではない。これらは、空間のいくつかのビューをユーザに提供するが、これらのビューは前もって撮影者によって選択されたものだけである。エンドユーザは、彼が見るものを殆ど或いは全くコントロールすることができない。ビデオが異なるビューを介してパンされる場合、又はいくつかの経路に沿ったモーションにおいて撮影される場合でさえも、ユーザの体験は、「乗り物には乗っている」が、「どこに行くか何を見るかを選択する」ものではない。
【０００６】
上述された従来の画像ベースの方法は、部分的にしか問題点に、取り組んでいない。これらのアプリケーションはいずれも空間的に索引付けされたパノラマビデオを使用しない。代わりに、従来の画像ベースのシステムはタイムベースのビデオである。従来の空間的に索引付けするシステムにおいて、連続様式で提供されるフルパノラマ画像を提供することができるものは知られていない。
【０００７】
すなわち、従来の技術では、上記記載されたような課題は解決されていない（例えば、非特許文献１〜１２）。
【０００８】
【非特許文献１】
チェンら（Chen et al.）、「画像合成のためのビュー補間」（"V iew Interpolation for Image Synthesis"）、アップルコンピュータ(Apple Computer, Inc)、August 1993、pp.1-7
【非特許文献２】
アリアガら（Aliaga et al.）、「プレノプチックステッチ：３Ｄインタラクティブウォークスルー再構成のスケーラブルな方法」（ "Plenoptic Stitching: A Scalable Method for Reconstructing 3 D Interactive Walkthroughs"）、ルーセントテクノロジーベル研究所(Lucent Technologies Bell Laboratories)、pp.443-450
【非特許文献３】
キンバーら（Kimber et al.）、「飛ぶ：空間的にインデックスされたパノラマビデオ」（"FlyAbout: Spatially Indexed Panoramic Video"）、エフエックス パロ アルト ラボラトリー インコーポレイテッド、パロアルト、CA 94304(FX Palo Alto Laboratory , Inc., Palo Alto, CA94304）
【非特許文献４】
ゴートラーら（Gortler et al.）、「ルミグラフ」（"Lumigraph"）、マイクロソフトリサーチ(Microsoft Research)、1996
【非特許文献５】
ニコレスクら（Necolescu et al.）、「エレクトロニックパン・チルト・ズーム：インテリジェントルームシステムソリューション」（"Electronic Pan-Tilt-Zoom: A Solution for Intelligent Room Systems"）、IEEE、August 2000
【非特許文献６】
リップマン（Lippman）、「ムービーマップ：コンピュータグラフィックスへの光ビデオディスク適用」（"Movie-Maps: An Applicat ion of the Optical Videodisc to Computer Graphics"）、マサチューセッツ工科大学ケンブリッジ校アーキテクチャマシングループ (Architecture Machine Group, Massachusetts Institute of Tech nology, Cambridge, MA 02139)、July 1980、ACM
【非特許文献７】
ネーヤ（Nayar）、「カタディオプトリック全方向カメラ」（"Cat adioptric Omnidirectional Camera"）、コロンビア大学、コンピュータサイエンスデパートメント(Department of Computer Scienc e, Columbia University, New York, New York 10027)、June 199 7
【非特許文献８】
フートら（Foote et al.）、「飛ぶ：実用パノラマビデオおよび自動カメラコントロール」（"FlyCam: Practical Panoramic Video a nd Automatic Camera Control"）、エフエックス パロ アルト ラボラトリー インコーポレイテッド、パロアルト、CA 94304(FX Palo Alto Laboratory, Inc., Palo Alto, CA 94304)、2000
【非特許文献９】
ナイマーク（Naimark）、「カールスルヘのＶＢＫ−Ａムービーマップ（介在されるリアリティおよび場所の意識）」（"VBK-A Movie map of Karlsruhe (Mediated Reality and the Consciousness of Place)"）、明日のリアリティカタログ(From Tomorrow's Realiti es catalog)、Siggraph 1991
【非特許文献１０】
カワサキら（Kawasaki et al.）、「全方位カメラを用いた自動３Ｄ市街構築システム」（"Automatic 3D City Construction System Using Omni Camera"）、東京大学、工業科学研究所、(Institute of Industrial Science, University of Tokyo)、August 2000
【非特許文献１１】
レボイら（Levoy et al.）、「ライトフィールドレンダリング」（ "Light Field Rendering"）、スタンフォード大学、コンピュータサイエンスデパートメント (Stanford University, Computer Scie nce Department)、1996
【非特許文献１２】
ビューケミンら（Beauchemin et al.）、「オプティカルフローの計算」（"The Computation of Optical Flow"）、ウェスタンオンタリオ大学、コンピュータサイエンスデパートメント (University of Western Ontario, Computer Science Department)、ACM Comp uting Surveys、1995、Vol. 27、No. 3、ｐｐ．４３３〜４６７
【０００９】
【課題を解決するための手段】
本発明は、パノラマであると共に空間的に索引付けされたビデオを作成するためのビデオシステムを生成するシステム及び方法を提供することによって、上述された長年の問題に取り組む。本発明のシステム及び方法の種々の実施の形態によれば、仮想環境内の仮想経路は現実の座標位置に基づく。
【００１０】
本発明のシステム及び方法の種々の実施の形態は、パノラマであると共に空間的に索引付けされたビデオを生成することによってユーザから要求されたアクションに応答し、これによって、ユーザは、選択された仮想経路に沿って移動しながら、仮想経路に沿って独立にナビゲートし、様々な方向に独立にパンし、及び／又は、特定のオブジェクト上に視界（ｇａｚｅ）を維持する。ビデオは、再生されると、仮想環境内の仮想経路に沿って移動する体験をユーザに提供することができる。ビデオを空間的に索引付けすることによって、ユーザインターフェースが提供されて、道路に沿って運転するなどの経路に沿ってユーザがナビゲートすることが可能となる。経路のジャンクションや交差点では、ユーザはフォローする仮想経路だけでなく、見る方向も選択することができ、これによって、従来のビデオでは不可能とされた対話（インタラクション）が可能とされる。空間索引をマップ及び／又はオブジェクトの空間データベースと結合することによって、ユーザは、特定のロケーションへナビゲートすることや特別なオブジェクトをインタラクティブに調べることができる。
【００１１】
本発明による種々の例示的な実施の形態において、仮想現実の為のビデオシステムが提供される。種々の実施の形態において、ビデオシステムは、仮想環境を表現するために用いる空間データを有するデータベースと、画像ディスプレイ及びユーザからの指示を受け付けるための指示手段を有するユーザインターフェースと、仮想環境内での仮想経路に沿った移動を伴うアクションを受け付けた前記指示手段からの入力に応答してレンダリングされるビデオを表示するためのビデオ表示手段であって、前記移動を伴うアクションに応じたビデオを生成するために前記データベースからリトリーブされる複数の画像を用い、前記複数の画像の各画像がパノラマであり、前記仮想経路に沿った所定のロケーションに従って前記各画像が空間的に索引付けされ、前記仮想経路に沿った移動における移動地点に対応して索引付けされた前記複数の画像を用いて前記画像ディスプレイに表示するビデオを生成するビデオ表示手段と、を有する。このような実施の形態において、ユーザインターフェースは、ビデオに関連付けられたマップディスプレイ、ビデオに関連付けられたテキストディスプレイ、及び／又はビデオに関連付けられたオーディオデータを伝達するオーディオ出力を更に有する。
【００１２】
本発明による種々の例示的な実施の形態において、ビデオシステムはスタンドアローンシステムとして実施される。或いは、ビデオシステムがサーバ上に配置されてもよいし、ユーザインターフェースは、例えば、ウェブブラウザなどの、クライアントディスプレイプログラムとして実施されてもよい。
【００１３】
本発明による種々の例示的な実施の形態において、空間データはパノラマ画像、マップ、テキスト、オーディオシステム、及びハイパーテキストリンクの少なくとも一つに対応する。空間データは空間索引付けに適切とされる公知のタイプのデータ、又は今後、開発されるデータであってもよい。
【００１４】
本発明による種々の例示的な実施の形態において、アクションが仮想動作に対する要求である。例えば、仮想動作は、走行方向、停止、速度規定、ビューするオブジェクトのスナップ、ポジションアイコンのドラッグにより表される移動、走行開始、及びパンの少なくとも一つであってもよい。このアクションは、本発明による空間索引付けに適切とされる公知のタイプのアクション、又は今後、開発されるアクションであってもよい。このような実施の形態において、アクションは、キーボードコマンド、マウス、ノブ、ジョイスティック、ヘッドトラッキングデバイス、フローティングアロー（ｆｌｏａｔｉｎｇ ａｒｒｏｗ）、フローティングテキスト（ｆｌｏａｔｉｎｇ ｔｅｘｔ）、ペダル、ハイパーテキストリンク、及びコントローラの少なくとも一つを含む選択デバイスによって選択される。アクションは、本発明による空間索引付けに適切とされる公知のタイプの選択デバイス又は今後、開発される選択デバイスであってもよい。
【００１５】
本発明による種々の例示的な実施の形態によれば、仮想現実のためのビデオを生成する方法が提供されている。実施の形態において、この方法は、アクションを特定するステップと、パノラマであると共に仮想経路の位置に沿って空間的に索引付けされたビデオを特定されたアクションに基づいて仮想環境内の仮想経路に沿って生成するステップと、ユーザインターフェースを提供するステップと、ユーザインターフェースを介してビデオをディスプレイするステップと、を有する。
【００１６】
本発明は、本発明の種々の方法を実行するために、バーチャルリアリティ（仮想現実）のためのビデオの提供に使用可能なコントロールプログラムを転送するため、トランスポートプロトコルの使用も更に考慮に入れている。
【００１７】
本発明の第１の態様は、仮想環境である地図内での仮想経路に沿ったロケーションによって空間的に索引付けされたパノラマ画像である複数の画像を有し、かつ前記仮想環境である地図を表現するために用いるマップを有する空間データを保持するデータベースと、ビデオが表示される画像ディスプレイ、前記マップによる前記仮想環境である地図が表示されるマップディスプレイ、及びユーザからの前記マップディスプレイに表示された前記仮想環境である地図内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じて連続提示でレンダリングするアクションを示す指示を受け付けるための指示手段を有するユーザインターフェースと、前記アクションを受け付けた前記指示手段からの入力に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段であって、前記アクションに応じた前記ビデオを生成するために前記アクションに応じて前記データベースからリトリーブされると共に前記アクションに応じて序列付けされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて前記画像ディスプレイに前記移動に応じて複数の画像を連続提示でレンダリングして表示する前記ビデオを生成するビデオ表示手段と、を有する、ビデオシステムである。
【００１８】
本発明の第２の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるマップディスプレイを更に有する、本発明の第１の態様に記載のビデオシステムである。
【００１９】
本発明の第３の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるテキストディスプレイを更に有する、本発明の第２の態様に記載のビデオシステムである。
【００２０】
本発明の第４の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるオーディオデータを伝達するオーディオ出力を更に有する、本発明の第３の態様に記載のビデオシステムである。
【００２１】
本発明の第５の態様は、ビデオシステムは、スタンドアローンシステムである、本発明の第１の態様に記載のビデオシステムである。
【００２２】
本発明の第６の態様は、ビデオシステムは、サーバ上に配置され、ユーザインターフェースは、クライアントディスプレイプログラムとして実施される、本発明の第１の態様に記載のビデオシステムである。
【００２３】
本発明の第７の態様は、空間データがパノラマ画像、マップ、テキスト、オーディオシステム、及びハイパーテキストリンクの少なくとも一つである、本発明の第１の態様に記載のビデオシステムである。
【００２４】
本発明の第８の態様は、特定されたアクションが仮想動作に対する要求である、本発明の第１の態様に記載のビデオシステムである。
【００２５】
本発明の第９の態様は、仮想動作が、走行方向、停止、速度規定、ビューするオブジェクトのスナップ、ポジションアイコンのドラッグ、走行開始、及びパンの少なくとも一つである、本発明の第８の態様に記載のビデオシステムである。
【００２６】
本発明の第１０の態様は、特定のアクションが、キーボードコマンド、マウス、ノブ、ジョイスティック、ヘッドトラッキングデバイス、フローティングアロー、ペダル、ハイパーテキストリンク、及びコントローラの少なくとも一つを含む選択デバイスによって選択される、本発明の第８の態様に記載のビデオシステムである。
【００２７】
本発明の第１１の態様は、特定されたアクションがビデオを連続提示でレンダリングすることへの要求である、本発明の第１の態様に記載のビデオシステムである。
【００２８】
本発明の第１２の態様は、連続提示がガイドされた走行である、請求項１１に記載のビデオシステムである。
【００２９】
本発明の第１３の態様は、コントローラと、空間データとメタデータとを有するデータベースと、ユーザインターフェースと、特定のアクションに応答して生成されるユーザインターフェースにディスプレイされるビデオと、を有し、ユーザインターフェースが、データベースからリトリーブされる複数の画像を有するビデオをディスプレイする画像ディスプレイと、位置に関連付けられた空間データを図示するマップディスプレイと、位置に関連付けられた空間データを図示するテキストディスプレイと、位置に関連付けられたオーディオデータを運ぶオーディオ出力と、を含み、画像の各々が、パノラマであり、仮想環境内の仮想経路に沿った所定位置によって空間的に索引付けされている、ビデオシステムである。
【００３０】
本発明の第１４の態様は、仮想環境である地図内での仮想経路に沿ったロケーションによって空間的に索引付けされたパノラマ画像である複数の画像を有し、かつ前記仮想環境である地図を表現するために用いるマップを有する空間データを保持するデータベースと、ビデオが表示される画像ディスプレイ、前記マップによる前記仮想環境である地図が表示されるマップディスプレイ、及びユーザからの前記マップディスプレイに表示された前記仮想環境である地図内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じて連続提示でレンダリングするアクションを示す指示を受け付けるための指示手段を有するユーザインターフェースと、前記アクションを受け付けた前記指示手段からの入力に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段と、を有するビデオシステムの前記ビデオを生成するプログラムであって、コンピュータを、前記アクションに応じた前記ビデオを生成するために前記アクションに応じて前記データベースからリトリーブされると共に前記アクションに応じて序列付けされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて、前記画像ディスプレイに前記移動に応じて複数の画像を連続提示でレンダリングして表示する前記ビデオを生成するビデオ表示手段として機能させるための、ビデオシステム用のコンピュータプログラムである。
【００３１】
本発明の第１５の態様は、仮想経路に沿った位置に対応するマップをディスプレイするステップを更に有する、本発明の第１４の態様に記載のプログラムである。
【００３２】
本発明の第１６の態様は、仮想経路に沿った位置に対応する空間データを示すテキストをディスプレイするステップを更に有する、本発明の第１５の態様に記載のプログラムである。
【００３３】
本発明の第１７の態様は、仮想経路に沿った位置に関連付けられたオーディオデータを出力するステップを更に有する、本発明の第１６の態様に記載のプログラムである。
【００３４】
本発明の第１８の態様は、アクションを特定するステップが仮想動作を要求することを有する、本発明の第１４の態様に記載のプログラムである。
【００３５】
本発明の第１９の態様は、仮想環境内の仮想経路に沿ってアクションを特定するステップと、特定されたアクションに対応する要求を処理するステップと、ビデオを作成する、各々がパノラマであると共に仮想経路の位置に沿って空間的に索引付けされた複数の画像をリトリーブするステップと、ユーザインターフェースを提供するステップと、ビデオがディスプレイされる画像ディスプレイウィンドウと、ビデオに対応するマップがディスプレイされるマップディスプレイウィンドウと、を有するユーザインターフェースを提供するステップと、特定されたアクションに応答してユーザインターフェース上にビデオ及びマップをレンダリングするステップと、を有する、仮想現実のためのビデオを生成するプログラムである。
【００３９】
本発明の種々の特徴及び利点が記述されているが、その内容は、本発明によるシステム及び方法の様々な例示的な実施の形態の以下の詳細な記述からより明確に理解されるであろう。
【００４０】
以下に詳細に説明された本発明のシステム及び方法の種々の例示的な実施の形態は添付図面によってより詳細に理解されるであろう。
【００４１】
【発明の実施の形態】
バーチャルリアリティ（仮想現実）のための空間的に索引付けされたパノラマビデオを使用するシステムについては、２００１年９月３０日のＡＣＭマルチメディアコンファレンスにおける、Ｄｏｎ Ｋｉｍｂｅｒらに与えられた“ＦｌｙＡｂｏｕｔ: Ｓｐａｔｉａｌｌｙ Ｉｎｄｅｘｅｄ ｐａｎｏｒａｍｉｃ Ｖｉｄｅｏ”に開示されている、この開示内容全体が本明細書中に参照することによって組み込まれている。このシステムによれば、カメラを連続する経路に沿って、３６０°移動することによってパノラマビデオがキャプチャされ、再生されることによって、これらの軌跡に沿って移動する体験、そして興味深いオブジェクト又は方向をインタラクティブにビューする能力がユーザに与えられる。
【００４２】
本発明の種々の実施の形態によれば、空間的に索引付けされたパノラマビデオシステムが、フォトリアリスティック空間又は仮想環境における仮想経路に沿ったインタラクティブナビゲーションのために提供される。仮想環境でのユーザによる仮想移動は、空間的に索引付けされたパノラマビデオシステムによって、ディスプレイのための空間的に索引付けされたパノラマビデオを生成させる。空間的に索引付けされたパノラマビデオシステムは、仮想現実のモデルを生成しレンダリングするための経費を掛けずに仮想環境のイマーシブ（ｉｍｍｅｒｓｉｖｅ）及びインタラクティブなナビゲーションを提供する。空間的に索引付けされたパノラマビデオは、（ユーザが任意の方向を見るのを可能とする）パノラマにも空間的にも索引付けされていることによってビデオ再生がユーザの仮想動作によってコントロールされる。
【００４３】
この空間的に索引付けされたパノラマビデオシステムは、任意に設計されたパノラマカメラ又は広角レンズカメラからキャプチャされた記録されたパノラマビデオに基づいている。現在のパノラマカメラの設計は、広角レンズ、ミラー又は複数のカメラに基づいた設計を含む。パノラマ画像はよく知られた多数の異なる種類のカメラによって記録することができるので、これらのカメラについての説明は以下省略する。
【００４４】
図１は、空間的に索引付けされたパノラマビデオシステム１０の第１の実施の形態を概略的に示した図である。空間的に索引付けされたパノラマビデオシステム１０は、モーションエンジン２１、ユーザインターフェース３０、空間データを記憶するデータベース４０、及び種々のタイプのメタデータを記憶するデータベース５０を有する。ユーザインターフェース３０は空間的に索引付けされたパノラマビデオ６５（図２）をビューすることができるディスプレイデバイス７２に画像ディスプレイ６０を有する。ユーザインターフェース３０にマップディスプレイ７０及びテキストディスプレイ８０を任意に設けてもよい。オーディオも、空間的に索引付けされたパノラマビデオシステム１０の一部として設けられてもよい。画像ディスプレイ６０、マップディスプレイ７０及びテキストディスプレイ８０は、空間データ又はメタデータをディスプレイするためのビューワ実行ソフトウェアプリケーションとして具体化され得る。
【００４５】
第１の実施の形態において、空間的に索引付けされたパノラマビデオシステム１０の基本構造は、単一アドレススペースにおける一つのプログラムとして実施される。例えば、空間的に索引付けされたパノラマビデオシステム１０のコンテンツは、例えば、空間的に索引付けされたパノラマビデオシステム１０のソフトウェアが記憶されるＤＶＤのようなローカルハードドライブに、記憶される。
【００４６】
図２は、本発明の第１の実施の形態によるユーザインターフェース３０を示す。ユーザインターフェース３０は、画像ディスプレイ６０、マップディスプレイ７０、テキストディスプレイ８０、及びオーディオインジケータ９０を有する。空間的に索引付けされたパノラマビデオシステム１０のコンテンツは、例えば、空間的に索引され得るビデオ、マップ、テキスト、オーディオ、及び他の任意のデータ、を含む統合マルチメディアフォームとして提供され得る。
【００４７】
画像ディスプレイ６０は、空間的に索引付けされたパノラマビデオ６５をディスプレイする。空間的に索引付けされたパノラマビデオ６５は、システム１０のユーザによって指定されるアクション又は仮想動作に応答して生成される。空間的に索引付けされたパノラマビデオ６５は空間的に索引付けされた複数の画像６７を有する。画像６７はデータベース４０に記憶される。画像６７は、仮想環境７６において仮想経路７５に沿った所定の場所（ロケーション）に従って、パノラマ及び空間的に索引付けされる。例えば、一つの方法は、図２に示されるように、ウィンドウを介して実行される。画像ディスプレイ６０は、ユーザが（画像内に）実際に存在した場合に見る画像６７を示す。
【００４８】
ユーザインターフェース３０は、画像ディスプレイ６０、例えば、仮想環境７６における連続した仮想経路７５の二次元即ちマップ状の表示に対応した空間データをディスプレイするマップディスプレイ７０も有する。マップディスプレイ７０は、ポジションアイコン７７に仮想環境７６の現在ビューの方向で注視方向インジケータ７８を提供することができる。例えば、図２では、マップディスプレイ７０は、エメラルド湾（Ｅｍｅｒａｌｄ Ｂａｙ）の道路地図を示し、仮想パス７５は、「ルート８９」に沿って示されている。ポジションアイコン７７の注視方向インジケータ７８は北西方向にある。注視方向は、画像ディスプレイ６０内でユーザがビューする現在画像６７と一致している。
【００４９】
さらに、ユーザインターフェース３０は、テキストディスプレイ８０を有する。テキストディスプレイ８０は、画像ディスプレイ６０にディスプレイされた現在画像６７に対応している。空間的に索引付けされたパノラマビデオシステム１０に応じて、種々のタイプのテキストが使用され得る。ディスプレイされるテキストは、例えば、見出し８５又はタイトルの形態におけるような短いものであってもよいし、現在画像６７についての記述のような長いものであってもよい。或いは、テキストは、選択すれば、他のウェブページからもっと多くの情報が得られるハイパーテキストリンク８７であってもよい。テキストディスプレイ８０は、このようなフォームのテキストに限定されず、例えば、サムネイル画像、図形、及びオーディオなどの現在画像６７に関した記述を提供する、あらゆるタイプの情報をディスプレイすることができる。
【００５０】
一つ以上のテキストディスプレイを設けて、ディスプレイのうちのいずれか一つからユーザへ情報を供給することができる。仮想環境７６において空間的に索引付けされたパノラマビデオ６５の視点が移動するにつれて、テキストディスプレイ８０は更新されて、ユーザがビューしているオブジェクトに対応する更なる、より関連性の高いテキストを提供する。一方、テキストディスプレイ８０におけるハイパーテキストリンク８７は、仮想環境７６においてロケーション又は注視方向を変えるために使用され得る。例えば、ホテルやレストランを示す選択可能なアイコンのリストがディスプレイされ、アイコンの一つをクリックすることによって、仮想経路７５上のユーザのロケーションを選択されたホテル又はレストラン近くの仮想経路７５上の他のロケーションへ変更することができる。種々のアイコンは、対象となるオブジェクトへ、或いはその周辺への仮想経路７５に沿う仮想ツアーを含む、多数のオブジェクトに対して設けられてもよい。
【００５１】
空間的に索引付けされたパノラマビデオシステム１０の特筆すべき利点は、空間的に索引付けされたパノラマビデオ６５にハイパーテキストリンク８７を容易に付け加えられることである。視点とロケーションとが一般的に知られているので、空間データベースにおけるあらゆるオブジェクトに対する視点の範囲及び角度が決定され、ハイパーテキストリンク８７は、空間的に索引付けされたパノラマビデオシステム１０を自動的に注釈するために使用され得る。例えば、ハイパーテキストリンク８７は仮想環境７６におけるユーザの空間的ロケーションが対象となる特定なオブジェクトの一定の範囲内にあるときにディスプレイされ得る。或いは又は更に、テキストオーバーレイが、空間的に索引付けされたパノラマビデオ６５の適当な角度で配置され得る。従って、建物や山等のオブジェクトを通過するときは、更なるビデオ解析や処理を行わずに、オブジェクトの名前がオブジェクトの上又はそれに隣接したオーバーレイとしてディスプレイされる。
【００５２】
オーディオ出力は、空間的に索引付けされたパノラマビデオシステム１０における現在画像６７及び／又はオブジェクトに対応するように提供される。例えば、図２において、画像ディスプレイ６０にディスプレイされた景色は空間的に索引付けされたパノラマビデオ６５の現在画像６７の空間的ロケーションに対応するオーディオ出力によって記述されてもよい。また、ユーザが、方向マッピングソフトウェアによって、あるロケーションから他へ方向をインタラクティブにマッピングすることを所望する場合は、「右折してください」、「左折してください」、「まっすぐ１マイル進んでください」などの可聴オーディオのインストラクションによってユーザを方向付けるようにオーディオが提供されてもよい。更に、空間的に索引付けされたパノラマビデオ６５では対象となる特定のオブジェクトが特定の空間的ロケーションに現れた場合、オブジェクトを可聴的に記述するオーディオ出力が提供されてもよい。オーディオ伝送の使用は多種多様な状況で実施され得て上述の例に限定されるものではない。
【００５３】
更に又は或いは、ユーザインターフェース３０は、オーディオインジケータ９０を有する。ユーザは、オーディオインジケータ９０を選択することによって、空間的に索引付けされたパノラマビデオ６５にディスプレイされた現在画像７６を理解するのに役立つあらゆるタイプのオーディオナレーションが提供され得る。オーディオインジケータ９０から転送されたオーディオデータは、オブジェクト、ナレーション、音楽、又は空間的に索引付けされたパノラマビデオ６５の指定されたロケーションによって出力されるあらゆるタイプのオーディオ表示の記述を有する。
【００５４】
本発明の種々の実施の形態によれば、オーディオ表示は様々な方法で実施され得る。例えば、「プレイワンス（一回再生）」型のナレーション、「ループされた」オーディオ表示として実施される。このような例には、特定のロケーションまたはそのロケーション範囲に関連付けられており、ユーザがそのロケーション又はその領域にいるときに連続的に再生する環境サウンド（例えば、交通、滝、鳥の鳴き声）が含まれる。ロケーションから離れて移動することによって、例えば、現実においてそうであるように、距離の２乗の逆数に比例して、関連するオーディオを比例して消えさせることができる。一つのサウンドのロケーションよりも近いロケーションにおいて、ユーザには、それぞれの距離の２乗の逆数に比例したロケーションサウンドの混合したものが聞こえる。更に、オーディオ空間化技術は、特殊なオーディオソースが特殊な方向から発するように見えさせるように使用されてもよい。更に、オーディオ空間化技術は特別なオーディオソースが特別な方向から発するように思わせるために使用され得る。そこで、ユーザがビューの本当らしさを高めるために回転すると、見掛けのオーディオソース方向が回転され得る。例えば、ユーザがそのビューを回転させると、滝は最初に左手に次に右手に現れ、これにより、この滝に関連するオーディオは左から右へ空間化され得る。
【００５５】
再び図１によれば、二つのタイプのデータベースが空間的に索引付けされたパノラマビデオシステム１０に提供されている。データベース４０は空間データを記憶し、メタデータデータベース５０はメタデータを記憶する。空間データは、パノラマ画像、ビデオ、テキスト、マップ、図形表示、及び空間的に索引付けされ得る他の任意のタイプのデータを含むことができるが、これらに限定されない。空間データは、従来と同様、時間によってではなくロケーションによって索引付けされる。ロケーションによって空間的に索引付けされる空間データのいくつかの例は、緯度、経度、及び高度、ｘ−ｙ−ｚの空間座標、倉庫の並び及びアイル、道路の住所表示、建物内の部屋番号、及びロケーションによって索引付けされることが可能な既知の又は、今後、開発されるデータによって定義付けられるグローバルポジショニングサテライト（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｉｎｇ Ｓａｔｅｌｌｉｔｅ（ＧＰＳ））を含むが、これらに限定されない。
【００５６】
空間データデータベース４０及びメタデータデータベース５０は、別個のエレメントとして示されているが、空間データデータベース４０内の空間データとメタデータデータベース５０内のメタデータを結合して単一データベースにすることも本発明によって考慮されている。
【００５７】
メタデータは、例えば、任意の所定の瞬間での仮想環境７６内のｘ、ｙ、ｚ座標システムにおいて、カメラの空間ロケーション又は画像ディスプレイ６０上に示される現在画像６７、を記述するために使用される。空間的に索引付けされたパノラマビデオシステム１０に関連する少なくとも二つのカテゴリのメタデータがある。一つのカテゴリは、例えば、図４に示されるように、キャプション６８に関する。ロダンの彫刻（Ｒｏｄｉｎ Ｓｃｕｌｐｔｕｒｅｓ）と題されたキャプション６８はメタデータである。キャプション６８は、ユーザが特別な興味を示すかもしれないオブジェクトに関連付けられている。キャプション６８は、ユーザインターフェース３０にキャプションをディスプレイすることによって仮想環境７６に関してユーザをナビゲートするのに役立つ。キャプション６８は、ユーザが興味を示すオブジェトに隣接しているかその上にディスプレイされた関連テキスト又はハイパーテキストを含む種々の形態を取ることができるが、これらに限定されない。
【００５８】
メタデータは、既存の地図、空中写真、空間データベース、又は建物の平面図などの他の使用可能な画像からリトリーブすることもできる。ＧＰＳデータ又は同様の正確な空間データを用いて、カメラ経路の単純なマップをデータから直接レンダリングすることもできる。本発明の種々の実施の形態によれば、空間ロケーションデータは、ＧＰＳ緯度／経度の対で記憶される。
【００５９】
メタデータデータベース５０内に記憶された第２のカテゴリのメタデータはデータチュプル（組）である。例えば、カメラの経路は、形式（ｘ、ｙ、ａ、ｔ）（ｘ及びｙはカメラのロケーション、ａはカメラの配向角度、ｔは時間）のデータチュプルとして従来は表示されている。データチュプルは、空間的に索引付けされたパノラマビデオ６５の全ての画像に対して付与される。しかしながら、カメラモーションが比較的滑らかであると仮定した場合、チュプルの数はずっと少なくて済み、中間点でのカメラの位置及び配向を予測するために線形補間を使用することができる。
【００６０】
グローバルポジショニングサテライト（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｉｎｇ Ｓａｔｅｌｌｉｔｅ（ＧＰＳ））ユニットなどの空間センサは空間メタデータを自動的に生成するために使用されてもよい。空間メタデータを決定する種々の他のソースは、車両速度及び進行方向又は加速による無線ビーコン又は推測航法を有するが、これらに限定されない。或いは、空間メタデータは、例えば、知られているポイントから三角測量を用いてカメラ位置を決定するなどして、パノラマ画像の画像処理によって生成されてもよい。また、本発明は、地図、知られている経路、及び空間的に索引付けされたパノラマビデオ６５内の目に見えるランドマークを用いて、空間データを手動で生成することも考慮に入れている。
【００６１】
空間的に索引付けされたパノラマビデオシステム１０は、時間ではなく、空間によって索引付けされたパノラマ画像を記憶する。従来、ビデオ画像は、時間によって序列付けされ、モーションは、時間の進行に対応していた。しかしながら、現在画像６７は、モーションエンジン２１の制御下で、仮想環境７６内の仮想経路７５に沿った仮想動作を要求するユーザによって指定されるモーションに応答して序列付けされる。
【００６２】
図３は、空間的に索引付けされたパノラマビデオシステム１０によるモーションエンジン２１を概略的に示す図である。モーションエンジン２１は、プログラミングされた汎用コンピュータを用いて実施される。プログラミングされた汎用コンピュータは、ユーザが仮想環境７６内の仮想経路７５に沿って移動するときにユーザによって指定されるモーションを処理するようにプログラミングされて空間的に索引付けされたパノラマビデオ６５を生成することもできる。
【００６３】
図３に示されるように、モーションエンジン２１は、共通バス３８０によって相互接続された、コントローラ２０、メモリ３２０、入力インターフェース３５０、少なくとも一つの入力デバイス２１０、ディスプレイインターフェース３７０、及びディスプレイデバイス７２を有する。モーションエンジン２１は、空間データ及びメタデータを受け取るためのデータベース４０及びメタデータデータベースユニット５０のそれぞれに接続されている。
【００６４】
メモリ３２０は、スタティックＲＡＭ、ダイナミックＲＡＭ、又はフラッシュメモリを含む可変ランダムアクセスメモリであってもよい。メモリ３２０は、コントローラ２０によって実行されるプログラムの一つ以上によって使用されるシステムの変数及びデータを記憶するために使用される。メモリ３２０は、例えば、インターネットなどの通信リンク３０５によってアクセス可能なサーバ上のフロッピィ（商標）ディスク及びディスクドライブ、書込み可能な光ディスク及びディスクドライブ、ハードドライブ、フラッシュメモリ、遠隔記憶メモリなどの任意の不揮発性のメモリであってもよい。メモリ３２０は、コントローラ２０によって実行されるプログラムのいずれかによって現在は未使用であるがやがては使用される空間データなどの任意のデータを記憶して、空間的に索引付けされたパノラマビデオシステム１０のソフトウェアアプリケーションを生成することもできる。
【００６５】
入力インターフェース３５０は、入力デバイス２１０をモーションエンジン２１と接続させる。ユーザは、入力デバイス２１０の少なくとも一つによってアクションを入力してもよい。一般に、入力デバイス２１０は、空間的に索引付けされたパノラマビデオシステム１０に選択を生じさせることが可能な任意のデバイス又はモードを有していてもよい。例えば、入力デバイス２１０は、カーソルをドラッグ及びクリックしてオブジェクトなどを選択するためのアイコン、マウス、トラックボール、タッチパッド、キーボード、及びペン型デバイスなどを有していてもよいが、これらに限定されない。入力デバイスはまた、ジョイスティック、ゲームコントローラ（例えば、ステアリングホイール、アクセル／ブレーキペダル）、及びゲーム及び／又は他のアプリケーションを駆動するために専用の他のコントローラを有していてもよい。入力インターフェース３５０は、これらの入力デバイスの二つ以上、例えば、マウス及びキーボードを、モーションエンジン２１と接続させるために使用されてもよい。従って、入力インターフェース３５０は、一つの物理的なデバイス又は二つ以上の別個のデバイスであってもよい。
【００６６】
ディスプレイインターフェース３７０は、ディスプレイデバイス７２をモーションエンジン２１のコントローラ２０と接続させる。ディスプレイインターフェース３７０は、ビデオカードなどの任意の知られているデバイスであってもよいし、ディスプレイデバイスからのデータをコントローラへ伝達することができる任意のこれから開発されるデバイスであってもよい。ディスプレイインターフェース３７０は、一般にそれ自体のメモリを有し、コントローラ２０によって生成されるディスプレイ信号から、ディスプレイ駆動信号を生成し、ディスプレイデバイス７２へ供給するために使用される。
【００６７】
モーションエンジン２１は、サーバプッシュ中、及び遠隔サーバへアクセスするために、搬送波が伝達されるようなアプリケーションのための通信リンク３０５を備えていてもよい。或いは、モーションエンジン２１の通信リンク３０５は、クライアント−プルシステムとして実施される空間的に索引付けされたパノラマビデオシステム１０に応答して搬送波が伝達されるようなところに用いられてもよい。
【００６８】
本発明の種々の実施の形態によれば、空間的に索引付けされたパノラマビデオ６５は、ユーザが要求する仮想動作から指定されたモーションに応答して生成される。さまざまなアクションがユーザによって指定され得る。図２を再び参照すると、アクションは、マウス、キーパッド、ボタン、ユーザインターフェース３０上のアイコン、テーブル、ドロップダウンテーブル、ノブなどの入力デバイス２１０、音声起動、又はアクションを特定するための任意の他の方法を用いた様々な方法、を使用することによって要求され得るが、これらに限定されない。
【００６９】
本実施の形態によれば、ユーザインターフェース３０は、仮想経路７５に沿った仮想環境７６において仮想動作を実行するためにモーションを生成するための入力デバイス２１０を備えている。種々の仮想動作要求は、停止（Ｓｔｏｐ）２２０、前方駆動（Ｆｏｒｗａｒｄ）２２５、後方駆動（Ｂａｃｋｗａｒｄ）２３０、早い運転（Ｆａｓｔｅｒ）２３５、ゆっくり運転（Ｓｌｏｗｅｒ）２４０、及び運転停止（Ｓｔｏｐ）２４５を有する入力デバイス２１０によって示されるように、空間的に索引付けされたパノラマビデオ６５上で実行され得るが、これらに限定されない。また、画像を水平及び垂直方向へパンするために、時計回りパン（ＣＷ）２５０、反時計回りパン（ＣＣＷ）２５５、及びパン停止２６０を有する更なる入力デバイス２１０が設けられてもよいが、これらに限定されない。更なるアクションには、例えば、速度設定、ビデオ位置設定、特定位置への移動、現在位置の確保、注視方向設定、視界設定、又は空間的に索引付けされたパノラマビデオシステム１０において仮想動作を指定するために適した任意の他のアクションが含まれていてもよい。
【００７０】
例えば、空間的に索引付けされたパノラマビデオシステム１０がビデオの速度又は位置を制御するために使用されるとき、速度１はビデオが正常な速度で再生されていることを示すことができる。他の速度は、巻き戻し、スローモーションからなるリアルタイムの倍数、又は選択可能な速度でのその逆（先送りや早回し）を提供するために使用され得る。ユーザインターフェース３０はズームの視界方向や角度における変化を許容することもできる。
【００７１】
例示的な実施の形態の作用において、モーションエンジン２１は、データベース４０に記憶されたパノラマ画像、マップ、テキスト、及びオーディオをメタデータデータベース５０に記憶されたメタデータと相互に関連付けることによって、画像ディスプレイ６０内の空間的に索引付けされたパノラマビデオ６５、マップディスプレイ７０内のマップ、テキストディスプレイ８０内のテキスト、空間的に索引付けされたパノラマビデオシステム１０のユーザによって選択されたアクションに基づいてユーザインターフェース３０へのオーディオ出力を、レンダリングする。特定されたアクションは、空間的に索引付けされたパノラマビデオシステム１０の仮想環境７６内の仮想経路７５に沿ってユーザが作成したいとする仮想動作を定義付ける。ユーザによって選択されたモーションに基づいて、データベース４０からの複数の画像とメタデータデータベース５０からの対応するメタデータとをリトリーブするように要求されることによって、空間的に索引付けされたパノラマビデオ６５が生成される。この要求が処理され、モーションエンジン２１内のコントローラ２０によって画像がリトリーブされ、処理された後、ユーザインターフェース３０上の画像ディスプレイ６０内に空間的に索引付けされたパノラマビデオ６５がレンダリングされる。
【００７２】
所与の速度で仮想経路７５に沿った入力デバイス２１０の少なくとも一つを選択することによって、例えば、「前方へ進む」ようにモーションが指定された場合、モーションエンジン２１は、仮想ナビゲーションをコントロールするためにパラメータを指定する。モーションエンジン２１によって他の様々な特徴もコントロールされ得る。例えば、モーションエンジン２１は、好ましい方向を示すと共に仮想環境７６において交差点に到達した時にどの方向へ走行すべきかを決定することができる。モーションエンジン２１は、「デフォルトルール」を課すことができ、即ち、好ましいとされる方向に最も近い方向に進行する。モーションエンジン２１は、好ましいとされる方向が仮想経路７５に沿った「前方」方向に合うように更新されるモード又は方向を指定してもよい。このモーションは、常に「できるだけまっすぐ」であり、交差点が近づいた時、選択される方向は、交差点に近づく前に走行した仮想経路７５の方向にできるだけ近い方向である。
【００７３】
図４は、同様の参照符号が図２の同様のエレメントに対応している他の例示的なユーザインターフェース３０を示す。ユーザインターフェース３０は、画像ディスプレイ６０及びマップディスプレイ７０を含む。画像ディスプレイ６０は、空間的に索引付けされたパノラマビデオ６５をディスプレイする。空間的に索引付けされたパノラマビデオ６５は、データベース４０からリトリーブされた複数の画像６７を有する。各画像６７は、仮想環境７６における仮想経路７５に沿った所定の位置に応じてパノラマ及び空間的に索引付けされている。
【００７４】
本発明の種々の例示的な実施の形態において、現在画像６７によって示されるように注視方向を指定するための注視方向インジケータ７８を有するポジションアイコン７７が提供される。図３及び図４において、ポジションアイコン７７はフローティングアローとして示されている。ポジションアイコン７７は、種々のモード、例えば、ノブ、マウスの水平モーション、左から右またその逆に、好ましいとされる方向へ変更するためにキーを押下すること、ポジションアイコン７７を回転することによって、例えば、ポジションアイコンをクリックして左から右へ回転させることによって注視方向を変更すること、又はモーションをコントロールする他の任意の方法によってコントロールされ得る。
【００７５】
仮想環境７６を介したナビゲーションは、仮想環境７６内の仮想経路７５に沿って交差点に出会った時に好ましいとされる方向としての注視方向に基づいて行われてもよい。他のナビゲーションモードは、モーションの現在方向を好ましいとされる方向として使用する。この場合、仮想環境７６内の仮想経路７５の交差点に至った時に、空間的に索引付けされたパノラマビデオシステム１０は「できるだけ真直ぐ」な方向に向かうように設計されてもよい。これは、空間的に索引付けされたパノラマビデオシステム１０が、モーションが連続的に仮想経路７５に沿って進む「ハンドオフ走行」として実行されるときに有用である。或いは、例えば、走行距離を短縮するため、又はユーザが仮想経路７５の特別なセグメントをビューするのを確実とするために、交差点の選択を空間的に索引付けされたパノラマビデオシステム１０内の全ての交差点で前もって記録しておくことができるし、また、任意の地点で好ましいとされる方向がセットされてもよい。
【００７６】
例えば、ポジショニングアイコン７７及び／又はボタン２５０、２２５、及び２６０を用いて注視方向をコントロールすることに加えて、ユーザは、他の入力デバイス２１０によってでもモーションをコントロールすることができる。仮想環境７６における任意の所与の仮想経路７５上で、ユーザは、二つの方向のいずれかに移動してもよいし、マウス、ジョイスティック、ボタン２２０，２３５，２４５又はペダルなどの少なくとも一つの入力デバイス２１０を用いて、モーションの速度をコントロールしてもよい。いくつかの仮想経路７５が結合する交差点に、仮想経路に沿ったモーションが、視点位置を移動してきた時、ユーザはそれらが取るいくつかの仮想経路７５のどれかを指し示すことができる。方向の選択があるときに起動される「左、右、真直ぐ」ボタンなどのモーションを選択するための多種多様な例示的なインターフェースが可能である。
【００７７】
ユーザは、例えば、ボタン２２５及び２３０を用いて、注視方向とは無関係にモーションの好ましいとされる方向をコントロールしてもよい。このようにして、空間的に索引付けされたパノラマビデオシステム１０によって、ユーザが、特定の方向というよりはむしろ、見るオブジェクト又はロケーションを指定することを可能とする。図４において、例えば、ユーザが見たいとする選択されたオブジェクトとして「ロダンの彫刻」６８を指定するために「ロダンの彫刻」６８へスナップすることができる。ユーザが仮想環境７６内の仮想経路７５周辺を移動する時、ユーザの視点は、選択されたオブジェクトに固定されたままである。これによって任意の位置からオブジェクトをビューすることが簡単になる。複数の方向から単一のオブジェクトのビューを提供する従来の「オブジェクトムービー」は、空間的に索引付けされたパノラマビデオシステム１０のように、人がオブジェクト以外の方向で見ることを可能としない。更に、一つより多くのオブジェクトの周辺をナビゲートするためのディスプレイ画像にディスプレイされ得る経路セグメント７３を提供することが望ましい。これは、例えば、ｅ−コマースのような自動車販売区域において特に有用である。車がグリッド（格子）状に並べられている場合、全てのグリッドの境界線に沿って空間的に索引付けされたパノラマビデオ６５をキャプチャすることによって、空間的に索引付けされたパノラマビデオシステム１０に任意の車のビューを任意の角度から自動的に生成させることができる。
【００７８】
本発明の種々の実施の形態によれば、ユーザは、仮想環境７６内の仮想経路７５に沿って使用可能なナビゲートできる選択又はモードをユーザに認識させる可視キューを与えられる。
【００７９】
有用な機能は、注視する特定の方向及び走行する特定の方向をユーザが要求するのを可能とすることである。多くの場合、視点から明白となり得る。例えば、コンテンツが仮想道路又は明確な仮想経路７５に沿って集められた場合、ユーザにとって他の仮想経路７５上のどこで曲がればよいのか、又はユーザが単一の仮想経路７５に制限されるべきなのかをユーザにはっきり示さなければならない。しかしながら、可視キューのないところでは、どの仮想経路７５が使用可能なのかが明らかではない。また、仮想環境７６内の道路又はドライブウェイに沿って集められた空間的に索引付けされたパノラマビデオのフィート数によっては、いくつかのわき道やドライブウェイにアクセスできないこともある。これらの状況においては、図４に示されるように、例えば、マップディスプレイ７０を調べることによってユーザは彼の選択範囲を広げることができる。しかしながら、マップを調べることは負担になるし、没頭して注意が散漫になる。この状況では、フローティングアロー６９などの可視キューが航行可能な選択によってユーザに注意を促すことができる。或いは、マップディスプレイ７０の小さな経路セグメント７３は、ユーザの現在の注視方向に対して方向付けられ、おそらく、ユーザの視界をシミュレートするための注視方向インジケータ７８によって、画像ディスプレイ６０内に示される。図４は、画像ディスプレイ６０の右下のコーナーにこの特徴を示している。
【００８０】
ユーザインターフェース３０を強調するために着色してもよい。例えば、仮想環境７６内の仮想経路７５は、仮想環境７６から仮想経路７５を識別するために着色されてもよい。また、ユーザインターフェース３０内の任意のオブジェクトが、空間的に索引付けされたパノラマビデオシステム１０の仮想環境７６を理解するときのユーザを援助するために着色されてもよい。
【００８１】
“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ ｔｏｕｒ（私をそこへ連れてって走行）”は空間的に索引付けされたパノラマビデオシステム１０におけるナビケーションのための他の例示的な使用法である。“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ ｔｏｕｒ”において、システム１０は、ユーザのアクションによって指定された目的地への走行を自動的に生成する。例えば、ユーザは最初と最後の目的地を入力してもよい。“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ ｔｏｕｒ”が、仮想環境７６内の仮想経路７５に沿って最初の目的地から最後の目的地までユーザをナビゲートする。或いは、ユーザは最後の目的地のみを入力してもよい。要求された時点でディスプレイされた現在視点から最後の目的地まで進行することができる。
【００８２】
仮想環境７６内の仮想経路７５上のロケーションから移動するための他の例示的なモードは、例えば、図２に示されるように、サーチボックス６３によるモードである。特別なサーチクエリー（Ｓｅａｒｃｈ ｑｕｅｒｙ）をサーチボックス（Ｓｅａｒｃｈ ｂｏｘ）６３内へ入力することによって一つのロケーションから他のロケーションまで移動させて、最終目的地をリトリーブすることができる。
【００８３】
本発明によって使用される他のナビゲーションモードは、自動生成される仮想案内走行である。例えば、ウェブ−ベースのマップサービスは、所与のルート又は仮想経路７５に沿って運転することがどのような感じなのかを示す空間的に索引付けされたパノラマビデオシステム１０の形態でのマップ又はテキストによる運転命令に代わるものを提供することができる。
【００８４】
図５及び図６は、空間的に索引付けされたパノラマビデオシステム１０のための例示的な方法を示す。
【００８５】
示されているように、コントロールルーチンはステップ６００から開始される。コントロールルーチンはステップ６１０まで進む。
【００８６】
ステップ６１０において、コントロールルーチンは、空間的に索引付けされたパノラマビデオを生成すべきアクションが要求されたか又はユーザによって指定されたかを判断する。空間的に索引付けされたパノラマビデオシステムのアクションは、仮想環境内の仮想経路上でのユーザの空間ロケーション又は位置に基づく。アクションが要求された場合、コントロールルーチンは、ステップ６２０へ進む。アクションは、ボタン、ユーザインターフェース上のアイコン、ハイパーリンクなどによって、カーソルを移動して、ユーザインターフェースの部分を選択し、サーチクエリーを入力し、上述の入力デバイスのいずれか一つを用いてユーザインターフェースの種々の部分上にオーバーレイされたテキストを選択し、及び他の任意の知られている、又は今後、開発される選択を提供する方法などの多種多様な方法で要求され得るが、これに限定されない。ステップ６１０で、アクションが要求されなかった場合、コントロールルーチンは、ステップ６１０を繰り返す。
【００８７】
ステップ６２０において、要求がモーションエンジン内のコントローラへ送られる。
【００８８】
ステップ６３０において、要求が処理され、空間的に索引付けされたパノラマビデオを生成するためのこの要求に対応する空間データがデータベース及びメタデータデータベースのそれぞれからリトリーブされる。図６は、後述するように、この要求を処理する局面を非常に詳細に示している。コントロールルーチンは続いてステップ６４０へ進む。
【００８９】
ステップ６４０において、コントローラによって空間的に索引付けされたパノラマビデオを生成するための要求に対応する空間データが編集され、ユーザインターフェース上にレンダリングされる。コントロールルーチンは次にステップ６１０に戻り、他のアクションがユーザによって生成されたかを判断する。
【００９０】
図６は、空間的に索引付けされたパノラマビデオを生成するための要求に対応するデータベースから空間データを要求するプロセスを示す。示されているように、ステップ６２０ではじまり、コントロールルーチンはステップ６２１へ続く。
【００９１】
ステップ６２１において、コントロールルーチンは、データベースから画像をリトリーブし、アクションの空間ロケーションに対応するメタデータデータベースからメタデータをリトリーブし、空間データをユーザインターフェース３０へ送る。画像はパノラマであり、空間的に索引付けされたパノラマビデオ内の空間ロケーション又は位置に対応するように空間的に索引付けされる。リトリーブされる画像は、「停止」運転リクエストが要求された場合にはほとんど一つに限られる。或いは、加速された速度で「前方へ進め」運転リクエストが要求された場合は、多数の画像がコントローラによって要求されると捉えられ、空間的に索引付けされたパノラマビデオ内で高速で走行することの効果を発揮するように編集される。更に、図４に示されるように、現在画像は、フローティングアローやキャプションなどの可視キューの形態でメタデータを含むこともでき、ユーザに、使用可能なナビゲーション選択に対する注意を促す。即ち、ユーザに詳細を報知するために、オーバーレイされたテキスト、又は，ユーザがテキストを選択した場合は、ユーザが取り得る更なるアクションに対する注意を促す。コントロールルーチンは引き続きステップ６２３へ進む。
【００９２】
ステップ６２３において、コントロールルーチンはアクションの空間ロケーションに対応するデータベースからマップをリトリーブし、このマップを空間データとしてユーザインターフェース３０へ送る。図２及び図４に示されるように、マップディスプレイも、フローティングアローなどの可視キューの形態で空間データを含むこともでき、ユーザに対して、ユーザによって要求されたナビゲーション選択に対する注意を促す。コントロールルーチンは引き続きステップ６２５へ進む。
【００９３】
ステップ６２５において、コントロールルーチンは、アクションの空間ロケーションに対応するデータベースからテキストをリトリーブし、このテキストを空間データとしてユーザインターフェース３０へ送る。再度、図２を参照すると、テキストは、画像ディスプレイ、又はマップディスプレイへオーバーレイされたテキスト、若しくは、画像ディスプレイ内の空間的に索引付けされたパノラマビデオの現在画像をユーザが理解するのを可能にするときに役立つ任意の他のタイプのテキストとしてのヘッディング、記述、ハイパーテキストリンクとして図示されてもよい。コントロールルーチンは引き続きステップ６２７へ進む。
【００９４】
ステップ６２７において、コントロールルーチンは、アクションの空間ロケーションに対応するデータベースからオーディオをリトリーブし、このオーディオを空間的にタグ付けされたオーディオデータとしてユーザインターフェース３０へ送る。オーディオは、画像ディスプレイ内に示される画像についてのナレーション、歌、又は、ユーザが空間的に索引付けされたパノラマビデオシステムを方向ディスプレイソフトウェアと組み合わせて使用する場合などに所望されるロケーションへの方向のセットを含むが、これに限定されない任意数のオーディオセグメントを提供する。コントロールルーチンは引き続きステップ６２８へ進む。
【００９５】
ステップ６２８において、コントロールルーチンは、アクションの空間ロケーションに対応するメタデータデータベースからメタデータをリトリーブし、このデータをユーザインターフェース３０へ送る。コントロールルーチンは引き続きステップ６２９へ進み、そこでステップ６４０へ戻る。
【００９６】
図７は、ネットワークシステムとして実施される空間的に索引付けされたパノラマビデオシステム５１０の第２の実施の形態を示す。この空間的に索引付けされたパノラマビデオシステムは、機能的には、第１の実施の形態における空間的に索引付けされたパノラマビデオシステム１０と同様に動作する。しかしながら、この第２の実施の形態においては、空間的に索引付けされたパノラマビデオシステム５１０は、ブラウザ５０３として実施され、サーバプッシュ、或いは、例えば、ストリーミングメディアプレーヤーによって更新される画像からなる。
【００９７】
図７は、空間的に索引付けされたパノラマビデオシステム５１０を例示的に表示したものである。空間的に索引付けされたパノラマビデオシステム５１０は、クライアントコンピュータ５０４上に位置指定され、例えば、インターネットを介して転送する通信リンク３０５を介してサーバ５０１及びＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ５０１に接続されたクライアントディスプレイプログラム５０３を有する。クライアントディスプレイプログラム５０３内には、画像ディスプレイ５６０、マップディスプレイ５７０、テキストディスプレイ５８０、及びオーディオ出力５９０が設けられている。入力インターフェース５３０は複数の入力デバイス２１０からアクションを受け取り、空間的に索引付けされたパノラマビデオ６５を生成する。サーバ５０１は、モーションエンジン５２０、空間データを記憶するデータベース５４０、及びメタデータを記憶するメタデータデータベース５５０を有する。
【００９８】
この例示的な実施の形態において、画像ディスプレイ５６０は、搬送波を介してサーバプッシュによって更新され得る、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）画像である。これに代わって、ストリーミング・ビデオフォーマットが使用されてもよい。しかしながら、待ち時間がディスプレイインターフェース５３０内のインタラクティビティの意義を損なわないようにバッファリングは十分に小さく保たなければならない。マップディスプレイ５７０はインタラクティブであり、例えば、Ｊａｖａ（登録商標）ａｐｐｌｅｔとして実施され得る。シンプルＨＴＴＰベースのコントロールプロトコルは、モーションエンジン５２０をコントロールするために使用され得る。モーションエンジン５２０は、特別なコントロールＵＲＬ(Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ ｌｏｃａｔｉｏｎ) を用いてＨＴＴＰ ＧＥＴ要求をサーバ５０１、５０２へ送ることによってコントロールされ、これにより、ＨＴＭＬページのリンクからのＪａｖａ（登録商標）ａｐｐｌｅｔによるコントロール、又は、ＨＴＴＰ要求を生成することができる任意の他のデバイス又はシステムによるコントロールが可能となる。
【００９９】
図８は、空間的に索引付けされたパノラマビデオシステム５１０の第２の実施の形態による他の例として示されたユーザインターフェース７３０を示す。
【０１００】
種々の他の実施の形態が本発明の範囲を逸脱するものではない。例えば、空間的に索引付けされたパノラマビデオ６５は、テレビジョン又は投影ディスプレイ上で提供されてもよい。空間的に索引付けされたパノラマビデオ６５のフィート数は、通り又は道路に沿って測られるので、図２及び図８に示されるメタファーのように車内にいるというメタファーが使用されてもよい。或いは、車の異なるウィンドウから人（ユーザ）が期待するビューを提示するために複数の物理的なディスプレイが使用されてもよい。
【０１０１】
ヘッド・マウント・ディスプレイも、より深い体験のために使用されてもよい。このような実施の形態において、ヘッドトラッキングは注視方向を決定するために検知されてもよく、これによって、空間的に索引付けされたパノラマビデオ６５はユーザの頭部位置に応じて変更される。
【０１０２】
本発明による空間的に索引付けされたパノラマビデオシステムは、例えば、不動産業などにおいては多数の利用可能な使用法がある。固定位置のパノラマビューは従来家や地所をウェブ上で示すために使用されるが、本発明による空間的に索引付けされたパノラマビデオシステムは、可能性のある買い手が多数の固定位置から家を見るだけでなく、バーチャルに家の中を歩くことも可能とする。また、本発明による空間的に索引付けされたパノラマビデオシステムは町や近所をナビゲートするために使用され、ユーザは、家の中を歩いたり外を歩き回る前に家までのドライブをバーチャルに体験する。
【０１０３】
本発明による空間的に索引付けされたパノラマビデオシステムのほかの利用法は旅行業界で見られる。ユーザは、ハワイ、ワイキキなどのリゾート地域をバーチャルに運転することができ、どのホテルが最も望ましい位置や眺望を有するかを決定することができる。これによって、ユーザは、特別なロケーションにいることが実際どういう感じなのかということのより良い感覚をユーザに付与することができる。
【０１０４】
更に、本発明による空間的に索引付けされたパノラマビデオシステムは、例えば、高級車のショールームにような商品のバーチャルなショールームをユーザが見て回ることを可能とするｅ−コマースのために使用され得る。空間的に索引付けされたパノラマビデオシステムを車などのオブジェクトに対して方向付けることによって、オブジェクトのレイアウトやナビゲーションを気にせずに特別なオブジェクトをクリックすることができる。
【０１０５】
異なるレベルの詳細が本発明による空間的に索引付けされたパノラマビデオシステムのコンテンツに対して統合されている。例えば、ラスベガスストリップの空間的に索引付けされたパノラマビデオが通りや側道に沿った仮想経路によって生成することができる。これは、特定のリゾートに対する詳細なコンテンツがなくてもユーザにとって有用である。なぜならば、ユーザはあちこち動き回ることができ、施設を外側から見ることができるためである。この空間的に索引付けされたパノラマビデオシステムは、施設をクリックすることによってウェブページや他のデータを呼び出す方法で、ホテルの予約システム又は他の付加価値のあるサービスにリンクされてもよい。更なる素材によってユーザは特別な施設の中又はそれらの構内付近を歩くことが可能となる。
【０１０６】
本発明の空間的に索引付けされたパノラマビデオシステムの用途は、多数あり、娯楽、教育、グランドキャニオン、アルプス、又はタージマハールのような名所旧跡などを含むことができるが、これらに限定されない。
【０１０７】
本発明による空間的に索引付けされたパノラマビデオシステムのためのシステム及び方法は、プログラムされた汎用コンピュータ上で実施され得る。しかしながら、本発明による空間的に索引付けされたパノラマビデオシステムのためのシステム及び方法は、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロ・コントローラ、及び周辺集積回路エレメント、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）又は他の集積回路、ディジタル信号プロセッサ、ディスクリートエレメント回路などのハードワイヤード電子又はロジック回路、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＬＡ（ｐｒｏｇｒａｍｍｅｄ ｌｏｇｉｃ ａｒｒａｙ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、又はＰＡＬ（ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ ｌｏｇｉｃ）などのプログラム可能ロジックデバイス等で実施されてもよい。一般に、図５及び図６に示されたフローチャートを実施することを可能とする有限状態マシンを実施することが可能な任意のデバイスが、本発明のシステム及び方法を実施するために使用され得る。
【０１０８】
図１、図３及び図７に示された種々のブロックが適切にプログラミングされた汎用コンピュータの部分として実施され得る。或いは、図１、図３及び図７に示された種々のブロックは、ＡＳＩＣ内の物理的に別個のハードウェア回路として又はＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬを用いて、又はディスクリートロジックエレメント又はディスクリート回路エレメントを用いて実施され得る。図１、図３及び図７に示されたブロックの各々が取る特別な形態は設計上の選択であり、当業者にとって明白であり予測可能なものである。
【０１０９】
図３に示されているように、メモリ３２０は、可変、揮発性又は不揮発性のメモリ、又は変更不能若しくは固定されたメモリを任意に適当に組み合わせたものを用いて実施され得る。可変メモリは、揮発性又は不揮発性のいずれでもよく、スタティック又はダイナミックＲＡＭ、フロッピィ（商標）ディスク及びディスクドライブ、書込み可能又は書換え可能な光ディスク及びディクスドライブ、ハードドライブ、フラッシュメモリなどの任意の一つ以上を用いることによって実施され得る。同様に、変更不可能又は固定メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭディスクなどの光ＲＯＭディスク、及びディスクドライブなどの任意の一つ以上を用いて実施されていもよい。
【０１１０】
図３及び図７に示されるように、リンク３０５は、空間的に索引付けされたパノラマビデオシステム１０の構成要素を接続するための任意の知られている又は今後、開発されるデバイスであってもよい。空間的に索引付けされたパノラマビデオシステム１０は、直接ケーブル接続、ワイドエリアネットワーク又はローカルエリアネットワークを介した接続、イントラネットを介した接続、インターネットを介した接続、又は任意の他の分散処理ネットワーク又はシステムを介した接続の一つ以上を含んでいてもよい。概して、通信リンク３０５は、任意の知られている、又は今後、開発される接続システムであってもよい。
【０１１１】
また、通信リンク３０５は、ネットワークにワイヤード又はワイヤレスでリンクされ得ることを理解されたい。ネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、イントラネット、インターネット、又は任意の他の分散処理及び記憶ネットワークであってもよい。
【０１１２】
本発明は、概略的に上述された例示的な実施の形態に関して説明されてきたが、当業者にとって多数の変形、改良及び変更が明白であることが明らかである。従って、本発明の例示的な実施の形態は、説明のみを目的としており、これらに限定されるものではない。本発明の精神及び範囲を逸脱することなく種々の変更が行われてもよい。
【図面の簡単な説明】
【図１】本発明による空間的に索引付けされたパノラマビデオシステムの第１の実施の形態を示す略図である。
【図２】本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムのユーザインターフェースを示す図である。
【図３】本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムのモーションエンジンを示す略図である。
【図４】本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムの他のユーザインターフェースを示す略図である。
【図５】本発明による空間的に索引付けされたパノラマビデオシステムのための例示的なプロセスを示すフローチャートである。
【図６】本発明による空間的に索引付けされたパノラマビデオシステムのための例示的なプロセスを示すフローチャートである。
【図７】本発明による空間的に索引付けされたパノラマビデオシステムの第２の実施の形態を示す略図である。
【図８】本発明の第２の実施の形態による空間的に索引付けされたパノラマビデオシステムのユーザインターフェースを示す略図である。
【符号の説明】
１０：パノラマビデオシステム
２１：モーションエンジン
３０：ユーザインターフェース
４０：データベース
５０：データベース
６０：画像ディスプレイ
６５：空間的に索引付けされたパノラマビデオ
７０：マップディスプレイ
７２：ディスプレイデバイス
８０：テキストディスプレイ
Claims (10)
- 仮想環境である地図内での仮想経路に沿ったロケーションによって空間的に索引付けされたパノラマ画像である複数の画像を有し、かつ前記仮想環境である地図を表現するために用いるマップを有する空間データを保持するデータベースと、
ビデオが表示される画像ディスプレイ、前記マップによる前記仮想環境である地図が表示されるマップディスプレイ、及びユーザからの前記マップディスプレイに表示された前記仮想環境である地図内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じて連続提示でレンダリングするアクションを示す指示を受け付けるための指示手段を有するユーザインターフェースと、
前記アクションを受け付けた前記指示手段からの入力に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段であって、前記アクションに応じた前記ビデオを生成するために前記アクションに応じて前記データベースからリトリーブされると共に前記アクションに応じて序列付けされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて前記画像ディスプレイに前記移動に応じて複数の画像を連続提示でレンダリングして表示する前記ビデオを生成するビデオ表示手段と、
を有する、ビデオシステム。 - 前記データベースに保持される前記空間データがパノラマ画像と、マップ、テキスト、オーディオシステム、及びハイパーテキストリンクの少なくとも一つである、請求項１に記載のビデオシステム。
- 前記アクションが仮想動作に対応付けられており、前記指示が前記仮想動作を要求するものである、請求項１または請求項２に記載のビデオシステム。
- 前記仮想動作が、走行方向、停止、速度規定、ビューするオブジェクトのスナップ、ポジションアイコンのドラッグにより表される移動、走行開始、及びパンの少なくとも一つである、請求項３に記載のビデオシステム。
- 前記連続提示が目的地までの走行をガイドするものである、請求項１〜請求項４のいずれか１項に記載のビデオシステム。
- 仮想環境である地図内での仮想経路に沿ったロケーションによって空間的に索引付けされたパノラマ画像である複数の画像を有し、かつ前記仮想環境である地図を表現するために用いるマップを有する空間データを保持するデータベースと、
ビデオが表示される画像ディスプレイ、前記マップによる前記仮想環境である地図が表示されるマップディスプレイ、及びユーザからの前記マップディスプレイに表示された前記仮想環境である地図内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じて連続提示でレンダリングするアクションを示す指示を受け付けるための指示手段を有するユーザインターフェースと、
前記アクションを受け付けた前記指示手段からの入力に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段と、
を有するビデオシステムの前記ビデオを生成するプログラムであって、
コンピュータを、
前記アクションに応じた前記ビデオを生成するために前記アクションに応じて前記データベースからリトリーブされると共に前記アクションに応じて序列付けされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて、前記画像ディスプレイに前記移動に応じて複数の画像を連続提示でレンダリングして表示する前記ビデオを生成するビデオ表示手段として機能させるための、ビデオシステム用のコンピュータプログラム。 - 前記データベースに保持される前記空間データがパノラマ画像と、マップ、テキスト、オーディオシステム、及びハイパーテキストリンクの少なくとも一つである、請求項６に記載のビデオシステム用のコンピュータプログラム。
- 前記アクションが仮想動作に対応付けられており、前記指示が前記仮想動作を要求するものである、請求項６または請求項７に記載のビデオシステム用のコンピュータプログラム。
- 前記仮想動作が、走行方向、停止、速度規定、ビューするオブジェクトのスナップ、ポジションアイコンのドラッグにより表される移動、走行開始、及びパンの少なくとも一つである、請求項８に記載のビデオシステム用のコンピュータプログラム。
- 前記連続提示が目的地までの走行をガイドするものである、請求項６〜請求項９のいずれか１項に記載のビデオシステム用のコンピュータプログラム。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US32517201P | 2001-09-28 | 2001-09-28 | |
| US60/325172 | 2001-09-28 | ||
| US10/115,959 US7096428B2 (en) | 2001-09-28 | 2002-04-05 | Systems and methods for providing a spatially indexed panoramic video |
| US10/115959 | 2002-04-05 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009078273A Division JP4735733B2 (ja) | 2001-09-28 | 2009-03-27 | ビデオシステム、及びビデオシステム用プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003203251A JP2003203251A (ja) | 2003-07-18 |
| JP4321028B2 true JP4321028B2 (ja) | 2009-08-26 |
Family
ID=26813760
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002270253A Expired - Lifetime JP4321028B2 (ja) | 2001-09-28 | 2002-09-17 | ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム |
| JP2009078273A Expired - Lifetime JP4735733B2 (ja) | 2001-09-28 | 2009-03-27 | ビデオシステム、及びビデオシステム用プログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009078273A Expired - Lifetime JP4735733B2 (ja) | 2001-09-28 | 2009-03-27 | ビデオシステム、及びビデオシステム用プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7096428B2 (ja) |
| JP (2) | JP4321028B2 (ja) |
Families Citing this family (173)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9811237B2 (en) * | 1999-04-06 | 2017-11-07 | Iii Holdings 2, Llc | Visual navigation of virtual environments through logical processes |
| JP5037765B2 (ja) * | 2001-09-07 | 2012-10-03 | 株式会社トプコン | オペレータ誘導システム |
| US7411594B2 (en) * | 2002-01-15 | 2008-08-12 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| US7827507B2 (en) * | 2002-05-03 | 2010-11-02 | Pixearth Corporation | System to navigate within images spatially referenced to a computed space |
| US7289138B2 (en) * | 2002-07-02 | 2007-10-30 | Fuji Xerox Co., Ltd. | Intersection detection in panoramic video |
| DE60222890T2 (de) * | 2002-08-12 | 2008-02-07 | Alcatel Lucent | Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht |
| US7239311B2 (en) * | 2002-09-26 | 2007-07-03 | The United States Government As Represented By The Secretary Of The Navy | Global visualization process (GVP) and system for implementing a GVP |
| US7564455B2 (en) * | 2002-09-26 | 2009-07-21 | The United States Of America As Represented By The Secretary Of The Navy | Global visualization process for personal computer platforms (GVP+) |
| US7082572B2 (en) * | 2002-12-30 | 2006-07-25 | The Board Of Trustees Of The Leland Stanford Junior University | Methods and apparatus for interactive map-based analysis of digital video content |
| US7911497B2 (en) * | 2003-04-25 | 2011-03-22 | Lockheed Martin Corporation | Method and apparatus for video on demand |
| JP4168837B2 (ja) * | 2003-06-03 | 2008-10-22 | ソニー株式会社 | 情報生成装置、記録装置、再生装置、記録再生システムおよびその方法ならびにプログラム |
| CN1816792A (zh) * | 2003-07-02 | 2006-08-09 | 新世代株式会社 | 信息处理装置、信息处理系统、操作物、信息处理方法、信息处理程序以及游戏系统 |
| US6975089B2 (en) * | 2003-07-28 | 2005-12-13 | Cablecam International Inc. | System and method for facilitating fluid three-dimensional movement of an object via directional force |
| US7299417B1 (en) * | 2003-07-30 | 2007-11-20 | Barris Joel M | System or method for interacting with a representation of physical space |
| US7646401B2 (en) * | 2004-01-30 | 2010-01-12 | ObjectVideo, Inc | Video-based passback event detection |
| US20060114251A1 (en) * | 2004-02-11 | 2006-06-01 | Miller Jacob J | Methods for simulating movement of a computer user through a remote environment |
| US20080129818A1 (en) * | 2004-02-11 | 2008-06-05 | Jacob James Miller | Methods for practically simulatnig compact 3d environments for display in a web browser |
| CA2559726C (en) * | 2004-03-24 | 2015-10-20 | A9.Com, Inc. | System and method for displaying images in an online directory |
| US7813589B2 (en) * | 2004-04-01 | 2010-10-12 | Hewlett-Packard Development Company, L.P. | System and method for blending images into a single image |
| US20050275602A1 (en) * | 2004-06-15 | 2005-12-15 | New Way Home Inc. | Presentation system and associated method |
| US8751156B2 (en) | 2004-06-30 | 2014-06-10 | HERE North America LLC | Method of operating a navigation system using images |
| US8207964B1 (en) * | 2008-02-22 | 2012-06-26 | Meadow William D | Methods and apparatus for generating three-dimensional image data models |
| US7430473B2 (en) * | 2004-10-01 | 2008-09-30 | Bose Corporation | Vehicle navigation display |
| JP2008520052A (ja) * | 2004-11-12 | 2008-06-12 | モク３， インコーポレイテッド | シーン間遷移のための方法 |
| US20060123127A1 (en) * | 2004-12-08 | 2006-06-08 | Evil Twin Studios, Inc. | System and method for organizing online communities and virtual dwellings within a virtual environment |
| US20060123351A1 (en) * | 2004-12-08 | 2006-06-08 | Evil Twin Studios, Inc. | System and method for communicating objects status within a virtual environment using translucency |
| US20060119598A1 (en) * | 2004-12-08 | 2006-06-08 | Evil Twin Studios, Inc. | System and method for communicating travel progress within a virtual environment |
| US7506264B2 (en) * | 2005-04-28 | 2009-03-17 | International Business Machines Corporation | Method and apparatus for presenting navigable data center information in virtual reality using leading edge rendering engines |
| FI117576B (fi) * | 2005-04-29 | 2006-11-30 | Tracker Oy | Menetelmä paikannettavien kohteiden esittämiseksi paikannuslaitteen näytöllä, paikannuslaite ja sovellus |
| US7933929B1 (en) | 2005-06-27 | 2011-04-26 | Google Inc. | Network link for providing dynamic data layer in a geographic information system |
| KR100620125B1 (ko) * | 2005-07-18 | 2006-09-06 | 인하대학교 산학협력단 | 공간 데이터 웨어하우스에서 부분 색인 전송을 이용한 색인재구성 시스템 및 방법 |
| WO2007013432A1 (ja) | 2005-07-26 | 2007-02-01 | Matsushita Electric Industrial Co., Ltd. | 画像データ管理装置および画像データ管理方法 |
| NO323509B1 (no) * | 2005-08-10 | 2007-05-29 | Telenor Asa | Metode for a lage en animasjon av en serie stillbilder |
| US20070038945A1 (en) * | 2005-08-10 | 2007-02-15 | Miller Jacob J | System and method allowing one computer system user to guide another computer system user through a remote environment |
| US20070070090A1 (en) * | 2005-09-23 | 2007-03-29 | Lisa Debettencourt | Vehicle navigation system |
| US20070070069A1 (en) * | 2005-09-26 | 2007-03-29 | Supun Samarasekera | System and method for enhanced situation awareness and visualization of environments |
| JP2007093661A (ja) * | 2005-09-27 | 2007-04-12 | Alpine Electronics Inc | ナビゲーション装置及び地図表示装置 |
| TW200806027A (en) | 2005-11-11 | 2008-01-16 | Sony Corp | Imaging/reproducing device |
| US20070150840A1 (en) * | 2005-12-22 | 2007-06-28 | Andrew Olcott | Browsing stored information |
| JP2007213385A (ja) * | 2006-02-10 | 2007-08-23 | Sony Corp | 情報処理装置、情報処理方法、プログラム |
| US7823068B2 (en) * | 2006-02-28 | 2010-10-26 | Mark Anthony Ogle Cowtan | Internet-based, dual-paned virtual tour presentation system with orientational capabilities and versatile tabbed menu-driven area for multi-media content delivery |
| US9070402B2 (en) * | 2006-03-13 | 2015-06-30 | Autodesk, Inc. | 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI |
| WO2007124664A1 (fr) * | 2006-04-29 | 2007-11-08 | Shanghai Jietu Software Co., Ltd. | Appareil et procédé permettant d'obtenir une représentation panoramique contenant des informations de position et procédé de création, d'annotation et d'affichage d'un service de cartographie électrique panoramique |
| JP2007306353A (ja) * | 2006-05-12 | 2007-11-22 | Opt Kk | 動画の表示方法、動画表示システムおよび広角動画撮像装置 |
| JP4360381B2 (ja) * | 2006-06-05 | 2009-11-11 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| US8085990B2 (en) * | 2006-07-28 | 2011-12-27 | Microsoft Corporation | Hybrid maps with embedded street-side images |
| US20080043020A1 (en) * | 2006-08-18 | 2008-02-21 | Microsoft Corporation | User interface for viewing street side imagery |
| US9319741B2 (en) | 2006-09-07 | 2016-04-19 | Rateze Remote Mgmt Llc | Finding devices in an entertainment system |
| US8607281B2 (en) * | 2006-09-07 | 2013-12-10 | Porto Vinci Ltd. Limited Liability Company | Control of data presentation in multiple zones using a wireless home entertainment hub |
| US9369679B2 (en) * | 2006-11-07 | 2016-06-14 | The Board Of Trustees Of The Leland Stanford Junior University | System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model |
| US9361943B2 (en) * | 2006-11-07 | 2016-06-07 | The Board Of Trustees Of The Leland Stanford Jr. University | System and method for tagging objects in a panoramic video and associating functions and indexing panoramic images with same |
| WO2008060933A2 (en) | 2006-11-13 | 2008-05-22 | Everyscape, Inc. | Method for scripting inter-scene transitions |
| US20080143709A1 (en) * | 2006-12-14 | 2008-06-19 | Earthmine, Inc. | System and method for accessing three dimensional information from a panoramic image |
| JP4870546B2 (ja) * | 2006-12-27 | 2012-02-08 | 株式会社岩根研究所 | レイヤー生成・選択機能を備えたｃｖタグ映像表示装置 |
| GB0700163D0 (en) * | 2007-01-05 | 2007-02-14 | Kord Ali | A Display Booth |
| US8074241B2 (en) * | 2007-03-30 | 2011-12-06 | The Board Of Trustees Of The Leland Stanford Jr. University | Process for displaying and navigating panoramic video, and method and user interface for streaming panoramic video and images between a server and browser-based client application |
| US8855856B2 (en) * | 2007-05-08 | 2014-10-07 | GM Global Technology Operations LLC | Vehicle roll control method using controllable friction force of MR dampers |
| US8515207B2 (en) * | 2007-05-25 | 2013-08-20 | Google Inc. | Annotations in panoramic images, and applications thereof |
| US7990394B2 (en) | 2007-05-25 | 2011-08-02 | Google Inc. | Viewing and navigating within panoramic images, and applications thereof |
| US7843451B2 (en) * | 2007-05-25 | 2010-11-30 | Google Inc. | Efficient rendering of panoramic images, and applications thereof |
| US20100122208A1 (en) * | 2007-08-07 | 2010-05-13 | Adam Herr | Panoramic Mapping Display |
| US8601392B2 (en) * | 2007-08-22 | 2013-12-03 | 9224-5489 Quebec Inc. | Timeline for presenting information |
| WO2009040491A1 (en) * | 2007-09-25 | 2009-04-02 | Nds Limited | Multi-directional movement |
| US9891783B2 (en) * | 2007-09-26 | 2018-02-13 | Autodesk, Inc. | Navigation system for a 3D virtual scene |
| EP2203895B1 (en) | 2007-09-26 | 2020-03-25 | AQ Media, INC. | Audio-visual navigation and communication dynamic memory architectures |
| US8584044B2 (en) | 2007-11-16 | 2013-11-12 | Microsoft Corporation | Localized thumbnail preview of related content during spatial browsing |
| US8081186B2 (en) * | 2007-11-16 | 2011-12-20 | Microsoft Corporation | Spatial exploration field of view preview mechanism |
| US20090132967A1 (en) * | 2007-11-16 | 2009-05-21 | Microsoft Corporation | Linked-media narrative learning system |
| US8072448B2 (en) | 2008-01-15 | 2011-12-06 | Google Inc. | Three-dimensional annotations for street view data |
| US8015144B2 (en) | 2008-02-26 | 2011-09-06 | Microsoft Corporation | Learning transportation modes from raw GPS data |
| US8972177B2 (en) * | 2008-02-26 | 2015-03-03 | Microsoft Technology Licensing, Llc | System for logging life experiences using geographic cues |
| US8525825B2 (en) | 2008-02-27 | 2013-09-03 | Google Inc. | Using image content to facilitate navigation in panoramic image data |
| US8966121B2 (en) | 2008-03-03 | 2015-02-24 | Microsoft Corporation | Client-side management of domain name information |
| KR20090123227A (ko) * | 2008-05-27 | 2009-12-02 | 삼성전자주식회사 | 검색 서비스 제공장치, 방법 및 프로그램 |
| JP5524965B2 (ja) | 2008-08-12 | 2014-06-18 | グーグル インコーポレイテッド | 地理情報システムにおける視察 |
| US20100082662A1 (en) * | 2008-09-25 | 2010-04-01 | Microsoft Corporation | Information Retrieval System User Interface |
| JP5083150B2 (ja) * | 2008-09-30 | 2012-11-28 | カシオ計算機株式会社 | 画像処理装置、及びその処理順設定方法、処理順設定プログラム |
| US8259178B2 (en) | 2008-12-23 | 2012-09-04 | At&T Intellectual Property I, L.P. | System and method for creating and manipulating synthetic environments |
| US9063226B2 (en) * | 2009-01-14 | 2015-06-23 | Microsoft Technology Licensing, Llc | Detecting spatial outliers in a location entity dataset |
| US8311556B2 (en) * | 2009-01-22 | 2012-11-13 | Htc Corporation | Method and system for managing images and geographic location data in a mobile device |
| TWI416928B (zh) * | 2009-01-21 | 2013-11-21 | Htc Corp | 管理與顯示行動裝置影像及關聯地理位置資料的方法、系統及裝置 |
| US20100228418A1 (en) * | 2009-03-04 | 2010-09-09 | Honeywell International Inc. | System and methods for displaying video with improved spatial awareness |
| US9477368B1 (en) | 2009-03-31 | 2016-10-25 | Google Inc. | System and method of indicating the distance or the surface of an image of a geographical object |
| JP2011009846A (ja) * | 2009-06-23 | 2011-01-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
| US8306732B2 (en) | 2009-08-18 | 2012-11-06 | Palo Alto Research Center Incorporated | Model based method to assess road curvature effect on travel time and comfort for route planning |
| US8275649B2 (en) * | 2009-09-18 | 2012-09-25 | Microsoft Corporation | Mining life pattern based on location history |
| IL201129A (en) * | 2009-09-23 | 2014-02-27 | Verint Systems Ltd | A system and method for automatically switching cameras according to location measurements |
| US9009177B2 (en) | 2009-09-25 | 2015-04-14 | Microsoft Corporation | Recommending points of interests in a region |
| WO2011049834A2 (en) * | 2009-10-19 | 2011-04-28 | Intergraph Technologies Company | Data search, parser, and synchronization of video and telemetry data |
| US8934008B2 (en) | 2009-12-07 | 2015-01-13 | Cognitech, Inc. | System and method for determining geo-location(s) in images |
| US8612134B2 (en) | 2010-02-23 | 2013-12-17 | Microsoft Corporation | Mining correlation between locations using location history |
| US9261376B2 (en) * | 2010-02-24 | 2016-02-16 | Microsoft Technology Licensing, Llc | Route computation based on route-oriented vehicle trajectories |
| US10288433B2 (en) * | 2010-02-25 | 2019-05-14 | Microsoft Technology Licensing, Llc | Map-matching for low-sampling-rate GPS trajectories |
| US8896671B2 (en) | 2010-04-09 | 2014-11-25 | 3D-4U, Inc. | Apparatus and method for capturing images |
| US8719198B2 (en) | 2010-05-04 | 2014-05-06 | Microsoft Corporation | Collaborative location and activity recommendations |
| US9204040B2 (en) * | 2010-05-21 | 2015-12-01 | Qualcomm Incorporated | Online creation of panoramic augmented reality annotations on mobile platforms |
| US8933986B2 (en) | 2010-05-28 | 2015-01-13 | Qualcomm Incorporated | North centered orientation tracking in uninformed environments |
| US9593957B2 (en) | 2010-06-04 | 2017-03-14 | Microsoft Technology Licensing, Llc | Searching similar trajectories by locations |
| KR101797495B1 (ko) | 2010-06-27 | 2017-11-15 | 엘지전자 주식회사 | 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법 |
| US20120042282A1 (en) * | 2010-08-12 | 2012-02-16 | Microsoft Corporation | Presenting Suggested Items for Use in Navigating within a Virtual Space |
| JP5764982B2 (ja) | 2011-03-08 | 2015-08-19 | ソニー株式会社 | 再生処理装置、撮像装置、再生処理方法、及びプログラム |
| CA2833544A1 (en) * | 2011-04-18 | 2012-10-26 | Eyesee360, Inc. | Apparatus and method for panoramic video imaging with mobile computing devices |
| CN103635891B (zh) * | 2011-05-06 | 2017-10-27 | 奇跃公司 | 大量同时远程数字呈现世界 |
| JP5918618B2 (ja) | 2011-06-03 | 2016-05-18 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
| JP5591281B2 (ja) * | 2011-06-03 | 2014-09-17 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法 |
| US9754226B2 (en) | 2011-12-13 | 2017-09-05 | Microsoft Technology Licensing, Llc | Urban computing of route-oriented vehicles |
| US20130166188A1 (en) | 2011-12-21 | 2013-06-27 | Microsoft Corporation | Determine Spatiotemporal Causal Interactions In Data |
| US9339691B2 (en) | 2012-01-05 | 2016-05-17 | Icon Health & Fitness, Inc. | System and method for controlling an exercise device |
| US9691241B1 (en) * | 2012-03-14 | 2017-06-27 | Google Inc. | Orientation of video based on the orientation of a display |
| US10373376B2 (en) * | 2012-04-20 | 2019-08-06 | Skydoor Pte Ltd | Method for making a content sensitive video |
| TWI599988B (zh) * | 2012-04-23 | 2017-09-21 | 天門有限公司 | 製作內容細膩的視訊之方法及其相關之電腦程式與電腦可讀取媒體 |
| US9767598B2 (en) | 2012-05-31 | 2017-09-19 | Microsoft Technology Licensing, Llc | Smoothing and robust normal estimation for 3D point clouds |
| US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
| US20130321564A1 (en) | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
| US9488489B2 (en) | 2012-09-28 | 2016-11-08 | Google Inc. | Personalized mapping with photo tours |
| US8976224B2 (en) | 2012-10-10 | 2015-03-10 | Microsoft Technology Licensing, Llc | Controlled three-dimensional communication endpoint |
| US9171527B2 (en) * | 2012-11-20 | 2015-10-27 | Google Inc. | System and method for displaying geographic imagery |
| KR101984915B1 (ko) * | 2012-12-03 | 2019-09-03 | 삼성전자주식회사 | 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템 |
| US20140181630A1 (en) * | 2012-12-21 | 2014-06-26 | Vidinoti Sa | Method and apparatus for adding annotations to an image |
| US10203839B2 (en) | 2012-12-27 | 2019-02-12 | Avaya Inc. | Three-dimensional generalized space |
| US9892743B2 (en) * | 2012-12-27 | 2018-02-13 | Avaya Inc. | Security surveillance via three-dimensional audio space presentation |
| US10924627B2 (en) * | 2012-12-31 | 2021-02-16 | Virtually Anywhere | Content management for virtual tours |
| US20140210748A1 (en) * | 2013-01-30 | 2014-07-31 | Panasonic Corporation | Information processing apparatus, system and method |
| US10482777B2 (en) | 2013-02-22 | 2019-11-19 | Fuji Xerox Co., Ltd. | Systems and methods for content analysis to support navigation and annotation in expository videos |
| US9892761B2 (en) | 2013-02-22 | 2018-02-13 | Fuji Xerox Co., Ltd. | Systems and methods for creating and using navigable spatial overviews for video |
| KR101277523B1 (ko) * | 2013-03-08 | 2013-06-21 | (주) 에이노드 | 사운드 신호 기반의 로컬 인터랙티브 플랫폼 시스템, 이를 이용한 로컬 인터랙티브 서비스 제공 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 |
| WO2014153158A1 (en) | 2013-03-14 | 2014-09-25 | Icon Health & Fitness, Inc. | Strength training apparatus with flywheel and related methods |
| US9310987B2 (en) * | 2013-08-19 | 2016-04-12 | Google Inc. | Projections to fix pose of panoramic photos |
| US9244940B1 (en) | 2013-09-27 | 2016-01-26 | Google Inc. | Navigation paths for panorama |
| US9403047B2 (en) | 2013-12-26 | 2016-08-02 | Icon Health & Fitness, Inc. | Magnetic resistance mechanism in a cable machine |
| US9473745B2 (en) * | 2014-01-30 | 2016-10-18 | Google Inc. | System and method for providing live imagery associated with map locations |
| US20150221341A1 (en) * | 2014-01-31 | 2015-08-06 | Audi Ag | System and method for enhanced time-lapse video generation using panoramic imagery |
| US10613549B2 (en) | 2014-02-07 | 2020-04-07 | Crown Equipment Corporation | Systems and methods for supervising industrial vehicles via encoded vehicular objects shown on a mobile client device |
| US10433612B2 (en) | 2014-03-10 | 2019-10-08 | Icon Health & Fitness, Inc. | Pressure sensor to quantify work |
| US9189839B1 (en) | 2014-04-24 | 2015-11-17 | Google Inc. | Automatically generating panorama tours |
| US10426989B2 (en) | 2014-06-09 | 2019-10-01 | Icon Health & Fitness, Inc. | Cable system incorporated into a treadmill |
| WO2015195965A1 (en) | 2014-06-20 | 2015-12-23 | Icon Health & Fitness, Inc. | Post workout massage device |
| US9002647B1 (en) | 2014-06-27 | 2015-04-07 | Google Inc. | Generating turn-by-turn direction previews |
| US9418472B2 (en) | 2014-07-17 | 2016-08-16 | Google Inc. | Blending between street view and earth view |
| US9471695B1 (en) * | 2014-12-02 | 2016-10-18 | Google Inc. | Semantic image navigation experiences |
| US9740282B1 (en) * | 2015-01-05 | 2017-08-22 | Amazon Technologies, Inc. | Gaze direction tracking |
| US10391361B2 (en) | 2015-02-27 | 2019-08-27 | Icon Health & Fitness, Inc. | Simulating real-world terrain on an exercise device |
| US9754413B1 (en) | 2015-03-26 | 2017-09-05 | Google Inc. | Method and system for navigating in panoramic images using voxel maps |
| US20160292966A1 (en) * | 2015-03-31 | 2016-10-06 | Gary Denham | System and method of providing a virtual shopping experience |
| US10061492B2 (en) * | 2015-06-04 | 2018-08-28 | Microsoft Technology Licensing, Llc | Path-linked viewpoints from point of interest |
| EP3335418A1 (en) | 2015-08-14 | 2018-06-20 | PCMS Holdings, Inc. | System and method for augmented reality multi-view telepresence |
| US10623636B2 (en) * | 2015-08-17 | 2020-04-14 | C360 Technologies, Inc. | Generating objects in real time panoramic video |
| US10217283B2 (en) | 2015-12-17 | 2019-02-26 | Google Llc | Navigation through multidimensional images spaces |
| EP3206082A1 (en) * | 2016-02-12 | 2017-08-16 | Vroxtechnology B.V. | System, method and computer program for recording a non-virtual environment for obtaining a virtual representation |
| US10272317B2 (en) | 2016-03-18 | 2019-04-30 | Icon Health & Fitness, Inc. | Lighted pace feature in a treadmill |
| US10625137B2 (en) | 2016-03-18 | 2020-04-21 | Icon Health & Fitness, Inc. | Coordinated displays in an exercise device |
| US10493349B2 (en) | 2016-03-18 | 2019-12-03 | Icon Health & Fitness, Inc. | Display on exercise device |
| US10762712B2 (en) | 2016-04-01 | 2020-09-01 | Pcms Holdings, Inc. | Apparatus and method for supporting interactive augmented reality functionalities |
| US9762851B1 (en) * | 2016-05-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Shared experience with contextual augmentation |
| US9992429B2 (en) | 2016-05-31 | 2018-06-05 | Microsoft Technology Licensing, Llc | Video pinning |
| CN107340852A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 手势控制方法、装置和终端设备 |
| WO2018033154A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 手势控制方法、装置和电子设备 |
| US10671705B2 (en) | 2016-09-28 | 2020-06-02 | Icon Health & Fitness, Inc. | Customizing recipe recommendations |
| US10958890B2 (en) * | 2017-03-31 | 2021-03-23 | Samsung Electronics Co., Ltd. | Method and apparatus for rendering timed text and graphics in virtual reality video |
| CN108882018B (zh) * | 2017-05-09 | 2020-10-20 | 阿里巴巴（中国）有限公司 | 虚拟场景中的视频播放、数据提供方法、客户端及服务器 |
| WO2018226508A1 (en) | 2017-06-09 | 2018-12-13 | Pcms Holdings, Inc. | Spatially faithful telepresence supporting varying geometries and moving users |
| US11087527B2 (en) | 2017-12-01 | 2021-08-10 | Koninklijke Kpn N.V. | Selecting an omnidirectional image for display |
| CN115499686B (zh) * | 2017-12-15 | 2024-03-08 | Pcms控股公司 | 用于在360°视频导航中使用查看路径的方法 |
| US11538128B2 (en) | 2018-05-14 | 2022-12-27 | Verint Americas Inc. | User interface for fraud alert management |
| US10887452B2 (en) | 2018-10-25 | 2021-01-05 | Verint Americas Inc. | System architecture for fraud detection |
| EP3881163A4 (en) * | 2018-11-12 | 2022-08-03 | Open Space Labs, Inc. | AUTOMATED SPATIAL INDEXING OF IMAGES ON VIDEO |
| EP3987743A1 (en) | 2019-06-20 | 2022-04-27 | Verint Americas Inc. | Systems and methods for authentication and fraud detection |
| US11868453B2 (en) | 2019-11-07 | 2024-01-09 | Verint Americas Inc. | Systems and methods for customer authentication based on audio-of-interest |
| US11871184B2 (en) * | 2020-01-07 | 2024-01-09 | Ramtrip Ventures, Llc | Hearing improvement system |
| CN114089890B (zh) * | 2021-09-18 | 2024-08-02 | 北京城市网邻信息技术有限公司 | 车辆模拟驾驶方法、设备、存储介质及程序产品 |
| US20230162327A1 (en) * | 2021-11-19 | 2023-05-25 | Threshold 360, Inc. | Automated panoramic image connection for autoplay with transitions |
| CN113824746B (zh) * | 2021-11-25 | 2022-02-18 | 山东信息职业技术学院 | 一种虚拟现实信息传输方法及虚拟现实系统 |
| CN114697317A (zh) * | 2022-05-11 | 2022-07-01 | 上海七牛信息技术有限公司 | 一种文件访问方法和系统 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6121966A (en) * | 1992-11-02 | 2000-09-19 | Apple Computer, Inc. | Navigable viewing system |
| US5737533A (en) * | 1995-10-26 | 1998-04-07 | Wegener Internet Projects Bv | System for generating a virtual reality scene in response to a database search |
| KR100270140B1 (ko) * | 1996-08-05 | 2000-10-16 | 포만 제프리 엘 | 파노라마식 3차원 경치에 핫링크를 발생하여 표시하는 방법 및 장치. |
| JPH10208074A (ja) * | 1997-01-22 | 1998-08-07 | Hitachi Ltd | 画像生成方法 |
| JPH11168754A (ja) * | 1997-12-03 | 1999-06-22 | Mr System Kenkyusho:Kk | 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体 |
| JP3571893B2 (ja) * | 1997-12-03 | 2004-09-29 | キヤノン株式会社 | 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法 |
| JP3566530B2 (ja) * | 1998-01-08 | 2004-09-15 | 日本電信電話株式会社 | 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体 |
| JPH11238143A (ja) * | 1998-02-19 | 1999-08-31 | Mr System Kenkyusho:Kk | 画像処理方法、仮想現実感の提示方法およびそのプログラムの記憶媒体 |
| JPH11259672A (ja) * | 1998-03-13 | 1999-09-24 | Mitsubishi Electric Corp | ３次元仮想空間表示装置 |
| JP4146938B2 (ja) * | 1998-09-08 | 2008-09-10 | オリンパス株式会社 | パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 |
| JP2000101999A (ja) * | 1998-09-24 | 2000-04-07 | Hitachi Information Systems Ltd | インタラクティブ・ビデオシステムおよびビデオ再生方法、ならびにそのプログラムを記録した記録媒体 |
| JP3634677B2 (ja) * | 1999-02-19 | 2005-03-30 | キヤノン株式会社 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
| US6563529B1 (en) * | 1999-10-08 | 2003-05-13 | Jerry Jongerius | Interactive system for displaying detailed view and direction in panoramic images |
| US6839880B1 (en) * | 1999-10-21 | 2005-01-04 | Home Debut, Inc. | Electronic property viewing system for providing virtual tours via a public communications network, and a method of exchanging the same |
| JP4070057B2 (ja) * | 1999-12-10 | 2008-04-02 | 三菱電機株式会社 | 図書情報検索空間構築・検索装置および図書情報検索空間構築・検索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP3410703B2 (ja) * | 2000-01-31 | 2003-05-26 | ディー・リンク株式会社 | 画像表示方法 |
| US20020075295A1 (en) * | 2000-02-07 | 2002-06-20 | Stentz Anthony Joseph | Telepresence using panoramic imaging and directional sound |
| JP4082546B2 (ja) * | 2000-02-17 | 2008-04-30 | 株式会社リコー | ３次元仮想空間構築システム |
| US20020103722A1 (en) * | 2001-02-01 | 2002-08-01 | Brown Darrel O. | Electronic recruiting station |
-
2002
- 2002-04-05 US US10/115,959 patent/US7096428B2/en not_active Expired - Lifetime
- 2002-09-17 JP JP2002270253A patent/JP4321028B2/ja not_active Expired - Lifetime
-
2009
- 2009-03-27 JP JP2009078273A patent/JP4735733B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP4735733B2 (ja) | 2011-07-27 |
| JP2009181587A (ja) | 2009-08-13 |
| JP2003203251A (ja) | 2003-07-18 |
| US7096428B2 (en) | 2006-08-22 |
| US20030063133A1 (en) | 2003-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4321028B2 (ja) | ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム | |
| US8893026B2 (en) | System and method for creating and broadcasting interactive panoramic walk-through applications | |
| JP6092865B2 (ja) | マップ特徴の顕著さをベースとした生成およびレンダリング | |
| Kimber et al. | Flyabout: spatially indexed panoramic video | |
| US8447136B2 (en) | Viewing media in the context of street-level images | |
| EP2324460B1 (en) | Touring in a geographic information system | |
| JP3982273B2 (ja) | ナビゲーション装置 | |
| EP2572264B1 (en) | Method and apparatus for rendering user interface for location-based service having main view portion and preview portion | |
| JP6818847B2 (ja) | 多次元画像空間を通したナビゲーション | |
| US20100122208A1 (en) | Panoramic Mapping Display | |
| US20120162253A1 (en) | Systems and methods of integrating virtual flyovers and virtual tours | |
| US20040217884A1 (en) | Systems and methods of viewing, modifying, and interacting with "path-enhanced" multimedia | |
| KR101806957B1 (ko) | 관심 지점의 자동 업데이트를 위한 방법 및 시스템 | |
| Ramalho et al. | Windy sight surfers: sensing and awareness of 360 immersive videos on the move | |
| JP3950085B2 (ja) | 地図誘導全方位映像システム | |
| EP2022010A1 (en) | Virtual display method and apparatus | |
| US8346470B2 (en) | Providing access to a collection of content items | |
| JP2002236990A (ja) | 地図誘導映像システム | |
| KR102726151B1 (ko) | 증강현실 뷰 내에서 표시되는 영상 및 3차원 지도에 대해 사용자가 콘텐츠를 입력 가능하게 하는 사용자 인터페이스를 제공하는 방법 및 장치 | |
| KR102707572B1 (ko) | 증강현실 뷰 내에서 3차원 지도를 표시하고, 3차원 지도 내의 객체와 관련된 정보를 포함하는 콘텐츠를 제공하는 방법 및 장치 | |
| KR102722672B1 (ko) | 증강현실 뷰의 방위 정보에 따라 증강현실 뷰 내에서 3차원 지도를 표시하고, 3차원 지도 바깥의 지역에 대한 추가 정보를 제공하는 방법 및 장치 | |
| JP4220793B2 (ja) | 構内案内装置、プログラムおよび構内案内方法 | |
| Neng et al. | Get Around 360º Hypervideo Its Design and Evaluation | |
| Asai | Visualization based on geographic information in augmented reality | |
| Aizawa | Movie Map for Virtual Exploration in a City |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050825 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081211 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090327 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090406 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4321028 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140612 Year of fee payment: 5 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |