JP3592541B2 - 三次元バーチャル・リアリティを改善する方法 - Google Patents
三次元バーチャル・リアリティを改善する方法 Download PDFInfo
- Publication number
- JP3592541B2 JP3592541B2 JP22012198A JP22012198A JP3592541B2 JP 3592541 B2 JP3592541 B2 JP 3592541B2 JP 22012198 A JP22012198 A JP 22012198A JP 22012198 A JP22012198 A JP 22012198A JP 3592541 B2 JP3592541 B2 JP 3592541B2
- Authority
- JP
- Japan
- Prior art keywords
- world
- video
- additional information
- viewer
- computer graphics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
Description
【発明の分野】
本発明は現実味のある三次元バーチャル・リアリティの経験を提供するコンピュータ・グラフィックスとビデオとの統合化に関する。
【0002】
【発明の背景】
三次元の世界をビューワ(見る人)に対して表示することはかなりの計算力を必要とし、また、そうするために必要な高度に詳細化されたモデルを開発するのは通常は費用が掛かる。この問題を単純化するために、遠方にある世界の一部分を二次元だけでビデオとして1つの面上に、たとえば画面上に表示して表現することができる。ビデオという言葉は普通の用語での使い方、たとえば、フィルムに撮られた映画の電子バージョンである、面上への所定の画像の配置または投影などを意味する。したがって、そのような世界は本質的にそのビデオが表示される画面の長さの範囲内に切り詰められる。そのような構成によって計算力およびコストを大幅に削減することができる。
【0003】
ある米国特許出願に開示されている発明においては、そのビデオによって表現される視野の内部のオブジェクトがそのビデオによって表現されず、代わりにコンピュータ・グラフィックスによって表現されるフォアグラウンドの中の1つの場所である世界の中の場所にそれを導く軌跡を経験する時、すなわち、そのビデオ画面上にもはや存在しないオブジェクトの部分が消えてしまう時に、そのような世界の制限が発生することことが認識された。したがって、そのビデオによって表現される視野の内部の1つのオブジェクトが、そのオブジェクトまたはその一部分を、そのビデオによって表現されない世界の中の1つの場所、すなわち、代わりにコンピュータ・グラフィックスによって表現されるフォアグラウンドの中の1つの場所へ連れて行く軌跡を経験する時、そのようなオブジェクトまたはその部分がユーザに対して見え続けるようにし、そしてビデオではなく、コンピュータ・グラフィックス技法を使ってフォアグラウンドによって表現される。したがって、そのビデオ・オブジェクトはビデオから「ポップ・アウト(飛び出し)」し、そのビデオ画面上になくなっているために見えなくなるのではなく、たとえば、そのビデオ画面の前面において、あるいはその側面において見えるようになる。
【0004】
【発明の概要】
ビデオ画面上にビデオとして二次元だけで表現されるユーザの視点から離れた世界の部分を有する世界の場合、そのビデオ画面上の1つのオブジェクトが、そのオブジェクトの少なくとも一部分を、そのビデオによって表現されない世界の中の1つの場所、すなわち、代わりのコンピュータ・グラフィックスによって表現される世界の中の1つの場所へ連れていく軌跡を経験する時、そのオブジェクトがその世界のコンピュータ・グラフィックスの部分の中へビデオからポップ・アウトする時にそのようなオブジェクトを見え続けるようにすることができるほかに、そのようなオブジェクトと対話することができることは有利である。したがって、本発明の原理に従って、ビデオからコンピュータ・グラフィックス部分の世界へポップ・アウトするオブジェクトをその世界のビューワが「調査する」ことができる。これを実現することができる1つの方法はユーザによるそのようなオブジェクトの選択の指示を受信することによって、それに応答して、その選択されたオブジェクトに関する追加の情報を提供する方法である。これを実現することができるもう1つの方法は、ユーザによるそのようなオブジェクトの選択の指示を受信し、それに応答して、ユーザがその選択されたオブジェクトの内部を探索できるようにする方法である。
【0005】
たとえば、ユーザがフランスのパリのシャンゼリゼ通りを自転車に乗って通っている場合、ナポレオン・ボナパルトによって作られた凱旋門が中心にある、エトワール広場に近付く時、そしてその自転車に乗った人が凱旋門を通り過ぎる時に凱旋門がビデオからポップ・アウトする時、ユーザはコンピュータ・グラフィックス部分の世界の中に入っているポップ・アウトした凱旋門の上でクリックし、それに関する歴史的情報を、たとえば、画面上の1つのウィンドウの中に表示することができる。代わりに、そのユーザが自転車に乗っている化身(avatar)としてその世界の中で表されている場合、そのユーザの化身は適切なコマンド、たとえば、マウスのクリックなどに応答して、その自転車から降りて、凱旋門をさらに調査すること、たとえば、その中に入って階段を上がり、1つまたはそれ以上の視点から外を眺めることができるようにすることができる。そのユーザは次に彼の自転車に戻り、そのユーザの視点から離れている世界の一部分がビデオ画面上の1つのビデオとして二次元でだけ表示されていて、その世界の残りの部分がコンピュータ・グラフィックスとして表現されている世界の中で旅を続けることができる。
【0006】
他の例としてユーザはビデオからポップ・アウトした店の中に入り、その中でバーチャル・ショピングを行うことができる。本発明の1つの態様によれば、実際に入る特定の店をユーザごとのベースでカスタマイズすることができる。したがって、たとえば、同じコースを辿っていて、同じ表現、すなわち、そのビデオからポップ・アウトした店またはベンダー・カートの化身を見ている異なるユーザに対して、そのユーザにサービスしてバーチャル・ショッピング・サービスを彼に提供する特定のベンダーが誰であるかを、ユーザごとに異なるようにすることができる。本発明の1つの態様によれば、そのユーザの実際の地理的な場所、あるいはそのユーザに関連付けられている特定の場所の関数としてその特定のベンダーを選択することができる。二人以上のユーザ、たとえば、一緒に自転車に乗っている二人の友達が同じ世界を一緒に同時に探索している場合、本発明の1つの態様によれば、各ユーザ、あるいはユーザの異なるサブセットが、たとえば、それぞれの個別の地理的な場所などの特定されたパラメータの関数として、たとえば、異なるベンダーによってサービスされるようにすることができる。代わりに、二人以上のユーザがいて、そのようなユーザが彼らのそれぞれの場所の関数として、たとえば、異なるベンダーによってそのようなユーザがサービスされることになる場合であっても、本発明の1つの態様によれば、そのようなユーザは彼らのサブセット、またはすべてが単独のベンダーによってサービスされるように指定することができる。
【0007】
本発明のもう1つの態様によれば、1つの仮想店舗の経営者、あるいは彼の代表者、たとえば、電子エージェントが、その付近にいる二人以上の人の化身が、たとえば、店の化身の前を通過するのを検出した時、そのような通行人に対する仮想店舗に対応するそのような経営者の店の化身は、そのような通行人に対して宣伝公告などのメッセージ送信するか、あるいは、たとえば、チャット・サービスまたは音声通信チャネルなどの通信チャネルの開設などの他の通信をそのような通行人と一緒に開始することができる。その通信は一般的な性質のものとすること、あるいはその通行人に関して利用できる関数としてカスタマイズすることができる。コミュニティのフィーリングをバーチャル環境において醸し出すことができるので有利である。
【0008】
【発明の詳細な記述】
ビデオからポップ・アウトしてコンピュータ・グラフィックスの世界に入るオブジェクトを、その世界のビューワがどのように「調査する」ことができるかを説明する前に、本発明の原理に従ってビデオから「ポップ・アウト」し、それがビデオ画面上にもはやないために単純に見えなくなるのではなく、そのビデオ画面の前面、上、または下において見えるようになるビデオ・オブジェクトの一例が図1〜図3に示されている。用語を単純化する目的で、1つのオブジェクトの一部分を1つのオブジェクトとして単純に呼ぶことができる。というのは、1つのオブジェクトの一部分はそれ自身1つのオブジェクトとみなせるからである。
【0009】
図1はナポレオン・ボナパルトによって建てられた凱旋門が中心にあるエトワール広場に近付く時の、フランスのパリにあるシャンゼリ通りである世界101を示している。世界101は2つの部分に分けられる。1つはビデオ画面103であり、その上にビデオの現在のフレームが示されている。残りの部分は世界105であり、それはコンピュータ・グラフィックス技法を使って表現され、したがって、ここではコンピュータ・グラフィックス部分(CG部分)105と呼ばれる。ビデオ画面103上に表示されているビデオの現在フレームは警察のヴァン113および凱旋門115を含む。CG部分105の内部には各種の要素、たとえば、ユーザを表している自転車に乗っている人107、道路109、および空111がある。
【0010】
ユーザの視点は実際には自転車に乗っている人の形でのユーザ107の表現の背後にあることに留意されたい。またビデオ画面103上に示されている現在のビデオ・フレームの一部分である警察のヴァン113は、自転車に乗っている人107より遅い速度で動いており、したがって、警察のヴァン113は自転車に乗っている人107が凱旋門115へ向かって乗り続ける時に、自転車に乗っている人107によって実質的には追い抜かれることになる。
【0011】
図2は図1の世界101を示しているが、後の時刻での画面を示している。図2の時点においては、画面103上に示されているビデオのフレームは凱旋門115により近い視点からの眺めである。そのようなフレームは、たとえば、凱旋門115により近いビデオを捕捉したカメラを動かすことからの結果として得ることができる。図2の中に示されている画面103上のビデオのフレームが撮影された時のカメラの場所の結果として、警察のヴァン113の一部分だけがビデオ・フレームの中に捕捉された。警察のヴァン113の残りの部分はカメラのビューから外れていたので、図2に示されている画面103上のビデオの現在フレームの内部では見えていない。しかし、ユーザの視点から図2の中に現われる世界101を眺めると、警察のヴァン113の残りの部分も、ビデオ画面103の境界の内部にはもはやなくなっているにもかかわらず見える筈である。したがって、警察のヴァン113の残りの部分は、CG部分105の一部である要素201として世界101の内部にコンピュータ・グラフィックス技術を使って表示される。
【0012】
図3は図1の世界101を示しているが、図2の画面よりさらに後の時点での画面である。したがって、図3の時点においては、画面103上に示されているビデオのフレームは、図2の場合より凱旋門115によりさらに近いビューからのフレームである。図3の中に示されている画面103上のビデオのフレームが撮られた時のカメラの位置の結果として、警察のヴァン113のどの部分も図3に示されている画面103上のビデオの現在フレームの内部では見えない。しかし、図3の中に現われているような世界101を見ているユーザの視点からは、警察のヴァン113は、それがビデオ画面103の境界の内部にはもはやないにもかかわらず、ユーザの左側に見えている筈である。したがって、警察のヴァン113の全体が、CG部分105の一部である要素201として、世界101の内部にコンピュータ・グラフィックス技法を使って表示される。要素201がユーザの視点から完全に過ぎてしまうまで、CG部分105の部分として要素201の少なくとも一部分が表示され続けることになる。
【0013】
図4はオブジェクトの投影された運動が三次元の世界の中、で表示されるべきであるために、たとえば、ビデオ面の前面、側面、上、または下においてコンピュータ・グラフィックス技法を使って表示され、そのオブジェクトがビデオ面から「ポップ・アウト」して表示されるビデオ面によって表される視野の内部にあるようにするプロセスの一例を示している。本発明の代表的な実施形態においては、コンピュータ・グラフィックスを使って表示されるオブジェクトはあらかじめ定義されており、そしてビデオの中のそれらの位置およびそのビデオの内部でのその部分に関連付けられた時刻が知られており、したがって、そのオブジェクトがビデオからポップ・アウトされる必要がある時刻およびその大きさが知られている。しかし、本発明の技法はビデオ面の内部で認識できるオブジェクトを追跡するため、およびポップアウトされるコンピュータ・グラフィックスを生成するために、そのようなビデオ表現からコンピュータ・グラフィックス・モデルを開発するために十分に洗練されているコンピュータおよびソフトウェアによって採用することができる。
【0014】
そのプロセスはユーザが見るためにビデオを選択し、そしてそのビデオの最初のフレームがユーザに対して表示されるべき時点でのステップ401において開始される。ステップ403においては、表示されるべきビデオ・フレームが呼び出される。これはポインタによってポイントされているフレームを表しているデータを呼び出すことによって行うことができる。そのようなフレーム・ポインタは最初に、たとえば、ステップ401において、そのビデオの最初のフレームをポイントするように設定されている。次に、ステップ405において、ポップ・アップを開始する必要があるビデオ画面上に表示されるべき現在のビデオ・フレームについてオブジェクトがあるかどうかが判定される。これはポップ・アウトされる必要があるオブジェクトを記述するフレームに関連付けられた追加の情報を採用することによって行うことができる。そのような追加の情報はそのオブジェクトの径路を示す運動のデータ以外にそのオブジェクトをレンダーするのに必要なデータも含むことができる。代わりに、このステップはそのオブジェクトの径路を示す運動のデータ以外に、そのオブジェクトをレンダーするために必要なデータを求めるために、おそらく前の複数のフレームと将来の複数のフレームとに関連して、そのビデオ・フレームの内容を解析することによって行うことができる。さらに、総合のディスプレイによってユーザに対して与えられる視点をその決定の中に組み込むことができる。そのような視点はユーザによって設定することができるカメラの制御によって決定される。もちろん、前記の技法の組合せも採用することができる。ステップ407において、コンピュータ・グラフィックスのディスプレイ・エンジン・ルーチンが、ステップ405において決定された各オブジェクトに対して起動される。これらの各コンピュータ・グラフィックス・ルーチンは、そのビデオ面上の表示において各フレームについて時間の経過と共にそれぞれのオブジェクトを生成するために必要な情報と一緒に供給される。たとえば、各オブジェクトに対して供給される情報はそのオブジェクトの径路を示す前記の運動データを含むことができる。
【0015】
次に、ステップ409と411がステップ413と実質的に並列に実行される。その実現されるべき並列性の程度は、ポップ・アウトされるオブジェクトが、そのフレームが表示されている間に実質的に表示され、したがってユーザはそれらが同時に一緒に表示されているのを感じるような程度でなければならない。
【0016】
ステップ409において、コンピュータ・グラフィックスのディスプレイ・エンジン・ルーチンが実行している各オブジェクトに対して表示画面上のロケーションが決定される。ステップ411において、コンピュータ・グラフィックスのディスプレイ・エンジン・ルーチンが実行していて、そのビューワのビューの範囲内にある各オブジェクトがレンダーされる。オプションとして、移動されてそのビューワのビューの範囲内にはもはやないオブジェクトに対するコンピュータ・グラフィックスのディスプレイ・エンジン・ルーチンを削除することができる。しかし、そのようなコンピュータ・グラフィックスのディスプレイ・エンジン・ルーチンはそのオブジェクトの運動径路または、そのビューワの視点からはそのオブジェクトが視界の中にふたたび入って来ないことが分かっている場合は、その場合だけ削除されるべきである。
【0017】
ビデオ・フレームはステップ413において表示される。その時、ステップ411および413の両方から制御がステップ415へ渡される。ステップ415においては、次のビデオ・フレームがあればそのフレームへ進められる。これはフレーム・ポインタの値をインクリメントするか、さもなければ更新することによって実行することができる。その後、制御はステップ403へ戻り、そしてプロセスは上記のように継続する。
【0018】
図4の基本プロセスのもう1つの実装において、ビデオ画面はユーザに対して表示されている三次元の世界全体の内部で移動している。上記のように、ビデオ面上に表示されているフレームの中のオブジェクトに関する情報に基づいて、どのオブジェクトがポップ・アウトの開始を必要とするかを決定する代わりに、ユーザに対して表示されている三次元の世界全体の内部のビデオ画面の現在の位置に基づいてその起動を行うことができる。たとえば、ユーザがシャンゼリゼ通りを旅行している気分を与えるビデオをビデオ画面が表示している場合、次々の各ビデオ・フレームは実際にはその街路をどんどん通過して行くロケーションからのビューの表現である。フレームが表示されていて、そのユーザの視点が街路をさらに通って動いている際、オブジェクト、たとえば、バス、歩道、または駐車している車がビデオ画面からポップ・オフし、コンピュータ・グラフィックスによって表現されるようになる必要があり得る。そのオブジェクトのそれぞれに対するコンピュータ・グラフィックスのディスプレイ・エンジン・ルーチンは、街路を通って行くビデオ画面によって進行する距離の関数として起動することができ、それはたとえば、そのフレームに関連付けられている追加の情報の中で示されるか、あるいは単純な状況においては、そのビデオが稼働している時間の所定の関数として決定されるかのいずれかが可能である。
【0019】
本発明のもう1つの実施形態においては、ビデオ面からポップ・アウトしなければならないすべての要素を含んでいる、三次元のレンダリングに対して準備ができている世界がメモリの中でモデル化される。その三次元の世界はポップ・アウトしなければならない各要素に対する空間的な場所、サイズおよび向きなどの情報を含んでいる。ポップ・アウト要素に対する運動の情報も含めることができる。この実施形態においては、ビデオ画面は上記のように、ユーザに対して表示されている総合的な三次元の世界の内部を移動している。ビデオの各フレームにはメモリの中に格納されている三次元世界の内部での、そのビデオ画面の場所を記述している空間的な情報がある。そのような情報は、たとえば、そのビデオ画面が一定のレートの速度で移動している場合に暗黙に含めることができるか、あるいはそのビデオ・フレームに関連付けられている別の情報の中に入れておくことができる。ビデオ画面の場所に関する情報以外に、ビデオの各ポップ・アウト要素に関する情報を使って、ビデオ画面によってブロックされず、そのユーザの視野内にあるビデオの各ポップ・アウト要素の部分以外に、ビデオの各ポップ・アウト要素の空間的場所を各フレームに対して求めることができる。したがって、ビデオ画面が特定の場所にある時、たとえば、そのビデオ画面の前面または側面または上または下にあるビデオのポップ・アウト要素の部分をディスプレイ上でレンダーすることができる。したがって、そのビデオ画面上で見られているものとコンピュータ・グラフィックスのポップ・アウト要素との間のマッチを実現することができる。
【0020】
この実施形態を実装するためのプロセスが図5の中でフローチャートの形式で示されている。図5に示されているプロセスに入る前に、そのビデオ面からポップ・アウトしなければならないすべての要素を含んでいる三次元の世界が、あらかじめ生成されてメモリの中に格納されていなければならないことに留意されたい。また、その三次元の世界の内部のビデオ画面のロケーションを記述する空間的情報もそのビデオのフレームに関連付けられてメモリの中に格納されていなければならない。
【0021】
ユーザが見るためのビデオを選択し、そのビデオの最初のフレームがユーザに対して表示される時に、ステップ501からこのプロセスに入る。ステップ503において、表示されるべきビデオ・フレームが呼び出される。これはポインタによってポイントされているフレームを表しているデータを呼び出すことによって行うことができる。そのようなフレーム・ポインタはそのビデオの最初のフレームをポイントするために、たとえば、ステップ501によって最初に設定されている。ステップ505において、三次元の世界の内部のビデオ画面の場所が決定される。注記されたように、そのような情報はたとえば、そのビデオ画面が一定のレートの速度で移動している場合に暗黙に含めることができるが、あるいはそのビデオ・フレームに関連付けられている別の情報の中に入れておくことができる。次に、ステップ507において、ポップ・アウト要素の見える部分が現在のビデオ面の場所およびユーザの視点の関数として決定される。
【0022】
その後、ステップ507および509が実質的に並列に実行される。実行されるべき並列性の程度は、そのフレームが表示されている間にそのポップ・アウトされるオブジェクトが表示され、したがって、ユーザがそれらを同時に一緒に表示されているように感じるような程度でなければならない。ステップ507において、各ポップ・アウト要素の決定された見える部分がレンダーされる。そのビデオ・フレームはステップ509において表示される。次に、制御はステップ507および509の両方からステップ511へ移行する。ステップ511において、次のビデオ・フレームがある場合は、そこへ進められる。これはそのフレーム・ポインタの値をインクリメントするか、あるいは、さもなければ更新することによって行うことができる。その後、制御はステップ503へ戻り、そしてプロセスは上記のように継続する。
【0023】
上記の説明は三次元の世界の内部のビデオ画面の場所を決定する、表示されるべきビデオ・フレームが設定されていることを仮定している。しかし、その逆も行うことができる。すなわち、三次元の世界の内部でのビデオ画面の場所が設定され、そしてこれによってどのビデオ・フレームが表示されるべきかが決定される。それを行うために、どのビデオ・フレームが次に表示されるべきかが決定されるステップ501または511において、三次元世界の内部でのそのビデオ画面の所望の場所が確認される。この場所はユーザ入力の関数として指定することができる。たとえば、表示中の画面が自転車に乗っているユーザのビューに対応している場合、そのビデオ画面の場所はそのユーザが自転車に乗っていることを検出する、静止した自転車に取り付けられているセンサによって決定することができる。フレームの場所を識別する情報のサーチはその画面の現在の場所に対応しているフレームを決定するために行われ、そしてフレーム・ポインタがそのフレームをポイントするように設定される。
【0024】
どのフレームが表示されるかを決定する各種の方法を別々に使うことができる。あるいは、実装中のアプリケーションの必要に応じて、それらを混合して使うことができる。
【0025】
ポップ・アウト要素が表示されることはないことが分かっているフレームには、メモリ内に格納された三次元世界の内部でのビデオ画面の場所を記述する空間的な情報を関連付ける必要はない。そのビデオは単純にビデオ画面に表示され、レンダーされるポップ・アウト要素はない。
【0026】
三次元の世界のモデル以外に、フレーム、およびそれに関連付けられた情報などのあらかじめ記録されている情報を異なるセグメントの中に記憶することができる。そのようなセグメントは、たとえば、単独のコンピュータの内部の単独の物理的ロケーションに置くか、あるいはネットワークによって接続されている各種のコンピュータなどの中に、異なる物理的ロケーションにおいて、本発明の実施形態で使えるようにすることができる。さらに、表示を発生するための情報を処理する要素を単独のコンピュータの内部に含めることができるが、必ずしもそうする必要はない。
【0027】
本発明の原理に従って、ビデオからポップ・アウトしてコンピュータ・グラフィックス部分の世界に入るオブジェクトを「調査する」ことができる1つの方法は、ユーザによる1つのそのようなオブジェクトの選択の指示を受信し、それに応答して、その選択されたオブジェクトに対する追加の情報をユーザに提供することによって行う方法である。たとえば、ポイントおよびクリック選択のシステムなどの、オブジェクトを選択しているビューワに応答してディスプレイ画面上に追加の情報を表示することができる。そのような選択システムの最も普通のタイプのものは、マウス、トラックボールおよびタッチ・パッドである。代わりに、ユーザの選択に応答して、追加の情報を含んでいる新しいウィンドウをビデオ・ディスプレイ上に重ねて表示することができる。これを行うことができるもう1つの方法は、ユーザによるそのようなオブジェクトの選択の指示を受信し、それに応答して、選択されたオブジェクトの範囲内でユーザが探索できるようにする方法である。これは探索中の世界またはその外部の世界のコンテキストの範囲内で行うことができる。これを行うことができる1つの方法は、CG部分の世界の中のオブジェクトに関連付けられたユニホーム・リソース・ロケータ(URL)を備えることによる方法である。そのオブジェクトがビューワによって選択されると、そのビューワはそのURLに対応しているページまたはファイルへ誘導される。代わりに、そのビューワはそのさらに探索されるオブジェクトに対応する別の世界のモデルへジャンプすることができる。
【0028】
たとえば、ユーザが上記のように、フランスのパリのシャンゼリゼ通りを自転車に乗って通っている場合、そしてその自転車に乗った人が凱旋門を通り過ぎる時、それはビデオからポップ・アウトし、ユーザはそのポップ・アウトされた凱旋門の上でクリックすることができる。それはその時点ではコンピュータ・グラフィックス部分の世界にあり、それに関する歴史的情報を得て、たとえば、それを画面上の1つのウィンドウの中に表示することができる。代わりに、そのユーザが自転車に乗っている化身として表現されている場合、そのユーザの化身はマウスのクリックなどの適切なコマンドに応答して自転車から降りてさらに凱旋門を探索するようにすることができ、たとえば、その中に入って一組の階段を登り、そして1つまたはそれ以上の視点から外を眺めることができる。そのユーザは次に自分の化身が自転車に戻って、ビデオ画面のビデオとして二次元だけで表現されているユーザの視点から離れた世界の部分および、コンピュータ・グラフィックスとしての残りの世界があるような世界において旅行を続けるようにすることができる。凱旋門の内部の説明はそのビデオからポップ・アウトするために採用される情報または凱旋門の内部の必要な説明をポイントしている情報、たとえば、別の「世界」またはURLに対するポインタを、ビデオから凱旋門をポップ・アウトするために採用される情報に直接に関連付けておくことができる。
【0029】
もう1つの例として、ユーザはビデオからポップ・アウトされた店に入り、その中でバーチャル・ショッピングを行うことができる。本発明の1つの態様によれば、実際に入る特定の店をユーザごとのベースでカスタマイズすることができる。したがって、たとえば化身など、同じコースを辿っていて、そのビデオからポップ・アウトした店またはベンダー・カートの同じ表現を見ている異なるユーザに対して、そのユーザにサービスしてバーチャル・ショッピング・サービスを彼に提供する特定のベンダーが誰であるかを、ユーザごとに異なるようにすることができる。本発明の1つの態様によれば、特定のベンダーはそのユーザの実際の地理的な場所の関数として、あるいはそのユーザに関連付けられている特定の場所の関数として選択されるようにすることができる。同じ世界を一緒に且つ同時に探索している二人以上のユーザ、たとえば、一緒に自転車に乗っている二人の友達は本発明の1つの態様によれば、それぞれの友達がたとえば、それぞれの個人の地理的な場所の関数として、異なるベンダーによってサービスされるようにすることができる。代わりに、二人以上のユーザがいる場合、そしてそのようなユーザは本発明の1つの態様に従って、それぞれの場所の関数として、たとえば、異なるベンダーによってサービスされることになる場合、そのようなユーザは彼らのうちのサブセットまたはすべてが単独のベンダーによってサービスされる必要があることを指定することができる。
【0030】
本発明のもう1つの態様によれば、1つの仮想店舗の経営者、あるいは彼の代表者、たとえば、電子エージェントが、その付近にいる二人以上の人の化身が、たとえば、店の化身の前を通過するのを検出した時、そのような通行人に対する仮想店舗に対応するそのような経営者の店の化身は、そのような通行人に対して宣伝公告などのメッセージ送信するか、あるいは、たとえば、チャット・サービスまたは音声通信チャネルなどの通信チャネルの開設などの他の通信をそのような通行人と一緒に開始することができる。その通信は一般的な性質のものとすること、あるいはその通行人に関して利用できる関数としてカスタマイズすることができる。コミュニティのフィーリングをバーチャル環境において醸し出すことができるので有利である。
【0031】
図6は本発明の態様を実装することができるプロセスのステップを示している。図6のプロセスにはステップ601から入る。このステップは、たとえば、図4のステップ411または図5のステップ507の実行完了後に入る。その後、ステップ603において、ビューワとそのポップ・アウトされるオブジェクトとの間の許可されている対話をサポートするために必要であって、そのオブジェクトのコンピュータ・グラフィックスの視覚的モデルを単純に発生するのに必要な情報より多い追加の情報が呼び出される。そのような情報はビデオからオブジェクトをポップ・アウトするために使われる、そのビデオに付随している情報と一緒に含めることができる。ステップ605において、そのオブジェクトに関連付けられている地理的機能が決定される。たとえば、そのビデオからポップ・アウトされるオブジェクトが、たとえば、ニューヨーク市の中のセントラル・パークの周りをサイクリングしている時に見つけることができるようなベンダーのカートであった場合、その地理的機能はそのベンダー・カートから入手できるのと同じ種類のフードをサービスするタイプのレストランを指定することができる。そのようなフードは、たとえば、フランクルフルタ、ハンバーガ、ソーダおよびスナックなどがあり得る。そのカートに対応するレストランのタイプが次にそのユーザの実際の世界、たとえば、ネブラスカ州のオマハにおける実際の物理的場所と一緒に使われ、同じタイプのフードを扱っていて、配達サービスを提供している地方のレストランを決定するために使われる。そのカートを調べることによって提供される情報は、その決定されたレストランに対応している情報、たとえば、それに対するメニュー選択および価格に対してリンクされている。そのビューワはカート上にオブジェクトを維持することによって、そのレストランから1つのアイテムを注文することができ、そしてそのレストランは次にそれらを直接そのビューワに対して配達することができる。有利なことに、違う実世界の場所にいるが、仮想の世界と結合して交渉しているユーザは実質的に同じサービスが提供され、仮想の世界における彼らの経験を高めることができる。そのオブジェクトが関係付けられるレストランが2つ以上ある時、そのオブジェクトの決定はユーザ・プロファイルの中に格納しておくことができ、そのユーザに関する知識に依存して行うこともできる。
【0032】
次に、ステップ607において、ポップ・アウトされたオブジェクトと1つのエンティティ(上記のように地理的に決定することができている)との間の通信チャネルをイネーブルすることができる。たとえば、ポップ・アウトされたオブジェクトが上記のベンダー・カートであった場合、通信チャネルがその対応しているレストラン、またはそれに対するエージェントに対して開かれる。そのレストランは「ホット・ドッグおよびコールド・ソーダをここでお買い求め下さい」というようなメッセージを送信することができる。そのメッセージはテキストから音声への変換を使うか、あるいは直接送信される音声の表現を備えるかのいずれかによってそのカートの後のベンダーの化身がそのメッセージをしゃべることによって示すことができる。いわゆる「チャット」サービスを使って、ビューワとベンダーとの間の双方向通信を行うことができる。
【0033】
通信チャネルを開設することができる別のオブジェクトの例として、広告掲示板(billboard) がある。そのような広告掲示板はいくつかの方法のうちの1つで動作することができる。たとえば、その広告掲示板は、ポップ・アウトされた時、潜在的な顧客が近づいたことを広告者に知らせることができ、それに応答して、その広告者は本発明の1つの態様に従ってその広告掲示板に対してメッセージを直ちに送信することができる。選択された特定の広告者をすべてのビューワに対して全世界的に固定することができる。あるいは、それを各ビューワに対して地理的に決定することができる。代わりに、広告掲示板はポップ・アウトされた時、潜在的な顧客が近づいたことを広告者に知らせることができ、そしてその広告者は本発明の1つの態様に従って、そのビューワに関してそれに対して送ることができる情報をレビューした後、広告者がそうしたければ、その広告掲示板に対してメッセージを送信するようにすることができる。
【0034】
このプロセスはステップ609において脱出し、そして次に図4および5のプロセスを再開することができる。
【0035】
図6のプロセスは1つのフレームのタイム・スパンの範囲内で発生するように限定される必要はない。
【0036】
この分野における通常の技術を有する人であれば、世界の共同探索のシミュレーションは本発明の原理を採用することができることが分かる。たとえば、1つの世界を探索しているユーザは自動車の乗車、ボートへの乗船、飛行機への搭乗、列車への乗車および飛行船への乗船などを一緒に行うことができる。ローボードへの乗船はそのユーザによって見られる世界の画像にコーディネートされている、ローイング・マシンを備えているユーザに対して提供することができる。代わりに、そのユーザは世界中を一緒に歩くことができ、たとえば、各ユーザはそのユーザ達によって見られる世界の画像と一緒にコーディネートされている自分自身の踏み車の上を歩く。同様に、複数のユーザがスキーを一緒にすることができる。たとえば、各ユーザはその複数のユーザによって見られる画像と一緒にコーディネートされている、ノルディックトラック(Nordictrak)などのスキー用のシミュレート・マシン上にいる。
【0037】
さらに、ショッピングの他に、他の形の商用のトランザクションを連動させることができる。たとえば、仮想のハイウェーを自動車で走っている複数のユーザは、画面からポップ・アウトする料金徴収所のブースに出会う可能性があり、そしてその世界の探索が許される前にユーザのうちの少なくとも一人が料金を支払わなければならない。同様に、複数のユーザが仮想アミューズメント・パークまたは仮想サファリなどの1つのアトラクションに接近することができる。ビデオ画面上に現われるチケット・ブースがそのビデオ画面からポップ・アウトすることがあり、そしてユーザはそのアトラクションに進むためにチケットをそれぞれ購入するか、あるいは彼らのために配送させるかして取得しなければならない。
【0038】
これまでの説明は本発明の原理を単に示しているに過ぎない。したがって、この分野の技術に熟達した人であれば、ここに明示的には説明あるいは表示されてはいないが、本発明の原理を具体化し、そしてその精神および適用範囲内に含まれている各種の構成を工夫することができることを理解されたい。
【図面の簡単な説明】
【図1】ビデオから「ポップ・アウト」してそのビデオ画面の前面において、あるいはその側面において見えるようになっているビデオ・オブジェクトの一例を示す。
【図2】ビデオから「ポップ・アウト」してそのビデオ画面の前面において、あるいはその側面において見えるようになっているビデオ・オブジェクトの一例を示す。
【図3】ビデオから「ポップ・アウト」してそのビデオ画面の前面において、あるいはその側面において見えるようになっているビデオ・オブジェクトの一例を示す。
【図4】オブジェクトの投影される運動が三次元の世界の中にあるべきであるために、コンピュータ・グラフィックス技法を使って、たとえば、そのオブジェクトがビデオの面から「ポップ・アウトする」ように表示される、ビデオ面によって表現される視野の内部にあるオブジェクトが処理されるプロセスの一例を示す。
【図5】オブジェクトの投影された運動が三次元の世界の中にあるべきであるために、コンピュータ・グラフィックス技法を使って表示されるように、ビデオ面によって表されている視野の内部のオブジェクトが処理される、他のプロセスの実施形態を示す。
【図6】本発明を実装することができるプロセスのステップを示す
Claims (44)
- 三次元画像の世界の中のオブジェクトに関する追加の情報にアクセスし、該追加の情報を表示するのに用いる方法であって、該世界は該世界におけるビューワの視界に従って形成され、該世界の第1の部分はコンピュータ・グラフィックスとしてモデル化され、該世界の第2の部分はビデオによって表現されていて、該ビデオは該世界の該第1の部分に存在するビデオ・スクリーン上に表示された画像のシークエンスで構成されたものであって、該画像は該ビデオ内の時間または該世界中のビューワの視点の移動に応じて切り替えられ、該ビデオは複数のオブジェクトを表示し、該方法が、
該ビデオ・スクリーン上の該ビデオの部分として表現されているオブジェクトが、該ビデオ内の時間または該ビューワの視点の移動に応じて、該ビデオ・スクリーンの外の場所へと移動し、該オブジェクトが該ビデオ・スクリーン上にもはや表示できなくなったことを判定する段階と、
該判定に応答して、該オブジェクトの表現をビデオ表現からコンピュータ・グラフィックスとしてモデル化される表現へ変更し、該オブジェクトを該世界の該第1の部分に表示することにより、該ビデオ・スクリーン上に該オブジェクトが存在しなくても、該オブジェクトが該世界において可視であり続けるようにする段階と、
該オブジェクトの表現がコンピュータ・グラフィックスとしてモデル化されている場合にユーザの意図する該オブジェクトの選択の指示を受信する段階と、
該選択されたオブジェクトに関する追加の情報にアクセスし、該追加の情報を表示する段階とからなることを特徴とする方法。 - 請求項1に記載の方法において、該オブジェクトが広告掲示板であることを特徴とする方法。
- 請求項1に記載の方法において、該オブジェクトが店舗であることを特徴とする方法。
- 請求項1に記載の方法において、該オブジェクトがベンダー・スタンドであることを特徴とする方法。
- 請求項1に記載の方法において、該オブジェクトがガレージ・セールであることを特徴とする方法。
- 請求項1に記載の方法において、該追加の情報が該世界の該ビューワの指定されたパラメータに基づいて決定されることを特徴とする方法。
- 請求項1に記載の方法において、該追加の情報が該世界の該ビューワの実世界における場所に基づいて決定されることを特徴とする方法。
- 請求項1に記載の方法において、該追加の情報が該世界の該ビューワの実世界における場所とは独立に決定されることを特徴とする方法。
- 請求項1に記載の方法において、該追加の情報が該世界の該ビューワの好みに基づいて決定されることを特徴とする方法。
- 請求項1に記載の方法において、該オブジェクトが該世界の該ビューワの実世界における場所に基づいて複数の店舗のうちから選択された1つの店舗であり、該追加の情報は該店舗における販売のためのオブジェクトに関連していることを特徴とする方法。
- 請求項1に記載の方法において、該オブジェクトが該ビューワの指定されたパラメータに基づいて複数の店舗のうちから選択された1つの店舗であり、該追加の情報は該店舗における販売のためのオブジェクトに関連していることを特徴とする方法。
- 請求項1に記載の方法において、該世界のビューワと該追加の情報に基づいて定義された場所との間の通信チャネルを開設する段階をさらに含むことを特徴とする方法。
- 請求項1に記載の方法において、該追加の情報が該世界の該ビューワの実世界における場所に基づいて決定され、該世界のビューワと該追加の情報の別に基づいて定義される場所との間で通信チャネルを開設する段階をさらに含むことを特徴とする方法。
- 三次元画像の世界を探索している複数のユーザによって使うための方法であって、該世界は該複数のユーザの各々が使用する複数の端末の各々において表示されており、該世界は該世界におけるユーザの視界に従って形成され、該世界の第1の部分がコンピュータ・グラフィックスとしてモデル化され、そして該世界の第2の部分がビデオによって表現されていて、該ビデオは、該世界の該第1の部分に存在するビデオ・スクリーン上に表示された画像のシークエンスで構成されたものであって、該画像は該ビデオ内の時間または該世界中のユーザの視点移動に応じて切り替えられ、該ビデオは複数のオブジェクトを表示し、該方法が、
該ビデオ・スクリーン上の該ビデオの部分として表現されているオブジェクトが、該ビデオ内の時間または該複数のユーザ内の少なくとも一人の視点の移動に応じて、該ビデオ・スクリーンの外の場所へと移動し、該オブジェクトが該ビデオ・スクリーン上にもはや表示できなくなったことを判定する段階と、
該判定に応答して、該オブジェクトの表現をビデオ表現からコンピュータ・グラフィックスとしてモデル化される表現へ変更し、該オブジェクトを該世界の該第1の部分に表示することにより、該ビデオ・スクリーン上に該オブジェクトが存在しなくても、該オブジェクトが該世界において可視であり続けるようにする段階と、
該オブジェクトの表現がコンピュータ・グラフィックスとしてモデル化されている場合にユーザの意図する該オブジェクトの選択の指示を受信する段階と、
該複数のユーザのうちの少なくとも2つの異なるサブセットに、該選択されたオブジェクトに関する追加の情報を送信する段階とを含み、
該複数のユーザの該少なくとも2つの異なるサブセットのうちの1つに供給される該選択されたオブジェクトに関する該追加の情報が、該複数のユーザの該少なくとも2つの異なるサブセットのうちの別のものに供給される該選択されたオブジェクトに関する追加の情報とは異なっていることを特徴とする方法。 - 請求項14に記載の方法において、該オブジェクトが1つの仮想の店舗であって、該複数のユーザの該少なくとも2つの異なるサブセットのうちの該1つに供給される該追加の情報が第1の実世界の店舗に関連しており、該複数のユーザのうちの該少なくとも2つの異なるサブセットの該他のものに供給される該追加の情報が第2の実世界の店舗に関連していて、該第1および第2の店舗は異なっていることを特徴とする方法。
- 請求項14に記載の方法において、該複数のユーザの該少なくとも2つの異なるサブセットにおける該1つおよび、該複数のユーザの該少なくとも2つの異なるサブセットのうちの該他のサブセットに実際に供給される該追加の情報が、該1つのサブセットおよび該他の異なるサブセットに関連して定義されているパラメータに基づいて決定されることを特徴とする方法。
- 三次元画像の世界の中のオブジェクトに関する追加の情報にアクセスし、追加の情報を表示する際に使うための方法であって、該世界は該世界におけるユーザの視界に従って形成され、該世界の第1の部分はコンピュータ・グラフィックスとしてモデル化され、該世界の第2の部分はビデオによって表現されていて、該ビデオは、該世界の該第1の部分に存在するビデオ・スクリーン上に表現された画像のシークエンスで構成されたものであって、該画像は該ビデオ内の時間または該世界中のユーザの視点の移動に応じて切り替えられ、該ビデオは複数のオブジェクトを表示し、該方法が、
該ビデオ・スクリーン上の該ビデオの部分として表現されているオブジェクトが、該ビデオ内の時間または該ユーザの視点の移動に応じて、該ビデオ・スクリーンの外の場所へと移動し、該オブジェクトが該ビデオ・スクリーン上にもはや表示出来なくなったことを判定する段階と、
該判定に応答して、該オブジェクトの表現をビデオ表現からコンピュータ・グラフィックスとしてモデル化される表現へ変更し、該オブジェクトを該世界の該第1の部分に表示することにより、該ビデオ・スクリーン上に該オブジェクトが存在しなくても、該オブジ ェクトが該世界において可視であり続けるようにする段階と、
該オブジェクトの表現がコンピュータ・グラフィックスとしてモデル化されている場合に、該世界の該第1の部分の中の該オブジェクトの指定された距離の範囲内に仮想の該ユーザが存在する時に該世界の該ユーザと該オブジェクトに関する追加の情報に基づいて定義された場所との間に通信チャネルを開設する段階とを含むことを特徴とする方法。 - 請求項17に記載の方法において、該通信チャネルは該世界の中の仮想のディスプレイに接続することを特徴とする方法。
- 請求項17に記載の方法において、該通信チャネルは該世界の中の仮想の広告掲示板に接続することを特徴とする方法。
- 請求項17に記載の方法において、該通信チャネルは、該ユーザと該オブジェクトを代表するアクターとを接続することを特徴とする方法。
- 請求項20に記載の方法において、該アクターは該オブジェクトを表している自律的なエージェントであることを特徴とする方法。
- 請求項17に記載の方法において、該通信チャネルは該世界の第1の部分の中の仮想の広告として表されることを特徴とする方法。
- 請求項17に記載の方法において、該通信チャネルは音声チャネルであることを特徴とする方法。
- 請求項17に記載の方法において、該通信チャネルはデータ・チャネルであることを特徴とする方法。
- 請求項17に記載の方法において、該通信チャネルはチャット・セッションであることを特徴とする方法。
- 三次元画像の世界の中のオブジェクトに関する追加の情報にアクセスし、該追加の情報を表示する際に使う方法であって、該世界は該世界におけるユーザの視界に従って形成され、該世界の第1の部分がコンピュータ・グラフィックスとしてモデル化され、該世界の第2の部分がビデオによって表現され、該ビデオは、該世界の該第1の部分に存在するビデオ・スクリーン上に表現された画像のシークエンスで構成されたものであって、該画像は該ビデオ内の時間または該世界中のユーザの視点移動に応じて切り替えられ、該ビデオは複数のオブジェクトを表示し、該世界が複数のユーザによって探索され、該方法が、
該ビデオ・スクリーン上の該ビデオの部分として表現されているオブジェクトが、該ビデオ内の時間または該ユーザの視点の移動に応じて、該ビデオ・スクリーンの外の場所へと移動し、該オブジェクトが該ビデオ・スクリーン上にもはや表示できなくなったことを判定する段階と、
該判定に応答して、該オブジェクトの表現をビデオ表現からコンピュータ・グラフィックスとしてモデル化される表現へ変更し、該オブジェクトを該世界の該第1の部分に表示することにより、該ビデオ・スクリーン上に該オブジェクトが存在しなくても、該オブジェクトが該世界において可視であり続けるようにする段階と、
該オブジェクトの表現がコンピュータ・グラフィックスとしてモデル化されている場合に、該世界の該第1の部分の中の該オブジェクトの指定された距離の範囲内に仮想の該ユーザが存在する時に該複数のユーザと該オブジェクトに関する追加の情報に基づいて定義された複数の場所との間に複数の通信チャネルを開設する段階とを含むことを特徴とする方法。 - 請求項26に記載の方法において、該通信チャネルのうちの第1のチャネルは、該ユーザと該オブジェクトによって表される第1の実世界の事象を代表するアクターとを接続し、該通信チャネルのうちの第2のチャネルは、該ユーザと該オブジェクトによって表現される第2の実世界の事象を代表するアクターとを接続し、該第1のアクターと第2のアクターとは異なっていることを特徴とする方法。
- 請求項26に記載の方法において、該複数の通信チャネルのうちの第1の通信チャネルは該世界の中の第1の仮想の広告掲示板に接続して、該第1の仮想の広告掲示板上に第1のメッセージを表示するために該第1のメッセージを搬送し、該複数の通信チャネルのうちの第2の通信チャネルは該世界の中の第2の仮想の広告掲示板に接続して、該第2の仮想の広告掲示板上に第2のメッセージを表示するために該第2のメッセージを搬送し、該第1のメッセージは該第2のメッセージとは異なっていることを特徴とする方法。
- 請求項26に記載の方法において、該複数の通信チャネルのうちの第1の通信チャネルは、該複数のユーザのうちの第1のユーザと該オブジェクトを代表するアクターとを接続し、該複数の通信チャネルのうちの第2の通信チャネルは、第2のユーザと該オブジェクトを代表する別のアクターとを接続し、該第1のアクターは該第2のアクターとは異なっていて、該第1および第2のアクターのそれぞれが該オブジェクトによって該世界の中にそれぞれ表現されそれぞれ異なる実世界の事象を表していることを特徴とする方法。
- 三次元画像の世界のビューを処理する際に使うための方法であって、該世界は該世界におけるビューワの視界に従って形成され、該世界の第1の部分はコンピュータ・グラフィックスとしてモデル化され、該世界の第2の部分はビデオによって表現されていて、該ビデオは、該世界の該第1の部分に存在するビデオ・スクリーン上に表現された画像のシークエンスで構成されたものであって、該画像は該ビデオ内の時間または該世界中のビューワの視点移動に応じて切り替えられ、該ビデオは複数のオブジェクトを表示し、該方法が、
該ビデオ・スクリーン上の該ビデオの部分として表現されているオブジェクトが、該ビデオ内の時間または該ビューワの視点の移動に応じて、該ビデオ・スクリーンの外の場所へと移動し、該オブジェクトが該ビデオ・スクリーン上にもはや表示できなくなったことを判定する段階と、
該判定に応答して、該オブジェクトの表現をコンピュータ・グラフィックスとして表し、該オブジェクトを該世界の該第1の部分に表示することにより、該オブジェクトが該ビデオ・スクリーン上に存在しなくても、該オブジェクトが該世界において可視であり続けるようにする段階と、
該オブジェクトの表現がコンピュータ・グラフィックスとしてモデル化されている場合に、該オブジェクトに対して外部である視点を有している該ビューワに対して、該コンピュータ・グラフィックスとして該オブジェクトを表示するためには必要とされない該オブジェクトに関する追加の情報にアクセスし、該追加の情報を表示する段階とを含むことを特徴とする方法。 - 請求項30に記載の方法において、該オブジェクトの該表現をコンピュータ・グラフィックスとしてあらかじめ格納しておく段階をさらに含むことを特徴とする方法。
- 請求項30に記載の方法において、該追加の情報を該ビューワに対して表示する段階をさらに含むことを特徴とする方法。
- 請求項30に記載の方法において、該追加の情報を該ビューワに対して該コンピュータ・グラフィックスとは区別されるウィンドウの中に表示する段階をさらに含むことを特徴とする方法。
- 請求項30に記載の方法において、該ビデオは該オブジェクトの1つの外部ビューを表示しており、該追加の情報は該オブジェクトの内部ビューを発生するための情報を含むことを特徴とする方法。
- 三次元画像の世界のビューを処理する際に使うための方法であって、該世界は該世界におけるビューワの視界に従って形成され、該世界の第1の部分はコンピュータ・グラフィックスとしてモデル化され、該世界の第2の部分は該世界の該第1の部分に存在するビデオ・スクリーン上に表示されているビデオによって表現されていて、該ビデオは、画像のシークエンスによって構成されていて、該画像は該ビデオ内の時間または該世界中のビューワの視点移動に応じて切り替えられ、該方法が、
該ビデオ・スクリーン上の該ビデオの部分として表現されているオブジェクトが、該ビデオ内の時間または該ビューワの視点の移動に応じて該ビデオ・スクリーンの外の場所へと移動し、該オブジェクトが該ビデオ・スクリーン上にもはや表示できなくなったことを判定する段階と、
該判定に応答して、該オブジェクトの表現をコンピュータ・グラフィックスとして表し、該オブジェクトを該世界の該第1の部分に表示することにより、該オブジェクトが該ビデオスクリーン上に存在しなくても、該オブジェクトが該世界において可視であり続けるようにする段階と、
該オブジェクトの表現がコンピュータ・グラフィックスとしてモデル化されている場合に、該オブジェクトがコンピュータ・グラフィックスとしてモデル化されている該場所へ移動した際に表されたコンピュータ・グラフィックスとしての該オブジェクトの表現のビュー以外の、該オブジェクトに関する他の情報に該ビューワがアクセスできるように、コンピュータ・グラフィックスとしての該オブジェクトについてのデータ構造を構成する段階とを含むことを特徴とする方法。 - 三次元画像の世界の中のオブジェクトに関する追加の情報にアクセスする際に使うための方法であって、該世界は該世界のビューワの視界に従って形成され、該世界の第1の部分はコンピュータ・グラフィックスとしてモデル化され、該世界の第2の部分はビデオによって表現されていて、該ビデオは、該世界の該第1の部分に存在するビデオ・スクリーン上に表現された画像のシークエンスで構成されたものであって、該画像は該ビデオ内の時間または該世界中のビューワの視点移動に応じて切り替えられ、該ビデオは複数のオブジェクトを表示し、該方法が、
該ビデオ・スクリーン上の該ビデオの部分として表現されているオブジェクトが、該ビデオ内の時間または該ビューワの視点の移動に応じて、該ビデオ・スクリーンの外の場所へと移動し、該オブジェクトが該ビデオ・スクリーン上にもはや表示できなくなったことを判定する段階と、
該判定に応答して、該オブジェクトの表現をビデオ表現からコンピュータ・グラフィックスとしてモデル化されている表現へ変更し、該オブジェクトを該世界の該第1の部分に表示することにより、該オブジェクトが該ビデオスクリーン上に存在しなくても、該オブジェクトが該世界において可視であり続けるようにする段階と、
該ビデオによって表現されたオブジェクトがコンピュータ・グラフィックスとしてモデル化されている該場所へ移動した際に変更されたコンピュータ・グラフィックスとしての該オブジェクトの表現のビュー以外の、該オブジェクトに関する他の情報に該ビューワがアクセスできるように、コンピュータ・グラフィックスとしての該オブジェクトについてのデータ構造を構成する段階とを含むことを特徴とする方法。 - 請求項36に記載の方法において、
該ビューワによる該オブジェクトの選択の指示を受信する段階と、
該選択されたオブジェクトに関する該追加の情報にアクセスする段階とをさらに含むことを特徴とする方法。 - 請求項37に記載の方法において、該追加の情報が別のウィンドウの中に表示されることを特徴とする方法。
- 請求項37に記載の方法において、該追加の情報は該オブジェクトの内部ビューを定義することを特徴とする方法。
- 請求項37に記載の方法において、該追加の情報は該オブジェクトを実世界のオブジェクトと関係付けるために使われることを特徴とする方法。
- 請求項37に記載の方法において、該追加の情報は、該オブジェクトを実世界のオブジェクトに、該オブジェクトのビューワの実世界の場所に基づいて関係付けるために使われることを特徴とする方法。
- 請求項37に記載の方法において、該追加の情報は、該オブジェクトを実世界のオブジェクトに、該オブジェクトのビューワの好みに基づいて関係付けるために使われることを特徴とする方法。
- 請求項37に記載の方法において、該追加の情報は、該オブジェクトのビューワの実世界の場所に基づいて、該オブジェクトと実世界のオブジェクトとの間の通信チャネルを確立するために使われることを特徴とする方法。
- 請求項37に記載の方法において、該追加の情報は、該オブジェクトと実世界のオブジェクトとの間の通信チャネルを確立するために使われ、該実世界のオブジェクトは該オブジェクトのビューワの実世界の場所に基づいて選択されることを特徴とする方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US5538497P | 1997-08-04 | 1997-08-04 | |
US60/055384 | 1997-09-26 | ||
US08/938,304 US6256043B1 (en) | 1997-09-26 | 1997-09-26 | Three dimensional virtual reality enhancement techniques |
US08/938304 | 1997-09-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11134084A JPH11134084A (ja) | 1999-05-21 |
JP3592541B2 true JP3592541B2 (ja) | 2004-11-24 |
Family
ID=26734159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22012198A Expired - Fee Related JP3592541B2 (ja) | 1997-08-04 | 1998-08-04 | 三次元バーチャル・リアリティを改善する方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP0899691B1 (ja) |
JP (1) | JP3592541B2 (ja) |
CA (1) | CA2242170C (ja) |
DE (1) | DE69800884T2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU6377100A (en) * | 1999-07-28 | 2001-02-19 | Perceptual Robotics, Inc. | Method and apparatus for remote location shopping over a computer network |
EP1085440A3 (en) * | 1999-09-20 | 2003-11-26 | Ncr International Inc. | Information gathering and personalisation techniques |
EP1085438A3 (en) * | 1999-09-20 | 2003-12-03 | Ncr International Inc. | Information gathering and personalisation techniques |
DE19958609A1 (de) * | 1999-12-06 | 2001-06-07 | Duester Hans Uwe | Verfahren zur Präsentation von Angeboten, wie Waren und Dienstleistungen |
CA2403006A1 (en) * | 2000-03-10 | 2001-09-20 | Tal Kerret | Natural user interface for virtual reality shopping systems |
KR20020007052A (ko) * | 2000-07-15 | 2002-01-26 | 이종구 | 3차원 입체적 사이버 쇼핑몰 시스템 |
EP1197898A3 (en) * | 2000-09-05 | 2004-02-04 | Ncr International Inc. | Information gathering and personalisation techniques |
JP2009026283A (ja) * | 2007-07-23 | 2009-02-05 | Masazumi Fukuda | バーチャル(仮想)旅行 |
TWI411292B (zh) * | 2009-12-17 | 2013-10-01 | Chien Hui Chuan | 實景虛擬化的編碼方法 |
US8566325B1 (en) | 2010-12-23 | 2013-10-22 | Google Inc. | Building search by contents |
US20120162225A1 (en) * | 2010-12-23 | 2012-06-28 | Google Inc. | View dependent techniques to determine user interest in a feature in a 3d application |
US9405770B2 (en) | 2014-03-10 | 2016-08-02 | Google Inc. | Three dimensional navigation among photos |
KR102440089B1 (ko) | 2018-01-22 | 2022-09-05 | 애플 인크. | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
CN109461210B (zh) * | 2018-10-15 | 2023-03-21 | 杭州群核信息技术有限公司 | 一种在线家装的全景漫游方法 |
WO2022264846A1 (ja) * | 2021-06-15 | 2022-12-22 | 至 石井 | 仮想旅行システム、仮想集会システムおよび通信端末 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4970666A (en) * | 1988-03-30 | 1990-11-13 | Land Development Laboratory, Inc. | Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment |
FR2675977B1 (fr) * | 1991-04-26 | 1997-09-12 | Inst Nat Audiovisuel | Procede de modelisation d'un systeme de prise de vues et procede et systeme de realisation de combinaisons d'images reelles et d'images de synthese. |
GB2256567B (en) * | 1991-06-05 | 1995-01-11 | Sony Broadcast & Communication | Modelling system for imaging three-dimensional models |
US5577981A (en) * | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
-
1998
- 1998-06-30 CA CA002242170A patent/CA2242170C/en not_active Expired - Fee Related
- 1998-07-28 EP EP98305992A patent/EP0899691B1/en not_active Expired - Lifetime
- 1998-07-28 DE DE69800884T patent/DE69800884T2/de not_active Expired - Lifetime
- 1998-08-04 JP JP22012198A patent/JP3592541B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP0899691A2 (en) | 1999-03-03 |
DE69800884D1 (de) | 2001-07-12 |
EP0899691B1 (en) | 2001-06-06 |
JPH11134084A (ja) | 1999-05-21 |
CA2242170C (en) | 2002-11-05 |
EP0899691A3 (en) | 1999-12-08 |
CA2242170A1 (en) | 1999-02-04 |
DE69800884T2 (de) | 2001-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6256043B1 (en) | Three dimensional virtual reality enhancement techniques | |
JP3592541B2 (ja) | 三次元バーチャル・リアリティを改善する方法 | |
US20180137561A1 (en) | Virtual reality shopping experience | |
US7464344B1 (en) | Systems and methods for immersive advertising | |
KR102463019B1 (ko) | 현실과 가상이 융합된 융합공간에 경제 운용 체계를 제공하는 메타버스 시스템 | |
US7739086B2 (en) | Information delivering method | |
US20020154174A1 (en) | Method and system for providing a service in a photorealistic, 3-D environment | |
GB2404546A (en) | Viewing material in 3D virtual windows | |
JP2007500883A (ja) | 情報表示 | |
US20070186238A1 (en) | Method and apparatus for presenting ecommerce offerings using seamless panoramic streaming of video data | |
US20200257121A1 (en) | Information processing method, information processing terminal, and computer-readable non-transitory storage medium storing program | |
KR20000017845A (ko) | 지리정보에 의한 인터넷 예약 및 구매 시스템과 그 방법 | |
KR20000063161A (ko) | 3차원 지리정보시스템 기반의 실제거리 정보제공 방법과그 장치 및 3차원 지리정보시스템을 기반으로 하는전자상거래 방법 | |
CN109887099A (zh) | 一种ar与路牌相结合的互动展示方法 | |
WO2001040893A2 (en) | Method, system and apparatus for electronic face-to-face business and retail brokerage | |
US20080235630A1 (en) | Internet based seamless appearing transition method | |
WO2004003852A1 (ja) | インターネット経由の観光旅行システム | |
Schönböck et al. | MirrorBoard-an interactive billboard | |
AU742529B2 (en) | Display techniques for three dimensional virtual reality | |
KR20020039295A (ko) | 3차원 지리정보시스템을 이용한 전자 상거래방법 | |
WO2024205389A1 (en) | Integration of navigable street view and venue interior view | |
CN118269656A (zh) | 显示信息的显示方法、显示系统及存储介质 | |
WO2001022308A2 (en) | Computer-implemented method and system for selecting one or more required items from a virtual store | |
Peterson | Pervasive public map displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040825 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080903 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080903 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090903 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090903 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100903 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110903 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120903 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |