JPH11134084A - 三次元バーチャル・リアリティを改善する方法 - Google Patents
三次元バーチャル・リアリティを改善する方法Info
- Publication number
- JPH11134084A JPH11134084A JP22012198A JP22012198A JPH11134084A JP H11134084 A JPH11134084 A JP H11134084A JP 22012198 A JP22012198 A JP 22012198A JP 22012198 A JP22012198 A JP 22012198A JP H11134084 A JPH11134084 A JP H11134084A
- Authority
- JP
- Japan
- Prior art keywords
- world
- video
- computer graphics
- additional information
- modeled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 本発明は、現実味のある三次元バーチャル・
リアリティの経験を提供するための、コンピュータ・グ
ラフィックスとビデオとの統合化に関する技術を提供す
ることを目的とする。 【解決手段】 本発明は、ある部分がコンピュータグラ
フィックとしてモデル化され、他の部分がビデオによっ
て表現されている三次元世界の中にある１つのオブジェ
クトにアクセスするのに用いる方法であって、ビデオに
よって表現されているオブジェクトがコンピュータ・グ
ラフィックスとしてモデル化されている場所へ移動した
ことを判定する段階と、オブジェクトの表現をビデオ表
現からコンピュータ・グラフィックスとしてモデル化さ
れている表現へ変更する段階と、ユーザによるオブジェ
クトの選択の指示を受信する段階と、選択されたオブジ
ェクトに関する追加の情報にアクセスする段階とからな
ることを特徴とする。
リアリティの経験を提供するための、コンピュータ・グ
ラフィックスとビデオとの統合化に関する技術を提供す
ることを目的とする。 【解決手段】 本発明は、ある部分がコンピュータグラ
フィックとしてモデル化され、他の部分がビデオによっ
て表現されている三次元世界の中にある１つのオブジェ
クトにアクセスするのに用いる方法であって、ビデオに
よって表現されているオブジェクトがコンピュータ・グ
ラフィックスとしてモデル化されている場所へ移動した
ことを判定する段階と、オブジェクトの表現をビデオ表
現からコンピュータ・グラフィックスとしてモデル化さ
れている表現へ変更する段階と、ユーザによるオブジェ
クトの選択の指示を受信する段階と、選択されたオブジ
ェクトに関する追加の情報にアクセスする段階とからな
ることを特徴とする。
Description
【０００１】
【発明の分野】本発明は現実味のある三次元バーチャル
・リアリティの経験を提供するコンピュータ・グラフィ
ックスとビデオとの統合化に関する。
・リアリティの経験を提供するコンピュータ・グラフィ
ックスとビデオとの統合化に関する。
【０００２】
【発明の背景】三次元の世界をビューワ（見る人）に対
して表示することはかなりの計算力を必要とし、また、
そうするために必要な高度に詳細化されたモデルを開発
するのは通常は費用が掛かる。この問題を単純化するた
めに、遠方にある世界の一部分を二次元だけでビデオと
して１つの面上に、たとえば画面上に表示して表現する
ことができる。ビデオという言葉は普通の用語での使い
方、たとえば、フィルムに撮られた映画の電子バージョ
ンである、面上への所定の画像の配置または投影などを
意味する。したがって、そのような世界は本質的にその
ビデオが表示される画面の長さの範囲内に切り詰められ
る。そのような構成によって計算力およびコストを大幅
に削減することができる。
して表示することはかなりの計算力を必要とし、また、
そうするために必要な高度に詳細化されたモデルを開発
するのは通常は費用が掛かる。この問題を単純化するた
めに、遠方にある世界の一部分を二次元だけでビデオと
して１つの面上に、たとえば画面上に表示して表現する
ことができる。ビデオという言葉は普通の用語での使い
方、たとえば、フィルムに撮られた映画の電子バージョ
ンである、面上への所定の画像の配置または投影などを
意味する。したがって、そのような世界は本質的にその
ビデオが表示される画面の長さの範囲内に切り詰められ
る。そのような構成によって計算力およびコストを大幅
に削減することができる。
【０００３】ある米国特許出願に開示されている発明に
おいては、そのビデオによって表現される視野の内部の
オブジェクトがそのビデオによって表現されず、代わり
にコンピュータ・グラフィックスによって表現されるフ
ォアグラウンドの中の１つの場所である世界の中の場所
にそれを導く軌跡を経験する時、すなわち、そのビデオ
画面上にもはや存在しないオブジェクトの部分が消えて
しまう時に、そのような世界の制限が発生することこと
が認識された。したがって、そのビデオによって表現さ
れる視野の内部の１つのオブジェクトが、そのオブジェ
クトまたはその一部分を、そのビデオによって表現され
ない世界の中の１つの場所、すなわち、代わりにコンピ
ュータ・グラフィックスによって表現されるフォアグラ
ウンドの中の１つの場所へ連れて行く軌跡を経験する
時、そのようなオブジェクトまたはその部分がユーザに
対して見え続けるようにし、そしてビデオではなく、コ
ンピュータ・グラフィックス技法を使ってフォアグラウ
ンドによって表現される。したがって、そのビデオ・オ
ブジェクトはビデオから「ポップ・アウト（飛び出
し）」し、そのビデオ画面上になくなっているために見
えなくなるのではなく、たとえば、そのビデオ画面の前
面において、あるいはその側面において見えるようにな
る。
おいては、そのビデオによって表現される視野の内部の
オブジェクトがそのビデオによって表現されず、代わり
にコンピュータ・グラフィックスによって表現されるフ
ォアグラウンドの中の１つの場所である世界の中の場所
にそれを導く軌跡を経験する時、すなわち、そのビデオ
画面上にもはや存在しないオブジェクトの部分が消えて
しまう時に、そのような世界の制限が発生することこと
が認識された。したがって、そのビデオによって表現さ
れる視野の内部の１つのオブジェクトが、そのオブジェ
クトまたはその一部分を、そのビデオによって表現され
ない世界の中の１つの場所、すなわち、代わりにコンピ
ュータ・グラフィックスによって表現されるフォアグラ
ウンドの中の１つの場所へ連れて行く軌跡を経験する
時、そのようなオブジェクトまたはその部分がユーザに
対して見え続けるようにし、そしてビデオではなく、コ
ンピュータ・グラフィックス技法を使ってフォアグラウ
ンドによって表現される。したがって、そのビデオ・オ
ブジェクトはビデオから「ポップ・アウト（飛び出
し）」し、そのビデオ画面上になくなっているために見
えなくなるのではなく、たとえば、そのビデオ画面の前
面において、あるいはその側面において見えるようにな
る。
【０００４】
【発明の概要】ビデオ画面上にビデオとして二次元だけ
で表現されるユーザの視点から離れた世界の部分を有す
る世界の場合、そのビデオ画面上の１つのオブジェクト
が、そのオブジェクトの少なくとも一部分を、そのビデ
オによって表現されない世界の中の１つの場所、すなわ
ち、代わりのコンピュータ・グラフィックスによって表
現される世界の中の１つの場所へ連れていく軌跡を経験
する時、そのオブジェクトがその世界のコンピュータ・
グラフィックスの部分の中へビデオからポップ・アウト
する時にそのようなオブジェクトを見え続けるようにす
ることができるほかに、そのようなオブジェクトと対話
することができることは有利である。したがって、本発
明の原理に従って、ビデオからコンピュータ・グラフィ
ックス部分の世界へポップ・アウトするオブジェクトを
その世界のビューワが「調査する」ことができる。これ
を実現することができる１つの方法はユーザによるその
ようなオブジェクトの選択の指示を受信することによっ
て、それに応答して、その選択されたオブジェクトに関
する追加の情報を提供する方法である。これを実現する
ことができるもう１つの方法は、ユーザによるそのよう
なオブジェクトの選択の指示を受信し、それに応答し
て、ユーザがその選択されたオブジェクトの内部を探索
できるようにする方法である。
で表現されるユーザの視点から離れた世界の部分を有す
る世界の場合、そのビデオ画面上の１つのオブジェクト
が、そのオブジェクトの少なくとも一部分を、そのビデ
オによって表現されない世界の中の１つの場所、すなわ
ち、代わりのコンピュータ・グラフィックスによって表
現される世界の中の１つの場所へ連れていく軌跡を経験
する時、そのオブジェクトがその世界のコンピュータ・
グラフィックスの部分の中へビデオからポップ・アウト
する時にそのようなオブジェクトを見え続けるようにす
ることができるほかに、そのようなオブジェクトと対話
することができることは有利である。したがって、本発
明の原理に従って、ビデオからコンピュータ・グラフィ
ックス部分の世界へポップ・アウトするオブジェクトを
その世界のビューワが「調査する」ことができる。これ
を実現することができる１つの方法はユーザによるその
ようなオブジェクトの選択の指示を受信することによっ
て、それに応答して、その選択されたオブジェクトに関
する追加の情報を提供する方法である。これを実現する
ことができるもう１つの方法は、ユーザによるそのよう
なオブジェクトの選択の指示を受信し、それに応答し
て、ユーザがその選択されたオブジェクトの内部を探索
できるようにする方法である。
【０００５】たとえば、ユーザがフランスのパリのシャ
ンゼリゼ通りを自転車に乗って通っている場合、ナポレ
オン・ボナパルトによって作られた凱旋門が中心にあ
る、エトワール広場に近付く時、そしてその自転車に乗
った人が凱旋門を通り過ぎる時に凱旋門がビデオからポ
ップ・アウトする時、ユーザはコンピュータ・グラフィ
ックス部分の世界の中に入っているポップ・アウトした
凱旋門の上でクリックし、それに関する歴史的情報を、
たとえば、画面上の１つのウィンドウの中に表示するこ
とができる。代わりに、そのユーザが自転車に乗ってい
る化身（avatar）としてその世界の中で表されている場
合、そのユーザの化身は適切なコマンド、たとえば、マ
ウスのクリックなどに応答して、その自転車から降り
て、凱旋門をさらに調査すること、たとえば、その中に
入って階段を上がり、１つまたはそれ以上の視点から外
を眺めることができるようにすることができる。そのユ
ーザは次に彼の自転車に戻り、そのユーザの視点から離
れている世界の一部分がビデオ画面上の１つのビデオと
して二次元でだけ表示されていて、その世界の残りの部
分がコンピュータ・グラフィックスとして表現されてい
る世界の中で旅を続けることができる。
ンゼリゼ通りを自転車に乗って通っている場合、ナポレ
オン・ボナパルトによって作られた凱旋門が中心にあ
る、エトワール広場に近付く時、そしてその自転車に乗
った人が凱旋門を通り過ぎる時に凱旋門がビデオからポ
ップ・アウトする時、ユーザはコンピュータ・グラフィ
ックス部分の世界の中に入っているポップ・アウトした
凱旋門の上でクリックし、それに関する歴史的情報を、
たとえば、画面上の１つのウィンドウの中に表示するこ
とができる。代わりに、そのユーザが自転車に乗ってい
る化身（avatar）としてその世界の中で表されている場
合、そのユーザの化身は適切なコマンド、たとえば、マ
ウスのクリックなどに応答して、その自転車から降り
て、凱旋門をさらに調査すること、たとえば、その中に
入って階段を上がり、１つまたはそれ以上の視点から外
を眺めることができるようにすることができる。そのユ
ーザは次に彼の自転車に戻り、そのユーザの視点から離
れている世界の一部分がビデオ画面上の１つのビデオと
して二次元でだけ表示されていて、その世界の残りの部
分がコンピュータ・グラフィックスとして表現されてい
る世界の中で旅を続けることができる。
【０００６】他の例としてユーザはビデオからポップ・
アウトした店の中に入り、その中でバーチャル・ショピ
ングを行うことができる。本発明の１つの態様によれ
ば、実際に入る特定の店をユーザごとのベースでカスタ
マイズすることができる。したがって、たとえば、同じ
コースを辿っていて、同じ表現、すなわち、そのビデオ
からポップ・アウトした店またはベンダー・カートの化
身を見ている異なるユーザに対して、そのユーザにサー
ビスしてバーチャル・ショッピング・サービスを彼に提
供する特定のベンダーが誰であるかを、ユーザごとに異
なるようにすることができる。本発明の１つの態様によ
れば、そのユーザの実際の地理的な場所、あるいはその
ユーザに関連付けられている特定の場所の関数としてそ
の特定のベンダーを選択することができる。二人以上の
ユーザ、たとえば、一緒に自転車に乗っている二人の友
達が同じ世界を一緒に同時に探索している場合、本発明
の１つの態様によれば、各ユーザ、あるいはユーザの異
なるサブセットが、たとえば、それぞれの個別の地理的
な場所などの特定されたパラメータの関数として、たと
えば、異なるベンダーによってサービスされるようにす
ることができる。代わりに、二人以上のユーザがいて、
そのようなユーザが彼らのそれぞれの場所の関数とし
て、たとえば、異なるベンダーによってそのようなユー
ザがサービスされることになる場合であっても、本発明
の１つの態様によれば、そのようなユーザは彼らのサブ
セット、またはすべてが単独のベンダーによってサービ
スされるように指定することができる。
アウトした店の中に入り、その中でバーチャル・ショピ
ングを行うことができる。本発明の１つの態様によれ
ば、実際に入る特定の店をユーザごとのベースでカスタ
マイズすることができる。したがって、たとえば、同じ
コースを辿っていて、同じ表現、すなわち、そのビデオ
からポップ・アウトした店またはベンダー・カートの化
身を見ている異なるユーザに対して、そのユーザにサー
ビスしてバーチャル・ショッピング・サービスを彼に提
供する特定のベンダーが誰であるかを、ユーザごとに異
なるようにすることができる。本発明の１つの態様によ
れば、そのユーザの実際の地理的な場所、あるいはその
ユーザに関連付けられている特定の場所の関数としてそ
の特定のベンダーを選択することができる。二人以上の
ユーザ、たとえば、一緒に自転車に乗っている二人の友
達が同じ世界を一緒に同時に探索している場合、本発明
の１つの態様によれば、各ユーザ、あるいはユーザの異
なるサブセットが、たとえば、それぞれの個別の地理的
な場所などの特定されたパラメータの関数として、たと
えば、異なるベンダーによってサービスされるようにす
ることができる。代わりに、二人以上のユーザがいて、
そのようなユーザが彼らのそれぞれの場所の関数とし
て、たとえば、異なるベンダーによってそのようなユー
ザがサービスされることになる場合であっても、本発明
の１つの態様によれば、そのようなユーザは彼らのサブ
セット、またはすべてが単独のベンダーによってサービ
スされるように指定することができる。
【０００７】本発明のもう１つの態様によれば、１つの
仮想店舗の経営者、あるいは彼の代表者、たとえば、電
子エージェントが、その付近にいる二人以上の人の化身
が、たとえば、店の化身の前を通過するのを検出した
時、そのような通行人に対する仮想店舗に対応するその
ような経営者の店の化身は、そのような通行人に対して
宣伝公告などのメッセージ送信するか、あるいは、たと
えば、チャット・サービスまたは音声通信チャネルなど
の通信チャネルの開設などの他の通信をそのような通行
人と一緒に開始することができる。その通信は一般的な
性質のものとすること、あるいはその通行人に関して利
用できる関数としてカスタマイズすることができる。コ
ミュニティのフィーリングをバーチャル環境において醸
し出すことができるので有利である。
仮想店舗の経営者、あるいは彼の代表者、たとえば、電
子エージェントが、その付近にいる二人以上の人の化身
が、たとえば、店の化身の前を通過するのを検出した
時、そのような通行人に対する仮想店舗に対応するその
ような経営者の店の化身は、そのような通行人に対して
宣伝公告などのメッセージ送信するか、あるいは、たと
えば、チャット・サービスまたは音声通信チャネルなど
の通信チャネルの開設などの他の通信をそのような通行
人と一緒に開始することができる。その通信は一般的な
性質のものとすること、あるいはその通行人に関して利
用できる関数としてカスタマイズすることができる。コ
ミュニティのフィーリングをバーチャル環境において醸
し出すことができるので有利である。
【０００８】
【発明の詳細な記述】ビデオからポップ・アウトしてコ
ンピュータ・グラフィックスの世界に入るオブジェクト
を、その世界のビューワがどのように「調査する」こと
ができるかを説明する前に、本発明の原理に従ってビデ
オから「ポップ・アウト」し、それがビデオ画面上にも
はやないために単純に見えなくなるのではなく、そのビ
デオ画面の前面、上、または下において見えるようにな
るビデオ・オブジェクトの一例が図１〜図３に示されて
いる。用語を単純化する目的で、１つのオブジェクトの
一部分を１つのオブジェクトとして単純に呼ぶことがで
きる。というのは、１つのオブジェクトの一部分はそれ
自身１つのオブジェクトとみなせるからである。
ンピュータ・グラフィックスの世界に入るオブジェクト
を、その世界のビューワがどのように「調査する」こと
ができるかを説明する前に、本発明の原理に従ってビデ
オから「ポップ・アウト」し、それがビデオ画面上にも
はやないために単純に見えなくなるのではなく、そのビ
デオ画面の前面、上、または下において見えるようにな
るビデオ・オブジェクトの一例が図１〜図３に示されて
いる。用語を単純化する目的で、１つのオブジェクトの
一部分を１つのオブジェクトとして単純に呼ぶことがで
きる。というのは、１つのオブジェクトの一部分はそれ
自身１つのオブジェクトとみなせるからである。
【０００９】図１はナポレオン・ボナパルトによって建
てられた凱旋門が中心にあるエトワール広場に近付く時
の、フランスのパリにあるシャンゼリ通りである世界１
０１を示している。世界１０１は２つの部分に分けられ
る。１つはビデオ画面１０３であり、その上にビデオの
現在のフレームが示されている。残りの部分は世界１０
５であり、それはコンピュータ・グラフィックス技法を
使って表現され、したがって、ここではコンピュータ・
グラフィックス部分（ＣＧ部分）１０５と呼ばれる。ビ
デオ画面１０３上に表示されているビデオの現在フレー
ムは警察のヴァン１１３および凱旋門１１５を含む。Ｃ
Ｇ部分１０５の内部には各種の要素、たとえば、ユーザ
を表している自転車に乗っている人１０７、道路１０
９、および空１１１がある。
てられた凱旋門が中心にあるエトワール広場に近付く時
の、フランスのパリにあるシャンゼリ通りである世界１
０１を示している。世界１０１は２つの部分に分けられ
る。１つはビデオ画面１０３であり、その上にビデオの
現在のフレームが示されている。残りの部分は世界１０
５であり、それはコンピュータ・グラフィックス技法を
使って表現され、したがって、ここではコンピュータ・
グラフィックス部分（ＣＧ部分）１０５と呼ばれる。ビ
デオ画面１０３上に表示されているビデオの現在フレー
ムは警察のヴァン１１３および凱旋門１１５を含む。Ｃ
Ｇ部分１０５の内部には各種の要素、たとえば、ユーザ
を表している自転車に乗っている人１０７、道路１０
９、および空１１１がある。
【００１０】ユーザの視点は実際には自転車に乗ってい
る人の形でのユーザ１０７の表現の背後にあることに留
意されたい。またビデオ画面１０３上に示されている現
在のビデオ・フレームの一部分である警察のヴァン１１
３は、自転車に乗っている人１０７より遅い速度で動い
ており、したがって、警察のヴァン１１３は自転車に乗
っている人１０７が凱旋門１１５へ向かって乗り続ける
時に、自転車に乗っている人１０７によって実質的には
追い抜かれることになる。
る人の形でのユーザ１０７の表現の背後にあることに留
意されたい。またビデオ画面１０３上に示されている現
在のビデオ・フレームの一部分である警察のヴァン１１
３は、自転車に乗っている人１０７より遅い速度で動い
ており、したがって、警察のヴァン１１３は自転車に乗
っている人１０７が凱旋門１１５へ向かって乗り続ける
時に、自転車に乗っている人１０７によって実質的には
追い抜かれることになる。
【００１１】図２は図１の世界１０１を示しているが、
後の時刻での画面を示している。図２の時点において
は、画面１０３上に示されているビデオのフレームは凱
旋門１１５により近い視点からの眺めである。そのよう
なフレームは、たとえば、凱旋門１１５により近いビデ
オを捕捉したカメラを動かすことからの結果として得る
ことができる。図２の中に示されている画面１０３上の
ビデオのフレームが撮影された時のカメラの場所の結果
として、警察のヴァン１１３の一部分だけがビデオ・フ
レームの中に捕捉された。警察のヴァン１１３の残りの
部分はカメラのビューから外れていたので、図２に示さ
れている画面１０３上のビデオの現在フレームの内部で
は見えていない。しかし、ユーザの視点から図２の中に
現われる世界１０１を眺めると、警察のヴァン１１３の
残りの部分も、ビデオ画面１０３の境界の内部にはもは
やなくなっているにもかかわらず見える筈である。した
がって、警察のヴァン１１３の残りの部分は、ＣＧ部分
１０５の一部である要素２０１として世界１０１の内部
にコンピュータ・グラフィックス技術を使って表示され
る。
後の時刻での画面を示している。図２の時点において
は、画面１０３上に示されているビデオのフレームは凱
旋門１１５により近い視点からの眺めである。そのよう
なフレームは、たとえば、凱旋門１１５により近いビデ
オを捕捉したカメラを動かすことからの結果として得る
ことができる。図２の中に示されている画面１０３上の
ビデオのフレームが撮影された時のカメラの場所の結果
として、警察のヴァン１１３の一部分だけがビデオ・フ
レームの中に捕捉された。警察のヴァン１１３の残りの
部分はカメラのビューから外れていたので、図２に示さ
れている画面１０３上のビデオの現在フレームの内部で
は見えていない。しかし、ユーザの視点から図２の中に
現われる世界１０１を眺めると、警察のヴァン１１３の
残りの部分も、ビデオ画面１０３の境界の内部にはもは
やなくなっているにもかかわらず見える筈である。した
がって、警察のヴァン１１３の残りの部分は、ＣＧ部分
１０５の一部である要素２０１として世界１０１の内部
にコンピュータ・グラフィックス技術を使って表示され
る。
【００１２】図３は図１の世界１０１を示しているが、
図２の画面よりさらに後の時点での画面である。したが
って、図３の時点においては、画面１０３上に示されて
いるビデオのフレームは、図２の場合より凱旋門１１５
によりさらに近いビューからのフレームである。図３の
中に示されている画面１０３上のビデオのフレームが撮
られた時のカメラの位置の結果として、警察のヴァン１
１３のどの部分も図３に示されている画面１０３上のビ
デオの現在フレームの内部では見えない。しかし、図３
の中に現われているような世界１０１を見ているユーザ
の視点からは、警察のヴァン１１３は、それがビデオ画
面１０３の境界の内部にはもはやないにもかかわらず、
ユーザの左側に見えている筈である。したがって、警察
のヴァン１１３の全体が、ＣＧ部分１０５の一部である
要素２０１として、世界１０１の内部にコンピュータ・
グラフィックス技法を使って表示される。要素２０１が
ユーザの視点から完全に過ぎてしまうまで、ＣＧ部分１
０５の部分として要素２０１の少なくとも一部分が表示
され続けることになる。
図２の画面よりさらに後の時点での画面である。したが
って、図３の時点においては、画面１０３上に示されて
いるビデオのフレームは、図２の場合より凱旋門１１５
によりさらに近いビューからのフレームである。図３の
中に示されている画面１０３上のビデオのフレームが撮
られた時のカメラの位置の結果として、警察のヴァン１
１３のどの部分も図３に示されている画面１０３上のビ
デオの現在フレームの内部では見えない。しかし、図３
の中に現われているような世界１０１を見ているユーザ
の視点からは、警察のヴァン１１３は、それがビデオ画
面１０３の境界の内部にはもはやないにもかかわらず、
ユーザの左側に見えている筈である。したがって、警察
のヴァン１１３の全体が、ＣＧ部分１０５の一部である
要素２０１として、世界１０１の内部にコンピュータ・
グラフィックス技法を使って表示される。要素２０１が
ユーザの視点から完全に過ぎてしまうまで、ＣＧ部分１
０５の部分として要素２０１の少なくとも一部分が表示
され続けることになる。
【００１３】図４はオブジェクトの投影された運動が三
次元の世界の中、で表示されるべきであるために、たと
えば、ビデオ面の前面、側面、上、または下においてコ
ンピュータ・グラフィックス技法を使って表示され、そ
のオブジェクトがビデオ面から「ポップ・アウト」して
表示されるビデオ面によって表される視野の内部にある
ようにするプロセスの一例を示している。本発明の代表
的な実施形態においては、コンピュータ・グラフィック
スを使って表示されるオブジェクトはあらかじめ定義さ
れており、そしてビデオの中のそれらの位置およびその
ビデオの内部でのその部分に関連付けられた時刻が知ら
れており、したがって、そのオブジェクトがビデオから
ポップ・アウトされる必要がある時刻およびその大きさ
が知られている。しかし、本発明の技法はビデオ面の内
部で認識できるオブジェクトを追跡するため、およびポ
ップアウトされるコンピュータ・グラフィックスを生成
するために、そのようなビデオ表現からコンピュータ・
グラフィックス・モデルを開発するために十分に洗練さ
れているコンピュータおよびソフトウェアによって採用
することができる。
次元の世界の中、で表示されるべきであるために、たと
えば、ビデオ面の前面、側面、上、または下においてコ
ンピュータ・グラフィックス技法を使って表示され、そ
のオブジェクトがビデオ面から「ポップ・アウト」して
表示されるビデオ面によって表される視野の内部にある
ようにするプロセスの一例を示している。本発明の代表
的な実施形態においては、コンピュータ・グラフィック
スを使って表示されるオブジェクトはあらかじめ定義さ
れており、そしてビデオの中のそれらの位置およびその
ビデオの内部でのその部分に関連付けられた時刻が知ら
れており、したがって、そのオブジェクトがビデオから
ポップ・アウトされる必要がある時刻およびその大きさ
が知られている。しかし、本発明の技法はビデオ面の内
部で認識できるオブジェクトを追跡するため、およびポ
ップアウトされるコンピュータ・グラフィックスを生成
するために、そのようなビデオ表現からコンピュータ・
グラフィックス・モデルを開発するために十分に洗練さ
れているコンピュータおよびソフトウェアによって採用
することができる。
【００１４】そのプロセスはユーザが見るためにビデオ
を選択し、そしてそのビデオの最初のフレームがユーザ
に対して表示されるべき時点でのステップ４０１におい
て開始される。ステップ４０３においては、表示される
べきビデオ・フレームが呼び出される。これはポインタ
によってポイントされているフレームを表しているデー
タを呼び出すことによって行うことができる。そのよう
なフレーム・ポインタは最初に、たとえば、ステップ４
０１において、そのビデオの最初のフレームをポイント
するように設定されている。次に、ステップ４０５にお
いて、ポップ・アップを開始する必要があるビデオ画面
上に表示されるべき現在のビデオ・フレームについてオ
ブジェクトがあるかどうかが判定される。これはポップ
・アウトされる必要があるオブジェクトを記述するフレ
ームに関連付けられた追加の情報を採用することによっ
て行うことができる。そのような追加の情報はそのオブ
ジェクトの径路を示す運動のデータ以外にそのオブジェ
クトをレンダーするのに必要なデータも含むことができ
る。代わりに、このステップはそのオブジェクトの径路
を示す運動のデータ以外に、そのオブジェクトをレンダ
ーするために必要なデータを求めるために、おそらく前
の複数のフレームと将来の複数のフレームとに関連し
て、そのビデオ・フレームの内容を解析することによっ
て行うことができる。さらに、総合のディスプレイによ
ってユーザに対して与えられる視点をその決定の中に組
み込むことができる。そのような視点はユーザによって
設定することができるカメラの制御によって決定され
る。もちろん、前記の技法の組合せも採用することがで
きる。ステップ４０７において、コンピュータ・グラフ
ィックスのディスプレイ・エンジン・ルーチンが、ステ
ップ４０５において決定された各オブジェクトに対して
起動される。これらの各コンピュータ・グラフィックス
・ルーチンは、そのビデオ面上の表示において各フレー
ムについて時間の経過と共にそれぞれのオブジェクトを
生成するために必要な情報と一緒に供給される。たとえ
ば、各オブジェクトに対して供給される情報はそのオブ
ジェクトの径路を示す前記の運動データを含むことがで
きる。
を選択し、そしてそのビデオの最初のフレームがユーザ
に対して表示されるべき時点でのステップ４０１におい
て開始される。ステップ４０３においては、表示される
べきビデオ・フレームが呼び出される。これはポインタ
によってポイントされているフレームを表しているデー
タを呼び出すことによって行うことができる。そのよう
なフレーム・ポインタは最初に、たとえば、ステップ４
０１において、そのビデオの最初のフレームをポイント
するように設定されている。次に、ステップ４０５にお
いて、ポップ・アップを開始する必要があるビデオ画面
上に表示されるべき現在のビデオ・フレームについてオ
ブジェクトがあるかどうかが判定される。これはポップ
・アウトされる必要があるオブジェクトを記述するフレ
ームに関連付けられた追加の情報を採用することによっ
て行うことができる。そのような追加の情報はそのオブ
ジェクトの径路を示す運動のデータ以外にそのオブジェ
クトをレンダーするのに必要なデータも含むことができ
る。代わりに、このステップはそのオブジェクトの径路
を示す運動のデータ以外に、そのオブジェクトをレンダ
ーするために必要なデータを求めるために、おそらく前
の複数のフレームと将来の複数のフレームとに関連し
て、そのビデオ・フレームの内容を解析することによっ
て行うことができる。さらに、総合のディスプレイによ
ってユーザに対して与えられる視点をその決定の中に組
み込むことができる。そのような視点はユーザによって
設定することができるカメラの制御によって決定され
る。もちろん、前記の技法の組合せも採用することがで
きる。ステップ４０７において、コンピュータ・グラフ
ィックスのディスプレイ・エンジン・ルーチンが、ステ
ップ４０５において決定された各オブジェクトに対して
起動される。これらの各コンピュータ・グラフィックス
・ルーチンは、そのビデオ面上の表示において各フレー
ムについて時間の経過と共にそれぞれのオブジェクトを
生成するために必要な情報と一緒に供給される。たとえ
ば、各オブジェクトに対して供給される情報はそのオブ
ジェクトの径路を示す前記の運動データを含むことがで
きる。
【００１５】次に、ステップ４０９と４１１がステップ
４１３と実質的に並列に実行される。その実現されるべ
き並列性の程度は、ポップ・アウトされるオブジェクト
が、そのフレームが表示されている間に実質的に表示さ
れ、したがってユーザはそれらが同時に一緒に表示され
ているのを感じるような程度でなければならない。
４１３と実質的に並列に実行される。その実現されるべ
き並列性の程度は、ポップ・アウトされるオブジェクト
が、そのフレームが表示されている間に実質的に表示さ
れ、したがってユーザはそれらが同時に一緒に表示され
ているのを感じるような程度でなければならない。
【００１６】ステップ４０９において、コンピュータ・
グラフィックスのディスプレイ・エンジン・ルーチンが
実行している各オブジェクトに対して表示画面上のロケ
ーションが決定される。ステップ４１１において、コン
ピュータ・グラフィックスのディスプレイ・エンジン・
ルーチンが実行していて、そのビューワのビューの範囲
内にある各オブジェクトがレンダーされる。オプション
として、移動されてそのビューワのビューの範囲内には
もはやないオブジェクトに対するコンピュータ・グラフ
ィックスのディスプレイ・エンジン・ルーチンを削除す
ることができる。しかし、そのようなコンピュータ・グ
ラフィックスのディスプレイ・エンジン・ルーチンはそ
のオブジェクトの運動径路または、そのビューワの視点
からはそのオブジェクトが視界の中にふたたび入って来
ないことが分かっている場合は、その場合だけ削除され
るべきである。
グラフィックスのディスプレイ・エンジン・ルーチンが
実行している各オブジェクトに対して表示画面上のロケ
ーションが決定される。ステップ４１１において、コン
ピュータ・グラフィックスのディスプレイ・エンジン・
ルーチンが実行していて、そのビューワのビューの範囲
内にある各オブジェクトがレンダーされる。オプション
として、移動されてそのビューワのビューの範囲内には
もはやないオブジェクトに対するコンピュータ・グラフ
ィックスのディスプレイ・エンジン・ルーチンを削除す
ることができる。しかし、そのようなコンピュータ・グ
ラフィックスのディスプレイ・エンジン・ルーチンはそ
のオブジェクトの運動径路または、そのビューワの視点
からはそのオブジェクトが視界の中にふたたび入って来
ないことが分かっている場合は、その場合だけ削除され
るべきである。
【００１７】ビデオ・フレームはステップ４１３におい
て表示される。その時、ステップ４１１および４１３の
両方から制御がステップ４１５へ渡される。ステップ４
１５においては、次のビデオ・フレームがあればそのフ
レームへ進められる。これはフレーム・ポインタの値を
インクリメントするか、さもなければ更新することによ
って実行することができる。その後、制御はステップ４
０３へ戻り、そしてプロセスは上記のように継続する。
て表示される。その時、ステップ４１１および４１３の
両方から制御がステップ４１５へ渡される。ステップ４
１５においては、次のビデオ・フレームがあればそのフ
レームへ進められる。これはフレーム・ポインタの値を
インクリメントするか、さもなければ更新することによ
って実行することができる。その後、制御はステップ４
０３へ戻り、そしてプロセスは上記のように継続する。
【００１８】図４の基本プロセスのもう１つの実装にお
いて、ビデオ画面はユーザに対して表示されている三次
元の世界全体の内部で移動している。上記のように、ビ
デオ面上に表示されているフレームの中のオブジェクト
に関する情報に基づいて、どのオブジェクトがポップ・
アウトの開始を必要とするかを決定する代わりに、ユー
ザに対して表示されている三次元の世界全体の内部のビ
デオ画面の現在の位置に基づいてその起動を行うことが
できる。たとえば、ユーザがシャンゼリゼ通りを旅行し
ている気分を与えるビデオをビデオ画面が表示している
場合、次々の各ビデオ・フレームは実際にはその街路を
どんどん通過して行くロケーションからのビューの表現
である。フレームが表示されていて、そのユーザの視点
が街路をさらに通って動いている際、オブジェクト、た
とえば、バス、歩道、または駐車している車がビデオ画
面からポップ・オフし、コンピュータ・グラフィックス
によって表現されるようになる必要があり得る。そのオ
ブジェクトのそれぞれに対するコンピュータ・グラフィ
ックスのディスプレイ・エンジン・ルーチンは、街路を
通って行くビデオ画面によって進行する距離の関数とし
て起動することができ、それはたとえば、そのフレーム
に関連付けられている追加の情報の中で示されるか、あ
るいは単純な状況においては、そのビデオが稼働してい
る時間の所定の関数として決定されるかのいずれかが可
能である。
いて、ビデオ画面はユーザに対して表示されている三次
元の世界全体の内部で移動している。上記のように、ビ
デオ面上に表示されているフレームの中のオブジェクト
に関する情報に基づいて、どのオブジェクトがポップ・
アウトの開始を必要とするかを決定する代わりに、ユー
ザに対して表示されている三次元の世界全体の内部のビ
デオ画面の現在の位置に基づいてその起動を行うことが
できる。たとえば、ユーザがシャンゼリゼ通りを旅行し
ている気分を与えるビデオをビデオ画面が表示している
場合、次々の各ビデオ・フレームは実際にはその街路を
どんどん通過して行くロケーションからのビューの表現
である。フレームが表示されていて、そのユーザの視点
が街路をさらに通って動いている際、オブジェクト、た
とえば、バス、歩道、または駐車している車がビデオ画
面からポップ・オフし、コンピュータ・グラフィックス
によって表現されるようになる必要があり得る。そのオ
ブジェクトのそれぞれに対するコンピュータ・グラフィ
ックスのディスプレイ・エンジン・ルーチンは、街路を
通って行くビデオ画面によって進行する距離の関数とし
て起動することができ、それはたとえば、そのフレーム
に関連付けられている追加の情報の中で示されるか、あ
るいは単純な状況においては、そのビデオが稼働してい
る時間の所定の関数として決定されるかのいずれかが可
能である。
【００１９】本発明のもう１つの実施形態においては、
ビデオ面からポップ・アウトしなければならないすべて
の要素を含んでいる、三次元のレンダリングに対して準
備ができている世界がメモリの中でモデル化される。そ
の三次元の世界はポップ・アウトしなければならない各
要素に対する空間的な場所、サイズおよび向きなどの情
報を含んでいる。ポップ・アウト要素に対する運動の情
報も含めることができる。この実施形態においては、ビ
デオ画面は上記のように、ユーザに対して表示されてい
る総合的な三次元の世界の内部を移動している。ビデオ
の各フレームにはメモリの中に格納されている三次元世
界の内部での、そのビデオ画面の場所を記述している空
間的な情報がある。そのような情報は、たとえば、その
ビデオ画面が一定のレートの速度で移動している場合に
暗黙に含めることができるか、あるいはそのビデオ・フ
レームに関連付けられている別の情報の中に入れておく
ことができる。ビデオ画面の場所に関する情報以外に、
ビデオの各ポップ・アウト要素に関する情報を使って、
ビデオ画面によってブロックされず、そのユーザの視野
内にあるビデオの各ポップ・アウト要素の部分以外に、
ビデオの各ポップ・アウト要素の空間的場所を各フレー
ムに対して求めることができる。したがって、ビデオ画
面が特定の場所にある時、たとえば、そのビデオ画面の
前面または側面または上または下にあるビデオのポップ
・アウト要素の部分をディスプレイ上でレンダーするこ
とができる。したがって、そのビデオ画面上で見られて
いるものとコンピュータ・グラフィックスのポップ・ア
ウト要素との間のマッチを実現することができる。
ビデオ面からポップ・アウトしなければならないすべて
の要素を含んでいる、三次元のレンダリングに対して準
備ができている世界がメモリの中でモデル化される。そ
の三次元の世界はポップ・アウトしなければならない各
要素に対する空間的な場所、サイズおよび向きなどの情
報を含んでいる。ポップ・アウト要素に対する運動の情
報も含めることができる。この実施形態においては、ビ
デオ画面は上記のように、ユーザに対して表示されてい
る総合的な三次元の世界の内部を移動している。ビデオ
の各フレームにはメモリの中に格納されている三次元世
界の内部での、そのビデオ画面の場所を記述している空
間的な情報がある。そのような情報は、たとえば、その
ビデオ画面が一定のレートの速度で移動している場合に
暗黙に含めることができるか、あるいはそのビデオ・フ
レームに関連付けられている別の情報の中に入れておく
ことができる。ビデオ画面の場所に関する情報以外に、
ビデオの各ポップ・アウト要素に関する情報を使って、
ビデオ画面によってブロックされず、そのユーザの視野
内にあるビデオの各ポップ・アウト要素の部分以外に、
ビデオの各ポップ・アウト要素の空間的場所を各フレー
ムに対して求めることができる。したがって、ビデオ画
面が特定の場所にある時、たとえば、そのビデオ画面の
前面または側面または上または下にあるビデオのポップ
・アウト要素の部分をディスプレイ上でレンダーするこ
とができる。したがって、そのビデオ画面上で見られて
いるものとコンピュータ・グラフィックスのポップ・ア
ウト要素との間のマッチを実現することができる。
【００２０】この実施形態を実装するためのプロセスが
図５の中でフローチャートの形式で示されている。図５
に示されているプロセスに入る前に、そのビデオ面から
ポップ・アウトしなければならないすべての要素を含ん
でいる三次元の世界が、あらかじめ生成されてメモリの
中に格納されていなければならないことに留意された
い。また、その三次元の世界の内部のビデオ画面のロケ
ーションを記述する空間的情報もそのビデオのフレーム
に関連付けられてメモリの中に格納されていなければな
らない。
図５の中でフローチャートの形式で示されている。図５
に示されているプロセスに入る前に、そのビデオ面から
ポップ・アウトしなければならないすべての要素を含ん
でいる三次元の世界が、あらかじめ生成されてメモリの
中に格納されていなければならないことに留意された
い。また、その三次元の世界の内部のビデオ画面のロケ
ーションを記述する空間的情報もそのビデオのフレーム
に関連付けられてメモリの中に格納されていなければな
らない。
【００２１】ユーザが見るためのビデオを選択し、その
ビデオの最初のフレームがユーザに対して表示される時
に、ステップ５０１からこのプロセスに入る。ステップ
５０３において、表示されるべきビデオ・フレームが呼
び出される。これはポインタによってポイントされてい
るフレームを表しているデータを呼び出すことによって
行うことができる。そのようなフレーム・ポインタはそ
のビデオの最初のフレームをポイントするために、たと
えば、ステップ５０１によって最初に設定されている。
ステップ５０５において、三次元の世界の内部のビデオ
画面の場所が決定される。注記されたように、そのよう
な情報はたとえば、そのビデオ画面が一定のレートの速
度で移動している場合に暗黙に含めることができるが、
あるいはそのビデオ・フレームに関連付けられている別
の情報の中に入れておくことができる。次に、ステップ
５０７において、ポップ・アウト要素の見える部分が現
在のビデオ面の場所およびユーザの視点の関数として決
定される。
ビデオの最初のフレームがユーザに対して表示される時
に、ステップ５０１からこのプロセスに入る。ステップ
５０３において、表示されるべきビデオ・フレームが呼
び出される。これはポインタによってポイントされてい
るフレームを表しているデータを呼び出すことによって
行うことができる。そのようなフレーム・ポインタはそ
のビデオの最初のフレームをポイントするために、たと
えば、ステップ５０１によって最初に設定されている。
ステップ５０５において、三次元の世界の内部のビデオ
画面の場所が決定される。注記されたように、そのよう
な情報はたとえば、そのビデオ画面が一定のレートの速
度で移動している場合に暗黙に含めることができるが、
あるいはそのビデオ・フレームに関連付けられている別
の情報の中に入れておくことができる。次に、ステップ
５０７において、ポップ・アウト要素の見える部分が現
在のビデオ面の場所およびユーザの視点の関数として決
定される。
【００２２】その後、ステップ５０７および５０９が実
質的に並列に実行される。実行されるべき並列性の程度
は、そのフレームが表示されている間にそのポップ・ア
ウトされるオブジェクトが表示され、したがって、ユー
ザがそれらを同時に一緒に表示されているように感じる
ような程度でなければならない。ステップ５０７におい
て、各ポップ・アウト要素の決定された見える部分がレ
ンダーされる。そのビデオ・フレームはステップ５０９
において表示される。次に、制御はステップ５０７およ
び５０９の両方からステップ５１１へ移行する。ステッ
プ５１１において、次のビデオ・フレームがある場合
は、そこへ進められる。これはそのフレーム・ポインタ
の値をインクリメントするか、あるいは、さもなければ
更新することによって行うことができる。その後、制御
はステップ５０３へ戻り、そしてプロセスは上記のよう
に継続する。
質的に並列に実行される。実行されるべき並列性の程度
は、そのフレームが表示されている間にそのポップ・ア
ウトされるオブジェクトが表示され、したがって、ユー
ザがそれらを同時に一緒に表示されているように感じる
ような程度でなければならない。ステップ５０７におい
て、各ポップ・アウト要素の決定された見える部分がレ
ンダーされる。そのビデオ・フレームはステップ５０９
において表示される。次に、制御はステップ５０７およ
び５０９の両方からステップ５１１へ移行する。ステッ
プ５１１において、次のビデオ・フレームがある場合
は、そこへ進められる。これはそのフレーム・ポインタ
の値をインクリメントするか、あるいは、さもなければ
更新することによって行うことができる。その後、制御
はステップ５０３へ戻り、そしてプロセスは上記のよう
に継続する。
【００２３】上記の説明は三次元の世界の内部のビデオ
画面の場所を決定する、表示されるべきビデオ・フレー
ムが設定されていることを仮定している。しかし、その
逆も行うことができる。すなわち、三次元の世界の内部
でのビデオ画面の場所が設定され、そしてこれによって
どのビデオ・フレームが表示されるべきかが決定され
る。それを行うために、どのビデオ・フレームが次に表
示されるべきかが決定されるステップ５０１または５１
１において、三次元世界の内部でのそのビデオ画面の所
望の場所が確認される。この場所はユーザ入力の関数と
して指定することができる。たとえば、表示中の画面が
自転車に乗っているユーザのビューに対応している場
合、そのビデオ画面の場所はそのユーザが自転車に乗っ
ていることを検出する、静止した自転車に取り付けられ
ているセンサによって決定することができる。フレーム
の場所を識別する情報のサーチはその画面の現在の場所
に対応しているフレームを決定するために行われ、そし
てフレーム・ポインタがそのフレームをポイントするよ
うに設定される。
画面の場所を決定する、表示されるべきビデオ・フレー
ムが設定されていることを仮定している。しかし、その
逆も行うことができる。すなわち、三次元の世界の内部
でのビデオ画面の場所が設定され、そしてこれによって
どのビデオ・フレームが表示されるべきかが決定され
る。それを行うために、どのビデオ・フレームが次に表
示されるべきかが決定されるステップ５０１または５１
１において、三次元世界の内部でのそのビデオ画面の所
望の場所が確認される。この場所はユーザ入力の関数と
して指定することができる。たとえば、表示中の画面が
自転車に乗っているユーザのビューに対応している場
合、そのビデオ画面の場所はそのユーザが自転車に乗っ
ていることを検出する、静止した自転車に取り付けられ
ているセンサによって決定することができる。フレーム
の場所を識別する情報のサーチはその画面の現在の場所
に対応しているフレームを決定するために行われ、そし
てフレーム・ポインタがそのフレームをポイントするよ
うに設定される。
【００２４】どのフレームが表示されるかを決定する各
種の方法を別々に使うことができる。あるいは、実装中
のアプリケーションの必要に応じて、それらを混合して
使うことができる。
種の方法を別々に使うことができる。あるいは、実装中
のアプリケーションの必要に応じて、それらを混合して
使うことができる。
【００２５】ポップ・アウト要素が表示されることはな
いことが分かっているフレームには、メモリ内に格納さ
れた三次元世界の内部でのビデオ画面の場所を記述する
空間的な情報を関連付ける必要はない。そのビデオは単
純にビデオ画面に表示され、レンダーされるポップ・ア
ウト要素はない。
いことが分かっているフレームには、メモリ内に格納さ
れた三次元世界の内部でのビデオ画面の場所を記述する
空間的な情報を関連付ける必要はない。そのビデオは単
純にビデオ画面に表示され、レンダーされるポップ・ア
ウト要素はない。
【００２６】三次元の世界のモデル以外に、フレーム、
およびそれに関連付けられた情報などのあらかじめ記録
されている情報を異なるセグメントの中に記憶すること
ができる。そのようなセグメントは、たとえば、単独の
コンピュータの内部の単独の物理的ロケーションに置く
か、あるいはネットワークによって接続されている各種
のコンピュータなどの中に、異なる物理的ロケーション
において、本発明の実施形態で使えるようにすることが
できる。さらに、表示を発生するための情報を処理する
要素を単独のコンピュータの内部に含めることができる
が、必ずしもそうする必要はない。
およびそれに関連付けられた情報などのあらかじめ記録
されている情報を異なるセグメントの中に記憶すること
ができる。そのようなセグメントは、たとえば、単独の
コンピュータの内部の単独の物理的ロケーションに置く
か、あるいはネットワークによって接続されている各種
のコンピュータなどの中に、異なる物理的ロケーション
において、本発明の実施形態で使えるようにすることが
できる。さらに、表示を発生するための情報を処理する
要素を単独のコンピュータの内部に含めることができる
が、必ずしもそうする必要はない。
【００２７】本発明の原理に従って、ビデオからポップ
・アウトしてコンピュータ・グラフィックス部分の世界
に入るオブジェクトを「調査する」ことができる１つの
方法は、ユーザによる１つのそのようなオブジェクトの
選択の指示を受信し、それに応答して、その選択された
オブジェクトに対する追加の情報をユーザに提供するこ
とによって行う方法である。たとえば、ポイントおよび
クリック選択のシステムなどの、オブジェクトを選択し
ているビューワに応答してディスプレイ画面上に追加の
情報を表示することができる。そのような選択システム
の最も普通のタイプのものは、マウス、トラックボール
およびタッチ・パッドである。代わりに、ユーザの選択
に応答して、追加の情報を含んでいる新しいウィンドウ
をビデオ・ディスプレイ上に重ねて表示することができ
る。これを行うことができるもう１つの方法は、ユーザ
によるそのようなオブジェクトの選択の指示を受信し、
それに応答して、選択されたオブジェクトの範囲内でユ
ーザが探索できるようにする方法である。これは探索中
の世界またはその外部の世界のコンテキストの範囲内で
行うことができる。これを行うことができる１つの方法
は、ＣＧ部分の世界の中のオブジェクトに関連付けられ
たユニホーム・リソース・ロケータ（ＵＲＬ）を備える
ことによる方法である。そのオブジェクトがビューワに
よって選択されると、そのビューワはそのＵＲＬに対応
しているページまたはファイルへ誘導される。代わり
に、そのビューワはそのさらに探索されるオブジェクト
に対応する別の世界のモデルへジャンプすることができ
る。
・アウトしてコンピュータ・グラフィックス部分の世界
に入るオブジェクトを「調査する」ことができる１つの
方法は、ユーザによる１つのそのようなオブジェクトの
選択の指示を受信し、それに応答して、その選択された
オブジェクトに対する追加の情報をユーザに提供するこ
とによって行う方法である。たとえば、ポイントおよび
クリック選択のシステムなどの、オブジェクトを選択し
ているビューワに応答してディスプレイ画面上に追加の
情報を表示することができる。そのような選択システム
の最も普通のタイプのものは、マウス、トラックボール
およびタッチ・パッドである。代わりに、ユーザの選択
に応答して、追加の情報を含んでいる新しいウィンドウ
をビデオ・ディスプレイ上に重ねて表示することができ
る。これを行うことができるもう１つの方法は、ユーザ
によるそのようなオブジェクトの選択の指示を受信し、
それに応答して、選択されたオブジェクトの範囲内でユ
ーザが探索できるようにする方法である。これは探索中
の世界またはその外部の世界のコンテキストの範囲内で
行うことができる。これを行うことができる１つの方法
は、ＣＧ部分の世界の中のオブジェクトに関連付けられ
たユニホーム・リソース・ロケータ（ＵＲＬ）を備える
ことによる方法である。そのオブジェクトがビューワに
よって選択されると、そのビューワはそのＵＲＬに対応
しているページまたはファイルへ誘導される。代わり
に、そのビューワはそのさらに探索されるオブジェクト
に対応する別の世界のモデルへジャンプすることができ
る。
【００２８】たとえば、ユーザが上記のように、フラン
スのパリのシャンゼリゼ通りを自転車に乗って通ってい
る場合、そしてその自転車に乗った人が凱旋門を通り過
ぎる時、それはビデオからポップ・アウトし、ユーザは
そのポップ・アウトされた凱旋門の上でクリックするこ
とができる。それはその時点ではコンピュータ・グラフ
ィックス部分の世界にあり、それに関する歴史的情報を
得て、たとえば、それを画面上の１つのウィンドウの中
に表示することができる。代わりに、そのユーザが自転
車に乗っている化身として表現されている場合、そのユ
ーザの化身はマウスのクリックなどの適切なコマンドに
応答して自転車から降りてさらに凱旋門を探索するよう
にすることができ、たとえば、その中に入って一組の階
段を登り、そして１つまたはそれ以上の視点から外を眺
めることができる。そのユーザは次に自分の化身が自転
車に戻って、ビデオ画面のビデオとして二次元だけで表
現されているユーザの視点から離れた世界の部分およ
び、コンピュータ・グラフィックスとしての残りの世界
があるような世界において旅行を続けるようにすること
ができる。凱旋門の内部の説明はそのビデオからポップ
・アウトするために採用される情報または凱旋門の内部
の必要な説明をポイントしている情報、たとえば、別の
「世界」またはＵＲＬに対するポインタを、ビデオから
凱旋門をポップ・アウトするために採用される情報に直
接に関連付けておくことができる。
スのパリのシャンゼリゼ通りを自転車に乗って通ってい
る場合、そしてその自転車に乗った人が凱旋門を通り過
ぎる時、それはビデオからポップ・アウトし、ユーザは
そのポップ・アウトされた凱旋門の上でクリックするこ
とができる。それはその時点ではコンピュータ・グラフ
ィックス部分の世界にあり、それに関する歴史的情報を
得て、たとえば、それを画面上の１つのウィンドウの中
に表示することができる。代わりに、そのユーザが自転
車に乗っている化身として表現されている場合、そのユ
ーザの化身はマウスのクリックなどの適切なコマンドに
応答して自転車から降りてさらに凱旋門を探索するよう
にすることができ、たとえば、その中に入って一組の階
段を登り、そして１つまたはそれ以上の視点から外を眺
めることができる。そのユーザは次に自分の化身が自転
車に戻って、ビデオ画面のビデオとして二次元だけで表
現されているユーザの視点から離れた世界の部分およ
び、コンピュータ・グラフィックスとしての残りの世界
があるような世界において旅行を続けるようにすること
ができる。凱旋門の内部の説明はそのビデオからポップ
・アウトするために採用される情報または凱旋門の内部
の必要な説明をポイントしている情報、たとえば、別の
「世界」またはＵＲＬに対するポインタを、ビデオから
凱旋門をポップ・アウトするために採用される情報に直
接に関連付けておくことができる。
【００２９】もう１つの例として、ユーザはビデオから
ポップ・アウトされた店に入り、その中でバーチャル・
ショッピングを行うことができる。本発明の１つの態様
によれば、実際に入る特定の店をユーザごとのベースで
カスタマイズすることができる。したがって、たとえば
化身など、同じコースを辿っていて、そのビデオからポ
ップ・アウトした店またはベンダー・カートの同じ表現
を見ている異なるユーザに対して、そのユーザにサービ
スしてバーチャル・ショッピング・サービスを彼に提供
する特定のベンダーが誰であるかを、ユーザごとに異な
るようにすることができる。本発明の１つの態様によれ
ば、特定のベンダーはそのユーザの実際の地理的な場所
の関数として、あるいはそのユーザに関連付けられてい
る特定の場所の関数として選択されるようにすることが
できる。同じ世界を一緒に且つ同時に探索している二人
以上のユーザ、たとえば、一緒に自転車に乗っている二
人の友達は本発明の１つの態様によれば、それぞれの友
達がたとえば、それぞれの個人の地理的な場所の関数と
して、異なるベンダーによってサービスされるようにす
ることができる。代わりに、二人以上のユーザがいる場
合、そしてそのようなユーザは本発明の１つの態様に従
って、それぞれの場所の関数として、たとえば、異なる
ベンダーによってサービスされることになる場合、その
ようなユーザは彼らのうちのサブセットまたはすべてが
単独のベンダーによってサービスされる必要があること
を指定することができる。
ポップ・アウトされた店に入り、その中でバーチャル・
ショッピングを行うことができる。本発明の１つの態様
によれば、実際に入る特定の店をユーザごとのベースで
カスタマイズすることができる。したがって、たとえば
化身など、同じコースを辿っていて、そのビデオからポ
ップ・アウトした店またはベンダー・カートの同じ表現
を見ている異なるユーザに対して、そのユーザにサービ
スしてバーチャル・ショッピング・サービスを彼に提供
する特定のベンダーが誰であるかを、ユーザごとに異な
るようにすることができる。本発明の１つの態様によれ
ば、特定のベンダーはそのユーザの実際の地理的な場所
の関数として、あるいはそのユーザに関連付けられてい
る特定の場所の関数として選択されるようにすることが
できる。同じ世界を一緒に且つ同時に探索している二人
以上のユーザ、たとえば、一緒に自転車に乗っている二
人の友達は本発明の１つの態様によれば、それぞれの友
達がたとえば、それぞれの個人の地理的な場所の関数と
して、異なるベンダーによってサービスされるようにす
ることができる。代わりに、二人以上のユーザがいる場
合、そしてそのようなユーザは本発明の１つの態様に従
って、それぞれの場所の関数として、たとえば、異なる
ベンダーによってサービスされることになる場合、その
ようなユーザは彼らのうちのサブセットまたはすべてが
単独のベンダーによってサービスされる必要があること
を指定することができる。
【００３０】本発明のもう１つの態様によれば、１つの
仮想店舗の経営者、あるいは彼の代表者、たとえば、電
子エージェントが、その付近にいる二人以上の人の化身
が、たとえば、店の化身の前を通過するのを検出した
時、そのような通行人に対する仮想店舗に対応するその
ような経営者の店の化身は、そのような通行人に対して
宣伝公告などのメッセージ送信するか、あるいは、たと
えば、チャット・サービスまたは音声通信チャネルなど
の通信チャネルの開設などの他の通信をそのような通行
人と一緒に開始することができる。その通信は一般的な
性質のものとすること、あるいはその通行人に関して利
用できる関数としてカスタマイズすることができる。コ
ミュニティのフィーリングをバーチャル環境において醸
し出すことができるので有利である。
仮想店舗の経営者、あるいは彼の代表者、たとえば、電
子エージェントが、その付近にいる二人以上の人の化身
が、たとえば、店の化身の前を通過するのを検出した
時、そのような通行人に対する仮想店舗に対応するその
ような経営者の店の化身は、そのような通行人に対して
宣伝公告などのメッセージ送信するか、あるいは、たと
えば、チャット・サービスまたは音声通信チャネルなど
の通信チャネルの開設などの他の通信をそのような通行
人と一緒に開始することができる。その通信は一般的な
性質のものとすること、あるいはその通行人に関して利
用できる関数としてカスタマイズすることができる。コ
ミュニティのフィーリングをバーチャル環境において醸
し出すことができるので有利である。
【００３１】図６は本発明の態様を実装することができ
るプロセスのステップを示している。図６のプロセスに
はステップ６０１から入る。このステップは、たとえ
ば、図４のステップ４１１または図５のステップ５０７
の実行完了後に入る。その後、ステップ６０３におい
て、ビューワとそのポップ・アウトされるオブジェクト
との間の許可されている対話をサポートするために必要
であって、そのオブジェクトのコンピュータ・グラフィ
ックスの視覚的モデルを単純に発生するのに必要な情報
より多い追加の情報が呼び出される。そのような情報は
ビデオからオブジェクトをポップ・アウトするために使
われる、そのビデオに付随している情報と一緒に含める
ことができる。ステップ６０５において、そのオブジェ
クトに関連付けられている地理的機能が決定される。た
とえば、そのビデオからポップ・アウトされるオブジェ
クトが、たとえば、ニューヨーク市の中のセントラル・
パークの周りをサイクリングしている時に見つけること
ができるようなベンダーのカートであった場合、その地
理的機能はそのベンダー・カートから入手できるのと同
じ種類のフードをサービスするタイプのレストランを指
定することができる。そのようなフードは、たとえば、
フランクルフルタ、ハンバーガ、ソーダおよびスナック
などがあり得る。そのカートに対応するレストランのタ
イプが次にそのユーザの実際の世界、たとえば、ネブラ
スカ州のオマハにおける実際の物理的場所と一緒に使わ
れ、同じタイプのフードを扱っていて、配達サービスを
提供している地方のレストランを決定するために使われ
る。そのカートを調べることによって提供される情報
は、その決定されたレストランに対応している情報、た
とえば、それに対するメニュー選択および価格に対して
リンクされている。そのビューワはカート上にオブジェ
クトを維持することによって、そのレストランから１つ
のアイテムを注文することができ、そしてそのレストラ
ンは次にそれらを直接そのビューワに対して配達するこ
とができる。有利なことに、違う実世界の場所にいる
が、仮想の世界と結合して交渉しているユーザは実質的
に同じサービスが提供され、仮想の世界における彼らの
経験を高めることができる。そのオブジェクトが関係付
けられるレストランが２つ以上ある時、そのオブジェク
トの決定はユーザ・プロファイルの中に格納しておくこ
とができ、そのユーザに関する知識に依存して行うこと
もできる。
るプロセスのステップを示している。図６のプロセスに
はステップ６０１から入る。このステップは、たとえ
ば、図４のステップ４１１または図５のステップ５０７
の実行完了後に入る。その後、ステップ６０３におい
て、ビューワとそのポップ・アウトされるオブジェクト
との間の許可されている対話をサポートするために必要
であって、そのオブジェクトのコンピュータ・グラフィ
ックスの視覚的モデルを単純に発生するのに必要な情報
より多い追加の情報が呼び出される。そのような情報は
ビデオからオブジェクトをポップ・アウトするために使
われる、そのビデオに付随している情報と一緒に含める
ことができる。ステップ６０５において、そのオブジェ
クトに関連付けられている地理的機能が決定される。た
とえば、そのビデオからポップ・アウトされるオブジェ
クトが、たとえば、ニューヨーク市の中のセントラル・
パークの周りをサイクリングしている時に見つけること
ができるようなベンダーのカートであった場合、その地
理的機能はそのベンダー・カートから入手できるのと同
じ種類のフードをサービスするタイプのレストランを指
定することができる。そのようなフードは、たとえば、
フランクルフルタ、ハンバーガ、ソーダおよびスナック
などがあり得る。そのカートに対応するレストランのタ
イプが次にそのユーザの実際の世界、たとえば、ネブラ
スカ州のオマハにおける実際の物理的場所と一緒に使わ
れ、同じタイプのフードを扱っていて、配達サービスを
提供している地方のレストランを決定するために使われ
る。そのカートを調べることによって提供される情報
は、その決定されたレストランに対応している情報、た
とえば、それに対するメニュー選択および価格に対して
リンクされている。そのビューワはカート上にオブジェ
クトを維持することによって、そのレストランから１つ
のアイテムを注文することができ、そしてそのレストラ
ンは次にそれらを直接そのビューワに対して配達するこ
とができる。有利なことに、違う実世界の場所にいる
が、仮想の世界と結合して交渉しているユーザは実質的
に同じサービスが提供され、仮想の世界における彼らの
経験を高めることができる。そのオブジェクトが関係付
けられるレストランが２つ以上ある時、そのオブジェク
トの決定はユーザ・プロファイルの中に格納しておくこ
とができ、そのユーザに関する知識に依存して行うこと
もできる。
【００３２】次に、ステップ６０７において、ポップ・
アウトされたオブジェクトと１つのエンティティ（上記
のように地理的に決定することができている）との間の
通信チャネルをイネーブルすることができる。たとえ
ば、ポップ・アウトされたオブジェクトが上記のベンダ
ー・カートであった場合、通信チャネルがその対応して
いるレストラン、またはそれに対するエージェントに対
して開かれる。そのレストランは「ホット・ドッグおよ
びコールド・ソーダをここでお買い求め下さい」という
ようなメッセージを送信することができる。そのメッセ
ージはテキストから音声への変換を使うか、あるいは直
接送信される音声の表現を備えるかのいずれかによって
そのカートの後のベンダーの化身がそのメッセージをし
ゃべることによって示すことができる。いわゆる「チャ
ット」サービスを使って、ビューワとベンダーとの間の
双方向通信を行うことができる。
アウトされたオブジェクトと１つのエンティティ（上記
のように地理的に決定することができている）との間の
通信チャネルをイネーブルすることができる。たとえ
ば、ポップ・アウトされたオブジェクトが上記のベンダ
ー・カートであった場合、通信チャネルがその対応して
いるレストラン、またはそれに対するエージェントに対
して開かれる。そのレストランは「ホット・ドッグおよ
びコールド・ソーダをここでお買い求め下さい」という
ようなメッセージを送信することができる。そのメッセ
ージはテキストから音声への変換を使うか、あるいは直
接送信される音声の表現を備えるかのいずれかによって
そのカートの後のベンダーの化身がそのメッセージをし
ゃべることによって示すことができる。いわゆる「チャ
ット」サービスを使って、ビューワとベンダーとの間の
双方向通信を行うことができる。
【００３３】通信チャネルを開設することができる別の
オブジェクトの例として、広告掲示板（billboard） が
ある。そのような広告掲示板はいくつかの方法のうちの
１つで動作することができる。たとえば、その広告掲示
板は、ポップ・アウトされた時、潜在的な顧客が近づい
たことを広告者に知らせることができ、それに応答し
て、その広告者は本発明の１つの態様に従ってその広告
掲示板に対してメッセージを直ちに送信することができ
る。選択された特定の広告者をすべてのビューワに対し
て全世界的に固定することができる。あるいは、それを
各ビューワに対して地理的に決定することができる。代
わりに、広告掲示板はポップ・アウトされた時、潜在的
な顧客が近づいたことを広告者に知らせることができ、
そしてその広告者は本発明の１つの態様に従って、その
ビューワに関してそれに対して送ることができる情報を
レビューした後、広告者がそうしたければ、その広告掲
示板に対してメッセージを送信するようにすることがで
きる。
オブジェクトの例として、広告掲示板（billboard） が
ある。そのような広告掲示板はいくつかの方法のうちの
１つで動作することができる。たとえば、その広告掲示
板は、ポップ・アウトされた時、潜在的な顧客が近づい
たことを広告者に知らせることができ、それに応答し
て、その広告者は本発明の１つの態様に従ってその広告
掲示板に対してメッセージを直ちに送信することができ
る。選択された特定の広告者をすべてのビューワに対し
て全世界的に固定することができる。あるいは、それを
各ビューワに対して地理的に決定することができる。代
わりに、広告掲示板はポップ・アウトされた時、潜在的
な顧客が近づいたことを広告者に知らせることができ、
そしてその広告者は本発明の１つの態様に従って、その
ビューワに関してそれに対して送ることができる情報を
レビューした後、広告者がそうしたければ、その広告掲
示板に対してメッセージを送信するようにすることがで
きる。
【００３４】このプロセスはステップ６０９において脱
出し、そして次に図４および５のプロセスを再開するこ
とができる。
出し、そして次に図４および５のプロセスを再開するこ
とができる。
【００３５】図６のプロセスは１つのフレームのタイム
・スパンの範囲内で発生するように限定される必要はな
い。
・スパンの範囲内で発生するように限定される必要はな
い。
【００３６】この分野における通常の技術を有する人で
あれば、世界の共同探索のシミュレーションは本発明の
原理を採用することができることが分かる。たとえば、
１つの世界を探索しているユーザは自動車の乗車、ボー
トへの乗船、飛行機への搭乗、列車への乗車および飛行
船への乗船などを一緒に行うことができる。ローボード
への乗船はそのユーザによって見られる世界の画像にコ
ーディネートされている、ローイング・マシンを備えて
いるユーザに対して提供することができる。代わりに、
そのユーザは世界中を一緒に歩くことができ、たとえ
ば、各ユーザはそのユーザ達によって見られる世界の画
像と一緒にコーディネートされている自分自身の踏み車
の上を歩く。同様に、複数のユーザがスキーを一緒にす
ることができる。たとえば、各ユーザはその複数のユー
ザによって見られる画像と一緒にコーディネートされて
いる、ノルディックトラック（Nordictrak）などのスキ
ー用のシミュレート・マシン上にいる。
あれば、世界の共同探索のシミュレーションは本発明の
原理を採用することができることが分かる。たとえば、
１つの世界を探索しているユーザは自動車の乗車、ボー
トへの乗船、飛行機への搭乗、列車への乗車および飛行
船への乗船などを一緒に行うことができる。ローボード
への乗船はそのユーザによって見られる世界の画像にコ
ーディネートされている、ローイング・マシンを備えて
いるユーザに対して提供することができる。代わりに、
そのユーザは世界中を一緒に歩くことができ、たとえ
ば、各ユーザはそのユーザ達によって見られる世界の画
像と一緒にコーディネートされている自分自身の踏み車
の上を歩く。同様に、複数のユーザがスキーを一緒にす
ることができる。たとえば、各ユーザはその複数のユー
ザによって見られる画像と一緒にコーディネートされて
いる、ノルディックトラック（Nordictrak）などのスキ
ー用のシミュレート・マシン上にいる。
【００３７】さらに、ショッピングの他に、他の形の商
用のトランザクションを連動させることができる。たと
えば、仮想のハイウェーを自動車で走っている複数のユ
ーザは、画面からポップ・アウトする料金徴収所のブー
スに出会う可能性があり、そしてその世界の探索が許さ
れる前にユーザのうちの少なくとも一人が料金を支払わ
なければならない。同様に、複数のユーザが仮想アミュ
ーズメント・パークまたは仮想サファリなどの１つのア
トラクションに接近することができる。ビデオ画面上に
現われるチケット・ブースがそのビデオ画面からポップ
・アウトすることがあり、そしてユーザはそのアトラク
ションに進むためにチケットをそれぞれ購入するか、あ
るいは彼らのために配送させるかして取得しなければな
らない。
用のトランザクションを連動させることができる。たと
えば、仮想のハイウェーを自動車で走っている複数のユ
ーザは、画面からポップ・アウトする料金徴収所のブー
スに出会う可能性があり、そしてその世界の探索が許さ
れる前にユーザのうちの少なくとも一人が料金を支払わ
なければならない。同様に、複数のユーザが仮想アミュ
ーズメント・パークまたは仮想サファリなどの１つのア
トラクションに接近することができる。ビデオ画面上に
現われるチケット・ブースがそのビデオ画面からポップ
・アウトすることがあり、そしてユーザはそのアトラク
ションに進むためにチケットをそれぞれ購入するか、あ
るいは彼らのために配送させるかして取得しなければな
らない。
【００３８】これまでの説明は本発明の原理を単に示し
ているに過ぎない。したがって、この分野の技術に熟達
した人であれば、ここに明示的には説明あるいは表示さ
れてはいないが、本発明の原理を具体化し、そしてその
精神および適用範囲内に含まれている各種の構成を工夫
することができることを理解されたい。
ているに過ぎない。したがって、この分野の技術に熟達
した人であれば、ここに明示的には説明あるいは表示さ
れてはいないが、本発明の原理を具体化し、そしてその
精神および適用範囲内に含まれている各種の構成を工夫
することができることを理解されたい。
【図面の簡単な説明】
【図１】ビデオから「ポップ・アウト」してそのビデオ
画面の前面において、あるいはその側面において見える
ようになっているビデオ・オブジェクトの一例を示す。
画面の前面において、あるいはその側面において見える
ようになっているビデオ・オブジェクトの一例を示す。
【図２】ビデオから「ポップ・アウト」してそのビデオ
画面の前面において、あるいはその側面において見える
ようになっているビデオ・オブジェクトの一例を示す。
画面の前面において、あるいはその側面において見える
ようになっているビデオ・オブジェクトの一例を示す。
【図３】ビデオから「ポップ・アウト」してそのビデオ
画面の前面において、あるいはその側面において見える
ようになっているビデオ・オブジェクトの一例を示す。
画面の前面において、あるいはその側面において見える
ようになっているビデオ・オブジェクトの一例を示す。
【図４】オブジェクトの投影される運動が三次元の世界
の中にあるべきであるために、コンピュータ・グラフィ
ックス技法を使って、たとえば、そのオブジェクトがビ
デオの面から「ポップ・アウトする」ように表示され
る、ビデオ面によって表現される視野の内部にあるオブ
ジェクトが処理されるプロセスの一例を示す。
の中にあるべきであるために、コンピュータ・グラフィ
ックス技法を使って、たとえば、そのオブジェクトがビ
デオの面から「ポップ・アウトする」ように表示され
る、ビデオ面によって表現される視野の内部にあるオブ
ジェクトが処理されるプロセスの一例を示す。
【図５】オブジェクトの投影された運動が三次元の世界
の中にあるべきであるために、コンピュータ・グラフィ
ックス技法を使って表示されるように、ビデオ面によっ
て表されている視野の内部のオブジェクトが処理され
る、他のプロセスの実施形態を示す。
の中にあるべきであるために、コンピュータ・グラフィ
ックス技法を使って表示されるように、ビデオ面によっ
て表されている視野の内部のオブジェクトが処理され
る、他のプロセスの実施形態を示す。
【図６】本発明を実装することができるプロセスのステ
ップを示す
ップを示す
───────────────────────────────────────────────────── フロントページの続き (72)発明者 サドヒール ラマン アフジャ アメリカ合衆国 07739 ニュージャーシ ィ，リットル シルヴァー，セヴン ブリ ッジズ ロード 28 (72)発明者 ジアンパオロ ユー．カーラロ アメリカ合衆国 07701 ニュージャーシ ィ，レッド バンク，アパートメント 31 エー，スプリング ストリート 275 (72)発明者 ジェームス ロバート エンソア アメリカ合衆国 07701 ニュージャーシ ィ，レッド バンク，センター ストリー ト 812 (72)発明者 ユージェン ジェー．ローゼンザル アメリカ合衆国 08817 ニュージャーシ ィ，エジソン，ノース フィフス アヴェ ニュー 321
Claims (46)
- 【請求項１】 三次元の世界の中の１つのオブジェクト
にアクセスするのに用いる方法であって、該世界の第１
の部分はコンピュータ・グラフィックスとしてモデル化
され、該世界の第２の部分はビデオによって表現されて
いて、該方法が、 ビデオによって表現されていたオブジェクトがコンピュ
ータ・グラフィックスとしてモデル化されている場所へ
移動したことを判定する段階と、 該オブジェクトの表現をビデオ表現からコンピュータ・
グラフィックスとしてモデル化されている表現へ変更す
る段階と、 ユーザによる該オブジェクトの選択の指示を受信する段
階と、 該選択されたオブジェクトに関する追加の情報にアクセ
スする段階とからなることを特徴とする方法。 - 【請求項２】 請求項１に記載の方法において、該追加
の情報が該オブジェクトの上に書かれているテキストか
ら導かれることを特徴とする方法。 - 【請求項３】 請求項１に記載の方法において、該オブ
ジェクトが広告掲示板であることを特徴とする方法。 - 【請求項４】 請求項１に記載の方法において、該オブ
ジェクトが店舗であることを特徴とする方法。 - 【請求項５】 請求項１に記載の方法において、該オブ
ジェクトがベンダー・スタンドであることを特徴とする
方法。 - 【請求項６】 請求項１に記載の方法において、該オブ
ジェクトがガレージ・セールであることを特徴とする方
法。 - 【請求項７】 請求項１に記載の方法において、該追加
の情報が該世界のビューワの指定されたパラメータの関
数として決定されることを特徴とする方法。 - 【請求項８】 請求項１に記載の方法において、該追加
の情報が該世界のビューワの実世界における場所の関数
として決定されることを特徴とする方法。 - 【請求項９】 請求項１に記載の方法において、該追加
の情報が該世界のビューワの実世界における場所とは独
立に決定されることを特徴とする方法。 - 【請求項１０】 請求項１に記載の方法において、該追
加の情報が該世界のビューワの好みの関数として決定さ
れることを特徴とする方法。 - 【請求項１１】 請求項１に記載の方法において、該オ
ブジェクトがビューワの場所の関数として複数の店舗の
うちから選択された１つの店舗であり、該追加の情報は
該店舗における販売のためのオブジェクトに関連してい
ることを特徴とする方法。 - 【請求項１２】 請求項１に記載の方法において、該オ
ブジェクトがビューワの指定されたパラメータの関数と
して複数の店舗のうちから選択された１つの店舗であ
り、該追加の情報は該店舗において販売されるためのオ
ブジェクトに関連していることを特徴とする方法。 - 【請求項１３】 請求項１に記載の方法において、該世
界のビューワと該追加の情報の関数として定義された場
所との間の通信チャネルを開設する段階をさらに含むこ
とを特徴とする方法。 - 【請求項１４】 請求項１に記載の方法において、該追
加の情報が該世界のビューワの実世界における場所の関
数として決定され、該世界のビューワと該追加の情報の
別の関数として定義される場所との間で通信チャネルを
開設する段階をさらに含むことを特徴とする方法。 - 【請求項１５】 三次元の世界を探索している複数のユ
ーザによって使うための方法であって、該世界の第１の
部分がコンピュータ・グラフィックスとしてモデル化さ
れ、そして該世界の第２の部分がビデオによって表現さ
れていて、該方法が、 ビデオによって表現されていたオブジェクトがコンピュ
ータ・グラフィックスとしてモデル化されている場所へ
移動したことを判定する段階と、 該オブジェクトの表現をビデオ表現からコンピュータ・
グラフィックスとしてモデル化されている表現へ変更す
る段階と、 ユーザによる該オブジェクトの選択の指示を受信する段
階と、 該複数のユーザのうちの少なくとも２つの異なるサブセ
ットに対して、該選択されたオブジェクトに関する追加
の情報を送信する段階とを含み、 該複数のユーザの該少なくとも２つの異なるサブセット
のうちの１つが供給される該選択されたオブジェクトに
関する該追加の情報が、該複数のユーザの該少なくとも
２つの異なるサブセットのうちの別のものに対して供給
される該選択されたオブジェクトに関する追加の情報と
は異なっていることを特徴とする方法。 - 【請求項１６】 請求項１５に記載の方法において、該
オブジェクトが１つの店舗の化身であって、該複数のユ
ーザの該少なくとも２つの異なるサブセットのうちの該
１つに対して供給される該追加の情報が第１の実世界の
店舗に関連しており、そして該複数のユーザのうちの該
少なくとも２つの異なるサブセットの該他のものに対し
て供給される該追加の情報が第２の実世界の店舗に関連
していて、該第１および第２の店舗は異なっていること
を特徴とする方法。 - 【請求項１７】 請求項１５に記載の方法において、該
複数のユーザの該少なくとも２つの異なるサブセットに
おける該１つに対して、および、該複数のユーザの該少
なくとも２つの異なるサブセットのうちの該他のサブセ
ットに対して実際に供給される該追加の情報が、該１つ
のサブセットおよび該他の異なるサブセットに関連して
定義されているパラメータの関数として決定されること
を特徴とする方法。 - 【請求項１８】 三次元の世界の中の１つのオブジェク
トにアクセスする際に使うための方法であって、該世界
の第１の部分はコンピュータ・グラフィックスとしてモ
デル化され、該世界の第２の部分はビデオによって表現
されていて、該方法が、 ビデオによって表現されていたオブジェクトがコンピュ
ータ・グラフィックスとしてモデル化されている場所へ
移動したことを判定する段階と、 該オブジェクトの表現をビデオ表現からコンピュータ・
グラフィックスとしてモデル化されている表現へ変更す
る段階と、 ユーザの化身が該世界の該第１の部分の中の該オブジェ
クトの指定された距離の範囲内にユーザの化身がある時
に通信チャネルを開設する段階とを含むことを特徴とす
る方法。 - 【請求項１９】 請求項１８に記載の方法において、該
通信チャネルは該世界の中のディスプレイの化身に対し
て接続することを特徴とする方法。 - 【請求項２０】 請求項１８に記載の方法において、該
通信チャネルは該世界の中の広告掲示板の化身に対して
接続することを特徴とする方法。 - 【請求項２１】 請求項１８に記載の方法において、該
通信チャネルは該ユーザおよび該オブジェクトを代表す
るアクター（ａｃｔｏｒ）に対して接続することを特徴
とする方法。 - 【請求項２２】 請求項２１に記載の方法において、該
アクターは該オブジェクトを表している自律的なエージ
ェントであることを特徴とする方法。 - 【請求項２３】 請求項１８に記載の方法において、該
通信チャネルは該世界の第１の部分の中の１つの広告の
化身として表されることを特徴とする方法。 - 【請求項２４】 請求項１８に記載の方法において、該
通信チャネルは該ユーザを該化身の代表のアクターに対
して接続することを特徴とする方法。 - 【請求項２５】 請求項１８に記載の方法において、該
通信チャネルは音声チャネルであることを特徴とする方
法。 - 【請求項２６】 請求項１８に記載の方法において、該
通信チャネルはデータ・チャネルであることを特徴とす
る方法。 - 【請求項２７】 請求項１８に記載の方法において、該
通信チャネルはチャット・セッションであることを特徴
とする方法。 - 【請求項２８】 三次元の世界の中の１つのオブジェク
トにアクセスする際に使う方法であって、該世界の第１
の部分がコンピュータ・グラフィックスとしてモデル化
され、該世界の第２の部分がビデオによって表現され、
該世界が複数のユーザによって探索され、該方法が、 ビデオによって表現されていたオブジェクトがコンピュ
ータ・グラフィックスとしてモデル化されている場所へ
移動したことを判定する段階と、 該オブジェクトの表現をビデオ表現からコンピュータ・
グラフィックスとしてモデル化されている表現へ変更す
る段階と、 ユーザの化身が該世界の該第１の部分の中の該オブジェ
クトの指定された距離の範囲内にユーザの化身がある時
に、複数の通信チャネルを開設する段階とを含むことを
特徴とする方法。 - 【請求項２９】 請求項２８に記載の方法において、該
通信チャネルのうちの第１のチャネルは、該ユーザと該
オブジェクトとによって表される第１の実世界の項目を
代表するアクターとを接続し、そして該通信チャネルの
うちの第２のチャネルは、該ユーザと該オブジェクトに
よって表現される第２の実世界のアイテムを代表するア
クターとを接続し、該第１のアクターと第２のアクター
とは異なっていることを特徴とする方法。 - 【請求項３０】 請求項２８に記載の方法において、該
複数の通信チャネルのうちの第１の通信チャネルは該世
界の中の第１の広告掲示板の化身に接続し、そしてその
上に第１のメッセージを表示するためにメッセージを搬
送し、そして該複数の通信チャネルのうちの第２の通信
チャネルは該世界の中の第２の広告掲示板の化身に接続
し、そしてそれに対して表示するために第２のメッセー
ジを搬送し、該第１のメッセージは該第２のメッセージ
とは異なっていることを特徴とする方法。 - 【請求項３１】 請求項２８に記載の方法において、該
複数の通信チャネルのうちの第１の通信チャネルは、該
複数のユーザのうちの第１のユーザおよび該オブジェク
トを代表するアクターに接続し、そして該複数の通信チ
ャネルのうちの第２の通信チャネルは、該複数のユーザ
のうちの第２のユーザおよび該オブジェクトを代表する
別のアクターに接続し、該第１のアクターは該第２のア
クターとは異なっていて、そして該第１および第２のア
クターのそれぞれが該オブジェクトによって該世界の中
にそれぞれ表現されているそれぞれ異なる実世界のアイ
テムを表していることを特徴とする方法。 - 【請求項３２】 三次元の世界のビューを処理する際に
使うための方法であって、該世界の第１の部分はコンピ
ュータ・グラフィックスとしてモデル化され、そして該
世界の第２の部分はビデオによって表現されていて、該
方法が、 ビデオによって表現されているオブジェクトがコンピュ
ータ・グラフィックスとしてモデル化されている１つの
場所へ移動したことを判定する段階と、 該オブジェクトの表現をコンピュータ・グラフィックス
として表す段階と、 該オブジェクトに対して外部である視点を有しているビ
ューワに対して、該コンピュータ・グラフィックスとし
ての該オブジェクトを表示する必要がない該オブジェク
トに関する追加の情報にアクセスする段階とを含むこと
を特徴とする方法。 - 【請求項３３】 請求項３２に記載の方法において、該
オブジェクトの該表現をコンピュータ・グラフィックス
としてあらかじめ格納しておく段階をさらに含むことを
特徴とする方法。 - 【請求項３４】 請求項３２に記載の方法において、該
追加の情報を該ビューワに対して表示する段階をさらに
含むことを特徴とする方法。 - 【請求項３５】 請求項３２に記載の方法において、該
追加の情報を該ビューワに対して該コンピュータ・グラ
フィックスとは区別される１つのウィンドウの中に表示
する段階をさらに含むことを特徴とする方法。 - 【請求項３６】 請求項３２に記載の方法において、該
ビデオは該オブジェクトの１つの外部ビューを表示して
おり、該追加の情報は該オブジェクトの内部ビューを発
生するための情報を含むことを特徴とする方法。 - 【請求項３７】 三次元の世界のビューを処理する際に
使うための方法であって、該世界の第１の部分はコンピ
ュータ・グラフィックスとしてモデル化され、そして該
世界の第２の部分はビデオによって表現されていて、該
方法が、ビデオによって表現されているオブジェクトが
コンピュータ・グラフィックスとしてモデル化されてい
る１つの場所へ移動したことを判定する段階と、 該オブジェクトの表現をコンピュータ・グラフィックス
として表す段階と、 該オブジェクトに対するデータ構造をコンピュータ・グ
ラフィックスとして構成し、該オブジェクトがコンピュ
ータ・グラフィックスとしてモデル化されている該場所
へ移動した際に表されたコンピュータ・グラフィックス
としてのその表現のビュー以外の、該オブジェクトに関
する他の情報にビューワがアクセスできるようにする段
階とを含むことを特徴とする方法。 - 【請求項３８】 三次元の世界の中の１つのオブジェク
トにアクセスする際に使うための方法であって、該世界
の第１の部分はコンピュータ・グラフィックスとしてモ
デル化され、該世界の第２の部分はビデオによって表現
されていて、該方法が、 ビデオによって表現されていたオブジェクトがコンピュ
ータ・グラフィックスとしてモデル化されている場所へ
移動したことを判定する段階と、 該オブジェクトの表現をビデオ表現からコンピュータ・
グラフィックスとしてモデル化されている表現へ変更す
る段階と、 該オブジェクトに対するデータ構造をコンピュータ・グ
ラフィックスとして構成し、該オブジェクトがコンピュ
ータ・グラフィックスとしてモデル化されている該場所
へ移動した際に変更されたコンピュータ・グラフィック
スとしてのそのオブジェクトの表現のビュー以外の、該
オブジェクトに関する他の情報にビューワがアクセスで
きるようにする段階とを含むことを特徴とする方法。 - 【請求項３９】 請求項３８に記載の方法において、 ユーザによる該オブジェクトの選択の指示を受信する段
階と、 該選択されたオブジェクトに関する該追加の情報にアク
セスする段階とをさらに含むことを特徴とする方法。 - 【請求項４０】 請求項３９に記載の方法において、該
追加の情報が別のウィンドウの中に表示されることを特
徴とする方法。 - 【請求項４１】 請求項３９に記載の方法において、該
追加の情報は該オブジェクトの内部ビューを定義するこ
とを特徴とする方法。 - 【請求項４２】 請求項３９に記載の方法において、該
追加の情報は該オブジェクトを実世界のオブジェクトと
関係付けるために使われることを特徴とする方法。 - 【請求項４３】 請求項３９に記載の方法において、該
追加の情報は該オブジェクトを実世界のオブジェクト
と、該オブジェクトのビューワの実世界の場所の関数と
して関係付けるために使われることを特徴とする方法。 - 【請求項４４】 請求項３９に記載の方法において、該
追加の情報は該オブジェクトを実世界のオブジェクト
と、該オブジェクトのビューワの好みの関数として関係
付けるために使われることを特徴とする方法。 - 【請求項４５】 請求項３９に記載の方法において、該
追加の情報は該オブジェクトのビューワの実世界の場所
の関数として、該オブジェクトと実世界のオブジェクト
との間の通信チャネルを確立するために使われることを
特徴とする方法。 - 【請求項４６】 請求項３９に記載の方法において、該
追加の情報は該オブジェクトと実世界のオブジェクトと
の間の通信チャネルを確立するために使われるようにな
っていて、該実世界のオブジェクトは該オブジェクトの
ビューワの実世界の場所の関数として選択されることを
特徴とする方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US5538497P | 1997-08-04 | 1997-08-04 | |
| US08/938,304 US6256043B1 (en) | 1997-09-26 | 1997-09-26 | Three dimensional virtual reality enhancement techniques |
| US08/938304 | 1997-09-26 | ||
| US60/055384 | 1997-09-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11134084A true JPH11134084A (ja) | 1999-05-21 |
| JP3592541B2 JP3592541B2 (ja) | 2004-11-24 |
Family
ID=26734159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22012198A Expired - Fee Related JP3592541B2 (ja) | 1997-08-04 | 1998-08-04 | 三次元バーチャル・リアリティを改善する方法 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP0899691B1 (ja) |
| JP (1) | JP3592541B2 (ja) |
| CA (1) | CA2242170C (ja) |
| DE (1) | DE69800884T2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009026283A (ja) * | 2007-07-23 | 2009-02-05 | Masazumi Fukuda | バーチャル（仮想）旅行 |
| JP2014507703A (ja) * | 2010-12-23 | 2014-03-27 | グーグル・インク | ３ｄアプリケーションの地物におけるユーザーの興味を決定する視野依存技術 |
| US9171011B1 (en) | 2010-12-23 | 2015-10-27 | Google Inc. | Building search by contents |
| KR20200099590A (ko) * | 2018-01-22 | 2020-08-24 | 애플 인크. | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
| WO2022264846A1 (ja) * | 2021-06-15 | 2022-12-22 | 至 石井 | 仮想旅行システム、仮想集会システムおよび通信端末 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001009748A2 (en) * | 1999-07-28 | 2001-02-08 | Perceptual Robotics, Inc. | Method and apparatus for real-time, remote location shopping over a computer network |
| EP1085440A3 (en) * | 1999-09-20 | 2003-11-26 | Ncr International Inc. | Information gathering and personalisation techniques |
| EP1085438A3 (en) * | 1999-09-20 | 2003-12-03 | Ncr International Inc. | Information gathering and personalisation techniques |
| DE19958609A1 (de) * | 1999-12-06 | 2001-06-07 | Duester Hans Uwe | Verfahren zur Präsentation von Angeboten, wie Waren und Dienstleistungen |
| EP1261906A2 (en) * | 2000-03-10 | 2002-12-04 | Richfx Ltd. | Natural user interface for virtual reality shopping systems |
| KR20020007052A (ko) * | 2000-07-15 | 2002-01-26 | 이종구 | 3차원 입체적 사이버 쇼핑몰 시스템 |
| EP1197898A3 (en) * | 2000-09-05 | 2004-02-04 | Ncr International Inc. | Information gathering and personalisation techniques |
| TWI411292B (zh) * | 2009-12-17 | 2013-10-01 | Chien Hui Chuan | 實景虛擬化的編碼方法 |
| US9405770B2 (en) | 2014-03-10 | 2016-08-02 | Google Inc. | Three dimensional navigation among photos |
| CN109461210B (zh) * | 2018-10-15 | 2023-03-21 | 杭州群核信息技术有限公司 | 一种在线家装的全景漫游方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4970666A (en) * | 1988-03-30 | 1990-11-13 | Land Development Laboratory, Inc. | Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment |
| FR2675977B1 (fr) * | 1991-04-26 | 1997-09-12 | Inst Nat Audiovisuel | Procede de modelisation d'un systeme de prise de vues et procede et systeme de realisation de combinaisons d'images reelles et d'images de synthese. |
| GB2256567B (en) * | 1991-06-05 | 1995-01-11 | Sony Broadcast & Communication | Modelling system for imaging three-dimensional models |
| US5577981A (en) * | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
-
1998
- 1998-06-30 CA CA002242170A patent/CA2242170C/en not_active Expired - Fee Related
- 1998-07-28 DE DE69800884T patent/DE69800884T2/de not_active Expired - Lifetime
- 1998-07-28 EP EP98305992A patent/EP0899691B1/en not_active Expired - Lifetime
- 1998-08-04 JP JP22012198A patent/JP3592541B2/ja not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009026283A (ja) * | 2007-07-23 | 2009-02-05 | Masazumi Fukuda | バーチャル（仮想）旅行 |
| JP2014507703A (ja) * | 2010-12-23 | 2014-03-27 | グーグル・インク | ３ｄアプリケーションの地物におけるユーザーの興味を決定する視野依存技術 |
| US9171011B1 (en) | 2010-12-23 | 2015-10-27 | Google Inc. | Building search by contents |
| KR20200099590A (ko) * | 2018-01-22 | 2020-08-24 | 애플 인크. | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
| US11328456B2 (en) | 2018-01-22 | 2022-05-10 | Apple Inc. | Method and device for presenting synthesized reality companion content |
| KR20220124828A (ko) * | 2018-01-22 | 2022-09-14 | 애플 인크. | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
| KR20230003449A (ko) * | 2018-01-22 | 2023-01-05 | 애플 인크. | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
| US11727606B2 (en) | 2018-01-22 | 2023-08-15 | Apple Inc. | Method and device for presenting synthesized reality companion content |
| WO2022264846A1 (ja) * | 2021-06-15 | 2022-12-22 | 至 石井 | 仮想旅行システム、仮想集会システムおよび通信端末 |
| JP2023037647A (ja) * | 2021-06-15 | 2023-03-15 | 至 石井 | 仮想集会システムおよび通信端末 |
| JP7268253B1 (ja) * | 2021-06-15 | 2023-05-02 | 至 石井 | 仮想旅行システムおよび通信端末 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0899691B1 (en) | 2001-06-06 |
| JP3592541B2 (ja) | 2004-11-24 |
| CA2242170A1 (en) | 1999-02-04 |
| EP0899691A2 (en) | 1999-03-03 |
| DE69800884T2 (de) | 2001-12-06 |
| CA2242170C (en) | 2002-11-05 |
| DE69800884D1 (de) | 2001-07-12 |
| EP0899691A3 (en) | 1999-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6256043B1 (en) | Three dimensional virtual reality enhancement techniques | |
| JP3592541B2 (ja) | 三次元バーチャル・リアリティを改善する方法 | |
| US8069095B2 (en) | Virtual reality shopping experience | |
| US20050022139A1 (en) | Information display | |
| US7464344B1 (en) | Systems and methods for immersive advertising | |
| EP1250691B1 (en) | System and method for managing advertisement and information displays on vehicles based on an e-commerce site | |
| US20040036622A1 (en) | Apparatuses, methods, and computer programs for displaying information on signs | |
| US20010034661A1 (en) | Methods and systems for presenting a virtual representation of a real city | |
| US20020154174A1 (en) | Method and system for providing a service in a photorealistic, 3-D environment | |
| KR102463019B1 (ko) | 현실과 가상이 융합된 융합공간에 경제 운용 체계를 제공하는 메타버스 시스템 | |
| US20050030309A1 (en) | Information display | |
| WO2006126205A2 (en) | Systems and uses and methods for graphic display | |
| US20070186238A1 (en) | Method and apparatus for presenting ecommerce offerings using seamless panoramic streaming of video data | |
| CN113194410A (zh) | 一种5g与虚拟增强现实融合的旅游信息处理方法和系统 | |
| WO2001040893A2 (en) | Method, system and apparatus for electronic face-to-face business and retail brokerage | |
| KR20170112113A (ko) | 아이템 기반 가상현실 및 증강현실 제공 방법 및 시스템 | |
| WO2004003852A1 (ja) | インターネット経由の観光旅行システム | |
| KR101489299B1 (ko) | 제안 및 수용 정보에 대한 정보를 표시하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체 | |
| AU742529B2 (en) | Display techniques for three dimensional virtual reality | |
| Uskenbayeva | CHINIBAYEV YERSAIN GULISLAMOVICH | |
| van Eggermond et al. | Virtual reality and choice modelling: existing applications and future research directions | |
| CN118269656A (zh) | 显示信息的显示方法、显示系统及存储介质 | |
| Bradley | The TIMIDDS project: Transparent integration of multiple intelligent data and display systems | |
| WO2001022308A2 (en) | Computer-implemented method and system for selecting one or more required items from a virtual store | |
| Peterson | Pervasive public map displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040825 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080903 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080903 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090903 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090903 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100903 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110903 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120903 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |