JP3368226B2 - 情報処理方法及び情報処理装置 - Google Patents
情報処理方法及び情報処理装置Info
- Publication number
- JP3368226B2 JP3368226B2 JP08466199A JP8466199A JP3368226B2 JP 3368226 B2 JP3368226 B2 JP 3368226B2 JP 08466199 A JP08466199 A JP 08466199A JP 8466199 A JP8466199 A JP 8466199A JP 3368226 B2 JP3368226 B2 JP 3368226B2
- Authority
- JP
- Japan
- Prior art keywords
- agent
- user
- placement
- dimensional space
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、仮想３次元空間ま
たは現実３次元空間に仮想３次元空間を重ね合わせた空
間である３次元空間上に、エージェントを配置する位置
を決定する情報処理方法及び情報処理装置に関する。
たは現実３次元空間に仮想３次元空間を重ね合わせた空
間である３次元空間上に、エージェントを配置する位置
を決定する情報処理方法及び情報処理装置に関する。
【０００２】また、本発明は、特に、ユーザにネガティ
ブな影響（威圧感や不快感）を与えないための「三次元
空間（仮想三次元空間(VR Space)および現実三次元空間
に仮想三次元空間を重ね合わせた空間(MR Space)）」に
おけるエージェントの配置決定手法に関する。
ブな影響（威圧感や不快感）を与えないための「三次元
空間（仮想三次元空間(VR Space)および現実三次元空間
に仮想三次元空間を重ね合わせた空間(MR Space)）」に
おけるエージェントの配置決定手法に関する。
【０００３】
【従来の技術】マルティメディア情報の提示技術の進歩
と共に、ユーザに提供される情報の量が莫大となって、
ユーザは逆に、ユーザ自身の要求をコンピュータにどの
ように指示をしたらよいのか、あるいはコンピュータシ
ステムがユーザになにを要求しているのか迷子になるこ
とがある。
と共に、ユーザに提供される情報の量が莫大となって、
ユーザは逆に、ユーザ自身の要求をコンピュータにどの
ように指示をしたらよいのか、あるいはコンピュータシ
ステムがユーザになにを要求しているのか迷子になるこ
とがある。
【０００４】このような場合を想定して、従来から、例
えばMicrosoft社のオペレーティングシステムであるWIN
DOWSやワープロプログラムであるWordプログラムでは、
ユーザの要求により、あるいは所定の条件がプログラム
上満たされたならば、エージェントキャラクタを表示し
て、ユーザにガイダンスを与えている。
えばMicrosoft社のオペレーティングシステムであるWIN
DOWSやワープロプログラムであるWordプログラムでは、
ユーザの要求により、あるいは所定の条件がプログラム
上満たされたならば、エージェントキャラクタを表示し
て、ユーザにガイダンスを与えている。
【０００５】これらのプログラムが提供するエージェン
トキャラクタは、二次元画像の表示環境でのものであ
り、本質的に、ユーザがどの位置で表示画面を注視して
いるのかは一切考慮されていない。
トキャラクタは、二次元画像の表示環境でのものであ
り、本質的に、ユーザがどの位置で表示画面を注視して
いるのかは一切考慮されていない。
【０００６】エージェントキャラクタに関する公知技術
は、その他にも、例えば、特開平９−１５３１４５号
（平成９年６月１０日）や、電子総研プレス懇談会資料
「見て、聞いて、笑顔で話しかけるコンピュータ（マル
チモーダル対話システム）」や、"Integrating Pedagog
ical Agents into Virtual Environments" (Presence,V
ol. 7, No. 6, pp 523 -- 546; Lewis Johnson, Jeff
Rickel, Randy Stiles,Allen Munro著)がある。
は、その他にも、例えば、特開平９−１５３１４５号
（平成９年６月１０日）や、電子総研プレス懇談会資料
「見て、聞いて、笑顔で話しかけるコンピュータ（マル
チモーダル対話システム）」や、"Integrating Pedagog
ical Agents into Virtual Environments" (Presence,V
ol. 7, No. 6, pp 523 -- 546; Lewis Johnson, Jeff
Rickel, Randy Stiles,Allen Munro著)がある。
【０００７】上記の特開平９−１５３１４５号の「エー
ジェント表示装置」は、ユーザの目的、好み、熟練レベ
ルに合つた処理をするユーザインタフェースとしてのエ
ージェント表示に関する技術である。具体的には、エー
ジェントの状態を見た目（エージェントの服装）・言い
まわし・感情表現を前もって複数種類用意し、ユーザの
目的や好み、熟練レベルにあった組み合わせを決定し
て、その組み合わせでのエージェントキャラクタを表示
するようにしている。
ジェント表示装置」は、ユーザの目的、好み、熟練レベ
ルに合つた処理をするユーザインタフェースとしてのエ
ージェント表示に関する技術である。具体的には、エー
ジェントの状態を見た目（エージェントの服装）・言い
まわし・感情表現を前もって複数種類用意し、ユーザの
目的や好み、熟練レベルにあった組み合わせを決定し
て、その組み合わせでのエージェントキャラクタを表示
するようにしている。
【０００８】しかしながら、この特許公報に開示されて
いる技術は三次元空間への配慮が本質的になされていな
い。
いる技術は三次元空間への配慮が本質的になされていな
い。
【０００９】電子総研プレス懇談会資料の「見て、聞い
て、笑顔で話しかけるコンピュータ（マルチモーダル対
話システム）」はhttp://www.etl,go.jp/etl/gazo/mm-p
ress/mmpress.html（平成８年１１月９日改訂版）のホ
ームページに公開されたもので、三次元空間に存在する
エージェント実現技術に関連するものである。具体的に
は、実時間画像認識・音声認識・音声合成機能を備えた
プロトタイプエージェントに関する研究である。この論
文は、スムーズな対話を実現するためにコンピュータが
満たすべき仕様を具体的に洗い出し、克服すべき技術課
題を浮き彫りにすることがねらいの研究である。この論
文では、エージェントはディスプレイの中に広がる空間
に存在し、窓（画面）越しにユーザと対話するようにな
っている。しかしながら、この資料では、エージェント
は常に定位置に表示されたままのものであり、ユーザと
の相対位置を考慮してエージェントの配置を変えるとい
うことはない。
て、笑顔で話しかけるコンピュータ（マルチモーダル対
話システム）」はhttp://www.etl,go.jp/etl/gazo/mm-p
ress/mmpress.html（平成８年１１月９日改訂版）のホ
ームページに公開されたもので、三次元空間に存在する
エージェント実現技術に関連するものである。具体的に
は、実時間画像認識・音声認識・音声合成機能を備えた
プロトタイプエージェントに関する研究である。この論
文は、スムーズな対話を実現するためにコンピュータが
満たすべき仕様を具体的に洗い出し、克服すべき技術課
題を浮き彫りにすることがねらいの研究である。この論
文では、エージェントはディスプレイの中に広がる空間
に存在し、窓（画面）越しにユーザと対話するようにな
っている。しかしながら、この資料では、エージェント
は常に定位置に表示されたままのものであり、ユーザと
の相対位置を考慮してエージェントの配置を変えるとい
うことはない。
【００１０】
【発明が解決しようとする課題】本発明が対象としてい
る三次元空間でのエージェントキャラクタ表示技術に関
して、"Integrating Predagogical Agents into Virtua
l Environments" は、実物大の三次元作業空間をバーチ
ャルに再現し、エージェントの助けを借りながら作業手
順を学ぶシステムに関する研究を開示する。ここでは、
ＨＭＤを利用するユーザのメニュー選択に対して主に音
声合成で応答する。作業例示のメニュー（Show Me!）が
選択されたときには動作で応答するようになっている。
る三次元空間でのエージェントキャラクタ表示技術に関
して、"Integrating Predagogical Agents into Virtua
l Environments" は、実物大の三次元作業空間をバーチ
ャルに再現し、エージェントの助けを借りながら作業手
順を学ぶシステムに関する研究を開示する。ここでは、
ＨＭＤを利用するユーザのメニュー選択に対して主に音
声合成で応答する。作業例示のメニュー（Show Me!）が
選択されたときには動作で応答するようになっている。
【００１１】しかしながら、この従来技術では、エージ
ェントはある決まった動作のみを行い、特ににユーザと
エージェントキャラクタの表示位置との相対位置を考慮
したエージェントキャラクタの表示配置はなされていな
い。
ェントはある決まった動作のみを行い、特ににユーザと
エージェントキャラクタの表示位置との相対位置を考慮
したエージェントキャラクタの表示配置はなされていな
い。
【００１２】三次元画像の表示環境では、ユーザインタ
フェースを実現するためには、エージェントキャラクタ
も三次元表示する必要がある。即ち、エージェントキャ
ラクタも、三次元表示位置を与えられ、スケールを与え
られるのである。
フェースを実現するためには、エージェントキャラクタ
も三次元表示する必要がある。即ち、エージェントキャ
ラクタも、三次元表示位置を与えられ、スケールを与え
られるのである。
【００１３】第１図は、あるスケール値を与えられたエ
ージェントキャラクタが、思わぬ大きさで表示されてユ
ーザを驚かす場合を説明している。即ち、三次元画像空
間では、エージェントキャラクタも三次元表示位置とス
ケールを与えられるので、例えば、エージェントキャラ
クタが人間と同じ大きさを与えられている三次元表示環
境において、ユーザが至近距離でのユーザインタフェー
スを希望した場合には、エージェントキャラクタを提示
するプログラムは、当然のことながら、エージェントキ
ャラクタの「顔」を第１図に示すように、人間の顔と同
じ大きさで表示する。これは、エージェントキャラクタ
の顔が場合によっては表示画面一杯の大きさになって、
ユーザに不快感や威圧感を与える。
ージェントキャラクタが、思わぬ大きさで表示されてユ
ーザを驚かす場合を説明している。即ち、三次元画像空
間では、エージェントキャラクタも三次元表示位置とス
ケールを与えられるので、例えば、エージェントキャラ
クタが人間と同じ大きさを与えられている三次元表示環
境において、ユーザが至近距離でのユーザインタフェー
スを希望した場合には、エージェントキャラクタを提示
するプログラムは、当然のことながら、エージェントキ
ャラクタの「顔」を第１図に示すように、人間の顔と同
じ大きさで表示する。これは、エージェントキャラクタ
の顔が場合によっては表示画面一杯の大きさになって、
ユーザに不快感や威圧感を与える。
【００１４】また、ある場合には、エージェントキャラ
クタの表示サイズが大きくなくとも、ユーザの視点位置
によっては、第２図に示すように、エージェントキャラ
クタがユーザがみたいと思っている対象物体を隠してし
まうことがある。
クタの表示サイズが大きくなくとも、ユーザの視点位置
によっては、第２図に示すように、エージェントキャラ
クタがユーザがみたいと思っている対象物体を隠してし
まうことがある。
【００１５】このようなことは、二次元表示空間では通
常起こらないことであり、また、三次元表示空間でも、
ユーザの視点位置／姿勢とエージェントキャラクタの位
置とを考慮しない場合に初めて起こることである。
常起こらないことであり、また、三次元表示空間でも、
ユーザの視点位置／姿勢とエージェントキャラクタの位
置とを考慮しない場合に初めて起こることである。
【００１６】上記の電総研プレス懇談会資料では、エー
ジェントは常に定位置に表示するという制限が課せられ
ているので、上記不都合は発生しない。
ジェントは常に定位置に表示するという制限が課せられ
ているので、上記不都合は発生しない。
【００１７】また、"Integrating Predagogical Agents
into Virtual Environments" では、前述したように、
エージェントはある決まった動作のみを行うようになっ
ているので、同じく、上記不都合は発生しない。
into Virtual Environments" では、前述したように、
エージェントはある決まった動作のみを行うようになっ
ているので、同じく、上記不都合は発生しない。
【００１８】換言すれば、三次元空間で、三次元のエー
ジェントキャラクタが自由に移動する様な環境では、上
記３つの先行技術は、第１図や第２図に示したような不
都合を回避することはできない。
ジェントキャラクタが自由に移動する様な環境では、上
記３つの先行技術は、第１図や第２図に示したような不
都合を回避することはできない。
【００１９】
【課題を解決するための手段】本発明は、上記従来技術
の問題点を解決するために提案されたもので、その目的
は、仮想３次元空間または現実３次元空間に仮想３次元
空間を重ね合わせた空間である３次元空間上において、
エージェントをユーザの位置および指示に応じた適切な
位置に配置することである。
の問題点を解決するために提案されたもので、その目的
は、仮想３次元空間または現実３次元空間に仮想３次元
空間を重ね合わせた空間である３次元空間上において、
エージェントをユーザの位置および指示に応じた適切な
位置に配置することである。
【００２０】上記目的は、仮想３次元空間または現実３
次元空間に仮想３次元空間を重ね合わせた空間である３
次元空間におけるエージェントの配置位置を決定し、決
定されたエージェントの配置位置に基づきエージェント
を表示させる情報処理方法であって、ユーザの位置を入
力し、ユーザの指示を示すコマンドを入力し、コマンド
の入力から判断されるユーザとのインタラクションの状
態から３次元空間におけるエージェントの配置候補域を
決定し、ユーザの位置および対象物体の位置に基づき、
配置候補域からエージェントの配置位置を決定する情報
処理方法であり、配置候補域は、ユーザとのインタラク
ションの状態に対応したルールを用いて、エージェント
の配置位置とユーザの位置の距離が、ユーザとインタラ
クションがない方がユーザとのインタラクションがある
場合に比べて大きくなるように、決定されることを特徴
とする本発明の情報処理方法によって達成される。
次元空間に仮想３次元空間を重ね合わせた空間である３
次元空間におけるエージェントの配置位置を決定し、決
定されたエージェントの配置位置に基づきエージェント
を表示させる情報処理方法であって、ユーザの位置を入
力し、ユーザの指示を示すコマンドを入力し、コマンド
の入力から判断されるユーザとのインタラクションの状
態から３次元空間におけるエージェントの配置候補域を
決定し、ユーザの位置および対象物体の位置に基づき、
配置候補域からエージェントの配置位置を決定する情報
処理方法であり、配置候補域は、ユーザとのインタラク
ションの状態に対応したルールを用いて、エージェント
の配置位置とユーザの位置の距離が、ユーザとインタラ
クションがない方がユーザとのインタラクションがある
場合に比べて大きくなるように、決定されることを特徴
とする本発明の情報処理方法によって達成される。
【００２１】また、上記目的は、仮想３次元空間または
現実３次元空間に仮想３次元空間を重ね合わせた空間で
ある３次元空間におけるエージェントの配置位置を決定
し、決定されたエージェントの配置位置に基づきエージ
ェントを表示させる情報処理装置であって、ユーザの位
置を入力する位置入力手段と、ユーザの指示を示すコマ
ンドを入力するコマンド入力手段と、コマンドの入力か
ら判断されるユーザとのインタラクションの状態から３
次元空間におけるエージェントの配置候補域を決定する
配置候補域決定手段と、ユーザの位置および対象物体の
位置に基づき、配置候補域からエージェントの配置位置
を決定する配置位置決定手段とを有し、配置位置決定手
段が、ユーザとのインタラクションの状態に対応したル
ールを用いて、エージェントの配置位置とユーザの位置
の距離が、ユーザとインタラクションがない方がユーザ
とのインタラクションがある場合に比べて大きくなるよ
うに、エージェントの配置位置を決定することを特徴と
する本発明の情報処理装置によっても達成される。さら
に、上記目的は、仮想３次元空間または現実３次元空間
に仮想３次元空間を重ね合わせた空間である３次元空間
におけるエージェントの配置位置を決定し、決定された
エージェントの配置位置に基づきエージェントを表示さ
せる情報処理装置として、コンピュータ装置を機能させ
る制御プログラムを格納したコンピュータ装置読み取り
可能な記憶媒体であって、制御プログラムが、ユーザの
位置を入力手段から得る位置入力工程のプログラムと、
ユーザの指示を示すコマンド入力手段から得るコマンド
入力工程のプログラムと、コマンドの入力から判断され
るユーザとのインタラクションの状態から３次元空間に
おけるエージェントの配置候補域を決定する配置候補域
決定工程のプログラムと、ユーザの位置および対象物体
の位置に基づき、配置候補域からエージェントの配置位
置を決定する配置位置決定工程のプログラムとを有し、
配置位置決定工程のプログラムは、ユーザとのインタラ
クションの状態に対応したルールを用いて、エージェン
トの配置位置とユーザの位置の距離が、ユーザとインタ
ラクションがない方がユーザとのインタラクションがあ
る場合に比べて大きくなるように、エージェントの配置
位置を決定することを特徴とする記憶媒体によっても達
成される。
現実３次元空間に仮想３次元空間を重ね合わせた空間で
ある３次元空間におけるエージェントの配置位置を決定
し、決定されたエージェントの配置位置に基づきエージ
ェントを表示させる情報処理装置であって、ユーザの位
置を入力する位置入力手段と、ユーザの指示を示すコマ
ンドを入力するコマンド入力手段と、コマンドの入力か
ら判断されるユーザとのインタラクションの状態から３
次元空間におけるエージェントの配置候補域を決定する
配置候補域決定手段と、ユーザの位置および対象物体の
位置に基づき、配置候補域からエージェントの配置位置
を決定する配置位置決定手段とを有し、配置位置決定手
段が、ユーザとのインタラクションの状態に対応したル
ールを用いて、エージェントの配置位置とユーザの位置
の距離が、ユーザとインタラクションがない方がユーザ
とのインタラクションがある場合に比べて大きくなるよ
うに、エージェントの配置位置を決定することを特徴と
する本発明の情報処理装置によっても達成される。さら
に、上記目的は、仮想３次元空間または現実３次元空間
に仮想３次元空間を重ね合わせた空間である３次元空間
におけるエージェントの配置位置を決定し、決定された
エージェントの配置位置に基づきエージェントを表示さ
せる情報処理装置として、コンピュータ装置を機能させ
る制御プログラムを格納したコンピュータ装置読み取り
可能な記憶媒体であって、制御プログラムが、ユーザの
位置を入力手段から得る位置入力工程のプログラムと、
ユーザの指示を示すコマンド入力手段から得るコマンド
入力工程のプログラムと、コマンドの入力から判断され
るユーザとのインタラクションの状態から３次元空間に
おけるエージェントの配置候補域を決定する配置候補域
決定工程のプログラムと、ユーザの位置および対象物体
の位置に基づき、配置候補域からエージェントの配置位
置を決定する配置位置決定工程のプログラムとを有し、
配置位置決定工程のプログラムは、ユーザとのインタラ
クションの状態に対応したルールを用いて、エージェン
トの配置位置とユーザの位置の距離が、ユーザとインタ
ラクションがない方がユーザとのインタラクションがあ
る場合に比べて大きくなるように、エージェントの配置
位置を決定することを特徴とする記憶媒体によっても達
成される。
【００２２】
【００２３】
【００２４】
【００２５】
【００２６】
【００２７】
【００２８】
【００２９】
【００３０】
【００３１】
【００３２】
【００３３】
【００３４】
【００３５】
【００３６】
【００３７】
【００３８】
【００３９】
【００４０】
【００４１】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明を適用した好適な実施形態に係るところの、図書
館情報ナビゲーションシステムを説明する。
本発明を適用した好適な実施形態に係るところの、図書
館情報ナビゲーションシステムを説明する。
【００４２】第３図は、このシステムは、第３図に示す
ように、一般的なオペレーティングシステムの下で稼働
する図書情報データベースアプリケーション・プログラ
ムに対して、同じくオペレーティングシステムの下で稼
働する本発明のエージェント配置支援モジュール群が、
ユーザインタフェース環境を提供するものである。デー
タベースアプリケーション・プログラムとエージェント
配置支援モジュール群はオペレーティングシステムを介
した公知のプログラム−プログラムインタフェース(AP
I)を利用してプログラム間通信を行う。
ように、一般的なオペレーティングシステムの下で稼働
する図書情報データベースアプリケーション・プログラ
ムに対して、同じくオペレーティングシステムの下で稼
働する本発明のエージェント配置支援モジュール群が、
ユーザインタフェース環境を提供するものである。デー
タベースアプリケーション・プログラムとエージェント
配置支援モジュール群はオペレーティングシステムを介
した公知のプログラム−プログラムインタフェース(AP
I)を利用してプログラム間通信を行う。
【００４３】第４図は、本システムのハードウエア環境
を示す。即ち、本システムの多くの部分はワークステー
ション（もしくはＰＣ）群１００に格納されている。こ
のワークステーション／ＰＣ群１００には、数々の入出
力装置が接続されている。ＨＭＤ２０１や立体ディスプ
レイ２０２あるいは全周型ディスプレイ２０３はユーザ
に三次元画像を提供する。これらディスプレイのどれを
用いるかは任意である。三次元画像はワークステーショ
ン／ＰＣ群１００から提供され、この提供される三次元
画像にはエージェントキャラクタが組み込まれている。
を示す。即ち、本システムの多くの部分はワークステー
ション（もしくはＰＣ）群１００に格納されている。こ
のワークステーション／ＰＣ群１００には、数々の入出
力装置が接続されている。ＨＭＤ２０１や立体ディスプ
レイ２０２あるいは全周型ディスプレイ２０３はユーザ
に三次元画像を提供する。これらディスプレイのどれを
用いるかは任意である。三次元画像はワークステーショ
ン／ＰＣ群１００から提供され、この提供される三次元
画像にはエージェントキャラクタが組み込まれている。
【００４４】ユーザに、エージェントの声を含む音情報
を提供するのはスピーカ２０４とヘッドホン２０５であ
る。これらスピーカ２０４とヘッドホン２０５のどれを
用いるかは任意である。ユーザからの音声及び実世界２
１０からの音を収集するのはマイク２０６を用いる。ユ
ーザと実世界２１０の画像はカメラ２０７により得られ
る。
を提供するのはスピーカ２０４とヘッドホン２０５であ
る。これらスピーカ２０４とヘッドホン２０５のどれを
用いるかは任意である。ユーザからの音声及び実世界２
１０からの音を収集するのはマイク２０６を用いる。ユ
ーザと実世界２１０の画像はカメラ２０７により得られ
る。
【００４５】ユーザの位置及び実世界２１０の位置は赤
外線センサ２０８による。このシステムでは、図書館情
報の提供を意図しているので、実世界２１０は本が置か
れた棚である。各棚の位置は、各棚におかれた赤外発光
器からの赤外光をセンサ２０８が検知して、その信号を
ワークステーション／ＰＣ群１００が解析して認識す
る。ユーザの視点位置／姿勢は赤外センサ２０８と磁気
センサ２０９により検知される。
外線センサ２０８による。このシステムでは、図書館情
報の提供を意図しているので、実世界２１０は本が置か
れた棚である。各棚の位置は、各棚におかれた赤外発光
器からの赤外光をセンサ２０８が検知して、その信号を
ワークステーション／ＰＣ群１００が解析して認識す
る。ユーザの視点位置／姿勢は赤外センサ２０８と磁気
センサ２０９により検知される。
【００４６】第４図のシステムでは、ユーザに提供され
る仮想空間は、図書館データベース３００からのデータ
から生成する仮想三次元画像とエージェント配置支援モ
ジュール群がデータを生成するエージェントキャラクタ
とが融合されて、ＨＭＤ２０１などに出力表示される。
データベース３００は、図書館のカラー画像と共に、各
オブジェクトの距離情報も記憶する。一方、ユーザの三
次元位置／姿勢及び実世界の三次元位置は各種センサに
よって認識され、従って、仮想空間生成モジュール１０
１は、上記仮想画像の融合の際に、検出されたユーザの
位置／姿勢に応じた輻輳角や視野角を与える。
る仮想空間は、図書館データベース３００からのデータ
から生成する仮想三次元画像とエージェント配置支援モ
ジュール群がデータを生成するエージェントキャラクタ
とが融合されて、ＨＭＤ２０１などに出力表示される。
データベース３００は、図書館のカラー画像と共に、各
オブジェクトの距離情報も記憶する。一方、ユーザの三
次元位置／姿勢及び実世界の三次元位置は各種センサに
よって認識され、従って、仮想空間生成モジュール１０
１は、上記仮想画像の融合の際に、検出されたユーザの
位置／姿勢に応じた輻輳角や視野角を与える。
【００４７】本システムの特徴は、エージェント配置支
援モジュール４００がエージェントキャラクタの表示位
置／姿勢を、ユーザの視点位置に応じて最適に決定する
ことである。
援モジュール４００がエージェントキャラクタの表示位
置／姿勢を、ユーザの視点位置に応じて最適に決定する
ことである。
【００４８】第５図乃至第７図に従って、本システムの
エージェント配置モジュールがエージェントキャラクタ
を表示位置／姿勢をいかに決定するかのルールの例を説
明する。
エージェント配置モジュールがエージェントキャラクタ
を表示位置／姿勢をいかに決定するかのルールの例を説
明する。
【００４９】第５図は、三次元空間（仮想空間もしくは
仮想空間と現実空間が重なった空間）における、ユーザ
と現実中のユーザの関心対象物との配置の一例を示す。
仮想空間と現実空間が重なった空間）における、ユーザ
と現実中のユーザの関心対象物との配置の一例を示す。
【００５０】エージェント配置支援モジュール４００
は、エージェントが配置され得る領域を以下のようにし
て決定する。まず、ユーザを中心にして、「排他域」
と、「会話域」と、「近接域」と、「相互認識域」とを
設定する。これら４つの領域は、ユーザからの距離に応
じた同心円上に設定してもよいし、あるいはユーザを中
心にした所定形状の領域に設定してもよい。この例で
は、ユーザからの距離のｒmとすると、
は、エージェントが配置され得る領域を以下のようにし
て決定する。まず、ユーザを中心にして、「排他域」
と、「会話域」と、「近接域」と、「相互認識域」とを
設定する。これら４つの領域は、ユーザからの距離に応
じた同心円上に設定してもよいし、あるいはユーザを中
心にした所定形状の領域に設定してもよい。この例で
は、ユーザからの距離のｒmとすると、
【００５１】排他域： ０ｍ＜ｒ＜0.5m
【００５２】に設定する。ユーザにとっては、この排他
域に他人を入れたくないものであるから、従ってエージ
ェントキャラクタにも登場してほしくない領域である。
排他域の外側に、順に、 会話域(0.5m<r<1.5ｍ)→近接城(1.5m<r<3ｍ)→相互認識
城(3m<r<20m)
域に他人を入れたくないものであるから、従ってエージ
ェントキャラクタにも登場してほしくない領域である。
排他域の外側に、順に、 会話域(0.5m<r<1.5ｍ)→近接城(1.5m<r<3ｍ)→相互認識
城(3m<r<20m)
【００５３】を設定する。その上で、
RULE１： 「排他域」にはエージェントキャラクタを表
示しない
示しない
【００５４】RULE２： ユーザとのインタラクションが
ない場合にはエージェントキャラクタを「相互認識城」
に留めておく。
ない場合にはエージェントキャラクタを「相互認識城」
に留めておく。
【００５５】RULE３： ユーザとのインタラクションが
ある場合にはエージェントキャラクタを「近接域」「会
話域」に配置する。
ある場合にはエージェントキャラクタを「近接域」「会
話域」に配置する。
【００５６】RULE４： ユーザとのインタラクションが
ある場合には、対象としている物体をキヤラクタが隠さ
れないようにエージェントキャラクタを適宜移動させ
る。
ある場合には、対象としている物体をキヤラクタが隠さ
れないようにエージェントキャラクタを適宜移動させ
る。
【００５７】RULE５： キャラクタが対象としている物
体に隠されないように配置する。
体に隠されないように配置する。
【００５８】RULE６： キャラクタが他の物体にめり込
まないように配置する。
まないように配置する。
【００５９】RULE７： エージェントがユーザとインタ
ラクションを行うときには、キャラクタがユーザの視界
内にいるように配置し、インタラクションしないときは
視界の周辺部、もしくは視界外にキャラクタを配置す
る。
ラクションを行うときには、キャラクタがユーザの視界
内にいるように配置し、インタラクションしないときは
視界の周辺部、もしくは視界外にキャラクタを配置す
る。
【００６０】RULE８： 対象とする物休がある場合は、
キャラクタの操作系（人間で言えば手）が物体にちょう
ど届く位置に配置する。
キャラクタの操作系（人間で言えば手）が物体にちょう
ど届く位置に配置する。
【００６１】以上のRULE１乃至RULE８に即してエージェ
ントキャラクタの配置位置を決定する。RULE１乃至RULE
８を満たす場所が１カ所以上ある場合は、次のルールを
適用する。
ントキャラクタの配置位置を決定する。RULE１乃至RULE
８を満たす場所が１カ所以上ある場合は、次のルールを
適用する。
【００６２】RULE９： 対象物とエージェントの位置が
一番近くなるように配置する。
一番近くなるように配置する。
【００６３】RULE１０： 対象物がない場合は、ユーザ
位置とエージェントの位置が一番近くなるように配置す
る。
位置とエージェントの位置が一番近くなるように配置す
る。
【００６４】RULE１乃至RULE１０を満たす場所が一カ所
以上ある場合はそのいずれかの位置に配置する。
以上ある場合はそのいずれかの位置に配置する。
【００６５】RULE１乃至RULE８を満たす場所がない場合
には、次のRULEを適用する。
には、次のRULEを適用する。
【００６６】RULE１１：「近接城・会話域の中」という
条件をはずし、相互認識域の中に配置する。それでも見
つからない場合は、
条件をはずし、相互認識域の中に配置する。それでも見
つからない場合は、
【００６７】RULE１２： 視野外に配置する。
【００６８】RULE１３： 浮遊可能なエージェントの場
合、ユーザの視線の高さにエージェントが浮かぶように
キヤラクターを配置する。浮遊不可能な場合には、矛盾
なく地面に立つように配置する。
合、ユーザの視線の高さにエージェントが浮かぶように
キヤラクターを配置する。浮遊不可能な場合には、矛盾
なく地面に立つように配置する。
【００６９】キャラクタの大きさに関して以下の一般的
なルールを適用する。
なルールを適用する。
【００７０】RULE１４： キャラクタの大きさを平均的
な人間以下の大きさとすることによつて、エージェント
の存在を実空間で人間相手に感じるものと同程度のもの
にする。
な人間以下の大きさとすることによつて、エージェント
の存在を実空間で人間相手に感じるものと同程度のもの
にする。
【００７１】第５図の例において、ユーザとのインタラ
クションが必要な場合に上記ルールを適用すると、第６
図において「エージェント配置候補領域」として示した
領域がエージェントを表示すべき候補として決定され
る。
クションが必要な場合に上記ルールを適用すると、第６
図において「エージェント配置候補領域」として示した
領域がエージェントを表示すべき候補として決定され
る。
【００７２】図書館データベースシステムの本例におい
て、エージェントキャラクタには本を取り出す操作系が
与えられてるとする。即ち、ユーザが、仮想画像として
表示されている本をエージェントキャラクタの仮想の
「手」によって取り出す操作を行う場合、あるいは、VR
あるいはMR環境下でエージェントキャラクタの仮想の
「手」によってユーザの目標の本を指し示す様な場合を
想定する。この場合には、「キャラクタの操作系」が対
象物体（この例では本）に「ちょうど届く位置」および
「対象物とエージェントの位置が一番近く」という条件
を加えて最終的なエージェントの位置（高さをのぞく）
を決定する。この例では第７図のようになる。
て、エージェントキャラクタには本を取り出す操作系が
与えられてるとする。即ち、ユーザが、仮想画像として
表示されている本をエージェントキャラクタの仮想の
「手」によって取り出す操作を行う場合、あるいは、VR
あるいはMR環境下でエージェントキャラクタの仮想の
「手」によってユーザの目標の本を指し示す様な場合を
想定する。この場合には、「キャラクタの操作系」が対
象物体（この例では本）に「ちょうど届く位置」および
「対象物とエージェントの位置が一番近く」という条件
を加えて最終的なエージェントの位置（高さをのぞく）
を決定する。この例では第７図のようになる。
【００７３】最後に、エージェントが浮遊可能か否かに
したがつて、ユーザの視線の高さ／矛盾なく地面に立つ
高さに、エージェントを配置する。
したがつて、ユーザの視線の高さ／矛盾なく地面に立つ
高さに、エージェントを配置する。
【００７４】上記ルールを判断し、エージェントの表示
位置を決定するためのシステムの構成を、換言すれば、
プログラム間インタフェースを第８図に示す。
位置を決定するためのシステムの構成を、換言すれば、
プログラム間インタフェースを第８図に示す。
【００７５】同図において、エージェント配置支援モジ
ュール群４００は、エージェント配置モジュール４０１
と、エージェントサイズ決定モジュール４０２と、他の
エージェントモジュール４０３とを有する。これらのモ
ジュールは後述のプログラムインタフェース(API)で結
合されている。また、エージェント配置支援モジュール
群４００も、仮想空間生成モジュール１０１と所定のAP
Iで接続されている。
ュール群４００は、エージェント配置モジュール４０１
と、エージェントサイズ決定モジュール４０２と、他の
エージェントモジュール４０３とを有する。これらのモ
ジュールは後述のプログラムインタフェース(API)で結
合されている。また、エージェント配置支援モジュール
群４００も、仮想空間生成モジュール１０１と所定のAP
Iで接続されている。
【００７６】前述したように、本システムは、ユーザの
位置／姿勢に最適なように、エージェントキャラクタの
配置を決定するものである。ここで、ユーザの位置／姿
勢などは前述のセンサ情報からユーザ計測モジュール
（１０３，１０４）が算出してユーザ情報管理モジュー
ル１０５に渡す。このモジュール１０５は、ユーザの位
置／姿勢を追跡管理している。この管理されたユーザ情
報は、APIを介して、リアルタイムでエージェント配置
モジュール４０１に送られる。エージェント配置モジュ
ール４０１は、ユーザ情報の他に、後述するように、実
空間情報・仮想空間情報が入力として必要である。ユー
ザ情報は、
位置／姿勢に最適なように、エージェントキャラクタの
配置を決定するものである。ここで、ユーザの位置／姿
勢などは前述のセンサ情報からユーザ計測モジュール
（１０３，１０４）が算出してユーザ情報管理モジュー
ル１０５に渡す。このモジュール１０５は、ユーザの位
置／姿勢を追跡管理している。この管理されたユーザ情
報は、APIを介して、リアルタイムでエージェント配置
モジュール４０１に送られる。エージェント配置モジュ
ール４０１は、ユーザ情報の他に、後述するように、実
空間情報・仮想空間情報が入力として必要である。ユー
ザ情報は、
【００７７】ユーザ情報
データ１： 基準位置に対するユーザ位置
データ２： ユーザ姿勢
【００７８】を有する。ここで、基準位置とは、実空間
と仮想空間の融合に利用する基準をいい、また、位置は
座標（ｘ、ｙ、ｚ）で表される。姿勢は角度（roll, pi
tch, yaw）をいい、ユーザ位置・姿勢とは、ユーザの視
点位置および姿勢である。また、実空間の情報は、実空
間情報計測モジュールが計測した情報を実空間情報管理
モジュールが管理する。この管理された実空間情報も、
APIを介して、リアルタイムでエージェント配置モジュ
ール４０１に送られる。この「実空間情報」は： データ１： 基準位置に対する実物体の位置 データ２： 実物体の姿勢 データ３： 実物体のサイズ データ４： 実物体の形状
と仮想空間の融合に利用する基準をいい、また、位置は
座標（ｘ、ｙ、ｚ）で表される。姿勢は角度（roll, pi
tch, yaw）をいい、ユーザ位置・姿勢とは、ユーザの視
点位置および姿勢である。また、実空間の情報は、実空
間情報計測モジュールが計測した情報を実空間情報管理
モジュールが管理する。この管理された実空間情報も、
APIを介して、リアルタイムでエージェント配置モジュ
ール４０１に送られる。この「実空間情報」は： データ１： 基準位置に対する実物体の位置 データ２： 実物体の姿勢 データ３： 実物体のサイズ データ４： 実物体の形状
【００７９】を含む。一方、配置が決定されたエージェ
ントキャラクタの位置／姿勢は配置モジュール４０１か
らAPIを介して仮想空間生成モジュール１０１に送ら
れ、このモジュール１０１が、エージェントキャラクタ
と仮想空間に融合させ、あるいは実空間に適合するよう
にエージェントの画像を生成してＨＭＤ等の表示出力す
る。
ントキャラクタの位置／姿勢は配置モジュール４０１か
らAPIを介して仮想空間生成モジュール１０１に送ら
れ、このモジュール１０１が、エージェントキャラクタ
と仮想空間に融合させ、あるいは実空間に適合するよう
にエージェントの画像を生成してＨＭＤ等の表示出力す
る。
【００８０】次に、仮想空間生成モジュール１０１とエ
ージェント配置支援モジュール群４００とのAPIにおけ
るインタフェース情報、即ち「エージェント情報」を説
明する。
ージェント配置支援モジュール群４００とのAPIにおけ
るインタフェース情報、即ち「エージェント情報」を説
明する。
【００８１】エージェント情報とは、エージェントをユ
ーザに提示するために必要な情報で、配置モジュール４
０１が出力するもの、配置モジュール４０１が利用する
もの、その他の３種類に分けられる。この情報は、仮想
空間生成モジュール１０１をはじめとするエージェント
出力モジュール群に渡される．
ーザに提示するために必要な情報で、配置モジュール４
０１が出力するもの、配置モジュール４０１が利用する
もの、その他の３種類に分けられる。この情報は、仮想
空間生成モジュール１０１をはじめとするエージェント
出力モジュール群に渡される．
【００８２】・配置モジュール４０１が仮想空間生成モ
ジュール１０１に出力する情報： データ１： 基準位置に対するエージェント位置 データ２： エージェント姿勢
ジュール１０１に出力する情報： データ１： 基準位置に対するエージェント位置 データ２： エージェント姿勢
【００８３】・配置決定モジュールが利用する情報
データ１： エージェントサイズ
データ２： エージェント形状（ポーズ）
【００８４】・その他の情報
データ１： エージェント外観（表情など）
データ２： エージェント音声
【００８５】前述したように、エージェントのサイズ・
形状は、ユーザにエージェントを認識しやすくするため
の他に、対象物体を隠さないためにも、ユーザに威圧感
などを与えないためにも重要なファクタである。
形状は、ユーザにエージェントを認識しやすくするため
の他に、対象物体を隠さないためにも、ユーザに威圧感
などを与えないためにも重要なファクタである。
【００８６】エージェントのサイズは、エージェントの
扱う物体・エージェントの作業内容に応じて、配置決定
以前に、サイズ決定モジュール４０２によつてエージェ
ントシステム内に既定される。
扱う物体・エージェントの作業内容に応じて、配置決定
以前に、サイズ決定モジュール４０２によつてエージェ
ントシステム内に既定される。
【００８７】エージェントの形状とは、エージェントシ
ステム内に用意されるエージェントキャラクタの形状モ
デルのことである。この形状構造は変更可能である．す
なわちポーズが変更が可能である。形状（ポーズ）の変
更は、エージェント状況に応じて行われる。
ステム内に用意されるエージェントキャラクタの形状モ
デルのことである。この形状構造は変更可能である．す
なわちポーズが変更が可能である。形状（ポーズ）の変
更は、エージェント状況に応じて行われる。
【００８８】第９図は、エージェント配置支援モジュー
ル群４００の全体の処理手順を示す。
ル群４００の全体の処理手順を示す。
【００８９】ステップＳ１０ではシステムを起動して所
定の初期化を行う。
定の初期化を行う。
【００９０】ステップＳ２０では、エージェントの属性
を決定する。ここで、「エージェントの属性」とは、本
例では、「浮遊性」と「性格・役割」が与えられてい
る。エージェントの属性によってエージェントの配置基
準が変わるべきであるからである。ステップＳ２０で決
定されたエージェントの属性は、所定のメモリに記憶さ
れ、このメモリ内の属性データは第１０図のステップＳ
５００で読み出され、ステップＳ７３０で用いられるこ
とになる。ステップＳ７３０では、属性として「浮遊
性」の値が与えられたエージェントに対しては、
を決定する。ここで、「エージェントの属性」とは、本
例では、「浮遊性」と「性格・役割」が与えられてい
る。エージェントの属性によってエージェントの配置基
準が変わるべきであるからである。ステップＳ２０で決
定されたエージェントの属性は、所定のメモリに記憶さ
れ、このメモリ内の属性データは第１０図のステップＳ
５００で読み出され、ステップＳ７３０で用いられるこ
とになる。ステップＳ７３０では、属性として「浮遊
性」の値が与えられたエージェントに対しては、
【００９１】RULE１５：ユーザの視線位置の高さにエー
ジェントの顔（に相当する）部分がくるように配置する
ジェントの顔（に相当する）部分がくるように配置する
【００９２】というルールを適用し、また、浮遊不可能
なエージェントに対しては、 RULE１６：エージェントが矛盾なく地面や物体上に立つ
（またはぶら下がるなど）ように配置する
なエージェントに対しては、 RULE１６：エージェントが矛盾なく地面や物体上に立つ
（またはぶら下がるなど）ように配置する
【００９３】というルールが適用される。また、「性格
・役割」について、属性が「でしゃばりや目立ちたが
り」という値が設定されている場合には、 RULE１７：ユーザの視界内になるべく入っているように
配置し、「控えめ」という値が設定されている場合に
は、 RULE１８：視界周辺部になるべく入っているように配置
する。尚、属性や、属性に基づく配置ルールはモジュー
ルの設計によるべきである。
・役割」について、属性が「でしゃばりや目立ちたが
り」という値が設定されている場合には、 RULE１７：ユーザの視界内になるべく入っているように
配置し、「控えめ」という値が設定されている場合に
は、 RULE１８：視界周辺部になるべく入っているように配置
する。尚、属性や、属性に基づく配置ルールはモジュー
ルの設計によるべきである。
【００９４】エージェントの属性が決定されたならば、
ステップＳ３０でエージェントのサイズが決定される。
ステップＳ３０では、サイズ決定モジュール４０２を起
動して、エージェントのサイズを決定する。このモジュ
ール４０２は、第９図のフローチャートから明らかなよ
うに、エージェントシステム起動時（ステップＳ２０の
後に実行される場合）と、仮想空間移動時にステップＳ
８０に続いて実行される場合とがある。本実施形態で
は、エージェントのサイズは、画面上のサイズではな
く、空間上でのサイズである。ただし、エージェントの
属性として、上記の「浮遊性」や「性格・役割」の他
に、サイズが「空間に依存する／しない」という属性も
設定可能である。属性が、サイズが「空間に依存しな
い」として設定されている場合、例えば、エージェント
が実在の人物等のコピーである場合などには、定められ
た一定値をサイズとして配置モジュールに渡す。エージ
ェントのサイズのルールは、
ステップＳ３０でエージェントのサイズが決定される。
ステップＳ３０では、サイズ決定モジュール４０２を起
動して、エージェントのサイズを決定する。このモジュ
ール４０２は、第９図のフローチャートから明らかなよ
うに、エージェントシステム起動時（ステップＳ２０の
後に実行される場合）と、仮想空間移動時にステップＳ
８０に続いて実行される場合とがある。本実施形態で
は、エージェントのサイズは、画面上のサイズではな
く、空間上でのサイズである。ただし、エージェントの
属性として、上記の「浮遊性」や「性格・役割」の他
に、サイズが「空間に依存する／しない」という属性も
設定可能である。属性が、サイズが「空間に依存しな
い」として設定されている場合、例えば、エージェント
が実在の人物等のコピーである場合などには、定められ
た一定値をサイズとして配置モジュールに渡す。エージ
ェントのサイズのルールは、
【００９５】RULE１９：エージェントが取り扱う物体と
スケールが同程度にする。例えば、ミニチュア物体を扱
う場合は、エージェントもミニチュアサイズに設定し、
通常物体を扱う場合は、小動物〜平均的人間サイズに設
定する。
スケールが同程度にする。例えば、ミニチュア物体を扱
う場合は、エージェントもミニチュアサイズに設定し、
通常物体を扱う場合は、小動物〜平均的人間サイズに設
定する。
【００９６】RULE２０：ユーザに不快感等を与えないた
めに、平均的人間サイズ以下とする．
めに、平均的人間サイズ以下とする．
【００９７】RULE２１：ユーザの遠方にある巨大物を扱
う場合などでは、ユーザに不快感を与えないという条件
の元で、上記RULE２０を適用しないこともありうる。
う場合などでは、ユーザに不快感を与えないという条件
の元で、上記RULE２０を適用しないこともありうる。
【００９８】以上のRULEに従って決定されたエージェン
トのサイズは所定のメモリに記憶され、実行時にはステ
ップＳ４００で読み出される。
トのサイズは所定のメモリに記憶され、実行時にはステ
ップＳ４００で読み出される。
【００９９】ステップＳ４０→ステップＳ６０→ステッ
プＳ８０→ステップＳ４０のループは、エージェントの
状況に応じて、エージェントの形状や配置を決定しその
結果を表示するために。仮想空間生成モジュール１０１
に決定された「エージェント情報」を渡すものである。
このループを回すイベントは、エージェント状況の変化
である。
プＳ８０→ステップＳ４０のループは、エージェントの
状況に応じて、エージェントの形状や配置を決定しその
結果を表示するために。仮想空間生成モジュール１０１
に決定された「エージェント情報」を渡すものである。
このループを回すイベントは、エージェント状況の変化
である。
【０１００】また、ステップＳ３０→ステップＳ４０→
ステップＳ６０→ステップＳ８０→ステップＳ３０のル
ープは仮想空間が変更されたときのループである。
ステップＳ６０→ステップＳ８０→ステップＳ３０のル
ープは仮想空間が変更されたときのループである。
【０１０１】ステップＳ４０では、エージェントの状況
を判断し、エージェントの形状を決定する。エージェン
トの状況によってエージェントの配置基準が変わるから
である。エージェントの状況はユーザからのコマンド入
力やシナリオに応じて決定され、配置決定以前に、エー
ジェント内に既定される。本実施形態では、「エージェ
ント状況」として、ユーザからの「指示待ち時」と、ユ
ーザの「物体操作時」と、ユーザとの「対話時」とを設
定している。これらの「状況」に応じたエージェント配
置RULEは以下のようである。即ち、「指示待ち時」のと
きには、
を判断し、エージェントの形状を決定する。エージェン
トの状況によってエージェントの配置基準が変わるから
である。エージェントの状況はユーザからのコマンド入
力やシナリオに応じて決定され、配置決定以前に、エー
ジェント内に既定される。本実施形態では、「エージェ
ント状況」として、ユーザからの「指示待ち時」と、ユ
ーザの「物体操作時」と、ユーザとの「対話時」とを設
定している。これらの「状況」に応じたエージェント配
置RULEは以下のようである。即ち、「指示待ち時」のと
きには、
【０１０２】RULE２２：ユーザの不利益（物体が見えな
くなる等）を与えないように配置する
くなる等）を与えないように配置する
【０１０３】というルールが適用され、「物体操作時」
には、 RULE２３：物体を矛盾なく操作できる位置で、ユーザに
不利益を与えない位置に配置する
には、 RULE２３：物体を矛盾なく操作できる位置で、ユーザに
不利益を与えない位置に配置する
【０１０４】というルールが適用され、「対話時」に
は、 RULE２４：ユーザの視界中心部に現れるように配置する
は、 RULE２４：ユーザの視界中心部に現れるように配置する
【０１０５】というルールが適用される。ステップＳ４
０で決定された「エージェント状況」は所定のメモリに
格納され、ステップＳ６００で読み出される。
０で決定された「エージェント状況」は所定のメモリに
格納され、ステップＳ６００で読み出される。
【０１０６】ステップＳ６０はエージェントの配置を最
終的に決定するステップである。このステップＳ６０の
詳細は第１０図と第１１図のフローチャートに示され
る。
終的に決定するステップである。このステップＳ６０の
詳細は第１０図と第１１図のフローチャートに示され
る。
【０１０７】即ち、第１０図のステップＳ１００では、
ユーザ情報管理モジュール１０５が管理し所定のメモリ
に記憶されている「ユーザ情報」が読み出される。これ
により、配置モジュール４０１は、ユーザの位置／姿勢
を知る。ステップＳ２００では、実空間管理モジュール
１０６が管理し、所定のメモリ番地に記憶されている
「実空間情報」を入力する。ステップＳ３００では、ユ
ーザアプリケーション・プログラムが生成する仮想空間
情報を仮想空間生成モジュール１０１から入力する。
ユーザ情報管理モジュール１０５が管理し所定のメモリ
に記憶されている「ユーザ情報」が読み出される。これ
により、配置モジュール４０１は、ユーザの位置／姿勢
を知る。ステップＳ２００では、実空間管理モジュール
１０６が管理し、所定のメモリ番地に記憶されている
「実空間情報」を入力する。ステップＳ３００では、ユ
ーザアプリケーション・プログラムが生成する仮想空間
情報を仮想空間生成モジュール１０１から入力する。
【０１０８】ステップＳ４００では、ステップＳ３０で
決定されメモリに格納されていたエージェントのサイズ
と、ステップＳ４０で決定されていたエージェントの形
状とを獲得する。ステップＳ５００では、ステップＳ２
０で決定されていたエージェントの属性を獲得する。ス
テップＳ６００ではステップＳ４０で決定されていたエ
ージェントの状況を獲得する。ステップＳ７００では、
上記ように獲得された、ユーザ情報、実空間情報、仮想
空間情報、エージェントサイズ、エージェント形状、エ
ージェント属性、エージェント状況などを用いて上記RU
LEを適用して、エージェント配置を決定する。即ち、ス
テップＳ７００までには、エージェントの「属性」、
「性格・役割」、基本的な「形状」は決定され、アプリ
ケーション・プログラムの進行と共に、これらの属性な
どが変更されることはない。一方、プログラムの進行と
共に変化するものは、ユーザ情報、実空間情報、仮想空
間情報、さらには、エージェント状況である。従って、
ステップＳ７００では、「属性」、「性格・役割」、基
本的な「形状」によって大枠が決定された「エージェン
ト」の形状や大きさが、「ユーザ情報」、「実空間情
報」、「仮想空間情報」、さらには、「エージェント状
況」などの変化によっていかに、配置を変更し、表示態
様を変更するかを決定するものである。ステップＳ７０
０の詳細は、第１１図のステップＳ７１０〜ステップＳ
７５０に詳細に説明されている。
決定されメモリに格納されていたエージェントのサイズ
と、ステップＳ４０で決定されていたエージェントの形
状とを獲得する。ステップＳ５００では、ステップＳ２
０で決定されていたエージェントの属性を獲得する。ス
テップＳ６００ではステップＳ４０で決定されていたエ
ージェントの状況を獲得する。ステップＳ７００では、
上記ように獲得された、ユーザ情報、実空間情報、仮想
空間情報、エージェントサイズ、エージェント形状、エ
ージェント属性、エージェント状況などを用いて上記RU
LEを適用して、エージェント配置を決定する。即ち、ス
テップＳ７００までには、エージェントの「属性」、
「性格・役割」、基本的な「形状」は決定され、アプリ
ケーション・プログラムの進行と共に、これらの属性な
どが変更されることはない。一方、プログラムの進行と
共に変化するものは、ユーザ情報、実空間情報、仮想空
間情報、さらには、エージェント状況である。従って、
ステップＳ７００では、「属性」、「性格・役割」、基
本的な「形状」によって大枠が決定された「エージェン
ト」の形状や大きさが、「ユーザ情報」、「実空間情
報」、「仮想空間情報」、さらには、「エージェント状
況」などの変化によっていかに、配置を変更し、表示態
様を変更するかを決定するものである。ステップＳ７０
０の詳細は、第１１図のステップＳ７１０〜ステップＳ
７５０に詳細に説明されている。
【０１０９】即ち、ステップＳ７１０では、獲得したエ
ージェントの状況に対して、エージェントの形状、即
ち、ポーズを変更する。ステップＳ７２０では、エージ
ェントの状況に応じて、RULE２２〜RULE２４を適用し
て、エージェントの配置可能な領域の候補を決定する。
ージェントの状況に対して、エージェントの形状、即
ち、ポーズを変更する。ステップＳ７２０では、エージ
ェントの状況に応じて、RULE２２〜RULE２４を適用し
て、エージェントの配置可能な領域の候補を決定する。
【０１１０】ステップＳ７３０では、ステップＳ７２０
で決定された候補の中から、エージェント属性に基づい
てRULE１５〜RULE１８を適用して更に候補を絞り込む。
で決定された候補の中から、エージェント属性に基づい
てRULE１５〜RULE１８を適用して更に候補を絞り込む。
【０１１１】ステップＳ７４０では、「ユーザ情報」、
「実空間情報」、「仮想空間情報」等の各種入力情報、
そして、エージェントのサイズ、エージェントの形状、
エージェントの状況に対して、上記RULE１〜RULE８、RU
LE２２〜RULE２４を適用して、候補を更に絞り込み、ス
テップＳ７５０では、RULE９〜RULE１３を適用して最終
的にエージェントキャラクタの表示位置／姿勢を決定す
る。
「実空間情報」、「仮想空間情報」等の各種入力情報、
そして、エージェントのサイズ、エージェントの形状、
エージェントの状況に対して、上記RULE１〜RULE８、RU
LE２２〜RULE２４を適用して、候補を更に絞り込み、ス
テップＳ７５０では、RULE９〜RULE１３を適用して最終
的にエージェントキャラクタの表示位置／姿勢を決定す
る。
【０１１２】ステップＳ７６０では、配置位置に基づい
て、エージェント情報を算出し、第１０図のステップＳ
８００で、エージェント情報を仮想空間生成モジュール
１０１に出力する。
て、エージェント情報を算出し、第１０図のステップＳ
８００で、エージェント情報を仮想空間生成モジュール
１０１に出力する。
【０１１３】本発明は上記実施形態に限定して解釈され
るべきではない。
るべきではない。
【０１１４】例えば、上記実施形態では図書館情報デー
タベースを応用分野としていたが、本発明はそれに限定
されず、エージェントを必要とするあらゆるアプリケー
ション分野に適用可能である。
タベースを応用分野としていたが、本発明はそれに限定
されず、エージェントを必要とするあらゆるアプリケー
ション分野に適用可能である。
【０１１５】上記実施形態では、アプリケーション・プ
ログラムとエージェントは位置システムとは切り離され
た別個プログラムであったが、本発明はそれに限定され
ず、一体化されたものであってもよい。
ログラムとエージェントは位置システムとは切り離され
た別個プログラムであったが、本発明はそれに限定され
ず、一体化されたものであってもよい。
【０１１６】本発明は、三次元表示環境には限定されな
い。二次元表示環境でも、距離情報が保存され、それに
より、エージェントとユーザとの位置関係を考慮するこ
とができるからである。
い。二次元表示環境でも、距離情報が保存され、それに
より、エージェントとユーザとの位置関係を考慮するこ
とができるからである。
【０１１７】上記エージェントの配置方法は、その配置
プログラム（エージェント配置決定モジュール）がオペ
レーティングシステムに組み込まれれると、上記データ
ベースアプリケーション・プログラムなどのユーザアプ
リケーション・プログラムは、前述のプログラムインタ
フェースのみをプログラム内に記述すればよくなり、プ
ログラムの生産性は向上する。かかる場合には、そのオ
ペレーティングシステムに組み込むべきプログラムは、
単体あるいは他のプログラムと一緒にCDROM等に記憶さ
れていることが好ましい。すでにオペレーティングシス
テムがインストールされたワークステーションまたはＰ
Ｃ上にこのCDROM搭載して、当該モジュールをロードす
る。
プログラム（エージェント配置決定モジュール）がオペ
レーティングシステムに組み込まれれると、上記データ
ベースアプリケーション・プログラムなどのユーザアプ
リケーション・プログラムは、前述のプログラムインタ
フェースのみをプログラム内に記述すればよくなり、プ
ログラムの生産性は向上する。かかる場合には、そのオ
ペレーティングシステムに組み込むべきプログラムは、
単体あるいは他のプログラムと一緒にCDROM等に記憶さ
れていることが好ましい。すでにオペレーティングシス
テムがインストールされたワークステーションまたはＰ
Ｃ上にこのCDROM搭載して、当該モジュールをロードす
る。
【０１１８】尚、上記実施形態ではプログラム間インタ
フェースはAPIを例にしたが、本発明はこれに限定され
ず、既存のあるいは新開発のいかなるプログラムインタ
フェースでも可能である。
フェースはAPIを例にしたが、本発明はこれに限定され
ず、既存のあるいは新開発のいかなるプログラムインタ
フェースでも可能である。
【０１１９】
【発明の効果】以上説明したように、本発明によれば、
ユーザとのインタラクションに応じて、ユーザに不利益
を与えず、ユーザに利益を与えられるようにエージェン
トを３次元空間に動的に配置することができる。また、
本発明によれば、エージェントの属性、状況に応じて３
次元空間の適切な位置にエージェントを配置することが
できる。
ユーザとのインタラクションに応じて、ユーザに不利益
を与えず、ユーザに利益を与えられるようにエージェン
トを３次元空間に動的に配置することができる。また、
本発明によれば、エージェントの属性、状況に応じて３
次元空間の適切な位置にエージェントを配置することが
できる。
【図１】 従来のエージェントキャラクタ表示における
欠点を説明する図。
欠点を説明する図。
【図２】 従来のエージェントキャラクタ表示における
欠点を説明する図。
欠点を説明する図。
【図３】 本発明を図書館データベースアプリケーショ
ンに適用した場合のシステム構成を示すブロック図。
ンに適用した場合のシステム構成を示すブロック図。
【図４】 図３システムの入出力装置のハード構成を示
す図。
す図。
【図５】 図３システムによるエージェント配置の原理
を説明する図。
を説明する図。
【図６】 図３システムによるエージェント配置の原理
を説明する図。
を説明する図。
【図７】 図３システムによるエージェント配置の原理
を説明する図。
を説明する図。
【図８】 図３システムのより詳細なシステム構成を説
明するブロック図。
明するブロック図。
【図９】 エージェント配置支援モジュール群４００の
全体制御手順を説明するフローチャート。
全体制御手順を説明するフローチャート。
【図１０】 エージェント配置モジュール４０１の制御
手順を説明するフローチャート。
手順を説明するフローチャート。
【図１１】 エージェント配置モジュール４０１の制御
手順を説明するフローチャート。
手順を説明するフローチャート。
フロントページの続き
(56)参考文献 特開 平11−73289（ＪＰ，Ａ)
特開 平８−55130（ＪＰ，Ａ)
特開 平９−231413（ＪＰ，Ａ)
特開 平６−12401（ＪＰ，Ａ)
中沢実，須田飛志，服部進実，“イン
タラクティブ仮想サービス空間構築のた
めの学習エージェントによるエンドユー
ザ…（略）”，電子情報通信学会論文
誌，1998年12月，Ｖｏｌ．Ｊ81−Ｂ−
１，Ｎｏ．12，ｐ．850−860
松田晃一，第２回ＶＲＭＬコンテスト
優秀作品「Ｐｅｗ」仮想空間ビジネス
この無限の世界で成功する法，日経Ｃ
Ｇ，日本，日経ＢＰ社，1998年12月８
日，12月８日号，ｐ．152−157
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 1/00
G06T 11/60 - 17/50
G06F 3/00
G06F 3/14 - 3/153
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (6)
- 【請求項１】 仮想３次元空間または現実３次元空間に
仮想３次元空間を重ね合わせた空間である３次元空間に
おけるエージェントの配置位置を決定し、 前記決定されたエージェントの配置位置に基づき前記エ
ージェントを表示させる情報処理方法であって、 ユーザの位置を入力し、 ユーザの指示を示すコマンドを入力し、 前記コマンドの入力から判断されるユーザとのインタラ
クションの状態から前記３次元空間におけるエージェン
トの配置候補域を決定し、 前記ユーザの位置および対象物体の位置に基づき、前記
配置候補域から前記エージェントの配置位置を決定する
情報処理方法であり、 前記配置候補域は、前記ユーザとのインタラクションの
状態に対応したルールを用いて、 前記エージェントの配
置位置と前記ユーザの位置の距離が、ユーザとインタラ
クションがない方がユーザとのインタラクションがある
場合に比べて大きくなるように、決定されることを特徴
とする情報処理方法。 - 【請求項２】 前記３次元空間に存在する前記対象物体
に前記エージェントが隠されないように、前記配置候補
域から前記エージェントの配置位置を決定することを特
徴とする請求項１記載の情報処理方法。 - 【請求項３】 前記エージェントの属性に応じて前記配
置候補域を決定することを特徴とする請求項１記載の情
報処理方法。 - 【請求項４】 前記３次元空間に存在する前記対象物体
を前記エージェントが隠さないように、前記配置候補域
から前記エージェントの配置位置を決定することを特徴
とする請求項１記載の情報処理方法。 - 【請求項５】 仮想３次元空間または現実３次元空間に
仮想３次元空間を重ね合わせた空間である３次元空間に
おけるエージェントの配置位置を決定し、 前記決定されたエージェントの配置位置に基づき前記エ
ージェントを表示させる情報処理装置であって、 ユーザの位置を入力する位置入力手段と、 ユーザの指示を示すコマンドを入力するコマンド入力手
段と、 前記コマンドの入力から判断されるユーザとのインタラ
クションの状態から前記３次元空間におけるエージェン
トの配置候補域を決定する配置候補域決定手段と、 前記ユーザの位置および対象物体の位置に基づき、前記
配置候補域から前記エージェントの配置位置を決定する
配置位置決定手段とを有し、 前記配置位置決定手段が、前記ユーザとのインタラクシ
ョンの状態に対応したルールを用いて、前記エージェン
トの配置位置と前記ユーザの位置の距離が、ユーザとイ
ンタラクションがない方がユーザとのインタラクション
がある場合に比べて大きくなるように、前記エージェン
トの配置位置を決定することを特徴とする情報処理装
置。 - 【請求項６】 仮想３次元空間または現実３次元空間に
仮想３次元空間を重ね合わせた空間である３次元空間に
おけるエージェントの配置位置を決定し、前記決定され
たエージェントの配置位置に基づき前記エージェントを
表示させる情報処理装置として、コンピュータ装置を機
能させる制御プログラムを格納したコンピュータ装置読
み取り可能な記憶媒体であって、 前記制御プログラムが、 ユーザの位置を入力手段から得る位置入力工程のプログ
ラムと、 ユーザの指示を示すコマンド入力手段から得るコマンド
入力工程のプログラムと、 前記コマンドの入力から判断されるユーザとのインタラ
クションの状態から前記３次元空間におけるエージェン
トの配置候補域を決定する配置候補域決定工程のプログ
ラムと、 前記ユーザの位置および対象物体の位置に基づき、前記
配置候補域から前記エージェントの配置位置を決定する
配置位置決定工程のプログラムとを有し、 前記配置位置決定工程のプログラムは、前記ユーザとの
インタラクションの状態に対応したルールを用いて、前
記エージェントの配置位置と前記ユーザの位置の距離
が、ユーザとインタラクションがない方がユーザとのイ
ンタラクションがある場合に比べて大きくなるように、
前記エージェントの配置位置を決定することを特徴とす
る記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08466199A JP3368226B2 (ja) | 1999-03-26 | 1999-03-26 | 情報処理方法及び情報処理装置 |
| US09/503,201 US6559870B1 (en) | 1999-03-26 | 2000-02-14 | User interface method for determining a layout position of an agent, information processing apparatus, and program storage medium |
| EP00103254A EP1039364A3 (en) | 1999-03-26 | 2000-02-17 | User interface method, information processing apparatus, and program storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08466199A JP3368226B2 (ja) | 1999-03-26 | 1999-03-26 | 情報処理方法及び情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000276610A JP2000276610A (ja) | 2000-10-06 |
| JP3368226B2 true JP3368226B2 (ja) | 2003-01-20 |
Family
ID=13836918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08466199A Expired - Fee Related JP3368226B2 (ja) | 1999-03-26 | 1999-03-26 | 情報処理方法及び情報処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6559870B1 (ja) |
| EP (1) | EP1039364A3 (ja) |
| JP (1) | JP3368226B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW401548B (en) * | 1996-12-20 | 2000-08-11 | Sony Corp | Method and apparatus for sending E-mail, method and apparatus for receiving E-mail, sending program supplying medium, receiving program supplying medium |
| JP3602061B2 (ja) * | 2001-02-02 | 2004-12-15 | 九州日本電気ソフトウェア株式会社 | ３次元グラフィックス表示装置及びその方法 |
| US20020138607A1 (en) * | 2001-03-22 | 2002-09-26 | There | System, method and computer program product for data mining in a three-dimensional multi-user environment |
| JP4298407B2 (ja) | 2002-09-30 | 2009-07-22 | キヤノン株式会社 | 映像合成装置及び映像合成方法 |
| US8327279B2 (en) | 2004-12-14 | 2012-12-04 | Panasonic Corporation | Information presentation device and information presentation method |
| US20070176921A1 (en) * | 2006-01-27 | 2007-08-02 | Koji Iwasaki | System of developing urban landscape by using electronic data |
| EP2219749A2 (fr) * | 2007-12-14 | 2010-08-25 | France Telecom | Procede de gestion de l'affichage ou de la suppression d'une representation d'un utilisateur dans un environnement virtuel |
| KR20090092153A (ko) * | 2008-02-26 | 2009-08-31 | 삼성전자주식회사 | 이미지 처리 장치 및 방법 |
| JP2010244322A (ja) * | 2009-04-07 | 2010-10-28 | Bitto Design Kk | コミュニケーションキャラクター装置、及びそのプログラム |
| CA2686991A1 (en) * | 2009-12-03 | 2011-06-03 | Ibm Canada Limited - Ibm Canada Limitee | Rescaling an avatar for interoperability in 3d virtual world environments |
| KR101874895B1 (ko) * | 2012-01-12 | 2018-07-06 | 삼성전자 주식회사 | 증강 현실 제공 방법 및 이를 지원하는 단말기 |
| TWI493432B (zh) * | 2012-11-22 | 2015-07-21 | Mstar Semiconductor Inc | 使用者介面產生裝置與相關方法 |
| US9256348B2 (en) * | 2013-12-18 | 2016-02-09 | Dassault Systemes Americas Corp. | Posture creation with tool pickup |
| FR3018119B1 (fr) * | 2014-02-28 | 2017-07-07 | Thales Sa | Systeme de visualisation de casque comportant des moyens d'affichage et de gestion de documentation |
| WO2015198747A1 (ja) * | 2014-06-24 | 2015-12-30 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN107407977B (zh) | 2015-03-05 | 2020-12-08 | 索尼公司 | 信息处理设备、控制方法及程序 |
| JP6645058B2 (ja) * | 2015-07-17 | 2020-02-12 | 富士通株式会社 | Ｃｇエージェント表示方法、ｃｇエージェント表示プログラム、及び情報処理端末 |
| US20190121515A1 (en) * | 2015-10-15 | 2019-04-25 | Sony Corporation | Information processing device and information processing method |
| JP2018097437A (ja) * | 2016-12-08 | 2018-06-21 | 株式会社テレパシージャパン | ウェアラブル情報表示端末及びこれを備えるシステム |
| JP7077603B2 (ja) | 2017-12-19 | 2022-05-31 | 富士通株式会社 | 判定プログラム、判定方法及び画像生成装置 |
| CN109086108B (zh) * | 2018-06-29 | 2021-04-27 | 福建天晴数码有限公司 | 一种界面布局合理性检测的方法及系统 |
| JP7458749B2 (ja) * | 2019-11-11 | 2024-04-01 | 株式会社ソニー・インタラクティブエンタテインメント | 端末装置、サーバ装置、情報処理システム、及びプログラム |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0612401A (ja) | 1992-06-26 | 1994-01-21 | Fuji Xerox Co Ltd | 感情模擬装置 |
| US5347306A (en) * | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
| US5563988A (en) * | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
| US5736982A (en) * | 1994-08-03 | 1998-04-07 | Nippon Telegraph And Telephone Corporation | Virtual space apparatus with avatars and speech |
| JP3127084B2 (ja) | 1994-08-11 | 2001-01-22 | シャープ株式会社 | 電子秘書システム |
| CA2180891C (en) * | 1995-07-12 | 2010-01-12 | Junichi Rekimoto | Notification of updates in a three-dimensional virtual reality space sharing system |
| US6219045B1 (en) * | 1995-11-13 | 2001-04-17 | Worlds, Inc. | Scalable virtual world chat client-server system |
| US6331856B1 (en) * | 1995-11-22 | 2001-12-18 | Nintendo Co., Ltd. | Video game system with coprocessor providing high speed efficient 3D graphics and digital audio signal processing |
| JPH09231413A (ja) * | 1996-02-22 | 1997-09-05 | Suzuki Nobuo | 体格プロセッサ |
| US6040841A (en) | 1996-08-02 | 2000-03-21 | Microsoft Corporation | Method and system for virtual cinematography |
| US6154211A (en) * | 1996-09-30 | 2000-11-28 | Sony Corporation | Three-dimensional, virtual reality space display processing apparatus, a three dimensional virtual reality space display processing method, and an information providing medium |
| JPH10105736A (ja) | 1996-09-30 | 1998-04-24 | Sony Corp | 画像表示制御装置および方法、並びに情報記録媒体 |
| JPH1173289A (ja) | 1997-08-29 | 1999-03-16 | Sanyo Electric Co Ltd | 情報処理装置 |
| US6522312B2 (en) * | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
-
1999
- 1999-03-26 JP JP08466199A patent/JP3368226B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-14 US US09/503,201 patent/US6559870B1/en not_active Expired - Fee Related
- 2000-02-17 EP EP00103254A patent/EP1039364A3/en not_active Withdrawn
Non-Patent Citations (2)
| Title |
|---|
| 中沢実，須田飛志，服部進実，"インタラクティブ仮想サービス空間構築のための学習エージェントによるエンドユーザ…（略）"，電子情報通信学会論文誌，１９９８年１２月，Ｖｏｌ．Ｊ８１−Ｂ−１，Ｎｏ．１２，ｐ．８５０−８６０ |
| 松田晃一，第２回ＶＲＭＬコンテスト優秀作品「Ｐｅｗ」仮想空間ビジネス この無限の世界で成功する法，日経ＣＧ，日本，日経ＢＰ社，１９９８年１２月８日，１２月８日号，ｐ．１５２−１５７ |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1039364A3 (en) | 2007-10-31 |
| JP2000276610A (ja) | 2000-10-06 |
| US6559870B1 (en) | 2003-05-06 |
| EP1039364A2 (en) | 2000-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3368226B2 (ja) | 情報処理方法及び情報処理装置 | |
| CN110337318A (zh) | 混合现实装置中的虚拟和真实对象记录 | |
| WO2018031745A1 (en) | Word flow annotation | |
| CN110888567A (zh) | 三维内容中基于位置的虚拟元件模态 | |
| US11379033B2 (en) | Augmented devices | |
| US11367416B1 (en) | Presenting computer-generated content associated with reading content based on user interactions | |
| CN107861613A (zh) | 显示与内容相关联的导航器的方法和实现其的电子装置 | |
| EP4254353A1 (en) | Augmented reality interaction method and electronic device | |
| US11768576B2 (en) | Displaying representations of environments | |
| WO2019069575A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR20190014895A (ko) | 가상 현실 기반의 고인 맞춤형 추모 시스템 | |
| KR20200076438A (ko) | 사용자의 액티비티를 추적하는 전자 장치 및 전자 장치의 동작 방법 | |
| US20230196943A1 (en) | Narrative text and vocal computer game user interface | |
| WO2023207174A1 (zh) | 显示方法、装置、显示设备、头戴式设备及存储介质 | |
| CN115033133B (zh) | 渐进式的信息展示方法、装置、电子设备及存储介质 | |
| CN112711335B (zh) | 虚拟环境画面的显示方法、装置、设备及存储介质 | |
| KR20140078083A (ko) | 증강 현실이 구현된 만화책 | |
| CN113534951A (zh) | 用于扩展现实的虚拟锚定系统和方法 | |
| US20240104863A1 (en) | Contextual presentation of extended reality content | |
| Franz et al. | A virtual reality scene taxonomy: Identifying and designing accessible scene-viewing techniques | |
| Quere et al. | HandyNotes: using the hands to create semantic representations of contextually aware real-world objects | |
| US20240077984A1 (en) | Recording following behaviors between virtual objects and user avatars in ar experiences | |
| US20240077983A1 (en) | Interaction recording tools for creating interactive ar stories | |
| US20230401798A1 (en) | Accessible mixed reality applications | |
| US20240079031A1 (en) | Authoring tools for creating interactive ar experiences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021007 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081108 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081108 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091108 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101108 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101108 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111108 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121108 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131108 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |