JPH0970030A - 仮想会議システムの画像表示方法並びに仮想会議用端末装置 - Google Patents

Abstract

(57)【要約】 【課題】ネットワーク等の通信手段を経由してつながれ
た複数の端末装置間において、共通の仮想空間を通じ
て、臨場感があり、使いやすいインタフェースを備え
た、会議、授業等を行うことができる仮想会議システム
を得る 【解決手段】会議室を想定した仮想空間を、視点を変え
て表示することができる仮想会議システムにおいて、画
面制御部９がディスプレイ１４に表示する仮想空間画面
中に他の端末装置を表すキャラクタが表示されるかを判
断し、表示されると判断された場合にネットワーク２を
介して他の端末装置のディスプレイ上に表示されている
画像を取得する。そして、取得した画像を個人画面合成
部で適切な大きさに変換し、これを適切な位置に合成す
る。そうして、ディスプレイ１４に表示される仮想空間
画面中に他の端末装置の画面を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、仮想会議用端末
装置並びに仮想会議システムの画像表示方法に関する。

【０００２】

【従来の技術】例えば、特開平６−２７４５９６「仮想
会議システム用端末装置及び仮想会議システム」は、複
数の端末装置をネットワークで接続し、各端末装置間で
音声データ、各端末装置の操作者を表すアニメーション
キャラクタの動作状態のデータを送受信し合うことで、
発言のための挙手、発言者を表すアニメーションキャラ
クタの口を動作させるなどして、互いの意志の疎通を図
り、テレビ会議システムのように膨大な画像データを送
信せずに遠隔地間における会議を可能にするものであ
る。

【０００３】また、情報処理学会第４７回（平成５年後
期）全国大会 講演論文集（分冊１）p.17-18で示され
た「グループウェアによる授業支援システム」（日本大
学短期大学部、猪井一代、荒関仁志）では、教師と複数
の学生が通信手段で接続した端末装置を介して授業を行
う場合に、教師用、学生用の各端末装置に接続した表示
装置上に同じ画面が表示され、学生の使用する端末装置
に接続した表示装置には、マウス等の指示手段で入力し
た結果の情報であるポインタの指示情報が表示され、教
師用の端末装置に接続した表示装置には、教師が指示手
段で入力した結果の指示情報と、全ての学生の利用する
端末装置に接続した表示装置に表示される指示情報が合
わせて表示される授業支援システムが開示されている。

【０００４】また、特開平２−１９５７８７「映像通信
装置」では、複数の端末装置間で共通の仮想空間のデー
タを持ち、各端末装置に据え付けられたカメラにより撮
影した映像から人の映像を抽出し、この抽出した映像を
上記仮想空間のデータ内に埋め込んで表示するものが開
示されている。この映像通信装置では、同一空間を背景
として、相手と自分が同一空間にいるように表示され、
各端末装置に表示される映像は、それぞれの視点から見
たような映像となっている。

【０００５】

【発明が解決しようとする課題】上記のような従来の仮
想会議システムでは、空間を２次元的に把握し、単純な
キャラクタで表示するために、操作者は現実には、現実
の会議や教室でうけるような臨場感を得ることができな
かった。また、仮想会議室画面の黒板等に映し出されて
いる映像は、全員が共通に見ることができるが、各端末
装置に表示されている表示画面を他の端末装置から見る
ことができなかった。また、各操作者が現実に共通の空
間にいるような臨場感と、この臨場感に基づく直感的な
操作を実現する使いやすいインターフェースを備えるも
のではないという問題があった。

【０００６】また、上記のような従来の授業支援システ
ムでは、各端末装置で共通のウィンドウを表示し、各操
作者の操作する複数のポインタを共通のウィンドウに同
時に表示することによって、コミュニケーションを図る
ことはできても、ポインタの移動は単に２次元的に行わ
れるため、仮想的な３次元空間を構成するシステムで
は、３次元空間を示すことができなかった。また、各操
作者が異なる視点を持ちながら、それぞれの視点に合わ
せて他の操作者のポインタを表示することができないと
いう問題があった。

【０００７】また、上記のような従来の映像通信装置で
は、カメラから取り込んだ映像を仮想空間上に合成する
ことができても、映像を送信する送信先の端末装置が常
に固定しているため、複数の端末装置を接続する場合に
は、その台数に比例して各端末装置が送信する画像デー
タの送信量が増加し、多くの端末装置を接続するものに
は適さないという問題があった。

【０００８】この発明は、かかる問題点を解決するため
になされたもので、臨場感のある仮想教室システムを構
築すると共に、そのために必要な画像伝送量を低く抑
え、使いやすいインタフェースを提供することを目的と
している。

【０００９】

【課題を解決するための手段】この発明の画像表示方法
においては、受信側端末装置によって実行され、仮想的
な３次元空間を構成する３次元情報に基づき、指定され
た視点より上記３次元空間を見たときの２次元画像を第
１の画像として生成する画像生成ステップと、上記受信
側端末装置によって実行され、上記第１の画像に端末装
置を表す画像が含まれるときに、その端末装置を送信側
端末装置とし、この送信側端末装置に対し画面情報の送
信を依頼する信号を送信する画面情報送信依頼ステップ
と、上記送信側端末装置によって実行され、上記信号を
受け取った後に、自己の表示画面の画像にかかる情報を
画面情報として送信する画面情報送信ステップと、上記
受信側端末装置によって実行され、上記送信側端末装置
が送信した上記画面情報を受信して、この画面情報と上
記第１の画像とを表示する表示ステップと、を備えたも
のである。

【００１０】上記受信側端末装置によって実行され、必
要とする上記画面情報の大きさを要求スケールとして送
信する要求スケール送信ステップと、上記送信側端末装
置によって実行され、複数の受信側端末装置のそれぞれ
から受け取った複数の要求スケールのうちの１つの要求
スケールを送信スケールとして選択するスケール選択ス
テップと、上記画面情報送信ステップは、自己の表示画
面の画像にかかる情報を上記送信スケールに指定された
大きさに変換して、上記画面情報として送信することを
特徴とするものである。

【００１１】この発明にかかる端末装置においては、複
数の端末装置を接続し、それらの端末装置間で画像デー
タを送受信することによって仮想的な会議を実現する仮
想会議システムの仮想会議用端末装置において、他の端
末装置の表示画面にかかる情報を画面情報として取得す
る画面通信部と、仮想的な３次元空間の視点を指示する
視点指示部と、指示された上記視点を基に上記３次元空
間を記述する３次元空間情報から２次元画像を生成し、
この２次元画像中に上記他の端末装置を表す画像が含ま
れる場合に、その端末装置の上記画面情報を自己の端末
装置の画面上に表示する画面表示部と、を備えたもので
ある。画面情報は、２次元の画像そのものであってもよ
いし、２次元の画像を生成することのできるあらゆるデ
ータ、例えば、ポリゴン等で構成した仮想の３次元空間
の座標データ、線、面等を描くために必要な座標データ
又は命令、或いはアプリケーション名とそのウインドウ
位置及びそのアプリケーションの持つデータ等も含まれ
る。３次元空間情報は、仮想的な３次元空間を表現する
データであり、例えば、ポリゴンの形状とその位置、ワ
イヤーフレームのように表現した座標データ等がある。

【００１２】上記画面表示部は、上記視点を入力し、こ
の視点から上記３次元空間を見た視野の中に上記端末装
置を表す画像が入るかを判断し、この視野の中に入る上
記端末装置を視野端末とする画面情報取得判断部と、上
記視野端末に対し、上記画面情報を送信するように依頼
する画面情報依頼部と、上記視点を基に上記３次元空間
情報から２次元画像を生成する２次元画像生成部と、上
記画面通信部から上記画面情報を取得し、この画面情報
を上記２次元画像中に合成して表示する２次元画像合成
部と、を備えたものである。

【００１３】上記２次元画像合成部は、上記視野端末を
表す画像が表示される位置に応じた位置に、上記画面情
報を合成することを特徴とすることを特徴とするもので
ある。上記位置は、端末装置に表示される２次元画像上
の位置である。

【００１４】上記２次元画像合成部は、上記視野端末を
表す画像にかかる仮想の物体の向いている方向に応じ
て、上記画面情報を斜めから見たように変換し合成する
ことを特徴とするものである。仮想の物体は、仮想の３
次元空間上に配置された仮想の物体である。例えば、端
末装置の他には、机、椅子、又は人を表す物体がある。
上記方向は、３次元空間上の方向である。

【００１５】上記２次元画像合成部は、上記視野端末を
表す画像の表示される大きさに応じて、上記画面情報の
大きさを変換し合成することを特徴とするものである。

【００１６】上記２次元画像合成部は、変換後の上記画
面情報の大きさが予め定められた大きさの範囲にない場
合には、予め定められた大きさに変換することを特徴と
するものである。

【００１７】上記画面情報依頼部は、上記２次元画像合
成部が合成する画面情報の大きさの情報を他の端末装置
に送信することを特徴とするものである。

【００１８】上記２次元画像中に表示される複数の仮想
の物体の中から少なくとも１つを第１のキャラクタとし
て選択するキャラクタ選択部と、上記第１のキャラクタ
に関連付けられた情報を関連情報として検索する関連情
報検索部と、上記画面表示部は、上記関連情報と上記画
面情報とを表示することを特徴とするものである。

【００１９】上記関連情報に基づいて、選択した上記仮
想の物体に関連するプログラムを起動し、実行する関連
プログラム実行部を備え、上記画面表示部は、上記関連
するプログラムの処理結果を表示することを特徴とする
ものである。

【００２０】上記画面表示部から送られる画像を表示す
る携帯可能な表示器を備え、上記視点指示部は、自己の
端末装置の操作者の移動に伴って視点を変更することを
特徴とするものである。視点は、位置、又は、方向、若
しくは、位置及び方向によって定める。

【００２１】３次元空間上の複数の仮想の物体によって
構成される風景にかかる情報を１つの風景情報として、
複数記憶する風景情報記憶部と、複数の上記風景情報の
中から１つの風景情報を選択し選択風景情報として出力
する風景選択部を備え、上記画面表示部は、上記選択風
景情報に基づいて上記２次元画像を生成することを特徴
とするものである。風景情報は、３次元空間を構成する
仮想の物体の情報であり、例えば、物体の形状、物体の
表面の模様であるテクスチャ、又は、物体の位置等にか
かる情報である。

【００２２】上記風景選択部は、自己の端末装置に上記
風景情報が無い場合に、上記他の端末装置から上記風景
情報を取得することを特徴とするものである。

【００２３】この発明にかかる端末装置においては、複
数の他の端末装置から画面情報の送信依頼を受付け、さ
らに必要な画面情報の大きさを要求スケールとして受け
付ける画面情報依頼受付部と、複数の上記要求スケール
のうちの１つを送信スケールとして選択する送信スケー
ル選択手段と、自己の端末装置の表示画面の画像にかか
る情報を上記送信スケールに指定された大きさに変換
し、上記画面情報として出力する画面情報送信部と、を
備えたものである。

【００２４】この発明の画像表示方法においては、送信
側端末装置によって実行され、仮想的な３次元空間の視
点を第１の視点として指示する第１の視点指示ステッ
プ、上記第１の視点を入力し、この第１の視点を基に、
物体の３次元座標を含む３次元空間情報から第１の２次
元画像を生成する第１の画面合成ステップ、上記２次元
画像上の１点を指示するポインタの位置を検出するポイ
ンタ位置検出ステップ、上記位置から指示している上記
３次元空間上の上記物体を検索するとともに、この物体
の上記３次元座標を基にポインタの３次元座標を決定す
る３次元座標決定ステップ、上記ポインタの３次元座標
を他の端末装置へ送信するポインタ座標送信ステップ、
を備えたポインタ送信ステップと、受信側端末装置によ
り実行され、上記ポインタ送信ステップにより送信され
たポインタの３次元座標を他端末ポインタ座標として受
信するポインタ座標受信ステップ、上記３次元空間の視
点を第２の視点として指示する第２の視点指示ステッ
プ、上記第２の視点を入力し、この第２の視点を基に上
記３次元空間情報から第２の２次元画像を生成し、この
第２の２次元画像中に、上記送信側端末装置にかかるポ
インタを上記第２の視点と上記他端末ポインタ情報から
計算される位置へ合成する第２の画面合成ステップ、を
備えたポインタ受信ステップと、を備えたものである。

【００２５】この発明にかかる仮想会議用端末装置にお
いては、操作者の状態を表す情報である状態情報を他の
端末装置から受信する状態情報受信部と、この状態情報
に基づき上記操作者を表す仮想の物体の表示形態を変化
させて表示する状態表示部と、を備えたものである。感
情情報は、例えば、人間の哀、怒、通常などの感情を表
す情報である。仮想の物体の表示形態の変化は、例え
ば、人型のキャラクタの表情を変化させ、或いは、キャ
ラクタの動きや形状等を変化させることによって行う。

【００２６】この発明にかかる仮想会議システムの画像
表示方法においては、第１の端末装置によって実行さ
れ、第１の端末装置の操作者の身体変化を計測する身体
変化計測ステップと、上記第１の端末装置によって実行
され、この身体変化にかかる情報を状態情報として他の
端末装置に送信する状態送信ステップ、第２の端末装置
によって実行され、上記第１の端末装置から受信した状
態情報に基づき、操作者を表す仮想物体の形態を変化さ
せて表示する状態表示ステップと、を備えたものであ
る。操作者の身体変化は、例えば、脈拍、体温、脳波、
又は、発汗による皮膚表面の電気抵抗の変化等を測定し
てもよいし、或いは、ＣＣＤカメラを用いて操作者の顔
を撮影してデジタル画像を取得し、パターン認識により
顔の表情を判別することによって計測してもよい。

【００２７】他の端末装置内にあって外部から制御され
ることにより所定の機能を発揮する被制御部を、自己の
端末装置から制御する仮想会議用端末装置において、仮
想的な３次元空間の視点を指示する視点指示部と、上記
視点を入力し、この視点を基に上記３次元空間を記述す
る３次元空間情報から２次元画像を生成する画面合成部
と、上記２次元画像中に含まれる複数の仮想の物体の中
から少なくとも１つの上記仮想の物体を第１のキャラク
タとして選択するキャラクタ選択部と、上記キャラクタ
選択部による選択が行われた場合には、上記第１のキャ
ラクタに関連する被制御部が接続された上記他の端末装
置に対し、上記自己の端末装置内で発生する制御信号を
送信する出力管理部と、を備えたものである。

【００２８】複数の上記端末装置間の優先順位を記憶す
る優先順位記憶部と、上記他の端末装置から送信された
入力信号、又は、上記自己の端末装置内から送信された
入力信号、を上記優先順位に基づいて選択的に、上記自
己の端末装置の被制御部へ出力する入力管理部とを備え
たことを特徴とするものである。

【００２９】

【発明の実施の形態】この発明は、仮想会議システムに
用いられる端末装置並びに仮想会議システムの画像表示
方法に関するものである。この仮想会議システムは、複
数の端末装置のそれぞれの操作者が、１つの空間にいる
のと同じようにコミュニケーションを図ることができる
ことを目的としており、用途は狭い意味での会議に限ら
れず、例えば、遠隔地にある端末装置を接続して生徒と
教師が授業を行うと行ったことにも用いることができ
る。ここでは、仮想会議システムの一例として、上記の
仮想的な教室を実現する仮想教室システムを説明する。

【００３０】実施の形態１．図１は、この発明の実施の
形態１による仮想教室システムの１つの端末装置を説明
する機能ブロック図である。図１において、１は仮想教
室システムにネットワーク２を介して接続される複数の
端末装置のうちの１つであり、２は端末装置１と複数の
他の端末装置１とを接続し、これらの端末装置１間のデ
ータの送受信に用いられるネットワークである。端末装
置１は、符号３〜１６によって表される複数の機能ブロ
ックにより構成されており、３はネットワーク２に接続
され他の端末装置１と相互にデータ等を通信するための
制御を司る通信制御部であり、教室制御部５、エージェ
ント制御部６、音声入力処理部７、音声出力制御部８及
び画面制御部９とも接続されている。４は各端末装置１
において共有して使用されるアプリケーションを実行す
る共有アプリケーション部であり、例えば、教室内にお
いて出席者が共有する共有黒板等へ、文字や図形を書き
込んだり、消去したり等の処理を行うプログラムを実行
する。５は複数の操作者の利用する端末装置１間上で生
成される仮想教室（以下、教室という）の生成終了や出
席者の入退室等の仮想教室の運営を制御するための教室
制御部である。

【００３１】６は教室の風景が表示された仮想教室ウィ
ンドウの制御と仮想教室ウィンドウに各操作者を表わす
アニメーションキャラクタ（以下、エージェントとい
う）の表示などを制御するためのエージェント制御部６
である。このエージェント制御部６にはキーボード１１
やマウス１２から操作者の指示を受け取り各エージェン
トを動作させ、また、それらエージェントの位置情報等
や、仮想教室内における視点位置の情報等を指示する働
きがある。７はマイクロフォン１５からの音声をデジタ
ル信号に変換しエージェント制御部６、通信制御部３に
出力する音声入力処理部、８は他の端末装置１から受信
したデジタル音声信号をアナログ信号に変換し、スピー
カー１６を通じて出力する音声出力処理部である。９は
自己の端末装置１の画面情報を他の端末装置に通信制御
部３を介して送信し、また、他の端末装置１の画面を自
己の画面に合成して表示するために他の端末装置１から
画面情報を受信する画面制御部、１０は各端末装置１で
操作者が任意に利用する個人アプリケーションを実行す
る個人アプリケーション部、１３はエージェント制御部
６から位置視点情報、各エージェントや各物体の形状・
位置等を表した画面位置情報を受け取り、これらの位置
情報に基づいて仮想教室ウィンドウを生成し、共有アプ
リケーション部４、個人アプリケーション部１０からの
画面情報、画面制御部９から送られる他の端末装置１の
画面情報を合成し、ディスプレイ１４に表示する個人画
面合成部である。

【００３２】図２は、他の端末装置１の画面情報を取得
して自己の表示画面と合成する処理を、２つの端末装置
１ＡとＢについて説明したものである。図２において、
ステップＳ１〜Ｓ３及びステップＳ８〜Ｓ１０は、端末
装置Ａで行われる処理、ステップＳ４〜Ｓ７は端末装置
Ｂで行われる処理を示している。

【００３３】次に、図１と図２を用いて、この発明によ
る仮想教室システムの画面表示の動作を説明する。各端
末装置１において、ディスプレイ１４に表示される表示
画面は仮想教室ウィンドウと個人アプリケーションウィ
ンドウに分けられる。仮想教室ウィンドウは、仮想教室
空間を表示するウィンドウであり、個人アプリケーショ
ンウィンドウは各端末装置１で各操作者が任意に利用す
る個人アプリケーションを表示するものである。図３
は、ディスプレイ１４に表示する表示画面を説明する図
であり、１７は仮想教室空間における各エージェントや
物体の位置関係を示したものであり、１７ａはある操作
者に該当するエージェントの視点を表している。１８は
ディスプレイ１４に実際に表示される仮想教室ウィンド
ウであり、仮想教室空間が１７のような位置関係を持っ
ているときに、視点１７ａから見た仮想空間を表示して
いる。１９ａは生徒Ａが利用している端末装置１のディ
スプレイ１４に表示されている画面を、仮想空間ウィン
ドウ上で表示している部分であり、１９ｂは１９ａと同
様なものであるが、生徒Ｂが使用している端末装置１の
画面を表示している。また、各エージェントや机等の物
体はポリゴンによって表現している。

【００３４】ここで、このような表示を可能とする仮想
教室システムの動作を説明するため、ネットワーク２上
に接続された複数の端末装置１のうちから端末装置Ａと
端末装置Ｂを例にとり、各端末装置１間の画面情報の送
受信について説明する。端末装置Ａにおいて、端末装置
Ａを操作する操作者Ａがキーボード１１やマウス１２等
を操作して操作者Ａを示すエージェントを動かすと、デ
ィスプレイ１４に表示される仮想教室空間の画面表示も
そのエージェントの位置及び顔の向き応じて変化する。
このとき、表示されている仮想教室空間内に端末装置Ｂ
を示すアニメーションキャラクタが表示されると、図２
のステップＳ１からの他端末画面情報取得処理がスター
トする。ただし、端末装置Ｂのディスプレイを表すアニ
メーションキャラクタが、操作者Ａから見て後ろを向い
ている場合のように、その端末装置１の表示画面が見え
ない状態のときはステップＳ１からの処理を開始する必
要はない。

【００３５】ステップＳ１は、エージェント制御部６が
位置視点情報を画面制御部９へ送信する処理である。位
置視点情報とは、操作者Ａを表すエージェントについて
の位置、顔の向き等の状態を表わす情報であり、仮想教
室ウィンドウに表示する視野を決定するために用いるこ
とができる。エージェント制御部６ではそれ以降この位
置視点情報を画面制御部９へ送り続ける。ここでは、操
作者Ａを表すエージェントから他の端末装置１の表示画
面が見える状態のときに、位置視点情報を画面制御部９
に送信することとしているが、このような状態であるこ
とを条件とせず、絶えず送信するようにしてもよい。

【００３６】これは、エージェント制御部６が位置視点
情報を送信して、画面制御部９がこの位置視点情報を基
にどの端末の表示画面が必要かを判断する場合である
が、他の方法として、エージェント制御部６がどの端末
装置１の表示画面が必要かを判断し、各端末装置１にそ
れぞれ名付けられたＩＤを送信するようにしてもよい。
この場合、画面制御部９は指定された端末装置１に画面
情報送付依頼を送信するので、仮想教室空間内の各端末
装置１の位置関係を知っている必要も、それを基にどの
端末装置１の画像情報が必要かを判断する必要も無くな
る。また、後述の実施の形態４のように、必要な画面情
報の大きさが変化する場合には、この大きさも合わせて
送信する。なお、位置視点情報は仮想教室ウィンドウに
仮想教室空間を表示するため必要であるので、エージェ
ント制御部６から個人画面合成部１３へは絶えず送信さ
れている。

【００３７】次に、ステップＳ２に移る。ステップＳ２
は、位置視点情報を受け取った画面制御部９が、画面情
報を取得したい端末装置１を指定して、画面情報送付依
頼を通信制御部３へ送信する処理である。画面情報と
は、自己の端末装置１又は他の端末装置１のディスプレ
イ１４に表示される画像に関するデータであり、例え
ば、画像のビットマップデータ、このビットマップデー
タを圧縮したもの、或いは、ＪＰＥＧ、ＭＰＥＧのよう
な方法で変換されたデータがある。画面情報送付依頼と
は、他の端末装置１に画面情報の送信を依頼する情報で
ある。この画面情報送付依頼を受けとった端末装置１は
自己の画面情報を、ネットワーク２を介してブロードキ
ャスト（多数の端末装置１に向けて送信）する。続いて
ステップＳ３に移る。

【００３８】ステップＳ３は、画面制御部９から画面情
報送付依頼を受けて、ネットワーク２を介して他の端末
装置１に画面情報送付依頼を送信する処理である。ここ
では、例えば、表１のようなパケットを送信する。送信
先ＩＤには送付依頼をする（パケットを送信する）端末
装置１に割り当てられたＩＤを指定する（例えば、端末
装置ＢのＩＤである「Ｂ」を指定する）。送信元ＩＤに
は自己の端末装置１に割り当てられたＩＤを指定する
（例えば、端末装置ＡのＩＤである「Ａ」を指定す
る）。種別にはパケットの種類に応じた識別子を指定す
る（例えば、画面情報送付依頼を表す「０１」を指定す
る）。なお、この表では通信制御部３で付加されるパケ
ットの伝送に必要な他のデータは省略しているが、実際
にパケットを送信する場合にはそれらのデータも付加さ
れ、完全なパケットとしてネットワーク２上に送信され
る。ステップＳ３にて送信された画面情報送付依頼のパ
ケットが端末装置Ｂの通信制御部３によって受信される
とステップＳ４に移る。

【００３９】

【表１】

【００４０】ステップＳ４は、画面情報送付依頼のパケ
ットを受信し、画面制御部９に対して画面情報送付依頼
を出力する処理である。通信制御部３は、自己の端末装
置１から他の端末装置１へ必要なデータを出力すると同
時に、ネットワーク２上に送信先ＩＤが自己の端末装置
１のＩＤであるパケットがないか、或いはブロードキャ
ストのパケットがないかを監視している。そして、自己
の端末装置１に宛てられたパケットを発見すると、その
パケットの種別に応じて教室制御部５、エージェント制
御部６、画面制御部９等にそのパケットに含まれるデー
タを出力する。例えばここでは、種別を見ることによ
り、受け取ったパケットが画面情報依頼パケットである
ことが分かるので、画面制御部９に対して画面情報送付
依頼を出力する。画面制御部９は画面情報送付依頼を受
け取ると、画面情報送付依頼を受けている端末装置１の
数を表すカウンタを１だけ増加させる。このカウンタの
値が１以上である場合に、ステップＳ５からステップＳ
７の画面情報送信処理が実行される。このステップＳ４
が終了すると、次のステップＳ５に移る。

【００４１】ステップＳ５は、画面制御部９が個人画面
合成部１３から画面情報を取得する処理である。例え
ば、端末装置Ｂのディスプレイ１４に表示されている表
示画面のイメージデータを画面情報として、個人画面合
成部１３より取得する。この画面情報には仮想空間ウィ
ンドウも、個人アプリケーションウィンドウもイメージ
データとして含まれている。

【００４２】次にステップＳ６に移る。ステップＳ６
は、他の端末装置１に画面情報を提供するために、ステ
ップＳ５で取得した画面情報を通信制御部３へ送信する
処理である。この処理が終了すると、次のステップＳ７
に移る。ステップＳ７は、画面制御部９より受け取った
画面情報をパケットにしてネットワーク２上に送信する
処理である。このステップＳ７では、例えば表２のよう
なパケットが送信される。表２において、送信先ＩＤ、
送信元ＩＤ、種別は上述の表１で説明したものと同様な
ものである。これらの各フィールドには、送信先ＩＤに
は送信先の端末装置１を特定しないで１つ又は複数の端
末装置１に送信（ブロードキャスト）することを意味す
るＩＤである「０」、送信元ＩＤには自己の端末装置１
のＩＤである「Ｂ」、種別には画面情報パケットである
ことを意味する「０２」を格納する。次に、その他のフ
ィールドについて説明する。レートは１秒間に表示する
画面数を表し、例えば、１秒間に６０画面を表示するよ
うに画面情報を送信している場合は、「３０」を格納す
る。サイズは、画面情報パケット中に含まれる画面情報
の画面の大きさを表し、例えば、横３００ドット、縦２
００ドットの大きさを持つ場合には「３００，２００」
を格納する。イメージデータは送信元端末装置１の画面
情報である画像のデータで、例えば、端末装置Ｂのディ
スプレイ１４に表示されているカラー画像、すなわち３
００×２００の大きさを持つデジタルデータを格納す
る。ここで、イメージデータが圧縮されたデータである
場合には、伝送効率がよく、多くの端末装置１をネット
ワーク２上に接続している場合にも各端末装置１間の通
信をスムーズに行うことができる。なお、この表では通
信制御部３で付加されるパケットの伝送に必要な他のデ
ータは省略しているが、実際にパケットを送信する場合
にはそれらのデータも付加され、完全なパケットとして
ネットワーク２上に送信される。

【００４３】

【表２】

【００４４】上記のステップＳ５〜７では、画面情報送
付依頼を受けてから他の端末装置１に画面情報を送信す
る処理までを説明したが、一旦、画面情報送付依頼パケ
ットを受信した後は、他の端末装置１から画面情報送付
終了情報を受け取るまで、所定の転送レート（例えば、
１秒間に３０画面分）で画面情報パケットを送信し続け
る。また、複数の端末装置１から画面情報送付依頼を受
けている場合には、画面情報送付依頼を受けた全ての端
末装置１から画面情報送付終了情報を受け取るまでは、
画面情報を送信し続ける。この制御は画面制御部９で行
われる。ここでは、２つの端末装置１間の画面情報の送
受信を説明しているが、より多くの端末装置１間で画面
情報を送受信している場合には、１つの端末装置１の画
面情報パケットが送信された後、他の端末装置１の画面
情報パケットが送信されるというように、時分割的に複
数の端末装置１の画面情報を送受信可能であることはい
うまでもない。

【００４５】次に、端末装置Ａ側の処理に移って、ステ
ップＳ８の処理が始まる。ステップＳ８は、通信制御部
３による画面情報パケットの受信処理である。通信制御
部３は常にネットワーク２上のパケットを監視し、自己
の端末装置１に宛てられたパケットがないかどうか見て
いる。この通信制御部３は送信先ＩＤに自己の端末装置
１を直接指定したパケットのような場合だけでなく、送
信先ＩＤにブロードキャスト（例えば「０」）を意味す
るＩＤを発見した場合のように間接的に指定された場合
にも、そのパケットを取得して種別に応じた動作を行
う。ステップＳ８は、受信したパケットの種別が画面情
報パケット（「０２」）である場合で、画面制御部９へ
画面情報パケットにかかるデータを送信する。ステップ
Ｓ８の次はステップＳ９に移る。

【００４６】ステップＳ９は、他の端末装置１からの画
面情報であって自己の端末装置１に表示するものを選択
し、個人画面合成部１３へ出力する処理である。この処
理は画面制御部９によって行われる。通信制御部３が受
け取る画面情報パケットには、表示する画面情報と表示
しない画面情報が存在する。これは、各端末装置１によ
って仮想空間の視野が異なるため、ある端末装置１には
見える画面が、他の端末装置１には見えないといったこ
とが起きるからである。画面情報を送信する側の端末装
置１は１つ以上の端末装置１が画面情報を必要とする場
合は、その画面情報をブロードキャストするので、受信
する側の端末装置１は必要な画面情報と必要でない画面
情報を区別する必要がある。従って、自己の端末装置１
が画面情報送付依頼をした端末装置１から送られてきた
画面情報のみを取得して、個人画面合成部１３に送信す
る。個人画面合成部１３へは、画像を再生するために必
要な、送信元ＩＤ、レート、サイズ、イメージデータを
送信する。

【００４７】続いて、ステップＳ１０に移る。ステップ
Ｓ１０は、個人画面合成部１３が表示画面中に他の端末
装置１からの画面情報を合成する場合である。まず、図
３の仮想教室ウィンドウ１８において、端末装置１の表
示画面１９ａ・ｂ以外の画像は、エージェント制御部６
から送られてくる位置視点情報、各エージェントや各物
体の形状・位置等を表した画面位置情報を基に生成す
る。そして、表示画面１９ａ・ｂの部分は、ステップＳ
９で受け取った他の端末装置１の画面情報を用いて、当
該端末装置１のディスプレイ１４を表すポリゴンの大き
さと、位置に合わせて表示する。したがって、仮想教室
空間上で視点から遠い端末装置１の画面は、遠くにある
ように表示され、そのサイズも距離に従って変化する。

【００４８】以上で他の端末装置１から画面情報を取得
し、自己の端末装置１の画面表示に他の端末装置１の画
面表示を合成する処理の説明が終了した。この例でいう
端末装置Ｂの画面が端末装置Ａの仮想教室ウィンドウに
表示されている間、端末装置Ａと端末装置Ｂとの間で画
面情報の送受信が行われる。従って、端末装置Ｂの実際
のディスプレイ１４に表示されている画面表示が変化す
ると、端末装置Ａの仮想教室ウィンドウ内に表示されて
いる端末装置Ｂの画面もそれに応じて変化する。

【００４９】他の端末装置１の画面が仮想教室ウィンド
ウの視野から外れたとき、すなわち仮想ウィンドウに表
示しなくなったときは、画面情報の送受信が必要なくな
るので画面情報送信依頼の終了を通知する。この通知
は、依頼元の端末装置１が依頼先の端末装置１に画面情
報送付終了情報を送信することによって行う。画面情報
送付終了情報は、表３に示したような構造を持つパケッ
トである。表３において、送信先ＩＤ、送信元ＩＤ、種
別は、表１におけるものと同様のものであり、送信先Ｉ
Ｄに画面情報が必要でなくなった端末装置１のＩＤ（例
えば、端末装置Ｂの場合は「Ｂ」）、種別には画面情報
送付終了情報であることを表す「０３」を格納して送信
する。なお、この表では通信制御部３で付加されるパケ
ットの伝送に必要な他のデータは省略しているが、実際
にパケットを送信する場合にはそれらのデータも付加さ
れ、完全なパケットとしてネットワーク２上に送信され
る。また、仮想ウィンドウの視野から外れたか否かの判
断は、画像制御部９によって行われ、画面情報終了送付
情報は画像制御部９から通信制御部３とネットワークを
介して送信される。

【００５０】

【表３】

【００５１】この画面情報送付終了情報パケットを受け
取った送信先の端末装置１（ここでいう、端末装置Ｂ）
の通信制御部３は、画面制御部９に画面情報送付終了情
報を送信する。画面制御部９は画面情報送付終了情報を
受け取ると、（図２のステップＳ４にて説明した）画面
情報送付依頼を受けている端末装置１の数を表すカウン
タを１だけ減らす。その結果、カウンタが０となったと
きはステップＳ５〜７で説明した画面情報送信処理は行
われなり、表２に示した画面情報パケットの送信がなく
なる。カウンタが１以上であるときは、まだ、当該端末
装置１の画面情報を必要としている他の端末装置１が存
在していることになるので、画面情報送信処理を行う。

【００５２】この実施の形態１によれば、仮想教室ウィ
ンドウ内に表示されているディスプレイの画面上に、他
の端末装置１の表示画面を表示することができるため、
操作者は視点を変えるだけで見たい他の端末装置１のデ
ィスプレイ表示内容を確認でき、分かりやすく使用しや
すいユーザーインターフェースを提供することができ
る。

【００５３】（ステップＳ９：画面合成処理の詳細）こ
こでは、図２のステップＳ９に示された画面合成処理の
詳細を図４を用いて説明する。まず、図２のステップＳ
９までの処理にて他の端末装置１から画面情報を取得す
る。その後、この画面情報と自己の端末装置１の表示画
面とを合成してディスプレイ１４に表示するために、ス
テップＳ１０１からの処理を行う。

【００５４】ステップＳ１０１では、エージェント制御
部６から位置視点情報と画面位置情報を取得する。次
に、ステップＳ１０２では、位置視点情報と画面位置情
報を基に、仮想教室ウィンドウに表示する仮想教室画面
Ｗを生成する。まず、位置視点情報に示された仮想空間
中の位置と方向から、仮想教室ウィンドウに表示される
範囲（即ち、仮想空間上の視野）を特定する。そして、
画面位置情報から各エージェントや机、端末装置等の物
体の位置、置かれている方向等を特定し、３次元の仮想
空間を生成する。最後に、この３次元の仮想空間を特定
した位置と方向から見た画像を生成する。

【００５５】続いて、ステップＳ１０３に移り、仮想教
室画面Ｗ内に表示されるディスプレイの大きさＳと位置
Ｐを特定する。ここでは、１つの端末装置のディスプレ
イを選択して、そのディスプレイについて大きさＳと位
置Ｐを特定する。このステップＳ１０３からステップＳ
１０７まで実行し、１つの端末装置のディスプレイにつ
いて処理が終了し、再びこのステップＳ１０３に戻って
きたときは、既に処理された端末装置のディスプレイは
選択されないようにする。このステップＳ１０３でいう
ディスプレイは、実在のディスプレイではなく、仮想教
室ウィンドウに表示されるディスプレイのキャラクタで
ある。また、大きさＳは、この表示されるディスプレイ
の大きさであり、仮想空間上の視点からディスプレイま
での距離に応じて、その大きさが変化する。位置Ｐはデ
ィスプレイが表示される仮想教室ウィンドウ上の位置で
あり、大きさＳ、位置Ｐともに位置視点情報、画面位置
情報から容易に計算することができる。次に、ステップ
Ｓ１０４に移る。

【００５６】ステップＳ１０４は、画面制御部９から他
の端末装置１の画面情報Ｉを取得する処理である。次の
ステップＳ１０５は、画面情報ＩをステップＳ１０３で
計算した大きさＳに拡大・縮小する。

【００５７】続いて、ステップＳ１０６を実行する。ス
テップＳ１０６は、画面情報ＩをステップＳ１０２で生
成した仮想教室画面Ｗ中の位置Ｐに合成する。ここで
は、図３に示したように、仮想教室画面Ｗに画面情報Ｉ
を上書きするようにして、表示する。このようにするこ
とで、図３の仮想空間１７のようにディスプレイが生徒
Ａの頭によって隠れてしまうような場合でも、ディスプ
レイの表示画面を確認することができる。ただし、ディ
スプレイが他の物体によって隠れるように表示されても
かまわない。次にステップＳ１０７に移る。

【００５８】ステップＳ１０７は、仮想教室ウィンドウ
内に表示される端末装置のディスプレイであって、画面
合成処理が必要なもの全てについて処理が終了したかを
判定する。まだ、終了していないときはステップＳ１０
３に戻り、次の端末装置の画面情報について画面合成処
理を行う。一方、終了したときはステップＳ１０８に移
り画面合成処理を終了する。

【００５９】実施の形態２．実施の形態１では、仮想教
室ウィンドウ上に表示される他の端末装置１の表示画面
は、図３に示したように常に視点側を向いている２次元
的イメージであった。この実施の形態２では、より臨場
感のある空間を表現するために図６に示すような、３次
元的なイメージで他の端末装置１の画面を表示できる仮
想教室システムである。以下に、実施の形態２の仮想教
室システムについて説明する。

【００６０】図５は、この仮想教室システムの端末装置
１の一部の構成を説明する機能ブロック図である。図５
において、図１と同一の符号は同一又は相当の部分を表
している。簡単化のため一部の機能ブロックと接続線つ
いては表示していないが、表示していない部分について
は図１と同様なものである。図５の１３ａは、仮想教室
空間の中で視点から表示画面が見える角度を判断し、そ
れに合わせた画面情報に変換する画面情報向き変換部で
ある。

【００６１】実施の形態１において説明したように、他
の端末装置１から画面情報を受け取った画面制御部９
は、受け取った画面情報を画面情報向き変更部１３ａへ
送る。この画面情報を受け取った画面情報向き変換部１
３ａでは、エージェント制御部６からの位置視点情報と
画面位置情報に基づき、仮想教室ウィンドウで表示して
いる仮想教室空間の中で、その画面情報にかかる他の端
末装置の表示画面がどの角度から見えるかを計算する。
そして、この角度に合わせてあたかもその位置視点から
見ているような形に画面情報を変換し、個人画面合成部
１３へ送る。この変換後の画面情報を受け取った個人画
面合成部１３では、この画面情報を、表示内容である仮
想教室空間の中の端末装置Ｂの表示画面の部分に合成す
る。この合成は図４の画面合成処理と同様に行われ、合
成した画像は最終的にディスプレイ１４に表示される。

【００６２】以上は、個人画面合成部１３外に設けた、
画面向き変更部１３ａにて画面の向きを変更したが、図
４のステップＳ１０５にて、画面情報Ｉを大きさＳに拡
大／縮小すると同時に、上述のように画面の向きを変更
したような画像を生成するようにしてもよい。

【００６３】また、仮想空間上のディスプレイはポリゴ
ン等で表現されているが、このポリゴンの一面に画面情
報をマッピングしてもよい。即ち、画面情報の大きさを
マッピングするポリゴンの面の大きさに合わせて変換
し、テクスチャとしてそのポリゴンの面に張り付ける。
この場合は、マッピングする際に視点からの距離、角度
を考慮して、画面情報の大きさや変形を行う必要がな
い。また、仮想教室空間を視点位置から見た２次元画像
に変換する際に、他の端末装置１の表示画面を机、椅子
等の物体表面の模様（テクスチャ、例えば木目等）と同
様に扱って２次元画像に変換することができる。従っ
て、他の端末装置１の表示画面の画像をポリゴンのテク
スチャとして張り付けるだけで、他の端末装置１の表示
画面を図６のように表示することができる。また、一度
仮想教室空間を２次元画像に変換した後、空間上の物体
と物体との位置関係を考慮しつつ、画面情報の変形、隠
面処理等を行って合成する方法よりも、３次元から２次
元の変換が一度で行えるため、効率がよい。

【００６４】この実施の形態２では、仮想教室ウィンド
ウに表示される端末装置の表示画面が、現実の教室と同
じような状態で見えることから、実施の形態１よりも現
実に近い態様で仮想教室を表現することができる。その
ため、仮想教室システムの操作者により分かりやすいイ
ンターフェースを提供することができる。

【００６５】実施の形態３．実施の形態１では、視点位
置からの距離が遠い端末装置の表示画面は、小さく表示
され、また、視点位置から直線上に並んでいる複数の端
末装置１がある場合には、表示画面の画像同士が重なっ
て見えることもある。これに対し、実施の形態３は、仮
想教室ウィンドウ上に表示される他の端末装置１の表示
画面を、見やすい位置と大きさに自動的に調整する仮想
教室システムである。以下に、実施の形態２の仮想教室
システムについて説明する。

【００６６】図７は、この仮想教室システムの端末装置
１の一部の構成を説明する機能ブロック図である。図７
において、図１と同一の符号は同一又は相当の部分を表
している。簡単化のため一部の機能ブロックと接続線つ
いては表示していないが、表示していない部分について
は図１と同様なものである。図７の１３ｂは、複数の表
示画面が重なる場合、又は、視点から見た仮想空間上の
ディスプレイが他の物体の影にある等で、表示画面が見
えなくなる場合に、表示画面を見えるような場所へ位置
を移動したり、見やすいように表示画面を自動的に拡大
する個人画面表示位置自動修正部である。

【００６７】次に、動作について説明する。実施の形態
１において説明したように、他の端末装置１から画面情
報を受け取った画面制御部９は、受け取った画面情報を
個人画面表示位置自動修正部１３ｂへ送る。個人画面表
示位置自動修正部１３ｂは、エージェント制御部６より
位置視点情報と画面位置情報を受け取り、図４のステッ
プＳ１０１〜Ｓ１０５までの処理を各端末装置１の画面
情報について行う。ただし、ステップＳ１０５において
は、算出した画面情報の大きさが予め定められた大きさ
（例えば、幅２００ドット）以下の場合、画面情報の大
きさをこの予め定められた値とする。これは、仮想空間
ウィンドウ上に表示される端末装置１の表示画面が小さ
すぎて見えなくなることを防ぐためである。さらに、ス
テップＳ１０５において、端末装置１の表示画面の仮想
教室ウィンドウ上の表示位置を計算し、この表示位置と
大きさより１つの端末装置の表示画面が他の端末装置の
表示画面と一部又は全部において重なる場合には、互い
に重ならないように位置を再計算する。以上の処理の結
果、１つ又は複数の画面情報とそれに対応した表示位置
が生成される。

【００６８】これらの画面情報と表示位置は個人画面合
成部１３に送信され、これらを受け取った個人画面合成
部１３が指定された表示位置に、画面情報を合成して表
示する。例えば、図８のような仮想教室ウィンドウが表
示される。この仮想教室ウィンドウ内では実施の形態２
のように、他の端末装置の表示画面が視点に対して正面
を向いていない場合であっても、表示画面の向きを変換
して表示する（実際には、他の端末装置１から受け取っ
た画面情報を大きさだけ変換し、画面情報向き変更部１
３ａのように画像の向きを変換しないで表示する。）。

【００６９】実施の形態４．次に、仮想教室ウィンドウ
内に表示される他の端末装置１の表示画面の大きさに応
じて、送受信する画面情報のデータ量を変化させる実施
の形態について説明する。この実施の形態は他の実施の
形態にも適用できるが、ここでは実施の形態１の端末装
置１を基本構成とした例について説明する。図９は、画
面情報を各端末装置１間で送受信する様子を表したシー
ケンス図である。図９においては、３台の端末装置１を
表示しており、それぞれ端末装置Ａ、端末装置Ｂ、端末
装置Ｃと称する。端末装置Ａと端末装置Ｂは画面情報を
受け取る側であり、端末装置Ｃが画面情報を送る側であ
る。

【００７０】最初に端末装置Ｃはいずれの端末装置１か
らも画面情報送付依頼を受け取っていない状態であると
する。まず、ステップＳ２０において、端末装置Ａから
画面情報送付依頼パケットが送信される。この画面情報
送付依頼パケットは表４に示したような構成になってい
る。表４において、送信先ＩＤ、送信元ＩＤ、種別は、
表１におけるものと同様のものであり、サイズは送付を
要求する画面情報のサイズが指定されている。このサイ
ズは、画面制御部９がエージェント制御部６から送られ
てくる端末装置１の表示画面の大きさが指定され、仮想
教室ウィンドウ内に表示される表示画面の大きさに応じ
て変化する。

【００７１】

【表４】

【００７２】端末装置Ａでは、仮想教室ウィンドウ内に
表示される端末装置Ｃの表示画面の大きさが１５０×１
００ドットであるので、サイズにこの大きさを指定し、
端末装置Ｃに画面情報送付依頼パケットを送信する。端
末装置Ｃでは、この画面情報送付依頼パケットを通信制
御部３が受信し、画面制御部９に画面情報送付依頼を送
信する。画面制御部９では、図２のステップＳ４にて説
明したように、画面情報送付依頼を受けている端末装置
１の数を表すカウンタを１だけ増加させ、同時に各端末
装置１の画面情報送付依頼に添付されている上記のサイ
ズを記憶する。

【００７３】図２のステップＳ５の処理でも実施の形態
１とは異なる部分があり、画面制御部９は個人画面合成
部１３から取得する画面情報を上記のサイズに変換し、
ステップＳ６でサイズ変換後の画面情報を上記表２のよ
うな画面情報パケットにして送信する。このステップＳ
６とステップＳ７によるパケットの送信が図９のステッ
プＳ２１である。ここで、送信する画面情報のサイズ
は、複数の画面情報送付依頼のうち最も大きいサイズを
選択する。従って、ステップＳ２１では、端末装置Ａか
らのみ画面情報送付依頼を受け取っているので、端末装
置Ａの要求したサイズ（１５０×１００ドット）の画面
情報を送信する。送信された画面情報パケットは端末装
置Ａが受信し、図２のステップＳ８〜１０にて説明した
ように、仮想教室画面上に合成されて表示される。

【００７４】画面情報送付依頼が端末装置Ａから端末装
置Ｃにのみ出されている場合には、上記ステップＳ２０
〜２１のシーケンスが繰り返されるが、他の端末装置１
の端末装置Ｂからも端末装置Ｃに画面情報送付依頼が出
された場合のシーケンスが、ステップＳ２２〜２３であ
る。ステップＳ２２において、端末装置Ｂから端末装置
Ｃに対して画面情報送付依頼パケットを送信する。この
画面情報送付依頼パケットはステップＳ２０と同様表４
に示したものである。ただし、端末装置Ｂでは、仮想教
室ウィンドウ内に表示される端末装置Ｃの表示画面が大
きいために（例えば、仮想教室空間上の視点位置から端
末装置Ｃまでの距離が近い場合など）、端末装置Ａより
も大きなサイズ（３００×２００ドット）を送信したと
する。端末装置Ｃでは、端末装置Ｂが送信した画面情報
送付依頼パケットを受け取り、ステップＳ２０と同様に
依頼を受けたこととサイズを記憶する。

【００７５】ステップＳ２３では、画面情報送付依頼を
受けたもののうち最も大きなサイズに合わせて、画面情
報パケットを送信する。基本的な動作はステップＳ２１
と同じである。ここでは、端末装置Ａと端末装置Ｂから
画面情報送付依頼を受け取っている。そして、それぞれ
端末装置１の要求しているサイズは、（１５０×１００
ドット）と（３００×２００ドット）であるので、最も
大きなサイズである（３００×２００ドット）のサイズ
に合わせて、画面情報を送信する。端末装置Ａと端末装
置Ｂは送信された画面情報パケットを受信し、画面情報
はそれぞれ適切なサイズに変換・合成されて表示され
る。

【００７６】つぎに、端末装置Ｂが端末装置Ｃの画面情
報を必要としなくなった場合について説明する。ステッ
プＳ２４では、端末装置Ｂが端末装置Ｃへ画面情報送付
終了情報パケットを送信する。端末装置Ｂの画面制御部
９は、この画面情報送付終了情報を受け取ると、画面情
報送付依頼を受けている端末装置１の数を表すカウンタ
を１だけ減少させ、同時に端末装置Ｂから送られてきた
画面情報送付依頼が終了したこと、及び、端末装置Ｂの
要求しているサイズ（３００×２００ドット）の記憶を
消去する。すると、要求を受けている画面情報のサイズ
は、端末装置Ａの（１５０×１００ドット）のみにな
り、要求を受けている画面情報の最大サイズも（１５０
×１００ドット）となる。

【００７７】そのため、ステップＳ２５で送信される画
面情報パケット中に含まれる画面情報のサイズは（１５
０×１００ドット）となる。

【００７８】実施の形態４は、必要な画面情報のサイズ
に合わせて画面情報を送受信するため、画面情報の伝送
量を節約することができる。例えば、端末装置Ｃの実際
の表示画面が（１０２４×７６８）とすると、送受信す
る画面情報のサイズを（３００×２２４ドット）に指定
した場合は、画面情報の伝送量が約１２分の１程で済む
という大きな効果が得られる。特に、多数の端末装置１
間での画面情報を送受信する仮想教室システムにおいて
は、多数のパケットによって大量のデータがネットワー
ク２上を流れることから、送受信するデータ量の増大が
システムの全体のレスポンスを低下させるという問題が
ある。この方法により送受信するデータ量を削減すれば
この問題を解決することができ、より多くの端末装置１
を素早いレスポンスを保ったまま接続することができ
る。また、予め伝送する画面情報を実際の画面表示より
も小さくした固定値で送信する場合には、その固定値の
サイズよりも仮想教室ウィンドウに表示する表示画面の
サイズが大きい場合には、画像の拡大によって画質の劣
化が生じるが、この実施の形態４によれば、このような
画質の劣化を生じることなく全体として画面情報の送受
信量を削減することができる。

【００７９】また、実施の形態２では、仮想教室ウィン
ドウ内に表示する他の端末装置１の表示画面も立体的な
イメージで表示し、仮想教室空間内の視点位置から見た
端末装置１の向きが斜めである場合には仮想教室ウィン
ドウに表示する表示画面も斜めから見ているように表示
する。このような場合、視点位置から端末装置１の距離
に応じて伝送する画面情報の大きさを変化させることに
加えて、正面から表示画面を見ているか、斜めから表示
画面を見ているかによっても画面の大きさを変化させる
ことができる。例えば、仮想空間上の表示画面に向かっ
て正面から見ている場合には、（３００×１５０ドッ
ト）の画面情報を送受信し、斜めから見ている場合に
は、例えば（３００×７５ドット）、ほとんど側面方向
から見ている場合には、（３００×１０ドット）といっ
たように、視点位置から見える表示画面の角度によって
送受信する画面情報の大きさを変化させる。この表示画
面による大きさの決定は、仮想教室ウィンドウ内に表示
される表示画面の縦と横の幅の最大値を採用するとよ
い。

【００８０】また、一般に仮想教室空間上の視点位置が
大きく動いている場合には、肉眼で仮想教室ウィンドウ
内の表示画面の詳細な内容を認識することができず、ま
た、その必要もないことが多いので、送受信する画面情
報のサイズを小さくして、解像度を落とすことができ
る。この場合には、エージェント制御部６から送られて
くる位置視点情報を画面制御部９が監視し、視点の位置
又は方向が動いているかどうかを判断する。ここで、所
定の閾値以上に視点の位置又は方向が動いた場合には、
サイズを適切な値に指定して新たな画面情報送付依頼を
通信制御部３を介して送信する。そして、視点の位置又
は方向が所定の閾値以下となった場合に、仮想教室ウィ
ンドウ内に表示されている表示画面に合わせたサイズを
指定した画面情報送付依頼を送信して、詳細な表示をす
るようにする。以上のようにすることによっても、画面
情報の伝送量を削減することができる。

【００８１】実施の形態５．次に仮想教室ウィンドウに
表示されている端末装置や黒板等の物体を指示して、そ
の物体にかかる関連情報を表示する実施の形態について
説明する。図１０はこの仮想教室システムの端末装置１
の一部の構成を説明する機能ブロック図である。図１０
において、図１と同一の符号は同一又は相当の部分を表
している。簡単化のため一部の機能ブロックと接続線つ
いては表示していないが、表示していない部分について
は図１と同様なものである。１７は、仮想教室空間内に
置かれている物体のＩＤとその物体の関連情報のキーの
情報である対応情報を、各物体毎に格納している対応情
報群であり、例えば、仮想教室空間中の複数のポリゴン
で構成される物体には、００１というＩＤが付されてお
り、このＩＤを基に対応情報を引くと、関連情報のキー
として例えば「机」というキーが検索できる。関連情報
のキーは扱いやすい数字で表してもよい。ＩＤとキーの
関係は多対１の関係にあり、００３というＩＤを持つ物
体の関連情報が同じ「机」というキーを持っていること
もある。

【００８２】１８はキーと物体に関連する情報を関連情
報として、各キーについて持つ関連情報群である。対応
情報群１７と関連情報群１８は、メモリやディスク装置
などの記憶装置内に記憶されている。１９はエージェン
ト制御部６から受け取った物体のＩＤを基に、対応情報
群１７から物体のキーを引き出し、このキーを基に関連
情報群１８から関連情報を出力する関連検索部である。

【００８３】次に動作について説明する。図１１は関連
情報をディスプレイ１４上に表示する処理を説明するフ
ローチャートである。ステップＳ０より始まり、ステッ
プＳ３０にて、操作者がキーボード１１やマウス１２等
を操作して仮想空間上の物体を指定すると、ステップＳ
３１で、エージェント制御部６よりエージェントについ
ての位置、顔の向き等の状態を表わす位置視点情報を個
人画面合成部１３へ、どの物体を指定したかということ
を意味する指示情報として、その物体のＩＤを関連検索
部１９に送る。ここでは、仮想教室上の壁にかけられて
いる絵画を表す物体をクリックし、この物体のＩＤを関
連検索部１９に送ったとする。

【００８４】次にステップＳ３２に移り、関連検索部１
９で対応情報群１７より指示情報がどの関連情報に対応
するかの対応情報を取得する。この対応情報は関連情報
のキーとして与えられ、例えば「Ａ氏の絵画」というキ
ーが得られる。続いて、ステップＳ３３に移り、このキ
ーをもとに関連情報群１８より関連情報を取り出す。例
えば、「Ａ氏の絵画」というキーを用いて検索すると、
関連情報としてＡ氏の絵画のイメージデータが取り出せ
る。そして、関連検索部１９で取得した関連情報を個人
画面合成部１３に送る。次に、ステップＳ３４で、個人
画面合成部１３が関連情報を仮想教室空間上の指定した
物体の近くに表示されるように合成してディスプレイ１
４に表示する。ステップＳｅで以上の関連情報表示処理
を終了する。

【００８５】この実施の形態５によれば、仮想教室空間
上に表示されている物体を直接指示することで、関連す
る情報を表示することができるので、臨場感のある仮想
空間ウィンドウで分かりやすく、使いやすいインターフ
ェースを提供することができる。

【００８６】実施の形態６．次に仮想教室ウィンドウに
表示されている端末装置や黒板等の物体にかかる関連情
報を見やすい位置や大きさに表示する実施の形態につい
て説明する。図１２はこの仮想教室システムの端末装置
１の一部の構成を説明する機能ブロック図である。図１
２において、図１０と同一の符号は同一又は相当の部分
を表している。簡単化のため一部の機能ブロックと接続
線ついては表示していないが、表示していない部分につ
いては図１及び図１０と同様なものである。２０は関連
検索部１９により取得した関連情報の表示位置や大きさ
を見やすい位置や大きさに変換する最適化処理部であ
る。

【００８７】図１３は関連情報が仮想教室ウィンドウ内
に表示される位置と大きさを決定する最適化処理を説明
するフローチャートである。この最適化処理は最適化処
理部２０において実行される。図１４は関連情報の表示
位置についていくつかの候補を選択する方法を説明する
図であり、図１５はいくつかの候補の中から１つの候補
が選択される様子を説明する図である。この図１５にお
いて、２５ａ・ｂ・ｃはそれぞれ仮想教室ウィンドウを
表しており、２５ａが関連情報を表示する物体を選択す
る前の仮想教室ウィンドウ、２５ｂが選択後の仮想教室
ウィンドウであって、関連情報が他の物体に隠れてうま
く表示できていない例、２５ｃが同じく選択後の仮想教
室ウィンドウであって、最適化処理によって関連情報を
他の物体に隠れずに表示することができている例を表し
ている。２６はマウス等のポインティングデバイスによ
って移動し、関連情報を表示する物体上に移動して物体
を選択するためのポインタ、２７・２８はそれぞれ仮想
教室空間上に存在するものであって、仮想教室ウィンド
ウ内に表示された物体であり、２７はディスプレイを備
えた端末装置を表しており（２７ａはこのディスプレイ
に表示される他の端末装置の表示画面である。）、２８
は文字や画像等のデータが書き込まれているノートを表
している。

【００８８】次に動作を説明する。この実施の形態６に
おいて、基本的動作は実施の形態５と同様であるが、関
連検索部１９と個人画面合成部１３の間に新たに接続さ
れた最適化処理部２０に関連して、動作が異なる。そこ
で、この最適化処理部二重によって実行される最適化処
理について、図１３を中心に用いて説明する。最適化処
理とは、仮想空間上の他の物体によって関連情報が隠れ
ないように表示位置を修正する処理、又は関連情報表示
の大きさが不適切で見にくくならないように関連情報表
示の大きさを適切に修正する処理である。ここでは、位
置と大きさの両方を修正し、大きさは予め設定しておい
た大きさで文字が表示されるように修正を行っている。

【００８９】まず、実施の形態５で説明したように、関
連検索部１９が関連情報を検索して最適化処理部２０に
出力すると、ステップＳ３５の処理に移る。ステップＳ
３５は、位置視点情報より分かる指示物体の位置の周り
に、関連情報が表示される場所の候補を数ヶ所について
あげる処理である。候補の選出は、いずれかの候補が他
の物体に隠れずに見えるように（可能性の高いように）
選出し、このように選出できるのであればどの様な方法
であってもよい。ここでは、エージェント制御部６から
位置視点情報と画面位置情報を取得し、図１４に示した
ように視点２１から指示物体２２までを結ぶ直線に垂直
な平面２３上からいくつかの候補２４を選出する（図１
４では、４つの候補２４を選出している）。このように
選出すると、視点から見た指示物体２２の距離と関連情
報物体の距離が同じになるため、指示物体２２までの距
離感覚を損なわずに関連情報を表示できる。ここで、関
連情報物体とは、仮想教室空間中に置かれ、関連情報を
表示する物体であり、例えば、図１５の関連情報物体２
８ｂに示すように表示される。続いて、ステップＳ３６
に移る。

【００９０】ステップＳ３６は、ステップＳ３５にてあ
げた候補のうち、１つの候補を選択する処理である。た
だし、ステップＳ４１を介して再びステップＳ３６にル
ープしてきた場合には、一度選択した候補は選ばれない
ようにする。次に、ステップＳ３７に移る。ステップＳ
３７は、ステップＳ３６で選択した候補の位置に関連情
報物体を表示した場合に、他の物体の陰に隠れて、関連
情報物体が隠れないかどうかについて判断する処理であ
る。この判断は、関連情報物体を選択した候補２４の位
置に置いたと想定して、視点２１と関連情報物体との間
の空間上に他の物体があるかどうかを位置視点情報、画
面位置情報を基に判断することによって行われる。も
し、隠れてしまうと判断された場合は、他の候補につい
て同様の判断をするためにステップＳ４０に移り、隠れ
ないと判断された場合はステップＳ３８に移る。

【００９１】ステップＳ３８は、選択された候補を正式
に採用し、この候補の位置に関連情報物体を配置する処
理である。次にステップＳ３９に移る。ステップＳ３９
は、仮想教室ウィンドウ上に表示される関連情報が小さ
くなるために、操作者にとって見にくくなるかどうかを
判断する処理である。ここでは、関連情報が文字の場合
についての判断を行い文字が１０ポイント以下となる場
合に見にくくなると判断する。従って、仮想教室ウィン
ドウの大きさが可変の場合には、仮想教室ウィンドウの
大きさに合わせて物体、関連情報の表示される大きさも
変化するため、関連情報が実際に表示される大きさを考
慮することになる。

【００９２】ここで、見にくくなると判断された場合に
はステップＳ３９ａに移り、関連情報の文字を１０ポイ
ントに拡大して、個人画面合成部１３へ関連情報物体の
大きさ、位置、及びこの最適化処理で最適化した関連情
報を出力する。一方、見にくくならないと判断された場
合には、そのまま個人画面合成部１３へ関連情報物体の
大きさ、位置、及び関連情報を出力する。個人画面合成
部１３では最適化処理部２０から関連情報物体の大き
さ、位置、及びこの最適化処理で最適化した関連情報を
受け取り、エージェント制御部６から受け取った画面位
置情報と共に用いて仮想教室空間を構成し、２次元画像
に変換して、ディスプレイ１４上に表示する。

【００９３】一方ステップＳ３７にて、選択した候補で
は他の物体によって関連情報が隠れてしまうと判断され
た場合には、ステップＳ４０に移り、ステップＳ４０〜
Ｓ４２までの処理が行われる。ステップＳ４０は、選択
した候補を選択から外す処理であり、次のステップＳ４
１で、まだ選択されていない候補があるかどうかについ
て判断を行う。ここで、まだ選択されていない候補があ
ると判断された場合には、ステップＳ３６に移り、他の
物体に隠れずに表示される候補がないかどうかについ
て、再び処理を行う。一方、ステップＳ４１にて、まだ
選択されていない候補がないと判断された場合には、次
のステップＳ４２に移る。

【００９４】ステップＳ４２は、ステップＳ３５であげ
られた複数の候補のうち、他の物体によって隠れずに最
も大きく表示できる候補を選択する処理である。このス
テップＳ４２の処理に到達する場合は、全ての候補が他
の物体によって隠れずに表示できるものではない場合で
ある。この場合は、隠れないように表示しようとして、
関連情報物体の大きさを小さくした場合に、最も大きく
表示される候補を選択する。そして関連情報物体を、こ
のステップＳ４２で選択された候補の位置に、大きさを
変えて配置する。ステップＳ４２が終了すると、上述の
ステップＳ３９に移り、最終的にディスプレイ１４上に
表示される。

【００９５】この実施の形態６では、最適化処理として
関連情報物体の位置と大きさを調整したが、関連情報物
体の形状を変化させることによって、関連情報を他の物
体に隠れずに見えるように表示してもよい。例えば、関
連情報物体が横長の長方形では全ての関連情報が見えな
い場合には、縦長の長方形に変形して表示することによ
って全ての関連情報を表示できる場合がある。また、視
点と指示物体との間にある他の物体に陰に関連情報の一
部が隠れるように表示してもよい。ただし、関連情報の
表示を損なわない程度にする。この場合は、関連情報物
体の配置される場所の距離感をより効果的に表現するこ
とができる。また、ステップＳ３９・３９ａにおいて、
関連情報表示が小さすぎる場合には、拡大して表示する
ことにより、関連情報の見やすさを確保したが、逆に、
指示物体と視点の位置が近すぎるために関連情報の表示
が大きすぎる場合には、縮小して表示されるようにして
もよい。

【００９６】この実施の形態６によれば、奥行きのある
空間上で、関連情報が指示物体に応じた距離感をもって
表示されるため、より臨場感が増し、使いやすいインタ
ーフェースを提供することができると共に、３次元で表
現することによって生じる問題（関連情報の表示が大き
すぎたり、小さすぎたり、また、他の物体に隠れて関連
情報を見ることができない）を解決することができる。
例えば、図１５は、ポインタ２８によって物体（ノー
ト）２８を選択し関連情報を表示した仮想教室ウィンド
ウの例である。上記の最適化処理を行うことにより仮想
教室ウィンドウ２５ｂのように物体の陰に隠れて関連情
報が見えないということにならず、仮想教室ウィンドウ
２５ｃのように関連情報が見える状態で表示できる。

【００９７】実施の形態７．実施の形態７は仮想教室ウ
ィンドウ内に表示されている物体を指示することによ
り、指示された物体に関連づけられたアプリケーション
を自動的に起動する実施の形態である。図１６はこの仮
想教室システムの端末装置１の一部の構成を説明する機
能ブロック図である。図１６において、図１０と同一の
符号は同一又は相当の部分を表している。簡単化のため
一部の機能ブロックと接続線ついては表示していない
が、表示していない部分については図１及び図１０と同
様なものである。図１６の２９は、関連検索部１９から
関連情報を受け取り、この関連情報に対応するアプリケ
ーションを起動する指令を出力する個人アプリケーショ
ン管理部である。個人アプリケーション管理部２９が送
信した指令は、個人アプリケーション部１０が受信し、
この指令に指定されたアプリケーションを起動する。ま
た、対応情報群１７には、物体ごとに付けられたＩＤと
そのＩＤに対応するアプリケーション名が、各物体ごと
に記憶されいる。この対応情報群１７には、実施の形態
５及び６で説明した内容も含んでおり、文字や画面情報
等の関連情報が記憶されているか、アプリケーション名
が記憶されているかは、対象となる物体による。

【００９８】次に動作について説明する。基本的な動作
は、実施の形態５と同様である。実施の形態７では、新
たに個人アプリケーション管理部２９が加わっているの
で、この個人アプリケーション管理部２９の動作を中心
に説明する。

【００９９】まず、マウス等のポインティングデバイス
によって物体が指示されると、エージェント制御部６よ
り、どの物体を指定したかということを意味する指示情
報を関連検索部１９に送る。関連検索部１９では対応情
報群１７より指示情報がどの関連情報に対応するかを検
索し、指示した物体の関連情報を取得する。ここまで
は、実施の形態５で説明した動作と同様である。次に、
関連情報を取得した関連検索部１９は、この関連情報が
文字や画像等の仮想教室ウィンドウに単に表示すればよ
いものか、アプリケーションを起動する必要があるもの
かを判断する。（従って、関連情報にはこれを区別する
符号を挿入しておくとよい。）アプリケーションを起動
する必要がない関連情報のときは、実施の形態５で説明
したように個人画面合成部１３に、関連情報を送信す
る。一方、アプリケーションを起動する必要があるとき
は、その旨とアプリケーション名を起動命令として個人
アプリケーション管理部１０に送信する。この起動命令
を受けた個人アプリケーション部１０では、指定された
アプリケーションを起動する。

【０１００】この実施の形態７によれば、アプリケーシ
ョンの起動を仮想教室空間上の物体を指示することによ
って行うことができるため、操作者はアプリケーション
の名前を知る必要もなく、また、アプリケーションを起
動する命令をキーボード等から打ち込む必要もない、非
常に操作の容易なインターフェースを提供することがで
きる。

【０１０１】実施の形態８．実施の形態８は、他の端末
装置１のポインタを仮想教室ウィンドウ内に表示して、
他の端末装置１の操作者がどの物体等について操作を行
っているかを知ることができるものである。図１７はこ
の仮想教室システムの端末装置１の一部の構成を説明す
る機能ブロック図である。図１７において、図１と同一
の符号は同一又は相当の部分を表している。簡単化のた
め一部の機能ブロックと接続線ついては表示していない
が、表示していない部分については図１と同様なもので
ある。図１７の３０は通信制御部３より他端末ポインタ
情報を受信して、この他端末ポインタ情報に基づきポイ
ンタを表す物体を仮想教室空間内に配置し、また、エー
ジェント制御部１１より自己のポインタの位置情報を取
得して、他の端末装置に送信するポインタ情報管理部で
ある。ここで、他端末ポインタ情報とは、他の端末装置
１の操作者が使用するポインタの位置情報であって、仮
想教室空間内の３次元の位置情報を表している。

【０１０２】次に他端末ポインタ情報の送信と受信及び
ポインタ表示の動作について説明する。ここでは、動作
例として２つの端末装置１間（それぞれ端末装置Ａ、Ｂ
と呼ぶ）で他端末ポインタ情報を送受信する場合を説明
する。端末装置Ａは送信側の端末装置１、端末装置Ｂは
受信側の端末装置１とする。

【０１０３】・ポインタ情報の送信（送信側の処理） 端末装置Αにおいて操作者Αがキーボード１１やマウス
１２等によって仮想空間上の物体をポインタで指すと、
エージェント制御部６よりポインタによって物体を選択
したことを意味する指示情報がポインタ情報管理部３０
に送信される。この指示情報を受けたポインタ情報制御
部３０は、エージェント制御部６から選択した物体の座
標を取得する。この座標は仮想教室空間における３次元
の座標である。座標を取得したポインタ情報管理部３０
は、この座標の情報と自己の端末装置１のＩＤを１つの
パケットにして、通信制御部３とネットワーク２を介し
全ての端末装置１に送信する。このとき送信する座標と
ＩＤが他端末ポインタ情報である。

【０１０４】・ポインタ情報の受信及びポインタ表示
（受信側の処理） 端末装置Ａから送信された他端末ポインタ情報のパケッ
トは、受け手の１つである端末装置Ｂの通信制御部３に
よって受信される。通信制御部３は、このパケットを受
け他端末ポインタ情報をポインタ情報管理部３０に送信
する。ポインタ情報管理部３０は、他端末ポインタ情報
を受け取ると、ポインタを仮想教室ウィンドウ内に表示
される物体として、他端末ポインタ情報から取得した座
標とともにエージェント制御部６に送信する。この際、
送信する座標は選択した物体と重なって見えなくなって
はいけないので、物体の近くであって見える位置に変換
する。また、視点位置によっては実施の形態６と同じよ
うに他の物体と重なって見えなくなることもある。この
ような場合には実施の形態６で説明したような方法で、
ポインタを表す物体の位置や大きさを形を修正すること
により、他の物体の陰に隠れて見えないことを防ぐこと
ができる。

【０１０５】ポインタ情報管理部３０より他端末ポイン
タ情報を受け取ったエージェント制御部６は、指定され
た位置にポインタを表す物体（実際にはポリゴンの集
合）を配置する。ここで、どの端末装置１にかかるポイ
ンタかが分かるように、ポインタを表す物体に端末装置
１にかかる情報を合わせて表示するとよい。この情報は
他端末ポインタ情報に含まれる送信元のＩＤを調べるこ
とによって導出できる。ＩＤはポインタ情報管理部３０
より取得する。

【０１０６】また、この実施の形態８では、ポインタ情
報管理部３０は他端末ポインタ情報を受け取ると、常に
エージェント制御部６にポインタを表す物体を表示する
ように指示していたが、自己の端末装置１の視野の中に
入っているないものについては、ポインタを表す物体表
示の指示を行わなくともよい。

【０１０７】この実施の形態８によれば、他の端末装置
１の操作者が仮想空間上のどの物体について操作をして
いるかを知ることができる。

【０１０８】実施の形態９．実施の形態９は、操作者の
移動や視点方向を検知する測定器を設け、操作者が実際
に移動した場合には、この移動が仮想教室空間上の視点
の位置、方向に反映されるようにして、大きな臨場感を
得られるようにするものである。図１８はこの仮想教室
システムの端末装置１の一部の構成を説明する機能ブロ
ック図である。図１８において、図１と同一の符号は同
一又は相当の部分を表している。簡単化のため一部の機
能ブロックと接続線ついては表示していないが、表示し
ていない部分については図１と同様なものである。図１
８の３１は、操作者の視点方向（視線の方向）を測定す
る視点方向測定機器、３２は操作者が移動することによ
り生じる加速度を測定する加速度測定機器、３３は視点
方向測定機器３１から受け取った視点方向と加速度測定
機器３２から受け取った加速度をもとに、仮想教室空間
中における視点の移動量及びその方向と視線の方向を算
出し、エージェント制御部６に送信する変換処理部であ
る。ここで、加速度測定機器３２、視点方向測定機器３
１は操作者の体に付けて利用し、ディスプレイ１４は操
作者の頭部に固定する。また、操作者は自由に動くこと
ができる。

【０１０９】変換処理部３３は、操作者が衣服等に身に
付けた加速度測定機器３２、頭部に取り付けた視点方向
測定機器３２から入力されたデータを３次元移動情報と
視点方向（角度データ）に変換する。３次元移動情報
は、加速度測定機器３２から入力されたデータから、前
後・左右・上下の加速度とそれが加わった時間から移動
の方向や距離等を計算してどの方向にどれだけ移動した
かという３次元の移動ベクトルである。この３次元移動
情報と視点方向測定機器３２から入力された視点方向を
仮想空間内の視点移動に反映させて、その動きをエージ
ェントにとらせることにより、仮想空間上で人型を表わ
すエージェントが人の行動と同じように行動するのが表
示される。また視点方向測定機器３２から入力された視
点方向や角度等の視点情報より仮想空間上で視点方向と
角度を算出し、その延長上にある物体が指示している対
象物であるとして指示情報に変換される。マイクから入
力された音声データは音声変換装置等により文字列に変
換されてキー入力されたデータとしてエージェント制御
部６へ送られる。

【０１１０】この実施の形態９によれば、操作者はポイ
ンティングデバイスによって視点移動の操作をする必要
がなく、操作者の移動又は視線の変化がディスプレイ１
４上に反映されるため、より臨場感のある仮想教室シス
テムを構築することができる。また、操作が容易なイン
ターフェースを提供することができる。

【０１１１】実施の形態１０．実施の形態１０は、操作
者の感情を推測して、その結果をエージェントに反映す
ることにより、よりスムーズな意思の伝達が行えるよう
にしたものである。図１９はこの仮想教室システムの端
末装置１の一部の構成を説明する機能ブロック図であ
る。図１９において、図１と同一の符号は同一又は相当
の部分を表している。簡単化のため一部の機能ブロック
と接続線ついては表示していないが、表示していない部
分については図１と同様なものである。図１９の３４
は、操作者の脳波や体温、脈拍等の体感を測定する体感
測定機器、３５は体感測定機器３４から取得した体感情
報と音声入力処理部７から取得した音声データをもとに
操作者の感情を推測する感情判断部、３６は感情判断部
３５の判断結果に基づいてエージェントの表情を変更し
て仮想空間上に表示する表情変更部である。

【０１１２】操作者が衣服等に身に付けた体感測定機器
３４から入力されたデータを感情判断部３５で受け取る
と、感情判断部３５では、例えば図２０ような判断基
準、優先順位で操作者の感情を判断する。判断基準は変
更できるものとする。感情判断部３５の判断結果である
「哀」、「平常」、「怒」等の感情データは自己の端末
装置１の表情変更部３６に送られ、また、通信制御部３
を通して他の端末装置１の表情変更部３６へも送られ
る。表情変更部３６では自己の端末装置１と他の端末装
置１の感情判断部３５より送られてきた感情データをも
とに人型を表わすエージェントの表情を予め用意してい
た表情に変更して、ディスプレイ１４の仮想教室空間上
に表示する。

【０１１３】この実施の形態１０によれば、操作者の感
情を他の端末装置１の操作者に伝えることができるた
め、よりスムーズな意思の伝達が行える。

【０１１４】実施の形態１１．実施の形態１１は、操作
者によって、仮想教室空間のデザインを自由に選択する
ことができるものである。図２１はこの仮想教室システ
ムの端末装置１の一部の構成を説明する機能ブロック図
である。図２１において、図１と同一の符号は同一又は
相当の部分を表している。簡単化のため一部の機能ブロ
ックと接続線ついては表示していないが、表示していな
い部分については図１と同様なものである。３７は仮想
教室内に登場する各物体の３次元形態情報、それらの色
や面の模様デザインを示すテキスチャ情報、各物体の動
作内容情報、及び各物体の位置関係情報等の３次元風景
を作成するために必要な情報である３Ｄ風景情報群であ
る。この３Ｄ風景情報群は、いくつかの風景パターンを
備え、例えば、ＲＡＭやディスク記憶装置内に記憶され
る。

【０１１５】上記の３次元形態情報は、例えば、３次元
空間内の机等の物体、エージェント等の人型、及び壁や
黒板等の背景を示すアニメーションキャラクタを表示す
るために必要なそれらの形状を示す３次元の形態情報で
ある。また、上記の動作内容情報は仮想空間内の物理的
動作内容（例えば、人の歩行パターン）を示す情報であ
り、上記位置関係情報は、例えば、ある壁とある机とあ
る人型の組み合わせとそれらの位置関係を示す情報であ
る。３８は、エージェント制御部６の指示に従って、複
数の３Ｄ風景情報から指示された３Ｄ風景情報を選択し
風景合成部９へ出力する風景選択部である。

【０１１６】操作者がキーボード１１やマウス１２を操
作して教室内の風景を変更するとエージェント制御部６
より風景選択部３８に特定の風景に変更するように風景
指示情報が送られる。風景選択部３８では複数の３Ｄ風
景情報の中から風景指示情報に合った３Ｄ風景情報を取
り出して個人画面合成部１３へ送る。個人画面合成部１
３では、この３Ｄ風景情報を受信した以降は、この３Ｄ
風景情報をもとに仮想教室空間を生成し、エージェント
制御部６より送られてきた視点位置情報、画面位置情報
をもとに仮想教室ウィンドウを生成して、また必要に応
じて、他の共有アプリケーションや個人アプリケーショ
ンを表示するウィンドウと合成して、ディスプレイ１４
上に表示する。

【０１１７】この実施の形態１１によれば、操作員は自
己の好みに応じた仮想教室空間のデザインを選択するこ
とができる。

【０１１８】実施の形態１２．実施の形態１２は、仮想
教室空間のデザインを自由に選択することできる仮想教
室システムであって、デザインにかかるデータが自己の
端末装置にない場合には、他の端末装置からデータを取
得するものである。図２２はこの仮想教室システムの端
末装置１の一部の構成を説明する機能ブロック図であ
る。図２２において、図２１と同一の符号は同一又は相
当の部分を表している。簡単化のため一部の機能ブロッ
クと接続線ついては表示していないが、表示していない
部分については図２１と同様なものである。図２２の３
９は自己の端末装置１の所有する３Ｄ風景情報群３７中
に、風景選択部３８で選択した３Ｄ風景がなかった場合
に、ネットワークを介して他の端末装置１から、選択し
た３Ｄ風景情報を取得する風景管理部である。

【０１１９】操作者がキーボード１１やマウス１２を操
作して教室内の風景を特定の３Ｄ風景情報に変更する指
示を出すとエージェント制御部６より風景管理部３９に
特定の風景に変更するように風景指示情報が送られる。
風景管理部３９では、風景選択部３８に特定の３Ｄ風景
情報がない場合、その旨を風景管理部３９に知らせる。
風景管理部３９では、通信制御部３を介して他の端末装
置１の風景管理部３９へ特定の３Ｄ風景情報が欲しい旨
の指示情報を送る。指示が送られてきた他の端末装置１
の風景管理部３９では風景選択部３８を通して指示に合
った３Ｄ風景情報があれば取り出す。風景選択部３８で
は３Ｄ風景情報を風景管理部３９へ送る。風景管理部３
９から通信制御部３を介して要求元の端末装置１の風景
管理部３９へ３Ｄ風景情報を送る。この３Ｄ風景を受け
取った風景管理部３９は個人画面合成部１３に３Ｄ風景
を送信する。個人画面合成部１３ではエージェント制御
部６と風景管理部３９より送られてきた各種情報を合成
し、ディスプレイ１４に表示する。

【０１２０】この実施の形態１２によれば、自己の端末
装置１内が所有していない３Ｄ風景情報を他の端末装置
１から自動的に取得することができるため、自己の端末
装置１に全ての３Ｄ風景情報を所有している必要がな
い。そのため、記憶容量の小さい端末装置１でも、沢山
の風景デザインの中から１つの風景デザインを自由に選
択することが可能になる。

【０１２１】実施の形態１３．実施の形態１３は、操作
者が仮想教室ウィンドウ内の物体を選択することによ
り、その物体に関連する他の端末装置１を操作できるよ
うにするものである。図２３はこの仮想教室システムの
端末装置１の一部の構成を説明する機能ブロック図であ
る。図２３において、図１と同一の符号は同一又は相当
の部分を表している。簡単化のため一部の機能ブロック
と接続線ついては表示していないが、表示していない部
分については図１と同様なものである。図２３の４０は
入出力管理部であり、自己の端末装置１の各処理部又は
制御部等からのデータ信号又は制御信号と、他の端末装
置１からのデータ信号又は制御信号と、を選択的に自己
の端末装置１の被制御部に伝える機能がある。加えて、
自己の端末装置１の被制御部からのデータ信号又は制御
信号を、自己の端末装置１の各処理部又は制御部等へ出
力するか、他の端末装置１の各処理部又は制御部等へ出
力するかを選択的に実行する機能も有している。被制御
部は、他の端末装置によって操作される機能ブロックで
あり、エージェント制御部６、共有アプリケーション部
４等のようなものから、スピーカや、図示しないプリン
タ等の入出力装置まで含まれる。ここで、自己の端末装
置１の入出力装置のデータ信号又は制御信号からの出力
は、自己の端末装置１と他の端末装置１の両方の各処理
部等に出力するようにしてもよい。また、ここでは、被
制御部への出力、被制御部からの入力、をともに制御で
きるようにしているが、どちらか一方の機能だけを有す
るようにしても他の端末装置の被制御部を操作できると
いう効果をあげることができる。

【０１２２】次に、一例として、端末装置Ａの操作者が
端末装置Ｂを操作する動作について説明する。端末装置
Ａの操作者がキーボード１１やマウス１２などで仮想教
室画面に物体として表示されている被制御部を指定する
とエージェント制御部６より被制御部を選択したことを
意味する被制御部指示情報が入出力管理部４０に送られ
る。この被制御部指示情報には、選択された被制御部を
特定する情報が含まれている。

【０１２３】ここでは、例えば仮想教室ウィンドウに表
示された端末装置Ｂのキーボードを選択したとする。こ
の場合は、端末装置Ａの送信するデータ情報、制御情報
が端末装置Ｂのキーボード出力として扱われるようにす
るため、被制御部としてキーボード１４からの出力を管
理する（図示しない）キー入力処理部を指定する（この
端末装置では、このキー入力処理部がキーボード入力を
必要とする処理部に入力されたキーの情報を送信する。
この処理部には、例えば、エージェント制御部６や共有
アプリケーション部４等がある。）。他の例としては、
図示しない端末装置Ｂのプリンタを指定した場合に、端
末装置Ｂのプリンタを端末装置Ａから制御することもで
きる。

【０１２４】そして、入出力管理部４０は、通信制御部
３を介して選択された被制御部にかかる端末装置Ｂを指
定し、入出力管理部４０へ被制御部指示情報を送信す
る。この被制御部指示情報を受け取った端末装置Ｂで
は、通信制御部３より入出力管理部４０へ被制御部指示
情報が送信される。端末装置Ｂの入出力管理部４０では
被制御部指示情報を受け取ると、それ以後は、端末装置
Ｂの入力装置（ここではキーボード１４）からの入力情
報を無効とし、その代わりに指示情報を送ってきた端末
装置からのデータ情報、制御情報を出力するように切り
替える処理を行う。この出力は被制御部指示情報で指示
された被制御部へ行う。

【０１２５】ここでは、被制御部としてキー入力処理部
が指定されたため、入出力管理部４０は、端末装置Ａか
ら送られた情報の送信先をキー入力処理部とする。ま
た、同時に、被制御部から出力されるデータ情報は、通
信制御部３を介して被制御部指示情報を送った端末装置
Ａへ送り返されるようにする。従って、被制御部を制御
する端末装置Ａの制御部（ここでは、入出力機器の１つ
であるキーボード１４を制御する制御部）と端末装置Ｂ
の被制御部（ここでは、キー入力処理部）との間に、論
理的な入出力信号回線が設定されたことになる（特に、
プリンタのように制御に対する応答信号がある場合など
では、入力及び出力を制御できる必要がある。）。

【０１２６】以上の処理によって、被制御部を操作する
体制が整ったので、つぎに端末装置Ｂの被制御部を操作
する処理に入る。操作をするためのデータは、ネットワ
ーク２を介してパケットで送信されるが、まず、端末装
置Ａの入出力管理部４０へ操作情報が対応する処理部又
は制御部等から送られる。例えば、端末装置Ａのキーボ
ード１４から入力されたキーの情報を端末装置Ａの入出
力管理部４０が受け取り、通信制御部３を介して、この
キーの情報をデータ情報として端末装置Ｂへ送信する。

【０１２７】端末装置Ｂの通信制御部３は、このデータ
情報を受け取り、端末装置Ｂの入出力管理部４０へ出力
する。入出力管理部４０では、受け取ったデータ情報を
あたかも端末装置Ｂの出力かのように被制御部に送信す
る。ここでは、上記のように、被制御部をキー入力処理
部としているので、このキー入力処理部へデータ情報を
送信する。

【０１２８】このデータ情報を受け取ったキー入力処理
部は、自己の端末装置Ｂのキーボード１４から受け取っ
たキーの情報と同じように、このデータ情報を取り扱う
ため、端末装置Ａから端末装置Ｂを制御することができ
る。例えば、端末装置Ａの仮想教室ウィンドウに表示さ
れた端末装置Ｂの表示画面を見ながら、端末装置Ａのキ
ーボード１４から文字を入力して、端末装置Ｂ上のアプ
リケーション等を制御することができる。

【０１２９】また、被制御部がデータを出力する場合に
は、端末装置Ｂの入出力管理部４０がこのデータを受け
取り、受け取ったデータを通信制御部３を介して端末装
置Ａの入出力管理部４０へ送信する。端末装置Ａの入出
力管理部４０は、受信したデータを被制御部を制御する
制御部へ送信する。

【０１３０】次に、他の端末装置の操作を終了する場合
について説明する。端末装置Ａの操作者が、予めきめて
ある入力（例えばキーボード１４からの特定のキー入
力）を行うと、入出力指定情報の解除を意味する解除情
報が入出力管理部４０から出力される。この解除情報は
通信制御部３を介して端末装置Ｂの入出力管理部４０へ
送られる。端末装置Ｂの入出力管理部４０では、これを
受けて、それ以後は他の端末装置からのデータ情報、制
御情報を無視し、端末装置Ｂの入力機器（ここでは、キ
ーボード１４）からの入力内容を被制御部（キー入力処
理部）へ送る。また、被制御部から送られるデータは、
被制御部指示情報を受け取る前と同様の送信先へ送信
し、端末装置Ａへの送信を中止する。

【０１３１】この実施の形態１３によれば、仮想教室ウ
ィンドウに表示されたキャラクタを選択するだけで、他
の端末装置の操作を指示することができるため、操作が
簡単である。また、その結果を仮想空間を表示した画面
上で確認することができる。そのため、臨場感があり、
他の端末装置を操作していることを実感しやすく、使い
やすいインタフェースを提供できる。

【０１３２】実施の形態１４．実施の形態１４は、他の
端末装置１の被制御部を処理するにあたって、制御が競
合する場合には優先度に基づいて制御権を与えるもので
ある。図２４はこの仮想教室システムの端末装置１の一
部の構成を説明する機能ブロック図である。図２４にお
いて、図２３と同一の符号は同一又は相当の部分を表し
ている。簡単化のため一部の機能ブロックと接続線つい
ては表示していないが、表示していない部分については
図１及び図２３と同様なものである。図２３の４１は、
端末装置、操作者、又は、被制御部を制御する制御部毎
に、被制御部を制御できる優先順位を記憶する優先権情
報である。

【０１３３】次に、優先度が端末装置ごとに設定されて
いる場合の動作について説明する。ここで、端末装置１
が３機あることとし、その内の端末装置Ｂを被制御部を
有する端末装置とし、他の端末装置Ａと端末装置Ｃを被
制御部を制御する端末装置１とする。

【０１３４】動作の基本は、実施の形態１３で説明した
ものと同様に行われる。ただし、被制御部指示情報を受
け取った端末装置Ｂの入出力管理部４０は、複数の被制
御部指示情報を受け取った場合に、その入出力情報の送
信元の端末装置１を基にどの端末装置１に、被制御部を
制御する権利である制御権を与えるかを判断する。この
判断は、端末装置のＩＤをキーに優先権情報から検索し
た優先順位を比較して、優先順位が高い端末装置１に制
御権を付与する。例えば、端末装置Ａと端末装置Ｃとか
ら同じ被制御部に被制御部指示情報を受け取った場合
に、端末装置Ａと端末装置Ｃの優先順位を比較する。こ
こで、優先権情報４０から検索した優先順位が端末装置
Ａの方が高いとすると、この端末装置Ａに制御権が与え
られる。

【０１３５】次に、端末装置Ｂの入出力管理部４０は、
制御権を与える端末装置１に操作可能情報を送信する。
ここでは、端末装置Ａに送信する。操作可能情報を受け
取った端末装置１は、実施の形態１３で説明したように
被制御部を制御する。一方、操作可能情報を取得できな
かった端末装置１（ここでは、端末装置Ｃ）は、操作可
能情報が得られるまで被制御部を制御することができな
いため、データ情報、制御情報を端末装置Ｂへ送信せず
に操作可能情報を受信するまで待機する。

【０１３６】端末装置Ａが制御を終了し解除情報を端末
装置Ｂへ送信すると、この解除情報を受け取った端末装
置Ｂの入出力管理部４０は、端末装置Ａにかかる被制御
部指示情報をクリアし、残った被制御部指示情報につい
て、最も高い優先度をもつものを選択する。そして、選
択した被制御部指示情報にかかる端末装置１に制御権を
与えるため、操作可能情報を送信する。

【０１３７】この実施の形態１４によれば、被制御部へ
の制御が競合した場合に、優先度に基づいて、この競合
関係を調整することができる。

【０１３８】

【発明の効果】この発明は、以上に説明したように構成
されているので、以下のような効果を奏する。受信側端
末装置によって実行され、仮想的な３次元空間を構成す
る３次元情報に基づき、指定された視点より上記３次元
空間を見たときの２次元画像を第１の画像として生成す
る画像生成ステップと、上記受信側端末装置によって実
行され、上記第１の画像に端末装置を表す画像が含まれ
るときに、その端末装置を送信側端末装置とし、この送
信側端末装置に対し画面情報の送信を依頼する信号を送
信する画面情報送信依頼ステップと、上記送信側端末装
置によって実行され、上記信号を受け取った後に、自己
の表示画面の画像にかかる情報を画面情報として送信す
る画面情報送信ステップと、上記受信側端末装置によっ
て実行され、上記送信側端末装置が送信した上記画面情
報を受信して、この画面情報と上記第１の画像とを表示
する表示ステップと、を備えるため、操作者は視点を移
動するだけで、必要な他の端末装置の表示画面を見るこ
とができ、仮想的な３次元空間による臨場感と相まっ
て、非常に使いやすいインタフェースを提供することが
できる。

【０１３９】さらに、上記受信側端末装置によって実行
され、必要とする上記画面情報の大きさを要求スケール
として送信する要求スケール送信ステップと、送信側端
末装置によって実行され、複数の受信側端末装置のそれ
ぞれから受け取った複数の要求スケールのうちの１つの
要求スケールを送信スケールとして選択するスケール選
択ステップと、上記画面情報送信ステップは、自己の表
示画面の画像にかかる情報を上記送信スケールに指定さ
れた大きさに変換して、上記画面情報として送信するた
め、必要に応じて上記画面情報の送信量を増減し、転送
量を低く抑えることができる。

【０１４０】他の端末装置の表示画面にかかる情報を画
面情報として取得する画面通信部と、仮想的な３次元空
間の視点を指示する視点指示部と、指示された上記視点
を基に上記３次元空間を記述する３次元空間情報から２
次元画像を生成し、この２次元画像中に上記他の端末装
置を表す画像が含まれる場合に、その端末装置の上記画
面情報を自己の端末装置の画面上に表示する画面表示部
と、を備えため、視点指示部によって指示された視点か
ら見た映像を画面表示部が合成して、端末装置のディス
プレイ等に表示する。このとき、画面表示部は、上記映
像中（又は視野中）に他の端末装置を表す仮想の物体が
表示されている場合には、画面通信部を介して他の端末
装置の表示画面にかかる情報である画面情報を取得し、
この画面情報を自己の端末装置のディスプレイ等に表示
する。このため、３次元空間上の視点を移動させるだけ
で他の端末装置の表示内容を確認することができ、ま
た、端末装置とその表示画面の関係を現実に近い形で操
作者に知らせることができる。そのため、各操作者が現
実に共通の空間にいるような臨場感と、この臨場感から
得られる直感的な操作を実現する非常に使用しやすいイ
ンターフェースを提供することができる。

【０１４１】加えて、画面合成部は、画面情報取得判断
部、画面情報依頼部、２次元画像生成部、及び、２次元
画像合成部を備える。画面情報取得判断部は、他の端末
装置を表す画像が視野に入るかどうかを判断し、この判
断に基づいて画面情報依頼部が当該端末装置に画面情報
を依頼するため、各端末装置は自己の端末装置に表示し
ない画面情報の送付を依頼せず、画面情報の送受信量を
低く抑えることができる。また、２次元画像生成部は３
次元空間情報から２次元画像を生成し、２次元画像合成
部がこの２次元画像中に他の端末装置の画面情報を合成
するため、仮想的な３次元空間を表現する２次元画像中
で他の端末装置の表示画面を確認することができる。そ
のため、仮想的な３次元空間上の他の端末装置を表す画
像とその表示画面との関係を明確に示すことができ、よ
り使いやすいインタフェースを提供することができる。

【０１４２】さらに、２次元画像合成部は、他の端末装
置を表す画像が表示される位置に応じた位置に、画面情
報を合成するため、他の端末装置とその画面情報との関
連性をより明確に表現することができる。

【０１４３】さらに、２次元画像合成部は、他の端末装
置を表す仮想の物体の向いている方向に応じて、画面情
報を斜めから見たように変換し合成するため、自己の端
末装置に表示される映像は、現実の端末装置を見た場合
に非常に近くなり、大きな臨場感を得ることができる。

【０１４４】さらに、２次元画像合成部は、他の端末装
置を表す画像の表示される大きさに応じて、表示される
画面情報の大きさを変換するため、現実の端末装置を見
た場合に非常に近くなり、仮想空間上の視点から他の端
末装置までの距離を実感することができ、より大きな臨
場感を得ることができる。

【０１４５】さらに、２次元画像合成部は、変換後の上
記画面情報の大きさが予め定められた大きさの範囲にな
い場合には、予め定められた大きさに変換するため、表
示される画面情報が大きすぎたり小さすぎたりするため
に、見にくくなることを防止することができる。

【０１４６】さらに、画面情報依頼部は、上記２次元画
像合成部が合成する画面情報の大きさの情報を他の端末
装置に送信するため、必要な大きさ画面情報を得ること
ができ、画面情報の伝送量を低く抑えることができる。

【０１４７】さらに、キャラクタ選択部によって、２次
元画像中に表示される複数の仮想の物体の中から少なく
とも１つを第１のキャラクタとして選択し、関連情報検
索部がこの第１のキャラクタに関連付けられた情報を関
連情報として検索し、画面表示部がこの関連情報を表示
するため、表示されている仮想の物体を選択するだけで
その仮想の物体に関する情報を知ることができる。

【０１４８】さらに、関連プログラム実行部は、選択し
た第１のキャラクタに関連するプログラムを起動し、実
行するため、仮想的な３次元空間による臨場感と、使い
勝手を同時に実現することができ、非常に使いやすいイ
ンタフェースを提供することができる。

【０１４９】さらに、上記画面表示部から送られる画像
を表示する携帯可能な表示器を備えるため、操作者が移
動しても画面合成部より送信される映像を見ることがで
きる。視点指示部は、上記操作者の移動に伴って視点を
変更するため、操作者の移動に連動し視点が移動し、視
点の入力が非常に容易になる。従って、上記表示部と上
記視点指示部とを組み合わせることにより、３次元情報
によって生成される仮想空間を、操作者はより現実に近
いものに感ずることができ、大きな臨場感と使いやすい
インタフェースを同時に実現することができる。

【０１５０】加えて、３次元空間上の複数の仮想の物体
によって構成される風景にかかる情報を１つの風景情報
として、複数記憶する風景情報記憶部と、複数の上記風
景情報の中から１つの風景情報を選択し選択風景情報と
して出力する風景選択部を備え、画面表示部により上記
選択風景情報に基づいて２次元画像を生成するため、端
末装置に表示される２次元画像を操作者の好みに応じて
選択することができる。

【０１５１】さらに、風景選択部は、自己の端末装置に
上記風景情報が無い場合に、他の端末装置から上記風景
情報を取得するため、３次元空間の風景情報の全てのパ
ターンを自己の端末装置内に全て記憶している必要がな
い。そのため、端末装置に記憶する風景情報の記憶容量
を少なくすることができる。

【０１５２】また、複数の他の端末装置から画面情報の
送信依頼を受付け、さらに必要な画面情報の大きさを要
求スケールとして受け付ける画面情報依頼受付部と、複
数の上記要求スケールのうちの１つを送信スケールとし
て選択する送信スケール選択手段と、自己の端末装置の
表示画面の画像にかかる情報を上記送信スケールに指定
された大きさに変換し、上記画面情報として出力する画
面情報送信部と、を備えたため、他の端末装置の必要に
応じて画面情報の転送量を増減して、転送量を低く抑え
ることができる。

【０１５３】また、ポインタ送信ステップは、２次元画
像上の１点を指示するポインタの位置を検出するポイン
タ位置検出ステップ、上記位置から指示している上記３
次元空間上の上記物体を検索するとともに、この物体の
上記３次元座標を基にポインタの３次元座標を決定する
３次元座標演算ステップ、を備えるため、ポインタの２
次元座標から仮想的な３次元空間の３次元座標を導出す
ることができる。そして、上記ポインタの３次元座標を
他の端末装置へ送信するポインタ座標送信ステップで、
他の端末装置へ自己のポインタの位置を知らせることが
できる。ポインタ受信ステップは、上記３次元空間の視
点を第２の視点として指示する第２の視点指示ステッ
プ、上記第２の視点を入力し、この第２の視点を基に上
記３次元空間情報から第２の２次元画像を生成し、この
第２の２次元画像中に、上記送信側端末装置にかかるポ
インタを上記第２の視点と上記他端末ポインタ情報から
計算される位置へ合成する第２の画面合成ステップ、を
備えるため、他の端末装置のポインタを自己の端末装置
上に異なる視点（第２の視点）から表示することができ
る。従って、送信側端末装置でポインタ送信ステップを
実行し、受信側ステップでポインタ受信ステップを実行
することにより、他の端末装置のポインタが３次元空間
上のどこにあるかを知ることができ、仮想的な３次元空
間による臨場感と相まって、非常に使いやすいインタフ
ェースを提供することができる。また、各操作者が異な
る視点を持ちながら、それぞれの視点に合わせて他の操
作者のポインタを表示することができる。

【０１５４】また、操作者の状態を表す情報である状態
情報を他の端末装置から受信する状態情報受信部と、こ
の状態情報に基づき上記操作者を表す仮想の物体の表示
形態を変化させて表示する状態表示部と、を備えたた
め、実際には見ることのできない他の操作者の状態を表
示形態の変化によって知ることができる。そのため、よ
り臨場感のあるコミニュケーションをとることができ、
遠隔地にいる操作者間であっても、現実に近い形で仮想
会議を進行することができる。

【０１５５】また、第１の端末装置によって実行され、
第１の端末装置の操作者の身体変化を計測する身体変化
計測ステップと、上記第１の端末装置によって実行さ
れ、この身体変化にかかる情報を状態情報として他の端
末装置に送信する状態送信ステップ、第２の端末装置に
よって実行され、上記第１の端末装置から受信した状態
情報に基づき、操作者を表す仮想物体の形態を変化させ
て表示する状態表示ステップと、を備えるため、例え
ば、操作者の脈拍、体温、脳波等の身体の変化を計測し
て、第１の端末装置にかかる操作者の感情情報を生成
し、この感情情報を第２の端末装置へ送信して、第２の
端末装置上に上記感情情報を反映した仮想の物体を表示
するため、実際には見ることのできない他の端末装置操
作者の感情を表示形態の変化によって知ることができ
る。そのため、より臨場感のあるコミニュケーションを
とることができ、遠隔地にいる操作者間であっても、現
実に近い形で仮想会議を進行することができる。また、
操作者の顔の映像を撮影し、この画像を送信する場合に
比べ、データ伝送量を極めて小さくすることができる。

【０１５６】また、仮想的な３次元空間の視点を指示す
る視点指示部と、上記視点を入力し、この視点を基に上
記３次元空間を記述する３次元空間情報から２次元画像
を生成する画面合成部と、上記２次元画像中に含まれる
複数の仮想の物体の中から少なくとも１つの上記仮想の
物体を第１のキャラクタとして選択するキャラクタ選択
部と、上記キャラクタ選択部による選択が行われた場合
には、上記第１のキャラクタに関連する被制御部が接続
された上記他の端末装置に対し、上記自己の端末装置内
で発生する制御信号を送信する出力管理部と、３次元空
間を視点から見たように表示する２次元画像により臨場
感を得ることができ、加えて、操作者は自己の端末装置
の２次元画像中に含まれるキャラクタを指示するだけ
で、他の端末装置の被制御部を操作することができるた
め、非常に使いやすいインタフェースを提供することが
できる。

【０１５７】さらに、複数の上記端末装置間の優先順位
を記憶する優先順位記憶部と、上記他の端末装置から送
信された入力信号と上記自己の端末装置内から送信され
た入力信号と、を上記優先順位に基づいて選択的に、上
記自己の端末装置の被制御部へ出力する入力管理部とを
備えるため、他の端末装置から自己の端末装置の被制御
部を操作は、優先順位に基づいて決定され、操作をブロ
ックしたり、優先的に実行したりすることを可能にする
と共に、他の端末装置装置から操作されることができ
る。

【０１５８】

【図面の簡単な説明】

【図１】 この発明の実施の形態１による仮想教室シス
テムの１つの端末装置を説明する機能ブロック図であ
る。

【図２】 この発明の実施の形態１による仮想教室シス
テムの他の端末装置の画面情報を取得する手順を示すフ
ローチャートである。

【図３】 この発明の実施の形態１による仮想教室シス
テムの仮想教室ウィンドウを示した図である。

【図４】 この発明の実施の形態１による仮想教室シス
テムの画面合成処理を説明するフローチャートである。

【図５】 この発明の実施の形態２による仮想教室シス
テムの１つの端末装置を説明する機能ブロック図であ
る。

【図６】 この発明の実施の形態２による仮想教室シス
テムの仮想教室ウィンドウを示した図である。

【図７】 この発明の実施の形態３による仮想教室シス
テムの１つの端末装置を説明する機能ブロック図であ
る。

【図８】 この発明の実施の形態３による仮想教室シス
テムの仮想教室ウィンドウを示した図である。

【図９】 この発明の実施の形態４による仮想教室シス
テムの画面情報の送受信を説明するシーケンス図であ
る。

【図１０】 この発明の実施の形態５による仮想教室シ
ステムの１つの端末装置を説明する機能ブロック図であ
る。

【図１１】 この発明の実施の形態５による仮想教室シ
ステムの関連情報表示の処理を説明するフローチャート
である。

【図１２】 この発明の実施の形態６による仮想教室シ
ステムの１つの端末装置を説明する機能ブロック図であ
る。

【図１３】 この発明の実施の形態６による関連情報の
最適化処理を説明するフローチャートである。

【図１４】 この発明の実施の形態６による関連情報表
示位置の候補を説明する斜視図である。

【図１５】 この発明の実施の形態６による関連情報を
表示した仮想教室ウィンドウを示す図である。

【図１６】 この発明の実施の形態７による仮想教室シ
ステムの１つの端末装置を説明する機能ブロック図であ
る。

【図１７】 この発明の実施の形態８による仮想教室シ
ステムの１つの端末装置を説明する機能ブロック図であ
る。

【図１８】 この発明の実施の形態９による仮想教室シ
ステムの１つの端末装置を説明する機能ブロック図であ
る。

【図１９】 この発明の実施の形態１０による仮想教室
システムの１つの端末装置を説明する機能ブロック図で
ある。

【図２０】 この発明の実施の形態１０による仮想教室
システムの感情判断部における感情判断基準を説明する
図である。

【図２１】 この発明の実施の形態１１による仮想教室
システムの１つの端末装置を説明する機能ブロック図で
ある。

【図２２】 この発明の実施の形態１２による仮想教室
システムの１つの端末装置を説明する機能ブロック図で
ある。

【図２３】 この発明の実施の形態１３による仮想教室
システムの１つの端末装置を説明する機能ブロック図で
ある。

【図２４】 この発明の実施の形態１４による仮想教室
システムの１つの端末装置を説明する機能ブロック図で
ある。

【符号の説明】

１ 端末装置、 ２ ネットワーク、 ３ 通信制御
部、 ４ 共有アプリケーション部、 ５ 教室制御
部、 ６ エージェント制御部、 ９ 画面制御部、
１０ 個人アプリケーション制御部、 １１ キーボー
ド、 １２ マウス、 １３ 個人画面合成部、 １３
ａ 画面情報向き変更部、 １３ｂ 個人画面表示位置
自動修正部、 １４ ディスプレイ、 １７ 対応情報
群、 １８関連情報、 １９ 関連情報、 ２０ 最適
化処理部、 ２９ 個人アプリケーション管理部、 ３
０ ポインタ制御部、 ３１ 視点方向測定機器、 ３
２加速度測定機器、 ３３ 変換処理部、 ３４ 体感
測定機器、 ３５ 感情判断部、 ３６ 表情変更部、
３７ ３Ｄ風景情報群、 ３８ 風景選択部、３９
風景管理部、 ４０ 入出力管理部、 ４１ 優先権情
報

Claims (20)

【特許請求の範囲】
1. 【請求項１】 受信側端末装置によって実行され、仮想
   的な３次元空間を構成する３次元情報に基づいて、指定
   された視点より上記３次元空間を見たときの２次元画像
   を第１の画像として生成する画像生成ステップと、 上記受信側端末装置によって実行され、上記第１の画像
   に端末装置を表す画像が含まれるときに、その端末装置
   を送信側端末装置とし、この送信側端末装置に対し画面
   情報の送信を依頼する信号を送信する画面情報送信依頼
   ステップと、 上記送信側端末装置によって実行され、上記信号を受け
   取った後に、自己の表示画面の画像にかかる情報を画面
   情報として送信する画面情報送信ステップと、 上記受信側端末装置によって実行され、上記送信側端末
   装置が送信した上記画面情報を受信して、この画面情報
   と上記第１の画像とを表示する表示ステップと、 を備えた仮想会議システムの画像表示方法。
2. 【請求項２】 上記受信側端末装置によって実行され、
   必要とする上記画面情報の大きさを要求スケールとして
   送信する要求スケール送信ステップと、 上記送信側端末装置によって実行され、複数の受信側端
   末装置のそれぞれから受け取った複数の要求スケールの
   うちの１つの要求スケールを送信スケールとして選択す
   るスケール選択ステップと、 上記画面情報送信ステップは、自己の表示画面の画像に
   かかる情報を上記送信スケールに指定された大きさに変
   換して、上記画面情報として送信することを特徴とする
   請求項１に記載の仮想会議システムの画像表示方法。
3. 【請求項３】 複数の端末装置を接続し、それらの端末
   装置間で画像データを送受信することによって仮想的な
   会議を実現する仮想会議システムの仮想会議用端末装置
   において、 他の端末装置の表示画面にかかる情報を画面情報として
   取得する画面通信部と、 仮想的な３次元空間の視点を指示する視点指示部と、 指示された上記視点を基に上記３次元空間を記述する３
   次元空間情報から２次元画像を生成し、この２次元画像
   中に上記他の端末装置を表す画像が含まれる場合に、そ
   の端末装置の上記画面情報を自己の端末装置の画面上に
   表示する画面表示部と、を備えたことを特徴とする仮想
   会議用端末装置。
4. 【請求項４】 上記画面表示部は、 上記視点を入力し、この視点から上記３次元空間を見た
   視野の中に上記端末装置を表す画像が入るかを判断し、
   この視野の中に入る上記端末装置を視野端末とする画面
   情報取得判断部と、 上記視野端末に対し、上記画面情報を送信するように依
   頼する画面情報依頼部と、 上記視点を基に上記３次元空間情報から２次元画像を生
   成する２次元画像生成部と、 上記画面通信部から上記画面情報を取得し、この画面情
   報を上記２次元画像中に合成して表示する２次元画像合
   成部と、を備えたことを特徴とする請求項３に記載の仮
   想会議用端末装置。
5. 【請求項５】 上記２次元画像合成部は、上記視野端末
   を表す画像が表示される位置に応じた位置に、上記画面
   情報を合成することを特徴とする請求項４に記載の仮想
   会議用端末装置。
6. 【請求項６】 上記２次元画像合成部は、上記視野端末
   を表す画像にかかる仮想の物体の向いている方向に応じ
   て、上記画面情報を斜めから見たように変換し合成する
   ことを特徴とする請求項４又は５に記載の仮想会議用端
   末装置。
7. 【請求項７】 上記２次元画像合成部は、上記視野端末
   を表す画像の表示される大きさに応じて、上記画面情報
   の大きさを変換し合成することを特徴とする請求項４〜
   ６のいずれかに記載の仮想会議用端末装置。
8. 【請求項８】 上記２次元画像合成部は、変換後の上記
   画面情報の大きさが予め定められた大きさの範囲にない
   場合には、予め定められた大きさに変換することを特徴
   とする請求項７に記載の仮想会議用端末装置。
9. 【請求項９】 上記画面情報依頼部は、上記２次元画像
   合成部が合成する画面情報の大きさの情報を他の端末装
   置に送信することを特徴とする請求項７又は８に記載の
   仮想会議用端末装置。
10. 【請求項１０】 上記２次元画像中に表示される複数の
    仮想の物体の中から少なくとも１つを第１のキャラクタ
    として選択するキャラクタ選択部と、 上記第１のキャラクタに関連付けられた情報を関連情報
    として検索する関連情報検索部と、 上記画面表示部は、上記関連情報と上記画面情報とを表
    示することを特徴とする請求項３〜９のいずれかに記載
    の仮想会議用端末装置。
11. 【請求項１１】 上記関連情報に基づいて、選択した上
    記仮想の物体に関連するプログラムを起動し、実行する
    関連プログラム実行部を備え、 上記画面表示部は、上記関連するプログラムの処理結果
    を表示することを特徴とする請求項１０に記載の仮想会
    議用端末装置。
12. 【請求項１２】 上記画面表示部から送られる画像を表
    示する携帯可能な表示器を備え、 上記視点指示部は、自己の端末装置の操作者の移動に伴
    って視点を変更することを特徴とする請求項３〜１１の
    いずれかに記載の仮想会議用端末装置。
13. 【請求項１３】 ３次元空間上の複数の仮想の物体によ
    って構成される風景にかかる情報を１つの風景情報とし
    て、複数記憶する風景情報記憶部と、 複数の上記風景情報の中から１つの風景情報を選択し選
    択風景情報として出力する風景選択部を備え、 上記画面表示部は、上記選択風景情報に基づいて上記２
    次元画像を生成することを特徴とする請求項３〜１２の
    いずれかに記載の仮想会議用端末装置。
14. 【請求項１４】 上記風景選択部は、自己の端末装置に
    上記風景情報が無い場合に、他の端末装置から上記風景
    情報を取得することを特徴とする請求項１３に記載の仮
    想会議用端末装置。
15. 【請求項１５】 複数の他の端末装置から画面情報の送
    信依頼を受付け、さらに必要な画面情報の大きさを要求
    スケールとして受け付ける画面情報依頼受付部と、 複数の上記要求スケールのうちの１つを送信スケールと
    して選択する送信スケール選択手段と、 自己の端末装置の表示画面の画像にかかる情報を上記送
    信スケールに指定された大きさに変換し、上記画面情報
    として出力する画面情報送信部と、を備えた仮想会議用
    端末装置。
16. 【請求項１６】 送信側端末装置によって実行され、 仮想的な３次元空間の視点を第１の視点として指示する
    第１の視点指示ステップ、 上記第１の視点を入力し、この第１の視点を基に、物体
    の３次元座標を含む３次元空間情報から第１の２次元画
    像を生成する第１の画面合成ステップ、 上記２次元画像上の１点を指示するポインタの位置を検
    出するポインタ位置検出ステップ、 上記位置から指示している上記３次元空間上の上記物体
    を検索するとともに、この物体の上記３次元座標を基に
    ポインタの３次元座標を決定する３次元座標決定ステッ
    プ、 上記ポインタの３次元座標を他の端末装置へ送信するポ
    インタ座標送信ステップ、 を備えたポインタ送信ステップと、 受信側端末装置により実行され、 上記ポインタ送信ステップにより送信されたポインタの
    ３次元座標を他端末ポインタ座標として受信するポイン
    タ座標受信ステップ、 上記３次元空間の視点を第２の視点として指示する第２
    の視点指示ステップ、 上記第２の視点を入力し、この第２の視点を基に上記３
    次元空間情報から第２の２次元画像を生成し、この第２
    の２次元画像中に、上記送信側端末装置にかかるポイン
    タを上記第２の視点と上記他端末ポインタ情報から計算
    される位置へ合成する第２の画面合成ステップ、 を備えたポインタ受信ステップと、 を備えたことを特徴とする仮想会議システムの画像表示
    方法。
17. 【請求項１７】 操作者の状態を表す情報である状態情
    報を他の端末装置から受信する状態情報受信部と、 この状態情報に基づき上記操作者を表す仮想の物体の表
    示形態を変化させて表示する状態表示部と、を備えた仮
    想会議用端末装置。
18. 【請求項１８】 第１の端末装置によって実行され、第
    １の端末装置の操作者の身体変化を計測する身体変化計
    測ステップと、 上記第１の端末装置によって実行され、この身体変化に
    かかる情報を状態情報として他の端末装置に送信する状
    態送信ステップ、 第２の端末装置によって実行され、上記第１の端末装置
    から受信した状態情報に基づき、操作者を表す仮想物体
    の形態を変化させて表示する状態表示ステップと、を備
    えた仮想会議システムの画像表示方法。
19. 【請求項１９】 他の端末装置内にあって外部から制御
    されることにより所定の機能を発揮する被制御部を、自
    己の端末装置から制御する仮想会議用端末装置におい
    て、 仮想的な３次元空間の視点を指示する視点指示部と、 上記視点を入力し、この視点を基に上記３次元空間を記
    述する３次元空間情報から２次元画像を生成する画面合
    成部と、 上記２次元画像中に含まれる複数の仮想の物体の中から
    少なくとも１つの上記仮想の物体を第１のキャラクタと
    して選択するキャラクタ選択部と、 上記キャラクタ選択部による選択が行われた場合には、
    上記第１のキャラクタに関連する被制御部が接続された
    上記他の端末装置に対し、上記自己の端末装置内で発生
    する制御信号を送信する出力管理部と、 を有する仮想会議用端末装置。
20. 【請求項２０】 複数の上記端末装置間の優先順位を記
    憶する優先順位記憶部と、 上記他の端末装置から送信された入力信号、又は、上記
    自己の端末装置内から送信された入力信号を上記優先順
    位に基づいて選択的に、上記自己の端末装置の被制御部
    へ出力する入力管理部と、を備えたことを特徴とする請
    求項１９に記載の仮想会議用端末装置。