JP3674993B2 - 仮想会議システムの画像表示方法並びに仮想会議用端末装置 - Google Patents
仮想会議システムの画像表示方法並びに仮想会議用端末装置 Download PDFInfo
- Publication number
- JP3674993B2 JP3674993B2 JP22360195A JP22360195A JP3674993B2 JP 3674993 B2 JP3674993 B2 JP 3674993B2 JP 22360195 A JP22360195 A JP 22360195A JP 22360195 A JP22360195 A JP 22360195A JP 3674993 B2 JP3674993 B2 JP 3674993B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- screen
- information
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Information Transfer Between Computers (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、仮想会議用端末装置並びに仮想会議システムの画像表示方法に関する。
【０００２】
【従来の技術】
例えば、特開平６−２７４５９６「仮想会議システム用端末装置及び仮想会議システム」は、複数の端末装置をネットワークで接続し、各端末装置間で音声データ、各端末装置の操作者を表すアニメーションキャラクタの動作状態のデータを送受信し合うことで、発言のための挙手、発言者を表すアニメーションキャラクタの口を動作させるなどして、互いの意志の疎通を図り、テレビ会議システムのように膨大な画像データを送信せずに遠隔地間における会議を可能にするものである。
【０００３】
また、情報処理学会第４７回（平成５年後期）全国大会 講演論文集（分冊１）p.17-18で示された「グループウェアによる授業支援システム」（日本大学短期大学部、猪井一代、荒関仁志）では、教師と複数の学生が通信手段で接続した端末装置を介して授業を行う場合に、教師用、学生用の各端末装置に接続した表示装置上に同じ画面が表示され、学生の使用する端末装置に接続した表示装置には、マウス等の指示手段で入力した結果の情報であるポインタの指示情報が表示され、教師用の端末装置に接続した表示装置には、教師が指示手段で入力した結果の指示情報と、全ての学生の利用する端末装置に接続した表示装置に表示される指示情報が合わせて表示される授業支援システムが開示されている。
【０００４】
また、特開平２−１９５７８７「映像通信装置」では、複数の端末装置間で共通の仮想空間のデータを持ち、各端末装置に据え付けられたカメラにより撮影した映像から人の映像を抽出し、この抽出した映像を上記仮想空間のデータ内に埋め込んで表示するものが開示されている。この映像通信装置では、同一空間を背景として、相手と自分が同一空間にいるように表示され、各端末装置に表示される映像は、それぞれの視点から見たような映像となっている。
【０００５】
【発明が解決しようとする課題】
上記のような従来の仮想会議システムでは、空間を２次元的に把握し、単純なキャラクタで表示するために、操作者は現実には、現実の会議や教室でうけるような臨場感を得ることができなかった。また、仮想会議室画面の黒板等に映し出されている映像は、全員が共通に見ることができるが、各端末装置に表示されている表示画面を他の端末装置から見ることができなかった。また、各操作者が現実に共通の空間にいるような臨場感と、この臨場感に基づく直感的な操作を実現する使いやすいインターフェースを備えるものではないという問題があった。
【０００６】
また、上記のような従来の授業支援システムでは、各端末装置で共通のウィンドウを表示し、各操作者の操作する複数のポインタを共通のウィンドウに同時に表示することによって、コミュニケーションを図ることはできても、ポインタの移動は単に２次元的に行われるため、仮想的な３次元空間を構成するシステムでは、３次元空間を示すことができなかった。また、各操作者が異なる視点を持ちながら、それぞれの視点に合わせて他の操作者のポインタを表示することができないという問題があった。
【０００７】
また、上記のような従来の映像通信装置では、カメラから取り込んだ映像を仮想空間上に合成することができても、映像を送信する送信先の端末装置が常に固定しているため、複数の端末装置を接続する場合には、その台数に比例して各端末装置が送信する画像データの送信量が増加し、多くの端末装置を接続するものには適さないという問題があった。
【０００８】
この発明は、かかる問題点を解決するためになされたもので、臨場感のある仮想教室システムを構築すると共に、そのために必要な画像伝送量を低く抑え、使いやすいインタフェースを提供することを目的としている。
【０００９】
【課題を解決するための手段】
この発明の画像表示方法においては、
受信側端末装置によって実行され、仮想的な３次元空間を構成する３次元情報に基づき、指定された視点より上記３次元空間を見たときの２次元画像を第１の画像として生成する画像生成ステップと、上記受信側端末装置によって実行され、上記第１の画像に端末装置を表す画像が含まれるときに、その端末装置を送信側端末装置とし、この送信側端末装置に対し画面情報の送信を依頼する信号を送信する画面情報送信依頼ステップと、上記送信側端末装置によって実行され、上記信号を受け取った後に、自己の表示画面の画像にかかる情報を画面情報として送信する画面情報送信ステップと、上記受信側端末装置によって実行され、上記送信側端末装置が送信した上記画面情報を受信して、この画面情報と上記第１の画像とを表示する表示ステップと、を備えたものである。
【００１０】
上記受信側端末装置によって実行され、必要とする上記画面情報の大きさを要求スケールとして送信する要求スケール送信ステップと、上記送信側端末装置によって実行され、複数の受信側端末装置のそれぞれから受け取った複数の要求スケールのうちの１つの要求スケールを送信スケールとして選択するスケール選択ステップと、上記画面情報送信ステップは、自己の表示画面の画像にかかる情報を上記送信スケールに指定された大きさに変換して、上記画面情報として送信することを特徴とするものである。
【００１１】
この発明にかかる端末装置においては、
複数の端末装置を接続し、それらの端末装置間で画像データを送受信することによって仮想的な会議を実現する仮想会議システムの仮想会議用端末装置において、他の端末装置の表示画面にかかる情報を画面情報として取得する画面通信部と、仮想的な３次元空間の視点を指示する視点指示部と、指示された上記視点を基に上記３次元空間を記述する３次元空間情報から２次元画像を生成し、この２次元画像中に上記他の端末装置を表す画像が含まれる場合に、その端末装置の上記画面情報を自己の端末装置の画面上に表示する画面表示部と、を備えたものである。
画面情報は、２次元の画像そのものであってもよいし、２次元の画像を生成することのできるあらゆるデータ、例えば、ポリゴン等で構成した仮想の３次元空間の座標データ、線、面等を描くために必要な座標データ又は命令、或いはアプリケーション名とそのウインドウ位置及びそのアプリケーションの持つデータ等も含まれる。
３次元空間情報は、仮想的な３次元空間を表現するデータであり、例えば、ポリゴンの形状とその位置、ワイヤーフレームのように表現した座標データ等がある。
【００１２】
上記画面表示部は、上記視点を入力し、この視点から上記３次元空間を見た視野の中に上記端末装置を表す画像が入るかを判断し、この視野の中に入る上記端末装置を視野端末とする画面情報取得判断部と、上記視野端末に対し、上記画面情報を送信するように依頼する画面情報依頼部と、上記視点を基に上記３次元空間情報から２次元画像を生成する２次元画像生成部と、上記画面通信部から上記画面情報を取得し、この画面情報を上記２次元画像中に合成して表示する２次元画像合成部と、を備えたものである。
【００１３】
上記２次元画像合成部は、上記視野端末を表す画像が表示される位置に応じた位置に、上記画面情報を合成することを特徴とすることを特徴とするものである。
上記位置は、端末装置に表示される２次元画像上の位置である。
【００１４】
上記２次元画像合成部は、上記視野端末を表す画像にかかる仮想の物体の向いている方向に応じて、上記画面情報を斜めから見たように変換し合成することを特徴とするものである。
仮想の物体は、仮想の３次元空間上に配置された仮想の物体である。例えば、端末装置の他には、机、椅子、又は人を表す物体がある。
上記方向は、３次元空間上の方向である。
【００１５】
上記２次元画像合成部は、上記視野端末を表す画像の表示される大きさに応じて、上記画面情報の大きさを変換し合成することを特徴とするものである。
【００１６】
上記２次元画像合成部は、変換後の上記画面情報の大きさが予め定められた大きさの範囲にない場合には、予め定められた大きさに変換することを特徴とするものである。
【００１７】
上記画面情報依頼部は、上記２次元画像合成部が合成する画面情報の大きさの情報を他の端末装置に送信することを特徴とするものである。
【００１８】
上記２次元画像中に表示される複数の仮想の物体の中から少なくとも１つを第１のキャラクタとして選択するキャラクタ選択部と、上記第１のキャラクタに関連付けられた情報を関連情報として検索する関連情報検索部と、上記画面表示部は、上記関連情報と上記画面情報とを表示することを特徴とするものである。
【００１９】
上記関連情報に基づいて、選択した上記仮想の物体に関連するプログラムを起動し、実行する関連プログラム実行部を備え、上記画面表示部は、上記関連するプログラムの処理結果を表示することを特徴とするものである。
【００２０】
上記画面表示部から送られる画像を表示する携帯可能な表示器を備え、上記視点指示部は、自己の端末装置の操作者の移動に伴って視点を変更することを特徴とするものである。
視点は、位置、又は、方向、若しくは、位置及び方向によって定める。
【００２１】
３次元空間上の複数の仮想の物体によって構成される風景にかかる情報を１つの風景情報として、複数記憶する風景情報記憶部と、複数の上記風景情報の中から１つの風景情報を選択し選択風景情報として出力する風景選択部を備え、上記画面表示部は、上記選択風景情報に基づいて上記２次元画像を生成することを特徴とするものである。
風景情報は、３次元空間を構成する仮想の物体の情報であり、例えば、物体の形状、物体の表面の模様であるテクスチャ、又は、物体の位置等にかかる情報である。
【００２２】
上記風景選択部は、自己の端末装置に上記風景情報が無い場合に、上記他の端末装置から上記風景情報を取得することを特徴とするものである。
【００２３】
この発明にかかる端末装置においては、
複数の他の端末装置から画面情報の送信依頼を受付け、さらに必要な画面情報の大きさを要求スケールとして受け付ける画面情報依頼受付部と、複数の上記要求スケールのうちの１つを送信スケールとして選択する送信スケール選択手段と、自己の端末装置の表示画面の画像にかかる情報を上記送信スケールに指定された大きさに変換し、上記画面情報として出力する画面情報送信部と、を備えたものである。
【００２４】
この発明の画像表示方法においては、
送信側端末装置によって実行され、仮想的な３次元空間の視点を第１の視点として指示する第１の視点指示ステップ、上記第１の視点を入力し、この第１の視点を基に、物体の３次元座標を含む３次元空間情報から第１の２次元画像を生成する第１の画面合成ステップ、上記２次元画像上の１点を指示するポインタの位置を検出するポインタ位置検出ステップ、上記位置から指示している上記３次元空間上の上記物体を検索するとともに、この物体の上記３次元座標を基にポインタの３次元座標を決定する３次元座標決定ステップ、上記ポインタの３次元座標を他の端末装置へ送信するポインタ座標送信ステップ、を備えたポインタ送信ステップと、
受信側端末装置により実行され、上記ポインタ送信ステップにより送信されたポインタの３次元座標を他端末ポインタ座標として受信するポインタ座標受信ステップ、上記３次元空間の視点を第２の視点として指示する第２の視点指示ステップ、上記第２の視点を入力し、この第２の視点を基に上記３次元空間情報から第２の２次元画像を生成し、この第２の２次元画像中に、上記送信側端末装置にかかるポインタを上記第２の視点と上記他端末ポインタ情報から計算される位置へ合成する第２の画面合成ステップ、を備えたポインタ受信ステップと、
を備えたものである。
【００２５】
この発明にかかる仮想会議用端末装置においては、
操作者の状態を表す情報である状態情報を他の端末装置から受信する状態情報受信部と、この状態情報に基づき上記操作者を表す仮想の物体の表示形態を変化させて表示する状態表示部と、を備えたものである。
感情情報は、例えば、人間の哀、怒、通常などの感情を表す情報である。
仮想の物体の表示形態の変化は、例えば、人型のキャラクタの表情を変化させ、或いは、キャラクタの動きや形状等を変化させることによって行う。
【００２６】
この発明にかかる仮想会議システムの画像表示方法においては、
第１の端末装置によって実行され、第１の端末装置の操作者の身体変化を計測する身体変化計測ステップと、上記第１の端末装置によって実行され、この身体変化にかかる情報を状態情報として他の端末装置に送信する状態送信ステップ、第２の端末装置によって実行され、上記第１の端末装置から受信した状態情報に基づき、操作者を表す仮想物体の形態を変化させて表示する状態表示ステップと、を備えたものである。
操作者の身体変化は、例えば、脈拍、体温、脳波、又は、発汗による皮膚表面の電気抵抗の変化等を測定してもよいし、或いは、ＣＣＤカメラを用いて操作者の顔を撮影してデジタル画像を取得し、パターン認識により顔の表情を判別することによって計測してもよい。
【００２７】
他の端末装置内にあって外部から制御されることにより所定の機能を発揮する被制御部を、自己の端末装置から制御する仮想会議用端末装置において、仮想的な３次元空間の視点を指示する視点指示部と、上記視点を入力し、この視点を基に上記３次元空間を記述する３次元空間情報から２次元画像を生成する画面合成部と、上記２次元画像中に含まれる複数の仮想の物体の中から少なくとも１つの上記仮想の物体を第１のキャラクタとして選択するキャラクタ選択部と、上記キャラクタ選択部による選択が行われた場合には、上記第１のキャラクタに関連する被制御部が接続された上記他の端末装置に対し、上記自己の端末装置内で発生する制御信号を送信する出力管理部と、を備えたものである。
【００２８】
複数の上記端末装置間の優先順位を記憶する優先順位記憶部と、上記他の端末装置から送信された入力信号、又は、上記自己の端末装置内から送信された入力信号、を上記優先順位に基づいて選択的に、上記自己の端末装置の被制御部へ出力する入力管理部とを備えたことを特徴とするものである。
【００２９】
【発明の実施の形態】
この発明は、仮想会議システムに用いられる端末装置並びに仮想会議システムの画像表示方法に関するものである。この仮想会議システムは、複数の端末装置のそれぞれの操作者が、１つの空間にいるのと同じようにコミュニケーションを図ることができることを目的としており、用途は狭い意味での会議に限られず、例えば、遠隔地にある端末装置を接続して生徒と教師が授業を行うと行ったことにも用いることができる。ここでは、仮想会議システムの一例として、上記の仮想的な教室を実現する仮想教室システムを説明する。
【００３０】
実施の形態１．
図１は、この発明の実施の形態１による仮想教室システムの１つの端末装置を説明する機能ブロック図である。図１において、１は仮想教室システムにネットワーク２を介して接続される複数の端末装置のうちの１つであり、２は端末装置１と複数の他の端末装置１とを接続し、これらの端末装置１間のデータの送受信に用いられるネットワークである。端末装置１は、符号３〜１６によって表される複数の機能ブロックにより構成されており、３はネットワーク２に接続され他の端末装置１と相互にデータ等を通信するための制御を司る通信制御部であり、教室制御部５、エージェント制御部６、音声入力処理部７、音声出力制御部８及び画面制御部９とも接続されている。４は各端末装置１において共有して使用されるアプリケーションを実行する共有アプリケーション部であり、例えば、教室内において出席者が共有する共有黒板等へ、文字や図形を書き込んだり、消去したり等の処理を行うプログラムを実行する。５は複数の操作者の利用する端末装置１間上で生成される仮想教室（以下、教室という）の生成終了や出席者の入退室等の仮想教室の運営を制御するための教室制御部である。
【００３１】
６は教室の風景が表示された仮想教室ウィンドウの制御と仮想教室ウィンドウに各操作者を表わすアニメーションキャラクタ（以下、エージェントという）の表示などを制御するためのエージェント制御部６である。このエージェント制御部６にはキーボード１１やマウス１２から操作者の指示を受け取り各エージェントを動作させ、また、それらエージェントの位置情報等や、仮想教室内における視点位置の情報等を指示する働きがある。７はマイクロフォン１５からの音声をデジタル信号に変換しエージェント制御部６、通信制御部３に出力する音声入力処理部、８は他の端末装置１から受信したデジタル音声信号をアナログ信号に変換し、スピーカー１６を通じて出力する音声出力処理部である。９は自己の端末装置１の画面情報を他の端末装置に通信制御部３を介して送信し、また、他の端末装置１の画面を自己の画面に合成して表示するために他の端末装置１から画面情報を受信する画面制御部、１０は各端末装置１で操作者が任意に利用する個人アプリケーションを実行する個人アプリケーション部、１３はエージェント制御部６から位置視点情報、各エージェントや各物体の形状・位置等を表した画面位置情報を受け取り、これらの位置情報に基づいて仮想教室ウィンドウを生成し、共有アプリケーション部４、個人アプリケーション部１０からの画面情報、画面制御部９から送られる他の端末装置１の画面情報を合成し、ディスプレイ１４に表示する個人画面合成部である。
【００３２】
図２は、他の端末装置１の画面情報を取得して自己の表示画面と合成する処理を、２つの端末装置１ＡとＢについて説明したものである。
図２において、ステップＳ１〜Ｓ３及びステップＳ８〜Ｓ１０は、端末装置Ａで行われる処理、ステップＳ４〜Ｓ７は端末装置Ｂで行われる処理を示している。
【００３３】
次に、図１と図２を用いて、この発明による仮想教室システムの画面表示の動作を説明する。
各端末装置１において、ディスプレイ１４に表示される表示画面は仮想教室ウィンドウと個人アプリケーションウィンドウに分けられる。仮想教室ウィンドウは、仮想教室空間を表示するウィンドウであり、個人アプリケーションウィンドウは各端末装置１で各操作者が任意に利用する個人アプリケーションを表示するものである。図３は、ディスプレイ１４に表示する表示画面を説明する図であり、１７は仮想教室空間における各エージェントや物体の位置関係を示したものであり、１７ａはある操作者に該当するエージェントの視点を表している。１８はディスプレイ１４に実際に表示される仮想教室ウィンドウであり、仮想教室空間が１７のような位置関係を持っているときに、視点１７ａから見た仮想空間を表示している。１９ａは生徒Ａが利用している端末装置１のディスプレイ１４に表示されている画面を、仮想空間ウィンドウ上で表示している部分であり、１９ｂは１９ａと同様なものであるが、生徒Ｂが使用している端末装置１の画面を表示している。また、各エージェントや机等の物体はポリゴンによって表現している。
【００３４】
ここで、このような表示を可能とする仮想教室システムの動作を説明するため、ネットワーク２上に接続された複数の端末装置１のうちから端末装置Ａと端末装置Ｂを例にとり、各端末装置１間の画面情報の送受信について説明する。端末装置Ａにおいて、端末装置Ａを操作する操作者Ａがキーボード１１やマウス１２等を操作して操作者Ａを示すエージェントを動かすと、ディスプレイ１４に表示される仮想教室空間の画面表示もそのエージェントの位置及び顔の向き応じて変化する。このとき、表示されている仮想教室空間内に端末装置Ｂを示すアニメーションキャラクタが表示されると、図２のステップＳ１からの他端末画面情報取得処理がスタートする。ただし、端末装置Ｂのディスプレイを表すアニメーションキャラクタが、操作者Ａから見て後ろを向いている場合のように、その端末装置１の表示画面が見えない状態のときはステップＳ１からの処理を開始する必要はない。
【００３５】
ステップＳ１は、エージェント制御部６が位置視点情報を画面制御部９へ送信する処理である。
位置視点情報とは、操作者Ａを表すエージェントについての位置、顔の向き等の状態を表わす情報であり、仮想教室ウィンドウに表示する視野を決定するために用いることができる。
エージェント制御部６ではそれ以降この位置視点情報を画面制御部９へ送り続ける。ここでは、操作者Ａを表すエージェントから他の端末装置１の表示画面が見える状態のときに、位置視点情報を画面制御部９に送信することとしているが、このような状態であることを条件とせず、絶えず送信するようにしてもよい。
【００３６】
これは、エージェント制御部６が位置視点情報を送信して、画面制御部９がこの位置視点情報を基にどの端末の表示画面が必要かを判断する場合であるが、他の方法として、エージェント制御部６がどの端末装置１の表示画面が必要かを判断し、各端末装置１にそれぞれ名付けられたＩＤを送信するようにしてもよい。この場合、画面制御部９は指定された端末装置１に画面情報送付依頼を送信するので、仮想教室空間内の各端末装置１の位置関係を知っている必要も、それを基にどの端末装置１の画像情報が必要かを判断する必要も無くなる。また、後述の実施の形態４のように、必要な画面情報の大きさが変化する場合には、この大きさも合わせて送信する。
なお、位置視点情報は仮想教室ウィンドウに仮想教室空間を表示するため必要であるので、エージェント制御部６から個人画面合成部１３へは絶えず送信されている。
【００３７】
次に、ステップＳ２に移る。ステップＳ２は、位置視点情報を受け取った画面制御部９が、画面情報を取得したい端末装置１を指定して、画面情報送付依頼を通信制御部３へ送信する処理である。
画面情報とは、自己の端末装置１又は他の端末装置１のディスプレイ１４に表示される画像に関するデータであり、例えば、画像のビットマップデータ、このビットマップデータを圧縮したもの、或いは、ＪＰＥＧ、ＭＰＥＧのような方法で変換されたデータがある。
画面情報送付依頼とは、他の端末装置１に画面情報の送信を依頼する情報である。この画面情報送付依頼を受けとった端末装置１は自己の画面情報を、ネットワーク２を介してブロードキャスト（多数の端末装置１に向けて送信）する。
続いてステップＳ３に移る。
【００３８】
ステップＳ３は、画面制御部９から画面情報送付依頼を受けて、ネットワーク２を介して他の端末装置１に画面情報送付依頼を送信する処理である。
ここでは、例えば、表１のようなパケットを送信する。送信先ＩＤには送付依頼をする（パケットを送信する）端末装置１に割り当てられたＩＤを指定する（例えば、端末装置ＢのＩＤである「Ｂ」を指定する）。送信元ＩＤには自己の端末装置１に割り当てられたＩＤを指定する（例えば、端末装置ＡのＩＤである「Ａ」を指定する）。種別にはパケットの種類に応じた識別子を指定する（例えば、画面情報送付依頼を表す「０１」を指定する）。なお、この表では通信制御部３で付加されるパケットの伝送に必要な他のデータは省略しているが、実際にパケットを送信する場合にはそれらのデータも付加され、完全なパケットとしてネットワーク２上に送信される。
ステップＳ３にて送信された画面情報送付依頼のパケットが端末装置Ｂの通信制御部３によって受信されるとステップＳ４に移る。
【００３９】
【表１】
【００４０】
ステップＳ４は、画面情報送付依頼のパケットを受信し、画面制御部９に対して画面情報送付依頼を出力する処理である。
通信制御部３は、自己の端末装置１から他の端末装置１へ必要なデータを出力すると同時に、ネットワーク２上に送信先ＩＤが自己の端末装置１のＩＤであるパケットがないか、或いはブロードキャストのパケットがないかを監視している。そして、自己の端末装置１に宛てられたパケットを発見すると、そのパケットの種別に応じて教室制御部５、エージェント制御部６、画面制御部９等にそのパケットに含まれるデータを出力する。例えばここでは、種別を見ることにより、受け取ったパケットが画面情報依頼パケットであることが分かるので、画面制御部９に対して画面情報送付依頼を出力する。
画面制御部９は画面情報送付依頼を受け取ると、画面情報送付依頼を受けている端末装置１の数を表すカウンタを１だけ増加させる。このカウンタの値が１以上である場合に、ステップＳ５からステップＳ７の画面情報送信処理が実行される。
このステップＳ４が終了すると、次のステップＳ５に移る。
【００４１】
ステップＳ５は、画面制御部９が個人画面合成部１３から画面情報を取得する処理である。
例えば、端末装置Ｂのディスプレイ１４に表示されている表示画面のイメージデータを画面情報として、個人画面合成部１３より取得する。この画面情報には仮想空間ウィンドウも、個人アプリケーションウィンドウもイメージデータとして含まれている。
【００４２】
次にステップＳ６に移る。
ステップＳ６は、他の端末装置１に画面情報を提供するために、ステップＳ５で取得した画面情報を通信制御部３へ送信する処理である。この処理が終了すると、次のステップＳ７に移る。
ステップＳ７は、画面制御部９より受け取った画面情報をパケットにしてネットワーク２上に送信する処理である。
このステップＳ７では、例えば表２のようなパケットが送信される。表２において、送信先ＩＤ、送信元ＩＤ、種別は上述の表１で説明したものと同様なものである。これらの各フィールドには、送信先ＩＤには送信先の端末装置１を特定しないで１つ又は複数の端末装置１に送信（ブロードキャスト）することを意味するＩＤである「０」、送信元ＩＤには自己の端末装置１のＩＤである「Ｂ」、種別には画面情報パケットであることを意味する「０２」を格納する。次に、その他のフィールドについて説明する。レートは１秒間に表示する画面数を表し、例えば、１秒間に６０画面を表示するように画面情報を送信している場合は、「３０」を格納する。サイズは、画面情報パケット中に含まれる画面情報の画面の大きさを表し、例えば、横３００ドット、縦２００ドットの大きさを持つ場合には「３００，２００」を格納する。イメージデータは送信元端末装置１の画面情報である画像のデータで、例えば、端末装置Ｂのディスプレイ１４に表示されているカラー画像、すなわち３００×２００の大きさを持つデジタルデータを格納する。ここで、イメージデータが圧縮されたデータである場合には、伝送効率がよく、多くの端末装置１をネットワーク２上に接続している場合にも各端末装置１間の通信をスムーズに行うことができる。
なお、この表では通信制御部３で付加されるパケットの伝送に必要な他のデータは省略しているが、実際にパケットを送信する場合にはそれらのデータも付加され、完全なパケットとしてネットワーク２上に送信される。
【００４３】
【表２】
【００４４】
上記のステップＳ５〜７では、画面情報送付依頼を受けてから他の端末装置１に画面情報を送信する処理までを説明したが、一旦、画面情報送付依頼パケットを受信した後は、他の端末装置１から画面情報送付終了情報を受け取るまで、所定の転送レート（例えば、１秒間に３０画面分）で画面情報パケットを送信し続ける。また、複数の端末装置１から画面情報送付依頼を受けている場合には、画面情報送付依頼を受けた全ての端末装置１から画面情報送付終了情報を受け取るまでは、画面情報を送信し続ける。この制御は画面制御部９で行われる。
ここでは、２つの端末装置１間の画面情報の送受信を説明しているが、より多くの端末装置１間で画面情報を送受信している場合には、１つの端末装置１の画面情報パケットが送信された後、他の端末装置１の画面情報パケットが送信されるというように、時分割的に複数の端末装置１の画面情報を送受信可能であることはいうまでもない。
【００４５】
次に、端末装置Ａ側の処理に移って、ステップＳ８の処理が始まる。
ステップＳ８は、通信制御部３による画面情報パケットの受信処理である。
通信制御部３は常にネットワーク２上のパケットを監視し、自己の端末装置１に宛てられたパケットがないかどうか見ている。この通信制御部３は送信先ＩＤに自己の端末装置１を直接指定したパケットのような場合だけでなく、送信先ＩＤにブロードキャスト（例えば「０」）を意味するＩＤを発見した場合のように間接的に指定された場合にも、そのパケットを取得して種別に応じた動作を行う。
ステップＳ８は、受信したパケットの種別が画面情報パケット（「０２」）である場合で、画面制御部９へ画面情報パケットにかかるデータを送信する。ステップＳ８の次はステップＳ９に移る。
【００４６】
ステップＳ９は、他の端末装置１からの画面情報であって自己の端末装置１に表示するものを選択し、個人画面合成部１３へ出力する処理である。この処理は画面制御部９によって行われる。
通信制御部３が受け取る画面情報パケットには、表示する画面情報と表示しない画面情報が存在する。これは、各端末装置１によって仮想空間の視野が異なるため、ある端末装置１には見える画面が、他の端末装置１には見えないといったことが起きるからである。画面情報を送信する側の端末装置１は１つ以上の端末装置１が画面情報を必要とする場合は、その画面情報をブロードキャストするので、受信する側の端末装置１は必要な画面情報と必要でない画面情報を区別する必要がある。従って、自己の端末装置１が画面情報送付依頼をした端末装置１から送られてきた画面情報のみを取得して、個人画面合成部１３に送信する。個人画面合成部１３へは、画像を再生するために必要な、送信元ＩＤ、レート、サイズ、イメージデータを送信する。
【００４７】
続いて、ステップＳ１０に移る。
ステップＳ１０は、個人画面合成部１３が表示画面中に他の端末装置１からの画面情報を合成する場合である。
まず、図３の仮想教室ウィンドウ１８において、端末装置１の表示画面１９ａ・ｂ以外の画像は、エージェント制御部６から送られてくる位置視点情報、各エージェントや各物体の形状・位置等を表した画面位置情報を基に生成する。そして、表示画面１９ａ・ｂの部分は、ステップＳ９で受け取った他の端末装置１の画面情報を用いて、当該端末装置１のディスプレイ１４を表すポリゴンの大きさと、位置に合わせて表示する。したがって、仮想教室空間上で視点から遠い端末装置１の画面は、遠くにあるように表示され、そのサイズも距離に従って変化する。
【００４８】
以上で他の端末装置１から画面情報を取得し、自己の端末装置１の画面表示に他の端末装置１の画面表示を合成する処理の説明が終了した。この例でいう端末装置Ｂの画面が端末装置Ａの仮想教室ウィンドウに表示されている間、端末装置Ａと端末装置Ｂとの間で画面情報の送受信が行われる。従って、端末装置Ｂの実際のディスプレイ１４に表示されている画面表示が変化すると、端末装置Ａの仮想教室ウィンドウ内に表示されている端末装置Ｂの画面もそれに応じて変化する。
【００４９】
他の端末装置１の画面が仮想教室ウィンドウの視野から外れたとき、すなわち仮想ウィンドウに表示しなくなったときは、画面情報の送受信が必要なくなるので画面情報送信依頼の終了を通知する。この通知は、依頼元の端末装置１が依頼先の端末装置１に画面情報送付終了情報を送信することによって行う。画面情報送付終了情報は、表３に示したような構造を持つパケットである。表３において、送信先ＩＤ、送信元ＩＤ、種別は、表１におけるものと同様のものであり、送信先ＩＤに画面情報が必要でなくなった端末装置１のＩＤ（例えば、端末装置Ｂの場合は「Ｂ」）、種別には画面情報送付終了情報であることを表す「０３」を格納して送信する。なお、この表では通信制御部３で付加されるパケットの伝送に必要な他のデータは省略しているが、実際にパケットを送信する場合にはそれらのデータも付加され、完全なパケットとしてネットワーク２上に送信される。また、仮想ウィンドウの視野から外れたか否かの判断は、画像制御部９によって行われ、画面情報終了送付情報は画像制御部９から通信制御部３とネットワークを介して送信される。
【００５０】
【表３】
【００５１】
この画面情報送付終了情報パケットを受け取った送信先の端末装置１（ここでいう、端末装置Ｂ）の通信制御部３は、画面制御部９に画面情報送付終了情報を送信する。画面制御部９は画面情報送付終了情報を受け取ると、（図２のステップＳ４にて説明した）画面情報送付依頼を受けている端末装置１の数を表すカウンタを１だけ減らす。その結果、カウンタが０となったときはステップＳ５〜７で説明した画面情報送信処理は行われなり、表２に示した画面情報パケットの送信がなくなる。カウンタが１以上であるときは、まだ、当該端末装置１の画面情報を必要としている他の端末装置１が存在していることになるので、画面情報送信処理を行う。
【００５２】
この実施の形態１によれば、仮想教室ウィンドウ内に表示されているディスプレイの画面上に、他の端末装置１の表示画面を表示することができるため、操作者は視点を変えるだけで見たい他の端末装置１のディスプレイ表示内容を確認でき、分かりやすく使用しやすいユーザーインターフェースを提供することができる。
【００５３】
（ステップＳ９：画面合成処理の詳細）
ここでは、図２のステップＳ９に示された画面合成処理の詳細を図４を用いて説明する。
まず、図２のステップＳ９までの処理にて他の端末装置１から画面情報を取得する。その後、この画面情報と自己の端末装置１の表示画面とを合成してディスプレイ１４に表示するために、ステップＳ１０１からの処理を行う。
【００５４】
ステップＳ１０１では、エージェント制御部６から位置視点情報と画面位置情報を取得する。
次に、ステップＳ１０２では、位置視点情報と画面位置情報を基に、仮想教室ウィンドウに表示する仮想教室画面Ｗを生成する。まず、位置視点情報に示された仮想空間中の位置と方向から、仮想教室ウィンドウに表示される範囲（即ち、仮想空間上の視野）を特定する。そして、画面位置情報から各エージェントや机、端末装置等の物体の位置、置かれている方向等を特定し、３次元の仮想空間を生成する。最後に、この３次元の仮想空間を特定した位置と方向から見た画像を生成する。
【００５５】
続いて、ステップＳ１０３に移り、仮想教室画面Ｗ内に表示されるディスプレイの大きさＳと位置Ｐを特定する。
ここでは、１つの端末装置のディスプレイを選択して、そのディスプレイについて大きさＳと位置Ｐを特定する。このステップＳ１０３からステップＳ１０７まで実行し、１つの端末装置のディスプレイについて処理が終了し、再びこのステップＳ１０３に戻ってきたときは、既に処理された端末装置のディスプレイは選択されないようにする。
このステップＳ１０３でいうディスプレイは、実在のディスプレイではなく、仮想教室ウィンドウに表示されるディスプレイのキャラクタである。また、大きさＳは、この表示されるディスプレイの大きさであり、仮想空間上の視点からディスプレイまでの距離に応じて、その大きさが変化する。位置Ｐはディスプレイが表示される仮想教室ウィンドウ上の位置であり、大きさＳ、位置Ｐともに位置視点情報、画面位置情報から容易に計算することができる。次に、ステップＳ１０４に移る。
【００５６】
ステップＳ１０４は、画面制御部９から他の端末装置１の画面情報Ｉを取得する処理である。
次のステップＳ１０５は、画面情報ＩをステップＳ１０３で計算した大きさＳに拡大・縮小する。
【００５７】
続いて、ステップＳ１０６を実行する。
ステップＳ１０６は、画面情報ＩをステップＳ１０２で生成した仮想教室画面Ｗ中の位置Ｐに合成する。
ここでは、図３に示したように、仮想教室画面Ｗに画面情報Ｉを上書きするようにして、表示する。このようにすることで、図３の仮想空間１７のようにディスプレイが生徒Ａの頭によって隠れてしまうような場合でも、ディスプレイの表示画面を確認することができる。ただし、ディスプレイが他の物体によって隠れるように表示されてもかまわない。次にステップＳ１０７に移る。
【００５８】
ステップＳ１０７は、仮想教室ウィンドウ内に表示される端末装置のディスプレイであって、画面合成処理が必要なもの全てについて処理が終了したかを判定する。まだ、終了していないときはステップＳ１０３に戻り、次の端末装置の画面情報について画面合成処理を行う。一方、終了したときはステップＳ１０８に移り画面合成処理を終了する。
【００５９】
実施の形態２．
実施の形態１では、仮想教室ウィンドウ上に表示される他の端末装置１の表示画面は、図３に示したように常に視点側を向いている２次元的イメージであった。この実施の形態２では、より臨場感のある空間を表現するために図６に示すような、３次元的なイメージで他の端末装置１の画面を表示できる仮想教室システムである。以下に、実施の形態２の仮想教室システムについて説明する。
【００６０】
図５は、この仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図５において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図５の１３ａは、仮想教室空間の中で視点から表示画面が見える角度を判断し、それに合わせた画面情報に変換する画面情報向き変換部である。
【００６１】
実施の形態１において説明したように、他の端末装置１から画面情報を受け取った画面制御部９は、受け取った画面情報を画面情報向き変更部１３ａへ送る。この画面情報を受け取った画面情報向き変換部１３ａでは、エージェント制御部６からの位置視点情報と画面位置情報に基づき、仮想教室ウィンドウで表示している仮想教室空間の中で、その画面情報にかかる他の端末装置の表示画面がどの角度から見えるかを計算する。そして、この角度に合わせてあたかもその位置視点から見ているような形に画面情報を変換し、個人画面合成部１３へ送る。この変換後の画面情報を受け取った個人画面合成部１３では、この画面情報を、表示内容である仮想教室空間の中の端末装置Ｂの表示画面の部分に合成する。この合成は図４の画面合成処理と同様に行われ、合成した画像は最終的にディスプレイ１４に表示される。
【００６２】
以上は、個人画面合成部１３外に設けた、画面向き変更部１３ａにて画面の向きを変更したが、図４のステップＳ１０５にて、画面情報Ｉを大きさＳに拡大／縮小すると同時に、上述のように画面の向きを変更したような画像を生成するようにしてもよい。
【００６３】
また、仮想空間上のディスプレイはポリゴン等で表現されているが、このポリゴンの一面に画面情報をマッピングしてもよい。即ち、画面情報の大きさをマッピングするポリゴンの面の大きさに合わせて変換し、テクスチャとしてそのポリゴンの面に張り付ける。この場合は、マッピングする際に視点からの距離、角度を考慮して、画面情報の大きさや変形を行う必要がない。また、仮想教室空間を視点位置から見た２次元画像に変換する際に、他の端末装置１の表示画面を机、椅子等の物体表面の模様（テクスチャ、例えば木目等）と同様に扱って２次元画像に変換することができる。従って、他の端末装置１の表示画面の画像をポリゴンのテクスチャとして張り付けるだけで、他の端末装置１の表示画面を図６のように表示することができる。また、一度仮想教室空間を２次元画像に変換した後、空間上の物体と物体との位置関係を考慮しつつ、画面情報の変形、隠面処理等を行って合成する方法よりも、３次元から２次元の変換が一度で行えるため、効率がよい。
【００６４】
この実施の形態２では、仮想教室ウィンドウに表示される端末装置の表示画面が、現実の教室と同じような状態で見えることから、実施の形態１よりも現実に近い態様で仮想教室を表現することができる。そのため、仮想教室システムの操作者により分かりやすいインターフェースを提供することができる。
【００６５】
実施の形態３．
実施の形態１では、視点位置からの距離が遠い端末装置の表示画面は、小さく表示され、また、視点位置から直線上に並んでいる複数の端末装置１がある場合には、表示画面の画像同士が重なって見えることもある。これに対し、実施の形態３は、仮想教室ウィンドウ上に表示される他の端末装置１の表示画面を、見やすい位置と大きさに自動的に調整する仮想教室システムである。以下に、実施の形態２の仮想教室システムについて説明する。
【００６６】
図７は、この仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図７において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図７の１３ｂは、複数の表示画面が重なる場合、又は、視点から見た仮想空間上のディスプレイが他の物体の影にある等で、表示画面が見えなくなる場合に、表示画面を見えるような場所へ位置を移動したり、見やすいように表示画面を自動的に拡大する個人画面表示位置自動修正部である。
【００６７】
次に、動作について説明する。
実施の形態１において説明したように、他の端末装置１から画面情報を受け取った画面制御部９は、受け取った画面情報を個人画面表示位置自動修正部１３ｂへ送る。個人画面表示位置自動修正部１３ｂは、エージェント制御部６より位置視点情報と画面位置情報を受け取り、図４のステップＳ１０１〜Ｓ１０５までの処理を各端末装置１の画面情報について行う。ただし、ステップＳ１０５においては、算出した画面情報の大きさが予め定められた大きさ（例えば、幅２００ドット）以下の場合、画面情報の大きさをこの予め定められた値とする。これは、仮想空間ウィンドウ上に表示される端末装置１の表示画面が小さすぎて見えなくなることを防ぐためである。さらに、ステップＳ１０５において、端末装置１の表示画面の仮想教室ウィンドウ上の表示位置を計算し、この表示位置と大きさより１つの端末装置の表示画面が他の端末装置の表示画面と一部又は全部において重なる場合には、互いに重ならないように位置を再計算する。以上の処理の結果、１つ又は複数の画面情報とそれに対応した表示位置が生成される。
【００６８】
これらの画面情報と表示位置は個人画面合成部１３に送信され、これらを受け取った個人画面合成部１３が指定された表示位置に、画面情報を合成して表示する。例えば、図８のような仮想教室ウィンドウが表示される。この仮想教室ウィンドウ内では実施の形態２のように、他の端末装置の表示画面が視点に対して正面を向いていない場合であっても、表示画面の向きを変換して表示する（実際には、他の端末装置１から受け取った画面情報を大きさだけ変換し、画面情報向き変更部１３ａのように画像の向きを変換しないで表示する。）。
【００６９】
実施の形態４．
次に、仮想教室ウィンドウ内に表示される他の端末装置１の表示画面の大きさに応じて、送受信する画面情報のデータ量を変化させる実施の形態について説明する。この実施の形態は他の実施の形態にも適用できるが、ここでは実施の形態１の端末装置１を基本構成とした例について説明する。
図９は、画面情報を各端末装置１間で送受信する様子を表したシーケンス図である。図９においては、３台の端末装置１を表示しており、それぞれ端末装置Ａ、端末装置Ｂ、端末装置Ｃと称する。端末装置Ａと端末装置Ｂは画面情報を受け取る側であり、端末装置Ｃが画面情報を送る側である。
【００７０】
最初に端末装置Ｃはいずれの端末装置１からも画面情報送付依頼を受け取っていない状態であるとする。
まず、ステップＳ２０において、端末装置Ａから画面情報送付依頼パケットが送信される。
この画面情報送付依頼パケットは表４に示したような構成になっている。表４において、送信先ＩＤ、送信元ＩＤ、種別は、表１におけるものと同様のものであり、サイズは送付を要求する画面情報のサイズが指定されている。このサイズは、画面制御部９がエージェント制御部６から送られてくる端末装置１の表示画面の大きさが指定され、仮想教室ウィンドウ内に表示される表示画面の大きさに応じて変化する。
【００７１】
【表４】
【００７２】
端末装置Ａでは、仮想教室ウィンドウ内に表示される端末装置Ｃの表示画面の大きさが１５０×１００ドットであるので、サイズにこの大きさを指定し、端末装置Ｃに画面情報送付依頼パケットを送信する。
端末装置Ｃでは、この画面情報送付依頼パケットを通信制御部３が受信し、画面制御部９に画面情報送付依頼を送信する。画面制御部９では、図２のステップＳ４にて説明したように、画面情報送付依頼を受けている端末装置１の数を表すカウンタを１だけ増加させ、同時に各端末装置１の画面情報送付依頼に添付されている上記のサイズを記憶する。
【００７３】
図２のステップＳ５の処理でも実施の形態１とは異なる部分があり、画面制御部９は個人画面合成部１３から取得する画面情報を上記のサイズに変換し、ステップＳ６でサイズ変換後の画面情報を上記表２のような画面情報パケットにして送信する。このステップＳ６とステップＳ７によるパケットの送信が図９のステップＳ２１である。ここで、送信する画面情報のサイズは、複数の画面情報送付依頼のうち最も大きいサイズを選択する。従って、ステップＳ２１では、端末装置Ａからのみ画面情報送付依頼を受け取っているので、端末装置Ａの要求したサイズ（１５０×１００ドット）の画面情報を送信する。
送信された画面情報パケットは端末装置Ａが受信し、図２のステップＳ８〜１０にて説明したように、仮想教室画面上に合成されて表示される。
【００７４】
画面情報送付依頼が端末装置Ａから端末装置Ｃにのみ出されている場合には、上記ステップＳ２０〜２１のシーケンスが繰り返されるが、他の端末装置１の端末装置Ｂからも端末装置Ｃに画面情報送付依頼が出された場合のシーケンスが、ステップＳ２２〜２３である。
ステップＳ２２において、端末装置Ｂから端末装置Ｃに対して画面情報送付依頼パケットを送信する。この画面情報送付依頼パケットはステップＳ２０と同様表４に示したものである。ただし、端末装置Ｂでは、仮想教室ウィンドウ内に表示される端末装置Ｃの表示画面が大きいために（例えば、仮想教室空間上の視点位置から端末装置Ｃまでの距離が近い場合など）、端末装置Ａよりも大きなサイズ（３００×２００ドット）を送信したとする。
端末装置Ｃでは、端末装置Ｂが送信した画面情報送付依頼パケットを受け取り、ステップＳ２０と同様に依頼を受けたこととサイズを記憶する。
【００７５】
ステップＳ２３では、画面情報送付依頼を受けたもののうち最も大きなサイズに合わせて、画面情報パケットを送信する。基本的な動作はステップＳ２１と同じである。
ここでは、端末装置Ａと端末装置Ｂから画面情報送付依頼を受け取っている。そして、それぞれ端末装置１の要求しているサイズは、（１５０×１００ドット）と（３００×２００ドット）であるので、最も大きなサイズである（３００×２００ドット）のサイズに合わせて、画面情報を送信する。
端末装置Ａと端末装置Ｂは送信された画面情報パケットを受信し、画面情報はそれぞれ適切なサイズに変換・合成されて表示される。
【００７６】
つぎに、端末装置Ｂが端末装置Ｃの画面情報を必要としなくなった場合について説明する。
ステップＳ２４では、端末装置Ｂが端末装置Ｃへ画面情報送付終了情報パケットを送信する。端末装置Ｂの画面制御部９は、この画面情報送付終了情報を受け取ると、画面情報送付依頼を受けている端末装置１の数を表すカウンタを１だけ減少させ、同時に端末装置Ｂから送られてきた画面情報送付依頼が終了したこと、及び、端末装置Ｂの要求しているサイズ（３００×２００ドット）の記憶を消去する。
すると、要求を受けている画面情報のサイズは、端末装置Ａの（１５０×１００ドット）のみになり、要求を受けている画面情報の最大サイズも（１５０×１００ドット）となる。
【００７７】
そのため、ステップＳ２５で送信される画面情報パケット中に含まれる画面情報のサイズは（１５０×１００ドット）となる。
【００７８】
実施の形態４は、必要な画面情報のサイズに合わせて画面情報を送受信するため、画面情報の伝送量を節約することができる。例えば、端末装置Ｃの実際の表示画面が（１０２４×７６８）とすると、送受信する画面情報のサイズを（３００×２２４ドット）に指定した場合は、画面情報の伝送量が約１２分の１程で済むという大きな効果が得られる。特に、多数の端末装置１間での画面情報を送受信する仮想教室システムにおいては、多数のパケットによって大量のデータがネットワーク２上を流れることから、送受信するデータ量の増大がシステムの全体のレスポンスを低下させるという問題がある。この方法により送受信するデータ量を削減すればこの問題を解決することができ、より多くの端末装置１を素早いレスポンスを保ったまま接続することができる。
また、予め伝送する画面情報を実際の画面表示よりも小さくした固定値で送信する場合には、その固定値のサイズよりも仮想教室ウィンドウに表示する表示画面のサイズが大きい場合には、画像の拡大によって画質の劣化が生じるが、この実施の形態４によれば、このような画質の劣化を生じることなく全体として画面情報の送受信量を削減することができる。
【００７９】
また、実施の形態２では、仮想教室ウィンドウ内に表示する他の端末装置１の表示画面も立体的なイメージで表示し、仮想教室空間内の視点位置から見た端末装置１の向きが斜めである場合には仮想教室ウィンドウに表示する表示画面も斜めから見ているように表示する。このような場合、視点位置から端末装置１の距離に応じて伝送する画面情報の大きさを変化させることに加えて、正面から表示画面を見ているか、斜めから表示画面を見ているかによっても画面の大きさを変化させることができる。例えば、仮想空間上の表示画面に向かって正面から見ている場合には、（３００×１５０ドット）の画面情報を送受信し、斜めから見ている場合には、例えば（３００×７５ドット）、ほとんど側面方向から見ている場合には、（３００×１０ドット）といったように、視点位置から見える表示画面の角度によって送受信する画面情報の大きさを変化させる。この表示画面による大きさの決定は、仮想教室ウィンドウ内に表示される表示画面の縦と横の幅の最大値を採用するとよい。
【００８０】
また、一般に仮想教室空間上の視点位置が大きく動いている場合には、肉眼で仮想教室ウィンドウ内の表示画面の詳細な内容を認識することができず、また、その必要もないことが多いので、送受信する画面情報のサイズを小さくして、解像度を落とすことができる。この場合には、エージェント制御部６から送られてくる位置視点情報を画面制御部９が監視し、視点の位置又は方向が動いているかどうかを判断する。ここで、所定の閾値以上に視点の位置又は方向が動いた場合には、サイズを適切な値に指定して新たな画面情報送付依頼を通信制御部３を介して送信する。
そして、視点の位置又は方向が所定の閾値以下となった場合に、仮想教室ウィンドウ内に表示されている表示画面に合わせたサイズを指定した画面情報送付依頼を送信して、詳細な表示をするようにする。
以上のようにすることによっても、画面情報の伝送量を削減することができる。
【００８１】
実施の形態５．
次に仮想教室ウィンドウに表示されている端末装置や黒板等の物体を指示して、その物体にかかる関連情報を表示する実施の形態について説明する。
図１０はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１０において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。１７は、仮想教室空間内に置かれている物体のＩＤとその物体の関連情報のキーの情報である対応情報を、各物体毎に格納している対応情報群であり、例えば、仮想教室空間中の複数のポリゴンで構成される物体には、００１というＩＤが付されており、このＩＤを基に対応情報を引くと、関連情報のキーとして例えば「机」というキーが検索できる。関連情報のキーは扱いやすい数字で表してもよい。ＩＤとキーの関係は多対１の関係にあり、００３というＩＤを持つ物体の関連情報が同じ「机」というキーを持っていることもある。
【００８２】
１８はキーと物体に関連する情報を関連情報として、各キーについて持つ関連情報群である。対応情報群１７と関連情報群１８は、メモリやディスク装置などの記憶装置内に記憶されている。１９はエージェント制御部６から受け取った物体のＩＤを基に、対応情報群１７から物体のキーを引き出し、このキーを基に関連情報群１８から関連情報を出力する関連検索部である。
【００８３】
次に動作について説明する。図１１は関連情報をディスプレイ１４上に表示する処理を説明するフローチャートである。ステップＳ０より始まり、ステップＳ３０にて、操作者がキーボード１１やマウス１２等を操作して仮想空間上の物体を指定すると、ステップＳ３１で、エージェント制御部６よりエージェントについての位置、顔の向き等の状態を表わす位置視点情報を個人画面合成部１３へ、どの物体を指定したかということを意味する指示情報として、その物体のＩＤを関連検索部１９に送る。
ここでは、仮想教室上の壁にかけられている絵画を表す物体をクリックし、この物体のＩＤを関連検索部１９に送ったとする。
【００８４】
次にステップＳ３２に移り、関連検索部１９で対応情報群１７より指示情報がどの関連情報に対応するかの対応情報を取得する。この対応情報は関連情報のキーとして与えられ、例えば「Ａ氏の絵画」というキーが得られる。
続いて、ステップＳ３３に移り、このキーをもとに関連情報群１８より関連情報を取り出す。例えば、「Ａ氏の絵画」というキーを用いて検索すると、関連情報としてＡ氏の絵画のイメージデータが取り出せる。そして、関連検索部１９で取得した関連情報を個人画面合成部１３に送る。
次に、ステップＳ３４で、個人画面合成部１３が関連情報を仮想教室空間上の指定した物体の近くに表示されるように合成してディスプレイ１４に表示する。ステップＳｅで以上の関連情報表示処理を終了する。
【００８５】
この実施の形態５によれば、仮想教室空間上に表示されている物体を直接指示することで、関連する情報を表示することができるので、臨場感のある仮想空間ウィンドウで分かりやすく、使いやすいインターフェースを提供することができる。
【００８６】
実施の形態６．
次に仮想教室ウィンドウに表示されている端末装置や黒板等の物体にかかる関連情報を見やすい位置や大きさに表示する実施の形態について説明する。
図１２はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１２において、図１０と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１及び図１０と同様なものである。２０は関連検索部１９により取得した関連情報の表示位置や大きさを見やすい位置や大きさに変換する最適化処理部である。
【００８７】
図１３は関連情報が仮想教室ウィンドウ内に表示される位置と大きさを決定する最適化処理を説明するフローチャートである。この最適化処理は最適化処理部２０において実行される。
図１４は関連情報の表示位置についていくつかの候補を選択する方法を説明する図であり、図１５はいくつかの候補の中から１つの候補が選択される様子を説明する図である。この図１５において、２５ａ・ｂ・ｃはそれぞれ仮想教室ウィンドウを表しており、２５ａが関連情報を表示する物体を選択する前の仮想教室ウィンドウ、２５ｂが選択後の仮想教室ウィンドウであって、関連情報が他の物体に隠れてうまく表示できていない例、２５ｃが同じく選択後の仮想教室ウィンドウであって、最適化処理によって関連情報を他の物体に隠れずに表示することができている例を表している。２６はマウス等のポインティングデバイスによって移動し、関連情報を表示する物体上に移動して物体を選択するためのポインタ、２７・２８はそれぞれ仮想教室空間上に存在するものであって、仮想教室ウィンドウ内に表示された物体であり、２７はディスプレイを備えた端末装置を表しており（２７ａはこのディスプレイに表示される他の端末装置の表示画面である。）、２８は文字や画像等のデータが書き込まれているノートを表している。
【００８８】
次に動作を説明する。
この実施の形態６において、基本的動作は実施の形態５と同様であるが、関連検索部１９と個人画面合成部１３の間に新たに接続された最適化処理部２０に関連して、動作が異なる。そこで、この最適化処理部二重によって実行される最適化処理について、図１３を中心に用いて説明する。最適化処理とは、仮想空間上の他の物体によって関連情報が隠れないように表示位置を修正する処理、又は関連情報表示の大きさが不適切で見にくくならないように関連情報表示の大きさを適切に修正する処理である。ここでは、位置と大きさの両方を修正し、大きさは予め設定しておいた大きさで文字が表示されるように修正を行っている。
【００８９】
まず、実施の形態５で説明したように、関連検索部１９が関連情報を検索して最適化処理部２０に出力すると、ステップＳ３５の処理に移る。
ステップＳ３５は、位置視点情報より分かる指示物体の位置の周りに、関連情報が表示される場所の候補を数ヶ所についてあげる処理である。
候補の選出は、いずれかの候補が他の物体に隠れずに見えるように（可能性の高いように）選出し、このように選出できるのであればどの様な方法であってもよい。ここでは、エージェント制御部６から位置視点情報と画面位置情報を取得し、図１４に示したように視点２１から指示物体２２までを結ぶ直線に垂直な平面２３上からいくつかの候補２４を選出する（図１４では、４つの候補２４を選出している）。このように選出すると、視点から見た指示物体２２の距離と関連情報物体の距離が同じになるため、指示物体２２までの距離感覚を損なわずに関連情報を表示できる。ここで、関連情報物体とは、仮想教室空間中に置かれ、関連情報を表示する物体であり、例えば、図１５の関連情報物体２８ｂに示すように表示される。続いて、ステップＳ３６に移る。
【００９０】
ステップＳ３６は、ステップＳ３５にてあげた候補のうち、１つの候補を選択する処理である。ただし、ステップＳ４１を介して再びステップＳ３６にループしてきた場合には、一度選択した候補は選ばれないようにする。次に、ステップＳ３７に移る。
ステップＳ３７は、ステップＳ３６で選択した候補の位置に関連情報物体を表示した場合に、他の物体の陰に隠れて、関連情報物体が隠れないかどうかについて判断する処理である。
この判断は、関連情報物体を選択した候補２４の位置に置いたと想定して、視点２１と関連情報物体との間の空間上に他の物体があるかどうかを位置視点情報、画面位置情報を基に判断することによって行われる。
もし、隠れてしまうと判断された場合は、他の候補について同様の判断をするためにステップＳ４０に移り、隠れないと判断された場合はステップＳ３８に移る。
【００９１】
ステップＳ３８は、選択された候補を正式に採用し、この候補の位置に関連情報物体を配置する処理である。次にステップＳ３９に移る。
ステップＳ３９は、仮想教室ウィンドウ上に表示される関連情報が小さくなるために、操作者にとって見にくくなるかどうかを判断する処理である。ここでは、関連情報が文字の場合についての判断を行い文字が１０ポイント以下となる場合に見にくくなると判断する。従って、仮想教室ウィンドウの大きさが可変の場合には、仮想教室ウィンドウの大きさに合わせて物体、関連情報の表示される大きさも変化するため、関連情報が実際に表示される大きさを考慮することになる。
【００９２】
ここで、見にくくなると判断された場合にはステップＳ３９ａに移り、関連情報の文字を１０ポイントに拡大して、個人画面合成部１３へ関連情報物体の大きさ、位置、及びこの最適化処理で最適化した関連情報を出力する。一方、見にくくならないと判断された場合には、そのまま個人画面合成部１３へ関連情報物体の大きさ、位置、及び関連情報を出力する。
個人画面合成部１３では最適化処理部２０から関連情報物体の大きさ、位置、及びこの最適化処理で最適化した関連情報を受け取り、エージェント制御部６から受け取った画面位置情報と共に用いて仮想教室空間を構成し、２次元画像に変換して、ディスプレイ１４上に表示する。
【００９３】
一方ステップＳ３７にて、選択した候補では他の物体によって関連情報が隠れてしまうと判断された場合には、ステップＳ４０に移り、ステップＳ４０〜Ｓ４２までの処理が行われる。
ステップＳ４０は、選択した候補を選択から外す処理であり、次のステップＳ４１で、まだ選択されていない候補があるかどうかについて判断を行う。ここで、まだ選択されていない候補があると判断された場合には、ステップＳ３６に移り、他の物体に隠れずに表示される候補がないかどうかについて、再び処理を行う。一方、ステップＳ４１にて、まだ選択されていない候補がないと判断された場合には、次のステップＳ４２に移る。
【００９４】
ステップＳ４２は、ステップＳ３５であげられた複数の候補のうち、他の物体によって隠れずに最も大きく表示できる候補を選択する処理である。
このステップＳ４２の処理に到達する場合は、全ての候補が他の物体によって隠れずに表示できるものではない場合である。この場合は、隠れないように表示しようとして、関連情報物体の大きさを小さくした場合に、最も大きく表示される候補を選択する。そして関連情報物体を、このステップＳ４２で選択された候補の位置に、大きさを変えて配置する。ステップＳ４２が終了すると、上述のステップＳ３９に移り、最終的にディスプレイ１４上に表示される。
【００９５】
この実施の形態６では、最適化処理として関連情報物体の位置と大きさを調整したが、関連情報物体の形状を変化させることによって、関連情報を他の物体に隠れずに見えるように表示してもよい。例えば、関連情報物体が横長の長方形では全ての関連情報が見えない場合には、縦長の長方形に変形して表示することによって全ての関連情報を表示できる場合がある。
また、視点と指示物体との間にある他の物体に陰に関連情報の一部が隠れるように表示してもよい。ただし、関連情報の表示を損なわない程度にする。この場合は、関連情報物体の配置される場所の距離感をより効果的に表現することができる。
また、ステップＳ３９・３９ａにおいて、関連情報表示が小さすぎる場合には、拡大して表示することにより、関連情報の見やすさを確保したが、逆に、指示物体と視点の位置が近すぎるために関連情報の表示が大きすぎる場合には、縮小して表示されるようにしてもよい。
【００９６】
この実施の形態６によれば、奥行きのある空間上で、関連情報が指示物体に応じた距離感をもって表示されるため、より臨場感が増し、使いやすいインターフェースを提供することができると共に、３次元で表現することによって生じる問題（関連情報の表示が大きすぎたり、小さすぎたり、また、他の物体に隠れて関連情報を見ることができない）を解決することができる。例えば、図１５は、ポインタ２８によって物体（ノート）２８を選択し関連情報を表示した仮想教室ウィンドウの例である。上記の最適化処理を行うことにより仮想教室ウィンドウ２５ｂのように物体の陰に隠れて関連情報が見えないということにならず、仮想教室ウィンドウ２５ｃのように関連情報が見える状態で表示できる。
【００９７】
実施の形態７．
実施の形態７は仮想教室ウィンドウ内に表示されている物体を指示することにより、指示された物体に関連づけられたアプリケーションを自動的に起動する実施の形態である。
図１６はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１６において、図１０と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１及び図１０と同様なものである。図１６の２９は、関連検索部１９から関連情報を受け取り、この関連情報に対応するアプリケーションを起動する指令を出力する個人アプリケーション管理部である。個人アプリケーション管理部２９が送信した指令は、個人アプリケーション部１０が受信し、この指令に指定されたアプリケーションを起動する。また、対応情報群１７には、物体ごとに付けられたＩＤとそのＩＤに対応するアプリケーション名が、各物体ごとに記憶されいる。この対応情報群１７には、実施の形態５及び６で説明した内容も含んでおり、文字や画面情報等の関連情報が記憶されているか、アプリケーション名が記憶されているかは、対象となる物体による。
【００９８】
次に動作について説明する。
基本的な動作は、実施の形態５と同様である。実施の形態７では、新たに個人アプリケーション管理部２９が加わっているので、この個人アプリケーション管理部２９の動作を中心に説明する。
【００９９】
まず、マウス等のポインティングデバイスによって物体が指示されると、エージェント制御部６より、どの物体を指定したかということを意味する指示情報を関連検索部１９に送る。関連検索部１９では対応情報群１７より指示情報がどの関連情報に対応するかを検索し、指示した物体の関連情報を取得する。ここまでは、実施の形態５で説明した動作と同様である。
次に、関連情報を取得した関連検索部１９は、この関連情報が文字や画像等の仮想教室ウィンドウに単に表示すればよいものか、アプリケーションを起動する必要があるものかを判断する。（従って、関連情報にはこれを区別する符号を挿入しておくとよい。）アプリケーションを起動する必要がない関連情報のときは、実施の形態５で説明したように個人画面合成部１３に、関連情報を送信する。一方、アプリケーションを起動する必要があるときは、その旨とアプリケーション名を起動命令として個人アプリケーション管理部１０に送信する。
この起動命令を受けた個人アプリケーション部１０では、指定されたアプリケーションを起動する。
【０１００】
この実施の形態７によれば、アプリケーションの起動を仮想教室空間上の物体を指示することによって行うことができるため、操作者はアプリケーションの名前を知る必要もなく、また、アプリケーションを起動する命令をキーボード等から打ち込む必要もない、非常に操作の容易なインターフェースを提供することができる。
【０１０１】
実施の形態８．
実施の形態８は、他の端末装置１のポインタを仮想教室ウィンドウ内に表示して、他の端末装置１の操作者がどの物体等について操作を行っているかを知ることができるものである。
図１７はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１７において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図１７の３０は通信制御部３より他端末ポインタ情報を受信して、この他端末ポインタ情報に基づきポインタを表す物体を仮想教室空間内に配置し、また、エージェント制御部１１より自己のポインタの位置情報を取得して、他の端末装置に送信するポインタ情報管理部である。ここで、他端末ポインタ情報とは、他の端末装置１の操作者が使用するポインタの位置情報であって、仮想教室空間内の３次元の位置情報を表している。
【０１０２】
次に他端末ポインタ情報の送信と受信及びポインタ表示の動作について説明する。ここでは、動作例として２つの端末装置１間（それぞれ端末装置Ａ、Ｂと呼ぶ）で他端末ポインタ情報を送受信する場合を説明する。端末装置Ａは送信側の端末装置１、端末装置Ｂは受信側の端末装置１とする。
【０１０３】
・ポインタ情報の送信（送信側の処理）
端末装置Αにおいて操作者Αがキーボード１１やマウス１２等によって仮想空間上の物体をポインタで指すと、エージェント制御部６よりポインタによって物体を選択したことを意味する指示情報がポインタ情報管理部３０に送信される。この指示情報を受けたポインタ情報制御部３０は、エージェント制御部６から選択した物体の座標を取得する。この座標は仮想教室空間における３次元の座標である。座標を取得したポインタ情報管理部３０は、この座標の情報と自己の端末装置１のＩＤを１つのパケットにして、通信制御部３とネットワーク２を介し全ての端末装置１に送信する。このとき送信する座標とＩＤが他端末ポインタ情報である。
【０１０４】
・ポインタ情報の受信及びポインタ表示（受信側の処理）
端末装置Ａから送信された他端末ポインタ情報のパケットは、受け手の１つである端末装置Ｂの通信制御部３によって受信される。通信制御部３は、このパケットを受け他端末ポインタ情報をポインタ情報管理部３０に送信する。
ポインタ情報管理部３０は、他端末ポインタ情報を受け取ると、ポインタを仮想教室ウィンドウ内に表示される物体として、他端末ポインタ情報から取得した座標とともにエージェント制御部６に送信する。この際、送信する座標は選択した物体と重なって見えなくなってはいけないので、物体の近くであって見える位置に変換する。また、視点位置によっては実施の形態６と同じように他の物体と重なって見えなくなることもある。このような場合には実施の形態６で説明したような方法で、ポインタを表す物体の位置や大きさを形を修正することにより、他の物体の陰に隠れて見えないことを防ぐことができる。
【０１０５】
ポインタ情報管理部３０より他端末ポインタ情報を受け取ったエージェント制御部６は、指定された位置にポインタを表す物体（実際にはポリゴンの集合）を配置する。ここで、どの端末装置１にかかるポインタかが分かるように、ポインタを表す物体に端末装置１にかかる情報を合わせて表示するとよい。この情報は他端末ポインタ情報に含まれる送信元のＩＤを調べることによって導出できる。ＩＤはポインタ情報管理部３０より取得する。
【０１０６】
また、この実施の形態８では、ポインタ情報管理部３０は他端末ポインタ情報を受け取ると、常にエージェント制御部６にポインタを表す物体を表示するように指示していたが、自己の端末装置１の視野の中に入っているないものについては、ポインタを表す物体表示の指示を行わなくともよい。
【０１０７】
この実施の形態８によれば、他の端末装置１の操作者が仮想空間上のどの物体について操作をしているかを知ることができる。
【０１０８】
実施の形態９．
実施の形態９は、操作者の移動や視点方向を検知する測定器を設け、操作者が実際に移動した場合には、この移動が仮想教室空間上の視点の位置、方向に反映されるようにして、大きな臨場感を得られるようにするものである。
図１８はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１８において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図１８の３１は、操作者の視点方向（視線の方向）を測定する視点方向測定機器、３２は操作者が移動することにより生じる加速度を測定する加速度測定機器、３３は視点方向測定機器３１から受け取った視点方向と加速度測定機器３２から受け取った加速度をもとに、仮想教室空間中における視点の移動量及びその方向と視線の方向を算出し、エージェント制御部６に送信する変換処理部である。ここで、加速度測定機器３２、視点方向測定機器３１は操作者の体に付けて利用し、ディスプレイ１４は操作者の頭部に固定する。また、操作者は自由に動くことができる。
【０１０９】
変換処理部３３は、操作者が衣服等に身に付けた加速度測定機器３２、頭部に取り付けた視点方向測定機器３２から入力されたデータを３次元移動情報と視点方向（角度データ）に変換する。３次元移動情報は、加速度測定機器３２から入力されたデータから、前後・左右・上下の加速度とそれが加わった時間から移動の方向や距離等を計算してどの方向にどれだけ移動したかという３次元の移動ベクトルである。この３次元移動情報と視点方向測定機器３２から入力された視点方向を仮想空間内の視点移動に反映させて、その動きをエージェントにとらせることにより、仮想空間上で人型を表わすエージェントが人の行動と同じように行動するのが表示される。また視点方向測定機器３２から入力された視点方向や角度等の視点情報より仮想空間上で視点方向と角度を算出し、その延長上にある物体が指示している対象物であるとして指示情報に変換される。マイクから入力された音声データは音声変換装置等により文字列に変換されてキー入力されたデータとしてエージェント制御部６へ送られる。
【０１１０】
この実施の形態９によれば、操作者はポインティングデバイスによって視点移動の操作をする必要がなく、操作者の移動又は視線の変化がディスプレイ１４上に反映されるため、より臨場感のある仮想教室システムを構築することができる。また、操作が容易なインターフェースを提供することができる。
【０１１１】
実施の形態１０．
実施の形態１０は、操作者の感情を推測して、その結果をエージェントに反映することにより、よりスムーズな意思の伝達が行えるようにしたものである。
図１９はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１９において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図１９の３４は、操作者の脳波や体温、脈拍等の体感を測定する体感測定機器、３５は体感測定機器３４から取得した体感情報と音声入力処理部７から取得した音声データをもとに操作者の感情を推測する感情判断部、３６は感情判断部３５の判断結果に基づいてエージェントの表情を変更して仮想空間上に表示する表情変更部である。
【０１１２】
操作者が衣服等に身に付けた体感測定機器３４から入力されたデータを感情判断部３５で受け取ると、感情判断部３５では、例えば図２０ような判断基準、優先順位で操作者の感情を判断する。判断基準は変更できるものとする。感情判断部３５の判断結果である「哀」、「平常」、「怒」等の感情データは自己の端末装置１の表情変更部３６に送られ、また、通信制御部３を通して他の端末装置１の表情変更部３６へも送られる。表情変更部３６では自己の端末装置１と他の端末装置１の感情判断部３５より送られてきた感情データをもとに人型を表わすエージェントの表情を予め用意していた表情に変更して、ディスプレイ１４の仮想教室空間上に表示する。
【０１１３】
この実施の形態１０によれば、操作者の感情を他の端末装置１の操作者に伝えることができるため、よりスムーズな意思の伝達が行える。
【０１１４】
実施の形態１１．
実施の形態１１は、操作者によって、仮想教室空間のデザインを自由に選択することができるものである。
図２１はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図２１において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。３７は仮想教室内に登場する各物体の３次元形態情報、それらの色や面の模様デザインを示すテキスチャ情報、各物体の動作内容情報、及び各物体の位置関係情報等の３次元風景を作成するために必要な情報である３Ｄ風景情報群である。この３Ｄ風景情報群は、いくつかの風景パターンを備え、例えば、ＲＡＭやディスク記憶装置内に記憶される。
【０１１５】
上記の３次元形態情報は、例えば、３次元空間内の机等の物体、エージェント等の人型、及び壁や黒板等の背景を示すアニメーションキャラクタを表示するために必要なそれらの形状を示す３次元の形態情報である。また、上記の動作内容情報は仮想空間内の物理的動作内容（例えば、人の歩行パターン）を示す情報であり、上記位置関係情報は、例えば、ある壁とある机とある人型の組み合わせとそれらの位置関係を示す情報である。
３８は、エージェント制御部６の指示に従って、複数の３Ｄ風景情報から指示された３Ｄ風景情報を選択し風景合成部９へ出力する風景選択部である。
【０１１６】
操作者がキーボード１１やマウス１２を操作して教室内の風景を変更するとエージェント制御部６より風景選択部３８に特定の風景に変更するように風景指示情報が送られる。風景選択部３８では複数の３Ｄ風景情報の中から風景指示情報に合った３Ｄ風景情報を取り出して個人画面合成部１３へ送る。個人画面合成部１３では、この３Ｄ風景情報を受信した以降は、この３Ｄ風景情報をもとに仮想教室空間を生成し、エージェント制御部６より送られてきた視点位置情報、画面位置情報をもとに仮想教室ウィンドウを生成して、また必要に応じて、他の共有アプリケーションや個人アプリケーションを表示するウィンドウと合成して、ディスプレイ１４上に表示する。
【０１１７】
この実施の形態１１によれば、操作員は自己の好みに応じた仮想教室空間のデザインを選択することができる。
【０１１８】
実施の形態１２．
実施の形態１２は、仮想教室空間のデザインを自由に選択することできる仮想教室システムであって、デザインにかかるデータが自己の端末装置にない場合には、他の端末装置からデータを取得するものである。
図２２はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図２２において、図２１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図２１と同様なものである。図２２の３９は自己の端末装置１の所有する３Ｄ風景情報群３７中に、風景選択部３８で選択した３Ｄ風景がなかった場合に、ネットワークを介して他の端末装置１から、選択した３Ｄ風景情報を取得する風景管理部である。
【０１１９】
操作者がキーボード１１やマウス１２を操作して教室内の風景を特定の３Ｄ風景情報に変更する指示を出すとエージェント制御部６より風景管理部３９に特定の風景に変更するように風景指示情報が送られる。風景管理部３９では、風景選択部３８に特定の３Ｄ風景情報がない場合、その旨を風景管理部３９に知らせる。風景管理部３９では、通信制御部３を介して他の端末装置１の風景管理部３９へ特定の３Ｄ風景情報が欲しい旨の指示情報を送る。指示が送られてきた他の端末装置１の風景管理部３９では風景選択部３８を通して指示に合った３Ｄ風景情報があれば取り出す。風景選択部３８では３Ｄ風景情報を風景管理部３９へ送る。風景管理部３９から通信制御部３を介して要求元の端末装置１の風景管理部３９へ３Ｄ風景情報を送る。この３Ｄ風景を受け取った風景管理部３９は個人画面合成部１３に３Ｄ風景を送信する。個人画面合成部１３ではエージェント制御部６と風景管理部３９より送られてきた各種情報を合成し、ディスプレイ１４に表示する。
【０１２０】
この実施の形態１２によれば、自己の端末装置１内が所有していない３Ｄ風景情報を他の端末装置１から自動的に取得することができるため、自己の端末装置１に全ての３Ｄ風景情報を所有している必要がない。そのため、記憶容量の小さい端末装置１でも、沢山の風景デザインの中から１つの風景デザインを自由に選択することが可能になる。
【０１２１】
実施の形態１３．
実施の形態１３は、操作者が仮想教室ウィンドウ内の物体を選択することにより、その物体に関連する他の端末装置１を操作できるようにするものである。
図２３はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図２３において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図２３の４０は入出力管理部であり、自己の端末装置１の各処理部又は制御部等からのデータ信号又は制御信号と、他の端末装置１からのデータ信号又は制御信号と、を選択的に自己の端末装置１の被制御部に伝える機能がある。加えて、自己の端末装置１の被制御部からのデータ信号又は制御信号を、自己の端末装置１の各処理部又は制御部等へ出力するか、他の端末装置１の各処理部又は制御部等へ出力するかを選択的に実行する機能も有している。被制御部は、他の端末装置によって操作される機能ブロックであり、エージェント制御部６、共有アプリケーション部４等のようなものから、スピーカや、図示しないプリンタ等の入出力装置まで含まれる。
ここで、自己の端末装置１の入出力装置のデータ信号又は制御信号からの出力は、自己の端末装置１と他の端末装置１の両方の各処理部等に出力するようにしてもよい。また、ここでは、被制御部への出力、被制御部からの入力、をともに制御できるようにしているが、どちらか一方の機能だけを有するようにしても他の端末装置の被制御部を操作できるという効果をあげることができる。
【０１２２】
次に、一例として、端末装置Ａの操作者が端末装置Ｂを操作する動作について説明する。
端末装置Ａの操作者がキーボード１１やマウス１２などで仮想教室画面に物体として表示されている被制御部を指定するとエージェント制御部６より被制御部を選択したことを意味する被制御部指示情報が入出力管理部４０に送られる。この被制御部指示情報には、選択された被制御部を特定する情報が含まれている。
【０１２３】
ここでは、例えば仮想教室ウィンドウに表示された端末装置Ｂのキーボードを選択したとする。この場合は、端末装置Ａの送信するデータ情報、制御情報が端末装置Ｂのキーボード出力として扱われるようにするため、被制御部としてキーボード１４からの出力を管理する（図示しない）キー入力処理部を指定する（この端末装置では、このキー入力処理部がキーボード入力を必要とする処理部に入力されたキーの情報を送信する。この処理部には、例えば、エージェント制御部６や共有アプリケーション部４等がある。）。他の例としては、図示しない端末装置Ｂのプリンタを指定した場合に、端末装置Ｂのプリンタを端末装置Ａから制御することもできる。
【０１２４】
そして、入出力管理部４０は、通信制御部３を介して選択された被制御部にかかる端末装置Ｂを指定し、入出力管理部４０へ被制御部指示情報を送信する。この被制御部指示情報を受け取った端末装置Ｂでは、通信制御部３より入出力管理部４０へ被制御部指示情報が送信される。端末装置Ｂの入出力管理部４０では被制御部指示情報を受け取ると、それ以後は、端末装置Ｂの入力装置（ここではキーボード１４）からの入力情報を無効とし、その代わりに指示情報を送ってきた端末装置からのデータ情報、制御情報を出力するように切り替える処理を行う。この出力は被制御部指示情報で指示された被制御部へ行う。
【０１２５】
ここでは、被制御部としてキー入力処理部が指定されたため、入出力管理部４０は、端末装置Ａから送られた情報の送信先をキー入力処理部とする。また、同時に、被制御部から出力されるデータ情報は、通信制御部３を介して被制御部指示情報を送った端末装置Ａへ送り返されるようにする。従って、被制御部を制御する端末装置Ａの制御部（ここでは、入出力機器の１つであるキーボード１４を制御する制御部）と端末装置Ｂの被制御部（ここでは、キー入力処理部）との間に、論理的な入出力信号回線が設定されたことになる（特に、プリンタのように制御に対する応答信号がある場合などでは、入力及び出力を制御できる必要がある。）。
【０１２６】
以上の処理によって、被制御部を操作する体制が整ったので、つぎに端末装置Ｂの被制御部を操作する処理に入る。
操作をするためのデータは、ネットワーク２を介してパケットで送信されるが、まず、端末装置Ａの入出力管理部４０へ操作情報が対応する処理部又は制御部等から送られる。例えば、端末装置Ａのキーボード１４から入力されたキーの情報を端末装置Ａの入出力管理部４０が受け取り、通信制御部３を介して、このキーの情報をデータ情報として端末装置Ｂへ送信する。
【０１２７】
端末装置Ｂの通信制御部３は、このデータ情報を受け取り、端末装置Ｂの入出力管理部４０へ出力する。入出力管理部４０では、受け取ったデータ情報をあたかも端末装置Ｂの出力かのように被制御部に送信する。ここでは、上記のように、被制御部をキー入力処理部としているので、このキー入力処理部へデータ情報を送信する。
【０１２８】
このデータ情報を受け取ったキー入力処理部は、自己の端末装置Ｂのキーボード１４から受け取ったキーの情報と同じように、このデータ情報を取り扱うため、端末装置Ａから端末装置Ｂを制御することができる。例えば、端末装置Ａの仮想教室ウィンドウに表示された端末装置Ｂの表示画面を見ながら、端末装置Ａのキーボード１４から文字を入力して、端末装置Ｂ上のアプリケーション等を制御することができる。
【０１２９】
また、被制御部がデータを出力する場合には、端末装置Ｂの入出力管理部４０がこのデータを受け取り、受け取ったデータを通信制御部３を介して端末装置Ａの入出力管理部４０へ送信する。端末装置Ａの入出力管理部４０は、受信したデータを被制御部を制御する制御部へ送信する。
【０１３０】
次に、他の端末装置の操作を終了する場合について説明する。
端末装置Ａの操作者が、予めきめてある入力（例えばキーボード１４からの特定のキー入力）を行うと、入出力指定情報の解除を意味する解除情報が入出力管理部４０から出力される。この解除情報は通信制御部３を介して端末装置Ｂの入出力管理部４０へ送られる。端末装置Ｂの入出力管理部４０では、これを受けて、それ以後は他の端末装置からのデータ情報、制御情報を無視し、端末装置Ｂの入力機器（ここでは、キーボード１４）からの入力内容を被制御部（キー入力処理部）へ送る。また、被制御部から送られるデータは、被制御部指示情報を受け取る前と同様の送信先へ送信し、端末装置Ａへの送信を中止する。
【０１３１】
この実施の形態１３によれば、仮想教室ウィンドウに表示されたキャラクタを選択するだけで、他の端末装置の操作を指示することができるため、操作が簡単である。また、その結果を仮想空間を表示した画面上で確認することができる。そのため、臨場感があり、他の端末装置を操作していることを実感しやすく、使いやすいインタフェースを提供できる。
【０１３２】
実施の形態１４．
実施の形態１４は、他の端末装置１の被制御部を処理するにあたって、制御が競合する場合には優先度に基づいて制御権を与えるものである。
図２４はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図２４において、図２３と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１及び図２３と同様なものである。図２３の４１は、端末装置、操作者、又は、被制御部を制御する制御部毎に、被制御部を制御できる優先順位を記憶する優先権情報である。
【０１３３】
次に、優先度が端末装置ごとに設定されている場合の動作について説明する。ここで、端末装置１が３機あることとし、その内の端末装置Ｂを被制御部を有する端末装置とし、他の端末装置Ａと端末装置Ｃを被制御部を制御する端末装置１とする。
【０１３４】
動作の基本は、実施の形態１３で説明したものと同様に行われる。ただし、被制御部指示情報を受け取った端末装置Ｂの入出力管理部４０は、複数の被制御部指示情報を受け取った場合に、その入出力情報の送信元の端末装置１を基にどの端末装置１に、被制御部を制御する権利である制御権を与えるかを判断する。この判断は、端末装置のＩＤをキーに優先権情報から検索した優先順位を比較して、優先順位が高い端末装置１に制御権を付与する。例えば、端末装置Ａと端末装置Ｃとから同じ被制御部に被制御部指示情報を受け取った場合に、端末装置Ａと端末装置Ｃの優先順位を比較する。ここで、優先権情報４０から検索した優先順位が端末装置Ａの方が高いとすると、この端末装置Ａに制御権が与えられる。
【０１３５】
次に、端末装置Ｂの入出力管理部４０は、制御権を与える端末装置１に操作可能情報を送信する。ここでは、端末装置Ａに送信する。
操作可能情報を受け取った端末装置１は、実施の形態１３で説明したように被制御部を制御する。
一方、操作可能情報を取得できなかった端末装置１（ここでは、端末装置Ｃ）は、操作可能情報が得られるまで被制御部を制御することができないため、データ情報、制御情報を端末装置Ｂへ送信せずに操作可能情報を受信するまで待機する。
【０１３６】
端末装置Ａが制御を終了し解除情報を端末装置Ｂへ送信すると、この解除情報を受け取った端末装置Ｂの入出力管理部４０は、端末装置Ａにかかる被制御部指示情報をクリアし、残った被制御部指示情報について、最も高い優先度をもつものを選択する。そして、選択した被制御部指示情報にかかる端末装置１に制御権を与えるため、操作可能情報を送信する。
【０１３７】
この実施の形態１４によれば、被制御部への制御が競合した場合に、優先度に基づいて、この競合関係を調整することができる。
【０１３８】
【発明の効果】
この発明は、以上に説明したように構成されているので、以下のような効果を奏する。
受信側端末装置によって実行され、仮想的な３次元空間を構成する３次元情報に基づき、指定された視点より上記３次元空間を見たときの２次元画像を第１の画像として生成する画像生成ステップと、上記受信側端末装置によって実行され、上記第１の画像に端末装置を表す画像が含まれるときに、その端末装置を送信側端末装置とし、この送信側端末装置に対し画面情報の送信を依頼する信号を送信する画面情報送信依頼ステップと、上記送信側端末装置によって実行され、上記信号を受け取った後に、自己の表示画面の画像にかかる情報を画面情報として送信する画面情報送信ステップと、上記受信側端末装置によって実行され、上記送信側端末装置が送信した上記画面情報を受信して、この画面情報と上記第１の画像とを表示する表示ステップと、を備えるため、操作者は視点を移動するだけで、必要な他の端末装置の表示画面を見ることができ、仮想的な３次元空間による臨場感と相まって、非常に使いやすいインタフェースを提供することができる。
【０１３９】
さらに、上記受信側端末装置によって実行され、必要とする上記画面情報の大きさを要求スケールとして送信する要求スケール送信ステップと、送信側端末装置によって実行され、複数の受信側端末装置のそれぞれから受け取った複数の要求スケールのうちの１つの要求スケールを送信スケールとして選択するスケール選択ステップと、上記画面情報送信ステップは、自己の表示画面の画像にかかる情報を上記送信スケールに指定された大きさに変換して、上記画面情報として送信するため、必要に応じて上記画面情報の送信量を増減し、転送量を低く抑えることができる。
【０１４０】
他の端末装置の表示画面にかかる情報を画面情報として取得する画面通信部と、仮想的な３次元空間の視点を指示する視点指示部と、指示された上記視点を基に上記３次元空間を記述する３次元空間情報から２次元画像を生成し、この２次元画像中に上記他の端末装置を表す画像が含まれる場合に、その端末装置の上記画面情報を自己の端末装置の画面上に表示する画面表示部と、を備えため、視点指示部によって指示された視点から見た映像を画面表示部が合成して、端末装置のディスプレイ等に表示する。このとき、画面表示部は、上記映像中（又は視野中）に他の端末装置を表す仮想の物体が表示されている場合には、画面通信部を介して他の端末装置の表示画面にかかる情報である画面情報を取得し、この画面情報を自己の端末装置のディスプレイ等に表示する。このため、３次元空間上の視点を移動させるだけで他の端末装置の表示内容を確認することができ、また、端末装置とその表示画面の関係を現実に近い形で操作者に知らせることができる。そのため、各操作者が現実に共通の空間にいるような臨場感と、この臨場感から得られる直感的な操作を実現する非常に使用しやすいインターフェースを提供することができる。
【０１４１】
加えて、画面合成部は、画面情報取得判断部、画面情報依頼部、２次元画像生成部、及び、２次元画像合成部を備える。
画面情報取得判断部は、他の端末装置を表す画像が視野に入るかどうかを判断し、この判断に基づいて画面情報依頼部が当該端末装置に画面情報を依頼するため、各端末装置は自己の端末装置に表示しない画面情報の送付を依頼せず、画面情報の送受信量を低く抑えることができる。
また、２次元画像生成部は３次元空間情報から２次元画像を生成し、２次元画像合成部がこの２次元画像中に他の端末装置の画面情報を合成するため、仮想的な３次元空間を表現する２次元画像中で他の端末装置の表示画面を確認することができる。そのため、仮想的な３次元空間上の他の端末装置を表す画像とその表示画面との関係を明確に示すことができ、より使いやすいインタフェースを提供することができる。
【０１４２】
さらに、２次元画像合成部は、他の端末装置を表す画像が表示される位置に応じた位置に、画面情報を合成するため、他の端末装置とその画面情報との関連性をより明確に表現することができる。
【０１４３】
さらに、２次元画像合成部は、他の端末装置を表す仮想の物体の向いている方向に応じて、画面情報を斜めから見たように変換し合成するため、自己の端末装置に表示される映像は、現実の端末装置を見た場合に非常に近くなり、大きな臨場感を得ることができる。
【０１４４】
さらに、２次元画像合成部は、他の端末装置を表す画像の表示される大きさに応じて、表示される画面情報の大きさを変換するため、現実の端末装置を見た場合に非常に近くなり、仮想空間上の視点から他の端末装置までの距離を実感することができ、より大きな臨場感を得ることができる。
【０１４５】
さらに、２次元画像合成部は、変換後の上記画面情報の大きさが予め定められた大きさの範囲にない場合には、予め定められた大きさに変換するため、表示される画面情報が大きすぎたり小さすぎたりするために、見にくくなることを防止することができる。
【０１４６】
さらに、画面情報依頼部は、上記２次元画像合成部が合成する画面情報の大きさの情報を他の端末装置に送信するため、必要な大きさ画面情報を得ることができ、画面情報の伝送量を低く抑えることができる。
【０１４７】
さらに、キャラクタ選択部によって、２次元画像中に表示される複数の仮想の物体の中から少なくとも１つを第１のキャラクタとして選択し、関連情報検索部がこの第１のキャラクタに関連付けられた情報を関連情報として検索し、画面表示部がこの関連情報を表示するため、表示されている仮想の物体を選択するだけでその仮想の物体に関する情報を知ることができる。
【０１４８】
さらに、関連プログラム実行部は、選択した第１のキャラクタに関連するプログラムを起動し、実行するため、仮想的な３次元空間による臨場感と、使い勝手を同時に実現することができ、非常に使いやすいインタフェースを提供することができる。
【０１４９】
さらに、上記画面表示部から送られる画像を表示する携帯可能な表示器を備えるため、操作者が移動しても画面合成部より送信される映像を見ることができる。
視点指示部は、上記操作者の移動に伴って視点を変更するため、操作者の移動に連動し視点が移動し、視点の入力が非常に容易になる。
従って、上記表示部と上記視点指示部とを組み合わせることにより、３次元情報によって生成される仮想空間を、操作者はより現実に近いものに感ずることができ、大きな臨場感と使いやすいインタフェースを同時に実現することができる。
【０１５０】
加えて、３次元空間上の複数の仮想の物体によって構成される風景にかかる情報を１つの風景情報として、複数記憶する風景情報記憶部と、複数の上記風景情報の中から１つの風景情報を選択し選択風景情報として出力する風景選択部を備え、画面表示部により上記選択風景情報に基づいて２次元画像を生成するため、端末装置に表示される２次元画像を操作者の好みに応じて選択することができる。
【０１５１】
さらに、風景選択部は、自己の端末装置に上記風景情報が無い場合に、他の端末装置から上記風景情報を取得するため、３次元空間の風景情報の全てのパターンを自己の端末装置内に全て記憶している必要がない。そのため、端末装置に記憶する風景情報の記憶容量を少なくすることができる。
【０１５２】
また、複数の他の端末装置から画面情報の送信依頼を受付け、さらに必要な画面情報の大きさを要求スケールとして受け付ける画面情報依頼受付部と、複数の上記要求スケールのうちの１つを送信スケールとして選択する送信スケール選択手段と、自己の端末装置の表示画面の画像にかかる情報を上記送信スケールに指定された大きさに変換し、上記画面情報として出力する画面情報送信部と、を備えたため、他の端末装置の必要に応じて画面情報の転送量を増減して、転送量を低く抑えることができる。
【０１５３】
また、ポインタ送信ステップは、
２次元画像上の１点を指示するポインタの位置を検出するポインタ位置検出ステップ、上記位置から指示している上記３次元空間上の上記物体を検索するとともに、この物体の上記３次元座標を基にポインタの３次元座標を決定する３次元座標演算ステップ、を備えるため、ポインタの２次元座標から仮想的な３次元空間の３次元座標を導出することができる。そして、上記ポインタの３次元座標を他の端末装置へ送信するポインタ座標送信ステップで、他の端末装置へ自己のポインタの位置を知らせることができる。
ポインタ受信ステップは、
上記３次元空間の視点を第２の視点として指示する第２の視点指示ステップ、上記第２の視点を入力し、この第２の視点を基に上記３次元空間情報から第２の２次元画像を生成し、この第２の２次元画像中に、上記送信側端末装置にかかるポインタを上記第２の視点と上記他端末ポインタ情報から計算される位置へ合成する第２の画面合成ステップ、を備えるため、他の端末装置のポインタを自己の端末装置上に異なる視点（第２の視点）から表示することができる。
従って、送信側端末装置でポインタ送信ステップを実行し、受信側ステップでポインタ受信ステップを実行することにより、他の端末装置のポインタが３次元空間上のどこにあるかを知ることができ、仮想的な３次元空間による臨場感と相まって、非常に使いやすいインタフェースを提供することができる。また、各操作者が異なる視点を持ちながら、それぞれの視点に合わせて他の操作者のポインタを表示することができる。
【０１５４】
また、操作者の状態を表す情報である状態情報を他の端末装置から受信する状態情報受信部と、この状態情報に基づき上記操作者を表す仮想の物体の表示形態を変化させて表示する状態表示部と、を備えたため、実際には見ることのできない他の操作者の状態を表示形態の変化によって知ることができる。そのため、より臨場感のあるコミニュケーションをとることができ、遠隔地にいる操作者間であっても、現実に近い形で仮想会議を進行することができる。
【０１５５】
また、第１の端末装置によって実行され、第１の端末装置の操作者の身体変化を計測する身体変化計測ステップと、上記第１の端末装置によって実行され、この身体変化にかかる情報を状態情報として他の端末装置に送信する状態送信ステップ、第２の端末装置によって実行され、上記第１の端末装置から受信した状態情報に基づき、操作者を表す仮想物体の形態を変化させて表示する状態表示ステップと、を備えるため、例えば、操作者の脈拍、体温、脳波等の身体の変化を計測して、第１の端末装置にかかる操作者の感情情報を生成し、この感情情報を第２の端末装置へ送信して、第２の端末装置上に上記感情情報を反映した仮想の物体を表示するため、実際には見ることのできない他の端末装置操作者の感情を表示形態の変化によって知ることができる。そのため、より臨場感のあるコミニュケーションをとることができ、遠隔地にいる操作者間であっても、現実に近い形で仮想会議を進行することができる。また、操作者の顔の映像を撮影し、この画像を送信する場合に比べ、データ伝送量を極めて小さくすることができる。
【０１５６】
また、仮想的な３次元空間の視点を指示する視点指示部と、上記視点を入力し、この視点を基に上記３次元空間を記述する３次元空間情報から２次元画像を生成する画面合成部と、上記２次元画像中に含まれる複数の仮想の物体の中から少なくとも１つの上記仮想の物体を第１のキャラクタとして選択するキャラクタ選択部と、上記キャラクタ選択部による選択が行われた場合には、上記第１のキャラクタに関連する被制御部が接続された上記他の端末装置に対し、上記自己の端末装置内で発生する制御信号を送信する出力管理部と、３次元空間を視点から見たように表示する２次元画像により臨場感を得ることができ、加えて、操作者は自己の端末装置の２次元画像中に含まれるキャラクタを指示するだけで、他の端末装置の被制御部を操作することができるため、非常に使いやすいインタフェースを提供することができる。
【０１５７】
さらに、複数の上記端末装置間の優先順位を記憶する優先順位記憶部と、
上記他の端末装置から送信された入力信号と上記自己の端末装置内から送信された入力信号と、を上記優先順位に基づいて選択的に、上記自己の端末装置の被制御部へ出力する入力管理部とを備えるため、他の端末装置から自己の端末装置の被制御部を操作は、優先順位に基づいて決定され、操作をブロックしたり、優先的に実行したりすることを可能にすると共に、他の端末装置装置から操作されることができる。
【０１５８】
【図面の簡単な説明】
【図１】 この発明の実施の形態１による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図２】 この発明の実施の形態１による仮想教室システムの他の端末装置の画面情報を取得する手順を示すフローチャートである。
【図３】 この発明の実施の形態１による仮想教室システムの仮想教室ウィンドウを示した図である。
【図４】 この発明の実施の形態１による仮想教室システムの画面合成処理を説明するフローチャートである。
【図５】 この発明の実施の形態２による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図６】 この発明の実施の形態２による仮想教室システムの仮想教室ウィンドウを示した図である。
【図７】 この発明の実施の形態３による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図８】 この発明の実施の形態３による仮想教室システムの仮想教室ウィンドウを示した図である。
【図９】 この発明の実施の形態４による仮想教室システムの画面情報の送受信を説明するシーケンス図である。
【図１０】 この発明の実施の形態５による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図１１】 この発明の実施の形態５による仮想教室システムの関連情報表示の処理を説明するフローチャートである。
【図１２】 この発明の実施の形態６による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図１３】 この発明の実施の形態６による関連情報の最適化処理を説明するフローチャートである。
【図１４】 この発明の実施の形態６による関連情報表示位置の候補を説明する斜視図である。
【図１５】 この発明の実施の形態６による関連情報を表示した仮想教室ウィンドウを示す図である。
【図１６】 この発明の実施の形態７による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図１７】 この発明の実施の形態８による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図１８】 この発明の実施の形態９による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図１９】 この発明の実施の形態１０による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図２０】 この発明の実施の形態１０による仮想教室システムの感情判断部における感情判断基準を説明する図である。
【図２１】 この発明の実施の形態１１による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図２２】 この発明の実施の形態１２による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図２３】 この発明の実施の形態１３による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図２４】 この発明の実施の形態１４による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【符号の説明】
１ 端末装置、 ２ ネットワーク、 ３ 通信制御部、 ４ 共有アプリケーション部、 ５ 教室制御部、 ６ エージェント制御部、 ９ 画面制御部、 １０ 個人アプリケーション制御部、 １１ キーボード、 １２ マウス、 １３ 個人画面合成部、 １３ａ 画面情報向き変更部、 １３ｂ 個人画面表示位置自動修正部、 １４ ディスプレイ、 １７ 対応情報群、 １８ 関連情報、 １９ 関連情報、 ２０ 最適化処理部、 ２９ 個人アプリケーション管理部、 ３０ ポインタ制御部、 ３１ 視点方向測定機器、 ３２ 加速度測定機器、 ３３ 変換処理部、 ３４ 体感測定機器、 ３５ 感情判断部、 ３６ 表情変更部、 ３７ ３Ｄ風景情報群、 ３８ 風景選択部、 ３９ 風景管理部、 ４０ 入出力管理部、 ４１ 優先権情報
【発明の属する技術分野】
この発明は、仮想会議用端末装置並びに仮想会議システムの画像表示方法に関する。
【０００２】
【従来の技術】
例えば、特開平６−２７４５９６「仮想会議システム用端末装置及び仮想会議システム」は、複数の端末装置をネットワークで接続し、各端末装置間で音声データ、各端末装置の操作者を表すアニメーションキャラクタの動作状態のデータを送受信し合うことで、発言のための挙手、発言者を表すアニメーションキャラクタの口を動作させるなどして、互いの意志の疎通を図り、テレビ会議システムのように膨大な画像データを送信せずに遠隔地間における会議を可能にするものである。
【０００３】
また、情報処理学会第４７回（平成５年後期）全国大会 講演論文集（分冊１）p.17-18で示された「グループウェアによる授業支援システム」（日本大学短期大学部、猪井一代、荒関仁志）では、教師と複数の学生が通信手段で接続した端末装置を介して授業を行う場合に、教師用、学生用の各端末装置に接続した表示装置上に同じ画面が表示され、学生の使用する端末装置に接続した表示装置には、マウス等の指示手段で入力した結果の情報であるポインタの指示情報が表示され、教師用の端末装置に接続した表示装置には、教師が指示手段で入力した結果の指示情報と、全ての学生の利用する端末装置に接続した表示装置に表示される指示情報が合わせて表示される授業支援システムが開示されている。
【０００４】
また、特開平２−１９５７８７「映像通信装置」では、複数の端末装置間で共通の仮想空間のデータを持ち、各端末装置に据え付けられたカメラにより撮影した映像から人の映像を抽出し、この抽出した映像を上記仮想空間のデータ内に埋め込んで表示するものが開示されている。この映像通信装置では、同一空間を背景として、相手と自分が同一空間にいるように表示され、各端末装置に表示される映像は、それぞれの視点から見たような映像となっている。
【０００５】
【発明が解決しようとする課題】
上記のような従来の仮想会議システムでは、空間を２次元的に把握し、単純なキャラクタで表示するために、操作者は現実には、現実の会議や教室でうけるような臨場感を得ることができなかった。また、仮想会議室画面の黒板等に映し出されている映像は、全員が共通に見ることができるが、各端末装置に表示されている表示画面を他の端末装置から見ることができなかった。また、各操作者が現実に共通の空間にいるような臨場感と、この臨場感に基づく直感的な操作を実現する使いやすいインターフェースを備えるものではないという問題があった。
【０００６】
また、上記のような従来の授業支援システムでは、各端末装置で共通のウィンドウを表示し、各操作者の操作する複数のポインタを共通のウィンドウに同時に表示することによって、コミュニケーションを図ることはできても、ポインタの移動は単に２次元的に行われるため、仮想的な３次元空間を構成するシステムでは、３次元空間を示すことができなかった。また、各操作者が異なる視点を持ちながら、それぞれの視点に合わせて他の操作者のポインタを表示することができないという問題があった。
【０００７】
また、上記のような従来の映像通信装置では、カメラから取り込んだ映像を仮想空間上に合成することができても、映像を送信する送信先の端末装置が常に固定しているため、複数の端末装置を接続する場合には、その台数に比例して各端末装置が送信する画像データの送信量が増加し、多くの端末装置を接続するものには適さないという問題があった。
【０００８】
この発明は、かかる問題点を解決するためになされたもので、臨場感のある仮想教室システムを構築すると共に、そのために必要な画像伝送量を低く抑え、使いやすいインタフェースを提供することを目的としている。
【０００９】
【課題を解決するための手段】
この発明の画像表示方法においては、
受信側端末装置によって実行され、仮想的な３次元空間を構成する３次元情報に基づき、指定された視点より上記３次元空間を見たときの２次元画像を第１の画像として生成する画像生成ステップと、上記受信側端末装置によって実行され、上記第１の画像に端末装置を表す画像が含まれるときに、その端末装置を送信側端末装置とし、この送信側端末装置に対し画面情報の送信を依頼する信号を送信する画面情報送信依頼ステップと、上記送信側端末装置によって実行され、上記信号を受け取った後に、自己の表示画面の画像にかかる情報を画面情報として送信する画面情報送信ステップと、上記受信側端末装置によって実行され、上記送信側端末装置が送信した上記画面情報を受信して、この画面情報と上記第１の画像とを表示する表示ステップと、を備えたものである。
【００１０】
上記受信側端末装置によって実行され、必要とする上記画面情報の大きさを要求スケールとして送信する要求スケール送信ステップと、上記送信側端末装置によって実行され、複数の受信側端末装置のそれぞれから受け取った複数の要求スケールのうちの１つの要求スケールを送信スケールとして選択するスケール選択ステップと、上記画面情報送信ステップは、自己の表示画面の画像にかかる情報を上記送信スケールに指定された大きさに変換して、上記画面情報として送信することを特徴とするものである。
【００１１】
この発明にかかる端末装置においては、
複数の端末装置を接続し、それらの端末装置間で画像データを送受信することによって仮想的な会議を実現する仮想会議システムの仮想会議用端末装置において、他の端末装置の表示画面にかかる情報を画面情報として取得する画面通信部と、仮想的な３次元空間の視点を指示する視点指示部と、指示された上記視点を基に上記３次元空間を記述する３次元空間情報から２次元画像を生成し、この２次元画像中に上記他の端末装置を表す画像が含まれる場合に、その端末装置の上記画面情報を自己の端末装置の画面上に表示する画面表示部と、を備えたものである。
画面情報は、２次元の画像そのものであってもよいし、２次元の画像を生成することのできるあらゆるデータ、例えば、ポリゴン等で構成した仮想の３次元空間の座標データ、線、面等を描くために必要な座標データ又は命令、或いはアプリケーション名とそのウインドウ位置及びそのアプリケーションの持つデータ等も含まれる。
３次元空間情報は、仮想的な３次元空間を表現するデータであり、例えば、ポリゴンの形状とその位置、ワイヤーフレームのように表現した座標データ等がある。
【００１２】
上記画面表示部は、上記視点を入力し、この視点から上記３次元空間を見た視野の中に上記端末装置を表す画像が入るかを判断し、この視野の中に入る上記端末装置を視野端末とする画面情報取得判断部と、上記視野端末に対し、上記画面情報を送信するように依頼する画面情報依頼部と、上記視点を基に上記３次元空間情報から２次元画像を生成する２次元画像生成部と、上記画面通信部から上記画面情報を取得し、この画面情報を上記２次元画像中に合成して表示する２次元画像合成部と、を備えたものである。
【００１３】
上記２次元画像合成部は、上記視野端末を表す画像が表示される位置に応じた位置に、上記画面情報を合成することを特徴とすることを特徴とするものである。
上記位置は、端末装置に表示される２次元画像上の位置である。
【００１４】
上記２次元画像合成部は、上記視野端末を表す画像にかかる仮想の物体の向いている方向に応じて、上記画面情報を斜めから見たように変換し合成することを特徴とするものである。
仮想の物体は、仮想の３次元空間上に配置された仮想の物体である。例えば、端末装置の他には、机、椅子、又は人を表す物体がある。
上記方向は、３次元空間上の方向である。
【００１５】
上記２次元画像合成部は、上記視野端末を表す画像の表示される大きさに応じて、上記画面情報の大きさを変換し合成することを特徴とするものである。
【００１６】
上記２次元画像合成部は、変換後の上記画面情報の大きさが予め定められた大きさの範囲にない場合には、予め定められた大きさに変換することを特徴とするものである。
【００１７】
上記画面情報依頼部は、上記２次元画像合成部が合成する画面情報の大きさの情報を他の端末装置に送信することを特徴とするものである。
【００１８】
上記２次元画像中に表示される複数の仮想の物体の中から少なくとも１つを第１のキャラクタとして選択するキャラクタ選択部と、上記第１のキャラクタに関連付けられた情報を関連情報として検索する関連情報検索部と、上記画面表示部は、上記関連情報と上記画面情報とを表示することを特徴とするものである。
【００１９】
上記関連情報に基づいて、選択した上記仮想の物体に関連するプログラムを起動し、実行する関連プログラム実行部を備え、上記画面表示部は、上記関連するプログラムの処理結果を表示することを特徴とするものである。
【００２０】
上記画面表示部から送られる画像を表示する携帯可能な表示器を備え、上記視点指示部は、自己の端末装置の操作者の移動に伴って視点を変更することを特徴とするものである。
視点は、位置、又は、方向、若しくは、位置及び方向によって定める。
【００２１】
３次元空間上の複数の仮想の物体によって構成される風景にかかる情報を１つの風景情報として、複数記憶する風景情報記憶部と、複数の上記風景情報の中から１つの風景情報を選択し選択風景情報として出力する風景選択部を備え、上記画面表示部は、上記選択風景情報に基づいて上記２次元画像を生成することを特徴とするものである。
風景情報は、３次元空間を構成する仮想の物体の情報であり、例えば、物体の形状、物体の表面の模様であるテクスチャ、又は、物体の位置等にかかる情報である。
【００２２】
上記風景選択部は、自己の端末装置に上記風景情報が無い場合に、上記他の端末装置から上記風景情報を取得することを特徴とするものである。
【００２３】
この発明にかかる端末装置においては、
複数の他の端末装置から画面情報の送信依頼を受付け、さらに必要な画面情報の大きさを要求スケールとして受け付ける画面情報依頼受付部と、複数の上記要求スケールのうちの１つを送信スケールとして選択する送信スケール選択手段と、自己の端末装置の表示画面の画像にかかる情報を上記送信スケールに指定された大きさに変換し、上記画面情報として出力する画面情報送信部と、を備えたものである。
【００２４】
この発明の画像表示方法においては、
送信側端末装置によって実行され、仮想的な３次元空間の視点を第１の視点として指示する第１の視点指示ステップ、上記第１の視点を入力し、この第１の視点を基に、物体の３次元座標を含む３次元空間情報から第１の２次元画像を生成する第１の画面合成ステップ、上記２次元画像上の１点を指示するポインタの位置を検出するポインタ位置検出ステップ、上記位置から指示している上記３次元空間上の上記物体を検索するとともに、この物体の上記３次元座標を基にポインタの３次元座標を決定する３次元座標決定ステップ、上記ポインタの３次元座標を他の端末装置へ送信するポインタ座標送信ステップ、を備えたポインタ送信ステップと、
受信側端末装置により実行され、上記ポインタ送信ステップにより送信されたポインタの３次元座標を他端末ポインタ座標として受信するポインタ座標受信ステップ、上記３次元空間の視点を第２の視点として指示する第２の視点指示ステップ、上記第２の視点を入力し、この第２の視点を基に上記３次元空間情報から第２の２次元画像を生成し、この第２の２次元画像中に、上記送信側端末装置にかかるポインタを上記第２の視点と上記他端末ポインタ情報から計算される位置へ合成する第２の画面合成ステップ、を備えたポインタ受信ステップと、
を備えたものである。
【００２５】
この発明にかかる仮想会議用端末装置においては、
操作者の状態を表す情報である状態情報を他の端末装置から受信する状態情報受信部と、この状態情報に基づき上記操作者を表す仮想の物体の表示形態を変化させて表示する状態表示部と、を備えたものである。
感情情報は、例えば、人間の哀、怒、通常などの感情を表す情報である。
仮想の物体の表示形態の変化は、例えば、人型のキャラクタの表情を変化させ、或いは、キャラクタの動きや形状等を変化させることによって行う。
【００２６】
この発明にかかる仮想会議システムの画像表示方法においては、
第１の端末装置によって実行され、第１の端末装置の操作者の身体変化を計測する身体変化計測ステップと、上記第１の端末装置によって実行され、この身体変化にかかる情報を状態情報として他の端末装置に送信する状態送信ステップ、第２の端末装置によって実行され、上記第１の端末装置から受信した状態情報に基づき、操作者を表す仮想物体の形態を変化させて表示する状態表示ステップと、を備えたものである。
操作者の身体変化は、例えば、脈拍、体温、脳波、又は、発汗による皮膚表面の電気抵抗の変化等を測定してもよいし、或いは、ＣＣＤカメラを用いて操作者の顔を撮影してデジタル画像を取得し、パターン認識により顔の表情を判別することによって計測してもよい。
【００２７】
他の端末装置内にあって外部から制御されることにより所定の機能を発揮する被制御部を、自己の端末装置から制御する仮想会議用端末装置において、仮想的な３次元空間の視点を指示する視点指示部と、上記視点を入力し、この視点を基に上記３次元空間を記述する３次元空間情報から２次元画像を生成する画面合成部と、上記２次元画像中に含まれる複数の仮想の物体の中から少なくとも１つの上記仮想の物体を第１のキャラクタとして選択するキャラクタ選択部と、上記キャラクタ選択部による選択が行われた場合には、上記第１のキャラクタに関連する被制御部が接続された上記他の端末装置に対し、上記自己の端末装置内で発生する制御信号を送信する出力管理部と、を備えたものである。
【００２８】
複数の上記端末装置間の優先順位を記憶する優先順位記憶部と、上記他の端末装置から送信された入力信号、又は、上記自己の端末装置内から送信された入力信号、を上記優先順位に基づいて選択的に、上記自己の端末装置の被制御部へ出力する入力管理部とを備えたことを特徴とするものである。
【００２９】
【発明の実施の形態】
この発明は、仮想会議システムに用いられる端末装置並びに仮想会議システムの画像表示方法に関するものである。この仮想会議システムは、複数の端末装置のそれぞれの操作者が、１つの空間にいるのと同じようにコミュニケーションを図ることができることを目的としており、用途は狭い意味での会議に限られず、例えば、遠隔地にある端末装置を接続して生徒と教師が授業を行うと行ったことにも用いることができる。ここでは、仮想会議システムの一例として、上記の仮想的な教室を実現する仮想教室システムを説明する。
【００３０】
実施の形態１．
図１は、この発明の実施の形態１による仮想教室システムの１つの端末装置を説明する機能ブロック図である。図１において、１は仮想教室システムにネットワーク２を介して接続される複数の端末装置のうちの１つであり、２は端末装置１と複数の他の端末装置１とを接続し、これらの端末装置１間のデータの送受信に用いられるネットワークである。端末装置１は、符号３〜１６によって表される複数の機能ブロックにより構成されており、３はネットワーク２に接続され他の端末装置１と相互にデータ等を通信するための制御を司る通信制御部であり、教室制御部５、エージェント制御部６、音声入力処理部７、音声出力制御部８及び画面制御部９とも接続されている。４は各端末装置１において共有して使用されるアプリケーションを実行する共有アプリケーション部であり、例えば、教室内において出席者が共有する共有黒板等へ、文字や図形を書き込んだり、消去したり等の処理を行うプログラムを実行する。５は複数の操作者の利用する端末装置１間上で生成される仮想教室（以下、教室という）の生成終了や出席者の入退室等の仮想教室の運営を制御するための教室制御部である。
【００３１】
６は教室の風景が表示された仮想教室ウィンドウの制御と仮想教室ウィンドウに各操作者を表わすアニメーションキャラクタ（以下、エージェントという）の表示などを制御するためのエージェント制御部６である。このエージェント制御部６にはキーボード１１やマウス１２から操作者の指示を受け取り各エージェントを動作させ、また、それらエージェントの位置情報等や、仮想教室内における視点位置の情報等を指示する働きがある。７はマイクロフォン１５からの音声をデジタル信号に変換しエージェント制御部６、通信制御部３に出力する音声入力処理部、８は他の端末装置１から受信したデジタル音声信号をアナログ信号に変換し、スピーカー１６を通じて出力する音声出力処理部である。９は自己の端末装置１の画面情報を他の端末装置に通信制御部３を介して送信し、また、他の端末装置１の画面を自己の画面に合成して表示するために他の端末装置１から画面情報を受信する画面制御部、１０は各端末装置１で操作者が任意に利用する個人アプリケーションを実行する個人アプリケーション部、１３はエージェント制御部６から位置視点情報、各エージェントや各物体の形状・位置等を表した画面位置情報を受け取り、これらの位置情報に基づいて仮想教室ウィンドウを生成し、共有アプリケーション部４、個人アプリケーション部１０からの画面情報、画面制御部９から送られる他の端末装置１の画面情報を合成し、ディスプレイ１４に表示する個人画面合成部である。
【００３２】
図２は、他の端末装置１の画面情報を取得して自己の表示画面と合成する処理を、２つの端末装置１ＡとＢについて説明したものである。
図２において、ステップＳ１〜Ｓ３及びステップＳ８〜Ｓ１０は、端末装置Ａで行われる処理、ステップＳ４〜Ｓ７は端末装置Ｂで行われる処理を示している。
【００３３】
次に、図１と図２を用いて、この発明による仮想教室システムの画面表示の動作を説明する。
各端末装置１において、ディスプレイ１４に表示される表示画面は仮想教室ウィンドウと個人アプリケーションウィンドウに分けられる。仮想教室ウィンドウは、仮想教室空間を表示するウィンドウであり、個人アプリケーションウィンドウは各端末装置１で各操作者が任意に利用する個人アプリケーションを表示するものである。図３は、ディスプレイ１４に表示する表示画面を説明する図であり、１７は仮想教室空間における各エージェントや物体の位置関係を示したものであり、１７ａはある操作者に該当するエージェントの視点を表している。１８はディスプレイ１４に実際に表示される仮想教室ウィンドウであり、仮想教室空間が１７のような位置関係を持っているときに、視点１７ａから見た仮想空間を表示している。１９ａは生徒Ａが利用している端末装置１のディスプレイ１４に表示されている画面を、仮想空間ウィンドウ上で表示している部分であり、１９ｂは１９ａと同様なものであるが、生徒Ｂが使用している端末装置１の画面を表示している。また、各エージェントや机等の物体はポリゴンによって表現している。
【００３４】
ここで、このような表示を可能とする仮想教室システムの動作を説明するため、ネットワーク２上に接続された複数の端末装置１のうちから端末装置Ａと端末装置Ｂを例にとり、各端末装置１間の画面情報の送受信について説明する。端末装置Ａにおいて、端末装置Ａを操作する操作者Ａがキーボード１１やマウス１２等を操作して操作者Ａを示すエージェントを動かすと、ディスプレイ１４に表示される仮想教室空間の画面表示もそのエージェントの位置及び顔の向き応じて変化する。このとき、表示されている仮想教室空間内に端末装置Ｂを示すアニメーションキャラクタが表示されると、図２のステップＳ１からの他端末画面情報取得処理がスタートする。ただし、端末装置Ｂのディスプレイを表すアニメーションキャラクタが、操作者Ａから見て後ろを向いている場合のように、その端末装置１の表示画面が見えない状態のときはステップＳ１からの処理を開始する必要はない。
【００３５】
ステップＳ１は、エージェント制御部６が位置視点情報を画面制御部９へ送信する処理である。
位置視点情報とは、操作者Ａを表すエージェントについての位置、顔の向き等の状態を表わす情報であり、仮想教室ウィンドウに表示する視野を決定するために用いることができる。
エージェント制御部６ではそれ以降この位置視点情報を画面制御部９へ送り続ける。ここでは、操作者Ａを表すエージェントから他の端末装置１の表示画面が見える状態のときに、位置視点情報を画面制御部９に送信することとしているが、このような状態であることを条件とせず、絶えず送信するようにしてもよい。
【００３６】
これは、エージェント制御部６が位置視点情報を送信して、画面制御部９がこの位置視点情報を基にどの端末の表示画面が必要かを判断する場合であるが、他の方法として、エージェント制御部６がどの端末装置１の表示画面が必要かを判断し、各端末装置１にそれぞれ名付けられたＩＤを送信するようにしてもよい。この場合、画面制御部９は指定された端末装置１に画面情報送付依頼を送信するので、仮想教室空間内の各端末装置１の位置関係を知っている必要も、それを基にどの端末装置１の画像情報が必要かを判断する必要も無くなる。また、後述の実施の形態４のように、必要な画面情報の大きさが変化する場合には、この大きさも合わせて送信する。
なお、位置視点情報は仮想教室ウィンドウに仮想教室空間を表示するため必要であるので、エージェント制御部６から個人画面合成部１３へは絶えず送信されている。
【００３７】
次に、ステップＳ２に移る。ステップＳ２は、位置視点情報を受け取った画面制御部９が、画面情報を取得したい端末装置１を指定して、画面情報送付依頼を通信制御部３へ送信する処理である。
画面情報とは、自己の端末装置１又は他の端末装置１のディスプレイ１４に表示される画像に関するデータであり、例えば、画像のビットマップデータ、このビットマップデータを圧縮したもの、或いは、ＪＰＥＧ、ＭＰＥＧのような方法で変換されたデータがある。
画面情報送付依頼とは、他の端末装置１に画面情報の送信を依頼する情報である。この画面情報送付依頼を受けとった端末装置１は自己の画面情報を、ネットワーク２を介してブロードキャスト（多数の端末装置１に向けて送信）する。
続いてステップＳ３に移る。
【００３８】
ステップＳ３は、画面制御部９から画面情報送付依頼を受けて、ネットワーク２を介して他の端末装置１に画面情報送付依頼を送信する処理である。
ここでは、例えば、表１のようなパケットを送信する。送信先ＩＤには送付依頼をする（パケットを送信する）端末装置１に割り当てられたＩＤを指定する（例えば、端末装置ＢのＩＤである「Ｂ」を指定する）。送信元ＩＤには自己の端末装置１に割り当てられたＩＤを指定する（例えば、端末装置ＡのＩＤである「Ａ」を指定する）。種別にはパケットの種類に応じた識別子を指定する（例えば、画面情報送付依頼を表す「０１」を指定する）。なお、この表では通信制御部３で付加されるパケットの伝送に必要な他のデータは省略しているが、実際にパケットを送信する場合にはそれらのデータも付加され、完全なパケットとしてネットワーク２上に送信される。
ステップＳ３にて送信された画面情報送付依頼のパケットが端末装置Ｂの通信制御部３によって受信されるとステップＳ４に移る。
【００３９】
【表１】
ステップＳ４は、画面情報送付依頼のパケットを受信し、画面制御部９に対して画面情報送付依頼を出力する処理である。
通信制御部３は、自己の端末装置１から他の端末装置１へ必要なデータを出力すると同時に、ネットワーク２上に送信先ＩＤが自己の端末装置１のＩＤであるパケットがないか、或いはブロードキャストのパケットがないかを監視している。そして、自己の端末装置１に宛てられたパケットを発見すると、そのパケットの種別に応じて教室制御部５、エージェント制御部６、画面制御部９等にそのパケットに含まれるデータを出力する。例えばここでは、種別を見ることにより、受け取ったパケットが画面情報依頼パケットであることが分かるので、画面制御部９に対して画面情報送付依頼を出力する。
画面制御部９は画面情報送付依頼を受け取ると、画面情報送付依頼を受けている端末装置１の数を表すカウンタを１だけ増加させる。このカウンタの値が１以上である場合に、ステップＳ５からステップＳ７の画面情報送信処理が実行される。
このステップＳ４が終了すると、次のステップＳ５に移る。
【００４１】
ステップＳ５は、画面制御部９が個人画面合成部１３から画面情報を取得する処理である。
例えば、端末装置Ｂのディスプレイ１４に表示されている表示画面のイメージデータを画面情報として、個人画面合成部１３より取得する。この画面情報には仮想空間ウィンドウも、個人アプリケーションウィンドウもイメージデータとして含まれている。
【００４２】
次にステップＳ６に移る。
ステップＳ６は、他の端末装置１に画面情報を提供するために、ステップＳ５で取得した画面情報を通信制御部３へ送信する処理である。この処理が終了すると、次のステップＳ７に移る。
ステップＳ７は、画面制御部９より受け取った画面情報をパケットにしてネットワーク２上に送信する処理である。
このステップＳ７では、例えば表２のようなパケットが送信される。表２において、送信先ＩＤ、送信元ＩＤ、種別は上述の表１で説明したものと同様なものである。これらの各フィールドには、送信先ＩＤには送信先の端末装置１を特定しないで１つ又は複数の端末装置１に送信（ブロードキャスト）することを意味するＩＤである「０」、送信元ＩＤには自己の端末装置１のＩＤである「Ｂ」、種別には画面情報パケットであることを意味する「０２」を格納する。次に、その他のフィールドについて説明する。レートは１秒間に表示する画面数を表し、例えば、１秒間に６０画面を表示するように画面情報を送信している場合は、「３０」を格納する。サイズは、画面情報パケット中に含まれる画面情報の画面の大きさを表し、例えば、横３００ドット、縦２００ドットの大きさを持つ場合には「３００，２００」を格納する。イメージデータは送信元端末装置１の画面情報である画像のデータで、例えば、端末装置Ｂのディスプレイ１４に表示されているカラー画像、すなわち３００×２００の大きさを持つデジタルデータを格納する。ここで、イメージデータが圧縮されたデータである場合には、伝送効率がよく、多くの端末装置１をネットワーク２上に接続している場合にも各端末装置１間の通信をスムーズに行うことができる。
なお、この表では通信制御部３で付加されるパケットの伝送に必要な他のデータは省略しているが、実際にパケットを送信する場合にはそれらのデータも付加され、完全なパケットとしてネットワーク２上に送信される。
【００４３】
【表２】
上記のステップＳ５〜７では、画面情報送付依頼を受けてから他の端末装置１に画面情報を送信する処理までを説明したが、一旦、画面情報送付依頼パケットを受信した後は、他の端末装置１から画面情報送付終了情報を受け取るまで、所定の転送レート（例えば、１秒間に３０画面分）で画面情報パケットを送信し続ける。また、複数の端末装置１から画面情報送付依頼を受けている場合には、画面情報送付依頼を受けた全ての端末装置１から画面情報送付終了情報を受け取るまでは、画面情報を送信し続ける。この制御は画面制御部９で行われる。
ここでは、２つの端末装置１間の画面情報の送受信を説明しているが、より多くの端末装置１間で画面情報を送受信している場合には、１つの端末装置１の画面情報パケットが送信された後、他の端末装置１の画面情報パケットが送信されるというように、時分割的に複数の端末装置１の画面情報を送受信可能であることはいうまでもない。
【００４５】
次に、端末装置Ａ側の処理に移って、ステップＳ８の処理が始まる。
ステップＳ８は、通信制御部３による画面情報パケットの受信処理である。
通信制御部３は常にネットワーク２上のパケットを監視し、自己の端末装置１に宛てられたパケットがないかどうか見ている。この通信制御部３は送信先ＩＤに自己の端末装置１を直接指定したパケットのような場合だけでなく、送信先ＩＤにブロードキャスト（例えば「０」）を意味するＩＤを発見した場合のように間接的に指定された場合にも、そのパケットを取得して種別に応じた動作を行う。
ステップＳ８は、受信したパケットの種別が画面情報パケット（「０２」）である場合で、画面制御部９へ画面情報パケットにかかるデータを送信する。ステップＳ８の次はステップＳ９に移る。
【００４６】
ステップＳ９は、他の端末装置１からの画面情報であって自己の端末装置１に表示するものを選択し、個人画面合成部１３へ出力する処理である。この処理は画面制御部９によって行われる。
通信制御部３が受け取る画面情報パケットには、表示する画面情報と表示しない画面情報が存在する。これは、各端末装置１によって仮想空間の視野が異なるため、ある端末装置１には見える画面が、他の端末装置１には見えないといったことが起きるからである。画面情報を送信する側の端末装置１は１つ以上の端末装置１が画面情報を必要とする場合は、その画面情報をブロードキャストするので、受信する側の端末装置１は必要な画面情報と必要でない画面情報を区別する必要がある。従って、自己の端末装置１が画面情報送付依頼をした端末装置１から送られてきた画面情報のみを取得して、個人画面合成部１３に送信する。個人画面合成部１３へは、画像を再生するために必要な、送信元ＩＤ、レート、サイズ、イメージデータを送信する。
【００４７】
続いて、ステップＳ１０に移る。
ステップＳ１０は、個人画面合成部１３が表示画面中に他の端末装置１からの画面情報を合成する場合である。
まず、図３の仮想教室ウィンドウ１８において、端末装置１の表示画面１９ａ・ｂ以外の画像は、エージェント制御部６から送られてくる位置視点情報、各エージェントや各物体の形状・位置等を表した画面位置情報を基に生成する。そして、表示画面１９ａ・ｂの部分は、ステップＳ９で受け取った他の端末装置１の画面情報を用いて、当該端末装置１のディスプレイ１４を表すポリゴンの大きさと、位置に合わせて表示する。したがって、仮想教室空間上で視点から遠い端末装置１の画面は、遠くにあるように表示され、そのサイズも距離に従って変化する。
【００４８】
以上で他の端末装置１から画面情報を取得し、自己の端末装置１の画面表示に他の端末装置１の画面表示を合成する処理の説明が終了した。この例でいう端末装置Ｂの画面が端末装置Ａの仮想教室ウィンドウに表示されている間、端末装置Ａと端末装置Ｂとの間で画面情報の送受信が行われる。従って、端末装置Ｂの実際のディスプレイ１４に表示されている画面表示が変化すると、端末装置Ａの仮想教室ウィンドウ内に表示されている端末装置Ｂの画面もそれに応じて変化する。
【００４９】
他の端末装置１の画面が仮想教室ウィンドウの視野から外れたとき、すなわち仮想ウィンドウに表示しなくなったときは、画面情報の送受信が必要なくなるので画面情報送信依頼の終了を通知する。この通知は、依頼元の端末装置１が依頼先の端末装置１に画面情報送付終了情報を送信することによって行う。画面情報送付終了情報は、表３に示したような構造を持つパケットである。表３において、送信先ＩＤ、送信元ＩＤ、種別は、表１におけるものと同様のものであり、送信先ＩＤに画面情報が必要でなくなった端末装置１のＩＤ（例えば、端末装置Ｂの場合は「Ｂ」）、種別には画面情報送付終了情報であることを表す「０３」を格納して送信する。なお、この表では通信制御部３で付加されるパケットの伝送に必要な他のデータは省略しているが、実際にパケットを送信する場合にはそれらのデータも付加され、完全なパケットとしてネットワーク２上に送信される。また、仮想ウィンドウの視野から外れたか否かの判断は、画像制御部９によって行われ、画面情報終了送付情報は画像制御部９から通信制御部３とネットワークを介して送信される。
【００５０】
【表３】
この画面情報送付終了情報パケットを受け取った送信先の端末装置１（ここでいう、端末装置Ｂ）の通信制御部３は、画面制御部９に画面情報送付終了情報を送信する。画面制御部９は画面情報送付終了情報を受け取ると、（図２のステップＳ４にて説明した）画面情報送付依頼を受けている端末装置１の数を表すカウンタを１だけ減らす。その結果、カウンタが０となったときはステップＳ５〜７で説明した画面情報送信処理は行われなり、表２に示した画面情報パケットの送信がなくなる。カウンタが１以上であるときは、まだ、当該端末装置１の画面情報を必要としている他の端末装置１が存在していることになるので、画面情報送信処理を行う。
【００５２】
この実施の形態１によれば、仮想教室ウィンドウ内に表示されているディスプレイの画面上に、他の端末装置１の表示画面を表示することができるため、操作者は視点を変えるだけで見たい他の端末装置１のディスプレイ表示内容を確認でき、分かりやすく使用しやすいユーザーインターフェースを提供することができる。
【００５３】
（ステップＳ９：画面合成処理の詳細）
ここでは、図２のステップＳ９に示された画面合成処理の詳細を図４を用いて説明する。
まず、図２のステップＳ９までの処理にて他の端末装置１から画面情報を取得する。その後、この画面情報と自己の端末装置１の表示画面とを合成してディスプレイ１４に表示するために、ステップＳ１０１からの処理を行う。
【００５４】
ステップＳ１０１では、エージェント制御部６から位置視点情報と画面位置情報を取得する。
次に、ステップＳ１０２では、位置視点情報と画面位置情報を基に、仮想教室ウィンドウに表示する仮想教室画面Ｗを生成する。まず、位置視点情報に示された仮想空間中の位置と方向から、仮想教室ウィンドウに表示される範囲（即ち、仮想空間上の視野）を特定する。そして、画面位置情報から各エージェントや机、端末装置等の物体の位置、置かれている方向等を特定し、３次元の仮想空間を生成する。最後に、この３次元の仮想空間を特定した位置と方向から見た画像を生成する。
【００５５】
続いて、ステップＳ１０３に移り、仮想教室画面Ｗ内に表示されるディスプレイの大きさＳと位置Ｐを特定する。
ここでは、１つの端末装置のディスプレイを選択して、そのディスプレイについて大きさＳと位置Ｐを特定する。このステップＳ１０３からステップＳ１０７まで実行し、１つの端末装置のディスプレイについて処理が終了し、再びこのステップＳ１０３に戻ってきたときは、既に処理された端末装置のディスプレイは選択されないようにする。
このステップＳ１０３でいうディスプレイは、実在のディスプレイではなく、仮想教室ウィンドウに表示されるディスプレイのキャラクタである。また、大きさＳは、この表示されるディスプレイの大きさであり、仮想空間上の視点からディスプレイまでの距離に応じて、その大きさが変化する。位置Ｐはディスプレイが表示される仮想教室ウィンドウ上の位置であり、大きさＳ、位置Ｐともに位置視点情報、画面位置情報から容易に計算することができる。次に、ステップＳ１０４に移る。
【００５６】
ステップＳ１０４は、画面制御部９から他の端末装置１の画面情報Ｉを取得する処理である。
次のステップＳ１０５は、画面情報ＩをステップＳ１０３で計算した大きさＳに拡大・縮小する。
【００５７】
続いて、ステップＳ１０６を実行する。
ステップＳ１０６は、画面情報ＩをステップＳ１０２で生成した仮想教室画面Ｗ中の位置Ｐに合成する。
ここでは、図３に示したように、仮想教室画面Ｗに画面情報Ｉを上書きするようにして、表示する。このようにすることで、図３の仮想空間１７のようにディスプレイが生徒Ａの頭によって隠れてしまうような場合でも、ディスプレイの表示画面を確認することができる。ただし、ディスプレイが他の物体によって隠れるように表示されてもかまわない。次にステップＳ１０７に移る。
【００５８】
ステップＳ１０７は、仮想教室ウィンドウ内に表示される端末装置のディスプレイであって、画面合成処理が必要なもの全てについて処理が終了したかを判定する。まだ、終了していないときはステップＳ１０３に戻り、次の端末装置の画面情報について画面合成処理を行う。一方、終了したときはステップＳ１０８に移り画面合成処理を終了する。
【００５９】
実施の形態２．
実施の形態１では、仮想教室ウィンドウ上に表示される他の端末装置１の表示画面は、図３に示したように常に視点側を向いている２次元的イメージであった。この実施の形態２では、より臨場感のある空間を表現するために図６に示すような、３次元的なイメージで他の端末装置１の画面を表示できる仮想教室システムである。以下に、実施の形態２の仮想教室システムについて説明する。
【００６０】
図５は、この仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図５において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図５の１３ａは、仮想教室空間の中で視点から表示画面が見える角度を判断し、それに合わせた画面情報に変換する画面情報向き変換部である。
【００６１】
実施の形態１において説明したように、他の端末装置１から画面情報を受け取った画面制御部９は、受け取った画面情報を画面情報向き変更部１３ａへ送る。この画面情報を受け取った画面情報向き変換部１３ａでは、エージェント制御部６からの位置視点情報と画面位置情報に基づき、仮想教室ウィンドウで表示している仮想教室空間の中で、その画面情報にかかる他の端末装置の表示画面がどの角度から見えるかを計算する。そして、この角度に合わせてあたかもその位置視点から見ているような形に画面情報を変換し、個人画面合成部１３へ送る。この変換後の画面情報を受け取った個人画面合成部１３では、この画面情報を、表示内容である仮想教室空間の中の端末装置Ｂの表示画面の部分に合成する。この合成は図４の画面合成処理と同様に行われ、合成した画像は最終的にディスプレイ１４に表示される。
【００６２】
以上は、個人画面合成部１３外に設けた、画面向き変更部１３ａにて画面の向きを変更したが、図４のステップＳ１０５にて、画面情報Ｉを大きさＳに拡大／縮小すると同時に、上述のように画面の向きを変更したような画像を生成するようにしてもよい。
【００６３】
また、仮想空間上のディスプレイはポリゴン等で表現されているが、このポリゴンの一面に画面情報をマッピングしてもよい。即ち、画面情報の大きさをマッピングするポリゴンの面の大きさに合わせて変換し、テクスチャとしてそのポリゴンの面に張り付ける。この場合は、マッピングする際に視点からの距離、角度を考慮して、画面情報の大きさや変形を行う必要がない。また、仮想教室空間を視点位置から見た２次元画像に変換する際に、他の端末装置１の表示画面を机、椅子等の物体表面の模様（テクスチャ、例えば木目等）と同様に扱って２次元画像に変換することができる。従って、他の端末装置１の表示画面の画像をポリゴンのテクスチャとして張り付けるだけで、他の端末装置１の表示画面を図６のように表示することができる。また、一度仮想教室空間を２次元画像に変換した後、空間上の物体と物体との位置関係を考慮しつつ、画面情報の変形、隠面処理等を行って合成する方法よりも、３次元から２次元の変換が一度で行えるため、効率がよい。
【００６４】
この実施の形態２では、仮想教室ウィンドウに表示される端末装置の表示画面が、現実の教室と同じような状態で見えることから、実施の形態１よりも現実に近い態様で仮想教室を表現することができる。そのため、仮想教室システムの操作者により分かりやすいインターフェースを提供することができる。
【００６５】
実施の形態３．
実施の形態１では、視点位置からの距離が遠い端末装置の表示画面は、小さく表示され、また、視点位置から直線上に並んでいる複数の端末装置１がある場合には、表示画面の画像同士が重なって見えることもある。これに対し、実施の形態３は、仮想教室ウィンドウ上に表示される他の端末装置１の表示画面を、見やすい位置と大きさに自動的に調整する仮想教室システムである。以下に、実施の形態２の仮想教室システムについて説明する。
【００６６】
図７は、この仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図７において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図７の１３ｂは、複数の表示画面が重なる場合、又は、視点から見た仮想空間上のディスプレイが他の物体の影にある等で、表示画面が見えなくなる場合に、表示画面を見えるような場所へ位置を移動したり、見やすいように表示画面を自動的に拡大する個人画面表示位置自動修正部である。
【００６７】
次に、動作について説明する。
実施の形態１において説明したように、他の端末装置１から画面情報を受け取った画面制御部９は、受け取った画面情報を個人画面表示位置自動修正部１３ｂへ送る。個人画面表示位置自動修正部１３ｂは、エージェント制御部６より位置視点情報と画面位置情報を受け取り、図４のステップＳ１０１〜Ｓ１０５までの処理を各端末装置１の画面情報について行う。ただし、ステップＳ１０５においては、算出した画面情報の大きさが予め定められた大きさ（例えば、幅２００ドット）以下の場合、画面情報の大きさをこの予め定められた値とする。これは、仮想空間ウィンドウ上に表示される端末装置１の表示画面が小さすぎて見えなくなることを防ぐためである。さらに、ステップＳ１０５において、端末装置１の表示画面の仮想教室ウィンドウ上の表示位置を計算し、この表示位置と大きさより１つの端末装置の表示画面が他の端末装置の表示画面と一部又は全部において重なる場合には、互いに重ならないように位置を再計算する。以上の処理の結果、１つ又は複数の画面情報とそれに対応した表示位置が生成される。
【００６８】
これらの画面情報と表示位置は個人画面合成部１３に送信され、これらを受け取った個人画面合成部１３が指定された表示位置に、画面情報を合成して表示する。例えば、図８のような仮想教室ウィンドウが表示される。この仮想教室ウィンドウ内では実施の形態２のように、他の端末装置の表示画面が視点に対して正面を向いていない場合であっても、表示画面の向きを変換して表示する（実際には、他の端末装置１から受け取った画面情報を大きさだけ変換し、画面情報向き変更部１３ａのように画像の向きを変換しないで表示する。）。
【００６９】
実施の形態４．
次に、仮想教室ウィンドウ内に表示される他の端末装置１の表示画面の大きさに応じて、送受信する画面情報のデータ量を変化させる実施の形態について説明する。この実施の形態は他の実施の形態にも適用できるが、ここでは実施の形態１の端末装置１を基本構成とした例について説明する。
図９は、画面情報を各端末装置１間で送受信する様子を表したシーケンス図である。図９においては、３台の端末装置１を表示しており、それぞれ端末装置Ａ、端末装置Ｂ、端末装置Ｃと称する。端末装置Ａと端末装置Ｂは画面情報を受け取る側であり、端末装置Ｃが画面情報を送る側である。
【００７０】
最初に端末装置Ｃはいずれの端末装置１からも画面情報送付依頼を受け取っていない状態であるとする。
まず、ステップＳ２０において、端末装置Ａから画面情報送付依頼パケットが送信される。
この画面情報送付依頼パケットは表４に示したような構成になっている。表４において、送信先ＩＤ、送信元ＩＤ、種別は、表１におけるものと同様のものであり、サイズは送付を要求する画面情報のサイズが指定されている。このサイズは、画面制御部９がエージェント制御部６から送られてくる端末装置１の表示画面の大きさが指定され、仮想教室ウィンドウ内に表示される表示画面の大きさに応じて変化する。
【００７１】
【表４】
端末装置Ａでは、仮想教室ウィンドウ内に表示される端末装置Ｃの表示画面の大きさが１５０×１００ドットであるので、サイズにこの大きさを指定し、端末装置Ｃに画面情報送付依頼パケットを送信する。
端末装置Ｃでは、この画面情報送付依頼パケットを通信制御部３が受信し、画面制御部９に画面情報送付依頼を送信する。画面制御部９では、図２のステップＳ４にて説明したように、画面情報送付依頼を受けている端末装置１の数を表すカウンタを１だけ増加させ、同時に各端末装置１の画面情報送付依頼に添付されている上記のサイズを記憶する。
【００７３】
図２のステップＳ５の処理でも実施の形態１とは異なる部分があり、画面制御部９は個人画面合成部１３から取得する画面情報を上記のサイズに変換し、ステップＳ６でサイズ変換後の画面情報を上記表２のような画面情報パケットにして送信する。このステップＳ６とステップＳ７によるパケットの送信が図９のステップＳ２１である。ここで、送信する画面情報のサイズは、複数の画面情報送付依頼のうち最も大きいサイズを選択する。従って、ステップＳ２１では、端末装置Ａからのみ画面情報送付依頼を受け取っているので、端末装置Ａの要求したサイズ（１５０×１００ドット）の画面情報を送信する。
送信された画面情報パケットは端末装置Ａが受信し、図２のステップＳ８〜１０にて説明したように、仮想教室画面上に合成されて表示される。
【００７４】
画面情報送付依頼が端末装置Ａから端末装置Ｃにのみ出されている場合には、上記ステップＳ２０〜２１のシーケンスが繰り返されるが、他の端末装置１の端末装置Ｂからも端末装置Ｃに画面情報送付依頼が出された場合のシーケンスが、ステップＳ２２〜２３である。
ステップＳ２２において、端末装置Ｂから端末装置Ｃに対して画面情報送付依頼パケットを送信する。この画面情報送付依頼パケットはステップＳ２０と同様表４に示したものである。ただし、端末装置Ｂでは、仮想教室ウィンドウ内に表示される端末装置Ｃの表示画面が大きいために（例えば、仮想教室空間上の視点位置から端末装置Ｃまでの距離が近い場合など）、端末装置Ａよりも大きなサイズ（３００×２００ドット）を送信したとする。
端末装置Ｃでは、端末装置Ｂが送信した画面情報送付依頼パケットを受け取り、ステップＳ２０と同様に依頼を受けたこととサイズを記憶する。
【００７５】
ステップＳ２３では、画面情報送付依頼を受けたもののうち最も大きなサイズに合わせて、画面情報パケットを送信する。基本的な動作はステップＳ２１と同じである。
ここでは、端末装置Ａと端末装置Ｂから画面情報送付依頼を受け取っている。そして、それぞれ端末装置１の要求しているサイズは、（１５０×１００ドット）と（３００×２００ドット）であるので、最も大きなサイズである（３００×２００ドット）のサイズに合わせて、画面情報を送信する。
端末装置Ａと端末装置Ｂは送信された画面情報パケットを受信し、画面情報はそれぞれ適切なサイズに変換・合成されて表示される。
【００７６】
つぎに、端末装置Ｂが端末装置Ｃの画面情報を必要としなくなった場合について説明する。
ステップＳ２４では、端末装置Ｂが端末装置Ｃへ画面情報送付終了情報パケットを送信する。端末装置Ｂの画面制御部９は、この画面情報送付終了情報を受け取ると、画面情報送付依頼を受けている端末装置１の数を表すカウンタを１だけ減少させ、同時に端末装置Ｂから送られてきた画面情報送付依頼が終了したこと、及び、端末装置Ｂの要求しているサイズ（３００×２００ドット）の記憶を消去する。
すると、要求を受けている画面情報のサイズは、端末装置Ａの（１５０×１００ドット）のみになり、要求を受けている画面情報の最大サイズも（１５０×１００ドット）となる。
【００７７】
そのため、ステップＳ２５で送信される画面情報パケット中に含まれる画面情報のサイズは（１５０×１００ドット）となる。
【００７８】
実施の形態４は、必要な画面情報のサイズに合わせて画面情報を送受信するため、画面情報の伝送量を節約することができる。例えば、端末装置Ｃの実際の表示画面が（１０２４×７６８）とすると、送受信する画面情報のサイズを（３００×２２４ドット）に指定した場合は、画面情報の伝送量が約１２分の１程で済むという大きな効果が得られる。特に、多数の端末装置１間での画面情報を送受信する仮想教室システムにおいては、多数のパケットによって大量のデータがネットワーク２上を流れることから、送受信するデータ量の増大がシステムの全体のレスポンスを低下させるという問題がある。この方法により送受信するデータ量を削減すればこの問題を解決することができ、より多くの端末装置１を素早いレスポンスを保ったまま接続することができる。
また、予め伝送する画面情報を実際の画面表示よりも小さくした固定値で送信する場合には、その固定値のサイズよりも仮想教室ウィンドウに表示する表示画面のサイズが大きい場合には、画像の拡大によって画質の劣化が生じるが、この実施の形態４によれば、このような画質の劣化を生じることなく全体として画面情報の送受信量を削減することができる。
【００７９】
また、実施の形態２では、仮想教室ウィンドウ内に表示する他の端末装置１の表示画面も立体的なイメージで表示し、仮想教室空間内の視点位置から見た端末装置１の向きが斜めである場合には仮想教室ウィンドウに表示する表示画面も斜めから見ているように表示する。このような場合、視点位置から端末装置１の距離に応じて伝送する画面情報の大きさを変化させることに加えて、正面から表示画面を見ているか、斜めから表示画面を見ているかによっても画面の大きさを変化させることができる。例えば、仮想空間上の表示画面に向かって正面から見ている場合には、（３００×１５０ドット）の画面情報を送受信し、斜めから見ている場合には、例えば（３００×７５ドット）、ほとんど側面方向から見ている場合には、（３００×１０ドット）といったように、視点位置から見える表示画面の角度によって送受信する画面情報の大きさを変化させる。この表示画面による大きさの決定は、仮想教室ウィンドウ内に表示される表示画面の縦と横の幅の最大値を採用するとよい。
【００８０】
また、一般に仮想教室空間上の視点位置が大きく動いている場合には、肉眼で仮想教室ウィンドウ内の表示画面の詳細な内容を認識することができず、また、その必要もないことが多いので、送受信する画面情報のサイズを小さくして、解像度を落とすことができる。この場合には、エージェント制御部６から送られてくる位置視点情報を画面制御部９が監視し、視点の位置又は方向が動いているかどうかを判断する。ここで、所定の閾値以上に視点の位置又は方向が動いた場合には、サイズを適切な値に指定して新たな画面情報送付依頼を通信制御部３を介して送信する。
そして、視点の位置又は方向が所定の閾値以下となった場合に、仮想教室ウィンドウ内に表示されている表示画面に合わせたサイズを指定した画面情報送付依頼を送信して、詳細な表示をするようにする。
以上のようにすることによっても、画面情報の伝送量を削減することができる。
【００８１】
実施の形態５．
次に仮想教室ウィンドウに表示されている端末装置や黒板等の物体を指示して、その物体にかかる関連情報を表示する実施の形態について説明する。
図１０はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１０において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。１７は、仮想教室空間内に置かれている物体のＩＤとその物体の関連情報のキーの情報である対応情報を、各物体毎に格納している対応情報群であり、例えば、仮想教室空間中の複数のポリゴンで構成される物体には、００１というＩＤが付されており、このＩＤを基に対応情報を引くと、関連情報のキーとして例えば「机」というキーが検索できる。関連情報のキーは扱いやすい数字で表してもよい。ＩＤとキーの関係は多対１の関係にあり、００３というＩＤを持つ物体の関連情報が同じ「机」というキーを持っていることもある。
【００８２】
１８はキーと物体に関連する情報を関連情報として、各キーについて持つ関連情報群である。対応情報群１７と関連情報群１８は、メモリやディスク装置などの記憶装置内に記憶されている。１９はエージェント制御部６から受け取った物体のＩＤを基に、対応情報群１７から物体のキーを引き出し、このキーを基に関連情報群１８から関連情報を出力する関連検索部である。
【００８３】
次に動作について説明する。図１１は関連情報をディスプレイ１４上に表示する処理を説明するフローチャートである。ステップＳ０より始まり、ステップＳ３０にて、操作者がキーボード１１やマウス１２等を操作して仮想空間上の物体を指定すると、ステップＳ３１で、エージェント制御部６よりエージェントについての位置、顔の向き等の状態を表わす位置視点情報を個人画面合成部１３へ、どの物体を指定したかということを意味する指示情報として、その物体のＩＤを関連検索部１９に送る。
ここでは、仮想教室上の壁にかけられている絵画を表す物体をクリックし、この物体のＩＤを関連検索部１９に送ったとする。
【００８４】
次にステップＳ３２に移り、関連検索部１９で対応情報群１７より指示情報がどの関連情報に対応するかの対応情報を取得する。この対応情報は関連情報のキーとして与えられ、例えば「Ａ氏の絵画」というキーが得られる。
続いて、ステップＳ３３に移り、このキーをもとに関連情報群１８より関連情報を取り出す。例えば、「Ａ氏の絵画」というキーを用いて検索すると、関連情報としてＡ氏の絵画のイメージデータが取り出せる。そして、関連検索部１９で取得した関連情報を個人画面合成部１３に送る。
次に、ステップＳ３４で、個人画面合成部１３が関連情報を仮想教室空間上の指定した物体の近くに表示されるように合成してディスプレイ１４に表示する。ステップＳｅで以上の関連情報表示処理を終了する。
【００８５】
この実施の形態５によれば、仮想教室空間上に表示されている物体を直接指示することで、関連する情報を表示することができるので、臨場感のある仮想空間ウィンドウで分かりやすく、使いやすいインターフェースを提供することができる。
【００８６】
実施の形態６．
次に仮想教室ウィンドウに表示されている端末装置や黒板等の物体にかかる関連情報を見やすい位置や大きさに表示する実施の形態について説明する。
図１２はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１２において、図１０と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１及び図１０と同様なものである。２０は関連検索部１９により取得した関連情報の表示位置や大きさを見やすい位置や大きさに変換する最適化処理部である。
【００８７】
図１３は関連情報が仮想教室ウィンドウ内に表示される位置と大きさを決定する最適化処理を説明するフローチャートである。この最適化処理は最適化処理部２０において実行される。
図１４は関連情報の表示位置についていくつかの候補を選択する方法を説明する図であり、図１５はいくつかの候補の中から１つの候補が選択される様子を説明する図である。この図１５において、２５ａ・ｂ・ｃはそれぞれ仮想教室ウィンドウを表しており、２５ａが関連情報を表示する物体を選択する前の仮想教室ウィンドウ、２５ｂが選択後の仮想教室ウィンドウであって、関連情報が他の物体に隠れてうまく表示できていない例、２５ｃが同じく選択後の仮想教室ウィンドウであって、最適化処理によって関連情報を他の物体に隠れずに表示することができている例を表している。２６はマウス等のポインティングデバイスによって移動し、関連情報を表示する物体上に移動して物体を選択するためのポインタ、２７・２８はそれぞれ仮想教室空間上に存在するものであって、仮想教室ウィンドウ内に表示された物体であり、２７はディスプレイを備えた端末装置を表しており（２７ａはこのディスプレイに表示される他の端末装置の表示画面である。）、２８は文字や画像等のデータが書き込まれているノートを表している。
【００８８】
次に動作を説明する。
この実施の形態６において、基本的動作は実施の形態５と同様であるが、関連検索部１９と個人画面合成部１３の間に新たに接続された最適化処理部２０に関連して、動作が異なる。そこで、この最適化処理部二重によって実行される最適化処理について、図１３を中心に用いて説明する。最適化処理とは、仮想空間上の他の物体によって関連情報が隠れないように表示位置を修正する処理、又は関連情報表示の大きさが不適切で見にくくならないように関連情報表示の大きさを適切に修正する処理である。ここでは、位置と大きさの両方を修正し、大きさは予め設定しておいた大きさで文字が表示されるように修正を行っている。
【００８９】
まず、実施の形態５で説明したように、関連検索部１９が関連情報を検索して最適化処理部２０に出力すると、ステップＳ３５の処理に移る。
ステップＳ３５は、位置視点情報より分かる指示物体の位置の周りに、関連情報が表示される場所の候補を数ヶ所についてあげる処理である。
候補の選出は、いずれかの候補が他の物体に隠れずに見えるように（可能性の高いように）選出し、このように選出できるのであればどの様な方法であってもよい。ここでは、エージェント制御部６から位置視点情報と画面位置情報を取得し、図１４に示したように視点２１から指示物体２２までを結ぶ直線に垂直な平面２３上からいくつかの候補２４を選出する（図１４では、４つの候補２４を選出している）。このように選出すると、視点から見た指示物体２２の距離と関連情報物体の距離が同じになるため、指示物体２２までの距離感覚を損なわずに関連情報を表示できる。ここで、関連情報物体とは、仮想教室空間中に置かれ、関連情報を表示する物体であり、例えば、図１５の関連情報物体２８ｂに示すように表示される。続いて、ステップＳ３６に移る。
【００９０】
ステップＳ３６は、ステップＳ３５にてあげた候補のうち、１つの候補を選択する処理である。ただし、ステップＳ４１を介して再びステップＳ３６にループしてきた場合には、一度選択した候補は選ばれないようにする。次に、ステップＳ３７に移る。
ステップＳ３７は、ステップＳ３６で選択した候補の位置に関連情報物体を表示した場合に、他の物体の陰に隠れて、関連情報物体が隠れないかどうかについて判断する処理である。
この判断は、関連情報物体を選択した候補２４の位置に置いたと想定して、視点２１と関連情報物体との間の空間上に他の物体があるかどうかを位置視点情報、画面位置情報を基に判断することによって行われる。
もし、隠れてしまうと判断された場合は、他の候補について同様の判断をするためにステップＳ４０に移り、隠れないと判断された場合はステップＳ３８に移る。
【００９１】
ステップＳ３８は、選択された候補を正式に採用し、この候補の位置に関連情報物体を配置する処理である。次にステップＳ３９に移る。
ステップＳ３９は、仮想教室ウィンドウ上に表示される関連情報が小さくなるために、操作者にとって見にくくなるかどうかを判断する処理である。ここでは、関連情報が文字の場合についての判断を行い文字が１０ポイント以下となる場合に見にくくなると判断する。従って、仮想教室ウィンドウの大きさが可変の場合には、仮想教室ウィンドウの大きさに合わせて物体、関連情報の表示される大きさも変化するため、関連情報が実際に表示される大きさを考慮することになる。
【００９２】
ここで、見にくくなると判断された場合にはステップＳ３９ａに移り、関連情報の文字を１０ポイントに拡大して、個人画面合成部１３へ関連情報物体の大きさ、位置、及びこの最適化処理で最適化した関連情報を出力する。一方、見にくくならないと判断された場合には、そのまま個人画面合成部１３へ関連情報物体の大きさ、位置、及び関連情報を出力する。
個人画面合成部１３では最適化処理部２０から関連情報物体の大きさ、位置、及びこの最適化処理で最適化した関連情報を受け取り、エージェント制御部６から受け取った画面位置情報と共に用いて仮想教室空間を構成し、２次元画像に変換して、ディスプレイ１４上に表示する。
【００９３】
一方ステップＳ３７にて、選択した候補では他の物体によって関連情報が隠れてしまうと判断された場合には、ステップＳ４０に移り、ステップＳ４０〜Ｓ４２までの処理が行われる。
ステップＳ４０は、選択した候補を選択から外す処理であり、次のステップＳ４１で、まだ選択されていない候補があるかどうかについて判断を行う。ここで、まだ選択されていない候補があると判断された場合には、ステップＳ３６に移り、他の物体に隠れずに表示される候補がないかどうかについて、再び処理を行う。一方、ステップＳ４１にて、まだ選択されていない候補がないと判断された場合には、次のステップＳ４２に移る。
【００９４】
ステップＳ４２は、ステップＳ３５であげられた複数の候補のうち、他の物体によって隠れずに最も大きく表示できる候補を選択する処理である。
このステップＳ４２の処理に到達する場合は、全ての候補が他の物体によって隠れずに表示できるものではない場合である。この場合は、隠れないように表示しようとして、関連情報物体の大きさを小さくした場合に、最も大きく表示される候補を選択する。そして関連情報物体を、このステップＳ４２で選択された候補の位置に、大きさを変えて配置する。ステップＳ４２が終了すると、上述のステップＳ３９に移り、最終的にディスプレイ１４上に表示される。
【００９５】
この実施の形態６では、最適化処理として関連情報物体の位置と大きさを調整したが、関連情報物体の形状を変化させることによって、関連情報を他の物体に隠れずに見えるように表示してもよい。例えば、関連情報物体が横長の長方形では全ての関連情報が見えない場合には、縦長の長方形に変形して表示することによって全ての関連情報を表示できる場合がある。
また、視点と指示物体との間にある他の物体に陰に関連情報の一部が隠れるように表示してもよい。ただし、関連情報の表示を損なわない程度にする。この場合は、関連情報物体の配置される場所の距離感をより効果的に表現することができる。
また、ステップＳ３９・３９ａにおいて、関連情報表示が小さすぎる場合には、拡大して表示することにより、関連情報の見やすさを確保したが、逆に、指示物体と視点の位置が近すぎるために関連情報の表示が大きすぎる場合には、縮小して表示されるようにしてもよい。
【００９６】
この実施の形態６によれば、奥行きのある空間上で、関連情報が指示物体に応じた距離感をもって表示されるため、より臨場感が増し、使いやすいインターフェースを提供することができると共に、３次元で表現することによって生じる問題（関連情報の表示が大きすぎたり、小さすぎたり、また、他の物体に隠れて関連情報を見ることができない）を解決することができる。例えば、図１５は、ポインタ２８によって物体（ノート）２８を選択し関連情報を表示した仮想教室ウィンドウの例である。上記の最適化処理を行うことにより仮想教室ウィンドウ２５ｂのように物体の陰に隠れて関連情報が見えないということにならず、仮想教室ウィンドウ２５ｃのように関連情報が見える状態で表示できる。
【００９７】
実施の形態７．
実施の形態７は仮想教室ウィンドウ内に表示されている物体を指示することにより、指示された物体に関連づけられたアプリケーションを自動的に起動する実施の形態である。
図１６はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１６において、図１０と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１及び図１０と同様なものである。図１６の２９は、関連検索部１９から関連情報を受け取り、この関連情報に対応するアプリケーションを起動する指令を出力する個人アプリケーション管理部である。個人アプリケーション管理部２９が送信した指令は、個人アプリケーション部１０が受信し、この指令に指定されたアプリケーションを起動する。また、対応情報群１７には、物体ごとに付けられたＩＤとそのＩＤに対応するアプリケーション名が、各物体ごとに記憶されいる。この対応情報群１７には、実施の形態５及び６で説明した内容も含んでおり、文字や画面情報等の関連情報が記憶されているか、アプリケーション名が記憶されているかは、対象となる物体による。
【００９８】
次に動作について説明する。
基本的な動作は、実施の形態５と同様である。実施の形態７では、新たに個人アプリケーション管理部２９が加わっているので、この個人アプリケーション管理部２９の動作を中心に説明する。
【００９９】
まず、マウス等のポインティングデバイスによって物体が指示されると、エージェント制御部６より、どの物体を指定したかということを意味する指示情報を関連検索部１９に送る。関連検索部１９では対応情報群１７より指示情報がどの関連情報に対応するかを検索し、指示した物体の関連情報を取得する。ここまでは、実施の形態５で説明した動作と同様である。
次に、関連情報を取得した関連検索部１９は、この関連情報が文字や画像等の仮想教室ウィンドウに単に表示すればよいものか、アプリケーションを起動する必要があるものかを判断する。（従って、関連情報にはこれを区別する符号を挿入しておくとよい。）アプリケーションを起動する必要がない関連情報のときは、実施の形態５で説明したように個人画面合成部１３に、関連情報を送信する。一方、アプリケーションを起動する必要があるときは、その旨とアプリケーション名を起動命令として個人アプリケーション管理部１０に送信する。
この起動命令を受けた個人アプリケーション部１０では、指定されたアプリケーションを起動する。
【０１００】
この実施の形態７によれば、アプリケーションの起動を仮想教室空間上の物体を指示することによって行うことができるため、操作者はアプリケーションの名前を知る必要もなく、また、アプリケーションを起動する命令をキーボード等から打ち込む必要もない、非常に操作の容易なインターフェースを提供することができる。
【０１０１】
実施の形態８．
実施の形態８は、他の端末装置１のポインタを仮想教室ウィンドウ内に表示して、他の端末装置１の操作者がどの物体等について操作を行っているかを知ることができるものである。
図１７はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１７において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図１７の３０は通信制御部３より他端末ポインタ情報を受信して、この他端末ポインタ情報に基づきポインタを表す物体を仮想教室空間内に配置し、また、エージェント制御部１１より自己のポインタの位置情報を取得して、他の端末装置に送信するポインタ情報管理部である。ここで、他端末ポインタ情報とは、他の端末装置１の操作者が使用するポインタの位置情報であって、仮想教室空間内の３次元の位置情報を表している。
【０１０２】
次に他端末ポインタ情報の送信と受信及びポインタ表示の動作について説明する。ここでは、動作例として２つの端末装置１間（それぞれ端末装置Ａ、Ｂと呼ぶ）で他端末ポインタ情報を送受信する場合を説明する。端末装置Ａは送信側の端末装置１、端末装置Ｂは受信側の端末装置１とする。
【０１０３】
・ポインタ情報の送信（送信側の処理）
端末装置Αにおいて操作者Αがキーボード１１やマウス１２等によって仮想空間上の物体をポインタで指すと、エージェント制御部６よりポインタによって物体を選択したことを意味する指示情報がポインタ情報管理部３０に送信される。この指示情報を受けたポインタ情報制御部３０は、エージェント制御部６から選択した物体の座標を取得する。この座標は仮想教室空間における３次元の座標である。座標を取得したポインタ情報管理部３０は、この座標の情報と自己の端末装置１のＩＤを１つのパケットにして、通信制御部３とネットワーク２を介し全ての端末装置１に送信する。このとき送信する座標とＩＤが他端末ポインタ情報である。
【０１０４】
・ポインタ情報の受信及びポインタ表示（受信側の処理）
端末装置Ａから送信された他端末ポインタ情報のパケットは、受け手の１つである端末装置Ｂの通信制御部３によって受信される。通信制御部３は、このパケットを受け他端末ポインタ情報をポインタ情報管理部３０に送信する。
ポインタ情報管理部３０は、他端末ポインタ情報を受け取ると、ポインタを仮想教室ウィンドウ内に表示される物体として、他端末ポインタ情報から取得した座標とともにエージェント制御部６に送信する。この際、送信する座標は選択した物体と重なって見えなくなってはいけないので、物体の近くであって見える位置に変換する。また、視点位置によっては実施の形態６と同じように他の物体と重なって見えなくなることもある。このような場合には実施の形態６で説明したような方法で、ポインタを表す物体の位置や大きさを形を修正することにより、他の物体の陰に隠れて見えないことを防ぐことができる。
【０１０５】
ポインタ情報管理部３０より他端末ポインタ情報を受け取ったエージェント制御部６は、指定された位置にポインタを表す物体（実際にはポリゴンの集合）を配置する。ここで、どの端末装置１にかかるポインタかが分かるように、ポインタを表す物体に端末装置１にかかる情報を合わせて表示するとよい。この情報は他端末ポインタ情報に含まれる送信元のＩＤを調べることによって導出できる。ＩＤはポインタ情報管理部３０より取得する。
【０１０６】
また、この実施の形態８では、ポインタ情報管理部３０は他端末ポインタ情報を受け取ると、常にエージェント制御部６にポインタを表す物体を表示するように指示していたが、自己の端末装置１の視野の中に入っているないものについては、ポインタを表す物体表示の指示を行わなくともよい。
【０１０７】
この実施の形態８によれば、他の端末装置１の操作者が仮想空間上のどの物体について操作をしているかを知ることができる。
【０１０８】
実施の形態９．
実施の形態９は、操作者の移動や視点方向を検知する測定器を設け、操作者が実際に移動した場合には、この移動が仮想教室空間上の視点の位置、方向に反映されるようにして、大きな臨場感を得られるようにするものである。
図１８はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１８において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図１８の３１は、操作者の視点方向（視線の方向）を測定する視点方向測定機器、３２は操作者が移動することにより生じる加速度を測定する加速度測定機器、３３は視点方向測定機器３１から受け取った視点方向と加速度測定機器３２から受け取った加速度をもとに、仮想教室空間中における視点の移動量及びその方向と視線の方向を算出し、エージェント制御部６に送信する変換処理部である。ここで、加速度測定機器３２、視点方向測定機器３１は操作者の体に付けて利用し、ディスプレイ１４は操作者の頭部に固定する。また、操作者は自由に動くことができる。
【０１０９】
変換処理部３３は、操作者が衣服等に身に付けた加速度測定機器３２、頭部に取り付けた視点方向測定機器３２から入力されたデータを３次元移動情報と視点方向（角度データ）に変換する。３次元移動情報は、加速度測定機器３２から入力されたデータから、前後・左右・上下の加速度とそれが加わった時間から移動の方向や距離等を計算してどの方向にどれだけ移動したかという３次元の移動ベクトルである。この３次元移動情報と視点方向測定機器３２から入力された視点方向を仮想空間内の視点移動に反映させて、その動きをエージェントにとらせることにより、仮想空間上で人型を表わすエージェントが人の行動と同じように行動するのが表示される。また視点方向測定機器３２から入力された視点方向や角度等の視点情報より仮想空間上で視点方向と角度を算出し、その延長上にある物体が指示している対象物であるとして指示情報に変換される。マイクから入力された音声データは音声変換装置等により文字列に変換されてキー入力されたデータとしてエージェント制御部６へ送られる。
【０１１０】
この実施の形態９によれば、操作者はポインティングデバイスによって視点移動の操作をする必要がなく、操作者の移動又は視線の変化がディスプレイ１４上に反映されるため、より臨場感のある仮想教室システムを構築することができる。また、操作が容易なインターフェースを提供することができる。
【０１１１】
実施の形態１０．
実施の形態１０は、操作者の感情を推測して、その結果をエージェントに反映することにより、よりスムーズな意思の伝達が行えるようにしたものである。
図１９はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図１９において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図１９の３４は、操作者の脳波や体温、脈拍等の体感を測定する体感測定機器、３５は体感測定機器３４から取得した体感情報と音声入力処理部７から取得した音声データをもとに操作者の感情を推測する感情判断部、３６は感情判断部３５の判断結果に基づいてエージェントの表情を変更して仮想空間上に表示する表情変更部である。
【０１１２】
操作者が衣服等に身に付けた体感測定機器３４から入力されたデータを感情判断部３５で受け取ると、感情判断部３５では、例えば図２０ような判断基準、優先順位で操作者の感情を判断する。判断基準は変更できるものとする。感情判断部３５の判断結果である「哀」、「平常」、「怒」等の感情データは自己の端末装置１の表情変更部３６に送られ、また、通信制御部３を通して他の端末装置１の表情変更部３６へも送られる。表情変更部３６では自己の端末装置１と他の端末装置１の感情判断部３５より送られてきた感情データをもとに人型を表わすエージェントの表情を予め用意していた表情に変更して、ディスプレイ１４の仮想教室空間上に表示する。
【０１１３】
この実施の形態１０によれば、操作者の感情を他の端末装置１の操作者に伝えることができるため、よりスムーズな意思の伝達が行える。
【０１１４】
実施の形態１１．
実施の形態１１は、操作者によって、仮想教室空間のデザインを自由に選択することができるものである。
図２１はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図２１において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。３７は仮想教室内に登場する各物体の３次元形態情報、それらの色や面の模様デザインを示すテキスチャ情報、各物体の動作内容情報、及び各物体の位置関係情報等の３次元風景を作成するために必要な情報である３Ｄ風景情報群である。この３Ｄ風景情報群は、いくつかの風景パターンを備え、例えば、ＲＡＭやディスク記憶装置内に記憶される。
【０１１５】
上記の３次元形態情報は、例えば、３次元空間内の机等の物体、エージェント等の人型、及び壁や黒板等の背景を示すアニメーションキャラクタを表示するために必要なそれらの形状を示す３次元の形態情報である。また、上記の動作内容情報は仮想空間内の物理的動作内容（例えば、人の歩行パターン）を示す情報であり、上記位置関係情報は、例えば、ある壁とある机とある人型の組み合わせとそれらの位置関係を示す情報である。
３８は、エージェント制御部６の指示に従って、複数の３Ｄ風景情報から指示された３Ｄ風景情報を選択し風景合成部９へ出力する風景選択部である。
【０１１６】
操作者がキーボード１１やマウス１２を操作して教室内の風景を変更するとエージェント制御部６より風景選択部３８に特定の風景に変更するように風景指示情報が送られる。風景選択部３８では複数の３Ｄ風景情報の中から風景指示情報に合った３Ｄ風景情報を取り出して個人画面合成部１３へ送る。個人画面合成部１３では、この３Ｄ風景情報を受信した以降は、この３Ｄ風景情報をもとに仮想教室空間を生成し、エージェント制御部６より送られてきた視点位置情報、画面位置情報をもとに仮想教室ウィンドウを生成して、また必要に応じて、他の共有アプリケーションや個人アプリケーションを表示するウィンドウと合成して、ディスプレイ１４上に表示する。
【０１１７】
この実施の形態１１によれば、操作員は自己の好みに応じた仮想教室空間のデザインを選択することができる。
【０１１８】
実施の形態１２．
実施の形態１２は、仮想教室空間のデザインを自由に選択することできる仮想教室システムであって、デザインにかかるデータが自己の端末装置にない場合には、他の端末装置からデータを取得するものである。
図２２はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図２２において、図２１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図２１と同様なものである。図２２の３９は自己の端末装置１の所有する３Ｄ風景情報群３７中に、風景選択部３８で選択した３Ｄ風景がなかった場合に、ネットワークを介して他の端末装置１から、選択した３Ｄ風景情報を取得する風景管理部である。
【０１１９】
操作者がキーボード１１やマウス１２を操作して教室内の風景を特定の３Ｄ風景情報に変更する指示を出すとエージェント制御部６より風景管理部３９に特定の風景に変更するように風景指示情報が送られる。風景管理部３９では、風景選択部３８に特定の３Ｄ風景情報がない場合、その旨を風景管理部３９に知らせる。風景管理部３９では、通信制御部３を介して他の端末装置１の風景管理部３９へ特定の３Ｄ風景情報が欲しい旨の指示情報を送る。指示が送られてきた他の端末装置１の風景管理部３９では風景選択部３８を通して指示に合った３Ｄ風景情報があれば取り出す。風景選択部３８では３Ｄ風景情報を風景管理部３９へ送る。風景管理部３９から通信制御部３を介して要求元の端末装置１の風景管理部３９へ３Ｄ風景情報を送る。この３Ｄ風景を受け取った風景管理部３９は個人画面合成部１３に３Ｄ風景を送信する。個人画面合成部１３ではエージェント制御部６と風景管理部３９より送られてきた各種情報を合成し、ディスプレイ１４に表示する。
【０１２０】
この実施の形態１２によれば、自己の端末装置１内が所有していない３Ｄ風景情報を他の端末装置１から自動的に取得することができるため、自己の端末装置１に全ての３Ｄ風景情報を所有している必要がない。そのため、記憶容量の小さい端末装置１でも、沢山の風景デザインの中から１つの風景デザインを自由に選択することが可能になる。
【０１２１】
実施の形態１３．
実施の形態１３は、操作者が仮想教室ウィンドウ内の物体を選択することにより、その物体に関連する他の端末装置１を操作できるようにするものである。
図２３はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図２３において、図１と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１と同様なものである。図２３の４０は入出力管理部であり、自己の端末装置１の各処理部又は制御部等からのデータ信号又は制御信号と、他の端末装置１からのデータ信号又は制御信号と、を選択的に自己の端末装置１の被制御部に伝える機能がある。加えて、自己の端末装置１の被制御部からのデータ信号又は制御信号を、自己の端末装置１の各処理部又は制御部等へ出力するか、他の端末装置１の各処理部又は制御部等へ出力するかを選択的に実行する機能も有している。被制御部は、他の端末装置によって操作される機能ブロックであり、エージェント制御部６、共有アプリケーション部４等のようなものから、スピーカや、図示しないプリンタ等の入出力装置まで含まれる。
ここで、自己の端末装置１の入出力装置のデータ信号又は制御信号からの出力は、自己の端末装置１と他の端末装置１の両方の各処理部等に出力するようにしてもよい。また、ここでは、被制御部への出力、被制御部からの入力、をともに制御できるようにしているが、どちらか一方の機能だけを有するようにしても他の端末装置の被制御部を操作できるという効果をあげることができる。
【０１２２】
次に、一例として、端末装置Ａの操作者が端末装置Ｂを操作する動作について説明する。
端末装置Ａの操作者がキーボード１１やマウス１２などで仮想教室画面に物体として表示されている被制御部を指定するとエージェント制御部６より被制御部を選択したことを意味する被制御部指示情報が入出力管理部４０に送られる。この被制御部指示情報には、選択された被制御部を特定する情報が含まれている。
【０１２３】
ここでは、例えば仮想教室ウィンドウに表示された端末装置Ｂのキーボードを選択したとする。この場合は、端末装置Ａの送信するデータ情報、制御情報が端末装置Ｂのキーボード出力として扱われるようにするため、被制御部としてキーボード１４からの出力を管理する（図示しない）キー入力処理部を指定する（この端末装置では、このキー入力処理部がキーボード入力を必要とする処理部に入力されたキーの情報を送信する。この処理部には、例えば、エージェント制御部６や共有アプリケーション部４等がある。）。他の例としては、図示しない端末装置Ｂのプリンタを指定した場合に、端末装置Ｂのプリンタを端末装置Ａから制御することもできる。
【０１２４】
そして、入出力管理部４０は、通信制御部３を介して選択された被制御部にかかる端末装置Ｂを指定し、入出力管理部４０へ被制御部指示情報を送信する。この被制御部指示情報を受け取った端末装置Ｂでは、通信制御部３より入出力管理部４０へ被制御部指示情報が送信される。端末装置Ｂの入出力管理部４０では被制御部指示情報を受け取ると、それ以後は、端末装置Ｂの入力装置（ここではキーボード１４）からの入力情報を無効とし、その代わりに指示情報を送ってきた端末装置からのデータ情報、制御情報を出力するように切り替える処理を行う。この出力は被制御部指示情報で指示された被制御部へ行う。
【０１２５】
ここでは、被制御部としてキー入力処理部が指定されたため、入出力管理部４０は、端末装置Ａから送られた情報の送信先をキー入力処理部とする。また、同時に、被制御部から出力されるデータ情報は、通信制御部３を介して被制御部指示情報を送った端末装置Ａへ送り返されるようにする。従って、被制御部を制御する端末装置Ａの制御部（ここでは、入出力機器の１つであるキーボード１４を制御する制御部）と端末装置Ｂの被制御部（ここでは、キー入力処理部）との間に、論理的な入出力信号回線が設定されたことになる（特に、プリンタのように制御に対する応答信号がある場合などでは、入力及び出力を制御できる必要がある。）。
【０１２６】
以上の処理によって、被制御部を操作する体制が整ったので、つぎに端末装置Ｂの被制御部を操作する処理に入る。
操作をするためのデータは、ネットワーク２を介してパケットで送信されるが、まず、端末装置Ａの入出力管理部４０へ操作情報が対応する処理部又は制御部等から送られる。例えば、端末装置Ａのキーボード１４から入力されたキーの情報を端末装置Ａの入出力管理部４０が受け取り、通信制御部３を介して、このキーの情報をデータ情報として端末装置Ｂへ送信する。
【０１２７】
端末装置Ｂの通信制御部３は、このデータ情報を受け取り、端末装置Ｂの入出力管理部４０へ出力する。入出力管理部４０では、受け取ったデータ情報をあたかも端末装置Ｂの出力かのように被制御部に送信する。ここでは、上記のように、被制御部をキー入力処理部としているので、このキー入力処理部へデータ情報を送信する。
【０１２８】
このデータ情報を受け取ったキー入力処理部は、自己の端末装置Ｂのキーボード１４から受け取ったキーの情報と同じように、このデータ情報を取り扱うため、端末装置Ａから端末装置Ｂを制御することができる。例えば、端末装置Ａの仮想教室ウィンドウに表示された端末装置Ｂの表示画面を見ながら、端末装置Ａのキーボード１４から文字を入力して、端末装置Ｂ上のアプリケーション等を制御することができる。
【０１２９】
また、被制御部がデータを出力する場合には、端末装置Ｂの入出力管理部４０がこのデータを受け取り、受け取ったデータを通信制御部３を介して端末装置Ａの入出力管理部４０へ送信する。端末装置Ａの入出力管理部４０は、受信したデータを被制御部を制御する制御部へ送信する。
【０１３０】
次に、他の端末装置の操作を終了する場合について説明する。
端末装置Ａの操作者が、予めきめてある入力（例えばキーボード１４からの特定のキー入力）を行うと、入出力指定情報の解除を意味する解除情報が入出力管理部４０から出力される。この解除情報は通信制御部３を介して端末装置Ｂの入出力管理部４０へ送られる。端末装置Ｂの入出力管理部４０では、これを受けて、それ以後は他の端末装置からのデータ情報、制御情報を無視し、端末装置Ｂの入力機器（ここでは、キーボード１４）からの入力内容を被制御部（キー入力処理部）へ送る。また、被制御部から送られるデータは、被制御部指示情報を受け取る前と同様の送信先へ送信し、端末装置Ａへの送信を中止する。
【０１３１】
この実施の形態１３によれば、仮想教室ウィンドウに表示されたキャラクタを選択するだけで、他の端末装置の操作を指示することができるため、操作が簡単である。また、その結果を仮想空間を表示した画面上で確認することができる。そのため、臨場感があり、他の端末装置を操作していることを実感しやすく、使いやすいインタフェースを提供できる。
【０１３２】
実施の形態１４．
実施の形態１４は、他の端末装置１の被制御部を処理するにあたって、制御が競合する場合には優先度に基づいて制御権を与えるものである。
図２４はこの仮想教室システムの端末装置１の一部の構成を説明する機能ブロック図である。図２４において、図２３と同一の符号は同一又は相当の部分を表している。簡単化のため一部の機能ブロックと接続線ついては表示していないが、表示していない部分については図１及び図２３と同様なものである。図２３の４１は、端末装置、操作者、又は、被制御部を制御する制御部毎に、被制御部を制御できる優先順位を記憶する優先権情報である。
【０１３３】
次に、優先度が端末装置ごとに設定されている場合の動作について説明する。ここで、端末装置１が３機あることとし、その内の端末装置Ｂを被制御部を有する端末装置とし、他の端末装置Ａと端末装置Ｃを被制御部を制御する端末装置１とする。
【０１３４】
動作の基本は、実施の形態１３で説明したものと同様に行われる。ただし、被制御部指示情報を受け取った端末装置Ｂの入出力管理部４０は、複数の被制御部指示情報を受け取った場合に、その入出力情報の送信元の端末装置１を基にどの端末装置１に、被制御部を制御する権利である制御権を与えるかを判断する。この判断は、端末装置のＩＤをキーに優先権情報から検索した優先順位を比較して、優先順位が高い端末装置１に制御権を付与する。例えば、端末装置Ａと端末装置Ｃとから同じ被制御部に被制御部指示情報を受け取った場合に、端末装置Ａと端末装置Ｃの優先順位を比較する。ここで、優先権情報４０から検索した優先順位が端末装置Ａの方が高いとすると、この端末装置Ａに制御権が与えられる。
【０１３５】
次に、端末装置Ｂの入出力管理部４０は、制御権を与える端末装置１に操作可能情報を送信する。ここでは、端末装置Ａに送信する。
操作可能情報を受け取った端末装置１は、実施の形態１３で説明したように被制御部を制御する。
一方、操作可能情報を取得できなかった端末装置１（ここでは、端末装置Ｃ）は、操作可能情報が得られるまで被制御部を制御することができないため、データ情報、制御情報を端末装置Ｂへ送信せずに操作可能情報を受信するまで待機する。
【０１３６】
端末装置Ａが制御を終了し解除情報を端末装置Ｂへ送信すると、この解除情報を受け取った端末装置Ｂの入出力管理部４０は、端末装置Ａにかかる被制御部指示情報をクリアし、残った被制御部指示情報について、最も高い優先度をもつものを選択する。そして、選択した被制御部指示情報にかかる端末装置１に制御権を与えるため、操作可能情報を送信する。
【０１３７】
この実施の形態１４によれば、被制御部への制御が競合した場合に、優先度に基づいて、この競合関係を調整することができる。
【０１３８】
【発明の効果】
この発明は、以上に説明したように構成されているので、以下のような効果を奏する。
受信側端末装置によって実行され、仮想的な３次元空間を構成する３次元情報に基づき、指定された視点より上記３次元空間を見たときの２次元画像を第１の画像として生成する画像生成ステップと、上記受信側端末装置によって実行され、上記第１の画像に端末装置を表す画像が含まれるときに、その端末装置を送信側端末装置とし、この送信側端末装置に対し画面情報の送信を依頼する信号を送信する画面情報送信依頼ステップと、上記送信側端末装置によって実行され、上記信号を受け取った後に、自己の表示画面の画像にかかる情報を画面情報として送信する画面情報送信ステップと、上記受信側端末装置によって実行され、上記送信側端末装置が送信した上記画面情報を受信して、この画面情報と上記第１の画像とを表示する表示ステップと、を備えるため、操作者は視点を移動するだけで、必要な他の端末装置の表示画面を見ることができ、仮想的な３次元空間による臨場感と相まって、非常に使いやすいインタフェースを提供することができる。
【０１３９】
さらに、上記受信側端末装置によって実行され、必要とする上記画面情報の大きさを要求スケールとして送信する要求スケール送信ステップと、送信側端末装置によって実行され、複数の受信側端末装置のそれぞれから受け取った複数の要求スケールのうちの１つの要求スケールを送信スケールとして選択するスケール選択ステップと、上記画面情報送信ステップは、自己の表示画面の画像にかかる情報を上記送信スケールに指定された大きさに変換して、上記画面情報として送信するため、必要に応じて上記画面情報の送信量を増減し、転送量を低く抑えることができる。
【０１４０】
他の端末装置の表示画面にかかる情報を画面情報として取得する画面通信部と、仮想的な３次元空間の視点を指示する視点指示部と、指示された上記視点を基に上記３次元空間を記述する３次元空間情報から２次元画像を生成し、この２次元画像中に上記他の端末装置を表す画像が含まれる場合に、その端末装置の上記画面情報を自己の端末装置の画面上に表示する画面表示部と、を備えため、視点指示部によって指示された視点から見た映像を画面表示部が合成して、端末装置のディスプレイ等に表示する。このとき、画面表示部は、上記映像中（又は視野中）に他の端末装置を表す仮想の物体が表示されている場合には、画面通信部を介して他の端末装置の表示画面にかかる情報である画面情報を取得し、この画面情報を自己の端末装置のディスプレイ等に表示する。このため、３次元空間上の視点を移動させるだけで他の端末装置の表示内容を確認することができ、また、端末装置とその表示画面の関係を現実に近い形で操作者に知らせることができる。そのため、各操作者が現実に共通の空間にいるような臨場感と、この臨場感から得られる直感的な操作を実現する非常に使用しやすいインターフェースを提供することができる。
【０１４１】
加えて、画面合成部は、画面情報取得判断部、画面情報依頼部、２次元画像生成部、及び、２次元画像合成部を備える。
画面情報取得判断部は、他の端末装置を表す画像が視野に入るかどうかを判断し、この判断に基づいて画面情報依頼部が当該端末装置に画面情報を依頼するため、各端末装置は自己の端末装置に表示しない画面情報の送付を依頼せず、画面情報の送受信量を低く抑えることができる。
また、２次元画像生成部は３次元空間情報から２次元画像を生成し、２次元画像合成部がこの２次元画像中に他の端末装置の画面情報を合成するため、仮想的な３次元空間を表現する２次元画像中で他の端末装置の表示画面を確認することができる。そのため、仮想的な３次元空間上の他の端末装置を表す画像とその表示画面との関係を明確に示すことができ、より使いやすいインタフェースを提供することができる。
【０１４２】
さらに、２次元画像合成部は、他の端末装置を表す画像が表示される位置に応じた位置に、画面情報を合成するため、他の端末装置とその画面情報との関連性をより明確に表現することができる。
【０１４３】
さらに、２次元画像合成部は、他の端末装置を表す仮想の物体の向いている方向に応じて、画面情報を斜めから見たように変換し合成するため、自己の端末装置に表示される映像は、現実の端末装置を見た場合に非常に近くなり、大きな臨場感を得ることができる。
【０１４４】
さらに、２次元画像合成部は、他の端末装置を表す画像の表示される大きさに応じて、表示される画面情報の大きさを変換するため、現実の端末装置を見た場合に非常に近くなり、仮想空間上の視点から他の端末装置までの距離を実感することができ、より大きな臨場感を得ることができる。
【０１４５】
さらに、２次元画像合成部は、変換後の上記画面情報の大きさが予め定められた大きさの範囲にない場合には、予め定められた大きさに変換するため、表示される画面情報が大きすぎたり小さすぎたりするために、見にくくなることを防止することができる。
【０１４６】
さらに、画面情報依頼部は、上記２次元画像合成部が合成する画面情報の大きさの情報を他の端末装置に送信するため、必要な大きさ画面情報を得ることができ、画面情報の伝送量を低く抑えることができる。
【０１４７】
さらに、キャラクタ選択部によって、２次元画像中に表示される複数の仮想の物体の中から少なくとも１つを第１のキャラクタとして選択し、関連情報検索部がこの第１のキャラクタに関連付けられた情報を関連情報として検索し、画面表示部がこの関連情報を表示するため、表示されている仮想の物体を選択するだけでその仮想の物体に関する情報を知ることができる。
【０１４８】
さらに、関連プログラム実行部は、選択した第１のキャラクタに関連するプログラムを起動し、実行するため、仮想的な３次元空間による臨場感と、使い勝手を同時に実現することができ、非常に使いやすいインタフェースを提供することができる。
【０１４９】
さらに、上記画面表示部から送られる画像を表示する携帯可能な表示器を備えるため、操作者が移動しても画面合成部より送信される映像を見ることができる。
視点指示部は、上記操作者の移動に伴って視点を変更するため、操作者の移動に連動し視点が移動し、視点の入力が非常に容易になる。
従って、上記表示部と上記視点指示部とを組み合わせることにより、３次元情報によって生成される仮想空間を、操作者はより現実に近いものに感ずることができ、大きな臨場感と使いやすいインタフェースを同時に実現することができる。
【０１５０】
加えて、３次元空間上の複数の仮想の物体によって構成される風景にかかる情報を１つの風景情報として、複数記憶する風景情報記憶部と、複数の上記風景情報の中から１つの風景情報を選択し選択風景情報として出力する風景選択部を備え、画面表示部により上記選択風景情報に基づいて２次元画像を生成するため、端末装置に表示される２次元画像を操作者の好みに応じて選択することができる。
【０１５１】
さらに、風景選択部は、自己の端末装置に上記風景情報が無い場合に、他の端末装置から上記風景情報を取得するため、３次元空間の風景情報の全てのパターンを自己の端末装置内に全て記憶している必要がない。そのため、端末装置に記憶する風景情報の記憶容量を少なくすることができる。
【０１５２】
また、複数の他の端末装置から画面情報の送信依頼を受付け、さらに必要な画面情報の大きさを要求スケールとして受け付ける画面情報依頼受付部と、複数の上記要求スケールのうちの１つを送信スケールとして選択する送信スケール選択手段と、自己の端末装置の表示画面の画像にかかる情報を上記送信スケールに指定された大きさに変換し、上記画面情報として出力する画面情報送信部と、を備えたため、他の端末装置の必要に応じて画面情報の転送量を増減して、転送量を低く抑えることができる。
【０１５３】
また、ポインタ送信ステップは、
２次元画像上の１点を指示するポインタの位置を検出するポインタ位置検出ステップ、上記位置から指示している上記３次元空間上の上記物体を検索するとともに、この物体の上記３次元座標を基にポインタの３次元座標を決定する３次元座標演算ステップ、を備えるため、ポインタの２次元座標から仮想的な３次元空間の３次元座標を導出することができる。そして、上記ポインタの３次元座標を他の端末装置へ送信するポインタ座標送信ステップで、他の端末装置へ自己のポインタの位置を知らせることができる。
ポインタ受信ステップは、
上記３次元空間の視点を第２の視点として指示する第２の視点指示ステップ、上記第２の視点を入力し、この第２の視点を基に上記３次元空間情報から第２の２次元画像を生成し、この第２の２次元画像中に、上記送信側端末装置にかかるポインタを上記第２の視点と上記他端末ポインタ情報から計算される位置へ合成する第２の画面合成ステップ、を備えるため、他の端末装置のポインタを自己の端末装置上に異なる視点（第２の視点）から表示することができる。
従って、送信側端末装置でポインタ送信ステップを実行し、受信側ステップでポインタ受信ステップを実行することにより、他の端末装置のポインタが３次元空間上のどこにあるかを知ることができ、仮想的な３次元空間による臨場感と相まって、非常に使いやすいインタフェースを提供することができる。また、各操作者が異なる視点を持ちながら、それぞれの視点に合わせて他の操作者のポインタを表示することができる。
【０１５４】
また、操作者の状態を表す情報である状態情報を他の端末装置から受信する状態情報受信部と、この状態情報に基づき上記操作者を表す仮想の物体の表示形態を変化させて表示する状態表示部と、を備えたため、実際には見ることのできない他の操作者の状態を表示形態の変化によって知ることができる。そのため、より臨場感のあるコミニュケーションをとることができ、遠隔地にいる操作者間であっても、現実に近い形で仮想会議を進行することができる。
【０１５５】
また、第１の端末装置によって実行され、第１の端末装置の操作者の身体変化を計測する身体変化計測ステップと、上記第１の端末装置によって実行され、この身体変化にかかる情報を状態情報として他の端末装置に送信する状態送信ステップ、第２の端末装置によって実行され、上記第１の端末装置から受信した状態情報に基づき、操作者を表す仮想物体の形態を変化させて表示する状態表示ステップと、を備えるため、例えば、操作者の脈拍、体温、脳波等の身体の変化を計測して、第１の端末装置にかかる操作者の感情情報を生成し、この感情情報を第２の端末装置へ送信して、第２の端末装置上に上記感情情報を反映した仮想の物体を表示するため、実際には見ることのできない他の端末装置操作者の感情を表示形態の変化によって知ることができる。そのため、より臨場感のあるコミニュケーションをとることができ、遠隔地にいる操作者間であっても、現実に近い形で仮想会議を進行することができる。また、操作者の顔の映像を撮影し、この画像を送信する場合に比べ、データ伝送量を極めて小さくすることができる。
【０１５６】
また、仮想的な３次元空間の視点を指示する視点指示部と、上記視点を入力し、この視点を基に上記３次元空間を記述する３次元空間情報から２次元画像を生成する画面合成部と、上記２次元画像中に含まれる複数の仮想の物体の中から少なくとも１つの上記仮想の物体を第１のキャラクタとして選択するキャラクタ選択部と、上記キャラクタ選択部による選択が行われた場合には、上記第１のキャラクタに関連する被制御部が接続された上記他の端末装置に対し、上記自己の端末装置内で発生する制御信号を送信する出力管理部と、３次元空間を視点から見たように表示する２次元画像により臨場感を得ることができ、加えて、操作者は自己の端末装置の２次元画像中に含まれるキャラクタを指示するだけで、他の端末装置の被制御部を操作することができるため、非常に使いやすいインタフェースを提供することができる。
【０１５７】
さらに、複数の上記端末装置間の優先順位を記憶する優先順位記憶部と、
上記他の端末装置から送信された入力信号と上記自己の端末装置内から送信された入力信号と、を上記優先順位に基づいて選択的に、上記自己の端末装置の被制御部へ出力する入力管理部とを備えるため、他の端末装置から自己の端末装置の被制御部を操作は、優先順位に基づいて決定され、操作をブロックしたり、優先的に実行したりすることを可能にすると共に、他の端末装置装置から操作されることができる。
【０１５８】
【図面の簡単な説明】
【図１】 この発明の実施の形態１による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図２】 この発明の実施の形態１による仮想教室システムの他の端末装置の画面情報を取得する手順を示すフローチャートである。
【図３】 この発明の実施の形態１による仮想教室システムの仮想教室ウィンドウを示した図である。
【図４】 この発明の実施の形態１による仮想教室システムの画面合成処理を説明するフローチャートである。
【図５】 この発明の実施の形態２による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図６】 この発明の実施の形態２による仮想教室システムの仮想教室ウィンドウを示した図である。
【図７】 この発明の実施の形態３による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図８】 この発明の実施の形態３による仮想教室システムの仮想教室ウィンドウを示した図である。
【図９】 この発明の実施の形態４による仮想教室システムの画面情報の送受信を説明するシーケンス図である。
【図１０】 この発明の実施の形態５による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図１１】 この発明の実施の形態５による仮想教室システムの関連情報表示の処理を説明するフローチャートである。
【図１２】 この発明の実施の形態６による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図１３】 この発明の実施の形態６による関連情報の最適化処理を説明するフローチャートである。
【図１４】 この発明の実施の形態６による関連情報表示位置の候補を説明する斜視図である。
【図１５】 この発明の実施の形態６による関連情報を表示した仮想教室ウィンドウを示す図である。
【図１６】 この発明の実施の形態７による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図１７】 この発明の実施の形態８による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図１８】 この発明の実施の形態９による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図１９】 この発明の実施の形態１０による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図２０】 この発明の実施の形態１０による仮想教室システムの感情判断部における感情判断基準を説明する図である。
【図２１】 この発明の実施の形態１１による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図２２】 この発明の実施の形態１２による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図２３】 この発明の実施の形態１３による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【図２４】 この発明の実施の形態１４による仮想教室システムの１つの端末装置を説明する機能ブロック図である。
【符号の説明】
１ 端末装置、 ２ ネットワーク、 ３ 通信制御部、 ４ 共有アプリケーション部、 ５ 教室制御部、 ６ エージェント制御部、 ９ 画面制御部、 １０ 個人アプリケーション制御部、 １１ キーボード、 １２ マウス、 １３ 個人画面合成部、 １３ａ 画面情報向き変更部、 １３ｂ 個人画面表示位置自動修正部、 １４ ディスプレイ、 １７ 対応情報群、 １８ 関連情報、 １９ 関連情報、 ２０ 最適化処理部、 ２９ 個人アプリケーション管理部、 ３０ ポインタ制御部、 ３１ 視点方向測定機器、 ３２ 加速度測定機器、 ３３ 変換処理部、 ３４ 体感測定機器、 ３５ 感情判断部、 ３６ 表情変更部、 ３７ ３Ｄ風景情報群、 ３８ 風景選択部、 ３９ 風景管理部、 ４０ 入出力管理部、 ４１ 優先権情報
Claims (4)
- 互いにネットワークを介して接続される第１の端末装置及び第２の端末装置が、３次元情報に基づいて生成される仮想の３次元空間に登場する第１のエージェント及び第２のエージェントをそれぞれ操作する仮想会議システムの画像表示方法において、
前記第１の端末装置が、
前記３次元空間内のおける前記第１のエージェントの位置及び視点位置の示す位置視点情報を指示する第１のエージェント制御ステップと、
この第１のエージェント制御ステップにより指示された前記第１のエージェントの位置視点情報及び前記３次元情報に基づき前記３次元空間における前記第１のエージェントが見た第１の画像を生成する画像生成ステップと、
前記第１の画像内に前記第２の端末装置が操作者に対して表示している画面が存在するか否かを判断する判断ステップと、
この判断ステップにて存在すると判断した場合、前記第２の端末装置が操作者に対して表示している画面の画面情報の送信を要求する画面情報送付依頼を前記第２の端末装置に対して送信する送信ステップと、
前記画面情報送付依頼に基づいて前記第２の端末装置から送信される前記画面情報を受信する受信ステップと、
前記第１のエージェント制御ステップより指示された前記第１のエージェントの位置視点情報及び前記３次元情報に基づき前記３次元空間における前記第１のエージェントが見た第１の画像を生成し、前記受信ステップにて前記第２の端末装置より受信した前記画面情報から前記第２の端末装置が表示している表示画面を生成して前記第１の画像に合成する合成ステップと、
を実行し、
前記第２の端末装置が、
操作者に提供される画面を生成する画面生成ステップと、
前記第１の端末から送信される前記画面情報送付依頼を受信した際に、前記生成ステップで生成された画面を前記画面情報として前記第１の端末装置へ送信する送信ステップと、
を実行することを特徴とする仮想会議システムの画像表示方法。 - 前記第１の画面制御部の送信ステップは、前記表示画面の大きさを示す要求スケールを前記画面情報送付依頼に付して前記第２の端末装置に対して送信し、
前記第２の画面制御部の送信ステップは、前記生成ステップで生成された画面を、受信した前記要求スケールに示された大きさに変換した後に前記画面情報として前記第１の端末装置へ送信する、
ことを特徴とする請求項１記載の仮想会議システムの画像表示方法。 - 互いにネットワークを介して接続される第１の端末装置及び第２の端末装置が、３次元情報に基づいて生成される仮想の３次元空間に登場する第１のエージェント及び第２のエージェントをそれぞれ操作する仮想会議システムにおいて、
前記第１の端末装置は、
前記３次元空間内のおける前記第１のエージェントの位置及び視点位置の示す第１の位置視点情報を指示する第１のエージェント制御部と、
この第１のエージェント制御部より指示された前記第１のエージェントの位置視点情報及び前記３次元情報に基づき前記３次元空間における前記第１のエージェントが見た第１の画像を生成し、この第１の画像内に前記第２の端末装置が操作者に対して表示している画面が存在するか否かを判断し、存在すると判断した場合には前記第２の端末装置が操作者に対して表示している画面の画面情報の送信を要求する画面情報送付依頼を前記第２の端末装置に対して送信して前記第２の端末装置から送信される前記画面情報を受信する第１の画面制御部と、
前記第１のエージェント制御部より指示された前記第１のエージェントの位置視点情報及び前記３次元情報に基づき前記３次元空間における前記第１のエージェントが見た第１の画像を生成し、前記第１の画面制御部から受信した前記画面情報から前記第２の端末装置が表示している表示画面を生成して前記第１の画像に合成する第１の画面合成部と、
を備え、
前記第２の端末装置は、
操作者に提供される画面を生成する第２の画面合成部と、
前記第１の端末から送信される前記画面情報送付依頼を受信した際に、前記操作者に提供している画面を前記第２の画面合成部から取得して前記画面情報として前記第１の端末装置へ送信する第２の画面制御部と、
を備えたことを特徴とする仮想会議システム。 - 前記第１の画面制御部は、前記表示画面の大きさを示す要求スケールを前記画面情報送付依頼に付して前記第２の端末装置に対して送信し、
前記第２の画面制御部は、前記第２の画面合成部から得た前記画面を、受信した前記要求スケールに示された大きさに変換した後に前記画面情報として前記第１の端末装置へ送信する
ことを特徴とする請求項４記載の仮想会議システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22360195A JP3674993B2 (ja) | 1995-08-31 | 1995-08-31 | 仮想会議システムの画像表示方法並びに仮想会議用端末装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22360195A JP3674993B2 (ja) | 1995-08-31 | 1995-08-31 | 仮想会議システムの画像表示方法並びに仮想会議用端末装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0970030A JPH0970030A (ja) | 1997-03-11 |
| JP3674993B2 true JP3674993B2 (ja) | 2005-07-27 |
Family
ID=16800746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22360195A Expired - Fee Related JP3674993B2 (ja) | 1995-08-31 | 1995-08-31 | 仮想会議システムの画像表示方法並びに仮想会議用端末装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3674993B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4501171B2 (ja) * | 1999-03-18 | 2010-07-14 | ソニー株式会社 | 画像処理装置 |
| JP2005197945A (ja) * | 2004-01-06 | 2005-07-21 | Tietech Co Ltd | テレビ会議システム |
| US7331929B2 (en) * | 2004-10-01 | 2008-02-19 | General Electric Company | Method and apparatus for surgical operating room information display gaze detection and user prioritization for control |
| JP4661314B2 (ja) * | 2005-04-04 | 2011-03-30 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP2011040924A (ja) * | 2009-08-10 | 2011-02-24 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ変換装置、方法およびプログラム |
| JP2013088878A (ja) * | 2011-10-13 | 2013-05-13 | Sony Corp | 情報処理システム、情報処理方法、およびプログラム |
| JP5726058B2 (ja) * | 2011-12-09 | 2015-05-27 | 三菱電機株式会社 | 通信指令システム |
| JP6444767B2 (ja) * | 2015-02-26 | 2018-12-26 | Kddi株式会社 | 業務支援装置および業務支援プログラム |
| US20200394845A1 (en) * | 2018-02-26 | 2020-12-17 | Mitsubishi Electric Corporation | Virtual object display control device, virtual object display system, virtual object display control method, and storage medium storing virtual object display control program |
| KR102667547B1 (ko) * | 2019-01-24 | 2024-05-22 | 삼성전자 주식회사 | 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법 |
| CN111178191B (zh) * | 2019-11-11 | 2022-01-11 | 贝壳找房(北京)科技有限公司 | 信息播放方法、装置、计算机可读存储介质及电子设备 |
| JP2023060569A (ja) * | 2021-10-18 | 2023-04-28 | キヤノン株式会社 | 情報処理装置、表示装置、表示システム、情報処理方法、およびプログラム |
-
1995
- 1995-08-31 JP JP22360195A patent/JP3674993B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0970030A (ja) | 1997-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6753900B2 (en) | Method and apparatus for overcoming the limitations of camera angle in video conferencing applications | |
| JP3674993B2 (ja) | 仮想会議システムの画像表示方法並びに仮想会議用端末装置 | |
| JP3797678B2 (ja) | ウィンドウとカメラの協調制御方法および装置 | |
| JPH09247637A (ja) | 映像音声通信システム、映像通信システム、送信端末及び受信端末 | |
| CN110178158B (zh) | 信息处理装置、信息处理方法和记录介质 | |
| JP3623415B2 (ja) | 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体 | |
| JP3247307B2 (ja) | 情報提供システム | |
| JP3472065B2 (ja) | アニメーション生成装置およびアニメーション生成方法 | |
| JP2013054569A (ja) | 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法 | |
| CN104380720A (zh) | 视频会议处理方法及设备 | |
| JP2017033294A (ja) | ３次元描画システム及び３次元描画プログラム | |
| JP7016899B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
| US6028609A (en) | Picture display method and apparatus | |
| US20230118515A1 (en) | Method for changing viewpoint in virtual space | |
| CN116962745A (zh) | 视频图像的混画方法、装置及直播系统 | |
| EP2355500A1 (en) | Method and system for conducting a video conference with a consistent viewing angle | |
| JP3443321B2 (ja) | 仮想共有空間形成方法および仮想空間の形成プログラムを記録した記録媒体 | |
| JP3653431B2 (ja) | 仮想空間表示方法およびその表示プログラムを記録した記録媒体 | |
| JP2004199159A (ja) | 情報処理方法、情報処理装置、プログラムおよび記憶媒体 | |
| JP4544262B2 (ja) | 仮想現実空間共有システムおよび方法、並びに、情報処理装置および方法 | |
| JP3625549B2 (ja) | 多地点ビデオ会議システム | |
| CN214851294U (zh) | 一种基于wifi6路由器的虚拟现实设备管理系统 | |
| JP2947108B2 (ja) | 協同作業インタフェース制御装置 | |
| JP7072706B1 (ja) | 表示制御装置、表示制御方法および表示制御プログラム | |
| JPH08181960A (ja) | 遠隔会議映像表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050425 |
|
| LAPS | Cancellation because of no payment of annual fees |