JP4442016B2 - 席順決定装置、グループ判定表作成方法、グループ判定表作成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、３以上の複数の通信装置間で通信を行う通信システムにおける席順決定装置に関する。さらに、席順決定装置で利用するグループ判定表を作成するための、グループ判定表作成方法、グループ判定表作成装置に関する。
【０００２】
【従来の技術】
従来より、遠隔会議システムでは、遠く離れている複数の会議室における画像及び音声をネットワークを介して相互に通信し、各会議室において他の会議室の画像及び音声を再生することにより、あたかも１つのテーブルを囲んでいるかのように会議を行うことが可能となっている。
【０００３】
【発明が解決しようとする課題】
ところで、従来の遠隔会議システムにおいては、各会議室における会議参加者が同時に発言できるようになされている。
ここで、実際の会議中には参加者の中で、会議の進行上の状況などに応じて、いくつかの会話のグループができ、グループ毎に話題が異なる場合がある。またそのようなグループはあくまでもある話題について一時的に一部の会議参加者によって形成されるものであり、グループは流動的なものである。つまり会議の進行に応じて会話グループができたり、グループの構成員が変化したり、あるいは１つのグループがさらに複数のグループに分かれるなど時々刻々と変化する。
【０００４】
遠隔会議システムでは、各参加者は他の参加者の姿をモニタ装置により見ることになるが、従来のシステムでは、各モニタ装置と映し出される参加者の対応は固定であった。例えば６人が参加者となるシステムにおいては、各参加者は他の５人の姿を５台のモニタ装置で見ることになるが、各モニタ装置は、それぞれ特定の会議参加者が映し出される。即ち或る参加者が使用する遠隔会議端末においては、５台のモニタ装置ＭＤａ、ＭＤｂ、ＭＤｃ、ＭＤｄ、ＭＤｅにはそれぞれ他の参加者ＨＭａ、ＨＭｂ、ＨＭｃ、ＨＭｄ、ＨＭｅが常に固定的に表示されている状態となる。
ここで各モニタ装置を、他の会議参加者の「席」であると考えることとすると、その席順を或る程度変更可能とすることが考えられる。
即ち例えば順番に並べられて配置されている５台のモニタ装置ＭＤａ、ＭＤｂ、ＭＤｃ、ＭＤｄ、ＭＤｅのそれぞれについて、参加者ＨＭａ、ＨＭｂ、ＨＭｃ、ＨＭｄ、ＨＭｅを固定的とせずに、モニタ装置と参加者の対応を変更可能とするものである。
これにより例えば上記のグループが発生したような場合に、そのグループに会わせて「席替え」を行うことが考えられる。例えば当該端末のユーザと、参加者ＨＭｂ、ＨＭｄがグループを形成した場合に、モニタ装置ＭＤａに参加者ＨＭｂ、モニタ装置ＭＤｂに参加者ＨＭｄが映し出されるように対応関係を変化させる席替えを行えば、グループ内の会話に都合のよい状態を作り出すことができる。
【０００５】
しかしながら、このような「席」の変更は、例えば参加者が席順を変更させる指示操作を行うことによって席替え制御が実現されるものであり、実際には会議の進行中に離合集散するグループに合わせてユーザーが席替え操作を行うことは現実的ではない。つまり非常に煩雑な操作をユーザに要求することになる。また特に会議の進行中にはユーザーは一切の操作はせずに、会議に集中したいものである。さらに端末のユーザーは必ずしも操作に慣れているわけではない。
またシステムのオペレータとしての担当者を用意して席替え操作を実行してもらうことも考えられるが、余分な人手がかかることや、オペレータが刻々と変動している会話グループを正確に把握できないこともあり、やはり実用的とはいえない。
これらのことから、席順変更を可能としたシステムであっても、その機能は生かされないことが殆どであった。
【０００６】
【課題を解決するための手段】
本発明はこのような状況に鑑みてなされたものであり、遠隔会議システムなどにおいて、参加者の間でフレキシブルに進行する会話状況等に応じて適切な「席順変更」を実現できるような通信システムを提供し、これにより、より好適な通信会話環境等が得られるようにすることを目的とする。
【０００７】
このため３以上の複数の通信装置間で通信を行う通信システムにおいて、上記各通信装置が送信する情報についての各時点毎の席順情報を生成し、各通信装置に送信する席順決定装置を有するものとする。
また上記席順決定装置は、上記各通信装置が送信する情報に対する上記各通信装置の各ユーザの注目度に応じて、上記複数の通信装置が送信する情報についての各時点毎の席順情報を生成する。
また上記席順決定装置は、上記各通信装置が送信する情報に対する各ユーザの注目度に基づいて、上記各通信装置が送信する各情報をグループ分けし、そのグループ分けの結果に基づいて上記席順情報を生成する。
また上記各通信装置は、上記席順情報に応じて他の通信装置から送信されてきた各情報の出力位置を制御することで、上記他の通信装置から送信されてきた各情報が上記席順情報に応じた席順で出力されるようにする。
さらに上記席順情報に応じて席順を変更する際には、当該席順の変更をユーザに提示する提示情報を出力する。
また上記グループ分けの状態をユーザに提示する提示情報を出力する。
【０００８】
本発明の席順決定装置は、上記各通信装置が送信する情報についての各時点毎の席順情報を生成する席順情報生成手段と、上記席順情報生成手段で生成された席順情報を逐次上記各通信装置に送信する送信手段と、上記各通信装置が送信する情報に対する上記各通信装置の各ユーザの注目度を示す注目度情報を受信する受信手段を備える。
そして上記席順情報生成手段は、上記受信手段で受信した上記注目度情報に基づいて、上記各通信装置が送信する各情報をグループ分けし、そのグループ分けの結果に基づいて上記席順情報を生成する。
上記グループ分けは、上記各通信装置の各ユーザの他の通信装置から送信されてきた各情報に対する注目度の状態と、グループ構成との間の統計的関係に基づいて行われる。
【００１２】
また本発明のグループ判定表作成方法は、各通信装置の各ユーザの他の通信装置から送信されてきた各情報に対する注目度の状態を示す注目度パターンと、各ユーザのグループ状態を示すグループ構成パターンとのサンプルから、その関係についての統計をとり、上記統計結果から、各注目度パターンについてそれぞれ１つの上記グループ構成パターンの対応関係を決定し、上記対応関係が決定された注目度パターンと上記グループ構成パターンを登録していくことで、各注目度パターンに特定のグループ構成パターンが対応されたグループ判定表を作成する。
また、上記統計は、実質的に同パターンとされる複数の注目度パターンが一の代表注目度パターンのサンプルとして統計がとられ、上記対応関係の決定では、代表注目度パターンとそれに対応する代表グループパターンが決定された後に、その決定に基づいて、各注目度パターンについてそれぞれ１つの上記グループ構成パターンの対応関係を決定するようにする。
【００１３】
本発明のグループ判定表作成装置は、上記各通信装置の各ユーザの他の通信装置から送信されてきた各情報に対する注目度の状態を示す注目度パターンと、各ユーザのグループ状態を示すグループ構成パターンとのサンプルを取り込み、その関係についての統計をとる統計手段と、上記統計手段で得られた統計結果から、各注目度パターンについてそれぞれ１つの上記グループ構成パターンの対応関係を決定する決定手段と、上記決定手段で対応関係が決定された注目度パターンと上記グループ構成パターンを登録していくことで、各注目度パターンに特定のグループ構成パターンが対応されたグループ判定表を作成する判定表作成手段と、を備える。
また上記統計手段は、実質的に同パターンとされる複数の注目度パターンを一の代表注目度パターンのサンプルとして統計をとり、上記決定手段では、上記代表注目度パターンとそれに対応する代表グループパターンを決定した後に、その決定に基づいて、各注目度パターンについてそれぞれ１つの上記グループ構成パターンの対応関係を決定するようにする。
【００１４】
【発明の実施の形態】
以下、本発明を遠隔会議システムに適用した実施の形態について次の順序で説明する。
１．通信システム構成
２．遠隔会議装置の構成
３．席順決定装置の構成
４．席順決定装置におけるグループ化処理
５．席順決定装置におけるグループ化を介する席順決定動作
６．遠隔会議装置における席順情報に応じた席順変更処理
７．席順決定装置における統計的関係を用いたグループ化処理例１
８．席順決定装置における統計的関係を用いたグループ化処理例２
９．席順決定装置におけるグループ化を介さない席順決定動作
１０．遠隔会議装置における注目度情報生成動作
１１．モニタ装置構成
１２．各装置の構成例
【００１５】
１．通信システム構成
図１は、本発明を適用した一実施の形態としての遠隔会議システムの概略構成を示している。なお、本明細書において、システムとは、複数の装置や各部などによる全体的な構成を意味するものである。
【００１６】
図１に示す実施の形態の遠隔会議システムにおいて、複数箇所（１〜ｎ箇所）に居る各会議参加者ＨＭ１〜ＨＭｎには、それぞれ対応した遠隔会議装置ＴＣＤ１〜ＴＣＤｎが割り当てられており、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎは、例えばＩＳＤＮ（Integrated Services Digita1 Network）等からなる通信ネットワークＮＴを介して接続されている。
以下、各会議参加者ＨＭ１〜ＨＭｎを個々に区別する必要がない場合には、単に会議参加者ＨＭと記述し、同じく、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎを個々に区別する必要がない場合には、単に遠隔会議装置ＴＣＤと記述する。なお、図１には、通信ネットワークＮＴとしてＩＳＤＮを例に挙げたが、ＩＳＤＮの代わりに、例えばケーブルテレビ網、インターネット、ディジタル衛星通信のような他の伝送媒体を用いることも可能である。
【００１７】
各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、上記通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに相互に通信するとともに、他の遠隔会議装置ＴＣＤから送信された他の会議参加者ＨＭの画像データ及び音声データを再生可能（画像及び音声をモニタ可能）となされている。
【００１８】
２．遠隔会議装置の構成
上記遠隔会議システムを構成する各遠隔会議装置ＴＣＤは、それぞれ図２に示すような構成を備えている。
なお、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎの構成はそれぞれ同じ構成を有しており、図２には、それら複数の遠隔会議装置ＴＣＤ１〜ＴＣＤｎのうち、代表して遠隔会議装置ＴＣＤ１の詳細な構成例を示している。
【００１９】
遠隔会議装置ＴＣＤ１は、通信ネットワークＮＴと接続され、当該遠隔会議システムを構成している他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎとの間で信号の送受信を行うと共に、送受信される信号について後述するような信号処理を行う信号処理装置ＳＰＤ１と、当該遠隔会議システムを構成している他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた会議参加者ＨＭ２〜ＨＭｎの画像データ及び音声データを、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応してモニタ可能なモニタ装置ＭＤ２〜ＭＤｎとを、少なくとも備えて構成されている。
なお以下、モニタ装置ＭＤ２〜ＭＤｎを個々に区別する必要がない場合、単にモニタ装置ＭＤと記述する。
【００２０】
ここで、遠隔会議装置ＴＣＤ１〜ＴＣＤｎの使用者は会議参加者ＨＭ１〜ＨＭｎに固定であるが、各遠隔会議装置内でのモニタ装置ＭＤとそこに呈示される会議参加者ＨＭの情報との対応は固定ではなく、後述の席順情報に応じ動的にその対応が変化するものである。
但し、簡単のため、席順変更の説明に至る前までは、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにおいてモニタ装置ＭＤ１〜ＭＤｎはそれぞれ会議参加者ＨＭ１〜ＨＭｎに対応するものとして説明を行う。
【００２１】
遠隔会議装置ＴＣＤ１の信号処理装置ＳＰＤ１は、通信ネットワークＮＴと接続されるネットワーク接続端子ＴＮ１と、通信ネットワークＮＴとの間で情報送受信を行うための情報送受信部ＴＲＢ１と、各モニタ装置ＭＤ２〜ＭＤｎに送られる信号に対して後述する情報加工配信処理を施す情報加工配信部ＰＢ１と、後述するように会議中において動的に席順を変更するのに用いられる注目度情報を生成する注目度情報生成部ＪＢ１と、各モニタ装置ＭＤ２〜ＭＤｎへ個々に送られる信号の出力端子ＴＯ２〜ＴＯｎと、各モニタ装置ＭＤ２〜ＭＤｎから個々に供給された信号の入力端子ＴＩ２〜ＴＩｎと、上記注目度情報の生成の際に使用される後述のスイッチ押下情報を生成するスイッチＳＷからの信号の入力端子ＴＳとを備えている。
【００２２】
各モニタ装置ＭＤ２〜ＭＤｎは、詳細な構成については後述するが、それぞれが主要構成要素として、モニタ装置ＭＤの筐体正面側に設けられるスピーカと、画面Ｇが所定の方向（例えば参加者ＨＭ１と対向する方向）に向くように配置されたディスプレイ装置とを少なくとも備えている。
また、モニタ装置ＭＤ２〜ＭＤｎのうち少なくとも一つのモニタ装置ＭＤには、当該遠隔会議装置ＴＣＤ１の周囲及び会議参加者ＨＭ１の発言の音を取り込むためのマイクロホンと、会議参加者ＨＭ１の画像を取り込むためのカメラ（例えばビデオカメラ）とが備えられている。
なお、マイクロホンとカメラが設けられるモニタ装置は、会議参加者ＨＭ１の正面に配置されるモニタ装置（図２の例ではモニタ装置ＭＤｍ）に設けることが望ましい。もちろん、全てのモニタ装置ＭＤ２〜ＭＤｎにマイクロホンとカメラを備えることも可能である。
【００２３】
モニタ装置ＭＤにおける上記カメラから取り込まれた画像データと、上記マイクロホンから取り込まれた音声データは、信号処理装置ＳＰＤ１及び通信ネットワークＮＴを介して他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送られる。
【００２４】
また、各モニタ装置ＭＤ２〜ＭＤｎのディスプレイ装置には、それぞれ遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送られてきた画像データに基づく画像が表示され、スピーカからは、同じくそれぞれ遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送られてきた音声データに基づく音声が出力される。
すなわち、これらモニタ装置ＭＤ２〜ＭＤｎは、それぞれ遠隔会議装置ＴＣＤ２〜ＴＣＤｎと１：１で対応づけられる。そして例えば、モニタ装置ＭＤ２のディスプレイ装置の画面Ｇ上には、遠隔会議装置ＴＣＤ２のカメラにより撮影されて通信ネットワークＮＴを介して供給されてきた画像データ（会議参加者ＨＭ２及びその周辺の画像データ）に基づく画像が表示され、また、このモニタ装置ＭＤ２のスピーカからは、遠隔会議装置ＴＣＤ２のマイクロホンにより取り込まれて通信ネットワークＮＴを介して供給された音声データ（会議参加者ＨＭ２の発言の音声データ）に基づく音声が放音される。
同様に、モニタ装置ＭＤ３のディスプレイ装置の画面上には、遠隔会議装置ＴＣＤ３のカメラにより撮影されて送信されてきた画像データに基づく画像が表示され、スピーカからは、遠隔会議装置ＴＣＤ３のマイクロホンにより取り込まれて送信されてきた音声データに基づく音声が放音される。他のモニタ装置ＭＤも同様であり、それぞれ対応する遠隔会議装置ＴＣＤから送られてきた画像が表示され、また音声が放音される。
但し上述のように、本例ではモニタ装置ＭＤ２〜ＭＤｎと、遠隔会議装置ＴＣＤ２〜ＴＣＤｎの対応は固定的でなく、いわゆる席順変更として、対応関係が動的に変化されるものである。従って、上記の対応関係は、例えばシステムの初期状態などにおける暫定的な対応関係となる。
なお、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎ間で通信ネットワークＮＴを介して送受信される画像データは、動画データの例以外に静止画データも考えられる。
【００２５】
これらモニタ装置ＭＤ２〜ＭＤｎは、図２に示すように、上記遠隔会議装置ＴＣＤ１を備えた会議室に居る会議参加者ＨＭ１と、他の離れた場所に居る他の会議参加者ＨＭ２〜ＨＭｎ（各モニタ装置ＭＤ２〜ＭＤｎの各ディスプレイ装置上に表示されている他の会議参加者ＨＭ２〜ＨＭｎ）とが、あたかも１つのテーブルを囲んで会議を行うかのように配置されている。なお、遠隔会議システムを構成している遠隔会議装置ＴＣＤが６台有り、各遠隔会議装置ＴＣＤ内のモニタ装置ＭＤが５台となるような場合、１つの遠隔会議装置ＴＣＤ内の５台のモニタ装置ＭＤの配置は、図示しているように、会議参加者ＨＭとこれら５台のモニタ装置ＭＤが例えば正六角形となるような配置とすることができる。
【００２６】
各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤ内の注目度情報生成部ＪＢは、以下に述べるようにして、会議中において動的に席替えを行う際に使用される注目度情報を生成する。
なお、以下、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに対応する各注目度情報生成部ＪＢ１〜ＪＢｎのうち、代表して遠隔会議装置ＴＣＤ１の信号処理装置ＳＰＤ１内の注目度情報生成部ＪＢ１の動作を例に挙げて説明する。
【００２７】
注目度情報生成部ＪＢ１は、会議参加者ＨＭ１の例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データに基づいて、会議参加者ＨＭ１の注目度を検出し、その検出結果に基づいて、後述するように動的に席順を変更するために用いられる注目度情報を生成する。
なお、会議参加者ＨＭ１における注目度とは、会議参加者ＨＭ１が前記モニタ装置ＭＤ２〜ＭＤｎの何れか或いはそれら以外の方向へ注目している場合のような注目の有無を表す場合（すなわち注目の有無をいわゆるディジタル的に０，１で表す場合）だけでなく、前記モニタ装置ＭＤ２〜ＭＤｎについてそれぞれどれくらい注目しているかを表す場合（すなわちアナログ的或いは段階的に表す場合）も含まれる。
【００２８】
詳細については後述するが、注目度情報生成部ＪＢ１は、モニタ装置ＭＤｍのカメラから供給される会議参加者ＨＭ１の画像データを解折し、会議参加者ＨＭ１の向いている方向を一定のサンプリングレートで検出する。
【００２９】
すなわち、注目度情報生成部ＪＢ１は、先ず、図３（ａ）に示すように、会議参加者ＨＭ１の向いている方向及びその方向の継続時間を表す情報として期間Ｉｊを検出する。なお、この場合、Ｉｊのｊは他の各会議参加者ＨＭ２〜ＨＭｎに対応する２〜ｎ及びそれら各会議参加者ＨＭ２〜ＨＭｎの何れでもないことを表す０のどれかの値である。注目度情報生成部ＪＢ１では、会議参加者ＨＭ２の画像が表示されているモニタ装置ＭＤ２の方を向いている期間Ｉ２、会議参加者ＨＭ３の画像が表示されているモニタ装置ＭＤ３の方を向いている期間Ｉ３、会議参加者ＨＭｍの画像が表示されているモニタ装置ＭＤｍの方を向いている期間Ｉｍ、会議参加者ＨＭn-1の画像が表示されているモニタ装置ＭＤn-1の方を向いている期間Ｉn-1、会議参加者ＨＭｎの画像が表示されているモニタ装置ＭＤｎの方を向いている期間Ｉｎ等、及び、それら各モニタ装置ＭＤ２〜ＭＤｎの何れの方をも向いていない期間Ｉ０を検出する。
【００３０】
次に、注目度情報生成部ＪＢ１は、それら検出した各期間Ｉ２〜Ｉｎ或いはＩ０について、特に時間Ｔcont以上続く期間を検出し、時間Ｔcont以上続く期間を検出した場合、当該検出した期間に対応する会議参加者を会議参加者ＨＭ１が注目していることを示す図３（ｂ）のような情報（Ｈｉ：Ａｊ）を生成する。
なお、この（Ｈｉ：Ａｊ）のｉは会議参加者ＨＭ１に対応して「１」である。またｊは他の各会議参加者ＨＭ２〜ＨＭｎに対応する「２」〜「ｎ」及びそれ以外に対応する「０」のどれかの値である。
すなわち、図３の例で説明すると、注目度情報生成部ＪＢ１は、図３（ａ）の各期間Ｉ２〜Ｉｎ或いはＩ０から、時間Ｔcont以上続く期間として期間Ｉ３とＩ０とＩ２を検出した場合、その検出した期間Ｉ３に対応する会議参加者ＨＭ３を会議参加者ＨＭ１が注目していることを示す図３（ｂ）のような情報（Ｈｉ：Ａ３）と、期間Ｉ０に対応して会議参加者ＨＭ１が各モニタ装置ＭＤの何れにも注目していないこと或いは各モニタ装置ＭＤ以外のものに注目していることを示す図３（ｂ）の情報（Ｈｉ：Ａ０）と、期間Ｉ２に対応する会議参加者ＨＭ２を会議参加者ＨＭ１が注目していることを示す図３（ｂ）の情報（Ｈｉ：Ａ２）を、注目度情報として生成する。
【００３１】
また、注目度情報生成部ＪＢ１では、上記各期間Ｉｊの検出と共に、スイッチＳＷからのスイッチ押下情報に基づいて、注目度情報を生成するようにしてもよい。すなわちこの場合の注目度情報生成部ＪＢ１は、図４（ａ）に示すように、会議参加者ＨＭ１の向いている方向及びその方向の継続時間を表す情報として期間Ｉｊを検出し、それら検出した各期間Ｉ２〜Ｉｎ或いはＩ０について、会議参加者ＨＭ１がスイッチＳＷを押下することにより得られる図４（ｂ）に示すようなスイッチ押下の「ＯＮ」信号が供給されたとき、当該スイッチ押下信号が「ＯＮ」信号となっている期間に対応する会議参加者を会議参加者ＨＭ１が注目していることを示す図４（ｃ）のような情報（Ｈｉ：Ａｊ）を生成する。図４の例で説明すると、注目度情報生成部ＪＢ１は、図４（ａ）の各期間Ｉ２〜Ｉｎ或いはＩ０から、スイッチ押下信号が「ＯＮ」となされた期間としてＩ３とＩ４を検出した場合、その検出した期間Ｉ３に対応する会議参加者ＨＭ３を会議参加者ＨＭ１が注目していることを示す図４（ｃ）のような情報（Ｈｉ：Ａ３）と、期間Ｉ４に対応する会議参加者ＨＭ４を会議参加者ＨＭ１が注目していることを示す図４（ｃ）の情報（Ｈｉ：Ａ４）を、注目度情報として生成する。
【００３２】
その他、会議参加者ＨＭ１の注目している方向を、当該会議参加者ＨＭ１が自ら明確に指示するようにする事も可能である。例えば、他の各会議参加者ＨＭ２〜ＨＭｎの各人毎に対応するボタンとそれらの何れにも注目していない場合に対応するボタンとを準備し、これらのボタンを当該会議参加者ＨＭ１が自ら押すことにより、自己が注目している相手を指定する。この場合、これら各ボタンの押下情報が前記注目度情報となる。
【００３３】
３．席順決定装置の構成
上述のように、注目度情報生成部ＪＢ１が会議参加者ＨＭ１の挙動や指示を元に何れの会議参加者ＨＭ２〜ＨＭｎを注目しているかを検出することにより生成された注目度情報は、信号処理装置ＳＰＤ１の情報送受信部ＴＲＢ１に送られ、さらにネットワーク接続端子ＴＮ１を介して通信ネットワークＮＴから、席順決定装置ＧＪＤに送られることになる。
【００３４】
席順決定装置ＧＪＤは、図５に示すように構成されている。
この図５において、席順決定装置ＧＪＤは、通信ネットワークＮＴと接続されるネットワーク接続端子７２と、通信ネットワークＮＴとの間で情報送受信を行うための情報送受信部７０と、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた注目度情報に基づいて席順の決定を行うとともに、その席順を表現する席順情報を生成し、当該席順情報を各遠隔会議装置ＴＣＤ１〜ＴＣＤｎの情報加工配信部ＰＢに送信する席順決定器７１とを備えている。
【００３５】
すなわち、当該席順決定装置ＧＪＤにおいて、情報送受信部７０は、通信ネットワークＮＴ上の信号から、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎが送信した各注目度情報を取り出し、当該各注目度情報を席順決定器７１に供給する。席順決定器７１では、上記各注目度情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎを介して会議に参加している各会議参加者ＨＭ１〜ＨＭｎをどのような席順に配置すべきかを決定するとともに、その決定された席順を表す席順情報を生成する。
そして情報送受信部７０では、生成された席順情報を通信ネットワークＮＴ上に送信し、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送る。
なお、詳細については後述するが、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎでは、席順決定装置ＧＪＤから送信されてきた席順情報を情報加工配信部ＰＢに送り、情報加工配信部ＰＢでは、当該席順情報に基づいて後述するように会議参加者ＨＭとモニタ装置ＭＤの対応を決定し、例えば席順の変更がわかりやすくなるような画像、音声の加工を施した上で、各モニタ装置ＭＤ２〜ＭＤｎに対応する会議参加者ＨＭに関する画像や音声を供給することで、決定された席順を実現する。
【００３６】
４．席順決定装置におけるグループ化処理
席順決定装置ＧＪＤにおいて用いられる席順決定の方法には種々のものが考えられるが、１つの例として、まず各会議参加者ＨＭ１〜ＨＭｎが参加していると思われる会話のグループ判定を行い、その結果に基づき、同じグループに属している参加者が近くに集まるように席順を決める方式が考えられる。
そこで、グループに基づく席順決定処理の説明の前に、席順決定装置ＧＪＤにおいて行われる会話のグループを判定する処理について述べる。
【００３７】
席順決定装置ＧＪＤにおいて用いられるグループ判定の基準には種々のものが考えられるが、以下では、例として、「注目している人と注目されている人の間にリンクがはられるとして、直接或いは間接にリンクで結ばれている人の集まりを１つのグループとする」という基準を用いる場合につき、上記席順決定装置ＧＪＤの席順決定器７１における注目度情報に基づいたグループ判定及び更新処理の詳細について説明する。
【００３８】
席順決定器７１は、図６に示すように、当該遠隔会議システムに参加している各会議参加者に対応する番号である「本人番号」と、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎを使用している各会議参加者ＨＭ１〜ＨＭｎが注目している相手先の会議参加者を表す番号である「注目先番号」と、グループ表への登録状態を表す「グループ表への登録」とからなる注目先表を保持する。
さらに席順決定器７１は、図７に示すように遠隔会議システムに存在する各グループの番号を表す「グループ番号」と各グループに属する会議参加者の「人数」と各グループに属する会議参加者を表す「メンバー」とからなるグループ表を保持している。
【００３９】
ここで席順決定器７１は、注目度情報を受信する前段として、図８に示す通信開始時の初期化処理を行う。
すなわち席順決定器７１は、先ず図８ステップＳ３１の処理として、図６に示す注目先表の作成と初期化を行う。
当該初期化では、図６に示す注目先表の「本人番号」として、当該遠隔会議システムに参加している各会議参加者に対応する番号（図６の例ではＨ１〜Ｈｎ）を設定する。また「注目先番号」として、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎを使用している各会議参加者ＨＭ１〜ＨＭｎが何れの相手先にも注目していないことを表す番号Ａ０を全てに設定する。さらに「グループ表への登録」として、何れのグループにも登録されていないことを表す「×」を全てに設定する。
【００４０】
同時に、席順決定器７１では、ステップＳ３２の処理として、図７に示すグループ表の作成と初期化を行う。
当該初期化では、図７に示すグループ表の「グループ番号」として、当該遠隔会議システムに参加している各遠隔会議装置ＴＣＤ１〜ＴＣＤｎの個々がそれぞれ一つのグループを構成しているとしてグループＧ１〜Ｇｎを設定する。また「人数」として、何れのグループについて誰も参加していないとして全て「０」を設定する。さらに「メンバー」として、何れのグループについても当該グループを構成するメンバーが存在しないとして全て空にする。
【００４１】
次に、席順決定器７１では、注目度情報を受信すると、図９に示す注目度情報発生時の処理を開始する。
この図９において、席順決定器７１では、注目度情報を受信すると、先ず、ステップＳ４１の処理として、図１０に示すように、注目先表に注目度情報を実際に反映させる。
注目度情報の反映とは、前記情報（Ｈｉ，Ａｊ）、つまりＨｉ番で表される会議参加者ＨＭｉが前記Ａｊ番に相当する他の会議参加者ＨＭｊに注目しているという情報を受けて、本人番号Ｈｉのエントリの「注目先番号」をＡｊにするという意味である。
またこの時「グループ表への登録」は全て「×」に初期化する。
なお、図１０の例では、「本人番号」Ｈ１で表される会議参加者ＨＭ１が注目する相手先として会議参加者ＨＭ３に対応するＡ３が「注目先番号」に設定され、「本人番号」Ｈ２の会議参加者ＨＭ２が注目する相手先として誰にも注目していないことを表すＡ０が「注目先番号」に設定され、同様に、会議参加者ＨＭ３が会議参加者ＨＭ５を注目することで「注目先番号」にはＡ５が設定され、会議参加者ＨＭ４が会議参加者ＨＭ２を注目することで「注目先番号」にはＡ２が設定されている。以下の説明は省略する。
【００４２】
また席順決定器７１では、ステップＳ４２の処理として、グループ表について図７と同様に「人数」を全て０に設定し、「メンバー」を全て空に設定する。
【００４３】
これらステップＳ４１とＳ４２の設定後、席順決定器７１では、ステップＳ４３の処理として、「本人番号」のＨ１〜Ｈｎのそれぞれに対して、順に注目先表の内容をグループ表に反映していく。
【００４４】
図１１には、図９のフローチャートのステップＳ４３における注目先表内容のグループ表への反映処理の詳細な流れを示す。なお、この図１１において、「登録」とはグループ表への登録を意味し、「自エントリ」とは注目先表での自己のエントリを示し、「注目先」とは自エントリにおける注目先を示し、「注目先エントリ」とは注目先表での注目先のエントリを示し、「自グループ」とは自分がメンバーに登録されているグループを示し、「注目先グループ」とは注目先がメンバーに登録されているグループを示す。また、実際の操作における登録とは、グループ表における人数を一人増やすこと、グループ表におけるメンバーに対応番号を追加すること、注目先表おけるグループ表への登録の内容を「○」にすることである。
【００４５】
先ず、上記注目先表における会議参加者Ｈｉのエントリの反映に関する要件について説明する。本人番号Ｈｉに対応する会議参加者ＨＭｉに関する注目先表のエントリの反映に関する要件は、先ず、本人番号Ｈｉがグループ表に登録され、注目先表の本人番号Ｈｉのエントリにおけるグループ表への登録が「○」となることである（以下、各遠隔会議装置におけるそのような要件を要件１と称する）。本人番号Ｈｉの注目先番号がＡ０の場合（他の何れの会議参加者にも注目していない場合）には、要件はこれだけである。
【００４６】
ここで、もし、本人番号Ｈｉの注目先番号がＡ０でないならば、さらに注目先番号がグループ表に登録され、注目先表における注目先のエントリにおけるグループ表への登録内容が「○」となること、及び、本人番号Ｈｉとその注目先がグループ表において同じグループに登録されていることが要件となる（以下、各遠隔会議装置におけるそのような要件を要件２と称する）。
【００４７】
このような要件が満たされていることを図１１のフローチャートを追いながら確認する。
先ず席順決定器７１は、ステップＳ５１の処理として、注目先表における本人番号Ｈｉの自エントリでグループ表への登録が「○」となっているか否か判定する。当該ステップＳ５１にて自エントリの「登録」が「○」となっていればグループ表への登録も保証されるので、要件１は既に満たされていることになる。したがって、当該ステップＳ５１にてＹＥＳと判定した場合、席順決定器７１では、本人番号Ｈｉのグループ表への登録に関する作業は行わず、ステップＳ５３の処理に進む。一方、席順決定器７１は、自エントリで「登録」が「×」であるため、ステップＳ５１にてＮＯと判定した場合、ステップＳ５２の処理に進む。
【００４８】
ステップＳ５２の処理に進むと、席順決定器７１では、グループ表において人数が０である最小の番号のグループに自己を登録（本人番号を登録）した後、ステップＳ５３の処理に進む。
これらステップＳ５１、ステップＳ５２の結果、次のステップＳ５３の処理の前には、何れにせよ要件１が満たされていることになる。
【００４９】
次に、ステップＳ５３の処理に進むと、席順決定器７１は、注目先番号がＡ０でないか否かの確認を行う。ここで、注目先番号がＡ０である場合には既に全ての要件が満たされていることになるので、当該ステップＳ５３においてＮＯと判定された場合、席順決定器７１では処理を終了する。一方、注目先番号がＡ０でなく、当該ステップＳ５３にてＹＥＳと判定されると、席順決定器７１の処理は、要件２を満たすべく、ステップＳ５４に進む。
【００５０】
ステップＳ５４の処理に進むと、席順決定器７１は、注目先エントリでのグループ表への登録の内容が「○」であるか否か判断する。
ここで、注目先エントリでの登録が「×」の場合、注目先エントリがグループ表に登録されていないことが確実なので、当該ステップＳ５４にてＮＯと判断すると、席順決定器７１は、ステップＳ５８の処理に進み、注目先を自己と同じグループ（自グループ）に登録し、さらに注目先表の注目先エントリにおけるグループ表への登録内容を「○」とする。このステップＳ５８の処理により、要件２は確実に満たされるので、その後、席順決定器７１は処理を終了する。
【００５１】
一方、ステップＳ５４の判定において、注目先エントリでの登録が「○」となされており、注目先が既に登録されている場合、残る要件は要件２の後半の本人番号Ｈｉとその注目先が同じグループとなっていることの保証のみとなる。そこで、ステップＳ５４の判定でＹＥＳと判定されると、席順決定器７１は、次のステップＳ５５においてグループ表を参照の上、ステップＳ５６において本人番号Ｈｉとその注目先が同じグループとなっているかどうかを確認する。
ステップＳ５６にて既に同じグループであると確認された場合、要件２は既に満たされているので、席順決定器７１は、当該ステップＳ５６にてＹＥＳと判定された場合は処理を終了する。
【００５２】
一方、ステップＳ５６にてＮＯと判定した場合、本人番号Ｈｉとその注目先の属するグループを同じにしなければならないので、席順決定器７１は、ステ
ップＳ５７の処理として、それぞれの属する２つのグループをマージする。すなわち、２つのグループのうち番号の小さい側に大きい側をマージ（小さい側の人数に大きい側の人数を加算し、小さい側のメンバーに大きい側のメンバーを追加し、大きい側の人数を０、メンバーを空に）する。この結果、要件２が満たされ、全ての要件が満たされたので、席順決定器７１は、処理を終了する。
【００５３】
以上で、注目先表における会議参加者Ｈｉのエントリの反映に関する要件についての確認が終了する。
【００５４】
次に、本人番号Ｈｉのエントリに関する反映の終了後には、本人番号Ｈｉのエントリの反映と共に、その一つ前の本人番号Ｈi-1までのエントリの反映がされていることが要件となる。なお、本人番号Ｈ１のエントリに関する反映に関しては、それまでに他のエントリを反映していないので、当該Ｈ１のエントリだけが反映されていればよい。
【００５５】
一方、本人番号Ｈｉのエントリを反映する場合に行う可能性のある操作は、グループ表への新規登録、グループ表における２グループのマージ、注目先表におけるグループ表への登録内容の「○」への変更であるが、この結果として本人番号Ｈｉの一つ前の本人番号Ｈi-1までのエントリに従い登録した番号が消されること、グループ表への登録が「×」になることはなく、同じグループに属していた２つの番号が分断されることもない。このため、本人番号Ｈｉについての反映処理により、その一つ前の本人番号Ｈi-1までの処理において満たされていた要件が満たされなくなることはない。したがって、帰納的に、全ての本人番号Ｈｉに関し、本人番号Ｈｉのエントリに関する図１１の処理の終了後、本人番号Ｈ１からＨｉの全てのエントリに関する要件が満たされていることが判る。
【００５６】
次に、図１１に示したフローチャートの処理を行った場合の注目先表及びグループ表の内容の変遷について、具体例を挙げながら説明する。なお、ここでは、初期状態として、グループ表は図７に示したような状態となっており、また、グループ判別用情報が反映されたときの注目先表が図１０のようになっている場合を例に上げ、これら注目先表とグループ表がどのように変遷するかを説明する。
【００５７】
先ず、会議参加者ＨＭ１（本人番号Ｈ１）のエントリの反映について説明する。
この時、グループ表への登録内容は「×」なので、図１１のステップＳ５１においてＮＯと判断され、次のステップＳ５２において本人番号Ｈ１のエントリへの登録が行われる。このステップＳ５２の処理の結果、グループ表は、図１２に示すように最小の番号のグループであるグループ番号Ｇ１について人数が１となり、メンバーには自己を表す本人番号Ｈ１が登録される。またこの時、注目先表は、図１３に示すように、本人番号Ｈ１についてのグループ表への登録内容が「○」となる。
【００５８】
次に、ステップＳ５３の判定処理においてＹＥＳと判定され、注目先として例えば会議参加者ＨＭ３を表す注目先番号Ａ３が得られた時、図１３に示すように、本人番号Ｈ３のエントリのグループ表への登録内容が「×」となっているので、ステップＳ５４の判定処理においてＮＯと判定され、その結果、ステップＳ５８において当該注目先の本人番号Ｈ３が自グループであるグループＧ１に登録される。これにより、グループ表は、図１４に示すように、グループＧ１について人数が２となり、そのメンバーはＨ１，Ｈ３となされ、また、注目先表は、図１５に示すように、それら本人番号Ｈ１とＨ３についてのグループ表への登録内容が「○」となる。
これにより、会議参加者ＨＭ１（本人番号Ｈ１）についてのエントリの反映は終了する。
【００５９】
次に、会議参加者ＨＭ２（本人番号Ｈ２）のエントリの反映について説明する。
当該本人番号Ｈ２のエントリの反映を行う場合、この時点でのグループ表への登録内容は「×」なので、図１１のステップＳ５１においてＮＯと判断され、次のステップＳ５２において本人番号Ｈ２のエントリへの登録が行われる。このステップＳ５２の処理の結果、グループ表は、図１６に示すように最小の番号の次のグループであるグループ番号Ｇ２について人数が１となり、メンバーには自己を表す本人番号Ｈ２が登録される。またこの時、注目先表は、図１７に示すように、本人番号Ｈ２についてのグループ表への登録内容が「○」となる。さらに、この図１７の例に示すように、本人番号Ｈ２についての注目先番号が例えばＡ０となっている場合は、この時点でエントリの反映処理が終了する。
【００６０】
次に、会議参加者ＨＭ３（本人番号Ｈ３）のエントリの反映について説明する。
当該本人番号Ｈ３のエントリの反映を行う場合、この時点でのグループ表への登録内容は先の本人番号Ｈ１のエントリ反映処理が行われている結果、図１５に示すように「○」となさているので、図１１のステップＳ５１においてＹＥＳと判断され、さらに、当該本人番号Ｈ３の会議参加者ＨＭ３が例えば会議参加者ＨＭ５を注目しているとすると、ステップＳ５３ではＹＥＳと判定される。この時点で、注目先の本人番号Ｈ５についてのグループ表への登録内容は図１７に示すように「×」となっているので、図１１のステップＳ５４においてＮＯと判断される。
【００６１】
その結果、ステップＳ５８において当該注目先の本人番号Ｈ５は、本人番号Ｈ３についての自グループであるグループＧ１に登録される。これにより、グループ表は、図１８に示すように、グループＧ１について人数が３に更新され、そのメンバーはＨ１，Ｈ３，Ｈ５に更新され、また、注目先表は、図１９に示すように、本人番号Ｈ５についてのグループ表への登録内容は「○」に更新される。
これにより、会議参加者ＨＭ３（本人番号Ｈ３）についてのエントリの反映は終了する。
【００６２】
次に、会議参加者ＨＭ４（本人番号Ｈ４）のエントリの反映について説明する。
当該本人番号Ｈ４のエントリの反映を行う場合、この時点でのグループ表への登録内容は「×」なので、図１１のステップＳ５１においてＮＯと判断され、次のステップＳ５２において本人番号Ｈ４のエントリへの登録が行われる。このステップＳ５２の処理の結果、グループ表は、図２０に示すように、既に設定されているグループＧ１，Ｇ２の次のグループであるグループ番号Ｇ３について人数が１となり、メンバーには自己を表す本人番号Ｈ４が登録される。またこの時、注目先表は、図２１に示すように、本人番号Ｈ４についてのグループ表への登録内容が「○」となる。
【００６３】
次に、ステップＳ５３の判定処理においてＹＥＳと判定され、注目先として例えば会議参加者ＨＭ２を表す注目先番号Ａ２が得られた時、この時点での注目先表では、図２１に示すように注目先である本人番号Ｈ２のグループ表への登録内容が「○」となっているので、ステップＳ５４の判定処理においてＹＥＳと判定される。
【００６４】
次に、ステップＳ５５において当該注目先の本人番号Ｈ２についてグループ番号の探索を行うことにより、当該注目先の本人番号Ｈ２のグループ番号Ｇ２を求める。次のステップＳ５６において、現時点での本人番号Ｈ４についてのグループ番号はＧ３であり、一方、注目先の本人番号Ｈ２のグループ番号Ｇ２となされているので、ＮＯと判断され、次のステップＳ５７において、本人番号Ｈ４についてのグループ番号Ｇ３は、より小さい番号である注目先の本人番号Ｈ２のグループ番号Ｇ２にマージされる。
【００６５】
これにより、グループ表は、図２２に示すように、グループＧ２について人数が２に更新され、そのメンバーはＨ２，Ｈ４に更新され、また、注目先表は、図２３に示すように更新（図２１のまま）される。
これにより、会議参加者ＨＭ４（本人番号Ｈ４）についてのエントリの反映は終了する。
【００６６】
最後に、会議参加者ＨＭ５（本人番号Ｈ５）のエントリの反映について説明する。
当該本人番号Ｈ５のエントリの反映を行う場合、この時点でのグループ表への登録内容は図２３に示したように「○」となされているので、図１１のステップＳ５１においてＹＥＳと判断され、さらに、当該本人番号Ｈ５の会議参加者ＨＭ５が例えば会議参加者ＨＭ３を注目しているとすると、ステップＳ５３ではＹＥＳと判定される。この時点で、注目先の本人番号Ｈ３についてのグループ表への登録内容は、図２３に示したように「○」となっているので、図１１のステップＳ５４においてＹＥＳと判断される。
【００６７】
次に、ステップＳ５５において当該注目先の本人番号Ｈ３についてグループ番号の探索を行うことにより、当該注目先の本人番号Ｈ３のグループ番号Ｇ１を求める。次のステップＳ５６において、注目先の本人番号Ｈ３のグループ番号Ｇ１となされており、また、このグループ番号Ｇ１には既に本人番号Ｈ５が登録されているので、ＹＥＳと判定され処理を終了する。
これにより、グループ表は、図２４に示すように更新（図２２のまま）、また、注目先表は、図２５に示すように更新（図２３のまま）される。
【００６８】
以上説明したような処理により、注目先表の全ての本人番号に関する情報の反映が終わった段階で、注目先表の「グループ表への登録」は全て「○」となり、また、全ての本人番号はそれぞれグループ表においてどれか一つのグループのメンバーとして登録されていることになる。
【００６９】
５．席順決定装置におけるグループ化を介する席順決定動作
以上のような処理によりグループ判定が終了すると、席順決定装置ＧＪＤは、同じグループの人は１繋がりにまとまる、という状況を実現するような席順の決定を行う。
この実現のため、席順決定装置ＧＪＤはグループ情報と共に席順情報も保持する。
グループに変更のあった際には保持している席順情報を参照し、これを図２６のフローチャートに示すような処理により変更することで新しい席順を決定する。以下この内容を説明する。
【００７０】
まずステップＳ１０１で、分断されているグループの有無を判断する。
変更前の席順において判定されたグループが全く分断されていない場合、即ち、すべてのグループがそれぞれ１繋がりにまとまっている場合には、目的とする状況は達成されているので変更前の席順がそのまま変更後の席順となる。つまり図２６の処理はそのまま終了する。
【００７１】
一方、ステップＳ１０１で分断されているグループがあると判断された場合には、ステップＳ１０２で、分断されているグループのうちグループに含まれる人数が最大のものを特定する。但し、このようなグループが複数ある際には例えばグループ番号が最小のものを分断されている最大のグループとみなす。当該最大グループは分断されているので、これはその中の１繋がりにまとまっている１人以上の人の集合をサブグループと称するとき複数のサブグループにより構成されることになる。
【００７２】
分断されている最大のグループが特定されると、次にステップＳ１０３で、その中の最大のサブグループを特定し、さらに当該最大サブグループから最も近い位置にいるサブグループを特定する。但し、サブグループのうち人数が最大のものが複数ある場合には例えば含まれる個人の個人番号の最小値が小さいものを最大サブグループとして特定することとし、また、最大サブグループを基準として時計回り側、反時計回り側双方同じ近さに別々のサブグループが存在する場合には例えば反時計周り側にあるものを最も近いサブグループとして特定するものとする。
【００７３】
最大サブグループから最も近いサブグループが特定されると、ステップＳ１０４で、当該特定されたサブグループを最大サブグループと連結する。この連結処理は以下のようなものである。
特定された最も近いサブグループが最大のサブグループを基準として反時計回り側に近いものであればこれを時計回りにシフトして、時計回り側に近いものであれば反時計回りにシフトして最大サブグループと繋がるようにする。但し、時計回り側と反時計回り側に同じ距離である場合には例えば時計回りにシフトして最大サブグループと繋がるようにする。この際、最大サブグループと、これと最も近いサブグループの間の席に居た人は最も近いサブグループと反対回りに最も近いサブグループの人数分だけシフトする。
以上が連結処理の詳細である。
【００７４】
このような一度の連結処理により、分断されていた最大グループにおけるサブグループの数は１減るので、図２６のフローチャートに沿ってループ処理することにより最終的に当該グループを１繋がりにまとめることができる。
また１つの分断されていたグループに関する処理が終わるとフローチャートに沿ってループ処理することで次に大きいグループの処理を行うことができるので、同フローチャートの処理を行うことで最終的に全てのグループがそれぞれ１繋がりにまとまり、目的の状況を達成して席順の決定処理を終えることができる。
【００７５】
席順決定処理における席順の変遷例を以下に２つに挙げる。
１つ目の例を図２７に示す。図２７（ａ）の状態では分断されているのは黒塗りで示したグループＧ１のみであり、サブグループは、ＳＧ１，ＳＧ２の２つとなる。また最大のサブグループＳＧ１から最も近いサブグループＳＧ２は反時計回り側にある。
この場合、一度の連結処理で図２７（ａ）の矢印に示すようにシフトが行われることで、図２７（ｂ）のように席順が更新され、席順決定の処理が完了する。
【００７６】
２つ目の例を図２８に示す。図２８（ａ）の状態では分断されているグループは黒塗りで示したグループＧ１と白抜きで示したグループＧ２の２つあるが、最大のグループは黒塗りで示したグループＧ１である。グループＧ１のサブグループはＳＧ１，ＳＧ２，ＳＧ３の３つが存在し、最大のサブグループＳＧ１からは時計回り、反時計回り両側に同じ近さで別々のサブグループＳＧ２，ＳＧ３がある。この場合上述したルールに従い、まず反時計回りにある側のサブグループＳＧ３を連結するようにシフトを行う。
【００７７】
この時点で図２８（ｂ）のようにサブグループはＳＧ１１，ＳＧ２の２つとなり、最大のサブグループＳＧ１１から最も近いサブグループＳＧ２は時計回り側に存在する。
続いてそのサブグループＳＧ２についての連結処理を行うと、当該グループＧ１は図２８（ｃ）のように１繋がりにまとまる。
この処理の結果もう１つの分断されていたグループＧ２も１繋がりにまとまるので計２回の連結処理により席順決定の処理が完了することになる。
【００７８】
席順決定器７１では、例えば以上のようにして席順決定の処理が完了した時点で、決定された席順を表現する席順情報を生成し、これが各遠隔会議装置ＴＣＤに送信されることになる。なお、席順情報と共に、グループ分けの状態を示すグループ情報も送信する。
【００７９】
なお、席順決定器７１が席順をグループ判定結果を基に決定する場合に、上記の例では、同じグループに属する会議参加者が１繋がりにまとまるようにという方針を用いていたが、同じグループの人を見る際に見渡す範囲を小さくできるよう、同じグループの人がなるべく均等に分散するようにという方針を用いることもできる。
例えば図２９に示すように、グループＧ１，Ｇ２とされる会議参加者が、それぞれ均等に分散するように席順を決定するようにしてもよい。
【００８０】
６．遠隔会議装置における席順情報に応じた席順変更処理
次に、本実施の形態の遠隔会議システムにおいて、各遠隔会議装置ＴＤＣから送信された画像データ及び音声データと、席順決定装置ＧＪＤから上述した席順情報とを受け取った遠隔会議装置ＴＣＤの動作を、以下に説明する。なお、ここでは、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎのうち、代表して図２に示した遠隔会議装置ＴＣＤ１を例に挙げてその動作を説明する。
【００８１】
遠隔会議装置ＴＣＤ１の情報送受信部ＴＲＢは、通信ネットワークＮＴを介して送信されてきた信号を受信すると、当該信号から各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応する画像データ及び音声データを分離すると共に、上記席順情報（グループ情報も含む）を取り出し、それら分離した各画像データ及び音声データをそれぞれ情報加工配信部ＰＢ１に送ると共に、上記取り出した席順情報を情報加工配信部ＰＢ１に送る。
【００８２】
情報加工配信部ＰＢ１は、上記席順情報に基づいて入力される画像及び／または音声を対応するモニタ装置ＭＤに供給するような情報の配信を行う。配信する画像及び／または音声に対しては、例えば席順の変更内容を直観的にわかりやすくするための加工を行うことも考えられる。
【００８３】
ここで、情報加工配信部ＰＢ１での具体的な処理内容について、以下に、席順の変更が直観的に分かりやすくなるような加工が画像及び音声に施され、これらが席順情報に基づく対応するモニタ装置ＭＤに供給される場合を例にとり説明する。
【００８４】
情報加工配信部ＰＢ１は図３０に示すような構成をとる。即ち図２に示した情報送受信部ＴＲＢ１で受信された画像及び音声を入力する入力端子２０１、同じく情報送受信部ＴＲＢ１で受信された席順情報を入力する入力端子２０２、席順情報についての動き判定を行う動き判定部２０３、席順情報に基づいて接続状態を決定する接続決定部２０４、入力された画像及び音声について加工処理を行う画像加工装置２０５、音声加工装置２０６、加工処理された画像や音声を各モニタ装置ＭＤに配信する情報配信部２０７が設けられる。
なお図示している情報配信部２０７からの出力端子ＴＯ２〜ＴＯｎは、図２に示したように各モニタ装置ＭＤ２〜ＭＤｎへ画像及び音声を供給する出力端子である。
【００８５】
動き判定部２０３は、入力された席順情報をもとに遠隔地にいる各会議参加者ＨＭの、その場にいる参加者ＨＭ１に対する相対的な動きの向き及び量、即ち席順の変更にかかる動きの向き及び量を判定し、その結果を動き情報として画像加工装置２０５及び音声加工装置２０６に供給する。
【００８６】
画像加工装置２０５は図３１に示すような構成をとる。即ち画像加工装置２０５には各会議参加者ＨＭの画像に対応するだけ、入力される画像を加工するための画像加工器２５０−２・・・２５０−ｎが存在する。
画像加工器２５０−２・・・２５０−ｎには、入力端子２５１から、各会議参加者ＨＭの画像が供給され、また入力端子２５２から上記動き判定部２０３からの動き情報が供給される。
各画像加工器２５０−２・・・２５０−ｎは、対応する会議参加者ＨＭに関する動きを動き情報から抽出し、これをもとに、必要に応じ、入力された対応する会議参加者ＨＭの画像に対し同参加者ＨＭの移動が直観的に分かりやすいような加工処理を行う。
加工処理された各画像は、出力端子２５３から情報配信部２０７に出力される。
【００８７】
各画像加工器２５０−２・・・２５０−ｎでの加工処理の一例としては、遠隔地にいる会議参加者ＨＭの、その場所にいる会議参加者ＨＭ１に対する相対的な動き方向の矢印を入力画像に対し重畳するというものがある。
動き方向が左である際の入力画像と加工後の画像の例を図３４（ａ）（ｂ）に示す。
なお、相対的な動きがない場合には例えば矢印の重畳は行わないという方法がある。矢印の重畳は例えば後述の情報配信部２０７における接続変更の直前まで行う。
【００８８】
また、各画像加工器２５０−２・・・２５０−ｎでの加工処理の他の一例としては、遠隔地にいる会議参加者ＨＭの、その場所にいる会議参加者ＨＭ１に対する相対的な動き方向に画面内での入力画像の位置を動かして表示するというものがある。
動き方向が左である際の、入力画像を動かす直前、それから一定時間後、それからさらに一定時間後の加工後画像の例を図３５（ａ）（ｂ）（ｃ）（ｄ）に示す。動きの付加は例えば後述の情報配信部における接続変更の直前まで行う。
【００８９】
さらに加工処理の他の一例としては、上記の動き付加の際に、背景は固定とし、入力画像中の会議参加者ＨＭの部分だけを動かすというものがある。
この実現手法としては例えば遠隔地の会議参加者ＨＭのカメラから見た背景部分をブルーバックとしておき、画像加工器２５０−２・・・２５０−ｎにおいて入力画像からブルーバック以外の領域を会議参加者として抜き出し、これに動きを付けて画像上に貼り付けると共に、画像上のその他の部分には固定の背景を貼り付けるというものがある。
動き方向が左である際の、入力画像を動かす直前、それから一定時間後、それからさらに一定時間後の加工後画像の例を図３６（ａ）（ｂ）（ｃ）に示す。図示するようにブルーバックＢＢを背景として会話参加者の画像を席順の変更方向に応じて、例えば左方向に移動させる。動きの付加は例えば後述の情報配信部２０７における接続変更の直前まで行う。
【００９０】
例えばこれらの画像加工処理は、モニタ装置ＭＤ２〜ＭＤｎで映し出される会議参加者の席順を変更させる際に、その変更を行うことや変更される方向を、参加者ＨＭ１にとってわかりやすくするものとなる。
【００９１】
音声加工装置２０６は図３２に示すような構成をとる。音声加工装置２０６には各会議参加者ＨＭの音声に対応するだけ、入力される音声を加工するための音声加工器２６０−２・・・２６０−ｎが存在する。
音声加工器２６０−２・・・２６０−ｎには、入力端子２６１から、各会議参加者ＨＭの音声が供給され、また入力端子２６２から上記動き判定部２０３からの動き情報が供給される。
各音声加工器２６０−２・・・２６０−ｎは、対応する会議参加者ＨＭに関する動きを動き情報から抽出し、これをもとに、必要に応じ、入力された対応する会議参加者ＨＭの音声に対し同参加者ＨＭの移動が直観的に分かりやすいような加工処理を行う。
必要に応じて加工処理された各音声は、出力端子２６３から情報配信部２０７に出力される。
【００９２】
各音声加工器２６０−２・・・２６０−ｎでの加工処理の一例としては、遠隔地にいる会議参加者ＨＭがその場所にいる会議参加者ＨＭ１に対して相対的に動く場合に、音声に対して例えば”席替えします”などのメッセージ及び／または席替えを象徴するような音を重畳するというものがある。メッセージや音の重畳は例えば後述の情報配信部２０７における接続変更の直前、または直後まで行う。
【００９３】
また加工処理の他の一例としては、遠隔地にいる会議参加者ＨＭの動きによらず、音声に対して例えば”席替えします”などのメッセージ及び／または席替えを象徴するような音を重畳するというものがある。メッセージや音の重畳は例えば後述の情報配信部における接続変更の直前、または直後まで行う。
【００９４】
図２９に示した接続決定部２０４は、入力端子２０２から入力された席順情報に基づき、各画像及び音声と各モニタ装置ＭＤの接続方法を決定し、これを接続情報として情報配信部２０７に供給する。
【００９５】
情報配信部２０７は図３３に示すように構成される。上記画像加工装置２０５から入力端子２７１を介して入力される画像、及び上記音声加工装置２０６から入力端子２７２を介して入力される音声は、マトリクススイッチャ２７０に供給される。そして、それぞれの画像及び音声は、上記接続決定部２０４から入力端子２７３を介してマトリクススイッチャ２７０に供給される接続情報に従って、席順情報に準ずるように各モニタ端末ＭＤに供給される。つまりマトリクススイッチャ２７０は、接続情報に応じて各画像及び音声を、出力端子ＴＯ２〜ＴＯｎに振り分ける処理を行う。
【００９６】
各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤにおいて、情報加工配信部ＰＢが以上のような構成とされることで、各モニタ装置ＭＤ２〜ＭＤｎにおいては、席順決定装置ＧＪＤで生成された席順情報に応じて動的に席順変更が行われることになる。
つまり会議中に離合集散する会話グループに応じて、会議参加者ＨＭ１が会話するのに好適な状況が実現されるように、モニタ装置ＭＤ２〜ＭＤｎとそこに映し出される各会議参加者ＨＭ２〜ＨＭｎの対応関係（席順）がフレキシブルに変更される。
【００９７】
なお、以上の例では遠隔地の会議参加者ＨＭに関する情報として扱われるものは画像、音声双方であったが、これを片方としても良い。
また、上記の例では画像及び音声に加工処理を行っているが、入力される画像及び／または音声を加工しないで直接情報配信部２０７に供給するようにしても良い。
【００９８】
ところで、席順変更が頻繁に起こると各会議参加者ＨＭがどの会話に参加しているのかの認識に混乱が生じる恐れがある。
このような事態を避けるため、上記のように席順決定装置ＧＪＤにおいてグループ判定に基づいて席順決定を行う場合に、情報加工配信部ＰＢにおける画像処理によりグループ毎に各会議参加者ＨＭの画像における背景を共通性のあるものに統一するような処理をする例も考えられる。
【００９９】
即ち、例えば各会議参加者ＨＭを撮像するカメラから見て背景をブルーバックにしておき、情報加工配信部ＰＢにおいて、このブルーバックを背景として抽出し、グループ毎にこれを、例えば、同じ色の背景に変換するという例が考えられる。即ち、情報加工配信部ＰＢはグループ情報に基づいて、各画像の背景色を設定し、画像処理を行う。色の取り決めとして、自己と同じグループに属する参加者がわかるように、自己と同じグループに属する参加者の背景を、例えば、固定の色（例えば青）とする方法も考えられる。
【０１００】
図３７（ａ）（ｂ）に、それぞれ変換前と変換後の背景色の例を示す。図中Ｇ１〜Ｇ３はそれぞれの参加者が属するグループの番号である。この例では、図３７（ｂ）の加工後の状態として、グループＧ２に属する会議参加者は背景が青の参加者を自己と同一のグループと認識でき、またこの時点で、背景が赤となるグループＧ１と背景が緑となるグループＧ３が形成されていることを容易に認識できる。
【０１０１】
７．席順決定装置における統計的関係を用いたグループ化処理例１
席順決定装置ＧＪＤにおいて用いるグループ判定の方法として前記の例では「注目している人と注目されている人の間にリンクが張られるとして、直接あるいは間接にリンクで結ばれている人の集まりを１つのグループとする」という基準に基づくものを用いたが、他の例として各会議参加者の注目先の組み合わせの注目パターンとグループパターンの間の統計的関係からグループの判定を行うものも考えられる。
【０１０２】
このような手法を用いる場合、席順決定装置ＧＪＤは、図４０に示すようなグループ判定表を準備しておき、注目パターンをこの表に基づきグループパターンに変換する処理例が考えられる。
以下では統計に基づきこのようなグループ判定表を予め作る際の手法の例につき説明していく。なお会議参加者が３人である場合を例に用いて説明する。
【０１０３】
グループ判定表を作成するためには、まず実際の会話状況を再現するような実験を行い、例えば一定周期毎に注目パターンとグループパターンの組合せからなる時系列のサンプル群を用意する。
この際、注目パターンの取得は例えば自動で行い、グループパターンについては例えば人間の判断により行うことが考えられる。
このサンプル群をもとにグループ判定表を作成する手法としては２つの手法が考えられ、まず１つ目の手法をここで説明する。
【０１０４】
この手法は、各注目パターンに対して最も頻度の高いグループパターンを調査し、そのようなグループパターンをそれぞれの注目パターンに対するグループパターンとして登録してやるものである。
【０１０５】
この方法ではまず一定時間毎に会議参加者の注目先のパターンとその時のグループパターンを記録するような実験を行うことで、図３９のような注目パターンに対するグループパターンの頻度表を作成しておく。
この図３９において会議参加者ＨＭ１〜ＨＭ３の下の番号は注目先の番号（但し０は誰にも注目していない場合に相当）であり、ＧＰ１〜ＧＰ５はグループパターンの番号である。
グループパターンの定義例を図３８に示す。
例えば３人の会議参加者ＨＭ１〜ＨＭ３においてグループができていない状態をグループパターンＧＰ１、会議参加者ＨＭ１、ＨＭ２がグループとなっている状態をグループパターンＧＰ２・・・というように、図３８に示すように各種のグループの形態がグループパターンＧＰ１〜ＧＰ５として定義される。
【０１０６】
図３９の頻度表の例は、実験結果として、例えば会議参加者ＨＭ１〜ＨＭ３の注目先が全て０である場合に、グループパターンがＧＰ１であった頻度が１００３４回、グループパターンＧＰ２の頻度が１３０回・・・グループパターンＧＰ５の頻度が３０２４回であったことを表している。
なお、実験時のグループパターンの判定は例えばその状況を見た人間の判断に基づき行う。
【０１０７】
次にこのような頻度表に基づき、会議参加者ＨＭ１〜ＨＭ３の注目パターン毎にどのグループパターンである確率が最も高いかに基づき、対応するグループパターンを選択し、その対応関係を図４０のグループ判定表にまとめる。
即ち図３９の頻度表では、会議参加者ＨＭ１〜ＨＭ３の注目先が全て０であった場合はグループパターン＝ＧＰ１の頻度が高いため、各会議参加者ＨＭ１〜ＨＭ３の注目先が「０」、即ち（０，０，０）の場合は、グループパターン＝ＧＰ１とする。
また会議参加者ＨＭ３の注目先が「１」で、他の会議参加者ＨＭ１，ＨＭ２の注目先が「０」、即ち（０，０，１）の場合は、図３９の頻度表からグループパターン＝ＧＰ４とする。
これを全ての各人の注目先のパターンについて判定していくことで、図４０のような注目先パターンとグループパターンが対応づけられることになる。
【０１０８】
そして席順決定装置ＧＪＤでは、予め生成された上記のようなグループ判定表を保持しておくことで、各遠隔会議装置ＴＣＤから注目度情報を受け取った際に、各会議参加者ＨＭ１〜ＨＭ３に関する注目のパターンから、グループ判定表を参照してグループの判定を行うことができ、さらにそのグループ判定に基づいて席順情報を生成できる。
【０１０９】
８．席順決定装置における統計的関係を用いたグループ化処理例２
上記の例では注目パターンに対するグループパターンの頻度表作成の際に全ての注目パターンを独立に扱ったが、第２の例としては、これらのうち素性の似たパターンをまとめた上で頻度表を作成し、さらに、これをもとにグループ判定表を作成する例も考えられる。
【０１１０】
例えば会議参加者ＨＭ１〜ＨＭ３の注目先が（０、０、２）、（０、１、０）、（０、３、０）、（２、０、０）、（３、０、０）である場合の注目の相互関係は（０、０、１）の場合の関係を回転及び／または反転したものと実質的に同等である。従って、例えば注目パターンが（０、０、２）の場合のグループパターンＧＰ１、ＧＰ２、ＧＰ３、ＧＰ４、ＧＰ５をそれぞれ、これらに同様の反転（会議参加者ＨＭ３から会議参加者ＨＭ１とＨＭ２の中点に向かって引く線分に関する反転）を施すことで得られる、注目パターンが（０、０、１）の場合のＧＰ１、ＧＰ２、ＧＰ４、ＧＰ３、ＧＰ５と同等のものであるとみなして、これらを全て（０、０、１）の注目パターンにまとめた上で統計をとる、という方法が考えられる。
この場合、グループ判定表における注目パターン（０、０、１）に対応する判定グループパターンがＧＰ１、ＧＰ２、ＧＰ３、ＧＰ４、ＧＰ５となっている場合、注目パターン（０、０、２）に対応する判定グループパターンはそれぞれの場合に対応してＧＰ１、ＧＰ２、ＧＰ４、ＧＰ３、ＧＰ５となることになる。
【０１１１】
即ち第２の例は、注目パターンのうち反転や回転により一致するものの各集合を代表となる代表注目パターンにより代表させ、統計をとる際にこの代表注目パターンに関する統計とし、この統計から代表注目パターンのグループパターン判定表を作成した上で最終的に全ての注目パターンに関するグループ判定表を作成してやるものである。
このような手法を用いることで、個人性の排除や、比較的少ないサンプル数での信頼性の高い判定の実現が期待できる。
【０１１２】
以下で第２の例のグループ判定表の詳細な作成手順につき説明する。
まず、統計に基づくグループ判定表の作成に先立ち、予め実際の注目パターンやグループパターンから代表の注目パターン、グループパターンへの変換を行うための変換表を作成しておく。
【０１１３】
上記第１の例と同様に会議参加者が３人である場合を例にとって説明を行うと、作成しておく表は、図４１の注目パターン変換表、図４２のグループ変換表、及び図４５のグループ逆変換表である。
【０１１４】
図４１の注目パターン変換表は、注目パターンがどの代表パターンにより代表されるか、また注目パターンから代表注目パターンへはどのような変換方法により変換が行われるかを示すものである。
代表注目パターンとしてはＨＭ１、ＨＭ２、ＨＭ３の注目先番号をそれぞれ百の位、十の位、一の位とする十進数の数字を作成した際に、最も小さい数字となるものを選ぶ。
なお、変換は全て、まず反転、その後回転の順で操作を行うとした時の反転の有無と回転の回数により表現する。反転の軸、及び回転の方向は図４６（ａ）（ｂ）に示す通りである。また、反転、回転の例も同図に示している。
図４１の注目パターン変換表において、反転の有無はそれぞれ０、１により表現する。「０」は反転なし、「１」は反転有りである。
また回転の回数は図４６（ｂ）に示す方向への回転の数となる。
【０１１５】
図４２のグループ変換表は上記の反転と回転を行った際に各グループパターンがどのグループパターンに変換されるかを示すものである。
即ち各グループパターンについて、反転及び回転がない場合、回転を１回行った場合、回転を２回行った場合、反転のみを行った場合、反転して回転を１回行った場合、反転して回転を２回行った場合、のそれぞれの結果として変換されるグループパターンが示される。
詳細は後述するが、これはサンプルにおける注目パターンを代表注目パターンに変換する際、この変換との整合性のあるサンプルにおけるグループパターンに対応するグループパターンを得るためのものである。
【０１１６】
図４５のグループパターン逆変換表は、各グループパターンに対して指定された変換の逆変換を施した際にどのグループパターンになるかを示すものであり、後述する図４４の代表グループ判定表から図４０のグループ判定表を作成する際に用いられる。
【０１１７】
以下、これらの表を用いて図４０のグループ判定表を作成する手法として装置構成及び作成手順につき説明する。
図４０のようなグループ判定表を作成する装置構成としての機能ブロックを図４７に示す。
なお各ブロックは、ソフトウエアでもハードウエアでも実現できる。そしてこの図４７のような機能ブロックを備えたグループ判定表作成装置は、例えば席順決定装置ＧＪＤが内蔵するようにしてもよいし、席順決定装置ＧＪＤとは別体の例えばパーソナルコンピュータにおいて実現されるものでもよい。いずれにしても、最終的に作成されたグループ判定表を席順決定装置ＧＪＤが保持できるようにすれば、各遠隔会議装置ＴＣＤから注目度情報を受け取った際に、各会議参加者ＨＭ１〜ＨＭ３に関する注目のパターンから、グループ判定表を参照してグループの判定を行うことができ、さらにそのグループ判定に基づいて席順情報を生成できるものである。
【０１１８】
グループ判定表作成装置としては図４７のように、情報取得手段３０１、情報変換手段３０２、代表頻度表作成手段３０３、代表グループ判定表作成手段３０４、代表グループ判定手段３０５、グループ逆変換手段３０６、グループ判定表作成手段３０７が設けられる。
【０１１９】
情報取得手段３０１は、実験で得られる各サンプルとして、注目パターン及びグループパターンを取得する。
情報変換手段３０２は、図４１の注目パターン変換表と図４２のグループ変換表を用いて、情報取得手段３０１で取得された上記注目パターン及びグループパターンを代表注目パターン及び代表グループパターンに変換する。
代表頻度表作成手段３０３は、代表注目パターン及び代表グループパターンから、図４３のような代表頻度表を作成する。
代表グループ判定表作成手段３０４は、代表頻度表に基づいて、図４４のような代表グループ判定表を作成する。
代表グループ判定手段３０５は、図４４の代表グループ判定表を検索して、代表注目パターンに対応する代表グループパターンを判別する。
グループ逆変換手段３０６は、代表グループパターンをグループパターンに逆変換する。
グループ判定表作成手段３０７は、グループパターンと注目パターンとから、図４０のグループ判定表を作成する。
なお、図４７の実線矢印は、図４４の代表グループ判定表を作成するまでの流れを示しており、破線矢印は、代表グループ判定表から図４０のグループ判定表を作成するまでの流れを示しているものである。
【０１２０】
このような構成のグループ判定表作成装置では、まず最初に行うのは図４３のような代表頻度表の作成である。
代表頻度表とはサンプルにおける注目パターン及びグループパターンを全て代表注目パターン及びこれへの変換と整合性のある変換を行ったグループパターン（以下、便宜上代表グループパターンと称する）に変換した上で、各代表注目パターンに対する代表グループパターンの頻度を集計した表である。
【０１２１】
この代表頻度表作成のための処理を図４８に示す。
なお図４８において「代表頻度表への登録」とは、対応する代表注目パターンと代表グループパターンの頻度に１を加算することである。
【０１２２】
まずステップＳ１１０において、情報取得手段３０１が注目パターンとグループパターンとしての最初のサンプルを取得すると、続いてステップＳ１１１で情報変換手段３０２は、図４１の注目パターン変換表を用いて、上記サンプルとして取得した注目パターンに対応する代表注目パターンと、その代表注目パターンへの変換方法を検索する。
次にステップＳ１１２において情報変換手段３０２は、図４２のグループ変換表を用いて、上記ステップＳ１１１で検索された変換方法に基づくグループパターンの代表グループパターンへの変換を行う。
このステップＳ１１１、Ｓ１１２により、取得した１つのサンプルにつき、代表注目パターンと代表グループパターンが得られる。
【０１２３】
続いてステップＳ１１３では代表頻度表作成手段３０３は、求められた代表注目パターンと代表グループパターンを図４３の代表頻度表に登録する。つまり今回のサンプルとしての該当部分に「１」を加算する。
【０１２４】
ステップＳ１１４では全てのサンプルについての処理が終了したか否かを判断し、終了していなければステップＳ１１５で情報取得手段３０１が注目パターンとグループパターンとしての次のサンプルを取得してステップＳ１１１に戻り、上記同様の処理を行う。
従って全てのサンプルについてのステップＳ１１１、Ｓ１１２、Ｓ１１３の処理が終了した時点では、図４３の代表頻度表が完成されていることになる。
【０１２５】
次に、このように生成された代表頻度表から図４４の代表グループ判定表を作成する。
代表グループ判定表は各代表注目パターンに対応する代表グループパターンを記述するものであり、各エントリ（行）における代表注目パターンは代表頻度表のものと同一である。
作成の作業は各代表注目パターンに対応する代表グループパターンとして代表グループパターンのうちの各代表注目パターンに対する頻度が最大のものを登録するという内容である。作成の具体的な手順を図４９に示す。
【０１２６】
代表グループ判定表作成手段３０４は、まずステップＳ１２０として、代表頻度表作成手段３０３で生成された代表頻度表の最初のエントリを取得する。そしてステップＳ１２１で、取得したエントリとしての代表注目パターンについて最も頻度の高い代表グループパターンを判別し、それを代表グループ判定表に登録する。
例えば図４３の代表頻度表の最初のエントリでは代表注目パターン（０，０，０）について、各代表グループパターンの頻度が記述されているが、最多の頻度となるのは代表グループパターンＧＰ１である。従って、図４４の代表グループ判定表の第１行目に見られるように、代表注目パターン（０，０，０）について、代表グループパターンＧＰ１が対応されて登録される。
【０１２７】
ステップＳ１２２では代表頻度表の全エントリに対して処理を終えたか否かを判断し、終えていなければステップＳ１２３で次のエントリを取得してステップＳ１２１に戻る。
また全エントリについてステップＳ１２１の処理を終えた時点で、ステップＳ１２２から処理を終える。
以上の処理により、図４３の代表頻度表から図４４の代表グループ判定表が生成される。なお、ここまでの処理が、図４７の実線の流れに対応している。
【０１２８】
最後に、代表グループ判定表から図４０のグループ判定表を作成する。
グループ変換表には全ての注目パターンが含まれている。グループ判定表の作成作業は、各注目パターンに対し、同じ「注目パターンと登録するグループパターンの関係」が、代表グループ判定表におけるそれぞれの注目パターンと対応する「代表注目パターンとそれに対して登録されている代表グループパターンの関係」と一致するようなグループパターンを登録するという内容である。
作成の具体的な手順を図５０に示す（図４７の破線の流れに対応）。
【０１２９】
上述したように代表グループ判定表が作成された後において、図５０のステップＳ１３０で情報取得手段３０１は、最初の注目パターンを取得する。そしてステップＳ１３１で、その取得した注目パターンについて、情報変換手段３０２が図４１の注目パターン変換表を用いて代表注目パターンと、その代表注目パターンへの変換方法を検索する。検索結果は代表グループ判定手段３０５に受けわたされる。
【０１３０】
次にステップＳ１３２では代表グループ判定手段３０５が、図４４の代表グループ判定表を用いて、情報変換手段３０２から受け渡された代表注目パターンに対応する代表グループパターンを検索する。検索結果としての代表グループパターンはグループ逆変換手段３０６に受け渡される。
ステップＳ１３３ではグループ逆変換手段３０６が、図４３のグループ逆変換表を用いて、代表グループ判定手段３０５から受け渡された代表グループパターンをグループパターンに逆変換する。
【０１３１】
ステップＳ１３４では、グループ判定表作成手段３０７が、上記のように情報取得手段３０１で取得した注目パターンと、グループ逆変換手段３０６から供給されたグループパターンを対応させたエントリとして、図４０のグループ判定表に登録を行う。
【０１３２】
ステップＳ１３５では全注目パターンに対して処理を終えたか否かを判断し、終えていなければステップＳ１３６で次の注目パターンを取得してステップＳ１３１に戻る。
また全注目パターンについてのグループ判定表への登録処理を終えた時点で、ステップＳ１３５から処理を終える。
以上の処理により、図４０のグループ判定表が生成される。
【０１３３】
以上のようにしてグループ判定に用いるグループ判定表の作成が実現され、席順決定装置ＧＪＤでは、グループ判定表を用いることでグループ分けを行い、席順情報を生成できるようになる。
【０１３４】
９．席順決定装置におけるグループ化を介さない席順決定動作
ここまでは、席順決定装置ＧＪＤにおける席順決定の方法として、まずグループ判定を行い、その結果に基づき席順の決定を行う例につき述べてきたが、席順決定をグループ判定を介さずに行う例も考えられる。以下にその一例につき述べる。
【０１３５】
席順決定装置ＧＪＤは各会議参加者ＨＭｉが他の会議参加者ＨＭｊの情報をどの程度欲しているかを表す情報要求度Ｒｉｊを保持する。この情報要求度は例えば現時点に近い時点で注目していた相手の情報要求度が高いとみなし、例えばある会議参加者ＨＭｉが過去に会議参加者ＨＭ２、ＨＭ５を注目し、現在会議参加者ＨＭ３を注目している場合、この会議参加者ＨＭｉのそれぞれに対する情報要求度を図５２における曲線の下の各部の面積Ｒｉ２、Ｒｉ５、Ｒｉ３とする。但し、図中の曲線は０より大きく１より小さい定数Ｋに関する指数関数に従う曲線である。
【０１３６】
より具体的には、席順決定装置ＧＪＤは一定時間毎に各会議参加者ＨＭｉが他の会議参加者ＨＭｊに注目しているかどうかを検査し、注目の有無を表す変数Ａｉｊに注目していれば１、注目していなければ０を代入する。
注目の検査が終わると席順決定装置ＧＪＤは以下の（数１）により、その時刻ｔにおける会議参加者ＨＭｉの会議参加者ＨＭｊに対する情報要求度を計算する。
【数１】

但しＫは減衰係数である。
【０１３７】
続いて席順決定装置ＧＪＤは可能な全ての席順の候補（席順番号ｍ）に関し、その席順となった場合の全会議参加者の総合的な満足度Ｓｍの計算を行う。この際に用いる計算式は以下の（数２）のようなものである。
【数２】

但しＷｍｉｊは席順毎に各情報要求度に対して予め決められた満足度の重み係数であり、例えば図５１の満足度重み表のような形で保持しておくものである。
【０１３８】
図５１の表は会議参加者が６人の場合の例であり表中Ａ〜Ｆは席の番号に、その下の１〜６は会議参加者ＨＭ１〜ＨＭ６に対応するものである。
席順において意味のあるのは各会議参加者ＨＭの相対位置関係であるので、例えば席ＡにはＨＭ１が必ず割り当てられるものと決めておく場合、席順の数は全部で５の順列の数１２０となり、席順番号は１〜１２０となる。
【０１３９】
席Ａ〜Ｆの配置例を図５３に示す。
図５１に示した満足度重みとしてのＷｍｉｊの値は、例えば、席順ｍにおいてＨＭｉとＨＭｊの距離が近いほど大きくなるように設定する。より具体的には例えばＨＭｉから数えてＨＭｊが何番目の位置にいるかを表す数Ｄｉｊ＿１の逆数１／Ｄｉｊ＿１や、隣り合う席間の距離を１と定義する場合のＨＭｉとＨＭｊの距離を表す数Ｄｉｊ＿２の逆数１／Ｄｉｊ＿２を用いることが考えられる。
この場合、図５４に示すような席順についてはＤ１６＿１は２であり、Ｄ１６＿２は√３である。
【０１４０】
席順決定装置ＧＪＤは最後に計算の結果最大となる満足度Ｓｍに対応する席順を採用する席順と決定する。但し、最大値をとる満足度Ｓｍが複数存在する場合には例えば、各参加者から見た他の参加者の移動量の総和の参加者全員分の和が最小となるような席順や、また別の例では席順番号が最小となるような席順を採用する席順と決定することが考えられる。
【０１４１】
１０．遠隔会議装置における注目度情報生成動作
以上、会議参加者の注目度に応じて席順を動的に変更していく動作について各種説明してきたが、ここで、前述した図２の注目度情報生成部ＪＢ１において、会議参加者ＨＭ１の例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データに基づき、会議参加者ＨＭ１が注目している方向（前記モニタ装置ＭＤ２〜ＭＤｎの何れか或いはそれら以外の方向）を検出する際の処理の具体例について説明する。
【０１４２】
本実施の形態の遠隔会議装置ＴＣＤ１の注目度情報生成部ＪＢ１で行われる上記会議参加者ＨＭ１の注目する方向検出処理の第１の具体例としては、以下に述べるような会議参加者ＨＭ１の視線の向き検出（視線検出）を挙げることができる。
【０１４３】
図５５には、上記注目度情報生成部ＪＢ１にて視線検出を行う場合の処理の流れを示す。
図５５において、注目度情報生成部ＪＢ１は、ステップＳ１１の処理として、例えば会議参加者ＨＭ１の正面に配されたモニタ装置ＭＤｍに設けられているカメラが撮像した画像データを受け取ると、次のステップＳ１２の処理として、当該供給された画像の色彩情報を用いて、会議参加者ＨＭ１の顔画像における両目の輪郭を検出する。すなわち、注目度情報生成部ＪＢ１は、供給された画像の色彩情報から例えば肌、白目、黒目等の色領域を抽出し、それら抽出した色領域の例えば境界を求めること等により、図５６に示すように右目の輪郭Ｅ及び左目の輪郭Ｅを検出する。なお、図５６は片目のみを示している。
【０１４４】
次に、注目度情報生成部ＪＢ１は、ステップＳ１３の処理として、ステップＳ１２で求めた両目のそれぞれの輪郭Ｅに基づいて、右目の左右端点Ｆ１，Ｆ２の位置及び左目の左右端点Ｆ１，Ｆ２の位置を求め、それら右目及び左目のそれぞれの左右端点Ｆ１，Ｆ２の位置を基準として、図５７に示すような鼻孔を探索するための探索範囲ＮＥを決定し、当該探索範囲ＮＥ内から鼻孔ＮＨの位置を検出する。すなわち、注目度情報生成部ＪＢ１は、左右両目について、図５６に示すように、それぞれ目の輪郭Ｅを構成する画素集合の重心Ｑと、目の輪郭Ｅを構成する画素集合の２次モーメント（線に関する慣性）を最小にする線Ｍとを求め、さらに、目の輪郭Ｅを構成する画素集合の中から、上記線Ｍの方向において重心Ｑからの距離が最大距離Ｌ１，Ｌ２となる位置の画素を、重心Ｑから左右方向に一つずつ求め、これらの画素位置を上記左右端点Ｆ１，Ｆ２として求める。
次いで、注目度情報生成部ＪＢ１は、図５７に示すように、上述のようにして求めた右目の左右端点Ｆ１，Ｆ２の位置と、左目の左右端点Ｆ１，Ｆ２の位置とを基準とし、それら各左右端点Ｆ１，Ｆ２から下方側に、鼻孔を探索するための探索範囲ＮＥを決定する。ここで、鼻孔ＮＨ部分の画像は他の部分の画像に比べて暗く写るので、注目度情報生成部ＪＢ１は、当該探索範囲ＮＥ内で輝度が低い画像部分を鼻孔ＮＨの位置として検出する。
【０１４５】
次に、注目度情報生成部ＪＢ１は、ステップＳ１４の処理として、図５８に示すように、右目の左右端点Ｆ１，Ｆ２の位置と、左目の左右端点Ｆ１，Ｆ２の位置と、鼻孔ＮＨの位置との幾何学的な位置関係とに基づいて、眼球ＥＢの中心位置ＥＣ及び眼球ＥＢの半径ｒを推定する。
【０１４６】
さらに、注目度情報生成部ＪＢ１は、ステップＳ１５の処理として、右目の輪郭Ｅ及び左目の輪郭Ｅ内の画像の輝度情報を用いて、図５７に示すように、瞳孔ＥＡの中心位置ＥＡＣを検出する。
【０１４７】
次に、注目度情報生成部ＪＢ１は、ステップＳ１６の処理として、図５９に示すように、ステップＳ１４で検出した眼球ＥＢの中心位置ＥＣと、ステップＳ１５で検出した瞳孔ＥＡの中心位置ＥＡＣとを結ぶベクトルＥＶを演算し、得られたベクトルＥＶを視線の方向として、そのベクトルＥＶがモニタ部１１１〜１１３のうちのいずれを向いているかの方向判定を行う。
【０１４８】
以上の流れにより、注目度情報生成部ＪＢ１では、会議参加者ＨＭ１の視線を検出する。
なお、上記輪郭Ｅのような特定の画素集合の２次モーメントを最小にする線Ｍは、例えば以下のような演算により求めることができる。
ここでは、図６０に示すように（数３）で表される直線Ｍを例に挙げる。
【数３】

【０１４９】
また、輪郭Ｅの画素集合上の各点（ｘi，ｙi）と上記直線Ｍとの距離をＲiとするとき、上記直線Ｍに関する２次モーメントｍは、（数４）のように表すことができる。
【数４】

【０１５０】
すなわち、２次モーメントを最小にする直線Ｍとは、上記（数４）のｍを最小にする直線Ｍのことである。結論を述べると、上記（数４）のｍを最小にするには、上記（数４）中のθ、ρとして、下記（数５）（数６）の条件を満たすものを使用する。
【数５】

【数６】

なお、（数６）の（ｘ0sinθ-ｙ0cosθ+ρ=０）は、画素集合の重心を通ることを意味する。
【０１５１】
但し、上記（数５）（数６）において、ａ，ｂ，ｃは下記（数７）（数８）（数９）で表される。なお、（ｘ0，ｙ0)は画素集合の重心である。
【数７】

【数８】

【数９】

【０１５２】
次に、本実施の形態の遠隔会議装置ＴＣＤ１の注目度情報生成部ＪＢ１で行われる上記会議参加者ＨＭ１の注目する方向検出処理の第２の具体例としては、以下に述べるような会議参加者ＨＭ１の顔向き検出を挙げることができる。
【０１５３】
図６１には、上記注目度情報生成部ＪＢ１にて顔向き検出を行う場合の処理の流れを示す。
図６１において、注目度情報生成部ＪＢ１は、ステップＳ２１の処理として、会議参加者ＨＭ１の正面に配されたモニタ装置ＭＤｍに設けているカメラから、例えば図６２（Ａ）（Ｂ）に示すような顔の原画像データが供給されると、次のステップＳ２２の処理として、当該供給された顔画像の色彩情報を用いて、肌領域と髪領域を検出する。すなわち、注目度情報生成部ＪＢ１は、供給された顔画像の色彩情報から、例えば肌、髪の色領域を抽出し、それら抽出した色領域により、図６３（Ａ）（Ｂ）に示すように、肌領域ｓｅと髪領域ｈｅを検出する。
【０１５４】
次に、注目度情報生成部ＪＢ１は、ステップＳ２３の処理として、図６４（Ａ）（Ｂ）に示すように、肌領域ｓｅと髪領域ｈｅの和領域ｆｅ（＝ｓｅ＋ｈｅ）の重心ｆｑと、肌領域ｓｅの重心ｓｑの検出を行うための枠の設定を行う。ここで、当該枠の設定は、画像の例えば垂直方向の範囲指定により行う。具体的に説明すると、この範囲指定は、例えば髪領域ｈｅと肌領域ｓｅの和領域ｆｅの上端ｒｅを基準とし、当該基準の上端ｒｅより下方向の区間const＿ａから区間const＿ａ＋const＿ｂの間を範囲とするように行う。
【０１５５】
続いて、注目度情報生成部ＪＢ１は、ステップＳ２４の処理として、ステップＳ２３にて設定した枠の範囲内において、髪領域ｈｅと肌領域ｓｅの和領域ｆｅの重心ｆｑと、肌領域ｓｅの重心ｓｑを求める。なお、これら重心は、後段の処理において、水平方向成分と垂直方向成分の両方を用いる場合や、水平方向成分と垂直方向成分の何れかを用いる場合が考えられるが、ここでは一例として水平方向成分についてのみ用いる場合の例を挙げて説明する。
【０１５６】
注目度情報生成部ＪＢ１は、ステップＳ２４にて髪領域ｈｅと肌領域ｓｅの和領域ｆｅの重心ｆｑと、肌領域ｓｅの重心ｓｑとを求めると、ステップＳ２５の処理として、肌領域ｓｅの重心ｓｑの値から、髪領域ｈｅと肌領域ｓｅの和領域ｆｅの重心ｆｑの値を引いた差分値を求める。
【０１５７】
次に、注目度情報生成部ＪＢ１は、ステップＳ２６の処理として、ステップＳ２５にて求めた差分値から顔の向きを検出する。すなわち、上記差分値から顔向きを検出する処理としては、例えば以下のような２つの方法の何れかを用いる。なお、ここでは差分値をＸ、顔向き角度をＹで表現することにし、また、会議参加者ＨＭ１がモニタ装置ＭＤｍのカメラの方向を向いている時の角度を０度と定義する。上記ステップＳ２６の処理の一方法例では、当該顔向き検出処理に先立って、予め差分値Ｘと顔向き角度Ｙに関する統計をとり、差分値Ｘに対する顔向き角度Ｙの値を例えば平均値として求め、図６５に示すようにその対応関係のグラフを用意しておき、この図６５の対応関係に基づいて、ステップＳ２５にて求めた差分値Ｘから顔向き角度Ｙを得る。また、ステップＳ２６の処理の他の方法例では、ステップＳ２５にて求めた差分値Ｘを用い、次の（数１０）により顔向き角度Ｙを求める。
【数１０】

【０１５８】
以上の流れにより、注目度情報生成部ＪＢ１では、会議参加者ＨＭ１の顔向きを検出する。
なお、会議参加者ＨＭ１の向いている方向を検出する更に他の具体的な方法としては、例えば、会議参加者ＨＭ１の顔に赤外線を照射し、当該会議参加者ＨＭ１の顔にて反射された赤外線を受光して生成した画像を用いて、方向検出を行うような方法も考えられる。
【０１５９】
１１．モニタ装置構成
次に、前述の図２の構成における各モニタ装置ＭＤ２〜ＭＤｎの具体的構成例について、以下の図６６及び図６７を用いて説明する。なお、図６６はモニタ装置ＭＤの側面側の概略的な透視図であり、図６７はモニタ装置ＭＤの概略的な正面図を表している。
なお、以下の説明では簡単のため、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにおいてモニタ装置ＭＤ１〜ＭＤｎにそれぞれ会議参加者ＨＭ１〜ＨＭｎに関する情報が提示される場合を例として用いる。
【０１６０】
本実施の形態の場合、各モニタ装置ＭＤ２〜ＭＤｎは、それぞれが図６６及び図６７に示すように、主要構成要素として、筐体１０と、筐体１０の正面（モニタ装置ＭＤの正面）側に設けられるスピーカ１３と、画面１４が所定の方向（図６６の例では上方）に向くように配置されたディスプレイ装置１５と、ディスプレイ装置１５の画面１４から出た光を図中一点鎖線ＢＯに示すように反射してモニタ装置ＭＤの正面側に導くと共に図中二点鎖線ＢＩに示すように当該モニタ装置ＭＤの正面側から入射した光を透過するハーフミラー１２と、上記ハーフミラー１２の後方に支持部１８により支持されて配されるカメラ（例えばビデオカメラ）１６とを備えている。また、モニタ装置ＭＤの例えば筐体１０の上面には、支持部１７により支持されたマイクロホン１１が設けられている。
なお、当該マイクロホン１１は、モニタ装置ＭＤ２〜ＭＤｎのうち例えば会議参加者ＨＭ１の正面に配置されているモニタ装置（図２の例ではモニタ装置ＭＤｍ）にのみ設けるようにしても良い。
【０１６１】
各モニタ装置ＭＤ２〜ＭＤｎの各カメラ１６は、図６６中二点鎖線ＢＩに示すようにハーフミラー１２を透過した入射光（例えば会議参加者ＨＭ１の光像）を取り込んで画像データに変換する。これら各カメラ１６から出力された画像データは、信号処理装置ＳＰＤ１の情報送受信部ＴＲＢ１に送られ、通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送られる。また、上記各モニタ装置ＭＤ２〜ＭＤｎのうち、特に、会議参加者ＨＭ１の例えば正面に配されるモニタ装置ＭＤｍのカメラ１６から出力された画像データは、信号処理装置ＳＰＤ１の注目度情報生成部ＪＢ１にも送られ、前述したように注目度情報生成の際の視線検出或いは顔向き検出のために用いられる。
【０１６２】
各モニタ装置ＭＤ２〜ＭＤｎの各マイクロホン１１は、当該遠隔会議装置ＴＣＤ１の周囲の音や会議参加者ＨＭ１の発言等の音を音声データに変換する。これら各マイクロホン１１から出力された音声データは、信号処理装置ＳＰＤ１の情報送受信部ＴＲＢ１に送られ、通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送られる。
【０１６３】
また、これらモニタ装置ＭＤ２〜ＭＤｎのうち、モニタ装置ＭＤ２のディスプレイ装置１５の画面１４上には、遠隔会議装置ＴＣＤ２において会議参加者ＨＭ１に対応して設けられているモニタ装置ＭＤ１のカメラ１６により撮影されて通信ネットワークＮＴを介して供給されてきた画像データ（会議参加者ＨＭ２及びその周辺の画像データ）に基づく画像が表示され、また、モニタ装置ＭＤ２のスピーカ１３からは、遠隔会議装置ＴＣＤ２において会議参加者ＨＭ１に対応して設けられているモニタ装置ＭＤ１のマイクロホン１１により取り込まれて通信ネットワークＮＴを介して供給された音声データ（会議参加者ＨＭ２の発言の音声データ）に基づく音声が放音される。同様に、モニタ装置ＭＤ３のディスプレイ装置１５の画面上には、遠隔会議装置ＴＣＤ３において会議参加者ＨＭ１に対応して設けられているモニタ装置ＭＤ１のカメラ１６により撮影されて送信されてきた画像データに基づく画像が表示され、スピーカ１３からは、遠隔会議装置ＴＣＤ３において会議参加者ＨＭ１に対応して設けられているモニタ装置ＭＤ１のマイクロホン１１により取り込まれて送信されてきた音声データに基づく音声が放音される。他のモニタ装置ＭＤも同様であり、それぞれ対応する遠隔会議装置ＴＣＤから送られてきた画像が表示され、また音声が放音される。
【０１６４】
ここで、本実施の形態における各モニタ装置ＭＤ２〜ＭＤｎは、図６６に示したように、上記ディスプレイ装置１５の画面１４から出た光が、ハーフミラー１２により図中一点鎖線ＢＯに示す方向へ反射されて会議参加者ＨＭ１側へ進むように構成されているため、上記ディスプレイ装置１５の画面１４上に表示される相手方の会議参加者ＨＭの顔画像等は、上記ハーフミラー１２により反射されることで本来の正しい状態に見える鏡像となされている。なお、図６７の図中ＲＶは、ディスプレイ装置１５の画面１４上に表示された相手方の会議参加者ＨＭの鏡像がハーフミラー１２により反射されて得られる像（相手方会議参加者ＨＭの顔の虚像）である。
【０１６５】
また、本実施の形態のモニタ装置ＭＤにおいて、ディスプレイ装置１５の画面１４上に相手方の会議参加者の鏡像を表示する際には、ハーフミラー１４を介することで当該鏡像の目の位置と光学的に共役となる虚像の目の位置が、カメラ１６のレンズの主点と略々一致するように表示を行うことにより、会議参加者ＨＭ１と相手方会議参加者ＨＭの視線が一致するようにしている。
【０１６６】
すなわち、一例として、遠隔会議装置ＴＣＤ１では会議参加者ＨＭ１がモニタ装置ＭＤｍの方を見ており（会議参加者ＨＭｍの画像を見ており）、遠隔会議装置ＴＣＤｍでは会議参加者ＨＭｍがモニタ装置ＭＤ１の方を見ている（会議参加者ＨＭ１の画像を見ている）場合を例に挙げて説明すると、この例の場合、遠隔会議装置ＴＣＤ１のモニタ装置ＭＤｍのディスプレイ装置１５の画面１４上に表示されるのは会議参加者ＨＭｍの顔等の鏡像であり、当該モニタ装置ＭＤｍのカメラ１６では当該モニタ装置ＭＤｍの方を向いている会議参加者ＨＭ１の画像が取り込まれ、その画像データが遠隔会議装置ＴＣＤｍ等に送られることになる。また、この例の場合、遠隔会議装置ＴＣＤｍのモニタ装置ＭＤ１のディスプレイ装置１５の画面１４上に表示されるのは会議参加者ＨＭ１の顔等の鏡像であり、当該モニタ装置ＭＤ１のカメラ１６では当該モニタ装置ＭＤ１の方を向いている会議参加者ＨＭｍの画像が取り込まれ、その画像データが遠隔会議装置ＴＣＤ１等に送られることになる。
このような状態となっている場合において、遠隔会議装置ＴＣＤ１側では、モニタ装置ＭＤｍのディスプレイ装置１５の画面１４上に相手方の会議参加者ＨＭｍの鏡像を表示する際に、当該鏡像の目の位置と光学的に共役となる虚像の目の位置がカメラ１６のレンズの主点と略々一致するように表示を行うようにし、同時に、遠隔会議装置ＴＣＤｍ側では、モニタ装置ＭＤ１のディスプレイ装置１５の画面１４上に相手方の会議参加者ＨＭ１の鏡像を表示する際に、当該鏡像の目の位置と光学的に共役となる虚像の目の位置がカメラ１６のレンズの主点と略々一致するように表示を行うようにすることにより、遠隔会議装置ＴＣＤ１側では会議参加者ＨＭ１の視線と相手方会議参加者ＨＭｍの虚像の視線とが一致するようになり、また、遠隔会議装置ＴＣＤｍでは会議参加者ＨＭｍの視線と相手方会議参加者ＨＭ１の虚像の視線とが一致するようになる。
【０１６７】
なお、一般的な従来の遠隔会議システムでは、本実施の形態のようにハーフミラーによる虚像ではなくディスプレイ装置の画面上に表示された画像（実像）を会議参加者が直接見るようになされており、また、カメラは例えばディスプレイ装置の画面の上下左右何れかの近傍に配置されることになる。したがって、一般的な従来の遠隔会議システムの場合、会議参加者の視線はディスプレイ装置の画面上に表示された画像（実像）上に向けられ、カメラのレンズから外れた方向に向くことになる。このため、ディスプレイ装置の画面上に表示される相手方の会議参加者の視線は、自分の方を向いているようには見えないことになり、本実施の形態の場合のように互いに視線を一致させて会話を行うようなことは出来ない。
【０１６８】
これに対して、本実施の形態の遠隔会議システムにおいては、各遠隔会議装置ＴＣＤのモニタ装置ＭＤを、図６６及び図６７に示すような構成とすることにより、上述したように、会議参加者とその相手方の会議参加者の双方が互いに相手方の目を見ながら、すなわち視線を一致させた状態で、会話をすることが可能となっている。
【０１６９】
また、本実施の形態においては、遠隔会議装置ＴＣＤ内の複数のモニタ装置ＭＤを、図２に示すように各遠隔会議装置ＴＣＤ２〜ＴＣＤｎの会議参加者ＨＭ２〜ＨＭｎが会議参加者ＨＭ１と共にテーブルを囲んでいるような状態に配置した場合、すなわち、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎの各地点における会議参加者ＨＭ２〜ＨＭｎの相対的な位置関係が保存されているような状態に配置した場合、会議参加者ＨＭ１と相手方の会議参加者との間で上述したような視線一致を実現できるだけでなく、他の会議参加者ＨＭがそれぞれ誰の方を向いているのかをも確認できるようになる。
【０１７０】
１２．各装置の構成例
次に、図６８には、本発明実施の形態の遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤや席順決定装置ＧＪＤを実現する実際の装置構成例を示す。なお、これら装置は、例えばパーソナルコンピュータ等にて実現することができる。また、上述した図４７のようなグループ判定表作成装置も、以下に述べる装置構成で実現できる。
【０１７１】
この図６８に示す構成は、各部を制御するＣＰＵ１００と、例えばＢＩＯＳ（Basic Input Output Systems）や各種の初期値等が格納されたＲＯＭ１０１と、各種のプログラムやデータ、演算途中のデータ等を一時的に記憶するＲＡＭ１０２と、ＯＳ（オペレーティングシステム）や各種アプリケーションプログラム（コンピュータプログラム）、その他のデータ等を格納するハードディスクを駆動するハードディスクドライブ（ＨＤＤ）１０４と、ＣＤ−ＲＯＭやＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、着脱可能はハードディスクや半導体メモリなどの各種のリムーバブルメディア１０６が装填されるメディアドライブ１０５と、前記ＩＳＤＮ、一般電話回線、ケーブルテレビ回線、ディジタル通信衛星回線などの外部通信網（前記通信ネットワークＮＴ）と接続したり、ＩＥＥＥ１３９４規格やＵＳＢ等の外部バス、各種の外部接続端子に接続するための通信インターフェイス（Ｉ／Ｆ）部１０３などを備えている。
なお、図示しないが、図６８に示す構成は、更に例えばユーザにより操作されるマウスやキーボード等の入力操作装置や情報を表示するためのモニタ等を備えることも可能である。
【０１７２】
ここで、上述した本実施の形態の遠隔会議システムにおける信号処理装置ＳＰＤの機能、特に、注目度情報生成部ＪＢでの注目度情報生成機能や情報加工配信部ＰＢでの情報加工配信機能、或いは、席順決定装置ＧＪＤのおけるグループ判定処理や席順決定処理及び席順情報の生成機能等を実現するためのアプリケーションプログラムは、リムーバブルメディア１０６により、或いは通信インターフェイス部１０３を介する通信により提供される。
【０１７３】
これらリムーバブルメディア１０６や通信インターフェイス部１０３により提供されたアプリケーションプログラムは、ＨＤＤ１０４内のハードディスクに格納され、当該ＨＤＤ１０４のハードディスクから読み出されてＲＡＭ１０２に一時的に格納され、これにより、ＣＰＵ１００は、当該ＲＡＭ１０２に一時的に記憶されたアプリケーションプログラムに応じて、前述したような本実施の形態の遠隔会議システムにおける各種の動作を実行する。
【０１７４】
次に、図６９には、遠隔会議装置ＴＣＤ１の他の構成例を示す。
この図６９に示す構成例では、他の遠隔会議装置ＴＣＤ２〜ＴＣＤｎの各会議参加者ＨＭ２〜ＨＭｎの画像を映しだす表示手段として、前述の図２に示したような他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎ（他の会議参加者ＨＭ２〜ＨＭｎ）それぞれに対応したモニタ装置ＭＤ２〜ＭＤｎを設けるのではなく、例えば湾曲した１つのスクリーン３１を設け、当該スクリーン３１に例えばプロジェクタにより画像を表示するようにしている。
【０１７５】
すなわちこの図６９の構成例では、会議参加者ＨＭ１と共に他の各会議参加者ＨＭ２〜ＨＭｎがあたかも１つのテーブルを囲んで会議を行うかのように、スクリーン３１上にそれら他の各会議参加者ＨＭ２〜ＨＭｎの画像が表示される。
【０１７６】
カメラ３４及びマイクロホン３５は、例えば会議参加者ＨＭ１の正面に置かれ、当該カメラ３４により撮像された会議参加者ＨＭ１の画像データとマイクロホン３５により集音された会議参加者ＨＭ１の音声データは、前記通信ネットワークＮＴを介して、他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。また、この図６９の構成例において、カメラ３４で撮像された会議参加者ＨＭ１の画像データは、前記信号処理装置ＳＰＤ１の注目度情報生成部ＪＢ１にも送られる。
【０１７７】
一方、他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた各会議参加者ＨＭ２〜ＨＭｎの音声データは、それら個々の音像がスクリーン３１上に表示されている各会議参加者ＨＭ２〜ＨＭｎの画像近傍に定位するように制御されて、スクリーン３１の左右に配置されたスピーカ３２，３３に供給され、放音される。これにより、スクリーン３１上に表示された各会議参加者ＨＭ２〜ＨＭｎの画像位置と、それら各会議参加者ＨＭ２〜ＨＭｎの発言（音声）が聞こえてくる位置は略々一致することになる。
【０１７８】
なお、本実施の形態では、注目度情報生成部ＪＢを個々の遠隔会議装置ＴＣＤ１〜ＴＣＤｎの信号処理装置ＳＰＤ１〜ＳＰＤｎ内に設けた例を挙げたが、通信ネットワークＮＴ上に独立して例えば一つ設けることも可能である。
【０１７９】
また、本実施の形態では、図２に示したように、各モニタ装置ＭＤ２〜ＭＤｎと信号処理装置ＳＰＤ１を別構成としたが、各モニタ装置ＭＤ２〜ＭＤｎのそれぞれ或いは一つに信号処理装置の機能を持たせることも可能である。
【０１８０】
さらに、本実施の形態では、図１に示したように、席順決定装置ＧＪＤを独立して通信ネットワークＮＴに接続するようにしているが、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎのそれぞれ或いは一つに当該席順決定装置の機能を持たせることも可能である。
【０１８１】
また、本実施の形態では、方向検出の具体例として視線と顔向き検出をそれぞれ別個に行う例を挙げたが、それら両方の方向検出を同時に行うことも可能である。
【０１８２】
その他、本実施の形態では、一人の会議参加者が所属できるグループを各時刻において一つとした例を挙げているが、それ以外に、例えば主に属しているグループ、発言はしないが情報は得たいグループなど、複数のグループを定義しておき、各人の会議参加者を複数のグループに所属可能とし、相手方の会議参加者の各人がどのグループに属しているかにより、席順決定を行うようにする例も考えられる。
【０１８３】
以上説明したように、本実施の形態の遠隔会議システムによれば、複数の会議参加者が同時に発言するような場合でも、自己が属するグループの発言を聞きやすくなり、また、画像も見やすくなり、したがって、各会議参加者において情報の充足と快適さを与える遠隔会議システムを実現することができる。
【０１８４】
【発明の効果】
以上の説明から理解されるように本発明によれば、３以上の複数の通信装置間で通信を行う場合に、各通信装置が送信する情報に対する席順情報を生成し、各通信装置に送信する席順決定装置を有し、各通信端末は席順情報に応じて各情報の出力位置を制御することで、他の通信装置から送信されてきた各情報が上記席順情報に応じた席順で出力されるようにしている。従って遠隔会議システムなどとして適用することで、会議の進行や会話の状況に応じて自動的に常に最適な状態に席順が変更されるため、ユーザにとって快適な会議環境、通信環境を実現できるという効果がある。
また席順決定は、上記各通信装置が送信する情報に対する上記各通信装置の各ユーザの注目度に応じて生成することで、最適な席順を実現できる。
【０１８５】
さらに席順決定は、上記注目度に基づいて上記各通信装置が送信する各情報をグループ分けし、そのグループ分けの結果に基づいて生成することで、会話中のグループを考慮した席順変更が自動的に実現され、遠隔会議システムとして好適である。
その際に、同じグループとされた各情報が並ぶように席順情報が生成されることで、グループ毎にまとめるような席順変更ができる。
或いは同じグループとされた各情報が略均等に分散するように席順情報が生成されることで、ユーザにとって会話のしやすい環境を実現できる。
【０１８６】
また各通信装置は、席順情報に応じて席順を変更する際には、当該席順の変更をユーザに提示する提示情報を、例えば画像情報や音声情報で出力することで、席順変更が行われることがユーザが認識でき、席順変更によってユーザが混乱することがなくなる。
さらにグループに基づいて席順を変更させる場合は、グループ分けの状態をユーザに提示する提示情報を出力することで、ユーザは会話グループの状態を良好に認識でき、これもユーザの状況認識を助けることができる。例えば背景画像の色などとすることが最もわかりやすい提示となる。
【０１８７】
また上記注目度は、ユーザの挙動検出情報もしくはユーザによる指示情報に基づいて決定することで、席順変更の基準となる情報として好適なものとなる。具体的には挙動検出情報としてユーザの視線や顔向きに基づくことは、ユーザの自然な動作を利用した最適な制御を実現できるものとなる。
【０１８８】
また上記グループ分けは、上記各通信装置の各ユーザの他の通信装置から送信されてきた各情報に対する注目度の状態と、グループ構成との間の統計的関係に基づいて行われることでも、席順情報の生成に対して適切なものとなる。
このため本発明のグループ判定表作成方法、グループ判定表作成装置により上記統計的関係を把握しておくことで、席順変更について好適な動作を実現できる。
【図面の簡単な説明】
【図１】本発明の実施の形態の遠隔会議システムの構成のブロック図である。
【図２】実施の形態の遠隔会議装置のブロック図である。
【図３】実施の形態の注目度情報の生成方式の説明図である。
【図４】実施の形態の注目度情報の他の生成方式の説明図である。
【図５】実施の形態の席順決定装置のブロック図である。
【図６】実施の形態の注目先表の初期状態の説明図である。
【図７】実施の形態のグループ表の初期状態の説明図である。
【図８】実施の形態の注目先表及びグループ表の初期化処理のフローチャートである。
【図９】実施の形態の注目度情報発生時の処理のフローチャートである。
【図１０】実施の形態の注目度情報を反映させたときの注目先表の説明図である。
【図１１】実施の形態の注目先表の内容をグループ表へ反映させる処理のフローチャートである。
【図１２】実施の形態の処理過程のグループ表の説明図である。
【図１３】実施の形態の処理過程の注目先表の説明図である。
【図１４】実施の形態の処理過程のグループ表の説明図である。
【図１５】実施の形態の処理過程の注目先表の説明図である。
【図１６】実施の形態の処理過程のグループ表の説明図である。
【図１７】実施の形態の処理過程の注目先表の説明図である。
【図１８】実施の形態の処理過程のグループ表の説明図である。
【図１９】実施の形態の処理過程の注目先表の説明図である。
【図２０】実施の形態の処理過程のグループ表の説明図である。
【図２１】実施の形態の処理過程の注目先表の説明図である。
【図２２】実施の形態の処理過程のグループ表の説明図である。
【図２３】実施の形態の処理過程の注目先表の説明図である。
【図２４】実施の形態の処理過程のグループ表の説明図である。
【図２５】実施の形態の処理過程の注目先表の説明図である。
【図２６】実施の形態の席順決定処理のフローチャートである。
【図２７】実施の形態の席順決定の例の説明図である。
【図２８】実施の形態の席順決定の例の説明図である。
【図２９】実施の形態の分散的な席順決定の例の説明図である。
【図３０】実施の形態の情報加工配信部のブロック図である。
【図３１】実施の形態の画像加工装置のブロック図である。
【図３２】実施の形態の音声加工装置のブロック図である。
【図３３】実施の形態の情報配信部のブロック図である。
【図３４】実施の形態の席順移動時の画像処理例の説明図である。
【図３５】実施の形態の席順移動時の画像処理例の説明図である。
【図３６】実施の形態の席順移動時の画像処理例の説明図である。
【図３７】実施の形態のグループ提示のための画像処理例の説明図である。
【図３８】実施の形態のグループパターンの説明図である。
【図３９】実施の形態の注目パターン対グループパターン頻度表の説明図である。
【図４０】実施の形態のグループ判定表の説明図である。
【図４１】実施の形態の注目パターン変換表の説明図である。
【図４２】実施の形態のグループ変換表の説明図である。
【図４３】実施の形態の代表頻度表の説明図である。
【図４４】実施の形態の代表グループ判定表の説明図である。
【図４５】実施の形態のグループ逆変換表の説明図である。
【図４６】実施の形態のグループ変換方法の説明図である。
【図４７】実施の形態のグループ判定表作成装置の機能的なブロック図である。
【図４８】実施の形態の代表頻度表の作成処理のフローチャートである。
【図４９】実施の形態の代表グループ判定表の作成処理のフローチャートである。
【図５０】実施の形態のグループ判定表の作成処理のフローチャートである。
【図５１】実施の形態の満足度重み表の説明図である。
【図５２】実施の形態の各人物に対する注目度の例の説明図である。
【図５３】実施の形態の席の名称の説明図である。
【図５４】実施の形態の席順の例の説明図である。
【図５５】実施の形態の視線検出処理の流れを示すフローチャートである。
【図５６】実施の形態の目の両端位置検出の説明図である。
【図５７】実施の形態の鼻孔の位置検出範囲の説明図である。
【図５８】実施の形態の目の両端位置、鼻孔位置、眼球中心位置の説明図である。
【図５９】実施の形態の視線の方向検出の説明図である。
【図６０】実施の形態の特定の画素集合の２次モーメントを最小にする線の求め方の説明図である。
【図６１】実施の形態の顔向き検出処理のフローチャートである。
【図６２】実施の形態の顔向き検出の際の原画像の説明図である。
【図６３】実施の形態の顔向き検出の際の髪領域と肌領域の説明図である。
【図６４】実施の形態の髪領域と肌領域の重心の説明図である。
【図６５】実施の形態の顔向き検出の際の差分値と角度の関係例の説明図である。
【図６６】実施の形態の具体例のモニタ装置を側面側から見た概略的な透視図である。
【図６７】実施の形態の具体例のモニタ装置の概略的な正面図である。
【図６８】実施の形態の遠隔会議システムにおける各遠隔会議装置の信号処理装置や席順決定装置を実現する実際の装置構成例を示すブロック構成図である。
【図６９】実施の形態の遠隔会議装置の他の例として、スクリーン上に会議参加者の画像を表示し、スピーカによる音像を定位させる場合の概略構成の説明図である。
【符号の説明】
ＨＭ 会議参加者、ＴＣＤ 遠隔会議装置、ＮＴ 通信ネットワーク、ＧＪＤ席順決定装置、ＳＰＤ 信号処理装置、ＴＲＢ 情報送受信部、ＰＢ 情報加工配信部、ＭＤ モニタ装置、ＳＷ スイッチ、７１ 席順決定器、１６ カメラ、１１ マイクロホン、１２ ハーフミラー、１５ ディスプレイ装置、１３スピーカ、１００ ＣＰＵ、１０１ ＲＯＭ、１０２ ＲＡＭ、１０３ 通信インターフェイス部、１０４ ＨＤＤ、１０５ リムーバブルメディアドライブ、 １０６ リムーバブルメディア

Claims (5)

1. ３以上の複数の通信装置間で通信を行う通信システムに設けられる席順決定装置において、
   上記各通信装置が送信する情報についての各時点毎の席順情報を生成する席順情報生成手段と、
   上記席順情報生成手段で生成された席順情報を逐次、上記各通信装置に送信する送信手段と、
   上記各通信装置が送信する情報に対する上記各通信装置の各ユーザの注目度を示す注目度情報を受信する受信手段と、
   を備え、
   上記席順情報生成手段は、上記受信手段で受信した上記注目度情報に基づいて、上記各通信装置が送信する各情報をグループ分けし、そのグループ分けの結果に基づいて上記席順情報を生成するとともに、
   上記グループ分けは、上記各通信装置の各ユーザの他の通信装置から送信されてきた各情報に対する注目度の状態と、グループ構成との間の統計的関係に基づいて行われる席順決定装置。
2. ３以上の複数の通信装置間で通信を行う通信システムにおいて、上記各通信装置の各ユーザの注目度に基づいて、上記各通信装置が送信する各情報をグループ分けするために用いるグループ判定表の作成方法として、
   上記各通信装置の各ユーザの他の通信装置から送信されてきた各情報に対する注目度の状態を示す注目度パターンと、各ユーザのグループ状態を示すグループ構成パターンとのサンプルから、その関係についての統計をとり、
   上記統計結果から、各注目度パターンについてそれぞれ１つの上記グループ構成パターンの対応関係を決定し、
   上記対応関係が決定された注目度パターンと上記グループ構成パターンを登録していくことで、各注目度パターンに特定のグループ構成パターンが対応されたグループ判定表を作成するグループ判定表作成方法。
3. 上記統計は、実質的に同パターンとされる複数の注目度パターンが一の代表注目度パターンのサンプルとして統計がとられ、
   上記対応関係の決定では、代表注目度パターンとそれに対応する代表グループパターンが決定された後に、その決定に基づいて、各注目度パターンについてそれぞれ１つの上記グループ構成パターンの対応関係を決定する請求項２に記載のグループ判定表作成方法。
4. ３以上の複数の通信装置間で通信を行う通信システムにおいて、上記各通信装置の各ユーザの注目度に基づいて、上記各通信装置が送信する各情報をグループ分けするために用いるグループ判定表を作成するグループ判定表作成装置として、
   上記各通信装置の各ユーザの他の通信装置から送信されてきた各情報に対する注目度の状態を示す注目度パターンと、各ユーザのグループ状態を示すグループ構成パターンとのサンプルを取り込み、その関係についての統計をとる統計手段と、
   上記統計手段で得られた統計結果から、各注目度パターンについてそれぞれ１つの上記グループ構成パターンの対応関係を決定する決定手段と、
   上記決定手段で対応関係が決定された注目度パターンと上記グループ構成パターンを登録していくことで、各注目度パターンに特定のグループ構成パターンが対応されたグループ判定表を作成する判定表作成手段と、
   を備えたグループ判定表作成装置。
5. 上記統計手段は、実質的に同パターンとされる複数の注目度パターンを一の代表注目度パターンのサンプルとして統計をとり、
   上記決定手段では、上記代表注目度パターンとそれに対応する代表グループパターンを決定した後に、その決定に基づいて、各注目度パターンについてそれぞれ１つの上記グループ構成パターンの対応関係を決定する請求項４に記載のグループ判定表作成装置。

Images