JP2947108B2 - 協同作業インタフェース制御装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ウィンドウ制御等によ
って複数端末の顔映像を同時に表示する機能と、複数端
末間での協同作業機能とを備えた多地点テレビ会議シス
テムにおいて、顔映像表示領域と協同作業映像領域を統
一的に管理し、会議テーブルを囲んだ感覚で複数端末間
同士で協同作業を行うことのできる協同作業インタフェ
ース制御装置に関する。

【０００２】

【従来の技術】従来、複数の端末上で利用者同士が会議
等を行える多地点会議システムにおいて、会話と並行し
て、電子化された会議資料に対して各地点の会議参加者
が相互に参照および変更を行うことを可能とする協同作
業方式が知られている。協同作業方式については「マル
チメディア分散在席会議システムＭＥＲＭＡＩＤ」（電
子情報通信学会技術研究報告Ｖｏｌ．８９，Ｎｏ．１９
０，ｐｐ．２５−３０）（以下：引例１）に記載されて
いる。

【０００３】一方、多地点会議システムにおいて、仮想
的な会議空間を想定し、仮想的な会議テーブルの映像と
それをとり囲む座席位置に他地点の顔映像を表示するこ
とによって仮想的な会議空間を表示することのできる方
式が特願平５−３２６６７６号「会議環境制御装置」
（以下：引例２）として知られている。

【０００４】

【発明が解決しようとする課題】以上説明した従来の技
術では、仮想的な空間を想定して顔映像と協同作業映像
の表示を管理する手段がないため、利用者は会話を行う
場合も協同作業を行う場合にも対面会議と大きく異なる
環境で行う必要がある。また、引例２に示された方式に
よれば、顔映像の配置を仮想会議空間を想定して管理す
る手段によって、利用者は対面会議に近い感覚で会話を
行うことは可能であるが、協同作業手段を仮想会議空間
の要素として管理する手段がないため、協同作業を行う
場合には引例１と同等の手段を別途用いる必要があり、
対面会議と大きく異なる環境で協同作業を行う必要があ
る。このように、いずれの従来方式においても対面会議
と大きく異なる環境で協同作業を行う必要があり、テレ
ビ会議システムにおいて協同作業を行う場合に、利用者
に大きな違和感を抱かせるという問題点があった。本発
明の第１の目的は、多地点テレビ会議システムにおい
て、仮想会議空間を定義する機能と、仮想会議空間内の
任意の位置に仮想的な座席と仮想的な協同作業の場所を
設定し、表示装置上の顔映像の配置と協同作業手段映像
の配置をこの仮想空間を透視射影したものとし、利用者
に対面会議と差異の少ない顔映像および協同作業映像を
提示することによって、確実に違和感の少ない環境で協
同作業を行えるようにすることにある。

【０００５】次に、協同作業手段では電子化された会議
資料を他会議参加者に受渡す場合や、操作権を移動した
りする場合に、会議参加者のいずれかの人を特定する操
作（以下：相手特定操作）が必要となることがある。従
来の技術によれば、協同作業手段の領域においてボタン
操作やメニュー操作で特定する相手に該当するものを選
択することによって前記相手特定操作を行う。しかしな
がら、顔映像と協同作業手段の操作とを関連づける手段
がないため、利用者が前記相手特定操作を行う場合に
は、各顔映像と前記ボタンやメニューの各項目との対応
付けを利用者が経験や他の情報に基づいて行わなければ
ならないという問題があった。本発明の第２の目的は、
利用者のポインティング操作の内容および端末画面上で
の顔映像領域と協同作業手段映像の位置関係および協同
作業手段の処理状態とを基にそのポインティング操作が
協同作業手段に関連した操作であるか否か判定し、その
結果に応じてポインティング操作の内容を異なる座標へ
のポインティング操作や協同作業領域に対するポインテ
ィング以外の入力情報へ変換することを可能とすること
にある。

【０００６】さらに、協同作業手段では複数の人が一つ
のデータを対象とした操作を行うため、すべての利用者
が協同作業の状態を把握する手段が必要となる。従来技
術によれば、協同作業手段の状態は協同作業手段の映像
内の表示によって利用者に伝達されるだけであった。し
たがって、利用者が会話中で顔映像領域に着目している
ときには、協同作業手段の状態を知るために着目点を変
更する必要があった。本発明の第３の目的は、協同作業
手段の状態を検出し、その結果と画面上での映像配置情
報を基に、協同作業手段の状態を視覚的に表現するため
の演出映像を画面上の適切な位置に生成することによ
り、利用者が協同作業手段の映像に着目しなくても、常
に協同作業手段の状態を視覚的に知ることを可能とする
ことにある。

【０００７】さらに次に、協同作業手段では該協同作業
手段の映像をどの端末の間で共有しているかということ
に関する共有状態の制御を行う必要がある。ここで、端
末Ａと端末Ｂが協同作業領域Ｘを共有しているとは、協
同作業領域Ｘの映像が端末Ａおよび端末Ｂ上に表示さ
れ、さらに端末Ａと端末Ｂの利用者が協同作業領域Ｘに
対して操作可能な状態にあることを言う。従来技術によ
れば、共有状態の制御を行うためには協同作業手段に対
してキーボード入力やメニュー選択を手段とした明示的
なコマンド操作を行う必要がある。そのため、たとえ画
面上の映像配置によって仮想会議空間を演出している場
合にも、共有状態を制御しようとすると違和感を生じる
という問題点があった。本発明の第４の目的は、協同作
業領域を画面上で移動することによって共有状態を制御
することを可能とし、違和感なく共有状態の制御を行う
手段を提供することにある。

【０００８】

【課題を解決するための手段】本発明の第１の発明は、
映像と音声の入出力および表示画面上でのポインティン
グ操作が可能な端末側制御部と、３箇所以上の複数地点
に設置された端末側制御部相互の回線接続切換を制御す
る中央制御部と、前記中央制御部で、テレビ会議に使わ
れる電子化された会議資料に対して各地点の会議参加者
が相互に参照または変更等を行える協同作業領域を作成
する協同作業手段を備える協同作業インタフェース制御
装置において、前記中央制御部が、各端末に対応づけた
座席と会議テーブルと前記会議テーブル上の任意の場所
に配置される前記協同作業領域とからなる仮想会議室を
表現するために各座席と会議テーブルと協同作業領域の
仮想的な配置情報を管理する空間情報管理手段を備え、
前記端末側制御部が、前記配置情報に基づき前記会議テ
ーブルを表現するための会議テーブル映像を生成する会
議テーブル映像生成手段と、前記配置情報に基づき、前
記会議テーブル映像と前記協同作業領域の映像と前記各
座席に対応づけられた端末の映像の配置を制御する映像
配置制御手段とを備えることを特徴とする。

【０００９】本発明の第２の発明は、第１の発明におい
て、前記中央制御部が、前記協同作業手段の処理状態を
検出する協同作業状態検出手段を備え、前記端末側制御
部が、利用者のポインティング操作の内容と端末画面上
での前記各座席の映像および前記協同作業領域の映像の
配置関係と前記協同作業検出手段で検出された協同作業
手段の処理状態とを基に前記ポインティング操作が協同
作業手段に関連した操作であるか否かを判定し、その結
果に応じて前記ポインティング操作の内容を異なる座標
へのポインティング操作や協同作業領域に対するポイン
ティング操作以外の入力情報に変換する操作入力管理手
段を備えることを特徴とする。

【００１０】本発明の第３の発明は、第２の発明におい
て、前記端末側制御部が、前記映像配置制御手段から前
記各座席の映像と前記協同作業領域の映像の画面上での
配置情報と前記協同作業検出手段で検出された協同作業
手段の処理状態とに基づいた演出映像を作成し、前記協
同作業手段の処理状態を視覚的に表現する空間演出映像
生成手段を備えることを特徴とする。

【００１１】本発明の第４の発明は、映像と音声の入出
力および表示画面上でのポインティング操作が可能な端
末側制御部と、３箇所以上の複数地点に設置された端末
側制御部相互の回線接続切換を制御する中央制御部と、
前記中央制御部で、テレビ会議に使われる電子化された
会議資料に対して各地点の会議参加者が相互に参照また
は変更等を行える協同作業領域を作成する協同作業手段
を備える協同作業インタフェース制御装置において、前
記中央制御部が、各端末に対応づけた座席と会議テーブ
ルと前記会議テーブル上の任意の場所に配置される前記
協同作業領域とからなる仮想会議室を表現するために各
座席と会議テーブルと協同作業領域の仮想的な配置情報
を管理する空間情報管理手段を備え、各端末に対応づけ
た会議空間を演出する座席や会議テーブルおよび前記会
議テーブル上の任意の場所に配置される前記協同作業領
域からなる仮想会議室を作成し、各座席と会議テーブル
と協同作業領域の仮想的な配置情報である仮想会議空間
情報を管理する空間情報管理手段と、前記仮想会議空間
情報に基づき前記複数の端末のうち、前記協同作業手段
の操作が行える端末を選択する情報である操作入力選択
信号と、前記選択された端末に関する情報である協同作
業映像分配制御信号を出力する共有状態制御手段と、前
記操作入力信号に基づき選択された端末だけが前記協同
作業手段に対して入力操作を行えるようにした操作入力
合成制御手段と、前記協同作業映像分配制御信号に基づ
き選択された端末だけに、前記協同作業手段の処理結果
を出力する協同作業映像分配制御手段とを備え、前記端
末側制御部が、前記配置情報に基づき前記会議テーブル
を表現するための会議テーブル映像を生成する会議テー
ブル映像生成手段と、前記配置情報に基づき、前記会議
テーブル映像と前記協同作業領域の映像と前記各座席に
対応づけられた端末の映像の配置を制御する映像配置制
御手段とを備えることを特徴とする。

【００１２】本発明の第５の発明は、映像と音声の入出
力および表示画面上でのポインティング操作が可能な端
末側制御部と、３箇所以上の複数地点に設置された端末
側制御部相互の回線接続切換を制御する中央制御部と、
前記中央制御部で、テレビ会議に使われる電子化された
会議資料に対して各地点の会議参加者が相互に参照また
は変更等を行える協同作業領域を作成する協同作業手段
を備える協同作業インタフェース制御装置において、前
記中央制御部が、各端末に対応づけた座席と会議テーブ
ルと前記会議テーブル上の任意の場所に配置される前記
協同作業領域とからなる仮想会議室を表現するために各
座席と会議テーブルと協同作業領域の仮想的な配置情報
を管理する空間情報管理手段を備え、前記仮想会議空間
情報に基づき前記複数の端末のうち、前記協同作業手段
の操作が行える端末を選択する情報である操作入力選択
信号と前記選択された端末に関する情報である協同作業
映像分配制御信号を出力する共有状態制御手段と、前記
操作入力信号に基づき選択された端末だけが前記協同作
業手段に対して入力操作を行えるようにした操作入力合
成制御手段と、前記協同作業映像分配制御信号に基づき
選択された端末だけに、前記協同作業手段の処理結果を
出力する協同作業映像分配制御手段と、前記協同作業手
段の処理状態を検出する協同作業状態検出手段とを備
え、前記端末側制御部が、前記配置情報に基づき前記会
議テーブルを表現するための会議テーブル映像を生成す
る会議テーブル映像生成手段と、前記配置情報に基づ
き、前記会議テーブル映像と前記協同作業領域の映像と
前記各座席に対応づけられた端末の映像の配置を制御す
る映像配置制御手段と、会議参加者のポインティング操
作の内容および端末画面上での前記各座席の映像と前記
協同作業領域の映像の配置関係と前記協同作業検出手段
で検出された協同作業手段の処理状態とを基に前記ポイ
ンティング操作が協同作業手段に関連した操作であるか
否かを判定し、その結果に応じて前記ポインティング操
作の内容を異なる座標へのポインティング操作や協同作
業領域に対するポインティング操作以外の入力情報に変
換する操作入力管理手段と、前記映像配置制御手段から
前記各座席の映像と前記協同作業領域の映像の画面上で
の配置情報と、前記協同作業検出手段で検出された協同
作業手段の処理状態とに基づいた演出映像を作成し、前
記協同作業手段の処理状態を視覚的に表現する空間演出
映像生成手段と、前記映像配置手段から表示画面上の映
像と、前記会議テーブル映像生成手段から作成された会
議テーブルの情報と、前記協同作業映像分配手段から前
記協同作業手段の処理結果と、前記演出信号と、各端末
から送受される映像信号とを受け取り、表示画面上に表
示する映像を生成する映像合成手段とを備えることを特
徴とする。

【００１３】

【作用】本発明では、協同作業手段への入力情報や協同
作業手段の出力映像の解析によって協同作業手段の処理
状態を検出する手段と、利用者が顔映像領域に対して行
ったポインティング操作を協同作業手段に対する端末指
定の入力情報に変換する手段とを備える。そのために、
画面全体の座標の管理と協同作業領域内の座標の管理を
一元的に行い、ポインタカーソルが協同作業領域外にあ
る場合にも、協同作業の状態に応じてポインタ操作を協
同作業機能への入力とすることを可能とする。例えば、
協同作業において操作権の変更やデータの送信などを行
う際の相手端末の指定を行う場合に、表示装置上の顔映
像ウィンドウをポインティングすることによって、これ
を行うことが考えられる。

【００１４】また、会議空間の映像配置情報と協同作業
手段の処理状態に関する情報を基に、協同作業手段の処
理状態を視覚的に表現する演出映像を生成する手段を備
えることによって、協同作業インタフェースにおいて効
果的に顔映像を用いることが可能となる。例えば、協同
作業状態検出手段によって協同作業手段での操作権の状
態を検出し、操作権を持つ端末の顔映像と協同作業領域
との間に仮想的な手の映像などを表示することで、操作
権を保持しているのが誰であるかを一見して判断できる
協同作業インタフェースを実現することができる。

【００１５】また、本発明では、画面上での協同作業領
域の表示位置と各仮想座席映像の表示位置の位置関係に
よって協同作業手段の共有状態を制御する手段を備え、
利用者が画面上で協同作業領域の位置を変化させること
によって違和感なく協同作業領域の共有状態を制御する
ことを可能とする。例えば、協同作業領域を仮想テーブ
ルの中央に配置した場合には、全端末で協同作業領域を
共有し、端末Ａと端末Ｂの仮想座席の間に配置した場合
には、端末Ａと端末Ｂで共有することなどが考えられ
る。

【００１６】これら手段を有することによって、協同作
業手段への操作入力、協同作業の状態確認、協同作業手
段の共有制御などにおいて仮想的な会議空間を利用者に
強く印象づけ、さらに、画面空間と独立した操作手段
（例えばキーボード）を用いる機会を削減することによ
って確実に違和感の少ない操作によって協同作業を行う
ことが可能となる。

【００１７】

【実施例】次に、本発明の実施例について図面を参照し
て詳細に説明する。

【００１８】図１は本発明の構成を説明する構成図であ
る。本発明による協同作業インタフェース制御装置は、
多地点テレビ会議において各端末と接続して協同作業全
体を管理する中央制御部１、各端末において協同作業を
管理する端末側制御部２で構成される。

【００１９】中央制御部１は、複数の端末からの入力信
号として、利用者の操作によって映像の配置が変更され
た場合に端末から送られる映像配置変更要求３０２と、
協同作業手段に対する入力として各端末から送信された
協同作業操作要求３０３とを受けとり、各端末上での映
像配置を制御するための映像配置指示３０１と、協同作
業の出力映像である協同作業映像３０４と、検出した協
同作業の状態を各端末に伝えるための協同作業状態情報
３０５とを各端末に送信する。

【００２０】端末側制御部２は、映像配置指示３０１、
映像配置変更要求３０２、協同作業操作要求３０３、協
同作業映像３０４、協同作業状態情報３０５の各情報の
中の自端末の分を中央制御部１との間で送受する。また
これと並行して端末側制御部２は、他の複数の端末から
直接的あるいは間接的に送られた他端末顔映像信号３１
０を受信する。ここで、他端末顔映像信号３１０は従来
の多地点テレビ会議システムのテレビ会議端末の映像入
出力機能およびテレビ会議制御装置の回線接続切換機能
によって、各端末の間で送受される信号である。

【００２１】中央制御部１は、仮想的な会議空間として
各端末の顔映像に対応する座席や会議テーブルや会議テ
ーブル上の任意の場所に配置される協同作業領域の配置
を管理する空間情報管理手段１１と、操作入力選択信号
１０２に基づいて協同作業操作要求３０３の中から協同
作業手段１６に受け渡すべきものを分別し協同作業入力
１０４として合成する操作入力合成制御手段１３と、協
同作業映像分配制御信号１０３に基づいて協同作業手段
１６の出力する協同作業出力１０５を各端末への協同作
業映像３０４として分配する協同作業映像分配制御手段
１４と、仮想会議空間情報１０１に基づいて操作入力選
択信号１０２および協同作業映像分配制御信号１０３を
生成する共有状態制御手段１２と、協同作業入力１０４
を入力として作業を行いその結果を協同作業出力１０５
として出力する協同作業手段１６と、協同作業入力１０
４および協同作業出力１０５を基に協同作業手段１６の
状態を検出し協同作業状態情報３０５として各端末に送
信する協同作業状態検出手段１５とで構成される。

【００２２】端末側制御部２は、端末上に表示すべき他
端末顔映像信号３１０と協同作業映像３０４と空間演出
映像２０３と会議テーブル映像信号２０６からなる複数
の映像入力信号を映像合成制御信号２０４に基づいて出
力映像信号２０５に合成する映像合成装置２３と、出力
映像信号２０５を表示する映像表示装置２６と、映像配
置指示３０１に基づいて表示装置上の顔映像や協同作業
映像や会議テーブル映像の映像配置を算出した結果を映
像合成制御信号２０４および映像配置情報２０２として
出力する映像配置制御手段２２と、映像配置指示３０１
に基づいて会議テーブル映像信号２０６を生成する会議
テーブル映像生成手段２７と、ポインティングなどによ
って画面上での利用者操作入力を行うための利用者操作
手段２５と、映像配置情報２０２に基づいて操作入力信
号２０１から映像配置変更要求３０２および協同作業操
作要求３０３を抽出する操作入力管理手段２１と、協同
作業状態情報３０５と映像配置情報２０２に基づいて空
間演出映像２０３を生成する空間演出映像生成手段２４
とで構成される。

【００２３】次に、協同作業手段を２つにした場合の中
央制御部１の別の実施例を説明する図が図９である。本
実施例では、新たな協同作業手段１７を用いるために、
先に説明したものと同機能の共有状態制御手段１２と操
作入力合成制御手段１３と協同作業映像分配制御手段１
４と協同作業状態検出手段１５が加わる。操作入力選択
信号１１０２、協同作業映像分配制御信号１１０３、協
同作業入力１１０４、協同作業出力１１０５の各信号の
意味するところは、図１に示した一実施例における操作
入力選択信号１０２、協同作業映像分配制御信号１０
３、協同作業入力１０４、協同作業出力１０５の各信号
と同様である。

【００２４】また、協同作業手段１７に関する協同作業
映像１３０４および協同作業状態情報１３０５を新たに
各端末へ送信し、協同作業手段１７への入力として協同
作業操作要求１３０３を端末から受けとる。端末側制御
部２では、新たに協同作業手段１７の映像を表示するた
めに、映像合成装置２３で合成する協同作業映像の数を
一つ増やす。これによって、協同作業手段１７を新たに
用いることを可能とする。また、これと同様にしてさら
に新たな協同作業手段を増やすことも可能である。

【００２５】次に、空間情報管理手段１１、映像配置制
御手段２２、映像合成装置２３、会議テーブル映像生成
手段２７の実施例について図１、図２、図３を用いて説
明する。

【００２６】図２は特願平５−３２６６７６「会議環境
制御装置」において詳細に示されている方式の一部を説
明するものである。特願平５−３２６６７６では、図２
（ａ）に図示したように仮想座席５０３、仮想テーブル
５０４を配置した仮想会議空間を定義し、さらに各仮想
座席からの仮想視線５０２と仮想視野５０１を管理す
る。この例では端末Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆがそれぞれ
図２（ａ）のＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの各仮想座席につ
いたものとする。図２（ｂ）は仮想会議空間が図２
（ａ）の状態にある時に、端末Ａの画面上に表示される
映像の例を示している。画面上には、端末Ａの仮想視野
５０１の範囲にある仮想座席Ｃ，Ｄ，Ｅの映像すなわち
端末Ｃ，Ｄ，Ｅの顔映像５０５，５０６，５０７が仮想
空間を斜視投影した位置および大きさで表示されてい
る。透視射影は仮想視線５０２と仮想視野５０１をパラ
メータとして行う。ここで、仮想視線５０２は、仮想会
議空間において各座席からの仮想的な視線方向と視線距
離（視線距離とは相手がどの程度の大きさで見えるかを
示す数値である）を表す情報であり、仮想視野５０１は
仮想視線５０２の方向を中心とした仮想的な視野の広が
りを示す情報である。他の端末についても同様にそれぞ
れの仮想視野に含まれる端末の顔映像が、仮想会議空間
を表示画面に透視射影した位置に表示される。また、顔
映像とは、多地点会議システムにおいて各地点の会議参
加者の顔の様子を伝える映像のことである。

【００２７】本発明では、協同作業手段をも仮想会議空
間の要素として管理し、さらに端末において仮想会議空
間の状態に合わせた表示を行うための処理を行う。その
一実施例を図３に示す。図３（ａ）は図２（ａ）に仮想
協同作業領域５０９を要素として追加したものである。
図３（ａ）には仮想視野５０１および仮想視線５０２は
示していないが、本実施例においても図２（ａ）と同様
に仮想視野５０１および仮想視線５０２を仮想会議空間
の要素として管理する。また、図３（ｂ）は仮想会議空
間が図３（ａ）の状態にある時に、端末Ａの画面上仮想
テーブル映像５０８および協同作業映像５１０が表示さ
れる様子を例示している。

【００２８】また、本発明の協同作業インタフェース制
御装置は、端末の画面上に複数地点の顔映像を表示する
機能と、その表示位置を制御する機能とを備えた多地点
会議システムにおいて用いることができるが、特に引例
２に示された方式のように、顔映像の配置を管理するこ
とによって仮想的な会議空間を表現する機能を備えた多
地点会議システムにおいて、効率的に用いることが可能
である。

【００２９】まず、空間情報管理手段１１では図３
（ａ）の仮想会議空間を管理するために、図２（ａ）で
示した従来技術による仮想会議空間の管理に加えて、仮
想会議空間内での仮想協同作業領域５０９の位置情報
（例えば仮想協同作業領域５０９の各頂点の仮想会議空
間における座標値）と、仮想テーブル５０４の位置情報
（例えば、仮想テーブル５０４の仮想会議空間における
中心座標値と半径）をも管理する。そして、映像配置変
更要求３０２によって仮想会議空間の状態に変化を生じ
た場合には、変化後の仮想会議空間の情報を各端末の会
議テーブル映像生成手段２７および映像配置制御手段２
２に映像配置指示３０１として送出する。映像配置指示
３０１の内容は、仮想会議空間の要素である仮想視野５
０１と仮想視線５０２と仮想テーブル５０４と仮想座席
５０３と、仮想テーブル５０４と仮想協同作業領域５０
９の仮想会議空間における位置情報である。

【００３０】会議テーブル映像生成手段２７では映像配
置指示３０１に含まれる仮想テーブル５０４の仮想会議
空間における位置情報を仮想視野５０１と仮想視線５０
２をパラメータとして透視射影変換することで画面に表
示する仮想テーブル映像５０８の形状を算出して仮想テ
ーブル映像５０８を表示するための会議テーブル映像信
号２０６を映像合成装置２３に送信する。

【００３１】また、映像配置制御手段２２では映像配置
指示３０１に含まれる顔映像５０５，５０６，５０７や
協同作業領域５１０の仮想会議空間での位置情報を、仮
想視野５０１と仮想視線５０２をパラメータとして透視
射影変換することで画面上での座標を決定し、映像合成
装置２３の制御形式に合わせた映像合成制御信号２０４
（例えば各映像を表示すべきウィンドウの画面上での座
標値を含む信号）として送信する。

【００３２】映像合成装置２３は、映像信号２０４にし
たがって、空間演出映像２０３と会議テーブル映像信号
２０６と協同作業領域３０４と他端末顔映像信号３１０
とを画像合成し、出力映像信号２０５を生成する。画像
合成の方式には例えばマルチウィンドウ方式等を用いる
ことができる。

【００３３】映像合成装置２３は該映像合成信号２０４
にしたがって、例えばマルチウィンドウ方式によって画
像合成処理を行う。

【００３４】このように、本実施例では仮想座席５０
３、仮想視線５０２、仮想視野５０１、仮想協同作業領
域５０９、仮想テーブル５０４を要素とする仮想会議空
間を想定した処理を行うことによって、多地点の参加者
があたかも一つの会議テーブルを囲んでいる感覚で、会
話と協同作業を行うための映像表示を可能とする。

【００３５】次に、共有状態制御手段１２、操作入力合
成制御手段１３、協同作業映像分配制御手段１４におけ
る処理について図１、図４、図５を用いて説明する。

【００３６】利用者が利用者操作手段２５を用いて画面
上で協同作業領域の位置を変更すると、各端末から映像
配置変更要求３０２が空間情報管理手段１１に対して送
信され、空間情報管理手段１１では仮想会議空間情報を
更新した後その内容を仮想会議空間情報１０１として共
有状態制御手段１２に送信する。ここで仮想会議空間情
報１０１は前述した映像配置指示３０１と同様の内容で
ある。共有状態制御手段１２では、仮想会議空間情報１
０１に含まれる仮想協同作業領域５０９と仮想座席と仮
想テーブル５０４の位置情報から協同作業手段を共有す
べき端末の集合を算出し、操作入力選択信号１０２およ
び協同作業映像分配制御信号１０３を送信する。ここ
で、操作入力選択信号１０２は、操作入力合成制御手段
１３が複数の端末からの信号である協同作業操作要求３
０３の中で共有端末の集合に含まれる端末から送られた
ものだけを選択かつ合成して協同作業入力１０４とする
信号であり、また、協同作業映像分配制御信号１０３
は、協同作業映像分配制御手段１４が協同作業出力１０
５を共有端末の集合に含まれる端末に対してのみ分配送
信する信号である。

【００３７】次に、共有状態制御手段１２において共有
すべき端末の集合を算出する方式（以下、共有端末の算
出方式と呼ぶ）の第１の実施例を図４を用いて説明す
る。

【００３８】第１の実施例では、仮想協同作業領域５０
９の中心位置と各仮想座席Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの中
心位置との距離を計算し、例えば仮想協同作業領域５０
９に最も近い仮想座席の距離をＬとした時、距離がＬ＋
１未満の仮想座席に対応する端末をして共有端末とする
（算出方式１とする）ことが考えられる。図４（ａ）と
（ｂ）の各状態で算出方式１を用いたとすると、（ａ）
ではＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆのすべての端末が共有端末
の集合に含まれ、（ｂ）ではＣ，Ｄの２つの端末が共有
端末の集合に含まれる。

【００３９】次に、共有端末の算出方式の別の例を図５
を用いて説明する。この例では、共有状態制御手段１２
は図５（ａ）に示すように仮想テーブル５０４を各仮想
座席すなわち各端末と対応した領域Ａ，Ｂ，Ｃ，Ｄ，
Ｅ，Ｆの６つの部分領域に分割して管理する。そして、
部分領域のうちで仮想協同作業領域５０９の全体あるい
は一部分と重なっているものと対応する端末を共有端末
とする（算出方式２とする）。図５（ｂ）の状態では仮
想協同作業領域５０９はすべての部分領域と重なってい
るのでＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆのすべての端末が共有端
末の集合に含まれ、図５（ｃ）の状態では、領域Ｃ，
Ｄ，Ｅが仮想協同作業領域５０９と重なっているので端
末Ｃ，Ｄ，Ｅの３つの端末が共有端末の集合に含まれ
る。以上で説明した算出方式１および算出方式２以外の
算出方式でも、仮想協同作業領域５０９と仮想座席との
位置関係を基に共有端末の集合を算出可能な方式であれ
ば用いることができる。

【００４０】次に、協同作業手段１６および協同作業状
態検出手段１５について詳細に説明する。協同作業手段
１６は、何らかの電気信号（例えば計算機におけるキー
ボードやマウスからの入力信号）を協同作業入力１０４
として入力し、それに伴う処理を行った結果あるいは処
理過程の様子を映像信号であるところの協同作業出力１
０５（例えば計算機におけるディスプレイ出力信号）と
して出力する機能を備えたものであればよい。第１の実
施例としては、計算機とその上で動作するアプリケーシ
ョンプログラム（処理結果の一部あるいはすべての処理
結果が映像として表示されるもの）の組合せによるもの
がある。

【００４１】協同作業状態検出手段１５は、協同作業入
力１０４と協同作業出力１０５を入力とし協同作業手段
１６の状態を検出し、その結果を協同作業状態情報３０
５として各端末に送信する。ここで検出する協同作業手
段１６の状態とは、その時点で協同作業の操作権がどの
端末にあるかということや、その時点で協同作業手段１
６が協同作業入力１０４としてどのような種類の入力を
受け付けることができるか（例えば、画面上のＹという
ボタンを選択できるか否か）ということなどである。

【００４２】協同作業状態検出手段１５の第１の一実施
例は、過去の協同作業入力１０４をすべて蓄積し、協同
作業状態検出手段１５の内部で蓄積した協同作業入力１
０４の情報を解析することによって協同作業手段１６の
状態を推定する方式である。例えば、協同作業入力１０
４の内容とそれに対する協同作業手段１６の処理内容が
既知であれば、協同作業状態検出手段１５の内部で協同
作業手段１６の処理をシミュレーションし、任意の時点
での協同作業手段１６の状態を同定することができる。

【００４３】協同作業状態検出手段１５の第２の一実施
例は、協同作業手段１６の出力である協同作業出力１０
５を解析し、出力映像の特徴点を見い出すことによって
協同作業手段１６の状態を検出する方式である。例え
ば、画面の中央に「終了」というボタンが表示された場
合には協同作業手段１６は常に終了待ち状態であるとい
うことが予めわかっていれば、「終了」というボタンの
存在を検査することによって協同作業手段１６が終了待
ち状態であるか否かを判定できる。

【００４４】また、第３の一実施例としては、第１の一
実施例による方式と第２の一実施例による方式を組み合
わせたものが考えられる。これらの方式を用いることに
よって、例えば「協同作業手段が相手特定操作の入力待
ち状態であること」（以下、相手特定操作待ち状態と呼
ぶ）を検出することが可能となる。また、本発明による
協同作業インタフェース制御装置における処理を考慮し
て協同作業手段１６を構築する場合には、協同作業状態
検出手段１５の機能を協同作業手段１６に組み込むこと
も可能である。

【００４５】次に、操作入力管理手段２１について詳細
に説明する。操作入力管理手段２１では、利用者が利用
者操作手段２５を用いて行うポインティング操作によっ
て発生する操作入力信号２０１と映像配置情報２０２と
協同作業状態情報３０５を基に利用者操作が協同作業手
段に関連した操作であるか否かを判定し、関連ある場合
にはその時点の協同作業手段の状態に応じて操作入力信
号２０１の内容を異なる座標へのポインティング操作や
ポインティング以外の協同作業領域に対する入力情報へ
変換する。

【００４６】操作入力管理手段２１の一実施例は、協同
作業状態情報３０５から協同作業手段１５が前述した相
手特定操作待ち状態であるかを判定し、相手特定操作待
ち状態であってなおかつ操作入力信号２０１のポインテ
ィング対象が顔映像領域である場合に、操作入力信号２
０１を協同作業手段と関連した相手特定操作であると見
なす方式である。この場合、その操作入力信号２０１を
協同作業手段において実際に相手特定操作を行うための
ボタン操作やメニュー操作に変換し協同作業操作要求３
０３として送出する。

【００４７】操作入力管理手段の別の一実施例は、協同
作業状態情報３０５から協同作業手段の操作権が他の利
用者にあると判明した場合には、たとえ操作入力信号２
０１が協同作業手段の映像上をポインティングしている
としても、協同作業とは関連はないと見なすことができ
る。

【００４８】操作入力手段のまた別の一実施例は、中央
制御部１が図９に示す構造であって例えば協同作業手段
Ａと協同作業手段Ｂが提供されているとすると、操作入
力信号２０１に基づく判定で、利用者の操作が協同作業
領域Ａを始点とし協同作業領域Ｂを終点としたドラッグ
操作であるとわかり、なおかつ協同作業状態情報３０５
に基づく判定で該利用者が協同作業領域ＡおよびＢの双
方の操作権を保持しているとわかった場合に、該操作入
力信号２０１は協同作業領域Ａから協同作業領域Ｂへの
データ転送を意図したものであり協同作業領域ＡとＢの
双方に関連のある操作であると見なす方式である。この
場合には、該操作入力信号２０１は協同作業領域Ａに対
するデータ送信操作と協同作業領域Ｂに対するデータ受
信操作に変換する。

【００４９】次に、空間演出映像生成手段２４において
行う処理について図１、図６、図７、図８を用いて詳細
に説明する。まず図１において、空間演出映像生成手段
２４は、協同作業状態情報３０５を基に協同作業手段１
６の状態を判断し、その状態に応じた内容の演出映像を
空間演出映像２０３として生成する。また、空間演出映
像５１１の表示位置は映像配置情報２０２に含まれる各
領域の配置情報を基に空間演出映像生成手段２４が決定
する。図６に空間演出映像の第１の一実施例として協同
作業手段の操作権の状態を演出する空間演出映像５１１
を示す。図６は仮想的な手を表現した空間演出映像５１
１を端末Ｅの顔画像領域から協同作業領域へ向けて表示
することによって操作権を端末Ｅが保持していることを
演出したものである。この例では、協同操作用のカーソ
ル５１２は空間演出映像５１１とは別に表示される。

【００５０】図７は空間演出映像の第２の一実施例であ
り、図６と同様に仮想的な手を表現した空間演出映像５
１３を端末Ｅの顔画像領域から協同作業領域へ向けて表
示することによって操作権を端末Ｅが保持していること
を演出したものである。この例では、利用者の操作入力
に応じて空間演出映像５１３を状態１から状態２，状態
３のように変化させることによって、空間演出映像にカ
ーソルとしての機能も持たせている。

【００５１】さらに、図８は空間演出映像の第３の一実
施例であり、共有端末の算出に算出方式２を用いた場合
に図８（ａ）で示す仮想会議空間での部分領域Ａ，Ｂ，
Ｃ，Ｄ，Ｅ，Ｆの区分を、図８（ｂ）で示した実際の画
面表示の中で容易に判断できるように仮想テーブル映像
５０８の上に部分領域の区分を示す空間演出映像５１４
を表示したものである。この例では、図８（ｂ）におけ
る協同作業領域５０９を見ることによって、協同作業手
段が端末Ｄと端末Ｅによって共有されていることが容易
に判断できる。

【００５２】

【発明の効果】以上詳細に説明したように、顔映像と協
同作業映像の映像配置を管理するための空間情報管理手
段および映像配置制御手段と、協同作業手段の処理状態
を検出するための協同作業状態検出手段と、協同作業手
段が利用者からの入力として端末の別を指定する情報を
待っている状態であることを検出した場合に利用者が顔
映像領域に対して行ったポインティング操作を協同作業
手段に対する端末指定の入力情報に変換する操作入力管
理手段を備えることによって、ポインタカーソルが協同
作業領域外にある場合にも、協同作業の状態に応じてポ
インタ操作を協同作業機能への入力とすることを可能と
する。

【００５３】さらに、顔映像領域と協同作業映像領域の
位置関係を利用した演出映像を生成する空間演出映像生
成手段を備えることで、協同作業手段内部の状態を視覚
的に表現することを可能とする。例えば協同作業におけ
る操作権を持つ端末の顔映像と協同作業領域との間に仮
想的な手の映像などを表示するなど、協同作業インタフ
ェースにおいて効果的に顔映像を用いることなどが可能
となる。

【００５４】また、空間情報管理手段と共有状態制御手
段を備え、画面上での協同作業領域の表示位置と各仮想
座席映像の表示位置の位置関係によって協同作業手段の
共有状態を制御することにより、利用者が画面上で協同
作業領域の位置を変化させることによって違和感なく協
同作業領域の共有状態を制御することを可能とする。

【図面の簡単な説明】

【図１】本発明の協同作業インタフェース制御装置の構
成の一実施例を示す図。

【図２】引例２において示された会議環境制御方式の説
明図。

【図３】本発明における仮想会議空間の管理と画面表示
の例を示す説明図。

【図４】本発明の空間情報管理手段における共有端末の
算出方式の一例を示す図。

【図５】本発明の空間情報管理手段における共有端末の
算出方式の別の一例を示す図。

【図６】本発明の空間演出映像の一例を示す図。

【図７】本発明の空間演出映像の別の一例を示す図。

【図８】本発明の空間演出映像の更に別の一例を示す
図。

【図９】本発明の中央制御部の別の一実施例を示すブロ
ック図。

【符号の説明】

１ 中央制御装置 ２ 端末側制御装置 １１ 空間情報管理手段 １２ 共有状態制御手段 １３ 操作入力合成制御手段 １４ 協同作業映像分配制御手段 １５ 協同作業状態検出手段 １６ 協同作業手段 １７ 協同作業手段 ２１ 操作入力管理手段 ２２ 映像配置制御手段 ２３ 映像合成装置 ２４ 空間演出映像生成手段 ２５ 利用者操作手段 ２６ 映像表示装置 ２７ 会議テーブル映像生成手段 １０１ 仮想会議空間情報 １０２ 操作入力選択信号 １０３ 協同作業映像分配制御信号 １０４ 協同作業入力 １０５ 協同作業出力 ２０１ 操作入力信号 ２０２ 映像配置情報 ２０３ 空間演出映像 ２０４ 映像合成制御信号 ２０５ 出力映像信号 ２０６ 会議テーブル映像信号 ３０１ 映像配置指示 ３０２ 映像配置変更要求 ３０３ 協同作業操作要求 ３０４ 協同作業映像 ３０５ 協同作業状態情報 ３１０ 他端末顔映像信号 ５０１ 仮想視野 ５０２ 仮想視線 ５０３ 仮想座席 ５０４ 仮想テーブル ５０５ 端末Ｃの顔映像 ５０６ 端末Ｄの顔映像 ５０７ 端末Ｅの顔映像 ５０８ 仮想テーブル映像 ５０９ 仮想協同作業領域 ５１０ 協同作業映像 ５１１ 空間演出映像 ５１２ カーソル ５１３ 空間演出映像 ５１４ 空間演出映像 １１０２ 操作入力選択信号 １１０３ 協同作業映像分配制御信号 １１０４ 協同作業入力 １１０５ 協同作業出力 １３０３ 協同作業操作要求 １３０４ 協同作業映像 １３０５ 協同作業状態情報

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】映像と音声の入出力および表示画面上での
   ポインティング操作が可能な端末側制御部と、３箇所以
   上の複数地点に設置された端末側制御部相互の回線接続
   切換を制御する中央制御部と、前記中央制御部で、テレ
   ビ会議に使われる電子化された会議資料に対して各地点
   の会議参加者が相互に参照または変更等を行える協同作
   業領域を作成する協同作業手段を備える協同作業インタ
   フェース制御装置において、 前記中央制御部が、各端末に対応づけた座席と会議テー
   ブルと前記会議テーブル上の任意の場所に配置される前
   記協同作業領域とからなる仮想会議室を表現するために
   各座席と会議テーブルと協同作業領域の仮想的な配置情
   報を管理する空間情報管理手段を備え、 前記端末側制御部が、前記配置情報に基づき前記会議テ
   ーブルを表現するための会議テーブル映像を生成する会
   議テーブル映像生成手段と、前記配置情報に基づき、前
   記会議テーブル映像と前記協同作業領域の映像と前記各
   座席に対応づけられた端末の映像の配置を制御する映像
   配置制御手段とを備え、 さらに、 前記中央制御部が、前記協同作業手段の処理状
   態を検出する協同作業状態検出手段を備え、 前記端末側制御部が、利用者のポインティング操作の内
   容と端末画面上での前記各座席の映像および前記協同作
   業領域の映像の配置関係と前記協同作業検出手段で検出
   された協同作業手段の処理状態とを基に前記ポインティ
   ング操作が協同作業手段に関連した操作であるか否かを
   判定し、その結果に応じて前記ポインティング操作の内
   容を異なる座標へのポインティング操作や協同作業領域
   に対するポインティング操作以外の入力情報に変換する
   操作入力管理手段を備えることを特徴とする協同作業イ
   ンタフェース制御装置。
2. 【請求項２】前記端末側制御部が、前記映像配置制御手
   段から前記各座席の映像と前記協同作業領域の映像の画
   面上での配置情報と前記協同作業検出手段で検出された
   協同作業手段の処理状態とに基づいた演出映像を作成
   し、前記協同作業手段の処理状態を視覚的に表現する空
   間演出映像生成手段を備えることを特徴とする請求項１
   に記載の協同作業インタフェース制御装置。
3. 【請求項３】映像と音声の入出力および表示画面上での
   ポインティング操作が可能な端末側制御部と、３箇所以
   上の複数地点に設置された端末側制御部相互の回線接続
   切換を制御する中央制御部と、前記中央制御部で、テレ
   ビ会議に使われる電子化された会議資料に対して各地点
   の会議参加者が相互に参照または変更等を行える協同作
   業領域を作成する協同作業手段を備える協同作業インタ
   フェース制御装置において、 前記中央制御部が、各端末に対応づけた座席と会議テー
   ブルと前記会議テーブル上の任意の場所に配置される前
   記協同作業領域とからなる仮想会議室を表現するために
   各座席と会議テーブルと協同作業領域の仮想的な配置情
   報を管理する空間情報管理手段を備え、各端末に対応づ
   けた会議空間を演出する座席や会議テーブルおよび前記
   会議テーブル上の任意の場所に配置される前記協同作業
   領域からなる仮想会議室を作成し、各座席と会議テーブ
   ルと協同作業領域の仮想的な配置情報である仮想会議空
   間情報を管理する空間情報管理手段と、前記仮想会議空
   間情報に基づき前記複数の端末のうち、前記協同作業手
   段の操作が行える端末を選択する情報である操作入力選
   択信号と、前記選択された端末に関する情報である協同
   作業映像分配制御信号を出力する共有状態制御手段と、
   前記操作入力信号に基づき選択された端末だけが前記協
   同作業手段に対して入力操作を行えるようにした操作入
   力合成制御手段と、前記協同作業映像分配制御信号に基
   づき選択された端末だけに、前記協同作業手段の処理結
   果を出力する協同作業映像分配制御手段とを備え、前記
   端末側制御部が、前記配置情報に基づき前記会議テーブ
   ルを表現するための会議テーブル映像を生成する会議テ
   ーブル映像生成手段と、前記配置情報に基づき、前記会
   議テーブル映像と前記協同作業領域の映像と前記各座席
   に対応づけられた端末の映像の配置を制御する映像配置
   制御手段とを備えることを特徴とする協同作業インタフ
   ェース制御装置。
4. 【請求項４】映像と音声の入出力および表示画面上での
   ポインティング操作が可能な端末側制御部と、３箇所以
   上の複数地点に設置された端末側制御部相互の回線接続
   切換を制御する中央制御部と、前記中央制御部で、テレ
   ビ会議に使われる電子化された会議資料に対して各地点
   の会議参加者が相互に参照または変更等を行える協同作
   業領域を作成する協同作業手段を備える協同作業インタ
   フェース制御装置において、 前記中央制御部が、各端末に対応づけた座席と会議テー
   ブルと前記会議テーブル上の任意の場所に配置される前
   記協同作業領域とからなる仮想会議室を表現するために
   各座席と会議テーブルと協同作業領域の仮想的な配置情
   報を管理する空間情報管理手段を備え、前記仮想会議空
   間情報に基づき前記複数の端末のうち、前記協同作業手
   段の操作が行える端末を選択する情報である操作入力選
   択信号と前記選択された端末に関する情報である協同作
   業映像分配制御信号を出力する共有状態制御手段と、前
   記操作入力信号に基づき選択された端末だけが前記協同
   作業手段に対して入力操作を行えるようにした操作入力
   合成制御手段と、前記協同作業映像分配制御信号に基づ
   き選択された端末だけに、前記協同作業手段の処理結果
   を出力する協同作業映像分配制御手段と、前記協同作業
   手段の処理状態を検出する協同作業状態検出手段とを備
   え、 前記端末側制御部が、前記配置情報に基づき前記会議テ
   ーブルを表現するための会議テーブル映像を生成する会
   議テーブル映像生成手段と、前記配置情報に基づき、前
   記会議テーブル映像と前記協同作業領域の映像と前記各
   座席に対応づけられた端末の映像の配置を制御する映像
   配置制御手段と、会議参加者のポインティング操作の内
   容および端末画面上での前記各座席の映像と前記協同作
   業領域の映像の配置関係と前記協同作業検出手段で検出
   された協同作業手段の処理状態とを基に前記ポインティ
   ング操作が協同作業手段に関連した操作であるか否かを
   判定し、その結果に応じて前記ポインティング操作の内
   容を異なる座標へのポインティング操作や協同作業領域
   に対するポインティング操作以外の入力情報に変換する
   操作入力管理手段と、前記映像配置制御手段から前記各
   座席の映像と前記協同作業領域の映像の画面上での配置
   情報と、前記協同作業検出手段で検出された協同作業手
   段の処理状態とに基づいた演出映像を作成し、前記協同
   作業手段の処理状態を視覚的に表現する空間演出映像生
   成手段と、前記映像配置手段から表示画面上の映像と、
   前記会議テーブル映像生成手段から作成された会議テー
   ブルの情報と、前記協同作業映像分配手段から前記協同
   作業手段の処理結果と、前記演出信号と、各端末から送
   受される映像信号とを受け取り、表示画面上に表示する
   映像を生成する映像合成手段とを備えることを特徴とす
   る協同作業インタフェース制御装置。