JPH08181960A - 遠隔会議映像表示システム - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】操作に未習熟の会議参加者でも容易に操作でき
且つ議事の進行状況に応じた最適の映像を得ることが出
来る遠隔会議映像表示システムを提供する。 【構成】主制御装置１７０は、表示レイアウト情報を記
憶する表示レイアウト記述記憶領域２０２と、カメラワ
ーク情報を記憶するカメラワーク記述記憶領域２０３
と、議事推移と表示レイアウト情報の対応付け情報およ
び表示レイアウトとカメラワーク情報の対応付け情報を
記憶する表示記述記憶領域２０４と、カメラの位置情報
およびマイクの位置情報を記憶するカメラおよびマイク
位置情報記憶領域２０５と、議事の進行状況をユーザが
入力するための入力装置１７５と、入力された議事推移
に対応する表示レイアウト情報およびカメラワーク情報
を取り出して表示映像の表示レイアウトおよびカメラワ
ークを変更する中央処理装置２１０とを具備する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、遠隔会議映像表示シス
テムに関し、さらに詳しくは、操作に習熟していない会
議参加者でも容易に操作でき且つ議事の進行状況に応じ
た最適の映像を得ることが出来る遠隔会議映像表示シス
テムに関する。

【０００２】

【従来の技術】「テレビ会議技術の課題と利用法につい
ての考察；第８回ヒューマン・インタフェース・シンポ
ジウム論文集、pp.207-212（1992年）」（文献１）で
は、遠隔地からカメラをコントロールすることで、状況
に応じた映像を得られるようにする提案がなされてい
る。「人物像追跡技術を用いた協同作業環境；電子情報
通信学会技術報告、オフィスシステム研究会ＯＦＳ92-1
8、pp.9-14（1992年）」（文献２）では、背景を含めた
全景と会議参加者の顔付近を拡大した近景の２種類の映
像を合成して表示することで、臨場感を得る提案がなさ
れている。

【０００３】

【発明が解決しようとする課題】上記（文献１）に記載
されている従来技術では、操作に習熟していない会議参
加者がカメラのコントロールを行うのは難しい問題点が
ある。例えば、カメラアングルやズームなどを入力する
のは難しく、操作に当った会議参加者の思考が会議内容
から離れてしまう。上記（文献２）に記載されている従
来技術では、必ずしも状況に応じた映像を得られない問
題点がある。例えば、プレゼンテーションが行なわれて
いる場合はプレゼンタを含んだ全景の映像だけを表示す
る方が良く、フリーディスカッションの場合は発話中の
会議参加者の近景の映像だけを表示した方が良いが、こ
れに対応できない。そこで、本発明の目的は、操作に習
熟していない会議参加者でも容易に操作でき且つ議事の
進行状況に応じた最適の映像を得ることが出来る遠隔会
議映像表示システムを提供することにある。

【０００４】

【課題を解決するための手段】第１の観点では、この発
明は、通信回線で接続された複数のサイトと、各サイト
の参加者を撮影するためのカメラと、各サイトの映像を
基にして表示映像を生成する表示映像生成装置と、前記
表示映像を表示する映像表示装置とを備えた遠隔会議映
像表示システムにおいて、表示レイアウト情報を記憶す
る表示レイアウト情報記憶手段と、議事推移と表示レイ
アウト情報の対応付け情報を記憶する表示レイアウト対
応付け情報記憶手段と、議事の進行状況をユーザが入力
するための入力手段と、その入力手段により入力された
議事推移に対応する表示レイアウト情報を前記対応付け
情報により前記表示レイアウト情報記憶手段から取り出
して表示映像の表示レイアウトを変更する表示レイアウ
ト変更手段とを具備したことを特徴とする遠隔会議映像
表示システムを提供する。

【０００５】第２の観点では、この発明は、上記構成の
遠隔会議映像表示システムにおいて、表示レイアウト情
報をユーザが定義するための入力手段または議事推移と
表示レイアウト情報の対応付け情報をユーザが定義する
ための入力手段の少なくとも一方を更に具備したことを
特徴とする遠隔会議映像表示システムを提供する。

【０００６】第３の観点では、この発明は、上記構成の
遠隔会議映像表示システムにおいて、カメラを制御する
ためのカメラ制御手段と、カメラワーク情報を記憶する
カメラワーク情報記憶手段と、表示レイアウトとカメラ
ワーク情報の対応付け情報を記憶するカメラワーク対応
付け情報記憶手段と、前記表示レイアウト変更手段で変
更した表示レイアウトに対応するカメラワーク情報を前
記対応付け情報により前記カメラワーク情報記憶手段か
ら取り出して前記カメラ制御手段に指示しカメラワーク
を変更するカメラワーク変更手段とをさらに具備したこ
とを特徴とする遠隔会議映像表示システムを提供する。

【０００７】第４の観点では、この発明は、上記構成の
遠隔会議映像表示システムにおいて、カメラワーク情報
をユーザが定義するための入力手段または表示レイアウ
トとカメラワーク情報の対応付け情報をユーザが定義す
るための入力手段の少なくとも一方をさらに具備したこ
とを特徴とする遠隔会議映像表示システムを提供する。

【０００８】第５の観点では、この発明は、上記構成の
遠隔会議映像表示システムにおいて、各サイトの参加者
の音声を獲得するための複数のマイクと、各マイクの位
置情報を記憶するマイク位置情報記憶手段と、前記カメ
ラの位置情報を記憶するカメラ位置情報記憶手段と、前
記マイクで獲得した音声と前記マイクの位置情報から音
源位置を推定する音源推定手段と、前記推定した音源位
置と前記カメラの位置情報から使用するカメラを選択す
るカメラ選択手段とをさらに具備したことを特徴とする
遠隔会議映像表示システムを提供する。

【０００９】第６の観点では、この発明は、上記構成の
遠隔会議映像表示システムにおいて、マイクの位置情報
をユーザが定義するための入力手段またはカメラの位置
情報をユーザが定義するための入力手段の少なくとも一
方をさらに具備したことを特徴とする遠隔会議映像表示
システムを提供する。

【００１０】第７の観点では、この発明は、上記構成の
遠隔会議映像表示システムにおいて、撮影した映像を評
価する評価手段と、評価値に基づいてカメラワークの変
更または使用するカメラの変更を行う映像調整手段とを
さらに具備したことを特徴とする遠隔会議映像表示シス
テムを提供する。

【００１１】

【作用】上記第１の観点による遠隔会議映像表示システ
ムでは、表示レイアウト情報を記憶すると共に議事推移
と表示レイアウト情報の対応付け情報を記憶しておき、
議事の進行状況をユーザが入力すると、入力された議事
推移に対応する表示レイアウト情報を取り出し、表示映
像の表示レイアウトを変更する。これによれば、会議参
加者は会議の進行状況を入力するだけなので、操作が容
易であり、思考が会議内容から離れてしまうこともな
い。そして、議事の進行状況に応じた最適の映像を得る
ことが出来る。

【００１２】上記第２の観点による遠隔会議映像表示シ
ステムでは、表示レイアウト情報をユーザが定義するこ
とが出来る。あるいは、議事推移と表示レイアウト情報
の対応付け情報をユーザが定義することが出来る。この
ため、システム設計者があらかじめ定義しておけないよ
うな、そのユーザ固有の表示レイアウトや議事推移との
対応付けが定義でき、使用条件に応じた映像を得ること
が出来る。

【００１３】上記第３の観点による遠隔会議映像表示シ
ステムでは、カメラワーク情報を記憶すると共に表示レ
イアウトとカメラワーク情報の対応付け情報を記憶して
おき、議事の進行状況に応じて表示レイアウトが変更さ
れると、その表示レイアウトに対応するカメラワーク情
報を取り出し、カメラワークを変更する。これによれ
ば、表示レイアウトに合せた最適のカメラワークでの映
像を得ることが出来る。

【００１４】上記第４の観点による遠隔会議映像表示シ
ステムでは、カメラワーク情報をユーザが定義すること
が出来る。あるいは、表示レイアウトとカメラワーク情
報の対応付け情報をユーザが定義することが出来る。こ
のため、システム設計者があらかじめ定義しておけない
ような、そのユーザ固有のカメラワークや表示レイアウ
トとの対応付けが定義でき、使用条件に応じた映像を得
ることが出来る。

【００１５】上記第５の観点による遠隔会議映像表示シ
ステムでは、マイクの位置情報とカメラの位置情報とを
記憶しておき、マイクで獲得した音声と前記マイクの位
置情報とから音源位置を推定し、その音源位置と前記カ
メラの位置情報とから使用するカメラを選択する。これ
によれば、発話者に合せた最適のカメラで映像を得るこ
とが出来る。

【００１６】上記第６の観点による遠隔会議映像表示シ
ステムでは、マイクの位置情報をユーザが定義すること
が出来る。あるいは、カメラの位置情報をユーザが定義
することが出来る。このため、システム設計者があらか
じめ定義しておけないような、そのユーザ固有のマイク
位置やカメラ位置が定義でき、使用条件に応じた音声や
映像を得ることが出来る。

【００１７】上記第７の観点による遠隔会議映像表示シ
ステムでは、撮影した映像を評価し、その評価値に基づ
いてカメラワークの変更または使用するカメラの変更を
行う。これによれば、変更した表示レイアウトを守りな
がら、より最適のカメラワークやカメラで映像を得るこ
とが出来る。

【００１８】

【実施例】以下、本発明の実施例を図を参照して詳細に
説明する。なお、これにより本発明が限定されるもので
はない。

【００１９】図１は、本発明の一実施例の遠隔会議映像
表示システム１０００の機器構成を示すブロック図であ
る。但し、本発明の説明に必要な構成要素だけを示して
おり、本発明の説明に不必要な構成要素（例えば音声再
生装置など）は図示を省略している。１００，１０１
は、通信回線によって接続され、映像信号と音響信号を
やりとりするサイトＡ，サイトＢである。１１０，１１
１は、各々サイトＡ１００，サイトＢ１０１の映像を撮
影するためのカメラである。１２０，１２１は、各々カ
メラ１１０，１１１を制御するためのカメラ制御装置で
ある。１３０，１３１は、各々カメラ１１０，１１１で
撮影した映像を分配して切り替えるための映像切り替え
装置である。１４０，１４１は、映像切り替え装置１３
０，１３１から分配された映像を合成するための映像合
成装置である。１５０，１５１は、各々サイトＡ１０
０，サイトＢ１０１に出席した参加者の音声を獲得する
ためのマイクである。１６０，１６１は、各々マイク１
５０，１５１で獲得した音声を処理して参加者の発話位
置を推定する音源推定装置である。１７０は、サイトＡ
１００，サイトＢ１０１の機器を制御する主制御装置で
ある。１７５は、参加者のいずれかが議事の進行状況に
応じて議事推移を入力するための入力装置である。１８
０，１８１は、各々カメラ１１０，１１１で撮影された
映像を入力とし、その映像を主制御装置１７０から示さ
れた条件に従って評価する映像認識装置である。１９
０，１９１は、各々映像合成装置１４０，１４１で合成
された映像を表示するための映像表示装置である。

【００２０】図２は、サイトＡ１００のイメージ図であ
る。１９２〜１９６は、サイトＡ１００側の会議参加者
である。サイトＢでも同様である。

【００２１】図３は、前記主制御装置１７０の詳細なブ
ロック図である。主記憶装置２００は、本発明に係わる
種々の処理手順を記述した表示映像制御プログラムを記
憶するプログラム記憶領域２０１と、映像表示装置１９
０，１９１にカメラ１１０，１１１で撮影した映像をど
のようなレイアウトで表示するかを記述した表示レイア
ウト記述を記憶するための表示レイアウト記述記憶領域
２０２と、カメラ１１０，１１１でどのような映像を撮
影するかを記述したカメラワーク記述を記憶するための
カメラワーク記述記憶領域２０３と、ある議事の進行状
況においてどのような表示レイアウトでそのときのカメ
ラワークはどのようにするかを記述した表示記述を記憶
するための表示記述記憶領域２０４と、マイク１５０，
１５１で得られた音声情報を音源推定装置１６０，１６
１で処理しカメラの姿勢を制御するのに用いるカメラお
よびマイク位置情報記憶領域２０５とを有する。

【００２２】補助記憶装置２２０は、本発明に係わる種
々の処理手順を記述した表示映像制御プログラムを格納
するプログラム格納領域２２１と、映像表示装置１９
０，１９１にカメラ１１０，１１１で撮影した映像をど
のようなレイアウトで表示するかを記述した表示レイア
ウト記述を格納するための表示レイアウト記述格納領域
２２２と、カメラ１１０，１１１でどのような映像を撮
影するかを記述したカメラワーク記述を格納するための
カメラワーク記述格納領域２２３と、ある議事の進行状
況においてどのような表示レイアウトでそのときのカメ
ラワークはどのようにするかを記述した表示記述を格納
するための表示記述格納領域２２４と、マイク１５０，
１５１で得られた音声情報を音源推定装置１６０，１６
１で処理しカメラの姿勢を制御するのに用いるカメラお
よびマイク位置情報格納領域２２５とを有する。

【００２３】中央処理装置２１０は、前記補助記憶装置
２２０のプログラム格納領域２２１から主記憶装置２０
０のプログラム記憶領域２０１に表示映像制御プログラ
ムをロードし、映像合成装置１４０，１４１に表示レイ
アウト記述を伝達し、かつ、カメラ制御装置１２０，１
２１を制御して前記表示レイアウト記述に即した映像を
生成する。中央処理装置２１０における処理は、図１
０，図１１を用いて後述に説明する。

【００２４】前記表示レイアウト記述は、前記補助記憶
装置２２０の表示レイアウト記述格納領域２２２にあら
かじめ定義しておき、主記憶装置２００の表示レイアウ
ト記述記憶領域２０２にロードして使用する。前記カメ
ラワーク記述は、前記補助記憶装置２２０内のカメラワ
ーク記述格納領域２２３にあらかじめ定義しておき、主
記憶装置２００のカメラワーク記述記憶領域２０３にロ
ードして使用する。前記表示記述は、前記補助記憶装置
２２０の表示記述格納領域２２４にあらかじめ定義して
おき、主記憶装置２００の表示記述記憶領域２０４にロ
ードして使用する。

【００２５】図４は、表示レイアウト記述格納領域２２
２の説明図である。３００，３１０，３２０，３３０，
３４０，３５０，３６０，３７０は、表示レイアウトを
定義しておく表示レイアウト記述ファイルである。表示
レイアウト記述ファイル３００は、映像表示装置１９
０，１９１に表示する表示レイアウトのタイプを表す表
示レイアウトタイプ３０１と、表示する画面幅３０２
と、表示する画面高さ３０３と、画面の左下のｘ座標を
示す画面ｘ座標３０４と、画面の左下のｙ座標を示す画
面ｙ座標３０５とから構成される。表示レイアウト記述
ファイル３１０，３２０，３３０，３４０，３５０，３
６０，３７０の構成も、表示レイアウト記述ファイル３
００と同様である。

【００２６】後述するように、中央処理装置２１０は、
入力装置１７５から入力された議事推移情報に応じたカ
メラワーク記述と表示レイアウト記述に従って映像表示
装置１９０，１９１に表示する映像を制御する。そこ
で、入力装置１７５から上記のような表示レイアウトの
仕様をユーザが定義すれば、システム設計者があらかじ
め定義しておけないような、そのユーザ固有の表示レイ
アウトを定義できるようになり、使用条件に応じた映像
を表示することが出来る。また、上記のような表示レイ
アウトの仕様をあらかじめシステム内に具備しておくこ
とにより、ユーザは簡単な操作で議事推移と表示レイア
ウトを対応付けることが出来る。

【００２７】図５は、カメラワーク記述格納領域２２３
の説明図である。４００は、映像を獲得する際のカメラ
ワークの仕様を記述したカメラワーク記述ファイルであ
る。このカメラワーク記述ファイルは、表示レイアウト
に関連付けて設定される。４１０は映像の被写体のサイ
ズを定義した被写体サイズであり、ユーザは被写体サイ
ズ選択肢４１１，４１２，４１３，４１４，４１５，４
１６の中から一つを選択することによって被写体サイズ
４１０を設定する。４２０は映像の被写体の人数を定義
した被写体人数であり、ユーザは被写体人数選択肢４２
１，４２２，４２３，４２４の中から一つを選択するこ
とによって被写体人数４２０を設定する。４３０は映像
を撮影する際のカメラの設置地点を示す撮影地点であ
り、ユーザは撮影地点選択肢４３１，４３２の中から一
つを選択することによって撮影地点４３０を設定する。
４４０は映像を撮影する際のカメラの方向を示す撮影方
向であり、ユーザは撮影方向選択肢４４１，４４２の中
から一つを選択することによって撮影方向４４０を設定
する。４５０は映像を撮影する際のカメラの動きを示す
カメラ動作であり、ユーザはカメラ動作選択肢４５１，
４５２，４５３，４５４，４５５の中から一つを選択す
ることによってカメラ動作４５０を設定する。４６０は
映像を撮影する際のカメラのアングルを示すカメラアン
グルであり、ユーザはカメラアングル選択肢４６１，４
６２，４６３，４６４の中から一つを選択することによ
ってカメラアングル４６０を設定する。４７０は映像を
撮影する際に同一の映像を撮影し続ける制限時間であ
り、ユーザは制限時間選択肢４７１，４７２，４７３，
４７４の中から一つを選択することによって制限時間４
７０を設定する。

【００２８】入力装置１７５から上記のようなカメラワ
ークの仕様をユーザが定義すれば、システム設計者があ
らかじめ定義しておけないような、そのユーザ固有のカ
メラワークが定義でき、使用条件に応じた映像を表示す
ることが出来る。また、上記のような選択肢をあらかじ
めシステム内に具備しておくことにより、ユーザは選択
肢を選ぶという簡単な操作で高度なカメラワークを定義
することが出来る。さらに、上記のようなカメラワーク
の仕様をあらかじめシステム内に具備しておくことによ
り、ユーザは簡単な操作で表示レイアウトとカメラワー
クとを対応付けることが出来る。

【００２９】図６は、表示記述格納領域２２４の説明図
である。５００は、議事の進行状況に応じた表示レイア
ウトとカメラワークを記述する表示記述ファイルであ
る。５１０，５２０，５３０，５４０，５５０，５６０
は、議事の推移の状況に応じた画面の表示レイアウトと
そのときのカメラワークを記述する議事モード別表示記
述である。

【００３０】議事モード別表示記述５１０は、議事の推
移の状況を表す議事モード５１１と、該議事モードにお
ける表示レイアウトおよびカメラワークを記述する表示
記述５１２とから構成される。前記議事モード５１１
は、「会議のオープニング」を表す。よって、この議事
モード別表示記述５１０は、「会議のオープニング」時
の画面の表示レイアウトとそのときのカメラワークを表
す。

【００３１】図７は、前記表示記述５１２の詳細な説明
図である。表示記述５１２は、表示記述文字５６５〜５
７５から構成されている。表示記述文字５６５は、表示
レイアウトのタイプを表す。表示記述文字‘［’５６６
と‘］’５７４とに挟まれた表示記述文字５６７〜５７
３は、カメラワークの仕様を表す。表示記述文字‘；’
５７５は、他の表示記述との境目を表す。

【００３２】具体的には、表示記述文字‘Ａ’５６５
は、表示レイアウトとして‘タイプＡ’を、すなわち、
表示レイアウト記述ファイル３００を用いることを表
す。表示記述文字‘２’５６７は、被写体サイズ４１０
の‘選択肢２’を、すなわち、被写体サイズ選択肢４１
３を用いることを表す。表示記述文字‘３’５６８は、
被写体人数４２０の‘選択肢３’を、すなわち、被写体
人数選択肢４２４を用いることを表す。表示記述文字
‘１’５６９は、撮影地点４３０の‘選択肢３’を、す
なわち、撮影地点選択肢４３２を用いることを表す。表
示記述文字‘０’５７０は、撮影方向４４０の‘選択肢
０’を、すなわち、撮影地点選択肢４３２を用いること
を表す。表示記述文字‘２’５７１は、カメラ動作４５
０の‘選択肢２’を、すなわち、カメラ動作選択肢４５
３を用いることを表す。表示記述文字‘０’５７２は、
カメラアングル４６０の‘選択肢０’を、すなわち、カ
メラアングル選択肢４６１を用いることを表す。表示記
述文字‘０’５７３は、制限時間４７０の‘選択肢０’
を、すなわち、制限時間選択肢４７１を用いることを表
わす。

【００３３】図６に戻り、議事モード別表示記述５２０
は、議事モード５２１と、表示記述５２２，５２３，５
２４とから構成される。前記議事モード５２１は、「プ
レゼンテーション−１」を表わす。よって、この議事モ
ード別表示記述５２０は、「プレゼンテーション−１」
時の画面の表示レイアウトとそのときのカメラワークを
表す。前記表示記述５２２は、「プレゼンテーション−
１」時のデフォルトの表示記述である。表示記述５２
３，５２４は、参加者がプレゼンタの発表に対して割り
込みをした場合の表示記述である。

【００３４】図８は、前記表示記述５２３の詳細な説明
図である。表示記述５２３は、表示記述文字５７６〜５
９８から構成されている。表示記述文字５７６〜５８５
の意味は、図７を参照して説明したのと同様である。表
示記述文字‘＋’５８６は、重畳表示を表す。すなわ
ち、表示記述文字５７６〜５８５で表された表示レイア
ウトに、表示記述文字５８７〜５９７で表される表示レ
イアウトを重畳することを表す。表示記述文字‘；’５
９８は、他の表示記述との境目を表す。

【００３５】表示記述文字５８７〜５９７において、表
示記述文字‘Ｃ’５８７は、表示レイアウトとして‘タ
イプＣ１’を、すなわち、表示レイアウト記述ファイル
３１０を用いることを表す。表示記述文字‘３’５９０
は、被写体サイズ４１０の‘選択肢３’を、すなわち、
被写体サイズ選択肢４１４を用いることを表す。表示記
述文字‘？’５９１は、被写体人数４２０の任意の選択
肢を、すなわち、被写体人数選択肢４２１〜４２４のい
ずれを用いてもよいことを表す。表示記述文字‘？’５
９２は、撮影地点４３０の任意の選択肢を、すなわち、
撮影地点選択肢４３１〜４３２のいずれを用いてもよい
ことを表す。表示記述文字‘０’５９３は、撮影方向４
４０の‘選択肢０’を、すなわち、撮影地点選択肢４３
２を用いることを表す。表示記述文字‘０’５９４は、
カメラ動作４５０の‘選択肢０’を、すなわち、カメラ
動作選択肢４５１を用いることを表す。表示記述文字
‘０’５９５は、カメラアングル４６０の‘選択肢０’
を、すなわち、カメラアングル選択肢４６１を用いるこ
とを表す。表示記述文字‘１’５９６は、制限時間４７
０の‘選択肢１’を、すなわち、制限時間選択肢４７２
を用いることを表わす。

【００３６】図６に戻り、議事モード別表示記述５３０
は、議事モード５３１と、表示記述５３２，５３３とか
ら構成される。前記議事モード５３１は、「プレゼンテ
ーション−２」を表わす。よって、この議事モード別表
示記述５３０は、「プレゼンテーション−２」時の画面
の表示レイアウトとそのときのカメラワークを表す。前
記表示記述５３２は、「プレゼンテーション−２」時の
デフォルトの表示記述である。表示記述５３３は、参加
者がプレゼンタの発表に対して割り込みをした場合の表
示記述である。

【００３７】議事モード別表示記述５４０は、議事モー
ド５４１と、表示記述５４２，５４３とから構成され
る。前記議事モード５４１は、「プレゼンタと会議の参
加者との質疑応答」を表わす。よって、この議事モード
別表示記述５４０は、「プレゼンタと会議の参加者との
質疑応答」時の画面の表示レイアウトとそのときのカメ
ラワークを表す。

【００３８】議事モード別表示記述５５０は、議事モー
ド５５１と、表示記述５５２とから構成される。前記議
事モード５５１は、「会議の参加者のフリーディスカッ
ション」を表わす。よって、この議事モード別表示記述
５５０は、「会議の参加者のフリーディスカッション」
時の画面の表示レイアウトとそのときのカメラワークを
表す。

【００３９】議事モード別表示記述５６０は、議事モー
ド５６１と、表示記述５６２とから構成される。前記議
事モード５６１は、「会議のエンディング」を表わす。
よって、この議事モード別表示記述５６０は、「会議の
エンディング」時の画面の表示レイアウトとそのときの
カメラワークを表す。

【００４０】なお、議事モード５１１，５２１，５３
１，５４１，５５１，５６１は、あらかじめ複数の選択
肢を登録しておき、図１における入力装置１７５から会
議の参加者によって選択入力される。また、議事モード
別表示記述５１０，５２０，５３０，５４０，５５０，
５６０における表示記述の数は任意である。

【００４１】入力装置１７５から上記のような議事推移
と表示レイアウトの対応および表示レイアウトとカメラ
ワークの対応をユーザが定義すれば、システム設計者が
あらかじめ定義しておけないような、そのユーザ固有の
対応付けを定義でき、使用条件に応じた映像を表示する
ことが出来る。

【００４２】図９は、カメラおよびマイク位置情報格納
領域２２５の説明図である。６００，６１０，６２０
は、カメラの位置と姿勢を登録しておくカメラ位置情報
ファイルである。これらカメラ位置情報ファイル６０
０，６１０，６２０は、カメラ制御装置１２０，１２１
がカメラ１１０，１１１を制御する時に参照される。カ
メラ位置情報ファイル６００において、６０１は、カメ
ラを識別するためのヘッダである。６０２は、カメラの
設置位置のｘ座標である。６０３は、カメラの設置位置
のｙ座標である。６０４は、カメラの設置位置のｚ座標
である。６０５は、初期状態としてカメラが水平面に対
してどれだけの角度を成して設置されているのかを表す
仰角である。６０６は、初期状態としてカメラが正面方
向に対してどれだけの角度を成して設置されているのか
を表す回転角である。カメラ位置情報ファイル６１０，
６２０も同様の構成である。なお、カメラ位置情報ファ
イルは、カメラの台数に応じて作成される。

【００４３】６３０，６４０は、マイクの位置を登録し
ておくマイク位置情報ファイルである。これらマイク位
置情報ファイル６３０，６４０は、マイク１５０，１５
１によって獲得した参加者の音声を音源推定装置１６
０，１６１で処理する時に参照される。マイク位置情報
ファイル６３０において、６３１は、マイクを識別する
ためのヘッダである。６３２は、マイクの設置位置のｘ
座標である。６３３は、マイクの設置位置のｙ座標であ
る。６３４は、マイクの設置位置のｚ座標である。マイ
ク位置情報ファイル６４０も同様の構成である。なお、
マイク位置情報ファイルは、マイクの台数に応じて作成
される。

【００４４】入力装置１７５から上記のようなカメラの
位置情報とマイクの位置情報をユーザが定義すれば、シ
ステム設計者があらかじめ定義しておけないような、様
々な会議室におけるカメラの位置，マイクの位置に対応
することが出来る。

【００４５】図１０は、中央処理装置２１０における処
理を示すフロー図である。ステップ７１０では、プログ
ラム格納領域２２１からプログラム記憶領域２０１にロ
ードした表示映像制御プログラムを起動する。ステップ
７２０では、表示映像制御プログラムは、補助記憶装置
２２０の表示レイアウト記述格納領域２２２に格納して
ある表示レイアウト記述ファイル３００〜３７０を主記
憶装置２００内の表示レイアウト記述記憶領域２０２に
ロードし、初期化を行なう。また、カメラワーク記述格
納領域２２３に格納してあるカメラワーク記述ファイル
４００を主記憶装置２００内の表示レイアウト記述記憶
領域２０２にロードし、初期化を行なう。また、表示記
述格納領域２２４に格納してある表示記述ファイル５０
０を主記憶装置２００内の表示記述記憶領域２０４にロ
ードし、初期化を行なう。また、カメラおよびマイク位
置情報格納領域２２５に格納してあるカメラ位置情報フ
ァイル６００〜６２０およびマイク位置情報ファイル６
３０〜６４０を主記憶装置２００内のカメラおよびマイ
ク位置情報記憶領域２０５にロードし、初期化を行な
う。

【００４６】ステップ７３０では、会議参加者の誰かが
入力装置１７５から入力した議事推移情報を受け付け
る。新たな議事推移情報が入力されない場合は、現在の
議事推移情報を用いてステップ７４０に進む。ステップ
７４０では、マイク１５０，１５１から獲得した音声入
力とマイク位置情報ファイル６３０，６４０に記述され
たマイクの位置情報に基づいて音源推定装置１６０，１
６１において算出された音源位置情報を入力する。新た
な音源位置情報が入力されない場合は、現在の音源位置
情報を用いてステップ７５０に進む。ステップ７５０で
は、前記議事推移情報および前記音源位置情報に基づい
て映像表示装置に表示する映像を選定する。この選定処
理に関しては、図１１を参照して後で詳細に説明する。

【００４７】ステップ７６０では、選定した映像を映像
合成装置１４０，１４１に送り、表示レイアウト情報に
従ってレイアウトし、映像表示装置１９０，１９１に表
示する。ステップ７７０では、会議参加者が終了を命令
したか判定し、終了でない場合は前記ステップ７３０に
戻り、終了の場合は処理を終了する。

【００４８】図１１は、選定処理（図１０のステップ７
５０）の詳細を示すフロー図である。ステップ８１０で
は、議事推移情報と表示記述ファイル５００とに基づい
て、表示レイアウトとその際のカメラワークを決定す
る。ステップ８２０では、音源位置情報とカメラ位置情
報ファイル６００〜６２０とに基づいて、音源（すなわ
ち、発話者）を撮影するための最適なカメラをカメラ１
１０，１１１の中から選択する。例えば、音源に最も近
いカメラを選択する。ステップ８３０では、選択したカ
メラをカメラ制御装置１２０，１２１によって制御し、
音源の方向に向け、撮影した映像を映像切り替え装置１
３０，１３１によって映像認識装置１８０，１８１に送
る。ステップ８４０では、映像認識装置１８０，１８１
は、送られてきた映像が前記ステップ８１０で決定した
カメラワークの仕様を満足しているか否か減点法で評価
し、評価点を算出する。例えば、「Human Face Detecti
on in a Scene; Proceedings 1993 IEEE Computer Soci
ety Conference on Computer Vision and Pattern Reco
gnition, June 15-18,1993, New York City, New Yor
k.,pp.453-458,(1993)」に記載されている人物の顔を認
識するアルゴリズムを用いれば、撮影した映像中の顔の
領域を求めることが出来るので、映像中の顔領域の割合
い，映像中の顔領域の位置，映像中の顔領域の個数に応
じて評価点を算出することが出来る。そして、評価点が
あらかじめ決めておいた閾値Ｔｈ１，Ｔｈ２（Ｔｈ１＜
Ｔｈ２）に対して、Ｔｈ１未満の場合はステップ８６０
に進み、Ｔｈ１以上かつＴｈ２未満の場合はステップ８
５０に進み、Ｔｈ２以上の場合はステップ８７０に進
む。ステップ８５０では、カメラ制御装置１２０，１２
１を制御して画角を調整し、前記ステップ８４０に戻
る。

【００４９】ステップ８６０では、別のカメラを選択
し、前記ステップ８３０に戻る。

【００５０】ステップ８７０では、その映像をカメラワ
ークの仕様を満たしている映像として、映像切り替え装
置１３０，１３１を切り替えて、映像合成装置１４０，
１４１に送る。そして、選定処理を終了する。

【００５１】図１２〜図１８は、映像表示装置１９０，
１９１における表示映像の例示図である。図１２の表示
映像は、表示記述５２２に対応する表示映像である。す
なわち、表示レイアウト記述ファイル３００に従ってレ
イアウトされた‘タイプＡ’の表示映像９００である。
図１３の表示映像は、表示記述５２３に対応する表示映
像である。すなわち、表示レイアウト記述ファイル３０
０に従ってレイアウトされた‘タイプＡ’の表示映像９
００に、表示レイアウト記述ファイル３１０に従ってレ
イアウトされた‘タイプＣ１’の表示映像９１０を重畳
した表示映像である。図１４の表示映像は、表示記述５
２４に対応する表示映像である。すなわち、表示レイア
ウト記述ファイル３００に従ってレイアウトされた‘タ
イプＡ’の表示映像９００に、表示レイアウト記述ファ
イル３１０に従ってレイアウトされた‘タイプＣ１’の
表示映像９１０および表示レイアウト記述ファイル３２
０に従ってレイアウトされた‘タイプＣ２’の表示映像
９２０を重畳した表示映像である。

【００５２】図１５の表示映像は、表示記述５３２に対
応する表示映像である。すなわち、表示レイアウト記述
ファイル３４０に従ってレイアウトされた‘タイプＵ’
の表示映像９３０に、表示レイアウト記述ファイル３５
０に従ってレイアウトされた‘タイプＤ’の表示映像９
４０を重畳した表示映像である。図１６の表示映像は、
表示記述５３３に対応する表示映像である。すなわち、
表示レイアウト記述ファイル３４０に従ってレイアウト
された‘タイプＵ’の表示映像９３０に、表示レイアウ
ト記述ファイル３５０に従ってレイアウトされた‘タイ
プＤ’の表示映像９４０および表示レイアウト記述ファ
イル３３０に従ってレイアウトされた‘タイプＣ３’の
表示映像９５０を重畳した表示映像である。

【００５３】図１７の表示映像は、表示記述５４２に対
応する表示映像である。すなわち、表示レイアウト記述
ファイル３００に従ってレイアウトされた‘タイプＡ’
の表示映像９００’である。図１８の表示映像は、表示
記述５４３に対応する表示映像である。すなわち、表示
レイアウト記述ファイル３７０に従ってレイアウトされ
た‘タイプＬ’の表示映像９７０に、表示レイアウト記
述ファイル３６０に従ってレイアウトされた‘タイプ
Ｒ’の表示映像９６０を重畳した表示映像である。

【００５４】以上の遠隔会議映像表示システム１０００
によれば、操作に習熟していない会議参加者でも容易に
操作でき、且つ、議事の進行状況に応じた表示レイアウ
トとカメラワークによる映像を表示することが出来る。

【００５５】

【発明の効果】本発明の遠隔会議映像表示システムによ
れば、次の効果が得られる。 （１）会議参加者は会議の進行状況を入力するだけなの
で、操作が容易であり、思考が会議内容から離れてしま
うこともない。そして、議事の進行状況に応じた最適の
映像を得ることが出来る。 （２）システム設計者があらかじめ定義しておけないよ
うな、そのユーザ固有の表示レイアウトや議事推移との
対応付けが定義でき、使用条件に応じた映像を得ること
が出来る。 （３）表示レイアウトに合せた最適のカメラワークでの
映像を得ることが出来る。 （４）システム設計者があらかじめ定義しておけないよ
うな、そのユーザ固有のカメラワークや表示レイアウト
との対応付けが定義でき、使用条件に応じた映像を得る
ことが出来る。 （５）発話者に合せた最適のカメラで映像を得ることが
出来る。 （６）システム設計者があらかじめ定義しておけないよ
うな、そのユーザ固有のマイク位置やカメラ位置が定義
でき、使用条件に応じた音声や映像を得ることが出来
る。 （７）変更した表示レイアウトを守りながら、より最適
のカメラワークやカメラで映像を得ることが出来る。

【図面の簡単な説明】

【図１】本発明の一実施例の遠隔会議映像表示システム
の機器構成を示すブロック図である。

【図２】図１の遠隔会議映像表示システムにおけるサイ
トＡのイメージ図である。

【図３】図１の遠隔会議映像表示システムにおける主制
御装置の詳細なブロック図である。

【図４】図３の主制御装置における表示レイアウト記述
格納領域の説明図である。

【図５】図３の主制御装置におけるカメラワーク記述格
納領域の説明図である。

【図６】図３の主制御装置における表示記述格納領域の
説明図である。

【図７】表示記述の詳細な説明図である。

【図８】別の表示記述の詳細な説明図である。

【図９】図３の主制御装置におけるカメラおよびマイク
位置情報格納領域の説明図である。

【図１０】図３の主制御装置における中央処理装置の処
理を示すフロー図である。

【図１１】図１０の処理における選定処理のフロー図で
ある。

【図１２】‘タイプＡ’の表示映像の例示図である。

【図１３】‘タイプＡ’＋‘タイプＣ１’の表示映像の
例示図である。

【図１４】‘タイプＡ’＋‘タイプＣ１’＋‘タイプＣ
２’の表示映像を示す例示図である。

【図１５】‘タイプＵ’＋‘タイプＤ’の表示映像の例
示図である。

【図１６】‘タイプＵ’＋‘タイプＤ’＋‘タイプＣ
３’の表示映像を示す例示図である。

【図１７】‘タイプＡ’の表示映像の別の例示図であ
る。

【図１８】‘タイプＬ’＋‘タイプＲ’の表示映像の例
示図である。

【符号の説明】

１０００……遠隔会議映像表示システム １００……サイトＡ、１０１……サイトＢ １１０，１１１……カメラ、１２０，１２１……カメラ
制御装置 １３０，１３１……映像切り替え装置、１４０，１４１
……映像合成装置 １５０，１５１……マイク、１６０，１６１……音源推
定装置 １７０……主制御装置、１７５……入力装置 １８０，１８１……映像認識装置、１９０，１９１……
映像表示装置 １９２〜１９６……参加者 ２００……主記憶装置 ２０１……プログラム記憶領域、２０２……表示レイア
ウト記憶領域 ２０３……カメラワーク記憶領域、２０４……表示記述
記憶領域 ２０５……カメラおよびマイク位置情報記憶領域 ２１０……中央処理装置、 ２２０……補助記憶装置 ２２１……プログラム格納領域、２２２……表示レイア
ウト格納領域 ２２３……カメラワーク格納領域、２２４……表示記述
格納領域 ２２５……カメラおよびマイク位置情報格納領域 ３００，３１０，３２０，３３０，３４０，３５０，３
６０，３７０……表示レイアウト記述ファイル ３０１，３１１，３２１，３３１，３４１，３５１，３
６１，３７１……表示レイアウトタイプ ３０２，３１２，３２２，３３２，３４２，３５２，３
６２，３７２……画面幅 ３０３，３１３，３２３，３３３，３４３，３５３，３
６３，３７３……画面高さ ３０４，３１４，３２４，３３４，３４４，３５４，３
６４，３７４……画面ｘ座標 ３０５，３１５，３２５，３３５，３４５，３５５，３
６５，３７５……画面ｙ座標 ４００……カメラワーク記述ファイル ４１０……被写体サイズ ４１１，４１２，４１３，４１４，４１５，４１６……
被写体サイズ選択肢 ４２０……被写体人数 ４２１，４２２，４２３，４２４……被写体人数選択肢 ４３０……撮影地点、４３１，４３２……撮影地点選択
肢 ４４０……撮影方向、４４１，４４２……撮影方向選択
肢 ４５０……カメラ動作 ４５１，４５２，４５３，４５４，４５５……カメラ動
作選択肢 ４６０……カメラアングル ４６１，４６２，４６３，４６４……カメラアングル選
択肢 ４７０……制限時間 ４７１，４７２，４７３，４７４……制限時間選択肢 ５００……表示記述ファイル ５１０，５２０，５３０，５４０，５５０，５６０……
議事モード別表示記述 ５１１，５２１，５３１，５４１，５５１，５６１……
議事モード ５１２，５２２，５２３，５２４，５３２，５３３，５
４２，５４３，５５２，５６２……表示記述 ５６５〜５９８……表示記述文字 ６００，６１０，６２０……カメラ位置情報ファイル ６３０，６４０……マイク位置情報ファイル ６０１，６１１，６２１，６３１，６４１……ヘッダ ６０２，６１２，６２２，６３２，６４２……ｘ座標 ６０３，６１３，６２３，６３３，６４３……ｙ座標 ６０４，６１４，６２４，６３４，６４４……ｚ座標 ６０５，６１５，６２５……仰角 ６０６，６１６，６２６……回転角 ９００，９１０，９２０，９３０，９４０，９５０，９
６０，９７０……表示映像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 上田 博唯 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 通信回線で接続された複数のサイトと、
   各サイトの参加者を撮影するためのカメラと、各サイト
   の映像を基にして表示映像を生成する表示映像生成装置
   と、前記表示映像を表示する映像表示装置とを備えた遠
   隔会議映像表示システムにおいて、 表示レイアウト情報を記憶する表示レイアウト情報記憶
   手段と、議事推移と表示レイアウト情報の対応付け情報
   を記憶する表示レイアウト対応付け情報記憶手段と、議
   事の進行状況をユーザが入力するための入力手段と、そ
   の入力手段により入力された議事推移に対応する表示レ
   イアウト情報を前記対応付け情報により前記表示レイア
   ウト情報記憶手段から取り出して表示映像の表示レイア
   ウトを変更する表示レイアウト変更手段とを具備したこ
   とを特徴とする遠隔会議映像表示システム。
2. 【請求項２】 請求項１に記載の遠隔会議映像表示シス
   テムにおいて、表示レイアウト情報をユーザが定義する
   ための入力手段または議事推移と表示レイアウト情報の
   対応付け情報をユーザが定義するための入力手段の少な
   くとも一方をさらに具備したことを特徴とする遠隔会議
   映像表示システム。
3. 【請求項３】 請求項１または請求項２に記載の遠隔会
   議映像表示システムにおいて、カメラを制御するための
   カメラ制御手段と、カメラワーク情報を記憶するカメラ
   ワーク情報記憶手段と、表示レイアウトとカメラワーク
   情報の対応付け情報を記憶するカメラワーク対応付け情
   報記憶手段と、前記表示レイアウト変更手段で変更した
   表示レイアウトに対応するカメラワーク情報を前記対応
   付け情報により前記カメラワーク情報記憶手段から取り
   出して前記カメラ制御手段に指示しカメラワークを変更
   するカメラワーク変更手段とをさらに具備したことを特
   徴とする遠隔会議映像表示システム。
4. 【請求項４】 請求項３に記載の遠隔会議映像表示シス
   テムにおいて、カメラワーク情報をユーザが定義するた
   めの入力手段または表示レイアウトとカメラワーク情報
   の対応付け情報をユーザが定義するための入力手段の少
   なくとも一方をさらに具備したことを特徴とする遠隔会
   議映像表示システム。
5. 【請求項５】 請求項１から請求項４のいずれかに記載
   の遠隔会議映像表示システムにおいて、各サイトの参加
   者の音声を獲得するための複数のマイクと、各マイクの
   位置情報を記憶するマイク位置情報記憶手段と、前記カ
   メラの位置情報を記憶するカメラ位置情報記憶手段と、
   前記マイクで獲得した音声と前記マイクの位置情報から
   音源位置を推定する音源推定手段と、前記推定した音源
   位置と前記カメラの位置情報から使用するカメラを選択
   するカメラ選択手段とをさらに具備したことを特徴とす
   る遠隔会議映像表示システム。
6. 【請求項６】 請求項５に記載の遠隔会議映像表示シス
   テムにおいて、マイクの位置情報をユーザが定義するた
   めの入力手段またはカメラの位置情報をユーザが定義す
   るための入力手段の少なくとも一方をさらに具備したこ
   とを特徴とする遠隔会議映像表示システム。
7. 【請求項７】 請求項１から請求項６のいずれかに記載
   の遠隔会議映像表示システムにおいて、撮影した映像を
   評価する評価手段と、評価値に基づいてカメラワークの
   変更または使用するカメラの変更を行う映像調整手段と
   をさらに具備したことを特徴とする遠隔会議映像表示シ
   ステム。