JP3462336B2 - 状況入力装置及び分散地点間での状況通信装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば少人数の会
議を遠隔にて行なうための遠隔会議システム等に利用さ
れる状況入力装置及び分散地点間での状況通信装置に関
する。

【０００２】

【従来の技術】近年、情報通信技術の発達により、遠隔
に居ながらにして各地点の会議状況を画像と音声で相互
に通信し合い、会議や打ち合わせを行なえるようにした
ＴＶ会議システムが利用されている。

【０００３】このＴＶ会議システムでは、例えば会議場
全体の画像を捕らえるカメラや出席者の各個人を捕らえ
る独立したカメラ及びマイク、他の会議場から送られた
画像を表示する大型プロジェクタやスピーカ、そして衛
星等を利用した専用の通信回線等が必要になるもので、
このようなＴＶ会議システムは専用設計により構成され
るためコスト高となり、少人数，小規模で行なう遠隔会
議にて用いるのは不向きである。

【０００４】そこで、カメラやマイクが内蔵されたワー
クステーションやパーソナルコンピュータを利用してコ
ンピュータネットワークに接続し、比較的安価に小規模
な分散会議ができようにしたシステムも考えられてい
る。

【０００５】すなわち、このワークステーションやパー
ソナルコンピュータを利用した従来の分散会議システム
では、会議出席者の各個人毎にカメラ及びマイクが内蔵
されたワークステーションあるいはパーソナルコンピュ
ータを設置し、各コンピュータと他の会議場所とはコン
ピュータネットワークを介して情報通信を行なうもの
で、この場合、個々のパーソナルコンピュータ毎に独立
した制御を行ない、カメラ及びマイクで捕らえた画像や
音声をネットワーク上へ送信するのと共に、他のパーソ
ナルコンピュータからネットワークを介して受信された
映像の表示，音声の出力を行なっている。

【０００６】

【発明が解決しようとする課題】しかしながら、前記ワ
ークステーションやパーソナルコンピュータを利用した
従来の分散会議システムでは、出席者の各個人毎にカメ
ラ及びマイクを備えた個別のパーソナルコンピュータを
用意しないと、出席者全員の発言状況を画像として捕ら
えて他の出席者の全てに提供することができないため、
結局、システム全体として高価になってしまう問題があ
ると共に、各コンピュータ毎に独立した制御が必要であ
るため、出席者の個人毎に操作が繁雑になる問題があ
る。

【０００７】本発明は、前記のような問題に鑑みなされ
たもので、個人単位で個別の情報機器を用意する必要な
く、安価なシステム構成で、出席者の全員が画像及び音
声で参加することが可能になる状況入力装置及び分散地
点間での状況通信装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】すなわち、本発明の請求
項１に係わる状況入力装置は、撮像範囲が調整可能なカ
メラと、音声あるいは音響信号を入力する１つのマイク
ロフォンと、前記カメラにより撮像された撮像画面内に
存在するマイクロフォンの位置を当該マイクロフォン自
体を画像認識して検出するマイク位置検出手段と、前記
マイクロフォンにより音声信号が入力された際に、前記
マイク位置検出手段により検出された撮像画面内のマイ
クロフォンの位置が当該撮像画面内の予め設定された領
域に位置するように、前記カメラの撮像方向の調整を制
御すると共に、ズームの調整を前記撮像画面内のマイク
ロフォンの画像認識面積に応じて制御する撮像制御手段
とを具備したことを特徴とする。

【０００９】つまり、請求項１に係わる状況入力装置で
は、マイクロフォンにより音声信号が入力された際に、
マイク位置検出手段によりマイクロフォン自体を画像認
識して検出された撮像画面内のマイクロフォンの位置が
当該撮像画面内の予め設定された領域に位置するよう
に、カメラの撮像方向の調整が制御されると共に、ズー
ムの調整が撮像画面内のマイクロフォンの画像認識面積
に応じて制御されるので、例えば出席者の発言に伴な
い、その発言者に向けてカメラの撮像方向が調整されズ
ームアップされることになり、各会議場所では、１つカ
メラ，マイクロフォン及びその制御装置を設置すること
で、臨場感のある安価なシステムを実現できる。

【００１０】また、本発明の請求項２に係わる状況入力
装置は、請求項１に係わる状況入力装置にあって、さら
に、前記マイクロフォンによる音声信号の入力が停止さ
れた際に、前記撮像制御手段により制御した前記カメラ
の撮像方向調整量及びズーム調整量を復帰制御する撮像
復帰制御手段を備えたことを特徴とする。

【００１１】つまり、請求項２に係わる状況入力装置で
は、マイクロフォンによる音声信号の入力が停止された
際に、撮像制御手段により制御したカメラの撮像方向調
整量及びズーム調整量が復帰制御されるので、発言者に
よる発言の終了に伴ない、発言者に向けられたカメラの
撮像方向及びズーム倍率が、例えば周辺全体を撮像する
初期状態に戻されることになる。

【００１２】また、本発明の請求項３に係わる分散地点
間での状況通信装置は、複数の分散地点において各地点
における画像情報と音声情報とをデータ通信する分散地
点間での状況通信装置であって、前記各地点において撮
像をする撮像範囲の調整が可能なカメラと、前記各地点
において音声を入力する各地点１つのマイクロフォン
と、前記カメラにより撮像された撮像画面内に存在する
マイクロフォンの位置を当該マイクロフォン自体を画像
認識して検出するマイク位置検出手段と、前記マイクロ
フォンにより音声信号が入力された際に、前記マイク位
置検出手段により検出された撮像画面内のマイクロフォ
ンの位置が当該撮像画面内の予め設定された領域に位置
するように、前記カメラの撮像方向の調整を制御すると
共に、ズームの調整を前記撮像画面内のマイクロフォン
の画像認識面積に応じて制御する撮像制御手段とを具備
したことを特徴とする。

【００１３】つまり、請求項３に係わる分散地点間での
状況通信装置では、マイクロフォンにより音声信号が入
力された際に、マイク位置検出手段によりマイクロフォ
ン自体を画像認識して検出された撮像画面内のマイクロ
フォンの位置が当該撮像画面内の予め設定された領域に
位置するように、カメラの撮像方向調整機能が制御され
ると共に、ズームの調整が撮像画面内のマイクロフォン
の画像認識面積に応じて制御されるので、各地点におい
て、１台のカメラ，マイクロフォン及びその制御装置を
設置することで、臨場感のある安価なシステムを実現で
き、例えば出席者の発言に伴ない、その発言者に向けて
カメラの撮像方向が調整されズームアップされることに
なる。

【００１４】

【００１５】

【００１６】また、本発明の請求項４に係わる分散地点
間での状況通信装置は、請求項３に係わる分散地点間で
の状況通信装置にあって、さらに、前記マイクロフォン
による音声信号の入力が停止された際、あるいは他の地
点におけるマイクロフォンにより入力された音声信号が
データ通信により受信された際に、前記撮像制御手段に
より制御した前記カメラの撮像方向調整量及びズーム調
整量を復帰制御する撮像復帰制御手段を備えたことを特
徴とする。

【００１７】つまり、請求項４に係わる分散地点間での
状況通信装置では、マイクロフォンによる音声信号の入
力が停止された際、あるいは他の地点におけるマイクロ
フォンにより入力された音声信号がデータ通信により受
信された際に、撮像制御手段により制御したカメラの撮
像方向調整量及びズーム調整量が復帰制御されるので、
発言者による発言の終了に伴ない、あるいは他の地点に
おける出席者の発言に伴ない、当地点における発言者に
向けられたカメラの撮像方向及びズーム倍率が、例えば
当地点全体を撮像する初期状態に戻されることになる。

【００１８】

【発明の実施の形態】以下図面により本発明の実施の形
態について説明する。図１は本発明の状況入力装置及び
分散地点間での状況通信装置の実施形態に係わる遠隔会
議システムの全体構成を示す図である。

【００１９】この遠隔会議システムは、遠隔地の会議場
所のそれぞれにワークステーションあるいはパーソナル
コンピュータ等からなる１台の情報端末装置（１）１０
Ａ、（２）１０Ｂ、（３）１０ｃを備え、各地点におけ
る情報端末装置１０Ａ〜１０Ｃの相互間は、コンピュー
タネットワークＮを介して接続される。

【００２０】この場合、コンピュータネットワークＮと
して用いられる通信回線は、高速のＡＴＭ回線やＩＳＤ
Ｎ回線、あるいは音声回線等である。前記各地点毎に備
えられた情報端末装置１０Ａ〜１０Ｃには、それぞれカ
ラーＣＣＤデバイス等を使用したカメラ１１Ａ〜１１
Ｃ、及びマイクロフォン１２Ａ〜１２Ｃが接続される。

【００２１】ここで、各情報端末装置１０Ａ〜１０Ｃに
接続されたカメラ１１Ａ〜１１Ｃは、例えば該当会議場
所の全体を見渡せる位置に設置され、情報端末装置１０
Ａ〜１０Ｃの制御によりその撮像方向及びズームが調整
されるもので、このカメラ１１Ａ〜１１Ｃの撮像方向及
びズームは、当該カメラ１１Ａ〜１１Ｃにより撮像され
た画像内で認識されるマイクロフォン１２Ａ〜１２Ｃの
位置及びこのマイクロフォン１２Ａ〜１２Ｃから入力さ
れた音声信号に基づき制御される。

【００２２】図２は前記遠隔会議システムにおいて会議
場所に設置される情報端末装置１０の構成を示すブロッ
ク図である。この情報端末装置１０は、ワークステーシ
ョンあるいはパーソナルコンピュータを用いてなり、そ
の中央制御装置としてＣＰＵ１３が備えられる。

【００２３】ＣＰＵ１３は、メモリ１４に予め記憶され
ているシステムプログラムに従って各部の動作制御を行
なうもので、このＣＰＵ１３には、システム及びデータ
バス１５を介して前記メモリ１４が接続されると共に、
入力装置１６、画像入力制御装置１７、音声入出力装置
１８、通信制御装置１９、ディスプレイ２０が接続され
る。

【００２４】入力装置１６は、キーボードやマウス等か
らなり、動作機能の選択操作や機能実行の命令操作等を
行なうもので、このキーボードの操作により任意の機能
が選択されその実行が指示されると、前記メモリ１４に
記憶された対応する機能を司るプログラムが起動され、
このプログラムに従って各部の動作制御が開始される。

【００２５】画像入力制御装置１７は、カラーＣＣＤカ
メラ１１を接続して有し、当該カメラ１１により撮像し
たカラー画像信号を入力するのと共に、この入力した画
像信号に基づくＣＰＵ１３の制御により、前記カメラ１
１の方向調整機構及びズーム調整機構に対して方向調整
制御信号及びズーム調整制御信号を出力する。

【００２６】この場合、カメラ１１の撮像方向は、出席
者の発言によりマイクロフォン１２から音声入出力装置
１８を介した音声信号入力のある状態では、当該カメラ
１１により撮像された画像データの色情報から認識され
るマイクロフォン１２の位置が、その撮像範囲の中央に
位置するように調整されると共に、同カメラ１１のズー
ムは、例えばカメラ１１と前記マイクロフォン１２を持
つ出席者との距離が既知である場合には所定のズーム倍
率に調整され、また、そうでない場合には前記マイクロ
フォン１２の画像面積が所定の面積になるようにズーム
調整される。

【００２７】音声入力出力装置１８は、有線又は無線式
マイクロフォン１２及びスピーカ２１を接続して有し、
当該マイクロフォン１２により集音された音声信号を入
力すると共に、通信制御装置１９を介して受信入力され
た音声信号をスピーカ２１へ出力するもので、この際、
この音声入出力装置１８によって前記マイクロフォン１
２から入力される音声信号レベルが予め設定された一定
のレベルを越え、且つ、一定の時間長を越えている場合
に、前記ＣＰＵ１３により出席者による発言が開始され
たと判断される。

【００２８】通信制御装置１９は、コンピュータネット
ワークＮを介して他の会議場所に設置された情報端末装
置１０との間で、画像及び音声信号の通信制御を行なう
もので、この通信制御装置１９により、前記画像入力制
御装置１７を介してカメラ１１から入力された出席者の
画像データ及び前記音声入出力装置１８を介してマイク
ロフォン１２から入力された音声データが、ネットワー
クＮを通して他の会議場所における情報端末装置１０に
送られると共に、他の情報端末装置１０から受信された
他の会議場所における出席者の画像データはディスプレ
イ２０に表示され、また、その音声データは前記音声入
出力装置１８を介してスピーカ２１から出力される。

【００２９】これにより、各会議場所での情報端末装置
１０Ａ〜１０Ｃ間において、画像及び音声情報の相互通
信が行なえる構成とされる。次に、前記構成による遠隔
会議システムの動作について説明する。

【００３０】図３は前記遠隔会議システムにおける会議
状況収集処理の概要を示すフローチャートである。図４
は前記遠隔会議システムにおける情報端末装置１０の音
声入出力装置１８に接続されるマイクロフォン１２の構
成例を示す外観図である。

【００３１】図５は前記遠隔会議システムの情報端末装
置１０においてカメラ１１により撮像されたカラー画像
データに基づくマイクロフォン１２の画像認識状態を示
す図である。

【００３２】図６は前記遠隔会議システムの情報端末装
置１０においてカメラ１１により撮像されたカラー画像
データに対応させてマイクロフォン１２の画像認識領域
を外接長方形として設定するためのマスクパターンの構
成を示す図である。

【００３３】図７は前記遠隔会議システムの情報端末装
置１０においてカメラ１１により撮像されたカラー画像
データに基づくマイクロフォン１２の画像認識領域の設
定状態を示す図であり、同図（Ａ）はマイクロフォンの
みの認識領域設定状態を示す図、同図（Ｂ）は例えば中
央を手により握られたマイクロフォンの認識領域設定状
態を示す図、同図（Ｃ）は例えば２か所を手により握ら
れたマイクロフォンの認識領域設定状態を示す図、同図
（Ｄ）は例えば下端を手により握られたマイクロフォン
の認識領域設定状態を示す図である。

【００３４】図８は前記遠隔会議システムの会議状況収
集処理に伴なう収集画面の遷移を示す図である。情報端
末装置１０の入力装置１６を操作して会議状況収集処理
の開始を指示すると、図３における会議状況収集処理が
起動され、まず、カメラ１１の撮像方向が初期位置であ
る会議場所の中央へ向けて調整されると共に、ズーム倍
率が最低倍率に調整され、図８（Ａ）に示すように、出
席者の全員を含む会議場所の全体状況が撮像される。

【００３５】このカメラ１１により撮像された会議場所
の全体状況を示す画像データは、画像入力制御装置１７
を介してメモリ内の画像メモリに記録されると共に、通
信制御装置１９を介してコンピュータネットワークＮに
送出される。そして、他の会議場所における情報端末装
置１０にその通信制御装置１９を介して入力され、ディ
スプレイ２０にて表示される。

【００３６】また、この会議情報収集処理が起動される
と、前記会議場所全体画像の送出と共に、マイクロフォ
ン１２の位置の追跡処理が一定時間毎（例えば１秒毎）
に実行される（ステップＳ１）。

【００３７】このマイク位置追跡処理は、前記画像入力
制御装置１７を介して画像メモリに記録される会議場所
のカラー画像データに基づき、マイクロフォン１２の色
による画像認識処理→認識領域の設定処理→重心の確定
処理を経て行なわれる。

【００３８】ここで、情報端末装置１０の音声入出力装
置１８に接続されて使用されるマイクロフォン１２は、
例えば図４に示すように、風防（集音部）１２ａが赤
色、握り部１２ｂが黄色、ケーブル１２ｃが黒色で構成
されているものとする。

【００３９】すなわち、カメラ１１により撮像されて画
像メモリに記録される画像データの中で、赤色部と黄色
部の領域をフィルタで抽出し、その大きさを領域設定す
ると共に、位置関係を設定領域内の重心としてとらえる
ことにより、画像データ内におけるマイクロフォン１２
の位置を認識することができる。

【００４０】この場合、マイクロフォン１２にケーブル
１２ｃが接続されていれば、さらに、該ケーブル１２ｃ
の色（黒）をも含めた認識処理を行なってもよい。（マ
イクロフォン１２の色による画像認識処理）画像メモリ
に記録された画像データの各画素について、Ｒ（ＲＥ
Ｄ），Ｇ（ＧＲＥＥＮ），Ｂ（ＢＬＵＥ）からなる色の
３原色のデータがＣＰＵ１３に取り込まれる。すると、
前記画像データの各画素毎のＲＧＢのデータは、下記の
通り色相に変換される。

【００４１】まず、明るさを正規化する。 ｒ＝Ｒ／Ｔ，ｇ＝Ｇ／Ｔ，ｂ＝Ｂ／Ｔ，Ｔ＝Ｒ＋Ｂ＋Ｇ そして、色相θを、赤色からの角度として次のように計
算する。

【００４２】θ＝θ′ …（ｇ≧ｂのとき） θ＝２π−θ′ …（ｇ＜ｂのとき） ここで、 θ′＝cos-1[(2r-b-g)／√(6{(r-1/3)2+(g-1/3)2+(b-1/
3)2})] である。

【００４３】よって、色相θが、“０”ラジアンのとき
は「赤色」、“２π／３”のときは「緑色」、“４π／
３”のときは「青色」を示し、「黄色」の場合は赤と緑
の中間となるので“π／３”付近となる。

【００４４】従って、画像データにおいて、色相θが
“０”となる「赤色」の画素領域と、“π／３”となる
「黄色」の画素領域とを全て抽出することにより、例え
ば図５に示すように、画像データ内に赤色領域（Ｒ）と
黄色領域（Ｙ）とで存在するマイクロフォン１２が認識
される。

【００４５】（外接長方形による認識領域の設定処理）
前記画像メモリに対応した１画面分の記憶領域を有する
別のメモリ上において、前記赤色認識された画像領域と
黄色認識された画像領域に対応させて、隣接する画素が
同色として認識された局所的な領域を、図６に示すよう
なマークパターンを選択的に用いてマークする。

【００４６】そして、前記マークが付された各色毎の認
識領域に関して、その縦方向及び横方向それぞれの最大
座標位置と最小座標位置とにより囲まれる領域を設定す
ることにより、例えば図７（Ａ）に示すように、マイク
ロフォン１２の風防１２ａに相当する赤色領域の外接長
方形と、握り部１２ｂに相当する黄色領域の外接長方形
とが求められる。

【００４７】（マイク重心ＧM の確定処理）前記赤色領
域として設定された外接長方形の重心座標ＧR と、前記
黄色領域として設定された外接長方形の重心座標ＧY と
をメモリ１４のワークエリアに記憶し、各重心ＧR ，Ｇ
Y 間の距離がマイクロフォン１２の風防１２ａと握り部
１２ｂとの間の寸法に対応する一定の範囲内にある場合
の組み合わせを求める。

【００４８】こうして、マイクロフォン１２の風防１２
ａと握り部１２ｂとの間の寸法に対応する一定の範囲内
にある重心ＧR ，ＧY の組み合わせにおいて、当該各重
心ＧR ，ＧY 間の中点をマイクロフォン１２の重心ＧM
として確定することにより、カメラ１１により撮像され
た画像範囲内でのマイクロフォン１２の存在位置が検出
される。

【００４９】このように、前記カメラ１１により撮像さ
れた会議場所の画像データに対して、マイクロフォン１
２の色による画像認識処理→認識領域の設定処理→重心
ＧMの確定処理を一定時間（例えば１秒）毎に実行する
ことにより、マイクロフォン１２の位置の追跡が行なわ
れる（ステップＳ１）。

【００５０】なお、図７（Ｂ）〜図７（Ｄ）に示すよう
に、マイクロフォン１２が発言者の手により握られる場
合を考慮して、前記風防１２ａに相当する「赤色」領
域、及び前記握り部１２ｂに相当する「黄色」領域と共
に、手に相当する「肌色」領域も同様にして認識し、マ
イク位置の追跡処理を実行してもよい。

【００５１】こうして、カメラ１１により撮像された会
議場所の画像データにおけるマイクロフォン１２の存在
位置が追跡される状態において、前記マイクロフォン１
２から音声入出力装置１８を介して入力される音声信号
の有無に基づき、出席者による発言が開始された否かが
判断される（ステップＳ２）。

【００５２】つまり、マイクロフォン１２により入力さ
れる音声信号が、一定レベルを越え、且つその音声入力
状態が所定時間長を越えた場合において、発言開始と判
断される。

【００５３】ここで、音声信号レベルの算出は、前記音
声入出力装置１８を介してＣＰＵ１３に入力される音声
信号のパワーを計算することにより得られるもので、ｓ
（ｔ）を時刻ｔにおける音声信号レベルとすると、音声
パワーＰ（Ｔ）は、 Ｐ（Ｔ）＝Σｓ² （ｔ） …（ｔ＝ＴからＴ＋Ｌまでの和） によって得られる。

【００５４】ここで、Ｔは音声パワー算出期間の長さで
あり、例えば１０ＫHzの音声信号をサンプリングする場
合には、１０ｍｓの長さにおいて積算するか、又は、８
〜１６ｍｓ毎に先の計算処理を実行する。

【００５５】これにより、マイクロフォン１２から音声
入出力装置１８を介して入力された音声信号に基づき、
ＣＰＵ１３により計算された音声パワーＰ（Ｔ）の値が
一定レベルを越え、且つ所定時間長を越えた場合には、
発言開始と判断さんる（ステップＳ２）。

【００５６】なお、より安定した発言開始の判断処理を
行なうために、前記音声パワーＰ（Ｔ）は、ｌｏｇＰ
（Ｔ）として算出してもよい。すなわち、図８（Ａ）に
示すように、現在カメラ１１により撮像されている会議
場所の全体を写し出す画像データにおいて、図８（Ｂ）
に示すように、会議場所のある出席者がマイクロフォン
１２を持ち発言を開始することにより、発言開始と判断
されると、カメラ１１に対し撮像方向を発言者の方向に
調整しズームアップするためのカメラ方向／ズーム制御
処理が実行される（ステップＳ２→Ｓ３）。

【００５７】この際、前記マイクロフォン１２から音声
入出力装置１８を介して入力された発言者の音声データ
は、通信制御装置１９を介してコンピュータネットワー
クＮに送出される。そして、他の会議場所における情報
端末装置１０にその通信制御装置１９を介して入力さ
れ、音声入出力装置１８を介してスピーカ２１から出力
される。

【００５８】会議場所を撮像した画像データ中における
マイクロフォン１２の存在位置は、前記ステップＳ１に
おけるマイク位置の追跡処理において検出されているの
で、予め判明しているカメラ１１の水平及び垂直方向調
整角度に応じた撮像範囲の変化量に基づき、前記マイク
ロフォン１２の重心ＧM あるいは風防１２ａの重心ＧR
が画像データの中央にとらえられるように、その水平撮
像角度及び垂直撮像角度が算出され、画像入力制御装置
１７を介してカメラ１１の撮像方向が調整制御される。

【００５９】例えば前記会議場所での出席者間の間隔を
２ｍ程度、また、カメラ１１から出席者までの距離を３
〜５ｍ程度とすると、会議場所の全体画像の撮像状態に
おいて、その撮像画面の端にマイクロフォン１２の追跡
位置が存在する場合には、２０〜３３°の水平回転制御
を行なうことにより、当該マイクロフォン１２の撮像位
置は画面中央に移動される。つまり、カメラ１１から出
席者までの距離や出席者間の間隔が既知である場合に
は、１回の計算により得られた水平及び垂直回転角によ
り、マイクロフォン１２を撮像画面の中心にとらえるこ
とができる。

【００６０】なお、カメラ１１から出席者までの距離や
出席者間の間隔が既知でない場合には、マイクロフォン
１２が存在する位置の方向に、その撮像画面上での存在
位置を計算しながら一定角度（例えば５°）ずつ回転制
御することにより、該マイクロフォン１２の撮像位置を
画面中央に移動させてもよい。

【００６１】また、これと共に、マイクロフォン１２を
持った発言者が会議場所の画像上で適切な大きさとなる
ように前記カメラ１１がズームアップ制御される。ここ
で、カメラ１１から出席者までの距離が既知である場合
には、所定倍率のズームアップ制御を行なえばよく、ま
た、前記図７で示したような、マイクロフォン１２の色
認識領域の面積を計算し、このマイク認識面積が撮像画
面内において所定の大きさになるまで、連続的にズーム
アップ制御する構成としてもよい。

【００６２】こうして、マイクロフォン１２の存在位置
に対応させて、カメラ１１の撮像方向を調整制御すると
共に、そのズーム制御も行なうことにより、図８（Ｃ）
に示すように、当該カメラ１１には発言者のアップが撮
像され、他の会議場所における情報端末装置１０に送出
される。

【００６３】そして、マイクロフォン１２から音声入出
力装置１８を介して入力される音声信号が一定時間以上
途切れることで、発言終了と判断されると、他の会議場
所における情報端末装置１０からコンピュータネットワ
ークＮを介して当会議場所における情報端末装置１０に
入力される音声データに基づき、他の会議場所において
発言状態にあるか否か判断される（ステップＳ４→Ｓ
５）。

【００６４】ここで、他の会議場所からの音声データは
入力されてなく、発言状態にないと判断されると、カメ
ラ１１の撮像方向調整角及びズーム調整倍率は初期値に
戻され、図８（Ｄ）に示すように、再び、出席者の全員
を含む会議場所の全体状況が撮像される（ステップＳ５
→Ｓ８→Ｓ９）。

【００６５】一方、コンピュータネットワークＮから通
信制御装置１９を介して、他の会議場所に設置された情
報端末装置１０から入力される音声データに基づき、他
の会議場所における出席者が発言状態にあると判断され
た際に、その発言継続時間が計測され一定時間（Ｎ秒）
を越えたと判断された場合、つまり、他の会議場所にお
ける出席者の発言が確認された場合にも、カメラ１１の
撮像方向調整角及びズーム調整倍率は初期値に戻され、
図８（Ｄ）に示すように、再び、出席者の全員を含む会
議場所の全体状況が撮像される（ステップＳ５→Ｓ６→
Ｓ７→Ｓ８→Ｓ９）。

【００６６】なお、マイクロフォン１２が出席者間で移
動したり、机上に置かれることで、カメラ１１による撮
像画面上を大幅に移動することが、当該マイクロフォン
１２の存在位置の変化に基づき検出された場合には、例
えばカメラ１１のズーム倍率を現在の２／３や３／４に
調整して撮像範囲を段階的に広げることで、前記ステッ
プＳ１において追跡されるマイク位置が撮像画面から外
れることが防止される。

【００６７】ただし、カメラ１１による撮像範囲が最大
となる初期設定のズーム倍率に調整した状態でも、マイ
クロフォン１２の存在位置が撮像画面から外れその追跡
が不能になった場合には、出席者の全員を含む会議場所
の全体状況が撮像された初期画面のまま保持される。

【００６８】さらに、例えば前記ステップＳ４におい
て、当会議場所における出席者の発言が終了したと判断
されない発言中の状態において、他の会議場所での発言
が開始された場合等、図３における会議状況収集処理に
含まれない条件が生じた場合にも、カメラ１１の撮像方
向調整角及びズーム調整倍率は初期値に戻され、図８
（Ｄ）に示すように、出席者の全員を含む会議場所の全
体状況が撮像される。

【００６９】したがって、前記構成の遠隔会議システム
によれば、カメラ１１により会議場所を撮像した際に、
そのカラー画像データに存在するマイクロフォン１２の
位置を、当該マイクロフォン１２の色を認識して追跡す
ると共に、このマイクロフォン１２により入力される音
声信号に基づき、出席者による発言が開始されたと判断
された場合には、前記追跡しているマイク位置がカメラ
１１による撮像画面内の中央に移動するように、カメラ
１１の水平及び垂直撮像角度を調整すると共に、ズーム
倍率の上昇調整を行なうことで、１つの会議場所におい
て、１台の情報端末装置１０とカメラ１１及びマイクロ
フォン１２しか設置しない場合でも、全ての出席者がそ
の発言に伴ないアップでとらえられる構成としたので、
安価なシステム構成で、しかも煩わしい操作を要するこ
となく、遠隔地に分散した会議や打ち合わせを十分な臨
場感を持って実現することができる。

【００７０】なお、前記実施の形態では、マイクロフォ
ン１２を赤色と黄色で構成されるものとして説明した
が、これに限定されるものでなく、会議出席者の服装の
色と紛れない色を選択すればよい。

【００７１】また、発言者の音声情報を利用すれば、話
者識別技術を使うことにより、発言者の変化を検出でき
る。発言者が変わったことを検出したときには、カメラ
の状態を初期状態に戻して、前記実施の形態と同様の処
理を行なえばよい。

【００７２】また、前記実施の形態において説明した会
議場所の分散数は限定されるものではなく、１つのサイ
トに複数のカメラを置くことも可能である。また、会議
に限定されるものでもなく、例えばマイクロフォンの代
わりにサッカーボール等を追跡し、音声信号の喚声によ
りズームを行なう放送用の遠隔カメラシステムとしても
利用できる。

【００７３】

【発明の効果】以上のように、本発明の請求項１に係わ
る状況入力装置によれば、マイクロフォンにより音声信
号が入力された際に、マイク位置検出手段によりマイク
ロフォン自体を画像認識して検出された撮像画面内のマ
イクロフォンの位置が当該撮像画面内の予め設定された
領域に位置するように、カメラの撮像方向の調整が制御
されると共に、ズームの調整が撮像画面内のマイクロフ
ォンの画像認識面積に応じて制御されるので、例えば出
席者の発言に伴ない、その発言者に向けてカメラの撮像
方向が調整されズームアップされることになり、各会議
場所では、１つカメラ，マイクロフォン及びその制御装
置を設置することで、臨場感のある安価なシステムを実
現できるようになる。

【００７４】また、本発明の請求項２に係わる状況入力
装置によれば、マイクロフォンによる音声信号の入力が
停止された際に、撮像制御手段により制御したカメラの
撮像方向調整量及びズーム調整量が復帰制御されるの
で、発言者による発言の終了に伴ない、発言者に向けら
れたカメラの撮像方向及びズーム倍率が、例えば周辺全
体を撮像する初期状態に戻されるようになる。

【００７５】また、本発明の請求項３に係わる分散地点
間での状況通信装置によれば、マイクロフォンにより音
声信号が入力された際に、マイク位置検出手段によりマ
イクロフォン自体を画像認識して検出された撮像画面内
のマイクロフォンの位置が当該撮像画面内の予め設定さ
れた領域に位置するように、カメラの撮像方向調整機能
が制御されると共に、ズームの調整が撮像画面内のマイ
クロフォンの画像認識面積に応じて制御されるので、各
地点において、１台のカメラ，マイクロフォン及びその
制御装置を設置することで、臨場感のある安価なシステ
ムを実現でき、例えば出席者の発言に伴ない、その発言
者に向けてカメラの撮像方向が調整されズームアップさ
れるようになる。

【００７６】

【００７７】また、本発明の請求項４に係わる分散地点
間での状況通信装置によれば、マイクロフォンによる音
声信号の入力が停止された際、あるいは他の地点におけ
るマイクロフォンにより入力された音声信号がデータ通
信により受信された際に、撮像制御手段により制御した
カメラの撮像方向調整量及びズーム調整量が復帰制御さ
れるので、発言者による発言の終了に伴ない、あるいは
他の地点における出席者の発言に伴ない、当地点におけ
る発言者に向けられたカメラの撮像方向及びズーム倍率
が、例えば当地点全体を撮像する初期状態に戻されるよ
うになる。

【００７８】よって、本発明によれば、個人単位で個別
の情報機器を用意する必要なく、安価なシステム構成
で、出席者の全員が画像及び音声で参加することが可能
になる状況入力装置及び分散地点間での状況通信装置を
提供できる。

【図面の簡単な説明】

【図１】本発明の状況入力装置及び分散地点間での状況
通信装置の実施形態に係わる遠隔会議システムの全体構
成を示す図。

【図２】前記遠隔会議システムにおいて会議場所に設置
される情報端末装置の構成を示すブロック図。

【図３】前記遠隔会議システムにおける会議状況収集処
理の概要を示すフローチャート。

【図４】前記遠隔会議システムにおける情報端末装置の
音声入出力装置に接続されるマイクロフォンの構成例を
示す外観図。

【図５】前記遠隔会議システムの情報端末装置において
カメラにより撮像されたカラー画像データに基づくマイ
クロフォンの画像認識状態を示す図。

【図６】前記遠隔会議システムの情報端末装置において
カメラにより撮像されたカラー画像データに対応させて
マイクロフォンの画像認識領域を外接長方形として設定
するためのマスクパターンの構成を示す図。

【図７】前記遠隔会議システムの情報端末装置において
カメラにより撮像されたカラー画像データに基づくマイ
クロフォンの画像認識領域の設定状態を示す図であり、
同図（Ａ）はマイクロフォンのみの認識領域設定状態を
示す図、同図（Ｂ）は例えば中央を手により握られたマ
イクロフォンの認識領域設定状態を示す図、同図（Ｃ）
は例えば２か所を手により握られたマイクロフォンの認
識領域設定状態を示す図、同図（Ｄ）は例えば下端を手
により握られたマイクロフォンの認識領域設定状態を示
す図。

【図８】前記遠隔会議システムの会議状況収集処理に伴
なう収集画面の遷移を示す図。

【符号の説明】

１０ …情報端末装置、 １１ …カメラ、 １２ …マイクロフォン、 １２ａ…風防（集音部）、 １２ｂ…握り部、 １２ｃ…ケーブル、 １３ …ＣＰＵ、 １４ …メモリ、 １５ …システム及びデータバス、 １６ …入力装置、 １７ …画像入力制御装置、 １８ …音声入出力装置、 １９ …通信制御装置、 ２０ …ディスプレイ、 ２１ …スピーカ Ｎ …コンピュータネットワーク。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 夏子 大阪府大阪市北区大淀中１丁目１番30号 株式会社東芝関西支社内 (72)発明者 田中 英治 大阪府大阪市北区大淀中１丁目１番30号 株式会社東芝関西支社内 (72)発明者 福井 和広 大阪府大阪市北区大淀中１丁目１番30号 株式会社東芝関西支社内 (56)参考文献 特開 平７−143743（ＪＰ，Ａ) 特開 平４−301976（ＪＰ，Ａ) 特開 平４−105474（ＪＰ，Ａ) 特開 平１−162465（ＪＰ，Ａ) 特開 平６−105306（ＪＰ，Ａ) 特開 平７−46567（ＪＰ，Ａ) 特開 平７−135646（ＪＰ，Ａ) 特開 平７−140527（ＪＰ，Ａ) 特開 昭63−23489（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/14 - 7/15

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 撮像範囲が調整可能なカメラと、 音声あるいは音響信号を入力する１つのマイクロフォン
   と、 前記カメラにより撮像された撮像画面内に存在するマイ
   クロフォンの位置を当該マイクロフォン自体を画像認識
   して検出するマイク位置検出手段と、 前記マイクロフォンにより音声信号が入力された際に、
   前記マイク位置検出手段により検出された撮像画面内の
   マイクロフォンの位置が当該撮像画面内の予め設定され
   た領域に位置するように、前記カメラの撮像方向の調整
   を制御すると共に、ズームの調整を前記撮像画面内のマ
   イクロフォンの画像認識面積に応じて制御する撮像制御
   手段とを具備したことを特徴とする状況入力装置。
2. 【請求項２】 前記マイクロフォンによる音声信号の入
   力が停止された際に、前記撮像制御手段により制御した
   前記カメラの撮像方向調整量及びズーム調整量を復帰制
   御する撮像復帰制御手段を備えたことを特徴とする請求
   項１記載の状況入力装置。
3. 【請求項３】 複数の分散地点において各地点における
   画像情報と音声情報とをデータ通信する分散地点間での
   状況通信装置において、 前記各地点において撮像をする撮像範囲の調整が可能な
   カメラと、 前記各地点において音声を入力する各地点１つのマイク
   ロフォンと、 前記カメラにより撮像された撮像画面内に存在するマイ
   クロフォンの位置を当該マイクロフォン自体を画像認識
   して検出するマイク位置検出手段と、前記マイクロフォンにより音声信号が入力された際に、
   前記 マイク位置検出手段により検出された撮像画面内の
   マイクロフォンの位置が当該撮像画面内の予め設定され
   た領域に位置するように、前記カメラの撮像方向の調整
   を制御すると共に、ズームの調整を前記撮像画面内のマ
   イクロフォンの画像認識面積に応じて制御する撮像制御
   手段とを具備したことを特徴とする分散地点間での状況
   通信装置。
4. 【請求項４】 前記マイクロフォンによる音声信号の入
   力が停止された際、あるいは他の地点におけるマイクロ
   フォンにより入力された音声信号がデータ通信により受
   信された際に、前記撮像制御手段により制御した前記カ
   メラの撮像方向調整量及びズーム調整量を復帰制御する
   撮像復帰制御手段を備えたことを特徴とする請求項３記
   載の分散地点間での状況通信装置。