JPH05244587A - テレビ会議用カメラ制御装置 - Google Patents

Abstract

(57)【要約】 【目的】 テレビカメラの水平および垂直方向への回転
が自動制御でき、テレビ会議の進行に円滑に対応できる
テレビ会議用カメラ制御装置を得る。 【構成】 音声の発生方向より発言者の方向を検出する
音声比較回路に加え、テレビカメラからの映像入力を画
像処理して、人物位置および発言者位置を検出する画像
処理回路と、音声比較回路および画像処理回路における
検出情報に基づいて、テレビカメラの選択・切換、およ
びテレビカメラの回転を制御する判定回路を設けた。 【効果】 精度の高いカメラ制御を行うことができ、ま
た柔軟なカメラ制御も可能となって、装置操作に煩わさ
れることなくテレビ会議が円滑に行える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、テレビ会議に使用さ
れる複数のテレビカメラが接続され、会議の進行に合わ
せて、テレビカメラの選択・切換やテレビカメラの回転
を制御するテレビ会議用カメラ制御装置に関するもので
ある。

【０００２】

【従来の技術】図４は、例えば特開平１−２６４４８７
号公報に示された従来のテレビ会議用カメラ制御装置を
示すブロック図であり、図５および図６は当該カメラ制
御装置を用いたテレビ会議システムの構成例を示す系統
図である。図において、１はテレビカメラであり、２は
このテレビカメラ１を水平方向に回転させるためのカメ
ラ回転台である。３はこのカメラ回転台２を回転させて
テレビカメラ１をテレビ会議出席者中の発言者の方向に
向けるカメラ制御装置である。４は手動制御時に制御情
報をカメラ制御装置３に入力するためのオペレーション
スイッチであり、５はテレビカメラ１に接続された自画
像モニタである。

【０００３】また、カメラ制御装置３内において、６は
方向感度の指向性が高い複数の指向性マイクであり、７
はこれら各指向性マイク６から入力される音声レベルを
比較して、前記発言者の方向を検出する音声比較回路で
ある。８はこの音声比較回路７からの検出情報、あるい
はオペレーションスイッチ４からの制御情報に従ってカ
メラ回転台２の回転を制御するモータ制御回路である。

【０００４】なお、図６における９はテレビカメラ１を
複数台用いた場合に、各テレビカメラ１で撮影した映像
の１つを選択して自画像モニタ５に切換接続するカメラ
映像切換器である。

【０００５】次に動作について説明する。各指向性マイ
ク６はテレビカメラ１のレンズ側に水平に等間隔で放射
状に配置されており、テレビカメラ１の位置から、出席
者座席の方向が特定できるように感度と指向性が調整さ
れている。かかる状態で各指向性マイク６が発言者の音
声をキャッチすると、音声比較回路７は各指向性マイク
６によって検出された音量レベルから、一定時間以上レ
ベルの高かった方向を認識し、その方向を発言者の方向
であると推定する。モータ制御回路８はこのようにして
音声比較回路７が推定した方向にテレビカメラ１を向け
るようにカメラ回転台２のモータを制御する。なお、モ
ータ制御回路８は、オペレーションスイッチ４からの制
御情報によってもカメラ回転台２を制御することができ
る。

【０００６】ここで図５は、カメラ制御装置３がテレビ
カメラ１とともに同一の方向を向くようセッティングさ
れているテレビ会議システムを示しており、図６はカメ
ラ制御装置３は固定され、テレビカメラ１だけが回転す
るテレビ会議システムを示している。また、図６のテレ
ビ会議システムでは、カメラ制御装置３でカメラ映像切
換器９を制御することによって、あるテレビカメラ１が
回転中には他のテレビカメラ１の映像を選択して自画像
モニタ５へ送ることもできる。

【０００７】

【発明が解決しようとする課題】従来のテレビ会議用カ
メラ制御装置は以上のように構成されているので、テレ
ビカメラ１の水平方向の回転のみしか制御できず、予め
出席者の座席配置に合わせて、各指向性マイク６の感度
や音声比較回路７の制御情報を設定することが必要で、
また発言者に対するテレビカメラ１の追従機能がテレビ
会議の進行に充分円滑に対応できないなどの問題点があ
った。

【０００８】この発明は上記のような問題点を解消する
ためになされたもので、水平および垂直方向へのテレビ
カメラの回転が自動制御できるとともに、複雑な操作を
省き、テレビ会議の進行に円滑に対応できるテレビ会議
用カメラ制御装置を得ることを目的とする。

【０００９】

【課題を解決するための手段】この発明に係るテレビ会
議用カメラ制御装置は、音声の発生方向より発言者の方
向を検出する音声比較回路に加えて、テレビカメラから
の映像入力を画像処理し、人物位置および発言者位置を
検出する画像処理回路と、音声比較回路および画像処理
回路における検出情報に基づいて、テレビカメラの選択
・切換、およびテレビカメラの回転を制御する判定回路
を設けたものである。

【００１０】

【作用】この発明におけるテレビ会議用カメラ制御装置
は、音声比較回路にて音声の発生方向に基づく発言者の
方向検出を行うとともに、画像処理回路にて映像入力の
画像処理結果に基づいた、テレビ会議出席者の位置抽出
および発言者の推定を行い、音声と画像とによって複合
的に発言者の方向にテレビカメラを追従させることによ
り、テレビカメラの水平および垂直方向への回転が自動
制御でき、テレビ会議の進行に円滑に対応できるテレビ
会議用カメラ制御装置を実現する。

【００１１】

【実施例】実施例１．以下、この発明の一実施例を図に
ついて説明する。図１において、２はカメラ回転台、３
はカメラ制御装置、４はオペレーションスイッチ、５は
自画像モニタ、６は指向性マイク、７は音声比較回路、
８はモータ制御回路であり、図４に同一符号を付した従
来のそれらと同一、あるいは相当部分であるため詳細な
説明は省略する。

【００１２】また、１ａは当該テレビ会議の全景を撮影
するテレビカメラとしての固定全景カメラであり、１ｂ
はズーミング機構を備えて前記カメラ回転台２の上に載
置され、当該テレビ会議の発言者を撮影するテレビカメ
ラとしてのズームカメラである。１０はこの固定全景カ
メラ１ａとズームカメラ１ｂの撮影した映像データの選
択・切換を行うカメラ映像切換器であり、１１はこのカ
メラ映像切換器１０にて選択された映像データの帯域を
圧縮して通信線路へ送出する帯域圧縮装置である。

【００１３】１２は固定全景カメラ１ａにて撮影された
映像データを蓄えて画像処理し、テレビ会議出席者の人
物位置を示す情報と発言者の位置を示す情報とを生成す
る画像処理回路である。１３はこの画像処理回路１２か
らの情報と、前記音声比較回路７からの発言者の方向の
検出情報に基づいて、カメラ映像切換器１０への固定全
景カメラ１ａとズームカメラ１ｂとの切換制御のための
情報、および前記モータ制御回路８へのズームカメラ１
ｂの水平および垂直方向の回転を制御するための情報と
ズームカメラ１ｂのズーミングを制御するための情報を
生成する判定回路である。

【００１４】図２は画像処理回路１２の内部構成を示す
ブロック図である。図において、２１，２２は定期的に
更新されるズームカメラ１ｂからの入力映像データを格
納するフレームメモリであり、フレームメモリ２１には
フレームメモリ２２より時間的に前のデータが格納され
ている。２３はフレームメモリ２２に格納された映像デ
ータによる画像から人物位置を検出するためにエッジ検
出を行うエッジ検出回路であり、２４は時間的に前後す
るフレームデータから発言者の唇等の動いている部位を
検出する動き検出回路である。２５はエッジ検出出力に
基づいて人物位置を特定する人物位置抽出回路、２６は
人物位置抽出回路２５で抽出された人物位置情報をもと
に唇の動いている発言者を特定する発言者推定回路であ
り、２７は人物形状に関する知識データベースである。

【００１５】図３は画像処理の過程における映像データ
例を示す説明図であり、同図（ａ）は固定全景カメラ１
ａの入力映像、同図（ｂ）はエッジ検出後のフレームデ
ータ、同図（ｃ）はズームカメラ１ｂの制御後の入力映
像をそれぞれ示している。

【００１６】次に動作について説明する。固定全景カメ
ラ１ａから入力された図３（ａ）に示す映像は、画像処
理回路に送られて、一旦フレームメモリ２１および２２
に格納され、エッジ検出回路２３によってラプラシマン
演算等の手法で撮影物体の輪郭のみを抽出し、図３
（ｂ）に示す映像フレームデータを得る。かかる状態で
人物位置抽出回路２５は予め登録されている知識データ
ベース２７の人物形状をもとに、パターンマッチングを
行い、映像内の人物位置を特定して位置情報を出力する
と同時に、各人物の唇の概略推測位置情報を発言者推定
回路２６に対して与える。

【００１７】一方、動き検出回路２４は、時間的に前後
する映像フレームデータの差分をとり、映像の中の動き
のある部分を抽出する。発言者推定回路２６は、動き検
出回路２４で得られた動きのある部分の情報と、人物位
置抽出回路２５より与えられた各人物の唇の概略推定位
置情報から、唇の動いている人物を特定し、発言者推定
情報として出力する。

【００１８】判定回路１３は、画像処理回路１２からの
人物位置情報をカメラのプリセット位置として記憶し、
音声比較回路７と画像処理回路１２からの発言者推定情
報をもとに、ズームカメラ１ｂの回転制御の情報、およ
びズーミング制御の情報をモータ制御回路８に与える。
モータ制御回路８は与えられた情報に基づいてズームカ
メラ１ｂおよびカメラ回転台２を制御してズームカメラ
１ｂを発言者の方向に向け、ズームカメラ１ｂは図３
（ｃ）に示す発言者の映像データを出力する。なお、こ
のズームカメラ１ｂの制御を、まず画像処理による発言
者位置の推定によって行い、画像処理による制御のみで
は発言者の特定が困難な場合に、はじめて判定回路１３
は音声比較回路７からの発言者推定結果も併せて、複合
的に発言者の位置を特定するようにしてもよい。

【００１９】ここで、通常のテレビ会議では、ある一定
時間、発言者が固定されている間は同一画角に設定され
ているものであり、他の発言者が加わった場合には、一
旦図３（ａ）の全景カメラ映像を選択し、しかる後にま
た発言者が固定されるようであれば、その発言者の方向
にズームカメラ１ｂを固定して、図３（ｃ）に示す発言
者映像を選択する。これらの切換えは判定回路１３によ
るカメラ映像切換器１０の制御によって行われる。

【００２０】実施例２．なお、上記実施例では、固定全
景カメラ１ａとカメラ回転台２の付いたズームカメラ１
ｂが１台ずつ接続されるものを示したが、この他に予め
撮像される人物位置をプリセットした固定カメラを接続
してもよく、モータ制御回路８を増設して同様のカメラ
回転台２の付いたズームカメラ１ｂを複数接続する構成
としてもよい。

【００２１】実施例３．また、上記実施例では画像処理
回路１２の入力を、固定全景カメラ１ａの入力映像デー
タとしたが、画像処理回路１２を増設し、ズームカメラ
１ｂの入力映像データを入力として、カメラを回転させ
ながら発言者を推定する処理を並用する構成としてもよ
く、上記実施例と同様の効果を奏する。

【００２２】実施例４．また、上記実施例では、指向性
マイク６がカメラ制御装置３に内蔵されているものを示
したが、外付けのマイクからの音声入力をカメラ制御装
置３に接続する構成としてもよい。

【００２３】実施例５．さらに、上記実施例では、エッ
ジ検出回路２３の処理について、ラプラシアン演算を使
用した場合について説明したが、これは空間微分演算
や、高域カットオフフィルタ等、またはそれらを組み合
わせた処理にてエッジを検出するようにしてもよい。

【００２４】実施例６．また、上記実施例では、人物位
置抽出回路２５の処理について、人物形状の知識データ
ベース２７を用いたパターンマッチングで行うものを示
したが、これはファジー推論による方法を採用してもよ
く、上記実施例と同様の効果が得られる。このことは発
言者推定回路２６についても同様のことがいえる。

【００２５】

【発明の効果】以上のように、この発明によれば、音声
入力レベルの比較による発言者推定と、映像入力の画像
処理による発言者推定を複合的に判断して、テレビカメ
ラの切換えおよびテレビカメラの回転、ズーミングを制
御するように構成したので、カメラの水平方向の回転ば
かりでなく、垂直方向の回転も自動制御可能となって、
精度の高いカメラ制御を行うことができ、また映像によ
って常時発言者の位置を確認できるようになって、会議
中に出席者が移動あるいは入れ換わった場合でも、柔軟
なカメラ制御が可能となり、装置操作に煩わされること
なく、円滑なテレビ会議を行えるテレビ会議用カメラ制
御装置が得られる効果がある。

【図面の簡単な説明】

【図１】この発明の実施例１によるテレビ会議用カメラ
制御装置を示すブロック図である。

【図２】上記実施例における画像処理回路の内部構成を
示すブロック図である。

【図３】上記実施例の画像処理の過程における映像デー
タ例を示す説明図である。

【図４】従来のテレビ会議用カメラ制御装置を示すブロ
ック図である。

【図５】従来のテレビ会議用カメラ制御装置を用いたテ
レビ会議システムの構成例を示す系統図である。

【図６】従来のテレビ会議用カメラ制御装置を用いたテ
レビ会議システムの他の構成例を示す系統図である。

【符号の説明】

１ａ テレビカメラ（固定全景カメラ） １ｂ テレビカメラ（ズームカメラ） ６ 指向性マイク ７ 音声比較回路 １２ 画像処理回路 １３ 判定回路

Claims (1)

【特許請求の範囲】
1. 【請求項１】 テレビ会議にて出席者全員あるいは発言
   者のみをテレビカメラで撮影する際に、前記テレビカメ
   ラの選択・切換や、当該テレビカメラの回転を制御する
   ためのテレビ会議用カメラ制御装置において、前記発言
   者の音声をキャッチする指向性マイクから入力される音
   声レベルを比較して、前記発言者の方向を検出する音声
   比較回路と、前記テレビカメラからの映像入力の画像処
   理を行って、当該テレビ会議の出席者の人物位置の検
   出、および前記発言者位置の検出を行う画像処理回路
   と、前記音声比較回路および画像処理回路における検出
   情報に基づいて、前記テレビカメラの選択・切換、およ
   び前記テレビカメラの回転を制御する判定回路とを備え
   たことを特徴とするテレビ会議用カメラ制御装置。