JP4356663B2 - カメラ制御装置および電子会議システム - Google Patents

Description

本発明はカメラ制御装置および電子会議システムに関し、特に撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するカメラ制御装置およびそのカメラ制御装置を有する電子会議システムに関する。

近年、遠隔地間など多地点に設置された複数の端末を介して音声および映像などを送受することによって、多地点間で会議を行うことを可能にするテレビ会議システムが注目されている。このようなテレビ会議システムは、発言している人を撮像して、その画像信号を相手側に送信するため、撮像方向を変化させるための機構を備えたカメラと、このカメラの方向を電子制御するカメラ制御装置を備えている。

カメラ制御装置は、会議参加者が発言を行うと、その発言者が撮像されるように、カメラの方向を制御する。このため、例えば、音声を集音するマイク装置によって集音された音声の発生した方向（以下、音声方向とする）を推測し、その音声方向に自動的にカメラをパンする。その後、顔の輪郭の検出を行い、顔が画面の中心にくるようにチルト方向およびズームの調整を行うことによって、発言者が撮像できるようにしている。

また、ランプ付きイヤホンマイクが点灯している方向に自動的にカメラを追従させるカメラ自動方向制御装置も提案されている（例えば、特許文献１参照）。ランプ付きイヤホンマイクは、マイクが発言者の音声を拾うとランプが点灯する仕組みを備えており、会議の参加者全員に装着される。カメラ自動方向制御装置では、カメラから送られてくる画像データからランプが点灯している位置を検出し、カメラをランプが点灯している方向に向ける処理を行う。
特開平９−３０７８７０号公報（段落番号〔００１６〕〜〔００３０〕、図１）

ところで、音声方向を検出してカメラを移動した後、別の方向から音声が検出された場合、すぐにまたカメラを移動させるのでは、画面が動きすぎてしまい、好ましくない。そこで、従来のカメラ制御装置では、一度カメラを移動したら、ある一定の時間、音声方向が変わっても反応せず、カメラの方向を保持するようにしている。しかしながら、間違えて全然関係ないところに向いてしまった場合にも、一度向いてしまったらしばらくその方向を映し続けてしまう。このため、この間は、方向を間違えた意味のない画像が映し出されてしまうという問題がある。

また、カメラの方向を変える場合には、一旦パンしてから顔の検出を行っているため、検出されるまでの間はカメラが細かく動き、画面が安定しないという問題点もある。
さらに、音声方向を検出した場合にのみカメラ制御を行うため、発言をしていない人の撮影は考慮されておらず、相手側装置では発言をしない人の画像を見ることができないという問題点もある。

以上のように、従来のカメラ制御装置では、撮像の対象者を移動する場合に、相手が所望する映像を映し出すことができない場合があり、また、映像が安定するまでに時間がかかるなど、使い勝手が悪いという問題がある。また、上記ランプ付きイヤホンマイクの場合も、ランプの点灯は音声出力に同期しているので、同様の問題が生じる。

本発明はこのような点に鑑みてなされたものであり、ランダムに替わる撮像対象（発言者）を正確かつ安定的に映し出すことが可能なカメラ制御装置および電子会議システムを提供することを目的とする。

本発明では上記課題を解決するために、撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するカメラ制御装置が提供される。カメラ制御装置は、顔位置検出手段、登録手段、計時手段、駆動制御手段およびホールド時間制御手段を具備する。顔位置検出手段は、カメラの撮像画像信号から人物の顔の位置を検出する。登録手段は、顔位置検出手段による検出結果と現在のカメラの撮像方向を示す情報とを基に、人物の顔が検出された顔方向情報を算出して記憶手段に格納する。計時手段は、カメラの撮像方向を固定し、撮像範囲を保持するホールド時間を計時する。駆動制御手段は、カメラの撮像対象とする人物から発せられる声の方向を検出する音声検出装置によって生成された音声方向情報を取得すると、ホールド時間が経過していれば、音声方向情報に応じて駆動装置を制御してカメラの撮像方向を変化させる。また、ホールド中であっても音声方向情報と記憶手段に格納される顔方向情報とを照合して音声方向情報に応じた方向に人物の顔が検出されている場合には、ホールド時間を短縮し、短縮したホールド時間が経過していればカメラの撮像方向を変化させる駆動制御を行う。ホールド時間制御手段は、カメラの撮像方向の変化によって移動した撮像範囲に顔位置検出手段によって人物の顔が検出されなかった場合は、検出された場合よりもホールド時間を短く設定する。

このようなカメラ制御装置によれば、カメラの撮像範囲が決まると、顔位置検出手段は、カメラの撮像画像信号から人物の顔の位置を検出する。その検出結果と、現在のカメラの撮像方向を示す情報とに基づく人物の顔が検出された顔方向情報が生成され、登録手段によって記憶手段に格納される。駆動制御手段は、音声検出装置がカメラの撮像対象とする人物から発せられる声の方向を検出して生成した音声方向情報を取得すると、撮像範囲を保持するホールド時間が経過していれば、取得した音声方向情報に応じて駆動装置を制御して、カメラの撮像方向を音声方向情報の示す方向に変化させる。また、ホールド中であっても音声方向情報と記憶手段に格納される顔方向情報とを照合して音声方向情報に応じた方向に人物の顔が検出されている場合には、ホールド時間を短縮し、短縮したホールド時間が経過していればカメラの撮像方向を変化させる駆動制御を行う。なお、ホールド時間は、カメラの撮像方向の移動終了時に設定され、計時手段によって設定された時間が計時される。音声方向情報によってカメラの撮像方向を変化させた場合は、顔位置検出手段によって、カメラの撮像方向の変化によって移動した撮像範囲に人物の顔検出を実行する。そして、ホールド時間制御手段は、検出結果に応じてホールド時間を設定する。人物の顔が検出されなかった場合は、検出された場合よりもホールド時間を短く設定する。

また、上記課題を解決するために、顔位置検出手段、登録手段、計時手段、駆動制御手段およびホールド時間制御手段を具備するカメラ制御装置を、複数の人物を撮像するためのカメラシステムに組み込んだ電子会議システムが提供される。電子会議システムは、カメラシステムと、複数の人物が発する音声を集音する集音装置と、前記カメラシステムからの画像信号と前記集音装置からの音声信号とを多重化して通信回線を通じて送信する送信装置とを備える。

このような電子会議システムでは、集音装置を介して発言者の発する音声が入力されると、音声検出装置が、発言者から発せられる声の方向を検出して音声方向情報を生成する。カメラ制御装置では、駆動制御手段によって、撮像範囲を保持するホールド時間が経過していれば、取得した音声情報に応じて駆動装置を制御して、カメラの撮像方向を音声方向情報の示す方向に変化させる。このホールド時間は、ホールド時間制御手段によって、音声方向情報によって移動した撮像範囲に、顔位置検出手段が人物の顔を検出すれば長く、検出しなければ短く設定される。

本発明では、カメラの撮像対象とする人物から発せられる声の方向を検出すると、その検出方向の映像を映し出すようにカメラの撮像方向を変化させる駆動制御を行う。このとき、移動した撮像範囲に人物の顔が検出できれば、その撮像範囲を保持するホールド時間を長く設定し、検出できなければホールド時間を短く設定する。これにより、誤って発言者以外のものを映し出した場合には、速やかに次の移動を開始でき、発言者が映し出された場合には、少なくともホールド時間はその状態が保持されるようになる。この結果、ランダムに替わる発言者を正確かつ安定的に映し出すことが可能となる。

以下、本発明の実施の形態を図面を参照して説明する。まず、実施の形態に適用される発明の概念について説明し、その後、実施の形態の具体的な内容を説明する。
図１は、実施の形態に適用される発明の概念図である。

本発明にかかるカメラ制御装置１は、カメラ１０が撮像した画像信号と、図示しない音声検出装置が検出した音声方向情報とを取得し、カメラの撮像方向を決定し、カメラ駆動装置２に駆動指示を与える。カメラ制御装置１は、顔位置検出手段１ａ、登録手段１ｂ、顔方向情報記憶手段１ｃ、ホールド時間制御手段１ｄ、計時手段１ｅおよび駆動制御手段１ｆを具備する。

顔位置検出手段１ａは、カメラ１０が撮像した画像信号を入力し、現在撮像中の範囲についての画像認識を利用した顔位置検出を行う。適用可能な画像認識の手法としては、例えば、画像信号の色情報を基に肌色分布を検出して顔の輪郭を含む範囲を特定し、その範囲内の輪郭線や目、口などの部位の位置などをあらかじめ記憶していた複数の顔形態のテンプレートと比較して、顔の存在の有無を判定する手法などが挙げられる。こうして人物の顔が検出された場合には、顔が検出されたか否かの検出結果とともに顔位置情報を登録手段１ｂに出力する。また、検出結果は、ホールド時間制御手段１ｅにも出力される。

登録手段１ｂは、取得した顔位置情報と、現在のカメラ１０の撮像方向を示す情報に基づき、顔方向情報を算出して、顔方向情報記憶手段１ｃに格納する。
顔方向情報記憶手段１ｃは、登録手段１ｂによって登録された顔方向情報を格納する。

ホールド時間制御手段１ｄは、駆動制御手段１ｆによって音声方向情報に基づきカメラ駆動装置２が駆動されて撮像範囲が移動した際、その撮像範囲を保持するホールド時間を設定する。ホールド時間の間は、音声方向情報を取得してもカメラ１０の撮像方向は変化させない。このようにすることによって、カメラ１０の撮像方向が過剰に動くことを防止し、撮像画面の安定化を図る。ホールド時間制御手段１ｄでは、カメラ１０の撮像範囲が決定された後に顔位置検出手段１ａが行う顔位置検出の結果を取得し、検出結果に応じてホールド時間を設定する。顔が検出されれば、ホールド時間を長く設定し、撮像対象の人物の顔を安定して映し出すようにする。一方、顔が検出されない場合は、ホールド時間を顔が検出された場合よりも短く設定し、すぐに次へ移動できるようにする。設定されるホールド時間は、システムの状況に合わせて適宜決定される。

計時手段１ｅは、ホールド時間制御手段１ｄが設定したホールド時間を計時し、ホールド時間が経過してホールドが終了したかどうかを駆動制御手段１ｆに通知する。
駆動制御手段１ｆは、音声検出装置が撮像対象とする人物から発せられる声の方向を検出して生成した音声方向情報を取得すると、音声方向情報に応じてカメラ１０の撮像方向を制御する。音声検出装置は、例えば、複数箇所に配置されたマイクロフォンに入力される声の強度などを比較して、音声方向を検出する。駆動制御手段１ｆでは、計時手段１ｅからの通知によりホールドが終了しているかどうかを判断し、終了していれば、音声方向情報の指示する方向にカメラ１０の撮像方向を変化させるように、カメラ駆動装置２に指示を出力する。このとき、顔方向情報記憶手段１ｃに格納される顔方向情報と、取得した音声方向情報とを照合し、音声方向情報の指示する方向に顔が検出されていれば、当該顔方向情報に基づき、カメラ１０の撮像方向を決める。すなわち、以前に顔を検出されている最も近い位置にカメラ１０の撮像方向を変化させる。これにより、以前に顔位置が検出されている場合には、速やかに撮像範囲が決定できるばかりでなく、顔の位置合わせのためにカメラ１０の撮像範囲が細かく動くことを防止することができる。また、顔方向情報との照合によって、音声方向情報の指示する方向に人物がいることが検出されれば、音声方向情報の信頼度が高いとして、現在ホールド中であっても、ホールド時間を短縮して撮像方向を移動できるようにする。これにより、発言者が確実にいる場合には、ホールド時間を待たなくてもその発言者を映し出すことができる。一方、顔位置検出手段１ａによって人物の顔が検出できなかった場合には、カメラ１０を音声方向情報に指示された撮像方向に向けるとともに、ズームを引いて撮像範囲を広げるように制御を行う。これにより、音声が検出された周囲の状況が画面に映し出され、相手側が状況を把握しやすくなる。さらに、所定の時間、音声検出装置から音声方向情報を取得しない場合、すなわち、誰も発言していない状況になった場合にも、同様に、ズームを引いて撮像範囲を広げるように制御を行う。これにより、発言していない参加者も画面に映し出され、相手側が状況を把握しやすくなる。例えば、目視によって状況を把握し、映し出された人物に発言を求めるよう促すことなどが可能になる。

このようなカメラ制御装置１の動作について説明する。
顔方向情報記憶手段１ｃには、登録手段１ｂによって、これまでに撮像された撮像範囲で顔位置検出手段１ａが検出された顔位置情報と、そのときのカメラ１０の撮像方向を示す情報とから算出される顔方向情報が格納されている。

音声検出装置から発言者の声の方向を示す音声方向情報を取得すると、駆動制御手段１ｆは、音声方向情報と顔方向情報記憶手段１ｃに格納される顔方向情報とを照合するとともに、ホールド時間を考慮し、カメラ１０の撮像方向を決める駆動制御を行う。

ホールドが終了しており、音声方向情報に該当する顔方向情報があれば、音声方向情報と当該顔方向情報に基づき、カメラ駆動装置２を制御する。これにより、速やかに発言者の顔を映し出すことが可能となる。一方、音声方向情報に該当する顔方向情報がない場合は、当該音声方向情報に基づき、カメラ駆動装置２を制御する。こうして、カメラ１０の撮像方向が音声方向情報に指示された方向に変化したら、顔位置検出手段１ａによって発言者の顔位置を検出する。顔位置が検出された場合は、登録手段１ｂによって顔方向情報を更新するとともに、ホールド時間制御手段１ｄがホールド時間を長く設定し、発言者の顔が安定して映し出されるようにする。顔位置が検出されなかった場合は、ホールド時間制御手段１ｄは、ホールド時間を検出された場合より短く設定し、他の方向から音声が検出されたら速やかに移動できるようにする。また、顔位置が検出されなかった場合、ズームを引いて声が検出された方向を広範囲に映し出すようにしてもよい。

ホールドが終了していなければ、音声方向情報に基づく撮像方向の移動は行わない。ただし、音声方向情報に該当する顔方向情報が存在し、前回の撮像方向の移動から所定の時間が経過していれば、当該顔方向情報と音声方向情報に基づき、撮像方向を変化させるようにする。これにより、発言者がいる場合には、ホールド時間が経過していなくても速やかに発言者が映し出される。

さらに、駆動制御手段１ｆは、所定の時間が経過しても音声方向情報が入力されない場合には、ズームを引いて撮像範囲を広範囲にするようにしてもよい。
以上のように、発言者の声の発する方向を検出して自動的にカメラ１０の撮像方向を移動させる場合、移動した撮像範囲に顔が検出されたかどうかによって、その撮像範囲を保持する時間を可変にする。これにより、顔が検出された場合は、発言者が安定して映し出され、検出されない場合、すなわち誤った方向が選択された場合は、速やかに他の方向に移動できるようになる。また、音声方向検出ばかりでなく、顔方向情報を利用することにより、より正確に相手側が見たい映像をカメラ１０が映し出すことができるようになる。

以下、本発明の実施の形態を、テレビ会議システムに用いられるカメラシステムに本発明を適用した場合を例にとり説明する。
図２は、本発明の実施の形態に係るカメラシステムのシステム構成を示す図である。

図２に示すカメラシステムは、会議に出席している複数の人物を１台のカメラ１０で撮像するためのものである。このシステムは、ズーム機能を備えたカメラ１０と、カメラ１０の撮像方向を変化させる雲台２０と、雲台２０の動作を制御するカメラ制御装置３０と、リモートコントローラ４０ａからの赤外線信号を受信する赤外線受光部４０と、システム全体を統括的に制御するＣＰＵ（Central Processing Unit）５０と、撮像画像などを表示するディスプレイ６０と、画像信号を圧縮符号化する画像エンコーダ７０と、音声信号を解析する音声信号解析装置８０と、音声を集音するマイクロフォン８１、８２と、音声信号を圧縮符号化する音声エンコーダ８３とを具備する。

カメラ１０は、雲台２０によりその撮像方向が水平方向／垂直方向に変化され、またＣＰＵ５０からの制御信号（ズームコマンド）によってズームレンズの焦点距離が制御されるようになっている。また、このカメラ１０は、撮像した画像信号をカメラ制御装置３０に供給する。雲台２０は、水平方向／垂直方向に対する撮像方向を指示する制御情報（後述するＰｄｅｇ，Ｔｄｅｇ）をカメラ制御装置３０から受けて、それらの値に応じて駆動する。また、現在のＰｄｅｇ，Ｔｄｅｇの値をカメラ制御装置３０に通知できるようになっている。

カメラ制御装置３０は、ＣＰＵ５０からのパン／チルト動作に対する操作コマンドに応じて、雲台２０の動作を制御する。また、カメラ１０による撮像画像信号をディスプレイ６０や画像エンコーダ７０に供給する。

これらに加えてカメラ制御装置３０は、複数の人物の顔の位置をデータベースとして保持し、操作コマンドに応じて任意の顔が規定の大きさで自動的に撮像されるように雲台２０やズーム動作を制御する機能、カメラ１０による撮像画像信号から人物の顔を認識して、その位置情報をデータベースに登録／更新する機能、および音声方向情報を取得してその音声方向情報によって示される方向にカメラ１０の撮像方向を変化させる機能を具備している。そして、それらの機能のために、雲台２０から現在のＰｄｅｇ，Ｔｄｅｇの値を取得すること、また、ＣＰＵ５０から現在のズーム動作の制御値（後述するＺｄｅｇ）を取得すること、ＣＰＵ５０にＺｄｅｇの値を出力してカメラ１０のズーム動作を制御することなどが可能となっている。

赤外線受光部４０は、雲台２０の駆動やカメラ１０のズーム機能を制御するための赤外線信号をリモートコントローラ４０ａから受信し、それらに応じたキー操作信号をＣＰＵ５０に供給する。ＣＰＵ５０は、キー操作信号に応じてカメラ制御装置３０にパン／チルト動作に対する操作コマンドを出力し、またズーム制御信号をカメラ１０に出力して、雲台２０の回転動作およびカメラ１０のズーム動作を制御する。また、カメラ制御装置３０からのＺｄｅｇに応じてカメラ１０のズーム動作を制御する場合もある。

ディスプレイ６０は、カメラ１０による撮像画像信号を受信して、会議室などにおける現在の撮像画像などを表示する。
マイクロフォン８１および８２は、カメラ１０で撮像している会議室における出席者の声を集音するためのもので、集音された音声信号は音声信号解析装置８０と音声エンコーダ８３に入力される。また、図示しないスピーカを介して音声出力される。音声信号解析装置８０は、入力された複数の音声信号から人間の声を抽出し、その声の発生された方向を推測して、方向を示す音声方向情報をカメラ制御装置３０に出力する。これによりカメラ制御装置３０は、音声方向情報に基づいて発言している出席者の方向を特定し、その方向にカメラ１０を向けることができるようになる。なお、音声方向情報は例えばＰｄｅｇ，Ｔｄｅｇの値として与えられる。

画像エンコーダ７０は、カメラ制御装置３０からの撮像画像信号を圧縮符号化して、画像ストリームを生成する。また、音声エンコーダ８３は、マイクロフォン８１、８２からの音声信号を圧縮符号化して音声ストリームを生成する。生成された画像ストリームおよび音声ストリームは、通信回線を通じて遠隔地の会議室に送信され、受信側の会議室において、送信側の会議室における画像および音声がリアルタイムに再生される。また、遠隔地の会議室で撮像・集音された画像および音声のストリームも同時に受信して、画像および音声をディスプレイ６０およびスピーカで再生することで、遠隔地の会議室同士で画面を見ながら会議を行うことが可能となる。

ここで、カメラ１０の撮像方向を決める制御情報（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）について説明する。
図３は、パン／チルト／ズーム動作の制御情報（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）について説明するための図である。

本実施の形態では、パン／チルト／ズーム動作の制御情報を、水平および垂直に対するカメラ１０の撮像方向と、カメラ１０のズーム動作状態とを角度形式で表したＰｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇによって表す。水平方向の回転動作（パン動作）については、図３（Ａ）に示すように、雲台２０の回転角度を例えば最大１８０°とし、雲台２０の回転中心と撮像される人物の顔の中心点とを結ぶ直線の角度（−９０．０°〜＋９０．０°）をパン動作の制御情報（Ｐｄｅｇ）とする。同様に、垂直方向の回転動作（チルト動作）については、図３（Ｂ）に示すように、雲台２０の回転角度を例えば最大６０°とし、雲台２０の回転中心と顔の中心点とを結ぶ直線の角度（−３０．０°〜＋３０．０°）をチルト動作の制御情報（Ｔｄｅｇ）とする。

また、ズーム動作の制御情報（Ｚｄｅｇ）については、図３（Ａ）に示すように、カメラ１０の視野角として表す。この図では視野角を１．０°〜４５．０°の範囲としており、値が小さいほど望遠側のズーム状態となって、被写体が拡大される。

これらの制御情報は、パン／チルト／ズーム動作を制御するためのパン／チルト制御部３７やズーム制御部５１に供給される。これとともに、顔位置データベース３１に記憶される各人物の顔位置情報も、これらの角度情報の組（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）とされる。なお、顔位置データベース３１内のズーム動作の情報は、例えば、人物の顔が画面いっぱいに表示されるときの視野角とする。

以下、本実施の形態のカメラシステムにおけるカメラ制御装置３０について説明する。図４は、カメラ制御装置およびＣＰＵが備えるカメラ制御のための機能を示すブロック図である。

図４に示すように、カメラ制御装置３０は、顔位置データベース３１、顔認識モジュール３２、データベース更新モジュール３３、データベース検索モジュール３４、ホールド時間モジュール３５、音声方向駆動モジュール３６およびパン／チルト制御部３７を具備している。また、ＣＰＵ５０は、ズーム制御部５１およびコマンド制御部５２を具備している。

顔位置データベース３１は、会議の出席者の顔が画面の中央に所定の大きさで映るときの雲台２０の回転動作およびカメラ１０のズーム動作の制御情報を、出席者ごとに記憶するデータベースである。この制御情報は図４で後述するように、水平および垂直に対するカメラ１０の撮像方向と、カメラ１０のズーム動作状態とを角度形式で表したデータ（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）からなる。

顔認識モジュール３２は、カメラ１０によって撮像されたデジタル画像信号から、画像認識技術を用いて人物の顔の位置を検出し、座標形式の顔位置情報（Ｐｐｘ，Ｔｐｘ，Ｚｐｘ）を算出し、データベース更新モジュール３３へ出力する。検出結果は、ホールド時間モジュール３５にも通知する。

データベース更新モジュール３３は、顔認識モジュール３２によって算出された顔位置情報（Ｐｐｘ，Ｔｐｘ，Ｚｐｘ）を角度形式に変換し、顔位置データベース３１に登録する。また、カメラ１０による撮像動作中でも、顔認識モジュール３２からの顔位置情報に基づいて、顔位置データベース３１の内容を随時更新する。データベース更新モジュール３３は、現在のＰｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇの値を基に、顔認識モジュール３２に記憶された座標形式の顔位置情報（Ｐｐｘ，Ｔｐｘ，Ｚｐｘ）を、角度形式の顔位置情報（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）に変換する。例えば、現在のＰｄｅｇ，Ｔｄｅｇ、Ｚｄｅｇがそれぞれ−３０．０，＋１０．０，＋４０．０である場合、撮像している画像の左端のＰｄｅｇは、−３０．０−４０．０／２＝−５０．０、右端のＰｄｅｇは、−３０．０＋４０．０／２＝−１０．０、上端のＴｄｅｇは、＋１０．０＋（４０．０×３／４）／２＝＋２５．０、下端のＴｄｅｇは、＋１０．０−（４０．０×３／４）／２＝−５．０となる。従って、これらの値と画像の端部の座標値とを線形に対応させることにより、座標形式の顔位置情報（Ｐｐｘ，Ｔｐｘ，Ｚｐｘ）を角度形式の顔位置情報（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）に換算することができる。

データベース検索モジュール３４は、顔位置データベース３１の記憶情報を用いてカメラ１０の撮像方向およびズーム動作を制御するための機能ブロックである。このデータベース検索モジュール３４は、音声方向駆動モジュール３６の音声方向情報に応じて、音声方向情報が指示する方向の近傍にある顔位置情報（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）を顔位置データベース３１から抽出し、音声方向駆動モジュール３６へ出力する。

ホールド時間モジュール３５は、ホールド時間制御手段１ｄと計時手段１ｅを兼ねるカウンタで、音声方向駆動モジュール３６がカメラ１０の撮像方向を変化させてからカメラ１０が撮像した撮像信号に基づき顔認識モジュール３２が顔位置を検出できたかどうかに応じて規定されるホールド時間に応じたカウンタ値を設定する。このカウンタは、所定の周期で減算され、カウンタ値が０になったとき、ホールド時間が終了する。ホールド時間モジュール３５では、音声方向駆動モジュール３６からの要求により、カウンタ値を通知する。

音声方向駆動モジュール３６は、音声検出装置から音声方向情報を取得すると、その音声方向情報をデータベース検索モジュール３４へ送り、近傍にある顔位置情報を検索させる。また、ホールド時間モジュール３５からホールド時間を表すカウンタ値を取得する。カウンタ値が０でホールドが終了しており、顔位置情報を取得した場合は、顔位置情報と音声方向情報に応じて、パン／チルト制御部３７およびズーム制御部５１を介して撮像方向およびズーム動作を制御する。顔位置情報を取得できなかった場合は、音声方向情報に応じて、パン／チルト制御部３７およびズーム制御部５１を介して撮像方向およびズーム動作を制御する。カウンタ値が０でなく、ホールドが終了していない場合には、パン／チルト制御部３７およびズーム制御部５１の制御を行わず、カメラ１０の撮像方向をそのまま維持する。なお、カウンタ値が所定の値より少ない場合であって、顔位置情報が取得できた場合には、顔位置情報と音声方向情報に応じて、パン／チルト制御部３７およびズーム制御部５１を介して撮像方向およびズーム動作を制御する。

パン／チルト制御部３７は、コマンド制御部５２からのＰＴＺコマンド、あるいは音声方向駆動モジュール３６からの制御情報（Ｐｄｅｇ，Ｔｄｅｇ）に応じて、雲台２０に制御信号を出力してそのパン／チルト動作を制御する。同様に、ズーム制御部５１は、コマンド制御部５２からのＰＴＺコマンド、あるいは音声方向駆動モジュール３６からの制御情報（Ｚｄｅｇ）に応じて、カメラ１０に制御コマンドを出力してズーム動作を制御する。

コマンド制御部５２は、赤外線受光部４０からのキー操作信号に応じてＰＴＺコマンドを生成し、パン／チルト動作に対するコマンドをパン／チルト制御部３７に、ズーム動作に対応するコマンドをズーム制御部５１にそれぞれ出力する。

ここで、本実施の形態のリモートコントローラ４０ａは、パン／チルトの方向やズーム倍率を徐々に変化させるためのＰＴＺキーを具備する。そして、ＰＴＺキーへの入力操作により、パン／チルトの方向およびズーム倍率の拡大／縮小を示すキー操作信号が赤外線受光部４０を通じてＣＰＵ５０に供給され、コマンド制御部５２はこれらの信号に応じてＰＴＺコマンドを発行する。これにより、パン／チルト制御部３７は、ＰＴＺコマンドに応じてカメラ１０の方向を徐々に変化させるように雲台２０を制御し、またズーム制御部５１は、ＰＴＺコマンドに応じてカメラ１０のズーム倍率を徐々に拡大または縮小させる。

このようなカメラシステムの動作について説明する。
カメラ制御装置３０は、会議開始時などカメラシステムの使用を開始する際に、顔位置データベース３１に対する顔位置情報の自動登録処理を実行する。この処理は、例えばＣＰＵ５０の制御により、カメラ１０の撮像方向を変化させながら撮像しうる範囲内の人物の顔を、顔認識モジュール３２によって自動的に認識し、それらの顔位置情報を顔位置データベース３１に登録していく処理である。こうして、顔位置データベース３１には、会議参加者の顔位置情報が格納される。

任意の会議参加者が発言を開始すると、その音声を集音したマイクロフォン８１、８２の音声信号に基づき、音声信号解析装置８０が発言者の声の方向を推定し、音声方向情報（Ｐｄｅｇ，Ｔｄｅｇ）を生成する。

カメラ制御装置３０は、音声信号解析装置８０から音声方向情報を入力すると、音声方向駆動モジュール３６によるカメラ方向移動処理を開始する。音声方向駆動モジュール３６は、ホールド時間モジュール３５からホールド時間を取得するとともに、データベース検索モジュール３４に対し音声方向情報を送り、音声方向情報が示す方向の近傍の顔位置情報があるかどうかを検索させる。そして、ホールドが終了しており、顔位置情報が検索されれば、音声方向情報と顔位置情報とを用いて、パン／チルト制御部３７およびズーム制御部５１を介して撮像方向およびズーム動作を制御する。ホールドが終了しており、顔位置情報が検索されなければ、音声方向情報を用いて、同様に撮像方向とズーム動作を制御する。また、ホールド継続中で、かつ、顔位置情報が検索されなければ、カメラ１０の現在の撮像方向を維持する。ホールド継続中で、顔位置情報が検索された場合は、残りのホールド時間もしくは経過したホールド時間が所定の条件を満たせば、ホールドを終了し、音声方向情報と顔位置情報とを用いて、パン／チルト制御部３７およびズーム制御部５１を介して撮像方向およびズーム動作を制御する。

そして、カメラ１０の撮像方向を変化させた場合には、顔認識モジュール３２によって、現在の撮像範囲に顔が検出されるかどうかを判定する。ホールド時間モジュール３５は、顔が検出された場合は、この撮像範囲を保持するようにホールド時間を長く設定する。顔が検出されなかった場合は、すぐに他の方向に移動できるようにホールド時間を顔が検出された場合より短く設定する。

以上の処理が実行されることにより、発言者を正確かつ安定的に映すことができる。
なお、ＣＰＵ５０にキー操作信号が入力した場合は、こちらを優先し、ホールド時間であってもキー操作信号に応じて、パン／チルト制御部３７およびズーム制御部５１を介して撮像方向およびズーム動作を制御する。

実施の形態に適用される発明の概念図である。 本発明の実施の形態に係るカメラシステムのシステム構成を示す図である。 パン／チルト／ズーム動作の制御情報（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）について説明するための図である。 カメラ制御装置およびＣＰＵが備えるカメラ制御のための機能を示すブロック図である。

符号の説明

１・・・カメラ制御装置、１ａ・・・顔位置検出手段、１ｂ・・・登録手段、１ｃ・・・顔方向情報記憶手段、１ｄ・・・ホールド時間制御手段、１ｅ・・・計時手段、１ｆ・・・駆動制御手段、２・・・カメラ駆動装置、１０・・・カメラ

Claims (5)

1. 撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するカメラ制御装置において、
   前記カメラの撮像画像信号から人物の顔の位置を検出する顔位置検出手段と、
   前記顔位置検出手段による検出結果と現在の前記カメラの撮像方向を示す情報とを基に前記人物の顔が検出された顔方向情報を算出して記憶手段に格納する登録手段と、
   前記カメラの撮像方向を固定し、前記撮像範囲を保持するホールド時間を計時する計時手段と、
   前記カメラの撮像対象とする人物から発せられる声の方向を検出する音声検出装置によって生成された音声方向情報を取得すると、前記ホールド時間が経過していれば、当該音声方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させ、ホールド中であっても前記音声方向情報と前記記憶手段に格納される前記顔方向情報とを照合して前記音声方向情報に応じた方向に前記人物の顔が検出されている場合には、前記ホールド時間を短縮し、短縮した前記ホールド時間が経過していれば前記カメラの撮像方向を変化させる駆動制御を行う駆動制御手段と、
   前記カメラの撮像方向の変化によって移動した前記撮像範囲に前記顔位置検出手段によって前記人物の顔が検出されなかった場合は、検出された場合よりも前記ホールド時間を短く設定するホールド時間制御手段と、
   を具備することを特徴とするカメラ制御装置。
2. 前記駆動制御手段は、前記音声方向情報を、前記記憶手段に格納される前記顔方向情報と照合し、前記音声方向情報に応じた方向に前記人物の顔が検出されている場合には、前記音声方向情報と当該顔方向情報に基づき、前記カメラの撮像方向を変化させる駆動制御を行う、
   ことを特徴とする請求項１記載のカメラ制御装置。
3. 前記駆動制御手段は、前記音声方向情報に応じた前記撮像範囲に前記顔位置検出手段によって前記人物の顔が検出されなかった場合は、前記撮像範囲を広げるようにズーム制御を行う、
   ことを特徴とする請求項１記載のカメラ制御装置。
4. 前記駆動制御手段は、前記音声検出装置からの前記音声方向情報を所定の期間取得しなかった場合は、現在の前記撮像範囲を広げるようにズーム制御を行う、
   ことを特徴とする請求項１記載のカメラ制御装置。
5. 複数の人物を撮像するためのカメラシステムと、複数の人物が発する音声を集音する集音装置と、前記カメラシステムからの画像信号と前記集音装置からの音声信号とを多重化して通信回線を通じて送信する送信装置とを備えた電子会議システムにおいて、
   前記カメラシステムは、カメラと、前記カメラの撮像方向を変化させる駆動装置と、前記駆動装置を制御するカメラ制御装置とからなり、
   前記カメラ制御装置は、
   前記カメラの撮像画像信号から人物の顔の位置を検出する顔位置検出手段と、
   前記顔位置検出手段による検出結果と現在の前記カメラの撮像方向を示す情報とを基に前記人物の顔が検出された顔方向情報を算出して記憶手段に格納する登録手段と、
   前記カメラの撮像方向を固定し、撮像範囲を保持するホールド時間を計時する計時手段と、
   前記カメラの撮像対象とする人物から発せられる声の方向を検出する音声検出装置によって生成された音声方向情報を取得すると、前記ホールド時間が経過していれば、当該音声方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させ、ホールド中であっても前記音声方向情報と前記記憶手段に格納される前記顔方向情報とを照合して前記音声方向情報に応じた方向に前記人物の顔が検出されている場合には、前記ホールド時間を短縮し、短縮した前記ホールド時間が経過していれば前記カメラの撮像方向を変化させる駆動制御を行う駆動制御手段と、
   前記カメラの撮像方向の変化によって移動した前記撮像範囲に前記顔位置検出手段によって前記人物の顔が検出されなかった場合は、検出された場合よりも前記ホールド時間を短く設定するホールド時間制御手段と、
   を具備することを特徴とする電子会議システム。

Images