JP5173861B2

JP5173861B2 - 撮像装置及びその制御方法

Info

Publication number: JP5173861B2
Application number: JP2009006898A
Authority: JP
Inventors: 泰夫奥谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-01-17
Filing date: 2009-01-15
Publication date: 2013-04-03
Anticipated expiration: 2029-01-15
Also published as: JP2009194900A

Description

本発明は、撮像装置及びその制御方法に関する。

従来のテレビ会議システムにおいては、カメラの方向制御を人手で行う必要があった。これを解決するものとして、音源の方向を検知してその方向にカメラを向けるカメラ制御方法が提案されている（例えば、特許文献１参照。）。この方法によれば、発言者の方向にカメラが自動的にパンされるので、カメラの向きを人手で操作する必要がなくなる。

特開昭６１−１９８８９１号公報

テレビ会議においては、ホワイトボードを使った議論がしばしば行われる。この場合、会議の参加者の一人がホワイトボードの横に立ち発言する間は、ホワイトボードがその参加者とともにモニタに映る。ところが、着席している別の参加者が発言すると、その音源を検知してカメラの向きは変わってしまい、ホワイトボードが映らなくなってしまう。通常、ホワイトボードを使った議論を行っている間は、常にホワイトボードはモニタに映っていて欲しいものである。

本発明は、撮像装置の音源方向への追従制御の改良であり、撮影対象に応じた適切な追従制御を実現することを目的とする。

本発明の一側面によれば、撮像手段と、音源の方向を検知する検知手段と、前記検知手段により検知された音源の方向に追従するように前記撮像手段の向きを制御する制御手段と、前記撮像手段から見た複数の特定の物体の各方向のデータを保持する保持手段とを備え、前記制御手段は、前記撮像手段の向きが前記複数の特定の物体のうちのいずれか１つを撮影することができる方向範囲内にあるときは、前記保持手段に保持された方向以外には前記撮像手段を向けないように、前記制御を抑制することを特徴とする撮像装置が提供される。

本発明によれば、撮影対象に応じた適切な撮像装置の追従制御が実現される。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。

＜第１実施形態＞
本実施形態では、テレビ会議システムにおけるカメラ制御について説明する。

図５は、本実施形態におけるテレビ会議システムが設置されているテレビ会議室の全体像を示す図である。

図５において、５１０は撮像装置である。撮像装置５１０は、撮影方向を制御可能なカメラ１０４、音源方向を検知可能なマイクロホン１０５、カメラ制御や音源の方向特定などを行う制御端末５０１を備えている。５０２は、撮像装置５１０に接続され、映像を映し出すディスプレイである。

５０３は、会議中に参加者により文字・図形がペンで書き込まれるホワイトボードである。５０４は、ホワイトボード５０３の横に立ちホワイトボード５０３に文字・図形の書き込みを行う会議の参加者、５０５〜５０８は着席している参加者、５０９は会議テーブルである。

なお、テレビ会議システムでは、通信相手側にも同様のシステムがあり、システム同士は通信回線を介して相互接続されているが、本図では省略している。また、マイクロホン１０５は、音源方向を検出するため複数のマイクロホンで構成されるマイクロホンアレイを用いるのが適当である。また、マイクロホン１０５は、会議参加者の会話を収音するためにも使われるものとする。

図１は、本実施形態における撮像装置５１０のハードウエア構成を示すブロック図である。

制御端末５０１は、本実施形態のカメラ制御を実現するための制御プログラム１０１１及び固定的データを記憶する制御メモリ１０１、数値演算／制御等の処理を行う中央処理装置１０２、一時的なデータを記憶するメモリ１０３を備える。バス１０６にはこれら制御メモリ１０１、中央処理装置１０２、メモリ１０３をはじめ、上述したカメラ１０４、マイクロホン１０５、ディスプレイ５０２が接続される。

図２は、本実施形態における撮像装置５１０のモジュール構成（機能構成）を示すブロック図である。

図２において、特定方向保持部２０１は、特定の物体である会議に使用されるホワイトボード５０３をカメラ１０４から見た方向の情報を保持する。音源検出部２０２は、マイクロホン１０５で収音された音を解析し、音源の方向、すなわち発言する会議参加者の方向を特定する。音源方向保持部２０３は、特定された音源の方向の情報を保持する。

カメラ制御部２０４は、音源方向保持部２０３が保持する音源方向に追従するようにカメラ１０４の向きを制御する。

制御状態更新部２０５は、制御状態保持部２０６が保持する制御状態の情報を更新する。制御状態保持部２０６は、制御状態の情報を保持する。制御状態には、音源の方向に追従するようにカメラ１０４の向きを制御する音源追従状態と、音源の方向に追従するようにカメラ１０４の向きを制御することを停止する抑制状態がある。

画像認識部２０７は、カメラ１０４が撮像した画像に対して画像認識を行う。

図３は、本実施形態における撮像装置５１０が音源追従状態から抑制状態へ遷移する処理の流れを示すフローチャートである。なお、以下で説明する各フローチャートに対応するプログラムは制御プログラム１０１１に含まれ、中央処理装置１０２によって実行される。

ステップＳ３０１では、マイクロホン１０５から収音される音に基づいて音源検出部２０２が音源の方向を検知する。音の入力がない場合はステップＳ３０１に戻る。音源検出部２０２が音源の方向を特定すると、特定した音源の方向の情報を音源方向保持部２０３に保持して、ステップＳ３０２に移る。

ステップＳ３０２では、カメラ制御部２０４は、音源方向保持部２０３が保持する音源の方向にカメラ１０４を向けて、ステップＳ３０３に移る。

ステップＳ３０３では、カメラ制御部２０４が、音源方向保持部２０３が保持する音源の方向（すなわち現在のカメラ１０４の向き）と、特定方向保持部２０１が保持するホワイトボード５０３の方向とが一致しているか否かを判別する。一致している場合はステップＳ３０４に移る。一致していない場合は、ステップＳ３０１に戻る。

ステップＳ３０４では、制御状態更新部２０５が、制御状態を抑制状態に変更し、制御状態を制御状態保持部２０６に保存して、終了する。抑制状態では、カメラ１０４の撮影方向はホワイトボード５０３の方向と一致している。すなわちこの抑制状態では、カメラ１０４は、特定方向保持部２０１が保持するホワイトボード５０３の方向以外には向けられない。

なお、ステップＳ３０３において、方向が一致するか否かの判定では、必ずしも完全に一致する必要はなく、カメラ１０４の向きが少なくともホワイトボード５０３を撮像することができる方向範囲内にあればよい。例えば、カメラ１０４の向きが音源方向保持部２０３が保持する音源の方向に対して例えば10度以下の方向範囲内にあれば、一致とみなしてよい。

図４は、本実施形態におけるカメラ１０４の抑制状態から音源追従状態へ遷移する処理の流れを示すフローチャートである。

ステップＳ４０１では、画像認識部２０７は画像認識により、特定物体であるホワイトボード５０３の横に立っている人がホワイトボード５０３から離れていくことを認識する。ホワイトボード５０３から人が離れていくことが認識された場合は、ステップＳ４０２に移る。ホワイトボード５０３から人が離れていくことが認識されない場合は、ステップＳ４０１に戻る。

ステップＳ４０２では、制御状態更新部２０５は、カメラ１０４の音源方向への追従制御の停止を解除すべく、制御状態を抑制状態から音源追従状態に変更し、制御状態の情報を制御状態保持部２０６に保存して、終了する。

以上説明したように、音源追従状態において、ホワイトボード５０３の方向と現在のカメラ１０４の向きとを比較することで現在のカメラ１０４の向きがホワイトボード５０３を撮像できる方向範囲内にあるかを判断する。そして、そのような方向範囲内にあると判断したとき、音源追従状態から抑制状態に遷移する。一方、抑制状態において、人がホワイトボード５０３から離れていくことが認識されたときは、抑制状態から音源追従状態に遷移する。これらの制御状態の遷移によって、ホワイトボードを使った議論が行われている間ホワイトボードがカメラに映され続け、ホワイトボードを使った議論が終了するとカメラは音源を追従するようになる。

＜第２実施形態＞
上述の第１実施形態では、特定方向保持部２０１が保持するホワイトボードの方向と音源方向保持部２０３が保持する音源の方向が一致するか否かを判別することによりカメラの制御状態を音源追従状態から抑制状態に変更する場合について説明した。しかし本発明はこれに限定されるものではなく、音源を検知してカメラの向きを制御した結果、カメラにホワイトボードが映っていることを確認した場合にカメラの制御状態を音源追従状態から抑制状態に変更するようにしてもよい。

図６は、第２実施形態における撮像装置のモジュール構成を示すブロック図である。

図６において、第１実施形態と同じ処理を行うモジュールには図２と同じ参照番号を付し、説明を省略する。図６に示す構成は、図２に示した特定方向保持部２０１の代わりに特定物体保持部６０１が設けられた構成となっている。特定物体保持部６０１は、特定物体であるホワイトボード５０３の画像又はそのパラメータを保持する。音源追従状態において、カメラ制御部２０４が音源の方向にカメラ１０４を制御した結果、画像認識部２０７は、カメラ１０４が撮影した画像にホワイトボード５０３の画像が含まれているか否かを判定する。カメラ１０４が撮影した画像にホワイトボード５０３の画像が含まれていると判定された場合、制御状態更新部２０５は制御状態を音源追従状態から抑制状態に遷移させる。

図７は、本実施形態における撮像装置５１０の処理の流れを示すフローチャートである。

図７において、第１実施形態と同じ処理を行うステップには図３と同じ参照番号を付し、説明を省略する。

ステップＳ７０３では、画像認識部２０７は、特定物体保持部６０１が保持するホワイトボード５０３の画像オブジェクトが、カメラ１０４が撮影した画像に含まれているか否かを判定し、含まれていると判定された場合は、ステップＳ３０４に映る。含まれていないと判定された場合は、ステップＳ３０１に戻る。なお、画像オブジェクトとは、カメラ１０４に映っている映像の中から物体を抽出した部分画像を意味する。

以上説明したように、画像認識を用いることにより、ホワイトボードを使った議論が行われている間ホワイトボードがカメラに映され続け、ホワイトボードを使った議論が終了するとカメラは音源を追従するようになる。

＜第３実施形態＞
上述の第１及び第２実施形態では、テレビ会議システムに撮像装置を適用した場合について説明した。しかし本発明はこれに限定されるものではなく、任意のシステムに利用する場合にも本発明を適用することができる。

本実施形態では、監視システムにおける撮像装置について説明する。

図８は、本実施形態における監視システムが設置されているビルのロビーの全体像を示す図である。

図８において、第１実施形態と同じ処理を行う撮像装置には同じ参照番号を付し、処理の説明を省略する。

図８において、８０１はビルの入口扉、８０２はエレベーターである。８０３はビルの入口扉８０１を通ってビルの中に入ってきた人、８０４〜８０６はビルのロビー８０７にいる人である。８０７はビルのロビー、８０８はカメラ１０４でモニタリングしている映像を監視するための監視室である。

第１実施形態と同様に、音源追従状態では、撮像装置５１０は音源を検知し音源の方向にカメラ１０４を制御する。一方、抑制状態では、カメラ１０４の方向制御を停止する。

ビルのロビー８０７でのモニタリングの主な目的は、ビルに出入りする人を監視することである。また、別の目的としてはビルのロビー８０７で起きた出来事を監視することが考えられる。本実施形態では、ビルに出入りする人の監視が第１優先であるとする。

例えば、入口扉８０１付近で音源が検知された場合、仮にエレベーター８０２付近で音源が検知されてもカメラ１０７には入口付近を映し続けさせ、ビルに出入りする人の監視を優先させたいとする。これを実現するためには、第１実施形態におけるホワイトボード５０３を入口扉８０１とみなせばよい。つまり、特定方向保持部２０１は、ビルの入口扉８０１の方向の情報を保持する。音源検出部２０２が入口付近からの音源を検知し、カメラ制御部２０４は音源の方向にカメラ１０４を向ける。この時点で、特定方向保持部２０１が保持する方向と現在のカメラ１０４の方向とが一致するので、カメラ１０４の制御状態が音源追従状態から抑制状態に遷移する。

一方、抑制状態から音源追従状態への遷移は、ビルの入口扉８０１の側にいる人８０３が入口扉８０１から離れていくことを画像認識部２０７が認識した時点で実行される。

このように、撮像装置５１０を監視システムに適用した場合、監視対象として重要な方向にカメラ１０４が向いた場合は、その他の方向から音源を検知してもカメラ１０４の制御を停止することが可能である。

＜第４実施形態＞
第１実施形態では、テレビ会議システムにおいて、ホワイトボードが１つだけ存在する場合について説明したが、これに限定されるものではなく、複数のホワイトボードが存在する場合にも本発明を適用することができる。

この場合、特定方向保持部２０１は、複数のホワイトボードの方向のデータを保持するものとする。音源追従状態で音源を検知しカメラ１０４をその方向に向けた際、特定方向保持部２０１が保持する複数の方向の１つと現在のカメラ１０４の方向とが一致した場合、音源追従状態から抑制状態に遷移する。

一方、抑制状態で音源を検知した場合、その方向が特定方向保持部２０１の保持する複数の方向の１つと一致する場合のみ、カメラ１０４をその方向に向ける。いずれのホワイトボードの方向とも一致しなかった場合は、カメラ１０４を動かさない。

本実施形態における撮像装置５１０のモジュール構成は図２と同じであるため図を省略する。

図９は、本実施形態における撮像装置が抑制状態から音源追従状態へ遷移する処理の流れを示すフローチャートである。

図９において、スタートが抑制状態、エンドが音源追従状態である。第１実施形態と同じ処理を行うステップには図４と同じ参照番号を付し、説明を省略する。

ステップＳ９０１では、画像認識部２０７がホワイトボードの横に立っている人がホワイトボードから離れていくことを画像認識する。ホワイトボードから人が離れていくことを認識した場合は、ステップＳ４０２に移る。ホワイトボードから人が離れていくことが認識されない場合は、ステップＳ９０２に移る。

ステップＳ９０２では、マイクロホン１０５から収音される音に基づいて音源検出部２０２が音源の方向を検知する。音の入力がない場合はステップＳ９０１に移る。音源検出部２０２が音源の方向を特定し、特定した音源方向の情報を音源方向保持部２０３に保持して、ステップＳ９０２に移る。

ステップＳ９０３では、カメラ制御部２０４が、音源の方向が特定方向保持部２０１に保持されている複数の方向の１つと一致するか否かを判別し、方向が一致する場合はステップＳ９０４に移る。一致しない場合は、ステップＳ９０１に移る。

ステップＳ９０４では、カメラ制御部２０４が、音源方向保持部２０３が保持する音源方向にカメラ１０４を向けて、ステップＳ９０１に移る。

以上説明したように、ホワイトボードが複数存在する場合、抑制状態では、ホワイトボードの方向からの音源に対してのみカメラの方向が向けられるようにすることが可能である。

＜第５実施形態＞
第１実施形態では、ホワイトボードを使った会議の場合について説明したが、本発明はこれに限定されるものではない。例えば、ホワイトボードに代わる任意の装置、道具を使った会議にも本発明を適用可能であることは言うまでもない。具体的には、電子黒板などでも良い。特にデジタイザが使える電子黒板などの場合は、デジタイザの信号を検知することによって、電子黒板が使われることを検知しても良い。

＜第６実施形態＞
第１乃至第３実施形態では、ホワイトボードや入口扉など特定の撮影対象から人が離れていくことを検知してカメラ制御の停止を解除する場合について説明した。しかし、本発明はこれに限定されるものではなく、撮影対象の側に人がいなくなったことを検知してカメラ制御の抑制を解除するようにしてもよい。簡単な検知方法としては、初期状態（人が近くにいない状態）との画像の比較を行い、画像が一致する場合は人がいないと判別するという方法が有効である。撮影対象の側に人がいなくなったことを検知する方法であればいかなる方法でもよい。

＜第７実施形態＞
第１及び第２実施形態では、カメラの制御状態を全自動で制御する場合について説明した。しかし本発明はこれに限定されるものではなく、制御状態の遷移間違いなどを修正するための切替え手段を別途用意してもよい。さらに、現在の制御状態を利用者に通知する通知手段を設けることは制御状態のリカバリーに有効である。通知手段が現在の制御状態を提示することにより、利用者は制御状態が所望の状態でないことを容易に判別することが可能になる。

本実施形態においては、切替え手段は、図５の制御端末５０１にボタンとして設置してもよいし、音声認識による音声コマンドとして実現してもよい。一方、通知手段は、図５のカメラ１０４に設置してもよいし、ディスプレイ５０２に表示してもよい。

図１０は、カメラ１０４に通知手段を設けた例を示す図である。１００１はレンズ、１００２は、制御状態が音源追従状態の場合に点灯するランプ（LEDなど）、１００３は、制御状態が抑制状態の場合に点灯するランプである。

＜第８実施形態＞
上述の第３実施形態では、監視システムにおける撮像装置について、優先度が高い監視エリア（ビルの入口扉）が１つだけ存在する場合について説明した。本実施形態では、優先度が高い監視エリアが複数存在する場合について説明する。

図１１は、本実施形態における監視システムが設置されているビルのロビーの全体像を示す図である。図１１において、１１０１は正面入口、１１０２は通用口、１１０３はエレベータ、１１０４は受付である。これら４つのエリアが優先度の高い監視エリアである。それ以外の構成は図８と同じであるため説明を省略する。

図１４は、監視エリアごとの優先度を記述したテーブルの一例を示す図である。監視エリアは、正面入口１１０１、通用口１１０２、エレベータ１１０３、受付１１０４、及びその他に分類されている。また、監視レベルは３段階あり、数字が大きいほど監視レベルの優先度が高いものとする。さらに、監視レベルは監視モード（昼間／夜間）によって変化し、人の出入りが活発な昼間と、人の出入りが少ない夜間で異なるものとする。エレベータ１１０３の監視レベルは、監視モードが昼間の場合は２であるが、夜間の場合は３に設定される。同様に、その他のエリアの監視レベルは、監視モードが昼間の場合は１であるが、夜間の場合は２に設定される。なお、監視モード（昼間／夜間）は時間帯によって切り替えられるものとする。

図１２は、本実施形態における監視システムのモジュール構成を示すブロック図である。図１２において、特定方向保持部２０１は優先度が高い監視エリアの方向（カメラ１０４から監視エリアを見た方向）を保持する。優先度が高い監視エリアは複数存在してもよい。本実施形態では、監視レベル２以上の監視エリア（正面入口１１０１、通用口１１０２、エレベータ１１０３、受付１１０４）の方向を保持する。

音源検出部２０２は、マイクロホン１０５で集音された音を解析し、音源の方向を特定する。音源方向保持部２０３は、特定された音源の方向の情報を保持する。カメラ制御部２０４は、音源方向保持部２０３が保持する音源方向に追従するようにカメラ１０４の向きを制御する。ただし、常に音源に追従するようにカメラ１０４の向きを制御するわけではなく、所定の条件を満たさない場合はカメラ１０４の向きを音源に追従させることを抑制する。

監視モード判別部１２０１は、監視モードを判別する。監視モードには昼間の監視モードと夜間の監視モードがあり、これらは時間帯によって決定されるものとする。監視モード保持部１２０２は、監視モード判別部１２０１の判別結果を保持する。監視レベル判別部１２０３は、現在の監視エリアと音源方向の監視エリアにおける監視レベルをそれぞれ判別する。監視レベル保持部１２０４は、監視レベル判別部１２０３の判別結果（現在の監視エリアと音源方向の監視エリアにおける監視レベル）を保持する。

異常音判別部１２０５は、音源検出部２０２が検出した音源が正常音であるか異常音であるかを判別する。異常音保持部１２０６は、異常音判別部１２０５の判別結果を保持する。音量レベル判別部１２０７は、音源検出部２０２が検出した音源の音量レベルを判別する。音量レベル保持部１２０８は、音量レベル判別部１２０７の判別結果を保持する。撮影時間測定部１２０９は、カメラがある方向を撮影している時間を測定する。撮影時間保持部１２１０は、撮影時間測定部１２０９の測定結果を保持する。

監視情報保持部１２１１は、各監視エリアに対する監視モードごとの監視レベル（図１４）を保持する。また、監視モードごとの正常音と異常音を判別するための情報（図１５（後述））も保持する。さらに、各監視エリアに対する監視モードごとの音量レベル（図１６（後述））も保持する。カメラ方向保持部１２１２は、カメラの方向を保持する。

図１３は、本実施形態における監視システムの処理の流れを示すフローチャートである。なお、図１３において、太線矢印はカメラ制御の抑制に直接的、間接的に関係するフローを表している。

ステップＳ１３０１では、撮影時間測定部１２０９が撮影時間の測定を開始する。撮影時間測定部１２０９が測定する撮影時間とは、カメラが同一の方向を撮影している時間である。撮影時間測定部１２０９は、現在時刻を撮影時間保持部１２１０に保持し、ステップＳ１３０２に移る。撮影時間保持部１２１０が保持する時間情報と現在の時刻情報の差分からカメラが同一方向を撮影している時間が求まる。

ステップＳ１３０２では、音源検出部２０２が音源の検出を行う。音源を検出した場合はステップＳ１３０３に移る。音源を検出しない場合は、ステップＳ１３０２に戻る。

ステップＳ１３０３では、音源検出部２０２が音源の方向を検出し、検出した音源方向を音源方向保持部２０３に保持して、ステップＳ１３０４に移る。

ステップＳ１３０４では、カメラ制御部２０４が、音源検出部２０２が検出した音源の方向と、カメラ方向保持部１２１２が保持する現在のカメラの方向を比較する。方向が一致する場合はステップＳ１３０２に移る。方向が一致しない場合は、ステップＳ１３０５に移る。方向が一致するか否かの判定では、必ずしも完全に一致する必要はなく、方向にある程度の幅を持たせてもよいものとする。具体的には、角度差が10度以下の場合一致とみなす、などが有効である。このステップにより、同一方向から発生する音に対して、カメラを微小に制御することなく、安定した映像の撮影を継続することができる。

ステップＳ１３０５では、監視モード判別部１２０１が現在の監視モードを識別する。監視モードには昼間の監視モードと夜間の監視モードがある。本実施形態では、監視モードが昼間である時間帯を午前6時から午後11時とし、監視モードが夜間である時間帯を午後11時から午前6時とする。例えば、現在時刻が午前7時であれば、監視モードは昼間となり、現在時刻が午前3時であれば監視モードは夜間となる。監視モード判別部１２０１は、現在時刻をもとに現在の監視モードを識別し、監視モード保持部１２０２に現在の監視モードを保持して、ステップＳ１３０６に移る。

ステップＳ１３０６では、監視レベル判別部１２０３が現在のカメラ方向の監視レベル(Lc)と音源方向の監視レベル(Ld)をそれぞれ識別する。まず、現在のカメラ方向の監視レベルを識別する。カメラ方向保持部１２１２が保持する現在のカメラ方向が、特定方向保持部２０１が保持する監視レベル２以上の監視エリアの方向のうちのひとつに一致するか否かを確認する。一致する場合は、その監視エリアに該当する監視レベルを監視情報保持部１２１１から取得する。一致しない場合は、監視エリア「その他」の監視レベルを監視情報保持部１２１１から取得する。その際、監視モード保持部１２０２が保持する現在の監視モード情報を基に監視レベルを識別する。例えば、図１４において、現在のカメラ方向がエレベータ１１０３を向いており、監視モードが夜間の場合、現在のカメラ方向の監視レベルは３である。

同様に、音源方向の監視レベルを識別する。音源方向保持部２０３が保持する音源方向が、特定方向保持部２０１が保持する監視レベル２以上の監視エリアの方向のうちのひとつに一致するか否かを確認する。一致する場合は、その監視エリアに該当する監視レベルを監視情報保持部１２１１から取得する。一致しない場合は、監視エリア「その他」の監視レベルを監視情報保持部１２１１から取得する。その際、監視モード保持部１２０２が保持する現在の監視モード情報を基に監視レベルを識別する。例えば、図１４において、音源方向が「その他」の監視エリアであり、監視モードが昼間の場合、音源方向の監視レベルは１である。監視レベル判別部１２０３は、現在のカメラ方向の監視レベルと音源方向の監視レベルをそれぞれ監視レベル保持部１２０４に保持して、ステップS１３０７に移る。

ステップＳ１３０７では、カメラ制御部２０４が、現在のカメラ方向の監視レベルと音源方向の監視レベルを比較する。現在のカメラ方向の監視レベルと音源方向の監視レベルが一致する場合は、ステップＳ１３０９に移る。一致しない場合は、ステップＳ１３０８に移る。

ステップＳ１３０８では、カメラ制御部２０４が、現在のカメラ方向の監視レベルと音源方向の監視レベルを比較する。現在のカメラ方向の監視レベルより音源方向の監視レベルが大きい（優先度が高い）場合は、ステップＳ１３０９に移る。現在のカメラ方向の監視レベルより音源方向の監視レベルが小さい（優先度が低い）場合は、ステップＳ１３１０に移る。

ステップＳ１３０９では、カメラ制御部２０４が、音源方向保持部２０３が保持する音源の方向にカメラを制御して、ステップＳ１３０１に戻る。

ステップＳ１３１０では、異常音判別部１２０５が、音源方向から発生した音の種類を識別し、異常音であるか否かを判別する。これについては、図１５を使って後述する。異常音判別部１２０５の判別結果は異常音保持部１２０６に保持される。異常音保持部１２０６が保持する判別結果が異常音である場合は、ステップＳ１３０９に移る。正常音である場合は、ステップＳ１３１１に移る。

ステップＳ１３１１では、音量レベル判別部１２０７が音源方向から発生した音の音量レベルを判別する。これについては、図１６を使って後述する。音量レベル判別部１２０７の判別結果は音量レベル保持部１２０８に保持される。音量レベルがレベル２より大きい場合は、ステップＳ１３１２に移る。音量レベルがレベル２以下の場合はステップＳ１３０２に移る。

ステップＳ１３１２では、撮影時間測定部１２０９が現在のカメラ方向の撮影時間を計算する。撮影時間保持部１２１０が保持する現在のカメラ方向の撮影開始時間と現在時刻から撮影時間を計算し、撮影時間が２秒より長い場合はステップＳ１３０９に移る。撮影時間が２秒以下の場合はステップＳ１３０２に戻る。

図１５は、ステップＳ１３１０における異常音判別のためのテーブルの一例を示す図である。異常音の判別を行うために、まず、音源方向から発生した音の種類を識別する。識別する音の種類としては、銃声、ガラスが割れる音、物が壊れる音、叫び声、怒鳴り声、話し声、靴音、などが挙げられる。これらの識別には、公知の技術を利用することができる。

さらに、監視モードが昼間か夜間かによって、識別された音の種類が異常音であるか正常音であるかを判別する。例えば、図１５において、銃声は監視モードによらず異常音と判別される。一方、話し声や靴音は、監視モードが昼間の場合は正常音と判別されるが、監視モードが夜間の場合は異常音と判別される。なお、本実施形態では、異常音の判別の前処理として音の種類を識別する場合について説明したが、これに限定されるものではなく、直接異常音か否かを判別してもよい。この場合も判別分析など既存の手法を利用できる。

図１６は、ステップＳ１３１１における音量レベル判別のためのテーブルの一例を示す図である。音量のレベルは各監視エリアごとに設定されるものとする。例えば、図１６において、監視モードが夜間の場合の通用口１１０２のレベル１は40dBに設定されている。一方、監視モードが夜間の場合のエレベータ１１０３のレベル１は45dBに設定されている。これは、監視エリアごとの環境雑音を考慮するために有効である。また、音量のレベルは監視モードごとに設定されるものとする。例えば、正面入口１１０１の場合、監視モードが昼間の音量レベルは70dBに設定されているが、監視モードが夜間の音量レベルは60dBに設定されている。これは、昼間と夜間の環境雑音の大きさの違いを加味するために有効である。

以上説明したように、監視レベルの優先度が高い監視エリアが複数存在する場合において、監視レベル、カメラと音源の方向、監視モード、音源の音量レベル、音源の種類、同一方向の撮影時間に応じてカメラ制御が行われる。これにより、撮影すべきエリアをより適切に撮影することが可能になる。

さらに、現在のカメラの方向と音源の方向の情報を基にカメラ制御を抑制することによって、同一方向から発生する音に対して、カメラを微小に制御することなく、安定した映像の撮影を継続することが可能になる。

＜その他の実施形態＞
以上、本発明の実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の各機能を実現するプログラムを、システム又は装置に直接又は遠隔から供給し、そのシステム又は装置に含まれるコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。

従って、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、記録媒体としては、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

また、プログラムは、クライアントコンピュータのブラウザを用いてインターネットのホームページからダウンロードしてもよい。すなわち、ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードしてもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードする形態も考えられる。つまり、本発明の機能・処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の構成要件となる場合がある。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布してもよい。この場合、所定条件をクリアしたユーザにのみ、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報で暗号化されたプログラムを復号して実行し、プログラムをコンピュータにインストールしてもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現されてもよい。なお、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行ってもよい。もちろん、この場合も、前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ってもよい。このようにして、前述した実施形態の機能が実現されることもある。

第１実施形態における撮像装置のハードウエア構成を示すブロック図である。第１実施形態における撮像装置のモジュール構成を示すブロック図である。第１実施形態における撮像装置が音源追従状態から抑制状態へ遷移する処理の流れを示すフローチャートである。第１実施形態における撮像装置が抑制状態から音源追従状態へ遷移する処理の流れを示すフローチャートである。第１実施形態におけるテレビ会議システムが設置されているテレビ会議室の全体像を示す図である。第２実施形態における撮像装置のモジュール構成を示すブロック図である。第２実施形態における撮像装置の処理の流れを示すフローチャートである。第３実施形態における監視システムが設置されているビルのロビーの全体像を示す図である。第４実施形態における撮像装置が抑制状態から音源追従状態へ遷移する処理の流れを示すフローチャートである。第７実施形態における通知手段を有するカメラの例を示す図である。第８実施形態における監視システムが設置されているビルのロビーの全体像を示す図である。第８実施形態における監視システムのモジュール構成を示すブロック図である。第８実施形態における監視システムの処理の流れを示すフローチャートである。第８実施形態における監視エリアごとの優先度を記述したテーブルの一例を示す図である。第８実施形態における異常音判別のためのテーブルの一例を示す図である。第８実施形態における音量レベル判別のためのテーブルの一例を示す図である。

１０１制御メモリ
１０２中央処理装置
１０３メモリ
１０４カメラ
１０５マイク
１０６バス

Claims

撮像手段と、
音源の方向を検知する検知手段と、
前記検知手段により検知された音源の方向に追従するように前記撮像手段の向きを制御する制御手段と、
前記撮像手段から見た複数の特定の物体の各方向のデータを保持する保持手段と、
を備え、
前記制御手段は、前記撮像手段の向きが前記複数の特定の物体のうちのいずれか１つを撮影することができる方向範囲内にあるときは、前記保持手段に保持された方向以外には前記撮像手段を向けないように、前記制御を抑制することを特徴とする撮像装置。
前記特定の物体から人が離れていくことを認識する認識手段を更に備え、
前記制御手段は更に、前記認識手段により前記特定の物体から人が離れていくことが認識されたときは前記抑制を解除することを特徴とする請求項１に記載の撮像装置。
前記制御の状態をユーザに通知する通知手段を更に備えることを特徴とする請求項１又は２に記載の撮像装置。
請求項１乃至３のいずれか１項に記載の撮像装置を用いて会議を撮影することを特徴とするテレビ会議システム。
前記検知手段は、発言する会議参加者の方向を検知するものであり、
前記特定の物体は、会議に使用されるホワイトボード又は電子黒板とすることを特徴とする請求項４に記載のテレビ会議システム。
請求項１乃至３のいずれか１項に記載の撮像装置を用いて監視を行うことを特徴とする監視システム。
撮像手段から見た複数の物体の各方向のデータを保持する保持手段を備える撮像装置の制御方法であって、
検知手段が、音源の方向を検知する検知工程と、
制御手段が、前記検知工程で検知された音源の方向に追従するように前記撮像装置の向きを制御する制御工程と、
を有し、
前記制御工程は、前記撮像装置の向きが前記特定の物体のうちのいずれか１つを撮影することができる方向範囲内にあるときは、前記保持手段に保持された方向以外には前記撮像手段を向けないように、前記撮像装置の向きの制御を抑制することを特徴とする撮像装置の制御方法。
請求項７に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
請求項８に記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。