JP4324030B2 - カメラ制御装置、カメラ制御方法、及び記憶媒体 - Google Patents

Description

本発明は、撮像装置の状態を制御するためのカメラ制御装置、カメラ制御方法、及び記憶媒体に関するものであり、特に、追尾機能及び自動巡回機能のうち少なくとも１つの機能を達成するためのカメラ制御装置、カメラ制御方法、及び記憶媒体に関するものである。

コンピュータ制御可能なカメラが市販されており、姿勢やズームなどのカメラパラメータの組をプリセットとして登録できる。こうしたカメラを用いた監視システムでは、登録した複数のプリセットに対して順番にカメラ制御する機能があり、プリセット巡回などと呼ばれている。プリセット巡回の各プリセット位置において画像の動き検知処理を行う例が特許文献１に開示されている。ここではプリセットからプリセットへ移動するカメラ制御中は動き検知処理を停止し、誤検知を防止している。

パン、チルト、ズームを制御できるカメラの映像をインターネット上で公開する場合、視野範囲の一部を公開禁止にしたいという要望がある。このような要望に対して、一部のネットワークカメラにおいては、カメラ制御可能な視野範囲を制限する機能を持つものが市販されている。

一方、移動物体の追尾に関するさまざまな技術が提案されている。例えば特許文献２は、移動物体の色やヒストグラムに注目して追尾制御を行うものである。このほかにも、移動物体の一部をテンプレートとして記憶して追尾を行う方式や、動きベクトルに注目して追尾を行う方式などが知られている。また、フレーム間差分から動き領域を検知して追尾を行い、対象の色を記憶して追尾を続ける方式が特許文献３に開示されている。

さらに、プリセット巡回中に各プリセットにおいて画像の動き検知を行い、動きがあるとそのまま移動物体を追尾する手法が特許文献４に開示されている。これはカメラ制御に巡回モードと追尾モードの二つを設け、追尾中は巡回制御を停止するものである。
特許第２５４８８１４号 特開平１１−１５０６７６号公報 特開２００３−２１９２２５号公報 特開２００３−２５５４４２号公報

しかしながら、従来の方式では可視（視野）範囲制限と自動追尾を併用することが無かったため、自動追尾中に撮影禁止状態になった場合の動作は考慮されていなかった。またプリセット巡回から追尾処理を行う際に、所定の停止理由によりその追尾処理は停止されるが、その後プリセット巡回をどのように開始するかが考慮されていなかった。また、画像上で複数の可視範囲制限領域を指定した場合、プリセットからプリセットへの直線的な移動を行うと、プリセット巡回中に制限領域を通過する可能性があった。

本発明は上述した問題点を解決するためのものであり、検知した動き領域が撮影禁止状態に関係する場合でも適切なカメラ制御を行うことができるカメラ制御装置、カメラ制御方法、及び記憶媒体を提供することを目的とする。

また、プリセット巡回から自動追尾に切り換えさらに自動追尾停止後プリセット巡回に戻る場合においても、途中の位置や最寄りの位置といった適切な位置からプリセット巡回を再開することができるカメラ制御装置、カメラ制御方法、及び記憶媒体を提供することを目的とする。

また、可視範囲制限領域がある条件下でプリセット巡回を行う場合に、可視範囲領域を迂回することができるカメラ制御装置、カメラ制御方法、及び記憶媒体を提供することを目的とする。

上記目的を達成するために、本発明のカメラ制御装置は、撮像装置の状態を制御可能なカメラ制御装置であって、撮影した画像の動き領域を検知する動き検知手段と、検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御手段とを有し、前記動き領域に従って第１のパラメータの制御を行うと所定の撮影禁止状態になり、前記動き領域に従って第２のパラメータの制御を行うと所定の撮影禁止状態にならない場合、前記制御手段は、前記第１のパラメータの制御を行わず、前記第２のパラメータの制御を行うことを特徴とする。

また、本発明のカメラ制御装置は、撮像装置の状態を制御可能なカメラ制御装置であって、撮影した画像の動き領域を検知する動き検知手段と、検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御手段とを有し、前記動き領域に従ってパン角とチルト角のいずれか一方の制御を行うと前記撮像装置の視野範囲に可視範囲制限領域が含まれ、前記動き領域に従って前記パン角とチルト角の他方の制御を行うと前記撮像装置の視野範囲に前記可視範囲制限領域が含まれない場合、前記制御手段は、前記動き領域を含み前記可視範囲制限領域に隣接する撮影許可領域が撮像領域になるように、前記パン角とチルト角の前記一方のパラメータ制御値を設定し、前記設定された前記一方のパラメータ制御値と前記動き領域に従う前記他方のパラメータ制御値とに基づいて前記パン角とチルト角の制御を行うことを特徴とするカメラ制御装置。

また、本発明のカメラ制御装置は、撮像装置の状態を制御可能なカメラ制御装置であって、撮影した画像の動き領域を検知する動き検知手段と、前記検知した動き領域に従って、前記撮像装置のパラメータ制御を行う制御手段とを有し、前記動き領域に従ってパン角又はチルト角の制御を行うと、前記撮像装置の視野範囲に可視範囲制限領域が含まれる場合、前記制御手段は、前記視野範囲に前記可視範囲制限領域が含まれることを許可しない第１レベルと、前記視野範囲に前記可視範囲制限領域が含まれることを許可する第２レベルのいずれのレベルの優先度であるかに従い、前記撮像装置のパラメータ制御を行うことを特徴とする。

また、本発明のカメラ制御装置は、撮像装置の状態を制御可能なカメラ制御装置であって、視野範囲の分割領域単位で撮影の拒否を設定した可視範囲制限領域を保持する第１保持手段と、少なくとも１つの直線から構成される前記撮影位置の巡回経路を保持する第２保持手段と、前記巡回経路を複数の直線の組み合わせからなる経路に分割することで前記可視範囲制限領域を通過しない新たな巡回経路を作成する経路作成手段と、前記経路作成手段により作成された新たな巡回経路に従い撮像装置を巡回制御する制御手段と、を有することを特徴とする。

また、本発明のカメラ制御方法は、撮像装置の状態を制御するカメラ制御方法であって、撮影した画像の動き領域を検知する動き検知工程と、検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御工程とを有し、前記動き領域に従って第１のパラメータの制御を行うと所定の撮影禁止状態になり、前記動き領域に従って第２のパラメータの制御を行うと所定の撮影禁止状態にならない場合、前記制御工程は、前記第１のパラメータの制御を行わず、前記第２のパラメータの制御を行うことを特徴とする。

また、本発明のカメラ制御方法は、撮像装置の状態を制御するカメラ制御方法であって、撮影した画像の動き領域を検知する動き検知工程と、検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御工程とを有し、前記動き領域に従ってパン角とチルト角のいずれか一方の制御を行うと前記撮像装置の視野範囲に可視範囲制限領域が含まれ、前記動き領域に従って前記パン角とチルト角の他方の制御を行うと前記撮像装置の視野範囲に前記可視範囲制限領域が含まれない場合、前記制御工程は、前記動き領域を含み前記可視範囲制限領域に隣接する撮影許可領域が撮像領域になるように、前記パン角とチルト角の前記一方のパラメータ制御値を設定し、前記設定された前記一方に関するパラメータ制御値と前記動き領域に従う前記他方に関するパラメータ制御値とに基づいて前記パン角とチルト角の制御を行うことを特徴とする。

また、本発明のカメラ制御方法は、予め保持しておいた少なくとも１つの直線から構成される巡回経路に従い撮像装置の状態を制御するカメラ制御方法であって、視野範囲の分割領域単位で撮影の拒否を設定した可視範囲制限領域に基づき前記巡回経路を複数の直線の組み合わせからなる経路に分割することで前記可視範囲制限領域を通過しない新たな巡回経路を作成する経路作成工程と、前記経路作成工程において作成された新たな巡回経路に従い撮像装置を巡回制御する制御工程と、を有することを特徴とする。

また、本発明の記録媒体は、撮像装置の状態を制御するカメラ制御手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、撮影した画像の動き領域を検知する動き検知手順と、検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御手順とを記録し、前記動き領域に従って第１のパラメータの制御を行うと所定の撮影禁止状態になり、前記動き領域に従って第２のパラメータの制御を行うと所定の撮影禁止状態にならない場合、前記制御手順は、前記第１のパラメータの制御を行わず、前記第２のパラメータの制御を行うことを特徴とする。

また、本発明の記録媒体は、撮像装置の状態を制御するカメラ制御手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、撮影した画像の動き領域を検知する動き検知手順と、検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御手順とを記録し、前記動き領域に従ってパン角とチルト角のいずれか一方の制御を行うと前記撮像装置の視野範囲に可視範囲制限領域が含まれ、前記動き領域に従って前記パン角とチルト角の他方の制御を行うと前記撮像装置の視野範囲に前記可視範囲制限領域が含まれない場合、前記制御手順は、前記動き領域を含み前記可視範囲制限領域に隣接する撮影許可領域が撮像領域になるように、前記パン角とチルト角の前記一方のパラメータ制御値を設定し、前記設定された前記一方のパラメータ制御値と前記動き領域に従う前記他方のパラメータ制御値とに基づいて前記パン角とチルト角の制御を行うことを特徴とする。

また、本発明の記憶媒体は、予め保持しておいた少なくとも１つの直線から構成される巡回経路に従い撮像装置の状態を制御するカメラ制御方法を実行するためのプログラムコードを記憶した記憶媒体であって、視野範囲の分割領域単位で撮影の拒否を設定した可視範囲制限領域に基づき前記巡回経路を複数の直線の組み合わせからなる経路に分割することで前記可視範囲制限領域を通過しない新たな巡回経路を作成する経路作成コードと、前記経路作成コードにより作成された新たな巡回経路に従い撮像装置を巡回制御する制御コードと、を有することを特徴とする。

本発明によれば、検知した動き領域が撮影禁止状態に関係する場合でも適切なカメラ制御を行うことができるという効果がある。

また、プリセット巡回から自動追尾に切り換えさらに自動追尾停止後プリセット巡回に戻る場合においても、途中の位置や最寄りの位置といった適切な位置からプリセット巡回を再開することができるという効果がある。

また、可視範囲制限領域がある条件下でプリセット巡回を行う場合に、可視範囲領域を迂回することができるという効果がある。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施形態）
本実施形態では、移動物体の追尾を行う際に撮影禁止領域への制御命令が発生する場合には、追尾を中止して元の動き検知位置に戻るような移動物体追尾システムの例を述べる。

図１は本実施形態における移動物体追尾システムの構成例である。このシステムはカメラ装置１００とカメラ制御装置２００とカメラクライアント４００からなる。カメラ装置は光学系１１０と雲台１２０からなり制御装置２００に信号線を通じて接続される。カメラ装置１００はフォーカスや露出、シャッタースピードなどに関する不図示の制御回路を備え、光学系を自動的に制御して最適な画像を撮影する。カメラ装置１００はコンピュータ制御可能な市販のカメラを用いることが可能である。カメラクライアント４００はカメラ制御装置からの画像を表示可能であり、かつカメラ装置１００の各種状態を遠隔制御することが可能である。

制御装置２００はＣＰＵ２１０、ＲＯＭ２２０、ＲＡＭ２３０、画像取得回路２４０、符号化回路２５０、カメラ制御回路２６０、雲台制御回路２７０、周辺機器インターフェース２８０を備え、これらは内部バスを通じて接続される。また、通信部２９０を通じてネットワーク３００に画像や装置の状態を送信したり、制御信号を受信したりする機能を備える。符号化回路２５０は画像の符号化を行うものである。画像の符号化の方式としては、ＪＰＥＧやＭＰＥＧ１／２／４、Ｈ．２６４などの手法があるが本実施形態は符号化の方式に依存するものではない。カメラ制御装置２００は画像取得回路と符号化回路を備えるコンピュータであり、既存の技術を用いて構成可能である。

図１ではカメラ装置１００とカメラ制御装置２００が分離した構成を示している。しかしそれは本実施形態のハードウェア構成の一例であり、外観上一体型の構成にすることも可能である。またカメラを汎用のＰＣに接続した構成も可能であり、その場合は不図示のビデオ回路に外部ディスプレイが接続し、周辺機器インターフェース２８０にマウスやキーボードが接続された構成をとる。

次にカメラ制御処理と画像処理の観点から見たハードウェアの機能ブロックを図２に示す。図２は言い換えれば図１における画像信号や制御信号の流れを示したものである。このため、図１と同じ表現で機能を説明可能なブロックは同一番号で示す。機能ブロックはカメラ装置１００とカメラ制御装置２００からなり、カメラ部は図１と同じである。カメラ制御装置２００は画像処理・カメラ制御部２１１、画像バッファ２２１、符号化部２５０、カメラ制御部２６０、雲台制御部２７０、通信部２９０から構成される。ここで画像バッファ２１１は物理的にはＲＡＭ２３０であり、画像処理・カメラ制御部２１１は物理的にはＣＰＵ２１０である。

画像信号の流れを説明する。まず、カメラ１１０から画像を取得し画像バッファ２２１に蓄積する。画像バッファに蓄積された画像は符号化回路２５０で符号化され、通信回路２９０を通じてネットワーク３００に送信される。ネットワーク３００に接続されたカメラクライアント（ＰＣ）４００は、送信された画像を受信して表示装置上に表示することや記憶装置に記憶することができる。他方で、画像は画像バッファ２２１から画像処理・カメラ制御部２１１にも送られ、ここで画像の動き検知処理を行う。もし動きが検知された場合には、動きのあった方向にカメラを制御する制御信号を生成して、カメラ制御部２６０と雲台制御部２７０に送信し、カメラ制御を行う。

画像の動き検知処理は、例えば画像間の差分により行われる。差分方法としては隣接フレーム間差分や背景差分がよく知られている。隣接フレーム間差分の差分演算としては、座標が同じ画素の明度差の絶対値や、ＪＰＥＧ符号化ブロック単位でのＤＣＴ係数の差の絶対値和などが用いられ、注目領域に関してこれらの差分結果を積算した値があらかじめ定めたしきい値を超えると動きありとする方式がある。しかしながら、本発明は動き検知の方法に依存するものではない。

次に本実施形態における撮影禁止領域の例を図３に示す。図３（ａ）は撮影可能範囲という観点から、パン・チルト・ズームの制御可能な範囲を指定するＧＵＩの例である。視野を用いてカメラ制御可能な範囲を表すと、視野全体は３００のようになる。このうち制御可能な視野範囲である撮影許可領域３２０を設定することでパン、チルトの制御可能領域が決まり、ズームのワイド端とテレ端は相似形状の二つの矩形３３０を操作することで指定する。撮影許可領域３２０が定まると、制御不可能な視野範囲である撮影禁止領域３１０が定まる。

このＧＵＩは、ネットワークを介して接続されたカメラクライアント（ＰＣ）４００の表示装置上に表示させても、カメラ制御装置に直接接続された表示装置に表示させてもよい。なお、ＧＵＩ上の位置指定手段としては、マウスのほかタッチパネルディスプレイ等を利用すればよい。

結果として図３（ｂ）に示すようなパン、チルト、ズームの最大値と最小値からなる制御許可範囲データを得る。ここでＮｏｎｅとは制限がないことを示す。図３（ｂ）に示すデータは直接入力することも可能であるし、また、パン、チルト、ズーム以外の属性の範囲を指定することも可能である。

次に本実施形態におけるソフトウェア処理手順の概要を図４のフローチャートで説明する。本フローチャートの処理はＲＯＭ２２０に記憶されたプログラムに従いカメラ装置２００のＣＰＵ２１０が実行する。

本実施形態における追尾装置の動作状態は動き検知モードと追尾モードの二つのモードを有する。動き検知モードで動き領域を検知すると、動きのある方向にカメラを制御する追尾モードに移行し、逆に追尾モードで対象を見失うと、動き検知モードに戻る。

動き検知モードでは開始後Ｓ４０１において動き検知プリセットを指定している場合には、そのプリセット位置への移動を行う。次にＳ４０２で既に説明した動き検知処理を行い、Ｓ４０３で動きが発生したかどうかを判別する。もし、動きがない場合にはＮ分岐し、Ｓ４０２に戻って動き検知処理を続ける。もし動きが発生した場合にはＹ分岐し、追尾モードへ移行する。

追尾モードでは開始後、Ｓ４０４で再度動き検知を行う。動き検知モードと追尾モードにおける動き検知処理の違いは、動き検知モードにおける動き検知処理は画像上で特定の部分領域に対して処理を行うのに対し、追尾モードにおける動き検知処理は画面全体に対して行うことである。これは、動き検知時は例え出入り口などのあらかじめ動きの発生が予想される部分を指定することが多いからである。一方で追尾時はできるだけ広い範囲に注目して追尾対象を検出したいからである。

動き検知処理後、Ｓ４０５で動きの有無を判別する。もし動きがない場合にはＮ分岐し、Ｓ４０８で動きのない時間の連続性を確認し、もし動きの無い時間があらかじめ決められた時間を超過していれば、Ｙ分岐して動き検知モードに進む。もし動きの無い時間があらかじめ決められた時間よりも短ければＮ分岐し、Ｓ４０４に戻って再度動き検知処理を行う。

Ｓ４０５で動きありと判別された場合にはＹ分岐し、Ｓ４０６に進んで制御目標位置が撮影禁止領域外かどうかを判別する。もし撮影禁止領域外（撮影許可領域内）であればＹ分岐し、Ｓ４０７に進んで追尾処理としてのカメラ制御を行う。もし撮影禁止領域外（撮影許可領域内）でなければＮ分岐して追尾処理としてのカメラ制御を中止し、Ｓ４０４に戻って動き検知処理を継続する。

Ｓ４０７におけるカメラ制御は、例えば動き検知処理Ｓ４０４で得た動き情報を基にして画像上で動きのあった領域を求め、その重心点が画像中央に来るようにカメラ制御する。そして、カメラ制御終了後、カメラが安定するのを待って再び動き検知処理Ｓ４０４を行うことを繰り返す。これは、カメラの移動中にフレーム間差分のような画像処理を行うと、カメラの移動により画像にブレが生じ、結果として誤検知が発生するためである。もちろん本実施形態は追尾方法に依存するものではないので、例えば移動物体の色や柄、エッジなどの特徴量を記憶して継続的に追尾を行う方式を使用することもなんら問題ない。

以上の説明からも明らかなように、本実施形態によれば、姿勢制御可能なカメラを用いた追尾システムにおいて、追尾の際に撮影禁止領域へのカメラ制御を行わないカメラ制御方法により、上記撮影禁止領域のような可視範囲制限領域のある状況でも追尾機能を提供できる。

（第２の実施形態）
本発明に関わる別の実施形態として、図５に示すように撮影禁止領域をブロック単位で指定することができるシステムについて説明する。

図５は図４と同様にカメラの視野を表したものであるが、ここで領域全体を等分に分割したブロック５１０を単位として可視範囲制限領域、すなわち、撮影禁止領域５２０を指定する。その結果、例えば撮影禁止領域５２０と撮影可能領域５３０を指定できる。このように可視範囲制限を指定した場合、あるパン・チルト値が制御許可領域にあるかどうかを求めるには、撮影禁止領域の境界がカメラの視野を現す矩形と交わるかどうかを検出すればよい。

本実施形態では、撮影不可能な領域を指定する代わりに、撮影可能な領域を指定することで同様な効果を得ることも可能である。また、図５では均等に分割したブロックを用いたが、不均等なブロックあるいは任意形状に分割した領域を単位として、カメラ制御可能な領域を指定することによっても同様な効果を得ることはいうまでも無い。

以上説明したように本実施形態によれば、実施形態１の追尾装置においてブロック単位で撮影禁止領域（または撮影許可領域）を設定することにより、非連続な撮影禁止領域を設定することができる。

（第３の実施形態）
本発明に関わる別の実施形態として、追尾時に追尾対象方向へのカメラ制御が許可されない場合であっても、可視範囲制限領域（撮影禁止領域）に隣接する位置、すなわち撮影許可領域の限界まで制御を行う自動追尾方式を説明する。

図６は本実施形態におけるカメラ制御方法の説明図である。図３と同様に撮影禁止領域３１０と撮影許可領域３２０がある。現在のカメラの視野は６１０で表され、視野の中心がパン・チルト角度となる。このとき対象物の位置が６４０と計測され、その方向にカメラ制御を行うことを考える。この場合、チルト方向には撮影禁止領域まで十分な余裕があるため制御が可能であるが、パン方向は余裕が無いため追尾対象が視野の中心になるように制御できない。すなわち、パン方向に関して追尾対象を視野の中心になるように制御すると視野範囲に可視範囲制限領域が含まれてしまう。そこでパン方向に関しては、撮影許可領域に収まる限界値を求めることにする。

具体的には以下のように制御値を求める。図６において、カメラがＰ１の位置にあるとき追尾対象の位置がＴ１（Ｔｘ、Ｔｙ）と計測されたとき、次回のカメラ移動位置Ｐ２（Ｐｘ、Ｐｙ）を次のように求める。
Ｐｘ＝Ｍｉｎ（Ｐｘ’、Ｒｘ１−Ｗ／２）、Ｐｘ’＝Ｍａｘ（Ｒｘ０＋Ｗ／２、Ｔｘ）
Ｐｙ＝Ｍｉｎ（Ｐｙ’、Ｒｙ１−Ｈ／２）、Ｐｙ’＝Ｍａｘ（Ｒｙ０＋Ｈ／２、Ｔｙ）
但し、撮影許可領域は、（Ｒｘ０、Ｒｙ０）−（Ｒｘ１、Ｒｙ１）、カメラの視野角は（Ｗ、Ｈ）であり、また視野範囲は視野角より広い、すなわち、Ｒｘ１−Ｒｘ０＞ＷかつＲｙ１−Ｒｙ０＞Ｈであるものとする。

図ではＴｘ＞Ｒｘ０＋Ｗ／２であるが、Ｔｘ＞Ｒｘ１−Ｗ／２であるため、Ｐｘ＝Ｒｘ１−Ｗ／２となり、結果としてチルト角度は追尾対象位置であるが、パン角度は撮影許可領域の限界となる。また、次の追尾制御では位置Ｐ２において追尾対象Ｔ２が観測されたものの、パン・チルト方向共に撮影許可領域の限界であるため、カメラ制御位置はＰ３＝（Ｒｘ１−Ｗ／２、Ｒｙ１−Ｈ／２）となる。

また、カメラ制御に関して優先度付の制御権を付与することが可能である。制御権とは複数のユーザーが同時にカメラを制御した場合の混乱を避けるために、カメラの制御を排他的に許可するものである。例えば、図１のネットワーク３００に複数のカメラクライアントが接続されている場合、制御権を有するクライアントはカメラ１００のパン角度やチルト角度等各種パラメータを制御することができ、制御権を有していない他のクライアントはカメラからの映像を表示できるのみで、パラメータ制御を行うことができない。

制御権の付与や解除はカメラ制御装置２００により管理されており、カメラ制御装置２００は予め保持している優先度管理テーブルに従い制御を付与する。優先度はレベルとして表現され、レベルの低い優先度を持つクライアントによるカメラ制御中に、レベルの高い優先度を持つクライアントからカメラ制御要求があった場合は、制御権を譲渡する必要がある。

動き検知から追尾動作に至る場合、通常これら動作を管理すべきカメラクライアントが制御権を取得・保持するが、このときも、可視範囲制限の影響を受け、撮影許可領域の限界までしか制御を行うことはできない。

しかし、制御権に付属する優先度のレベルによっては可視範囲制限の影響を受けないようにすることが可能である。この場合はカメラの機構によって決まる物理的な限界までカメラを制御することができる。追尾装置の動作手順において、制御権に付属する優先度のレベルを判断して可視範囲制限を適用するかどうかは図４のＳ４０６で判別する。

つまり、Ｓ４０６において、優先度のレベルが高い場合は、Ｙ分岐してＳ４０７のカメラ制御を実行し、優先度のレベルが低い場合は、Ｎ分岐してＳ４０７のカメラ制御を行わないようにする。

優先度のレベルの決定方法にはさまざまな方法があり、接続するクライアントによって設定する方法や、ユーザーごとに設定する方法がある。また追尾の場合はカメラ内部の追尾モジュールに対して優先度のレベルを付与するが、これには時間によって高いレベルを付与したり、追尾対象の重要度によっては高いレベルを付与したりすることが可能である。追尾対象の重要度とは、例えば顔を検知した場合は重要度を高める場合が考えられる。あるいは顔を検知した場合に認証を行い、特定の人物と判断された場合には優先度のレベルを高めることが可能である。

これら重要度の情報は、予めカメラ制御装置２００のＲＯＭ２２０やＲＡＭ２３０等に記憶しておき、ＣＰＵ２１０が、追尾制御と並行して、撮影画像に関する顔検知等識別処理や認証処理を実行すればよい。

以上述べたように、本発明によれば、追尾時のパン・チルト制御において、追尾対象の位置と撮影禁止領域を比較し、追尾対象位置へカメラ制御できない場合には、撮影許可領域の限界位置、すなわち撮影禁止領域に隣接する位置までカメラ制御することによって、少しでも追尾対象に近づくようにカメラ制御することができる。

（第４の実施形態）
本発明に関わる別の実施形態として、複数のプリセット位置に順次カメラを制御するプリセット巡回に中に、追尾対象を検知した場合のカメラの動作に関して説明する。

プリセット巡回を行う場合のハードウェア構成は図１と同じであるので説明を省略する。また機能ブロックは、図７に示すようにプリセット巡回情報２２２を用意し、画像処理・カメラ制御モジュール２１１がこれを読み込んでカメラ制御を行う他は図２のブロック構成と同じである。なおプリセット巡回情報２２２はＲＡＭ２３０に保存される。

カメラ制御信号の流れはプリセット巡回時と自動追尾時で異なる。プリセット巡回時は、画像処理・カメラ制御部２１１がプリセット巡回情報２２２に記憶された最初のプリセット巡回情報を読み出し、カメラ制御回路２６０と雲台制御回路２７０に対して所定の値にカメラ１００を制御するように要求すると、制御回路がプリセット位置にカメラを制御する。

一方、自動追尾時は、画像処理・カメラ制御部２１１において画像処理を行った結果、画面上での追尾対象の位置が決定されるので、対象を画面中央に移動するような制御信号を画像処理・カメラ制御部２１１で生成し、プリセット巡回時と同様な手順でカメラ制御回路２６０、雲台制御回路２７０を通じてカメラ１００を制御する。

次にプリセット巡回情報２２２としてＲＡＭ２３０に保持されるデータの例を、図８を用いて説明する。プリセット巡回情報は、プリセット番号、巡回番号、停留時間、パン、チルト、ズームからなる。巡回番号はプリセット巡回を行う順序であり、停留時間はプリセット位置に停止する時間である。パン、チルト、ズームは各プリセットへのカメラ制御に用いるカメラパラメータであり、パンとチルトは角度、ズームは倍率または視野角で表現される。もちろんこのほかにフォーカス情報や露出情報を記録することもなんら問題ないが、説明の都合上、自動追尾によく用いるパラメータをプリセット情報とする。

次に本実施形態におけるプリセット巡回および追尾処理の処理手順を、図９のフローチャートを用いて説明する。図９ではプリセット巡回および追尾処理に関する部分のみを記述し、光学系の自動制御処理、あるいは、装置を制御するためのＯＳ（オペレーションシステム）の動作や、割り込み・例外処理などは説明しない。また、Ｓ９０１からＳ９０６までは巡回モードであり、Ｓ９１０からＳ９１９までは追尾モードである。

開始後Ｓ９０１で巡回位置を確認する。もし一度も巡回を行っていない場合や、一通り巡回を行った場合には巡回位置を初期化する。次にＳ９０２で確認したプリセット巡回位置に対してカメラ制御する。

次にＳ９０３で画像を１枚撮影し、カメラ１００で撮影した画像を画像バッファ２２１に保存する。次にＳ９０４で動き検知処理を行い、Ｓ９０５で動きがあったかどうかを判別する。もし動きがあればＹ分岐し追尾モードに遷移する。もし動きがない場合にはＮ分岐し、Ｓ９０６で停留時間、すなわち現在のプリセット位置に留まる時間が経過したかどうか判別する。もし時間が経過していなければＮ分岐し、Ｓ９０４に戻って動き検知処理を継続する。もし時間が経過していればＹ分岐し、Ｓ９０１に戻って次のプリセット巡回位置を確認する。

Ｓ９０５で動きありとしてＹ分岐した場合、追尾モードに遷移する。追尾モードでは、カメラ制御を行う前に、Ｓ９１４でカメラ制御量を計算し、Ｓ９１５でカメラ制御位置が撮影禁止領域外かどうかを判別する。ここで、カメラ制御量は実施形態１や３と同様に、画像上での動き領域の重心位置が画面中央に移動するように計算する。もし撮影禁止領域外であれば（許可領域であれば）Ｙ分岐し、Ｓ９１６でカメラ制御を行う。もし撮影禁止領域外でなければＮ分岐しＳ９１０に進む。

Ｓ９１０で画像を取得し、Ｓ９１１で動き検知処理を行う。Ｓ９１０およびＳ９１１の処理はＳ９０３およびＳ９０４の処理と同一である。次にＳ９１２で動きがあったかどうか判別する。もし動きがあればＹ分岐し、Ｓ９１３で追尾処理の連続失敗回数を０に初期化する。次にＳ９１４に進んで既に説明したカメラ制御量の計算からカメラ制御に至る処理を行う。

Ｓ９１２で動きがない場合にはＮ分岐し、Ｓ９１７に進んで追尾処理の連続失敗回数を１増加する。そしてＳ９１８で連続失敗回数を確認し、もし連続失敗回数が既定値以上の場合はＹ分岐してＳ９１９で巡回位置を設定し、プリセット巡回モードに遷移する。Ｓ９１８において、もし連続失敗回数が既定値に満たない場合にはＮ分岐し、Ｓ９１０に戻って引き続き追尾処理を継続する。

プリセット巡回モードに戻る際の巡回位置は、追尾モードに遷移する際に最後に巡回した位置に戻る方法や、プリセット巡回の初期位置に戻る方法や、現在のカメラ位置に最も近いパン・チルト位置を持つプリセットに戻る方法などがある。このうち現在のカメラ位置に最も近いパン・チルト位置を求めるためには、全ての巡回プリセットのパン・チルト位置と現在のパン・チルト位置との間の距離を比較し、最も距離が短いプリセットを求めればよい。また、パン・チルト位置が同一の最短プリセットが複数ある場合には、他のカメラパラメータ、例えばズーム値などが近いプリセットを選択する。

Ｓ９１４からＳ９１６におけるカメラ制御方法は実施形態１と同様に撮影禁止領域へのカメラ移動処理を行わない方式であるが、これは実施形態３のように、カメラ制御が可能な範囲でより対象物体へ近づく処理とすることも可能である。

以上述べたように本実施形態によれば、プリセット巡回中に動き検知を行い、動きが検知されれば続けて追尾を行う自動追尾装置において、カメラ制御位置が撮影禁止領域にある場合には追尾を行わない機能を有する自動追尾装置を提供する。

（第５の実施形態）
さらに本発明に関わる別の実施形態として、ブロック単位で撮影禁止領域を指定した場合、プリセット巡回時に撮影禁止領域を迂回してカメラ制御する方法を説明する。

本実施形態におけるプリセット巡回を模式的に表すと図１０に示すようになる。図において、制御可能な視野上に撮影禁止領域３１０、３１１と撮影可能領域３２０が存在し、プリセット１０１１〜１０１４が設定されている。撮影禁止領域３１１は他の禁止領域とは接することのない領域である。またプリセットは巡回の順序は決まっており、図では１０１１、１０１２、１０１３、１０１４の順に巡回する。

領域３１１が存在するため、プリセット１０１２からプリセット１０１３への巡回時、および、プリセット１０１３からプリセット１０１４への巡回時に直線的な移動を行った場合、当該撮影禁止領域と移動中の視野が重複する。ここで視野の重複を求める方法は二つのプリセットを直線で結び、直線から視野の対角線の半分の距離内に撮影禁止領域が存在する場合には重複と判別する。

このような重複が生じた場合、撮影禁止領域を迂回してカメラを制御すればよい。例えばプリセット１０１２から１０１３への移動の場合、経路１０２０に示すような迂回移動であれば撮影禁止領域との重複は生じない。同様にプリセット１０１３から１０１４への移動も経路１０３０に示すような経路を用いればよい。

図１１を用いて経路を求める方法を説明する。図ではプリセットＰ１からＰ２への移動に際して、撮影禁止領域が間に存在している。図１１（ａ）は直線的に移動した場合の経路である。この場合は撮影禁止領域を横切ることになる。そこで、直線上で撮影禁止領域に最も近い点Ｎ１１を求める。直線と撮影禁止領域の距離に関して、直線が撮影禁止領域上にあり両者が重複する部分については全て０とし、その上で距離０の点のうち、撮影禁止領域の重心との距離が最も近い点を選択する。

Ｎ１１が求まればＮ１１を左右上下いずれかに移動する。ここで移動の方向は経路の軸と垂直方向により近い方向で、かつ、撮影禁止領域の重心から離れる向きを選択する。また移動量は移動後の節点と撮影禁止領域との距離が視野の対角線の１／２＋αになるようにする。その結果、図１１（ｂ）のように右方向に移動すればよいことがわかる。αの値は適当な正の値を用いるが具体的な値は述べない。その結果、新たな経路Ｒ２を求めることができる。

図１１（ｂ）の経路Ｒ２を再度検証すると、まだ撮影禁止領域と視野が重複する部分がある。そこで、経路Ｒ２の各辺に対して、新たな接点Ｎ２１、Ｎ２２を求めて経路Ｒ３を作成する。再び重複に関する検証を行うとＲ３は重複しないことが判明したので、最終的に４つの辺と２つの節点を持つ重複のない経路を作成することができた。なお、図１１では節点の移動は上下左右方向であったが、経路の軸と垂直方向で撮影禁止領域の重心から離れる向き、とすることも可能である。

以上の経路作成手順を図１２のフローチャートで説明する。経路作成は経路を構成する全ての辺に対して、Ｓ１２１０〜Ｓ１２１４の経路分割処理を適用する。

開始後Ｓ１２０１で最初の辺に対してＳ１２１０以下の経路分割処理を呼び出す。まずＳ１２１０で指定された辺の撮影禁止領域までの距離を求める。次にＳ１２１１で撮影禁止領域と視野の重複を確認し、もし重複しなければＹ分岐して分割処理を終了する。Ｓ１２１１でもし撮影禁止領域と視野が重複するようであればＮ分岐し、Ｓ１２１２で分割制限以数以下であるかどうかを確認する。もし制限数を超えている場合にはＮ分岐して分割を中止する。もし分割制限数以下である場合にはＹ分岐して、Ｓ１２１３で最近接点を節点とする辺の分割を行う。次にＳ１２１４で分割後の２辺に対してＳ１２１０以下を適用する再帰呼び出し処理を行う。

分割処理からＳ１２０１に戻った後、Ｓ１２０２で全ての辺に対する処理が終了したかどうか確認する。もし終了していない場合にはＮ分岐し、Ｓ１２０１に戻って分割処理を続ける。もし終了した場合にはＹ分岐し、Ｓ１２０３で処理結果を経路データとして形式を整えて終了する。

以上の方法において、新たな経路を作成する回数は有限にする。また、撮影禁止領域の形状や撮影禁止領域とプリセット位置の関係によっては、重複しない経路を作成できない場合がある。そのような場合は、移動の際にカメラ映像を遮断することで結果として可視範囲制限領域を撮影することなくプリセット巡回が可能である。

なお、本実施形態におけるプリセット巡回経路を実際にカメラの動作手順に適用する場合、例えば図９のカメラ制御Ｓ９０２の前に巡回経路の作成を行えばよい。

以上の説明からも明らかなように本実施形態によれば、ブロック単位で可視範囲領域を設定された場合の巡回プリセット設定において、直線的なカメラ制御を行った場合に可視範囲外にカメラ制御をする場合であっても、カメラ撮影を有効にしたままプリセット巡回を行うことができる。

（他の実施形態）
上記各実施形態では、発明に係るカメラの制御パラメータ及び設定する撮影禁止状態として、パン角度、チルト角度を例に説明したが、本発明はこれに限るものではなく、ズーム倍率、フォーカス、露出、シャッタースピード、ホワイトバランス、逆光補正係数等の他のパラメータ、及びこれらの組み合わせでもよい。例えば、他の実施形態として、パン角度とズーム倍率とについて撮影禁止状態を設けて、上記実施形態と同様の構成での制御を行うもの等が考えられる。

また、例えば、本発明に係る処理の一部または全部を、カメラクライアントにおいて実行するソフトウェア処理として実現してもよいことは言うまでもない。

すなわち、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きもまれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、このような記憶媒体を含む装置をネットワーク上に配置させておき、記憶媒体に記憶されたプログラムをネットワークを介して所定の装置へダウンロードし、ダウンロードしたプログラムを実行することによっても、本発明の上記実施形態の機能が実現されることは言うまでもない。

カメラ制御装置のハードウェア構成例。 カメラ制御装置の機能モジュール構成例。 可視範囲領域の説明図。 可視範囲制限がある場合の自動追尾動作手順。 別の可視範囲領域指定方法の説明図。 可視範囲制限境界付近に追尾対象がある場合の追尾動作の説明図。 プリセット巡回を行う場合の自動追尾装置の機能モジュール説明図。 プリセット巡回リストの例。 プリセット巡回と自動追尾の動作手順。 可視範囲制限時のプリセット巡回経路の概念図。 可視範囲制限領域を迂回する巡回経路の自動生成原理の説明図。 可視範囲制限領域を迂回する巡回経路の自動生成処理手順。

符号の説明

１００ カメラ
２００ カメラ制御装置
３００ ネットワーク
４００ カメラクライアント

Claims (18)

1. 撮像装置の状態を制御可能なカメラ制御装置であって、
   撮影した画像の動き領域を検知する動き検知手段と、
   検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御手段とを有し、
   前記動き領域に従って第１のパラメータの制御を行うと所定の撮影禁止状態になり、前記動き領域に従って第２のパラメータの制御を行うと所定の撮影禁止状態にならない場合、前記制御手段は、前記第１のパラメータの制御を行わず、前記第２のパラメータの制御を行うことを特徴とするカメラ制御装置。
2. 前記撮像装置のパラメータとは、パン角度、チルト角度、ズーム倍率のいずれか１つないしは複数のパラメータの組み合わせであり、撮像装置の状態とは前記パラメータが特定の値ないしは値の組を有することであることを特徴とする請求項１に記載のカメラ制御装置。
3. 前記撮像装置の撮影禁止状態とは、パン角度、チルト角度、ズーム倍率の少なくとも１つのパラメータ値の範囲により設定され、前記制御手段は、前記設定された範囲に前記パラメータ値が該当する場合に前記パラメータ制御を中止することを特徴とする請求項１または２に記載のカメラ制御装置。
4. 前記撮像装置の撮影禁止状態とは、視野範囲の分割領域単位で撮影の許可ないしは拒否を指定することによって決まる可視範囲制限領域にパン角度またはチルト角度の値がある状態であり、前記制御手段は、前記可視範囲制限領域にパン角度またはチルト角度が含まれてしまう場合にパラメータ制御を中止することを特徴とする請求項１に記載のカメラ制御装置。
5. 撮像装置の状態を制御可能なカメラ制御装置であって、
   撮影した画像の動き領域を検知する動き検知手段と、
   前記検知した動き領域に従って、前記撮像装置のパラメータ制御を行う制御手段とを有し、
   前記動き領域に従ってパン角又はチルト角の制御を行うと、前記撮像装置の視野範囲に可視範囲制限領域が含まれる場合、前記制御手段は、前記視野範囲に前記可視範囲制限領域が含まれることを許可しない第１レベルと、前記視野範囲に前記可視範囲制限領域が含まれることを許可する第２レベルのいずれのレベルの優先度であるかに従い、前記撮像装置のパラメータ制御を行うことを特徴とするカメラ制御装置。
6. 前記動き領域の重要度が高い場合、前記制御手段は、前記第２レベルに従い、動き領域が前記可視範囲制限領域にあったとしても、前記撮像装置の制御を続けることを特徴とする請求項５に記載のカメラ制御装置。
7. 撮像装置の１つ以上の制御状態を保持する保持手段をさらに有し、
   前記制御手段は、保持した１つ以上の制御状態に対して順番に撮像装置を巡回制御することを特徴とする請求項１〜６のいずれかに記載のカメラ制御装置。
8. 前記撮像装置の撮影禁止状態とは、視野範囲の分割領域単位で撮影の許可ないしは拒否を指定することによって決まる可視範囲制限領域にパン角度またはチルト角度の値がある状態であり、巡回制御において前記可視範囲制限領域を通過しないように新たな経路を作製する経路作成手段をさらに有し、
   前記経路作成手段は、元の直線的な経路を複数の直線の組み合わせからなる経路に分割することを特徴とする請求項７に記載のカメラ制御装置。
9. 前記制御手段は、巡回制御中において画像の動き領域を検知すると巡回を停止し、前記動き領域を拡大するようにズーム制御することを特徴とする請求項７または８に記載のカメラ制御装置。
10. 前記制御手段は、巡回制御中において画像の動き領域を検知すると巡回を停止し、動き領域の方向に前記撮像装置の撮像方向を制御し、動き領域の方向に前記撮像装置の撮像方向を制御した後で、画像の動きを連続して検知しなかった場合に、巡回制御を再開することを特徴とする請求項７〜９のいずれかに記載のカメラ制御装置。
11. 撮像装置の状態を制御可能なカメラ制御装置であって、 撮影した画像の動き領域を検知する動き検知手段と、
    検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御手段とを有し、
    前記動き領域に従ってパン角とチルト角のいずれか一方の制御を行うと前記撮像装置の視野範囲に可視範囲制限領域が含まれ、前記動き領域に従って前記パン角とチルト角の他方の制御を行うと前記撮像装置の視野範囲に前記可視範囲制限領域が含まれない場合、前記制御手段は、前記動き領域を含み前記可視範囲制限領域に隣接する撮影許可領域が撮像領域になるように、前記パン角とチルト角の前記一方のパラメータ制御値を設定し、前記設定された前記一方のパラメータ制御値と前記動き領域に従う前記他方のパラメータ制御値とに基づいて前記パン角とチルト角の制御を行うことを特徴とするカメラ制御装置。
12. 撮像装置の状態を制御可能なカメラ制御装置であって、
    視野範囲の分割領域単位で撮影の拒否を設定した可視範囲制限領域を保持する第１保持手段と、
    少なくとも１つの直線から構成される前記撮影装置の巡回経路を保持する第２保持手段と、
    前記巡回経路を複数の直線の組み合わせからなる経路に分割することで前記可視範囲制限領域を通過しない新たな巡回経路を作成する経路作成手段と、
    前記経路作成手段により作成された新たな巡回経路に従い前記撮像装置を巡回制御する制御手段と、
    を有することを特徴とするカメラ制御装置。
13. 撮像装置の状態を制御するカメラ制御方法であって、
    撮影した画像の動き領域を検知する動き検知工程と、
    検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御工程とを有し、
    前記動き領域に従って第１のパラメータの制御を行うと所定の撮影禁止状態になり、前記動き領域に従って第２のパラメータの制御を行うと所定の撮影禁止状態にならない場合、前記制御工程は、前記第１のパラメータの制御を行わず、前記第２のパラメータの制御を行うことを特徴とするカメラ制御方法。
14. 撮像装置の状態を制御するカメラ制御方法であって、
    撮影した画像の動き領域を検知する動き検知工程と、
    検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御工程とを有し、
    前記動き領域に従ってパン角とチルト角のいずれか一方の制御を行うと前記撮像装置の視野範囲に可視範囲制限領域が含まれ、前記動き領域に従って前記パン角とチルト角の他方の制御を行うと前記撮像装置の視野範囲に前記可視範囲制限領域が含まれない場合、前記制御工程は、前記動き領域を含み前記可視範囲制限領域に隣接する撮影許可領域が撮像領域になるように、前記パン角とチルト角の前記一方のパラメータ制御値を設定し、前記設定された前記一方に関するパラメータ制御値と前記動き領域に従う前記他方に関するパラメータ制御値とに基づいて前記パン角とチルト角の制御を行うことを特徴とするカメラ制御方法。
15. 予め保持しておいた少なくとも１つの直線から構成される巡回経路に従い撮像装置の状態を制御するカメラ制御方法であって、
    視野範囲の分割領域単位で撮影の拒否を設定した可視範囲制限領域に基づき前記巡回経路を複数の直線の組み合わせからなる経路に分割することで前記可視範囲制限領域を通過しない新たな巡回経路を作成する経路作成工程と、
    前記経路作成工程において作成された新たな巡回経路に従い撮像装置を巡回制御する制御工程と、
    を有することを特徴とするカメラ制御方法。
16. 撮像装置の状態を制御するカメラ制御手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    撮影した画像の動き領域を検知する動き検知手順と、
    検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御手順とを記録し、
    前記動き領域に従って第１のパラメータの制御を行うと所定の撮影禁止状態になり、前記動き領域に従って第２のパラメータの制御を行うと所定の撮影禁止状態にならない場合、前記制御手順は、前記第１のパラメータの制御を行わず、前記第２のパラメータの制御を行うことを特徴とする記録媒体。
17. 撮像装置の状態を制御するカメラ制御手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    撮影した画像の動き領域を検知する動き検知手順と、
    検知した動き領域に従って前記撮像装置のパラメータ制御を行う制御手順とを記録し、
    前記動き領域に従ってパン角とチルト角のいずれか一方の制御を行うと前記撮像装置の視野範囲に可視範囲制限領域が含まれ、前記動き領域に従って前記パン角とチルト角の他方の制御を行うと前記撮像装置の視野範囲に前記可視範囲制限領域が含まれない場合、前記制御手順は、前記動き領域を含み前記可視範囲制限領域に隣接する撮影許可領域が撮像領域になるように、前記パン角とチルト角の前記一方のパラメータ制御値を設定し、前記設定された前記一方のパラメータ制御値と前記動き領域に従う前記他方のパラメータ制御値とに基づいて前記パン角とチルト角の制御を行うことを特徴とする記憶媒体。
18. 予め保持しておいた少なくとも１つの直線から構成される巡回経路に従い撮像装置の状態を制御するカメラ制御手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    視野範囲の分割領域単位で撮影の拒否を設定した可視範囲制限領域に基づき前記巡回経路を複数の直線の組み合わせからなる経路に分割することで前記可視範囲制限領域を通過しない新たな巡回経路を作成する経路作成手順と、
    前記経路作成手順により作成された新たな巡回経路に従い撮像装置を巡回制御する制御手順と、
    を記録したことを特徴とする記憶媒体。

Images