JP7433820B2 - 制御装置、制御方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、制御装置、制御方法、プログラム及び記憶媒体に関する。

近年の画像解析技術の発展に伴いカメラで被写体を自動的に追尾し撮像する技術が研究され、自動追尾機能を搭載したカメラが番組制作等に利用されるプロ向けの物から個人の映像撮像に利用される家庭向けの物まで登場し、注目され始めている。

特許文献１では、画角の中に不感帯と呼ばれる追尾不要エリアを設け、その範囲外に出たときのみ追尾を行っている。

特開２００２－１７１４３８号公報

しかしながら、上述の特許文献に開示された従来技術では、追尾対象が不感帯の範囲内かつ画角の中心からずれた位置に留まると、そのまま長時間撮像を続けてしまう可能性がある。追尾対象は可能な限り画角の中心に捉え、被写体が見易い構図で映像を撮像することが望ましい。

上記目的を達成するために、本発明に係る制御装置は、撮像装置により撮像した画像から物体を検出する検出手段と、前記検出手段により検出した物体の動きに追従して前記撮像装置の撮像方向が変更されるように駆動装置を制御する制御手段と、前記検出手段により検出した前記物体の移動速度を判定する判定手段と、を有し、前記制御手段は、前記物体の移動速度が速いほど前記駆動装置の駆動頻度が高くなるように、前記駆動装置の駆動頻度を制御し、前記物体が移動していない場合においても、前記物体が移動している場合よりも低い駆動頻度で前記駆動装置を制御することを特徴とする。

本発明の第１の実施形態に係る自動撮像システムのブロック構成図。 本発明の第１の実施形態に係る自動撮像システムの処理手順を示すフローチャートを示す図。 本発明の第１の実施形態に係る移動速度評価値の算出方法を示した図。 本発明の第２の実施形態に係る自動撮像システムのブロック構成図。 本発明の第２の実施形態に係る自動撮像システムの処理手順を示すフローチャートを示す図。 本発明の第２の実施形態に係る移動方向評価値の算出方法を示した図。 本発明の第２の実施形態に係る中心距離評価値の算出方法を示した図。 本発明の実施形態に係る自動撮像システムのシステム構成を示す図。 本発明の実施形態に係る追尾装置のハードウェア構成を示す図。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
図８は、本発明の実施形態に係る自動撮像システムのシステム構成を示す。図８に示すように、自動撮像システムは、映像入力装置Ａ１００１（撮像装置）とパン・チルト駆動装置Ａ１００２（駆動装置）と追尾装置Ａ１００３（制御装置）と収録装置Ａ１００４とを有しており、互いにネットワーク（ＬＡＮ）を介して接続されている。

映像入力装置Ａ１００１はネットワークカメラやＩＰストリーミングカメラ等の撮像装置である。映像入力装置Ａ１００１で撮像した画像が映像信号としてネットワークを介して追尾装置に送信される。また、映像入力装置Ａ１００１の撮像光学系（レンズ）のズーム倍率がネットワークを介して追尾装置Ａ１００３によって制御される。

パン・チルト駆動装置Ａ１００２は、ネットワークを介して追尾装置Ａ１００３によって駆動制御され、映像入力装置Ａ１００１の撮像方向を変更可能である。

また、映像入力装置Ａ１００１の撮像方向を変更可能なパン・チルト駆動装置Ａ１００２もネットワークに接続されている。

追尾装置Ａ１００３は、ネットワークを介してパン・チルト駆動装置Ａ１００２の駆動を制御する制御装置である。また、追尾装置Ａ１００３は、映像入力装置Ａ１００１により撮像した画像に基づいて被写体（物体）の追尾処理を行う。また、追尾装置Ａ１００３は、映像入力装置Ａ１００１で撮像した画像（画像データ）をネットワークを介して収録装置Ａ１００４に送信する。

収録装置Ａ１００４は、映像入力装置Ａ１００１で撮像した画像（画像データ）をネットワークを介して受信し、ハードディスク等の記憶媒体に記憶する。なお、この画像データは、不図示のビデオインターフェースを介して追尾装置Ａ１００３から受け取ることも可能である。

図９は、本発明の実施形態に係る追尾装置Ａ１００３のハードウェア構成の一例を示す図である。追尾装置Ａ１００３は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＨＤＤ９０４、ネットワークインターフェース（Ｎ－Ｉ／Ｆ）９０５、入力装置９０６、表示装置９０７を含み、システムバス９０８を介して相互に接続されている。ネットワークインターフェース９０５はネットワーク（ＬＡＮ）に接続されている。

ＣＰＵ２０１は、追尾装置Ａ１００３を統括制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御装置である。ＲＯＭ９０２は、ＣＰＵ９０１が追尾装置Ａ１００３を制御するための各種プログラムを記憶する記憶装置である。追尾装置Ａ１００３は、ＲＯＭ９０２に代えて、２次記憶装置を有するものとしてもよい。ＲＡＭ９０３は、ＲＯＭ９０２からＣＰＵ９０１により読み出されたプログラムが展開され、ＣＰＵ９０１のワークエリア等として機能するメモリである。また、ＲＡＭ９０３は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても機能する。

ＨＤＤ２０４は、映像入力装置Ａ１００１から入力される画像データ等の各種データを記憶する記憶装置である。画像データは、本実施形態の追尾装置Ａ１００３が物体の検知を行う対象である画像データである。画像データが他の記憶装置（例えば、ＲＯＭ９０２、外部の記憶装置等）に記憶されている場合、追尾装置Ａ１００３は、ＨＤＤ９０４を必ずしも有さなくてもよい。

ネットワークインターフェース９０５は、ネットワーク（ＬＡＮ）を介した外部の装置等との通信に利用される回路である。ＣＰＵ９０１は、ネットワークを介して接続先の映像入力装置Ａ１００１から画像データを取得できる。また、ＣＰＵ９０１は、ネットワークを介して、映像入力装置Ａ１００１やパン・チルト駆動装置Ａ１００２を制御することができる。

入力装置９０６は、数値やテキスト等の入力用のキーボード、及び、表示装置９０７の表示領域の特定の表示位置を指示等するためのポインティングデバイスであり、マウスやタッチパネル等で構成される。ユーザは、入力装置９０６を操作することにより、表示装置９０７に表示された画像の中から追尾対象の物体を指定（選択）することができる。

ＣＰＵ９０１が、ＲＯＭ９０２、ＨＤＤ９０４等に記憶されたプログラムに基づき処理を実行することで、後述する追尾装置Ａ１００３の機能が実現される。また、ＣＰＵ９０１が、ＲＯＭ９０２、ＨＤＤ９０４等に記憶されたプログラムに基づき処理を実行することで、図２で後述するフローチャートの処理も実現される。

以上のように、追尾装置Ａ１００３のハードウェア構成は、ＰＣ（パーソナルコンピュータ）等に搭載されるハードウェア構成要素と同様のハードウェア構成要素を有している。そのため、本実施形態の追尾装置Ａ１００３は、ＰＣ、タブレット装置、サーバ装置等の情報処理装置で構成されることとする。また、本実施形態の追尾装置Ａ１００３が有する図１で後述する各種機能等は、ＰＣ等の情報処理装置上で動作するアプリケーションとして実装することができる。

図１は本実施形態に係る追尾装置（制御装置）を含んだ自動撮像システムの機能構成を示すブロック図である。自動撮像システムＡ１０００は、ユーザが指定した特定のオブジェクトを追尾し自動撮像を行うシステムである。指定した追尾対象が画角の中心になるようパン・チルト制御により追尾を行い、映像の収録を行う。また、追尾対象の移動速度が遅い場合には、追尾対象が画角から外れる可能性が低いため、パン・チルト制御の頻度を落とし映像の揺れを低減する。自動追尾システムＡ１０００は、映像入力装置Ａ１００１、パン・チルト駆動装置Ａ１００２、追尾装置Ａ１００３、収録装置Ａ１００４を有する。追尾装置Ａ１００３と収録装置Ａ１００４はネットワーク（ＬＡＮ）、ビデオインターフェースを介して接続されている。

映像入力装置Ａ１００１は周囲を撮像して映像を生成する装置であり、カメラ等の撮像装置によって構成される。映像入力装置Ａ１００１は、撮像された映像情報を追尾装置Ａ１００３へ出力する。

パン・チルト駆動装置Ａ１００２は、映像入力装置Ａ１００１と不図示の部材により機械的に接続されており、モーター、ギア等により構成される。パン・チルト駆動装置Ａ１００２は追尾装置Ａ１００３からパン・チルト動作の一連の動作命令を受け取ると、モーターを制御しパン・チルト動作を行う。これにより、パン・チルト駆動装置Ａ１００２は、映像入力装置Ａ１００１の撮像方向を変更する。

収録装置Ａ１００４は、追尾装置Ａ１００３から入力された入力映像をＨＤＤなどの記憶機器に保存する処理を行う。また、収録装置Ａ１００４は、不図示の表示部に入力映像を表示し、ユーザから追尾対象の指定を受け付ける。そして、ユーザにより指定された追尾対象の座標情報を追尾装置Ａ１００３に送る。なお、追尾対象の指定の方法は、これに限定されない。例えば、追尾装置の入力装置９０６（追尾対象入力部Ａ１０１２）によりユーザが表示装置９０７に表示された画像から追尾対象の物体を指定することもできる。また、入力映像に含まれる物体のうち、特定の特徴量を有する物体を自動的に追尾対象として指定するようにしてもよい。

追尾装置Ａ１００３（制御装置）は、映像入力装置Ａ１００１（撮像装置）から入力された映像情報を解析し追尾対象が画角の中心となるようにパン・チルト動作命令を生成する。追尾装置Ａ１００３は、追尾対象の移動速度が速ければ高頻度で、遅ければ低頻度でパン・チルト動作命令を生成する。追尾装置Ａ１００３は、映像入力部Ａ１００５、物体検出部Ａ１００６、選択部Ａ１００７、計算部Ａ１００８、判定部Ａ１００９、パン・チルト駆動制御部Ａ１０１０、映像配信部Ａ１０１１、追尾対象入力部Ａ１０１２、通信部Ａ１０１３を有している。追尾装置Ａ１００３（制御装置）は、生成したパン・チルト動作命令をパン・チルト駆動装置Ａ１００２（駆動装置）へ、映像情報を収録装置Ａ１００４へ出力する。

映像入力部Ａ１００５は、映像入力装置Ａ１００１で撮像された映像情報を入力し、物体検出部Ａ１００６、及び映像配信部Ａ１０１１へ出力する。

物体検出部Ａ１００６（検出手段）は、映像入力部Ａ１００５から入力された映像情報を使用して、画像中の物体の検出処理を行う。物体の検出手法は、例えばテンプレートマッチング法や、ディープラーニングにより物体検出する方法等を用いる。それらの検出手法ついては公知の技術である為、詳細な説明は省略する。また、物体検出部Ａ１００６は検出したすべての物体にユニークなＩＤを割り当て、過去の物体検出結果から同一であると判断した物体には過去の検出物体と同一のＩＤを割り当てる。物体検出部Ａ１００６は、検出した物体の座標情報、ＩＤ情報を追尾対象選択部Ａ１００７へ出力する。座標情報は球面座標系による絶対座標で出力する。

追尾対象入力部Ａ１０１２には、通信部Ａ１０１３を介して、収録装置Ａ１００４から追尾対象の座標情報が入力される。なお、追尾装置の入力装置９０６（追尾対象入力部Ａ１０１２）によりユーザが表示装置９０７に表示された画像から追尾対象の物体を指定することにより座標情報を入力することもできる。

追尾対象選択部Ａ１００７は、追尾対象入力部Ａ１０１２から追尾対象の座標情報が入力されると、物体検出部Ａ１００６から入力された物体の座標情報と追尾対象の座標情報を比較して最も近くの物体を追尾対象として設定する。追尾対象入力部Ａ１０１２から追尾対象の座標情報が入力されておらず、未だ追尾対象が設定されていない状態の場合、追尾処理は行わない。追尾対象選択部Ａ１００７は、追尾対象を設定すると、物体検出部Ａ１００６から入力された物体の座標情報とＩＤ情報の中から、追尾対象の座標情報、ＩＤ情報を選択し移動速度計算部Ａ１００８へ出力する。

移動速度計算部Ａ１００８は、追尾対象選択部Ａ１００７から入力された追尾対象の座標情報、ＩＤ情報を例えば過去１０フレーム分保持し、ＩＤ情報に紐づけられた物体の移動速度を計算する。前回と異なるＩＤ情報が指定された場合は移動なしとする。また、移動速度が遅いほど駆動制御頻度を低く、移動速度が速いほど駆動制御頻度を高く制御するために、移動速度に基づき評価値を算出する。

ここで、図３を用いて移動速度の評価値（以降Ｘと記載）の算出方法を一例として説明する。Ｒ０００は自動撮像システムで撮像している画角（全画角）の映像である。Ｒ００１が画角の中心点、Ｒ００２はＲ００１の点からの距離が画角（全画角）の幅もくしは高さの１／８となる点を結んだ楕円である。同様に、Ｒ００３が２／８、Ｒ００４が３／８、Ｒ００５が４／８の距離となる点を結んだ楕円である。Ｒ００６のように、画角（全画角）の幅もくしは高さの２／８の距離を１秒間に進む速度で移動する場合の評価値を、Ｘ＝１．０と定義する。この値は、駆動制御を１秒に１回の頻度で行う場合の評価値である。また、追尾対象の移動速度と評価値Ｘの値は比例し、駆動制御の頻度も評価値Ｘの値に比例する。Ｒ００７のように、画角の１／８の距離を１秒間に進む速度では、評価値Ｘ＝０．５となり、２秒間に１回駆動制御する。Ｒ００８のように、画面の４／８の距離を１秒間に進む速度では、評価値Ｘ＝２．０となり、０．５秒間に１回駆動制御する。また、追尾対象が移動なしもしくは移動速度が極端に遅い場合も低頻度で駆動制御するために、評価値Ｘの最低値を０．１とし、少なくとも１０秒間に１回は駆動制御する。移動速度計算部Ａ１００８は追尾対象のＩＤ情報と座標情報、および移動速度評価値を判定部Ａ１００９へ出力する。

判定部Ａ１００９（判定手段）は、移動速度計算部Ａ１００８から追尾対象のＩＤ情報と座標情報、および評価値Ｘが入力される。そして、入力された評価値Ｘの値を積算して保持する。また、保持している評価値Ｘの積算値が閾値以上の値となったとき、追尾対象の座標情報を目標座標としてパン・チルト駆動制御部Ａ１０１０へ出力した後、評価値Ｘの積算値をクリアする。ここで、積算値は追尾対象の移動速度が速いほど評価値Ｘの値が大きいため早く閾値達し、パン・チルト駆動制御が短い間隔で実施される（駆動頻度が高い）。一方、移動速度が遅いほど評価値Ｘの値が小さいため、閾値に達するのが遅くなり、結果としてパン・チルト駆動制御が長い間隔で実施される（駆動頻度が低い）。この仕組みにより、パン・チルトの駆動頻度を制御することができる。このように、本実施形態においては、追尾装置Ａ１００３（制御装置）のパン・チルト駆動制御部Ａ１０１０（制御手段）は、物体（追尾対象）の動き情報（評価値Ｘ）に応じて、パン・チルト駆動装置Ａ１００２（駆動装置）の駆動頻度を制御する。

パン・チルト駆動制御部Ａ１０１０（制御手段）は、判定部Ａ１００９から追尾目標座標を入力されると、その目標座標へ画角の中心が移動するようにパン・チルト制御命令をパン・チルト駆動装置Ａ１００２へ出力する。すなわち、パン・チルト駆動制御部Ａ１０１０（制御手段）は、物体検出部Ａ１００６（検出手段）により検出した物体の動きに追従して映像入力装置Ａ１００１（撮像装置）の撮像方向が変更されるようにパン・チルト駆動装置Ａ１００２（駆動装置）を制御する。

映像配信部Ａ１０１１は、映像入力部Ａ１００５から映像情報が入力されると通信部Ａ１０１３を介して収録装置Ａ１００４へ映像情報を出力する。

追尾対象入力部Ａ１０１２は、通信部Ａ１０１３から追尾対象の座標情報が入力されると、追尾対象選択部Ａ１００７へ追尾対象の座標情報を出力する。

通信部Ａ１０１３は、映像配信部Ａ１０１１から入力された映像情報を収録装置Ａ１００４へ出力する。また、不図示のユーザ操作によって入力された追尾対象の目標座標は追尾対象入力部Ａ１０１２へ入力される。

ここで、図２のフローチャートを参照しながら自動撮像システムの追尾処理を行う手順について説明する。

自動撮像システムＡ１０００は、収録装置Ａ１００４に対するユーザ操作により起動され、自動撮像処理が開始されると、初めにＳ００１において、映像入力部Ａ１００５は映像入力装置Ａ１００１から映像情報を取得する。そしてＳ００２へ進む。なお、追尾装置Ａ１００３あるいは映像入力装置Ａ１００１に対するユーザ操作により自動撮像システムＡ１０００を起動するようにしてもよい。

Ｓ００２において、物体検出部Ａ１００６は映像入力部Ａ１００５から入力された映像を解析し映像内の物体の検出処理を行う。そしてＳ００３へ進む。

Ｓ００３において、物体検出部Ａ１００６は、物体が検出されたかどうかを判別する。真（Ｓ００３でＹＥＳ）の場合はＳ００４へ進み、偽（Ｓ００３でＮＯ）の場合はＳ００１へ進む。

Ｓ００４において、物体検出部Ａ１００６は、過去に検出されていない新しい物体が検出されたかを判別する。真（Ｓ００４でＹＥＳ）の場合はＳ００５へ進み、偽（Ｓ００４でＮＯ）の場合はＳ００６へ進む。

Ｓ００５において、物体検出部Ａ１００６は新しく検出された物体に新規のＩＤを割り当てる。そして、Ｓ００６へ進む。

Ｓ００６において、追尾対象選択部Ａ１００７は、追尾対象入力部Ａ１０１２から追尾対象の座標情報を取得する。そしてＳ００７へ進む。

Ｓ００７において、追尾対象選択部Ａ１００７は、追尾対象入力部Ａ１０１２から追尾対象の座標情報が取得できたかどうかを判別する。真（Ｓ００７でＹＥＳ）の場合はＳ００８へ進み、偽（Ｓ００７でＮＯ）の場合はＳ００９へ進む。

Ｓ００８において、追尾対象選択部Ａ１００７は検出した物体の座標情報とＩＤ情報、追尾対象入力部Ａ１０１２から取得した追尾対象の座標情報から、追尾対象とする物体を決定し、追尾対象として設定する。そしてＳ０１０へ進む。

Ｓ００９において、追尾対象選択部Ａ１００７は、追尾対象が設定されているかどうかを判別する。真（Ｓ００９でＹＥＳ）の場合はＳ０１０へ進み、偽（Ｓ００９でＮＯ）の場合はＳ００１へ進む。

Ｓ０１０において、移動速度計算部Ａ１００９は、追尾対象選択部Ａ１００７から入力された追尾対象の座標情報とＩＤ情報から物体の移動速度を計算する。また、移動速度から駆動制御の頻度を制御する評価値Ｘを算出する。そしてＳ０１１へ進む。

Ｓ０１１において、判定部Ａ１００９は、移動速度計算部Ａ１００８から入力された追尾対象の評価値Ｘの値を加算し保持する。そしてＳ０１２へ進む。

Ｓ０１２において、判定部Ａ１００９は、評価値Ｘの積算値が閾値以上に値になったかどうかを判定する。真（Ｓ０１２でＹＥＳ）の場合はＳ０１３へ進み、偽（Ｓ０１２でＮＯ）の場合はＳ０１６へ進む。

Ｓ０１３において、判定部Ａ１００９は、追尾の目標座標を追尾対象の中心に設定する。そして、Ｓ０１４へ進む。

Ｓ０１４において、パン・チルト駆動制御部Ａ１０１０は、判定部Ａ１００９から入力された目標座標にパン・チルト駆動を行うよう、パン・チルト制御装置Ａ１００２にパン・チルト制御命令を出力する。そして、Ｓ０１５へ進む。

Ｓ０１５において、判定部Ａ１００９は、評価値Ｘの積算値をクリアし、Ｓ０１６へ進む。

Ｓ０１６において、収録装置Ａ１００４等に設けられた不図示の自動撮像システムＯｎ／Ｏｆｆスイッチがユーザによって操作され、自動撮像システムの停止操作が行われたかどうかを判別する。偽（Ｓ０１６でＮｏ）の場合はＳ００１へ進み、真（Ｓ０１６でＹＥＳ）の場合は自動撮像システムの動作を終了する。

以上のように、本実施形態において、追尾対象の移動速度が遅い場合にはパン・チルト駆動を低頻度で行うことで、映像の揺れを低減しつつ追尾対象を画角の中心に移動することができる。また、追尾対象の移動速度が速い場合にはパン・チルト駆動を高頻度で行うことで、追尾対象が画角から外れる可能性を低減することができる。

（第２の実施形態）
本発明の第２の実施形態に係る自動撮像システムの構成例について説明する。第１の実施形態では、追尾対象の移動速度に基づいて、パン・チルトの駆動頻度を制御したが、第２の実施形態では、移動速度に加えて、移動方向及び中心距離に基づいてパン・チルト・ズームの駆動頻度を制御する。また、第１の実施形態では、パン・チルト駆動の頻度を制御したが、第２の実施形態ではパン・チルト駆動に加えてズーム駆動の頻度も制御する。さらに、第１の実施形態では、単一の物体を追尾対象としたが、第２の実施形態では、単一の物体のみならず複数の物体をも追尾対象とすることができる。

図４は本実施形態に係る追尾装置を含んだ自動撮像システムの機能構成を示すブロック図である。第１の実施形態と共通する構成については同一の符号を付し、その説明を省略する。

自動撮像システムＢ１０００は、複数のオブジェクトを追尾し自動撮像を行うシステムである。指定した全ての追尾対象が画角内に収まるようパン・チルト・ズーム制御により追尾を行い、映像の収録を行う。また、追尾対象の移動速度が遅い場合には、追尾対象が画角から外れる可能性が低いため、パン・チルト・ズーム制御の頻度を落とし映像の揺れを低減する。さらに、第１の実施形態のように単体の追尾対象を画角の中心になるよう追尾する場合には、追尾対象は基本的に画角の中心付近に位置し、画角の外側の方向に移動することが前提となる。しかし、本実施形態のように複数の追尾対象を追尾する場合、追尾対象ごとに移動方向や位置が異なる。そのため、移動方向が画角の中心方向に向いている場合や、追尾対象の位置が画角の中心付近である場合は、画角から外れる可能性が低いと判断しパン・チルト・ズーム制御の頻度が低くなるように調整する。ここで、追尾対象のうち１つでも画角から外れる可能性が高ければ、パン・チルト・ズーム制御の頻度は高くする。自動撮像システムＢ１０００は、映像入力装置Ａ１００１（撮像装置）、パン・チルト駆動装置Ａ１００２（駆動装置）、追尾装置Ｂ１００３（制御装置）、収録装置Ａ１００４、ズーム駆動装置Ｂ１０１４を有する。追尾装置Ｂ１００３と収録装置Ａ１００４はビデオインターフェース等を介して接続されている。

追尾装置Ｂ１００３は、映像入力装置Ａ１００１から入力された映像情報を解析し、予め設定された複数の追尾対象が画角内に収まるようにパン・チルト・ズーム動作命令を生成する。追尾装置Ｂ１００３は、全ての追尾対象について、移動速度・移動方向・画角の中心点からの距離を判定し、それらの情報から追尾対象が画角から外れる可能性が高いと判断すれば高頻度で、そうでなければ低頻度でパン・チルト・ズーム動作命令を生成する。追尾装置Ｂ１００３（制御装置）は、映像入力部Ａ１００５、物体検出部Ａ１００６（検出手段）、移動速度計算部Ａ１００８、パン・チルト駆動制御部Ａ１０１０（制御手段）、映像配信部Ａ１０１１、追尾対象入力部Ａ１０１２を有している。また、追尾装置Ｂ１００３は、追尾対象選択部Ｂ１００７、各種計算部（Ｂ１０１５～Ｂ１０１８）、ズーム駆動制御部Ｂ１０１９、追尾対象取消部Ｂ１０２０、通信部Ｂ１０１３をさらに有している。追尾装置Ｂ１００３は、生成したパン・チルト動作命令をパン・チルト駆動装置Ａ１００２へ送信する。また、追尾装置Ｂ１００３は、生成したズーム動作命令をズーム駆動装置Ｂ１０１４へ送信する。また、追尾装置Ｂ１００３は、映像入力装置Ａ１００１（撮像装置）から入力された映像情報を収録装置Ａ１００４へ出力する。

追尾対象選択部Ｂ１００７は、追尾対象入力部Ａ１０１２から追尾対象の座標情報が入力されると、物体検出部Ａ１００６から入力された物体の座標情報と追尾対象の座標情報を比較して最も近くの物体を追尾対象として設定する。また、追尾対象選択部Ｂ１００７は、追尾対象取消部Ｂ１０２０から追尾取り消し対象の座標情報が入力されると、物体検出部Ａ１００６から入力された物体の座標情報と追尾取り消し対象の座標情報を比較して最も近くの物体を追尾対象の設定から削除する。追尾対象選択部Ｂ１００７は、追尾対象が１つ以上設定されている場合、追尾処理を行う。追尾対象選択部Ｂ１００７は、追尾対象が設定されると、追尾対象の座標情報、ＩＤ情報を選択し移動速度計算部Ａ１００８、移動方向計算部Ｂ１０１５、中心距離計算部Ｂ１０１６へ出力する。

移動方向計算部Ｂ１０１５は、追尾対象選択部Ｂ１００７から入力された全ての追尾対象の座標情報、ＩＤ情報を過去１０フレーム分保持し、ＩＤ情報に紐づけられた物体の移動方向を計算する。前回と異なるＩＤ情報が指定された場合は移動方向なしとする。また、移動方向が画角の中心側に向いている場合には駆動制御頻度を低く、画角の外側に向いている場合には駆動制御頻度を高く制御するために、移動方向に基づき評価値を算出する。

ここで、図６を用いて評価値（以降Ｙと記載）の算出方法を一例として説明する。Ｐ０００は自動撮像システムで撮像している画角（全画角）の映像であり、Ｐ００１が画角の中心点である。追尾対象Ｐ００２のように、移動方向Ｐ００５が画角の中心方向と一致する場合、Ｙ＝０．０とする。追尾対象Ｐ００３のように、移動方向Ｐ００６と画角の中心方向Ｐ００７との間の角度が０～９０°である場合、角度θに応じて以下の式（１）で決定する。

追尾対象Ｐ００４のように、移動方向Ｐ００８と画角の中心方向Ｐ００９の間の角度が９０～１８０°である場合、Ｙ＝１．０とする。また、追尾対象が移動方向なしである（移動していない）とき、低い頻度で駆動制御するため、Ｙ＝０．５とする。移動方向計算部Ｂ１０１５は全ての追尾対象のＩＤ情報と評価値Ｙを判定部Ｂ１００９へ出力する。

中心距離計算部Ｂ１０１６は、追尾対象選択部Ｂ１００７から入力された全ての追尾対象の座標情報、ＩＤ情報から、現在の画角の中心点と追尾対象の座標との２点間の距離を計算する。また、追尾対象が画角の中心に近い場合には駆動制御頻度を低く、画角の中心から遠い場合には駆動制御頻度を高く制御するために、中心点からの距離から評価値を算出する。

ここで、図７を用いて評価値（以降Ｚと表記）の算出方法を一例として説明する。Ｑ０００は自動撮像システムで撮像している画角（全画角）の映像であり、Ｑ００１が画角の中心点である。追尾対象の座標が中心点Ｑ００１に位置する場合、Ｚ＝０．０とする。Ｑ００２はＺ＝１．０とする距離を定義した楕円であり、追尾対象の座標がＱ００２上に位置する場合、Ｚ＝１．０とする。Ｑ００２の距離を１とし、追尾対象と中心点Ｑ００１との距離をＡとすると、以下の式（２）で算出する。

Ｚ＝Ａ^２
例えば、追尾対象がＱ００２の２倍の距離にあたるＱ００３に位置する場合、Ｚ＝４．０となる。Ｑ００２の３倍の距離にあたるＱ００４に位置する場合は、Ｚ＝９．０となり、Ｑ００２の４倍の距離にあたるＱ００５に位置する場合は、Ｚ＝１６．０となる。中心距離計算部Ｂ１０１６は全ての追尾対象のＩＤ情報と評価値を判定部Ｂ１００９へ出力する。

判定部Ｂ１００９は、移動速度計算部Ａ１００８から追尾対象のＩＤ情報と座標情報、および評価値Ｘが入力される。また、判定部Ｂ１００９は、移動方向計算部Ｂ１０１５から追尾対象のＩＤ情報と評価値Ｙが入力される。さらに、判定部Ｂ１００９は、中心距離計算部Ｂ１０１６から追尾対象のＩＤ情報と評価値Ｚが入力される。判定部Ｂ１００９は、追尾対象ごとに移動速度の評価値である評価値Ｘ、移動方向の評価値である評価値Ｙ及び中心距離の評価値Ｚを乗算して総合評価値を得る。そして、総合評価値を積算して保持する。この総合評価値の積算値は追尾対象ごとに保持する。判定部Ｂ１００９は、何れかの追尾対象の総合評価値の積算値が閾値以上の値となったとき、全ての追尾対象の座標情報を目標座標計算部Ｂ１０１７へ出力したあと、全ての追尾対象の総合評価値の積算値をクリアする。なお、総合評価値を得る方法は、評価値Ｘ、Ｙ及びＺの乗算に限定されず、加算であってもよい。

ここで、総合評価値の積算値は追尾対象の移動速度が速いほど制御評価値Ｘが大きくなるため、早く閾値に達し、パン・チルト・ズーム駆動制御が短い間隔で実施される（駆動頻度が高い）。また、移動方向が画角の外側に向いているほど、評価値Ｙが大きくなるため、早く閾値に達し、パン・チルト・ズーム駆動制御が短い間隔で実施される（駆動頻度が高い）。同様に、現在位置が画角の中心から遠いほど、評価値Ｚが大きくなるため、早く閾値に達し、パン・チルト・ズーム駆動制御を短い間隔で行う（駆動頻度が高い）。この仕組みにより、パン・チルト・ズームの駆動頻度を制御することができる。このように、本実施形態においては、追尾装置Ａ１００３のパン・チルト駆動制御部Ａ１０１０は、複数の物体（追尾対象）の各々の動き情報（総合評価値、評価値Ｘ、評価値Ｙ、評価値Ｚ）に応じて、パン・チルト駆動装置Ａ１００２の駆動頻度を制御する。

目標座標計算部Ｂ１０１７は、判定部Ｂ１００９から全ての追尾対象の座標情報が入力されると、全ての追尾対象の中心位置を追尾目標座標とし、パン・チルト駆動制御部Ａ１０１０へ出力する。また、全ての追尾対象の座標情報、および追尾目標座標をズーム倍率計算部Ｂ１０１８に出力する。

ズーム倍率計算部Ｂ１０１８は、目標座標計算部Ｂ１０１７から全ての追尾対象の座標情報、および追尾目標座標を受け取ると、パン・チルト駆動により画角（全画角）の中心が目標座標に移動した後の全ての追尾対象の座標を予測する。そして、各追尾対象が画角内の予め決められた目標とする撮像範囲内に収まるかどうかを判別し、収まらない場合は収まるようにズーム倍率を計算する。ズーム倍率計算部Ｂ１０１８は計算したズーム倍率をズーム駆動制御部Ｂ１０１９へ出力する。ここで、目標とする撮像範囲は画角（全画角）で規定される撮像範囲より少し狭い範囲に設定することで、追尾対象が画面端に位置している場合にはズームアウトし画角の内側に収まるように制御する。

ズーム駆動制御部Ｂ１０１９は、ズーム倍率計算部Ｂ１０１８からズーム倍率を入力されると、そのズーム倍率となるよう、ズーム制御命令をズーム駆動装置Ｂ１０１４へ出力する。

追尾対象取消部Ｂ１０２０は、通信部Ｂ１０１３から追尾取り消し対象の座標情報が入力されると、追尾対象選択部Ｂ１００７へ追尾取り消し対象の座標情報を出力する。

通信部Ｂ１０１３は、映像配信部Ａ１０１１から入力された映像情報を収録装置Ａ１００４へ出力する。不図示のユーザ操作によって入力された追尾対象の目標座標は追尾対象入力部Ａ１０１２へ入力される。また、不図示のユーザ操作によって入力された追尾取り消し対象の目標座標は追尾対象取消部Ｂ１０２０へ入力される。

ズーム駆動装置Ｂ１０１４は映像入力装置Ａ１００１のズーム倍率を変える装置であり、モーター、ギア等により構成される。ズーム駆動装置Ｂ１０１４は追尾装置Ｂ１００３からズーム動作の一連の動作命令を受け取ると、モーターを制御しズーム動作を行う。

その他の構成は第１の実施形態に記載の自動撮像システムと同じ構成である。

ここで、図５のフローチャートを参照しながら自動撮像システムＢ１０００の追尾処理を行う手順について説明する。

自動撮像システムＢ１０００はユーザ操作により起動され、自動撮像処理が開始されると、初めにＳ１０１において、映像入力部Ａ１００５は映像入力装置Ａ１００１から映像情報を取得する。そしてＳ１０２へ進む。

Ｓ１０２において、物体検出部Ａ１００６は映像入力部Ａ１００５から入力された映像を解析し映像内の物体の検出処理を行う。そしてＳ１０３へ進む。

Ｓ１０３において、物体検出部Ａ１００６は、物体が検出されたかどうかを判別する。真（Ｓ１０３でＹＥＳ）の場合はＳ１０４へ進み、偽（Ｓ１０３でＮＯ）の場合はＳ１０１へ進む。

Ｓ１０４において、物体検出部Ａ１００６は、過去に検出されていない新しい物体が検出されたかを判別する。真（Ｓ１０４でＹＥＳ）の場合はＳ１０５へ進み、偽（Ｓ１０４でＮＯ）の場合はＳ１０６へ進む。

Ｓ１０５において、物体検出部Ａ１００６は新しく検出された物体に新規のＩＤを割り当てる。そして、Ｓ１０６へ進む。

Ｓ１０６において、追尾対象選択部Ｂ１００７は、追尾対象入力部Ａ１０１２から追尾対象の座標情報を取得する。そしてＳ１０７へ進む。

Ｓ１０７において、追尾対象選択部Ｂ１００７は、追尾対象入力部Ａ１０１２から追尾対象の座標情報が取得できたかどうかを判別する。真（Ｓ１０７でＹＥＳ）の場合はＳ１０８へ進み、偽（Ｓ１０７でＮＯ）の場合はＳ１０９へ進む。

Ｓ１０８において、追尾対象選択部Ｂ１００７は検出した物体の座標情報とＩＤ情報、追尾対象入力部Ａ１０１２から取得した追尾対象の座標情報から、追尾対象とする物体を決定し、追尾対象として設定する。そしてＳ１０９へ進む。

Ｓ１０９において、追尾対象選択部Ｂ１００７は、追尾対象取消部Ｂ１０２０から追尾取り消し対象の座標情報を取得する。そしてＳ１１０へ進む。

Ｓ１１０において、追尾対象選択部Ｂ１００７は、追尾対象取消部Ｂ１０２０から追尾取り消し対象の座標情報が取得できたかどうかを判別する。真（Ｓ１１０でＹＥＳ）の場合はＳ１１１へ進み、偽（Ｓ１１０でＮＯ）の場合はＳ１１２へ進む。

Ｓ１１１において、追尾対象選択部Ｂ１００７は検出した物体の座標情報とＩＤ情報、追尾対象取消部Ｂ１０２０から取得した追尾取り消し対象の座標情報から、追尾取り消し対象とする物体を決定し、追尾対象から削除する。そしてＳ１１２へ進む。

Ｓ１１２において、追尾対象選択部Ａ１００７は、追尾対象が設定されているかどうかを判別する。真（Ｓ１１２でＹＥＳ）の場合はＳ１１３へ進み、偽（Ｓ１１２でＮＯ）の場合はＳ１０１へ進む。

Ｓ１１３において、移動速度計算部Ａ１００８は、追尾対象選択部Ｂ１００７から入力された全ての追尾対象の座標情報とＩＤ情報から、全ての追尾対象の移動速度を計算する。また、移動速度から駆動制御の頻度を制御する移動速度の評価値Ｘを算出する。そしてＳ１１４へ進む。

Ｓ１１４において、移動方向計算部Ｂ１０１５は、追尾対象選択部Ｂ１００７から入力された全ての追尾対象の座標情報とＩＤ情報から、全ての追尾対象の移動方向を計算する。また、移動方向から駆動制御の頻度を制御する移動方向の評価値Ｙを算出する。そしてＳ１１５へ進む。

Ｓ１１５において、中心距離計算部Ｂ１０１６は、追尾対象選択部Ｂ１００７から入力された全ての追尾対象の座標情報とＩＤ情報から、全ての追尾対象の中心点からの距離を計算する。また、中心点からの距離に基づき駆動制御の頻度を制御する中心距離の評価値Ｚを算出する。そしてＳ１１６へ進む。

Ｓ１１６において、判定部Ｂ１００９は、移動速度の評価値Ｘ、移動方向の評価値Ｙ、中心距離の評価値Ｚの３つの情報を乗算して総合評価値を算出し、その値を積算し保持する。そしてＳ１１７へ進む。

Ｓ１１７において、判定部Ｂ１００９は、何れかの追尾対象の総合評価値の積算値が閾値以上に値になったかどうかを判定する。真（Ｓ１１７でＹＥＳ）の場合はＳ１１８へ進み、偽（Ｓ１１７でＮＯ）の場合はＳ１２３へ進む。

Ｓ１１８において、目標座標計算部Ｂ１０１７は、全ての追尾対象の座標の中心を目標座標として設定する。そして、Ｓ１１９へ進む。

Ｓ１１９において、パン・チルト駆動制御部Ａ１０１０は、目標座標計算部Ｂ１０１７から入力された目標座標にパン・チルト駆動を行うよう、パン・チルト制御装置Ａ１００２にパン・チルト制御命令を出力する。すなわち、パン・チルト駆動制御部Ａ１０１０（制御手段）は、物体検出部Ａ１００６（検出手段）により検出した物体の動きに追従して映像入力装置Ａ１００１（撮像装置）の撮像方向が変更されるようにパン・チルト駆動装置Ａ１００２（駆動装置）を制御する。そして、Ｓ１２０へ進む。

Ｓ１２０において、ズーム倍率計算部Ｂ１０１８は目標座標計算部Ｂ１０１７から入力された全ての追尾対象の座標情報、および追尾目標座標から、全ての追尾対象が予め決められた目標とする撮像範囲内（目標領域以内）に収まるかどうかを判別する。真（Ｓ１２０でＹＥＳ）の場合はＳ１２１へ進み、偽（Ｓ１２０でＮＯ）の場合はＳ１２２へ進む。

Ｓ１２１において、ズーム倍率計算部Ｂ１０１８はズーム駆動制御部Ｂ１０１９へズーム倍率を出力し、目標とするズーム倍率となるようにズームアウト制御をおこなう。そしてＳ１２２へ進む。

Ｓ１２２において、判定部Ｂ１００９は全ての追尾対象についての総合評価値の積算値をクリアし、Ｓ１２３へ進む。

Ｓ１２３において、ユーザ操作による不図示の自動撮像システムＯｎ／Ｏｆｆスイッチが操作され、自動撮像システムの停止操作が行われたかどうかを判別する。偽（Ｓ１２３でＮｏ）の場合はＳ１０１へ進み、真（Ｓ１２３でＹＥＳ）の場合は自動撮像システムの動作を終了する。

以上のように、本実施形態において、追尾対象の動き情報に基づき、追尾対象が画角から外れにくい状況である場合にはパン・チルト・ズームの駆動を低頻度で制御することで、映像の揺れを低減しつつ追尾対象を画角内の中心に収めることができる。また、追尾対象が画角から外れやすい状況である場合にはパン・チルト・ズームの駆動を高頻度で制御することで、画角から外れる可能性を低減することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

上記実施形態において、映像入力装置Ａ１００１、パン・チルト駆動装置Ａ１００２、追尾装置Ａ１００３及び収録装置Ａ１００４が各々独立して構成されている例を説明したが、適宜組み合わせて一体型として構成することもできる。

また、第２の実施形態において、移動速度の評価値Ｘ、移動方向の評価値Ｙ及び中心距離の評価値Ｚに基づいて総合評価値を得る例を説明したが、いずれか一つ又は二つの評価値に基づいて総合評価値を得ることもできる。

また、本発明における制御の一部または全部を上述した実施形態の機能を実現するプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そして、その撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

Ａ１０００ 自動撮像システム
Ａ１００１ 映像入力装置
Ａ１００２ パン・チルト駆動装置
Ａ１００３ 追尾装置
Ａ１００４ 収録装置
Ａ１００５ 映像入力部
Ａ１００６ 物体検出部
Ａ１００７ 追尾対象選択部
Ａ１００８ 移動速度計算部
Ａ１００９ 判定部
Ａ１０１０ パン・チルト駆動制御部
Ａ１０１１ 映像配信部
Ａ１０１２ 追尾対象入力部
Ａ１０１３ 通信部
Ｂ１０００ 自動撮像システム
Ｂ１００３ 追尾装置
Ｂ１００７ 追尾対象選択部
Ｂ１００９ 判定部
Ｂ１０１３ 通信部
Ｂ１０１４ ズーム駆動装置
Ｂ１０１５ 移動方向計算部
Ｂ１０１６ 中心距離計算部
Ｂ１０１７ 目標座標計算部
Ｂ１０１８ ズーム位置計算部
Ｂ１０１９ ズーム駆動制御部
Ｂ１０２０ 追尾対象取消部

Claims (10)

1. 撮像装置により撮像した画像から物体を検出する検出手段と、
   前記検出手段により検出した物体の動きに追従して前記撮像装置の撮像方向が変更されるように駆動装置を制御する制御手段と、
   前記検出手段により検出した前記物体の移動速度を判定する判定手段と、を有し、
   前記制御手段は、
   前記物体の移動速度が速いほど前記駆動装置の駆動頻度が高くなるように前記駆動装置の駆動頻度を制御し、
   前記物体が移動していない場合においても、前記物体が移動している場合よりも低い駆動頻度で前記駆動装置を制御することを特徴とする制御装置。
2. 請求項１に記載の制御装置において、
   前記判定手段は、前記移動速度を示す評価値が閾値以上か否かを判定し、
   前記制御手段は、前記判定手段により前記評価値が閾値以上と判定された場合に、前記駆動装置を駆動するように制御することを特徴とする制御装置。
3. 請求項１又は２に記載の制御装置において、
   前記判定手段は、前記画像の中心と前記物体との距離をさらに判定し、
   前記制御手段は、前記画像の中心と前記物体との距離に応じて前記駆動装置の駆動頻度を制御することを特徴とする制御装置。
4. 請求項３に記載の制御装置において、
   前記制御手段は、前記画像の中心と前記物体との距離が大きいほど前記駆動装置の駆動頻度を高くすることを特徴とする制御装置。
5. 請求項１から４のいずれか一項に記載の制御装置において、
   前記判定手段は、前記物体の移動方向を判定し、
   前記制御手段は、前記物体の移動方向に応じて前記駆動装置の駆動頻度を制御することを特徴とする制御装置。
6. 請求項５に記載の制御装置において、
   前記制御手段は、前記物体の移動方向と前記物体から前記画像の中心への方向との成す角度が大きいほど前記駆動装置の駆動頻度を高くすることを特徴とする制御装置。
7. 請求項１から６のいずれか一項に記載の制御装置において、
   前記検出手段は、前記画像から複数の物体を検出し、
   前記判定手段は、前記複数の物体の各々について前記移動速度を判定し、
   前記制御手段は、前記複数の物体の各々の前記移動速度に応じて、前記駆動装置の駆動頻度を制御することを特徴とする制御装置。
8. 請求項１から７のいずれか一項に記載の制御装置の各手段としてコンピュータを機能させるためのプログラム。
9. 請求項８に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
10. 撮像装置の撮像方向を変更する駆動装置の制御方法であって、
    撮像装置により撮像した画像から物体を検出するステップと、
    検出した物体の動きに追従して前記撮像装置の撮像方向が変更されるように駆動装置を制御するステップと、
    検出した前記物体の移動速度を判定するステップと、を有し、
    前記駆動装置を制御するステップにおいて、前記物体の移動速度が速いほど前記駆動装置の駆動頻度が高くなるように、前記駆動装置の駆動頻度を制御し、前記物体が移動していない場合においても、前記物体が移動している場合よりも低い駆動頻度で前記駆動装置を制御することを特徴とする駆動装置の制御方法。

Images