JP2024033741A - 制御装置、撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】手動撮影から自動撮影への切り替え時に簡易な操作でオペレータの意図に沿った画角での撮影を実現可能な制御装置を提供すること。【解決手段】制御装置は、ユーザーの操作により撮像装置の画角を変更する第１の状態と画像上において被写体が目標位置に表示されるように画角を変更する第２の状態とに遷移可能なシステムに用いられる制御装置であって、画像上における被写体の位置を取得する取得部と、システムが第１の状態から第２の状態に遷移した場合、画像上における被写体の位置に基づいて目標位置を決定する決定部とを有する。【選択図】図１

Description

本発明は、制御装置、撮像装置、制御方法、及びプログラムに関する。

近年、オペレーターが一つのカメラのパン・チルト動作等の制御を行う一方で、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を搭載したカメラが自身の判断・推論に基づいて被写体を自動追尾するシステムが提案されている。特許文献１には、被写体を自動追尾する撮影（自動撮影）と、手動でパン・チルト動作等の制御を行うことが可能な撮影（手動撮影）とに切り替え可能な構成が開示されている。また、特許文献２には、自動追尾カメラにおいて、画面上に表示されたマークの位置を、追尾被写体を出力する位置として設定する構成が開示されている。

特開２００５－８６３６０号公報 特許第５３１７６０７号公報

しかしながら、特許文献１の構成では、手動撮影から自動撮影に切り替えた場合、画角が固定になってしまう。特許文献２の構成は画角が固定になる状態を解消することはできるが、オペレータはカメラ操作と追尾被写体を出力する位置の指定操作を同時に実行する必要がり、操作が煩雑になってしまう。

本発明は、手動撮影から自動撮影への切り替え時に簡易な操作でオペレータの意図に沿った画角での撮影を実現可能な制御装置を提供することを目的とする。

本発明の一側面としての制御装置は、ユーザーの操作により撮像装置の画角を変更する第１の状態と画像上において被写体が目標位置に表示されるように画角を変更する第２の状態とに遷移可能なシステムに用いられる制御装置であって、画像上における被写体の位置を取得する取得部と、システムが第１の状態から第２の状態に遷移した場合、画像上における被写体の位置に基づいて目標位置を決定する決定部とを有することを特徴とする。

本発明によれば、手動撮影から自動撮影への切り替え時に簡易な操作でオペレータの意図に沿った画角での撮影を実現可能な制御装置を提供することができる。

本発明の実施形態に係るシステムの構成図である。 各装置のブロック構成を示す図である。 ワークステーションとカメラの動作を示すフローチャートである。 コントローラの動作を示す図である。 第１の実施形態のワークステーションの状態と遷移条件を示す図である。 第１の実施形態の目標位置を設定する処理を示すフローチャートである。 第２の実施形態の被写体サイズを取得する処理を示すフローチャートである。 第２の実施施形態のズーム倍率を設定する処理を示すフローチャートである。 第３の実施形態のワークステーションの動作を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の実施形態に係るシステムの構成図である。システムは、カメラ（撮像装置）１００、ワークステーション２００、及びコントローラ（操作装置）３００を有する。システムは、ユーザーの操作によりカメラ１００の画角を変更する第１の状態と画像上において追尾対象である被写体が目標位置に表示されるようにカメラ１００の画角を変更する第２の状態とに遷移可能に構成される。

カメラ１００とワークステーション２００は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）４００を介して接続されている。コントローラ３００は、ＬＡＮ５００に接続されている。ＬＡＮ４００，５００は、インターネット６００を介して接続される。このような構成により、各装置は相互に通信を行うことが可能である。

カメラ１００は、各ネットワークや画像ケーブルを介して撮像した画像を各装置に配信する。また、カメラ１００は、被写体を撮像する撮像部に対するパン・チルト操作が可能な機構を備える。

ワークステーション２００は、カメラ１００から配信された画像から被写体を検出し、検出した結果に基づいてカメラ１００の撮像方向を変更する等の、いわゆる、被写体を追尾するための制御信号をＬＡＮ４００を介してカメラ１００に送信する。なお、カメラ１００は、ワークステーション２００が備える機能を有するように構成されてもよい。

コントローラ３００は、インターネット６００を介して、カメラ１００にアクセスして画像取得、及びユーザ操作に基づくカメラ１００の制御を行う。

本実施形態のシステムでは、ワークステーション２００が画像に基づいて被写体追尾するようカメラ１００を制御しつつ、ユーザは遠隔地からコントローラ３００を操作することでカメラ１００の撮像方向を所望の向きに変更することも可能である。

図２（ａ）は、各装置のブロック構成を示す図である。カメラ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、画像出力Ｉ／Ｆ１０４、ネットワークＩ／Ｆ１０５、画像処理部１０６、画像センサ１０７、駆動Ｉ／Ｆ１０８、及び駆動部１０９を備える。ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、画像出力Ｉ／Ｆ１０４、ネットワークＩ／Ｆ１０５、画像処理部１０６、及び駆動Ｉ／Ｆ１０８は、内部バス１１０を介して相互に接続されている。

ＣＰＵ１０１は、カメラ１００全体の制御を行う。

ＲＡＭ１０２は、ＤＲＡＭ等の読み書き可能な高速の記憶装置で、ＯＳ、各種プログラム、及び各種データがロードされたり、ＯＳや各種プログラムの作業領域として使用されたりする。

ＲＯＭ１０３は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、及びＳＤカード等の不揮発性の記憶装置で、ＯＳ、各種プログラム、及び各種データの永続的な記憶領域として使用されたり、短期的な各種データの記憶領域として使用されたりする。

画像出力Ｉ／Ｆ１０４は、画像センサ１０７が撮像した画像を外部に出力するためのインターフェースである。画像出力Ｉ／Ｆ１０４は、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）やＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）により構成される。画像出力Ｉ／Ｆ１０４は、後述するワークステーション２００の画像入力Ｉ／Ｆ（画像入力手段）２０８に接続されている。

画像処理部１０６は、ＣＣＤやＣＭＯＳからなる画像センサ１０７に接続され、画像センサ１０７から取得した画像データを所定のフォーマットに変換し、必要に応じて圧縮してＲＡＭ１０２に転送する。また、画像処理部１０６は、画像センサ１０７から画像データを取得する際のズーム・フォーカスや露出制御等の画質調整、及び画像データの所定領域のみを切り出すクロップ処理も行う。これらの処理は、ワークステーション２００やコントローラ３００等の外部装置から、ネットワークＩ／Ｆ１０５を経由した指示に従って実施される。

ネットワークＩ／Ｆ１０５は、ＬＡＮ４００と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介してワークステーション２００やコントローラ３００等の外部装置との通信を担う。なお、遠隔からのカメラ１００に対する制御は、ネットワークＩ／Ｆ１０５を介して行われてもよいし、不図示のシリアル通信Ｉ／Ｆ等の別のＩ／Ｆを介して行われてもよい。

駆動Ｉ／Ｆ１０８は、駆動部１０９との接続部であり、駆動部１０９に対する制御信号等を送受信するための通信を担う。

駆動部１０９は、メカ駆動系及び駆動源のモータ等により構成され、カメラ１００の撮像方向やズームに用いるレンズ群の位置を変更する。駆動部１０９は、駆動Ｉ／Ｆ１０８を介してＣＰＵ１０１から受ける指示に基づいて水平方向や垂直方向に画角を向けるための、パン・チルト動作等の回動や、撮影画角の範囲を変更するためのズーム動作を行う。

ワークステーション２００は、ＣＰＵ２０１、ＲＡＭ（記録部）２０２、ＲＯＭ２０３、ネットワークＩ／Ｆ２０４、画像出力Ｉ／Ｆ２０５、ユーザ入力Ｉ／Ｆ２０６、推論部（検出部）２０７、及び画像入力Ｉ／Ｆ（画像取得部）２０８を備える。ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ネットワークＩ／Ｆ２０４、画像出力Ｉ／Ｆ２０５、ユーザ入力Ｉ／Ｆ２０６、推論部２０７、及び画像入力Ｉ／Ｆ２０８は、内部バス２０９を介して相互に接続されている。

ＣＰＵ２０１は、ワークステーション２００全体の制御を行う。ＣＰＵ２０１は、図２（ｂ）に示されるように、取得部２０１ａと決定部２０１ｂとを備える。取得部２０１ａは、画像上における追尾対象である被写体の位置を取得する。決定部２０１ｂは、システムが第１の状態から第２の状態に遷移した場合、画像上における被写体の位置に基づいて目標位置を決定する。なお、ＣＰＵ２０１は、本実施形態では、ワークステーション２００に搭載されているが、ワークステーション２００とは別の制御装置として構成されてもよいし、カメラ１００やコントローラ３００に搭載されてもよい。

ＲＡＭ２０２は、ＤＲＡＭ等の読み書き可能な高速の記憶装置で、ＯＳ、各種プログラム、及び各種データがロードされたり、ＯＳや各種プログラムの作業領域として使用されたりする。

ＲＯＭ２０３は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、及びＳＤカード等の不揮発性の記憶装置で、ＯＳ、各種プログラム、及び各種データの永続的な記憶領域として使用されたり、短期的な各種データの記憶領域として使用されたりする。

ネットワークＩ／Ｆ２０４は、ＬＡＮ４００と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介してカメラ１００やコントローラ３００等の外部装置との通信を担う。

画像出力Ｉ／Ｆ２０５は、ワークステーション２００の設定情報画面等を出力するためのインターフェースである。

ユーザ入力Ｉ／Ｆ２０６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等により構成され、マウス、キーボード、及びその他の入力装置と接続するためのインターフェースである。

推論部２０７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の画像処理や推論処理に特化した演算装置により構成され、画像入力Ｉ／Ｆ２０８等から受信した画像から画像内の所定の物体の位置や有無を推定する。学習処理には一般的にはＧＰＵを利用することが有効であるが、ＦＰＧＡ（Ｆｉｅｌｄ －Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の再構成可能な論理回路を利用してもよい。また、推論部２０７の処理をＣＰＵ２０１が担ってもよい。

画像入力Ｉ／Ｆ２０８は、カメラ１００から画像を受信する。本実施形態では、画像入力Ｉ／Ｆ２０８は、ＳＤＩやＨＤＭＩにより構成される。

コントローラ３００は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ネットワークＩ／Ｆ３０４、表示部３０５、及びユーザ入力Ｉ／Ｆ３０６を備える。ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ネットワークＩ／Ｆ３０４、表示部３０５、及びユーザ入力Ｉ／Ｆ３０６は、内部バス３０７を介して相互に接続されている。

ＣＰＵ３０１は、コントローラ３００全体の制御を行う。

ＲＡＭ３０２はＤＲＡＭ等の読み書き可能な高速の記憶装置で、ＯＳ、各種プログラム、及び各種データがロードされたり、ＯＳや各種プログラムの作業領域として使用されたりする。

ＲＯＭ３０３は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、及びＳＤカード等の不揮発性の記憶装置で、ＯＳ、各種プログラム、及び各種データの永続的な記憶領域として使用されたり、短期的な各種データの記憶領域として使用されたりする。

ネットワークＩ／Ｆ３０４は、ＬＡＮ５００と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介してカメラ１００やワークステーション２００等の外部装置との通信を担う。ここで、通信とは、カメラ１００やコントローラ３００への制御コマンドの送受信、及びカメラ１００からの画像の受信である。

表示部３０５は、カメラ１００からの画像やコントローラ３００の設定画面を表示する。なお、本実施形態では、コントローラ３００が表示部３０５を有するが、本発明はこれに限定されない。例えば、画像を表示するのみの表示モニタとコントローラがそれぞれ設けられてもよい。

ユーザ入力Ｉ／Ｆ３０６は、コントローラ３００に対するユーザからの操作を受け付けるためのインターフェースであり、例えばボタン、ダイヤル、ジョイスティック、及びタッチパネル等が挙げられる。ユーザ入力Ｉ／Ｆ３０６は例えば、ユーザ操作に基づいてカメラ１００をパン・チルト制御するための入力を受け付ける。

以下、本実施形態のシステムにおける基本動作である、ワークステーション２００により検出された被写体を追尾するようカメラ１００を制御する動作、及び、コントローラ３００によりカメラ１００を制御する動作について説明する。

まず、図３を参照して、ワークステーション２００により検出された被写体をカメラ１００に追尾させる動作について説明する。図３は、ワークステーション２００とカメラ１００の動作を示すフローチャートである。

図３（ａ）は、ワークステーション２００がカメラ１００から逐次送信される画像を画像入力Ｉ／Ｆ２０８を介して受信し、画像を用いて被写体の位置を特定しつつ、被写体を追尾するようカメラ１００を制御するためのループ処理を示している。

ステップＳ１０１では、ＣＰＵ２０１は、画像入力Ｉ／Ｆ２０８を介してカメラ１００が撮像した画像を受信する。なお、画像は所定のフレームレートに合わせて画像出力Ｉ／Ｆ１０４より順次送信され、画像入力Ｉ／Ｆ２０８は受信した画像をＲＡＭ２０２に逐次書き出す。また、画像は、ネットワークＩ／Ｆ２０４を介して受信され、ＲＡＭ２０２に展開されてもよい。

ステップＳ１０２では、まず、ＣＰＵ２０１は、ＲＡＭ２０２から画像を読み出し、推論部２０７に入力する。次に、推論部２０７は、推論した結果として、追尾対象である被写体の位置情報をＲＡＭ２０２に書き出す。推論部２０７は、ディープラーニング等の機械学習方法を用いて作成された学習済みモデルを有し、入力データとして画像を受け、出力データとして人物等の追尾対象の種別、位置情報、及び確からしさを示すスコアを出力する。本実施形態では、推論部２０７が出力する位置情報として、検出された被写体に外接する矩形枠が用いられる。矩形枠は、入力された画像に重畳される、直交座標上の位置座標によって示され、矩形枠の左上の位置座標と右下の位置座標によって一意に指定される。位置座標では、画像の左上を座標の原点とし、画像の右下が１となるように規格化された値が用いられる。したがって、画像上の任意の点は、（パン方向位置、チルト方向位置）で表される一組の数値によって表現される。また、画像の左上は（０，０）、右下は（１，１）、画像中心（画像の中心位置）は（０．５，０．５）と表される。また、矩形枠は、矩形枠を構成する４点の重心位置座標によって示されてもよいし、矩形枠を一意に定めるその他の位置座標によって示されてもよい。続けて、ＣＰＵ２０１は、ＲＡＭ２０２に書き出された情報をカメラ１００に送信する。

ステップＳ１０３では、ＣＰＵ２０１はまず、ステップＳ１０２で推論部２０７から取得した被写体の位置情報と後述する被写体の目標位置との差分を演算する。次に、ＣＰＵ２０１は、被写体を追尾するための、差分に応じたパン方向とチルト方向の角速度を算出する。差分が大きい、すなわち被写体の画像内の位置が目標位置と離れているほど算出するパン方向とチルト方向の角速度は大きくなる。本実施形態では、角速度は被写体の位置と目標位置との関係は、画像内の距離に応じて線形に増加する関係であるが、その他の関係であってもよい。

追尾動作は、画像内の所定の位置を被写体の目標位置とし、被写体が目標位置上に撮影されるようにカメラ１００にパン・チルト動作させることで実現される。例えば、目標位置が画像中心（０．５，０．５）である場合、ＣＰＵ２０１は追尾対象である被写体が画像中心に撮影されるように追尾動作を実行する。

なお、ユーザはユーザＩ／Ｆ２０６を介して画像内の任意の位置を目標位置として指定することができ、目標位置座標はＲＡＭ２０２に保存される。また、追尾対象である被写体は、ユーザによってユーザー入力Ｉ／Ｆ２０６を通してワークステーション２００に伝えられる。なお、目標位置や追尾対象は、ネットワークＩ／Ｆ２０４を介してインターネット６００に接続されたコントローラ３００又は不図示の外部装置から指定されてもよい。

また、推論部２０７が出力した結果に、予め指定された、例えば人等の種別が含まれる場合、ＣＰＵ２０１が取得した対象が追尾対象として指定されてもよい。更に、推論部２０７が出力した結果に追尾対象とする種別が複数含まれる場合、最も大きい対象、画像中心に近い対象、及び推論結果の確からしさが最も高い対象が追尾対象として指定されてもよい。

ステップＳ１０４では、ＣＰＵ２０１は、ステップＳ１０３で算出した結果を、カメラ１００を制御する方法として予め取り決めているプロトコルに則って制御コマンドに変換し、ＲＡＭ２０２に書き出す。

ステップＳ１０５では、ＣＰＵ２０１は、ステップＳ１０４で変換し、ＲＡＭ２０２に書き出した制御コマンドを読み出し、ネットワークＩ／Ｆ２０４を介してカメラ１００に送信し、ループ処理の先頭に戻る。

なお、ステップＳ１０３において、差分が所定範囲内であればカメラ１００の制御を行わない、いわゆる不感帯を設け、過敏にカメラ１００が制御されることを回避してもよい。

図３（ｂ）は、ワークステーション２００から制御コマンドを受信した際のカメラ１００の動作フローを示している。

ステップＳ２０１では、ＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を介して制御コマンドを受信する。

ステップＳ２０２では、ＣＰＵ１０１は、制御コマンドを受信すると、操作方向及び操作量（角速度）としてパン方向／チルト方向のそれぞれに対する値を読み出す。

ステップＳ２０３では、ＣＰＵ１０１は、ステップＳ２０１で読み出した値を元に、所望の方向へ所望の速度でパン・チルトするための駆動パラメータを導出する。駆動パラメータは具体的には駆動部１０９に含まれるパン方向／チルト方向のそれぞれのモータ（不図示）を制御するためのパラメータであり、受信した制御コマンドに含まれる操作量を元に予めＲＯＭ１０３が保持する変換テーブルを参照して変換されてもよい。

ステップＳ２０４では、ＣＰＵ１０１は、ステップＳ２０３で導出した駆動パラメータに基づいて、駆動Ｉ／Ｆ１０８を介して駆動部１０９を制御する。駆動部１０９が駆動パラメータに基づいて回動することで、カメラ１００の撮像方向を変更させるパン・チルト動作が行われる。

なお、図３を用いて説明した駆動制御は、ズーム機構にも適用可能である。

次に、図４を参照して、コントローラ３００に対する操作に基づいてカメラ１００を制御する動作について説明する。図４は、コントローラ３００の動作を示す図である。

カメラ１００はコントローラ３００から送信される制御コマンドに基づいて制御されるが、カメラ１００の動作は図３（ｂ）で説明した動作と同様であるため、説明を省略する。

ステップＳ３０１では、ＣＰＵ３０１は、ユーザによるジョイスティック操作をユーザ入力Ｉ／Ｆ３０６を介して検出する。

ステップＳ３０２では、ＣＰＵ３０１は、ジョイスティックの操作方向及び操作量をユーザ入力Ｉ／Ｆ３０６から取得する。ジョイスティックの仕様の具体例として、パン方向／チルト方向のそれぞれにおいて備え付けられた可変抵抗器から出力される電圧を用いるアナログ出力仕様が挙げられる。ＣＰＵ３０１は、ジョイスティックから入力される電圧をＡ／Ｄ変換部（不図示）を介して得られるデジタル値として読み出すことで、パン方向／チルト方向のそれぞれの角速度を把握することができる。なお、Ａ／Ｄ変換部は、例えば０～１０２３等の所定の範囲の値を、操作量に応じたパン方向／チルト方向のそれぞれの角速度に相当する値として読み出すことができる。

ステップＳ３０３では、ＣＰＵ３０１は、ステップＳ３０２で取得した結果に基づくパン方向／チルト方向の角速度を、カメラ１００を制御する方法として予め取り決めているプロトコルに則って制御コマンドに変換し、ＲＡＭ１０２に書き出す。

ステップＳ３０４では、ＣＰＵ３０１は、ステップＳ３０３で変換し、ＲＡＭ１０２に書き出した制御コマンドを読み出し、ネットワークＩ／Ｆ１０５を介してカメラ１００に送信する。なお、制御コマンドは、ワークステーション２００を経由してカメラ１００に送信されてもよい。すなわち、制御コマンドは、ネットワークＩ／Ｆ１０５を介してワークステーション２００が受信した後、ワークステーション２００からカメラ１００に送信されてもよい。また、制御コマンドは、カメラ１００とワークステーション２００に同時に送信されてもよい。
＜第１の実施形態＞
本実施形態では、自動追尾の目標位置を決定する方法について説明する。

図５は、本実施形態のワークステーション２００の状態と遷移条件を示す図である。ワークステーション２００は、ユーザーの操作により手動操作状態ＳＴ１と自動追尾状態ＳＴ２とに遷移可能に構成されている。図５では、ワークステーション２００は、画像入力Ｉ／Ｆ２０８がカメラ１００から受信した画像を元に推論部２０７が検出した結果を逐次更新しつつ保持している状態にあるものとする。

ワークステーション２００は、手動操作状態ＳＴ１にて自動追尾開始信号を受信すると自動追尾状態ＳＴ２に遷移し、画像上の被写体の検出を含む自動追尾動作を開始する。自動追尾開始信号は、ユーザによりユーザ入力Ｉ／Ｆ２０６を通してワークステーション２００に入力されてもよいし、ユーザ入力Ｉ／Ｆ３０６及びインターネット６００を通してワークステーション２００に入力されてもよい。また、ワークステーション２００は、カメラスイッチング装置等の外部装置からの制御信号を受信した場合に自動追尾状態ＳＴ２に遷移してもよい。更に、ワークステーション２００は、ワークステーション２００がユーザによる操作が検出されない状態が所定時間続いた場合や、推論部２０７がユーザによって指定された任意の種別を検出した場合に自動追尾状態ＳＴ２に遷移してもよい。例えば、任意の種別として人が指定されると、ワークステーション２００は、推論部２０７が人を検出しない場合、手動操作状態ＳＴ１のままであり、推論部２０７が人を検出した場合、自動追尾開始信号を受信することなく自動追尾状態ＳＴ２に遷移してもよい。

ワークステーション２００は、自動追尾状態ＳＴ２にて自動追尾終了信号又はコントローラ３００による手動操作信号を受信すると、手動操作状態ＳＴ１に遷移する。なお、推論部２０７が追尾対象となる被写体を検出しない場合でもワークステーション２００は手動操作状態ＳＴ１に遷移してもよい。

図６は、ワークステーション２００が目標位置を設定する処理を示すフロチャートである。図６のフローは、ワークステーション２００が手動操作状態ＳＴ１から自動追尾状態ＳＴ２に遷移した場合に開始される。すなわち、システムがユーザーの操作によりカメラ１００の画角を変更する第１の状態から画像上において被写体が目標位置に表示されるようにカメラ１００の画角を変更する第２の状態に遷移した場合に開始される。

ステップＳ４０１では、ＣＰＵ２０１は、画像入力Ｉ／Ｆ２０８を介してカメラ１００から画像を受信し、ＲＡＭ２０２に保存する。

ステップＳ４０２では、ＣＰＵ２０１は、推論部２０７からＲＡＭ２０２に保存した画像を用いて検出された画像内の被写体の位置を取得する。

ステップＳ４０３では、ＣＰＵ２０１は、ステップＳ４０２で取得した画像内の被写体の位置を、自動追尾中に被写体を表示する目標位置として設定し、ＲＡＭ２０２に書き出す。なお、設定される目標位置は、推論部２０７が検出した被写体の位置と正確に等しい位置に限らない。例えば、画像を縦横それぞれ三等分した９区画に被写体を捉えるように、いわゆる、三分割構図を満たす最も近傍の位置、又はその他の構図を示す所定の位置に被写体を捉えるように、目標位置を設定してもよい。これにより、ユーザは、大まかに被写体の位置を指定するだけで、繊細な操作を行わずに好適な構図の画像を撮影することが可能となる。

なお、ＣＰＵ２０１は、被写体とカメラ１００の位置関係に応じて図６のフローを実行するかどうかを判定してもよい。例えば、被写体が移動している場合は被写体の目標位置を画像の中心に設定し、停止している場合は検出された被写体の位置を設定するとしてもよい。これにより、被写体が移動している場合は被写体を画角の中心にとどめるようにすることで画角から外れることを防止し、停止している場合はユーザが望む画角に固定させることができる。

また、ステップＳ４０３で設定された目標位置を一時的なものとしてもよい。例えば、被写体が所定の動作を継続している間のみ設定された目標位置を適用し、動作が終了すると画像の中心等の既定の目標位置に再設定されてもよい。

また、カメラ１００がパン・チルト方向に動作している状態で自動追尾開始信号が受信された場合、直前に実行していたパン・チルト動作の方向及び速度を所定時間の間、継続して使用することが望ましい。これにより、自動追尾開始前後で被写体を画像内の同じ位置に留めつつ、パン・チルト動作速度を維持することができる。

また、自動追尾開始の条件に応じて、目標位置設定が実行されるように構成されてもよい。例えば、ユーザが指示した場合のみ目標位置設定が実行されるように構成されてもよい。この場合、ユーザによって自動追尾開始信号が入力された場合、本実施形態の目標位置設定が実行される。一方、ユーザによる操作が検出されない状態が所定時間続いたことで自動追尾状態ＳＴ２に遷移した場合、目標位置設定が実行されない。

本実施形態の構成によれば、オペレータによる手動操作から自動追尾への切り替え時に追尾目標位置を決定することで、切り替え前後で違和感なく連続した画像を撮影することが可能である。
＜第２の実施形態＞
本実施形態では、手動操作から自動追尾への切り替え時に画像内の被写体の位置を指定すると共に、画像内に占める被写体の大きさ（以下被写体サイズと称する）に基づいてズーム倍率を変更する例について説明する。

図７は、本実施形態の画像から被写体サイズを取得する動作を示すフローチャートである。

ステップＳ５０１乃至ステップＳ５０３の処理はそれぞれ、図３（ａ）のステップＳ１０１乃至ステップＳ１０３の処理と同様であるため、説明は省略する。また、ステップＳ５０６とステップＳ５０７の処理はそれぞれ、図３（ａ）のステップＳ１０４とステップＳ１０５の処理と同様であるため、説明は省略する。

ステップＳ５０４では、ＣＰＵ２０１は、ＲＡＭ２０２から画像を読み出し、画像内に占める被写体サイズを算出する。本実施形態では、ステップＳ５０２で推論部２０７が出力した矩形枠をＲＡＭ２０２から読み出し、矩形枠の対角線の長さを被写体サイズとする。

なお、自動追尾する被写体の推論部２０７の検出種別は、物体の形が不変であることが望ましい。例えば、人を自動追尾させるために人の全身を用いる場合、人の腕の広げ方や足の開き方によって人の全身に外接する矩形枠の大きさが変わってしまう。その結果、同じズーム倍率であっても異なる被写体のサイズとなり、ＣＰＵ２０１は被写体が画角の奥行方向に移動したと誤検出してしまう。したがって、人を自動追尾させる場合は推論部２０７に検出させる種別は、人の顔等の体の一部であることが望ましい。

また、被写体サイズは、矩形枠の面積やパン方向又はチルト方向の画像全体に対する比率を用いてもよい。

ステップＳ５０５では、ＣＰＵ２０１は、ステップＳ５０４で算出した被写体サイズを基にカメラ１００に設定するためのズーム倍率を算出する。具体的には、ＣＰＵ２０１はまず、ステップＳ５０４で算出した被写体サイズをＲＡＭ２０２から読み出し、後述する被写体の目標サイズとの差分を求める。次に、ＣＰＵ２０１は、差分に応じて、望遠側、又は広角側へのズーム倍率を決定する。

なお、ワークステーション２００は、自動追尾実行時に被写体サイズが目標サイズとなるように動作する。すなわち、目標サイズとは、ワークステーション２００がズーム倍率を決定する際に基準とする被写体サイズである。

また、ズーム倍率は、カメラ１００が備えるズームレンズ間の距離を変化させる速度であってもよいし、画像処理によって実現されるデジタルズーム倍率であってもよい。

更に、追尾対象である被写体の他に複数の第二の被写体を推論部２０７が検出した場合、第二の被写体がフレームアウトしない程度にズーム倍率を決定してもよい。これにより、追尾対象の大きさを維持しつつ複数の被写体をとらえ続けることが可能となる。

図８は、本実施形態のワークステーション２００がズーム倍率を設定する処理を示すフローチャートである。

ステップＳ６０１では、ＣＰＵ２０１は、画像入力Ｉ／Ｆ２０８を介してカメラ１００から画像を受信し、ＲＡＭ２０２に保存する。

ステップＳ６０２では、ＣＰＵ２０１は、ＲＡＭ２０２から画像を読み出し、画像内に占める被写体サイズを算出する。

ステップＳ６０３では、ＣＰＵ２０１は、ステップＳ６０２で算出した被写体サイズを自動追尾中に被写体をとらえる目標サイズとして設定し、ＲＡＭ２０２に書き出す。

本実施形態の構成によれば、オペレータによる手動操作から自動追尾への切り替え時に追尾目標サイズを決定することで、切り替え前後で違和感なく連続した画像を撮影することが可能である。
＜第３の実施形態＞
本実施形態では、ユーザが自動追尾切り替えを指示した時刻とワークステーション２００が切り替え信号を受信する時刻とに有意な差がある場合に被写体の位置を用いて目標位置を決定する例について説明する。上述した時間差は、ネットワーク上で信号を送受信することによる通信レイテンシーやコントローラ３００やカメラ１００の内部処理にかかる時間により発生してしまう。カメラ１００の内部処理は例えば、撮像処理や画像出力処理である。

本実施形態のシステムでは、カメラ１００とワークステーション２００は物理的に近い位置に設置され、コントローラ３００はカメラ１００とワークステーション２００から離れた遠隔地に設置されているものとする。この場合、コントローラ３００と、カメラ１００又はワークステーション２００との間における通信は、レイテンシーが発生する可能性がある。

また、オペレータが操作するコントローラ３００とカメラ１００との間の距離が離れるほど、通信レイテンシーは嵩む傾向となる。更に、通信レイテンシーの他にカメラ１００とコントローラ３００との間に不図示の中継機材等が多く介在した場合もレイテンシーが増していく。

レイテンシーが嵩むほどカメラ１００が撮影した画像は遠隔地で操作を行うオペレータに遅延して到達し、オペレータが送信するカメラ制御指示は遅延してカメラ１００に到達する。上述した時間差があると、オペレータが自動撮影開始を指示した際に視認している画像内の被写体の位置と、ワークステーション２００が自動追尾開始信号を受信した時点の画像内の被写体の位置とが異なる可能性がある。この場合、第１及び第２の実施形態のようにワークステーション２００が自動追尾開始信号を受信した時点の被写体の位置を自動追尾の目標位置に設定すると、画像内の自動追尾中の被写体の位置はオペレータが意図した位置と異なるものになってしまう。

そこで、本実施形態では、ワークステーション２００は、自動追尾開始信号を受信した際に、予め定められた時間分遡った時点での画像を用いて被写体の目標位置を設定する。

図９は、本実施形態のワークステーション２００の動作を示すフローチャートである。ＣＰＵ２０１は、ユーザ入力Ｉ／Ｆ２０６やネットワークＩ／Ｆ２０４を通して自動追尾開始信号を受信すると、図９のフローを開始する。

ステップＳ７０１では、ＣＰＵ２０１は、自動追尾開始信号を受信した時刻から所定時間遡った時刻に記録された被写体の位置をＲＡＭ２０２から読み込む。所定時間は、撮影した時刻とオペレータが自動追尾開始信号を送信した時刻との差分に相当する時間であり、予め固定値としてＲＯＭ２０３に保存されていてもよいし、ユーザ入力Ｉ／Ｆ２０６を介してユーザからの指定に基づいて設定されてもよい。

また、ＣＰＵ２０１は、ネットワークＩ／Ｆ２０４を介してコントローラ３００と通信遅延測定用の信号を送受信することで通信にかかる時間を測定し、測定した時間を所定時間として設定してもよい。

なお、主な通信遅延を生じているインターネット６００を共通に介していれば、ワークステーション２００近傍の装置と、コントローラ３００近傍の装置との間の通信にかかる時間が所定時間として設定されてもよい。例えば、ＬＡＮ４００に接続された機器と、ＬＡＮ５００に接続された機器との間の通信にかかる時間が所定時間として設定されてもよい。

更に、ＣＰＵ２０１は、自動追尾開始信号と合わせて、自動追尾切り替え時にユーザが視認していた画像が撮影された時刻の情報を受信することで、対応する時刻の被写体の位置をＲＡＭ２０２から読み込んでもよい。

ステップＳ７０２では、ＣＰＵ２０１は、ステップＳ７０１で取得した被写体の位置を目標位置として設定する。

なお、ステップＳ７０１で被写体の位置をＲＡＭ２０２から取得するためには、手動操作状態ＳＴ１においても推論部２０７は常に被写体の位置を検出し、ＲＡＭ２０２に保存し続けなければならない。しかしながら、一般的に画像内の被写体を検出する画像認識処理は計算負荷が大きいため、ワークステーション２００の計算資源を圧迫したり、消費電力を増加させたりする要因となる。そのため、推論部２０７が検出処理を実行する時間は、短時間であることが望ましい。

そこで、手動操作状態ＳＴ１において、ＣＰＵ２０１は、画像入力Ｉ／Ｆ２０８を介して受信したカメラ１００の画像のみをＲＡＭ２０２に保存し、ステップＳ７０１では所定時間遡った時刻の画像をＲＡＭ２０２から取得してもよい。その後、ＣＰＵ２０１は、取得した画像を用いた推論部２０７の検出結果から被写体の位置を取得してもよい。

本実施形態の構成によれば、ユーザが自動追尾切り替えを指示した時刻とワークステーション２００が切り替え信号を受信する時刻とに有意な差がある場合においても、オペレータが指定した適切な位置に被写体の位置を設定することが可能となる。

なお、各実施形態では、ワークステーション２００がカメラ１００の自動追尾制御を実行するが、本発明はこれに限定されない。例えばワークステーション２００が有する機能をカメラ１００やコントローラ３００が有してもよい。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成及び方法を含む。

（構成１）
ユーザーの操作により撮像装置の画角を変更する第１の状態と画像上において被写体が目標位置に表示されるように前記画角を変更する第２の状態とに遷移可能なシステムに用いられる制御装置であって、
前記画像上における前記被写体の位置を取得する取得部と、
前記システムが前記第１の状態から前記第２の状態に遷移した場合、前記画像上における前記被写体の位置に基づいて前記目標位置を決定する決定部とを有することを特徴とする制御装置。
（構成２）
前記決定部は、前記システムが前記第１の状態から前記第２の状態に遷移した際の前記画像上における前記被写体の位置を前記目標位置として決定することを特徴とする構成１に記載の制御装置。
（構成３）
前記決定部は、前記システムが前記第１の状態から前記第２の状態に遷移した際に、前記被写体が移動している場合、前記画像の中心位置を前記目標位置として決定し、前記被写体が停止している場合、前記システムが前記第１の状態から前記第２の状態に遷移した際の前記画像上における前記被写体の位置を前記目標位置として決定することを特徴とする構成１又は２に記載の制御装置。
（構成４）
前記第２の状態では、前記画像における前記被写体のサイズが目標サイズに近づくように前記画角が変更され、
前記取得部は、前記画像における前記被写体のサイズを取得し、
前記決定部は、前記システムが前記第１の状態から前記第２の状態に遷移した際の前記画像における前記被写体のサイズを前記目標サイズとして決定することを特徴とする構成１乃至３の何れか一つの構成に記載の制御装置。
（構成５）
前記決定部は、前記システムが前記第１の状態から前記第２の状態に遷移する前に前記取得部により取得され、記録された複数の前記被写体の位置のうち１つの前記被写体の位置を前記目標位置として決定することを特徴とする構成１に記載の制御装置。
（構成６）
前記決定部は、前記システムが前記第１の状態から前記第２の状態に遷移した時刻から所定時間だけ前の時刻に記録された前記被写体の位置を前記目標位置として決定することを特徴とする構成５に記載の制御装置。
（構成７）
前記所定時間は、前記システムに対して前記第１の状態から前記第２の状態への遷移が指示された時刻と、前記システムが前記第１の状態から前記第２の状態に遷移した時刻との差分に基づくことを特徴とする構成６に記載の制御装置。
（構成８）
前記複数の前記被写体の位置を記録する記録部を更に有することを特徴とする構成５乃至７の何れか一つの構成に記載の制御装置。
（構成９）
前記画像を取得する画像取得部を更に有することを特徴とする構成１乃至８の何れか一つの構成に記載の制御装置。
（構成１０）
前記画像を用いて前記被写体の位置を検出する検出部を更に有することを特徴とする構成１乃至９の何れか一つの構成に記載の制御装置。
（構成１１）
ユーザーの操作により画角を変更する第１の状態と画像上において被写体が目標位置に表示されるように前記画角を変更する第２の状態とに遷移可能なシステムに用いられる撮像装置であって、
前記被写体を撮像する撮像部と、
前記画像上における前記被写体の位置を取得する取得部と、
前記システムが前記第１の状態から前記第２の状態に遷移した場合、前記画像上における前記被写体の位置に基づいて前記目標位置を決定する決定部とを有することを特徴とする撮像装置。
（構成１２）
被写体を撮像する撮像部を備える撮像装置と、
前記撮像装置を操作するための操作装置と、
前記撮像装置を制御するための制御装置とを有し、ユーザーの操作により前記撮像装置の画角を変更する第１の状態と画像上において被写体が目標位置に表示されるように前記画角を変更する第２の状態とに遷移可能なシステムであって、
前記制御装置は、
前記画像上における前記被写体の位置を取得する取得部と、
前記システムが前記第１の状態から前記第２の状態に遷移した場合、前記画像上における前記被写体の位置に基づいて前記目標位置を決定する決定部とを備えることを特徴とするシステム。
（方法１）
ユーザーの操作により撮像装置の画角を変更する第１の状態と画像上において被写体が目標位置に表示されるように前記画角を変更する第２の状態とに遷移可能なシステムに用いられる制御方法であって、
前記画像上における前記被写体の位置を取得するステップと、
前記システムが前記第１の状態から前記第２の状態に遷移した場合、前記画像上における前記被写体の位置に基づいて前記目標位置を決定するステップとを有することを特徴とする制御方法。
（構成１３）
方法１に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ カメラ（撮像装置）
２０１ ＣＰＵ（制御装置）
２０１ａ 取得部
２０１ｂ 決定部

Claims (14)

1. ユーザーの操作により撮像装置の画角を変更する第１の状態と画像上において被写体が目標位置に表示されるように前記画角を変更する第２の状態とに遷移可能なシステムに用いられる制御装置であって、
   前記画像上における前記被写体の位置を取得する取得部と、
   前記システムが前記第１の状態から前記第２の状態に遷移した場合、前記画像上における前記被写体の位置に基づいて前記目標位置を決定する決定部とを有することを特徴とする制御装置。
2. 前記決定部は、前記システムが前記第１の状態から前記第２の状態に遷移した際の前記画像上における前記被写体の位置を前記目標位置として決定することを特徴とする請求項１に記載の制御装置。
3. 前記決定部は、前記システムが前記第１の状態から前記第２の状態に遷移した際に、前記被写体が移動している場合、前記画像の中心位置を前記目標位置として決定し、前記被写体が停止している場合、前記システムが前記第１の状態から前記第２の状態に遷移した際の前記画像上における前記被写体の位置を前記目標位置として決定することを特徴とする請求項１又は２に記載の制御装置。
4. 前記第２の状態では、前記画像における前記被写体のサイズが目標サイズに近づくように前記画角が変更され、
   前記取得部は、前記画像における前記被写体のサイズを取得し、
   前記決定部は、前記システムが前記第１の状態から前記第２の状態に遷移した際の前記画像における前記被写体のサイズを前記目標サイズとして決定することを特徴とする請求項１又は２に記載の制御装置。
5. 前記決定部は、前記システムが前記第１の状態から前記第２の状態に遷移する前に前記取得部により取得され、記録された複数の前記被写体の位置のうち１つの前記被写体の位置を前記目標位置として決定することを特徴とする請求項１に記載の制御装置。
6. 前記決定部は、前記システムが前記第１の状態から前記第２の状態に遷移した時刻から所定時間だけ前の時刻に記録された前記被写体の位置を前記目標位置として決定することを特徴とする請求項５に記載の制御装置。
7. 前記所定時間は、前記システムに対して前記第１の状態から前記第２の状態への遷移が指示された時刻と、前記システムが前記第１の状態から前記第２の状態に遷移した時刻との差分に基づくことを特徴とする請求項６に記載の制御装置。
8. 前記複数の前記被写体の位置を記録する記録部を更に有することを特徴とする請求項５に記載の制御装置。
9. 前記画像を取得する画像取得部を更に有することを特徴とする請求項１又は２に記載の制御装置。
10. 前記画像を用いて前記被写体の位置を検出する検出部を更に有することを特徴とする請求項１又は２に記載の制御装置。
11. ユーザーの操作により画角を変更する第１の状態と画像上において被写体が目標位置に表示されるように前記画角を変更する第２の状態とに遷移可能なシステムに用いられる撮像装置であって、
    前記被写体を撮像する撮像部と、
    前記画像上における前記被写体の位置を取得する取得部と、
    前記システムが前記第１の状態から前記第２の状態に遷移した場合、前記画像上における前記被写体の位置に基づいて前記目標位置を決定する決定部とを有することを特徴とする撮像装置。
12. 被写体を撮像する撮像部を備える撮像装置と、
    前記撮像装置を操作するための操作装置と、
    前記撮像装置を制御するための制御装置とを有し、ユーザーの操作により前記撮像装置の画角を変更する第１の状態と画像上において被写体が目標位置に表示されるように前記画角を変更する第２の状態とに遷移可能なシステムであって、
    前記制御装置は、
    前記画像上における前記被写体の位置を取得する取得部と、
    前記システムが前記第１の状態から前記第２の状態に遷移した場合、前記画像上における前記被写体の位置に基づいて前記目標位置を決定する決定部とを備えることを特徴とするシステム。
13. ユーザーの操作により撮像装置の画角を変更する第１の状態と画像上において被写体が目標位置に表示されるように前記画角を変更する第２の状態とに遷移可能なシステムに用いられる制御方法であって、
    前記画像上における前記被写体の位置を取得するステップと、
    前記システムが前記第１の状態から前記第２の状態に遷移した場合、前記画像上における前記被写体の位置に基づいて前記目標位置を決定するステップとを有することを特徴とする制御方法。
14. 請求項１３に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。