JP2024010640A - 撮像システム及びそれを構成する制御装置、撮像装置、制御方法 - Google Patents

Abstract

【課題】 カメラオペレータによる手動操作を主体としつつ、自動追尾機能が補佐的動作を行うことが可能となるカメラ制御装置を提供する。【解決手段】 制御装置は、画像が入力される入力部と、入力部から入力された画像から被写体を検出する第１の検出部と、第１の検出部により検出された被写体の動き出しを検出する第２の検出部と、第２の検出部により動き出しが検出された場合、第１の検出部により検出された当該被写体の位置に基づいて、撮像装置の撮影範囲を制御する制御部と、を有する。第２の検出部により前記被写体の動き出しが検出された場合、制御部は、第１の検出部により検出された当該被写体の位置に基づいて、撮影範囲を所定時間制御する。所定時間経過後は第１の検出部により検出された当該被写体の位置に基づく撮影範囲の制御を停止する。【選択図】 図１

Description

本発明は撮像装置を含む撮像システムに関し、特に検出した被写体を追尾するようカメラを制御することが可能な撮像システムに関するものである。

近年の映像制作では、撮影現場に赴くことなく遠隔地からカメラを制御することで撮影・制作を行うリモートプロダクションという手法が普及しつつある。

この手法によればカメラオペレーターはネットワークを介してコントローラ等の装置によりカメラを遠隔制御することで、現地でカメラを操作する場合と同等の映像を撮影することができ、さらに現地に赴く際の移動に掛かるコストを抑制できる効果も得られる。

また、近年はＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の進化により所望の被写体を検出し、其の被写体を追尾するようカメラを制御する技術もしばし見受けられる。

これらの技術を組み合わせることで、カメラオペレーターはカメラを遠隔地からパン・チルト等の制御が可能でありながら、ＡＩを搭載したカメラが自身の判断・推論に基づいて被写体を自動追尾することも可能となるシステムが実現される。

具体的な先行技術として、特許文献１には、自動で被写体を追尾できる自動追尾モードと、カメラオペレータが手動でパン・チルト等の制御が可能な手動操作モードとを有し、それぞれのモードをユーザの操作により切り替えることができる技術が記載されている。

さらに特許文献２には、自動追尾モードと、手動操作モードとを有し、検出した被写体が画像上の所定の範囲に入ると、手動操作モードから自動で自動追尾モードへ移行する技術が開示されている。

特開２００５－８６３６０号公報 特開２０２２－２３７８号公報

カメラオペレータの操作するコントローラとカメラ間の距離が離れるほど、ネットワークのレイテンシー（遅延）は嵩む傾向となる。さらに、ネットワークレイテンシーの他にカメラとコントローラの間に中継機材などが多く介在した場合もレイテンシーが増していく。

レイテンシーが嵩むほど遠隔地から操作を行うカメラオペレータの制御指示は遅延してカメラへ到達することになり、被写体を手動で捉える操作が難しくなり、操作性が低下する。

その状況に対し、特許文献２に示すようなシステムを活用することで、手動で被写体を撮影範囲内に収めることが難しい場合であっても、自動追尾機能がフォローする形で介入することで撮影範囲内に被写体を捉えることができると考えられる。しかしながら、プロカメラマンなど、趣向を凝らした画角コントロールを所望するユーザからは、自身の操作を主体としつつ自動追尾は補佐役として動作する役割分担が望まれると本発明者らは考えた。

そこで本発明は、カメラオペレータによる手動操作を主体としつつ、自動追尾機能が補佐的動作を行うことを可能とするカメラ制御装置を提供することを目的とする。

本発明の一側面としての制御装置は、画像が入力される入力部と、前記入力部から入力された画像から被写体を検出する第１の検出部と、前記第１の検出部により検出された前記被写体の動き出しを検出する第２の検出部と、前記第２の検出部により動き出しが検出された場合、前記第１の検出部により検出された当該被写体の位置に基づいて、撮像装置の撮影範囲を制御する制御部と、を有し、前記第２の検出部により前記被写体の動き出しが検出された場合、前記制御部は、前記第１の検出部により検出された当該被写体の位置に基づいて、前記撮影範囲を所定時間制御し、前記所定時間経過後は前記第１の検出部により検出された当該被写体の位置に基づく前記撮影範囲の制御を停止することを特徴とする。

本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

本発明によれば、カメラオペレータによる手動操作を主体としつつ、自動追尾機能が補佐的動作を行うことが可能となる。

第１～３の実施形態に係るシステム全体の構成例を示す図である。 第１～３の実施形態の各装置のブロック構成を示す図である。 第１の実施形態のワークステーション２００とカメラ１００の動作フローを示す図である。 第１の実施形態のコントローラ３００の動作フローを示す図である。 第１の実施形態のワークステーション２００の状態遷移を示す図である。 第１の実施形態のワークステーション２００の動作フローを示す図である。 第１の実施形態の通信遅延時間を測定する際のシーケンスを示す図である。 第２の実施形態の撮影処理から駆動処理までのシーケンスを示す図である。 第３の実施形態のワークステーション２００とコントローラ３００の動作フローを示す図である。 第４の実施形態のワークステーション２００とコントローラ３００の動作フローを示す図である。 表示部３０５に表示される画面において追尾状態を示す枠を重畳する図である。

以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

＜第１の実施形態＞
以下、本実施形態に係る、撮像装置、第１の制御装置（以下、ワークステーションとも呼ぶ）、第２の制御装置（以下、コントローラーとも呼ぶ）とを備える撮像システムおよび、その制御方法について説明する。第１の制御装置と第２の制御装置のそれぞれは、互いに異なる方法で撮像装置の撮像範囲を制御可能である。

本撮像システムは、映像制作や静止画の撮影に用いることができる。

＜撮像システムの説明＞
図１は本実施形態のシステムの構成の一例を示す図である。図１において、撮像システムは、撮像装置であるカメラ１００と第１の制御装置であるワークステーション２００はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）４００を介して接続される。また第２の制御装置であるコントローラ３００はＬＡＮ５００に接続されている。ＬＡＮ４００とＬＡＮ５００はインターネット６００を介して接続され、各装置はそれぞれ相互に通信を行うことが可能な構成である。また、カメラ１００とワークステーション２００は物理的に近い位置にそれぞれ設置されており、コントローラ３００はそれらから離れた遠隔地に設置されている。そのため、コントローラ３００とカメラ１００との間における通信と、コントローラ３００とワークステーション２００との間における通信は、カメラ１００とワークステーション２００との間における通信と比較して、レイテンシーが発生する状況下にある。

各装置の基本的な動きとして、先ず、カメラ１００は撮像部を備え、各ネットワークや映像ケーブルを介して撮像した映像データを各装置へ配信する。尚、本発明及び本明細書では、映像データを構成する１フレーム毎の画像を撮像画像と呼ぶことがある。さらにカメラ１００は、後述する駆動部１０９を備えており、駆動部が撮像部を回動することで、撮像方向を変更するためのパン・チルト操作が可能な機構を有している。

ワークステーション２００はカメラ１００から配信された撮像画像から被写体を検出し、検出した被写体の位置に基づいてカメラ１００の撮像方向を変更するなど、所謂、被写体追尾するための制御信号を生成し、ＬＡＮ４００を介してカメラ１００へ送信する。なお、ワークステーション２００はカメラ１００と別体ではなく、ワークステーション２００が有する機能をカメラ１００内部に搭載し、カメラ１００とワークステーション２００を一体的に構成した形態であっても良い。

コントローラ３００は、インターネット６００を介して、カメラ１００にアクセスしてカメラ１００が撮像した映像データの取得および、ユーザ操作に基づくカメラ１００の制御を行う。尚、本明細書では、コントローラ３００を操作してカメラの撮像範囲を手動で制御するユーザを、カメラオペレータと呼ぶことがある。

この撮像システムでは、カメラ１００から取得した撮像映像に基づいてワークステーション２００が自動で被写体を追尾するようにカメラ１００の撮像方向を制御する。さらに、ユーザは遠隔地からコントローラ３００を操作することで、カメラ１００の撮像方向を所望の向きへ変更することも可能である。撮像システムをこのような構成とすることで、ユーザによる手動操作中にワークステーション２００による自動追尾制御が介入することが可能となる。これにより、通信レイテンシーが発生する遠隔地からユーザがカメラ１００を制御したい要求を満たしつつ、通信レイテンシーにより手動操作が遅れることによる影響を低減することができる。

＜各装置の説明＞
続いて、図２を用いて撮像システムを構成する各装置の構成について説明をする。

まず、カメラ１００の構成について詳細に説明する。カメラ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、映像出力Ｉ／Ｆ１０４、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０５、画像処理部１０６、駆動Ｉ／Ｆ１０８が内部バス１１０を介して相互に接続されている構成を有する。

ＣＰＵ１０１は、カメラ１００の各構成要素を制御することで、カメラ１００全体の制御を行う。

ＲＡＭ１０２はＤＲＡＭなどに代表される揮発性を持った高速な記憶装置で、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。

ＲＯＭ１０３はフラッシュメモリ、ＨＤＤ、ＳＳＤ、ＳＤカード等に代表される不揮発性を持った記憶装置で、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。

カメラ１００のＲＡＭ１０２及びＲＯＭ１０３に置かれる各種プログラム等の詳細については後述する。

映像出力Ｉ／Ｆ１０４は後述する画像センサ１０７が撮像した映像を外部に出力するためのインターフェースである。ステップＳ２０２で、ＣＰＵ１０１は制御コマンドを受信したことをネットワークＩ／Ｆ１０５より通ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）で構成される。本実施形態の撮像システムにおいては、映像出力Ｉ／Ｆ１０４は後述するワークステーション２００の映像入力Ｉ／Ｆ２０８に接続されているが、映像出力Ｉ／Ｆは、後述するネットワークＩ／ＦやＬＡＮ４００を介して映像を出力してもよい。

ネットワークＩ／Ｆ１０５は前述のＬＡＮ４００と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介してワークステーション２００やコントローラ３００などの外部装置との通信を担う。尚、カメラ１００の遠隔からのカメラ制御は、不図示のシリアル通信Ｉ／Ｆなど別のＩ／Ｆを介して行っても構わない。

画像処理部１０６には画像センサ１０７が接続され、画像センサ１０７から取得した画像データを所定のフォーマットに変換し、必要に応じて圧縮してＲＡＭ１０２に転送する。また、画像処理部１０６は画像センサ１０７から取得した画像に基づいてズーム・フォーカス、露出制御などの画質調整を行ったり、画像データの所定領域のみを切り出すクロップ処理を行ったりしてもよい。これらは、ワークステーション２００、コントローラ３００などの外部通信装置から、ネットワークＩ／Ｆ１０５を経由した指示に従って実施される。

画像センサ１０７は、ＣＣＤやＣＭＯＳなどのイメージセンサであり、カメラ１００において撮像部として機能する。画像センサ１０７は、不図示の撮影光学系により結像された被写体像を光電変換することにより画像データを生成する。尚、撮影光学系と画像センサ１０７とを合わせて撮像部と呼ぶこともある。駆動Ｉ／Ｆ１０８は後述する駆動部１０９との接続部であり、ＣＰＵ１０１から受ける指示を駆動部１０９へ伝える制御信号等を送受信するための通信を担う。

駆動部１０９はカメラ１００の撮像方向（つまり、撮像部の撮像方向）を変更するための回動機構であり、メカ駆動系及び駆動源のモータ等で構成される。本実施形態では、画像センサと撮影光学系を構成するレンズとを一体的に回転駆動させることで、撮像方向を変更する。駆動部１０９は駆動Ｉ／Ｆ１０８を介してＣＰＵ１０１から受ける指示に基づいて水平方向や垂直方向に対する撮像方向を変更するための、パン・チルト動作といった回動駆動を行う。また、撮影光学系が変倍レンズ（ズームレンズとも呼ぶ）を有する場合は、ズームレンズを光軸方向に動かすことで、光学的に撮影画角を変更するためのズーム動作を行う。

続いてワークステーション２００について説明する。ワークステーション２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ネットワークＩ／Ｆ２０４、映像出力Ｉ／Ｆ２０５、ユーザ入力Ｉ／Ｆ２０６、推論部２０７、映像入力Ｉ／Ｆ２０８が内部バス１１０を介して相互に接続されている構成を有する。

ＣＰＵ２０１は、ワークステーション２００の各構成要素を制御することで、ワークステーション２００全体の制御を行う。

ＲＡＭ２０２はＤＲＡＭなどに代表される揮発性を持った高速な記憶装置で、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。

ＲＯＭ２０３はフラッシュメモリ、ＨＤＤ、ＳＳＤ、ＳＤカード等に代表される不揮発性を持った記憶装置で、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。

ワークステーション２００のＲＡＭ２０２及びＲＯＭ２０３に置かれる各種プログラム等の詳細については後述する。

ネットワークＩ／Ｆ２０４は前述のＬＡＮ４００と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介してカメラ１００やコントローラ３００などの外部装置との通信を担う通信部として機能する。

映像出力Ｉ／Ｆ２０５はワークステーションの設定情報画面などを制御装置に接続されたディスプレイ（不図示）等に出力するためのインターフェースである。尚、ワークステーション２００は、受信した撮影画像に基づいて情報処理装置がカメラ１００の制御指示を生成することが可能であるため、ユーザに撮影画像を表示することは必須ではない。

ユーザ入力Ｉ／Ｆ２０６はマウス、キーボード、タッチパネルなどのユーザからの操作の入力装置と接続するためのインターフェースであり、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等で構成される。映像出力Ｉ／Ｆ２０５とユーザ入力Ｉ／Ｆ２０６により、ユーザとワークステーション２００との間のユーザインタフェースを構成することになる。

推論部２０７は後述する映像入力Ｉ／Ｆ２０８を介してカメラ１００から受信した映像から、所定の被写体の位置や当該被写体の有無を推定するための推論部である。所謂ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の画像処理や推論処理に特化した演算装置により構成される。学習処理や学習処理により生成された学習済みモデルを用いた推論処理に利用するのは一般的にはＧＰＵが有効であるが、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった再構成可能な論理回路で同等の機能を実現してもよい。また推論部２０７の処理をＣＰＵ２０１が担ってもよい。また、ＧＰＵ、ＦＰＧＡ、ＣＰＵなど複数種類の演算装置／回路を組み合わせてもよい。尚、本実施形態では、推論処理を行うことができる推論部２０７を用いるが、カメラから受信した映像に基づいて被写体検出を行う検出部として機能することができれば、推論処理は必須ではない。推論部２０７が被写体の種別や過去の移動情報などに基づいて、今後の移動方向・速度を予測できる構成であると、推論処理を用いずに被写体検出を行う構成と比較して、より正確に追尾動作を制御することができるための好ましい。被写体位置の検出を行うのみの場合は、被写体が画像上において移動した後に、画像上の位置を元に戻す制御を行うことになるが、推論ができると、被写体の移動と同時にパンチルト動作を行うことができる。推論部２０７により推定された所定の被写体の位置を示す情報（位置情報）は内部バス２０９を介してＣＰＵ２０１へ送信される。

映像入力Ｉ／Ｆ２０８は画像が入力される入力部として機能する、カメラ１００から映像を受信するためのインターフェースであり、ＳＤＩやＨＤＭＩで構成される。

続いてコントローラ３００について説明する。コントローラ３００は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ネットワークＩ／Ｆ３０４、表示部３０５、ユーザー入力Ｉ／Ｆ３０６が内部バス３０７を介して相互に接続されている構成を有する。

ＣＰＵ３０１は、コントローラ３００の各構成要素を制御することで、コントローラ３００全体の制御を行う。

ＲＡＭ３０２はＤＲＡＭなどに代表される揮発性を持った高速な記憶装置で、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。

ＲＯＭ３０３はフラッシュメモリ、ＨＤＤ、ＳＳＤ、ＳＤカード等に代表される不揮発性を持った記憶装置で、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。

コントローラ３００のＲＡＭ３０２及びＲＯＭ３０３に置かれる各種プログラム等の詳細については後述する。

ネットワークＩ／Ｆ３０４は前述のＬＡＮ５００と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介してカメラ１００やワークステーション２００などの外部装置との通信を担う通信部として機能する。ここで通信とは、カメラ１００やコントローラ３００への制御コマンドの送受信、カメラ１００からのカメラ映像の受信等が挙げられる。

表示部３０５はカメラ１００の撮像映像やコントローラ３００の設定画面の表示を行う。表示部３０５は例えば液晶パネルや有機ＥＬパネルで構成される。

なお、ここではコントローラ３００が表示部を有する例を示しているが、この構成に限ることなく、例えば、撮像映像を表示するのみの表示モニタとコントローラが別体としてそれぞれ存在している構成であっても良い。

ユーザ入力Ｉ／Ｆ３０６はコントローラ３００に対するユーザからの操作を受け付ける操作受付部として機能するインターフェースであり、ユーザが操作する操作部材としては例えばボタン、ダイヤル、ジョイスティック、タッチパネル等が挙げられる。ユーザ入力Ｉ／Ｆ３０６は例えばユーザ操作に基づいてカメラ１００をパン・チルト制御するための入力を受け付ける。ユーザ入力Ｉ／Ｆ３０６で受け付けた操作を示す情報は内部バス３０７を介してＣＰＵ３０１へ送信される。

以上が、各装置を構成する各部の説明である。

＜自動追尾動作と手動操作動作の基本動作の説明＞
続いて、本システムにおける基本動作である、ワークステーション２００により検知した被写体を追尾するようカメラ１００を制御する動作及び、コントローラ３００により受け付けたユーザ操作に基づいてカメラ１００を制御する動作について説明する。情報処理装置２００により検出した被写体を追尾するようカメラ１００を制御する動作は自動追尾動作、コントローラ３００により受け付けたユーザ操作に基づいてカメラ１００を制御する動作は手動操作動作と呼ぶ。

まず、ワークステーション２００による自動追尾動作について、図３を用いて説明をする。

図３（ａ）はワークステーション２００の動作フロー、図３（ｂ）はカメラ１００の動作フローをそれぞれ示しており、ワークステーション２００が撮像画像から検出した被写体位置に応じてカメラ１００を制御する一連の流れを示している。

ワークステーション２００の動作について図３（ａ）を用いて説明する。図３（ａ）では、ワークステーション２００はカメラ１００から逐次送信される撮像映像を映像入力Ｉ／Ｆ２０８により受信し、映像データを構成する撮影画像から被写体の位置を特定しつつ、被写体を追尾するよう制御するためのループ処理を示している。本フローはワークステーション２００のＣＰＵ２０１が、ネットワークＩ／Ｆ２０４やユーザ入力Ｉ／Ｆ２０６を介して自動追尾動作の実行を指示する命令を受信することで開始される。

ステップＳ１０１で、ワークステーション２００のＣＰＵ２０１は映像入力Ｉ／Ｆ２０８を介してカメラ１００が撮像した映像データを受信する。ＣＰＵ２０１は、受信した映像データを内部のＲＡＭ２０２へ逐次書き出すように映像入力Ｉ／Ｆ２０８を制御する。なお、映像データは所定のフレームレートに合わせてカメラ１００の映像出力Ｉ／Ｆ１０４より順次送信される。

また、映像データはネットワークＩ／Ｆ２０４を介して受信され、内部のＲＡＭ２０２へ展開されてもよい。

次にステップＳ１０２にて、ＣＰＵ２０１はＲＡＭ２０２から撮像映像データを読み出して推論部２０７へ入力し、推論部２０７は映像データの各フレームにおける被写体の種別と被写体の位置を推論し、推論した結果をＲＡＭ２０２へ書き出す。ＣＰＵ２０１は推論部２０７によりＲＡＭ２０２へ書き出された情報を読み出すことで、今回のフレームにおける被写体情報を取得する。推論部２０７はディープラーニング等の機械学習手法を用いて作成された学習済みモデルを有し、入力データとして撮像映像データの各フレームに対応する画像を受け、出力データとして人物等の追尾目標物の種別、位置情報、確からしさを示すスコアを出力する。尚、本実施形態において、位置情報は画像内における目標物の重心位置を示す座標として説明する。

次にステップＳ１０３にて、ＣＰＵ２０１はステップＳ１０２にて読み出した推論部２０７による推論結果に含まれる被写体の位置情報が、前回のフレームに対する推論結果（以下、前回の推論結果）に含まれる被写体の位置情報と一致しているか否かを判断する。これにより、ＣＰＵ２０１は、前回のフレームと今回のフレームで撮影画像における被写体位置の移動があったか（被写体動き検知ＴＲ１か）、つまり、パン・チルト駆動が必要か否か、を判断する。ＣＰＵ２０１が今回のフレームに対する推論結果と前回の推論結果とに含まれる被写体の位置情報が同じであると判断した場合は、当該被写体の動き出しが検出されなかったものと判断してステップＳ１０４乃至Ｓ１０７をスキップする。一方、ＣＰＵ２０１が今回のフレームに対する推論結果と前回推論結果とに含まれる被写体の位置情報が同じでないと判断した場合はステップＳ１０４へ遷移する。

ステップＳ１０４にて、ＣＰＵ２０１はステップＳ１０２にて推論部２０７から取得した被写体の位置情報と前回の推論結果に含まれる被写体の位置情報との差分を算出し、被写体を追尾するように、その差分に応じたパン・チルト方向の駆動角速度を算出する。

次にステップＳ１０５にて、ＣＰＵ２０１はステップＳ１０４にて算出した結果を、カメラ１００を制御する方法として予め取り決めているプロトコルに則って第１の制御コマンドに変換しＲＡＭ２０２へ書き出す。

続いてステップＳ１０６にて、ＣＰＵ２０１はステップＳ１０５にて変換し、ＲＡＭ２０２へ書き出した第１の制御コマンドを読み出し、ネットワークＩ／Ｆ２０４を介してカメラ１００へ送信する。これにより、ＣＰＵ２０１は、カメラ１００の撮像範囲を制御する制御部として機能する。

ステップＳ１０７にて、ＣＰＵ２０１はステップＳ１０２で推論部２０７から読み出した被写体の位置情報を、次回、前回の推論結果の位置情報として利用するためＲＡＭ２０２へ書き出しておき、ループ処理の先頭に戻る。

なお、ここでは、ステップＳ１０４にて算出した情報に基づいてカメラ１００のパン・チルト駆動を制御したが、例えば差分が所定範囲内であればカメラ制御を行わないような所謂不感帯を設けてもよい。このような仕組みにより、過敏にカメラ１００のパン・チルト駆動が制御されることを回避することができる。

続けて、図３（ｂ）を用いて、ワークステーション２００から第１の制御コマンドを受信した際のカメラ１００の動作フローについて説明する。本フローは、ネットワークＩ／Ｆ１０５に対して第１の制御コマンドが到達したことをＣＰＵ１０１が検知することで開始される。

先ず、ステップＳ２０１にてＣＰＵ１０１はネットワークＩ／Ｆ１０５を介して第１の制御コマンドを受信し、ネットワークＩ／Ｆ１０５に第１の制御コマンドをＲＡＭ１０２へ書き出させる。

ステップＳ２０２で、ＣＰＵ１０１は制御コマンドを受信したことをネットワークＩ／Ｆ１０５より通知される。すると、ネットワークＩ／Ｆ１０５によりＲＡＭ１０２へ書き出されている第１の制御コマンドから、パン方向／チルト方向それぞれの駆動方向及び駆動速度（ベクトル量）を示す値を読み出す。パン方向の駆動方向の値とは、右又は左を示す値であり、チルト方向の駆動方向の値とは上又は下を示す値である。駆動速度が＋、－の方向を持つようにし、駆動速度を示す値が駆動方向の情報を含むとしてもよい。

次にステップＳ２０３にて、ＣＰＵ１０１はステップＳ２０２にて読み出した値を元に、所望の方向へ所望の速度でパン・チルト駆動するための駆動パラメータを導出する。駆動パラメータは、駆動部１０９に含まれるパン方向／チルト方向のそれぞれのモータ（不図示）を制御するためのパラメータであ。パラメータは、例えば、受信した制御コマンドに含まれる駆動速度、予めＲＯＭ１０３に保持しておいた変換テーブルを参照して駆動パラメータに変換しても良い。

ステップＳ２０４にて、ＣＰＵ１０１はステップＳ２０３にて導出した駆動パラメータに基づいて、駆動Ｉ／Ｆ１０８を介して駆動部１０９を制御する。駆動部１０９は該パラメータに基づいて回動することで、カメラ１００の撮像方向の変更、即ちパン・チルト動作が成される。

次に、コントローラ３００によるユーザの操作に基づいてカメラ１００を制御する手動追尾動作について、図４を用いて説明する。手動追尾動作の場合、カメラ１００はコントローラ３００から送信される第２の制御コマンド（後述詳細）に基づいて制御されるが、カメラ１００の動作は図３（ｂ）と同様であるため、ここでは説明を省略する。上述のステップＳ２０１～Ｓ２０４の説明における、第１の制御コマンドを第１の制御コマンドに置き換えることで、手動追尾動作におけるカメラ１００の制御フローとすることができる。

図４に示したコントローラ３００による手動操作動作のフローについて説明をする。本制御フローは、ユーザ入力Ｉ／Ｆ３０６に対してユーザによる操作がなされたことをＣＰＵ３０１が検知することで開始される。尚、手動操作では、パン・チルトがユーザの操作応じて行われるため、被写体の追尾が行われるとは限らない。また、本実施形態では、ユーザの操作はジョイスティックにより行われるものとして説明をするが、その他の操作部材を用いてもよい。

ステップＳ３０１にて、コントローラ３００のＣＰＵ３０１は、ユーザによるジョイスティック操作をユーザ入力Ｉ／Ｆ３０６を介して検出する。

ステップＳ３０２にて、ＣＰＵ３０１はジョイスティックの操作方向及び操作量をユーザ入力Ｉ／Ｆ３０６から取得する。ジョイスティックの具体例としては、パン方向／チルト方向のそれぞれに備え付けられた可変抵抗器から出力される電圧を用いるアナログ出力仕様が挙げられる。

ＣＰＵ３０１は、ジョイスティックから入力される電圧をＡ／Ｄ変換部（不図示）を介して得られるデジタル値を読み出すことでパン方向／チルト方向それぞれの角速度を把握することが出来る。なお、ここでＡ／Ｄ変換部では、例えば０～１０２３など所定の範囲の値が操作量に応じてパン方向／チルト方向のそれぞれ成分として角速度に相当する値を読み出すことができる。

ステップＳ３０３にて、ＣＰＵ３０１はステップＳ３０２にて取得したジョイスティックの操作方向及び操作量をパン駆動とチルト駆動の駆動方向と駆動角速度とを示す制御コマンドへ変換する。この変換は、ＣＰＵ３０１が、これらの角速度をカメラ１００を制御する方法として予め取り決めているプロトコルに則って操作方向と操作量を制御コマンドに変換することで行われ、変換された制御コマンドをＲＡＭ１０２へ書き出す。

続けて、ステップＳ３０４にてＣＰＵ３０１はステップＳ３０３にて変換し、ＲＡＭ１０２へ書き出した制御コマンドを読み出し、第２の制御コマンドとしてネットワークＩ／Ｆ１０５を介してカメラ１００へ送信する。

以上、コントローラ３００及びカメラ１００の動作フローにより、ユーザ操作に応じたカメラ１００の回動制御（手動操作動作）を行うことが可能となる。

＜アシスト機能の説明＞
上述の、自動追尾動作と手動操作動作では、ワークステーション２００、コントローラ３００のそれぞれが、単独でカメラ１００の撮像処理（パン動作・チルト動作）を制御する方法について説明した。本実施形態におけるワークステーション２００は、手動操作動作中であっても、被写体の動き出しを検出してから所定時間は自動追尾動作を実行するアシスト機能を備える。これにより、コントローラ３００とカメラ１００との間の通信にレイテンシーが生じている場合であっても、手動で被写体を追尾する際の操作性の低下を軽減する。尚、アシスト機能が有効化されたアシストモードで手動操作動作を行うか否か（アシストモードＯＮ／ＯＦＦ）はユーザが選択手段で設定でき、アシスト機能がＯＮに設定されているときにのみ、下記で説明するアシスト動作を行うような形態としてもよい。さらに、ユーザが特定の被写体を選択でき、選択されたときにアシスト機能がＯＮとなり、当該被写体に対してアシスト動作を行うような形態としてもよい。これらの形態の場合、アシストモードがＯＦＦにされている場合は、上述のワークステーション２００とコントローラ３００のいずれかが単独でカメラ１００のパン・チルト動作を制御する動作を行うものとする。

まず、本実施形態における撮像システムの状態遷移を説明する。図５は撮像システムの状態と遷移条件を示す図である。撮像システムは、自動追尾待機状態ＳＴ１、自動追尾状態ＳＴ２、手動操作待機状態ＳＴ３、手動操作中状態ＳＴ４の４の３状態の間をＴＲ１乃至ＴＲ５に記載の条件に応じて遷移する。

撮像システムは、自動追尾待機状態ＳＴ１において、カメラ１００から入力された撮像画像上の被写体の動き出しの検知を行う。被写体の動き出しを検知（ＴＲ１）すると、撮像システムは自動追尾状態ＳＴ２へ遷移し、被写体を自動追尾する状態となる。尚、自動追尾待機状態ＳＴ１とは、毎フレーム取得された撮影画像に基づいて被写体の動き出しの有無を検出している状態であり、動き出しが検出されたら自動追尾状態ＳＴ２へすぐに遷移できる待機状態である。動き出しとは、前々回入力された撮影画像（フレームｎ－２）と前回入力された撮影画像（フレームｎ－１）との間では被写体の移動が検出されず、前回入力された撮影画像と今回入力された撮影画像（フレームｎ）との間で被写体の移動が検出されたことを指す。本実施形態では、被写体の動き出しの検知はワークステーション２００で行うものとするが、撮像システム上のどこで行ってもよく、例えば、カメラ１００で動き出し検知を行ってもよい。

自動追尾状態では、ワークステーション２００が図３を用いて説明をした自動追尾動作を行う。ワークステーション２００以外が動き出し検出をした場合は、動き出しが検知されたこと示す情報（動き出し検出結果の情報）がワークステーション２００へ送信されることで、ワークステーション２００が自動追尾を開始する。自動追尾状態ＳＴ２にて所定時間が経過（ＴＲ２）すると、撮像システムは手動操作待機状態ＳＴ３へ遷移し、カメラ１００はコントローラ３００による操作を待ち受ける状態となる。手動操作待機状態ＳＴ３においては、ワークステーション２００は、第１の制御コマンドの生成や送信を行う必要はなく、更に、被写体検出や被写体の動き出しの検出なども停止してもよい。また、ワークステーション２００が第１の制御コマンドをカメラ１００へ送信しても、カメラ１００がその制御コマンドを採用しないという形態をとることもできる。

手動操作待機状態ＳＴ３へ遷移したものの手動操作がないまま所定時間経過すると、自動追尾待機状態ＳＴ１へ遷移する。一方、手動操作待機状態ＳＴ３においてコントローラ３００により手動操作の受け付けが開始（ＴＲ４）されると、手動操作中状態ＳＴ４へ遷移し、上述の手動操作動作を行う。手動操作中状態ＳＴ４において、手動操作が停止（ＴＲ５）されると、再度手動操作待機状態ＳＴ３へ遷移する。

なお自動追尾待機状態ＳＴ１にて被写体の動き出しを検知する前にコントローラ３００に対するユーザの操作が検知（ＴＲ４）されると、手動操作状態ＳＴ３へ遷移する。

アシスト機能では、上述する状態遷移において、自動追尾状態ＳＴ２にて所定時間が経過２）すると、手動操作状態ＳＴ３へ遷移することで、カメラオペレータによる手動操作を主体としつつ、ワークステーション２００が補佐的に動作をする。アシストモードにおけるワークステーション２００の動作フローについてＴに基づいて詳細に説明する。

図６の動作フローは図３（ａ）の動作フローと、被写体の動き出しが検知されてから所定時間だけ自動追尾処理を行う点が異なる。本フローはワークステーション２００のＣＰＵ２０１が、ネットワークＩ／Ｆ２０４やユーザ入力Ｉ／Ｆ２０６を介してアシストモードの実行を指示する命令を受信することで開始される。このフローの開始時、撮像システムは自動追尾待機状態ＳＴ１である。

ステップＳ４０１は、ステップＳ１０１に対応するステップであり、ワークステーション２００のＣＰＵ２０１は、カメラ１００が撮像した映像データを受信し、受信した映像データを内部のＲＡＭ２０２へ逐次書き出すように映像入力Ｉ／Ｆ２０８を制御する。

ステップＳ４０２は、ステップＳ１０２に対応するステップであり、ＣＰＵ２０１は推論部２０７に、今回受信したフレームにおける被写体の種別と被写体の位置を推論させ、今回のフレームにおける被写体情報を取得する。

ステップＳ４０３は、ステップＳ１０３に対応するステップであり、ＣＰＵ２０１は推論部２０７が被写体を検出した位置情報を読み出し、前回の推論結果に含まれる位置情報と比較することで、被写体の動き出しを検出する検出部として機能する。今回の位置情報と前回の位置情報とが一致する場合はステップＳ４０１へ戻り、一致しなくなるまでステップＳ４０１からステップＳ４０３の処理をフレームレートに合わせて繰り返す。つまり、ステップＳ４０１～４０３により、映像入力Ｉ／Ｆ２０８がカメラ１００から周期的に撮像映像を受信し、受信した映像を元に推論部２０７が推論した結果を逐次更新しつつ保持し、推論部２０７の推論結果に基づいて被写体の動きを周期的に判定する。今回の位置情報と前回の位置情報とが一致せず、動きが検出されるとステップＳ４０４へ進むため、２回目以降のステップＳ４０３は、前回と前々回との位置情報が一致した場合に行われる。よって、ステップＳ４０３で被写体の動きが検出されることは、被写体の動き出しが検出されたことを意味する。

ステップＳ４０４では、ＣＰＵ２０１は不図示のタイマーから時刻情報を読み出し、ＲＡＭ２０２へ書き出すことで、動き出し検出からの経過時間の計測を開始する。

次に、被写体追尾処理にあたるステップＳ４０５へ遷移する。ステップＳ４０５で行う被写体追尾処理は、図３（ａ）のＳ１０１乃至Ｓ１０７に相当する処理であり、前回推論時に検出した被写体の位置と今回推論時に検出した被写体の位置との差分に基づいてカメラ１００を制御するＣＰＵ２０１による処理である。この処理は所定時間が経過するまで繰り返し行うが、１回目の被写体追尾処理においては、ステップＳ１０３がステップＳ４０３と同じ処理の繰り返しになるため、１回目の被写体追尾処理におけるステップＳ１０３は省略することが好ましい。

ステップＳ１０１乃至１０７に相当する一連の処理がＣＰＵ２０１により成されると、ステップＳ４０６へ遷移し、再度タイマーから時刻情報を読み出し、ステップＳ４０６にてＲＡＭ２０２へ書き出した時刻情報との差分を計算することで経過時間を測定する。そして、この経過時間と所定時間との比較を行なうことで、被写体追尾処理開始から、所定時間経過したか否かを判定する。この所定時間とは、予め固定値としてＲＯＭ２０３に記憶しておいてもよいし、ユーザ入力Ｉ／Ｆ２０６を介してユーザからの時間設定操作を受け付け、受け付けた時間に基づいて決定してもよい。このとき、ユーザ入力Ｉ／Ｆ２０６は時間設定受付部として機能する。時間設定の仕方は特に問わず、例えば、ｘ秒等具体的な時間設定を受け付ける形態としてもよいし、「短」、「中」、「長」等、段階的に設けられている中からユーザが選択することができるような形態としてもよい。

ステップＳ４０６において判定に用いる所定時間を決定する別の例として、カメラ１００とコントローラ３００との間で通信を行うのに要する時間である通信時間（通信遅延時間）を所定時間とする形態について説明をする。カメラ１００とコントローラ３００との間の通信時間は、カメラ１００とＬＡＮ４００で接続され、カメラ１００の近傍に配置されたワークステーション２００とコントローラ３００との間の通信時間とほぼ等しい。そのため、ここでは、カメラ１００またはワークステーション２００とコントローラ３００との間で通信を行うのに要する時間である通信時間を測定することで取得し、測定した通信時間を所定時間として用いる方法を説明する。

ワークステーション２００はコントローラ３００に対し或るパケットをネットワークＩ／Ｆ２０４を介して送信し、応答を得るまでの時間を計測することで装置間の通信時間を測定することが可能である。

図７はワークステーション２００とコントローラ３００間の通信時間を測定する際のシーケンスを示す図である。

ワークステーション２００のＣＰＵ２０１はネットワークＩ／Ｆ２０４を介してコントローラ３００に対しＰＩＮＧ（Ｐａｃｋｅｔ Ｉｎｔｅｒｎｅｔ Ｇｒｏｐｅｒ）を送信（Ｓ５０１）すると共に内部のタイマーをスタート（Ｓ５０２）する。

コントローラ３００のＣＰＵ３０１は、ＰＩＮＧを受信すると、ネットワークＩ／Ｆ３０４を介してＰＩＮＧを受信したことを示すＡＣＫ（ＡＣＫｎｏｗｌｅｄｇｅｍｅｎｔ）をワークステーション２００に送信する。

ネットワークＩ／Ｆ２０４はコントローラから送信されるＡＣＫを受信（Ｓ５０３）すると、ＣＰＵ２０１はタイマーをストップ（Ｓ５０４）する。このとき、タイマーの時刻に基づいて、通信の往復時間に相当するＲＴＴ（Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ）を算出（Ｓ５０５）し通信時間としてＲＡＭ２０２にて保持する。

この通信時間の測定は、ワークステーション２００とコントローラ３００とを接続したタイミングで行ってもよいし、定常的に測定して更新してもよい。このように測定した通信時間を予め保持しておき、ステップＳ４０６の判定処理における所定時間に用いてもよい。

なお、ワークステーション２００とコントローラ３００との間の通信時間は、この方法に限定されない。ワークステーション２００は通信遅延時間を測定するにあたり、このようにコントローラ３００に問い合わせる以外の方法を用いることもできる。

ワークステーション２００のＣＰＵ２０１は通信時間を測定する以外の方法で通信時間を取得することもできる。

例えばカメラ１００とコントローラ３００のいずれかが、カメラ１００とコントローラ３００との通信に要する通信時間を保持している場合、カメラ１００とコントローラ３００のいずれかから当該通信時間を受信し、これを所定時間としてもよい。また、カメラ１００とコントローラ３００のいずれかに、カメラ１００とコントローラ３００との通信にかかる通信時間の測定を指示してもよい。例えば、コントローラ３００へ或るパケットをネットワークＩ／Ｆ１０５を介して送信し、応答を得るまでの時間を計時するようカメラ１００へ指示し、その結果を得ることでカメラ１００とコントローラ３００との通信にかかる通信時間を取得しても良い。

さらに、コントローラ３００と別にカメラ１００の映像を確認するモニタ（不図示）を用いている場合、ワークステーション２００はそのモニタとの通信時間を測定することで、コントローラ３００との通信時間を測定してもよい。すなわち、通信遅延を生じさせている主な原因であるインターネット６００を共通に介していれば、コントローラ３００の近傍に設置されている別の機材とカメラ１００の近傍に設置されている別の機材との間の通信時間を測定する。この通信時間をカメラ１００とコントローラ３００との通信遅延時間として使用してもよい。

コントローラ３００側の機材は、例えば、コントローラ３００と同じＬＡＮや、同じ事業所内に配置されている機材であればよい。また、カメラ１００側の機材も、例えばワークステーション２００のように、カメラ１００と同じＬＡＮや同じ事業所内に配置されている機材であればよい。このように、
上述のように求めたＲＴＴは、インターネット６００を介した通信における往復の通信遅延時間に対応する。

即ち、ＲＴＴは、カメラ１００からコントローラ３００に映像が届くための往路の通信遅延時間と、コントローラ３００の操作に基づく制御情報がコントローラ３００からカメラ１００に届くための復路の通信遅延時間との合計に相当する。そのため、上述のように求めたＲＴＴをステップＳ４０６の所定時間として用いると、カメラオペレータが被写体の動き出しを目視確認した後に操作を行い、その操作に基づく制御コマンドがカメラ１００に到達するまでの時間に略合致する可能性が高い。そのため、アシストモードにおいて被写体の自動追尾動作を停止する所定時間として通信遅延時間を用いることは好適であると言える。

さらに、ユーザ（カメラオペレータ）が映像を確認し、操作を入力するまでの遅延時間（ユーザの反応に要する時間）を考慮し、ＲＴＴに所定値を加算した値を所定時間として用いてもよい。また、ＲＴＴに加算する所定値も、ユーザによる時間設定操作で変更する形態としてもよい。

また、測定又は通信により取得した通信遅延時間（ＲＴＴ）に応じて段階的に所定時間を決定してもよい。例えば、通信遅延時間が第１の閾値以上であれば所定時間を第１の時間、第１の閾値未満第２の閾値以上であれば第１の時間よりも短い第２の時間、第２の閾値未満であれば第２の時間よりもさらに短い第３の時間としてもよい。

以上、本実施形態では、アシストモードにおいて、ステップＳ４０６にてＣＰＵ２０１は被写体の動き出しが検出されてから所定時間経過したか否かを判定し、所定時間経過するまで被写体追尾処理を続行し所定時間経過すると被写体追尾処理を停止する。言い換えると、被写体の動き出しが検出されると、検出された被写体位置に基づいて撮像範囲を所定時間制御する。

このように、ワークステーション２００が撮像映像から被写体の動き出しを検出し、所定時間経過後に被写体追尾処理を停止することで、カメラオペレータによる手動操作を主体としつつ、自動追尾機能が適切なタイミングに補佐的動作を行うことが可能となる。

自動追尾機能により必要以上のフォロー動作がされると、例えばカメラオペレータが追う意思の無い被写体を追尾したとき、レイテンシーが発生する状況下では、その追尾に気付くタイミングが遅れ、意図に沿わない画角コントロールが成される事態が予想される。本実施形態では、このような事態の発生を低減することができる。

＜第２の実施形態＞
第１の実施形態では被写体の動き出しを検出して被写体追尾動作を開始した後、所定時間経過後に被写体追尾動作を停止する例を説明し、特に所定時間として、予め測定した通信遅延時間を用いる例について説明をした。

本実施形態では、測定した通信遅延時間に加えて、カメラ１００内部における内部処理時間も考慮して所定時間を決定する例について説明する。

なお、第１の実施形態との差分は図６のステップＳ４０６で用いる所定時間であり、システムの構成、各装置の構成、及び、アシストモード時に行うフロー（ステップＳ４０１～Ｓ４０６）等は第１の実施形態と同様であるため、説明を省略する。

図８はカメラ１００が被写体を撮像してから、カメラオペレータのパン・チルト等の指示（第２の制御コマンド）に基づき駆動部１０９を制御するまでのシーケンスを示す図である。

第１の実施形態で通信遅延時間（ＲＴＴ）としたネットワーク通信によるレイテンシーは図８におけるステップＳ６０３及びステップＳ６０４の通信に要する時間であり、その他の処理がカメラ１００における内部処理に相当する。具体的には、撮像処理Ｓ６０１、映像出力処理Ｓ６０２、駆動処理Ｓ６０５が挙げられ、ステップＳ６０１乃至Ｓ６０５は図８に示す動作フローに基づいて実行される。

カメラオペレータはカメラ１００が撮像した映像をコントローラ３００の表示部３０５で目視確認した後に、コントローラ３００を操作する。これにより、第２の制御コマンドがネットワークを介してカメラ１００に送信され、そこで初めてカメラ１００は回動を始め、撮像範囲が変化する。

即ちここで示すステップＳ６０１が開始してからステップＳ６０５が終了するまでの時間が、カメラ内部の処理に要する時間（内部処理時間）も加味した遅延時間である。この総時間をステップＳ４０６で用いる所定時間に用いても、カメラオペレータが被写体の動き出しを目視確認した後に操作が入力され、操作に基づく第２の制御信号に基づいてカメラ１００の撮像部の回動を行うまでの時間に略合致する可能性が高い。そのため、アシストモードにおいて被写体の自動追尾動作を停止する所定時間としてこの総時間を用いることは好適であると言える。

カメラ１００におけるステップＳ６０１、Ｓ６０２、Ｓ６０５に要する処理時間はカメラ１００の性能や構築されているロジック、撮像フレームレートや映像出力フレームレート等設定されている内部の動作状態等により略一意に決まる。従って、カメラ１００はその情報を内部に予め保持しておき、ワークステーション２００はカメラ１００との接続時にその情報を予め取得しておくことで、ステップＳ４０６に用いる所定時間の決定に用いることが可能となる。

なお、ここではカメラ１００におけるステップＳ６０１、Ｓ６０２、Ｓ６０５の処理時間をワークステーションが取得する方法を示したが、この方法に限らない。例えばカメラオペレータが任意の時間をワークステーション２００、またはコントローラ３００のユーザ入力Ｉ／Ｆを介して入力できるよう構成してもよい。ワークステーション２００が動き出しを検出してから、ユーザのジョイスティック操作がカメラ１００又はワークステーション２００に到達するまでの時間を測定することで内部処理にかかる時間も考慮した時間としてもよい。また、内部処理に要する時間も考慮した総時間に対し、第１の実施形態のように、ユーザが操作を入力するまでの遅延時間を考慮して、所定値あるいは、ユーザが時間設定操作により設定した時間を加算した時間を所定時間としてもよい。或いは、コントローラ３００におけるユーザ入力Ｉ／Ｆ３０６での操作検知から、ネットワークＩ／Ｆ３０４で送信するまでの内部の遅延時間を同様にワークステーションが取得してもよい。

本実施形態によれば、通信に起因する遅延時間だけでなく、構築したシステム固有の他の遅延要因となり得る時間にも、より柔軟に対応することが可能となる。

以上のように、カメラ１００の撮像から回動を開始するまでの内部処理に要する時間を加味した時間の経過後に被写体追尾処理を停止することで、カメラオペレータによる手動操作を主体としつつ、自動追尾機能が補佐的動作を行うことを可能となる。

＜第３の実施形態＞
第１及び第２の実施形態では、被写体の動き出しを検出してから所定時間経過するまで被写体追尾処理（Ｓ４０５）を継続することにより自動追尾動作を行う形態について説明をした。

本実施形態では、被写体の動き出しを検出してから所定時間が経過するまでの間に、カメラオペレータによりカメラ操作が行われた場合、ワークステーション２００が自動追尾動作を停止する形態について説明する。

なお、本実施形態において、ワークステーション２００は、第１の実施形態における図６の動作フローの代わりに、図９（ａ）に示す動作フローを実行する。システムの構成、各装置の構成、及び、アシストモード以外の処理は第１の実施形態と同様であるため説明を省略する。

図９（ａ）におけるステップＳ７０１乃至Ｓ７０６は、図６におけるステップＳ４０１乃至Ｓ４０６と同様の処理であるため詳細な説明は省略する。本実施形態では、ワークステーション２００のＣＰＵ２０１は、ステップＳ７０６にて被写体追尾処理開始から所定時間経過したか否かを判定し、所定時間経過していないと判定するとステップＳ７０７へ遷移して、カメラ操作が行われたか否かを判定する。

ジョイスティック等の操作部材を介してユーザによりカメラの撮影範囲を変更する操作がコントローラ３００へ入力されると、コントローラ３００は、第２の制御コマンドを生成し、カメラ１００へ送信する。それとともに、その旨を示す情報をワークステーション２００へ送信する。ワークステーション２００のＣＰＵ２０１は、コントローラ３００がカメラ操作を受けて第２の制御コマンドを送信したことを示す情報をネットワークＩ／Ｆ２０４が受信したか否かを判定することで、ユーザによるカメラ操作を検知する検知部として機能する。

なお、ここではコントローラ３００から上述する情報を受信するケースを示したが、カメラ操作の有無を判定する方法はこの方法に限らない。コントローラ３００は、第２の制御コマンドをカメラ１００へ送信したことを示す情報をコントローラ３００に送信する代わりに、ユーザによるカメラ操作を受け付けたことを示す情報をコントローラ３００に送信してもよい。また、例えば、ワークステーション２００がカメラ１００に対しコントローラ３００からの第２の制御コマンドの受信の有無を問い合わせる形態としても良い。

ステップＳ７０７にて、ＣＰＵ２０１がカメラ操作が行われたと判定したときは、ステップＳ７０５乃至Ｓ７０６に示す、被写体追尾処理を所定時間継続するフローを抜け、以降はカメラオペレータに撮像範囲の制御を明け渡す形で動作フローを終了する。

なおこのとき、ワークステーション２００は被写体の追尾動作フローを停止するが、カメラ１００がパン・チルト等の動作を行っている状態を即座に停止する必要はない。停止直前に実行したステップＳ７０５による被写体追尾処理に基づいてカメラ１００は動作を継続しながらカメラオペレータに制御を明け渡しても良い。

具体的には、ステップＳ７０７におけるカメラ１００の制御方法として、カメラ１００に対してパン・チルトする方向及び速度を指定することで回動指示を出す方法が挙げられる。この方法で回動指示を行うと、カメラ１００は次の指示を受けるまで、直前に受け付けたパン・チルトする方向及び速度で回動を続ける動作となる場合がある。ワークステーション２００は、この動作を敢えて停止するよう制御せず、継続させておきつつ、カメラオペレータにカメラ制御を明け渡すことで、回動動作は停止する動作を挟むことなく連続的な撮影動作が実現され、カメラワークとしても好適であると言える。このように、ユーザの操作に基づく第２の制御コマンドが到達するまで第１の制御コマンドに基づいて駆動を継続するような形態であっても、ステップＳ７０６で用いた所定時間からしばらく時間が経つと、第２の制御コマンドによる制御へ引き継ぐ。よって、このような形態であっても、ユーザの操作がないまま所定時間経過すると被写体位置に基づく（第１の制御コマンドに基づく）制御は停止しているといえる。

ステップＳ７０６に戻り、ここでＣＰＵ２０１が被写体追尾処理開始から所定時間経過したと判定した場合は、ステップＳ７０８へ進む。所定時間経過してもユーザによる操作が入力されなかった場合、カメラオペレータは、ワークステーション２００が所定時間追尾した被写体を追尾する意思が無かったものと見做す。そして、ステップＳ７０８にて、該被写体が動き出す前の位置に撮影方向を戻すよう、動き出す前の撮影方向との差分が小さくなる方向にパン・チルト駆動するように指示する第１の制御コマンドを、ネットワークＩ／Ｆ２０４を介してカメラ１００へ送信する。

撮影方向を戻す処理については、ＣＰＵ２０１が、ステップＳ７０３における被写体の動きを検出する前に予めそのときのカメラ１００の撮影方向をＲＡＭ２０２に書き出しておき、ステップＳ７０８ではその情報に基づいてカメラ１００を制御すればよい。

なお、カメラ１００の撮影方向を戻す際に指定する移動速度は、急激な撮影方向を変更する動きを緩和する目的で、被写体を追尾する際の速度、カメラオペレータが操作したときの速度等の通常の速度より低速に指定してもよい。

続いて、図９（ｂ）を用いて、コントローラ３００側の動作フローについて説明する。

図９（ｂ）におけるステップＳ８０１乃至Ｓ８０４は、図４におけるステップＳ３０１乃至Ｓ３０４と同様の処理であるため詳細な説明は省略する。

ステップＳ８０４にてコントローラ３００のＣＰＵ３０ワークステーション２００は、図９（ａ）のステップＳ７０５における処理をズームアウト処理を実施するようカメラ１００を制御し、ステップＳ７０６における判定処理後の１がネットワークＩ／Ｆ３０４を介してカメラ１００へ第２の制御コマンドを送信すると、ステップＳ８０５へ遷移する。

ステップＳ８０５では、ＣＰＵ３０１はジョイスティックの操作が行われ、操作に基づく第２の制御コマンドをカメラへ送信したことを示す情報をワークステーション２００へネットワークＩ／Ｆ３０４を介して送信する。

ここで送信する情報は、上述の図９（ａ）のステップＳ７０７の判断に用いられる情報であり、この情報を元にワークステーション２００はカメラオペレータによる操作の有無を判断する。

以上のように、ワークステーション２００が被写体の動き出しに追尾する処理を開始した後、所定時間内にカメラオペレータによるカメラ操作を検知した場合は自動で追尾する処理を停止する。これにより、カメラオペレータによる手動操作を主体としつつ、自動追尾機能が補佐的動作を行うことが可能となる。

さらに、所定時間内にカメラオペレータによる操作を検知しなかったときは、カメラ１００の撮影方向を、動き出しを検出する前の位置に戻すことで、よりカメラオペレータの意思を汲んだ適切な映像を撮影させることが可能となる。尚、撮影方向を戻す場合、完全に元の位置に戻らなくてもよい。

また、本実施形態におけるアシストモードは、第１の実施形態のアシストモードと比較すると、自動追尾状態中に手動操作を検出すると手動操作状態へ遷移する点と、自動追尾状態中に手動操作を検出しなかった場合は撮像方向を戻す点の２点が異なる。しかしながら、この２点はついになるものではなく、自動追尾状態中に手動操作を検出すると手動操作状態へ遷移するが、手動操作を検出しなかった場合であっても撮像範囲を戻さない形態でもよい。

なお、本実施形態では、図９（ａ）のＳ７０３にて被写体のフレームアウトを防ぐカメラ動作として、パン・チルトによる追尾制御を説明したが、この方法に限らない。例えば、被写体の動き出しに応じて撮影画角を広角側に移動させてズームアウトすることでフレームアウトを生じにくくしてもよい。

ワークステーション２００は、図９（ａ）のステップＳ７０５における処理をズームアウト処理を実施するようカメラ１００を制御してもよい。また、ステップＳ７０６における判定処理後のステップＳ７０８にてズームアウト処理前のズーム率まで望遠側にズームインするようカメラ１００を制御するよう置き換えてもよい。また、パン・チルトとズームアウトとを組み合わせることでフレームアウトを生じにくくしてもよい。

＜表示デバイスに対する表示制御＞
第１～第３の実施形態において、被写体の動き出しを検出してから所定時間経過するまで被写体追尾処理を継続することにより自動追尾動作を行う形態について説明をした。

ここで、上述した第１～第３の実施形態に適用可能な、カメラオペレータが上述した被写体追尾処理、即ちアシスト動作が行われていることを視認可能とする表示制御について説明する。具体的には、ワークステーション２００及びコントローラ３００における制御の形態について説明する。

なお、本実施形態において、ワークステーション２００及びコントローラ３００のハードウェア構成については第１の実施形態と同様であるため説明を省略する。

以下、コントローラ３００の表示部３０５にて表示している撮像映像に対し被写体追尾処理が行われていることを示す情報を表示する制御について、図１０（ａ）（ｂ）に示す動作フロー図を基に説明する。

図１０（ａ）はワークステーション２００の動作フローであり、上述する被写体追尾処理が行われていることを示す情報をコントローラ３００へ送信する際の動作を示している。

被写体追尾処理が行われていることを視認可能とする制御は、被写体追尾を併せて行われるものであるため、図１０（ａ）に示す動作フローは第１～第３の実施形態で示した各自動追尾動作フローと並行して実行されるものである。

先ずステップＳ９０１及びステップＳ９０２にて、ワークステーション２００はカメラ１００が撮像した映像から被写体位置の判定を行う。

本処理は、図３（ａ）で示すステップＳ１０１及びステップＳ１０２と同様であるため詳細な説明は省略する。

次にステップＳ９０３にて、制御部２０１は推論部２０７が推論した被写体の位置を後述するコントローラ３００へ送信するための情報としてＲＡＭ２０２へ書き出し、保持する。

具体的には、被写体の位置を示す情報として、被写体を囲う枠の位置を示す情報が実施例として挙げられ、座標情報や映像に対する相対的な位置関係を示す情報などで示される。ここで被写体の位置を示す（報知する）情報としてはこれに限らず、例えば被写体の存在する領域の色を識別可能に異ならせたり、被写体のエッジを強調する処理を行ったりしてもよい。さらに、音声にて被写体の位置を知らせたりしてもよく、被写体の位置を示しうる任意の方法を適用できるものとする。
次にステップＳ９０４にて制御部２０１は、被写体動き検知ＴＲ１か否かを判定する。本処理は図３（ａ）で示すステップＳ１０３と同様である。

ステップＳ９０４にて、制御部２０１は自動追尾状態ＳＴ２ではなく、被写体動き検知ＴＲ１と判定したときはステップＳ９０５へ遷移し、追尾状態を示す情報として追尾中である旨を示す情報をＲＡＭ２０２へ書き出す。

ステップＳ９０４にて、制御部２０１は自動追尾状態ＳＴ２、または、被写体位置の移動がなかったと判定したときはステップＳ９０６へ遷移する。

次にステップＳ９０６にて制御部２０１は自動追尾状態ＳＴ２であり、被写体追尾処理が開始された後に所定時間が経過したか否かを判断する。

ステップＳ９０６にて制御部２０１が自動追尾状態ＳＴ２であり、被写体の追尾処理開始後所定時間（ＴＲ２）経過したときは、ステップＳ９０７へ遷移する。このとき追尾状態を示す情報として手動操作待機状態ＳＴ３（さらにその先に自動追尾待機状態ＳＴ１）である旨を示す情報をＲＡＭ２０２へ書き出す。

ステップＳ９０６にて制御部２０１が自動追尾状態ＳＴ２ではない、または、被写体の追尾処理開始後所定時間経過していないと判定したときはステップＳ９０８へ遷移する。

次にステップＳ９０８にて制御部２０１がステップＳ９０５及びステップＳ９０７にてＲＡＭ２０２へ書き出した被写体の位置情報及び撮像システムの状態を示す情報を、ネットワークＩ／Ｆ２０４を介してコントローラ３００に対して送信する。

以上の動作フローによりワークステーション２００は被写体の位置情報及び撮像システムの状態を示す情報をコントローラ３００へ送信することが可能となる。

続いて図１０（ｂ）を基にコントローラ３００が上述するワークステーション２００が送信する各種情報を元に被写体追尾処理が行われていることを視認可能とする表示制御について説明する。

コントローラ３００はカメラ１００、またはワークステーション２００を介して撮像映像を受信し表示部３０５にて表示を行っている前提とし、該撮像映像に対し被写体追尾処理が行われていることを視認可能とする制御について以降説明する。

ステップＳ１００１にて、制御部３０１（取得部）はネットワークＩ／Ｆ３０４を介してワークステーション２００から送信される被写体の位置情報及び追尾状態を示す情報を受信（取得）する。

次にステップＳ１００２にて制御部３０１はステップＳ１００１にて受信した情報から追尾状態を示す情報が追尾中であるか否かを判定する。

ステップＳ１００２にて、制御部３０１が撮像システムの状態を示す情報が追尾中である（自動追尾状態ST2）と判定したときは、ステップＳ１００３へ遷移し、後述するステップＳ１００５における被写体枠描画処理にて描画する枠色を示す情報として濃色に対応する情報をＲＡＭ３０２へ書き出す。

ステップＳ１００２にて、制御部３０１が撮像システムを示す情報が追尾中でない（手動操作待機状態ＳＴ３（さらにその先に自動追尾待機状態ＳＴ１））と判定したときは、ステップＳ１００４へ遷移する。ステップＳ１００４では、後述するステップＳ１００５における被写体枠描画処理にて描画する枠色を示す情報として淡色に対応する情報をＲＡＭ３０２へ書き出す。

図１１は上述する追尾中であること（自動追尾状態ＳＴ２）と追尾中でないことを示す表示の例を示している。

４０１は追尾状態を示す情報（自動追尾状態ＳＴ２）が被写体を追尾していない状態を示す場合に表示される枠であり、枠色は淡色で示されている。４０２は追尾状態を示す情報が被写体を追尾している状態を示す場合に表示される枠であり、枠色は濃色で示されている。

次にステップＳ１００５にて、制御部３０１はカメラ１００から受信している撮像映像に対し枠を表示する。具体的には、被写体の位置情報とＲＡＭ３０２へ書き出した枠色を示す情報を基に所定の色の被写体枠を描画し、表示部３０５にて表示するよう制御し処理を先頭（ステップＳ１００１）に戻す。

なお、本実施形態においては、枠色を変更することにより区別がつくよう制御する例を示しているが、この形態に限ることなく、枠の形状の変更、追尾状態を示す文字情報を付記する等、各追尾状態を区別可能な表示であれば何れの方法でもよい。

さらに、本実施形態ではワークステーション２００は被写体の位置情報と追尾状態を示す情報を送信し、コントローラ３００が該情報を元に描画する例を説明した。しかしこの方法に限ることなく、例えばワークステーション２００が予め、追尾状態に応じた色の被写体枠を描画した画像を生成し、該画像をコントローラ３００へ送信する形態であってもよい。

さらに、ワークステーション２００で実施している被写体を検出しその位置情報と追尾状態情報を送信する処理を、カメラ１００内部で実施する形態としてもよい。

さらに、本実施形態においては被写体の動き出しを判定し被写体枠の色を変更する例を示した。しかし、被写体が所定の動作や行動、アクションを行ったことを判定し被写体枠の色を変更するなどにも応用することも可能である。

さらに、本実施形態においてコントローラ３００の表示部３０５を用いて撮像映像と被写体枠を表示した。しかし、この他、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートフォンなどのアプリケーションプログラムとして上述したコントローラ３００の動作を実現してもよい。

以上、説明したように、アシスト状態を視覚化するなどしてユーザに報知することで、ユーザは、自身の操作以外にパンチルト等のアシスト制御が成されていることを把握できるようになる。このことにより、アシスト状態が把握できないことから起こり得る不要な操作を引き起こす可能性を低減でき、困難な状況下でも高品位なカメラワークを安心して行うことができるようになることは本表示制御を行うことによる特有の効果である。

［変形例］
第１から第４の実施形態では、カメラ１００の操作が遠隔操作用のコントローラ３００にて手動操作される例を示した。しかし、コントローラ３００は一般的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）と、ＰＣ上で動作する制御アプリケーションソフト、ＰＣに接続されたジョイスティック搭載コントローラ等で構成されても良い。

また、第１から第３の実施形態では、カメラ１００の自動追尾制御をワークステーション２００が実施する例を示したがこの構成に限ることなく、例えばワークステーション２００が有する機能の一部又は全部をカメラ１００に内蔵するよう構成しても良い。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 映像入力Ｉ／Ｆ
１０５ ネットワークＩ／Ｆ
１０６ 画像処理部
１０７ 画像センサ
１０８ 駆動Ｉ／Ｆ
１０９ 駆動部
１１０ バス
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ ネットワークＩ／Ｆ
２０５ 映像出力Ｉ／Ｆ
２０６ ユーザ入力Ｉ／Ｆ
２０７ 推論部
２０８ 映像入力Ｉ／Ｆ
２０９ バス
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ ネットワークＩ／Ｆ
３０５ 表示部
３０６ ユーザ入力Ｉ／Ｆ
３０７ バス

Claims (19)

1. 画像が入力される入力部と、
   前記入力部から入力された画像から被写体を検出する第１の検出部と、
   前記第１の検出部により検出された前記被写体の動き出しを検出する第２の検出部と、
   前記第２の検出部により動き出しが検出された場合、前記第１の検出部により検出された当該被写体の位置に基づいて、撮像装置の撮影範囲を制御する制御部と、
   を有し、
   前記第２の検出部により前記被写体の動き出しが検出された場合、前記制御部は、
   前記第１の検出部により検出された当該被写体の位置に基づいて、前記撮影範囲を所定時間制御し、前記所定時間経過後は前記第１の検出部により検出された当該被写体の位置に基づく前記撮影範囲の制御を停止することを特徴とする制御装置。
2. 前記撮像装置と外部装置との通信時間を取得し、前記通信時間に基づいて前記所定時間を決定することを特徴とする請求項１に記載の制御装置。
3. 時間設定を受け付ける設定受付部を有し、
   前記通信時間と、前記設定受付部において受け付けた時間とに基づいて前記所定時間を決定することを特徴とする請求項２に記載の制御装置。
4. 前記撮像装置の撮像範囲を制御可能な外部装置と接続されている場合に前記外部装置との通信時間を取得し、前記通信時間に基づいて前記所定時間を決定することを特徴とする請求項１に記載の制御装置。
5. 時間設定を受け付ける設定受付部を有し、
   前記通信時間と、前記設定受付部において受け付けた時間とに基づいて前記所定時間を決定することを特徴とする請求項３に記載の制御装置。
6. 前記撮像装置の撮影範囲を制御可能な外部装置と接続されている場合、当該外部装置から前記撮像装置へ制御指示が出力されたことを検知する検知部を有し、
   前記所定時間が経過する前に、前記検知部により前記外部装置から前記制御指示が出力されたことが検知された場合、前記第１の検出部により検出された当該被写体の位置に基づく前記撮影範囲の制御を停止することを特徴とする請求項１に記載の制御装置。
7. 前記外部装置と通信するための通信部を有し、
   前記検知部は、前記通信部を介して、前記外部装置から前記撮像装置へ制御指示が出力されたか否かを示す情報を問い合わせ、受信した前記情報に基づいて検知を行うことを特徴とする請求項６の記載の制御装置。
8. ユーザからの操作に基づいて前記撮影範囲を制御可能な外部装置と接続されている場合、前記外部装置に対して前記ユーザからの操作が入力されたことを検知する検知部を有し、
   前記検知部により、
   前記所定時間が経過する前に、前記検知部により前記ユーザからの操作の入力が検知された場合、前記第１の検出部により検出された当該被写体の位置に基づく前記撮影範囲の制御を停止することを特徴とする請求項１に記載の制御装置。
9. 前記外部装置と通信するための通信部を有し、
   前記検知部は、前記通信部を介して、前記外部装置に対してユーザによる撮像範囲を変更するための操作が入力されたか否か示す情報を受信し、前記情報に基づいて検知を行うことを特徴とする請求項８に記載の制御装置。
10. 外部装置と通信するための通信部を有し、
    前記検知部は、前記通信部を介して、外部装置にてカメラ操作が成されたか否か示す情報の送信を前記外部装置に対して要求することを特徴とする請求項９に記載のカメラ制御装置。
11. 前記入力部から入力された画像が第１の範囲に対応する画像であるタイミングで前記第２の検出部により前記被写体の動き出しが検出され、
    前記制御部が、前記第１の検出部により検出された当該被写体の位置に基づいて前記所定時間が経過するまで前記撮影範囲の制御を行った場合、前記制御部は、前記所定時間経過後、前記第１の検出部により検出された当該被写体の位置に基づく前記撮影範囲の制御を停止し、前記撮影範囲が前記第１の範囲に近づくように前記撮影範囲を制御することを特徴とする請求項１に記載の制御装置。
12. 前記制御部は、
    前記撮像装置の撮影方向をパン方向またはチルト方向に制御する撮影方向の制御、または撮影画角を広角側又は望遠側に制御する画角の制御の少なくともいずれか１つ以上を行うことで前記撮影範囲の制御を行うことを特徴とする請求項１に記載の制御装置。
13. 被写体を撮影する撮像部と、
    前記撮像部が撮影する方向を変更する駆動部と、
    前記請求項１に記載の制御装置と、を備えることを特徴とする撮像装置。
14. 撮像装置と、第１の制御装置と第２の制御装置とを有する撮像システムであって、
    前記第１の制御装置は、
    撮像装置で撮影された画像が入力される入力部と、
    前記入力部から入力された前記画像から被写体を検出する第１の検出部と、
    前記第１の検出部により検出された前記被写体の動き出しを検出する第２の検出部と、
    前記第２の検出部により動き出しが検出された場合、前記第１の検出部により検出された当該被写体の位置に基づいて、撮像装置の撮影範囲を制御する制御部と、
    を有し、
    前記第２の制御装置は、
    前記撮像装置に対するユーザの操作を受け付ける操作受付部と、を有し、
    前記第２の検出部により前記被写体の動き出しが検出された場合、前記制御部は、所定時間が経過したタイミングと前記操作受付部によりユーザの操作を受け付けたタイミングとのうちの早い方のタイミングである第１のタイミングまで、前記第１の検出部により検出された当該被写体の位置に基づいて前記撮影範囲を所定時間制御し、前記第１のタイミングの後、前記第１の検出部により検出された当該被写体の位置に基づく前記撮影範囲の制御を停止することを特徴とする撮像システム。
15. 前記第１の制御装置は、ユーザの操作を検知する検知部を有し、
    前記第１の制御装置と前記第２の制御装置とは互いに通信が可能であり、
    前記操作受付部にてユーザの操作を受け付けると、前記検知部に前記ユーザの操作を受け付けたことを示す情報が送信されることを特徴とする請求項１４に記載の撮像システム。
16. 前記撮像装置と前記第１の制御装置が一体的に構成されていることを特徴とする請求項１４に記載の撮像システム。
17. 画像が入力される入力工程と、
    前記入力工程で入力された画像から被写体を検出する第１の検出工程と、
    前記第１の検出工程により検出された前記被写体の動き出しを検出する第２の検出工程と、
    前記第２の検出工程により動き出しが検出された場合、前記第１の検出工程により検出された当該被写体の位置に基づいて、撮像装置の撮影範囲を制御する制御工程と、を有し、
    前記被写体の動き出しが検出された場合、前記制御工程において、
    前記第１の検出工程により検出された当該被写体の位置に基づいて前記撮影範囲を所定時間制御し、前記所定時間経過後は前記第１の検出工程により検出された当該被写体の位置に基づく前記撮影範囲の制御を停止することを特徴とする制御装置の制御方法。
18. 撮像装置と、第１の制御装置と第２の制御装置とを有する撮像システムの制御方法であって、
    第１の制御装置は、
    撮像装置で撮影された画像が入力される入力工程と、
    前記入力工程で入力された前記画像から被写体を検出する第１の検出工程と、
    前記第１の検出工程により検出された前記被写体の動き出しを検出する第２の検出工程と、
    前記第２の検出工程により動き出しが検出された場合、前記第１の検出工程により検出された当該被写体の位置に基づいて、撮像装置の撮影範囲を制御する制御工程と、
    を行い、
    前記第２の制御装置は、
    前記撮像装置に対するユーザの操作を受け付ける操作受付工程を行い、
    前記第２の検出工程により前記被写体の動き出しが検出された場合、前記制御工程において、所定時間が経過したタイミングと前記操作受付工程によりユーザの操作を受け付けたタイミングとのうちの早い方のタイミングである第１のタイミングまで、前記第１の検出工程により検出された当該被写体の位置に基づいて前記撮影範囲を所定時間制御し、前記第１のタイミングの後、前記第１の検出工程により検出された当該被写体の位置に基づく前記撮影範囲の制御を停止することを特徴とする制御方法。
19. 外部装置と通信するための通信部と、
    前記第１の検出部が検出した前記被写体の位置情報を取得する第１の取得部と、
    前記第２の検出部が検出した前記被写体の動き出し検出結果を取得する第２の取得部と、
    を有し、
    前記通信部を介して、前記第１及び第２の取得部が取得した情報を外部装置へ送信することを特徴とする請求項１に記載の制御装置。
    

Images