WO2022168481A1

WO2022168481A1 - 画像処理装置、画像処理システム

Info

Publication number: WO2022168481A1
Application number: PCT/JP2021/047894
Authority: WO
Inventors: 宣浩綱島; 正和海老原
Original assignee: ソニーグループ株式会社
Priority date: 2021-02-02
Filing date: 2021-12-23
Publication date: 2022-08-11
Also published as: EP4290852A1; US20240056686A1

Abstract

画像処理装置は、第１撮像部において撮像された第１画像に基づいて追尾の目標とされた被写体を追尾目標被写体として決定する追尾目標被写体決定部と、第２撮像部による追尾中の被写体である追尾中被写体を特定するための情報を取得する追尾中被写体情報取得部と、前記追尾中被写体と前記追尾目標被写体が同一の被写体であるか否かを判定する判定処理部と、前記追尾中被写体と前記追尾目標被写体が同一でないと判定された場合に前記第２撮像部の前記追尾中被写体を前記追尾目標被写体へと変更させる処理を行う追尾変更処理部と、を備えるものとした。

Description

画像処理装置、画像処理システム

　本技術は、二つの撮像部を連携させることにより特定の被写体を追尾するための処理を行う画像処理装置及び画像処理システムの技術分野に関する。

　スポーツ会場や会議室などある程度の広さのある空間を撮影する場合には、１台のみのカメラを用いて空間全体を撮影すると人物などの被写体が非常に小さく写ってしまう。また、１台のみのカメラを用いて被写体を大写しにしてしまうと撮像されていない領域や被写体が発生してしまうという問題がある。
　このような問題を解決するために、２台以上のカメラを用いる方法が考えられる。例えば、全体撮影するカメラと被写体を大写しにするカメラとを併用する方法である。このように複数台のカメラを用いる技術として、例えば、下記特許文献１に記載された技術がある。

　特許文献１には、２台のカメラを用い、１台のカメラが撮影領域全体を撮影する全景カメラとして機能し、もう１台のカメラが被写体を大写しで撮影する望遠カメラとして機能する技術が開示されている。

特開平５－３３４５７２号公報

　しかし、大写しにする被写体を全景カメラで特定してから実際に望遠カメラで当該被写体を画角に収めるまでには各種の処理が実行されるため、タイムラグが生じ、望遠カメラで被写体を捉えることができない虞があるという問題がある。

　本技術はこのような問題に鑑みて上記事情に鑑み為されたものであり、複数台の撮像装置を用いて対象の被写体を画角に収めることを目的とする。

　本技術に係る画像処理装置は、第１撮像部において撮像された第１画像に基づいて追尾の目標とされた被写体を追尾目標被写体として決定する追尾目標被写体決定部と、第２撮像部による追尾中の被写体である追尾中被写体を特定するための情報を取得する追尾中被写体情報取得部と、前記追尾中被写体と前記追尾目標被写体が同一の被写体であるか否かを判定する判定処理部と、前記追尾中被写体と前記追尾目標被写体が同一でないと判定された場合に前記第２撮像部の前記追尾中被写体を前記追尾目標被写体へと変更させる処理を行う追尾変更処理部と、を備えたものである。
　これにより、第２撮像部において追尾中の被写体が想定した目標被写体である追尾目標被写体と異なる場合には、追尾の対象を変更させる処理が実行される。

　上記した画像処理装置における前記追尾中被写体情報取得部は、前記追尾中被写体を特定するための情報を他の画像処理装置から取得し、前記追尾変更処理部は、前記変更させる処理として前記追尾目標被写体についての情報を前記他の画像処理装置に送信する処理を行ってもよい。
　例えば、本構成を有する画像処理装置と他の画像処理装置の２台の装置で情報のやりとりを行うことにより追尾の対象を変更させる処理が実現される。

　上記した画像処理装置における前記追尾変更処理部は、前記第２撮像部における光軸方向を変更するための情報を前記追尾目標被写体についての情報として前記他の画像処理装置に送信してもよい。
　例えば、第１撮像部が撮像した第１画像内（或いは第１撮像部の画角内）における追尾目標被写体の位置と該追尾目標被写体を第２撮像部の画角内に捉えるための第２撮像部の光軸方向の設定は１対１に対応付けることが可能である。
　特に、第１撮像部と第２撮像部が近い位置に配置されており、且つ、各撮像部と被写体が一定距離以上離れている場合には、第１画像内における追尾目標被写体の位置と第２撮像部の光軸方向の対応付が容易である。

　上記した画像処理装置における前記追尾変更処理部は、前記追尾中被写体と前記追尾目標被写体が同一であると判定された場合に前記他の画像処理装置に送信する処理の頻度を低くしてもよい。
　第２撮像部が追尾中の被写体が追尾目標被写体である場合は、追尾中の被写体の追尾を継続するだけでよい。そして、そのような処理は追尾目標被写体の情報を新たに提供せずに実行可能な処理である。

　上記した画像処理装置においては、前記追尾目標被写体の移動方向を推定する移動方向推定部を備え、前記追尾変更処理部は、前記変更させる処理として前記追尾目標被写体についての情報に加えて前記移動方向を前記他の画像処理装置に送信する処理を行ってもよい。
　第２撮像部で第２画像を撮影してから、第１撮像部が撮像した第１画像に基づいて追尾目標被写体を決定し、第２撮像部を制御する画像処理装置から送信された情報に基づいて第２撮像部が追尾中の被写体を追尾中被写体として特定し、追尾目標被写体と追尾中被写体が同一の被写体であるか否かを判定し、それに応じて追尾目標被写体についての情報を他の画像処理装置に送信するまでの間に、被写体は動いていることが想定される。そして、第２撮像部が新たな追尾目標被写体を追尾するために第２撮像部の構図の変更を終えた頃には既に第２撮像部の画角内に追尾目標被写体が位置していない可能性がある。

　上記した画像処理装置における前記移動方向推定部は、前記第１撮像部において撮像された過去画像に基づいて前記移動方向を推定してもよい。
　例えば、過去数フレームの第１画像を用いることにより追尾目標被写体としての被写体の移動方向を推定することができる。

　上記した画像処理装置における前記判定処理部は、前記第２撮像部において撮像された第２画像のうち前記追尾中被写体を特定するための情報が得られた前記第２画像の撮像時刻に基づいて選択された前記第１画像を用いて同一の被写体であるか否かについての前記判定を行ってもよい。
　第２撮像部によって撮像された第２画像に基づいて追尾中被写体を特定するための情報が抽出され、該抽出された情報が本構成を備える画像処理装置に送信された場合について考えると、第２画像が撮影されてからある程度の時間が経過した後に撮像された第１画像における追尾目標被写体の位置は当該第２画像の撮像時刻における位置と異なる場合がある。そのような状況で、例えば最新の第１画像に基づいて第２撮像部における追尾中被写体を推定してしまうと、第２撮像部において追尾中の被写体を誤って特定してしまう可能性がある。

　上記した画像処理装置においては、前記判定処理部の処理及び前記追尾変更処理部の処理を実行する第１態様と、前記判定処理部の処理及び前記追尾変更処理部の処理を実行しない第２態様と、を切り替える切替処理部を備えていてもよい。
　第１態様と第２態様とを比較すると、第２態様の方が単純な制御とされ、処理負担も軽いことが想定される。具体的には、追尾目標被写体と追尾中被写体が同一の被写体かどうかを判定する処理やその判定を行うために各種の情報の送受信を行う第１態様と比較して、他の画像処理装置及び第２撮像部の処理によって追尾中の被写体についての追尾を継続するだけの第２態様の方が簡易な処理とされる。

　上記した画像処理装置における前記切替処理部は、決定された前記追尾目標被写体の移動態様に応じて前記第１態様と前記第２態様の切り替えを行ってもよい。
　例えば、追尾目標被写体の移動方向が一定であるケースや所定の範囲にとどまっているようなケース、或いは、追尾目標被写体の移動速度が低速であるようなケースでは、第２撮像部及び他の画像処理装置に閉じた処理によって追尾中の被写体をロストしてしまう虞が低いケースと言える。

　上記した画像処理装置においては、前記第１撮像部を備えていてもよい。
　例えば、画像処理装置は、第１撮像部を備えたカメラ装置とされる。

　本技術に係る画像処理装置は、第１撮像部において撮像された第１画像に基づいて決定された追尾の目標被写体である追尾目標被写体の情報を用いて、第２撮像部による被写体の追尾について制御を行う追尾制御部を備え、前記追尾制御部は、追尾中の被写体である追尾中被写体を特定するための情報を出力し、前記追尾の制御中に前記追尾目標被写体の情報が取得されない場合は、前記追尾目標被写体を変更せずに前記追尾の制御を行い、前記追尾の制御中に前記追尾目標被写体の情報が取得された場合は、新たに取得された前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行うものである。
　これにより、追尾制御部は、新たな追尾目標被写体の情報が取得されない場合には簡易な処理を実行することにより第２撮像部による追尾を継続することができる。

　上記した画像処理装置においては、前記追尾目標被写体の情報を他の画像処理装置から受信する受信処理部と、前記追尾制御部によって出力された前記追尾中被写体を特定するための情報を前記他の画像処理装置に送信する送信処理部と、を備え、前記追尾制御部は、前記追尾の制御中に前記追尾目標被写体の情報を前記受信処理部が受信しなかった場合は、前記追尾目標被写体を変更せずに前記追尾の制御を行い、前記追尾の制御中に前記追尾目標被写体の情報を前記受信処理部が受信した場合は、新たに取得された前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行ってもよい。
　例えば、本構成を有する画像処理装置と他の画像処理装置の２台の装置で情報のやりとりを行うことにより、追尾中被写体とされた被写体の追尾を継続させる処理や追尾中被写体の追尾をやめて新たに指定された追尾目標被写体についての追尾を開始させる処理が実行される。

　上記した画像処理装置における前記送信処理部は、前記第２撮像部による撮像画像の生成ごとに前記追尾中被写体を特定するための情報の送信を行ってもよい。
　これにより、他の画像処理装置に対して追尾中被写体を特定するための情報を高頻度で送信することが可能となる。

　上記した画像処理装置における前記送信処理部は、前記追尾中被写体を特定するための情報として前記第２撮像部の光軸方向に関する情報を送信してもよい。
　光軸方向に関する情報とは、所定の座標系において第２撮像部の光軸方向を一意に特定可能なベクトル情報などであってもよいし、第２撮像部の光軸方向に１対１で対応するパン方向及びチルト方向についての制御量などの情報であってもよい。
　例えば、他の画像処理装置において、第１画像内の追尾目標被写体の位置と第２撮像部の光軸方向に関する情報の対応付けが可能である場合には、上述したような光軸方向に関する情報を他の画像処理装置に送信することにより、他の画像処理装置は第２撮像部の光軸方向を特定することが可能となる。

　上記した画像処理装置における前記送信処理部は、前記追尾中被写体を特定するための情報として前記第２撮像部において撮像された第２画像を送信してもよい。
　第２撮像部及びその向きを調整するための機器の構成によっては、第２撮像部の光軸方向に関する情報を取得できない場合がある。そのような場合には、本構成のように、第２撮像部において撮像された第２画像の情報を他の画像処理装置に送信してもよい。

　上記した画像処理装置における前記受信処理部は、前記他の画像処理装置から前記追尾目標被写体の移動方向の情報を受信し、前記追尾制御部は、前記第１画像の撮像時刻と受信した前記移動方向とに基づいて算出した前記追尾目標被写体の予測位置を用いて前記追尾についての制御を行ってもよい。
　第１画像に基づいて追尾目標被写体が決定された時点の追尾目標被写体の位置と、追尾目標被写体についての情報を当該画像処理装置が受信し追尾目標被写体を第２撮像部の画角内に捉えるための制御を行った時点の追尾目標被写体の位置は、追尾目標被写体の移動により異なることが考えられる。このような場合において、追尾目標被写体の移動方向についての情報を当該画像処理装置が受信することにより、追尾目標被写体の現在の位置を推定することが可能となる。

　上記した画像処理装置においては、前記送信処理部の処理及び新たに取得された前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行う前記追尾制御部の処理を実行する第１態様と、前記追尾目標被写体を変更せずに前記追尾の制御を継続して実行する第２態様と、を切り替える切替処理部を備えていてもよい。
　第１態様と第２態様とを比較すると、第２態様の方が単純な制御とされ、処理負担も軽いことが想定される。具体的には、追尾中被写体を追尾し続ける処理の方が、新たな追尾目標被写体の情報に基づいて新たな被写体についての追尾を開始させる処理よりも処理負担が軽く簡易な処理とされる。特に、新たな被写体についての追尾を開始させる場合には、新たな被写体が追尾目標被写体と異なっている場合などもあり、その場合には再度新たな被写体を特定して追尾を開始させる必要がある。

　上記した画像処理装置における前記切替処理部は、前記追尾制御部によって前記追尾中被写体の移動態様に応じて前記第１態様と前記第２態様の切り替えを行ってもよい。
　例えば、追尾中被写体の移動方向が一定であるケースや所定の範囲にとどまっているようなケース、或いは、追尾中被写体の移動速度が低速であるようなケースでは、他の画像処理装置から情報を取得することなく追尾中被写体の追尾を継続することが可能である。即ち、そのようなケースは、追尾中被写体をロストしてしまう虞が低いケースと言える。

　上記した画像処理装置においては、前記第２撮像部を備えていてもよい。
　例えば、画像処理装置は、第２撮像部を備えたカメラ装置とされる。

　本技術に係る画像処理システムは、第１撮像部において撮像された第１画像に基づいて追尾の目標とされた被写体を追尾目標被写体として決定する追尾目標被写体決定部と、前記追尾目標被写体の情報を用いて、第２撮像部による被写体の追尾について制御を行う追尾制御部と、前記追尾制御部により出力された情報に基づいて第２撮像部による追尾中の被写体を追尾中被写体として特定する追尾中被写体特定部と、決定された前記追尾目標被写体と特定された前記追尾中被写体とが同一の被写体であるか否かを判定する判定処理部と、前記追尾中被写体と前記追尾目標被写体が同一でないと判定された場合に前記追尾目標被写体についての情報を前記追尾制御部へと出力する追尾変更処理部と、を備え、前記追尾制御部は、前記追尾の制御中に追尾目標被写体についての情報が入力された場合には、新たな前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行い、前記追尾の制御中に前記追尾目標被写体についての情報が入力されない場合には、前記追尾目標被写体を変更せずに前記追尾の制御を行うものである。
　このような画像処理システムによっても上記した各種の作用を得ることができる。

本技術に係る撮像システムによってサッカーコートを撮像している様子を示す概略図である。撮像システムの構成例を示すブロック図である。情報処理装置の機能ブロック図である。第１処理部及び第２処理部の機能ブロック図である。変換後座標と所定領域に基づいて追尾中被写体が特定されることを説明するための図である。追尾目標被写体と追尾中被写体が一致している状態を示す図である。追尾目標被写体と追尾中被写体が一致していない状態を示す図である。第１処理部が実行する処理の一例を示すフローチャートである。第２処理部が実行する処理の一例を示すフローチャートである。第２の実施の形態における第１処理部が実行する処理の一例を示すフローチャートである。第３の実施の形態における第１処理部の機能ブロック図である。第３の実施の形態における第１処理部が実行する処理の一例を示すフローチャートである。第３の実施の形態における第２処理部の機能ブロック図である。第３の実施の形態における第２処理部が実行する処理の一例を示すフローチャートである。第４の実施の形態における撮像システムの構成例を示すブロック図である。第５の実施の形態における撮像システムの構成例を示すブロック図である。

　以下、添付図面を参照し、本技術に係る実施の形態を次の順序で説明する。
＜１．撮像システムの構成＞
＜２．情報処理装置の構成＞
＜３．各処理部の機能構成＞
＜４．フローチャート＞
＜４－１．第１処理部が実行する処理のフローチャート＞
＜４－２．第２処理部が実行する処理のフローチャート＞
＜５．第２の実施の形態＞
＜６．第３の実施の形態＞
＜７．第４の実施の形態＞
＜８．第５の実施の形態＞
＜９．変形例＞
＜１０．まとめ＞
＜１１．本技術＞

＜１．撮像システムの構成＞
　本実施の形態の撮像システム１は、２台以上のカメラを備えて構成されている。以下の説明においては、全景を撮像するための広角カメラ２と被写体のズームアップ画像を撮像するための望遠カメラ３の２台のカメラを備えて撮像システム１が構成されている例を挙げる。但し、本技術はこれに限らず、３台以上のカメラを備えた撮像システムに適用することが可能である。

　撮像システム１は、図１に示すように、サッカーコート全体を撮像する広角カメラ２と選手個人のズームアップ画像を撮像する望遠カメラ３を備えて構成されている。

　広角カメラ２は、図２に示すように、撮像光学系やイメージセンサ等を備えて構成される第１撮像部４と、第１撮像部４から出力される撮像画像と望遠カメラ３から送信される情報を用いて各種の処理を行う第１処理部５とを備えている。

　広角カメラ２は構図の初期調整が行われた後はパン制御、チルト制御及びズーム制御が行われず構図が変更されない固定カメラとして運用される。但し、注目する被写体の位置等に応じて多少のパン制御やチルト制御やズーム制御が広角カメラ２において実行されてもよい。また、試合のインターバルなどに構図を変更する調整が行われてもよい。

　望遠カメラ３は、図２に示すように、撮像光学系やイメージセンサ等を備えて構成される第２撮像部６と、第２撮像部６による追尾制御を行うための各種の処理を行う第２処理部７と、望遠カメラ３のパン（Ｐ）制御、チルト（Ｔ）制御及びズーム（Ｚ）制御を行うＰＴＺ制御部８とを備えている。
　また、望遠カメラ３は、ＰＴＺ制御部８の制御対象としての雲台（不図示）を備えている。即ち、ＰＴＺ制御部８は、パン制御及びチルト制御を行うことにより雲台の姿勢制御を行い、ズーム制御を行うことにより望遠カメラ３が備えるズームレンズの位置制御を行う。

＜２．情報処理装置の構成＞
　広角カメラ２は第１処理部５としての各機能を備えた情報処理装置として捉えることができる。また、望遠カメラ３は第２処理部７としての各機能を備えた情報処理装置として捉えることができる。

　即ち、上述した広角カメラ２や望遠カメラ３は、上述した各機能を備えるために、情報処理装置としての構成を備えている。情報処理装置の機能ブロック図を図３に示す。
　なお、各情報処理装置が以下に示す全ての構成を備えている必要はなく、一部のみを備えていてもよい。

　各情報処理装置のＣＰＵ（Central Processing Unit）７１は、図３に示すように、ＲＯＭ（Read Only Memory）７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。また、ＲＡＭ７３にはＣＰＵ７１が各種の処理を実行する上で必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
　例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。

　また入出力インタフェース７５には、ＬＣＤ（Liquid Cristal Display）或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置としての広角カメラ２や望遠カメラ３の筐体に設けられるディスプレイデバイスや、筐体に接続される別体のディスプレイデバイス等により構成される。本実施の形態における広角カメラ２や望遠カメラ３であれば、背面モニタなどが表示部７７に相当する。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。

　通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。

　入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記憶媒体８２が適宜装着される。
　ドライブ８１により、リムーバブル記憶媒体８２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記憶媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記憶媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

　ＣＰＵ７１が各種のプログラムに基づいて処理動作を行うことで、広角カメラ２の第１処理部５や望遠カメラ３の第２処理部７における後述する必要な情報処理や通信処理が実行される。
　なお、広角カメラ２や望遠カメラ３を構成する情報処理装置は、図３のような情報処理装置が単一で構成されることに限らず、複数の情報処理装置がシステム化されて構成されてもよい。複数の情報処理装置は、ＬＡＮ等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ等により遠隔地に配置されたものでもよい。複数の情報処理装置には、クラウドコンピューティングサービスによって利用可能なサーバ群（クラウド）としての情報処理装置が含まれてもよい。

＜３．各処理部の機能構成＞
　広角カメラ２が備える第１処理部５と望遠カメラ３が備える第２処理部７は各種の処理を行うための各部を備えている。一例について具体的に図４を参照して説明する。

　第１処理部５は、追尾目標被写体決定部９と、追尾中被写体情報取得部１０と、変換処理部１１と、追尾中被写体特定部１２と、判定処理部１３と、移動方向推定部１４と、追尾変更処理部１５と、通信処理部１６とを備えている。

　追尾目標被写体決定部９は、第１撮像部４において撮像された撮像画像に基づいて追尾対象の被写体を決定する処理を行う。以降の説明においては、第１撮像部４において撮像された画像を「第１画像ＧＣ１」と記載し、第１画像ＧＣ１に基づいて決定された追尾対象の被写体を「追尾目標被写体Ｔ１」と記載する。

　追尾目標被写体Ｔ１の決定手法は各種考えられる。例えば、図１に示すようにサッカーの試合であれば、ボールを持った選手を追尾目標被写体Ｔ１として決定することが考えられる。この場合には、例えば、背景差分法を用いて候補の被写体を検出し、その中からボールに合致する被写体を特定する。そして、ボールとして特定した被写体に最も近い位置にいる選手やボールに触れている選手などを追尾目標被写体Ｔ１として決定する。

　また、直前にゴールを決めた選手を一定時間追尾目標被写体Ｔ１として決定することも考えられる。この場合には、得点を決めた選手の顔や髪型等の特徴を用いたマッチング処理を行いスコアの高い被写体を当該選手として特定し、追尾目標被写体Ｔ１として決定してもよい。或いは、選手のユニフォームに描かれた背番号を用いてマッチング処理等を行うことにより当該選手を特定してもよい。

　更には、各選手を一定時間ごとに追尾目標被写体Ｔ１として決定することで全選手のズームアップ画像が撮像されるようにしてもよい。例えば、試合開始前の選手紹介などに好適である。

　このようにして、追尾目標被写体決定部９は各選手やボール、或いは、審判などの各被写体から追尾目標被写体Ｔ１を決定する処理を行う。

　追尾中被写体情報取得部１０は、望遠カメラ３の第２撮像部６によって追尾中の被写体を特定するための情報を取得する処理を行う。以降の説明においては、第２撮像部６によって追尾中の被写体を「追尾中被写体Ｔ２」と記載する。また、第２撮像部６において撮像された画像を「第２画像ＧＣ２」と記載する。
　追尾中被写体Ｔ２を特定するための情報は各種考えられる。本実施の形態においては、追尾中被写体Ｔ２を特定するための情報として第２撮像部６の光軸方向を表す情報を取得する。

　そのために、本実施の形態においては、各撮像部と被写体の距離に対して第１撮像部４と第２撮像部６の距離が近くなるように広角カメラ２及び望遠カメラ３が設置されている。例えば、撮像部と被写体の距離が数十ｍとされ、第１撮像部４と第２撮像部６の距離が数十ｃｍとされている。

　第２撮像部６の光軸方向が分かれば自ずと第２撮像部６の画角内に捉えられている被写体、即ち追尾中被写体Ｔ２を特定することが可能である。追尾中被写体Ｔ２を特定する処理は後述の追尾中被写体特定部１２が実行する処理である。

　なお、広角カメラ２と望遠カメラ３の位置関係が把握できていれば、各撮像部と被写体の距離に対して必ずしも第１撮像部４と第２撮像部６の距離が近くなるように広角カメラ２及び望遠カメラ３が設置されていなくてもよい。

　変換処理部１１は、広角カメラ２において撮像された第１画像ＧＣ１上の被写体の座標（位置）と望遠カメラ３の第２撮像部６の光軸方向を表す情報（例えばパン方向における制御量とチルト方向における制御量）の変換を行う。

　例えば、第１画像ＧＣ１上の追尾目標被写体Ｔ１の座標を第２撮像部６の光軸方向を表す情報に変換する。広角カメラ２の第１処理部５は、変換された情報を望遠カメラ３に送信することで、望遠カメラ３は追尾目標被写体Ｔ１を大写しにすることが可能となる。

　また、変換処理部１１は、望遠カメラ３から受信した第２撮像部６の光軸方向を表す情報を第１画像ＧＣ１上の座標に変換する。これにより、広角カメラ２の第１処理部５は、望遠カメラ３の第２撮像部６における追尾中被写体Ｔ２を特定することができる。

　追尾中被写体特定部１２は、変換処理部１１によって変換された第１画像ＧＣ１における座標に基づいて第１画像ＧＣ１に写る被写体の中から第２撮像部６による追尾中の被写体を特定する。

　例えば、図５に示すように、第１画像ＧＣ１における水平方向の座標をｘで表し垂直方向の座標をｙで表し、変換処理部１１によって変換された第１画像ＧＣ１における座標を「変換後座標Ｃａ」とする。追尾中被写体特定部１２は、変換後座標Ｃａを中心とした所定の範囲、例えば、第２撮像部６の画角情報に基づく所定領域Ａｒ１に少なくとも一部が位置している被写体を追尾中被写体Ｔ２として特定する。

　判定処理部１３は、追尾中被写体特定部１２によって特定された追尾中被写体Ｔ２と追尾目標被写体決定部９が決定した追尾目標被写体Ｔ１が同一の被写体であるか否かを判定する。

　追尾中被写体特定部１２及び判定処理部１３の処理内容についていくつかの例を示す。
　先ず、図６を用いて一例を示す。第１画像ＧＣ１において追尾目標被写体Ｔ１が撮像された領域を「目標領域ＡｒＤ」とすると、変換後座標Ｃａに基づく所定領域Ａｒ１は目標領域ＡｒＤに対して一部の領域が重なるように位置している。更に、追尾目標被写体Ｔ１の一部が所定領域Ａｒ１内に位置している。このような場合には、追尾中被写体特定部１２は所定領域Ａｒ１内に位置する被写体を追尾中被写体Ｔ２として特定する。従って、判定処理部１３は、追尾目標被写体Ｔ１と追尾中被写体Ｔ２は同一の被写体であると判定する。

　図７を用いて他の例を示す。第１画像ＧＣ１において追尾目標被写体Ｔ１が撮像された領域である目標領域ＡｒＤに対して、変換後座標Ｃａに基づく所定領域Ａｒ１は一部が重なるように位置している。また、所定領域Ａｒ１には、手前に位置する被写体として撮像された被写体Ｈ１の一部と、奥に位置する被写体として撮像された被写体Ｈ２の一部が位置している。そして、被写体Ｈ１は追尾目標被写体Ｔ１である。このことから、第２撮像部６の画角内に追尾目標被写体Ｔ１の一部が位置しているといえる。
　但し、被写体Ｈ２は被写体Ｈ１よりも第２撮像部６の画角内の中央部に位置している。この場合には、追尾中被写体特定部１２は被写体Ｈ２が追尾中被写体Ｔ２であると特定する。従って、判定処理部１３は、図７に示す状況においては追尾目標被写体Ｔ１と追尾中被写体Ｔ２は同一の被写体ではないと判定する。

　なお、この判定をより確実に行うために、追尾中被写体特定部１２は所定領域Ａｒ１の移動方向を加味してもよい。図７に示す例であれば、被写体Ｈ１は第１撮像部４の画角内を右から左へ向かって移動している被写体である。また、被写体Ｈ２は第１撮像部４の画角内を左から右へ向かって移動している被写体である。
　従って、過去の所定領域Ａｒ１の座標の履歴に基づいて所定領域Ａｒ１の移動方向を特定し、所定領域Ａｒ１が右から左へ移動している場合には被写体Ｈ１を追尾中被写体Ｔ２として特定し、所定領域Ａｒ１が左から右へ移動している場合には被写体Ｈ２を追尾中被写体Ｔ２として特定してもよい。即ち、所定領域Ａｒ１の移動方向と同方向に移動している被写体を追尾中被写体Ｔ２として特定する。
　なお、このような処理は、所定領域Ａｒ１に複数の被写体が位置している場合に行えばよい。所定領域Ａｒ１に位置している被写体が一人（一つ）である場合には、当該被写体を追尾中被写体Ｔ２として特定すればよい。

　第２処理部７が第２撮像部６の光軸方向に関する情報を取得するタイミングと、広角カメラ２の第１処理部５に当該情報が送信された後に第１処理部５によって当該情報に基づいて追尾中被写体Ｔ２が特定されるタイミングの間には多少のタイムラグが存在する。そして、そのタイムラグの存在により、第２撮像部６による追尾が行われていた被写体と異なる被写体が追尾中被写体Ｔ２として特定されてしまう虞がある。

　これを防止するために、追尾中被写体特定部１２は、第２処理部７が第２撮像部６の光軸方向に関する情報を取得する処理の対象とされた第２画像ＧＣ２が撮像された撮像時刻に近い時刻に撮像された第１画像ＧＣ１を取得し、当該第１画像ＧＣ１を用いて上記したような追尾中被写体Ｔ２の特定処理を実行してもよい。
　例えば、第２画像ＧＣ２が撮像された撮像時刻に最も近い時刻に撮像された第１画像ＧＣ１を選択することで、追尾中被写体Ｔ２が正しく特定される可能性を高めることができる。

　移動方向推定部１４及び追尾変更処理部１５は、判定処理部１３によって追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体でないと判定された場合に各種の処理を実行する。

　具体的に、移動方向推定部１４は、追尾目標被写体Ｔ１の移動方向を推定する処理を行う。例えば、第１撮像部４において撮像された第１画像ＧＣ１について最新フレームから過去フレームに亘って記憶しておき、追尾目標被写体Ｔ１の移動方向を推定する。この処理は、フレーム毎に追尾目標被写体Ｔ１のマッチング処理を行うことによりフレーム毎の追尾目標被写体Ｔ１の座標を特定し、その座標の変化から追尾目標被写体Ｔ１の移動方向を推定する。
　また、移動方向推定部１４は、追尾目標被写体Ｔ１の移動方向だけでなく移動速度を推定してもよい。
　なお、第１処理部５が移動方向推定部１４を含まずに構成されていてもよい。

　追尾変更処理部１５は、第２撮像部６による追尾の対象の被写体、即ち追尾中被写体Ｔ２を変更させるための処理を行う。
　例えば、上述した変換処理部１１の処理によって追尾目標被写体Ｔ１の座標情報から変換された第２撮像部６の光軸方向を表す情報を望遠カメラ３に送信することにより、第２撮像部６による追尾中被写体Ｔ２を追尾目標被写体Ｔ１と同一の被写体に変えさせる処理を望遠カメラ３の第２処理部７に実行させる。

　移動方向推定部１４及び追尾変更処理部１５におけるこのような処理は、例えば、望遠カメラ３から追尾中被写体Ｔ２を特定するための情報を取得するごとに実行され得る。即ち、望遠カメラ３から追尾中被写体Ｔ２を特定するための情報を取得し、且つ、追尾中被写体Ｔ２が追尾目標被写体Ｔ１と異なる被写体であった状況が継続する限り、望遠カメラ３から情報が取得されるごとに実行される。

　なお、判定処理部１３によって追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体であると判定された場合は、第２撮像部６による被写体の追尾が意図した通りに行われていることを示す。この場合における移動方向推定部１４及び追尾変更処理部１５が実行する処理はいくつか考えられる。

　例えば、移動方向推定部１４による追尾目標被写体Ｔ１の移動方向や移動速度の情報を算出する処理は実行せずに、追尾変更処理部１５による追尾目標被写体Ｔ１を追尾するための第２撮像部６の光軸方向を表す情報を送信する処理のみを実行してもよい。

　或いは、追尾変更処理部１５による当該送信処理の頻度を低下させてもよい。例えば、上述の例では、追尾中被写体Ｔ２を特定するための情報を望遠カメラ３から取得するたびに追尾変更処理部１５による送信処理を実行する例を示したが、追尾中被写体Ｔ２を特定するための情報を望遠カメラ３から所定回数取得するまで追尾変更処理部１５による送信処理を控えてもよい。これにより、第１処理部５の処理負担軽減が図られる。

　また、追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体であると判定されている状況が継続している限り追尾変更処理部１５による情報の送信処理を行わなくてもよい。この場合には、望遠カメラ３の第２処理部７は、広角カメラ２から第２撮像部６の光軸方向を表す情報を受信していない間は正しい被写体を追尾することができていることを認識することができると共に、当該情報を広角カメラ２から受信した場合には追尾中の被写体が誤っていることを認識することができる。

　通信処理部１６は、上述した各部の処理に応じて望遠カメラ３と有線または無線による通信を行う。これらの通信処理は、広角カメラ２が備える図３の通信部８０を利用して実現される。

　第２処理部７は、追尾制御部１７と、通信処理部１８とを備えている（図４参照）。

　追尾制御部１７は、第２撮像部６による被写体の追尾を適切に行うための各種の処理を行う。
　具体的には、追尾制御部１７は、第２撮像部６において撮像された画像に基づいて追尾中被写体Ｔ２の追尾を継続する処理を行う。なお、第２撮像部６によって撮像された画像は上述したように第２画像ＧＣ２とする。

　追尾の継続処理は、広角カメラ２から情報を受信せずに望遠カメラ３の内部に閉じた処理で実現可能である。この追尾処理を「ローカル追尾処理」と記載する。
　ローカル追尾処理では、追尾制御部１７は、望遠カメラ３の第２撮像部６において撮像された第２画像ＧＣ２を取得するごとに追尾中被写体Ｔ２についてのマッチング処理を行う。マッチング処理によって新たに特定した第２画像ＧＣ２上における追尾中被写体Ｔ２の座標に応じて、追尾中被写体Ｔ２が第２撮像部６の画角の中央に位置するようにＰＴＺ制御部８に駆動指示を送る。ＰＴＺ制御部８は該指示に従って雲台の制御を行うことにより第２撮像部６の画角の中央付近に追尾中被写体Ｔ２が位置するように構図を変更する。
　なお、ＰＴＺ制御部８は、第２撮像部６の画角に対して追尾中被写体Ｔ２が大きくなりすぎたり小さくなりすぎたりしないようにズーム制御を行ってもよい。

　追尾制御部１７は、ローカル追尾処理以外にも、新たに設定された追尾目標被写体Ｔ１に対する追尾を開始させる処理を実行可能とされている。
　例えば、第２撮像部６による追尾中被写体Ｔ２が追尾目標被写体Ｔ１とは異なる場合に広角カメラ２から追尾目標被写体Ｔ１を追尾するための情報として第２撮像部６の光軸方向に関する情報が送信されてくる。

　追尾制御部１７は、受信した光軸方向に関する情報に応じてＰＴＺ制御部８に駆動指示を行うことで第２撮像部６の光軸方向の変更を行い、第２撮像部６の画角内に追尾目標被写体Ｔ１を捉えるようにする。

　なお、広角カメラ２において追尾目標被写体Ｔ１の座標情報から望遠カメラ３の第２撮像部６の光軸方向についての情報を算出する処理と、その情報を望遠カメラ３に送信する処理及び望遠カメラ３が情報を受信する処理と、を行う間に追尾目標被写体Ｔ１が移動してしまい、新たな追尾目標被写体Ｔ１の追尾を正常に開始できない虞がある。

　これに対応するために、広角カメラ２は移動方向推定部１４を備えていてもよい。移動方向推定部１４は、追尾目標被写体Ｔ１についての移動方向と移動速度を前述のように算出している。望遠カメラ３の追尾制御部１７は、追尾目標被写体Ｔ１についての移動方向及び移動速度の情報を受信し、これらの情報に基づいて追尾目標被写体Ｔ１の移動先を予測する処理を行う。このとき、広角カメラ２において追尾目標被写体Ｔ１の座標情報の算出に用いられた第１画像ＧＣ１の撮像時刻と現時刻の時間差を考慮して追尾目標被写体Ｔ１の予測位置（予測座標）を算出してもよい。
　追尾制御部１７は、予測位置に応じて追尾目標被写体Ｔ１を第２撮像部６の画角内に捉えるように制御することで、正しい被写体についての追尾処理を行うことができる。

　このように、追尾制御部１７は、新たに設定された追尾目標被写体Ｔ１を画角内に捉えるように第２撮像部６の光軸方向の調整を行いローカル追尾制御を開始させる処理（第１処理）や、現時点で追尾している追尾中被写体Ｔ２についてのローカル追尾処理を継続させる処理（第２処理）を実行可能とされている。

　追尾制御部１７は、第１処理と、第２処理とを状況に応じて切り替える。

　例えば、広角カメラ２から第２撮像部６の光軸方向に関する情報と追尾目標被写体Ｔ１の移動方向及び移動速度に関する情報を取得した場合には、追尾中被写体Ｔ２が誤った被写体であると推定して第１処理を行う。

　一方、広角カメラ２からこれらの情報を受信しなかった場合には、第２撮像部６による追尾中被写体Ｔ２は正しい被写体であると推定して第２処理を実行する。

　このように、追尾制御部１７は、追尾中被写体Ｔ２が適切な被写体である場合には、ローカル追尾処理を継続させる第２処理を行う。なお、第２処理は、第１処理よりも相対的に処理負担が軽いため、追尾中被写体Ｔ２が正しい被写体である場合に第２処理を行うことにより、第２処理部７の処理負担が増大してしまうことを防止することができる。

　なお、追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体であると判定されている状況が継続している限り、追尾目標被写体Ｔ１の移動方向や移動速度に関する情報を含まずに第２撮像部６の光軸方向に関する情報のみを広角カメラ２から受信するように構成されていてもよい。また、その場合には、追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体でないと判定された場合に追尾目標被写体Ｔ１の移動方向や移動速度に関する情報と第２撮像部６の光軸方向に関する情報の全てを広角カメラ２から受信するように構成されている。
　この場合には、追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体であると判定されている場合であっても第２撮像部６の光軸方向に関する情報を広角カメラ２から受信しているため、通信環境が正常であることを確認することができる。

　追尾制御部１７は、追尾中被写体Ｔ２を特定するための情報を通信処理部１８に出力することにより、通信処理部１８を介して広角カメラ２に送信する。
　例えば、現時点における第２撮像部６の光軸方向を特定するための情報として、パン方向の制御量やチルト方向の制御量等を出力する。このとき、追尾中被写体特定部１２が追尾中被写体Ｔ２の特定を行う際に上述したタイムラグを考慮できるように撮像時刻を通信処理部１８に出力してもよい。

　通信処理部１８は、上述した追尾制御部１７の処理に応じて広角カメラ２と有線または無線による通信を行う。これらの通信処理は、望遠カメラ３が備える図３の通信部８０を利用して実現される。

　具体的に通信処理部１８は、広角カメラ２の通信処理部１６から送信される情報を受信する処理を行う。例えば、第２撮像部６の光軸方向を調整するための情報としてパン方向の制御量の情報やチルト方向の制御量の情報などを受信する。また、通信処理部１８は、光軸方向を調整するための情報として、追尾目標被写体Ｔ１の移動方向や移動速度の情報を受信してもよい。

　通信処理部１８は、追尾中被写体Ｔ２を特定するための情報として、第２撮像部６の光軸方向に関する情報（例えばパン方向の制御量やチルト方向の制御量の情報など）を広角カメラ２の通信処理部１６に送信する処理を行う。

　通信処理部１８は、第２撮像部６において追尾中の被写体が誤っている状態を広角カメラ２が速やかに検出できるように、第２画像ＧＣ２を得るごと（フレームごと）に第２撮像部６の光軸方向に関する情報を送信してもよい。

＜４．フローチャート＞
　広角カメラ２の第１処理部５が実行する処理及び望遠カメラ３の第２処理部７が実行する処理についてのフローチャートを説明する。

＜４－１．第１処理部が実行する処理のフローチャート＞
　第１処理部５が実行する処理のフローチャートの一例を図８に示す。なお、図８に示す一連の処理は、第１画像ＧＣ１の情報が入力されるごとに実行される処理である。例えば、第１撮像部４が３０ｆｐｓで撮像を行っている場合には、図８に示す一連の処理が１秒間に３０回繰り返し実行される。
　なお、第１画像ＧＣ１の情報の入力が数回行われるごとに図８に示す一連の処理を実行してもよい。

　第１処理部５はステップＳ１０１において、第１画像ＧＣ１の入力を受け付ける。第１画像ＧＣ１は、第１撮像部４から出力される。

　第１画像ＧＣ１の入力受付を完了した後、第１処理部５はステップＳ１０２において、追尾目標被写体Ｔ１を決定する処理を行う。この処理は、例えば、第１処理部５の追尾目標被写体決定部９によって実行される。

　第１処理部５はステップＳ１０３において、追尾目標被写体Ｔ１が決定されたか否かを判定する分岐処理を行う。例えば、背景差分法などを用いた結果、背景以外の被写体が存在しなかった場合には、追尾目標被写体Ｔ１が決定されない場合がある。そのような場合には、追尾目標被写体Ｔ１が決定されていないと判定し、第１処理部５はステップＳ１０４において、追尾停止指示を望遠カメラ３に対して送信する。
　これにより望遠カメラ３の第２撮像部６による追尾制御が停止される。なお、追尾制御が開始されていない場合には、追尾制御の停止状態が継続される。

　一方、追尾目標被写体Ｔ１を決定済みであると判定した場合、第１処理部５はステップＳ１０５において、望遠カメラ３からの情報を受信する。ここで受信される情報は、追尾中被写体Ｔ２を特定するための情報であり、例えば、第２撮像部６の光軸方向についての情報である。

　続いて、第１処理部５はステップＳ１０６において、望遠カメラ３から情報を受信したか否かを判定する処理を行う。初期状態においては、望遠カメラ３の第２撮像部６は被写体の追尾処理を開始しておらず、望遠カメラ３は広角カメラ２に対して第２撮像部６の光軸方向に関する情報などを送信していない。従って、初期状態におけるステップＳ１０６の判定結果は「Ｎｏ」とされる。

　その場合には、第１処理部５はステップＳ１０７において、座標角度変換処理を行う。座標角度変換処理は、変換処理部１１によって実行される処理であり、具体的には、追尾目標被写体Ｔ１についての第１画像ＧＣ１上における座標を第２撮像部６の光軸方向を表す情報に変換する処理である。第２撮像部６の光軸方向を表す情報は第２撮像部６の撮像角度に関する情報と換言することができる。

　次に、第１処理部５はステップＳ１０８において、追尾目標被写体Ｔ１についての情報を送信する処理を行う。この処理では、例えば、追尾目標被写体Ｔ１を第２撮像部６の画角内に収めるためのパン方向の制御量情報やチルト方向の制御量情報などが望遠カメラ３に送信される。

　これにより、望遠カメラ３の第２撮像部６による追尾目標被写体Ｔ１の追尾制御が開始される。

　望遠カメラ３の第２撮像部６による追尾処理が開始されると、第２画像ＧＣ２の撮像時など所定のタイミングで望遠カメラ３から追尾中被写体Ｔ２を特定するための情報が送信されてくる。
　第１処理部５は、望遠カメラ３から追尾中被写体Ｔ２を特定するための情報を受信した場合には、ステップＳ１０６において「Ｙｅｓ」と判定しステップＳ１０９へと進む。

　第１処理部５はステップＳ１０９において、過去フレームの第１画像ＧＣ１を選択する。この処理は、第１処理部５が追尾中被写体Ｔ２を適切に特定するための処理であり、望遠カメラ３において追尾中被写体Ｔ２を特定するための情報を生成したタイミングで撮像された第１画像ＧＣ１を選択する処理である。

　第１処理部５はステップＳ１１０において、角度座標変換処理を行う。この処理は、変換処理部１１によって実行される処理であり、具体的には、追尾中被写体Ｔ２を特定するための情報として受信した第２撮像部６の光軸方向を表す情報をステップＳ１０９で選択した第１画像ＧＣ１上における追尾中被写体Ｔ２の座標に変換する処理である。
　これにより、第１処理部５は、選択された第１画像ＧＣ１上において追尾目標被写体Ｔ１の座標と追尾中被写体Ｔ２の座標を特定することができる。

　第１処理部５はステップＳ１１１において、追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体であるか否かを判定する分岐処理を行う。

　同一の被写体であると判定した場合、第１処理部５は図８に示す一連の処理を終了する。一方、同一の被写体でないと判定した場合、第１処理部５はステップＳ１０７の処理を行うことにより追尾目標被写体Ｔ１の座標を第２撮像部６の光軸方向を表す情報に変換し、ステップＳ１０８の処理で望遠カメラ３に送信する。

＜４－２．第２処理部が実行する処理のフローチャート＞
　第２処理部７が実行する処理のフローチャートの一例を図９に示す。第２処理部７は、望遠カメラ３の電源が落とされるなど所定の条件が成立するまでは図９に示す一連の処理を繰り返し実行する。

　第２処理部７はステップＳ２０１において、広角カメラ２からの情報を受信したか否かを判定する。この情報は、先の図８のステップＳ１０８に示す送信処理によって広角カメラ２から送信される情報であり、追尾目標被写体Ｔ１についての情報である。例えば、第２撮像部６の光軸方向に関する情報である。或いは、広角カメラ２から追尾処理を停止するための停止信号が送信されてくる場合もある。このような情報も含めて第２処理部７はステップＳ２０１で受信の有無を判定している。

　ステップＳ２０１において情報を受信していないと判定した場合、第２処理部７はステップＳ２０２において、ローカル追尾処理を実行中であるか否かを判定する分岐処理を行う。

　ローカル追尾処理を実行中でない場合、第２処理部７はステップＳ２０１の処理へと戻る。即ち、ローカル追尾処理を実行していない場合におけるステップＳ２０２の処理は、広角カメラ２から追尾目標被写体Ｔ１についての情報を取得するまで待機する処理といえる。

　ローカル追尾処理を実行中であると判定した場合、第２処理部７はステップＳ２０３において、ローカル追尾処理を行う。この処理では、第２処理部７は、第２撮像部６において撮像された最新フレームとしての第２画像ＧＣ２を取得し、１フレーム前に取得済みの過去フレームとしての第２画像ＧＣ２における追尾中被写体Ｔ２の撮像領域を用いたマッチング処理等を行うことにより最新フレームにおける追尾中被写体Ｔ２の座標を特定する。更に、当該新たな座標が画角の中央になるようにＰＴＺ制御部８に指示を送ることで第２処理部７はローカル追尾処理を行う。

　次に、第２処理部７はステップＳ２０４において、追尾中被写体Ｔ２を特定するための情報として、例えば、第２撮像部６の光軸方向についての情報を広角カメラ２に送信する。第２処理部７はステップＳ２０４を実行した後は再びステップＳ２０１の処理へと戻る。
　即ち、広角カメラ２から情報を受信せずにローカル追尾中である状態が継続する限り、第２処理部７はステップＳ２０３でローカル追尾処理を行いつつステップＳ２０４で追尾中被写体Ｔ２を特定するための情報の送信を繰り返し行う。

　広角カメラ２から追尾目標被写体Ｔ１についての情報を受信したと判定した場合、第２処理部７はステップＳ２０５において、追尾停止信号を受信したか否かを判定する。追尾停止信号は、例えば、撮像システム１の撮像対象である試合が終了してしまい撮像すべき被写体が存在しなくなった場合や、所定の時間（試合時間）が経過した場合や、作業者によって撮像システム１を停止させる操作が行われた場合などに広角カメラ２から受信する情報である。なお、これらの情報は、広角カメラ２を介さずに直接望遠カメラ３に入力されてもよい。

　追尾停止信号を受信したと判定した場合、第２処理部７はステップＳ２０６において、初期状態に遷移する処理を行う。初期状態とは、例えば、望遠カメラ３における第２撮像部６の光軸方向が撮像対象空間の中央部を向く方向となるようにＰＴＺ制御部８に指示を送る。撮像対象空間の中央部とは、例えばサッカーコートであれば、センターサークルなどである。これにより、撮像の再開に伴って指定された追尾目標被写体Ｔ１を第２撮像部６の画角内に収めるためのパン方向及びチルト方向の制御量が大きくならずに済むため、速やかに追尾制御を開始させることができる。
　なお、ステップＳ２０６において第２撮像部６において撮像された第２画像ＧＣ２が一時的に記憶されているメモリ領域をクリアする処理などを行ってもよい。

　初期状態に遷移した後、第２処理部７はステップＳ２０７において、カメラ制御を停止させる処理を行う。これにより、望遠カメラ３の撮像動作が停止される。その後、第２処理部７はステップＳ２０１の処理へと戻る。
　即ち、一度カメラ制御を停止した後は、再び広角カメラ２から追尾目標被写体Ｔ１についての情報などを受信するまでステップＳ２０１及びステップＳ２０２の確認処理が繰り返し実行される。

　広角カメラ２から受信した情報が追尾停止信号でなかった場合、即ち、広角カメラ２から追尾目標被写体Ｔ１についての情報を受信した場合、第２処理部７はステップＳ２０８において、追尾目標被写体Ｔ１の現在位置を予測する処理を行う。この処理は、上述したように、広角カメラ２から受信した追尾目標被写体Ｔ１についての移動方向及び移動速度の情報に基づいて追尾目標被写体Ｔ１の移動先を予測する処理である。

　そして、第２処理部７はステップＳ２０９において、望遠カメラ３の第２撮像部６の画角内に追尾目標被写体Ｔ１が位置するように光軸方向を調整する処理を行う。この処理は、ＰＴＺ制御部８に指示を送ることにより実現される。

　第２処理部７はステップＳ２１０において、ローカル追尾制御を開始する。

　ステップＳ２１０の処理を実行した後は、第２処理部７はステップＳ２０４で追尾中被写体Ｔ２を特定するための情報を広角カメラ２に送信する。
　このように、ステップＳ２１０でローカル追尾制御を開始させた後は、広角カメラ２から新たな追尾目標被写体Ｔ１についての情報を受信するまで、第２処理部７はステップＳ２０１及びステップＳ２０２における確認処理を実行し、ステップＳ２０３のローカル追尾処理が実行されることで、追尾中被写体Ｔ２の追尾が継続される。

＜５．第２の実施の形態＞
　第１の実施の形態においては、第１処理部５の追尾中被写体情報取得部１０が取得する追尾中被写体Ｔ２を特定するための情報が第２撮像部６の光軸方向を表す情報である例を説明した。
　第２の実施の形態においては、第１の実施の形態と異なり、追尾中被写体Ｔ２を特定するための情報として第２撮像部６において撮像された第２画像ＧＣ２を追尾中被写体情報取得部１０が取得する。

　第２の実施の形態における第１処理部５及び第２処理部７が実行する処理について説明する。
　図１０は、第１処理部５が実行する処理である。なお、第１の実施の形態における第１処理部５が実行する図５の各処理と同一の処理については、同一の符号を付し適宜説明を省略する。

　第１処理部５は、第１画像ＧＣ１の取得ごとに図１０に示す一連の処理を実行する。即ち、第１処理部５は、画像入力を受け付け（ステップＳ１０１）、追尾目標被写体Ｔ１を決定し（ステップＳ１０２）、追尾目標被写体Ｔ１が決定されたか否かを判定した（ステップＳ１０３）後、望遠カメラ３から追尾中被写体Ｔ２を特定するための情報を取得する（ステップＳ１０５）。この情報は、第２撮像部６において撮像された第２画像ＧＣ２である。
　第１処理部５は、ステップＳ１０５において、第２画像ＧＣ２と共に第２画像ＧＣ２の撮像時刻や撮像倍率等の情報を取得する。

　第１処理部５は、第２画像ＧＣ２の受信を確認（ステップＳ１０６）できた場合には、ステップＳ１０９において過去フレームを選択する。このとき選択する過去フレームは、ステップＳ１０５で第２処理部７から受信した第２画像ＧＣ２の撮像時刻に最も近い時刻に撮像された過去フレームである。

　第１処理部５はステップＳ１２１において、追尾中被写体Ｔ２を特定する処理を行う。追尾中被写体Ｔ２の特定においては、例えば、第２画像ＧＣ２を撮像したときの撮像倍率の情報を用いて第２画像ＧＣ２の拡大または縮小を行うことにより、第１画像ＧＣ１と第２画像ＧＣ２における被写体の大きさを統一させる。
　そして、第１画像ＧＣ１と第２画像ＧＣ２を用いたマッチング処理を行うことにより、第１画像ＧＣ１における第２撮像部６の撮像位置を特定する。

　これにより、第２撮像部６が追尾している追尾中被写体Ｔ２を特定することが可能となる。

　その後のステップＳ１１１、ステップＳ１０７及びステップＳ１０８の各処理については、図８に示す処理と同様の処理であるため、説明を省略する。

　第２処理部７は、図９に示す一連の処理を実行する。なお、ステップＳ２０４以外の各処理については、第１の実施の形態と同様の処理である。
　ステップＳ２０４において、第２処理部７は、追尾中被写体Ｔ２を特定するための情報として、第２撮像部６において撮像された第２画像ＧＣ２を第１処理部５へ送信する。
　これにより、第１処理部５は上述したマッチング処理を実現することができる。

＜６．第３の実施の形態＞
　第３の実施の形態では、上述したように第１処理部５の処理結果に応じて第２処理部７が追尾目標被写体Ｔ１の追尾を行うモード（第１態様）と、第１処理部５の処理結果によらず第２処理部７が第２画像ＧＣ２に基づいて追尾中被写体Ｔ２の追尾を継続するモード（第２態様）とを切り換える例について説明する。

　図１１に示すように、本実施の形態における第１処理部５は、追尾目標被写体決定部９と、追尾中被写体情報取得部１０と、変換処理部１１と、追尾中被写体特定部１２と、判定処理部１３と、移動方向推定部１４と、追尾変更処理部１５と、通信処理部１６に加えて切替処理部２１を備えている。

　切替処理部２１は、前述の第１態様と第２態様の切り替え処理を行う。具体的な切り替え処理について、図１２を参照して説明する。なお、図８に示す各処理と同様の処理については同一の符号を付し適宜説明を省略する。

　第１処理部５は、ステップＳ１０１及びステップＳ１０２の処理を実行することにより追尾目標被写体Ｔ１を決定する処理を実行した後、ステップＳ１０３において、追尾目標被写体Ｔ１が決定されたか否かを判定する。追尾目標被写体Ｔ１が決定できなかった場合には、第１の実施の形態と同様にステップＳ１０４の追尾停止指示を送信して一連の処理を終了させる。

　一方、追尾目標被写体Ｔ１が決定されたと判定した場合、第１処理部５はステップＳ１３１へと進み、追尾目標被写体Ｔ１の動きが低速であるか否か、或いは、規則的であるか否かを判定する。

　この処理では、第１画像ＧＣ１の過去フレームの情報などを用いて追尾目標被写体Ｔ１の移動速度を推定する。そして、移動速度が所定速度未満である場合には、追尾目標被写体Ｔ１の移動速度は低速であると判定する。

　或いは、この処理において追尾目標被写体Ｔ１の動きが等速直線運動や円運動などの規則的な動きであるか否かを判定する。

　追尾目標被写体Ｔ１の動きが低速であると判定された場合や規則的な動きであると判定された場合には、第１処理部５は図１２に示す一連の処理を終了する。即ち、追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体であるか否かを判定する処理を行わない。これにより、第１処理部５は追尾中被写体Ｔ２を変更させる処理を実行しない。

　これに応じて、第２処理部７は、第２画像ＧＣ２に基づいて追尾中被写体Ｔ２の追尾を継続させる処理、即ちローカル追尾処理を行う。
　これは、追尾目標被写体Ｔ１の動きが低速であったり規則的であったりする場合は、第２撮像部６による被写体追尾が正常に行われる可能性が高い状態、換言すれば、目標とは異なる被写体を追尾してしまう可能性が低い状態と考えられるためである。ローカル追尾処理を実行することにより各処理部の処理負担の軽減を図りつつ追尾目標被写体Ｔ１を追尾することができる。

　但し、第１処理部５が第２処理部７に対して追尾目標被写体Ｔ１の情報をまだ送信しておらず、第２撮像部６による追尾目標被写体Ｔ１の追尾が開始されていない場合はこの限りではない。この場合には、追尾目標被写体Ｔ１の動きが低速であっても、或いは、規則的であっても、ステップＳ１０７の座標角度変換処理とステップＳ１０８の追尾目標被写体Ｔ１についての情報を送信する処理が実行されるようにする。

　なお、追尾目標被写体Ｔ１の動きが低速である場合や、規則的である場合であっても、ステップＳ１０７及びステップＳ１０８の処理を実行するようにしてもよい。即ち、座標角度変換処理を行い、追尾目標被写体Ｔ１についての情報を送信する処理を実行してもよい。この場合には、第２処理部７において受信した光軸方向を表す情報と実際の光軸方向が所定以上ずれている場合に、第２処理部７は誤った被写体を追尾していると判定してもよい。そして、第２処理部７は、受信した光軸方向を表す情報に基づいて新たな被写体についての追尾を開始する。

　第１態様とは、図１２におけるステップＳ１０１～ステップＳ１０３、ステップＳ１３１（Ｎｏ判定）、ステップＳ１０５～ステップＳ１０８の各処理をループする状態と言える。
　また、第２態様とは、図１２におけるステップＳ１０１、ステップＳ１０２、ステップＳ１０３、ステップＳ１３１（Ｙｅｓ判定）の各処理をループする状態と言える。

　第３の実施の形態において第１態様と第２態様を切り換える切替処理部は、第２処理部７が備えていてもよい。
　例えば、図１３に示すように、第２処理部７は、追尾制御部１７と、通信処理部１８に加えて切替処理部２２を備えている。

　切替処理部２２は、前述の第１態様と第２態様の切り替え処理を行う。具体的な切り替え処理について、図１４を参照して説明する。なお、図９に示す各処理と同様の処理については同一の符号を付し適宜説明を省略する。

　第２処理部７は、広角カメラ２から追尾目標被写体Ｔ１についての情報を受信していないと判定し（ステップＳ２０１）、ローカル追尾中であると判定（ステップＳ２０２）した場合には、ステップＳ２０３のローカル追尾処理を実行する。この処理は、前述したように、最新フレームにおける追尾中被写体Ｔ２の座標を特定すると共に、当該特定した座標が画角の中央になるようにＰＴＺ制御部８に指示を送る処理である。

　ローカル追尾処理を実行した後、第２処理部７はステップＳ２２１において、ローカル追尾処理における制御量の変化が規則的であるか否かを判定する処理を行う。

　ローカル追尾処理における制御量の変化が規則的である場合とは、例えば、ＰＴＺ制御部８に送信するパン方向の制御量やチルト方向の制御量の変化量が規則的な場合などである。換言すれば、追尾中被写体Ｔ２の動きが規則的な動きとなっている場合などである。

　ローカル追尾処理における制御量の変化が規則的であると判定した場合、第２処理部７はステップＳ２０１へと戻る。これにより、当該制御量の変化が規則的である限り広角カメラ２から情報を受信するまでステップＳ２０２のローカル追尾処理が継続して実行される。或いは、広角カメラ２から追尾停止指示を受信するまでローカル追尾処理が継続されるようにしてもよい。

　一方、ローカル追尾処理における制御量の変化が規則的でないと判定した場合には、第１の実施の形態と同様に、第２処理部７はステップＳ２０４で追尾中被写体Ｔ２を特定するための情報を広角カメラ２に送信する。

　なお、ステップＳ２２１において当該制御量が規則的であると判定した場合には、ステップＳ２０３の処理へ戻るように構成してもよい。

　第１態様とは、図１４におけるステップＳ２０１（Ｙｅｓ判定）、ステップＳ２０５（Ｎｏ判定）、ステップＳ２０８～ステップＳ２１０、ステップＳ２０４の各処理をループする状態と言える。
　また、第２態様とは、図１４におけるステップＳ２０１（Ｎｏ判定）、ステップＳ２０２、ステップＳ２０３、ステップＳ２２１（Ｙｅｓ判定）の各処理をループする状態と言える。

　第３の実施の形態の説明においては、第１処理部５が切替処理部２１を備える例と、第２処理部７が切替処理部２２を備える例を示したが、第１処理部５が切替処理部２１を備えると共に第２処理部７が切替処理部２２を備えるように構成してもよい。即ち、第１処理部５と第２処理部７がローカル追尾処理を継続するか否かについての上述した判定処理をそれぞれ実行することにより、必要がない限りローカル追尾処理が継続されやすくなる。従って、余分な通信処理などの発生が抑制され、処理負担の軽減に寄与することができる。

＜７．第４の実施の形態＞
　第４の実施の形態では、撮像部と処理部が別の装置として設けられている例について説明する。

　第４の実施の形態における撮像システム１Ａの構成例を図１５に示す。
　撮像システム１Ａは、広角カメラ２Ａと望遠カメラ３Ａと第１画像処理装置３１と第２画像処理装置４１とを備えている。

　広角カメラ２Ａは、上述した第１撮像部４を備えて構成されており、更に、第１撮像部４において撮像された画像信号を画像データに変換するための各種の処理を実行可能な信号処理部（不図示）を備えている。

　望遠カメラ３Ａは、上述した第２撮像部６とＰＴＺ制御部８を備えて構成されており、更に、第２撮像部６において撮像された画像信号を画像データに変換するための各種の処理を実行可能な信号処理部（不図示）を備えている。

　第１画像処理装置３１は、前述した広角カメラ２が備える第１処理部５としての機能を有して構成されている。即ち、第１画像処理装置３１は、追尾目標被写体決定部９と追尾中被写体情報取得部１０と変換処理部１１と追尾中被写体特定部１２と判定処理部１３と移動方向推定部１４と追尾変更処理部１５と通信処理部１６の各部を備えることにより図４に示す第１処理部５と同等の機能を有している。

　第２画像処理装置４１は、前述した望遠カメラ３が備える第２処理部７としての機能を有して構成されている。即ち、第２画像処理装置４１は、図４に示すように、追尾制御部１７と通信処理部１８の各部を備えることにより図４に示す第２処理部７と同等の機能を有している。

　第１画像処理装置３１及び第２画像処理装置４１は、第３の実施の形態で説明したように少なくとも何れか一方が切替処理部を備えていてもよい。

　広角カメラ２Ａと第１画像処理装置３１を別体の情報処理装置とすることで、画像処理に特化した情報処理装置を第１画像処理装置３１として採用することができるため、第１画像処理装置３１の高性能化を図ることが容易となる。これにより、例えば、第１撮像部４が撮像する動画の高フレームレート化を行ったとしても上述の各種の処理を実行することが可能となる。
　望遠カメラ３Ａと第２画像処理装置４１についても同様の効果を得ることができる。

＜８．第５の実施の形態＞
　第５の実施の形態では、撮像部と処理部が別の装置として設けられている他の例について説明する。

　第５の実施の形態における撮像システム１Ｂの構成例を図１６に示す。
　撮像システム１Ｂは、広角カメラ２Ａと望遠カメラ３Ａと第３画像処理装置５１とを備えている。

　広角カメラ２Ａ及び望遠カメラ３Ａは第４の実施の形態と同様の構成であるため、説明を省略する。

　第３画像処理装置５１は、第１画像処理装置３１と第２画像処理装置４１の双方の機能を備えている。但し、第１画像処理装置３１は第２画像処理装置４１に対して情報を送受信する機能を備え、第２画像処理装置４１は第１画像処理装置３１に対して情報を送受信する機能を備えていたが、第３画像処理装置５１は、代わりに装置内の他の部に対する情報の出力処理と取得処理を実行する。

　また、第３画像処理装置５１は、広角カメラ２Ａ及び望遠カメラ３Ａの双方と通信可能とされており、該通信を介して広角カメラ２Ａの第１撮像部４において撮像された第１画像ＧＣ１と望遠カメラ３Ａの第２撮像部６において撮像された第２画像ＧＣ２の双方を取得可能とされている。また、第３画像処理装置５１は、望遠カメラ３Ａが備えるＰＴＺ制御部８に対する制御情報の送信処理が可能とされている。

　第３画像処理装置５１は、図１６に示すように、追尾目標被写体決定部９と、追尾中被写体情報取得部１０と、変換処理部１１と、追尾中被写体特定部１２と、判定処理部１３と、移動方向推定部１４と、追尾変更処理部１５と、追尾制御部１７と、切替処理部２３と、通信処理部２４と、を備えている。

　追尾目標被写体決定部９は、上述した他の実施の形態と同様に、第１撮像部４において撮像された第１画像ＧＣ１に基づいて追尾対象の被写体を決定する処理を行う。

　追尾中被写体情報取得部１０は、追尾中被写体Ｔ２を特定するための情報を取得する。このために、追尾中被写体情報取得部１０はＰＴＺ制御部８の制御情報、換言すれば、第２撮像部６の光軸方向を表す情報を望遠カメラ３Ａから取得する処理を行う。これにより、追尾中被写体Ｔ２を特定するための情報を取得する。

　なお、第３画像処理装置５１がＰＴＺ制御部８に対して送信する制御情報が第３画像処理装置５１内の記憶領域に記憶されている場合には、追尾中被写体情報取得部１０は当該記憶領域から制御情報を取得してもよい。その場合には、望遠カメラ３Ａから制御情報を取得せずに処理を行うことが可能である。

　変換処理部１１は、第１画像ＧＣ１上の被写体の座標と望遠カメラ３Ａの第２撮像部６の光軸方向を表す情報の変換を行う。また、変換処理部１１は、望遠カメラ３Ａから受信した第２撮像部６の光軸方向を表す情報を第１画像ＧＣ１上の座標に変換する。

　移動方向推定部１４は、追尾目標被写体Ｔ１の移動方向を推定する処理を行う。

　追尾変更処理部１５は、第２撮像部６による追尾の対象の被写体、即ち追尾中被写体Ｔ２を変更させるための処理を行う。本実施の形態では、変換処理部１１の処理によって追尾目標被写体Ｔ１の座標情報から変換された第２撮像部６の光軸方向を表す情報を望遠カメラ３Ａに送信することにより、ＰＴＺ制御部８にパン制御やチルト制御などを実行させ、追尾中被写体Ｔ２を追尾目標被写体Ｔ１と同一の被写体に変えさせる。

　追尾制御部１７は、第２撮像部６による被写体の追尾を適切に行うための各種の処理を行う。具体的には、第２撮像部６において撮像された第２画像ＧＣ２に対して画像処理を施すことにより、追尾中被写体Ｔ２を特定し、該追尾中被写体Ｔ２が画角の中央に位置するように第２撮像部６の光軸方向を制御するためのパン制御の制御量やチルト制御の制御量を決定し、望遠カメラ３ＡのＰＴＺ制御部８に送信する。なお、この場合に、追尾中被写体Ｔ２の移動方向を考慮して各制御量を決定してもよい。

　切替処理部２３は、追尾目標被写体Ｔ１と追尾中被写体Ｔ２が一致しているか否かを判定しそれに応じて追尾の対象を変更し得るモード（第１態様）と、当該判定処理を実行せずに第２撮像部６が追尾中の追尾中被写体Ｔ２の追尾を継続するモード（第２態様）とを切り換える処理を行う。

　通信処理部２４は、本実施の形態における上述の各処理を実現するために広角カメラ２Ａ及び望遠カメラ３Ａとの通信処理を行う。

　本実施の形態のように画像処理装置が一つの情報処理装置で構成されることにより、複数の画像処理装置を用いて撮像システムを構築するよりもコストの削減を図ることが可能となる。また、画像処理装置間の情報の送受信処理が発生しないため、処理の高速化を図ることが可能となる。

＜９．変形例＞
　上述した各例においては、追尾目標被写体Ｔ１の決定処理を追尾目標被写体決定部９が自動で実行する例を説明したが、作業者の手動操作により追尾目標被写体Ｔ１が決定されてもよい。例えば、サッカーの試合であれば、選手が所属するチームと背番号を作業者が指定することにより追尾目標被写体Ｔ１を設定してもよい。その場合における追尾目標被写体決定部９は、第１画像ＧＣ１の画像処理を行うことにより指定された選手を特定する特定部として機能してもよい。

　或いは、作業者の手動操作によって追尾目標被写体Ｔ１を決定するための指標が提示されてもよい。例えば、「ゴールを決めた選手」という指定を作業者が行ってもよい。追尾目標被写体決定部９は、第１画像ＧＣ１の最新フレームから過去フレームを用いた画像処理を行うことにより、該当する選手を特定する。

　なお、上述した各例や本変形例のように追尾目標被写体Ｔ１を決定するための画像処理を行う際には、ディープラーニングを用いてもよい。

　追尾中被写体Ｔ２を特定するための情報として追尾中被写体情報取得部１０が取得する情報は、上述した光軸方向を示す情報や第２画像ＧＣ２の情報でなくてもよい。例えば、追尾中被写体Ｔ２の特徴を表す情報であってもよい。例えば、背番号情報や髪の毛の色の情報や、髪型の情報や、ポジションの情報や、靴の色の情報や、肌の色の情報など、各種の例が考えられる。

　このような情報を取得した変換処理部１１は、光軸方向を示す情報を座標情報に変換する処理を実行する代わりに、第１画像ＧＣ１の画像処理を行うことにより第１画像ＧＣ１上の追尾中被写体Ｔ２の特定を行い座標情報に変換する処理を行う。

　上述したように撮像システム１（１Ａ，１Ｂ）は、第１画像ＧＣ１に対する画像処理を行うことにより追尾目標被写体Ｔ１を決定する処理を実行する。或いは、上述した変形例のように、第２画像ＧＣ２に対する画像処理を行うことにより追尾中被写体Ｔ２の特徴情報を抽出する。このような画像処理は、撮像画像の取得毎に実行されなくてもよい。例えば、第１撮像部４と第２撮像部６が６０ｆｐｓや１２０ｆｐｓでの動画像の撮像を行うと共に、各処理部は３０ｆｐｓで上述した各種の画像処理を行ってもよい。
　これにより、高ｆｐｓの動画像の撮像を行いながら、適切な被写体についての追尾処理を実行することが可能となる。

　望遠カメラ３において追尾中被写体Ｔ２の追尾を停止し新たに指定された追尾目標被写体Ｔ１の追尾を開始した場合には正しくない被写体の追尾を開始してしまった可能性があるため、追尾中被写体Ｔ２を特定するための情報を高頻度に広角カメラ２に送信してもよい。

　また、追尾中被写体Ｔ２と別の被写体が交錯した場合などにおいても追尾中被写体Ｔ２が意図せずに切り替わってしまう虞があるため、追尾中被写体Ｔ２を特定するための情報を高頻度に広角カメラ２に送信してもよい。

　追尾目標被写体Ｔ１以外の被写体が複数いる場合や、所定数（所定人数）よりも多い場合には、誤った被写体を追尾してしまう可能性が大きくなるため、広角カメラ２が追尾目標被写体Ｔ１についての情報を送信する頻度を高めてもよい。

　また、追尾目標被写体Ｔ１の所定距離以内に他の被写体が存在する場合などにおいても、追尾目標被写体Ｔ１についての情報を送信する頻度を高めてもよい。

＜１０．まとめ＞
　上述した各種の例において説明したように、広角カメラ２（或いは第１画像処理装置３１，第３画像処理装置５１）は、第１撮像部４において撮像された第１画像ＧＣ１に基づいて追尾の目標とされた被写体を追尾目標被写体Ｔ１として決定する追尾目標被写体決定部９と、第２撮像部６による追尾中の被写体である追尾中被写体Ｔ２を特定するための情報を取得する追尾中被写体情報取得部１０と、追尾中被写体Ｔ２と追尾目標被写体Ｔ１が同一の被写体であるか否かを判定する判定処理部１３と、追尾中被写体Ｔ２と追尾目標被写体Ｔ１が同一でないと判定された場合に第２撮像部６の追尾中被写体Ｔ２を追尾目標被写体Ｔ１へと変更させる処理を行う追尾変更処理部１５と、を備えたものである。
　これにより、第２撮像部６が追尾中の被写体が想定した目標被写体である追尾目標被写体Ｔ１と異なる場合には、追尾の対象を変更させる処理が実行される。
　従って、追尾目標被写体Ｔ１と異なる被写体を追尾し続けてしまうことが防止される。また、不規則に移動している被写体や、被写体同士が交差したことによって別の被写体が追尾中被写体Ｔ２とされてしまった場合などでも、追尾の対象を変更させる処理が実行されるため、正しい被写体を追尾する状態に戻すことができる。

　図４等を参照して説明したように、広角カメラ２（或いは第１画像処理装置３１）における追尾中被写体情報取得部１０は、追尾中被写体Ｔ２を特定するための情報を他の画像処理装置（例えば望遠カメラ３や第２画像処理装置４１）から取得し、追尾変更処理部１５は、変更させる処理として追尾目標被写体Ｔ１についての情報を他の画像処理装置に送信する処理を行ってもよい。
　例えば、本構成を有する画像処理装置と他の画像処理装置の２台の装置で情報のやりとりを行うことにより追尾の対象を変更させる処理が実現される。
　このような態様としては、例えば、第１撮像部４としての機能と本構成の画像処理装置としての機能を兼ね備えた広角カメラ２と、第２撮像部６としての機能と他の画像処理装置としての機能を備えた望遠カメラ３などである。また、他にも、第１撮像部４を備えた広角カメラ２Ａと、広角カメラ２Ａに対応して設けられた本構成としての機能を備えた第１画像処理装置３１と、第２撮像部６を備えた望遠カメラ３Ａと、望遠カメラ３Ａに対応して設けられた他の画像処理装置（第２画像処理装置４１）の４台の装置で構成してもよい。
　このような構成においてお互いの装置が情報の送受信を行うことにより、広角カメラ２Ａで取得した第１画像ＧＣ１から決定された追尾目標被写体Ｔ１を追尾するように望遠カメラ３Ａの制御を行うことが可能となる。そして、望遠カメラ３Ａの追尾制御が意図とは異なる被写体を追尾している場合には、追尾目標被写体Ｔ１を追尾するように変更させる処理を実行することで、誤った被写体を追尾し続けてしまうことを防止することができる。

　図４等を参照して説明したように、広角カメラ２（或いは第１画像処理装置３１）における追尾変更処理部１５は、第２撮像部６における光軸方向を変更するための情報を追尾目標被写体Ｔ１についての情報として他の画像処理装置（例えば望遠カメラ３や第２画像処理装置４１）に送信してもよい。
　例えば、第１撮像部４が撮像した第１画像ＧＣ１内（或いは第１撮像部４の画角内）における追尾目標被写体Ｔ１の位置と該追尾目標被写体Ｔ１を第２撮像部６の画角内に捉えるための第２撮像部６の光軸方向の設定は１対１に対応付けることが可能である。
　特に、第１撮像部４と第２撮像部６が近い位置に配置されており、且つ、各撮像部と被写体が一定距離以上離れている場合には、第１画像ＧＣ１内における追尾目標被写体Ｔ１の位置と第２撮像部６の光軸方向の対応付が容易である。
　このような場合には、追尾目標被写体Ｔ１の色や形や大きさなどの特徴や位置等の情報の代わりに、光軸方向を調整するための情報を用いることが可能である。そして、光軸方向を調整するための情報は、第２撮像部６の構図を制御する制御部（ＰＴＺ制御部８）に送信することにより追尾目標被写体Ｔ１を該制御部に伝達することが可能となる。また、この情報は、画像処理等により被写体を特定する処理や検出する処理が不要とされるため、追尾変更処理部１５の処理負担が増大することがなく好適である。
　第２撮像部６の光軸方向を変更するための上述した情報は、例えば、第１画像ＧＣ１内の追尾目標被写体Ｔ１の位置から第２撮像部６の光軸方向を算出するための変換式を利用して都度算出した情報であってもよいし、第１画像ＧＣ１内の追尾目標被写体Ｔ１の位置と第２撮像部６の光軸方向を対応付けた変換テーブルを利用して得られた情報であってもよい。
　また、第２撮像部６の光軸方向を変更するための情報としては、光軸方向を表す数値などの情報であってもよいし、制御部（ＰＴＺ制御部８）が制御する第２撮像部６についてのパン方向及びチルト方向の制御量の情報であってもよい。そして、パン方向及びチルト方向の制御量は、絶対的な値であってもよいし現在値に対する相対的な値であってもよい。
　また、光軸方向を表す情報は、望遠カメラ３の画枠の中心に追尾目標被写体Ｔ１が位置するように決定された情報であってもよいし、望遠カメラ３の画枠の中心以外の所定位置に追尾目標被写体Ｔ１が位置するように決定された情報であってもよい。
　或いは、被写体を画枠中心に捉えるための方向に関する情報が光軸方向を表す情報とされてもよい。そのような情報を受信した望遠カメラ３は、画枠のどの位置に追尾目標被写体Ｔ１を位置させるかを決定した上で受信した情報に基づいて実際の光軸方向を決定してもよい。即ち、受信した情報が示す光軸方向と実際の光軸方向が異なっていてもよい。

　図４等を参照して説明したように、広角カメラ２（或いは第１画像処理装置３１）における追尾変更処理部１５は、追尾中被写体Ｔ２と追尾目標被写体Ｔ１が同一であると判定された場合に他の画像処理装置（例えば望遠カメラ３や第２画像処理装置４１）に送信する処理の頻度を低くしてもよい。
　第２撮像部６が追尾中の被写体が追尾目標被写体Ｔ１である場合は、追尾中の被写体の追尾を継続するだけでよい。そして、そのような処理は追尾目標被写体Ｔ１の情報を新たに提供せずに実行可能な処理である。
　本構成によれば、追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体である限り、画像処理装置（広角カメラ２や第１画像処理装置３１）から他の画像処理装置（例えば望遠カメラ３や第２画像処理装置４１）に対して追尾目標被写体Ｔ１についての情報を送信する頻度が低下されるため、通信処理に要する処理負担の軽減が図られると共に通信帯域の消費を軽減することができる。
　なお、数回に一度送信処理を取りやめることにより送信頻度の低下を実現してもよいし、送信処理を一切行わないようにすることにより送信頻度の低下を実現してもよい。

　図４等を参照して説明したように、広角カメラ２（或いは第１画像処理装置３１）における追尾目標被写体Ｔ１の移動方向を推定する移動方向推定部１４を備え、追尾変更処理部１５は、変更させる処理として追尾目標被写体Ｔ１についての情報に加えて移動方向を他の画像処理装置（例えば望遠カメラ３や第２画像処理装置４１）に送信する処理を行ってもよい。
　第２撮像部６で第２画像ＧＣ２を撮像してから、第１撮像部４が撮像した第１画像ＧＣ１に基づいて追尾目標被写体Ｔ１を決定し、第２撮像部６を制御する画像処理装置（望遠カメラ３や第２画像処理装置４１）から送信された情報に基づいて第２撮像部６が追尾中の被写体を追尾中被写体Ｔ２として特定し、追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体であるか否かを判定し、それに応じて追尾目標被写体Ｔ１についての情報を他の画像処理装置に送信するまでの間に、被写体は動いていることが想定される。そして、第２撮像部６が新たな追尾目標被写体Ｔ１を追尾するために第２撮像部６の構図の変更を終えた頃には既に第２撮像部６の画角内に追尾目標被写体Ｔ１が位置していない可能性がある。
　このような場合には、追尾目標被写体Ｔ１の追尾を開始することができない虞がある。そこで、追尾目標被写体Ｔ１の移動方向を推定し、その情報を他の画像処理装置に送信することにより、第２撮像部６の画角内に追尾目標被写体Ｔ１が捉えられる可能性を高めることができる。そして、第２撮像部６の画角内に追尾目標被写体Ｔ１を捉えられない状況が続く限り本構成の画像処理装置から他の画像処理装置に対して追尾目標被写体Ｔ１の情報及び移動方向の情報が送信され続けることで、第２撮像部６の画角内に追尾目標被写体Ｔ１を捉えられない状況が続いてしまうことが防止される。

　図４等を参照して説明したように、広角カメラ２（或いは第１画像処理装置３１、第３画像処理装置５１）における移動方向推定部１４は、第１撮像部４において撮像された過去画像（第１画像ＧＣ１における過去画像）に基づいて移動方向を推定してもよい。
　例えば、過去数フレームの第１画像ＧＣ１を用いることにより追尾目標被写体Ｔ１としての被写体の移動方向を推定することができる。
　そして、その移動方向についての情報を他の画像処理装置（望遠カメラ３や第２画像処理装置４１）に送信することにより、他の画像処理装置は、追尾目標被写体Ｔ１が第２撮像部６の画角内に収まるように第２撮像部６についてのパン方向及びチルト方向の制御を行うことができる。これにより、第２撮像部６によって正しい被写体が追尾される可能性を高めることができる。
　なお、追尾目標被写体Ｔ１の移動方向だけでなく移動速度についての情報を推定して他の画像処理装置に送信してもよい。これにより、正しい被写体が追尾される可能性を更に高めることができる。

　図４等を参照して説明したように、広角カメラ２（或いは第１画像処理装置３１、第３画像処理装置５１）における判定処理部１３は、第２撮像部６において撮像された第２画像ＧＣ２のうち追尾中被写体Ｔ２を特定するための情報が得られた第２画像ＧＣ２の撮像時刻に基づいて選択された第１画像ＧＣ１を用いて同一の被写体であるか否かについての判定を行ってもよい。
　第２撮像部６によって撮像された第２画像ＧＣ２に基づいて追尾中被写体Ｔ２を特定するための情報が抽出され、該抽出された情報が本構成を備える画像処理装置（広角カメラ２、第１画像処理装置３１、第３画像処理装置５１）に送信された場合について考えると、第２画像ＧＣ２が撮像されてからある程度の時間が経過した後に撮像された第１画像ＧＣ１における追尾目標被写体Ｔ１の位置は当該第２画像ＧＣ２の撮像時刻における位置と異なる場合がある。そのような状況で、例えば最新の第１画像ＧＣ１に基づいて第２撮像部６における追尾中被写体Ｔ２を推定してしまうと、第２撮像部６において追尾中の被写体を誤って特定してしまう可能性がある。
　その結果、第２撮像部６が誤った被写体を追尾していることを検出するのが遅れてしまう可能性がある。しかし、本構成によれば、第２撮像部６において追尾中の被写体の特定は、第２画像ＧＣ２の撮像時刻に近いタイミングで撮像された第１画像ＧＣ１を用いて行われることから、追尾中被写体Ｔ２特定を誤ってしまうことを抑制することができる。これにより、第２撮像部６が誤った被写体を追尾していることを早期に検出することができ、追尾目標被写体Ｔ１を正しく追尾している状態に速やかに移行することが可能となる。そして、データ転送についてのレイテンシの影響を最小限に抑えることが可能となる。

　図８，図９等を参照して説明したように、広角カメラ２（或いは第１画像処理装置３１）においては、同一の被写体であるか否かを判定する判定処理部１３の処理及び追尾目標被写体Ｔ１についての情報を他の画像処理装置（望遠カメラ３や第２画像処理装置４１）に送信する追尾変更処理部１５の処理を実行する第１態様と、判定処理部１３の処理及び追尾変更処理部１５の処理を実行しない第２態様と、を切り替える切替処理部２１（切替処理部２３）を備えていてもよい。
　第１態様と第２態様とを比較すると、第２態様の方が単純な制御とされ、処理負担も軽いことが想定される。具体的には、追尾目標被写体Ｔ１と追尾中被写体Ｔ２が同一の被写体かどうかを判定する処理やその判定を行うために各種の情報の送受信を行う第１態様と比較して、他の画像処理装置（望遠カメラ３や第２画像処理装置４１）及び第２撮像部６の処理によって追尾中の被写体についての追尾を継続するだけの第２態様の方が簡易な処理とされる。
　従って、切替処理部２１（切替処理部２３）が設けられることにより、第１態様の制御が不要な場合に第２態様に切り換えることが可能とされるため、画像処理装置及び他の画像処理装置の処理負担の軽減を図ることができる。

　図８，図９等を参照して説明したように、広角カメラ２（或いは第１画像処理装置３１）における切替処理部２１（切替処理部２３）は、決定された追尾目標被写体Ｔ１の移動態様に応じて第１態様と前記第２態様の切り替えを行ってもよい。
　例えば、追尾目標被写体Ｔ１の移動方向が一定であるケースや所定の範囲にとどまっているようなケース、或いは、追尾目標被写体Ｔ１の移動速度が低速であるようなケースでは、第２撮像部６及び他の画像処理装置（望遠カメラ３や第２画像処理装置４１）で閉じた処理によって追尾中の被写体をロストしてしまう虞が低いケースと言える。
　そのような場合に第２態様に切り換えることで、画像処理装置及び他の画像処理装置の処理負担の軽減を図ることができる。

　図２等を参照して説明したように、広角カメラ２においては、第１撮像部４を備えていてもよい。
　例えば、画像処理装置は、第１撮像部４を備えたカメラ装置とされる。
　このようなカメラ装置（広角カメラ２）において、第２撮像部６が追尾中の被写体が想定した目標被写体である追尾目標被写体Ｔ１と異なる場合には、追尾の対象を変更させる処理が実行される。従って、追尾目標被写体Ｔ１と異なる被写体を追尾し続けてしまうことを防止することができる。

　上述した各例で説明したように、望遠カメラ３（或いは第２画像処理装置４１、第３画像処理装置５１）は、第１撮像部４において撮像された第１画像ＧＣ１に基づいて決定された追尾の目標被写体である追尾目標被写体Ｔ１の情報を用いて、第２撮像部６による被写体の追尾について制御を行う追尾制御部１７を備え、追尾制御部１７は、追尾中の被写体である追尾中被写体Ｔ２を特定するための情報を出力し、追尾の制御中に追尾目標被写体Ｔ１の情報が取得されない場合は、追尾目標被写体Ｔ１を変更せずに追尾の制御を行い、追尾の制御中に追尾目標被写体Ｔ１の情報が取得された場合は、新たに取得された追尾目標被写体Ｔ１の情報に基づいて特定された被写体を追尾の対象として追尾制御を行うものである。
　これにより、追尾制御部１７は、新たな追尾目標被写体Ｔ１の情報が取得されない場合には簡易な処理を実行することにより第２撮像部６による追尾を継続することができる。
　これにより、新たな追尾目標被写体Ｔ１の情報が取得されるまでの画像処理装置（望遠カメラ３、第２画像処理装置４１、第３画像処理装置５１）の処理負担の軽減を図ることができる。また、新たな追尾目標被写体Ｔ１の情報が取得された場合には、新たな追尾目標被写体Ｔ１の情報に基づいて新たな追尾を開始させることにより誤った被写体を追尾し続けることを防止することができる。

　図４等を参照して説明したように、望遠カメラ３（或いは第２画像処理装置４１）においては、追尾目標被写体Ｔ１の情報を他の画像処理装置（広角カメラ２や第１画像処理装置３１）から受信する受信処理部（通信処理部１８）と、追尾制御部１７によって出力された追尾中被写体Ｔ２を特定するための情報を他の画像処理装置に送信する送信処理部（通信処理部１８）と、を備え、追尾制御部１７は、追尾の制御中に追尾目標被写体Ｔ１の情報を受信処理部が受信しなかった場合は、追尾目標被写体Ｔ１を変更せずに追尾の制御を行い、追尾の制御中に追尾目標被写体Ｔ１の情報を受信処理部が受信した場合は、新たに取得された追尾目標被写体Ｔ１の情報に基づいて特定された被写体を追尾の対象として追尾制御を行ってもよい。
　例えば、本構成を有する画像処理装置（望遠カメラ３や第２画像処理装置４１）と他の画像処理装置（広角カメラ２や第１画像処理装置３１）の２台の装置で情報のやりとりを行うことにより、追尾中被写体Ｔ２とされた被写体の追尾を継続させる処理や追尾中被写体Ｔ２の追尾をやめて新たに指定された追尾目標被写体Ｔ１についての追尾を開始させる処理が実行される。
　このような態様としては、第２撮像部６としての機能と本構成の画像処理装置としての機能を有する望遠カメラ３と、第１撮像部４としての機能と他の画像処理装置としての機能を有する広角カメラ２などである。また、他にも、第２撮像部６を備えた望遠カメラ３Ａと、望遠カメラ３Ａに対応して設けられた本構成としての機能を備える画像処理装置（第２画像処理装置４１）と、第１撮像部４を備えた広角カメラ２Ａと、広角カメラ２Ａに対応して設けられた他の画像処理装置（第１画像処理装置３１）の４台の装置で構成してもよい。
　このような構成においてお互いの装置が情報の送受信を行うことにより、広角カメラ２Ａで取得した第１画像ＧＣ１に基づいて決定された追尾目標被写体Ｔ１を追尾するように望遠カメラ３Ａの制御を行うことが可能となる。そして、望遠カメラ３Ａの追尾制御が意図した被写体とは異なる被写体を追尾している場合には、新たに指定された追尾目標被写体Ｔ１を追尾するための制御が実行されることにより、誤った被写体を追尾し続けてしまうことを防止することができる。

　図４等を参照して説明したように、望遠カメラ３（或いは第２画像処理装置４１）における送信処理部（通信処理部１８）は、第２撮像部６による撮像画像の生成ごとに追尾中被写体Ｔ２を特定するための情報の送信を行ってもよい。
　これにより、他の画像処理装置（広角カメラ２や第１画像処理装置３１）に対して追尾中被写体Ｔ２を特定するための情報を高頻度で送信することが可能となる。
　そして、他の画像処理装置においては、追尾中被写体Ｔ２を特定するための情報を高頻度で受信することにより、追尾中被写体Ｔ２が追尾目標被写体Ｔ１と相違しているか否かをフレーム毎に判定することができるため、第２撮像部６による追尾中被写体Ｔ２が追尾目標被写体Ｔ１と異なった状態を速やかに検出することができる。従って、第２撮像部６による追尾中被写体Ｔ２が意図した被写体となるように指示することが可能となる。また、第２撮像部６が意図とは異なる被写体を追尾している状況が長い時間に亘って継続してしまうことを防止することができる。

　図４等を参照して説明したように、望遠カメラ３（或いは第２画像処理装置４１）における送信処理部（通信処理部１８）は、追尾中被写体Ｔ２を特定するための情報として第２撮像部６の光軸方向に関する情報を送信してもよい。
　光軸方向に関する情報とは、所定の座標系において第２撮像部６の光軸方向を一意に特定可能なベクトル情報などであってもよいし、第２撮像部６の光軸方向に１対１で対応するパン方向及びチルト方向についての制御量などの情報であってもよい。
　例えば、他の画像処理装置（広角カメラ２や第１画像処理装置３１）において、第１画像ＧＣ１内の追尾目標被写体Ｔ１の位置と第２撮像部６の光軸方向に関する情報の対応付けが可能である場合には、上述したような光軸方向に関する情報を他の画像処理装置に送信することにより、他の画像処理装置は第２撮像部６の光軸方向を特定することが可能となる。
　従って、他の画像処理装置において第２撮像部６による追尾中被写体Ｔ２と第１画像ＧＣ１から決定された追尾目標被写体Ｔ１が一致しているか否かを判定する処理などを実行することができ、第２撮像部６によって正しい被写体が追尾されるようにすることができる。

　図９等を参照して説明したように、望遠カメラ３（或いは第２画像処理装置４１）における送信処理部（通信処理部１８）は、追尾中被写体Ｔ２を特定するための情報として第２撮像部６において撮像された第２画像ＧＣ２を送信してもよい。
　第２撮像部６及びその向きを調整するための機器の構成によっては、第２撮像部６の光軸方向に関する情報を取得できない場合がある。そのような場合には、本構成のように、第２撮像部６において撮像された第２画像ＧＣ２の情報を他の画像処理装置（広角カメラ２や第１画像処理装置３１）に送信してもよい。
　一方、他の画像処理装置では、ブロックマッチング処理や特徴点を用いたマッチング処理を行うことにより第２画像ＧＣ２から追尾中被写体Ｔ２を特定することが可能である。具体的には、第２画像ＧＣ２に含まれる被写体についての第１画像ＧＣ１における位置を特定する。そして、第１画像ＧＣ１における当該被写体の位置と追尾目標被写体Ｔ１の位置とを比較することにより、第２撮像部６によって正しい被写体が追尾されているか否かを判定することができる。
　これにより、第２撮像部６による追尾中被写体Ｔ２が追尾目標被写体Ｔ１と異なっている場合に正しい被写体を追尾するように制御し直すことなどが可能となる。

　図４等を参照して説明したように、望遠カメラ３（或いは第２画像処理装置４１）における受信処理部（通信処理部１８）は、他の画像処理装置（広角カメラ２や第１画像処理装置３１）から追尾目標被写体Ｔ１の移動方向の情報を受信し、追尾制御部１７は、第１画像ＧＣ１の撮像時刻と受信した移動方向とに基づいて算出した追尾目標被写体Ｔ１の予測位置を用いて追尾についての制御を行ってもよい。
　第１画像ＧＣ１に基づいて追尾目標被写体Ｔ１が決定された時点の追尾目標被写体Ｔ１の位置と、追尾目標被写体Ｔ１についての情報を当該画像処理装置が受信し追尾目標被写体Ｔ１を第２撮像部６の画角内に捉えるための制御を行った時点の追尾目標被写体Ｔ１の位置は、追尾目標被写体Ｔ１の移動により異なることが考えられる。このような場合において、追尾目標被写体Ｔ１の移動方向についての情報を当該画像処理装置が受信することにより、追尾目標被写体Ｔ１の現在の位置を推定することが可能となる。
　従って、推定された追尾目標被写体Ｔ１の現在位置に応じて第２撮像部６の向きを制御することが可能となり、追尾目標被写体Ｔ１の追尾を正常に開始させることができる可能性を高めることができる。
　なお、追尾目標被写体Ｔ１の移動方向だけでなく移動速度についての情報を当該画像処理装置が受け取ることにより、追尾目標被写体Ｔ１が第２撮像部６の画角内に捉えられる可能性を高めることができ、より適切な追尾処理を行うことが可能となる。

　図１３，図１４等を参照して説明したように、望遠カメラ３（或いは第２画像処理装置４１）においては、追尾制御部１７によって出力された追尾中被写体Ｔ２を特定するための情報を他の画像処理装置（広角カメラ２や第１画像処理装置３１）に送信する送信処理部（通信処理部１８）の処理及び新たに取得された追尾目標被写体Ｔ１の情報に基づいて特定された被写体を追尾の対象として追尾制御を行う追尾制御部１７の処理を実行する第１態様と、追尾目標被写体Ｔ１を変更せずに追尾の制御を継続して実行する第２態様と、を切り替える切替処理部２２を備えていてもよい。またこの切替処理部２２は、第３画像処理装置５１が備える切替処理部２３とされていてもよい。
　第１態様と第２態様とを比較すると、第２態様の方が単純な制御とされ、処理負担も軽いことが想定される。具体的には、追尾中被写体Ｔ２を追尾し続ける処理の方が、新たな追尾目標被写体Ｔ１の情報に基づいて新たな被写体についての追尾を開始させる処理よりも処理負担が軽く簡易な処理とされる。特に、新たな被写体についての追尾を開始させる場合には、新たな被写体が追尾目標被写体Ｔ１と異なっている場合などもあり、その場合には再度新たな被写体を特定して追尾を開始させる必要がある。
　従って、切替処理部２２が設けられることにより、第１態様の制御が不要な場合に第２態様に切り換えることが可能とされるため、画像処理装置及び他の画像処理装置の処理負担の軽減を図ることができる。また、切替処理部２２は、第１態様から第２態様に切り換えた場合に第１撮像部４を制御する他の画像処理装置（広角カメラ２や第１画像処理装置３１）に対してその旨を通知する処理を実行してもよい。これにより、他の画像処理装置は第１態様を実現するための各種の処理の実行を回避することができ、処理負担の軽減を図ることができる。
　なお、切替処理部２２は第１撮像部４を制御する他の画像処理装置のみに切替処理部２１として設けられていてもよく、その場合には、本構成を備える画像処理装置は、他の画像処理装置の指示に従って処理を行うだけで切替処理部２２としての機能を実現することができる。

　図１３，図１４等を参照して説明したように、望遠カメラ３（或いは第２画像処理装置４１）における切替処理部２２は、追尾制御部１７によって追尾中被写体Ｔ２の移動態様に応じて第１態様と第２態様の切り替えを行ってもよい。
　例えば、追尾中被写体Ｔ２の移動方向が一定であるケースや所定の範囲にとどまっているようなケース、或いは、追尾中被写体Ｔ２の移動速度が低速であるようなケースでは、他の画像処理装置（広角カメラ２や第１画像処理装置３１）から情報を取得することなく追尾中被写体Ｔ２の追尾を継続することが可能である。即ち、そのようなケースは、追尾中被写体Ｔ２をロストしてしまう虞が低いケースと言える。
　そのような場合に第２態様に切り換えることで、画像処理装置（望遠カメラ３や第２画像処理装置４１）及び他の画像処理装置（広角カメラ２や第１画像処理装置３１）の処理負担の軽減を図ることができる。

　図２等を参照して説明したように、望遠カメラ３は第２撮像部６を備えていてもよい。
　例えば、画像処理装置は、第２撮像部６を備えたカメラ装置とされる。
　このようなカメラ装置（望遠カメラ３）において、追尾制御部１７は、新たな追尾目標被写体Ｔ１の情報が取得されない場合には簡易な処理を実行することにより第２撮像部６による追尾を継続することができる。これにより、新たな追尾目標被写体Ｔ１の情報が取得されるまでの画像処理装置（望遠カメラ３）の処理負担の軽減を図ることができる。また、新たな追尾目標被写体Ｔ１の情報が取得された場合には、新たな追尾目標被写体Ｔ１の情報に基づいて新たな追尾を開始させることにより誤った被写体を追尾し続けることを防止することができる。

　広角カメラ２及び望遠カメラ３から成る画像処理システム（撮像システム１）、或いは、第１画像処理装置３１と第２画像処理装置４１から成る画像処理システム、或いは、第３画像処理装置５１としての画像処理システムは、第１撮像部４において撮像された第１画像ＧＣ１に基づいて追尾の目標とされた被写体を追尾目標被写体Ｔ１として決定する追尾目標被写体決定部９と、追尾目標被写体Ｔ１の情報を用いて、第２撮像部６による被写体の追尾について制御を行う追尾制御部１７と、追尾制御部１７により出力された情報に基づいて第２撮像部６による追尾中の被写体を追尾中被写体Ｔ２として特定する追尾中被写体特定部１２と、決定された追尾目標被写体Ｔ１と特定された追尾中被写体Ｔ２とが同一の被写体であるか否かを判定する判定処理部１３と、追尾中被写体Ｔ２と追尾目標被写体Ｔ１が同一でないと判定された場合に追尾目標被写体Ｔ１についての情報を追尾制御部１７へと出力する追尾変更処理部１５と、を備え、追尾制御部１７は、追尾の制御中に追尾目標被写体Ｔ１についての情報が入力された場合には、新たな追尾目標被写体Ｔ１の情報に基づいて特定された被写体を追尾の対象として追尾制御を行い、追尾の制御中に追尾目標被写体Ｔ１についての情報が入力されない場合には、追尾目標被写体Ｔ１を変更せずに追尾の制御を行うものである。
　このような画像処理システムを用いることにより上述した各種の効果を得ることができる。

　ここで、上述の各種の処理を実現するための実施の形態としては、各図を参照して説明した第１処理部５（或いは、第１画像処理装置３１や第３画像処理装置５１）や第２処理部７（或いは、第２画像処理装置４１や第３画像処理装置５１）による処理を、例えばＣＰＵ、ＤＳＰ（Digital Signal Processor）等、或いはこれらを含むデバイスに実行させるプログラムを考えることができる。
　すなわち、第１処理部５（或いは、第１画像処理装置３１や第３画像処理装置５１）についての実施の形態としてのプログラムは、コンピュータ装置が読み取り可能なプログラムであって第１撮像部４において撮像された第１画像ＧＣ１に基づいて追尾の目標とされた被写体を追尾目標被写体Ｔ１として決定する追尾目標被写体決定機能と、第２撮像部６による追尾中の被写体である追尾中被写体Ｔ２を特定するための情報を取得する追尾中被写体情報取得機能と、追尾中被写体Ｔ２と追尾目標被写体Ｔ１が同一の被写体であるか否かを判定する判定機能と、追尾中被写体Ｔ２と追尾目標被写体Ｔ１が同一でないと判定された場合に第２撮像部６の追尾中被写体Ｔ２を追尾目標被写体Ｔ１へと変更させる処理を行う追尾変更機能と、をコンピュータ装置に実現させるプログラムである。

　また、第２処理部７（或いは、第２画像処理装置４１や第３画像処理装置５１）についての実施の形態としてのプログラムは、第１撮像部４において撮像された第１画像ＧＣ１に基づいて決定された追尾の目標被写体である追尾目標被写体Ｔ１の情報を用いて、第２撮像部６による被写体の追尾について制御を行う追尾制御処理と、追尾の制御中において、追尾の制御対象の被写体とされた追尾中被写体Ｔ２を特定するための情報を出力する処理と、追尾の制御中に追尾目標被写体Ｔ１の情報が取得されない場合は、追尾目標被写体Ｔ１を変更せずに追尾の制御を行い処理と、追尾の制御中に追尾目標被写体Ｔ１の情報が取得された場合は、新たに取得された追尾目標被写体Ｔ１の情報に基づいて特定された被写体を追尾の対象として追尾制御を行う処理と、をコンピュータ装置に実現させるプログラムである。
　このようなプログラムにより、上述した第１処理部５（或いは、第１画像処理装置３１や第３画像処理装置５１）や第２処理部７（或いは、第２画像処理装置４１や第３画像処理装置５１）を撮像システム１，１Ａ，１Ｂとしての機器において実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　或いはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的或いは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の第１処理部５（或いは、第１画像処理装置３１や第３画像処理装置５１）や第２処理部７（或いは、第２画像処理装置４１や第３画像処理装置５１）の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示のレンダリング部１１ａとしての処理を実現する装置として機能させることができる。

　上述した撮像システム１，１Ａ，１Ｂを実現するために第１処理部５（或いは、第１画像処理装置３１や第３画像処理装置５１）が実行する情報処理方法は、第１撮像部４において撮像された第１画像ＧＣ１に基づいて追尾の目標とされた被写体を追尾目標被写体Ｔ１として決定する追尾目標被写体決定処理と、第２撮像部６による追尾中の被写体である追尾中被写体Ｔ２を特定するための情報を取得する追尾中被写体情報取得処理と、追尾中被写体Ｔ２と追尾目標被写体Ｔ１が同一の被写体であるか否かを判定する判定処理と、追尾中被写体Ｔ２と追尾目標被写体Ｔ１が同一でないと判定された場合に第２撮像部６の追尾中被写体Ｔ２を追尾目標被写体Ｔ１へと変更させる処理を行う追尾変更処理と、を情報処理装置が実行するものである。

　また、第２処理部７（或いは、第２画像処理装置４１や第３画像処理装置５１）が実行する情報処理方法は、第１撮像部４において撮像された第１画像ＧＣ１に基づいて決定された追尾の目標被写体である追尾目標被写体Ｔ１の情報を用いて、第２撮像部６による被写体の追尾について制御を行う追尾制御処理と、追尾の制御中において、追尾の制御対象の被写体とされた追尾中被写体Ｔ２を特定するための情報を出力する処理と、追尾の制御中に追尾目標被写体Ｔ１の情報が取得されない場合は、追尾目標被写体Ｔ１を変更せずに追尾の制御を行い処理と、追尾の制御中に追尾目標被写体Ｔ１の情報が取得された場合は、新たに取得された追尾目標被写体Ｔ１の情報に基づいて特定された被写体を追尾の対象として追尾制御を行う処理と、を情報処理装置が実行するものである。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜１１．本技術＞
　本技術は以下のような構成を採ることも可能である。
（１）
　第１撮像部において撮像された第１画像に基づいて追尾の目標とされた被写体を追尾目標被写体として決定する追尾目標被写体決定部と、
　第２撮像部による追尾中の被写体である追尾中被写体を特定するための情報を取得する追尾中被写体情報取得部と、
　前記追尾中被写体と前記追尾目標被写体が同一の被写体であるか否かを判定する判定処理部と、
　前記追尾中被写体と前記追尾目標被写体が同一でないと判定された場合に前記第２撮像部の前記追尾中被写体を前記追尾目標被写体へと変更させる処理を行う追尾変更処理部と、を備えた
　画像処理装置。
（２）
　前記追尾中被写体情報取得部は、前記追尾中被写体を特定するための情報を他の画像処理装置から取得し、
　前記追尾変更処理部は、前記変更させる処理として前記追尾目標被写体についての情報を前記他の画像処理装置に送信する処理を行う
　上記（１）に記載の画像処理装置。
（３）
　前記追尾変更処理部は、前記第２撮像部における光軸方向を変更するための情報を前記追尾目標被写体についての情報として前記他の画像処理装置に送信する
　上記（２）に記載の画像処理装置。
（４）
　前記追尾変更処理部は、前記追尾中被写体と前記追尾目標被写体が同一であると判定された場合に前記他の画像処理装置に送信する処理の頻度を低くする
　上記（２）から上記（３）の何れかに記載の画像処理装置。
（５）
　前記追尾目標被写体の移動方向を推定する移動方向推定部を備え、
　前記追尾変更処理部は、前記変更させる処理として前記追尾目標被写体についての情報に加えて前記移動方向を前記他の画像処理装置に送信する処理を行う
　上記（２）から上記（４）の何れかに記載の画像処理装置。
（６）
　前記移動方向推定部は、前記第１撮像部において撮像された過去画像に基づいて前記移動方向を推定する
　上記（５）に記載の画像処理装置。
（７）
　前記判定処理部は、
　前記第２撮像部において撮像された第２画像のうち前記追尾中被写体を特定するための情報が得られた前記第２画像の撮像時刻に基づいて選択された前記第１画像を用いて同一の被写体であるか否かについての前記判定を行う
　上記（２）から上記（６）の何れかに記載の画像処理装置。
（８）
　前記判定処理部の処理及び前記追尾変更処理部の処理を実行する第１態様と、前記判定処理部の処理及び前記追尾変更処理部の処理を実行しない第２態様と、を切り替える切替処理部を備えた
　上記（２）から上記（７）の何れかに記載の画像処理装置。
（９）
　前記切替処理部は、決定された前記追尾目標被写体の移動態様に応じて前記第１態様と前記第２態様の切り替えを行う
　上記（８）に記載の画像処理装置。
（１０）
　前記第１撮像部を備えた
　上記（２）から上記（９）の何れかに記載の画像処理装置。
（１１）
　第１撮像部において撮像された第１画像に基づいて決定された追尾の目標被写体である追尾目標被写体の情報を用いて、第２撮像部による被写体の追尾について制御を行う追尾制御部を備え、
　前記追尾制御部は、
　追尾中の被写体である追尾中被写体を特定するための情報を出力し、
　前記追尾の制御中に前記追尾目標被写体の情報が取得されない場合は、前記追尾目標被写体を変更せずに前記追尾の制御を行い、
　前記追尾の制御中に前記追尾目標被写体の情報が取得された場合は、新たに取得された前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行う
　画像処理装置。
（１２）
　前記追尾目標被写体の情報を他の画像処理装置から受信する受信処理部と、
　前記追尾制御部によって出力された前記追尾中被写体を特定するための情報を前記他の画像処理装置に送信する送信処理部と、を備え、
　前記追尾制御部は、
　前記追尾の制御中に前記追尾目標被写体の情報を前記受信処理部が受信しなかった場合は、前記追尾目標被写体を変更せずに前記追尾の制御を行い、
　前記追尾の制御中に前記追尾目標被写体の情報を前記受信処理部が受信した場合は、新たに取得された前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行う
　上記（１１）に記載の画像処理装置。
（１３）
　前記送信処理部は、前記第２撮像部による撮像画像の生成ごとに前記追尾中被写体を特定するための情報の送信を行う
　上記（１２）に記載の画像処理装置。
（１４）
　前記送信処理部は、前記追尾中被写体を特定するための情報として前記第２撮像部の光軸方向に関する情報を送信する
　上記（１２）から上記（１３）の何れかに記載の画像処理装置。
（１５）
　前記送信処理部は、前記追尾中被写体を特定するための情報として前記第２撮像部において撮像された第２画像を送信する
　上記（１２）から上記（１４）の何れかに記載の画像処理装置。
（１６）
　前記受信処理部は、前記他の画像処理装置から前記追尾目標被写体の移動方向の情報を受信し、
　前記追尾制御部は、前記第１画像の撮像時刻と受信した前記移動方向とに基づいて算出した前記追尾目標被写体の予測位置を用いて前記追尾についての制御を行う
　上記（１２）から上記（１５）の何れかに記載の画像処理装置。
（１７）
　前記送信処理部の処理及び新たに取得された前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行う前記追尾制御部の処理を実行する第１態様と、前記追尾目標被写体を変更せずに前記追尾の制御を継続して実行する第２態様と、を切り替える切替処理部を備えた
　上記（１２）から上記（１６）の何れかに記載の画像処理装置。
（１８）
　前記切替処理部は、前記追尾制御部によって前記追尾中被写体の移動態様に応じて前記第１態様と前記第２態様の切り替えを行う
　上記（１７）に記載の画像処理装置。
（１９）
　前記第２撮像部を備えた
　上記（１２）から上記（１８）の何れかに記載の画像処理装置。
（２０）
　第１撮像部において撮像された第１画像に基づいて追尾の目標とされた被写体を追尾目標被写体として決定する追尾目標被写体決定部と、
　前記追尾目標被写体の情報を用いて、第２撮像部による被写体の追尾について制御を行う追尾制御部と、
　前記追尾制御部により出力された情報に基づいて第２撮像部による追尾中の被写体を追尾中被写体として特定する追尾中被写体特定部と、
　決定された前記追尾目標被写体と特定された前記追尾中被写体とが同一の被写体であるか否かを判定する判定処理部と、
　前記追尾中被写体と前記追尾目標被写体が同一でないと判定された場合に前記追尾目標被写体についての情報を前記追尾制御部へと出力する追尾変更処理部と、を備え、
　前記追尾制御部は、
　前記追尾の制御中に追尾目標被写体についての情報が入力された場合には、新たな前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行い、
　前記追尾の制御中に前記追尾目標被写体についての情報が入力されない場合には、前記追尾目標被写体を変更せずに前記追尾の制御を行う
　画像処理システム。

１，１Ａ，１Ｂ　撮像システム（画像処理システム）
２　広角カメラ（第１撮像部、画像処理装置）
２Ａ　広角カメラ（第１撮像部）
３　望遠カメラ（第２撮像部、画像処理装置）
３Ａ　望遠カメラ（第２撮像部）
４　第１撮像部
６　第２撮像部
９　追尾目標被写体決定部
１０　追尾中被写体情報取得部
１２　追尾中被写体特定部
１３　判定処理部
１４　移動方向推定部
１５　追尾変更処理部
１６　通信処理部
１７　追尾制御部
１８　通信処理部（受信処理部、送信処理部）
２１　切替処理部
２２　切替処理部
２３　切替処理部
３１　第１画像処理装置（画像処理装置）
４１　第２画像処理装置（画像処理装置）
５１　第３画像処理装置（画像処理装置）
ＧＣ１　第１画像
ＧＣ２　第２画像
Ｔ１　追尾目標被写体
Ｔ２　追尾中被写体

Claims

　第１撮像部において撮像された第１画像に基づいて追尾の目標とされた被写体を追尾目標被写体として決定する追尾目標被写体決定部と、
　第２撮像部による追尾中の被写体である追尾中被写体を特定するための情報を取得する追尾中被写体情報取得部と、
　前記追尾中被写体と前記追尾目標被写体が同一の被写体であるか否かを判定する判定処理部と、
　前記追尾中被写体と前記追尾目標被写体が同一でないと判定された場合に前記第２撮像部の前記追尾中被写体を前記追尾目標被写体へと変更させる処理を行う追尾変更処理部と、を備えた
　画像処理装置。
　前記追尾中被写体情報取得部は、前記追尾中被写体を特定するための情報を他の画像処理装置から取得し、
　前記追尾変更処理部は、前記変更させる処理として前記追尾目標被写体についての情報を前記他の画像処理装置に送信する処理を行う
　請求項１に記載の画像処理装置。
　前記追尾変更処理部は、前記第２撮像部における光軸方向を変更するための情報を前記追尾目標被写体についての情報として前記他の画像処理装置に送信する
　請求項２に記載の画像処理装置。
　前記追尾変更処理部は、前記追尾中被写体と前記追尾目標被写体が同一であると判定された場合に前記他の画像処理装置に送信する処理の頻度を低くする
　請求項２に記載の画像処理装置。
　前記追尾目標被写体の移動方向を推定する移動方向推定部を備え、
　前記追尾変更処理部は、前記変更させる処理として前記追尾目標被写体についての情報に加えて前記移動方向を前記他の画像処理装置に送信する処理を行う
　請求項２に記載の画像処理装置。
　前記移動方向推定部は、前記第１撮像部において撮像された過去画像に基づいて前記移動方向を推定する
　請求項５に記載の画像処理装置。
　前記判定処理部は、
　前記第２撮像部において撮像された第２画像のうち前記追尾中被写体を特定するための情報が得られた前記第２画像の撮像時刻に基づいて選択された前記第１画像を用いて同一の被写体であるか否かについての前記判定を行う
　請求項２に記載の画像処理装置。
　前記判定処理部の処理及び前記追尾変更処理部の処理を実行する第１態様と、前記判定処理部の処理及び前記追尾変更処理部の処理を実行しない第２態様と、を切り替える切替処理部を備えた
　請求項２に記載の画像処理装置。
　前記切替処理部は、決定された前記追尾目標被写体の移動態様に応じて前記第１態様と前記第２態様の切り替えを行う
　請求項８に記載の画像処理装置。
　前記第１撮像部を備えた
　請求項２に記載の画像処理装置。
　第１撮像部において撮像された第１画像に基づいて決定された追尾の目標被写体である追尾目標被写体の情報を用いて、第２撮像部による被写体の追尾について制御を行う追尾制御部を備え、
　前記追尾制御部は、
　追尾中の被写体である追尾中被写体を特定するための情報を出力し、
　前記追尾の制御中に前記追尾目標被写体の情報が取得されない場合は、前記追尾目標被写体を変更せずに前記追尾の制御を行い、
　前記追尾の制御中に前記追尾目標被写体の情報が取得された場合は、新たに取得された前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行う
　画像処理装置。
　前記追尾目標被写体の情報を他の画像処理装置から受信する受信処理部と、
　前記追尾制御部によって出力された前記追尾中被写体を特定するための情報を前記他の画像処理装置に送信する送信処理部と、を備え、
　前記追尾制御部は、
　前記追尾の制御中に前記追尾目標被写体の情報を前記受信処理部が受信しなかった場合は、前記追尾目標被写体を変更せずに前記追尾の制御を行い、
　前記追尾の制御中に前記追尾目標被写体の情報を前記受信処理部が受信した場合は、新たに取得された前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行う
　請求項１１に記載の画像処理装置。
　前記送信処理部は、前記第２撮像部による撮像画像の生成ごとに前記追尾中被写体を特定するための情報の送信を行う
　請求項１２に記載の画像処理装置。
　前記送信処理部は、前記追尾中被写体を特定するための情報として前記第２撮像部の光軸方向に関する情報を送信する
　請求項１２に記載の画像処理装置。
　前記送信処理部は、前記追尾中被写体を特定するための情報として前記第２撮像部において撮像された第２画像を送信する
　請求項１２に記載の画像処理装置。
　前記受信処理部は、前記他の画像処理装置から前記追尾目標被写体の移動方向の情報を受信し、
　前記追尾制御部は、前記第１画像の撮像時刻と受信した前記移動方向とに基づいて算出した前記追尾目標被写体の予測位置を用いて前記追尾についての制御を行う
　請求項１２に記載の画像処理装置。
　前記送信処理部の処理及び新たに取得された前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行う前記追尾制御部の処理を実行する第１態様と、前記追尾目標被写体を変更せずに前記追尾の制御を継続して実行する第２態様と、を切り替える切替処理部を備えた
　請求項１２に記載の画像処理装置。
　前記切替処理部は、前記追尾制御部によって前記追尾中被写体の移動態様に応じて前記第１態様と前記第２態様の切り替えを行う
　請求項１７に記載の画像処理装置。
　前記第２撮像部を備えた
　請求項１２に記載の画像処理装置。
　第１撮像部において撮像された第１画像に基づいて追尾の目標とされた被写体を追尾目標被写体として決定する追尾目標被写体決定部と、
　前記追尾目標被写体の情報を用いて、第２撮像部による被写体の追尾について制御を行う追尾制御部と、
　前記追尾制御部により出力された情報に基づいて第２撮像部による追尾中の被写体を追尾中被写体として特定する追尾中被写体特定部と、
　決定された前記追尾目標被写体と特定された前記追尾中被写体とが同一の被写体であるか否かを判定する判定処理部と、
　前記追尾中被写体と前記追尾目標被写体が同一でないと判定された場合に前記追尾目標被写体についての情報を前記追尾制御部へと出力する追尾変更処理部と、を備え、
　前記追尾制御部は、
　前記追尾の制御中に追尾目標被写体についての情報が入力された場合には、新たな前記追尾目標被写体の情報に基づいて特定された被写体を追尾の対象として追尾制御を行い、
　前記追尾の制御中に前記追尾目標被写体についての情報が入力されない場合には、前記追尾目標被写体を変更せずに前記追尾の制御を行う
　画像処理システム。