JPWO2016125372A1 - 追尾システム、端末装置、カメラ装置、追尾撮影方法及びプログラム - Google Patents

Abstract

本発明は、良好な追尾精度を確保しつつ、追尾ターゲットを追尾撮影するための処理を高速化できる追尾システム、端末装置、カメラ装置、追尾撮影方法及びプログラムを提供する。本発明の好ましい態様では、カメラ側コントローラ及び端末側コントローラのうち少なくともいずれか一方が、撮影画像データから追尾画像データを生成する追尾画像生成処理（Ｐ１）を行う。またカメラ側コントローラ及び端末側コントローラのうち少なくともいずれか一方が、追尾画像データに基づいてターゲット情報を取得する追尾演算処理（Ｐ２）を行う。追尾画像データは、解像度が高い高解像度領域と解像度が低い低解像度領域とを含む。追尾画像生成処理（Ｐ１）では、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、追尾基礎情報に基づいて高解像度領域及び低解像度領域が定められる。追尾画像生成処理（Ｐ１）と追尾演算処理（Ｐ２）とは並列的に行われる。

Description

本発明は、解像度が調整された追尾画像データに基づいて追尾ターゲットの位置を取得する追尾システム、端末装置、カメラ装置、追尾撮影方法及びプログラムに関する。

特定の被写体を追尾しながら連続的に撮影を行う追尾撮影技術が、監視カメラや一般のデジタルカメラ等の分野において広く使われている。追尾ターゲットとなる特定の被写体の位置を特定する手法としては様々な方法が提案されており、例えば追尾ターゲットの特徴を撮影画像と照合することで画像内における追尾ターゲットの位置を特定する方法が知られている。

追尾ターゲットの認識率を向上させる観点からは高解像度画像に基づいて追尾ターゲットの位置を特定することが好ましいが、一般に、画像の解像度が高くなるほど、処理負荷が増大する。したがって解像度の高い画像を使用して追尾ターゲットの位置を特定するケースであっても、そのような高解像度画像の解析処理の能力が不十分な追尾システムでは、画像解析処理に遅延が生じ、結果として、追尾精度が低下してしまうことがある。特に追尾ターゲットの動きが速い場合には、処理演算量が増えて処理に要する時間が長くなる傾向があり、撮影画像のフレームレートが落ちてしまう等、追尾処理だけではなく追尾処理以外の処理にも悪影響が及んでしまうことが想定される。

このような背景のもとで特許文献１において開示される追尾機能付き撮影装置では、追尾対象物及び追尾対象の周りに形成される追尾枠の中のみに対して高解像度処理が行われ、この高解像度処理が行われた画像に基づいて追尾対象の位置が特定される。

特開２０１４−２１６６９４号公報

上述のように、追尾処理に適した画像データ（以下、「追尾画像データ」とも称する）を撮影画像データから生成し、その追尾画像データに基づいて追尾ターゲットの位置を特定することで、追尾システムの処理能力に適応した追尾処理を行うことができる。

しかしながら追尾画像データに基づいて追尾ターゲットの位置を特定する場合には、追尾画像データを生成する処理が必要になり、撮影画像データに基づいて追尾ターゲットの位置を特定する場合に比べ、処理工程が増える。

特に特許文献１の撮影装置のように追尾ターゲットの位置に応じて追尾画像データの解像度が調整される場合には、「追尾画像データに基づいて追尾ターゲットの位置を特定する処理」の後に「追尾ターゲットの位置に応じて追尾画像データを生成する処理」を行う必要がある。また「追尾ターゲットの位置に応じて追尾画像データを生成する処理」の後に「追尾画像データに基づいて追尾ターゲットの位置を特定する処理」を行う必要がある。このように「追尾ターゲットの位置を特定する処理」及び「追尾画像データを生成する処理」が直列的に実行される場合、処理の途中で遅延が生じるとその遅延の影響が後段の他の処理全体にも及び、追尾精度が落ちてしまう。

本発明は上述の事情に鑑みてなされたものであり、良好な追尾精度を確保しつつ、追尾ターゲットを追尾撮影するための処理を高速化できる技術を提供することを目的とする。

本発明の一態様は、撮影画像データを取得する撮像部と、撮像部の撮像方向を調整する撮像方向調整部と、追尾ターゲットの位置を示すターゲット情報に基づいて撮像方向調整部を制御するカメラ側コントローラと、カメラ側コントローラに接続されるカメラ側通信部とを有するカメラ装置と、カメラ側通信部と通信可能な端末側通信部と、端末側通信部に接続される端末側コントローラと、端末側コントローラに接続されるユーザインターフェースとを有する端末装置と、を備え、カメラ側コントローラ及び端末側コントローラのうち少なくともいずれか一方が、撮影画像データから追尾画像データを生成する追尾画像生成処理を行い、カメラ側コントローラ及び端末側コントローラのうち少なくともいずれか一方が、追尾画像データに基づいてターゲット情報を取得する追尾演算処理を行い、追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、追尾画像生成処理では、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、追尾基礎情報に基づいて高解像度領域及び低解像度領域が定められて追尾画像データが生成され、追尾画像生成処理と追尾演算処理とは並列的に行われる追尾システムに関する。

本態様によれば、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報に基づいて追尾画像データが生成され、また追尾画像生成処理と追尾演算処理とが並列的に行われるため、良好な追尾精度を確保しつつ、追尾ターゲットを追尾撮影するための処理を効果的に高速化できる。

望ましくは、第１のタイミングにおいて取得された撮影画像データから生成される追尾画像データに基づいて、第１のタイミングにおける追尾ターゲットの位置を示すターゲット情報を取得する追尾演算処理の少なくとも一部は、第１のタイミングの後の第２のタイミングにおける追尾ターゲットの位置を示すターゲット情報を取得するために使われる追尾画像データを、第２のタイミングにおいて取得された撮影画像データから生成する追尾画像生成処理の少なくとも一部と同時に行われる。

本態様によれば、第１のタイミングにおける追尾ターゲットの位置を示すターゲット情報を取得する追尾演算処理の少なくとも一部が、第２のタイミングにおける追尾ターゲットの位置を示すターゲット情報を取得するために使われる追尾画像データを生成する追尾画像生成処理の少なくとも一部と同時に行われ、追尾ターゲットを追尾撮影するための処理を高速化できる。

なお「第１のタイミングにおける追尾ターゲットの位置を示すターゲット情報を取得する追尾演算処理」及び「第２のタイミングにおける追尾ターゲットの位置を示すターゲット情報を取得するために使われる追尾画像データを生成する追尾画像生成処理」は、同時に開始されてもよいし、一方の処理の開始後且つ完了前に他方の処理が開始されてもよい。

望ましくは、追尾画像生成処理及び追尾演算処理は、カメラ側コントローラ及び端末側コントローラのうちの一方において行われる。

本態様によれば、カメラ側コントローラ及び端末側コントローラのうちの一方において追尾画像生成処理及び追尾演算処理が行われ、追尾画像生成処理及び追尾演算処理の処理フローを簡素化することが可能になる。

望ましくは、追尾画像生成処理及び追尾演算処理のうちの一方は、カメラ側コントローラ及び端末側コントローラのうちの一方において行われ、追尾画像生成処理及び追尾演算処理のうちの他方は、カメラ側コントローラ及び端末側コントローラのうちの他方において行われる。

本態様によれば、追尾画像生成処理及び追尾演算処理がカメラ側コントローラ及び端末側コントローラによって分散的に行われ、リソースを有効活用することができる。

望ましくは、追尾演算処理は、カメラ側コントローラ及び端末側コントローラの両者によって行われ、カメラ側コントローラ及び端末側コントローラのうち処理能力が相対的に高い方が高解像度領域の追尾演算処理を行い、カメラ側コントローラ及び端末側コントローラのうち処理能力が相対的に低い方が低解像度領域の追尾演算処理を行う。

本態様によれば、高解像度領域の追尾演算処理及び低解像度領域の追尾演算処理を、カメラ側コントローラ及び端末側コントローラの処理能力に応じて効率的に行うことができる。

望ましくは、カメラ側コントローラ及び端末側コントローラのうち少なくともいずれか一方が、カメラ装置によって撮像可能な範囲の少なくとも一部の撮影画像データの空間周波数を取得するプレサーチ処理を行い、追尾画像生成処理では、プレサーチ処理により取得される空間周波数に基づいて、追尾画像データの解像度が決定される。

本態様によれば、カメラ装置によって撮像可能な範囲の少なくとも一部の空間周波数に基づいて追尾画像データの解像度を適応的に決定することができ、処理負荷を撮影環境に応じて軽減することが可能である。

望ましくは、追尾画像生成処理では、プレサーチ処理により取得される空間周波数が相対的に低い場合には、空間周波数が相対的に高い場合よりも追尾画像データの解像度が低く設定される。

本態様によれば、カメラ装置によって撮像可能な範囲の少なくとも一部の空間周波数が相対的に低い場合には、その撮像可能な範囲の少なくとも一部の空間周波数が相対的に高い場合よりも処理負荷を軽減することができ、追尾ターゲットを追尾撮影するための処理を高速化できる。

本発明の他の態様は、撮影画像データを取得する撮像部と、撮像部の撮像方向を調整する撮像方向調整部と、追尾ターゲットの位置を示すターゲット情報に基づいて撮像方向調整部を制御するカメラ側コントローラと、カメラ側コントローラに接続されるカメラ側通信部とを有するカメラ装置に接続可能な端末装置であって、カメラ側通信部と通信可能な端末側通信部と、端末側通信部に接続される端末側コントローラと、端末側コントローラに接続されるユーザインターフェースと、を備え、カメラ側コントローラ及び端末側コントローラのうち少なくともいずれか一方が、撮影画像データから追尾画像データを生成する追尾画像生成処理を行い、端末側コントローラが、追尾画像データに基づいてターゲット情報を取得する追尾演算処理を行い、ターゲット情報を端末側通信部及びカメラ側通信部を介してカメラ側コントローラに送信し、追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、追尾画像生成処理では、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、追尾基礎情報に基づいて高解像度領域及び低解像度領域が定められて追尾画像データが生成され、追尾画像生成処理と追尾演算処理とは並列的に行われる端末装置に関する。

本態様によれば、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報に基づいて追尾画像データが生成され、また追尾画像生成処理と追尾演算処理とが並列的に行われるため、良好な追尾精度を確保しつつ、追尾ターゲットを追尾撮影するための処理を効果的に高速化できる。

本発明の他の態様は、端末側通信部と、端末側通信部に接続される端末側コントローラと、端末側コントローラに接続されるユーザインターフェースとを有する端末装置に接続可能なカメラ装置であって、撮影画像データを取得する撮像部と、撮像部の撮像方向を調整する撮像方向調整部と、追尾ターゲットの位置を示すターゲット情報に基づいて撮像方向調整部を制御するカメラ側コントローラであって、撮影画像データから追尾画像データを生成する追尾画像生成処理と、追尾画像データに基づいてターゲット情報を取得する追尾演算処理とを並列的に行うカメラ側コントローラと、を備え、追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、追尾画像生成処理では、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、追尾基礎情報に基づいて高解像度領域及び低解像度領域が定められて追尾画像データが生成されるカメラ装置に関する。

本態様によれば、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報に基づいて追尾画像データが生成され、また追尾画像生成処理と追尾演算処理とが並列的に行われるため、良好な追尾精度を確保しつつ、追尾ターゲットを追尾撮影するための処理を効果的に高速化できる。

本発明の他の態様は、撮影画像データを取得する撮像部と、撮像部の撮像方向を調整する撮像方向調整部と、追尾ターゲットの位置を示すターゲット情報に基づいて撮像方向調整部を制御するカメラ側コントローラと、カメラ側コントローラに接続されるカメラ側通信部とを有するカメラ装置と、カメラ側通信部と通信可能な端末側通信部と、端末側通信部に接続される端末側コントローラと、端末側コントローラに接続されるユーザインターフェースとを有する端末装置と、を備える追尾システムの追尾撮影方法であって、カメラ側コントローラ及び端末側コントローラのうち少なくともいずれか一方によって、撮影画像データから追尾画像データを生成する追尾画像生成処理を行うステップと、カメラ側コントローラ及び端末側コントローラのうち少なくともいずれか一方によって、追尾画像データに基づいてターゲット情報を取得する追尾演算処理を行うステップと、を備え、追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、追尾画像生成処理では、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、追尾基礎情報に基づいて高解像度領域及び低解像度領域が定められて追尾画像データが生成され、追尾画像生成処理と追尾演算処理とは並列的に行われる追尾撮影方法に関する。

本発明の他の態様は、撮影画像データを取得する撮像部と、撮像部の撮像方向を調整する撮像方向調整部と、追尾ターゲットの位置を示すターゲット情報に基づいて撮像方向調整部を制御するカメラ側コントローラと、カメラ側コントローラに接続されるカメラ側通信部とを有するカメラ装置と、カメラ側通信部と通信可能な端末側通信部と、端末側通信部に接続される端末側コントローラと、端末側コントローラに接続されるユーザインターフェースとを有する端末装置と、を備える追尾システムを制御するためのプログラムであって、カメラ側コントローラ及び端末側コントローラのうち少なくともいずれか一方によって、撮影画像データから追尾画像データを生成する追尾画像生成処理を行う手順と、カメラ側コントローラ及び端末側コントローラのうち少なくともいずれか一方によって、追尾画像データに基づいてターゲット情報を取得する追尾演算処理を行う手順と、をコンピュータに実行させ、追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、追尾画像生成処理では、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、追尾基礎情報に基づいて高解像度領域及び低解像度領域が定められて追尾画像データが生成され、追尾画像生成処理と追尾演算処理とは並列的に行われるプログラムに関する。

本発明によれば、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報に基づいて追尾画像データが生成され、また追尾画像生成処理と追尾演算処理とが並列的に行われるため、良好な追尾精度を確保しつつ、追尾ターゲットを追尾撮影するための処理を高速化できる。

図１は、本発明を適用可能な追尾システムの一例を示す外観斜視図である。 図２は、追尾システムの機能構成のうち追尾撮影に関連する機能の一例を示すブロック図である。 図３は、追尾画像生成処理の概念図である。 図４は、追尾演算処理の概念図である。 図５の（ａ）部分は撮影画像データの一例を示す概念図であり、図５の（ｂ）部分は追尾画像データの一例を示す概念図である。 図６は、追尾画像生成処理の一例を示す概念図である。 図７は、追尾基礎情報に基づいて解像度が調整された追尾画像データの画像例を示す図である。 図８は、追尾画像生成処理及び追尾演算処理が直列的に行われる例を説明するための図である。 図９は、追尾画像生成処理及び追尾演算処理が並列的に行われる例を説明するための図である。 図１０は、第１実施形態に係る追尾処理フローの一例を示す図である。 図１１は、第２実施形態に係る追尾処理フローの一例を示す図である。 図１２は、第３実施形態に係る追尾処理フローの一例を示す図である。 図１３は、第４実施形態に係る追尾処理フローの一例を示す図である。 図１４は、プレサーチ処理の一例を示す概念図である。 図１５は、第５実施形態に係るプレサーチ処理〜解像度決定処理の処理フローの一例を示す図である。 図１６は、第６実施形態に係るプレサーチ処理〜解像度決定処理の処理フローの一例を示す図である。 図１７は、第７実施形態に係るプレサーチ処理〜解像度決定処理の処理フローの一例を示す図である。

図１は、本発明を適用可能な追尾システム１０の一例を示す外観斜視図である。

本例の追尾システム１０は、スマートフォンの形態を有する端末装置１１と、パン・チルトカメラシステムの形態を有し端末装置１１に接続可能であるカメラ装置２０とを備える。

カメラ装置２０では、ギア２６を含む保持部２５と保持部２５に取り付けられた撮影光学系２１とが、装置本体２２上に設けられる台座２３に固定的に据え付けられている。台座２３は、装置本体２２の垂直方向の軸Ｚを中心に回転自在に設けられており、図示しないパン駆動部により垂直方向の軸Ｚを中心にしたパン動作が行われる。ギア２６は水平方向の軸Ｘと同軸上に設けられ、図示しないチルト駆動部からギア２６を介して駆動力が伝達されることにより、撮影光学系２１は上下方向に回動させられてチルト動作が行われる。これらの撮影光学系２１、保持部２５（ギア２６）及び台座２３は、防塵及び防滴用のドームカバー２４によって覆われている。なお図１において、撮影光学系２１の光軸が符号「Ｌ」によって表されている。

一方、本例の端末装置１１の筺体１２には、ディスプレイ１３、操作パネル１４、操作ボタン１６、スピーカー１７、マイクロホン１８及び端末カメラ１９が収容されている。ディスプレイ１３は、カメラ装置２０から送信される画像や各種の情報を表示する表示部として機能し、また操作パネル１４とともにタッチパネル１５を構成する。操作パネル１４及び操作ボタン１６は、ユーザからの指示を受け付ける指示受付部として機能し、ユーザは、操作パネル１４（タッチパネル１５）及び操作ボタン１６を介し、端末装置１１及び端末装置１１に接続されるカメラ装置２０を操作することができる。スピーカー１７及びマイクロホン１８は通話部として機能し、ユーザは、スピーカー１７及びマイクロホン１８を介して他の電話機のユーザと会話をすることができる。端末カメラ１９は、操作ボタン１６や操作パネル１４（タッチパネル１５）を介したユーザからの指示に応じて撮影を行うことができる。

ユーザは、上述の端末装置１１を使ってカメラ装置２０の動作をコントロールすることが可能であり、例えば撮影画像をカメラ装置２０から端末装置１１に送信させてディスプレイ１３に表示させたり、カメラ装置２０の撮像方向（撮影光学系２１の光軸Ｌの方向）を変更することが可能である。特に本例の追尾システム１０は、特定のターゲットを追尾しながら連続的に撮影を行う追尾撮影を実行可能であり、ユーザはその追尾撮影についても端末装置１１を使ってコントロールすることが可能である。以下、追尾撮影について説明する。

図２は、追尾システム１０の機能構成のうち追尾撮影に関連する機能の一例を示すブロック図である。

カメラ装置２０は、撮像部３０、撮像方向調整部３２、カメラ側通信部３６、及びこれらの撮像部３０、撮像方向調整部３２及びカメラ側通信部３６を統括的に制御するカメラ側コントローラ３４を有する。

撮像部３０は、撮影光学系２１（図１参照）及び撮像素子（図示省略）を含み、撮影画像データを取得する。特に本例のカメラ装置２０は被写体の撮影を連続的に行う追尾カメラであるため、撮像部３０は、カメラ側コントローラ３４の制御下で定期的に撮影を行って取得した撮影画像データを出力することができる。

本例の撮像方向調整部３２は、図１に示す台座２３、保持部２５及びギア２６に加えて図示しないパン駆動部及びチルト駆動部を含むパン・チルト機構として構成され、撮像部３０の撮像方向（すなわち撮影光学系２１の光軸Ｌの向き）を調整することができる。

カメラ側コントローラ３４は、追尾ターゲットの位置を示すターゲット情報に基づいて撮像方向調整部３２を制御する。特に本例のカメラ側コントローラ３４は、撮像方向調整部３２を制御して、撮影画像のうちの特定の位置又は特定の範囲に追尾ターゲットが配置されるように撮像方向を調整する。ここでいう「特定の位置」又は「特定の範囲」は特に限定されないが、追尾ターゲットの良好な視認性を確保する観点からは撮影画像の中央部に対応する位置又は範囲（すなわち光軸Ｌに対応する位置又は範囲）に設定されることが好ましい。なおターゲット情報は、後述の追尾演算処理により算出されてカメラ側コントローラ３４に提供される。

したがって例えば追尾ターゲットが水平方向に移動する場合には、その追尾ターゲットの移動に応じて撮像方向が水平方向に移動するように、撮像方向調整部３２はカメラ側コントローラ３４の制御下で撮像部３０をパン駆動する。同様に、追尾ターゲットが垂直方向に移動する場合には、その追尾ターゲットの移動に応じて撮像方向が垂直方向に移動するように、撮像方向調整部３２はカメラ側コントローラ３４の制御下で撮像部３０をチルト駆動する。このように撮像方向が調整されながら追尾ターゲットの撮影を連続的に行うことで、追尾撮影が行われる。

カメラ側通信部３６は、カメラ側コントローラ３４に接続され、端末装置１１（特に後述の端末側通信部４４）との間で通信を行い（図２の矢印「Ｃ」参照）、カメラ装置２０から端末装置１１に送られるデータ類の送信を行い、また端末装置１１からカメラ装置２０に送られるデータ類の受信を行う。すなわちカメラ側通信部３６は、カメラ側コントローラ３４から送られてくるデータ類を端末装置１１（端末側通信部４４）に送信し、端末装置１１（端末側通信部４４）から送られてくるデータ類を受信してカメラ側コントローラ３４に送る。

カメラ装置２０（カメラ側通信部３６）と端末装置１１（端末側通信部４４）との間で送受信されるデータ類は特に限定されない。例えば、撮像部３０によって取得される撮影画像データ、後述の追尾画像生成処理によって生成される追尾画像データ、上述のターゲット情報、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報及び各種のコマンドを、必要に応じて、カメラ装置２０と端末装置１１との間で送受信することが可能である。

一方、カメラ装置２０に接続可能な端末装置１１は、ユーザインターフェース４２、端末側通信部４４、及びこれらのユーザインターフェース４２及び端末側通信部４４を統括的に制御する端末側コントローラ４０を有する。

端末側通信部４４は、カメラ側通信部３６と通信可能であり、カメラ側通信部３６から送られてくるデータ類を受信して端末側コントローラ４０に送り、端末側コントローラ４０から送られてくるデータ類をカメラ側通信部３６に送信する。なお、端末側通信部４４とカメラ側通信部３６との間の通信手法は特に限定されず、有線接続方式であってもよいし無線接続方式であってもよく、またＩＥＥＥ（Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ， Ｉｎｃ．）が定めるＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格等に従った無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に基づく通信方式であってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格等に従った近距離無線に基づく通信方式であってもよい。さらに端末側通信部４４は、ＩＭＴ−２０００規格に準拠した第３世代移動通信システムやＩＭＴ−Ａｄｖａｎｃｅ規格に準拠した第４世代移動通信システムに基づいて、図示しない基地局との間でデータの送受信を行ってもよい。

端末側コントローラ４０は、端末側通信部４４及びユーザインターフェース４２に接続され、ユーザインターフェース４２から送られてくるコマンド等のデータ類に基づいて各種の制御を行い、また必要に応じて、端末側通信部４４を制御してデータ類をカメラ側通信部３６に送信する。

ユーザインターフェース４２は、端末装置１１のユーザに対するインターフェースを構成する。したがって、例えばユーザからの指示を受け付ける操作ボタン１６及びタッチパネル１５（操作パネル１４）、画像等を表示可能なディスプレイ１３、ユーザに音声を提供するスピーカー１７及び音声を取得するマイクロホン１８が、このユーザインターフェース４２に含まれうる。

上述の機能構成を有する追尾システム１０において、カメラ側コントローラ３４及び端末側コントローラ４０のうち少なくともいずれか一方が、撮影画像データから追尾画像データを生成する追尾画像生成処理を行う。またカメラ側コントローラ３４及び端末側コントローラ４０のうち少なくともいずれか一方が、追尾画像データに基づいてターゲット情報を取得する追尾演算処理を行う。

図３は、追尾画像生成処理Ｐ１の概念図である。図４は、追尾演算処理Ｐ２の概念図である。追尾画像生成処理Ｐ１では、撮影画像データＤ１から追尾画像データＤ２が生成され、追尾演算処理Ｐ２では、追尾画像データＤ２からターゲット情報Ｄ３が取得される。追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２の具体的なアルゴリズムは特に限定されず、任意の手法に従って追尾画像データＤ２を生成してターゲット情報Ｄ３を取得することが可能である。例えば追尾画像生成処理Ｐ１では、撮影画像データＤ１の一部の解像度を変えることで、ターゲット情報Ｄ３の取得に適した追尾画像データＤ２を生成することができる。

図５は、撮影画像データＤ１及び追尾画像データＤ２の一例を示す概念図であり、図５の（ａ）部分は撮影画像データＤ１を示し、図５の（ｂ）部分は追尾画像データＤ２を示す。本例の撮影画像データＤ１は画像全体にわたって一様な解像度を有する画像のデータであるのに対し、追尾画像データＤ２は相対的に解像度が高い高解像度領域ＲＨと相対的に解像度が低い低解像度領域ＲＬとを含む画像のデータである。すなわち撮影画像データＤ１は、一定の大きさを有する第１の画素ＰＳの集合によって構成されるのに対し、追尾画像データＤ２は、画素サイズが相対的に小さい第２の画素ＰＨの集合によって構成される高解像度領域ＲＨと、画素サイズが相対的に大きい第３の画素ＰＬの集合によって構成される低解像度領域ＲＬとを含む。

高解像度領域ＲＨ及び低解像度領域ＲＬの具体的な設定手法は特に限定されない。例えば、撮影画像データＤ１の第１の画素ＰＳと同じ画素によって高解像度領域ＲＨの第２の画素ＰＨを構成する一方で、「撮影画像データＤ１の第１の画素ＰＳの中から選択される一部の画素」や「隣接する複数の画素から導き出される代表的な画素」によって低解像度領域ＲＬの第３の画素ＰＬを構成してもよい。本例では、画像の単位面積当たりに含まれる画素数が相対的に多い領域を高解像度領域ＲＨと称し、画像の単位面積当たりに含まれる画素数が相対的に少ない領域を低解像度領域ＲＬと称する。

この追尾画像データＤ２における高解像度領域ＲＨ及び低解像度領域ＲＬの位置及び範囲は特に限定されないが、本例では、追尾画像生成処理Ｐ１において追尾基礎情報に基づき定められる。

図６は、追尾画像生成処理Ｐ１の一例を示す概念図である。本例の追尾画像生成処理Ｐ１は解像度決定処理Ｐ３及び解像度調整処理Ｐ４を含む。解像度決定処理Ｐ３では、追尾画像データＤ２における高解像度領域ＲＨ及び低解像度領域ＲＬを定める解像度情報Ｄ５が、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報Ｄ４に基づいて求められる。解像度調整処理Ｐ４では、解像度情報Ｄ５及び撮影画像データＤ１に基づいて追尾画像データＤ２が生成される。このように本例の追尾画像生成処理Ｐ１では、追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報Ｄ４が取得され、この追尾基礎情報Ｄ４に基づいて高解像度領域ＲＨ及び低解像度領域ＲＬが定められて追尾画像データＤ２が生成される。

なお追尾画像生成処理Ｐ１における追尾基礎情報Ｄ４及び撮影画像データＤ１の取得手法は特に限定されず、例えば図示しないメモリに保持されている追尾基礎情報Ｄ４及び撮影画像データＤ１が適宜読み出されてもよいし、端末装置１１及び／又はカメラ装置２０の各部から出力される追尾基礎情報Ｄ４及び撮影画像データＤ１が適宜取得されてもよい。例えばカメラ側コントローラ３４及び／又は端末側コントローラ４０において撮影画像データＤ１に基づいて追尾ターゲットのサイズ及び速度が取得され、その取得された追尾ターゲットのサイズ及び速度の情報が追尾基礎情報Ｄ４として使用されてもよい。

また追尾基礎情報Ｄ４は、追尾ターゲットのサイズ及び速度以外の情報を含んでいてもよく、例えば実際に使用されるカメラ装置２０（カメラ側コントローラ３４及びカメラ側通信部３６）及び端末装置１１（端末側通信部４４及び端末側コントローラ４０）の処理能力を示す情報が追尾基礎情報Ｄ４に含まれていてもよい。

さらに追尾ターゲットを指定する手法も特に限定されない。例えば、カメラ装置２０（カメラ側コントローラ３４）又は端末装置１１（端末側コントローラ４０）によって撮影画像データＤ１からライブビュー画像が生成され、そのライブビュー画像が端末装置１１のディスプレイ１３（ユーザインターフェース４２）に表示される場合には、ユーザがタッチパネル１５を介して追尾ターゲットの位置を指定することが可能であってもよい。この場合、追尾ターゲットの位置指定情報がタッチパネル１５（ユーザインターフェース４２）から端末側コントローラ４０及び／又はカメラ側コントローラ３４に送られ、その端末側コントローラ４０及び／又はカメラ側コントローラ３４が追尾ターゲットの位置指定情報に基づいて具体的な追尾ターゲットを特定してもよい。またカメラ側コントローラ３４及び／又は端末側コントローラ４０によって顔等の特定の被写体を撮影画像データＤ１に基づいて自動的に特定し、その特定される特定の被写体を追尾ターゲットとして設定してもよい。またカメラ側コントローラ３４及び／又は端末側コントローラ４０によって動きを伴う被写体を特定する動体検出処理を行うことで、例えば撮像部３０の撮影範囲内に新たに侵入してきた被写体を追尾ターゲットとして設定してもよい。

図７は、追尾基礎情報Ｄ４に基づいて解像度が調整された追尾画像データＤ２の画像例を示す図である。本例では、人間の顔画像が追尾ターゲットＴとして設定され、追尾基礎情報Ｄ４が追尾ターゲットＴの位置及び速度の情報を含み、追尾画像データＤ２のうち追尾ターゲットＴを基準としたある近傍範囲が高解像度領域ＲＨに設定され、他の範囲が低解像度領域ＲＬに設定されている。このようにして追尾画像データＤ２の高解像度領域ＲＨ及び低解像度領域ＲＬを設定することで、追尾ターゲットＴの存在確率が比較的高いと推定され高度な追尾精度が求められる範囲を高解像度領域ＲＨとすることができる。また追尾ターゲットＴの存在確率が比較的低いと推定される範囲を低解像度領域ＲＬとすることができ、処理負荷及び処理時間を効果的に低減することができる。

なお追尾基礎情報Ｄ４に基づいて定められる高解像度領域ＲＨの範囲は、特に限定されず、例えば追尾ターゲットＴの位置のみに応じて設定されもよいし、追尾ターゲットＴの速度に応じて可変的に設定されてもよいし、追尾ターゲットＴの位置及び速度以外の要素に応じて可変的に設定されてもよい。例えば追尾ターゲットＴが追尾画像データＤ２（及び撮影画像データＤ１）の中央部に存在する場合と端部に存在する場合とで、高解像度領域ＲＨの範囲が異なっていてもよい。また追尾ターゲットＴの速度が相対的に速い場合には、追尾ターゲットＴの速度が相対的に遅い場合よりも、高解像度領域ＲＨの範囲を広くしてもよい。また追尾ターゲットＴの位置及び／又は速度に加え、例えば追尾ターゲットＴの加速度、追尾ターゲットＴの移動方向及び／又は追尾ターゲットＴの他の特徴に応じて高解像度領域ＲＨの範囲が可変的に決められてもよい。さらに追尾基礎情報Ｄ４がカメラ装置２０及び端末装置１１の処理能力に関する情報を含む場合には、例えばカメラ装置２０及び端末装置１１の処理能力に応じて高解像度領域ＲＨ及び低解像度領域ＲＬの範囲が決められてもよい。

また高解像度領域ＲＨの形状も四角形状に限定されるものではなく、例えば他の多角形状や円形状に高解像度領域ＲＨが設定されてもよい。また追尾ターゲットＴの位置、速度及び／又は他の要素に応じて、高解像度領域ＲＨの形状が設定されてもよい。

次に、追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２の具体的に実施態様について説明する。本例の追尾システム１０は、上述の追尾画像生成処理Ｐ１と追尾演算処理Ｐ２とを並列的に行う。

図８は、追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２が直列的に行われる例を説明するための図である。図８において、符号「Ｐ１−１」、「Ｐ１−２」及び「Ｐ１−３」はそれぞれ第１のタイミング、第２のタイミング及び第３のタイミングに関する追尾画像生成処理Ｐ１を示し、符号「Ｐ２−１」、「Ｐ２−２」及び「Ｐ２−３」はそれぞれ第１のタイミング、第２のタイミング及び第３のタイミングに関する追尾演算処理Ｐ２を示す。なお第２のタイミングは第１のタイミングよりも後のタイミングを意味し、第３のタイミングは第２のタイミングよりも後のタイミングを意味する。

第１のタイミングに関する追尾画像生成処理Ｐ１−１では、第１のタイミングにおいて取得された撮影画像データＤ１から追尾画像データＤ２が生成され、第２のタイミングに関する追尾画像生成処理Ｐ１−２では、第２のタイミングにおいて取得された撮影画像データＤ１から追尾画像データＤ２が生成され、第３のタイミングに関する追尾画像生成処理Ｐ１−３では、第３のタイミングにおいて取得された撮影画像データＤ１から追尾画像データＤ２が生成される。また第１のタイミングに関する追尾演算処理Ｐ２−１では、第１のタイミングに関する追尾画像生成処理Ｐ１−１によって生成される追尾画像データＤ２に基づいて第１のタイミングにおける追尾ターゲットの位置を示すターゲット情報Ｄ３が取得され、第２のタイミングに関する追尾演算処理Ｐ２−２では、第２のタイミングに関する追尾画像生成処理Ｐ１−２によって生成される追尾画像データＤ２に基づいて第２のタイミングにおける追尾ターゲットの位置を示すターゲット情報Ｄ３が取得され、第３のタイミングに関する追尾演算処理Ｐ２−３では、第３のタイミングに関する追尾画像生成処理Ｐ１−３によって生成される追尾画像データＤ２に基づいて第３のタイミングにおける追尾ターゲットの位置を示すターゲット情報Ｄ３が取得される。

このように追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２を直列的に行う場合には、全体の処理時間として、追尾画像生成処理Ｐ１の処理時間と追尾演算処理Ｐ２の処理時間との合計以上の時間が必要とされる。すなわち図８に示す例では、第１のタイミング〜第３のタイミングにおけるターゲット情報Ｄ３を取得するために、第１のタイミングに関する追尾画像生成処理Ｐ１−１に要する時間（ｔ１〜ｔ２）、第１のタイミングに関する追尾演算処理Ｐ２−１に要する時間（ｔ２〜ｔ３）、第２のタイミングに関する追尾画像生成処理Ｐ１−２に要する時間（ｔ３〜ｔ４）、第２のタイミングに関する追尾演算処理Ｐ２−２（ｔ４〜ｔ５）、第３のタイミングに関する追尾画像生成処理Ｐ１−３（ｔ５〜ｔ６）及び第３のタイミングに関する追尾演算処理Ｐ２−３に要する時間（ｔ６〜ｔ７）の合計（ｔ１〜ｔ７）以上の処理時間が必要となる。

一方、本例の追尾システム１０では、追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２が並列的に行われ、全体の処理時間を大幅に減じることができる。

図９は、追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２が並列的に行われる例を説明するための図である。図９に示す例では、第１のタイミングに関する追尾演算処理Ｐ２−１と第２のタイミングに関する追尾画像生成処理Ｐ１−２とが並列的に行われ、第２のタイミングに関する追尾演算処理Ｐ２−２と第３のタイミングに関する追尾画像生成処理Ｐ１−３とが並列的に行われ、第３のタイミングに関する追尾演算処理Ｐ２−３と第４のタイミングに関する追尾画像生成処理Ｐ１−４とが並列的に行われる。

図９に示す例では、時間「ｔ１〜ｔ２」が第１のタイミングに関する追尾画像生成処理Ｐ１−１に要する時間として表され、時間「ｔ２〜ｔ３」が第１のタイミングに関する追尾演算処理Ｐ２−１及び第２のタイミングに関する追尾画像生成処理Ｐ１−２に要する時間として表され、時間「ｔ３〜ｔ４」が第２のタイミングに関する追尾演算処理Ｐ２−２及び第３のタイミングに関する追尾画像生成処理Ｐ１−３に要する時間として表され、時間「ｔ４〜ｔ５」が第３のタイミングに関する追尾演算処理Ｐ２−３及び第４のタイミングに関する追尾画像生成処理Ｐ１−４に要する時間として表されている。

特に本例の追尾システム１０では、撮影画像中の特定の位置又は特定の範囲に追尾ターゲットが配置されるように撮像方向が調整される。そのため、追尾画像生成処理Ｐ１によって生成される追尾画像データＤ２の高解像度領域ＲＨ及び低解像度領域ＲＬは、その特定の位置又は特定の範囲を基準にして定めることができ、図９に示すような追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２の並列処理を行うことが可能である。

例えば画像中の特定の位置又は特定の範囲に追尾ターゲットを配置しない場合には、追尾ターゲットが画像中のどの位置に移動するか分からないため、追尾演算処理Ｐ２が完全に終了するまで高解像度領域ＲＨを特定することができず、追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２を直列的に行う必要がある。一方、本例のようにパン・チルト機構等の撮像方向調整部３２によって撮像方向を調整し、撮影画像中の特定の位置又は特定の範囲に追尾ターゲットを配置する場合、基本的には、追尾撮影を通じて追尾ターゲットの位置が特定の位置又は特定の範囲に維持される。したがって、撮影画像中の特定の位置又は特定の範囲に追尾ターゲットが配置される場合には、各タイミングにおける追尾ターゲットの厳密な位置を特定しなくても、追尾ターゲットが配置されることが期待される撮影画像中の特定の位置又は特定の範囲に基づいて、撮影画像データＤ１から追尾画像データＤ２を生成することができる。このように追尾撮影の際に追尾ターゲットが撮影画像中の特定の位置又は特定の範囲に配置されるように撮像方向がコントロールされるケースでは、一つ前のタイミング（フレーム）に関する追尾演算処理Ｐ２の完了を待つことなく、次のタイミング（フレーム）に関する追尾画像生成処理Ｐ１を行うことが可能であるため、追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２の並列処理を行うことができる。

なお第１のタイミングにおいて取得された撮影画像データＤ１から生成される追尾画像データＤ２に基づいて、第１のタイミングにおける追尾ターゲットの位置を示すターゲット情報Ｄ３を取得する追尾演算処理Ｐ２−１の少なくとも一部は、第１のタイミングの後の第２のタイミングにおける追尾ターゲットの位置を示すターゲット情報Ｄ３を取得するために使われる追尾画像データＤ２を、第２のタイミングにおいて取得された撮影画像データＤ１から生成する追尾画像生成処理Ｐ１−２の少なくとも一部と同時に行うことで、並列処理が行われればよく、図９に示す例に限定されない。すなわち、「追尾画像生成処理Ｐ１の少なくとも一部」とその追尾画像生成処理Ｐ１とは異なるタイミングに関する「追尾演算処理Ｐ２の少なくとも一部」とが時間的に重複していればよい。したがって例えば、タイミングの異なる追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２のうちの一方の全体が行われる間に、他方の全体が行われてもよい。

このように追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２を並列的に行うことによって、追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２を直列的に行う場合（図８参照）に比べ、追尾処理全体に要する時間を大幅に短縮することができる。

これらの追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２は、カメラ側コントローラ３４及び端末側コントローラ４０のうちのいずれか一方で行われてもよいし、両方で行われてもよい。

以下、追尾システム１０の代表的な実施形態について説明する。

＜第１実施形態＞
本実施形態では、追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２の両者が端末装置１１（端末側コントローラ４０）で行われる。すなわち端末側コントローラ４０が、撮影画像データＤ１から追尾画像データＤ２を生成する追尾画像生成処理Ｐ１を行う。また端末側コントローラ４０が、追尾画像データＤ２に基づいてターゲット情報Ｄ３を取得する追尾演算処理Ｐ２を行い、ターゲット情報Ｄ３を端末側通信部４４及びカメラ側通信部３６を介してカメラ側コントローラ３４に送信する。

図１０は、第１実施形態に係る追尾処理フローの一例を示す図である。

追尾撮影の際にカメラ装置２０の撮像部３０によって取得される撮影画像データＤ１は、カメラ側コントローラ３４の制御下でカメラ側通信部３６から送信され（図１０のＳ１１）、端末装置１１の端末側通信部４４によって受信され（Ｓ１２）、端末側コントローラ４０により取得される。

そして端末側コントローラ４０によって、撮影画像データＤ１から追尾画像データＤ２を生成する追尾画像生成処理Ｐ１が行われ（Ｓ１３）、その後、追尾画像データＤ２に基づいてターゲット情報Ｄ３を取得する追尾演算処理Ｐ２が行われる（Ｓ１４）。

端末側コントローラ４０によって取得されたターゲット情報Ｄ３は、端末側通信部４４から送信され（Ｓ１５）、カメラ側通信部３６によって受信され（Ｓ１６）、カメラ側コントローラ３４により取得される。

カメラ側コントローラ３４は、このようにして取得されるターゲット情報Ｄ３に基づいて撮像方向調整部３２を制御して撮像部３０の撮像方向（撮影光学系２１の光軸Ｌの向き）を調整することで（Ｓ１７）、追尾ターゲットを追尾しながら撮影を行うことができる。なお本実施形態では、撮影画像中の特定の位置又は特定の範囲に追尾ターゲットが配置されるように撮像方向が調整される。

図１０に示す上述の処理（Ｓ１１〜Ｓ１７）は、各撮影タイミング（上述の「第１のタイミング」〜「第４のタイミング」参照）に関して行われ、上述のステップＳ１１、Ｓ１６及びＳ１７はカメラ装置２０側で行われ、ステップＳ１２〜Ｓ１５は端末装置１１側で行われる。そして追尾画像生成処理Ｐ１（Ｓ１３）及び追尾演算処理Ｐ２（Ｓ１４）は並列的に行われ、例えば第１のタイミングに関する追尾演算処理Ｐ２−１（Ｓ１４）の少なくとも一部と第２のタイミングに関する追尾画像生成処理Ｐ１−２（Ｓ１３）の少なくとも一部とが同時に行われる（図９参照）。

これにより追尾処理全体の処理時間を大幅に短縮化して追尾処理を高速化でき、その結果、動きの速い追尾ターゲットであっても適切に追尾することが可能になり、良好な追尾精度を確保することができる。

＜第２実施形態＞
上述の追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２のうちの一方は、カメラ側コントローラ３４及び端末側コントローラ４０のうちの一方において行われてもよいし、追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２のうちの他方は、カメラ側コントローラ３４及び端末側コントローラ４０のうちの他方において行われてもよい。

本実施形態では、一例として、追尾画像生成処理Ｐ１がカメラ側コントローラ３４で行われ、追尾演算処理Ｐ２が端末側コントローラ４０で行われるケースについて説明する。なお本実施形態において、上述の第１実施形態と同一又は類似の構成については、その詳細な説明を省略する。

図１１は、第２実施形態に係る追尾処理フローの一例を示す図である。

追尾撮影の際にカメラ装置２０のカメラ側コントローラ３４は、撮像部３０によって取得される撮影画像データＤ１から追尾画像データＤ２を生成する追尾画像生成処理Ｐ１を行う（図１１のＳ２１）。追尾画像生成処理Ｐ１により生成された追尾画像データＤ２は、カメラ側コントローラ３４の制御下でカメラ側通信部３６から送信され（Ｓ２２）、端末装置１１の端末側通信部４４によって受信され（Ｓ２３）、端末側コントローラ４０により取得される。なお、追尾画像データＤ２とともに撮影画像データＤ１等の他のデータがカメラ側通信部３６から端末側通信部４４に送られてもよい。

そして端末側コントローラ４０によって、追尾画像データＤ２に基づいてターゲット情報Ｄ３を取得する追尾演算処理Ｐ２が行われる（Ｓ２４）。取得されたターゲット情報Ｄ３は、端末側通信部４４から送信され（Ｓ２５）、カメラ側通信部３６によって受信され（Ｓ２６）、カメラ側コントローラ３４により取得される。

カメラ側コントローラ３４は、このようにして取得されるターゲット情報Ｄ３に基づいて撮像方向調整部３２を制御し、追尾ターゲットが撮影画像中の特定の位置又は特定の範囲に配置されるように撮像部３０の撮像方向を調整する（Ｓ２７）。

図１１に示す上述の処理（Ｓ２１〜Ｓ２７）は、上述の第１実施形態と同様に各撮影タイミング（上述の「第１のタイミング」〜「第４のタイミング」参照）に関して行われる。そしてカメラ側コントローラ３４における追尾画像生成処理Ｐ１（Ｓ２１）と端末側コントローラ４０における追尾演算処理Ｐ２（Ｓ２４）とは並列的に行われ、例えば第１のタイミングに関する追尾演算処理Ｐ２−１（Ｓ２４）の少なくとも一部と第２のタイミングに関する追尾画像生成処理Ｐ１−２（Ｓ２１）の少なくとも一部とが同時に行われる（図９参照）。

＜第３実施形態＞
本実施形態では、追尾画像生成処理Ｐ１及び追尾演算処理Ｐ２がカメラ側コントローラ３４で行われる例について説明する。すなわち本実施形態のカメラ側コントローラ３４は、撮影画像データＤ１から追尾画像データＤ２を生成する追尾画像生成処理Ｐ１と、追尾画像データＤ２に基づいてターゲット情報Ｄ３を取得する追尾演算処理Ｐ２とを並列的に行う。

本実施形態において、上述の第１実施形態と同一又は類似の構成については、その詳細な説明を省略する。

図１２は、第３実施形態に係る追尾処理フローの一例を示す図である。

追尾撮影の際にカメラ装置２０のカメラ側コントローラ３４は、撮像部３０によって取得される撮影画像データＤ１から追尾画像データＤ２を生成する追尾画像生成処理Ｐ１を行う（図１２のＳ３１）。またカメラ側コントローラ３４は、追尾画像データＤ２に基づいてターゲット情報Ｄ３を取得する追尾演算処理Ｐ２を行う（Ｓ３２）。そしてカメラ側コントローラ３４は、このようにして取得されるターゲット情報Ｄ３に基づいて撮像方向調整部３２を制御し、追尾ターゲットが撮影画像中の特定の位置又は特定の範囲に配置されるように撮像部３０の撮像方向を調整する（Ｓ３３）。

図１２に示す上述の処理（Ｓ３１〜Ｓ３３）は、上述の第１実施形態と同様に各撮影タイミング（上述の「第１のタイミング」〜「第４のタイミング」参照）に関して行われる。そしてカメラ側コントローラ３４における追尾画像生成処理Ｐ１（Ｓ３１）と追尾演算処理Ｐ２（Ｓ３２）とは並列的に行われ、例えば第１のタイミングに関する追尾演算処理Ｐ２−１（Ｓ３２）の少なくとも一部と第２のタイミングに関する追尾画像生成処理Ｐ１−２（Ｓ３１）の少なくとも一部とが同時に行われる（図９参照）。

＜第４実施形態＞
追尾演算処理Ｐ２は、カメラ側コントローラ３４及び端末側コントローラ４０の両者によって行われてもよい。この場合、カメラ側コントローラ３４及び端末側コントローラ４０のうち処理能力が相対的に高い方が高解像度領域ＲＨの追尾演算処理Ｐ２を行い、カメラ側コントローラ３４及び端末側コントローラ４０のうち処理能力が相対的に低い方が低解像度領域ＲＬの追尾演算処理Ｐ２を行うことが好ましい。

本実施形態では、端末側コントローラ４０の方がカメラ側コントローラ３４よりも処理能力が高く、端末側コントローラ４０が高解像度領域ＲＨの追尾演算処理Ｐ２を行い、カメラ側コントローラ３４が低解像度領域ＲＬの追尾演算処理Ｐ２を行う場合の一例について説明する。本実施形態において、上述の第１実施形態と同一又は類似の構成については、その詳細な説明を省略する。

図１３は、第４実施形態に係る追尾処理フローの一例を示す図である。

追尾撮影の際にカメラ装置２０のカメラ側コントローラ３４は、撮像部３０によって取得される撮影画像データＤ１から追尾画像データＤ２を生成する追尾画像生成処理Ｐ１を行う（図１３のＳ４１）。追尾画像生成処理Ｐ１により生成された追尾画像データＤ２は、カメラ側コントローラ３４の制御下でカメラ側通信部３６から送信され（Ｓ４２）、端末装置１１の端末側通信部４４によって受信され（Ｓ４３）、端末側コントローラ４０により取得される。

そして端末側コントローラ４０によって、追尾画像データＤ２のうちの高解像度領域ＲＨに関して追尾演算処理Ｐ２が行われる（Ｓ４４）。この高解像度領域ＲＨに関する追尾演算処理Ｐ２の結果は、端末側通信部４４から送信され（Ｓ４５）、カメラ側通信部３６を介してカメラ側コントローラ３４によって取得される（Ｓ４７）。

一方、カメラ側コントローラ３４では、追尾画像生成処理Ｐ１（Ｓ４１）が行われた後に、追尾画像データＤ２のうちの低解像度領域ＲＬに関して追尾演算処理Ｐ２が行われ（Ｓ４６）、低解像度領域ＲＬに関する追尾演算処理Ｐ２の結果が取得される（Ｓ４７）。

そしてカメラ側コントローラ３４は、「追尾画像データＤ２の高解像度領域ＲＨに関する追尾演算処理Ｐ２の結果」及び「追尾画像データＤ２の低解像度領域ＲＬに関する追尾演算処理Ｐ２の結果」に基づいて、ターゲット情報Ｄ３を取得する（Ｓ４８）。カメラ側コントローラ３４は、このようにして取得されるターゲット情報Ｄ３に基づいて撮像方向調整部３２を制御し、追尾ターゲットが撮影画像中の特定の位置又は特定の範囲に配置されるように撮像部３０の撮像方向を調整する（Ｓ４９）。

図１３に示す上述の処理（Ｓ４１〜Ｓ４９）は、上述の第１実施形態と同様に各撮影タイミング（上述の「第１のタイミング」〜「第４のタイミング」参照）に関して行われる。そして「カメラ側コントローラ３４における追尾画像生成処理Ｐ１（Ｓ４１）」と「カメラ側コントローラ３４及び端末側コントローラ４０おける追尾演算処理Ｐ２（Ｓ４４及びＳ４６）」とは並列的に行われる。例えば第１のタイミングに関する追尾演算処理Ｐ２−１（Ｓ４４及びＳ４６）の少なくとも一部と第２のタイミングに関する追尾画像生成処理Ｐ１−２（Ｓ４１）の少なくとも一部とが同時に行われる（図９参照）。

＜第５実施形態＞
本実施形態では、追尾撮影に先立って、カメラ装置２０によって撮像可能な範囲の少なくとも一部の撮影画像データＤ１の空間周波数を取得するプレサーチ処理が行われ、このプレサーチ処理の結果に応じて追尾画像データＤ２の解像度が決定される。

なお、ここでいう「カメラ装置２０によって撮像可能な範囲」は、撮像方向（撮影光学系２１の光軸Ｌの方向）の可変範囲に応じて決めることができ、例えば図１に示すパン・チルト機構を採用する追尾システム１０では、パン動作及びチルト動作が可能な範囲に応じて「カメラ装置２０によって撮像可能な範囲」が定められる。

本実施形態において、上述の第１実施形態と同一又は類似の構成については、その詳細な説明を省略する。

図１４は、プレサーチ処理Ｐ５の一例を示す概念図である。

カメラ装置２０によって撮像可能な範囲の少なくとも一部の撮影画像データＤ１の空間周波数を取得するプレサーチ処理Ｐ５は、カメラ側コントローラ３４及び端末側コントローラ４０のうち少なくともいずれか一方によって行われる。具体的には、カメラ装置２０によって撮像可能な範囲である撮影環境を対象とする撮影が事前に行われて撮影環境の撮影画像データＤ１が取得され、プレサーチ処理Ｐ５においてその撮影環境の撮影画像データＤ１が解析されることで撮影環境の空間周波数を示す環境周波数情報Ｄ６が取得される。

なお、プレサーチ処理Ｐ５で使用される撮影画像データＤ１及びプレサーチ処理Ｐ５により取得される環境周波数情報Ｄ６は、カメラ装置２０によって撮像可能な範囲の一部に関するものであってもよいし、撮像可能な範囲の全部に関するものであってもよい。したがって、プレサーチ処理Ｐ５に要する時間を短縮する観点からは、例えばカメラ装置２０によって撮像可能な範囲の中央部のみをプレサーチ処理Ｐ５における撮影画像データＤ１及び環境周波数情報Ｄ６の対象としてもよい。

また、撮影環境の撮影画像データＤ１の取得は自動的に行われてもよいし手動的に行われてもよい。例えばカメラ装置２０（カメラ側コントローラ３４）及び端末装置１１（端末側コントローラ４０）が自動的に協働して撮影環境の撮影画像データＤ１を取得してもよいし、ユーザが端末装置１１（図１及び図２参照）を操作して手動的に指定した撮影環境の特定の範囲について撮影画像データＤ１が取得されてもよい。

プレサーチ処理Ｐ５によって取得された環境周波数情報Ｄ６は上述の解像度決定処理Ｐ３（図６参照）において用いられ、解像度決定処理Ｐ３（追尾画像生成処理Ｐ１）では、プレサーチ処理Ｐ５により取得される撮影環境の空間周波数（環境周波数情報Ｄ６）に基づいて、追尾画像データＤ２の解像度が決定される。図１４に示す例における解像度決定処理Ｐ３では、追尾基礎情報Ｄ４及び環境周波数情報Ｄ６に基づいて、追尾画像データＤ２における高解像度領域ＲＨ及び低解像度領域ＲＬを定める解像度情報Ｄ５が求められる。

解像度調整処理Ｐ４（追尾画像生成処理Ｐ１）では、このようにして決定された解像度情報Ｄ５と撮影画像データＤ１とに基づいて追尾画像データＤ２を生成し、例えばプレサーチ処理Ｐ５により取得される撮影環境の空間周波数が相対的に低い場合には、撮影環境の空間周波数が相対的に高い場合よりも追尾画像データＤ２の解像度が低く設定される。この追尾画像データＤ２の解像度の設定手法は特に限定されず、例えば撮影環境の空間周波数が相対的に低い場合には、「追尾画像データＤ２の高解像度領域ＲＨ」及び「追尾画像データＤ２の低解像度領域ＲＬ」のうちの一方又は両方に関し、撮影環境の空間周波数が相対的に高い場合よりも解像度を低く設定してもよい。

なおカメラ装置２０が固定的に設置される場合のようにカメラ装置２０によって撮像可能な範囲が変わらない環境下では、プレサーチ処理Ｐ５は、追尾撮影に先立て１回のみ行われてもよい。またプレサーチ処理Ｐ５によって取得される環境周波数情報Ｄ６は図示しないメモリに記憶しておいてもよい。解像度決定処理Ｐ３（追尾画像生成処理Ｐ１）では、メモリに記憶されている環境周波数情報Ｄ６が読み出されて使われることで、解像度情報Ｄ５を取得してもよい。

プレサーチ処理Ｐ５〜解像度決定処理Ｐ３の一連の処理フローに関し、一例として、プレサーチ処理Ｐ５がカメラ側コントローラ３４（カメラ装置２０）において行われ、解像度決定処理Ｐ３（追尾画像生成処理Ｐ１）が端末側コントローラ４０（端末装置１１）で行われるケースについて以下に説明する。

図１５は、第５実施形態に係るプレサーチ処理Ｐ５〜解像度決定処理Ｐ３の処理フローの一例を示す図である。

まずカメラ装置２０のパン・チルト機構によって撮像方向が調整されながら撮像部３０によって撮影環境が撮影され、カメラ側コントローラ３４によって撮影環境の撮影画像データＤ１が取得される（図１５のＳ５１）。カメラ側コントローラ３４では、この撮影環境の撮影画像データＤ１に基づきプレサーチ処理Ｐ５が行われて環境周波数情報Ｄ６が取得され（Ｓ５２）、この環境周波数情報Ｄ６はカメラ側通信部３６から送信され（Ｓ５３）、端末装置１１の端末側通信部４４によって受信され（Ｓ５４）、端末側コントローラ４０によって取得される。

そして追尾撮影が開始されると、撮影タイミング毎に（上述の「第１のタイミング」〜「第４のタイミング」参照）端末側コントローラ４０は追尾基礎情報Ｄ４を取得し（Ｓ５５）、この追尾基礎情報Ｄ４及び環境周波数情報Ｄ６に基づいて解像度決定処理Ｐ３を行って解像度情報Ｄ５を取得する（Ｓ５６）。このようにして取得される解像度情報Ｄ５は後段の解像度調整処理Ｐ４に供される。

＜第６実施形態＞
本実施形態では、プレサーチ処理Ｐ５及び解像度決定処理Ｐ３が端末側コントローラ４０（端末装置１１）で行われるケースについて説明する。本実施形態において、上述の第５実施形態と同一又は類似の構成については、その詳細な説明を省略する。

図１６は、第６実施形態に係るプレサーチ処理Ｐ５〜解像度決定処理Ｐ３の処理フローの一例を示す図である。

本実施形態においても、まずカメラ装置２０のパン・チルト機構によって撮像方向が調整されながら撮像部３０によって撮影環境が撮影され、カメラ側コントローラ３４によって撮影環境の撮影画像データＤ１が取得される（図１６のＳ６１）。この撮影環境の撮影画像データＤ１はカメラ側通信部３６から送信され（Ｓ６２）、端末装置１１の端末側通信部４４によって受信され（Ｓ６３）、端末側コントローラ４０によって取得される。

そして端末側コントローラ４０では、プレサーチ処理Ｐ５が行われて環境周波数情報Ｄ６が取得される（Ｓ６４）。

そして追尾撮影が開始されると、撮影タイミング毎に（上述の「第１のタイミング」〜「第４のタイミング」参照）端末側コントローラ４０は追尾基礎情報Ｄ４を取得し（Ｓ６５）、この追尾基礎情報Ｄ４及び環境周波数情報Ｄ６に基づいて解像度決定処理Ｐ３を行って解像度情報Ｄ５を取得する（Ｓ６６）。

＜第７実施形態＞
本実施形態では、プレサーチ処理Ｐ５及び解像度決定処理Ｐ３がカメラ側コントローラ３４（カメラ装置２０）で行われるケースについて説明する。本実施形態において、上述の第５実施形態と同一又は類似の構成については、その詳細な説明を省略する。

図１７は、第７実施形態に係るプレサーチ処理Ｐ５〜解像度決定処理Ｐ３の処理フローの一例を示す図である。

本実施形態においても、まずカメラ装置２０のパン・チルト機構によって撮像方向が調整されながら撮像部３０によって撮影環境が撮影され、カメラ側コントローラ３４によって撮影環境の撮影画像データＤ１が取得される（図１７のＳ７１）。そしてカメラ側コントローラ３４では、プレサーチ処理Ｐ５が行われて環境周波数情報Ｄ６が取得される（Ｓ７２）。

そして追尾撮影が開始されると、撮影タイミング毎に（上述の「第１のタイミング」〜「第４のタイミング」参照）カメラ側コントローラ３４は追尾基礎情報Ｄ４を取得し（Ｓ７３）、この追尾基礎情報Ｄ４及び環境周波数情報Ｄ６に基づいて解像度決定処理Ｐ３を行って解像度情報Ｄ５を取得する（Ｓ７４）。

＜他の変形例＞
上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、揮発性のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性のメモリ、及び／又はＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム等の各種の動作プログラムが適宜組み合わされることで実現することができる。また上述の端末装置１１及びカメラ装置２０の各部における画像処理方法及び追尾撮影方法に関する各種処理の手順をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的有形媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。特に端末装置１１における上述の各処理は、専用のアプリ上で実行されてもよいし、ブラウザ上で実行されてもよい。

また、本発明の端末装置１１の形態は特には限定されず、携帯電話機、スマートフォン、タブレット端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、又は携帯型ゲーム機によって端末装置１１が構成されてもよい。

１０…追尾システム、１１…端末装置、１２…筺体、１３…ディスプレイ、１４…操作パネル、１５…タッチパネル、１６…操作ボタン、１７…スピーカー、１８…マイクロホン、１９…端末カメラ、２０…カメラ装置、２１…撮影光学系、２２…装置本体、２３…台座、２４…ドームカバー、２５…保持部、２６…ギア、３０…撮像部、３２…撮像方向調整部、３４…カメラ側コントローラ、３６…カメラ側通信部、４０…端末側コントローラ、４２…ユーザインターフェース、４４…端末側通信部

Claims (12)

1. 撮影画像データを取得する撮像部と、前記撮像部の撮像方向を調整する撮像方向調整部と、追尾ターゲットの位置を示すターゲット情報に基づいて前記撮像方向調整部を制御するカメラ側コントローラと、前記カメラ側コントローラに接続されるカメラ側通信部とを有するカメラ装置と、
   前記カメラ側通信部と通信可能な端末側通信部と、前記端末側通信部に接続される端末側コントローラと、前記端末側コントローラに接続されるユーザインターフェースとを有する端末装置と、を備え、
   前記カメラ側コントローラ及び前記端末側コントローラのうち少なくともいずれか一方が、前記撮影画像データから追尾画像データを生成する追尾画像生成処理を行い、
   前記カメラ側コントローラ及び前記端末側コントローラのうち少なくともいずれか一方が、前記追尾画像データに基づいて前記ターゲット情報を取得する追尾演算処理を行い、
   前記追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、
   前記追尾画像生成処理では、前記追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、当該追尾基礎情報に基づいて前記高解像度領域及び前記低解像度領域が定められて前記追尾画像データが生成され、
   前記追尾画像生成処理と前記追尾演算処理とは並列的に行われる追尾システム。
2. 第１のタイミングにおいて取得された前記撮影画像データから生成される前記追尾画像データに基づいて、当該第１のタイミングにおける前記追尾ターゲットの位置を示す前記ターゲット情報を取得する前記追尾演算処理の少なくとも一部は、前記第１のタイミングの後の第２のタイミングにおける前記追尾ターゲットの位置を示す前記ターゲット情報を取得するために使われる前記追尾画像データを、当該第２のタイミングにおいて取得された前記撮影画像データから生成する前記追尾画像生成処理の少なくとも一部と同時に行われる請求項１に記載の追尾システム。
3. 前記追尾画像生成処理及び前記追尾演算処理は、前記カメラ側コントローラ及び前記端末側コントローラのうちの一方において行われる請求項１又は２に記載の追尾システム。
4. 前記追尾画像生成処理及び前記追尾演算処理のうちの一方は、前記カメラ側コントローラ及び前記端末側コントローラのうちの一方において行われ、
   前記追尾画像生成処理及び前記追尾演算処理のうちの他方は、前記カメラ側コントローラ及び前記端末側コントローラのうちの他方において行われる請求項１又は２に記載の追尾システム。
5. 前記追尾演算処理は、前記カメラ側コントローラ及び前記端末側コントローラの両者によって行われ、
   前記カメラ側コントローラ及び前記端末側コントローラのうち処理能力が相対的に高い方が前記高解像度領域の前記追尾演算処理を行い、前記カメラ側コントローラ及び前記端末側コントローラのうち処理能力が相対的に低い方が前記低解像度領域の前記追尾演算処理を行う請求項１〜３のいずれか一項に記載の追尾システム。
6. 前記カメラ側コントローラ及び前記端末側コントローラのうち少なくともいずれか一方が、前記カメラ装置によって撮像可能な範囲の少なくとも一部の前記撮影画像データの空間周波数を取得するプレサーチ処理を行い、
   前記追尾画像生成処理では、前記プレサーチ処理により取得される前記空間周波数に基づいて、前記追尾画像データの解像度が決定される請求項１〜５のいずれか一項に記載の追尾システム。
7. 前記追尾画像生成処理では、前記プレサーチ処理により取得される前記空間周波数が相対的に低い場合には、当該空間周波数が相対的に高い場合よりも前記追尾画像データの解像度が低く設定される請求項６に記載の追尾システム。
8. 撮影画像データを取得する撮像部と、前記撮像部の撮像方向を調整する撮像方向調整部と、追尾ターゲットの位置を示すターゲット情報に基づいて前記撮像方向調整部を制御するカメラ側コントローラと、前記カメラ側コントローラに接続されるカメラ側通信部とを有するカメラ装置に接続可能な端末装置であって、
   前記カメラ側通信部と通信可能な端末側通信部と、
   前記端末側通信部に接続される端末側コントローラと、
   前記端末側コントローラに接続されるユーザインターフェースと、を備え、
   前記カメラ側コントローラ及び前記端末側コントローラのうち少なくともいずれか一方が、前記撮影画像データから追尾画像データを生成する追尾画像生成処理を行い、
   前記端末側コントローラが、前記追尾画像データに基づいて前記ターゲット情報を取得する追尾演算処理を行い、当該ターゲット情報を前記端末側通信部及び前記カメラ側通信部を介して前記カメラ側コントローラに送信し、
   前記追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、
   前記追尾画像生成処理では、前記追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、当該追尾基礎情報に基づいて前記高解像度領域及び前記低解像度領域が定められて前記追尾画像データが生成され、
   前記追尾画像生成処理と前記追尾演算処理とは並列的に行われる端末装置。
9. 端末側通信部と、前記端末側通信部に接続される端末側コントローラと、前記端末側コントローラに接続されるユーザインターフェースとを有する端末装置に接続可能なカメラ装置であって、
   撮影画像データを取得する撮像部と、
   前記撮像部の撮像方向を調整する撮像方向調整部と、
   追尾ターゲットの位置を示すターゲット情報に基づいて前記撮像方向調整部を制御するカメラ側コントローラであって、前記撮影画像データから追尾画像データを生成する追尾画像生成処理と、前記追尾画像データに基づいて前記ターゲット情報を取得する追尾演算処理とを並列的に行うカメラ側コントローラと、を備え、
   前記追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、
   前記追尾画像生成処理では、前記追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、当該追尾基礎情報に基づいて前記高解像度領域及び前記低解像度領域が定められて前記追尾画像データが生成されるカメラ装置。
10. 撮影画像データを取得する撮像部と、前記撮像部の撮像方向を調整する撮像方向調整部と、追尾ターゲットの位置を示すターゲット情報に基づいて前記撮像方向調整部を制御するカメラ側コントローラと、前記カメラ側コントローラに接続されるカメラ側通信部とを有するカメラ装置と、前記カメラ側通信部と通信可能な端末側通信部と、前記端末側通信部に接続される端末側コントローラと、前記端末側コントローラに接続されるユーザインターフェースとを有する端末装置と、を備える追尾システムの追尾撮影方法であって、
    前記カメラ側コントローラ及び前記端末側コントローラのうち少なくともいずれか一方によって、前記撮影画像データから追尾画像データを生成する追尾画像生成処理を行うステップと、
    前記カメラ側コントローラ及び前記端末側コントローラのうち少なくともいずれか一方によって、前記追尾画像データに基づいて前記ターゲット情報を取得する追尾演算処理を行うステップと、を備え
    前記追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、
    前記追尾画像生成処理では、前記追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、当該追尾基礎情報に基づいて前記高解像度領域及び前記低解像度領域が定められて前記追尾画像データが生成され、
    前記追尾画像生成処理と前記追尾演算処理とは並列的に行われる追尾撮影方法。
11. 撮影画像データを取得する撮像部と、前記撮像部の撮像方向を調整する撮像方向調整部と、追尾ターゲットの位置を示すターゲット情報に基づいて前記撮像方向調整部を制御するカメラ側コントローラと、前記カメラ側コントローラに接続されるカメラ側通信部とを有するカメラ装置と、前記カメラ側通信部と通信可能な端末側通信部と、前記端末側通信部に接続される端末側コントローラと、前記端末側コントローラに接続されるユーザインターフェースとを有する端末装置と、を備える追尾システムを制御するためのプログラムであって、
    前記カメラ側コントローラ及び前記端末側コントローラのうち少なくともいずれか一方によって、前記撮影画像データから追尾画像データを生成する追尾画像生成処理を行う手順と、
    前記カメラ側コントローラ及び前記端末側コントローラのうち少なくともいずれか一方によって、前記追尾画像データに基づいて前記ターゲット情報を取得する追尾演算処理を行う手順と、をコンピュータに実行させ、
    前記追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、
    前記追尾画像生成処理では、前記追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、当該追尾基礎情報に基づいて前記高解像度領域及び前記低解像度領域が定められて前記追尾画像データが生成され、
    前記追尾画像生成処理と前記追尾演算処理とは並列的に行われるプログラム。
12. 撮影画像データを取得する撮像部と、前記撮像部の撮像方向を調整する撮像方向調整部と、追尾ターゲットの位置を示すターゲット情報に基づいて前記撮像方向調整部を制御するカメラ側コントローラと、前記カメラ側コントローラに接続されるカメラ側通信部とを有するカメラ装置と、前記カメラ側通信部と通信可能な端末側通信部と、前記端末側通信部に接続される端末側コントローラと、前記端末側コントローラに接続されるユーザインターフェースとを有する端末装置と、を備える追尾システムを制御するためのプログラムであって、
    前記カメラ側コントローラ及び前記端末側コントローラのうち少なくともいずれか一方によって、前記撮影画像データから追尾画像データを生成する追尾画像生成処理を行う手順と、
    前記カメラ側コントローラ及び前記端末側コントローラのうち少なくともいずれか一方によって、前記追尾画像データに基づいて前記ターゲット情報を取得する追尾演算処理を行う手順と、をコンピュータに実行させ、
    前記追尾画像データは、相対的に解像度が高い高解像度領域と相対的に解像度が低い低解像度領域とを含む画像のデータであり、
    前記追尾画像生成処理では、前記追尾ターゲットのサイズ及び速度のうち少なくともいずれか一方の情報を含む追尾基礎情報が取得され、当該追尾基礎情報に基づいて前記高解像度領域及び前記低解像度領域が定められて前記追尾画像データが生成され、
    前記追尾画像生成処理と前記追尾演算処理とは並列的に行われるプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。

Images