JPWO2016125352A1 - カメラ装置、撮像システム、制御方法及びプログラム - Google Patents

Abstract

本発明は、カメラ装置と端末装置との通信状態が良好な場合には、端末装置において追尾ターゲットの追尾のための画像処理を速く正確に行い、カメラ装置と端末装置との通信状態が不良となった場合にも、追尾ターゲットの追尾を円滑に継続することが可能であるカメラ装置、撮像システム、制御方法及びプログラムを提供する。本発明の一態様に係るカメラ装置は、撮像部と、撮像方向調整部と、撮像方向調整部を制御する方向制御部と、撮像画像データを解析して追尾ターゲットの位置を示す第１のターゲット情報を取得し、第１のターゲット情報を出力するカメラ側追尾演算処理部と、端末装置から第２のターゲット情報を受信するカメラ側通信部と、第１のターゲット情報を第２のターゲット情報に基づいて修正するカメラ側ターゲット情報修正部と、を備える。

Description

本発明は、カメラ装置、撮像システム、制御方法及びプログラムに関し、特に被写体を追尾する機能を有するカメラ装置、撮像システム、制御方法及びプログラムに関する。

特定の被写体を追尾しながら連続的に撮像を行う追尾撮像技術が、監視カメラや一般のデジタルカメラ等の分野において広く使われている。追尾ターゲットとなる特定の被写体の位置を特定する手法としては様々な方法が提案されており、例えば追尾ターゲットの特徴を撮像画像と照合する画像処理を行うことで画像内における追尾ターゲットの位置を特定する方法が知られている。

また、追尾ターゲットを追尾する機能を有するカメラ装置と遠隔にある端末装置との間で情報をやり取りさせて、追尾ターゲットを追尾させる技術が知られている。

例えば特許文献１には、カメラ装置（カメラ）と端末装置（モニタ）とが伝送ラインにより接続され、端末装置に追尾ターゲットを追尾するための画像処理を行う画像処理部を設けたシステムが開示されている。

また、近年スマートフォン及びタブレット端末等の計算処理能力は飛躍的に向上しており、スマートフォン及びタブレット端末を端末装置と使用して追尾ターゲットを追尾するための画像処理を行わせることにより速く正確な追尾を行うことが可能である。

特開２０００−０３２４３５号公報

しかしながら、特許文献１に記載された技術のように、端末装置にのみに追尾するための画像処理を行う画像処理部を設ける技術では、カメラ装置と端末装置との通信状態が不良となると、追尾が正確に行われない場合がある。すなわち、カメラ装置と端末装置との通信状態が不良であるために、追尾ターゲットを追尾するための画像処理（追尾処理）に必要なカメラ装置で撮像した撮像画像データの送信及び端末装置側で行われた追尾処理の解析結果の送信が困難となり、カメラ装置の撮像方向を正確に制御できない場合がある。

カメラ装置と端末装置との通信状態が不良となった場合の対策として、カメラ装置で追尾処理を行わせることも考えられる。しかし、一般にカメラ装置の計算能力は端末装置として使用されるスマートフォンやタブレット端末の計算能力よりも劣ることが多いので、カメラ装置で追尾処理を行うと追尾の精度が低下することが考えられる。

また、カメラ装置と端末装置との通信状態が不良となった場合に、端末装置での追尾処理からカメラ装置での追尾処理に移行させる方法も考えられる。しかし、通信不良となった時に改めてカメラ装置での追尾処理を開始したのでは、追尾ターゲットを探す初期動作に時間を要するので円滑な追尾ターゲットの追尾を行うことが難しい。

本発明はこのような事情に鑑みてなされたもので、その目的は、カメラ装置と端末装置との通信状態が良好な場合には、端末装置において追尾ターゲットの追尾のための画像処理を速く正確に行い、カメラ装置と端末装置との通信状態が不良となった場合にも、追尾ターゲットの追尾を円滑に継続することが可能であるカメラ装置、撮像システム、制御方法及びプログラムを提供することである。

本発明の一の態様であるカメラ装置は、撮像画像データを連続して取得する撮像部と、撮像部の撮像方向を調整する撮像方向調整部と、撮像方向調整部を制御する方向制御部と、撮像画像データを解析して追尾ターゲットの位置を示す第１のターゲット情報を取得し、第１のターゲット情報を出力するカメラ側追尾演算処理部と、カメラ装置を操作する端末装置と通信可能であるカメラ側通信部であって、端末装置から第２のターゲット情報を受信するカメラ側通信部と、第１のターゲット情報を第２のターゲット情報に基づいて修正するカメラ側ターゲット情報修正部と、を備え、方向制御部は、第１のターゲット情報及び第２のターゲット情報の両方が入力された場合には、第２のターゲット情報に基づいて撮像方向調整部を制御し、第１のターゲット情報及び第２のターゲット情報のうちいずれか一方のみが入力された場合には、第１のターゲット情報及び第２のターゲット情報のうち入力された情報に基づいて撮像方向調整部を制御する。

本態様によれば、撮像部の撮像方向は、カメラ装置で行われた撮像画像データの解析結果である第１のターゲット情報又は端末装置で行われた撮像画像データの解析結果である第２のターゲット情報に基づいて制御される。これにより、本態様では、カメラ装置と端末装置との通信状態が良好な場合には第２のターゲット情報に基づいて速く正確に追尾が行われ、カメラ装置と端末装置との通信状態が不良となった場合にも、第１のターゲット情報に基づいて追尾ターゲットの追尾が継続される。また、本態様によれば、第１のターゲット情報が第２のターゲット情報に基づいて修正されるので、第１のターゲット情報の正確さを向上させることができ且つ追尾ターゲットを改めて検出する初期動作に要する時間を抑制することができるので、カメラ装置と端末装置との通信状態が不良となった場合に行われるカメラ装置での追尾処理から端末装置での追尾処理への移行が円滑に行われる。

好ましくは、カメラ側追尾演算処理部は、第１のタイミングで取得される第１の撮像画像データを解析することで取得される第１のタイミングにおける第１のターゲット情報に基づいて、第１のタイミングの後の第２のタイミングで取得される第２の撮像画像データを解析することで第２のタイミングにおける第１のターゲット情報を取得し、第１のタイミングにおける第１のターゲット情報が第２のターゲット情報に基づいて修正されている場合には、カメラ側追尾演算処理部は、修正後の第１のタイミングにおける第１のターゲット情報に基づいて第２のタイミングにおける第１のターゲット情報を取得する。

本態様によれば、第１のタイミングにおける第１のターゲット情報が第１のタイミングにおける第２のターゲット情報に基づいて修正され、修正後の第１のタイミングの第１のターゲット情報に基づいて第２のタイミングにおける第１のターゲット情報が取得される。これにより、本態様は、カメラ装置において修正後の第１のターゲット情報に基づいて追尾処理が行われるので、カメラ装置における追尾処理をより正確に行うことができる。

好ましくは、カメラ側ターゲット情報修正部は、第１のターゲット情報の内容を第２のターゲット情報の内容に置換することで第１のターゲット情報を修正する。

本態様によれば、第１のターゲット情報の内容が第２のターゲット情報の内容に置換されるので、第１のターゲット情報の内容をより正確且つ効率的に修正することが可能である。

好ましくは、カメラ側ターゲット情報修正部は、第１のターゲット情報に基づいて特定される追尾ターゲットの位置と第２のターゲット情報に基づいて特定される追尾ターゲットの位置とに基づいて、第１のターゲット情報の修正の実行の有無を決定する。

本態様によれば、第１のターゲット情報の追尾ターゲットの位置と第２のターゲット情報の追尾ターゲットの位置とに基づいて、第１のターゲット情報に対する修正の実行の有無を決定するので、より効率的な第１のターゲット情報の修正を行うことができる。

好ましくは、カメラ側ターゲット情報修正部は、第１のターゲット情報に基づいて特定される追尾ターゲットの位置と第２のターゲット情報に基づいて特定される追尾ターゲットの位置との間の距離を表す差分距離を算出し、差分距離が第１の閾値以上の場合には、第１のターゲット情報の修正を行い、差分距離が第１の閾値よりも小さい場合には、第１のターゲット情報の修正は行わない。

本態様によれば、第１のターゲット情報での追尾ターゲットの位置と第２のターゲット情報での追尾ターゲットの位置とに基づいて第１のターゲット情報に対する修正の実行の有無を決定するので、より効率的な第１のターゲット情報の修正を行うことができる。

好ましくは、カメラ側ターゲット情報修正部は、タイマーを有し、タイマーからの情報に基づいて第１のターゲット情報の修正の実行の有無を決定する。

本態様によれば、タイマーからの情報に基づいて第１のターゲット情報の修正の実行が決定されるので、より安定的な第１のターゲット情報の修正を行うことができる。

好ましくは、カメラ側ターゲット情報修正部は、定期的に第１のターゲット情報の修正の実行の有無を決定する。

本態様によれば、定期的に第１のターゲット情報の修正の実行の有無が決定されるので、より安定的な第１のターゲット情報の修正を行うことができる。

好ましくは、端末装置は、カメラ側通信部に送信される撮像画像データのフレームレートをモニタリングするフレームレート監視部を更に有する。

本態様によれば、通信を行う端末装置においてフレームレート監視部が設けられているので、カメラ装置と端末装置との通信状態をより正確に把握することができる。

好ましくは、カメラ側ターゲット情報修正部は、フレームレート監視部によってモニタリングされるフレームレートが第２の閾値以下の場合は第１のターゲット情報の修正は行わない。

本態様によれば、フレームレート監視部によってモニタリングされるフレームレートが第２の閾値以下の場合は、第１のターゲット情報の信頼性が低下するので第１のターゲット情報の修正が行われないので、端末装置で算出される第２のターゲット情報の精度が高い場合に、第１のターゲット情報の修正を行うことができる。

好ましくは、端末装置は、第２のターゲット情報を第１のターゲット情報に基づいて修正する端末側ターゲット情報修正部を有し、端末側ターゲット情報修正部は、フレームレート監視部によってモニタリングされるフレームレートが第２の閾値以下となった後に第３の閾値以上となった場合に第２のターゲット情報を修正する。

本態様によれば、カメラ装置と端末装置との通信が不良となった後にカメラ装置と端末装置との通信が良好となった場合に、カメラ装置の第１ターゲット情報を使用して端末装置の第２のターゲット装置が修正される。これにより、本態様は、追尾ターゲットを検出する端末装置での初期動作の時間を抑制することができるので、端末装置での追尾処理をより速く且つ正確に行うことができる。

好ましくは、複数の端末装置は、複数の端末装置の各々における端末側通信部を介してカメラ装置に接続され、複数の端末装置の各々における端末側通信部は、フレームレート監視部がモニタリングしているフレームレートの情報と、第２のターゲット情報とを出力し、カメラ側ターゲット情報修正部は、端末装置の各々の端末側通信部から出力されるフレームレートの情報を比較して、最も高いフレームレートを示す端末装置の端末側通信部から出力される第２のターゲット情報に基づいて、第１のターゲット情報を修正する。

本態様によれば、カメラ装置と通信を行っている複数の端末装置のうちで最も高いフレームレートを示す端末装置の第２のターゲット情報に基づいて、第１のターゲット情報が修正されるので、より正確な第１のターゲット情報の修正を行うことができる。

好ましくは、カメラ装置は、端末装置との通信状態をモニタリングする通信監視部を更に有する。

本態様によれば、端末装置に通信状態をモニタリングする通信監視部を有しているので、より正確にカメラ装置と端末装置との通信状態を検出することができる。

好ましくは、カメラ側ターゲット情報修正部は、通信監視部によってモニタリングされる通信状態が切断状態となった場合は第１のターゲット情報の修正は行わない。

本態様によれば、端末装置の通信監視部によってモニタリングされる通信状態が切断状態となった場合は、第１のターゲット情報の修正は行われないのでより正確な第１のターゲット情報の修正を行うことができる。

好ましくは、端末装置は、第２のターゲット情報を第１のターゲット情報に基づいて修正する端末側ターゲット情報修正部を有し、端末側ターゲット情報修正部は、通信監視部によってモニタリングされる通信状態が切断状態となった後に再接続状態となった場合に第２のターゲット情報を修正する。

本態様によれば、カメラ装置と端末装置との通信が不良となった後にカメラ装置と端末装置との通信が良好となった場合に、カメラ装置の第１ターゲット情報を使用して端末装置の第２のターゲット装置が修正される。これにより、本態様は、追尾ターゲットを検出する端末装置での初期動作の時間を抑制することができるので、端末装置での追尾処理をより速く且つ正確に行うことができる。

本発明の他の態様である撮像システムは、撮像画像データを連続して取得する撮像部と、撮像部の撮像方向を調整する撮像方向調整部と、撮像方向調整部を制御する方向制御部と、撮像画像データを解析して追尾ターゲットの位置を示す第１のターゲット情報を取得し、第１のターゲット情報を出力するカメラ側追尾演算処理部と、カメラ側通信部と、第１のターゲット情報を第２のターゲット情報に基づいて修正するカメラ側ターゲット情報修正部と、を有するカメラ装置と、カメラ側通信部と通信可能な端末側通信部と、撮像画像データを解析して追尾ターゲットの位置を示す第２のターゲット情報を取得し、第２のターゲット情報を端末側通信部を介して出力する端末側追尾演算処理部と、を有する端末装置と、を備える撮像システムであって、カメラ側通信部は、受信した第２のターゲット情報を出力し、方向制御部は、第１のターゲット情報及び第２のターゲット情報の両方を受信した場合には、第２のターゲット情報に基づいて撮像方向調整部を制御し、第１のターゲット情報及び第２のターゲット情報のうちいずれか一方のみを受信した場合には、第１のターゲット情報及び第２のターゲット情報のうち受信した情報に基づいて撮像方向調整部を制御する。

本発明の他の態様である制御方法は、撮像画像データを連続して取得する撮像部と、撮像部の撮像方向を調整する撮像方向調整部と、撮像方向調整部を制御する方向制御部と、撮像画像データを解析して追尾ターゲットの位置を示す第１のターゲット情報を取得し、第１のターゲット情報を出力するカメラ側追尾演算処理部と、カメラ装置を操作する端末装置と通信可能であるカメラ側通信部であって、端末装置から第２のターゲット情報を受信するカメラ側通信部と、第１のターゲット情報を第２のターゲット情報に基づいて修正するカメラ側ターゲット情報修正部と、を備えるカメラ装置の制御方法であって、第１のターゲット情報及び第２のターゲット情報の両方が入力された場合には、第２のターゲット情報に基づいて撮像方向調整部を制御し、第１のターゲット情報及び第２のターゲット情報のうちいずれか一方のみが入力された場合には、第１のターゲット情報及び第２のターゲット情報のうち入力された情報に基づいて撮像方向調整部を制御する。

本発明の他の態様であるプログラムは、撮像画像データを連続して取得する撮像部と、撮像部の撮像方向を調整する撮像方向調整部と、撮像方向調整部を制御する方向制御部と、撮像画像データを解析して追尾ターゲットの位置を示す第１のターゲット情報を取得し、第１のターゲット情報を出力するカメラ側追尾演算処理部と、カメラ装置を操作する端末装置と通信可能であるカメラ側通信部であって、端末装置から第２のターゲット情報を受信するカメラ側通信部と、第１のターゲット情報を第２のターゲット情報に基づいて修正するカメラ側ターゲット情報修正部と、を備えるカメラ装置の制御方法をコンピュータに実行させるプログラムであって、第１のターゲット情報及び第２のターゲット情報の両方が入力された場合には、第２のターゲット情報に基づいて撮像方向調整部を制御し、第１のターゲット情報及び第２のターゲット情報のうちいずれか一方のみが入力された場合には、第１のターゲット情報及び第２のターゲット情報のうち入力された情報に基づいて撮像方向調整部を制御することをコンピュータに実行させる。

本発明によれば、撮像部の撮像方向は、カメラ装置で行われた撮像画像データの解析結果である第１のターゲット情報又は端末装置で行われた撮像画像データの解析結果である第２のターゲット情報に基づいて制御される。これにより、本発明では、カメラ装置と端末装置との通信状態が良好な場合には第２のターゲット情報に基づいて速く正確に追尾が行われ、カメラ装置と端末装置との通信状態が不良となった場合にも、第１のターゲット情報に基づいて追尾ターゲットの追尾が継続される。また、本発明によれば、第１のターゲット情報が第２のターゲット情報に基づいて修正されるので、第１のターゲット情報の正確さを向上させることができ且つ追尾ターゲットを改めて検出する初期動作に要する時間を抑制することができるので、カメラ装置と端末装置との通信状態が不良となった場合に行われるカメラ装置での追尾処理から端末装置での追尾処理への移行が円滑に行われる。

撮像システムの一例を示す外観斜視図である。 カメラ装置の機能構成の例を示すブロック図である。 端末装置の機能構成の例を示すブロック図である。 方向制御部に関して説明する図である。 カメラ側ターゲット情報修正部の機能構成の例を示すブロック図である。 カメラ側追尾演算処理部に関して説明する図である。 カメラ装置及び端末装置の動作フローを示すフロー図である。 カメラ装置の変形例１におけるカメラ側ターゲット情報修正部の機能構成の例を示すブロック図である。 カメラ装置の変形例２におけるカメラ側ターゲット情報修正部の機能構成の例を示すブロック図である。 変形例３のカメラ装置と端末装置とを示した外観斜視図である。

以下、添付図面に従って本発明の好ましい実施の形態について説明する。

図１は、本発明の一態様である撮像システム３００の一例を示す外観斜視図である。撮像システム３００は、端末装置１００（スマートフォン）と、カメラ装置１０（パン・チルトカメラ）とを備える。

端末装置１００は、カメラ装置１０を操作するための装置である。なお、図１に示す場合では端末装置１００はカメラ装置１０を無線で操作する例が示されているがこれに限定されるものではなく、端末装置１００とカメラ装置１０とは有線で接続されてもよい。

カメラ装置１０は、主として装置本体１２と、台座１４と、台座１４に固定されるとともに、撮像部２０を回動自在に保持する保持部１６と、撮像部２０を覆うドームカバー１８とを有している。

台座１４は、装置本体１２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図２）により垂直方向Ｚの軸を中心にして回転する。

保持部１６は、水平方向Ｘの軸と同軸上に設けられたギア１６Ａを有し、チルト駆動部３６（図２）からギア１６Ａを介して駆動力が伝達されることにより、撮像部２０を上下方向に回動（チルト動作）させる。

ドームカバー１８は、防塵及び防滴用のカバーであり、撮像部２０の光軸方向Ｌにかかわらず、撮像部２０の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。

また、装置本体１２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。

カメラ装置１０には、撮像開始を指示する撮像開始ボタン１９、電源スイッチ（図示せず）が設けられているが、カメラ装置１０は、カメラ側通信部５０（図２）を有し、主として外部の端末装置（本例では、スマートフォン）１００との無線通信により端末装置１００から各種の操作用の指示入力が加えられる。また、カメラ装置１０は、端末装置１００から撮像画像データを解析して得た追尾ターゲットの位置に関する情報を無線通信により取得する。なお、端末装置１００に関して説明は図３に沿って行う。

図２はカメラ装置１０（パン・チルトカメラ）の機能構成の例を示すブロック図である。

カメラ装置１０は、静止画及び動画の撮像も行うことができ、大別して撮像部２０、撮像方向調整部３０、制御部４０、信号処理部４１、カメラ側追尾演算処理部６５、カメラ側ターゲット情報修正部６４、カメラ側表示部６１、操作部６０、メモリ６２、カメラ側通信部５０、及びカメラ側通信監視部５１を備えている。

撮像部２０は、撮像レンズ２２、及び撮像素子（ＣＭＯＳ）２４等を有しており、撮像画像データを連続して取得する。撮像レンズ２２は、単焦点レンズ又はズームレンズにより構成され、被写体像を撮像素子２４の撮像面上に結像させる。尚、撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ（ズームレンズの場合）及び絞り２３は、それぞれレンズ駆動部２６により駆動される。

撮像素子２４は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンで配列（ベイヤ配列、ＧストライプＲ／Ｂ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）されたカラー撮像素子であり、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサにより構成されている。尚、ＣＭＯＳ型イメージセンサに限らず、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサでもよい。

撮像素子２４は、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳドライバ２８、及びタイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）２９により駆動され、撮像素子２４からは、被写体光の入射光量に応じた画素信号（画素毎に蓄積された信号電荷に対応するデジタル信号）が読み出される。

撮像方向調整部３０は、パン・チルト機構３２、パン駆動部３４、及びチルト駆動部３６等を備えており、撮像部２０の撮像方向を調整する。なお、パン・チルト機構３２は、図１に示したように撮像部２０を装置本体１２に対して水平方向（パン方向）に回転されるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構３２で構成されている。パン・チルト機構３２は、パン方向の回転角度（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。

信号処理部４１は、撮像部２０から入力されるデジタルの画像信号（撮像画像データ）に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理）、ＲＧＢ／ＹＣ変換処理等の信号処理を行う。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。また、ＲＧＢ／ＹＣ変換処理は、デモザイク処理されたＲＧＢ画像データから輝度データＹと、色差データＣｂ，Ｃｒとを生成する処理である。信号処理部４１は上述した処理を施した後の撮像画像データをカメラ側追尾演算処理部６５に送る。

カメラ側追尾演算処理部６５は、信号処理部４１から取得した撮像画像データを解析することにより追尾ターゲットの位置を示す第１のターゲット情報を取得する。

カメラ側追尾演算処理部６５は、追尾対象としての被写体（追尾ターゲット）が特定されると、追尾ターゲットが移動してもその追尾ターゲットの位置を示す座標を検出する機能を備えている。具体的には、まず始めに、追尾ターゲットが自動又は手動で設定され、続いて、信号処理部４１から順次得られる撮像動画（撮像画像データ）から追尾ターゲットの画像が顔検出処理又はパターンマッチング処理により検出される。尚、カメラ側追尾演算処理部６５において行われる顔検出処理やパターンマッチング処理については周知であるため、ここでは説明を省略する。また、被写体検出の別の方法として、動体を被写体とする場合には、動体検出により被写体が検出されてもよい。

カメラ側ターゲット情報修正部６４は、カメラ側追尾演算処理部６５により算出された第１のターゲット情報を、端末装置１００の端末側追尾演算処理部１９１（図３）において算出された第２のターゲット情報に基づいて修正する。カメラ側ターゲット情報修正部６４は、第１のターゲット情報を直接カメラ側追尾演算処理部６５から取得してもよいし、制御部４０を介して取得してもよい。また、カメラ側ターゲット情報修正部６４は、第２のターゲット情報を制御部４０を介して取得する。カメラ側ターゲット情報修正部６４に関しての詳しい説明は後述する。

制御部４０は、主として撮像制御部４２、レンズ制御部４３、方向制御部４４、及び動作制御部４６を備えている。

撮像制御部４２は、ＣＭＯＳドライバ２８、ＴＧ２９を介して撮像素子２４の画素毎のキャパシタに蓄積された電荷の排出、又はキャパシタに蓄積された電荷に対応する信号の読出し等を指令する部分であり、撮像制御を行う。

レンズ制御部４３は、レンズ駆動部２６を介して撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ、及び絞り２３を制御する部分であり、フォーカスレンズを合焦位置に移動させるオートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）制御等を行う。ＡＦ制御は、ＡＦエリアに対応するデジタル信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）が最大となる合焦位置を検出し、検出した合焦位置にフォーカスレンズを移動させることにより行う。

方向制御部４４は、撮像方向調整部３０を制御する部分である。具体的には自動追尾モードが設定されている場合には、方向制御部４４は、カメラ側追尾演算処理部６５により検出された被写体（追尾ターゲット）が画角の中心になるように撮像方向調整部３０を制御する。また自動追尾モードが設定されてない場合には、方向制御部４４は、操作部６０又は端末装置１００から送られてくる指示に従って、撮像方向調整部３０を制御する。自動追尾モードの設定の有無に関わらず方向制御部４４は、第１のターゲット情報又は第２のターゲット情報に基づいて撮像方向調整部３０を制御する。

動作制御部４６は、撮像制御部４２、レンズ制御部４３、及び方向制御部４４の動作を制御する。例えば、動作制御部４６は、方向制御部４４を制御してパン・チルト機構３２を作動させたり、停止させたりする。また、動作制御部４６は、第１のターゲット情報及び第２のターゲット情報を方向制御部４４に送り、追尾ターゲットを追尾するようにパン・チルト機構３２を方向制御部４４を介して制御する。また、動作制御部４６は、動画撮像された画像のメモリ６２への記録を停止させたり、その停止を解除させたりする。さらに、動作制御部４６は、撮像部２０での動画撮像を停止させて省電力モードにしたり、省電力モードを解除したりする。

カメラ側通信部５０は、図１に示した外部の端末装置１００との間で無線通信を行う部分であり、無線通信により端末装置１００から各種の操作用の指示を受信する。例えばカメラ側通信部５０は、端末装置１００の端末側追尾演算処理部１９１（図３）において算出された第２のターゲット情報を受信する。また、カメラ側通信部５０は、記録用の画像等を端末装置１００に送信し、更に撮像部２０により動画撮像され、信号処理部４１により処理された画像（撮像画像データ）を端末装置１００に送信することができる。これにより、動画等の記録用の画像を端末装置１００の内部又は外付け記録媒体に記録したり、ライブビュー画像を端末装置１００の表示部（表示入力部１２０）に表示させることができる。

カメラ側通信監視部５１は、カメラ側通信部５０と端末側通信部１１０との通信状態をモニタリングする。カメラ側通信監視部５１は、カメラ側通信部５０と端末側通信部１１０との通信状態を公知の方法によりモニタリングすることができる。例えば、カメラ側通信監視部５１は、端末側通信部１１０から送信されてくる電波に基づいて、カメラ側通信部５０と端末側通信部１１０との通信状態をモニタリングすることができる。

操作部６０は、装置本体１２に設けられた撮像開始ボタン１９（図１）、電源ボタン等を含み、端末装置１００からの操作用の指示入力と同様の操作用の指示入力を行うことができる。

カメラ側表示部６１は、ライブビュー画像、再生画像等を表示する画像表示部として機能するとともに、操作部６０と協働してメニュー画面の表示、各種のパラメータを設定及び入力するためのユーザインターフェース部として機能する。

メモリ６２は、静止画や動画を一時的に格納される記憶領域、各種の演算処理等を行う作業用領域となるＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、撮像用のプログラム及び制御に必要な各種データ等が格納されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を含む。メモリ６２への撮像部２０により動画撮像された画像の記録は動作制御部４６により制御されている。

図３は、端末装置１００の機能構成の例を示すブロック図である。

図３に示すように、端末装置１００の主たる構成要素として、端末側通信部１１０、表示入力部１２０、通話部１３０、操作部１４０、カメラ部１４１、記憶部１５０、外部入出力部１６０、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０、モーションセンサ部１８０、電源部１９０、端末側追尾演算処理部１９１、端末側ターゲット情報修正部１９３、端末側通信監視部１９５、及び主制御部１０１を備える。また、端末装置１００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

端末側通信部１１０は、主制御部１０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。本例では、端末装置１００の端末側通信部１１０は、カメラ装置１０に各種の操作用の指示入力を送信したり、カメラ装置１０からライブビュー画像（撮像画像データ）、記録用の画像等を受信する。

表示入力部１２０は、主制御部１０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する。表示入力部１２０は、表示パネル１２１と、操作パネル（タッチパネル）１２２とを備える。３Ｄ画像を鑑賞する場合には、表示パネル１２１は、３Ｄ表示パネルであることが好ましい。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１に示すように、端末装置１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、端末側通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部１４０は、端末装置１００の筐体１０２の表示入力部１２０の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ ＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、端末装置１００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｉｒｉａｌ Ｂｕｓ）など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

端末装置１００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、イヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータを端末装置１００の内部の各構成要素に伝達することや、端末装置１００の内部のデータが外部機器に伝送される。

ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、端末装置１００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、端末側通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、端末装置１００の物理的な動きを検出する。端末装置１００の物理的な動きを検出することにより、端末装置１００の動く方向や加速度が検出される。この検出結果は、主制御部１０１に出力される。

電源部１９０は、主制御部１０１の指示に従って、端末装置１００の各部に、バッテリ（図示せず）に蓄えられる電力を供給するものである。

主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、端末装置１００の各部を統括して制御するものである。また、主制御部１０１は、端末側通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、主制御部１０１は、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

主制御部１０１は、操作検出制御の実行により操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。

更に、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮像（撮像）するデジタルカメラである。

また、カメラ部１４１は、主制御部１０１の制御により、撮像によって得た画像データを、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や端末側通信部１１０を通じて出力することができる。

図１に示す端末装置１００において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮像に供するカメラ部１４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部１４１を同時に使用して撮像することもできる。

また、カメラ部１４１は端末装置１００の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、端末装置１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

本例では、ネットワーク等を介してカメラ装置１０を操作するためのアプリケーションソフトウェアをダウンロードして記憶部１５０に記憶させ、端末装置１００のアプリケーション処理機能により、ダウンロードしたアプリケーションソフトウェアに従って主制御部１０１を動作させることにより、汎用の端末装置１００を、カメラ装置１０を操作するためのユーザインターフェース部として機能させるようにしている。

端末側追尾演算処理部１９１は、撮像画像データを解析して追尾ターゲットの位置を示す第２のターゲット情報を取得し、第２のターゲット情報を端末側通信部１１０を介してカメラ装置１０に出力する。すなわち、端末側追尾演算処理部１９１は、カメラ側追尾演算処理部６５と同様に、追尾ターゲットの位置を示す座標を検出する機能を備えている。具体的には、端末側追尾演算処理部１９１は、顔検出処理又はパターンマッチング処理により追尾ターゲットを検出する。なお、顔検出処理やパターンマッチング処理については周知であるため、説明は省略する。

上述したように、カメラ装置１０においてもカメラ側追尾演算処理部６５で撮像画像データを解析することにより第１のターゲット情報が算出され、端末装置１００においても端末側追尾演算処理部１９１で撮像画像データを解析することにより第２のターゲット情報が算出される。

端末装置１００の具体例としては、スマートフォン及びタブレット端末が挙げられる。一般にスマートフォン又はタブレット端末を端末装置１００として用いた場合には、近年スマートフォン及びタブレット端末の計算能力の進歩のスピードは速いので、端末装置１００の端末側追尾演算処理部１９１の計算能力は、カメラ装置１０のカメラ側追尾演算処理部６５の計算能力よりも高い場合が多い。したがって、本発明では、カメラ装置１０と端末装置１００との通信状態が良好な場合には第２のターゲット情報に基づいて速く正確に追尾を行い、カメラ装置１０と端末装置１００との通信状態が不良となった場合にも、第１のターゲット情報に基づいて追尾ターゲットの追尾を継続することを可能にする。

端末側ターゲット情報修正部１９３は、第１のターゲット情報に基づいて第２のターゲット情報を修正する。端末側ターゲット情報修正部１９３は、常時第２のターゲット情報を修正してもよいし、ある特定の場合に第２のターゲット情報を修正してもよい。例えば、カメラ側通信監視部５１又は端末側通信監視部１９５によってモニタリングされる通信状態が切断状態となった後に再接続状態となった場合に第２のターゲット情報を修正する。また例えば、端末側ターゲット情報修正部１９３は、フレームレート監視部１９７によってモニタリングされるフレームレートが第２の閾値以下となった後に第３の閾値以上となった場合に、第２のターゲット情報を第１のターゲット情報で修正する。端末側ターゲット情報修正部１９３は、様々な方法で第２のターゲット情報を第１のターゲット情報で修正することができる。例えば、端末側ターゲット情報修正部１９３は、第２のターゲット情報の内容（座標）を第１のターゲット情報の内容（座標）に置換することにより修正を行う。ここで、第２の閾値及び第３の閾値は任意の値であるが、例えば、ヒステリシスを設ける意図で第２の閾値は第３の閾値よりも小さく設定することができる。

端末側通信監視部１９５は、カメラ側通信部５０との通信状態をモニタリングする。すなわち、端末側通信監視部１９５は、カメラ側通信部５０と端末側通信部１１０との通信状態を監視する。端末側通信監視部１９５は、様々な方法によりカメラ側通信部５０と端末側通信部１１０との通信状態を監視することができる。例えば、端末側通信監視部１９５はフレームレート監視部１９７を有し、フレームレート監視部１９７によりカメラ装置側通信部と端末側通信部１１０とのフレームレートを監視することにより通信状態を監視してもよい。

次にカメラ装置１０に設けられる方向制御部４４（図２を参照）に関して説明する。

図４は、方向制御部４４に入力される追尾ターゲット情報に関して説明する図である。方向制御部４４に第１のターゲット情報及び第２のターゲット情報のうち少なくとも一つが入力される。方向制御部４４は、第１のターゲット情報をカメラ側追尾演算処理部６５から取得してもよいし、カメラ側ターゲット情報修正部６４から取得してもよい。また方向制御部４４は、第２のターゲット情報をカメラ側通信部５０から取得してもよい。

図４の（Ａ）部分には、例えばカメラ装置１０と端末装置１００との通信状態が良好である場合が示されている。この場合には、方向制御部４４には、カメラ側ターゲット情報修正部６４で修正された第１のターゲット情報と端末側追尾演算処理部１９１で算出された第２のターゲット情報とが入力される。そして、方向制御部４４は、第１のターゲット情報及び第２のターゲット情報の両方が入力された場合には、第２のターゲット情報に基づいて撮像方向調整部３０を制御する。

前述したように、一般に追尾処理を行うための計算能力は端末装置１００の方が優れており第２のターゲット情報の方が信頼性が高い情報なので、方向制御部４４は第１のターゲット情報と第２のターゲット情報とを取得した場合には、第２のターゲット情報を撮像方向調整部３０のパン駆動部３４及びチルト駆動部３６に出力する。これにより、カメラ装置１０と端末装置１００との通信状態が良好である場合には、第２のターゲット情報を使用して撮像方向調整部３０を調節することにより、より正確で速い追尾を行うことができる。

図４の（Ｂ）部分には、例えばカメラ装置１０と端末装置１００との通信状態が不良の場合が示されている。カメラ装置１０と端末装置１００との通信状態が不良の場合には、カメラ装置１０は、端末装置１００から第２のターゲット情報を取得することが困難となる。したがって、方向制御部４４には、カメラ側追尾演算処理部６５で算出された第１のターゲット情報のみが入力される。そして、方向制御部４４は、入力された第１のターゲット情報に基づいて撮像方向調整部３０を制御する。

なお、カメラ側ターゲット情報修正部６４で第１のターゲット情報が修正されている場合には修正された第１のターゲット情報が方向制御部４４に入力され、第１のターゲット情報が修正されていない場合には修正されていない第１のターゲット情報が方向制御部４４に入力される。

次に、カメラ側ターゲット情報修正部６４に関して説明をする。

図５は、カメラ側ターゲット情報修正部６４の機能構成の例を示すブロック図である。カメラ側ターゲット情報修正部６４は、主に第１のターゲット情報取得部７２、第２のターゲット情報取得部７４、及び修正部７６から構成されている。

第１のターゲット情報取得部７２は、カメラ側追尾演算処理部６５から第１のターゲット情報を取得する。第２のターゲット情報取得部７４は、カメラ側通信部５０が端末装置１００から取得した第２のターゲット情報を制御部４０を介して第２のターゲット情報を取得する。

修正部７６は、第１のターゲット情報を第２のターゲット情報に基づいて修正する。修正部７６は、様々な方法で第２のターゲット情報に基づいて第１のターゲット情報を修正することができる。例えば修正部７６は、第１のターゲット情報の内容を第２のターゲット情報の内容に置換することで第１のターゲット情報を修正する。すなわち、第１のターゲット情報の内容としてカメラ側追尾演算処理部６５で算出された追尾ターゲットの座標であり、第２のターゲット情報の内容として端末側追尾演算処理部１９１で算出された追尾ターゲットの座標である場合には、第１のターゲット情報の内容の座標を第２のターゲット情報の座標に置換することにより、修正部７６は修正を行ってもよい。

修正部７６で修正された第１のターゲット情報は、その後の追尾演算に利用するためにカメラ側追尾演算処理部６５に送信される。

次に、カメラ側ターゲット情報修正部６４で修正された第１のターゲット情報の利用形態に関して説明する。修正された第１のターゲット情報の利用形態は、主に２つある。第１の利用形態としては、カメラ装置１０と端末装置１００との通信状態が不良の場合に、修正された第１のターゲット情報を利用して方向制御部４４が撮像方向調整部３０を制御することである。第２の利用形態としては、カメラ側追尾演算処理部６５が修正された第１のターゲット情報を利用して追尾ターゲットの追尾を行うことである。以下に、カメラ側追尾演算処理部６５が修正された第１のターゲット情報を利用して追尾ターゲットを追尾することに関して説明する。

図６は、カメラ側追尾演算処理部６５が第１のタイミングで取得したターゲット情報に基づいて、第１のタイミングよりも後の第２のタイミングの追尾ターゲットの検出を行うことを説明する図である。

図６の（Ａ）部分では、第１のタイミングで取得される第１の撮像画像データに対応する第１の撮像画像７８が示されている。図６の（Ａ）部分で示された場合では、追尾ターゲットはＣ点８３である。カメラ側追尾演算処理部６５が第１の撮像画像データを解析することにより、第１のターゲット情報であるＡ点８０の座標が取得される。また、端末側追尾演算処理部１９１が第１の撮像画像データを解析することにより、第２のターゲット情報であるＢ点８２の座標が取得される。ここで、追尾ターゲット（Ｃ点８３）の座標が正確に特定されることが理想的であるが、様々な要因で追尾ターゲット（Ｃ点８３）の座標が正確に特定されない場合がある（図６の（Ａ）部分のＡ点８０、Ｂ点８２、Ｃ点８３を参照）。また、カメラ側追尾演算処理部６５と端末側追尾演算処理部１９１との計算能力等に起因して、カメラ側追尾演算処理部６５で算出される第１のターゲット情報（Ａ点８０の座標）と端末側追尾演算処理部１９１で算出される第２のターゲット情報（Ｂ点８２の座標）とが異なる場合がある。さらに、端末装置１００の計算能力は一般にカメラ装置１０よりも高いので、第２のターゲット情報の方が追尾ターゲットに近い座標を示す場合が多い。

そこで、カメラ側ターゲット情報修正部６４は、第１のターゲット情報を第２のターゲット情報に基づいて修正する。これにより、カメラ側追尾演算処理部６５で算出される第１のターゲット情報が不正確であっても、第１のターゲット情報は第２のターゲット情報により修正されるので、より正確な追尾ターゲットの追尾を行うことができる。

また、カメラ側ターゲット情報修正部６４は第２のターゲット情報に基づいて第１のターゲット情報を修正するので、第１のターゲット情報の正確さを向上させることができ、カメラ装置１０と端末装置１００との通信状態が不良となった場合に行われるカメラ装置１０での追尾処理から遠隔装置での追尾処理への移行が円滑に行うことができる。

図６の（Ｂ）部分及び図６の（Ｃ）部分は、第２のタイミングで取得される第１の撮像画像データに対応する第２の撮像画像７９が示されている。ここで、第２の撮像画像データにおいて、追尾ターゲットを検出する場合には、第１のタイミング取得される追尾ターゲットの座標に基づいて、追尾ターゲットの検出が行われる。

図６の（Ｂ）部分に示す場合には、Ｂ点８２を中心として走査領域８５内で被写体検出領域８４を走査させて追尾ターゲットの検出が行われている。すなわち、カメラ側追尾演算処理部６５は、カメラ側ターゲット情報修正部６４で修正された第１のターゲット情報（Ｂ点８２の座標）を使用して、第２のタイミングにおける追尾ターゲット（Ｃ点８３）の検出を行う。一方図６の（Ｃ）部分に示す場合には、Ａ点８０を中心として走査領域８５内で被写体検出領域８４を走査させて追尾ターゲットの検出が行われている。すなわち、カメラ側追尾演算処理部６５は、カメラ側ターゲット情報修正部６４で修正されてない第１のターゲット情報（Ａ点８０の座標）を使用して、第２のタイミングにおける追尾ターゲット（Ｃ点８３）の検出を行う。

図６の（Ｂ）部分に示すように、第１のタイミングにおける追尾ターゲットの位置情報（座標）の精度が高いと第２のタイミングにおける追尾ターゲットの検出が速く正確になる。一方図６の（Ｃ）部分に示すように、第１のタイミングにおける追尾ターゲットの位置情報（座標）の精度が低いと、第２のタイミングにおける追尾ターゲットの検出に時間を要したり、第２のタイミングにおける追尾ターゲットの検出が不正確になったり不可能になったりする。よって、カメラ側ターゲット情報修正部６４は第１のターゲット情報を第２のターゲット情報で修正し、カメラ側追尾演算処理部６５は修正された第１のターゲット情報を使用して追尾ターゲットの追尾を行うことにより、より正確で速い追尾を行うことができる。

図７は、カメラ装置１０及び端末装置１００の動作フローを示すフロー図である。先ず、カメラ装置１０の撮像部２０により撮像画像データが取得される（ステップＳ１１）。その後、取得された撮像画像データは、カメラ装置１０のカメラ側通信部５０により撮像画像データが端末装置１００に送信される（ステップＳ１２）。また、カメラ側追尾演算処理部６５により撮像画像データから第１のターゲット情報が取得される（ステップＳ１３）。

次に、端末装置１００の端末側通信部１１０により、撮像画像データを受信し（ステップＳ１６）、端末側追尾演算処理部１９１は受信した撮像画像データを解析することにより第２のターゲット情報を取得する（ステップＳ１７）。その後、端末側通信部１１０により第２のターゲット情報がカメラ装置１０に送信される（ステップＳ１８）。

送信された第２のターゲット情報は、カメラ装置１０のカメラ側通信部５０により受信される（ステップＳ１４）。そして、カメラ側ターゲット情報修正部６４により、第１のターゲット情報を第２のターゲット情報に基づいて修正される（ステップＳ１５）。

以上説明したように、本実施形態によれば、撮像部２０の撮像方向は、カメラ装置１０で行われた撮像画像データの解析結果である第１のターゲット情報又は端末装置１００で行われた撮像画像データの解析結果である第２のターゲット情報に基づいて制御される。これにより、本実施形態は、カメラ装置１０と端末装置１００との通信状態が良好な場合には第２のターゲット情報に基づいて速く正確に追尾を行い、カメラ装置１０と端末装置１００との通信状態が不良となった場合にも、第１のターゲット情報に基づいて追尾ターゲットの追尾継続することが可能である。

さらに、本実施形態によれば、第１のターゲット情報が第２のターゲット情報に基づいて修正されるので、第１のターゲット情報の正確さを向上させることができ、カメラ装置１０と端末装置１００との通信状態が不良となった場合に行われるカメラ装置１０での追尾処理から遠隔装置での追尾処理への移行が円滑に行われる。

また、上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的有形媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

（変形例１）
次に、カメラ装置１０の変形例（変形例１）に関して説明する。

図８は、カメラ装置１０の変形例１におけるカメラ側ターゲット情報修正部６４の機能構成の例を示すブロック図である。変形例１のカメラ側ターゲット情報修正部６４は、第１のターゲット情報取得部７２、第２のターゲット情報取得部７４、及び修正部７６を備え、修正部７６は決定部８６を有している。なお、図５で既に説明を行ったブロックは、同じ符号を付し説明は省略する。

決定部８６は、カメラ側ターゲット情報修正部６４で行われる第１のターゲットの修正の実行を決定する。例えば、決定部８６は、第１のターゲット情報に基づいて特定される追尾ターゲットの位置と第２のターゲット情報に基づいて特定される追尾ターゲットの位置とに基づいて、第１のターゲット情報の修正の実行の有無を決定する。すなわち、決定部８６は、第１のターゲット情報と第２のターゲット情報との差分距離が第１の閾値以上の場合には、第１のターゲット情報の修正を行い、差分距離が第１の閾値よりも小さい場合には、第１のターゲット情報の修正は行わない。ここで差分距離は、第１のターゲット情報に基づいて特定される追尾ターゲットの位置と第２のターゲット情報に基づいて特定される追尾ターゲットの位置との間の距離を表す。

また、決定部８６は、カメラ装置１０と端末装置１００との通信状態の指標の一つであるフレームレートの数値に応じて、カメラ側ターゲット情報修正部６４で実行する修正の有無を決定してもよい。例えば、カメラ側ターゲット情報修正部６４は、フレームレート監視部１９７によってモニタリングされるフレームレートをカメラ側通信部５０を介して取得し、取得したフレームレートが第２の閾値以下の場合は第１のターゲット情報の修正は行わない。これによりカメラ装置１０は、より正確に第１のターゲット情報の修正を行うことができる。ここで、第１の閾値及び第２の閾値は任意に設定される数値であり、第１のターゲット情報を修正することの主旨を考慮して設定されてもよい。

また、決定部８６は、カメラ側通信監視部５１によってモニタリングされるカメラ装置１０と端末装置１００との通信状態が切断状態となった場合は、第１のターゲット情報の修正は行わないと決定してもよい。

（変形例２）
次に、カメラ装置１０の変形例（変形例２）に関して説明する。

図９は、カメラ装置１０の変形例２におけるカメラ側ターゲット情報修正部６４の機能構成の例を示すブロック図である。変形例２のカメラ側ターゲット情報修正部６４は、第１のターゲット情報取得部７２、第２のターゲット情報取得部７４、及び修正部７６を備え、修正部７６はタイマー８８を有している。なお、図５で既に説明を行ったブロックは、同じ符号を付し説明は省略する。

カメラ側ターゲット情報修正部６４は、タイマー８８を有し、タイマー８８からの情報に基づいて第１のターゲット情報の修正の実行の有無を決定する。すなわち、カメラ側ターゲット情報修正部６４は、タイマー８８の情報（時間）に基づいて第１のターゲット情報の修正を行ってもよい。例えば、カメラ側ターゲット情報修正部６４は、タイマー８８の情報により定期的に第１のターゲット情報の修正を行ってもよい。

このように、カメラ側ターゲット情報修正部６４がタイマー８８の情報に基づいて第１のターゲット情報を修正することにより、安定的な第１のターゲット情報の修正を行うことができる。

（変形例３）
次に、カメラ装置１０と端末装置１００との接続形態の変形例（変形例３）に関して説明する。

図１０は、変形例３のカメラ装置１０と端末装置１００とを示した外観斜視図である。図１０に示す場合では、カメラ装置１０は、複数の端末装置（端末装置１００Ａ、端末装置１００Ｂ、及び端末装置１００Ｃ）に接続されている。

カメラ側ターゲット情報修正部６４は、端末装置の各々の通信部から出力されるフレームレートの情報を比較して、最も高いフレームレートを示す端末装置の通信部から出力される第２のターゲット情報に基づいて、第１のターゲット情報を修正する。すなわち、カメラ側ターゲット情報修正部６４は、端末装置１００Ａ、端末装置１００Ｂ、及び端末装置１００Ｃのうち、最も高いフレームレートを示す端末装置から第２のターゲット情報を取得することにより、より正確な追尾ターゲットの追尾を行うことができる。

例えば、端末装置１００Ａのフレームレートが２４ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）端末装置１００Ｂのフレームレートが１２ｆｐｓ、及び端末装置１００Ｃのフレームレートが８ｆｐｓである場合に、カメラ装置１０の制御部４０により、各端末装置（端末装置１００Ａ、端末装置１００Ｂ、及び端末装置１００Ｃ）各端末装置のフレームレートが比較され最も高いフレームレートを示す端末装置１００Ａの第２のターゲット情報が取得される。なお、端末装置１００Ａ、端末装置１００Ｂ、及び端末装置１００Ｃのフレームレートは、各端末装置のフレームレート監視部１９７（図３を参照）で取得され、端末側通信部１１０を介してカメラ装置１０に送信される。

このように、カメラ装置１０と通信を行っている複数の端末装置のうちで最も高いフレームレートを示す端末装置の第２のターゲット情報に基づいて、第１のターゲット情報が修正されるので、より正確な第１のターゲット情報の修正を行うことができる。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…カメラ装置、１２…装置本体、１４…台座、１６…保持部、１６Ａ…ギア、１８…ドームカバー、１９…撮像開始ボタン、２０…撮像部、２２…撮像レンズ、２３…絞り、２４…撮像素子、２６…レンズ駆動部、２８…ＣＭＯＳドライバ、３０…撮像方向調整部、３２…パン・チルト機構、３４…パン駆動部、３６…チルト駆動部、４０…制御部、４１…信号処理部、４２…撮像制御部、４３…レンズ制御部、４４…方向制御部、４６…動作制御部、５０…カメラ側通信部、５１…カメラ側通信監視部、６０…操作部、６１…カメラ側表示部、６２…メモリ、６４…カメラ側ターゲット情報修正部、６５…カメラ側追尾演算処理部、１００…端末装置、１０１…主制御部、１０２…筐体、１１０…端末側通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…受信部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部、１９１…端末側追尾演算処理部、１９３…端末側ターゲット情報修正部、１９５…端末側通信監視部、１９７…フレームレート監視部、３００…撮像システム

Claims (18)

1. カメラ装置であって、
   撮像画像データを連続して取得する撮像部と、
   前記撮像部の撮像方向を調整する撮像方向調整部と、
   前記撮像方向調整部を制御する方向制御部と、
   前記撮像画像データを解析して追尾ターゲットの位置を示す第１のターゲット情報を取得し、前記第１のターゲット情報を出力するカメラ側追尾演算処理部と、
   カメラ装置を操作する端末装置と通信可能であるカメラ側通信部であって、前記端末装置から第２のターゲット情報を受信するカメラ側通信部と、
   前記第１のターゲット情報を前記第２のターゲット情報に基づいて修正するカメラ側ターゲット情報修正部と、
   を備え、
   前記方向制御部は、前記第１のターゲット情報及び前記第２のターゲット情報の両方が入力された場合には、前記第２のターゲット情報に基づいて前記撮像方向調整部を制御し、前記第１のターゲット情報及び前記第２のターゲット情報のうちいずれか一方のみが入力された場合には、前記第１のターゲット情報及び前記第２のターゲット情報のうち入力された情報に基づいて前記撮像方向調整部を制御するカメラ装置。
2. 前記カメラ側追尾演算処理部は、第１のタイミングで取得される第１の撮像画像データを解析することで取得される前記第１のタイミングにおける前記第１のターゲット情報に基づいて、前記第１のタイミングの後の第２のタイミングで取得される第２の撮像画像データを解析することで前記第２のタイミングにおける前記第１のターゲット情報を取得し、
   前記第１のタイミングにおける前記第１のターゲット情報が前記第２のターゲット情報に基づいて修正されている場合には、
   前記カメラ側追尾演算処理部は、修正後の前記第１のタイミングにおける前記第１のターゲット情報に基づいて前記第２のタイミングにおける前記第１のターゲット情報を取得する請求項１に記載のカメラ装置。
3. 前記カメラ側ターゲット情報修正部は、前記第１のターゲット情報の内容を前記第２のターゲット情報の内容に置換することで前記第１のターゲット情報を修正する請求項１又は２に記載のカメラ装置。
4. 前記カメラ側ターゲット情報修正部は、
   前記第１のターゲット情報に基づいて特定される前記追尾ターゲットの位置と前記第２のターゲット情報に基づいて特定される前記追尾ターゲットの位置とに基づいて、前記第１のターゲット情報の修正の実行の有無を決定する請求項１から３のいずれか１項に記載のカメラ装置。
5. 前記カメラ側ターゲット情報修正部は、
   前記第１のターゲット情報に基づいて特定される前記追尾ターゲットの位置と前記第２のターゲット情報に基づいて特定される前記追尾ターゲットの位置との間の距離を表す差分距離を算出し、
   差分距離が第１の閾値以上の場合には、前記第１のターゲット情報の修正を行い、
   差分距離が前記第１の閾値よりも小さい場合には、前記第１のターゲット情報の修正は行わない、請求項１から４のいずれか１項に記載のカメラ装置。
6. 前記カメラ側ターゲット情報修正部は、タイマーを有し、前記タイマーからの情報に基づいて前記第１のターゲット情報の修正の実行の有無を決定する請求項１から５のいずれか１項に記載のカメラ装置。
7. 前記カメラ側ターゲット情報修正部は、定期的に前記第１のターゲット情報の修正の実行の有無を決定する請求項１から６のいずれか１項に記載のカメラ装置。
8. 前記端末装置は、前記カメラ側通信部に送信される前記撮像画像データのフレームレートをモニタリングするフレームレート監視部を更に有する請求項１から７のいずれか１項に記載のカメラ装置。
9. 前記カメラ側ターゲット情報修正部は、前記フレームレート監視部によってモニタリングされるフレームレートが第２の閾値以下の場合は前記第１のターゲット情報の修正は行わない請求項８に記載のカメラ装置。
10. 前記端末装置は、
    前記第２のターゲット情報を前記第１のターゲット情報に基づいて修正する端末側ターゲット情報修正部を有し、
    前記端末側ターゲット情報修正部は、前記フレームレート監視部によってモニタリングされるフレームレートが第２の閾値以下となった後に第３の閾値以上となった場合に前記第２のターゲット情報を修正する請求項８又は９に記載のカメラ装置。
11. 複数の前記端末装置は、複数の前記端末装置の各々における端末側通信部を介して前記カメラ装置に接続され、
    複数の前記端末装置の各々における前記端末側通信部は、前記フレームレート監視部がモニタリングしているフレームレートの情報と、前記第２のターゲット情報とを出力し、
    前記カメラ側ターゲット情報修正部は、前記端末装置の各々の前記端末側通信部から出力されるフレームレートの情報を比較して、最も高いフレームレートを示す端末装置の前記端末側通信部から出力される前記第２のターゲット情報に基づいて、前記第１のターゲット情報を修正する請求項８から１０のいずれか１項に記載のカメラ装置。
12. 前記端末装置との通信状態をモニタリングする通信監視部を更に有する請求項１から１１のいずれか１項に記載のカメラ装置。
13. 前記カメラ側ターゲット情報修正部は、前記通信監視部によってモニタリングされる通信状態が切断状態となった場合は前記第１のターゲット情報の修正は行わない請求項１２に記載のカメラ装置。
14. 前記端末装置は、
    前記第２のターゲット情報を前記第１のターゲット情報に基づいて修正する端末側ターゲット情報修正部を有し、
    前記端末側ターゲット情報修正部は、前記通信監視部によってモニタリングされる通信状態が切断状態となった後に再接続状態となった場合に前記第２のターゲット情報を修正する請求項１２又は１３に記載のカメラ装置。
15. 撮像画像データを連続して取得する撮像部と、
    前記撮像部の撮像方向を調整する撮像方向調整部と、
    前記撮像方向調整部を制御する方向制御部と、
    前記撮像画像データを解析して追尾ターゲットの位置を示す第１のターゲット情報を取得し、前記第１のターゲット情報を出力するカメラ側追尾演算処理部と、
    カメラ側通信部と、
    前記第１のターゲット情報を第２のターゲット情報に基づいて修正するカメラ側ターゲット情報修正部と、
    を有するカメラ装置と、
    前記カメラ側通信部と通信可能な端末側通信部と、
    前記撮像画像データを解析して前記追尾ターゲットの位置を示す前記第２のターゲット情報を取得し、前記第２のターゲット情報を前記端末側通信部を介して出力する端末側追尾演算処理部と、
    を有する端末装置と、
    を備える撮像システムであって、
    前記カメラ側通信部は、受信した前記第２のターゲット情報を出力し、
    前記方向制御部は、前記第１のターゲット情報及び前記第２のターゲット情報の両方を受信した場合には、前記第２のターゲット情報に基づいて前記撮像方向調整部を制御し、前記第１のターゲット情報及び前記第２のターゲット情報のうちいずれか一方のみを受信した場合には、前記第１のターゲット情報及び前記第２のターゲット情報のうち受信した情報に基づいて前記撮像方向調整部を制御する撮像システム。
16. 撮像画像データを連続して取得する撮像部と、前記撮像部の撮像方向を調整する撮像方向調整部と、前記撮像方向調整部を制御する方向制御部と、前記撮像画像データを解析して追尾ターゲットの位置を示す第１のターゲット情報を取得し、前記第１のターゲット情報を出力するカメラ側追尾演算処理部と、カメラ装置を操作する端末装置と通信可能であるカメラ側通信部であって、前記端末装置から第２のターゲット情報を受信するカメラ側通信部と、前記第１のターゲット情報を前記第２のターゲット情報に基づいて修正するカメラ側ターゲット情報修正部と、を備えるカメラ装置の制御方法であって、
    前記第１のターゲット情報及び前記第２のターゲット情報の両方が入力された場合には、前記第２のターゲット情報に基づいて前記撮像方向調整部を制御し、前記第１のターゲット情報及び前記第２のターゲット情報のうちいずれか一方のみが入力された場合には、前記第１のターゲット情報及び前記第２のターゲット情報のうち入力された情報に基づいて前記撮像方向調整部を制御する制御方法。
17. 撮像画像データを連続して取得する撮像部と、前記撮像部の撮像方向を調整する撮像方向調整部と、前記撮像方向調整部を制御する方向制御部と、前記撮像画像データを解析して追尾ターゲットの位置を示す第１のターゲット情報を取得し、前記第１のターゲット情報を出力するカメラ側追尾演算処理部と、カメラ装置を操作する端末装置と通信可能であるカメラ側通信部であって、前記端末装置から第２のターゲット情報を受信するカメラ側通信部と、前記第１のターゲット情報を前記第２のターゲット情報に基づいて修正するカメラ側ターゲット情報修正部と、を備えるカメラ装置の制御方法をコンピュータに実行させるプログラムであって、
    前記第１のターゲット情報及び前記第２のターゲット情報の両方が入力された場合には、前記第２のターゲット情報に基づいて前記撮像方向調整部を制御し、前記第１のターゲット情報及び前記第２のターゲット情報のうちいずれか一方のみが入力された場合には、前記第１のターゲット情報及び前記第２のターゲット情報のうち入力された情報に基づいて前記撮像方向調整部を制御することをコンピュータに実行させるプログラム。
18. 請求項１７に記載のプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。

Images