JPWO2016125351A1 - 操作装置、追尾システム、操作方法、及びプログラム - Google Patents

Abstract

本発明は、小さい追尾対象や移動量の大きい追尾対象であっても、追尾を精度良く継続することができる操作装置、追尾システム、操作方法、及びプログラムを提供する。本発明の一態様に係る操作装置は、カメラから連続して送信される画像を受信する受信部と、カメラが追尾する追尾対象の特定を受け付ける追尾対象受付部と、受信部により連続して受信した画像に基づいて、連続する画像間の追尾対象の移動量を算出する移動量算出部と、移動量算出部で算出された移動量が第１の移動量閾値以上であるか否かを判定する移動量判定部と、移動量判定部により移動量が第１の移動量閾値以上であると判定された場合には、カメラが送信する画像のサイズを第１のサイズから第１のサイズよりも小さい第２のサイズに変更する指示をカメラに送信するサイズ指示送信部と、を備える。

Description

本発明は、操作装置、追尾システム、操作方法、及びプログラムに関し、特に被写体を追尾させるための操作装置、追尾システム、操作方法、及びプログラムに関する。

特定の被写体を追尾しながら連続的に撮像を行う追尾撮像技術が、監視カメラや一般のデジタルカメラ等の分野において広く使われている。追尾対象となる特定の被写体の位置を特定する手法としては様々な方法が提案されており、例えば追尾対象の特徴を撮像画像と照合する画像処理を行うことで画像内における追尾対象の位置を特定する方法が知られている。

また、追尾対象を追尾する機能を有するカメラと遠隔にある操作装置との間で情報をやり取りさせて、追尾対象を追尾させる技術が知られている。

また、追尾対象の動きに応じて追尾対象を追尾する技術が提案されている。

例えば、特許文献１には自動追尾機能付きのカメラと操作装置（遠隔操作装置）とが開示されており、追尾対象の移動速度が閾値未満である場合に画像の高解像度化を行う技術が開示されている。

特開２０１４−２１６６９４号公報

しかしながら、カメラと操作装置との間の通信速度は有限であるため、カメラから操作装置に送信する画像のサイズ（画素数）と操作装置で受信するフレームレートとはトレードオフの関係となる。すなわち、画像のサイズを大きくすると操作装置側で全てのフレームを受信できない場合があり、操作装置で受信するフレームレートは下がる傾向にある。

一方、画像のサイズを小さくしてしまうと、小さい追尾対象と他の被写体とを判別する精度が低下してしまうため、自動追尾を行っているカメラは追尾対象の追尾を精度良く継続することが難しくなる場合がある。

フレームレートが低下すると、動きが早い追尾対象を追尾している場合には、追尾対象の画像間での移動量が大きくなるため、自動追尾を行っているカメラは追尾対象の追尾を精度良く継続することが難しくなる場合がある。

本発明はこのような事情に鑑みてなされたもので、その目的は、小さい追尾対象や移動量の大きい追尾対象であっても、追尾を精度良く継続することができる操作装置、追尾システム、操作方法、及びプログラムを提供することである。

本発明の一の態様である操作装置は、自動追尾機能を備えたカメラに、自動追尾機能用の制御情報を送信する操作装置であって、カメラから連続して送信される画像を受信する受信部と、カメラが追尾する追尾対象の特定を受け付ける追尾対象受付部と、受信部により連続して受信した画像に基づいて、連続する画像間の追尾対象の移動量を算出する移動量算出部と、移動量算出部で算出された移動量が第１の移動量閾値以上であるか否かを判定する移動量判定部と、移動量判定部により移動量が第１の移動量閾値以上であると判定された場合には、カメラが送信する画像のサイズを第１のサイズから第１のサイズよりも小さい第２のサイズに変更する指示をカメラに送信するサイズ指示送信部と、を備える。

本態様によれば、追尾対象の移動量が第１の移動量閾値以上の場合には、カメラから送信される画像のサイズを小さいサイズに変更する指示が送信されるので、操作装置が受信するフレームレートが下がることが抑制され、移動量が大きい追尾対象であっても精度良く追尾を継続することができる。

また本態様によれば、追尾対象の移動量が第１の移動量閾値未満の場合には、カメラから送信される画像のサイズを小さいサイズに変更する指示が送信されないので、画像のサイズが小さくならず、小さい追尾対象であっても精度良く追尾を継続することができる。

好ましくは、操作装置は、画像の画像処理により追尾対象の追尾を行う追尾処理部であって、追尾の正確さを示す評価値を生成する評価値生成部と、評価値生成部で生成された評価値が評価値閾値以上であるか否かを判定する評価値判定部と、をさらに備え、サイズ指示送信部は、画像のサイズを第２のサイズに変更する指示を送信した後に、移動量判定部により移動量が第１の移動量閾値未満であると判定され且つ評価値判定部により評価値が評価値閾値以上であると判定された場合には、画像のサイズを第２のサイズから第１のサイズに変更する指示を送信する。

本態様によれば、被写体の移動量が第１の移動量閾値未満であって追尾の評価値が評価値閾値以上であると判定された場合に、画像のサイズが元の大きいサイズに変更される指示が送信される。これにより、本態様は、操作装置が大きいサイズの画像により追尾処理を行うことができるので、精度の良い追尾を行うことができる。

好ましくは、操作装置は、画像処理により追尾対象の追尾を行う追尾処理部であって、追尾の正確さを示す評価値を生成する評価値生成部と、評価値生成部で生成された評価値が評価値閾値以上であるか否かを判定する評価値判定部と、をさらに備え、移動量判定部は、移動量が第１の移動量閾値よりも小さい第２の移動量閾値未満であるか否かを判定し、サイズ指示送信部は、移動量判定部により移動量が第２の移動量閾値未満であると判定され且つ評価値判定部により評価値が評価値閾値以上であると判定された場合には、画像のサイズを第１のサイズよりも大きい第３のサイズに変更する指示を生成する。

本態様によれば、被写体の移動量が第２の移動量閾値未満であって追尾の評価値が評価値閾値以上であると判定された場合に、画像のサイズが元の大きいサイズに変更する指示が送信される。これにより、本態様は、操作装置が大きいサイズの画像により追尾処理を行うことができるので、精度の良い追尾を行うことができる。

好ましくは、評価値生成部は、ブロックマッチングにおけるテンプレート画像とテンプレート画像に対応する領域の画像との各画素の差分の絶対値の総和に基づいて、評価値を生成する。

本態様によれば、追尾の評価がブロックマッチングにおけるテンプレート画像とテンプレート画像に対応する領域の画像との各画素の差分の絶対値の総和に基づいて行われる。これにより、本態様は、精度良く追尾の評価が行われるので、より精度の良い追尾を行うことができる。

好ましくは、操作装置は、受信部が連続して受信した画像から受信した画像のフレームレートを検出するフレームレート検出部と、フレームレート検出部により検出されたフレームレートがフレームレート閾値未満であるか否かを判定するフレームレート判定部と、を備え、サイズ指示送信部は、フレームレート判定部によりフレームレートがフレームレート閾値未満であると判定された場合には、画像のサイズを第２のサイズに変更する指示を送信する。

本態様によれば、フレームレートがフレームレート閾値未満である場合に画像のサイズを第２のサイズに変更する指示が送信されるので、小さいサイズの画像が送信されるようになり、下がってしまったフレームレートを上げることができる。これにより、本態様は、移動量が大きい追尾対象であっても精度良く追尾を行うことができる。

好ましくは、フレームレート検出部が検出したフレームレートに基づいてカメラとの通信速度を取得する通信速度取得部をさらに備える。

本態様によれば、フレームレートに基づいてカメラと操作装置との通信速度が取得されるので、より精度良く通信速度が取得される。

好ましくは、操作装置は、カメラにカメラとの通信状態に関する情報を送信する通信情報送信部をさらに備え、通信情報送信部は、フレームレート判定部によりフレームレートがフレームレート閾値未満であると判定された場合には、通信状態に関する情報として通信エラーに関する情報を送信する。

本態様によれば、フレームレートがフレームレート閾値未満である場合に通信エラーに関する情報がカメラに送信されるので、カメラは操作装置における通信状態を把握することができる。

好ましくは、フレームレート閾値は、カメラが送信する画像のサイズに応じて設定されている。

本態様によれば、フレームレート閾値が画像のサイズに応じて設定されているので、より精度良くフレームレートの判定を行うことができる。

好ましくは、操作装置は、カメラから連続して送信される画像を表示する表示部と、表示部の画面上での入力位置を指定する入力部と、をさらに備え、追尾対象受付部は、入力部で指定された入力位置の被写体を追尾対象として受け付ける。

本態様によれば、表示部の表示画面上の位置を入力部により指定されることにより追尾対象が受け付けられるので、より簡易に追尾対象が特定される。

本発明の他の態様である追尾システムは、カメラとカメラを操作するための操作装置とを備える追尾システムであって、カメラは、画像を取得する撮像部と、撮像部の撮像方向を切り換える撮像方向切換機構と、画像を送信する画像送信部と、操作装置からの指示を受信する指示受信部と、画像送信部により送信された画像の受信状況に応じて画像のサイズの変更指示を送信する操作装置からの指示に基づいて、画像送信部から操作装置に送信する画像のサイズを変更するサイズ変更部と、を備え、操作装置は、カメラから連続して送信される画像を受信する受信部と、カメラが追尾する追尾対象の特定を受け付ける追尾対象受付部と、受信部により連続して受信された画像に基づいて、追尾対象の連続する画像間の移動量を算出する移動量算出部と、移動量算出部で算出された移動量が第１の移動量閾値以上であるか否かを判定する移動量判定部と、移動量判定部により移動量が第１の移動量閾値以上であると判定された場合には、カメラが送信する画像の解像度を第１のサイズから第１のサイズよりも小さい第２のサイズに変更する指示をカメラに送信するサイズ指示送信部と、を備える。

本発明の他の態様である操作方法は、自動追尾機能を備えたカメラに、自動追尾機能用の制御情報を送信する操作方法であって、カメラから連続して送信される画像を受信する受信ステップと、カメラが追尾する追尾対象の特定を受け付ける追尾対象受付ステップと、受信ステップにより連続して受信した画像に基づいて、連続する画像間の追尾対象の移動量を算出する移動量算出ステップと、移動量算出ステップで算出された移動量が第１の移動量閾値以上であるか否かを判定する移動量判定ステップと、移動量判定ステップにより移動量が第１の移動量閾値以上であると判定された場合には、カメラが送信する画像のサイズを第１のサイズから第１のサイズよりも小さい第２のサイズに変更する指示をカメラに送信するサイズ指示送信ステップと、を含む。

好ましくは、操作方法は、画像の画像処理により追尾対象の追尾を行う追尾処理ステップであって、追尾の正確さを示す評価値を生成する評価値生成ステップと、評価値生成ステップで生成された評価値が評価値閾値以上であるか否かを判定する評価値判定ステップと、をさらに含み、サイズ指示送信ステップは、画像のサイズを第２のサイズに変更する指示を送信した後に、移動量判定ステップにより移動量が第１の移動量閾値未満であると判定され且つ評価値判定ステップにより評価値が評価値閾値以上であると判定された場合には、画像のサイズを第２のサイズから第１のサイズに変更する指示を送信する。

好ましくは、操作方法は、画像処理により追尾対象の追尾を行う追尾処理ステップであって、追尾の正確さを示す評価値を生成する評価値生成ステップと、評価値生成ステップで生成された評価値が評価値閾値以上であるか否かを判定する評価値判定ステップと、をさらに含み、移動量判定ステップは、移動量が第１の移動量閾値よりも小さい第２の移動量閾値未満であるか否かを判定し、サイズ指示送信ステップは、移動量判定ステップにより移動量が第２の移動量閾値未満であると判定され且つ評価値判定ステップにより評価値が評価値閾値以上であると判定された場合には、画像のサイズを第１のサイズよりも大きい第３のサイズに変更する指示を生成する。

好ましくは、評価値生成ステップは、ブロックマッチングにおけるテンプレート画像とテンプレート画像に対応する領域の画像との各画素の差分の絶対値の総和に基づいて、評価値を生成する。

好ましくは、操作方法は、受信ステップが連続して受信した画像から受信した画像のフレームレートを検出するフレームレート検出ステップと、フレームレート検出ステップにより検出されたフレームレートがフレームレート閾値未満であるか否かを判定するフレームレート判定ステップと、を含み、サイズ指示送信ステップは、フレームレート判定ステップによりフレームレートがフレームレート閾値未満であると判定された場合には、画像のサイズを第２のサイズに変更する指示を送信する。

好ましくは、操作方法は、フレームレート検出ステップが検出したフレームレートに基づいてカメラとの通信速度を取得する通信速度取得ステップをさらに含む。

好ましくは、操作方法は、カメラにカメラとの通信状態に関する情報を送信する通信情報送信ステップをさらに含み、通信情報送信ステップは、フレームレート判定ステップによりフレームレートがフレームレート閾値未満であると判定された場合には、通信状態に関する情報として通信エラーに関する情報を送信する。

好ましくは、フレームレート閾値は、カメラが送信する画像のサイズに応じて設定されている。

好ましくは、操作方法は、カメラから連続して送信される画像を表示する表示ステップと、表示ステップの画面上での入力位置を指定する入力ステップと、をさらに含み、追尾対象受付ステップは、入力ステップで指定された入力位置の被写体を追尾対象として受け付ける。

本発明の他の態様であるプログラムは、自動追尾機能を備えたカメラに、自動追尾機能用の制御情報を送信する操作方法をコンピュータに実行させるプログラムであって、カメラから連続して送信される画像を受信する受信ステップと、カメラが追尾する追尾対象の特定を受け付ける追尾対象受付ステップと、受信ステップにより連続して受信した画像に基づいて、連続する画像間の追尾対象の移動量を算出する移動量算出ステップと、移動量算出ステップで算出された移動量が第１の移動量閾値以上であるか否かを判定する移動量判定ステップと、移動量判定ステップにより移動量が第１の移動量閾値以上であると判定された場合には、カメラが送信する画像のサイズを第１のサイズから第１のサイズよりも小さい第２のサイズに変更する指示をカメラに送信するサイズ指示送信ステップと、を含む。

本発明によれば、追尾対象の移動量が第１の移動量閾値以上の場合には、カメラから送信される画像のサイズを小さいサイズに変更する指示が送信されるので、操作装置が受信するフレームレートが下がることが抑制され、移動量が大きい追尾対象であっても精度良く追尾を継続することができる。また、本発明によれば、追尾対象の移動量が第１の移動量閾値未満の場合には、カメラから送信される画像のサイズを小さいサイズに変更する指示が送信されないので、画像サイズが小さくならず、小さい追尾対象であっても精度良く追尾を継続することができる。

追尾システムの一例を示す外観斜視図である。 カメラの機能構成の例を示すブロック図である。 操作装置の機能構成の例を示すブロック図である。 第１の実施形態における操作装置の動作を示すフロー図である。 第２の実施形態の操作装置の動作を示すフロー図である。 第３の実施形態の操作装置の動作を示すフロー図である。 第４の実施形態の操作装置の機能構成の例を示すブロック図である。 第４の実施形態における操作装置の動作を示すフロー図である。

以下、添付図面に従って本発明に係る撮像装置及び撮像方法の好ましい実施の形態について説明する。

以下、添付図面に従って本発明の好ましい実施の形態について説明する。

図１は、本発明の一態様である追尾システム３００の一例を示す外観斜視図である。追尾システム３００は、操作装置１００（スマートフォン）と、カメラ１０（自動追尾機能を備えたパン・チルトカメラ）とを備える。

操作装置１００は、カメラ１０を操作するための装置である。なお、図１に示す場合では操作装置１００はカメラ１０を無線で操作する例が示されているがこれに限定されるものではなく、操作装置１００とカメラ１０とは有線で接続されてもよい。

カメラ１０は、主として装置本体１２と、台座１４と、台座１４に固定されるとともに、撮像部２０を回動自在に保持する保持部１６と、撮像部２０を覆うドームカバー１８とを有している。

台座１４は、装置本体１２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図２）により垂直方向Ｚの軸を中心にして回転する。

保持部１６は、水平方向Ｘの軸と同軸上に設けられたギア１６Ａを有し、チルト駆動部３６（図２）からギア１６Ａを介して駆動力が伝達されることにより、撮像部２０を上下方向に回動（チルト動作）させる。

ドームカバー１８は、防塵及び防滴用のカバーであり、撮像部２０の光軸方向Ｌにかかわらず、撮像部２０の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。

また、装置本体１２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。

カメラ１０には、撮像開始を指示する撮像開始ボタン１９、電源スイッチ（図示せず）が設けられているが、カメラ１０は、カメラ側通信部５０（図２）を有し、主として外部の操作装置（本例では、スマートフォン）１００との無線通信により操作装置１００から各種の操作用の指示入力が加えられる。また、カメラ１０は、操作装置１００から撮像画像データを解析して得た追尾対象の位置に関する情報を無線通信により取得する。なお、操作装置１００に関して説明は図３に沿って行う。また、カメラ１０は、通信状態のエラーに関しての警告表示を行う警告表示部（図示せず）を備えていてもよい。

図２はカメラ１０（パン・チルトカメラ）の機能構成の例を示すブロック図である。

カメラ１０は、静止画及び動画の撮像も行うことができ、大別して撮像部２０、撮像方向調整部３０、制御部４０、信号処理部４１、カメラ側表示部６１、操作部６０、メモリ６２、カメラ側通信部５０、及びサイズ変更部６５を備えている。

撮像部２０は、撮像レンズ２２、及び撮像素子（ＣＭＯＳ）２４等を有しており、撮像画像データを連続して取得する。撮像レンズ２２は、単焦点レンズ又はズームレンズにより構成され、被写体像を撮像素子２４の撮像面上に結像させる。尚、撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ（ズームレンズの場合）及び絞り２３は、それぞれレンズ駆動部２６により駆動される。

撮像素子２４は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンで配列（ベイヤ配列、ＧストライプＲ／Ｂ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）されたカラー撮像素子であり、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサにより構成されている。尚、ＣＭＯＳ型イメージセンサに限らず、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサでもよい。

撮像素子２４は、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳドライバ２８、及びタイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）２９により駆動され、撮像素子２４からは、被写体光の入射光量に応じた画素信号（画素毎に蓄積された信号電荷に対応するデジタル信号）が読み出される。

撮像方向調整部３０は、パン・チルト機構３２、パン駆動部３４、及びチルト駆動部３６等を備えており、撮像部２０の撮像方向を調整する。なお、パン・チルト機構（撮像方向切換機構）３２は、図１に示したように撮像部２０を装置本体１２に対して水平方向（パン方向）に回転されるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構３２で構成されている。パン・チルト機構３２は、パン方向の回転角度（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。パン・チルト機構３２により撮像部２０の撮像方向が切り換えられる。

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。

信号処理部４１は、撮像部２０から入力されるデジタルの画像信号（撮像画像データ）に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理）、ＲＧＢ／ＹＣ変換処理等の信号処理を行う。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。また、ＲＧＢ／ＹＣ変換処理は、デモザイク処理されたＲＧＢ画像データから輝度データＹと、色差データＣｂ，Ｃｒとを生成する処理である。信号処理部４１は上述した処理を施した後の撮像画像データを送る。

サイズ変更部６５は、操作装置１００に送信するための画像のサイズを変更する。すなわち、サイズ変更部６５は、操作装置１００にライブビュー画像として表示される画像のサイズを操作装置１００に送信するために変更する。例えば、サイズ変更部６５は、信号処理部４１から取得した画像が記録用のフルＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）（１９２０×１０８０）であった場合に、フルＨＤの画像をＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）（６４０×４８０）にサイズを小さくする。また、サイズ変更部６５は、画像送信部により送信された画像の受信状況に応じて画像のサイズの変更指示を送信する操作装置１００からの指示に基づいて、画像送信部から操作装置１００に送信する画像のサイズを変更してもよい。例えば、サイズ変更部６５は、操作装置１００にＶＧＡの画像を送信していた場合に、操作装置１００からサイズを小さくする指示をカメラ側通信部５０を介して受信すると、画像のサイズをＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）（３２０ｘ２４０）にサイズを小さくする。なお、画像のサイズに関しては上述したフルＨＤ、ＶＧＡ、ＱＶＧＡに限定されるものではなく様々な画像のサイズが使用される。また、サイズ変更部６５は、サイズを小さくするのと同様にサイズを大きくすることもできる。

制御部４０は、主として撮像制御部４２、レンズ制御部４３、方向制御部４４、及び動作制御部４６を備えている。

撮像制御部４２は、ＣＭＯＳドライバ２８、ＴＧ２９を介して撮像素子２４の画素毎のキャパシタに蓄積された電荷の排出、又はキャパシタに蓄積された電荷に対応する信号の読出し等を指令する部分であり、撮像制御を行う。

レンズ制御部４３は、レンズ駆動部２６を介して撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ、及び絞り２３を制御する部分であり、フォーカスレンズを合焦位置に移動させるオートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）制御等を行う。ＡＦ制御は、ＡＦエリアに対応するデジタル信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）が最大となる合焦位置を検出し、検出した合焦位置にフォーカスレンズを移動させることにより行う。

方向制御部４４は、撮像方向調整部３０を制御する部分である。具体的には自動追尾モードが設定されている場合には、方向制御部４４は、被写体（追尾対象）が画角の中心になるように撮像方向調整部３０を制御する。また自動追尾モードが設定されてない場合には、方向制御部４４は、操作部６０又は操作装置１００から送られてくる指示に従って、撮像方向調整部３０を制御する。

動作制御部４６は、撮像制御部４２、レンズ制御部４３、及び方向制御部４４の動作を制御する。例えば、動作制御部４６は、方向制御部４４を制御してパン・チルト機構３２を作動させたり、停止させたりする。また、動作制御部４６は、追尾機能用の制御情報を方向制御部４４に送り、追尾対象を追尾するようにパン・チルト機構３２を方向制御部４４を介して制御する。また、動作制御部４６は、動画撮像された画像のメモリ６２への記録を停止させたり、その停止を解除させたりする。さらに、動作制御部４６は、撮像部２０での動画撮像を停止させて省電力モードにしたり、省電力モードを解除したりする。

カメラ側通信部５０は、図１に示した外部の操作装置１００との間で無線通信を行う部分であり、画像を操作装置１００に送信する画像送信部及び操作装置１００からの指示を受信する指示受信部として機能する。例えば、カメラ側通信部５０は、記録用の画像等を操作装置１００に送信し、更に撮像部２０により動画撮像され、信号処理部４１により処理された画像（撮像画像データ）を操作装置１００に送信することができる。これにより、動画等の記録用の画像を操作装置１００の内部又は外付け記録媒体に記録したり、ライブビュー画像を操作装置１００の表示部（表示入力部１２０）に表示させることができる。また例えば、カメラ側通信部５０は、操作装置１００から送信される画像のサイズの変更指示を受信することができる。

操作部６０は、装置本体１２に設けられた撮像開始ボタン１９（図１）、電源ボタン等を含み、操作装置１００からの操作用の指示入力と同様の操作用の指示入力を行うことができる。

カメラ側表示部６１は、ライブビュー画像、再生画像等を表示する画像表示部として機能するとともに、操作部６０と協働してメニュー画面の表示、各種のパラメータを設定及び入力するためのユーザインターフェース部として機能する。

メモリ６２は、静止画や動画を一時的に格納される記憶領域、各種の演算処理等を行う作業用領域となるＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、撮像用のプログラム及び制御に必要な各種データ等が格納されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を含む。メモリ６２への撮像部２０により動画撮像された画像の記録は動作制御部４６により制御されている。

図３は、操作装置１００の機能構成の例を示すブロック図である。

図３に示すように、操作装置１００の主たる構成要素として、端末側通信部（受信部）１１０、表示入力部１２０、通話部１３０、操作部１４０、カメラ部１４１、記憶部１５０、外部入出力部１６０、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０、モーションセンサ部１８０、電源部１９０、移動量判定部１９３、移動量算出部１９１、追尾処理部１９７、及び主制御部１０１を備える。また、操作装置１００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

端末側通信部１１０は、主制御部１０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。本例では、操作装置１００の端末側通信部１１０は、カメラ１０に各種の操作用の指示入力を送信したり、カメラ１０から連続して送信される画像（ライブビュー画像）、記録用の画像等を受信する受信部として機能する。

表示入力部１２０は、主制御部１０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する。表示入力部１２０は、表示パネル１２１と、操作パネル（タッチパネル）１２２とを備える。３Ｄ画像を鑑賞する場合には、表示パネル１２１は、３Ｄ表示パネルであることが好ましい。また、表示入力部１２０は、カメラ１０が追尾する追尾対象の特定を受け付ける追尾対象受付部としても機能する。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものであり、カメラ１０から連続して送信される画像を表示する表示部として機能する。

操作パネル（入力部）１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出し、表示部の画面上での入力位置を指定する。

図１に示すように、操作装置１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、端末側通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部１４０は、操作装置１００の筐体１０２の表示入力部１２０の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ ＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、操作装置１００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｉｒｉａｌ Ｂｕｓ）など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

操作装置１００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、イヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータを操作装置１００の内部の各構成要素に伝達することや、操作装置１００の内部のデータが外部機器に伝送される。

ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、操作装置１００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、端末側通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、操作装置１００の物理的な動きを検出する。操作装置１００の物理的な動きを検出することにより、操作装置１００の動く方向や加速度が検出される。この検出結果は、主制御部１０１に出力される。

電源部１９０は、主制御部１０１の指示に従って、操作装置１００の各部に、バッテリ（図示せず）に蓄えられる電力を供給するものである。

主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、操作装置１００の各部を統括して制御するものである。また、主制御部１０１は、端末側通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、主制御部１０１は、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

主制御部１０１は、操作検出制御の実行により操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。

更に、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮像（撮像）するデジタルカメラである。

また、カメラ部１４１は、主制御部１０１の制御により、撮像によって得た画像データを、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や端末側通信部１１０を通じて出力することができる。

図１に示す操作装置１００において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮像に供するカメラ部１４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部１４１を同時に使用して撮像することもできる。

また、カメラ部１４１は操作装置１００の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、操作装置１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

本例では、ネットワーク等を介してカメラ１０を操作するためのアプリケーションソフトウェアをダウンロードして記憶部１５０に記憶させ、操作装置１００のアプリケーション処理機能により、ダウンロードしたアプリケーションソフトウェアに従って主制御部１０１を動作させることにより、汎用の操作装置１００を、カメラ１０を操作するためのユーザインターフェース部として機能させるようにしている。

移動量算出部１９１は、端末側通信部１１０により連続して受信した画像に基づいて、連続する画像間の追尾対象の移動量を算出する。移動量算出部１９１は、公知の様々な方法で追尾対象の移動量を算出することができる。例えば、移動量算出部１９１は、第１のタイミングにおける画像での追尾対象の座標と第２のタイミングにおける画像での追尾対象の座標とを取得して、両座標の距離を算出することにより移動量を算出することができる。

移動量判定部１９３は、移動量算出部１９１で算出された移動量が第１の移動量閾値以上であるか否かを判定する。すなわち、移動量判定部１９３は、移動量算出部１９１で算出された移動量と第１の移動量閾値とを比較することにより判定を行い、追尾対象の移動量が大きい（動きが速い）か又は移動量が小さい（動きが遅い）かを判定する。なお、第１の移動量閾値とは、任意に設定される閾値であり特に限定されるものではない。例えば、第１の移動量閾値は、追尾処理部１９７で行われる追尾処理（追尾演算）の性能とフレームレートとを考慮して決定される。

サイズ指示送信部１９５は、移動量判定部１９３により移動量が第１の移動量閾値以上であると判定された場合には、カメラ１０が送信する画像のサイズを第１のサイズから第１のサイズよりも小さい第２のサイズに変更する指示をカメラ１０に送信する。すなわち、移動量判定部１９３により移動量が第１の閾値以上であると判定された場合には追尾対象は速いので、サイズ指示送信部１９５はカメラ１０が送信する画像のサイズを下げる指示を送信し、操作装置１００が受信するフレームレートを維持させる（下がるのを防ぐ）。これにより、カメラが動きが速い追尾対象を追尾している場合であっても、精度良く追尾を継続することができる。また、サイズ指示送信部１９５は、追尾対象の移動量が第１の移動量閾値未満の場合には、カメラ１０から送信される画像のサイズを小さいサイズに変更する指示を送信しない。これにより、画像のサイズが小さくならず、小さい追尾対象であっても精度良く追尾を継続することができる。

追尾処理部１９７は、カメラ１０から連続して送信される画像に対して画像処理を行うことにより特定された追尾対象の追尾を行う。例えば、追尾処理部１９７は、ブロックマッチング処理、パターンマッチング処理、又は顔検出処理の手法を用いて、追尾対象の検出を行い追尾対象の座標を取得する。なお、ブロックマッチング処理、パターンマッチング処理、又は顔検出処理については周知であるため、説明は省略する。追尾処理部１９７は、取得した追尾対象の座標を端末側通信部１１０を介してカメラ１０にパン・チルト機構３２を制御するための情報（追尾機能用の制御情報）として送信する。なお、追尾処理部１９７は自動又は手動により追尾を行うことができ、自動追尾の場合は追尾処理部１９７は一旦特定された追尾対象の検出を継続して行い、手動追尾の場合は追尾処理部１９７は特定された追尾対象の検出を逐次行う。

追尾処理部１９７は、評価値生成部１９９及び評価値判定部２０１を有している。評価値生成部１９９は、追尾の正確さを示す評価値を生成する。例えば、評価値生成部１９９は、ブロックマッチングにおけるテンプレート画像とテンプレート画像に対応する領域の画像との各画素の差分の絶対値の総和に基づいて、評価値を生成する。ここで、ブロックマッチングにおけるテンプレート画像とテンプレート画像に対応する領域の画像との各画素の差分の絶対値の総和とは、一般にＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）又はＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）と呼ばれている。なお、ＳＳＤ及びＳＡＤの具体的な算出方法については公知の方法が使用される。

評価値判定部２０１は、評価値生成部１９９で生成された評価値が評価値閾値以上であるか否かを判定する。すなわち、評価値判定部２０１は、評価値生成部１９９で算出された評価値と評価値閾値とを比較することにより判定を行い、追尾が精度良く行われているかを判定する。例えば、評価値が評価値閾値以上である場合には評価値判定部２０１は追尾が精度良く行われていないと判定し、評価値が評価値閾値未満である場合には評価値判定部２０１は追尾が精度良く行われていると判定する。ここで、評価値閾値は、所望される追尾性能を考慮して決定されてもよい。

（第１の実施形態）
図４は、第１の実施形態における操作装置１００の動作を示すフロー図である。

先ず、操作装置１００は、カメラ１０のカメラ側通信部５０から連続して送信されてくる画像を端末側通信部１１０により受信する（ステップＳ１０）。その後、追尾対象受付部により追尾対象の特定が受け付けられる（ステップＳ１１）。そして、移動量算出部１９１により受け付けられた追尾対象の連続する画像間での移動量が算出され（ステップＳ１２）、移動量判定部１９３により、算出された移動量が第１の移動量閾値以上であるかの判定が行われる（ステップＳ１３）。

移動量判定部１９３により移動量が第１の閾値以上であると判定された場合には、サイズ指示送信部１９５により、画像のサイズを第１のサイズから第１のサイズよりも小さい第２のサイズに変更する指示がカメラ１０に送信される（ステップＳ１４）。また、移動量判定部１９３により移動量が第１の閾値未満であると判定された場合には、サイズ指示送信部１９５からの指示は送信されない（ステップＳ１５）。

以上で説明したように、本実施形態は、追尾対象の移動量が第１の移動量閾値以上の場合には、カメラ１０から送信される画像のサイズを小さいサイズに変更する指示を送信するので、操作装置１００が受信するフレームレートが下がることが抑制され、移動量が大きい追尾対象であっても精度良く追尾を継続することができる。また、本実施形態は、追尾対象の移動量が第１の移動量閾値未満の場合には、カメラ１０から送信される画像のサイズを小さいサイズに変更する指示が送信されないので、画像のサイズが小さくならず、小さい追尾対象であっても精度良く追尾を継続することができる。

また、上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的有形媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

（第２の実施形態）
次に、第２の実施形態としてサイズ指示送信部１９５が第２のサイズから第１のサイズへの指示を送信する場合について説明する。図５は、第２の実施形態の操作装置１００の動作を示すフロー図である。

先ず、端末側通信部１１０によりカメラ側通信部５０から連続して送信されてくる画像が受信され（ステップＳ２０）、追尾対象受付部により追尾対象の特定が受け付けられ（ステップＳ２１）、移動量算出部１９１により受け付けられた追尾対象の連続する画像間での移動量が算出され（ステップＳ２２）、移動量判定部１９３により算出された移動量が第１の移動量閾値以上であるかの判定が行われる（ステップＳ２３）。

移動量判定部１９３により移動量が第１の閾値以上であると判定された場合には、サイズ指示送信部１９５により、画像のサイズを第１のサイズから第１のサイズよりも小さい第２のサイズに変更する指示がカメラ１０に送信される（ステップＳ２４）。また、移動量判定部１９３により移動量が第１の閾値未満であると判定された場合には、サイズ指示送信部１９５からの指示は送信されない（ステップＳ２５）。

サイズ指示送信部１９５により、第１のサイズから第２のサイズへサイズを小さくする指示が送信された後に、追尾対象の移動量が移動量算出部１９１により算出される。そして、算出された移動量が移動量判定部１９３により判定され（ステップＳ２６）、評価値判定部２０１により追尾処理部１９７で行われた追尾の評価値が評価値閾値以上であるか判定される（ステップＳ２７）。その後、評価値が評価値閾値以上であると判断された場合には、サイズ指示送信部１９５は第２のサイズから第２のサイズよりも大きい第１のサイズへの変更を指示する（ステップＳ２８）。

以上で説明したように、本実施形態は、被写体の移動量が第２の移動量閾値未満であって追尾の評価値が評価値閾値以上であると判定された場合に、画像のサイズが元の大きいサイズに変更される指示が送信される。これにより、本実施形態は、操作装置１００は大きいサイズの画像により追尾処理を行うことができるので、精度の良い追尾を行うことができる。

（第３の実施形態）
次に、第３の実施形態としてサイズ指示送信部１９５が第１のサイズから第３のサイズへの指示を送信する場合について説明する。図６は、第３の実施形態の操作装置１００の動作を示すフロー図である。

先ず、端末側通信部１１０によりカメラ側通信部５０から連続して送信されてくる画像が受信され（ステップＳ３０）、追尾対象受付部により追尾対象の特定が受け付けられ（ステップＳ３１）、移動量算出部１９１により受け付けられた追尾対象の連続する画像間での移動量が算出され（ステップＳ３２）、移動量判定部１９３により算出された移動量が第１の移動量閾値以上であるかの判定が行われる（ステップＳ３３）。

移動量判定部１９３により移動量が第１の閾値以上であると判定された場合には、サイズ指示送信部１９５により、画像のサイズを第１のサイズから第１のサイズよりも小さい第２のサイズに変更する指示がカメラ１０に送信される（ステップＳ３４）。また、移動量判定部１９３により移動量が第１の閾値未満であると判定された場合には、サイズ指示送信部１９５からの指示は送信されない（ステップＳ３５）。

サイズ指示送信部１９５からは画像のサイズ変更の指示が送信されなかった後に、移動量判定部１９３により追尾対象の移動量が第２の移動量閾値未満であるか判定される（ステップＳ３６）。その後、追尾対象の移動量が第２の移動量閾値未満である場合には、評価値判定部２０１により評価値が評価値閾値以上であるかを判定する（ステップＳ３７）。そして、評価値が評価値閾値以上である場合には、第１のサイズから第１のサイズより大きい第３のサイズへ画像のサイズを変更する指示を送信する（ステップＳ３８）。

以上で説明したように、本実施形態は、被写体の移動量が第２の移動量閾値未満であって追尾の評価値が評価値閾値以上であると判定された場合に、画像のサイズが大きいサイズに変更される指示が送信される。これにより、本実施形態は、操作装置１００は大きいサイズの画像により追尾処理を行うことができるので、精度の良い追尾を行うことができる。

（第４の実施形態）
次に、第４の実施形態に関して説明する。

図７は、第４の実施形態の操作装置１００の機能構成の例を示すブロック図である。なお、図３において既に説明を行ったブロックには同じ符号を付して説明は省略する。

第４の実施形態の操作装置１００には、図３に示す操作装置１００と比較して、フレームレート検出部２０３、フレームレート判定部２０５、通信情報送信部２０７、及び通信速度取得部２０９が追加されている。

フレームレート検出部２０３は、受信部が連続して受信した画像のフレームレートを検出する。すなわち、フレームレート検出部２０３は、カメラ１０のカメラ側通信部５０から連続して送信されてくる画像の端末側通信部１１０が受信するフレームレートを検出する。

フレームレート判定部２０５は、フレームレート検出部２０３により検出されたフレームレートがフレームレート閾値未満であるか否かを判定する。フレームレートがフレームレート閾値未満である場合はカメラ１０のカメラ側通信部５０と操作装置１００の端末側通信部１１０との通信が良くない状態であり、フレームレートがフレームレート閾値以上である場合はカメラ１０のカメラ側通信部５０と操作装置１００の端末側通信部１１０との通信が良い状態である。なお、フレームレート閾値は、カメラ１０が送信する画像のサイズに応じて設定されていてもよい。これにより、フレームレート閾値が画像のサイズに応じて設定されているので、より精度良くフレームレートの判定を行うことができる。

通信情報送信部２０７は、カメラ１０にカメラ１０との通信状態に関する情報を送信する。すなわち、通信情報送信部２０７は、フレームレート判定部２０５によりフレームレートがフレームレート閾値未満であると判定された場合に、通信状態に関する情報として通信エラーに関する情報を送信する。これにより、フレームレートがフレームレート閾値未満である場合に通信エラーに関する情報がカメラ１０に送信されるので、カメラ１０は操作装置１００における通信状態を把握することができる。

通信速度取得部２０９は、フレームレート検出部２０３が検出したフレームレートに基づいてカメラ１０との通信速度を取得する。具体的には、通信速度取得部２０９は、フレームレート検出部２０３が検出したフレームレートの数値に応じて、カメラ１０と操作装置１００との通信速度を取得する。例えば、通信速度取得部２０９は、フレームレートと通信速度とが対応したテーブルデータを有しており、そのテーブルデータに基づいて通信速度を取得する。

図８は、第４の実施形態における操作装置１００の動作を示すフロー図である。

先ず、端末側通信部１１０によりカメラ側通信部５０から連続して送信されてくる画像が受信され（ステップＳ４０）、追尾対象受付部により追尾対象の特定が受け付けられ（ステップＳ４１）、移動量算出部１９１により受け付けられた追尾対象の連続する画像間での移動量が算出され（ステップＳ４２）、移動量判定部１９３により算出された移動量が第１の移動量閾値以上であるかの判定が行われる（ステップＳ４３）。

そして、操作装置１００は、移動量が第１の閾値以上であると判定された場合には、画像のサイズを第１のサイズから第１のサイズよりも小さい第２のサイズに変更する指示がカメラ１０に送信される（ステップＳ４７）。移動量判定部１９３により移動量が第１の閾値未満であると判定された場合には、フレームレート検出部２０３で操作装置１００が端末側通信部１１０を介して受信するフレームレートが検出される（ステップＳ４４）。その後、フレームレート判定部２０５により検出されたフレームレートがフレームレート閾値未満であるかが判定される（ステップＳ４５）。検出されたフレームレートがフレームレート閾値未満である場合には、サイズ指示送信部１９５により第１のサイズから第２のサイズに変更する指示が送信される。一方、検出されたフレームレートがフレームレート閾値以上である場合にはサイズ指示送信部１９５はサイズ変更の指示を送信しない（ステップＳ４６）。

以上で説明したように、本実施形態は、フレームレートがフレームレート閾値未満である場合に画像のサイズを第２のサイズに変更する指示が送信されるので、下がったフレームレートを上げることができる。これにより、本態様は、移動量が多い追尾対象であっても精度良く追尾を行うことができる。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…カメラ、１２…装置本体、１４…台座、１６…保持部、１６Ａ…ギア、１８…ドームカバー、１９…撮像開始ボタン、２０…撮像部、２２…撮像レンズ、２３…絞り、２４…撮像素子、２６…レンズ駆動部、２８…ＣＭＯＳドライバ、３０…撮像方向調整部、３２…パン・チルト機構、３４…パン駆動部、３６…チルト駆動部、４０…制御部、４１…信号処理部、４２…撮像制御部、４３…レンズ制御部、４４…方向制御部、４６…動作制御部、５０…カメラ側通信部、６０…操作部、６１…カメラ側表示部、６２…メモリ、６５…サイズ変更部、１００…操作装置、１０１…主制御部、１０２…筐体、１１０…端末側通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部、１９１…移動量算出部、１９３…移動量判定部、１９５…サイズ指示送信部、１９７…追尾処理部、１９９…評価値生成部、２０１…評価値判定部、３００…追尾システム

Claims (21)

1. 自動追尾機能を備えたカメラに、該自動追尾機能用の制御情報を送信する操作装置であって、
   前記カメラから連続して送信される画像を受信する受信部と、
   前記カメラが追尾する追尾対象の特定を受け付ける追尾対象受付部と、
   前記受信部により連続して受信した前記画像に基づいて、連続する前記画像間の前記追尾対象の移動量を算出する移動量算出部と、
   前記移動量算出部で算出された前記移動量が第１の移動量閾値以上であるか否かを判定する移動量判定部と、
   前記移動量判定部により前記移動量が前記第１の移動量閾値以上であると判定された場合には、前記カメラが送信する前記画像のサイズを第１のサイズから前記第１のサイズよりも小さい第２のサイズに変更する指示を前記カメラに送信するサイズ指示送信部と、
   を備える操作装置。
2. 前記画像の画像処理により前記追尾対象の追尾を行う追尾処理部であって、前記追尾の正確さを示す評価値を生成する評価値生成部と、
   前記評価値生成部で生成された前記評価値が評価値閾値以上であるか否かを判定する評価値判定部と、をさらに備え、
   前記サイズ指示送信部は、前記画像の前記サイズを前記第２のサイズに変更する指示を送信した後に、前記移動量判定部により前記移動量が前記第１の移動量閾値未満であると判定され且つ前記評価値判定部により前記評価値が前記評価値閾値以上であると判定された場合には、前記画像の前記サイズを前記第２のサイズから前記第１のサイズに変更する指示を送信する請求項１に記載の操作装置。
3. 画像処理により前記追尾対象の追尾を行う追尾処理部であって、前記追尾の正確さを示す評価値を生成する評価値生成部と、
   前記評価値生成部で生成された前記評価値が評価値閾値以上であるか否かを判定する評価値判定部と、をさらに備え、
   前記移動量判定部は、前記移動量が前記第１の移動量閾値よりも小さい第２の移動量閾値未満であるか否かを判定し、
   前記サイズ指示送信部は、前記移動量判定部により前記移動量が前記第２の移動量閾値未満であると判定され且つ前記評価値判定部により前記評価値が前記評価値閾値以上であると判定された場合には、前記画像の前記サイズを前記第１のサイズよりも大きい第３のサイズに変更する指示を生成する請求項１に記載の操作装置。
4. 前記評価値生成部は、ブロックマッチングにおけるテンプレート画像と前記テンプレート画像に対応する領域の前記画像との各画素の差分の絶対値の総和に基づいて、前記評価値を生成する請求項２又は３に記載の操作装置。
5. 前記受信部が連続して受信した前記画像から受信した前記画像のフレームレートを検出するフレームレート検出部と、
   前記フレームレート検出部により検出された前記フレームレートがフレームレート閾値未満であるか否かを判定するフレームレート判定部と、を備え、
   前記サイズ指示送信部は、前記フレームレート判定部により前記フレームレートが前記フレームレート閾値未満であると判定された場合には、前記画像の前記サイズを前記第２のサイズに変更する指示を送信する請求項１から４のいずれか１項に記載の操作装置。
6. 前記フレームレート検出部が検出した前記フレームレートに基づいて前記カメラとの通信速度を取得する通信速度取得部をさらに備える請求項５に記載の操作装置。
7. 前記カメラに前記カメラとの通信状態に関する情報を送信する通信情報送信部をさらに備え、
   前記通信情報送信部は、前記フレームレート判定部により前記フレームレートが前記フレームレート閾値未満であると判定された場合には、前記通信状態に関する情報として通信エラーに関する情報を送信する請求項５又は６に記載の操作装置。
8. 前記フレームレート閾値は、前記カメラが送信する前記画像の前記サイズに応じて設定されている請求項５から７のいずれか１項に記載の操作装置。
9. 前記カメラから連続して送信される前記画像を表示する表示部と、
   前記表示部の画面上での入力位置を指定する入力部と、をさらに備え、
   前記追尾対象受付部は、前記入力部で指定された入力位置の被写体を前記追尾対象として受け付ける請求項１から８のいずれか１項に記載の操作装置。
10. カメラと前記カメラを操作するための操作装置とを備える追尾システムであって、
    前記カメラは、
    画像を取得する撮像部と、
    前記撮像部の撮像方向を切り換える撮像方向切換機構と、
    前記画像を送信する画像送信部と、
    操作装置からの指示を受信する指示受信部と、
    前記画像送信部により送信された前記画像の受信状況に応じて前記画像のサイズの変更指示を送信する前記操作装置からの指示に基づいて、前記画像送信部から前記操作装置に送信する前記画像のサイズを変更するサイズ変更部と、
    を備え、
    前記操作装置は、
    前記カメラから連続して送信される前記画像を受信する受信部と、
    前記カメラが追尾する追尾対象の特定を受け付ける追尾対象受付部と、
    前記受信部により連続して受信された前記画像に基づいて、前記追尾対象の前記連続する画像間の移動量を算出する移動量算出部と、
    前記移動量算出部で算出された前記移動量が第１の移動量閾値以上であるか否かを判定する移動量判定部と、
    前記移動量判定部により前記移動量が前記第１の移動量閾値以上であると判定された場合には、前記カメラが送信する前記画像のサイズを第１のサイズから前記第１のサイズよりも小さい第２のサイズに変更する指示を前記カメラに送信するサイズ指示送信部と、
    を備える追尾システム。
11. 自動追尾機能を備えたカメラに、該自動追尾機能用の制御情報を送信する操作方法であって、
    前記カメラから連続して送信される画像を受信する受信ステップと、
    前記カメラが追尾する追尾対象の特定を受け付ける追尾対象受付ステップと、
    前記受信ステップにより連続して受信した前記画像に基づいて、連続する前記画像間の前記追尾対象の移動量を算出する移動量算出ステップと、
    前記移動量算出ステップで算出された前記移動量が第１の移動量閾値以上であるか否かを判定する移動量判定ステップと、
    前記移動量判定ステップにより前記移動量が前記第１の移動量閾値以上であると判定された場合には、前記カメラが送信する前記画像のサイズを第１のサイズから前記第１のサイズよりも小さい第２のサイズに変更する指示を前記カメラに送信するサイズ指示送信ステップと、
    を含む操作方法。
12. 前記画像の画像処理により前記追尾対象の追尾を行う追尾処理ステップであって、前記追尾の正確さを示す評価値を生成する評価値生成ステップと、
    前記評価値生成ステップで生成された前記評価値が評価値閾値以上であるか否かを判定する評価値判定ステップと、をさらに含み、
    前記サイズ指示送信ステップは、前記画像の前記サイズを前記第２のサイズに変更する指示を送信した後に、前記移動量判定ステップにより前記移動量が前記第１の移動量閾値未満であると判定され且つ前記評価値判定ステップにより前記評価値が前記評価値閾値以上であると判定された場合には、前記画像の前記サイズを前記第２のサイズから前記第１のサイズに変更する指示を送信する請求項１１に記載の操作方法。
13. 画像処理により前記追尾対象の追尾を行う追尾処理ステップであって、前記追尾の正確さを示す評価値を生成する評価値生成ステップと、
    前記評価値生成ステップで生成された前記評価値が評価値閾値以上であるか否かを判定する評価値判定ステップと、をさらに含み、
    前記移動量判定ステップは、前記移動量が前記第１の移動量閾値よりも小さい第２の移動量閾値未満であるか否かを判定し、
    前記サイズ指示送信ステップは、前記移動量判定ステップにより前記移動量が前記第２の移動量閾値未満であると判定され且つ前記評価値判定ステップにより前記評価値が前記評価値閾値以上であると判定された場合には、前記画像の前記サイズを前記第１のサイズよりも大きい第３のサイズに変更する指示を生成する請求項１１に記載の操作方法。
14. 前記評価値生成ステップは、ブロックマッチングにおけるテンプレート画像と前記テンプレート画像に対応する領域の前記画像との各画素の差分の絶対値の総和に基づいて、前記評価値を生成する請求項１２又は１３に記載の操作方法。
15. 前記受信ステップが連続して受信した前記画像から受信した前記画像のフレームレートを検出するフレームレート検出ステップと、
    前記フレームレート検出ステップにより検出された前記フレームレートがフレームレート閾値未満であるか否かを判定するフレームレート判定ステップと、を含み、
    前記サイズ指示送信ステップは、前記フレームレート判定ステップにより前記フレームレートが前記フレームレート閾値未満であると判定された場合には、前記画像の前記サイズを前記第２のサイズに変更する指示を送信する請求項１１から１４のいずれか１項に記載の操作方法。
16. 前記フレームレート検出ステップが検出した前記フレームレートに基づいて前記カメラとの通信速度を取得する通信速度取得ステップをさらに含む請求項１５に記載の操作方法。
17. 前記カメラに前記カメラとの通信状態に関する情報を送信する通信情報送信ステップをさらに含み、
    前記通信情報送信ステップは、前記フレームレート判定ステップにより前記フレームレートが前記フレームレート閾値未満であると判定された場合には、前記通信状態に関する情報として通信エラーに関する情報を送信する請求項１５又は１６に記載の操作方法。
18. 前記フレームレート閾値は、前記カメラが送信する前記画像の前記サイズに応じて設定されている請求項１５から１７のいずれか１項に記載の操作方法。
19. 前記カメラから連続して送信される前記画像を表示する表示ステップと、
    前記表示ステップの画面上での入力位置を指定する入力ステップと、をさらに含み、
    前記追尾対象受付ステップは、前記入力ステップで指定された入力位置の被写体を追尾対象として受け付ける請求項１１から１８のいずれか１項に記載の操作方法。
20. 自動追尾機能を備えたカメラに、該自動追尾機能用の制御情報を送信する操作方法をコンピュータに実行させるプログラムであって、
    前記カメラから連続して送信される画像を受信する受信ステップと、
    前記カメラが追尾する追尾対象の特定を受け付ける追尾対象受付ステップと、
    前記受信ステップにより連続して受信した前記画像に基づいて、連続する前記画像間の前記追尾対象の移動量を算出する移動量算出ステップと、
    前記移動量算出ステップで算出された前記移動量が第１の移動量閾値以上であるか否かを判定する移動量判定ステップと、
    前記移動量判定ステップにより前記移動量が前記第１の移動量閾値以上であると判定された場合には、前記カメラが送信する前記画像のサイズを第１のサイズから前記第１のサイズよりも小さい第２のサイズに変更する指示を前記カメラに送信するサイズ指示送信ステップと、
    を含むプログラム。
21. 請求項２０に記載のプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。

Images