JP6207162B2 - 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム - Google Patents

Description

本発明は、任意の被写体に対する追従機能を備えた撮像装置と、該撮像装置を外部から制御する遠隔操作端末からなるシステムに関するものである。

特許文献１には、カメラ２と、該カメラ２を外部から制御可能なコントローラ１とからなるカメラシステムについて開示されている。このカメラシステムでは、操作者がコントローラ１を操作することで、カメラ２から送信される撮影画像データを観察しながら、フォーカス位置を所望の被写体の位置に設定（指定）することができる。該設定がなされたとき、コントローラ１はカメラ２に対し、設定された被写体の位置に関する情報を送信することで、カメラ２は受信した位置情報を基に所望の被写体の位置においてＡＦ処理等を実行することができる。

また、デジタルカメラ等の撮像装置の中には、撮像画面内の任意の被写体を選択することで、選択した被写体を自動的に追従できるものがある。

特開２００９−２７３０３３号公報

カメラ２に対してコントローラ１から制御を行う上記システムでは、通信によってデータを送受信する時間がかかるため、通信のタイムラグが発生してしまう。例えば、カメラ２が撮像した画像をコントローラ１で表示する際、撮影画像データを通信する時間がかかるため、コントローラ１で撮影画像を表示するまでに時間がかかってしまう。この通信のタイムラグによって、操作者がコントローラ１で撮影画像を確認する際、撮像された時点から遅れて画像が表示されてしまう。また、コントローラ１からカメラ２に対して制御指示を行う際も然りで、通信のタイムラグによってコントローラ１側で所望の被写体の位置を指定した時点から遅れて、カメラ２側で該位置に関する情報が受信されることになる。

このように、上記システムでは通信のタイムラグが発生するので、上記システムを使って例えば移動している被写体に対して追従制御を行いたい場合、以下に示すような不具合が生じる虞がある。例えば、図７に示されるように、操作者がコントローラ１で所望の被写体（動物）の位置を指定・送信したとき、カメラ２が受信する時点では操作者が指定した位置に当該被写体がいない可能性がある。特に被写体の移動量が大きい場合、または通信タイムラグが長い場合に、この問題が顕著になる。そして、操作者が追従したい被写体がすでに指定した位置にいない場合、その時点で指定された位置にたまたま存在する被写体に対して追従を行ってしまうため、操作者の意図と異なる焦点や露出の調節を行ってしまう懸念がある。また、そのような場合、被写体をより正確に追従するためには、コントローラ１側で追従したい被写体の動作を先読みすると同時に、通信タイムラグの長さを考慮して被写体を選択するという配慮をしなければならない。

本発明は、通信タイムラグに依らず操作者が遠隔から指定した被写体をより正確に追従させることが可能な撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラムを提供する。

本発明の一側面としての撮像装置は、遠隔操作端末により外部から制御される撮像装置であって、被写体像を光電変換して画像信号を生成する撮像手段と、生成された前記画像信号を送信するとともに、前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたときの前記被写体の位置情報を前記遠隔操作端末から受信するとともに、前記被写体が指定されたときに表示中の画像に対応する前記画像信号に付与された前記付与情報を受信する通信手段と、受信した前記付与情報に基づいて通信遅延時間を算出する算出手段と、算出された前記通信遅延時間に基づいて前記撮像手段により生成された画像信号を所定期間保持する保持手段と、前記位置情報を受信したときに算出された前記通信遅延時間に基づいて前記保持手段に保持されている画像信号を選択する選択手段と、前記選択された画像信号と、前記遠隔操作端末から受信した前記位置情報に基づいて、前記選択された画像信号よりも後に生成された画像信号から前記被写体の第１の追従領域を特定する特定手段と、を有することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明に依れば、通信タイムラグに依らず操作者が遠隔から指定した被写体をより正確に追従させることが可能になる。

本発明の実施の形態における撮像装置及び遠隔操作端末の構成を示すブロック図である。 本発明の実施の形態における撮像装置及び遠隔操作端末の処理を示すフローチャートである。 本発明の実施の形態における撮像装置及び遠隔操作端末の遠隔操作実行時の処理を示すフローチャートである。 本発明の実施の形態における撮像装置の追従開始処理を示すフローチャートである。 本発明の実施の形態におけるパターンマッチング処理を示すフローチャートである。 本発明の実施の形態における撮像装置の追従継続処理を示すフローチャートである。 撮像装置と遠隔操作端末とのシステムおいて遠隔操作端末による追従指示時の問題点を示した図である。 撮像装置と遠隔操作端末とのシステムにおいて本発明の実施の形態における追従被写体特定処理を表した図である。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１は、本発明の実施の形態における画像処理機能を有する撮像装置及び、該撮像装置を遠隔（外部）から操作する機能を有する遠隔操作端末の構成を示すブロック図である。

図１に示すように、本実施形態のカメラシステムはカメラ１０及び遠隔操作端末２０から構成されており、それぞれ情報を通信するための撮像側通信部１６９、遠隔側通信部２４１を持つことで、情報をやり取りすることが可能である。

まず、カメラ（撮像装置）１０の構成について説明する。カメラ１０は、撮影レンズ１１から画像信号を取得できるように構成されており、撮像素子（ＣＭＯＳ）１２１、ＣＤＳ／ＡＧＣ１２２、タイミングジェネレータ（ＴＧ）１２３、画像入力コントローラ１２４を備えている。また、追従信号処理部１２５、被写体領域検出部１２６を備えている。また、変倍レンズ駆動部１３１、絞り駆動部１３２、フォーカシング駆動部１３３、操作部１３４、システム制御部１４を備えている。また、バス１５、記録媒体制御部１６１、記録媒体１６２、表示制御部１６３、表示部１６４、ＡＦ検出部１６５、ＳＤＲＡＭ１６６、ＲＯＭ１６７、フラッシュＲＯＭ１６８、撮像側通信部１６９、振れ検出部１７を備えている。

システム制御部１４は、カメラ全体の動作を統括制御する制御手段として機能し、操作部１３４からの入力に基づき所定の制御プログラムに従って各部を制御する。

バス１５を介して接続されたＲＯＭ１６７には、このシステム制御部１４が実行する制御プログラム及び制御に必要な各種データ等が格納されている。また、バス１５を介して接続されたフラッシュＲＯＭ１６８には、ユーザ設定情報等のカメラ１０の動作に関する各種設定情報等が格納されている。また、バス１５を介して接続されたＳＤＲＡＭ１６６は、システム制御部１４の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。このように、本発明においてＳＤＲＡＭ１６６は、撮像素子１２１により撮像された画像信号を所定期間保持するための保持手段として機能する。

撮影レンズ（撮像光学系）１１は、被写体側から順に、固定の第１群レンズ１１１、変倍レンズ１１２、絞り１１３、固定の第２群レンズ１１４、フォーカスコンペレンズ１１５を有する。

変倍レンズ１１２は、変倍レンズ駆動部１３１に駆動されて撮像光学系の光軸に沿って前後移動する。ここで、本実施例において前側とは被写体側を指し、後側とは像側を指す。フォーカスコンペレンズ１１５は、フォーカシング駆動部１３３に駆動されて撮像光学系の光軸に沿って前後移動する。

システム制御部１４は、変倍レンズ駆動部１３１とフォーカシング駆動部１３３を制御することにより、変倍レンズ１１２の位置とフォーカスコンペレンズ１１５の位置を制御し、撮影レンズ１１のズーミングとフォーカシングを行う。

絞り１１３は、たとえば、アイリス絞りで構成されており、絞り駆動部１３２に駆動されて動作する。システム制御部１４は、絞り駆動部１３２を制御することにより、絞り１１３の開口量（絞り値）を制御し、撮像素子１２１への入射光量を制御する。

撮像素子（撮像手段）１２１は、ＣＭＯＳセンサやＣＣＤセンサにより構成される光電変換素子（フォトダイオード）である。撮影レンズ１１によって撮像素子１２１の受光面上に結像された被写体像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、システム制御部１４の指令に従ってＴＧ１２３から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１２１から順次読み出される。なお、本実施例では、撮像素子としてＣＭＯＳセンサを用いているが、ＣＣＤセンサ等の他の構成の撮像素子を用いることもできる。

ＣＤＳ／ＡＧＣ１２２は、撮像素子１２１から出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）と、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＣ回路である。ＣＤＳ／ＡＧＣ１２２は、撮像素子１２１から出力される画像信号を相関二重サンプリング処理するとともに増幅する。

画像入力コントローラ１２４は、ＣＤＳ／ＡＧＣ１２２から出力された画像信号を取り込んで、ＳＤＲＡＭ１６６に格納する。ＳＤＲＡＭ１６６に格納した画像信号は、表示制御部１６３によって表示部１６４に表示される。また、画像信号の記録を行うモードの時には、記録媒体制御部１６１によって記録媒体１６２に記録される。さらに、遠隔操作端末２０による遠隔操作実行時には、撮像側通信部１６９によって、遠隔操作端末２０内の遠隔側通信部２４１に送信される。また、後述する通信遅延時間の長さだけ、ＳＤＲＡＭ１６６に画像信号を保持する。ＳＤＲＡＭ１６６に、通信遅延時間分の画像信号を保持するのは本発明の特徴的な部分であり、詳細については後述する。

システム制御部１４内の追従画像生成部１４１は、操作部１３４によって追従の指示があった場合に、ＳＤＲＡＭ１６６に格納された画像信号を取り込み、追従用画像（追従用画像信号）の生成を行う。本実施形態では操作部１３４の一つとしてタッチパネルがあり、表示画像上のタッチした座標を中心とした所定の領域を追従用画像とする。タッチパネルでなく、操作キーによって追尾する領域の中心座標や、領域そのものを設定できるシステムでも良い。生成した追従用画像信号はＳＤＲＡＭ１６６に格納する。また追従画像生成部１４１は、遠隔操作端末側から追従の指示があった場合に、後述する遠隔操作端末２０内の遠隔側追従画像生成部２１１によって生成される座標情報を基に過去の画像信号から追従用画像信号の生成を行うことができる。これは本発明の特徴的な部分であり、詳細は後述する。

追従信号処理部１２５は、システム制御部１４からの指令に従いＳＤＲＡＭ１６６から追従用画像信号を取り込み、この追従用画像信号から色情報のヒストグラム及び輝度情報ヒストグラムからなる特徴量を生成する。

被写体領域検出部１２６は、現在撮像している画像信号に対して、上述の特徴量を基に追従被写体の探索処理を施し、撮影画面内の所定領域から追従被写体に該当する被写体が存在するかを特定する。追従被写体が存在する場合は、被写体が存在する位置座標を基に追従領域を決定し、その結果をシステム制御部１４に送信し、ＡＦ制御等を行う。また、被写体が存在する位置座標は、ＳＤＲＡＭ１６６に保持され、次回以降の追従被写体領域の検出を行う際に本情報を用いることで、追従被写体の探索処理を施すエリアを限定することができる。追従被写体領域の特定時に、被写体が存在する位置座標が更新される度に、ＳＤＲＡＭ１６６に保持する位置座標も更新する。

このように、本発明において、上述の追従信号処理部１２５及び被写体領域検出部１２６は、追従被写体の追従領域を特定する特定手段として機能する。

システム制御部１４が上述の追従領域を受信したら、ＡＦ検出部１６５に追従領域情報を送信し、ＡＦ検出部１６５は、当該追従領域情報を基に、撮影画面内の追従被写体を含む位置を焦点検出に用いられる領域（焦点検出エリア）として設定する。次に、ＡＦ検出部１６５は、設定した焦点検出エリアの合焦度合いを計算しシステム制御部１４に送信する。結果を受信したシステム制御部１４は、受信した合焦度合いに応じてフォーカシング駆動部１３３を制御し、フォーカシング駆動部１３３はフォーカスコンペレンズ１１５を制御する。また、システム制御部１４は、上記追従領域を基に領域内のヒストグラムを生成し、このヒストグラムに基づいて、フラッシュＲＯＭ１６８に設定された適露出になるように絞り駆動部１３２を制御することで、追従領域に対してＡＥ制御を行う。

撮像側通信部（第１の通信手段）１６９は、後述する遠隔操作端末２０内の遠隔側通信部２４１と通信を行い、各種情報をやり取りする。通信する情報の内容は本発明の特徴とする部分であり、後述する。

次に、遠隔操作端末２０の構成について説明する。遠隔操作端末２０は遠隔側システム制御部２１、遠隔側操作部２２を備えている。また、バス２３、遠隔側通信部２４１、遠隔側表示制御部２４２、遠隔側表示部２４３、遠隔側ＳＤＲＡＭ２４４、遠隔側ＲＯＭ２４５、遠隔側フラッシュＲＯＭ２４６を備えている。遠隔操作端末２０は、遠隔側通信部２４１によって、カメラ１０内の撮像側通信部１６９から、撮像した画像信号やカメラ制御情報等の情報をやり取りできるように構成されている。

遠隔側システム制御部２１は、遠隔操作端末全体の動作を統括制御する制御手段として機能し、遠隔側操作部２２からの入力に基づき所定の制御プログラムに従って各部を制御すると共に、カメラ１０を制御するための各種制御情報を生成する。

バス２３を介して接続された遠隔側ＲＯＭ２４５には、遠隔側システム制御部２１が実行する制御プログラム及び制御に必要な各種データ等が格納されている。また、遠隔側フラッシュＲＯＭ２４６には、ユーザ設定情報等の遠隔操作端末２０の動作に関する各種設定情報等が格納されている。

遠隔側ＳＤＲＡＭ２４４は、遠隔側システム制御部２１の演算作業用領域として利用されるとともに、受信した画像信号等の一時記憶領域として利用される。

遠隔側表示制御部２４２は、遠隔側ＳＤＲＡＭ２４４が格納した、遠隔側通信部２４１によって撮像側通信部１６９から受信した受信画像信号に対応する画像を遠隔側表示部２４３へ表示する。

次に、遠隔側通信部２４１と、撮像側通信部１６９間の通信について詳しく説明する。撮像側通信部１６９は遠隔側通信部２４１の受信確認なしに、撮像素子１２１が画像を撮像する度に画像信号を送信し続ける。遠隔側通信部（第２の通信手段）２４１は、画像信号を受信する度に遠隔側ＳＤＲＡＭ２４４に該画像信号を格納し、遠隔側表示制御部２４２によって遠隔側表示部２４３への表示を行う。遠隔側表示部２４３への表示が完了する前に撮像側通信部１６９から新たな画像信号を受信した場合は、新たに受信した画像信号は無視して、遠隔側表示制御部２４２が実施中の現在の表示処理を継続する。このようにして遠隔操作端末２０でストリーミング再生を行う。

また、遠隔側システム制御部２１は、カメラ１０に対する制御情報や設定変更情報を、遠隔側通信部２４１によって送信する。システム制御部１４は、撮像側通信部１６９によって受信した制御情報に応じてカメラ１０の制御を行い、また設定変更情報に応じて、フラッシュＲＯＭ１６８の各種設定情報等を変更することで、カメラ設定の変更を行う。例えば、遠隔側システム制御部２１によってズーミング操作を行った場合、通信によってシステム制御部１４がズーミングに関する制御情報（ズーム方向、ズームレンズ駆動量に関する情報）を受信する。そして、システム制御部１４は、この制御情報を基に変倍レンズ駆動部１３１を制御してズーミングを行う。また、例えば遠隔側システム制御部２１によって記録画質の変更を行った場合、通信によってシステム制御部１４が記録画質に関する設定変更情報（記録画質変更情報）を受信し、フラッシュＲＯＭ１６８の情報を書き換えることで記録画質設定の変更を行う。

このようにして、カメラ１０と遠隔操作端末２０は情報の通信を行い、遠隔操作端末２０での画像信号の確認や、カメラ１０の制御等を行うことができる。

さらに、カメラ１０が撮像側通信部１６９によって周期的に撮像素子１２１で撮像した撮像信号（画像信号）を送信する際に、システム制御部１４が持つ時刻情報も、該画像信号に付与する形で送信する。遠隔操作端末２０は、カメラ１０に対して送信する上記制御情報等とは別に、遠隔側表示制御部２４２によって遠隔側表示部２４３に画像表示を完了した際に表示した画像信号に付与された時刻情報（付与情報）を、遠隔側通信部２４１によってカメラ１０に送り返す。このように、カメラ１０は撮像した画像信号を送信すると同時に該画像信号を送信する際の時刻情報も送信し、遠隔操作端末２０は受信した画像信号の表示を遠隔側表示制御部２４２が行う度にこの時刻情報をカメラ１０に対して送り返す。そして、カメラ１０が遠隔側通信部２４１から上記時刻情報を受信したとき、システム制御部１４（算出手段）は、カメラ１０の現在の時刻情報と受信した時刻情報との差分から、カメラ１０と遠隔操作端末２０の通信遅延時間を算出する。算出した通信遅延時間はＳＤＲＡＭ１６６に保持する。

次に、本発明の特徴的な部分で、遠隔操作端末２０で被写体追従指示を行い、撮像装置が追従を行うまでの流れを説明する。遠隔側システム制御部２１内の遠隔側追従画像生成部２１１（生成手段）は、遠隔側操作部２２によって追従の指示があった場合に、指示が行われた座標情報（位置情報）の生成を行う。本実施形態では遠隔側操作部２２をタッチパネルとし、遠隔側表示部２４３に表示中の画像においてタッチした座標を座標情報として生成する。遠隔側操作部２２はタッチパネルでなく、操作キーによって追尾する被写体領域の座標を設定できるシステムでも良い。生成した座標情報は、遠隔側システム制御部２１の指示で、遠隔側通信部２４１によって撮像側通信部１６９に送信される。システム制御部１４は、撮像側通信部１６９から受信した座標情報をＳＤＲＡＭ１６６に保持すると共に、遠隔操作端末２０によって追従指示がされたとして追従開始処理を始める。

まずシステム制御部１４（選択手段）は、ＳＤＲＡＭ１６６に保持している過去の画像信号の内、座標情報受信時から通信遅延時間分だけ過去の画像信号を選択する。ここで選択した、通信遅延時間分だけ過去の画像信号とは、遠隔操作端末側で被写体を選択したときと同じ画像信号である。システム制御部１４は、選択した過去の画像信号を追従画像生成部１４１に取り込み、受信した座標情報を中心とした所定の領域から追従用画像を生成する。次に、追従信号処理部１２５は、この生成された追従用画像を取り込み、先述したように、追従用画像信号から色情報のヒストグラム及び輝度情報ヒストグラムからなる特徴量を生成する。被写体領域検出部１２６は、選択した過去の画像信号より一つ未来に保持した画像信号に対して、生成された特徴量を基に追従被写体の探索処理を施し、撮影画面内の所定領域から追従被写体に該当する被写体が存在するかを特定する。追従被写体が存在する場合は、追従被写体が存在する位置座標を基に追従領域を決定する。カメラ１０によって追従指示を行う場合は、現在撮像している画像信号に対して追従領域を決定するので、リアルタイムで追従被写体を特定できたとすることができる。

しかしながら、遠隔操作端末２０から追従指示を行う場合は、通信のタイムラグが存在するため、カメラ側では過去の画像信号に対して追従被写体が特定された段階となる。そのため、カメラ側では過去の画像信号から一つ未来の画像信号に対して追従被写体の特定処理を行い、この処理を現在の画像信号に至るまで継続する必要がある。システム制御部１４は、上述した一つ未来に保持した画像信号に対して追従領域を特定できたら、該一つ未来に保持した画像信号よりさらに未来に保持した画像信号に対して、追従信号処理部１２５及び被写体領域検出部１２６で追従被写体の特定を行う。このように追従被写体の特定を繰り返して、通信遅延時間を基に選択した過去の画像信号から、時系列順に順次追従被写体の特定を行っていき、最終的に現在の画像信号に対して追従被写体の特定を行う。ただし、通信遅延時間が極端に短い場合などは、時系列順に順次追従被写体の特定を行わずに、選択した過去の画像信号を基に現在の画像信号に対して追従被写体の特定を行ってもよい。現在の撮像信号に対して追従被写体が特定したら、その結果をシステム制御部１４に送信し、ＡＦやＡＥ制御（焦点や露光の調節）を行う。

また、現在の画像信号中で特定した追従被写体が存在する位置座標は、ＳＤＲＡＭ１６６に保持し、次回以降の追従被写体領域の検出を行う際に本情報を用いることで、追従被写体の探索処理を施すエリアを限定することができる。追従被写体領域の特定時に、被写体が存在する位置座標が更新される度に、ＳＤＲＡＭ１６６に保持する位置座標も更新する。

上述した手順によって、遠隔操作端末２０から追従の指示を行いカメラ側で追従を開始する（図８）。追従を行うにあたって、追従指示を行った画像と、追従位置から特徴量を抽出する画像は同じでなければならない。これは、同じ画像でなければ追従したい被写体が追従指示を行った位置にいない可能性があるからである。遠隔操作端末２０で追従指示を行った画像と同様の画像から特徴量を抽出できるようにするために、カメラ１０は、カメラ１０と遠隔操作端末２０の通信遅延時間を計測し、事前に通信遅延時間分の画像信号を保持しておく。

このとき、通信遅延時間分だけ画像信号を保持しておくのは、通信の遅延によって、遠隔操作端末２０で追従の指示を行ったとき、カメラ１０が座標情報を受信した時点ではこの通信遅延時間分だけ進んだ時点の画像が表示されているからである。この通信遅延時間は、通信の状態に応じて時々刻々と変化するため、それに合わせて過去の画像を保持しておく。通信遅延時間より多少多めの時間分、過去の画像を保持しておいてもよい。遠隔操作端末２０で追従指示が行われたとき、カメラ１０は、座標情報受信時点の通信遅延時間分だけ過去の画像を選択し、この画像の受信した座標情報を中心とした領域から特徴量を抽出する。この特徴量をもとに、過去の画像信号を時系列順に順次パターンマッチングを行い、最終的に現在撮像している画像信号から追従被写体を特定する。追従被写体を過去のある画像の時点で発見しても、現在撮像している画像信号ではその位置から大きく離れている可能性がある。

例えば、特徴量を抽出できた段階で、現在の画像信号にパターンマッチングを行ったとき、追従したい被写体が大きく離れていた場合、パターンマッチングの領域が狭ければ被写体を発見できない可能性がある。また、パターンマッチングの領域が広ければ追従被写体の誤認識をしてしまう可能性がある。時系列順に順次被写体を特定していくことで、より正確に追従被写体を特定することができる。このようなシステムであれば、遠隔操作端末２０からの追従指示時にも、通信タイムラグの課題を改善して追従したい被写体を正確に指定することができる。

なお、本実施形態では、カメラ１０が保持する過去画像のリフレッシュ間隔は撮像した画像全てであるが、ＳＤＲＡＭ１６６の保存容量を削減するために、間引いて保持してもよい。このリフレッシュ間隔は、時系列順に被写体を特定していく際に、少なくとも追従被写体の判定が可能な間隔に設定する必要がある。これは、被写体特定を行う際のパターンマッチングの範囲や、被写体を追従する最大の移動量を基に決定される。また、本実施形態では通信遅延時間を基に、保持した過去の画像信号から、遠隔操作端末２０でタッチされた画像を特定したが、遠隔操作端末２０でタッチした画像とフレーム情報が同じ画像を選択する処理にしてもよい。また、リフレッシュ間隔を大きくした場合は、通信遅延時間や、フレーム情報が一致する過去画像が存在しない場合があるが、その場合は最も近い画像を選択する。

次に、被写体追従機能について詳細に説明する。ここでは、カメラ１０によって追従指示が行われた場合を例に説明する。操作部１３４によって被写体の追従指示があったとき、追従画像生成部１４１は、追従指示がされたときの位置情報、本実施形態ではタッチパネルのタッチ座標を中心とした所定の範囲を追従用画像として生成する。所定の範囲は、少なくとも、追従制御を行う上で誤追従が頻発しない程度に特徴量が生成できる大きさにする必要がある。所定の範囲は固定でもよいし、ユーザ設定等で可変できるようなシステムでもよい。生成された追従用画像は、追従信号処理部１２５によって、色情報のヒストグラム及び輝度情報のヒストグラムを生成し、これを追従用画像の特徴量とする。本実施形態では、色及び輝度のヒストグラムを生成しているが、色及び輝度のうち少なくとも一方のヒストグラムを生成するようにしても構わない。

さらに、被写体領域検出部１２６で、現在撮像している画像信号から、上述した追従用画像と同様のサイズの画像を生成し、これを追従候補画像とする。追従用画像と同様に、追従信号処理部１２５によって、追従候補画像から色及び輝度のヒストグラムを生成し、これを追従候補画像の特徴量とする。被写体領域検出部１２６は、追従用画像の特徴量と、追従候補画像の特徴量とから、各色情報毎の差分と、輝度情報の差分を算出し、さらにこれら算出した値の和を計算して、これを保持する。同時に、追従候補画像の位置情報も保持する。

さらに、現在撮像している画像信号から、順次追従候補画像を生成することでマッチングを行っていき、この追従候補画像の特徴量と、追従用画像の特徴量の要素の差分及びその和を計算していく。この特徴量の要素の差分の和が最も小さいときの値と、その時の追従候補画像の位置情報を、以前保存した情報に上書きして保持する。最終的に求めた特徴量の要素の差分の和が所定より小さければ、その追従候補画像が追従被写体だと特定して、保持していた位置情報から所定の範囲を追従領域として設定する。なお、特徴量の差分の和に関する所定値は、追従動作を実施したときに、追従したい被写体に対して追従可能な割合及び、追従してはならない被写体に対して誤追従しない割合を基に決定する。このようにして、追従領域を決定し、追従の開始をする。なお、遠隔操作端末２０から追従指示を行う場合は、過去画像から順次パターンマッチングを行う必要がある。

また、追従の継続方法について説明する。追従を継続するための情報として、追従候補画像と追従領域を設定した位置情報を、ＳＤＲＡＭ１６６に保持しておく。追従継続時には、撮像が行われる度に、ＳＤＲＡＭ１６６に保持した追従用画像を基に、被写体領域検出部１２６及び追従信号処理部１２５によって、前述したように、撮像した画像信号と追従用画像とのマッチングを行う。

このとき、保持してある追従領域を設定した位置情報を基に、マッチングを行う画像信号の範囲を限定する。追従領域を設定した位置を中心に、所定の範囲だけマッチングを行うようにすれば、余計な範囲をマッチングすることによる誤追尾や、演算時間の短縮を図ることができる。マッチングを行う所定の範囲は、追従継続処理を行ってから次の追従継続処理を行うまでの時間に、追従したい被写体が撮像画面内で動作してよい最大距離を設計し、その最大距離移動したときにカバーできる範囲に設定する。この範囲が大きければ、被写体が大きく動作しても追従できるが誤追従が多くなり、範囲小さければ被写体が大きく動作すると追従できなくなるが誤追従が少なくなる。このように追従を継続するために再度マッチングを行った際に、先述したように、最終的に求めた特徴量の要素の差分の和が所定より小さければ、その追従候補画像が追従被写体だと特定して、追従候補画像の位置情報から所定の範囲を追従領域として更新する。

またこの時の追従候補画像の位置情報を、ＳＤＲＡＭ１６６に保持している位置情報に上書き更新する。次回の追従継続処理時には、更新した位置情報を使用することで、適切なマッチング範囲を設定できる。このようにして追従の継続を行う。この時、撮像する度に追従継続処理を行わなくてもよく、例えば撮像を所定回数行う毎に追従継続処理を行うといった制御にしてもよい。追従継続処理を行う撮像間隔が長いほど、被写体が大きく動作したときに追従できなくなるが、処理時間を削減することができる。

また、追従の停止を行うときについて説明する。追従継続時に操作部１３４若しくは遠隔側操作部２２によって追従停止指示が出された場合には、システム制御部１４は追従の停止を行い、非追従時の動作に戻す。例えば、追従領域に対して設定していたＡＦ領域を、追従停止時には通常時に設定するＡＦ領域に戻す。同様に、追従継続時に追従する被写体が特定できず、所定時間経過した場合は、追従の停止を行う。追従被写体が特定できない間に待機する所定時間が長ければ、再度追従被写体を特定して復帰できる可能性が高くなるが、通常時の状態に戻す処理が遅れる。追従被写体が特定できない間に待機する所定時間が短い場合は、その逆である。

このようにして被写体の追従開始、継続、停止の処理を行う。

次に、上記構成を有するカメラ１０及び遠隔操作端末２０の、本実施形態における動作について図２から図６用いて説明する。

図２は、本実施形態における、カメラ１０内のシステム制御部１４及び、遠隔操作端末２０内の遠隔側システム制御部２１で行う、カメラの遠隔操作処理を表すフローチャートである。図２の左側のフローチャートが、カメラ遠隔操作モード時のカメラ１０の動作を表すものであり、各処理を「ＳＣ」で表示している。図２の右側のフローチャートが、カメラ遠隔操作モード時の遠隔操作端末２０の動作を表すものであり、各処理を「ＳＲ」で表示している。

まずカメラ側の処理について説明する。ステップＳＣ００１は、カメラ遠隔操作を行っていないときのカメラの制御（以下、カメラの通常制御という）を表しており、制御実施後にステップＳＣ００２へ進む。カメラの通常制御時は遠隔操作を行わないので詳細については省略するが、カメラのみで各種カメラ制御、撮像信号表示、追従の指示を行う。ステップＳＣ００２は、カメラ遠隔操作モードを実行するかどうかの判断を行う。

ステップＳＣ００１においてカメラ遠隔操作モードを実行する指示があればステップＳＣ００３へ進み、指示がなければステップＳＣ００１へ進む。ステップＳＣ００３はカメラ遠隔操作モードのキャンセルがないかどうかを判断し、キャンセルがない場合はステップＳＣ００４へ進み、キャンセルがある場合はステップＳＣ００１へ進む。カメラ遠隔操作モード実行指示により、遠隔操作端末２０との通信確立を行っている際に、遠隔操作モードのキャンセルがあれば、ＳＣ００１でカメラの通常制御を行う。

ＳＣ００４では、遠隔操作端末２０との通信を確立する。遠隔操作端末２０に対して通信確立指示を送信し、それに対して遠隔操作端末２０から通信確立可能情報を受信できれば、通信が確立できたとして、遠隔操作端末２０に対して通信確立完了情報を送信すると共に、ステップＳＣ００５に進む。また、遠隔操作端末２０に送信した通信確立指示に対して、タイムアウトにより通信が確立できなかった場合は、ステップＳＣ００３に戻り、カメラ遠隔操作モードのキャンセルがあるかどうかを再度判断する。

ステップＳＣ００５では、通信確立時のカメラの設定を遠隔操作端末と共有するために、遠隔操作端末２０に対してカメラの設定情報を送信する。ステップＳＣ００５の処理を実行した後は、ステップＳＣ００６へ進む。また、詳細は後述するが、遠隔操作端末２０からカメラ１０に対して設定の変更指示があった場合も、この設定を共有するために、遠隔操作端末２０に対してカメラの設定情報を送信する。ステップＳＣ００６では、現在のカメラモードが撮影モードか、再生モードかを判断し、撮影モードである場合はステップＳＣ００７へ進み、再生モードである場合はステップＳＣ００８へ進む。ステップＳＣ００７は、本実施形態の特徴とする部分であり図３で後述する。

ステップＳＣ００８では、再生モード時の処理を行う。カメラ側で撮影した動画像の再生を行うと同時に、遠隔操作端末２０に対して再生している動画像の表示を行う。また、遠隔操作端末２０から再生したい動画像の選択や、動画再生中の各種コマンド（再生、停止、早送り等）の実行を、カメラ１０に対して行う。詳細については省略する。ステップＳＣ００７若しくはステップＳＣ００８の処理を実行したら、ステップＳＣ００９へ進む。ステップＳＣ００９では、電源がオフされたかどうかを判断し、オフされていなければステップＳＣ０１０へ進み、オフされていれば処理を終了する。ステップＳＣ０１０では、遠隔操作端末２０からカメラ遠隔操作モードのキャンセル指示があったかどうかを判断し、カメラ遠隔操作モードのキャンセル指示がなければステップＳＣ０１１へ進む。キャンセル指示があればステップＳＣ００１へ戻り遠隔操作を行わない通常のカメラ制御を行う。

ステップＳＣ０１１では、遠隔操作端末２０によって撮影モードと再生モードの切り替え指示があったかどうかを判断し、モード切替指示があった場合はステップＳＣ０１２へ進み、モード切替指示がなかった場合はステップＳＣ００５へ戻る。ステップＳＣ０１２では、現在撮影モードであれば再生モードに、現在再生モードであれば撮影モードにカメラ設定を変更して、ステップＳＣ００５へ戻る。ステップＳＣ００５において、撮影モードと再生モードの切り替えや、ステップＳＣ００７内で行われたカメラ設定情報の変更を、遠隔操作端末に共有し、設定されたモードで動作を行う。

次に遠隔操作端末側の処理について説明する。ステップＳＲ００１は、カメラ遠隔操作を行っていないときの遠隔操作端末の制御（以下、遠隔操作端末の通常制御という）を表している。遠隔操作端末の通常制御時は遠隔操作を行わないので詳細については省略するが、遠隔操作端末に備わっている他の各種機能（インターネットや音楽再生や動画像再生等）を実行している。ステップＳＲ００２では、カメラ遠隔操作モードの実行が行われるかどうかの判断を行う。ステップＳＲ００１において、カメラ遠隔操作モードの実行が行われればステップＳＲ００３へ進み、遠隔操作モードの実行が行われなければステップＳＲ００１で行っている各種処理を継続する。ステップＳＲ００３はカメラ遠隔操作モードのキャンセルがないかどうかを判断し、キャンセルがない場合はステップＳＲ００４へ進み、キャンセルがある場合はステップＳＲ００１へ戻る。

ＳＲ００４では、カメラとの通信を確立する。カメラ１０からの通信確立指示を受信できた場合、カメラ１０に対して通信確立可能情報を送信し、それに対して再度カメラ１０からの通信完了情報が受信できれば、通信が確立できたとしてステップＳＲ００５に進む。また、カメラ１０から通信確立指示を受信できず、タイムアウトにより通信が確立できなかった場合は、ステップＳＲ００３に戻り、カメラ遠隔操作モードのキャンセルがあるかどうかを再度判断する。カメラ遠隔操作モードのキャンセル指示があれば、ＳＲ００１に戻り遠隔操作端末２０の各種制御を再開する。ステップＳＲ００５では、通信確立時のカメラの設定を遠隔操作端末にも反映するために、カメラ１０から設定情報を受信することで遠隔操作端末側で受信した設定情報と同様の設定を行う。

例えば、現在のカメラのフォーカスモードはＡＦかＭＦかどうかを受信し、それを設定することで、ＡＦ時にはフォーカスをマニュアル制御するアイコンをグレーアウトするという様な制御を行う。ステップＳＲ００５の処理を実行した後は、ステップＳＲ００６へ進む。

また、詳細は後述するが、遠隔操作端末２０からカメラ１０に対して設定の変更指示を行った場合も、この設定を共有するために、カメラ１０の設定情報を再度受信し、遠隔操作端末２０に設定を反映する。ステップＳＲ００６では、現在のカメラモードが撮影モードか、再生モードかを判断し、撮影モードである場合はステップＳＲ００７へ進み、再生モードである場合はステップＳＲ００８へ進む。

ステップＳＲ００７は、本実施形態の特徴とする部分であり図３で後述する。ステップＳＲ００８では、再生モード時の処理を行う。遠隔操作端末２０から再生したい動画像の選択や、動画再生中の各種コマンド（再生、停止、早送り等）の実行を、カメラ１０に対して行うと共に、カメラ１０が再生している動画像の表示を行う。詳細については省略する。ステップＳＲ００７若しくはステップＳＲ００８の処理を実行したら、ステップＳＲ００９へ進む。

ステップＳＲ００９では、電源がオフされたかどうかを判断し、オフされていなければステップＳＲ０１０へ進み、オフされていれば処理を終了する。ステップＳＲ０１０では、遠隔操作端末２０でカメラ遠隔操作モードのキャンセル指示を実行したかどうかを判断し、カメラ遠隔操作モードのキャンセル指示を実行していればステップＳＲ０１１へ進み、実行していなければステップＳＲ０１２へ進む。

ステップＳＲ０１１では、カメラ１０に対してカメラ遠隔操作モードのキャンセル指示を送信すると共に、ステップＳＲ００１へ戻り、遠隔操作端末の通常制御を行う。ステップＳＲ０１２では、遠隔操作端末２０において撮影モードと再生モードの切り替え指示を実行したかどうかを判断する。モード切替指示を実行した場合はステップＳＲ０１３へ進み、モード切替指示を実行しなかった場合はステップＳＲ００５へ戻り、カメラ遠隔操作モードにおける遠隔操作端末の処理を継続する。ステップＳＲ０１３では、カメラモードの切り替え指示をカメラ１０に送信し、ステップＳＲ００５へ戻る。ステップＳＲ００５において、撮影モードと再生モードの切り替えを遠隔操作端末に共有し、設定されたモードで動作を行う。

次に、本発明の特徴とする部分である図２のステップＳＣ００７の遠隔操作時カメラ制御及び、ステップＳＲ００７の遠隔操作時遠隔操作端末制御について、図３のフローチャートを用いて説明する。

図３の左側のフローチャートが、遠隔操作時のカメラ制御であり、右側のフローチャートが、遠隔操作時の遠隔操作端末の制御を表している。

まずカメラ側の処理について説明する。ＳＣ１０１では、遠隔操作端末２０に対して映像信号（画像信号）及び、カメラ１０が遠隔操作端末２０に対して映像信号を送信した時刻（以下、カメラ映像送信時間とする）を送信しステップＳＣ１０２へ進む。カメラ側は、遠隔操作端末２０の受信確認することなく映像信号の送信を行う。ステップＳＣ１０２では、遠隔操作端末２０によってカメラ設定の変更があったかどうかを判断し、カメラ設定の変更があった場合はステップＳＣ１０３へ進み、変更がなかった場合はステップＳＣ１０４へ進む。ステップＳＣ１０３では、遠隔操作端末２０によって変更されたカメラ設定を反映し、ステップＳＣ１０４へ進む。

例えば、遠隔操作端末側で記録画質の変更が行われた場合、ステップＳＣ１０３ではカメラ側で記録画質の変更設定を反映する。ステップＳＣ１０４では、遠隔操作端末２０によって追従開始指示があったかどうかを判断し、追従開始指示があった場合はステップＳＣ１０５へ進み、そうでない場合はステップＳＣ１０８へ進む。本実施形態では遠隔操作端末２０から追従被写体位置情報（追従被写体座標情報）を受信した場合に、追従開始指示があったと見なす。

ステップＳＣ１０５では、受信した追従被写体位置情報を基に追従開始処理を行い、ステップＳＣ１０６へ進む。ステップＳＣ１０５の処理は本発明の特徴とする部分であり、詳細な説明は図４で後述する。ステップＳＣ１０６では、ステップＳＣ１０５で追従が行えなかったかどうかを判断し、追従が行えなかった場合はステップＳＣ１０７へ進み、追従が行えた場合はステップＳＣ１１２へ進み、追従処理以外の他の処理に移る。

ステップＳＣ１０７では、追従が行えなかったとして遠隔操作端末２０に追従不可情報を送信する。追従が行えたかどうかは、追従の可否を１ビットで表す追従不可情報がステップＳＣ１０５で発行されたかどうかで判断する。次に、ステップＳＣ１０４で追従開始指示がなかった場合に進むステップＳＣ１０８では、現在追従を行っているかどうかを判断し、追従を行っている場合はステップＳＣ１０９へ進む。そうでない場合はステップＳＣ１１２へ進み、追従処理以外の他の処理に移る。現在追従中である場合に進むステップＳＣ１０９では、追従継続処理を行い、ステップＳＣ１１０へ進む。この追従継続処理についての詳細な説明は、図６で後述する。ステップＳＣ１１０では、ステップＳＣ１０９で追従不可情報があったか、若しくは遠隔操作端末２０から追従の停止が指定されたかどうかを判断し、該当する場合はステップＳＣ１１１へ進む。そうでない場合はステップＳＣ１１２へ進み、追従処理以外の他の処理に移る。

ステップＳＣ１１１では、追従停止処理を行い、ステップＳＣ１１２へ進み、追従処理以外の他の処理に移る。追従が継続できない場合、すなわち追従被写体が特定できない場合、若しくは使用者が追従を停止したい場合は、追従を停止して通常の撮影状態に戻す。本実施の形態における通常の撮影状態とは、ＡＦやＡＥの調整を行う枠を、追従領域ではなく画面中央に設定した状態である。通常の撮影状態は、もちろん本実施の形態の構成に限らず、追従を行っていないときの状態であれば他の構成でもよい。

次に、追従に関わる処理等を行った後に進むステップＳＣ１１２では、遠隔操作端末２０によるカメラ制御指示があったかどうかを判断し、カメラ制御指示があった場合はステップＳＣ１１３へ進み、そうでない場合はステップＳＣ１１４へ進む。ステップＳＣ１１３では、遠隔操作端末２０からのカメラ制御指示に従ってカメラの制御を行い、ステップＳＣ１１４へ進む。ステップＳＣ１１２及びステップＳＣ１１３で行われる処理の一例として、遠隔操作端末２０でズーミングの指示が行われた場合は、それにしたがってズーミングを行う。ステップＳＣ１１４では、カメラ本体によるカメラ設定や制御を行い、ステップＳＣ１１５へ進む。ステップＳＣ１１４では、カメラ本体の操作によるカメラ設定の変更や、カメラの制御指示を受け付け、それにしたがってカメラの制御を行う。

また、ＡＦ等の使用者の指示に従わないで行われるカメラ制御についてもここで行う。詳細については省略する。ステップＳＣ１１５では、遠隔操作端末２０からカメラ映像送信時間を受信したかどうかを判断し、受信した場合はステップＳＣ１１６へ進み、受信していない場合は処理を終了する。ステップＳＣ１１６では通信遅延時間の算出を行い処理を終了する。

次に、遠隔操作端末側の処理について説明する。ステップＳＲ１０１では、カメラ１０からの映像信号の受信を開始すると共に、カメラ映像送信時間を受信してステップＳＲ１０２へ進む。なお、受信した映像信号の表示は後述するステップＳＲ１１４で行うが、後述するステップＳＲ１０２からステップＳＲ１１３までの処理は、前回の遠隔操作時遠隔操作端末制御の際にステップＳＲ１１４ですでに映像信号の表示を行っているとして説明する。ステップＳＲ１０２は、遠隔操作端末２０で使用者によるカメラ設定の変更指示があったかどうかを判断し、設定変更指示があった場合はステップＳＲ１０３へ進み、そうでない場合はステップＳＲ１０４へ進む。

ステップＳＲ１０３では、カメラ設定の変更情報をカメラ１０に対して送信する。次にステップＳＲ１０４では、遠隔操作端末２０で追従開始の指示が行われたかどうかを判断し、追従開始の指示が行われた場合はステップＳＲ１０５へ進み、そうでない場合はステップＳＲ１０９へ進む。本実施形態では、遠隔操作端末２０で映像信号の表示を行うと共に、タッチによる操作を行えるタッチパネルに対して、被写体のタッチが行われた場合に追従開始の指示を行う。

ステップＳＲ１０５では、使用者によるタッチが行われた座標を追従被写体位置情報として生成し、ステップＳＲ１０６へ進む。ステップＳＲ１０６では、追従被写体位置情報をカメラ１０に対して送信しステップＳＲ１０７へ進む。次に、ステップＳＲ１０７では、カメラ側のステップＳＣ１０５で行った追従開始処理の結果、パターンマッチングに失敗して追従が行えなかった場合にカメラ１０から送信される追従不可情報を受信したかどうかを判断する。追従不可情報がある場合はステップＳＲ１０８へ進み、そうでない場合はステップＳＲ１０９へ進む。

ステップＳＲ１０８では、カメラ側で追従が行えなかったことを使用者に伝えるために、追従が行えなかった旨を表示し、ステップＳＲ１０９へ進む。このように追従が行えなかった旨を表示することで、使用者が再度追従指示を行えるように促す。ステップＳＲ１０９では、遠隔操作端末２０による追従停止の指示があったかどうかを判断し、追従停止指示があった場合はステップＳＲ１１０へ進み、そうでない場合はステップＳＲ１１１へ進む。この追従停止指示とは、現在追従を行っている場合に、使用者が追従をやめたい場合に行う操作である。遠隔操作端末２０に表示された追従停止アイコンを使用者がタッチすることで、追従停止指示を行う。

ステップＳＲ１１０では、追従停止指示をカメラ１０に対して送信して、ステップＳＲ１１１へ進む。ステップＳＲ１１１では、遠隔操作端末２０によるカメラ制御の指示があったかどうかを判断し、カメラ制御指示があった場合はステップＳＲ１１２へ進み、そうでない場合はステップＳＲ１１３へ進む。ステップＳＲ１１２では、遠隔操作端末２０で行われたカメラ制御情報をカメラ側に送信し、ステップＳＲ１１３へ進む。例えば、遠隔操作端末２０によってズーミングを行った場合、カメラ１０に対してズーミングを行うように制御情報を送信する。ステップＳＲ１１３では、ステップＳＲ１０１で受信を開始した映像信号の受信が完了したかどうかを判断し、完了した場合はステップＳＲ１１４へ進み、完了していない場合はステップＳＲ１１５へ進む。

ステップＳＲ１１４では、受信完了した映像信号の表示処理を行い、ステップＳＣ１１６へ進む。ステップＳＲ１１６では、ステップＳＲ１０１で受信したカメラ映像送信時間をそのままカメラ側に送り返し、処理を終了する。ステップＳＲ１１５では、ステップＳＲ１０２からＳＲ１１２までに行われた、カメラ１０に対する各種指示情報を、初期化（指示がない状態）し、ステップＳＲ１０２に戻り、再度ステップＳＲ１０２から処理を行う。カメラ側は撮像を行う度に、遠隔操作端末２０に対して映像信号を送信するが、遠隔操作端末２０はそれをすべて表示できるとは限らず、遠隔操作端末２０の処理能力や、回線状況に依存する。遠隔操作端末２０の処理能力が低いほど、カメラ側が表示する周期に対してより遅い周期で映像信号を表示することになる。ステップＳＲ１０１で受信開始した映像信号を受信し続けている間も、遠隔操作端末２０でカメラ設定の変更やカメラ制御の実施、現在表示している画像に対しての追従の開始指示等が行えるようにする。

つまり、ステップＳＲ１１３で受信完了するまでの間は、ステップＳＲ１１５の処理を経由して、ステップＳＲ１０２からステップＳＲ１１２の処理を行えるようにする。映像信号の受信が完了した場合は、ステップＳＲ１１４でその映像信号を遠隔操作端末２０に表示し、次に遠隔操作時遠隔操作端末制御が行われた後のステップＳＲ１０１で、再度映像信号の受信を開始する。再度映像信号の受信をしている間は、現在表示されている映像信号に対して各種処理の指示を受け付ける。なお、遠隔制御開始後すぐのような、ステップＳＲ１０１で映像信号の受信を開始した段階でまだ何も映像信号を表示していない場合は、ステップＳＲ１０２、ＳＲ１０４、ステップＳＲ１０７、ステップＳＲ１０９、ステップＳＲ１１１の処理はすべてＮとする。そうすることで各種制御指示を受け付けずに各種ステップをスキップする。そして、ステップＳＲ１１４で初めて映像信号の表示が行われた後に、ステップＳＲ１０２からステップＳＲ１１２の各種制御指示を受け付けるものとする。

本実施の形態において、カメラ側はＳＣ１０１で周期的に映像信号の送信を行う際に、この送信時刻を表すカメラ映像送信時間も付与して送信する。それに対して、遠隔操作端末２０は、映像信号の受信を完了し、ステップＳＲ１１４で映像信号の表示を行う度に、ステップＳＲ１１６によって、このカメラ映像送信時間をカメラ側に送り反す。カメラ側はステップＳＣ１１６で、カメラ映像送信時間を受信した時刻と、このカメラ映像送信時間の差分から通信遅延時間を算出する。この通信遅延時間は、カメラ１０が画像を送信し遠隔操作端末２０が映像信号を表示してカメラに通信完了するまでの、カメラと遠隔操作端末間の往復の通信時間を表している。通信回線の状況によって、この通信遅延時間は逐次変動する。

図８の説明で先述したように、被写体の追従指示を行うには、使用者が被写体追従指示を行った画像と同じ画像で、かつ追従指示を行った座標と同じ座標から被写体を特定する必要がある。遠隔操作端末２０からの追従指示を行った時点でカメラ側ではすでに遠隔操作端末２０に表示されている画像よりも未来の画像を撮像している。そのため、遠隔操作端末２０で追従指示を行った画像と同様の画像に対して追従指示を行うためにカメラ側で過去の画像を保持しておく。遠隔操作端末２０で追従指示を行った画像を保持しておくには、少なくとも先述した通信遅延時間（カメラと遠隔操作端末間の往復の通信時間）の長さだけ保持する必要がある。カメラ１０はこのように常に過去画像を保持しておく。そして、ステップＳＲ１０４で追従開始指示が行われた際には、先述のステップＳＲ１０６で通信された被写体位置情報と、追従開始指示があった時点でステップＳＣ１１６で算出された通信遅延時間を基に、ステップＳＣ１０５で追従開始処理を行う。

次に、本発明の特徴的な部分である図３のステップＳＣ１０５の追従開始処理について、図４のフローチャートを用いて説明する。

ステップＳＣ２０１では、保持している過去画像の内、現在の通信遅延時間分だけ過去の画像を、特徴量を抽出する画像として選択してステップＳＣ２０２へ進む。抽出する特徴量とは、先述したように色情報のヒストグラム及び輝度情報のヒストグラムである。本実施形態では通信遅延時間を基に過去の画像を選択しているが、過去の画像と共に画像のフレーム情報を保持しておき、フレーム情報が一致する画像を選択するシステムでも良い。ステップＳＣ２０２では、ステップＳＣ２０１で選択した画像に対して、遠隔操作端末２０から受信した被写体位置情報を中心とした所定の領域から特徴量を抽出し、ステップＳＣ２０３へ進む。

ステップＳＣ２０３では、保持している過去画像の内、現在選択している画像より一つ未来の画像を選択し直してステップＳＣ２０４へ進む。ステップＳＣ２０２の処理の直後では、ステップＳＣ２０１で選択した画像よりも一つ未来の画像を選択することになる。ステップＳＣ２０４では、ステップＳＣ２０２で抽出した特徴量と、ステップＳＣ２０３で選択した画像を基にパターンマッチングを行いステップＳＣ２０５へ進む。ステップＳＣ２０４の詳細は、図５で後述する。

ステップＳＣ２０５では、ステップＳＣ２０４の処理で追従不可情報が発行されたかどうかを判断し、発行されていない場合はステップＳＣ２０６へ進み、発行された場合は追従不可と判断し処理を終了する。ステップＳＣ２０６では、現在時刻に撮像している画像に対してパターンマッチングが実行できたかを判断し、実行できた場合はステップＳＣ２０７へ進み、実行できていない場合はステップＳＣ２０３へ戻る。図８の説明で先述したように、ステップＳＣ２０３からステップＳＣ２０６の処理を繰り返し、保持している過去画像に対して順次追従被写体が存在する領域（第２の追従領域）を発見していく。そして、最終的に現在時刻に撮像している画像に対してパターンマッチングを行い追従被写体が存在する領域（第１の追従領域）を特定する。このように時系列順に順次追従被写体を追いかけて発見していくことで、追従被写体の移動が大きくても現在撮像している画像から追従被写体を特定することができる。

次に、ステップＳＣ２０６で現在時刻に撮像している画像に対してパターンマッチングが実行できている場合に進むステップＳＣ２０７では、最後に保持した位置情報を中心とした領域に追従領域を設定してステップＳＣ２０８へ進む。この最後に保持した位置情報とは、現在時刻に撮像している画像中で、追従したい被写体が発見できた位置に相当する。カメラ１０はこの追従領域に対して、図３のステップＳＣ１１４でＡＦやＡＥの処理を行う。ステップＳＣ２０８では、追従を継続していくための情報として、ステップＳＣ２０２で特徴量を抽出した追従用画像と、ステップＳＣ２０７で追従領域を設定した位置情報を保持して処理を終了する。これらの情報を基に、図３におけるステップＳＣ１０９で追従継続処理を行う。

以上のようにして、通信遅延時間によって遠隔操作端末２０で追従指示が行われた画像を過去画像から特定し、遠隔操作端末２０から受信した追従被写体の位置情報を基に追従被写体の特徴量を抽出する。さらに、この特徴量を基に、特定した過去画像から時系列順に、各画像に対してパターンマッチングを行っていくことで、現在撮像している画像から追従被写体を特定する。カメラ側で通信遅延時間分の過去画像を保持しておき、遠隔操作端末２０で追従指示を行った画像と同様の画像を見つけ出し、位置情報を基に特徴量を抽出することで、通信タイムラグによる被写体の誤追尾を防ぎ、より正確に追従被写体の特定を行うことができる。カメラは、この追従領域に対してＡＦやＡＥといった制御を行うことで、使用者が追従したい被写体に対して好適なフォーカス及び露出を簡単に設定することができる。

次に、図４のステップＳＣ２０４のパターンマッチング処理について、図５のフローチャートを用いて説明する。ステップＳＣ３０１では、ステップＳＣ２０３で選択した画像に対して、パターンマッチング範囲を設定してステップＳＣ３０２へ進む。ここで設定する範囲は、前回のパターンマッチング処理において、後述するステップＳＣ３０６で最後に保持した位置情報を中心とした領域を設定する。この位置情報とは、すなわち追従したい被写体が存在するとされる位置である。なお、パターンマッチング処理が初回である場合は、図４のステップＳＣ２０２で特徴量を算出する際に使用した、遠隔操作端末２０から受信した位置情報を基にする。ステップＳＣ３０２では、パターンマッチング範囲の一部の領域から特徴量を抽出し、ステップＳＣ３０３へ進む。

ステップＳＣ３０２で特徴量を抽出する領域の大きさは、図４のステップＳＣ２０２で特徴量を抽出する領域と同様のものである。さらに、後述するＳＣ３０８によってステップＳＣ３０２に処理が戻るたびに、画像信号中の所定の範囲内から順次画像信号を切り出す位置を変更していくことで、画像信号とのマッチングを行っていく。なお、マッチングを行う範囲が広いほど、追従被写体を発見できる可能性は高くなるが、誤追従も増える。切り出す位置の変更方法は、１行ごとに切り出し位置変更を行い、１行が終われば次の列の行について切り出しを行う。当然、列を優先して切り出しを行ってもよい。また、切り出しの範囲は、切り出し画像が重複しても重複しなくてもよく、必要な追従精度によって決める。切り出し画像が重複する場合、例えば、１画素ずらす毎に切り出し画像を生成する場合では、マッチングをより精密にとるため追従精度が上がるが、マッチングの計算量が多くなる。

対して、例えば追従画像が重複しないように、追従画像に隣接する範囲を追従画像とした場合は、マッチングの計算量が少なくなるが追従精度が下がる。次に、ステップＳＣ３０３では、図４のステップＳＣ２０２で抽出した特徴量と、ステップＳＣ３０２で抽出した特徴量の差分を計算し、ステップＳＣ３０４へ進む。ステップＳＣ３０４では、ステップＳＣ３０３で計算した特徴量の差分が、現在保持している特徴量の差分値より小さいかどうかを判断し、小さい場合はステップＳＣ３０５へ進み、そうでない場合はステップＳＣ３０７へ進む。このように、追従したい被写体の特徴量と、パターンマッチング対象画像の特徴量の差分をとり、その差が小さいほどマッチングが取れていることを表す。

よって、ステップＳＣ３０４で特徴量の差分がここまでで最小であるかどうかを判断し、後述する処理によって最小値を保持していく。なお、ステップＳＣ３０５でまだ一度も特徴量の差分を保持していない場合は、必ずステップＳＣ３０５へ進むようにする。ステップＳＣ３０５では、計算した特徴量の差分の最小値を保持し、ステップＳＣ３０６へ進む。

ステップＳＣ３０６では、ステップＳＣ３０２で特徴量を抽出した領域の中心位置座標を保持してステップＳＣ３０７へ進む。この中心位置情報は、現在パターンマッチングを行っている画像信号に対して、最もマッチングが取れている位置情報で、最終的には追従被写体がいるだろうとされる位置情報を保持する。この位置情報は、次回のパターンマッチング処理におけるＳＣ３０１の処理でパターンマッチングの範囲を設定するために用いる。もしくは、パターンマッチングを行った選択画像が、現在カメラが撮像している画像であれば、追従領域を設定するために用いる。なお、本実施形態では中心位置座標としているが、もちろん中心位置でなく、例えば領域の左上の座標としても構わない。

次に、ステップＳＣ３０７では、ステップＳＣ３０５で保持している特徴量の差分の最小値が所定値より大きくて、かつパターンマッチングのタイムオーバーが起きているかどうか判断する。保持している特徴量の差分の最小値が所定値より小さいか、若しくはタイムオーバーしていない場合はステップＳＣ３０８へ進み、該最小値が所定値より大きくてタイムオーバーしている場合はステップＳＣ３１０へ進む。パターンマッチングに時間がかかっても、特徴量の差分が小さいパターンが発生しない場合、追従したい被写体がすでにマッチングを行う範囲にいない可能性が高いといえる。よって、パターンマッチングに制限時間を設けて、特徴量の差分の最小値が所定値より大きくてかつ制限時間をオーバーする場合はマッチングを打ち切るという処理を行う。この制限時間は、保持している特徴量の差分の最小値に応じて可変して、大きいほど早く打ち切るようにしてもよい。

次にステップＳＣ３０８では、ステップＳＣ３０２で行う特徴量の抽出を、マッチング範囲全てに対して行ったかどうかを判断し、行った場合はステップＳＣ３０９へ進む。行っていない場合はステップＳＣ３０２へ戻り、ステップＳＣ３０２からステップＳＣ３０７で、現在選択している画像信号に対してパターンマッチング処理を継続する。ステップＳＣ３０９では、パターンマッチングを終了して、最終的に保持した特徴量の差分の最小値が所定値より小さいかどうかを判断し、所定値より小さい場合は処理を終了し、そうでない場合はステップＳＣ３１０へ進む。特徴量の差分の最小値が所定より小さければ、追従被写体が発見できたとして、図４における追従開始処理を継続する。

また、特徴量の差分の最小値が所定値より大きく、またはマッチングタイムオーバーが発生したときに進むステップＳＣ３１０では追従被写体を特定できなかったとして、追従不可情報を発行し、処理を終了する。追従不可情報を発行した場合、図４のステップＳＣ２０５で追従開始処理を中断すると共に、図３のステップＳＣ１０７で遠隔操作端末２０に対して、追従被写体を特定できなかった旨を送信する。

以上のようにして、選択した過去画像に対してパターンマッチングを行い、追従被写体が存在するとされる位置情報を取得する。パターンマッチングを過去画像に対して時系列順に順次行うことで、現在撮像している画像において追従被写体が存在する位置情報を取得する
次に、図３のステップＳＣ１０９の追従継続処理について、図６のフローチャートを用いて説明する。

ステップＳＣ４０１では、図４の追従開始処理におけるステップＳＣ２０８で保持した追従用画像から特徴量を抽出して、ステップＳＣ４０２へ進む。ステップＳＣ４０２では、同様に図４の追従開始処理におけるステップＳＣ２０８か、若しくは後述するステップＳＣ４１２で保持した位置情報から、マッチングを行う範囲の中心位置を限定して、ステップＳＣ４０３へ進む。前回マッチングが取れた位置情報を中心としてマッチングの範囲を設定することで、より追従被写体の特定を行いやすくする。

ステップＳＣ４０３では、ステップＳＣ４０２で設定したマッチング範囲の画像信号から、ステップＳＣ４０１で使用した追従用画像と同様のサイズの画像を切り出すと共に、特徴量を抽出してステップＳＣ４０４へ進む。ステップＳＣ４０４では、ステップＳＣ４０１とステップＳＣ４０３で抽出した特徴量の差分を計算して、ステップＳＣ４０５へ進む。ステップＳＣ４０５では、ここまで計算した特徴量の差分が、現在保持している特徴量の差分の値より小さいかどうかを判断し、小さい場合はステップＳＣ４０６へ進み、そうでない場合はステップＳＣ４０８へ進む。ステップＳＣ４０６では、計算した特徴量の差分が最も小さいとして、この値を保持してステップＳＣ４０７へ進む。ステップＳＣ４０７では、ステップＳＣ４０３で切り出した画像信号の位置情報を保持して、ステップＳＣ４０８へ進む。

なお、ステップＳＣ４０５の判断時に、ステップＳＣ４０６で未だ一度も特徴量の差分の最小値を保持していない場合は、必ずステップＳＣ４０６へ進むようにする。ステップＳＣ４０８では、ステップＳＣ４０６で保持している特徴量の差分の最小値が所定値より大きくて、かつパターンマッチングのタイムオーバーが起きているかどうか判断する。保持している特徴量の差分の最小値が所定値より小さいか、若しくはタイムオーバーしていない場合はステップＳＣ４０９へ進み、該最小値が所定値より大きくてタイムオーバーしている場合はステップＳＣ４１４へ進む。ステップＳＣ４０８の処理の詳細は、図５のステップＳＣ３０７で説明したものと同様なので省略する。

ステップＳＣ４０９では、ステップＳＣ４０２で設定したマッチング範囲全てに対して、マッチングを行ったかどうかを判断し、行った場合はステップＳＣ４１０へ進み、行っていない場合はステップＳＣ４０３へ戻り、パターンマッチングの処理を継続する。ステップＳＣ４１０では、パターンマッチングの結果、ステップＳＣ４０６で保持した特徴量の差分の最小値が所定値より小さいかどうかを判断し、所定値より小さい場合は、ステップＳＣ４１１に進み、そうでない場合はステップＳＣ４１４へ進む。ステップＳＣ４１１では、追従被写体が特定できたとして、ステップＳＣ４０７で保持した画像信号の位置情報を中心とした範囲に追従領域を設定してステップＳＣ４１２へ進む。

ステップＳＣ４１２では、ステップＳＣ４１１で設定した追従領域の位置情報を保持しステップＳＣ４１３へ進む。ステップＳＣ４１２で保持した座標情報は、次回の追従継続処理時のステップＳＣ４０２で使用する。ステップＳＣ４１３では追従不可カウンタをクリアして処理を終了する。追従不可カウンタについては、後述するステップＳＣ４１４からステップＳＣ４１７で説明する。

このように、順次撮像する画像信号に対してパターンマッチングを繰り返し行うことで、順次追従領域を特定し、追従を継続する。次に、特徴量の差分の最小値が所定値より大きい場合、若しくはマッチングタイムオーバーした場合に進むステップＳＣ４１４では、追従不可カウンタを加算してステップＳＣ４１５へ進む。この追従不可カウンタとは、追従継続処理を行った際に追従被写体を連続で特定できなかった回数をカウントするものである。ステップＳＣ４１５では、追従不可カウンタが所定回数以上かどうかを判断し、所定回数以上である場合はステップＳＣ４１６へ進み、そうでない場合はステップＳＣ４１７へ進む。

ステップＳＣ４１６では、追従被写体を特定できなかったとして、追従不可情報を発行して処理を終了する。追従不可情報が発行されたら、図３のステップＳＣ１１１によって追従の停止処理を行う。ステップＳＣ４１７では、追従制御一時停止という状態に変更し、処理を終了する。追従制御一時停止状態とは、追従制御領域に対してカメラ制御を行わない状態であり、ＡＦやＡＥの制御を一時的に停止する。

ここで、ステップＳＣ４１４からステップＳＣ４１７について詳細に説明する。追従継続処理時は、追従被写体が一時的に特定できなくなったとしても再度特定できるようになる可能性がある。例えば、追従していた被写体が一度フレームアウトした後に再度フレームインしてきた場合や、追従していた被写体の前に他の被写体が横切った場合などが挙げられる。このような場合を想定して、一時的に被写体追従が出来なくなったとしても、再度被写体が特定できる待ち時間を持つようにする。この待ち時間が追従不可カウンタであり、この追従不可カウンタが所定回数以上になるまでは、ステップＳＣ４１６で追従不可情報を発行しないようにする。

ただし、追従被写体が特定できていない場合は、現在設定されている追従領域に対してＡＦやＡＥ制御を行うわけにはいかないので、ステップＳＣ４１７でこれら制御を一時的に停止する。このようにして、一時的に追従被写体を特定できなくなったとしても、再度追従被写体が現れた時に追従を継続できるようにする。

以上説明したように、カメラ１０は遠隔操作端末２０に対して撮像した画像信号だけでなく画像信号の送信時刻情報を送信し、遠隔操作端末２０は、該画像信号を表示する度に該送信時刻情報をカメラ１０にそのまま送り返す。カメラ１０は、遠隔操作端末２０から送信時刻情報を受信した時点の時刻情報と、受信した送信時刻情報の差分から通信遅延時間を常に計測しておき、少なくともこの通信遅延時間の分だけ、ＳＤＲＡＭ１６６に撮像した画像信号を保持しておく。システム制御部１４は、遠隔操作端末２０からの追従指示によって追従制御を行う場合、遠隔側システム制御部２１によって生成された追従指示が行われた座標情報を受信する。システム制御部１４は、座標情報を受信した時点の通信遅延時間を基に、ＳＤＲＡＭ１６６に保持していた過去画像から遠隔操作端末２０で追従指示が行われた時点に、遠隔側表示部２４３に表示されていた画像を選択する。

さらに、追従画像生成部１４１によって、選択した画像から受信した座標情報を中心とした所定領域を追従被写体の画像（追従用画像）として生成する。システム制御部１４は、この追従被写体の画像を基に追従信号処理部１２５及び被写体領域検出部１２６によって現時点で撮像している画像信号から追従被写体を特定することで追従制御を行う。また、現時点で撮像している画像信号から追従被写体を特定するために、追従被写体の画像を生成した過去の画像信号から、時系列順に順次、保持した過去画像と追従被写体の画像とのパターンマッチングを行う。

このように、追従被写体の位置情報のみで遠隔操作端末２０から追従指示をするのではなく、通信遅延時間を考慮して追従被写体の特定を行う。これによって、通信遅延の影響で使用者が追従を行いたい被写体以外を誤追尾してしまうことや、使用者が通信タイムラグを考慮した位置に対して追従指示を行わななけらばならない問題が改善する。この結果、通信遅延に依らず、使用者が追従したい被写体をより正確に追従することが可能となり、また使用者が通信遅延を気にすることなく追従指示を行うことができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、撮像装置および遠隔操作端末に供給する。そしてその撮像装置および遠隔操作端末のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置と、携帯電話、スマートフォン、携帯ゲーム機などの遠隔操作端末とからなるカメラシステムに好適に利用できる。

１０‥‥‥撮像装置
１２１‥‥撮像素子
１２５‥‥追従信号処理部
１２６‥‥被写体領域検出部
１４‥‥‥システム制御部
１４１‥‥追従画像生成部
１６６‥‥ＳＤＲＡＭ
１６９‥‥撮像側通信部
２０‥‥‥遠隔操作端末
２１‥‥‥遠隔側システム制御部
２２‥‥‥遠隔側操作部
２４１‥‥遠隔側通信部
２４３‥‥遠隔側表示部
２４４‥‥遠隔側ＳＤＲＡＭ

Claims (16)

1. 遠隔操作端末により外部から制御される撮像装置であって、
   被写体像を光電変換して画像信号を生成する撮像手段と、
   生成された前記画像信号を送信するとともに、前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたときの前記被写体の位置情報を前記遠隔操作端末から受信するとともに、前記被写体が指定されたときに表示中の画像に対応する前記画像信号に付与された付与情報を受信する通信手段と、
   受信した前記付与情報に基づいて通信遅延時間を算出する算出手段と、
   算出された前記通信遅延時間に基づいて前記撮像手段により生成された画像信号を所定期間保持する保持手段と、
   前記位置情報を受信したときに算出された前記通信遅延時間に基づいて前記保持手段に保持されている画像信号を選択する選択手段と、
   前記選択された画像信号と、前記遠隔操作端末から受信した前記位置情報に基づいて、前記選択された画像信号よりも後に生成された画像信号から前記被写体の第１の追従領域を特定する特定手段と、
   を有することを特徴とする撮像装置。
2. 前記通信手段は、
   前記画像信号を送信する際に、前記画像信号を前記遠隔操作端末に送信する際に付与される前記付与情報を送信し、
   前記表示部に前記画像信号に対応する画像が表示されたとき、前記遠隔操作端末から表示された前記画像に対応する前記画像信号に付与された前記付与情報を受信し、
   前記算出手段は、受信した前記付与情報に基づいて前記通信遅延時間を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記付与情報は、前記画像信号を前記遠隔操作端末に送信する送信時刻に関する情報であることを特徴とする請求項２に記載の撮像装置。
4. 前記保持手段は、少なくとも通信遅延時間分の画像信号を保持することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記選択手段は、前記保持手段により保持されている画像信号のうち、前記位置情報を受信したときに算出された通信遅延時間だけ過去の時点に最も近い画像信号を選択することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記特定手段は、前記保持手段により保持されている画像信号のうち、前記選択された画像信号から時系列順に順次、前記被写体の第２の追従領域を特定していくことで、現在の画像信号から前記第１の追従領域を特定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記選択された画像信号よりも後に生成された前記画像信号は、現在の画像信号であることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記特定手段は、前記選択された画像信号と前記受信した位置情報とに基づいて追従用画像を生成し、前記追従用画像に基づいて、前記選択された画像信号よりも後に生成された前記画像信号から前記被写体の前記第１の追従領域を特定することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 撮像装置を外部から制御する遠隔操作端末であって、
   前記撮像装置から受信した画像信号に対応する画像を表示する表示部と、
   前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置に関する位置情報を生成する生成手段と、
   前記撮像装置から前記画像信号および前記画像信号に付与された付与情報を受信するとともに、前記表示部に表示中の画像上で被写体が指定されたとき、前記位置情報を前記撮像装置へ送信するとともに、前記被写体が指定されたときに表示中の画像に対応する前記画像信号に付与された前記付与情報を前記撮像装置へ送信する通信手段と、を有し、
   前記撮像装置は、前記付与情報に基づいて算出した通信遅延時間に基づいて選択された前記画像信号と前記位置情報に基づいて、前記選択された画像信号よりも後に生成された画像信号から前記被写体の第１の追従領域を特定することを特徴とする遠隔操作端末。
10. 前記付与情報は、前記撮像装置から前記画像信号が送信される送信時刻に関する情報であり、
    前記通信手段は、前記撮像装置から前記送信時刻に関する情報が付与された前記画像信号を受信し、
    前記遠隔操作端末は、前記表示部が前記画像信号に対応する画像を表示したとき、前記通信手段から前記画像信号に付与された前記送信時刻に関する情報を前記撮像装置に対して送信し返すことを特徴とする請求項９に記載の遠隔操作端末。
11. 撮像装置と、前記撮像装置を外部から制御する遠隔操作端末と、からなるカメラシステムであって、
    前記撮像装置に設けられ、被写体像を光電変換して画像信号を生成する撮像手段と、
    前記撮像装置に設けられ、生成された前記画像信号および前記画像信号を前記遠隔操作端末に送信する際に付与される付与情報を送信する第１の通信手段と、
    前記遠隔操作端末に設けられ、前記画像信号および前記付与情報を受信する第２の通信手段と、
    前記遠隔操作端末に設けられ、前記撮像装置から受信した前記画像信号に対応する画像を表示する表示部と、
    前記遠隔操作端末に設けられ、前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置に関する位置情報を生成する生成手段と、
    前記撮像装置に設けられ、前記被写体が指定されたときに表示中の前記画像に対応する前記画像信号に付与された、前記第２の通信手段から送信される前記付与情報に基づいて通信遅延時間を算出する算出手段と、
    前記撮像装置に設けられ、算出された前記通信遅延時間に基づいて前記撮像手段により生成された画像信号を所定期間保持する保持手段と、
    前記撮像装置に設けられ、前記遠隔操作端末の前記表示部に表示中の画像上で被写体が指定されたときの前記被写体の位置情報を前記第２の通信手段から受信したときに算出された前記通信遅延時間に基づいて前記保持手段に保持されている画像信号を選択する選択手段と、
    前記撮像装置に設けられ、前記選択された画像信号と、前記第２の通信手段から受信した前記位置情報に基づいて、前記選択された画像信号よりも後に生成された画像信号から前記被写体の第１の追従領域を特定する特定手段と、
    を有することを特徴とするカメラシステム。
12. 前記付与情報は、前記画像信号を前記撮像装置から前記遠隔操作端末に送信する送信時刻に関する情報であり、
    前記撮像装置は、前記第１の通信手段により前記画像信号を送信する際に、前記送信時刻に関する情報を付与して送信し、
    前記遠隔操作端末は、前記表示部が前記画像信号に対応する画像を表示したとき、前記第２の通信手段から前記画像信号に付与された前記送信時刻に関する情報を前記撮像装置に対して送信し返し、
    前記算出手段は、
    前記撮像装置が前記第２の通信手段から前記送信時刻に関する情報を受信した時刻と、前記送信時刻との差分から通信遅延時間を算出することを特徴とする請求項１１に記載のカメラシステム。
13. 被写体像を光電変換して画像信号を生成する撮像手段を有し、遠隔操作端末により外部から制御される撮像装置の制御方法であって、
    生成された前記画像信号を送信するステップと、
    前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたときの前記被写体の位置情報を前記遠隔操作端末から受信するステップと、
    前記被写体が指定されたときに表示中の画像に対応する前記画像信号に付与された付与情報を受信するステップと、
    受信した前記付与情報に基づいて通信遅延時間を算出するステップと、
    算出された前記通信遅延時間に基づいて前記撮像手段により生成された画像信号を保持手段に所定期間保持させるステップと、
    前記位置情報を受信したときに算出された前記通信遅延時間に基づいて前記保持手段に保持されている画像信号を選択するステップと、
    前記選択された画像信号と、前記遠隔操作端末から受信した前記位置情報に基づいて、前記選択された画像信号よりも後に生成された画像信号から前記被写体の第１の追従領域を特定するステップと、
    を有することを特徴とする撮像装置の制御方法。
14. 被写体像を光電変換して画像信号を生成する撮像手段を有し、遠隔操作端末により外部から制御される撮像装置に、
    生成された前記画像信号を送信するステップと、
    前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたときの前記被写体の位置情報を前記遠隔操作端末から受信するステップと、
    前記被写体が指定されたときに表示中の画像に対応する前記画像信号に付与された付与情報を受信するステップと、
    受信した前記付与情報に基づいて通信遅延時間を算出するステップと、
    算出された前記通信遅延時間に基づいて前記撮像手段により生成された画像信号を保持手段に所定期間保持させるステップと、
    前記位置情報を受信したときに算出された前記通信遅延時間に基づいて前記保持手段に保持されている画像信号を選択するステップと、
    前記選択された画像信号と、前記遠隔操作端末から受信した前記位置情報に基づいて、前記選択された画像信号よりも後に生成された画像信号から前記被写体の第１の追従領域を特定するステップと、
    を実行させることを特徴とする撮像装置の制御プログラム。
15. 撮像装置を外部から制御する遠隔操作端末の制御方法であって、
    前記撮像装置により生成された画像信号および前記画像信号に付与された付与情報を受信するステップと、
    前記撮像装置から受信した前記画像信号に対応する画像を表示部に表示するステップと、
    前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置に関する位置情報を生成するステップと、
    前記表示部に表示中の画像上で被写体が指定されたとき、前記位置情報を前記撮像装置へ送信するステップと、
    前記被写体が指定されたときに表示中の画像に対応する前記画像信号に付与された前記付与情報を前記撮像装置へ送信するステップと、を有し、
    前記撮像装置は、前記付与情報に基づいて算出した通信遅延時間に基づいて選択された前記画像信号と前記位置情報に基づいて、前記選択された画像信号よりも後に生成された画像信号から前記被写体の第１の追従領域を特定することを特徴とする遠隔操作端末の制御方法。
16. 撮像装置を外部から制御する遠隔操作端末に、
    前記撮像装置により生成された画像信号および前記画像信号に付与された付与情報を受信するステップと、
    前記撮像装置から受信した前記画像信号に対応する画像を表示部に表示するステップと、
    前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置に関する位置情報を生成するステップと、
    前記表示部に表示中の画像上で被写体が指定されたとき、前記位置情報を前記撮像装置へ送信するステップと、
    前記被写体が指定されたときに表示中の画像に対応する前記画像信号に付与された前記付与情報を前記撮像装置へ送信するステップと、を実行させ、
    前記撮像装置は、前記付与情報に基づいて算出した通信遅延時間に基づいて選択された前記画像信号と前記位置情報に基づいて、前記選択された画像信号よりも後に生成された画像信号から前記被写体の第１の追従領域を特定することを特徴とする遠隔操作端末の制御プログラム。