JP6198397B2 - 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法、遠隔操作端末の制御方法 - Google Patents

Description

本発明は、任意の被写体に対する追従機能を備えた撮像装置と、該撮像装置を外部から制御する遠隔操作端末からなるシステムに関するものである。

特許文献１には、カメラ２と、該カメラ２を外部から制御可能なコントローラ１とからなるカメラシステムについて開示されている。このカメラシステムでは、操作者がコントローラ１を操作することで、カメラ２から送信される撮影画像データを観察しながら、フォーカス位置を所望の被写体の位置に設定（指定）することができる。該設定がなされたとき、コントローラ１はカメラ２に対し設定された被写体の位置に関する情報を送信することで、カメラ２は受信した位置情報を基に所望の被写体の位置においてＡＦ処理等を実行することができる。

また、デジタルカメラ等の撮像装置の中には、撮像画面内の任意の被写体を選択することで、選択した被写体を自動的に追従することができるものがある。

特開２００９−２７３０３３号公報

カメラ２に対してコントローラ１から制御を行う上記システムでは、通信によってデータを送受信する時間がかかるため、通信のタイムラグが発生してしまう。例えば、カメラ２が撮像した画像をコントローラ１で表示する際、撮影画像データを通信する時間がかかるため、コントローラ１で撮影画像を表示するまでに時間がかかってしまう。この通信のタイムラグによって、操作者がコントローラ１で撮影画像を確認する際、撮像された時点から遅れて画像が表示されてしまう。また、コントローラ１からカメラ２に対して制御指示を行う際も然りで、通信のタイムラグによってコントローラ１側で所望の被写体の位置を指定した時点から遅れて、カメラ２側に該位置に関する情報が受信されることになる。

このように、上記システムでは通信のタイムラグが発生するので、上記システムを使って例えば移動している被写体に対して追従制御を行いたい場合、以下に示すような不具合が生じる虞がある。例えば、図６に示されるように、操作者がコントローラ１で所望の被写体（動物）の位置を指定・送信したとき、カメラ２が受信する時点では操作者が指定した位置に被写体がいない可能性がある。特に被写体の移動量が大きい場合、または通信タイムラグが長い場合に、この問題が顕著になる。そして、操作者が追従したい被写体がすでに指定した位置にいない場合、その時点で指定された位置にたまたま存在する被写体に対して追従を行ってしまうため、操作者の意図と異なる焦点や露出の調節を行ってしまう懸念がある。また、そのような場合に被写体をより正確に追従するためには、コントローラ１側で追従したい被写体の動作を先読みすると同時に、通信タイムラグの長さを考慮して被写体を選択するという配慮をしなければならない。

本発明は、通信タイムラグに依らず操作者が遠隔から指定した被写体をより正確に追従させることが可能な撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法、遠隔操作端末の制御方法を提供する。

本発明の一側面としての撮像装置は、遠隔操作端末により外部から制御される撮像装置であって、被写体像を光電変換して第１の画像信号を生成する撮像手段と、生成された前記第１の画像信号を送信するとともに、前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、前記遠隔操作端末により抽出された、前記被写体が指定された位置から所定領域の第２の画像信号と、前記被写体が指定された位置に関する情報とを受信する通信手段と、受信した前記第２の画像信号と、前記撮像手段により生成された第３の画像信号とのパターンマッチングを行うことで、前記被写体の追従領域を特定する特定手段と、を有し、前記特定手段は、受信した前記位置に関する情報に基づいて、前記パターンマッチングを行う範囲の位置を設定することを特徴とする。
また、本発明の他の側面としての撮像装置は、遠隔操作端末により外部から制御される撮像装置であって、被写体像を光電変換して第１の画像信号を生成する撮像手段と、生成された前記第１の画像信号を送信するとともに、前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、前記遠隔操作端末により抽出された、前記被写体が指定された位置から所定領域の第２の画像信号を受信する通信手段と、受信した前記第２の画像信号と、前記撮像手段により生成された第３の画像信号とのパターンマッチングを行うことで、前記被写体の追従領域を特定する特定手段と、前記撮像装置と前記遠隔操作端末の通信遅延時間を計測する通信遅延時間計測手段と、を有し、前記特定手段は、前記通信遅延時間に基づいて、前記パターンマッチングを行う範囲を可変することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明に依れば、通信タイムラグに依らず操作者が遠隔から指定した被写体をより正確に追従させることが可能になる。

本発明の実施の形態における撮像装置及び遠隔操作端末の構成を示すブロック図である。 本発明の実施の形態における撮像装置及び遠隔操作端末の処理を示すフローチャートである。 第１の実施形態における撮像装置及び遠隔操作端末の遠隔操作実行時の処理を示すフローチャートである。 第１の実施形態における撮像装置の追従開始処理を示すフローチャートである。 本発明の実施の形態における撮像装置の追従継続処理を示すフローチャートである。 撮像装置と遠隔操作端末との通信遅延時間の説明及び追従被写体特定時の問題点を示した図である。 撮像装置と遠隔操作端末との本発明の実施の形態における追従被写体特定方法を表した図である。 第２の実施形態における撮像装置及び遠隔操作端末の遠隔操作実行時の処理を示すフローチャートである。 第２の実施形態における撮像装置の追従開始処理を示すフローチャートである。 第３の実施形態における撮像装置及び遠隔操作端末の遠隔操作実行時の処理を示すフローチャートである。 第３の実施形態における撮像装置の追従開始処理を示すフローチャートである。

＜第１の実施形態＞
以下、添付図面を参照し、本発明の第１の実施形態について説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１は、本発明の実施の形態における画像処理機能を有する撮像装置及び、該撮像装置を遠隔（外部）から操作する機能を有する遠隔操作端末の構成を示すブロック図である。

図１に示すように、本実施形態のカメラシステムはカメラ１０及び遠隔操作端末２０から構成されており、それぞれ情報を通信するための撮像側通信部１６９、遠隔側通信部２４１を持つことで、情報をやり取りすることが可能である。

まず、カメラ（撮像装置）１０の構成について説明する。カメラ１０は、撮像レンズ１１から画像信号を取得できるように構成されており、撮像素子（ＣＭＯＳ）１２１、ＣＤＳ／ＡＧＣ１２２、タイミングジェネレータ（ＴＧ）１２３、画像入力コントローラ１２４を備えている。また、追従信号処理部１２５、被写体領域検出部１２６を備えている。また、変倍レンズ駆動部１３１、絞り駆動部１３２、フォーカシング駆動部１３３、操作部１３４、システム制御部１４を備えている。また、バス１５、記録媒体制御部１６１、記録媒体１６２、表示制御部１６３、表示部１６４、ＡＦ検出部１６５、ＳＤＲＡＭ１６６、ＲＯＭ１６７、フラッシュＲＯＭ１６８、撮像側通信部１６９、振れ検出部１７を備えている。

システム制御部１４は、カメラ全体の動作を統括制御する制御手段として機能し、操作部１３４からの入力に基づき所定の制御プログラムに従って各部を制御する。

バス１５を介して接続されたＲＯＭ１６７には、このシステム制御部１４が実行する制御プログラム及び制御に必要な各種データ等が格納されている。また、バス１５を介して接続されたフラッシュＲＯＭ１６８には、ユーザ設定情報等のカメラ１０の動作に関する各種設定情報等が格納されている。ＳＤＲＡＭ１６６は、システム制御部１４の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。

撮像レンズ（撮像光学系）１１は、被写体側から順に、固定の第１群レンズ１１１、変倍レンズ１１２、絞り１１３、固定の第２群レンズ１１４、フォーカスコンペレンズ１１５を有する。

変倍レンズ１１２は、変倍レンズ駆動部１３１に駆動されて光軸に沿って前後移動する。フォーカスコンペレンズ１１５は、フォーカシング駆動部１３３に駆動されて光軸に沿って前後移動する。

システム制御部１４は、変倍レンズ駆動部１３１とフォーカシング駆動部１３３を制御することにより、変倍レンズ１１２の位置とフォーカスコンペレンズ１１５の位置を制御し、撮影レンズ１１のズーミングとフォーカシングを行う。

絞り１１３は、たとえば、アイリス絞りで構成されており、絞り駆動部１３２に駆動されて動作する。システム制御部１４は、絞り駆動部１３２を制御することにより、絞り１１３の開口量（絞り値）を制御し、撮像素子１２１への入射光量を制御する。

撮像素子（撮像手段）１２１は、ＣＭＯＳセンサやＣＣＤセンサにより構成される光電変換素子である。撮影レンズ１１によって撮像素子１２１の受光面上に結像された被写体像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、システム制御部１４の指令に従ってＴＧ１２３から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１２１から順次読み出される。なお、本実施の形態では、撮像素子としてＣＭＯＳセンサを用いているが、ＣＣＤセンサ等の他の構成の撮像素子を用いることもできる。

ＣＤＳ／ＡＧＣ１２２は、撮像素子１２１から出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）と、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＣ回路である。ＣＤＳ／ＡＧＣ１２２は、撮像素子１２１から出力される画像信号を相関二重サンプリング処理するとともに増幅する。

画像入力コントローラ１２４は、ＣＤＳ／ＡＧＣ１２２から出力された画像信号を取り込んで、ＳＤＲＡＭ１６６に格納する。ＳＤＲＡＭ１６６に格納した画像信号は、表示制御部１６３によって表示部１６４に表示される。また、画像信号の記録を行うモードの時には、記録媒体制御部１６１によって記録媒体１６２に記録される。さらに、遠隔操作端末２０による遠隔操作実行時には、撮像側通信部１６９によって、遠隔操作端末２０内の遠隔側通信部２４１に画像信号を送信する。

システム制御部１４内の追従画像生成部１４１は、操作部１３４によって追従の指示があった場合に、ＳＤＲＡＭ１６６に格納された画像信号を取り込み、追従用画像（追従用画像信号）の生成を行う。本実施形態では操作部１３４の一つとしてタッチパネルがあり、表示画像上のタッチした座標を中心とした所定の領域を追従用画像とする。タッチパネルでなく、操作キーによって追尾する領域の中心座標や、領域そのものを設定できるシステムでも良い。生成した追従用画像信号はＳＤＲＡＭ１６６に格納する。

追従信号処理部１２５は、システム制御部１４からの指令に従いＳＤＲＡＭ１６６から追従用画像信号を取り込み、この追従用画像信号から色情報のヒストグラム及び輝度情報ヒストグラムからなる特徴量を生成する。

また追従信号処理部１２５に取り込む画像信号として、後述する遠隔操作端末２０内の、遠隔側追従画像生成部２１１によって生成された（追従用）画像信号を取り込むことができる。これは本発明の特徴的な部分であり、詳細は後述する。

被写体領域検出部１２６は、現在撮像している画像信号に対して、上述の特徴量を基に追従被写体の探索処理を施し、撮影画面内の所定領域から追従被写体に該当する被写体が存在するかを特定する。追従被写体が存在する場合は、被写体が存在する位置座標を基に追従領域を決定し、その結果をシステム制御部１４に送信し、ＡＦ制御等を行う。また、被写体が存在する位置座標は、ＳＤＲＡＭ１６６に保持され、次回以降の追従被写体領域の検出を行う際に本情報を用いることで、追従被写体の探索処理を施すエリアを限定することができる。追従被写体領域の特定時に、被写体が存在する位置座標が更新される度に、ＳＤＲＡＭ１６６に保持する位置座標も更新する。

このように、本発明において、上述の追従信号処理部１２５及び被写体領域検出部１２６は、追従被写体の追従領域を特定する特定手段として機能する。

システム制御部１４が上述の追従領域を受信したら、ＡＦ検出部１６５に追従領域情報を送信し、ＡＦ検出部１６５は、撮影画面内の上記被写体を含む位置を焦点検出に用いられる領域（焦点検出エリア）として設定する。次に、ＡＦ検出部１６５は、設定した焦点検出エリアの合焦度合いを計算しシステム制御部１４に送信する。結果を受信したシステム制御部１４は、受信した合焦度合いに応じてフォーカシング駆動部１３３を制御し、フォーカシング駆動部１３３はフォーカスコンペレンズ１１５を制御する。また、システム制御部１４は、上記追従領域を基に領域内のヒストグラムを生成し、このヒストグラムに基づいて、フラッシュＲＯＭ１６８に設定された適露出になるように絞り駆動部１３２を制御することで、追従領域に対してＡＥ制御を行う。

撮像側通信部（第１の通信手段）１６９は、後述する遠隔操作端末２０内の遠隔側通信部２４１と通信を行い、各種情報をやり取りする。通信する情報の内容は本発明の特徴とする部分であり、後述する。

次に、遠隔操作端末２０の構成について説明する。遠隔操作端末２０は遠隔側システム制御部２１、遠隔側操作部２２を備えている。また、バス２３、遠隔側通信部２４１、遠隔側表示制御部２４２、遠隔側表示部２４３、遠隔側ＳＤＲＡＭ２４４、遠隔側ＲＯＭ２４５、遠隔側フラッシュＲＯＭ２４６を備えている。遠隔操作端末２０は、遠隔側通信部２４１によって、カメラ１０内の撮像側通信部１６９から、画像信号やカメラ制御情報等の情報をやり取りできるように構成されている。

遠隔側システム制御部２１は、遠隔操作端末全体の動作を統括制御する制御手段として機能し、遠隔側操作部２２からの入力に基づき所定の制御プログラムに従って各部を制御すると共に、カメラ１０を制御するための各種制御情報を生成する。

バス２３を介して接続された遠隔側ＲＯＭ２４５には、遠隔側システム制御部２１が実行する制御プログラム及び制御に必要な各種データ等が格納されている。また、遠隔側フラッシュＲＯＭ２４６には、ユーザ設定情報等の遠隔操作端末２０の動作に関する各種設定情報等が格納されている。

遠隔側ＳＤＲＡＭ２４４は、遠隔側システム制御部２１の演算作業用領域として利用されるとともに、受信した画像信号等の一時記憶領域として利用される。

遠隔側表示制御部２４２は、遠隔側通ＳＤＲＡＭ２４４が格納した、受信画像信号に対応する画像を遠隔側表示部２４３へ表示する。

次に、遠隔側通信部２４１と、撮像側通信部１６９間の通信について詳しく説明する。撮像側通信部１６９は遠隔側通信部２４１の受信確認なしに、画像を撮像する度に画像信号を送信し続ける。遠隔側通信部（第２の通信手段）２４１は、画像信号を受信する度に遠隔側ＳＤＲＡＭ２４４に格納し、遠隔側表示制御部２４２によって遠隔側表示部２４３への表示を行う。遠隔側表示部２４３への表示が完了する前に撮像側通信部１６９から新たな画像信号を受信した場合は、新たに受信した画像信号は無視して、遠隔側表示制御部２４２が実施中の現在の表示処理を継続する。このようにして遠隔操作端末２０でストリーミング再生を行う。

また、遠隔側システム制御部２１は、カメラ１０に対する制御情報や設定変更情報を、遠隔側通信部２４１によって送信する。システム制御部１４は、撮像側通信部１６９によって受信した制御情報に応じてカメラ１０の制御を行い、また設定変更情報に応じて、フラッシュＲＯＭ１６８の各種設定情報等を変更することで、カメラ設定の変更を行う。

例えば、遠隔側システム制御部２１によってズーミング操作を行った場合、通信によってシステム制御部１４がズーミングに関する制御情報（ズーム方向、ズームレンズ駆動量に関する情報）を受信する。そして、この制御情報を基に変倍レンズ駆動部１３１を制御してズーミングを行う。また、例えば遠隔側システム制御部２１によって記録画質の変更を行った場合、通信によってシステム制御部１４が記録画質に関する設定変更情報（記録画質変更情報）を受信し、フラッシュＲＯＭ１６８の情報を書き換えることで記録画質設定の変更を行う。

このようにして、カメラ１０と遠隔操作端末２０は情報の通信を行い、遠隔操作端末２０での画像信号の確認や、カメラ１０の制御等を行うことができる。

次に、本発明の特徴的な部分で、遠隔制御端末２０で被写体追従指示を行い、撮像装置が追従を行うまでの流れを説明する。遠隔側システム制御部２１内の遠隔側追従画像生成部（抽出手段）２１１は、遠隔側操作部２２によって追従の指示があった場合に、遠隔側ＳＤＲＡＭ２４４に格納された画像信号（第１の画像信号）を取り込み、追従用画像（第２の画像信号）の生成を行う。

本実施形態では遠隔側操作部２２をタッチパネルとし、画像信号中のタッチした座標を中心とした所定の領域を追従用画像とする。遠隔側操作部２２はタッチパネルでなく、操作キーによって追尾する領域の中心座標や、領域そのものを設定できるシステムでも良い。生成した追従用画像は、遠隔側システム制御部２１の指示で、遠隔側通信部２４１によって撮像側通信部１６９に送信される。システム制御部１４は、撮像側通信部１６９から追従用画像を受信したとき、遠隔操作端末２０によって追従指示があったとして、ＳＤＲＡＭ１６６に追従用画像を保持すると共に、追従信号処理部１２５は追従用画像を取り込む。

追従信号処理部１２５は、先述したように、追従用画像信号から色情報のヒストグラム及び輝度情報ヒストグラムからなる特徴量を生成する。被写体領域検出部１２６は、先述したように、現在撮像している画像信号（第３の画像信号）に対して、上記特徴量を基に追従被写体の探索処理を施し、撮影画面内の所定領域から追従被写体に該当する被写体が存在するかを特定する。追従被写体が存在する場合は、追従被写体が存在する位置座標を基に追従領域を決定し、その結果をシステム制御部１４に送信し、ＡＦやＡＥ制御（焦点や露光の調節）を行う。

また、追従被写体が存在する位置座標は、ＳＤＲＡＭ１６６に保持し、次回以降の追従被写体領域の検出を行う際に本情報を用いることで、追従被写体の探索処理を施すエリアを限定することができる。追従被写体領域の特定時に、追従被写体が存在する位置座標が更新される度に、ＳＤＲＡＭ１６６に保持する位置座標も更新する。

このように、遠隔操作端末２０で追従用画像を生成し、カメラ１０に対して送信を行い、カメラ１０はこの追従用画像を基に追従被写体の存在する領域を特定することで、遠隔操作端末２０による追従指示を行う。このような形態であれば、課題である通信タイムラグを考慮する必要なく、遠隔操作端末２０からの追従指示で精度良く追従を行うことができる。

次に、被写体追従機能について詳細に説明する。操作部１３４若しくは遠隔側操作部２２によって被写体の追従（開始）指示があったとき、追従画像生成部１４１若しくは遠隔側追従画像生成部２１１は、追従指示がされたときの位置情報から所定の範囲を追従用画像として生成する。本実施形態では、タッチパネルのタッチ座標を中心とした所定の範囲を追従用画像として生成する。所定の範囲は、少なくとも、追従制御を行う上で誤追従が頻発しない程度に特徴量が生成できる大きさにする必要がある。所定の範囲は固定でもよいし、ユーザ設定等で可変できるようなシステムでもよい。生成された追従用画像は、追従信号処理部１２５によって、色情報のヒストグラム及び輝度情報のヒストグラムを生成し、これを追従用画像の特徴量とする。本実施の形態では、色及び輝度のヒストグラムを生成しているが、どちらか一方だけ生成しても構わない。

さらに、被写体領域検出部１２６で、現在撮像している画像信号から、上記追従用画像と同等のサイズの画像を生成し、これを追従候補画像とする。追従用画像と同様に、追従信号処理部１２５によって、追従候補画像から色及び輝度のヒストグラムを生成し、これを追従候補画像の特徴量とする。被写体領域検出部１２６は、追従用画像の特徴量と、追従候補画像の特徴量から、各色情報毎の差分と、輝度情報の差分を算出し、さらにこれら算出した値の和を計算して、これを保持する。

同時に、追従候補画像の位置情報も保持する。さらに、現在撮像している画像信号から、順次追従候補画像を生成することでマッチングを行っていき、この追従候補画像の特徴量と、追従用画像の特徴量の要素の差分及びその和を計算していく。この特徴量の要素の差分の和が最も小さいときの値と、その時の追従候補画像の位置情報を、以前保存した情報に上書きして保持する。最終的に求めた特徴量の要素の差分の和が所定より小さければ、その追従候補画像が追従被写体だと特定して、保持していた位置情報から所定の範囲を追従領域として設定する。

なお、特徴量の差分の和に関する所定値は、追従動作を実施したときに、追従したい被写体に対して追従可能な割合及び、追従してはならない被写体に対して誤追従しない割合を基に決定する。このようにして、追従領域を決定し、追従の開始をする。

また、追従の継続方法について説明する。追従を継続するための情報として、上記追従用画像と上記追従領域を設定した位置情報を、ＳＤＲＡＭ１６６に保持しておく。追従継続時には、撮像が行われる度に、ＳＤＲＡＭ１６６に保持した追従用画像を基に、被写体領域検出部１２６及び追従信号処理部１２５によって、前述したように、撮像信号と追従用画像とのマッチングを行う。

このとき、保持してある追従領域を設定した位置情報を基に、マッチングを行う撮像信号の範囲を限定する。追従領域を設定した位置を中心に、所定の範囲だけマッチングを行うようにすれば、余計な範囲をマッチングすることによる誤追尾や、演算時間の短縮を図ることができる。マッチングを行う所定の範囲は、追従継続処理を行ってから次の追従継続処理を行うまでの時間に、追従したい被写体が撮像画面内で動作してよい最大距離を設計し、その最大距離移動したときにカバーできる範囲に設定する。この範囲が大きければ、被写体が大きく動作しても追従できるが誤追従が多くなり、範囲が小さければ被写体が大きく動作すると追従できなくなるが誤追従が少なくなる。

このように追従を継続するために再度マッチングを行った際に、先述したように、最終的に求めた特徴量の要素の差分の和が所定より小さければ、その追従候補画像が追従被写体だと特定して、追従候補画像の位置情報から所定の範囲を追従領域として更新する。またこの時の追従候補画像の位置情報を、ＳＤＲＡＭ１６６に保持している位置情報に上書き更新する。次回の追従継続処理時には、更新した位置情報を使用することで、適切なマッチング範囲を設定できる。このようにして追従の継続を行う。この時、撮像する度に追従継続処理を行わなくてもよく、例えば撮像を所定回数行う毎に追従継続処理を行うといった制御にしてもよい。追従継続処理を行う撮像間隔が長いほど、被写体が大きく動作したときに追従できなくなるが、処理時間を削減することができる。

また、追従の停止を行うときについて説明する。追従継続時に操作部１３４若しくは遠隔側操作部２２によって追従停止指示が出された場合には、システム制御部１４は追従の停止を行い、非追従時の動作に戻す。例えば、追従領域に対して設定していたＡＦ領域を、追従停止時には通常時に設定するＡＦ領域に戻す。同様に、追従継続時に追従する被写体が特定できず、所定時間経過した場合は、追従の停止を行う。追従被写体が特定できない間に待機する所定時間が長ければ、再度追従被写体を特定して復帰できる可能性が高くなるが、通常時の状態に戻す処理が遅れる。追従被写体が特定できない間に待機する所定時間が短い場合は、その逆である。

このようにして被写体の追従開始、継続、停止の処理を行う。

次に、上記構成を有するカメラ１０及び遠隔操作端末２０の、本実施形態における動作について図２から図５用いて説明する。

図２は、第１の実施形態における、カメラ１０内のシステム制御部１４及び、遠隔操作端末２０内の遠隔側システム制御部２１で行う、カメラの遠隔操作処理を表すフローチャートである。図２の左側のフローチャートが、カメラ遠隔操作モード時のカメラ１０の動作を表すものであり、各処理を「ＳＣ」で表示している。図２の右側のフローチャートが、カメラ遠隔操作モード時の遠隔操作端末２０の動作を表すものであり、各処理を「ＳＲ」で表示している。

まずカメラ側の処理について説明する。ステップＳＣ００１は、カメラ遠隔操作を行っていないときのカメラの制御（以下、カメラの通常制御という）を表しており、制御実施後にステップＳＣ００２へ進む。カメラの通常制御時は遠隔操作を行わないので詳細については省略するが、カメラのみで各種カメラ制御、撮像信号表示、追従の指示を行う。ステップＳＣ００２は、カメラ遠隔操作モードを実行するかどうかの判断を行う。

ステップＳＣ００１においてカメラ遠隔操作モードを実行する指示があればステップＳＣ００３へ進み、指示がなければステップＳＣ００１へ進む。ステップＳＣ００３はカメラ遠隔操作モードのキャンセルがないかどうかを判断し、キャンセルがない場合はステップＳＣ００４へ進み、キャンセルがある場合はステップＳＣ００１へ進む。カメラ遠隔操作モード実行指示により、遠隔操作端末との通信確立を行っている際に、遠隔操作モードのキャンセルがあれば、ＳＣ００１でカメラ通常制御を行う。ＳＣ００４では、遠隔操作端末との通信を確立する。遠隔操作端末に対して通信確立指示を送信し、それに対して遠隔操作端末から通信確立可能情報を受信できれば、通信が確立できたとして、遠隔操作端末に対して通信確立完了情報を送信すると共に、ステップＳＣ００５に進む。また、遠隔操作端末に送信した通信確立指示に対して、タイムアウトにより通信が確立できなかった場合は、ステップＳＣ００３に戻り、カメラ遠隔操作モードのキャンセルがあるかどうかを再度判断する。

ステップＳＣ００５では、通信確立時のカメラの設定を遠隔操作端末と共有するために、遠隔操作端末に対してカメラの設定情報を送信する。ステップＳＣ００５の処理を実行した後は、ステップＳＣ００６へ進む。また、詳細は後述するが、遠隔操作端末からカメラに対して設定の変更指示があった場合も、この設定を共有するために、遠隔操作端末に対してカメラの設定情報を送信する。ステップＳＣ００６では、現在のカメラモードが撮影モードか、再生モードかを判断し、撮影モードである場合はステップＳＣ００７へ進み、再生モードである場合はステップＳＣ００８へ進む。

ステップＳＣ００７は、本実施の形態の特徴とする部分であり図３で後述する。ステップＳＣ００８では、再生モード時の処理を行う。カメラ側で撮影した動画像の再生を行うと同時に、遠隔操作端末に対して再生している動画像の表示を行う。また、遠隔操作端末から再生したい動画像の選択や、動画再生中の各種コマンド（再生、停止、早送り等）の実行を、カメラに対して行う。詳細については省略する。ステップＳＣ００７若しくはステップＳＣ００８の処理を実行したら、ステップＳＣ００９へ進む。ステップＳＣ００９では、電源がオフされたかどうかを判断し、オフされていなければステップＳＣ０１０へ進み、オフされていれば処理を終了する。

ステップＳＣ０１０では、遠隔操作端末からカメラ遠隔操作モードのキャンセル指示があったかどうかを判断し、カメラ遠隔操作モードのキャンセル指示がなければステップＳＣ０１１へ進む。キャンセル指示があればステップＳＣ００１へ戻り遠隔操作を行わない通常のカメラ制御を行う。ステップＳＣ０１１では、遠隔操作端末によって撮影モードと再生モードの切り替え指示があったかどうかを判断し、モード切替指示があった場合はステップＳＣ０１２へ進み、モード切替指示がなかった場合はステップＳＣ００５へ戻る。ステップＳＣ０１２では、現在撮影モードであれば再生モードに、現在再生モードであれば撮影モードにカメラ設定を変更して、ステップＳＣ００５へ戻る。ステップＳＣ００５において、撮影モードと再生モードの切り替えや、ステップＳＣ００７内で行われたカメラ設定情報の変更を、遠隔操作端末に共有し、設定されたモードで動作を行う。

次に遠隔操作端末側の処理について説明する。ステップＳＲ００１は、カメラ遠隔操作を行っていないときの遠隔操作端末の制御（以下、遠隔操作端末の通常制御という）を表している。遠隔操作端末の通常制御時は遠隔操作を行わないので詳細については省略するが、遠隔操作端末に備わっている他の各種機能（インターネットや音楽再生や動画像再生等）を実行している。ステップＳＲ００２では、カメラ遠隔操作モードの実行が行われるかどうかの判断を行う。ステップＳＲ００１において、カメラ遠隔操作モードの実行が行われればステップＳＲ００３へ進み、遠隔操作モードの実行が行われなければステップＳＲ００１で行っている各種処理を継続する。

ステップＳＲ００３はカメラ遠隔操作モードのキャンセルがないかどうかを判断し、キャンセルがない場合はステップＳＲ００４へ進み、キャンセルがある場合はステップＳＲ００１へ戻る。ＳＲ００４では、カメラとの通信を確立する。カメラからの通信確立指示を受信できた場合、カメラに対して通信確立可能情報を送信し、それに対して再度カメラからの通信完了情報が受信できれば、通信が確立できたとしてステップＳＲ００５に進む。また、カメラからに通信確立指示を受信できず、タイムアウトにより通信が確立できなかった場合は、ステップＳＲ００３に戻り、カメラ遠隔操作モードのキャンセルがあるかどうかを再度判断する。カメラ遠隔操作モードのキャンセル指示があれば、ＳＲ００１に戻り遠隔操作端末の各種制御を再開する。

ステップＳＲ００５では、通信確立時のカメラの設定を遠隔操作端末にも反映するために、カメラから設定情報を受信することで遠隔操作端末側で受信した設定情報と同様の設定を行う。例えば、現在のカメラのフォーカスモードはＡＦかＭＦかどうかを受信し、それを設定することで、ＡＦ時にはフォーカスをマニュアル制御するアイコンをグレーアウトするという様な制御を行う。ステップＳＲ００５の処理を実行した後は、ステップＳＲ００６へ進む。また、詳細は後述するが、遠隔操作端末からカメラに対して設定の変更指示を行った場合も、この設定を共有するために、カメラの設定情報を再度受信し、遠隔操作端末に設定を反映する。ステップＳＲ００６では、現在のカメラモードが撮影モードか、再生モードかを判断し、撮影モードである場合はステップＳＲ００７へ進み、再生モードである場合はステップＳＲ００８へ進む。

ステップＳＲ００７は、本実施の形態の特徴とする部分であり図３で後述する。ステップＳＲ００８では、再生モード時の処理を行う。遠隔操作端末から再生したい動画像の選択や、動画再生中の各種コマンド（再生、停止、早送り等）の実行を、カメラに対して行うと共に、カメラが再生している動画像の表示を行う。詳細については省略する。ステップＳＲ００７若しくはステップＳＲ００８の処理を実行したら、ステップＳＲ００９へ進む。ステップＳＲ００９では、電源がオフされたかどうかを判断し、オフされていなければステップＳＲ０１０へ進み、オフされていれば処理を終了する。ステップＳＲ０１０では、遠隔操作端末でカメラ遠隔操作モードのキャンセル指示を実行したかどうかを判断し、カメラ遠隔操作モードのキャンセル指示を実行していればステップＳＲ０１１へ進み、実行していなければステップＳＲ０１２へ進む。

ステップＳＲ０１１では、カメラに対してカメラ遠隔操作モードのキャンセル指示を送信すると共に、ステップＳＲ００１へ戻り、通常の遠隔操作端末制御を行う。ステップＳＲ０１２では、遠隔操作端末において撮影モードと再生モードの切り替え指示を実行したかどうかを判断する。モード切替指示を実行した場合はステップＳＲ０１３へ進み、モード切替指示を実行しなかった場合はステップＳＲ００５へ戻り、カメラ遠隔操作モードにおける遠隔操作端末の処理を継続する。

ステップＳＲ０１３では、カメラモードの切り替え指示をカメラに送信し、ステップＳＲ００５へ戻る。ステップＳＲ００５において、撮影モードと再生モードの切り替えを遠隔操作端末に共有し、設定されたモードで動作を行う。

次に、本発明の特徴とする部分である図２のステップＳＣ００７の遠隔操作時カメラ制御及び、ステップＳＲ００７の遠隔操作時遠隔操作端末制御について、図３のフローチャートを用いて説明する。

図３の左側のフローチャートが、遠隔操作時のカメラ制御であり、右側のフローチャートが、遠隔操作時の遠隔操作端末の制御を表している。

まずカメラ側の処理について説明する。ＳＣ１０１では、遠隔操作端末に対して映像信号を送信しステップＳＣ１０２へ進む。カメラ側は、遠隔操作端末の受信確認することなく映像信号の送信を行う。ステップＳＣ１０２では、遠隔操作端末によってカメラ設定の変更があったかどうかを判断し、カメラ設定の変更があった場合はステップＳＣ１０３へ進み、変更がなかった場合はステップＳＣ１０４へ進む。ステップＳＣ１０３では、遠隔操作端末によって変更されたカメラ設定を反映し、ステップＳＣ１０４へ進む。例えば、遠隔操作端末側で記録画質の変更が行われた場合、ステップＳＣ１０３ではカメラ側で記録画質の変更設定を反映する。

ステップＳＣ１０４では、遠隔操作端末によって追従開始指示があったかどうかを判断し、追従開始指示があった場合はステップＳＣ１０５へ進み、そうでない場合はステップＳＣ１０８へ進む。本実施の形態では追従用画像を受信した場合に、追従開始指示があったと見なす。ステップＳＣ１０５では、受信した追従用画像を基に追従開始処理を行い、ステップＳＣ１０６へ進む。ステップＳＣ１０５の処理は本発明の特徴とする部分であり、図４で後述する。ステップＳＣ１０６では、ステップＳＣ１０５で追従が行えなかったかどうかを判断し、追従が行えなかった場合はステップＳＣ１０７へ進み、追従が行えた場合はステップＳＣ１１２へ進み、追従処理以外の他の処理に移る。

ステップＳＣ１０７では、追従が行えなかったとして遠隔操作端末に追従不可情報を送信する。追従が行えたかどうかは、追従の可否を１ビットで表す追従不可情報がステップＳＣ１０５で発行されたかどうかで判断する。次に、ステップＳＣ１０４で追従開始指示がなかった場合に進むステップＳＣ１０８では、現在追従を行っているかどうかを判断し、追従を行っている場合はステップＳＣ１０９へ進む。そうでない場合はステップＳＣ１１２へ進み、追従処理以外の他の処理に移る。現在追従中である場合に進むステップＳＣ１０９では、追従継続処理を行い、ステップＳＣ１１０へ進む。この追従継続処理については、図５で後述する。

ステップＳＣ１１０では、ステップＳＣ１０９で追従不可情報があったか、若しくは遠隔操作端末から追従の停止が指定されたかどうかを判断し、該当する場合はステップＳＣ１１１へ進む。そうでない場合はステップＳＣ１１２へ進み、追従処理以外の他の処理に移る。ステップＳＣ１１１では、追従停止処理を行い、ステップＳＣ１１２へ進み、追従処理以外の他の処理に移る。追従が継続できない場合、すなわち追従被写体が特定できない場合、若しくは使用者が追従を停止したい場合は、追従を停止して通常の撮影状態に戻す。本実施の形態における通常の撮影状態とは、ＡＦやＡＥの調整を行う枠を、追従領域ではなく画面中央に設定した状態である。通常の撮影状態は、もちろん本実施の形態の構成に限らず、追従を行っていないときの状態であれば他の構成でもよい。

次に、追従に関わる処理を行った後に進むステップＳＣ１１２では、遠隔操作端末によるカメラ制御指示があったかどうかを判断し、カメラ制御指示があった場合はステップＳＣ１１３へ進み、そうでない場合はステップＳＣ１１４へ進む。ステップＳＣ１１３では、遠隔操作端末からのカメラ制御指示に従ってカメラの制御を行い、ステップＳＣ１１４へ進む。ステップＳＣ１１２及びステップＳＣ１１３で行われる処理の一例として、遠隔操作端末でズーミングの指示が行われた場合は、それにしたがってズーミングを行う。

ステップＳＣ１１４では、カメラ本体によるカメラ設定や制御を行い、処理を終了する。ステップＳＣ１１４では、カメラ本体の操作によるカメラ設定の変更や、カメラの制御指示を受け付け、それにしたがってカメラの制御を行う。また、ＡＦ等の使用者の指示に従わないで行われるカメラ制御についてもここで行う。詳細については省略する。

次に、遠隔操作端末側の処理について説明する。ステップＳＲ１０１では、カメラからの映像信号の受信を開始し、ステップＳＲ１０２へ進む。なお、受信した映像信号の表示は後述するステップＳＲ１１４で行うが、後述するステップＳＲ１０２からステップＳＲ１１３までの処理は、前回の遠隔操作時遠隔操作端末制御の際にステップＳＲ１１４ですでに映像信号の表示を行っているとして説明する。ステップＳＲ１０２は、遠隔操作端末で使用者によるカメラ設定の変更指示があったかどうかを判断し、設定変更指示があった場合はステップＳＲ１０３へ進み、そうでない場合はステップＳＲ１０４へ進む。

ステップＳＲ１０３では、カメラ設定の変更情報をカメラに対して送信する。次にステップＳＲ１０４では、遠隔操作端末で追従開始の指示が行われたかどうかを判断し、追従開始の指示が行われた場合はステップＳＲ１０５へ進み、そうでない場合はステップＳＲ１０９へ進む。本実施の形態では、遠隔操作端末で映像信号の表示を行うと共に、タッチによる操作を行えるタッチパネルに対して、被写体のタッチが行われた場合に追従開始の指示を行う。

ステップＳＲ１０５では、遠隔操作端末に現在表示中の映像信号から、追従被写体の追従用画像を切り出して生成し、ステップＳＲ１０６へ進む。追従用画像を切り出す範囲は、被写体のタッチが行われたタッチ座標を中心とした所定範囲とする。ステップＳＲ１０６では、追従用画像をカメラに対して送信し、ステップＳＲ１０７へ進む。追従用画像を通信することで、遠隔から追従の開始指示を行うのは、本発明の特徴的な部分である。

従来、遠隔から追尾開始指示を行うための情報として被写体位置情報を通信していた場合では、上述したように通信のタイムラグが発生するために、通信した被写体位置にすでに追従したい被写体が存在しないため、誤追尾するという問題があった。それに対して本発明では、追従用画像を通信し、パターンマッチングを行うことで追従する被写体を特定するので、ユーザが遠隔から指定した被写体をより正確に追従することが可能となる。

次に、ステップＳＲ１０７では、カメラ側のステップＳＣ１０５で行った追従開始処理の結果、パターンマッチングに失敗して追従が行えなかった場合にカメラから送信される追従不可情報を受信したかどうかを判断する。追従不可情報がある場合はステップＳＲ１０８へ進み、そうでない場合はステップＳＲ１０９へ進む。ステップＳＲ１０８では、カメラ側で追従が行えなかったことを使用者に伝えるために、追従が行えなかった旨を表示し、ステップＳＲ１０９へ進む。このように追従が行えなかった旨を表示することで、使用者が再度追従指示を行えるように促す。ステップＳＲ１０９では、遠隔操作端末による追従停止の指示があったかどうかを判断し、追従停止指示があった場合はステップＳＲ１１０へ進み、そうでない場合はステップＳＲ１１１へ進む。

この追従停止指示とは、現在追従を行っている場合に、使用者が追従をやめたい場合に行う操作である。遠隔操作端末に表示された追従停止アイコンを使用者がタッチすることで、追従停止指示を行う。ステップＳＲ１１０では、追従停止指示をカメラに対して送信して、ステップＳＲ１１１へ進む。ステップＳＲ１１１では、遠隔操作端末によるカメラ制御の指示があったかどうかを判断し、カメラ制御指示があった場合はステップＳＲ１１２へ進み、そうでない場合はステップＳＲ１１３へ進む。

ステップＳＲ１１２では、遠隔操作端末で行われたカメラ制御情報をカメラ側に送信し、ステップＳＲ１１３へ進む。例えば、遠隔操作端末によってズーミングを行った場合、カメラに対してズーミングを行うように制御情報を送信する。ステップＳＲ１１３では、ステップＳＲ１０１で受信を開始した映像信号の受信が完了したかどうかを判断し、完了した場合はステップＳＲ１１４へ進み、完了していない場合はステップＳＲ１１５へ進む。

ステップＳＲ１１４では、受信完了した映像信号の表示処理を行い、処理を終了する。ステップＳＲ１１５では、ステップＳＲ１０２からＳＲ１１２までに行われた、カメラに対する各種指示情報を、初期化（指示がない状態）し、ステップＳＲ１０２に戻り、再度ステップＳＲ１０２から処理を行う。カメラ側は撮像を行う度に、遠隔操作端末に対して映像信号を送信するが、遠隔操作端末はそれをすべて表示できるとは限らず、遠隔操作端末の処理能力や、回線状況に依存する。遠隔操作端末の処理能力が低いほど、カメラ側が表示する周期に対してより遅い周期で映像信号を表示することになる。

ステップＳＲ１０１で受信開始した映像信号を受信し続けている間も、遠隔操作端末でカメラ設定の変更やカメラ制御の実施、現在表示している画像に対しての追従の開始指示等が行えるようにする。つまり、ステップＳＲ１１３で受信完了するまでの間は、ステップＳＲ１１５の処理を経由して、ステップＳＲ１０２からステップＳＲ１１２の処理を行えるようにする。

映像信号の受信が完了した場合は、ステップＳＲ１１４でその映像信号を遠隔操作端末に表示し、次に遠隔操作時遠隔操作端末制御が行われた後のステップＳＲ１０１で、再度映像信号の受信を開始する。再度映像信号の受信をしている間は、現在表示されている映像信号に対して各種処理の指示を受け付ける。

なお、遠隔制御開始後すぐのような、ステップＳＲ１０１で映像信号の受信を開始した段階で、まだ何も映像信号を表示していない場合は、ステップＳＲ１０２、ＳＲ１０４、ステップＳＲ１０７、ステップＳＲ１０９、ステップＳＲ１１１の処理はすべてＮとする。そうすることで各種制御指示を受け付けずに各種ステップをスキップする。ステップＳＲ１１４で初めて映像信号の表示が行われた後に、ステップＳＲ１０２からステップＳＲ１１２の各種制御指示を受け付けるものとする。

次に、本発明の特徴的な部分である図３のステップＳＣ１０５の追従開始処理について、図４のフローチャートを用いて説明する。

ステップＳＣ２０１では、遠隔操作端末から受信した追従用画像の特徴量を抽出してステップＳＣ２０２へ進む。ステップＳＣ２０２では、現在カメラで撮像している撮像信号の一部から特徴量を抽出する。ステップＳＣ２０１及びステップＳＣ２０２で抽出する特徴量とは、先述したように、色情報のヒストグラム及び輝度情報のヒストグラムである。またステップＳＣ２０２で撮像信号から切り出す一部の大きさは、遠隔操作端末から受信した追従用画像と同様のものである。

さらに、後述するＳＣ２０８によってステップＳＣ２０２に処理が戻るたびに、撮像信号中の所定の範囲内から順次撮像信号を切り出す位置を変更していくことで、撮像信号とのマッチングを行っていく。なお、マッチングを行う範囲が広いほど、追従被写体を発見できる可能性は高くなるが、誤追従も増える。切り出す位置の変更方法は、１行ごとに切り出し位置変更を行い、１行が終われば次の列の行について切り出しを行う。当然、列を優先して切り出しを行ってもよい。

また、切り出しの範囲は、切り出し画像が重複しても重複しなくてもよく、追従精度によって決める。切り出し画像が重複する場合、例えば、１画素ずらす毎に切り出し画像を生成する場合では、マッチングをより精密にとるため追従精度が上がるが、マッチングの計算量が多くなる。対して、例えば切り出し画像が重複しないように、切り出し画像に隣接する範囲を切り出し画像とした場合は、マッチングの計算量が少なくなるが追従精度が下がる。

次に、ステップＳＣ２０３では、ステップＳＣ２０１で抽出した特徴量と、ステップＳＣ２０２で抽出した特徴量の差分を計算し、ステップＳＣ２０４へ進む。ステップＳＣ２０４では、ステップＳＣ２０３で計算した特徴量の差分が、現在保持している特徴量の差分値より小さいかどうかを判断し、小さい場合はステップＳＣ２０５へ進み、そうでない場合はステップＳＣ２０７へ進む。

先述したように、追従用画像と、撮像信号の特徴量の差分をとり、その差が小さいほどマッチングが取れていることを表す。よって、ステップＳＣ２０４で特徴量の差分がここまでで最小であるかどうかを判断し、後述する処理によって最小値を保持していく。なお、ステップＳＣ２０４でまだ一度も特徴量の差分を保持していない場合は、必ずステップＳＣ２０５へ進むようにする。

ステップＳＣ２０５では、計算した特徴量の差分の最小値を保持し、ステップＳＣ２０６へ進む。ステップＳＣ２０６では、ステップＳＣ２０２で切り出した撮像信号の中心位置座標を保持してステップＳＣ２０７へ進む。この中心位置情報は、追従被写体を特定できた際に、追従領域を設定する上で用いる。なお、本実施の形態では中心位置座標としているが、もちろん中心位置でなく例えば領域の左上の座標としても構わない。

次に、ステップＳＣ２０７では、ステップＳＣ２０５で保持している特徴量の差分の最小値が所定値より大きくて、かつパターンマッチングのタイムオーバーが起きているかどうか判断する。保持している特徴量の差分の最小値が所定値より小さいか、若しくはタイムオーバーしていない場合はステップＳＣ２０８へ進み、該最小値が所定値より大きくてタイムオーバーしている場合はステップＳＣ２１２へ進む。パターンマッチングに時間がかかっても、特徴量の差分が小さいパターンが発生しない場合、追従したい被写体がすでにマッチングを行う範囲にいない可能性が高いといえる。よって、パターンマッチングに制限時間を設けて、特徴量の差分の最小値が所定値より大きくてかつ制限時間をオーバーする場合はマッチングを打ち切るという処理を行う。この制限時間は、保持している特徴量の差分の最小値に応じて可変して、大きいほど早く打ち切るようにしてもよい。

次にステップＳＣ２０８では、ステップＳＣ２０２で行う画像信号の切り出しを、マッチング範囲全てに対して行ったかどうかを判断し、行った場合はステップＳＣ２０９へ進む。行っていない場合はステップＳＣ２０２へ戻り、ステップＳＣ２０２からステップＳＣ２０７でパターンマッチング処理を継続する。ステップＳＣ２０９では、パターンマッチングを終了して、最終的に保持した特徴量の差分の最小値が所定値より小さいかどうかを判断し、所定値より小さい場合はステップＳＣ２１０へ進み、そうでない場合はステップＳＣ２１２へ進む。ステップ２１０では、追従被写体を特定できたとして、ステップＳＣ２０８で保持した撮像信号の位置座標を中心とした追従領域を設定し、ステップＳＣ２１１へ進む。

ステップＳＣ２１１では、遠隔操作端末より受信した追従用画像及び、上記撮像信号の位置座標を保持して、処理を終了する。保持した追従用画像及び、撮像信号の位置座標は、後述する追従継続処理を行う上で使用する。また、特徴量の差分の最小値が所定値より大きく、またはマッチングタイムオーバーが発生したときに進むステップＳＣ２１２では追従被写体を特定できなかったとして、追従不可情報を発行し、処理を終了する。追従不可情報を発行した場合、図３のステップＳＣ１０７で遠隔操作端末に対して、追従被写体を特定できなかった旨を送信する。

以上のようにして、遠隔操作端末から受信した追従用画像を基に、パターンマッチングを行うことで追従被写体を特定して追従領域を設定する。遠隔操作端末から追従指示を行うにあたって、指定した画像の位置情報ではなく画像信号そのものを通信し、パターンマッチングを行うことで、通信タイムラグによる被写体の誤追尾を防ぎ、より正確に追従被写体の特定を行うことができる。カメラは、この追従領域に対してＡＦやＡＥといった制御を行うことで、使用者が追従したい被写体に対して好適なフォーカス及び露出を簡単に設定することができる。

次に、図３のステップＳＣ１０９の追従継続処理について、図５のフローチャートを用いて説明する。

ステップＳＣ３０１では、図４の追従開始処理におけるステップＳＣ２１１で保持した追従用画像から特徴量を抽出して、ステップＳＣ３０２へ進む。ステップＳＣ３０２では、同様に図４の追従開始処理におけるステップＳＣ２１１か、若しくは後述するステップＳＣ３１２で保持した位置情報から、マッチングを行う範囲を限定して、ステップＳＣ３０３へ進む。前回マッチングが取れた位置情報を中心としてマッチングの範囲を設定することで、より追従被写体の特定を行いやすくする。ステップＳＣ３０３では、ステップＳＣ３０２で設定したマッチング範囲の撮像信号から、ステップＳＣ３０１で使用した追従用画像と同様のサイズの画像を切り出すと共に、特徴量を抽出してステップＳＣ３０４へ進む。

ステップＳＣ３０４では、ステップＳＣ３０１とステップＳＣ３０３で抽出した特徴量の差分を計算して、ステップＳＣ３０５へ進む。ステップＳＣ３０５では、ここまで計算した特徴量の差分が、現在保持している特徴量の差分の値より小さいかどうかを判断し、小さい場合はステップＳＣ３０６へ進み、そうでない場合はステップＳＣ３０８へ進む。ステップＳＣ３０６では、計算した特徴量の差分が最も小さいとして、この値を保持してステップＳＣ３０７へ進む。ステップＳＣ３０７では、ステップＳＣ３０３で切り出した撮像信号の位置情報を保持して、ステップＳＣ３０８へ進む。

なお、ステップＳＣ３０５の判断時に、ステップＳＣ３０６で未だ一度も特徴量の差分の最小値を保持していない場合は、必ずステップＳＣ３０６へ進むようにする。ステップＳＣ３０８では、ステップＳＣ３０６で保持している特徴量の差分の最小値が所定値より大きくて、かつパターンマッチングのタイムオーバーが起きているかどうか判断する。保持している特徴量の差分の最小値が所定値より小さいか、若しくはタイムオーバーしていない場合はステップＳＣ３０９へ進み、該最小値が所定値より大きくてタイムオーバーしている場合はステップＳＣ３１４へ進む。ステップＳＣ３０８の処理は、図４のステップＳＣ２０７で説明したものと同様なので省略する。

ステップＳＣ３０９では、ステップＳＣ３０２で設定したマッチング範囲全てに対して、マッチングを行ったかどうかを判断し、行った場合はステップＳＣ３１０へ進み、行っていない場合はステップＳＣ３０３へ戻り、パターンマッチングの処理を継続する。ステップＳＣ３１０では、パターンマッチングの結果、ステップＳＣ３０６で保持した特徴量の差分の最小値が所定値より小さいかどうかを判断し、所定値より小さい場合は、ステップＳＣ３１１に進み、そうでない場合はステップＳＣ３１４へ進む。ステップＳＣ３１１では、追従被写体が特定できたとして、ステップＳＣ３０７で保持した撮像信号の位置情報を中心とした範囲に追従領域を設定してステップＳＣ３１２へ進む。

ステップＳＣ３１２では、ステップＳＣ３１１で設定した追従領域の位置情報を保持しステップＳＣ３１３へ進む。ステップＳＣ３１２で保持した座標情報は、次回の追従継続処理時のステップＳＣ３０２で使用する。ステップＳＣ３１３では追従不可カウンタをクリアして処理を終了する。追従不可カウンタについては、ステップＳＣ３１４からステップＳＣ３１７の説明で後述する。このようにパターンマッチングを繰り返し行うことで、順次追従領域を特定し、追従を継続する。次に、特徴量の差分の最小値が所定値より大きい場合、若しくはマッチングタイムオーバーした場合に進むステップＳＣ３１４では、追従不可カウンタを加算してステップＳＣ３１５へ進む。この追従不可カウンタとは、追従継続処理を行った際に追従被写体を連続で特定できなかった回数をカウントするものである。ステップ３１５では、追従不可カウンタが所定回数以上かどうかを判断し、所定回数以上である場合はステップＳＣ３１６へ進み、そうでない場合はステップＳＣ３１７へ進む。

ステップＳＣ３１６では、追従被写体を特定できなかったとして、追従不可情報を発行して処理を終了する。追従不可情報が発行されたら、図３のステップＳＣ１１１によって追従の停止処理を行う。ステップＳＣ３１７では、追従制御一時停止という状態に変更し、処理を終了する。追従制御一時停止状態とは、追従制御領域に対してカメラ制御を行わない状態であり、ＡＦやＡＥの制御を一時的に停止する。ステップＳＣ３１４からステップＳＣ３１７について説明する。追従継続処理時は、追従被写体が一時特定できなくなったとしても再度特定できるようになる可能性がある。例えば、追従していた被写体が一度フレームアウトした後に再度フレームインしてきた場合や、追従していた被写体の前に他の被写体が横切った場合などが挙げられる。このような場合を想定して、一時的に被写体追従が出来なくなったとしても、再度被写体が特定できる待ち時間を持つ。この待ち時間が追従不可カウンタであり、この追従不可カウンタが所定回数以上になるまでは、ステップＳＣ３１６で追従不可情報を発行しないようにする。

ただし、追従被写体が特定できていない場合は、現在設定されている追従領域に対してＡＦやＡＥ制御を行うわけにはいかないので、ステップＳＣ３１７でこれらの制御を一時的に停止する。このようにして、一時的に追従被写体を特定できなくなったとしても、再度追従被写体が現れた時に追従を継続できるようにする。

以上説明したように、システム制御部１４は、遠隔操作端末２０からの追従指示によって追従制御を行う場合、遠隔操作端末２０内の遠隔側追従画像生成部２１１によって生成された追従用画像を使用して追従制御を行う。この追従用画像は、遠隔側ＳＤＲＡＭ２４４に保持していて、かつ遠隔側表示制御部２４２が表示を行っている画像データから抽出される。遠隔操作端末は、この追従用画像を遠隔側通信部２４１によってカメラ１０へ送信し、カメラ１０はこの追従用画像を基に追従信号処理部１２５及び被写体領域検出部１２６によって追従領域を特定することで、追従制御を行う。

本実施の形態では、追従指示が行われたときに遠隔操作端末２０からカメラ１０に送る情報として、追従指示を行った座標を中心とした追従用画像を送信する。該追従用画像は、色情報のヒストグラムおよび輝度情報のヒストグラムの少なくとも一方の特徴量を含むものである。なお、従来は図６に示すように、遠隔操作端末から追従指示を行った座標そのものを送信していたので、通信タイムラグの影響で使用者が追従を行いたい被写体以外を誤追尾してしまう問題があった。

もしくは、この問題を考慮して使用者が通信タイムラグを考慮した位置に対して追従指示を行わななけらばならないという問題があった。対して、本実施の形態では、図７に示すように、追従指示を行った座標（位置情報）を中心とした追従用画像を送信し、カメラ側でパターンマッチングを行うことで追従被写体領域を特定する。これによって通信タイムラグの影響に依らず、正確に使用者が追従したい被写体を追従することが可能となり、また使用者が通信タイムラグを気にすることなく追従指示を行うことができる。
＜第２の実施形態＞
以下、添付図面を参照し、本発明の第２の実施形態について説明する。

装置構成については第１の実施形態で図１を用いて説明したものと同様なので省略する。ただし、本実施形態における遠隔側通信部２４１は、遠隔側操作部２２によって追従指示を行った際に、遠隔側追従画像生成部２１１によって生成した追従用画像だけでなく、映像信号に対して追従指示を行った位置情報（座標情報）も送信する。このような、追従用画像だけでなく、追従用画像が指定された座標情報も送信するシステムでは、遠隔操作端末から追従制御指示を行う際に、より正確に追従被写体を特定を行うことができる。詳細は後述する。

図１の構成を有するカメラ１０及び遠隔操作端末２０の本実施形態の動作において、第一実施形態で図２及び図５を用いて説明した処理については同様であるので、これらの説明は省略する。

上記構成を有するカメラ１０及び遠隔操作端末２０の、本実施形態における動作について図８及び図９を用いて説明する。

図８は、第２の実施の形態における、図２のステップＳＣ００７の遠隔操作時カメラ制御及び、ステップＳＲ００７の遠隔操作時遠隔操作端末制御のフローチャートである。図８の左側のフローチャートが、遠隔操作時のカメラ制御であり、右側のフローチャートが、遠隔操作時の遠隔操作端末の制御を表している。

まずカメラ側の処理について説明する。ステップＳＣ４０１からステップＳＣ４０３の処理は、図３におけるステップＳＣ１０１からステップＳＣ１０３の処理と同様なので説明を省略する。ステップＳＣ４０４では、遠隔操作端末によって追従開始指示が行われたかどうかを判断し、追従開始指示が行われた場合はステップＳＣ４０５へ進み、そうでない場合はステップＳＣ４０８へ進む。

図３におけるステップＳＣ１０４では、遠隔操作端末から追従用画像を受信することで被写体開始指示があるとしたが、本実施形態におけるステップＳＣ４０４では、さらに追従用画像の中心座標に相当する情報も受信する。詳細は遠隔操作側の処理で後述する。ステップＳＣ４０５からステップＳＣ４１４の処理は、図３におけるステップＳＣ１０５からステップＳＣ１１４の処理と同様なので、説明を省略する。

次に遠隔操作端末側の処理について説明する。ステップＳＲ４０１からステップＳＲ４０５の処理は、図３におけるステップＳＲ１０１からステップＳＲ１０５の処理と同様なので説明を省略する。ステップＳＲ４０４で、使用者によって追従開始の指示が行われ、ステップＳＲ４０５で追従開始の指示が行われた座標情報を基に、表示中の映像信号から追従用画像を抽出した後に行われるステップＳＲ４０６について説明する。ステップＳＲ４０６では、ステップＳＲ４０５で抽出した追従用画像に加えて、さらに追従開始の指示が行われた映像信号の座標情報も送信する。

先述したように、本実施の形態では追従用画像だけでなく、追従用画像の指定がされた座標情報も送信する情報に加えることで、図９で後述する追従開始処理を行う上で、より正確に追従被写体の特定を行えるようにする。ステップＳＲ４０７からステップＳＲ４１５の処理は、図３におけるステップＳＲ１０７からステップＳＲ１１５の処理と同様なので、説明を省略する。

次に、第２の実施形態における図８のＳＣ４０５で行われる追従開始処理について、図９のフローチャートを用いて説明する。ステップＳＣ５０１は、図４におけるステップＳＣ２０１の処理と同様なので説明を省略する。ステップＳＣ５０１で受信した追従用画像の特徴量を抽出した後に進むステップＳＣ５０２では、遠隔操作端末から受信した、追従用画像が指定された座標情報を基に、マッチングを行う撮像信号の範囲の中心位置を決定し、ステップＳＣ５０３へ進む。ステップＳＣ５０３からステップＳＣ５１３までの処理は、図４におけるステップＳＣ２０２からステップＳＣ２１２までの処理と同様なので説明を省略する。

追従開始処理において、パターンマッチングを行う上で、パターンマッチングを行う範囲を適切に設定できれば、よりパターンマッチングによる被写体の特定率を上げることができる。パターンマッチングを行う範囲は、遠隔操作端末側で指定された位置の近辺に追従したい被写体がいると考え、追従位置を中心とした位置にマッチング範囲を設定することが望ましい。

しかし、第一の実施の形態では、カメラ側が、遠隔操作端末で指定された位置情報を知ることができなかった。それに対して、本実施形態のような追従用画像が指定された座標情報を通信するシステムにおいては、使用者が遠隔操作端末側で、映像信号中のどの位置を指定したのかを、カメラ側で知ることができる。カメラ側で、映像信号中のどの位置が指定されたのかがわかれば、マッチングを行う範囲の中心位置をその指定された位置に設定することができる。

このように、遠隔操作端末２０において、遠隔側操作部２２で追従指示が行われた位置情報をさらに遠隔側通信部２４１で送信することで、カメラ１０は追従指示が行われた位置情報を知ることができる。カメラ１０は、この位置情報を知ることで、使用者が追従したい被写体が、撮像信号中のおおよそどの位置に存在しそうかを把握できる。カメラ１０は、この位置情報を基にパターンマッチングを行う範囲の中心位置を設定することで、追従したい被写体がマッチング範囲に存在する可能性が高まると同時に、追従被写体が特定できる可能性も高まる。また、追従被写体が存在する可能性が低い範囲でパターンマッチングを行うことを防ぐので、誤追従を抑えることができる。
＜第３の実施形態＞
以下、添付図面を参照し、本発明の第３の実施形態について説明する。

装置構成については第１の実施形態で図１を用いて説明したものと同様なので省略する。第１の実施形態では、通信する情報として、カメラ１０は撮像側通信部１６９によって周期的に撮像信号を送信していた。また遠隔操作端末２０は、遠隔側通信部２４１によって、遠隔側操作部２２によって追従指示を行った際に遠隔側追従画像生成部２１１によって生成した追従用画像を送信していた。

しかし、本実施の形態で通信する情報はそれだけではない。本実施の形態では、カメラ１０が撮像側通信部１６９によって周期的に撮像信号を送信する際に、システム制御部１４が持つ時刻情報も、撮像信号に付与する形で送信する。さらに、遠隔操作端末２０は、遠隔側表示制御部２４２によって遠隔側表示部２４３に撮像信号の表示を完了した際に、表示した撮像信号に付与された時刻情報を、遠隔側通信部２４１によって、カメラ１０に送り返す。このように、本実施の形態における通信のシステムにおいて、遠隔操作端末２０は、遠隔操作部２２によって追従指示が行われた場合だけでなく、遠隔側表示制御部２４２が撮像信号の表示を行う度に情報を送信する。

また、通信内容についても、カメラ１０はさらに時刻情報を送信すると同時に、遠隔操作端末２０は該時刻情報をカメラ１０に送り返す。さらに、カメラ１０が遠隔側通信部２４１から該時刻情報を受信したとき、システム制御部（通信遅延時間計測手段）１４は、カメラ１０の現在の時刻情報と受信した時刻情報から、カメラ１０と遠隔操作端末２０の通信遅延時間を算出する。本実施の形態では、遠隔操作端末２０によって追従指示が行われた場合、この通信遅延時間情報を基に、カメラ１０でパターンマッチング範囲を可変することで、より追従被写体の特定を行いやすくする。

なお、本実施の形態は、第２の実施形態と同様で、遠隔側通信部２４１によって、遠隔側操作部２２によって追従指示を行った際に、遠隔側追従画像生成部２１１によって生成した追従用画像だけでなく、追従指示を行った座標情報も送信するものとする。

図１の構成を有するカメラ１０及び遠隔操作端末２０の本実施形態の動作において、第一実施形態で図２及び図５を用いて説明した処理については同様であるので、これらの説明は省略する。

上記構成を有するカメラ１０及び遠隔操作端末２０の、本実施形態における動作について図１０及び図１１を用いて説明する。

図１０は、第３の実施の形態における、図２のステップＳＣ００７の遠隔操作時カメラ制御及び、ステップＳＲ００７の遠隔操作時遠隔操作端末制御のフローチャートである。図１０の左側のフローチャートが、遠隔操作時のカメラ制御であり、右側のフローチャートが、遠隔操作時の遠隔操作端末の制御を表している。

まずカメラ側の処理について説明する。ステップＳＣ６０１では、遠隔操作端末に対して、映像信号及び、カメラが遠隔操作端末に対して映像信号を送信した時刻（以下、カメラ映像送信時間とする）を送信する。本実施の形態では、撮像信号に加えて、カメラ映像送信時間も送信する。

ステップＳＣ６０２からステップＳＣ６０３及び、ステップＳＣ６０５からステップＳＣ６１４の処理は、図３におけるステップＳＣ１０２からステップＳＣ１０３の処理及び、ステップＳＣ１０５からステップＳＣ１１４の処理と同様なので説明を省略する。また、ステップＳＣ６０４の処理は、図８におけるステップＳＣ４０４の処理と同様なので説明を省略する。ステップＳＣ６１４で、カメラ本体によるカメラ制御等が行われた後に進むステップＳＣ６１５では、遠隔操作端末からカメラ映像送信時間を受信したかどうかを判断し、受信した場合はステップＳＣ６１６へ進み、受信していない場合は処理を終了する。ステップＳＣ６１６では通信遅延時間の算出を行い、処理を終了する。

次に、遠隔操作端末側の処理について説明する。ステップＳＲ６０１では、カメラから映像信号の受信を開始すると共に、カメラ映像送信時間を受信してステップＳＲ６０２へ進む。ステップＳＲ６０２からステップＳＲ６０５及び、ステップＳＲ６０７からステップＳＲ６１５の処理は、図３におけるステップＳＲ１０２からステップＳＲ１０５及び、ステップＳＲ１０７からステップＳＲ１１５の同様なので説明を省略する。また、ステップＳＲ６０６の処理は、図８におけるステップＳＲ４０６の処理と同様なので説明を省略する。ＳＲ６１３によって、ＳＲ６０１で受信開始した映像信号の受信が完了し、ＳＲ６１４でこの映像信号の表示処理を行った後に進むステップＳＲ６１６の処理について説明する。ステップＳＲ６１６では、ステップＳＲ６０１で受信したカメラ映像送信時間をそのままカメラ側に送り返し、処理を終了する。

本実施の形態において、カメラ側はＳＣ６０１で周期的に撮像信号の送信を行う際に、この送信時刻を表すカメラ送信時間も付与して送信する。それに対して、遠隔操作端末は、映像信号の受信を完了し、ステップＳＲ６１４で映像信号の表示を行う度に、ステップＳＲ６１６によって、このカメラ送信時間をカメラ側に送り返す。カメラ側はステップＳＣ６１６で、カメラ映像送信時間を受信した時刻と、このカメラ映像送信時間の差分から通信遅延時間を算出する。この通信遅延時間は、カメラが画像を送信し遠隔操作端末が映像信号を表示してカメラに通信完了するまでの、カメラと遠隔操作端末間の往復の通信時間を表している。通信回線の状況によって、この通信遅延時間は逐次変動する。本実施の形態では、この通信遅延時間を算出するシステムをさらに具備することで、図１１で後述する追従開始処理を行う上で、追従被写体の特定を行いやすくする。

次に、第３の実施形態における図１０のＳＣ６０５で行われる追従開始処理について、図１１のフローチャートを用いて説明する。ステップＳＣ７０１及び、ステップＳＣ７０５からステップＳＣ７１５は、図４におけるステップＳＣ２０１及び、ステップＳＣ２０２からステップＳＣ２１２の処理と同様なので説明を省略する。

また、ステップＳＣ７０２は、図９におけるステップＳＣ５０２と同様なので説明を省略する。ステップＳＣ７０２において追従指示が行われた位置情報からマッチング位置の設定が行われた後に進む、ステップＳＣ７０３について説明する。ステップＳＣ７０３では、図１０のステップＳＣ６１６で算出した通信遅延時間が、所定の閾値以上の長さかどうかを判断し、所定の閾値以上である場合はステップＳＣ７０４へ進み、そうでない場合はステップＳＣ７０５へ進む。ステップＳＣ７０４では、現在設定されているのマッチング範囲をより広く設定し直してステップＳＣ７０５へ進む。

通信遅延時間が長ければ長いほど、遠隔操作端末で被写体を指定してからカメラ側で追従被写体の特定を行うまでの時間も長くなる。すなわち、通信遅延時間が長いほど、追従したい被写体が撮像画面に存在する位置が、被写体指定時より離れてしまう可能性がある。被写体の指定時から、追従被写体の位置がパターンマッチングを行う範囲に入らないほど大きく離れてしまった場合、被写体の特定が行えずに追従不可となってしまう。

そこで、本実施形態のシステムのように、通信遅延時間がわかるシステムの場合、通信遅延時間が長いと判断できるときにパターンマッチングを行う範囲を広く設定し直す。そうすることで、通信遅延時間が大きく、追従被写体の位置が大きく変わっている場合でも追従被写体を特定できる可能性が高くなる。なお、本実施の形態では、通信遅延時間がある閾値より大きいかどうかでマッチング範囲を大きくしたが、複数の通信遅延時間の閾値を設けて、通信時間が長くなるにつれて徐々にマッチング範囲を大きくするように制御してもよい。また、通信遅延時間が十分短い場合に、マッチング範囲を小さくするように制御してもよい。

このように、本実施の形態では、カメラ１０は撮像信号を周期的に送信し、遠隔操作端末２０は遠隔側操作部２２で追従指示が行われた場合に遠隔側追従画像生成部２１１によって生成した画像を送信するような通信システムに加えて上述した通信システムを持つ。つまり、本実施例の形態は、カメラ１０が周期的に送信する撮像信号に送信時間情報を付与し、遠隔操作端末２０は遠隔側表示制御部に２４２によって表示を行う度に、この時間情報を送り返すという通信システムを持つ。時間情報をやりとりする通信システムを備えることで、カメラ１０と遠隔操作端末２０の通信遅延時間を知ることができるようになる。

この通信遅延時間に基づいて、パターンマッチングを行う範囲を可変することで、通信遅延時間が長い場合でも、追従被写体を特定できる可能性が高まり、遠隔操作端末からの追従制御を行いやすくなる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、撮像装置または遠隔操作端末に供給する。そしてその撮像装置または遠隔操作端末のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置と、携帯電話、スマートフォン、携帯ゲーム機などの遠隔操作端末とからなるカメラシステムに好適に利用できる。

１０‥‥‥撮像装置
１２１‥‥撮像素子
１２５‥‥信号処理部
１２６‥‥被写体領域検出部
１６９‥‥撮像側通信部
２０‥‥‥遠隔操作端末
２１１‥‥遠隔側追従画像生成部
２４１‥‥遠隔側通信部
２４３‥‥遠隔側表示部

Claims (19)

1. 遠隔操作端末により外部から制御される撮像装置であって、
   被写体像を光電変換して第１の画像信号を生成する撮像手段と、
   生成された前記第１の画像信号を送信するとともに、前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、前記遠隔操作端末により抽出された、前記被写体が指定された位置から所定領域の第２の画像信号と、前記被写体が指定された位置に関する情報とを受信する通信手段と、
   受信した前記第２の画像信号と、前記撮像手段により生成された第３の画像信号とのパターンマッチングを行うことで、前記被写体の追従領域を特定する特定手段と、を有し、
   前記特定手段は、受信した前記位置に関する情報に基づいて、前記パターンマッチングを行う範囲の位置を設定することを特徴とする撮像装置。
2. 前記撮像装置と前記遠隔操作端末の通信遅延時間を計測する通信遅延時間計測手段をさらに有し、
   前記特定手段は、前記通信遅延時間に基づいて、前記パターンマッチングを行う範囲を可変することを特徴とする請求項１に記載の撮像装置。
3. 遠隔操作端末により外部から制御される撮像装置であって、
   被写体像を光電変換して第１の画像信号を生成する撮像手段と、
   生成された前記第１の画像信号を送信するとともに、前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、前記遠隔操作端末により抽出された、前記被写体が指定された位置から所定領域の第２の画像信号を受信する通信手段と、
   受信した前記第２の画像信号と、前記撮像手段により生成された第３の画像信号とのパターンマッチングを行うことで、前記被写体の追従領域を特定する特定手段と、
   前記撮像装置と前記遠隔操作端末の通信遅延時間を計測する通信遅延時間計測手段と、を有し、
   前記特定手段は、前記通信遅延時間に基づいて、前記パターンマッチングを行う範囲を可変することを特徴とする撮像装置。
4. 前記通信手段は、前記第１の画像信号を送信する際に、前記第１の画像信号を送信する送信時刻に関する時刻情報を付与して送信し、前記表示部が前記第１の画像信号に対応する画像を表示したとき、前記第１の画像信号に付与された前記時刻情報を受信し、
   前記通信遅延時間計測手段は、前記通信手段が前記時刻情報を受信した時刻と、前記時刻情報との差分から通信遅延時間を計測することを特徴とする請求項３に記載の撮像装置。
5. 前記特定手段は、前記通信手段から受信した前記第２の画像信号と、前記撮像手段により生成された前記第３の画像信号とのそれぞれにおいて算出した特徴量を基にパターンマッチングを行うことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記特徴量は、色または輝度に関する情報であることを特徴とする請求項５に記載の撮像装置。
7. 前記撮像装置は、前記パターンマッチングの結果を基に、順次追従領域を特定することで追従制御を行うことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記撮像装置は、前記追従領域に対して焦点または露出の調節を行うことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記撮像装置は、前記通信手段により前記第１の画像信号を送信する際に、前記第１の画像信号を送信する送信時刻に関する時刻情報を付与して送信することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 撮像装置を外部から制御する遠隔操作端末であって、
    前記撮像装置から受信した第１の画像信号に対応する画像を表示する表示部と、
    前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置から所定領域の第２の画像信号を抽出する抽出手段と、
    前記第１の画像信号を受信するとともに、前記撮像装置において、前記第１の画像よりも後に生成される第３の画像信号とパターンマッチングすることにより前記被写体の追従領域を特定する際に使用される、前記第２の画像信号と、前記撮像装置が前記パターンマッチングを行う範囲を設定する際に使用される、前記被写体が指定された位置に関する情報とを送信する通信手段と、を有することを特徴とする遠隔操作端末。
11. 撮像装置を外部から制御する遠隔操作端末であって、
    前記撮像装置から受信した第１の画像信号に対応する画像を表示する表示部と、
    前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置から所定領域の第２の画像信号を抽出する抽出手段と、
    前記第１の画像信号を受信するとともに、前記撮像装置において、前記第１の画像よりも後に生成される第３の画像信号とパターンマッチングすることにより前記被写体の追従領域を特定する際に使用される、前記第２の画像信号を送信する通信手段と、を有し、
    前記パターンマッチングを行う範囲は、前記撮像装置と前記遠隔操作端末の通信遅延時間に基づいて可変されることを特徴とする遠隔操作端末。
12. 前記通信手段は、前記第１の画像信号を送信する送信時刻に関する時刻情報を付与された前記第１の画像信号を受信し、前記表示部が前記第１の画像信号に対応する画像を表示したとき、前記第１の画像信号に付与された前記時刻情報を前記撮像装置に対して送信し返し、
    前記通信遅延時間は、前記撮像装置が前記通信手段から前記時刻情報を受信した時刻と、前記時刻情報との差分から計測されることを特徴とする請求項１１に記載の遠隔操作端末。
13. 撮像装置と、前記撮像装置を外部から制御する遠隔操作端末と、からなるカメラシステムであって、
    前記撮像装置に設けられ、被写体像を光電変換して第１の画像信号を生成する撮像手段と、
    前記撮像装置に設けられ、生成された前記第１の画像信号を送信する第１の通信手段と、
    前記遠隔操作端末に設けられ、前記第１の画像信号を受信する第２の通信手段と、
    前記遠隔操作端末に設けられ、前記撮像装置から受信した第１の画像信号に対応する画像を表示する表示部と、
    前記遠隔操作端末に設けられ、前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置から所定領域の第２の画像信号を抽出する抽出手段と、
    前記撮像装置に設けられ、前記第２の通信手段から送信されて前記第１の通信手段で受信した前記第２の画像信号と、前記撮像手段により生成された第３の画像信号とのパターンマッチングを行うことで、前記被写体の追従領域を特定する特定手段と、を有し、
    前記第１の通信手段は、前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置に関する情報を受信し、
    前記特定手段は、前記位置に関する情報に基づいて、前記パターンマッチングを行う範囲の位置を設定することを特徴とするカメラシステム。
14. 撮像装置と、前記撮像装置を外部から制御する遠隔操作端末と、からなるカメラシステムであって、
    前記撮像装置に設けられ、被写体像を光電変換して第１の画像信号を生成する撮像手段と、
    前記撮像装置に設けられ、生成された前記第１の画像信号を送信する第１の通信手段と、
    前記遠隔操作端末に設けられ、前記第１の画像信号を受信する第２の通信手段と、
    前記遠隔操作端末に設けられ、前記撮像装置から受信した第１の画像信号に対応する画像を表示する表示部と、
    前記遠隔操作端末に設けられ、前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置から所定領域の第２の画像信号を抽出する抽出手段と、
    前記撮像装置に設けられ、前記第２の通信手段から送信されて前記第１の通信手段で受信した前記第２の画像信号と、前記撮像手段により生成された第３の画像信号とのパターンマッチングを行うことで、前記被写体の追従領域を特定する特定手段と、
    前記撮像装置と前記遠隔操作端末の通信遅延時間を計測する通信遅延時間計測手段と、を有し、
    前記特定手段は、前記通信遅延時間に基づいて、前記パターンマッチングを行う範囲を可変することを特徴とするカメラシステム。
15. 前記撮像装置は、前記第１の通信手段により前記第１の画像信号を送信する際に、前記第１の画像信号を送信する送信時刻に関する時刻情報を付与して送信し、
    前記遠隔操作端末は、前記表示部が前記第１の画像信号に対応する画像を表示したとき、前記第２の通信手段から前記第１の画像信号に付与された前記時刻情報を前記撮像装置に対して送信し返し、
    前記通信遅延時間計測手段は、
    前記撮像装置が前記第２の通信手段から前記時刻情報を受信した時刻と、前記時刻情報との差分から通信遅延時間を計測することを特徴とする請求項１４に記載のカメラシステム。
16. 被写体像を光電変換して第１の画像信号を生成する撮像手段を有し、遠隔操作端末により外部から制御される撮像装置の制御方法であって、
    生成された前記第１の画像信号を送信するステップと、
    前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、前記遠隔操作端末により抽出された、前記被写体が指定された位置から所定領域の第２の画像信号と、前記被写体が指定された位置に関する情報とを受信するステップと、
    受信した前記第２の画像信号と、前記撮像手段により生成された第３の画像信号とのパターンマッチングを行うことで、前記被写体の追従領域を特定するステップと、を有し、
    前記特定のステップでは、前記位置に関する情報に基づいて、前記パターンマッチングを行う範囲の位置を設定することを特徴とする撮像装置の制御方法。
17. 被写体像を光電変換して第１の画像信号を生成する撮像手段を有し、遠隔操作端末により外部から制御される撮像装置に、
    生成された前記第１の画像信号を送信するステップと、
    前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、前記遠隔操作端末により抽出された、前記被写体が指定された位置から所定領域の第２の画像信号を受信するステップと、
    受信した前記第２の画像信号と、前記撮像手段により生成された第３の画像信号とのパターンマッチングを行うことで、前記被写体の追従領域を特定するステップと、
    前記撮像装置と前記遠隔操作端末の通信遅延時間を計測するステップと、を有し、
    前記特定のステップでは、前記通信遅延時間に基づいて、前記パターンマッチングを行う範囲を可変することを特徴とする撮像装置の制御方法。
18. 撮像装置を外部から制御する遠隔操作端末の制御方法であって、
    前記撮像装置から受信した第１の画像信号に対応する画像を表示部に表示するステップと、
    前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置から所定領域の第２の画像信号を抽出するステップと、
    前記撮像装置において、前記第１の画像よりも後に生成される第３の画像信号とパターンマッチングすることにより前記被写体の追従領域を特定する際に使用される、前記抽出ステップにより抽出された前記第２の画像信号と、前記撮像装置が前記パターンマッチングを行う範囲を設定する際に使用される、前記被写体が指定された位置に関する情報とを送信するステップと、を有することを特徴とする遠隔操作端末の制御方法。
19. 撮像装置を外部から制御する遠隔操作端末の制御方法であって、
    前記撮像装置から受信した第１の画像信号に対応する画像を表示部に表示するステップと、
    前記表示部に表示中の画像上で被写体が指定されたとき、前記被写体が指定された位置から所定領域の第２の画像信号を抽出するステップと、
    前記撮像装置において、前記第１の画像よりも後に生成される第３の画像信号とパターンマッチングすることにより前記被写体の追従領域を特定する際に使用される、前記抽出ステップにより抽出された前記第２の画像信号を送信するステップと、を有し、
    前記パターンマッチングを行う範囲は、前記撮像装置と前記遠隔操作端末の通信遅延時間に基づいて可変されることを特徴とする遠隔操作端末の制御方法。