JP5612774B2 - 追尾枠の初期位置設定装置およびその動作制御方法 - Google Patents

Description

この発明は，ターゲット画像の自動追尾装置における追尾枠の初期位置設定装置およびその動作制御方法に関する。

ディジタル・カメラ（ディジタル・スチル・カメラ，ディジタル・ムービ・ビデオ・カメラ，ディジタル・カメラを備えた携帯電話を含む）には，ターゲット画像を追尾するものがある。たとえば，表示画面内に複数のウインドウを設定し，ウインドウごとに測距を行い，測距値にもとづいて追尾するもの（特許文献１），今回撮影された画像と前回撮影された画像とを比較して追尾対象を検出するもの（特許文献２），追尾する対象被写体の画像を基準パターン画像として取り込む範囲の大きさを，距離，撮影レンズの焦点距離などに応じて変更することにより追尾を行うもの（特許文献３）などがある。

ターゲット画像を追尾する場合，ターゲット画像を設定する必要がある。ターゲット画像の設定はユーザがターゲット画像を指定することにより行うことが多い。しかしながら，特徴がなく追尾しづらいターゲット画像を指定してしまうと，追尾が難しくなる。このために，追尾枠の初期位置を決定するものもある（特許文献４）。

特開平5-52562号公報 特開2005-114588号公報 特開2006-184742号公報 特開2011-160062号公報

特許文献１に記載のものでは，追尾用ウインドウを設定するときには，必ず近距離のものが選ばれるため，ターゲットよりも手前に物体がある場合には追尾できない。特許文献２に記載のものでは，中央が手前に突出している物体を想定しているので，そのような物体以外のものは追尾対象から外れやすい。特許文献３に記載のものでは，追尾対象の設定はユーザに任せられているので，特徴の無い部分をユーザがターゲットに設定した場合には追尾できないことがある。さらに，特許文献４に記載のものでは，追尾枠初期位置設定対象領域内で追尾枠の初期位置が決定されるが，その対象領域が大きい場合には追尾枠の初期位置を決定するのに必要な時間がかかってしまう。

この発明は，ターゲット画像を追尾しやすいように追尾枠の初期位置を決定する場合に，比較的短時間で決定できるようにすることを目的とする。

この発明は，連続して被写体を撮像して得られる被写体像に含まれる追尾対象のターゲット画像を特定する追尾枠の初期位置設定装置において，撮像により得られた被写体像を表示する表示装置，撮像範囲に含まれる被写体までの距離または距離に相当する値である距離値を表わす距離情報を生成する距離情報生成手段，追尾対象のターゲット画像を決定する追尾対象決定手段，および撮像により得られた被写体像のうち，上記追尾対象決定手段により決定された追尾対象のターゲット画像によって表わされる被写体までの距離値と同じ距離値（実質的に同じ距離と見なせればよい）の被写体を表わす画像部分において所定の領域ごとに高周波数成分の量を算出し，算出された高周波数成分の量が所定のしきい値以上または最大となる領域の位置を追尾枠の初期位置と決定する決定手段を備えていることを特徴とする。

この発明は，上記追尾枠の初期位置設定装置に適した動作制御方法も提供している。すなわち，この方法は，連続して被写体を撮像して得られる被写体像に含まれる追尾対象のターゲット画像を特定する追尾枠の初期位置設定装置の動作制御方法において，表示装置が，撮像により得られた被写体像を表示し，距離情報生成手段が，撮像範囲に含まれる被写体までの距離または距離に相当する値である距離値を表わす距離情報を生成し，追尾対象決定手段が，追尾対象のターゲット画像を決定し，決定手段が，撮像により得られた被写体像のうち，上記追尾対象決定手段により決定された追尾対象のターゲット画像によって表わされる被写体までの距離値と同じ距離値の被写体を表わす画像部分において所定の領域ごとに高周波数成分の量を算出し，算出された高周波数成分の量が所定のしきい値以上または最大となる領域の位置を追尾枠の初期位置と決定するものである。

この発明によると，連続して被写体が撮像され，撮像範囲に含まれる被写体までの距離を表わす距離画像が生成される。撮像により得られた被写体像のうち，決定された追尾対象のターゲット画像と同距離の画像部分において移動枠を移動し，移動ごとに移動枠内の画像の高周波数成分の量が算出される。算出された高周波数成分が所定のしきい値以上または最大となる移動枠の位置が追尾枠の初期位置と決定される。高周波数成分量がしきい値以上または最大となるような移動枠の位置の画像はエッジ成分が多く追尾しやすい。そのような位置が追尾枠の初期位置となるので追尾が比較的容易となる。しかも，決定された追尾対象のターゲット画像と同距離の画像部分という比較的狭い領域において，移動枠が移動するから，追尾枠の初期位置が決定するまでに必要な時間が短くて済む。画像の境界部分は高周波数成分が多くなるが，同距離の画像部分で移動枠を移動するので境界部分の高周波数成分が算出されてしまうおそれもない。

上記距離情報生成手段は，たとえば，異なる視点からの被写体を表わす二つの被写体像間において対応する画素同士の水平方向のずれ量から得られる距離画像を距離情報として生成するものである。

撮像により得られた被写体像のうち，上記追尾対象決定手段により決定された追尾対象のターゲット画像によって表わされる被写体までの距離値と同じ距離値の被写体を表わす画像部分において移動ごとに枠内の画像の高周波数成分の量が算出される移動枠を移動し，移動枠の移動ごとに移動枠内の画像の高周波数成分の量を算出する特定周波数成分量算出手段をさらに備えてもよい。この場合，上記決定手段は，たとえば，上記特定周波数成分量算出手段によって算出された高周波数成分量が所定のしきい値以上または最大となる移動枠の位置を追尾枠の初期位置と決定するものとなろう。

上記追尾対象決定手段は，たとえば，ユーザによる指定された画像または上記距離情報生成手段により生成された距離情報において同じ距離値を表す画像部分のうち最大領域の画像，撮像範囲の中心を含む領域の画像もしくはもっとも手前の被写体を表わす領域の画像を追尾対象のターゲット画像と決定するものである。

上記連続して被写体を撮像して得られる被写体像は，たとえば，カラー画像である。この場合，上記所定の領域ごとに所定の色成分の成分量を算出する色成分量算出手段を備え，上記決定手段は，たとえば，上記色成分量算出手段によって算出された成分量が所定のしきい値以上または最大となる領域の位置を初期位置と決定するものである。

上記決定手段において算出された高周波数成分量が所定のしきい値以上とならないことに応じて，所定の領域の大きさを大きくして上記高周波数成分量の算出を行うように上記決定手段を制御する第１の制御手段をさらに備えてもよい。

上記色成分量算出手段によって算出された色成分量が所定のしきい値以上とならないことに応じて，所定の領域の大きさを大きくして上記色成分量算出処理を行うように上記色成分量算出手段を制御する第１の制御手段をさらに備えてもよい。

所定の領域の拡大指令を与える拡大指令手段をさらに備えてもよい。この場合，上記第１の制御手段は，たとえば，上記拡大指令手段から拡大指令が与えられており，かつ上記特定周波数成分量算出手段によって算出された高周波数成分量が所定のしきい値以上とならないことに応じて，所定の領域を大きくして上記高周波数成分量の算出を行うように上記決定手段を制御するものとなろう。

所定の領域の拡大指令を与える拡大指令手段をさらに備えてもよい。この場合，上記第１の制御手段は，たとえば，上記拡大指令手段から拡大指令が与えられており，かつ上記色成分量算出手段によって算出された色成分量が所定のしきい値以上とならないことに応じて，所定の領域を大きくして上記色成分量算出処理を行うように上記色周波数成分量算出手段を制御するものとなろう。

所定の領域の拡大率を設定する拡大率設定手段をさらに備えてもよい。この場合，上記第１の制御手段は，たとえば，上記決定手段において算出された高周波数成分量が所定のしきい値以上とならないことに応じて，上記拡大率設定手段によって設定された拡大率にしたがって所定の領域を大きくして，上記高周波数成分量の算出を行うように上記決定手段を制御するものである。

所定の領域の拡大率を設定する拡大率設定手段をさらに備えてもよい。この場合，上記第１の制御手段は，たとえば，上記色成分量算出手段によって算出された色成分量が所定のしきい値以上とならないことに応じて，上記拡大率設定手段によって設定された拡大率にしたがって所定の領域を大きくして，上記色成分量算出処理を行うように上記色成分量算出手段を制御するものである。

上記決定手段において算出された高周波数成分量が所定のしきい値以上とならないことに応じて，上記被写体像を小さくして，上記高周波数成分量の算出を行うように上記決定手段を制御する第２の制御手段をさらに備えてもよい。

上記色成分量算出手段によって算出された色成分量が所定のしきい値以上とならないことに応じて，上記被写体像を小さくして，上記色成分量算出処理を行うように上記色成分量算出手段を制御する第３の制御手段をさらに備えてもよい。

上記決定手段において算出された高周波数成分量が所定のしきい値以上とならないことに応じて，エラーを報知する第１の報知手段をさらに備えてもよい。

上記色成分量算出手段によって算出された色成分量が所定のしきい値以上とならないことに応じて，エラーを報知する第２の報知手段をさらに備えてもよい。

上記第１の報知手段は，たとえば，音声出力または移動枠の表示形態の変更によりエラーを報知するものである。また，上記第１の報知手段は，たとえば，移動枠の色，線の種類もしくは形状または移動枠の点灯もしくは点滅手法の変更によりエラーを報知するものである。

上記第２の報知手段は，たとえば，音声出力または移動枠の表示形態の変更によりエラーを報知するものである。また，上記第２の報知手段は，たとえば，移動枠の色，線の種類もしくは形状または移動枠の点灯もしくは点滅手法の変更によりエラーを報知するものである。

所定の領域よりも大きく，かつ上記被写体像以下の大きさである対象領域を設定する対象領域設定手段をさらに備えてもよい。この場合，上記追尾対象決定手段は，たとえば，上記対象領域設定手段により設定された対象領域内の追尾対象のターゲット画像を決定するものである。

上記対象領域設定手段は，たとえば，上記被写体像の中心が対象領域の中心と一致するように対象領域を上記被写体像に設定するものであり，上記特定周波数成分量算出手段は，たとえば，上記移動枠を上記対象領域の中心から外側に移動し，移動したごとに移動枠内の画像の高周波数成分量を算出するものである。

上記対象領域設定手段は，たとえば，上記被写体像の中心が対象領域の中心と一致するように対象領域を上記被写体像に設定するものであり，上記色成分量算出手段は，たとえば，上記移動枠を上記基準位置から外側に移動し，移動したごとに移動枠内の画像の所定の色成分の成分量を算出するものである。

上記特定周波数成分量算出手段は，たとえば，上記移動枠を移動し，移動したごとに移動枠内の画像の低周波数成分量または高周波数成分を除いた中間周波数成分量を算出するものであり，上記決定手段は，たとえば，上記特定周波数成分量算出手段によって算出された低周波数成分量または中間周波数成分量が所定のしきい値以上となる移動枠の位置を追尾枠の初期位置と決定するものである。

上記被写体像を表す画像データにノイズ低減処理を行うノイズ低減処理手段をさらに備えてもよい。この場合，上記ノイズ低減処理手段によってノイズ低減処理された画像データによって表される上記被写体像について上記決定手段による処理を行うこととなろう。

上記被写体像を表す画像データに偽色または偽信号低減処理を行う信号処理手段をさらに備えてもよい。この場合，上記信号処理手段によって偽色または偽信号低減処理された画像データによって表される上記被写体像について上記決定手段による処理を行うものとなろう。

追尾枠の初期位置の決定処理を停止する指令を与える停止指令手段をさらに備えてもよい。この場合，上記停止指令手段から停止する指令が与えられたことに応じて，上記決定手段による処理を停止して，上記基準位置を追尾枠の初期位置と決定するものとなろう。

上記特定周波数成分量算出手段は，たとえば，撮像により得られた被写体像のうち，上記追尾対象決定手段により決定された追尾対象のターゲット画像と同じ距離値の画像部分が含まれる割合が枠内の所定の割合以上を占めるように移動枠を移動し，移動ごとに移動枠内の画像の高周波数成分の量を算出するものである。

最大値優先設定モードまたは中央優先設定モードを設定するモード設定手段をさらに備えてもよい。この場合，上記モード設定手段による最大値優先設定モードが設定されたことに応じて，上記決定手段は，上記特定周波数成分量算出手段によって算出された高周波数成分量が最大となる移動枠の位置を追尾枠の初期位置と決定し，上記モード設定手段により中央優先設定モードが設定されたことに応じて，上記周波数成分量算出手段は，上記被写体像の中心から外側方向に向かって上記移動枠を移動し，移動ごとに移動枠内の画像の高周波数成分の量を算出するものであり，算出された高周波数成分量が所定しきい値以上となったことに応じて移動枠の移動を停止するものとなろう。

撮像により得られる被写体像のうち，上記決定手段によって決定された位置の追尾枠内の画像部分が表わす被写体までの距離と同じ距離値にある画像部分において追尾枠内の画像部分と同じ画像部分に追尾枠を移動する追尾手段をさらに備えてもよい。

上記追尾対象決定手段によって決定した位置に追尾枠を表示するように上記表示装置を制御する第１の表示制御手段をさらに備えてもよい。

上記決定手段により決定された追尾枠の初期位置と上記追尾対象決定手段によって決定した位置との位置ずれ量を表わすオフセット量を算出するオフセット量算出手段，および
上記追尾手段による追尾において用いられる追尾枠から上記オフセット量算出手段によって算出されたオフセット量分ずれた位置に表示枠を表示するように上記表示装置を制御する第２の表示制御手段をさらに備えてもよい。

ディジタル・スチル・カメラの電気的構成を示すブロック図である。 追尾枠の初期位置設定処理手順を示すフローチャートである。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 距離画像の一例である。 被写体像の一例である。 被写体像の一例である。 被写体像の一部を示している。 被写体像の一部を示している。 左視点画像および右視点画像をそれぞれ表わしている。 追尾枠の初期位置設定処理手順を示すフローチャートである。 色成分ヒストグラムの一例である。 色成分ヒストグラムの一例である。 色成分ヒストグラムの一例である。 追尾枠の初期位置設定処理手順を示すフローチャートである。 追尾枠の初期位置設定メニュー画像の一例である。 追尾枠の初期位置設定処理手順を示すフローチャートである。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 追尾枠の初期位置設定処理手順を示すフローチャートである。 追尾枠の初期位置設定方法メニュー画像の一例である。 追尾枠の初期位置設定処理手順を示すフローチャートである。 追尾枠拡大メニュー画像の一例である。 追尾枠の初期位置設定処理手順を示すフローチャートである。 追尾枠の初期位置設定処理手順を示すフローチャートである。 被写体像の一例である。 追尾枠の初期位置設定処理手順を示すフローチャートである。 追尾枠の初期位置設定処理手順を示すフローチャートである。 被写体像の一例である。 高周波数成分量算出処理手順を示すフローチャートである。 移動枠が移動する様子を示している。 ＲＧＢ色空間を示している。 画素の分布の様子を示している。 自動追尾処理手順を示すフローチャートである。 自動追尾処理手順を示すフローチャートである。 被写体像の一例である。 テンプレート画像および距離情報の一例である。 被写体像の一例である。 追尾枠の初期位置設定処理手順を示すフローチャートである。 追尾枠の初期位置設定処理手順を示すフローチャートである。 被写体像の一例である。 自動追尾処理手順の一部を示すフローチャートである。

図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。ディジタル・スチル・カメラに限らず，ディジタル・ムービ・ビデオ・カメラにも，この発明の実施例を適用できるのはいうまでもない。

この実施例によるディジタル・スチル・カメラは，いわゆる複眼ディジタル・スチル・カメラであり，右目で見る右視点画像を撮像する第１の撮像装置10Ｒと左目で見る左視点画像を撮像する第２の撮像装置10Ｌとが含まれている。この実施例においては，詳しくは後述するように，右視点画像と左視点画像とから被写体までの距離を表わす距離画像が生成される。距離画像を利用して，所望の被写体を追尾する追尾枠の初期位置が決定される。もっとも距離画像が生成されればよいので，必ずしも複眼ディジタル・スチル・カメラを利用せずに，一つの撮像装置が含まれている，いわゆる単眼ディジタル・スチル・カメラを利用するようにしてもよい。

ディジタル・スチル・カメラの全体の動作は，ＣＰＵ１によって統括される。

ディジタル・スチル・カメラには，操作器２が含まれている。この操作器２には，電源ボタン，モード設定ダイアル，二段ストローク・タイプのシャッタ・レリーズ・ボタンなどが含まれている。操作器２から出力される操作信号は，ＣＰＵ１に入力する。モード設定ダイアルによって設定されるモードには撮像モード，再生モードなどがある。

上述したように，ディジタル・スチル・カメラには，第１の撮像装置10Ｒと第２の撮像装置10Ｌとが含まれている。

第１の撮像装置10Ｒには，右目視点で撮像する第１のＣＣＤ15Ｒが含まれている。この第１のＣＣＤ15Ｒの前方には，第１の撮像レンズ11Ｒ，第１の絞り12Ｒ，第１の赤外線カット・フィルタ13Ｒおよび第１の光学的ロウ・パス・フィルタ14Ｒが設けられている。第１のレンズ駆動回路５Ｒによって第１の撮像レンズ11Ｒが位置決めされ，第１の絞り駆動回路４Ｒによって第１の絞り12Ｒの開口が制御される。また，第１のＣＣＤ15Ｒは，第１の撮像素子制御回路３Ｒによって駆動する。

撮像モードが設定されると，被写体像を表す光線束は，第１の撮像レンズ11Ｒによって集光され，第１の絞り12Ｒ，第１の赤外線カット・フィルタ13Ｒおよび第１の光学的ロウ・パス・フィルタ14Ｒを介して第１のＣＣＤ15Ｒの受光面上に入射する。第１のＣＣＤ15Ｒの受光面上に被写体像が結像し，右目視点の被写体像を表すアナログ映像信号が第１のＣＣＤ15Ｒから出力する。このように，第１のＣＣＤ15Ｒによって一定周期で被写体が撮像され，一定周期で被写体像を表す映像信号が１フレーム分ずつ第１のＣＣＤ15Ｒから出力される。

第１のアナログ信号処理装置16Ｒには，相関二重サンプリング回路，信号増幅回路などが含まれている。第１のＣＣＤ15Ｒから出力されたアナログ映像信号は，第１のアナログ信号処理装置16Ｒに入力し，相関二重サンプリング，信号増幅などが行われる。第１のアナログ信号処理回路16Ｒから出力されたアナログ映像信号は，第１のアナログ／ディジタル変換回路18Ｒに入力し，右目視点のディジタル画像データに変換される。変換されたディジタル画像データは，メモリ制御回路19の制御のもとにメイン・メモリ20に一時的に記憶される。

第２の撮像装置10Ｌには，左目視点で撮像する第２のＣＣＤ15Ｌが含まれている。この第２のＣＣＤ15Ｌの前方には，第２の撮像レンズ11Ｌ，第２の絞り12Ｌ，第２の赤外線カット・フィルタ13Ｌおよび第２の光学的ロウ・パス・フィルタ14Ｌが設けられている。第２のレンズ駆動回路５Ｌによって第２の撮像レンズ11Ｌが位置決めされ，第２の絞り駆動回路４Ｌによって第２の絞り12Ｌの開口が制御される。また，第２のＣＣＤ15Ｌは，第２の撮像素子制御回路３Ｌによって駆動する。

撮像モードが設定されると，第１の撮像装置10Ｒと同様に，第２のＣＣＤ15Ｌの受光面上に被写体像が結像し，左目視点の被写体像を表すアナログ映像信号が第２のＣＣＤ15Ｌから出力する。このように，第２のＣＣＤ15Ｌによって一定周期で被写体が撮像され，一定周期で被写体像を表す映像信号が１フレーム分ずつ第２のＣＣＤ15Ｌから出力される。

第２のＣＣＤ15Ｌから出力されたアナログ映像信号は，第２のアナログ信号処理装置16Ｌに入力し，相関二重サンプリング，信号増幅などが行われる。第２のアナログ信号処理回路16Ｌから出力されたアナログ映像信号は，第２のアナログ／ディジタル変換回路18Ｌに入力し，左目視点のディジタル画像データに変換される。変換されたディジタル画像データは，メモリ制御回路19の制御のもとにメイン・メモリ20に一時的に記憶される。

右目視点の画像データおよび左目視点の画像データは，それぞれメイン・メモリ20から読み出されてディジタル信号処理回路21に入力する。ディジタル信号処理回路21おいて白バランス調整，ガンマ補正などの所定のディジタル信号処理が行われる。ディジタル信号処理回路21においてディジタル信号処理が行われた画像データは，表示制御回路26に与えられる。表示制御回路26によって表示装置27が制御されることにより，表示装置27の表示画面上に撮像により得られた被写体像が立体視表示される。もっとも，表示装置27の表示画面には，立体視画像を表示せずに右目視点画像または左目視点画像のいずれかが表示されるようにしてもよい。

シャッタ・レリーズ・ボタンの第一段階の押下があると，上述のようにして第１のアナログ／ディジタル変換回路18Ｒおよび第２のアナログ／ディジタル変換回路18Ｌから出力された右目視点画像データおよび左目視点画像データのうち，いずれか一方の画像データ（両方の画像データでもよい）は，メイン・メモリ20に記録される。メイン・メモリ20から読み出された画像データは，ディジタル信号処理回路21において輝度データに変換される。変換された輝度データが積算回路23に入力し，積算される。積算値を表すデータがＣＰＵ１に与えられ，露出量が算出される。算出された露出量となるように，絞り12の開口およびＣＣＤ15のシャッタ速度が制御される。

シャッタ・レリーズ・ボタンの第二段階の押下があると，同様にして第１のアナログ／ディジタル変換回路18Ｒおよび第２のアナログ／ディジタル変換回路18Ｌから出力された右目視点画像データおよび左目視点画像データは，いずれもメイン・メモリ20に記録される。メイン・メモリ20から読み出された右目視点画像データおよび左目視点画像データは，上述したのと同様に，ディジタル信号処理回路21において所定のディジタル信号処理が行われる。ディジタル信号処理回路21から出力された右目視点画像データおよび左目視点画像データは，圧縮伸長処理回路22においてデータ圧縮が行われる。データ圧縮された左目視点画像データおよび右目視点画像データが外部メモリ制御回路24の制御によりメモリ・カード25に記録される。

さらに，この実施例では，被写体像に含まれるターゲット画像について自動追尾することができる。自動追尾により，撮像により連続して得られる被写体像（動画）に含まれるターゲット画像に枠（追尾枠）を表示しつづけることができる。特定の人物を見失うことなく，撮像を繰り返すことができる。また，そのターゲット画像が適正な明るさとなるように露光調整，そのターゲット画像が合焦するような焦点調整ができる。

ターゲット画像を追尾する場合，ターゲット画像を設定する必要がある（初期ターゲット設定）。この実施例では，ユーザによってターゲット画像の部分が指定されると，その指定された部分近傍のうち，追尾しやすい部分をターゲット画像として追尾枠が決定される。追尾が比較的容易となる。

追尾枠の初期位置を決定するために，ディジタル・スチル・カメラには初期ターゲット設定装置28が含まれている。初期ターゲット設定装置28において設定された追尾枠は表示装置27の表示画面に表示される。初期ターゲット設定装置28において設定された追尾枠内の画像がターゲット画像とされて，そのターゲット画像が自動追尾装置29によって追尾される。ディジタル信号処理回路21にはノイズ低減フィルタ，偽色低減フィルタおよび偽信号低減フィルタが内蔵されており，ディジタル信号処理回路21において，ノイズ低減，偽色低減および偽信号低減された画像データが初期ターゲット設定装置28に入力し，後述の処理が行なわれる。

再生モードが設定されると，メモリ・カード25に記録されている圧縮画像データが読み取られる。読み取られた圧縮画像データは，圧縮伸長処理回路22において伸長される。伸長された画像データが表示制御回路26に与えられることにより，表示装置27の表示画面上に，再生画像が表示される。上述した自動追尾は記録時だけでなく，再生時に行われるようにしてもよい。

図２は，追尾枠の初期位置設定の処理手順を示すフローチャートである。図３から図５ならびに図７および図８は表示装置27の表示画面に表示される画像の一例である。図６は，距離画像の一例である。図３から図５ならびに図７および図８に示す画像40は，上述のように，撮像モードが設定されることにより被写体が一定周期で連続して撮像されて得られる多数フレームの画像を構成する一つの被写体像40である。

撮像モードが設定されると，上述のようにして被写体が一定周期で撮像され，表示装置27の表示画面には被写体像が動画（いわゆるスルー画像）で表示される。表示装置27の表示画面の中央部分である基準位置に追尾枠41が表示される（必ずしも中央でなくともよいし，複数でもよい）（ステップ30）。

図３は，追尾枠41が基準位置に表示されている様子を示している。

被写体を撮像することにより得られた被写体像40が表示装置27の表示画面に表示されている。被写体像40には，人物像Ｉ１，第１の木の画像Ｉ２，第２の木の画像Ｉ３，背景の画像Ｉ４が含まれている。人物像Ｉ１で表わされる人物がもっともディジタル・スチル・カメラに近く，第１の木の画像Ｉ２で表される木が次にディジタル・スチル・カメラに近い。第２の木の画像Ｉ３で表される木は，第１の木の画像Ｉ２で表される木よりもディジタル・スチル・カメラから遠い。背景の画像Ｉ４で表わされる背景がディジタル・スチル・カメラからもっとも遠い。表示画面の中央部分の基準位置に所定の大きさの矩形の追尾枠41が表示されている。追尾枠41の形状は矩形に限らず，他の形状でもよい。また，人物，顔などを認識し，認識した人物の形状，顔の形状を追尾枠としてもよい。

カメラマンは追尾枠41内に追尾したいターゲット画像が含まれるようにカメラ・アングルを決定する。ターゲット画像の少なくとも一部分が追尾枠41内に入ると，カメラマンによってシャッタ・レリーズ・ボタンの第１段階の押し下げ（初期位置決定処理の開始指令）が行われる。すると，追尾枠41の外側に追尾枠初期位置設定対象領域が設定される（図２ステップ31）。もっとも，シャッタ・レリーズ・ボタンの第１段階の押し下げが行われたことにより，追尾枠を表示する図２ステップ30の処理を行うようにしてもよい。また，初期位置決定処理の開始指令はシャッタ・レリーズ・ボタンの第１段階の押し下げではなく，他の専用のボタン，スイッチからディジタル・スチル・カメラに与えられるようにしてもよい。

図４は追尾枠初期位置設定対象領域が画像40に設定された様子を示している。

追尾枠処理位置設定対象領域42の中心は表示画面の中心と等しく，追尾枠41よりも大きく，かつ被写体像（表示画面）40の大きさ以下の大きさであり，追尾枠41を含むものである。図４においては，追尾枠処理位置設定対象領域42がわかるように鎖線で示されているが，追尾枠処理位置設定対象領域42は必ずしも表示画面に表示されなくともよい。もっともこの領域42自体無くともよい。

追尾枠処理位置設定対象領域42が設定されると，その領域42内に含まれるターゲット画像の高周波数成分が抽出されることにより高周波数成分画像が生成される（図２ステップ32）。

図５は，追尾枠処理位置設定対象領域42内に含まれる画像から高周波数成分が抽出されて高周波数成分画像が生成された様子を示している。

領域42内の画像から高周波数成分が抽出されることにより生成された高周波数成分画像43が領域42内に表示される。領域42内の画像が高周波数成分から構成されている画像43であることを示すために高周波数成分画像43にハッチングが付されている。領域42が無い場合には画像40全体から高周波数成分画像が抽出される。

つづいて，距離画像が生成される（図２ステップ33）。

図６は，距離画像40Ａの一例である。

距離画像40Ａは，被写体像40内に含まれる被写体までの距離を表わすものである。図６においては，ディジタル・スチル・カメラから被写体までの距離が濃度で表わされている。濃度が薄いほどディジタル・スチル・カメラからの距離が近く，濃度が濃いほどディジタル・スチル・カメラからの距離が遠い。

距離画像40Ａには，上述した被写体像40に含まれる人物像Ｉ１，第１の木の画像Ｉ２，
第２の木の画像Ｉ３および背景画像Ｉ４のそれぞれに対応する領域ａ１，ａ２，ａ３およびａ４が含まれている。上述したように，ディジタル・スチル・カメラからの距離は，人物像Ｉ１によって表わされる人物，第１の木の画像Ｉ２によって表される第１の木，第２の木の画像Ｉ３によって表される第２の木および背景画像Ｉ４によって表される背景の順に遠いから，領域ａ１，ａ２，ａ３およびａ４の順に濃度が濃くなっている。

図６においては，被写体像40との関係が分るように，追尾枠処理位置設定対象領域42も図示されている。

生成された高周波数成分画像43内であり，かつ追尾枠41が設定された画像によって表わされる被写体までの距離と同距離にある被写体を表わす画像部分がサーチ領域とされ，そのサーチ領域内において，追尾枠41と同じ形状，同じ大きさの移動枠が設定される。その移動枠がサーチ領域内において１画素分ずつ水平方向および垂直方向に移動させられながら，高周波数成分量が算出される（図２ステップ34）。生成された高周波数成分画像43内であり，かつ追尾枠41が設定された画像によって表わされる被写体までの距離と同距離にある被写体を表わす画像部分が複数ある場合には，それらの複数の画像部分のうち，面積の大きい方の画像部分がサーチ領域とされる。

図７は，移動枠44が表示されている様子を示している。

上述のように，高周波数成分画像43内において，追尾枠41と同じ形状（同じ形状でなくともよい），同じ大きさ（同じ大きさでなくともよい）の移動枠44が設定される。移動枠44は表示されても表示されなくともよい。

上述のように，追尾枠41は，人物像Ｉ１に設定されているから，この人物像Ｉ１のうち，高周波数成分画像43内に含まれている領域ＩＳ（領域ＩＳが太線で囲まれている）がサーチ領域ＩＳとなる。このサーチ領域ＩＳ内において，移動枠44が１画素分ずつ水平方向および垂直方向に移動させられ，その移動した位置ごとに，移動枠内に含まれる画素のうち所定のしきい値以上の高周波数成分以上の高周波数成分をもつ画素の数がカウントされることにより，高周波数成分量（カウント値）が算出される。

高周波数成分量が最大となる移動枠44の位置が追尾枠41の初期位置と決定される（図２ステップ35）。

図８は追尾枠41の初期位置を決定する様子を示している。

上述のように，移動枠44がサーチ領域ＩＳ内を移動しながら高周波数成分量が算出された場合に，図８に示す移動枠44の位置にあるときが，高周波数成分量が最大であったとする。すると，そのときの移動枠44の位置が追尾枠41の初期位置と決定される。

上述の実施例においては，追尾枠処理位置設定対象領域42が設定され，追尾枠41が設定されている被写体像によって表わされる被写体までの距離と同距離の被写体を表わす画像部分であって，かつ追尾枠処理位置設定対象領域42内の領域がサーチ領域ＩＳとされているが，追尾枠処理位置設定対象領域42が設定されずに追尾枠41が設定されている被写体像によって表わされる被写体までの距離と同距離の被写体を表わす画像部分がサーチ領域ＩＳとされてもよい。たとえば，人物像Ｉ１の領域がサーチ領域ＩＳとなる。

サーチ領域ＩＳ内で上述したように高周波数成分量の算出などの処理が行われて追尾枠41の初期位置が決定されるので，被写体像40の全体または追尾枠処理位置設定対象領域42において高周波数成分量の算出などの処理が行われて追尾枠41の初期位置が決定される場合に比べて迅速に追尾枠41の初期位置が決定される。被写体の境界部分などはエッジ成分などの特徴が出やすいが，そのような境界部分は距離画像40Ａを利用してサーチ領域ＩＳから除外されているので，追尾枠41の初期位置を適切に決定できる。

このようにして追尾枠41の初期位置が決定されると，その初期位置から，追尾枠41内の画像がターゲット画像として,次に入力する画像について追尾処理が開始される。初期位置として決定した追尾枠41内の画像はサーチ領域ＩＳ内において高周波数成分量が最大であり，画像に含まれるエッジが多いので追尾処理が比較的容易となる。追尾処理に用いられる追尾枠41内の画像は抽出された高周波数成分の画像でもよいし，高周波数成分が抽出される前の画像40についてのものでもよい。

上述の高周波数成分画像の生成は初期ターゲット設定装置内にハイ・パス・フィルタが含まれており，そのハイ・パス・フィルタを用いて行われるのはいうまでもない。もっとも,上述の処理の一部またはすべてを，ハードウェアを用いて行なってもよいし，上述した処理の一部またはすべてを，ソフトウェアを用いて行なってもよい。

上述の実施例においては，追尾枠を表示画面の中央の基準位置に表示することを決定し，追尾枠内の画像を含む人物像Ｉ１をターゲット画像と決定しているが，距離画像40Ａのうち背景を除く領域の中から最大の領域によって表わされる被写体の画像をターゲット画像としてもよし，もっともディジタル・スチル・カメラに近い被写体の画像をターゲット画像としてもよい。

図９および図10は，追尾枠処理位置設定対象領域42内の画像を示している。

図９を参照して，上述のようにサーチ領域ＩＳが設定されると，そのサーチ領域ＩＳ内において移動枠44が移動させられながら，その移動ごとに高周波数成分量が算出される。移動枠44は，サーチ領域ＩＳからはみ出ないように移動させられる。

これに対して，図10においては，移動枠44の一部がサーチ領域ＩＳからはみ出ることを許容している。移動枠44の面積のうち50％（または80％）以上がサーチ領域ＩＳに含まれるように，移動枠44が移動させられる。移動ごとに高周波数成分量が算出されるのは上述の通りである。サーチ領域ＩＳが狭い場合には，移動枠44がサーチ領域ＩＳからはみ出ないように移動させられると，高周波数成分量を算出できる箇所が少なくなってしまうが，移動枠44の一部がサーチ領域ＩＳからはみ出ることを許容することにより，高周波数成分量を算出できる箇所が多くなり，より正確に追尾枠の初期位置を決定できる。

図11は左視点画像40Ｌおよび右視点画像40Ｒの一例である。上述したように左視点画像40Ｌは第２の撮像装置10Ｌにより得られ，右視点画像40Ｒは第１の撮像装置10Ｒにより得られる。

これらの左視点画像40Ｌと右視点画像40Ｒとから上述した距離画像40Ａ（図６参照）が生成される。

距離画像40Ａを生成するために，左視点画像40Ｌを構成する画素のうち周波数成分が高いと思われる画素を表わす特徴点ＰＬが検出される（右視点画像40Ｒから特徴点ＰＲが検出されてもよい）。左視点画像40Ｌから検出された特徴点ＰＬに対応する対応点ＰＲが右視点画像40Ｒから検出される。左視点画像40Ｌから検出された特徴点ＰＬと右視点画像40Ｒから検出された対応点ＰＲとの水平方向の差分の長さを距離情報として，上述した距離画像40Ａが生成される。

図12は，他の実施例を示すもので，追尾枠の初期位置設定の処理手順を示すフローチャートである。図12は，図２に対応するもので，図２に示す処理と同一の処理については同一符号を付して説明を省略する。

上述の実施例においては，追尾枠初期位置設定対象領域42内において，高周波数成分量が最大となる移動枠44の位置が追尾枠41の初期位置とされているが，図12に示す処理では，色成分量が最大となる移動枠44の位置が追尾枠41の初期位置とされる。

上述のように，追尾枠初期位置設定対象領域42が設定され（ステップ31），距離画像が生成される（ステップ33）。上述のようにサーチ領域ＩＳが規定され，移動枠44がサーチ領域ＩＳ内を１画素ずつ上下左右に移動させられる（ステップ36）。それぞれの移動位置ごとに移動枠44内に存在する画像を構成する画素の色成分（赤色成分，緑色成分および青色成分。シアン，マゼンタ，イエローなどの他の三原色，Ｃｒ，Ｃｂなどのような色差その他の色成分でもよい）がしきい値以上となる画素の数（色成分量）が算出される（ステップ36）。算出された色成分量が最大となる移動枠44の位置が追尾枠41の初期位置となる（ステップ37）。

図13から図15は色成分ヒストグラムの一例である。図13は赤色成分の色成分ヒストグラム，図14は緑色成分の色成分ヒストグラム，図15は青色成分の色成分ヒストグラムである。

図13を参照して，移動枠41が移動させられて，領域１から領域５の５つの移動箇所ごとに赤色成分量Ｑ１〜Ｑ５が算出されたものとする（実際には移動枠44は１画素ずつ移動するからもっと多くの移動箇所ごとの赤色成分量が得られるが，ここでは便宜的に５箇所の領域についての成分量が得られたものとする）。

同様に，図14を参照して移動枠41が移動させられて，領域１から領域５の５つの移動箇所ごとに緑色成分量Ｑ６〜Ｑ10が算出され，図15を参照して移動枠41が移動させられて，領域１〜５の５つの移動箇所ごとに青色成分量Ｑ11〜Ｑ15が算出されたものとする。

これらの赤色成分量Ｑ１〜Ｑ５，緑色成分量Ｑ６〜Ｑ10および青色成分量Ｑ11〜Ｑ15のうち，最大の色成分量となる移動枠44の位置が追尾枠41の初期位置となる。たとえば，赤色成分量Ｑ３が最大の場合には領域３の位置が追尾枠41の初期位置となる。もっとも，これらの赤色成分量Ｑ１〜Ｑ５，緑色成分量Ｑ６〜Ｑ10および青色成分量Ｑ11〜Ｑ15のうち，最大の色成分量となる移動枠44の位置を追尾枠41の初期位置とするのではなく，カメラマンが指定したターゲット画像の色成分を解析して，そのターゲット画像に含まれる色成分のうち多い色成分と同じまたは近似の色成分の成分量が最大となる移動枠44の位置を追尾枠41の初期位置としてもよい。

図16は，変形例を示すもので，追尾枠の初期位置設定処理手順を示すフローチャートである。この図において，図12に示す処理と同一の処理については同一符号を付して説明を省略する。

図12に示す処理では，色成分量が最大となる移動枠41の位置が追尾枠44の初期位置とされているが，図16に示す処理では高周波数成分量と色成分量との両方を用いて追尾枠44の初期位置が決定される。

上述のように，追尾枠初期位置設定対象領域42内の画像から高周波数成分画像が生成され（ステップ33），かつ距離画像が生成される（ステップ33）。サーチ領域ＩＳ内で移動枠41を移動しながら，移動位置ごとに高周波数成分量および色成分量が算出される（ステップ34Ａ）。算出された高周波数成分量および色成分量とから追尾枠の初期位置が決定される（ステップ35Ａ）。

たとえば，移動枠41の移動位置ごとに式１にしたがって，総合成分量が算出される。この総合成分量が最大となる移動枠41の位置が追尾枠の初期位置となる。但し，ｗは重み付け係数であり，たとえば，0.5である。

総合成分量＝ｗ×高周波数成分量＋（１−ｗ）色成分量・・・式１

図17は，追尾枠の初期位置設定メニュー画像の一例である。

ディジタル・スチル・カメラのモード設定ボタンにおいてメニュー・モードが設定され，そのメニュー・モードの中から追尾枠の初期位置設定メニューが選択されると，図17に示す追尾枠の初期位置設定メニュー画像50が，表示装置27の表示画面に表示される。

追尾枠の初期位置設定メニュー画像50には，ほぼ中央に「追尾枠の初期位置設定」の文字列が表示されている。この文字列の右側に第１のチェック・ボックス51および第２のチェック・ボックス52が表示されている。第１のチェック・ボックス51の右側には「オン」の文字が表示され，第２のチェック・ボックス52の右側には「オフ」の文字が表示されている。操作装置２にはカーソルを上下左右に移動させるための上下左右ボタンが含まれている。上下左右ボタンから上指令が入力されることにより，第１のチェック・ボックス51がチェックされ，上下左右ボタンから下指令が入力されることにより，第２のチェック・ボックス52がチェックされる。

第１のチェック・ボックス51がチェックされると，上述のように追尾枠の初期位置設定が行われるようにディジタル・スチル・カメラが設定される。第２のチェック・ボックス52がチェックされると，上述の追尾枠の初期位置設定が行われないようにディジタル・スチル・カメラが設定される。追尾枠の初期位置設定が行われない場合には，上述したように表示画面の中央部分である基準位置が追尾枠の初期位置となって，自動追尾処理が行われる。

図18から図20は，他の実施例を示すものである。図18は追尾枠44の初期位置設定処理手順を示すフローチャートである。図18において，図２と同じ処理には同じ符号を付して説明を省略する。

上述のように，距離画像40Ａが生成され（ステップ33），サーチ領域ＩＳ内において移動枠41が移動させられて移動位置ごとに高周波数成分量が算出される（ステップ34）。得られた高周波数成分量の最大値が所定のしきい値以上かどうかが判定される（ステップ61）。しきい値以上であれば（ステップ61でＹＥＳ），高周波数成分量の最大となる移動枠41の位置が追尾枠44の初期位置決定される（ステップ35）。しきい値以上でなければ（ステップ61でＮＯ），エラー報知される（ステップ62）。

エラーの報知は，エラー音の出力，エラーの旨の表示でもよいし，追尾枠44の色をかえるなど，追尾枠44の表示を初期位置が決定した場合と異なる表示とすることにより行っても良い。また，追尾枠の点灯，点滅を追尾枠44の初期位置が決定した場合と異なるようにしてエラー報知をしてもよい。

図19および図20は，エラー報知の場合に表示画面に表示される画像の一例である。

図19を参照して，画像40の中央部分にはエラー表示のための枠63が表示されている。この枠は追尾枠44が実線であるのに対して，破線とされている。破線の枠63が表示されることによりカメラマンはエラーが起きたことがわかる。

図20を参照して，画像40の中央部分にはエラー表示のためのばつ印64が表示されている。ばつ印64が表示されることによりカメラマンはエラーが起きたことがわかる。

図21および図22は，他の実施例を示している。

図21は，移動枠41の移動の仕方を示している。

上述した実施例においては，移動枠41の移動は任意であったが（通常は，テレビジョンの走査と同様に，左上から右方向に移動して順に下方向に移動することとなろう。），この実施例では，画像40の中央部分の基準位置から外側に向かって螺旋状のように移動する。

まず，基準位置にある移動枠41内において高周波数成分量が算出される。算出された高周波数成分量が所定のしきい値を越えなければ，移動枠41が左上に１画素分（移動距離ｂ＝１）移動させられる（符号81で示す位置）。符号81で示される位置において移動枠41内における高周波数成分量が算出される。算出された高周波数成分量が所定のしきい値を越えなければ，符号81で示される位置から右側に移動枠41が１画素分移動させられ,高周波数成分量が算出される。同様に，画像40の中央部分である基準位置に移動枠41が存在する場合における移動枠41の上下左右に１画素分外側に広げた領域82において高周波数成分量が所定のしきい値を越えるまで，移動枠41の移動および移動位置での高周波数成分量の算出が繰り返される。

上下左右に１画素分外側に広げた領域82において高周波数成分量が所定のしきい値を越えなければ，さらに，移動枠41が左上に１画素分（移動距離ｂは合計２）移動させられて，符号83で示す位置に移動枠41の移動が移動させられ，移動位置での高周波数成分量が算出される。同様に，高周波数成分量がしきい値を超えるまで移動枠41が上下左右に１画素分ずつ移動させられて，画像40の中央部分である基準位置に移動枠41が存在する場合における移動枠41の上下左右に２画素分外側に広げた領域84において高周波数成分量が所定のしきい値を越えるまで，移動枠41の移動および移動位置での高周波数成分量の算出が繰り返される。

このように，画像40の中央部分から外側に向かって移動枠41が移動させられて高周波数成分量が算出される。

図22は追尾枠の初期位置設定処理手順を示すフローチャートである。図22において，図14に示す処理と同一の処理については同一符号を付して説明を省略する。

上述のように，高周波数成分画像が生成され（ステップ32）,かつ距離画像が生成される（ステップ33）。上述した移動距離ｂが０にセットされる（ステップ70）。また，高周波数成分の最大値が０にセットされ，かつ高周波数成分の最大値の位置が初期化される（ステップ71）。セットされた移動距離ｂが最大移動距離Ｓ１以下かどうかが判定される（ステップ72）。最大移動距離Ｓ１は，画像40（表示画面）の長辺または短辺のいずれかの辺の１／２の長さである。最大移動距離Ｓ１は,画像40の対角線の長さの１／２の長さから移動枠41の対角線の長さの１／２の長さを減算したものでもよい。

移動距離ｂが最大移動距離Ｓ１以上となると（ステップ72でＮＯ），エラーが報知される（ステップ79）。移動距離ｂが最大移動距離Ｓ１未満であれば（ステップ72でＹＥＳ），上述のように，基準位置での移動枠41内の高周波数成分量が算出される（ステップ73）。算出された高周波数成分量が所定のしきい値を越えていなければ（ステップ74でＮＯ），移動距離ｂ内の算出処理が終了したかどうかが確認される（ステップ77）。移動距離ｂが０の場合には，移動枠41は移動しないこととなるので，移動距離ｂが１だけインクレメントされる（ステップ77でＹＥＳ，ステップ78）。

移動距離ｂが１となると，上述したように，高周波数成分量がしきい値を越えるまで領域82内の高周波数成分量が算出されることとなる。領域82内において算出された高周波数成分量が所定のしきい値を越えなければ，さらに移動距離ｂがインクレメントされ，領域84内の高周波数成分量が算出される。しきい値を越えると（ステップ74でＹＥＳ），０にセットされていた高周波数成分が，しきい値を超えた高周波数成分量の最大値として更新され，そのときの位置が記憶される（ステップ75）。記憶された位置が追尾枠の初期位置として決定する（ステップ76）。

追尾枠初期位置設定対象領域42内のすべてについて高周波数成分量の算出処理を行う必要が必ずしも無いので，追尾枠を決定するまでの時間を短縮できる。

図23は，追尾枠の初期位置設定方法のメニュー画像の一例である。

ディジタル・スチル・カメラのモード設定ボタンにおいてメニュー・モードが設定され，そのメニュー・モードの中から追尾枠の初期位置設定方法のメニューが選択されると，図23に示す追尾枠の初期位置設定方法のメニュー画像90が，表示装置27の表示画面に表示される。

追尾枠の初期位置設定方法のメニュー画像90には，ほぼ中央に「追尾枠の初期位置設定方法」の文字列が表示されている。この文字列の右側に第１のチェック・ボックス91および第２のチェック・ボックス92が表示されている。第１のチェック・ボックス91の右側には「最大評価値位置」の文字が表示され，第２のチェック・ボックス92の右側には「中央重点位置」の文字が表示されている。上下左右ボタンから上指令が入力されることにより，第１のチェック・ボックス91がチェックされ，上下左右ボタンから下指令が入力されることにより，第２のチェック・ボックス92がチェックされる。

第１のチェック・ボックス91がチェックされると，追尾枠初期位置設定対象領域42内のすべてにおいて上述した高周波数成分量の算出処理が行われ,最大の高周波数成分量が得られる位置が追尾枠の初期位置として決定される。これに対して，第２のチェック・ボックス92がチェックされると，上述したように移動枠41が基準位置から順に外側に移動させられ，移動ごとに得られる高周波数成分量が所定のしきい値を最初に越えたときの移動枠41の位置が追尾枠の初期位置として決定される。

図24は，追尾枠の初期位置設定手順を示すフローチャートである。この図において，図22に示す処理と同一の処理については同一符号を付して説明を省略する。

この処理手順は，追尾枠の初期位置を画面の中央に近い位置に設定する中央優先と高周波数成分量が最大位置に設定する最大優先とに応じて設定するものである。上述のようにして移動枠41が移動し，移動後の位置で高周波数成分量が算出されると，算出された高周波数成分量がしきい値を越えたかどうかが判定される（ステップ74）。しきい値を越えると（ステップ74でＹＥＳ），算出された高周波数成分量が最大値を越えたかどうかが判定される（ステップ74Ａ）。ステップ74Ａにおける判定処理は，最大優先が設定されている場合に，高周波数成分量が最大の位置を検出できるようにするためのものである。算出された高周波数成分量が最大値を越えると（ステップ74ＡでＹＥＳ），算出された高周波数成分量が，それまで算出された高周波数成分量の最大値よりも大きいので最大値が更新される（ステップ75）。

上述のように，追尾枠の初期位置設定方法において中央重点位置が設定されていると（中央重点が設定されていると）（ステップ80でＹＥＳ），最大値の位置が追尾枠の初期位置として決定される（ステップ76）。中央重点位置が設定されている場合には，画像40の中央に近い位置が初期位置と決定する。カメラマンがターゲット画像として想定している部分は画像の中央と考えられ，追尾枠44の初期位置として決定される位置も中央に近くなるので，カメラマンに違和感を与えることを未然に防止できる。追尾枠の初期位置設定方法において中央重点位置が設定されていなければ（中央重点が設定されてなければ）（ステップ80でＮＯ），高周波数成分量がしきい値を越えても追尾枠初期位置設定対象領域42内のすべての位置において高周波数成分量の算出処理が繰り返される（ステップ77）。

移動距離ｂが最大移動距離Ｓ１より大きくなると（ステップ72でＮＯ），高周波数成分量の最大値が未だに０にセットされているかどうかが判断される（ステップ85）。高周波数成分量の最大値が０にセットされていると（ステップ85でＹＥＳ），しきい値を超えた高周波数成分量の最大値を検出できなかったので，追尾枠の初期位置の決定ができずにエラーとなる（ステップ79）。高周波数成分量の最大値が０にセットされていなければ（ステップ85でＮＯ），しきい値を超えた高周波数成分量が見つかっているので，その位置が追尾枠の初期位置として決定される（ステップ76）。

図25から図28は，他の実施例を示している。

図25は，追尾枠拡大のメニュー画像の一例である。

ディジタル・スチル・カメラのモード設定ボタンにおいてメニュー・モードが設定され，そのメニュー・モードの中から追尾枠拡大のメニューが選択されると，図25に示す追尾枠拡大のメニュー画像100が，表示装置27の表示画面に表示される。

追尾枠拡大のメニュー画像100には，ほぼ中央に「追尾枠拡大」の文字列が表示されている。この文字列の右側に第１のチェック・ボックス101および第２のチェック・ボックス102が表示されている。第１のチェック・ボックス101の右側には「オン」の文字が表示され，第２のチェック・ボックス102の右側には「オフ」の文字が表示されている。第１のチェック・ボックス101の右側にある「オン」の文字のさらに右側には拡大率設定領域103が表示されている。拡大率設定領域103には数字が表示され，その数字が追尾枠41の拡大率を示すこととなる。

上下左右ボタンから上指令が入力されることにより，第１のチェック・ボックス91がチェックされ，上下左右ボタンから下指令が入力されることにより，第２のチェック・ボックス92がチェックされる。第１のチェック・ボックス91がチェックされているときに，上下左右ボタンから右指令が入力されると，拡大率設定領域103の設定が可能となる。第１のチェック・ボックス91がチェックされているときに上下左右ボタンの上指令入力に応じて拡大率が上がり，下指令入力に応じて拡大率が下がる。

図26および図27は，追尾枠の初期位置設定処理手順を示すフローチャートである。これらの図において図24と同じ処理については同一符号を付して説明を省略する。図28は被写体像の一例である。

この実施例は，移動枠41のサイズを上述したように設定された拡大率に応じて拡大するものである。移動枠41のサイズがリセットされて上述のように追尾枠が基準位置に表示される（ステップ30）。上述のようにして高周波数成分画像が生成され（ステップ32），かつ距離画像が生成されると（ステップ33），移動枠41のサイズ（一辺）ａが，最大枠サイズＳ２以下かどうかが判定される（ステップ111）。最大枠サイズＳ２は，被写体像40の長辺または短辺以下に予め定められており，たとえば，Ｓ２＝４ａである。

移動枠サイズａが最大枠サイズＳ２より大きくなると（ステップ111でＮＯ），エラーが報知される（ステップ79）。移動枠サイズａが最大枠サイズＳ２以下であれば（ステップ111でＹＥＳ），移動枠位置がリセットされて移動枠41が基準位置に表示される（ステップ113）。また，移動距離ｂも０にセットされ（ステップ113），かつ高周波数成分量の最大値も０にセットされる（ステップ114）。最大値の位置の初期かされる（ステップ114）。図21，図22などを参照して説明したように，移動距離ｂが最大移動距離Ｓ２以下であれば（ステップ72でＹＥＳ），移動距離ｂが徐々に大きくされて中央から外側に向かって移動枠41が移動させられながら，高周波数成分量の算出処理が繰り返される（ステップ72から80）。移動距離ｂが最大移動距離Ｓ１より大きくなると（ステップ72でＮＯ），高周波数成分量の最大値が０にセットされているかどうかが判断される（ステップ85）。高周波数成分が０にセットされていなければ（ステップ85でＮＯ），しきい値を超えている高周波数成分があるので，その高周波数成分が得られた位置が追尾枠の初期位置と決定される（ステップ76）。高周波数成分量の最大値が０にセットされていると（ステップ85でＹＥＳ），その領域内では，しきい値以上の高周波数成分量の最大値が得られていないので，図28に示すように移動枠41のサイズが設定されている大きさに拡大される（拡大された移動枠120）（ステップ81）。拡大された移動枠120が再び移動されながら，移動位置ごとで高周波数成分量の算出処理が繰り返される。

高周波数成分量が所定のしきい値を越えない場合には，移動枠41が大きくされるので，高周波数成分量の値が大きくなる。高周波数成分量の値が所定のしきい値を超えるようになり，追尾枠44の初期位置を決定できる。

図29から図31は，さらに他の実施例を示すものである。

図29および図31は追尾枠の初期位置設定処理手順を示すフローチャートである。これらの図において図26および図27に示す処理と同一の処理については同一符号を付して説明を省略する。図31は，被写体像40の一例である。

上述の実施例では移動枠41の大きさを大きくしているが，この実施例では被写体像40の大きさを小さくしている。移動枠41の大きくした場合と同様に高周波数成分量がしきい値を越えやすくなる。

図31の上の図に示すように，被写体像40のサイズが所定の大きさに初期化される（ステップ131）。つづいて，被写体像40がリサイズされる（ステップ132）。このリサイズ処理は，最初は必要無いのでスキップしてもよい。画像が１／８以下となるようなリサイズが行われる場合には，偽色，偽信号低減処理が行なわれるようにしても良い。

画像サイズが最小サイズよりも大きくなければ（ステップ133でＮＯ），エラーが報知される（ステップ134）。画像サイズが最小サイズよりも大きければ（ステップ133でＹＥＳ），移動枠41内の高周波数成分量の算出処理が行われる（ステップ30〜33，ステップ112〜114，ステップ72〜80など）。

追尾枠44の初期位置が決定せずに移動距離ｂが最大移動距離Ｓ１より大きくなると（ステップ72でＮＯ），高周波数成分量の最大値が０にセットされているかどうかが判断される（ステップ85）。高周波数成分量の最大値が０にセットされていなければ（ステップ85でＮＯ），すでに，しきい値以上の高周波数成分量の最大値が得られた位置があるので，その位置が追尾枠の初期位置と決定される（ステップ76）。高周波数成分量の最大値が０にセットされていると（ステップ85でＹＥＳ），画像サイズ（画像40の長辺または短辺）ｃが１／２とされる（ステップ135）。これにより図31の下の図に示すように，被写体像40が小さくなり，小さくなった被写体像40Ｂを用いて高周波数成分量の算出処理が繰り返される。移動枠41内の画像にもとづいて算出される高周波数成分量は多くなるので，高周波数成分量がしきい値を越え，追尾枠の初期位置を決定できるのは理解できよう。

上述の実施例においては，追尾枠初期位置設定対象領域内の画像から高周波数成分を抽出して得られる高周波数成分画像内において移動枠を移動させながら高周波数成分量を算出し，しきい値以上の高周波数成分量または最大の高周波数成分量が得られる移動枠の位置が追尾枠の初期位置と決定されている。しかしながら，高周波数成分量が多すぎる場合には（上記のしきい値を第１のしきい値とすると第１のしきい値より多い第２のしきい値以上の高周波数成分量をもつ場合など），高周波数成分画像を生成する前に一の画像についてロウ・パス・フィルタを用いて平滑化を行った後で高周波数成分画像を生成して，高周波数成分量の算出処理を行うようにしてもよい。初期位置決定処理において決定した追尾枠内のターゲット画像にエッジ成分が多く含まれすぎると，そのターゲット画像とテンプレート・マッチングなどを利用して，一の画像の後に入力する被写体像に含まれるターゲット画像を追尾する場合に，追尾枠が少しずれただけで追尾できなくなる可能性がある。平滑化を行った後で高周波数成分画像を生成して，高周波数成分量の算出処理を行うことにより，追尾枠が少しずれただけで追尾できなくなってしまうことを未然に防止できる。

上述の実施例において，追尾枠初期位置設定対象領域内の画像の高周波数成分画像を生成せずにロウ・パス・フィルタまたはバンド・パス・フィルタを用いて追尾枠初期位置設定対象領域内の画像の低周波数成分画像または中間周波数成分画像を生成して，上述したのと同様に低周波数成分量または中間周波数成分量が多くなる移動枠の位置を追尾枠の初期位置としてもよい。また，ターゲット画像の周波数帯域がわかっている場合には，その周波数帯域の成分量を抽出するようなバンド・パス・フィルタを用いて中間周波数成分量が多くなる移動枠の位置を追尾枠の初期位置とすることにより，ターゲット画像の追尾がより正確なる。

さらに上述の処理において,追尾枠初期位置設定対象領域内の画像から特定の周波数成分をもつ画像を生成するのではなく,設定の色成分（ターゲット画像の色成分）の成分量が多くなるような移動枠の位置を追尾枠の初期位置としてもよい。

上述の実施例では，追尾枠初期位置設定対象領域が設定され，その設定された領域内において高周波数成分画像を生成し，生成した高周波数成分画像内において移動枠を移動させながら，移動位置ごとに高周波数成分量を算出している。しかしながら，高周波数成分画像を生成せずに設定された領域内において移動枠を移動させて，その移動位置ごとに移動枠内の画像の高周波数成分量を算出するようにしてもよい。

また，追尾枠と移動枠とは同じ大きさ，形状でもよいし，異なる大きさ，形状でもよい。たとえば，移動枠を１辺ａの矩形枠とした場合追尾枠を１辺(0.8×a)の矩形枠としてもよい。

図32は，変形例を示すもので，移動枠を移動させながら高周波数成分量を算出する処理手順（たとえば，図２ステップ34の処理手順）を示すフローチャートである。

この処理手順は，移動枠44内の高周波数成分量が所定のしきい値よりも小さい場合には，移動枠44をそれまでの移動距離よりも２画素増えるようにし，しきい値以上の場合には，移動枠44をそれまでの移動距離よりも１画素増えるようにするものである。

まず，最大高周波数成分量が０にリセットされる（ステップ141）。移動枠の垂直位置ｊが０にリセットされる（ステップ142）。

図33の左側の図は，移動枠44とサーチ領域ＩＳとの関係を示している。サーチ領域ＩＳに収まる移動枠44のうち，もっとも左上の位置に位置決めされる場合の移動枠の左上の座標を（０，０）の原点とされる。その原点の位置に移動枠44が位置決めされている場合が垂直位置ｊ＝０であり，後述するように水平位置ｉ＝０である。垂直位置ｊおよび水平位置ｉによって移動枠44の位置が決定される。

図32に戻って，サーチ領域ＩＳの高さによって規定されるサーチ領域ＩＳの垂直方向の高さ（長さ）よりも垂直位置ｊが小さいかどうかが確認される（ステップ143）。サーチ領域ＩＳの垂直方向の長さよりも垂直位置ｊが小さければ（ステップ143でＹＥＳ），移動枠44の少なくとも一部がサーチ領域ＩＳに含まれていることとなる。すると，水平位置ｉが０にリセットされ（ステップ144），サーチ領域ＩＳの水平方向の幅（長さ）よりも水平位置ｉが小さいかどうかが確認される（ステップ145）。サーチ領域ＩＳの水平方向の長さよりも水平位置ｉが小さければ（ステップ145でＹＥＳ），移動枠44の少なくとも一部がサーチ領域ＩＳ内に含まれていることとなる。すると，移動枠44の左上の位置が垂直位置ｊおよび水平位置ｉで規定される位置で，移動枠44内の画像の高周波数成分量が算出される（ステップ146）。

算出された高周波数成分量が最大高周波数成分量より大きければ，その算出された高周波数成分量が最大高周波数成分量に更新される（ステップ148）。

算出された高周波数成分量が所定のしきい値よりも小さいかどうかが確認され（ステップ149），算出された高周波数成分量が所定のしきい値以上であれば（ステップ150でＮＯ），移動枠44内の画像は精細なものであり，図33の中央の図に示すように，移動枠44の移動距離は水平移動位置ｉに１画素加算したものとされる（ステップ150）。算出された高周波数成分量が所定のしきい値よりも小さければ（ステップ150でＹＥＳ），移動枠44内の画像は精細なものとは言えず，図33の右側の図に示すように，移動枠44の移動距離は水平移動位置ｉに２画素加算したものとされる（ステップ151）。移動枠44が移動した後の位置でも，その位置で算出された高周波数成分量と最大高周波数成分量との比較が行われ，その比較結果に応じて移動枠44の移動距離が決定される（ステップ145から151）。

水平位置ｉの値が領域の水平方向の長さ以上となると（ステップ145でＮＯ），移動枠44はサーチ領域ＩＳの水平方向から外れ，移動枠44の一部もサーチ領域ＩＳに含まれなくなる。移動枠44を垂直方向に移動させるべく移動位置ｊがインクレメントされる（ステップ152）。移動位置ｊがサーチ領域ＩＳの高さ以上となると処理が終了する（ステップ143でＮＯ）。

図34および図35は，変形例を示すものである。この変形例は，色成分を利用して追尾枠41の初期位置を決定する場合に，色空間上における色成分の分布状態を利用するものである。

図34は，ＲＧＢ色空間を示している（ＣｒＣｂ色空間など他の色空間でもよい）。

（０，０，０），（０，255，０），（０，０，255），（０，255，255），（255，０，０），（255，０，255），および（255，255，255）で囲まれる空間160を考える。その空間160が各座標軸方向において３等分され（３等分でなくともよい），合計27個の小ブロックｂ１〜ｂ27が形成されている。

上述したように，追尾枠初期位置設定対象領域32内において，移動枠44が移動させられ，その移動位置ごとに，移動枠44内の画素が図30に示す色空間上にプロットされる。図35に示すように，小ブロックｂ１〜ｂ27のそれぞれにおいてプロットされた画素の数Ｓ１〜Ｓ27が算出される。算出された画素の数Ｓ１〜Ｓ27のうちのもっとも大きな画素の数が，その移動位置での最大画素数Ｓmaxとして検出される。

上記のような最大画素数Ｓmaxの算出処理が，移動枠44が移動した位置ごとに算出され，移動位置ごとの最大画素数Ｓmaxのうち，もっとも大きな値が得られる移動位置が追尾枠44の初期位置として決定される。

図36から図40は，他の実施例を示すもので，上述のようにして設定された初期位置から自動追尾処理を行うものである。

図36および図37は自動追尾処理手順を示すフローチャートである。

まず，上述したようにして決定された初期位置が追尾位置とされる（ステップ171）。つづいて，被写体が撮像され，被写体像が得られる（ステップ172）。被写体像が得られると，追尾位置に追尾枠が表示される。さらに，上述のように，距離画像（図６参照）が生成される（ステップ173）。

図38は，得られた被写体像40の一例である。

被写体像40には，上述したのと同様に，人物像Ｉ１，第１の木の画像Ｉ２，第２の木の画像Ｉ３および背景画像Ｉ４が含まれている。被写体像40に含まれる人物像Ｉ１中の追尾位置に追尾枠190が表示されている。追尾枠190内の画像から，追尾のターゲット画像となる追尾用テンプレート画像が生成される（図36ステップ174）。

図39の上段は，追尾用テンプレート画像191の一例である。

テンプレート画像191は，上述したように，追尾枠190の初期位置として決定された位置に追尾枠190が位置決めされた場合において追尾枠190に含まれている画像である。上述したように，追尾枠190の初期位置は，高周波数成分が多い画像部分の位置であるから，テンプレート画像191も高周波数成分が多いものである。このために，テンプレート画像191を用いた追尾処理は比較的行いやすいものとなる。

追尾用テンプレート画像190が生成されると，その追尾用テンプレート画像190が得られた画像部分によって表される被写体までの距離を表わす距離情報が，距離画像から取得される（図36ステップ175）。

図39の下段は，距離情報192を示している。

距離情報192は，上述したように，追尾用テンプレート画像190が得られた画像部分によって表される被写体までの距離を表わしている。追尾用テンプレート画像190は，人物像Ｉ１から得られているから，追尾用テンプレート画像190の距離情報は，ディジタル・スチル・カメラから人物像Ｉ１によって表わされる人物までの距離を表わすものとなる。

つづいて，追尾枠がターゲット画像を追尾する領域である追尾対象領域が設定される（図36ステップ176）。

図40は，被写体像40の一例である。

上述したように，追尾枠190が人物像Ｉ１上に表示されており，その追尾枠190を囲むように追尾対象領域200が設定される。

追尾処理においても上述した追尾枠の初期位置決定処理と同様に，追尾対象領域200内のうち，追尾用テンプレート画像190の距離情報によって表わされる距離と同じ距離の被写体を表わす画像部分がサーチ領域ＩＳとされる。上述のようにテンプレート画像190は人物像Ｉ１の一部であるから，追尾対象領域200内の人物像Ｉ１の領域がサーチ領域ＩＳとなる。

つづいて，追尾用テンプレート画像190と類似している画像部分を見つけ出し，その画像部分に追尾枠を表示するのであるから，追尾用テンプレート画像190と画像部分との相違度が小さいほど，その画像部分が追尾用テンプレート画像190に類似しているものと考えられる。相違度が小さくなるように画像部分が見つけ出されるから，相違度の最小値がmaxにセットされ，その位置が初期化される（図36ステップ177）。

テンプレート画像190によるサーチ領域内のサーチが終了していなければ（図37ステップ178でＮＯ），追尾枠190と同じ大きさの移動枠191がサーチ領域ＩＳ内に設定され，その移動枠191内の画像とテンプレート画像190との相違度が算出される（ステップ179）。相違度であるから，相違度が小さいほど移動枠191内の画像とテンプレート画像190とが類似する。すなわち，追尾用テンプレート画像190の距離情報と同じ距離にある領域ＩＳ内において移動枠191内の画像とテンプレート画像190との相違度が算出される。この相違度は，移動枠191内の画像とテンプレート画像190との差分絶対値ＲSADで表され，式１にしたがって算出される。但し，ｉを移動枠191内の画像（テンプレート画像190）を構成する画素のｘ座標，ｊを移動枠191内の画像（テンプレート画像190）を構成する画素のｙ座標とし，移動枠191内の画像の輝度値がＩ(i,j)，テンプレート画像190の輝度値がＴ(i,j)で表わされている。Ｎは移動枠191内の画像（テンプレート画像190）を構成する画素のＹ方向の画素数，Ｍは移動枠191内の画像を構成する画素のＸ方向の画素数である。

また，相違度は，移動枠191内の画像とテンプレート画像190との差分二乗和ＲSSDで表されてもよい。差分二乗和ＲSSDは，式２にしたがって算出される。

算出された相違度が，すでに記憶されている相違度よりも大きければ（ステップ180でＮＯ），相違度が得られた画像部分よりも，すでに記憶されている相違度が得られたときの画像部分の方が追尾用テンプレート190に類似していることとなる。このために，相違度の更新などは行われない。算出された相違度が，すでに記憶されている相違度よりも小さければ（ステップ180でＹＥＳ），算出された相違度が所定のしきい値よりも小さいかどうかが判定される（ステップ181）。算出された相違度が所定のしきい値以上の場合に相違度が更新されてしまうと，仮にターゲット画像が被写体像40の中から存在しなくなっても追尾処理が行われてしまうことがあり，誤追尾となってしまう。このために，算出された相違度が所定のしきい値未満の場合に（ステップ181でＹＥＳ），相違度の最小値の更新が行われ，かつそのときの位置が記憶される（ステップ182）。その後，移動枠がサーチ領域ＩＳ内で移動させられ，ステップ179から182までの処理が繰り返される。

移動枠191によるサーチ領域ＩＳ内のサーチが終了すると（ステップ178でＹＥＳ），相違度の最小値がmaxに設定されているかどうかが確認される（ステップ184）。相違度の最小値がmaxに設定されていると（ステップ184でＮＯ），ターゲット画像の追尾ができていないこととなる。一定時間，追尾位置の更新がなければ（ステップ187），ターゲット画像が撮像範囲から外れたと考えられるので，追尾処理が終了する。相違度の最小値がmaxに設定されていなければ（ステップ184でＮＯ），最小値は更新されているので，その最小値の位置が追尾位置とされる（ステップ185）。シャッタ・レリーズ動作があれば（ステップ186でＹＥＳ），追尾処理は終了する。シャッタ・レリーズ動作が無ければ（ステップ186でＮＯ），再びステップ172からの処理が繰り返される。

図41から図43は，他の実施例を示すものである。

上述した実施例では，追尾枠190の初期位置は上述のようにして決定された位置であり，その初期位置に追尾枠190が最初に表示されるので，追尾枠の初期位置はユーザによって設定された位置とずれることがあるが，この実施例では，追尾枠の初期位置は上述のようにして決定された位置であるが，その位置に追尾枠が表示されるのではなく，ユーザによって設定された位置に表示枠が表示される。表示枠が表示される位置と追尾枠の初期位置とのオフセット量が算出され，その算出されたオフセット量の分だけ位置がずらされて追尾処理により表示枠が表示される。

図41および図42は，追尾枠の処理位置設定処理手順を示すフローチャートである。この図において，図24に示す処理と同一の処理については同一符号を付して説明を省略する。

上述のように，追尾枠の基準位置への表示（図41ステップ30），追尾枠初期位置設定対象領域が設定されると（図41ステップ31），上述したように表示枠位置のオフセット量が初期化される（図41ステップ211）。その後は，上述したようにステップ32以降の処理が行われる。

上述のように，追尾枠の初期位置が決定されると，基準位置と，決定された初期位置と，の位置ずれの方向および大きさを表わす表示枠位置オフセット量が算出される（図42ステップ212）。

図43は，基準位置に表示された追尾枠41と，決定された初期位置に表示された追尾枠41Ａと，を示している。

この実施例では，追尾枠41Ａが図示されているように初期位置が算出されても，基準位置の追尾枠として表示枠41が表示される。そのために，追尾枠41Ａと表示枠41とのオフセット量が算出される。

図44は，追尾処理手順の一部を示すフローチャートである。この図は，図37に示すものに対応しており，図37に示す処理と同一の処理については同一符号を付して説明を省略する。

上述のようにして移動枠をサーチ領域ＩＳ内で移動しながら相違度が算出される（ステップ178−183）。相違度の最小値がmaxに設定されていなければ（ステップ184でＮＯ），最小値の位置が追尾位置とされるが（ステップ185），その追尾位置からオフセット量を加算した位置が表示枠の表示位置とされる（ステップ189）。追尾位置には枠は表示されない。ユーザが設定された部分に表示枠が表示されるのでユーザは違和感を生じない。相違度の最小値の位置がmaxに設定されていても（ステップ184でＹＥＳ），算出された初期位置からオフセット量分加算された位置が表示枠の表示位置となる（ステップ188）。

上述の実施例においては，相違度を用いて追尾処理が行われているが相違度ではなく，類似度を用いて追尾処理を行うこともできる。相互相関係数ＲNOCを類似度として利用できる。相互相関係数ＲNOCは，式３から算出できる。類似度を利用して追尾処理が行われる場合には，上述したように相違度を用いる場合と異なり，類似度が大きいほどテンプレート画像191に類似するものとなる。したがって，上述したように図36ステップ177において相違度の最小値をmaxにセットし，最小値の位置を初期化する代わりに，類似度の最大値をminにセットし，最大値の位置を初期化し，図37ステップ180において相違度が記憶されている最小値よりも小さいかどうかの判断の代わりに，類似度が記憶されている最大値よりも大きいかどうかの判断が行われる。また，図37ステップ181において相違度がしきい値未満かどうかの判断の代わりに，類似度がしきい値以上かどうかの判断が行われ，図37ステップ182において相違度の最小値を更新し，最小値の位置を記憶する代わりに，類似度の最大値を更新し，最大値の位置が記憶される。このようにして得られた最大値の位置が追尾位置となる。

また，上述の実施例では，距離画像40Ａが利用されているが，距離画像40Ａを生成しなくとも，被写体までの距離がわかればよい。

１ ＣＰＵ
26 表示制御装置
27 表示装置
28 初期ターゲット設定装置
29 自動追尾装置

Claims (32)

1. 連続して被写体を撮像して得られる被写体像に含まれる追尾対象のターゲット画像を特定する追尾枠の初期位置設定装置において，
   撮像により得られた被写体像を表示する表示装置，
   撮像範囲に含まれる被写体までの距離または距離に相当する値である距離値を表わす距離情報を生成する距離情報生成手段，
   追尾対象のターゲット画像を決定する追尾対象決定手段，および
   撮像により得られた被写体像のうち，上記追尾対象決定手段により決定された追尾対象のターゲット画像によって表わされる被写体までの距離値と同じ距離値の被写体を表わす画像部分において所定の領域ごとに高周波数成分の量を算出し，算出された高周波数成分の量が所定のしきい値以上または最大となる領域の位置を追尾枠の初期位置と決定する決定手段，
   を備えた追尾枠の初期位置設定装置。
2. 上記距離情報生成手段は，
   異なる視点からの被写体を表わす二つの被写体像間において対応する画素同士の水平方向のずれ量から得られる距離画像を距離情報として生成するものである，
   請求項１に記載の追尾枠の初期位置設定装置。
3. 撮像により得られた被写体像のうち，上記追尾対象決定手段により決定された追尾対象のターゲット画像によって表わされる被写体までの距離値と同じ距離値の被写体を表わす画像部分において移動ごとに枠内の画像の高周波数成分の量が算出される移動枠を移動し，移動枠の移動ごとに移動枠内の画像の高周波数成分の量を算出する特定周波数成分量算出手段をさらに備え，
   上記決定手段は，
   上記特定周波数成分量算出手段によって算出された高周波数成分量が所定のしきい値以上または最大となる移動枠の位置を追尾枠の初期位置と決定するものである，
   請求項１または２に記載の追尾枠の初期位置設定装置。
4. 上記追尾対象決定手段は，
   ユーザによる指定された画像または上記距離情報生成手段により生成された距離情報において同じ距離値を表す画像部分のうち最大領域の画像，撮像範囲の中心を含む領域の画像もしくはもっとも手前の被写体を表わす領域の画像を追尾対象のターゲット画像と決定するものである，
   請求項２または３に記載の追尾枠の初期位置設定装置。
5. 上記連続して被写体を撮像して得られる被写体像はカラー画像であり，
   上記所定の領域ごとに所定の色成分の成分量を算出する色成分量算出手段を備え，
   上記決定手段は，
   上記色成分量算出手段によって算出された成分量が所定のしきい値以上または最大となる領域の位置を初期位置と決定するものである，
   請求項１から４のうち，いずれか一項に記載の追尾枠の初期位置設定装置。
6. 上記決定手段において算出された高周波数成分量が所定のしきい値以上とならないことに応じて，所定の領域の大きさを大きくして上記高周波数成分量の算出を行うように上記決定手段を制御する第１の制御手段，
   をさらに備えた請求項１から４のうち，いずれか一項に記載の追尾枠の初期位置設定装置。
7. 上記色成分量算出手段によって算出された色成分量が所定のしきい値以上とならないことに応じて，所定の領域の大きさを大きくして上記所定の色成分の成分量を算出するように上記色成分量算出手段を制御する第１の制御手段，
   をさらに備えた請求項５に記載の追尾枠の初期位置設定装置。
8. 所定の領域の拡大指令を与える拡大指令手段，および
   上記拡大指令手段から拡大指令が与えられており，かつ上記特定周波数成分量算出手段によって算出された高周波数成分量が所定のしきい値以上とならないことに応じて，所定の領域を大きくして上記高周波数成分量の算出を行うように上記決定手段を制御する第１の制御手段，
   をさらに備えた請求項３に記載の追尾枠の初期位置設定装置。
9. 所定の領域の拡大指令を与える拡大指令手段をさらに備え，
   上記第１の制御手段は，
   上記拡大指令手段から拡大指令が与えられており，かつ上記色成分量算出手段によって算出された色成分量が所定のしきい値以上とならないことに応じて，所定の領域を大きくして上記所定の色成分の成分量を算出するように上記色成分量算出手段を制御するものである，
   請求項７に記載の追尾枠の初期位置設定装置。
10. 所定の領域の拡大率を設定する拡大率設定手段をさらに備え，
    上記第１の制御手段は，
    上記決定手段において算出された高周波数成分量が所定のしきい値以上とならないことに応じて，上記拡大率設定手段によって設定された拡大率にしたがって所定の領域を大きくして，上記高周波数成分量の算出を行うように上記決定手段を制御するものである，
    請求項６に記載の追尾枠の初期位置設定装置。
11. 所定の領域の拡大率を設定する拡大率設定手段をさらに備え，
    上記第１の制御手段は，
    上記色成分量算出手段によって算出された色成分量が所定のしきい値以上とならないことに応じて，上記拡大率設定手段によって設定された拡大率にしたがって所定の領域を大きくして，上記所定の色成分の成分量を算出するように上記色成分量算出手段を制御するものである，
    請求項７に記載の追尾枠の初期位置設定装置。
12. 上記決定手段において算出された高周波数成分量が所定のしきい値以上とならないことに応じて，上記被写体像を小さくして，上記高周波数成分量の算出を行うように上記決定手段を制御する第２の制御手段，
    をさらに備えた請求項１から11のうちいずれか一項に記載の追尾枠の初期位置設定装置。
13. 上記色成分量算出手段によって算出された色成分量が所定のしきい値以上とならないことに応じて，上記被写体像を小さくして，上記所定の色成分の成分量を算出するように上記色成分量算出手段を制御する第３の制御手段，
    をさらに備えた請求項５に記載の追尾枠の初期位置設定装置。
14. 上記決定手段において算出された高周波数成分量が所定のしきい値以上とならないことに応じて，エラーを報知する第１の報知手段，
    をさらに備えた請求項１から13のうちいずれか一項に記載の追尾枠の初期位置設定装置。
15. 上記色成分量算出手段によって算出された色成分の成分量が所定のしきい値以上とならないことに応じて，エラーを報知する第２の報知手段，
    をさらに備えた請求項５に記載の追尾枠の初期位置設定装置。
16. 上記第１の報知手段は，
    音声出力または移動枠の表示形態の変更によりエラーを報知するものである，
    請求項14に記載の追尾枠の初期位置設定装置。
17. 上記第１の報知手段は，
    移動枠の色，線の種類もしくは形状または移動枠の点灯もしくは点滅手法の変更によりエラーを報知するものである，
    請求項14に記載の追尾枠の初期位置設定装置。
18. 上記第２の報知手段は，
    音声出力または移動枠の表示形態の変更によりエラーを報知するものである，
    請求項15に記載の追尾枠の初期位置設定装置。
19. 上記第２の報知手段は，
    移動枠の色，線の種類もしくは形状または移動枠の点灯もしくは点滅手法の変更によりエラーを報知するものである，
    請求項15に記載の追尾枠の初期位置設定装置。
20. 所定の領域よりも大きく，かつ上記被写体像以下の大きさである対象領域を設定する対象領域設定手段をさらに備え，
    上記追尾対象決定手段は，
    上記対象領域設定手段により設定された対象領域内の追尾対象のターゲット画像を決定するものである，
    請求項１から19のうち，いずれか一項に記載の追尾枠の初期位置設定装置。
21. 所定の領域よりも大きく，かつ上記被写体像以下の大きさである対象領域であって，上記被写体像の中心が対象領域の中心と一致するように対象領域を上記被写体像に設定する対象領域設定手段をさらに備え，
    上記特定周波数成分量算出手段は，
    上記移動枠を上記対象領域の中心から外側に移動し，移動したごとに移動枠内の画像の高周波数成分量を算出するものである，
    請求項３記載の追尾枠の初期位置設定装置。
22. 所定の領域よりも大きく，かつ上記被写体像以下の大きさである対象領域であって，上記被写体像の中心が対象領域の中心と一致するように対象領域を上記被写体像に設定する対象領域設定手段をさらに備え，
    上記色成分量算出手段は，
    移動枠を基準位置から外側に移動し，移動したごとに移動枠内の画像の所定の色成分の成分量を算出するものである，
    請求項５に記載の追尾枠の初期位置設定装置。
23. 上記特定周波数成分量算出手段は，
    上記移動枠を移動し，移動したごとに移動枠内の画像の低周波数成分量または高周波数成分を除いた中間周波数成分量を算出するものであり，
    上記決定手段は，
    上記特定周波数成分量算出手段によって算出された低周波数成分量または中間周波数成分量が所定のしきい値以上となる移動枠の位置を追尾枠の初期位置と決定するものである，
    請求項３に記載の追尾枠の初期位置設定装置。
24. 上記被写体像を表す画像データにノイズ低減処理を行うノイズ低減処理手段をさらに備え，
    上記ノイズ低減処理手段によってノイズ低減処理された画像データによって表される上記被写体像について上記決定手段による処理を行うものである，
    請求項１から23のうちいずれか一項に記載の追尾枠の初期位置設定装置。
25. 上記被写体像を表す画像データに偽色または偽信号低減処理を行う信号処理手段をさらに備え，
    上記信号処理手段によって偽色または偽信号低減処理された画像データによって表される上記被写体像について上記決定手段による処理を行うものである，
    請求項１から24のうちいずれか一項に記載の追尾枠の初期位置設定装置。
26. 追尾枠の初期位置の決定処理を停止する指令を与える停止指令手段をさらに備え，
    上記停止指令手段から停止する指令が与えられたことに応じて，上記決定手段による処理を停止して，基準位置を追尾枠の初期位置と決定するものである，
    請求項１から25のうちいずれか一項に記載の追尾枠の初期位置設定装置。
27. 上記特定周波数成分量算出手段は，
    撮像により得られた被写体像のうち，上記追尾対象決定手段により決定された追尾対象のターゲット画像と同じ距離値の画像部分が含まれる割合が枠内の所定の割合以上を占めるように移動枠を移動し，移動ごとに移動枠内の画像の高周波数成分の量を算出するものである，
    請求項３に記載の追尾枠の初期位置設定装置。
28. 最大値優先設定モードまたは中央優先設定モードを設定するモード設定手段をさらに備え，
    上記モード設定手段による最大値優先設定モードが設定されたことに応じて，上記決定手段は，上記特定周波数成分量算出手段によって算出された高周波数成分量が最大となる移動枠の位置を追尾枠の初期位置と決定し，
    上記モード設定手段により中央優先設定モードが設定されたことに応じて，上記特定周波数成分量算出手段は，上記被写体像の中心から外側方向に向かって上記移動枠を移動し，移動ごとに移動枠内の画像の高周波数成分の量を算出するものであり，算出された高周波数成分量が所定しきい値以上となったことに応じて移動枠の移動を停止するものである，
    請求項３に記載の追尾枠の初期位置設定装置。
29. 撮像により得られる被写体像のうち，上記決定手段によって決定された位置の追尾枠内の画像部分が表わす被写体までの距離と同じ距離値にある画像部分において追尾枠内の画像部分と同じ画像部分に追尾枠を移動する追尾手段，
    をさらに備えた請求項１から28のうち，いずれか一項に記載の追尾枠の初期位置設定装置。
30. 上記追尾対象決定手段によって決定した位置に追尾枠を表示するように上記表示装置を制御する第１の表示制御手段，
    をさらに備えた請求項１から29のうち，いずれか一項に記載の追尾枠の初期位置設定装置。
31. 上記決定手段により決定された追尾枠の初期位置と上記追尾対象決定手段によって決定した位置との位置ずれ量を表わすオフセット量を算出するオフセット量算出手段，および
    上記追尾手段による追尾において用いられる追尾枠から上記オフセット量算出手段によって算出されたオフセット量分ずれた位置に表示枠を表示するように上記表示装置を制御する第２の表示制御手段，
    をさらに備えた請求項29に記載の追尾枠の初期位置設定装置。
32. 連続して被写体を撮像して得られる被写体像に含まれる追尾対象のターゲット画像を特定する追尾枠の初期位置設定装置の動作制御方法において，
    表示装置が，撮像により得られた被写体像を表示し，
    距離情報生成手段が，撮像範囲に含まれる被写体までの距離または距離に相当する値である距離値を表わす距離情報を生成し，
    追尾対象決定手段が，追尾対象のターゲット画像を決定し，
    決定手段が，撮像により得られた被写体像のうち，上記追尾対象決定手段により決定された追尾対象のターゲット画像によって表わされる被写体までの距離値と同じ距離値の被写体を表わす画像部分において所定の領域ごとに高周波数成分の量を算出し，算出された高周波数成分の量が所定のしきい値以上または最大となる領域の位置を追尾枠の初期位置と決定する，
    追尾枠の初期位置設定装置の動作制御方法。