JP6702746B2 - 撮像装置、その制御方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、撮像装置、追尾装置に関し、特に被写体追尾に関するものである。

近年の撮像装置では、特定の被写体の領域と相関の高い領域を継続的に検出し、検出された領域を追い続けることで特定の被写体の追尾を行う追尾技術が知られている。

また、近年、タッチパネルを備えたディスプレイを有する撮像装置が知られている。

特許文献１では、被写体の追尾中にタッチパネルをタッチすることで追尾対象を選択し、追尾を続行する技術が開示されている。

特開２０１３−１４３５７８号

しかし、ユーザーが意図して追尾していた被写体とは違う被写体を撮像装置が追尾対象としてしまった場合に、上記技術を用いて移動している被写体をタッチすることで被写体を再度指定しようとしても、タッチが被写体の位置から外れてしまう場合がある。ユーザーが意図した被写体からタッチが外れてしまうと、ユーザーが追尾したい被写体とは異なる被写体を指定して追尾してしまう。

そこで、本発明は、追尾中にタッチパネルへのタッチによって追尾する被写体を再指定する場合において、タッチが外れてしまった場合であっても、ユーザーが本来意図していた被写体を追尾することができる撮像装置、追尾装置を提供することを目的とする。また、その制御方法、プログラム及び記憶媒体を提供することを目的とする。

そこで、本発明の一側面は、被写体に対応する領域である追尾領域と相関の高い領域を継続的に検出する追尾手段と、ユーザーによるタッチ操作を検出するタッチ検出手段と、デフォーカス量の算出を行う焦点検出手段と、被写体の動きを検出する動体検知手段と、前記動体検知手段の検出結果に応じて、前記タッチ操作を行ったタッチ位置を含む領域を、特定の被写体をサーチするためのサーチ領域として設定するサーチ領域設定手段と、前記サーチ領域設定手段が設定した前記サーチ領域を複数のブロックに分割する分割手段と、前記複数のブロックそれぞれについて前記焦点検出手段が算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分を算出する差分算出手段と、を有し、前記差分算出手段が算出した前記複数のブロックそれぞれについて前記焦点検出手段が算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が、第１の所定値未満であるブロックがある場合は、前記追尾手段は前記焦点検出手段が算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が第１の所定値未満であるブロックを含む領域を追尾領域として設定し、前記複数のブロックそれぞれについて前記焦点検出手段が算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が第１の所定値未満のブロックがない場合には、前記追尾手段は追尾領域を変更しないよう構成したことを特徴とする。
また、本発明の別側面は、被写体に対応する領域である追尾領域と相関の高い領域を継続的に検出する追尾手段と、ユーザーによるタッチ操作を検出するタッチ検出手段と、距離情報の検出を行う焦点検出手段と、被写体の動きを検出する動体検知手段と、前記動体検知手段の検出結果に応じて、前記タッチ操作を行ったタッチ位置を含む領域を、特定の被写体をサーチするためのサーチ領域として設定するサーチ領域設定手段と、前記サーチ領域設定手段が設定した前記サーチ領域を複数のブロックに分割する分割手段と、前記複数のブロックそれぞれについて前記距離検出手段が検出した距離情報と過去に追尾していた被写体の距離情報との差分を算出する差分算出手段と、を有し、前記差分算出手段が算出した前記複数のブロックそれぞれについて前記距離検出手段が算出した距離情報と前記過去に追尾していた被写体の距離情報との差分が、第１の所定値未満であるブロックがある場合は、前記追尾手段は前記距離検出手段が算出した距離情報と前記過去に追尾していた被写体の距離情報との差分が第１の所定値未満であるブロックを含む領域を追尾領域として設定し、前記複数のブロックそれぞれについて前記距離検出手段が算出した距離情報と前記過去に追尾していた被写体の距離情報との差分が第１の所定値未満のブロックがない場合には、前記追尾手段は追尾領域を変更しないよう構成したことを特徴とする。
また、本発明の別側面は、所定の対象を追尾するために、画面中の第１の追尾領域と相関の高い領域を第２の追尾領域として自動的に変更する追尾手段と、ユーザーによる画面へのタッチ操作を検出するタッチ検出手段と、前記タッチ操作を行った画面のタッチ位置に基づき前記所定の対象をサーチするためのサーチ領域を設定するサーチ領域設定手段と、を有し、前記追尾手段は、前記サーチ領域設定手段によって設定されたサーチ領域のデフォーカス量と前記第１の追尾領域のデフォーカス量との差分を算出し、前記差分が所定値より小さい場合は、前記サーチ領域の少なくとも一部を前記第２の追尾領域として設定し、前記差分が所定値より大きい場合は、前記サーチ領域を第２の追尾領域として設定しないように制御するよう構成したことを特徴とする。

本発明によれば、追尾中にタッチパネルへのタッチによって追尾する被写体を再指定する場合において、タッチが外れてしまった場合であっても、ユーザーが本来意図していた被写体を追尾することができる。

実施例１に係る撮像装置の構成例を示すブロック図である。 実施例１に係る撮像素子の全体図を示すブロック図である。 位相差検出方式のオートフォーカスの基本原理を示す図である。 実施例１に係る撮像装置の処理動作を示すフローチャートである。 実施例１に係る撮像装置が行う追尾領域設定の処理動作を示すフローチャートである。 実施例１における、追尾ＡＦ枠、タッチ位置、被写体移動方向、および被写体速度の違いによる処理動作の違いについて説明するための図である。 本発明の実施形態において、ＡＦエリアの設定手法について説明するための図である。

［実施例１］
以下、図面を参照して本発明の好適な実施形態を説明する。

［撮像装置の構成（図１）］
図１は、本発明の実施例に係るレンズユニット交換式の撮像装置１００の構成を示すブロック図である。本実施例の撮像装置１００はタッチパネル機能付表示装置を備えた撮像装置である。

撮影レンズ２１０、絞り２１１、レンズマウント１０２及び２０２、シャッター１４４を通過した不図示の被写体の光学像は、撮像素子１２１に結像する。撮像素子１２１は結像した光学像を電気信号に変換する。本実施例の撮像素子１２１は、いわゆる撮像面位相差方式の焦点検出を行うことができる。詳しくは後述する。

Ａ／Ｄ変換部１２２は、撮像素子１２１のアナログ信号出力をデジタル信号に変換する。Ａ／Ｄ変換部１２２でＡ／Ｄ変換されたデジタル信号は、メモリ制御部１２４及びシステム制御部１２０により制御され、メモリ１２７に格納される。

画像処理部１２３は、Ａ／Ｄ変換部１２２でＡ／Ｄ変換されたデジタル信号のデータ或いはメモリ制御部１２４からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像演算部１２９では、撮像素子１２１から出力される視差を有する複数の画素信号に基づいて前述の撮像面位相差方式の焦点検出の焦点検出を行い、撮影光学系の結像面の、予定焦点面に対するデフォーカス量（視差を有する像のずれ量）を算出する。

また、画像演算部１２９では、撮像画像のコントラスト値を算出し、コントラスト値から撮影画像の合焦状態を測定することもできる。更に又、メモリ１２７に格納された画像データと現在の撮像画像の相関値を算出し、最も相関の高い領域を探索することが可能である。

また、画像演算部１２９は、基準画像を追尾対象画像（テンプレート）とし、読み出した画像に対してテンプレートマッチング処理を実行することで、画面中の被写体を自動的に検出することができる。連続した撮像で得られる複数の画像データに対して相関の高い被写体を順次検出すれば、継続的に被写体を追尾し、被写体の位置情報を連続して出力することができる。追尾の対象である領域を追尾領域と称し、追尾対象画像は追尾領域の画像である。また、ユーザーが追尾の対象とする被写体を特定の被写体とも称する。なお、色ヒストグラムの類似度を利用して被写体を追尾しても良い。

メモリ制御部１２４は、Ａ／Ｄ変換部１２２、画像処理部１２３、表示装置１１０、外部着脱メモリ部１３０とメモリ１２７間のデータの送受を制御する。Ａ／Ｄ変換部１２２のデータが画像処理部１２３、メモリ制御部１２４を介して、或いはＡ／Ｄ変換部１２２のデータが直接メモリ制御部１２４を介して、メモリ１２７に書き込まれる。

表示装置１１０はタッチパネル機能付の液晶ディスプレイであり、液晶パネル表示部１２５、バックライト照明部１２６及びタッチパネル部１５１により構成される。

液晶パネル表示部１２５は、システム制御部１２０の指示により、メモリ１２７の画像表示データ用領域に格納されたメニュー画面、又は外部着脱メモリ部１３０に格納された画像ファイルを表示することが可能である。また、撮像素子１２１から得られた撮像データを逐次リアルタイムにスルー画像表示することで、「ライブビュー」撮影を行うことができる。ライブビュー撮影中は、ＡＦ対象の被写体の位置をユーザーが認識できるよう、表示装置１１０に対して、ＡＦ領域を示すＡＦ枠を画像に重畳して表示することができる。

バックライト照明部１２６は、液晶パネル表示部１２５に対して背面照射する。バックライト照明の光源素子としては、ＬＥＤ、有機ＥＬ、蛍光管等がある。システム制御部１２０の指示により、照明を任意に点灯或いは消灯することが可能である。

タッチパネル部１５１は、タッチ検出方式としては、静電容量方式が使用される。本実施例では、このタッチパネル部１５１により、ユーザーはＡＦする被写体の位置を指定するタッチＡＦを実現することができる。

システム制御部１２０は撮像装置１００全体を制御する。メモリ１２７は、撮影した静止画像及び動画像及び再生用表示のための画像のデータを格納する。このため、メモリ１２７は所定枚数の静止画像や動画像を格納するのに十分な記憶量を備える。なお、メモリ１２７はシステム制御部１２０のプログラムスタック領域、ステータス記憶領域、演算用領域、ワーク用領域、画像表示データ用領域が確保されている。各種の演算は、メモリ１２７の演算用領域を利用し、システム制御部１２０により実行される。また、メモリ１２７は後述する焦点検出結果や追尾結果を記憶することができる。

外部着脱メモリ部１３０はコンパクトフラッシュ（登録商標）やＳＤカードといった記録媒体に画像ファイル記録や読出を行う。

測光部１４２はＡＥ（自動露出）処理を行う。撮影レンズ２１０に入射した光線を、絞り２１１、レンズマウント１０２及び２０２、そして不図示の測光用レンズを介して、測光部１４２に入射させることにより、光学像として結像された画像の露出状態を測定することができる。また、測光部１４２は、ストロボユニット３００と連携することによりＥＦ（フラッシュ調光）処理機能も備える。また、ストロボユニット３００は、ＡＦ補助光の投光機能、フラッシュ調光機能も備える。

カメラ制御部１４０は、シャッター制御部１４１及び測光部１４２との送受通信によりカメラとしての一連の動作を制御する。また、カメラ制御部１４０は、レンズユニット２００、ストロボユニット３００を制御することも可能である。

再生スイッチ１３２、メニュースイッチ１３３、モードダイアル１３４、レリーズスイッチ１３５、操作部１３６、電子ダイヤル１３７及び電源スイッチ１３８は、システム制御部１２０の各種の動作指示を入力する手段（操作手段）である。これらの操作手段は、スイッチやダイヤル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。再生スイッチ１３２は再生スイッチであり、表示装置１１０に所定の画像データを表示する再生表示モード操作ができる。外部着脱メモリ部１３０に格納された画像ファイルを再生表示する場合は、この再生スイッチ１３２により操作する。また、既に再生表示モードで、この操作が行われた場合には、再生表示モードから撮影モードへの切り替えができる。

メニュースイッチ１３３は、表示装置１１０に各種項目一覧を表示する。この表示内容としては撮影に関する状態設定、記録媒体のフォーマット、時計の設定、現像パラメータ設定、及びユーザー機能設定（カスタム機能の設定）がある。

モードダイアル１３４は、撮影モードを切り替えるための操作部材である。

レリーズスイッチ１３５は、レリーズボタンの半押し（ＳＷ１）及び全押し（ＳＷ２）で各々ＯＮとなるスイッチである。半押し状態ではＡＦ処理、ＡＥ処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理等の動作開始を指示する。全押し状態では、撮像素子１２１から読み出した信号をＡ／Ｄ変換部１２２、メモリ制御部１２４を介してメモリ１２７に画像データを書き込む撮像処理、画像処理部１２３やメモリ制御部１２４での演算を用いた現像処理を行う。さらに、メモリ１２７から画像データを読み出し、画像処理部１２３で圧縮を行い、外部着脱メモリ部１３０に装着された不図示の記録媒体に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

操作部１３６は各種ボタンスイッチを有し、撮影モード、連写モード、セット、マクロ、ページ送り、フラッシュ設定、メニュー移動、ホワイトバランス選択、撮影画質選択、露出補正、日付／時間設定ができる。更にライブビュー撮影開始と停止を行うスイッチ、上下左右方向スイッチ、再生画像のズーム倍率変更スイッチ、画像表示ＯＮ／ＯＦＦスイッチ、撮影直後に撮影画像を自動再生するクイックレビューＯＮ／ＯＦＦスイッチ、再生画像を消去するスイッチがある。また、ＪＰＥＧ及びＭＰＥＧ圧縮の各圧縮率と、撮像素子の信号をそのままデジタル化して記録するＣＣＤＲＡＷモードとを選択する圧縮モードスイッチがある。その他、レリーズスイッチ半押し状態でＡＦの合焦状態を保ち続けるワンショットＡＦモードと連続してＡＦ動作を続けるサーボＡＦモードとを設定するＡＦモード設定スイッチ等がある。

電子ダイヤル１３７を操作することで、シャッタースピード、絞り値、露出等を設定することができる。

電源スイッチ１３８によって、撮像装置１００の電源オン、電源オフの各モードを切り替え設定することができる。また、撮像装置１００に接続されたレンズユニット２００、ストロボユニット３００、記録媒体等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することができる。

タイマー１３９は、時計機能、カレンダー機能、タイマーカウンター機能、アラーム機能があり、スリープモードへの移行時間や、アラーム通知等のシステム管理に用いられる。

加速度センサ１５２は、撮像装置の姿勢や動きを加速度情報として検出することが可能である。

顔検出部１５３は、撮像画像内にある顔の位置を検出することができる。撮影した画像と、予め定められた顔の特徴点である目、口、鼻等の顔データのテンプレート情報とでパターンマッチングを行い、テンプレートとの相関性の高さを比較することで顔検出を行うことができる。

動体検知部１５４は、撮像画像内の被写体の動きを検出することができる。連続して撮影されたＮフレーム目の画像とＮ−１フレーム目の画像を比較して、動きベクトル成分を抽出する。抽出した動きベクトル成分から、加速度センサ１５２により検出された撮像装置の動きにより発生した動きベクトル成分を差し引くことで、被写体の動きベクトル成分のみを検出できる。検出した動きベクトルをグルーピングし、撮像画像内においてある一定の面積以上の動きベクトル成分の集合を、動体として検知する。また、検知された動体は、Ｎフレーム目の画像とＮ−１フレーム目の画像の比較により、撮像画像内での移動速度を算出することができる。

人体検出部１５５は、撮像画像内にある人体の位置を検出することができる。顔検出部１５３と同様に、撮影した画像と、予め定められた人体の特徴点のテンプレート情報とでパターンマッチングを行い、テンプレートとの相関性の高さを比較することで人体検出を行うことができる。

レンズマウント１０２及び２０２は、撮像装置１００をレンズユニット２００と機械的に接続するためのインターフェースである。

コネクタ１０１及び２０１は撮像装置１００をレンズユニット２００と電気的に接続する。コネクタ１０１及び２０１はカメラ制御部１４０により制御される。

アクセサリシュー１１１及び３０１は、撮像装置１００をストロボユニット３００と電気的かつ機械的に接続するためのインターフェースである。

レンズユニット２００は撮像装置１００に対して取り外し可能であり、不図示の被写体の光学像を撮影レンズ２１０から、絞り２１１、レンズマウント２０２及び１０２、シャッター１４４を介して導き、撮像素子１２１上に結像させることができる。

レンズ制御部２０４はレンズユニット２００全体を制御する。レンズ制御部２０４は、動作用の定数、変数、プログラム等を記憶するメモリやレンズユニット２００固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値等を保持する不揮発メモリの機能も備える。レンズ制御部２０４は、距離検出部２０３或いは画像処理部１２３より測定された画像の合焦状態に応じて、撮影レンズ２１０のフォーカシングを制御し、撮像素子１２１に入射する被写体像の結像位置を変更することでＡＦ動作を行うことが可能である。また、レンズ制御部２０４は絞り２１１の制御や、撮影レンズ２１０のズーミングを制御する機能も兼ね備える。

ストロボ発光制御部３０２はストロボユニット３００全体を制御する。ストロボ発光制御部３０２は不図示のキセノン管等の発光部に対し、測光部１４２からの情報に基づいて発光量や発光タイミングを制御する。

［撮像素子の構成（図２）］
次に、図２に示した撮像素子１２１の全体図を参照して、撮像素子１２１の構成について説明する。

撮像素子１２１は、画素部領域１、垂直走査回路２、読み出し回路３、水平走査回路４、出力アンプ５から構成される。画素部領域１には、複数の単位画素部１０００が行列状に配置されている。ここでは、説明を簡単にするために４×４の１６画素の配列を示してあるが、実際には数百万以上の単位画素が行列状に配置される。

各単位画素部１０００は、フォトダイオード１０００Ａおよびフォトダイオード１０００Ｂを備える。このフォトダイオード１０００Ａと１０００Ｂのそれぞれが、撮影レンズ２１０の射出瞳において別々の瞳領域を通過した光束（視差を有する光束）を受光するために前面にマイクロレンズが配置されている。このため、フォトダイオード１０００Ａと１０００Ｂの信号の位相差に基づく焦点検出（撮像面位相差方式の焦点検出）が可能である。位相差に基づく焦点検出の原理については後述する。なお、単位画素部１０００が有するフォトダイオードは２つに限る必要はなく、フォトダイオードを複数有すれば良い。

垂直走査回路２は、画素部領域１の画素を１行単位で選択し、選択行の画素に対して駆動信号を送出する。読み出し回路３は、列毎に列読み出し回路を備え、単位画素部１０００からの出力信号を増幅し、その出力信号をサンプルホールドする。水平走査回路４は、読み出し回路３でサンプルホールドされた信号を、列毎に順次、出力アンプ５へ出力するための信号を送出する。出力アンプ５は、水平走査回路４の動作により、読み出し回路３から出力された信号をＡ／Ｄ変換部１２２に出力する。

［位相差式焦点検出の基本原理（図３）］
次に、図３を参照して、位相差方式の焦点検出の基本原理について説明する。図３（ａ）、（ｂ）、（ｃ）は、撮影レンズ２１０を通して入射される被写体像が撮像面において結像されることを示した図である。図３（ｄ）、（ｅ）、（ｆ）は、撮像素子１２１上で結像した像の関係を表した図である。なお、図３（ｄ）、（ｅ）、（ｆ）において、便宜上Ａ領域の像とＢ領域の像に対応する軸を別個に設けた図としているが、実際は同じ軸である。

位相差方式の焦点検出では、撮影レンズ２１０を通して入射された視差を有する光束に基づいて対応する（視差を有する）２つの像信号を生成し、その２つの像信号の像間隔を計測してピントのズレ量を検出する。図３のように、異なるＡ領域とＢ領域のそれぞれ領域（一部重複していても良い）を通過する光束は、互いに視差を有している。

図３（ａ）のように、撮像面上でＡ領域の光とＢ領域の光が合わさり、ピントが合っている場合は、適正にピントが合っている。この場合、図３（ｄ）のように、２つの像であるＡ領域の像とＢ領域の像の間隔は適正値となっている。

一方、図３（ｂ）のように、ピントが合っている面が撮像面より手前（撮影レンズ側）にある状態を、前ピンと呼ぶ。この場合、図３（ｅ）のように、２つの像間隔は適正値より狭くなる。

反対に、図３（ｃ）のように、ピントが合っている面が撮像面より奥（撮影レンズと反対側）にある状態を、後ピンと呼ぶ。この場合、図３（ｆ）のように、２つの像間隔が適正値より広くなる。

オートフォーカス（ＡＦ）でピントを合わせる際には、合焦している状態の２つの像間隔を基準に、狭いときは前ピン、広いときは後ピンと判定して、レンズを動かす方向を決定する。また、センサ上のズレ量を基にレンズの移動量を演算し、撮影レンズ２１０を駆動する。このずれ量のことをデフォーカス量と呼ぶ。

なお、ここでは位相差式焦点検出を例に説明したが、本実施例は前述の通り、撮像画像のコントラスト値を算出し、コントラスト値から撮影画像の合焦状態を測定することもできる。

［メインフロー（図４）］
以下、図４のフローチャートを参照して、実施例１の撮像装置１００の、追尾ＡＦモードにおける撮影処理動作について説明する。

追尾ＡＦモードを開始すると、ステップＳ２００では、撮像装置１００は撮像素子１２１から画像を取り込む。Ａ／Ｄ変換部１２２は撮像素子１２１が光電変換し出力した電気信号を、デジタル信号に変換する。変換されたデジタル信号は、メモリ制御部１２４及びシステム制御部１２０により制御され、メモリ１２７に格納される。

ステップＳ２０１では、システム制御部１２０は現在選択されている撮影モードが追尾ＡＦモードであるか否かを判定する。追尾ＡＦモードである場合、ステップＳ２０３に進む。追尾ＡＦモードではない場合、本フローを終了する。

ステップＳ２０２では、追尾ＡＦモードにおける追尾対象が存在するかどうかをシステム制御部１２０が判定する。例えばシステム制御部１２０は、顔検出部１５３、人体検出部１５５、動体検知部１５４、およびメモリ１２７の情報を元に、画像の中に追尾対象となる被写体が存在するか否かを判定する。追尾対象となる被写体としては、顔、人体、動体、前回の追尾対象が挙げられる。また、追尾対象となる被写体はユーザーの操作により予め指定されている場合もある。追尾対象が存在する場合はステップＳ２０３に進む。追尾対象が存在しない場合はステップＳ２０１へと戻り、追尾ＡＦモードである間は、ステップＳ２０２において追尾対象が見つかるまでステップＳ２０１〜Ｓ２０２を繰り返す。

ステップＳ２０３では、システム制御部１２０は、画像内の追尾対象の位置に追尾領域を設定する。追尾領域とは、前述の通り追尾の対象である領域である。前述の通り画像演算部１２９は、追尾領域の画像を追尾対象画像（テンプレート）として用い、又は色ヒストグラムの類似度を用いて被写体を追尾する。システム制御部１２０が画像内の追尾対象の位置に追尾領域を設定すると、ステップＳ２０４に進む。

ステップＳ２０４では、システム制御部１２０は、ステップＳ２０３で設定した追尾領域に対応する位置に追尾ＡＦエリア５０１を設定する。このように、追尾ＡＦエリア５０１は、前述の追尾領域に対応して設定されるＡＦエリアである。

ステップＳ２０５では、画像演算部１２９はＡ／Ｄ変換部１２２からの情報を元に、追尾ＡＦエリア５０１のデフォーカス量Ｄ＿ｏｂｊｅｃｔを算出する。算出したデフォーカス量が時刻ｔ＝ｔ１でのデフォーカス量とすれば、Ｄ＿ｏｂｊｅｃｔ（ｔ＝ｔ１）は、画像演算部１２９からメモリ１２７に送信され、保存される。画像演算部１２９は、一定時間ごとにデフォーカス量の算出を行い、算出するたびにメモリ１２７への保存を行う。メモリ１２７に保存されている前回のデフォーカス量の情報は、デフォーカス量を算出するたびに消去するのではなく、一定期間保持する。例えば、時刻ｔ＝ｔ１、ｔ２、…、ｔｎにおける追尾ＡＦエリア５０１のデフォーカス量を、Ｄ＿ｏｂｊｅｃｔ（ｔ＝ｔ１）、Ｄ＿ｏｂｊｅｃｔ（ｔ＝ｔ２）、…、Ｄ＿ｏｂｊｅｃｔ（ｔ＝ｔｎ）としてそれぞれ保持するようにしても良い。

ステップＳ２１７では、レンズ制御部２０４はシステム制御部１２０からの情報（ステップＳ２０５において取得したデフォーカス量）を元に、撮影レンズ２１０のフォーカシングを制御し、ＡＦ動作を行う。

ステップＳ２０６では、システム制御部１２０は動体検知部１５４から、被写体の動きベクトル情報を読み出す。読み出された動きベクトル情報は、システム制御部１２０からメモリ１２７に送信され、保存される。

ステップＳ２０７では、システム制御部１２０は、ステップＳ２０６でメモリ１２７に保存した動きベクトル情報を元に、被写体の位置を算出する。

ステップＳ２０８では、システム制御部１２０は、ステップＳ２０７で算出した被写体位置情報を元に、追尾領域の位置を更新する。追尾領域の位置の更新に対応して、追尾ＡＦエリアの位置も更新される。

ステップＳ２０９では、システム制御部１２０はタッチパネル部１５１からの情報を元に、ユーザーがタッチパネル部１５１にタッチしたか否かを判定する。タッチした場合は、ステップＳ２１０に進む。タッチしていない場合は、ステップＳ２１１に進む。

ステップＳ２０９でタッチ操作が検出される一例として、追尾ＡＦエリア５０１ａに対応する追尾領域が被写体から外れてしまい、ユーザーが被写体を指定し直すべくタッチした場合が考えられる。本来は図６（ａ）のように、追尾領域（不図示）がユーザーの所望の位置（図６（ａ）の場合は被写体の顔部分）に設定され、対応する位置に追尾ＡＦエリア５０１ａが設定される状態が理想的である。しかしながら、被写体の移動速度によっては、図６（ｂ）のように、追尾領域（不図示）が被写体から外れてしまったために、対応する追尾ＡＦエリア５０１ｂが被写体から外れてしまう場合がある。あるいは図６（ｃ）のように、追尾領域（不図示）と追尾ＡＦエリア５０１ｃが被写体に合っていても、ユーザーが所望する位置から外れてしまう場合がある。図６（ｃ）では、追尾領域（不図示）ユーザーの所望する顔部分から外れ、胴体部分に設定されてしまったため、追尾ＡＦエリア５０１ｃも胴体部分に設定されてしまっているが。図６（ｂ）および（ｃ）のように追尾領域（不図示）に対応する追尾ＡＦエリア５０１ｂ、５０１ｃがユーザーの所望の位置から外れ、ユーザーがタッチ操作により追尾領域を変更しようとした場合には、ステップＳ２０９でタッチ操作が検出される。

ステップＳ２１０では、撮像装置１００は、図５に示すフローチャートにしたがっ追尾領域の設定を行う。詳しくは後述する。

ステップＳ２１１では、システム制御部１２０はレリーズスイッチ１３５から出力される信号を元に、レリーズスイッチ１３５が半押しされたか否かを判定する。半押しされた場合、ステップＳ２１２に進む。半押しされていない場合、ステップＳ２０５に進む。

ステップＳ２１２では、画像演算部１２９はＡ／Ｄ変換部１２２からの信号を元に、追尾ＡＦエリアのデフォーカス量を算出する。

ステップＳ２１３では、レンズ制御部２０４はシステム制御部１２０からの情報（ステップＳ２１２において取得したデフォーカス量）を元に、撮影レンズ２１０のフォーカシングを制御し、ＡＦ動作を行う。

ステップＳ２１４では、システム制御部１２０はレリーズスイッチ１３５から出力される信号を元に、レリーズボタンが全押しされたか否かを判定する。全押しされた場合、ステップＳ２１６に進む。全押しされていない場合、ステップＳ２１５に進む。

ステップＳ２１５では、システム制御部１２０はレリーズスイッチ１３５から出力される信号を元に、レリーズボタンの半押しが継続されているか否かを判定する。半押しが継続されている場合、ステップＳ２１２に戻る。半押しが継続されていない場合、ステップＳ２０５に戻る。

ステップＳ２１６では、撮像装置１００はシステム制御部１２０およびカメラ制御部１４０の制御によってシャッター１４４を駆動し、撮像素子１２１を露光させ、撮像動作を行い外部着脱メモリ部１３０への記録を行う。撮影が終わると、ステップＳ２０１へと戻り、追尾ＡＦモードが終了するまで本フローが繰り返される。

［追尾領域設定フロー（図５）］
続いて、図５のフローチャートを参照して、実施例１に係る撮像装置１００の追尾ＡＦモード中にユーザーによるタッチ操作を検出した場合の、追尾領域設定の処理動作について説明する。

ステップＳ１０１では、画像演算部１２９はタッチ位置に対応する撮像素子１２１上の画素部から出力され、Ａ／Ｄ変換部１２２でＡ／Ｄ変換された信号を元にタッチ位置のデフォーカス量を算出する。

ステップＳ１０２では、システム制御部１２０はステップＳ２０５にてメモリ１２７に保存した追尾被写体のデフォーカス量を読み出し、ステップＳ１０１にて算出したタッチ位置のデフォーカス量との差分を算出する。読み出した追尾ＡＦエリア５０１のデフォーカス量をＤ＿ｏｂｊｅｃｔ（ｔ＝ｔｉ）、タッチ位置のデフォーカス量をＤ＿ｔｏｕｃｈとすれば、デフォーカス量の差分ΔＤは、
ΔＤ＝｜Ｄ＿ｏｂｊｅｃｔ（ｔ＝ｔｉ）−Ｄ＿ｔｏｕｃｈ｜
により算出することができる。

ただし、ステップＳ２０５で算出した追尾ＡＦエリア５０１のデフォーカス量は、必ずしも追尾対象である被写体のデフォーカス量とは一致しない可能性がある。追尾ＡＦエリア５０１に対応する被写体が、追尾領域の位置の変更により、ユーザーの追尾したい被写体から別の被写体に変わってしまう場合があるためである。図６（ａ）から図６（ｂ）のように、追尾領域の位置が追尾したい被写体から異なる場所に移ってしまったことに伴い追尾ＡＦエリア５０１の位置が変わってしまった場合には、追尾ＡＦエリア５０１のデフォーカス量は被写体のデフォーカス量とは一致しない。

なお、図６（ａ）のように追尾領域が被写体を追尾できている場合の追尾ＡＦエリア５０１を追尾ＡＦエリア５０１ａとして説明する。一方、図６（ｂ）のように追尾領域が追尾したい被写体とは異なる場所に変わってしまった場合の、追尾領域に対応する追尾ＡＦエリア５０１を追尾ＡＦエリア５０１ｂとして説明する。

そこで、システム制御部１２０によって追尾ＡＦエリア５０１のデフォーカス量の時間変化を算出し、大きな時間変化があった場合には、それ以前のデフォーカス量を読み出すようにしても良い。例えば、Ｄ＿ｏｂｊｅｃｔ（ｔ）の時間微分をｄ／ｄｔ Ｄ＿ｏｂｊｅｃｔ（ｔ）とし、時間変化の閾値をｄｔｈとする。このとき、
｜ｄ／ｄｔ Ｄ＿ｏｂｊｅｃｔ（ｔ）｜＞ｄｔｈ
を満たすｔ＝ｔｘが存在する場合には、システム制御部１２０はｔ＝ｔｘ以前のデフォーカス量をメモリ１２７から読み出すようにしても良い。このようにすれば、追尾領域が被写体から外れる以前の、追尾ＡＦエリア５０１ａにおけるデフォーカス量を読み出すことができる。

［ユーザーが被写体をタッチできているかどうかの判定（Ｓ１０３）］
ステップＳ１０３では、システム制御部１２０はステップＳ１０２で算出したデフォーカス量の差分ΔＤが、差分の閾値ΔＤｔｈ（第１の所定値）未満であるか否かを判定する。メモリ１２７から読み出した追尾ＡＦエリア５０１が追尾していた被写体とステップＳ２０９でタッチを検出した際にタッチした被写体が同じ被写体であれば、デフォーカス量の差分ΔＤが差分の閾値ΔＤｔｈ未満になるように閾値ΔＤｔｈを設定する。

デフォーカス量の差分ΔＤが閾値ΔＤｔｈ未満（第１の所定値未満）である場合、ステップＳ１０４に進む。デフォーカス量の差分ΔＤが閾値ΔＤｔｈ以上（第１の所定値以上）である場合、ステップＳ１０５に進む。

ここで図６（ｄ）（ｅ）を参照して、ステップＳ１０３におけるデフォーカス量の差分ΔＤが大きくなる場合、および小さくなる場合について説明する。ユーザーが移動する被写体に対してタッチ操作を行った場合、正しく被写体にタッチした様子を示しているのが図６（ｄ）である。この場合、メモリ１２７から読み出した追尾ＡＦエリア５０１のデフォーカス量Ｄ＿ｏｂｊｅｃｔ（ｔ＝ｔｉ）と、タッチ位置のデフォーカス量Ｄ＿ｔｏｕｃｈの差分は閾値ΔＤｔｈ未満になる。つまり、差分ΔＤが差分の閾値ΔＤｔｈ未満である場合には、ユーザーは追尾ＡＦエリア５０１ａと対応する追尾領域で追尾していた被写体と同じ被写体にタッチすることができているため、追尾領域をタッチ位置に移動させることがユーザーにとって望ましい。

一方で、図６（ｅ）のように被写体から外れた位置にタッチしてしまった場合には、デフォーカス量の差分ΔＤは大きくなる。この場合には、追尾ＡＦエリアをタッチ位置に移動ささせてしまうと、ユーザーが追尾したいと意図している被写体を追尾することができなくなってしまう。上記を踏まえて、ステップＳ１０４以降の説明を行う。

ステップＳ１０４では、システム制御部１２０はタッチ位置に追尾領域を移動する。上記で説明したように、ステップＳ１０４に進んだ場合は被写体位置に正しくタッチしている可能性が高いためである。タッチ位置に追尾領域が設定されると、システム制御部１２０は追尾ＡＦエリア５０１も対応する位置に設定する。

ステップＳ１０３でＮｏと判定された場合は、ユーザーが移動する被写体にタッチ操作を行おうとして、誤って被写体から外れた位置にタッチしてしまった可能性がある。この場合には、タッチ位置ではなく、被写体が存在する位置に追尾領域を設定することが望ましい。一方、その他の可能性として、ユーザーが移動する被写体とは別の、第二の被写体に追尾領域を設定しようとしてタッチした場合も考えられる（図６（ｆ））。この場合には、タッチ位置に追尾領域を設定することが望ましい。以下のステップＳ１０５〜Ｓ１０６は、ユーザーが第二の被写体に追尾領域を合わせようとした場合を検出するための判定である。

［ユーザーが第二の被写体に追尾領域を設定しようとしたかどうかの判定（Ｓ１０５・Ｓ１０６）］
ステップＳ１０５では、システム制御部１２０は、タッチ位置の座標と、追尾ＡＦエリア５０１ａの座標（又は対応する追尾領域の座標）を用いて二点間の距離を算出し、算出した値が閾値（第１の距離）未満であるか否かを判定する。閾値未満（第１の距離未満）である場合、ステップＳ１０６に進む。閾値以上（第１の距離以上）である場合には、追尾ＡＦエリア５０１ａ（及び対応する追尾領域）から十分離れた位置にタッチしているため、ユーザーが移動する被写体とは別の第二の被写体にタッチを行ったと判定して、ステップＳ１０４に進む。

ステップＳ１０６では、システム制御部１２０は、顔検出部１５３、および人体検出部１５５の情報を元に、撮像画像内でタッチ位置に対応する箇所が、顔もしくは人体であるか否かを判定する。顔もしくは人体ではない場合、ステップＳ１０７に進む。顔もしくは人体である場合には、ユーザーが移動する被写体とは別の第二の被写体の顔、もしくは人体にタッチを行っていると考えられる。このことから、そのタッチ位置に追尾領域を合わせることが望ましい。したがって、ステップＳ１０４に進む。

ステップＳ１０５、Ｓ１０６の判定条件の他にも、タッチ操作前後でのタッチ位置のデフォーカス変化量を判定条件に加えても良い。例えば、ユーザーが移動する被写体にタッチしようとして、被写体の移動方向に対して後ろ側にタッチしてしまった場合、デフォーカス量の変化はタッチ前後で大きくなることが多い。タッチ位置のデフォーカス量を考えると、タッチ前は、移動する被写体が存在するのに対し、タッチ後は移動する被写体が通り過ぎ、その陰に隠れていたものが出現するためである。陰から出現したものと、移動する被写体とは、撮像装置１００からの距離が異なる。すなわち、タッチ操作の前後で、デフォーカス量は変化する。したがってタッチ位置のデフォーカス変化量が閾値未満である場合に、ステップＳ１０４に戻るようなフローとしても良い。

以下、ステップＳ１０７〜Ｓ１１５は、タッチ位置に存在しなかった被写体を探索するためのフローである。ステップＳ１０７に進んだ場合は、被写体位置から外れた位置にタッチしてしまった可能性が高い。そこで、タッチ位置を起点として、被写体の存在する確率が高い領域（後述するサーチ領域）についてデフォーカス量を取得し、追尾ＡＦエリア５０１ａのデフォーカス量Ｄ＿ｏｂｊｅｃｔ（ｔ＝ｔｉ）と比較する。被写体の存在する確率が高い領域と追尾ＡＦエリア５０１ａのデフォーカス量の差分が小さくなる箇所があれば、その箇所が被写体である可能性が高い。以上を踏まえ、ステップＳ１０７以降の説明を行う。

［被写体サーチ領域の設定（Ｓ１０７〜Ｓ１１１）］
ステップＳ１０７では、システム制御部１２０（方向取得手段）はステップＳ２０６（図４）で取得した、追尾ＡＦエリア５０１ａに対応する被写体の動きベクトルの情報をメモリ１２７から読み出す。

ステップＳ１０８では、システム制御部１２０（予測手段）は、ステップＳ１０７で読み出した動きベクトルの情報を元に、被写体の位置を算出する。

ステップＳ１０９では、システム制御部１２０（動体判定手段）は、被写体がタッチ位置から遠ざかっているか、近付いているかを判定する。当該判定には、ステップＳ１０７で取得した被写体の移動方向の情報と、ステップＳ１０８で算出した被写体位置の情報と、タッチパネル部１５１から取得したタッチ位置の情報を用いる。被写体がタッチ位置から遠ざかっているとシステム制御部１２０が判定した場合は、ステップＳ１１０に進む。近付いている（遠ざかっていない）とシステム制御部１２０が判定した場合は、ステップＳ１１１に進む。

ここで図６（ｇ）（ｈ）を参照して、被写体がタッチ位置から遠ざかっている場合、および近付いている場合について説明する。ユーザーが、移動する被写体から外れた位置にタッチしてしまった場合の例として、以下の二例が挙げられる。すなわち、被写体の移動方向に対して、被写体より後ろ側にタッチしてしまう例（図６（ｇ））と、被写体より前側にタッチしてしまう例（図６（ｈ））である。

図６（ｇ）のように、被写体より後ろ側にタッチしてしまった場合には、被写体がタッチ位置から遠ざかっていく。この場合、被写体はタッチ位置から被写体の移動方向側にずれた位置に存在する。したがって、タッチ位置を起点として、被写体の移動方向の反対の方向と比較して被写体の移動方向に向かって広く、被写体サーチ領域５０２を設定する。取得したデフォーカス量を追尾ＡＦエリア５０１ａのデフォーカス量Ｄ＿ｏｂｊｅｃｔ（ｔ＝ｔｉ）と比較していけば、デフォーカス量の差分が小さい領域、すなわち被写体が存在する領域を見つけることができる。

一方、図６（ｈ）のように、被写体より前側にタッチしてしまった場合には、被写体がタッチ位置に近付いてくる。この場合、被写体はタッチ位置から被写体の移動方向とは反対側にずれた位置に存在する。したがって、タッチ位置を起点として、被写体の移動方向と比較して被写体の移動方向とは反対の方向に向かって広く、被写体サーチ領域５０２を設定する。これによって、同様にデフォーカス量の差分が小さい領域、すなわち被写体が存在する領域を見つけることができる。

なお、被写体サーチ領域５０２の大きさは、被写体の動きに応じて変えても良い。例えば、システム制御部１２０によって動体検知部１５４から（図６ａのときの）被写体の移動速度を読み出し、被写体の移動速度に応じて被写体サーチ領域５０２の大きさを変更するようにしても良い。被写体が高速であるほど、ユーザーが移動する被写体にタッチするとき、タッチ位置が被写体から大きくずれる可能性が高くなる。そこで、例えば、被写体の移動速度が所定の速度（第１の速度）以上である場合には、被写体の移動速度が所定の速度（第１の速度）未満である場合（例えば図６（ｉ））と比較して被写体サーチ領域を広範囲に設定する（例えば図６（ｊ））。これにより、被写体の移動速度が高速である場合でも被写体が被写体サーチ領域５０２から外れることを防ぐことができることから、後のステップＳ１１４において被写体を見つけることができるという効果がある。

その他、被写体の大きさ、被写体の顔の大きさ、に応じて被写体サーチ領域５０２の大きさを変更することができる。

また、タッチ面積に応じて被写体サーチ領域５０２の大きさを変更するようにしても良い。タッチ面積が大きい場合は、ユーザーがタッチ操作によって捉えることが難しい移動速度や動きをしている被写体を指定するために、タッチ面積を大きくすることで被写体が存在するおおよその領域を指定したと考えることができる。そこで、タッチ面積が大きい場合はタッチ面積が小さい場合と比較して、より広い被写体サーチ領域５０２を設定する。これにより、タッチ操作によって正確に捉えることが難しい被写体であっても、被写体が被写体サーチ領域５０２から外れることを防ぐことができることから、後のステップＳ１１４において被写体を見つけることができる。

ステップＳ１１０では、システム制御部１２０（サーチ領域設定手段）は、タッチ位置から被写体の移動方向へずれた位置に被写体サーチ領域５０２を設定する。上記で説明したように、ステップＳ１１０に進んだ場合は、タッチ位置から被写体の移動方向へずれた位置に被写体が存在する可能性が高い。したがって、この処理を行うことで、後のステップＳ１１４において被写体が見つかりやすくなる。

ステップＳ１１１では、システム制御部１２０は、タッチ位置から被写体位置の方向（被写体の移動方向と反対の方向）へずれた位置に被写体サーチ領域５０２を設定する。上記で説明したように、ステップＳ１１１に進んだ場合は、タッチ位置から被写体の移動方向とは反対側へずれた位置に被写体が存在する可能性が高い。したがって、ステップＳ１１０と同様、この処理を行うことで、後のステップＳ１１４において被写体が見つかりやすくなる。

［被写体のサーチ・追尾領域の設定（Ｓ１１２〜Ｓ１１７）］
ステップＳ１１２では、システム制御部１２０（分割手段）は、設定された被写体サーチ領域５０２を、複数のブロック５０３に分割する（図７）。このブロック分割処理は、複数のブロック５０３それぞれについてデフォーカス量を取得し、後のステップＳ１１６にて、被写体が存在する領域に追尾領域を設定するための処理である。１ブロックの大きさは撮像素子１２１上の１画素部に対応していても良いが、演算量を減らすために、数十〜数万画素部程度に対応するようにしても良い。

また、１ブロックの大きさは、ステップＳ１１０もしくはステップＳ１１１にて設定された被写体サーチ領域５０２の大きさに応じて設定するようにしても良い。例えば、被写体サーチ領域５０２が大きい場合には、演算量を減らすために、被写体サーチ領域５０２が小さい場合と比較してブロック５０３の１つ１つの大きさを小さくするようにしても良い。

また、１ブロックの大きさを、被写体の大きさに応じて設定するようにしても良い。

ステップＳ１１３では、画像演算部１２９（焦点検出手段）は、ステップＳ１１２にて設定された各ブロック５０３について、Ａ／Ｄ変換部１２２からの信号を元にデフォーカス量を算出する。

ステップＳ１１４では、システム制御部１２０（差分算出手段）はステップＳ２０５にてメモリに保存した追尾被写体のデフォーカス量を読み出し、ステップＳ１１３にて算出した各ブロック５０３のデフォーカス量との差分を算出する。読み出した追尾ＡＦエリア５０１ａのデフォーカス量をＤ＿ｏｂｊｅｃｔ（ｔ＝ｔｉ）、各ブロック５０３のデフォーカス量をＤ＿ｂｌｏｃｋ（ｊ）とすれば、各ブロックのデフォーカス量の差分ΔＤ（ｊ）は、
ΔＤ（ｊ）＝｜Ｄ＿ｏｂｊｅｃｔ（ｔ＝ｔｉ）−Ｄ＿ｂｌｏｃｋ（ｊ）｜
により算出することができる。

ステップＳ１１５では、システム制御部１２０はステップＳ１１４で算出した各ブロック５０３のデフォーカス量の差分ΔＤ（ｊ）のうち、最小のものをｍｉｎΔＤ（ｊ）として検出する。そして、差分の最小値ｍｉｎΔＤ（ｊ）が差分の閾値ΔＤｔｈ（第１の所定値）未満であるか否かを判定する。差分の最小値ｍｉｎΔＤ（ｊ）が閾値ΔＤｔｈ未満（第１の所定値未満）である場合、ステップＳ１１６に進む。差分の最小値ｍｉｎΔＤ（ｊ）が閾値ΔＤｔｈ以上（第１の所定値以上）である場合（すなわち、差分ΔＤ（ｊ）のうち第１の所定値以上のものが存在しない場合）、ステップＳ１１７に進む。

ステップＳ１１６では、システム制御部１２０は下記のようにして追尾領域の設定を行う。まず、デフォーカス量の差分ΔＤ（ｊ）が閾値ΔＤｔｈ未満となるブロックを検出する。ここで検出されたブロックの集合が被写体と推測される。したがって、図７のように、当該ブロック（斜線）の全てを包含し、かつその大きさが最小となる範囲を、推定被写体エリア５０４（図７）と呼ぶことにする。システム制御部１２０は、推定被写体エリア５０４に追尾領域を設定する。

ステップＳ１１７では、システム制御部１２０は追尾領域を追尾ＡＦエリア５０１ｂ（追尾ＡＦエリア５０１ｃでも良い）に対応する追尾領域から変更しない（リセットした場合は、再設定する）。ステップＳ１１７に進んだ場合は、タッチ位置を起点とした周辺領域について、デフォーカス量の差分の比較を行っても被写体が見つからないということである。一方で、ステップＳ１０５、Ｓ１０６の判定が全てＹｅｓであることから、ユーザーが追尾領域を設定したかったのは、移動する被写体である可能性が高い。すなわち、ユーザーが移動する被写体を狙ってタッチ操作を行ったが、タッチ位置が外れてしまったという状態である。例えば図６（ｃ）のように、追尾したい被写体を追尾してはいるが、追尾したい場所ではない胴体に追尾領域（不図示）と追尾ＡＦエリアが設定されてしまった場合に、頭を追尾しようとしてタッチし直したものの、タッチ位置がずれてしまった場合が考えられる。この場合、タッチ位置よりも追尾ＡＦエリア５０１ｃに対応する追尾領域の方がユーザーの意図した被写体に近いと考えられるため、追尾ＡＦエリア５０１ｃに対応する追尾領域から追尾領域を変更しない（リセットした場合は、再設定する）。

なお、ステップＳ１１５では、ステップＳ１１４で算出した各ブロック５０３のデフォーカス量の差分ΔＤ（ｊ）のうち、必ずしも最小のものに着目しなくても良い。例えば、単に差分ΔＤ（ｊ）が第１の所定値未満であるものの有無を判定し、有る場合には、ステップＳ１１６で対応する複数のブロックを包含する領域に追尾領域を設定しても良い。

［実施例１による効果］
前述の通り、本実施例では、被写体の追尾中に追尾対象である被写体が、ユーザーの撮像装置への指示なく異なる被写体へと変わってしまった場合を想定している。このような場合に、ユーザーはタッチ操作によって再度追尾したい被写体を指定することが考えられる。しかしながら、単にステップＳ１０４のようにタッチ位置に追尾領域を移動してしまうと、ユーザーのタッチ位置が被写体から少しずれていた場合に、ユーザーの意図しない領域を追尾領域として設定してしまう。実施例１によれば、追尾中にタッチパネルへのタッチによって追尾する被写体を再指定する場合において、タッチが外れてしまった場合であっても、ユーザーが本来意図していた被写体を追尾することができる。

また、本実施例においてはステップＳ１０２やステップＳ１１４においてデフォーカス量同士を比較することで差分を求めているが、システム制御部１２０（距離検出手段）がデフォーカス量に基づいて距離情報を算出してから、距離情報同士を比較しても良い。これにより、ステップＳ１０３やステップＳ１１５の判定を、各デフォーカス量を取得した際のレンズ位置等の条件に影響されず、より正確に行うことができる。

［実施例２］
続いて実施例２について説明する。実施例２と実施例１との相違点は、図５におけるステップＳ１１７のみであり、それ以外は共通である。共通点については説明を省略する。

実施例２では、実施例１におけるステップＳ１１７の代わりにステップＳ３１７（不図示）を実行する。ステップＳ３１７では、図５のステップＳ１０４と同様の処理を行う。すなわち、ステップＳ２０９において検出したタッチ位置に追尾領域を移動する。

実施例２においても、実施例１におけるステップＳ１０５及びＳ１０６と同様の処理を行っているため、いずれかの判定においてＮｏと判定された場合は、ユーザーが第二の被写体を選択し直したと判断し、ステップＳ１０４へと進む。しかし、ステップＳ１０５及びＳ１０６でＮｏと判定されなかった場合であっても、ユーザーが第二の被写体を選択し直した場合が考えられる。例えば、第二の被写体が追尾ＡＦエリアａ（又は対応する追尾領域）とは所定の距離以上離れており、かつ被写体が人ではなく動物であるような場合である。このような場合であっても、ステップＳ３１７において上述のような処理を行うことにより、ユーザーの第二の被写体を新たに指定したいという意図を反映した追尾領域の設定を行うことができる。

以上のように、本実施例によれば、追尾中にタッチパネルへのタッチによって追尾する被写体を再指定する場合において、タッチが外れてしまった場合であっても、ユーザーが本来意図していた被写体を追尾することができる。

［その他］
なお、実施例１及び実施例２においては撮像素子１２１から取得した信号を用いて撮像面位相差式の焦点検出を行う場合、及び撮像画像のコントラスト値を算出し、コントラスト値から撮影画像の合焦状態を検出する場合ついて説明した。他にも、実施例１及び実施例２は、撮像素子１２１とは別途、焦点検出用の信号を取得するためのラインセンサやエリアセンサを有する公知の焦点検出部から取得した信号を用いて位相差式の焦点検出を行っても良い。

また、本発明は撮像装置に適用できるだけでなく、追尾装置にも適用できる。当該追尾装置は、画像記録時に画像の部分ごとに付加的に被写体距離情報やデフォーカス量も記録するようにしたシステムにおいて、上記の画像を再生しつつ前記被写体距離情報やデフォーカス量も取得する。これにより、再生画像中の特定の対象を、前記被写体距離情報に基づき追尾する。

また、本発明は上述の実施例の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み取り実行する処理でも実現できる。更に、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１２０ システム制御部（サーチ領域設定手段、差分算出手段、分割手段、距離検出手段）
１２９ 画像演算部（追尾手段、焦点検出手段）
１５１ タッチパネル部（タッチ検出手段）
１５４ 動体検知部（動体検知手段）
５０１ 追尾ＡＦエリア
５０２ 被写体サーチ領域
５０３ ブロック

Claims (14)

1. 被写体に対応する領域である追尾領域と相関の高い領域を継続的に検出する追尾手段と、
   ユーザーによるタッチ操作を検出するタッチ検出手段と、
   デフォーカス量の算出を行う焦点検出手段と、
   被写体の動きを検出する動体検知手段と、
   前記動体検知手段の検出結果に応じて、前記タッチ操作を行ったタッチ位置を含む領域を、特定の被写体をサーチするためのサーチ領域として設定するサーチ領域設定手段と、
   前記サーチ領域設定手段が設定した前記サーチ領域を複数のブロックに分割する分割手段と、
   前記複数のブロックそれぞれについて前記焦点検出手段が算出したデフォーカス量と過去に追尾していた被写体のデフォーカス量との差分を算出する差分算出手段と、を有し、
   前記差分算出手段が算出した前記複数のブロックそれぞれについて前記焦点検出手段が算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が、第１の所定値未満であるブロックがある場合は、前記追尾手段は前記焦点検出手段が算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が第１の所定値未満であるブロックを含む領域を追尾領域として設定し、
   前記複数のブロックそれぞれについて前記焦点検出手段が算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が第１の所定値未満のブロックがない場合には、前記追尾手段は追尾領域を変更しないことを特徴とする撮像装置。
2. 前記タッチ操作を行ったタッチ位置から被写体が遠ざかっているか否かを判定する動体判定手段を有し、
   前記動体検知手段は被写体のベクトル情報を取得し、
   前記動体判定手段は、過去に追尾していた被写体の動きベクトル情報に基づいて前記タッチ操作を行ったタッチ位置から被写体が遠ざかっているか否かを判定し、
   被写体が前記タッチ位置から遠ざかっていると前記動体判定手段が判定した場合には、前記サーチ領域設定手段は前記タッチ位置を起点にとして被写体の移動方向の反対の方向よりも被写体の移動方向へと広く前記サーチ領域を設定し、
   被写体が前記タッチ位置から遠ざかっていないと前記動体判定手段が判定した場合には、前記サーチ領域設定手段は前記タッチ位置を起点として被写体の移動方向の反対の方向よりも被写体の移動方向へと広く前記サーチ領域を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記動体検知手段は被写体の移動速度を検出し、
   前記サーチ領域設定手段は、前記過去に追尾していた被写体の移動速度が第１の所定値よりも大きい場合には、前記第１の所定値よりも小さい場合と比較して、前記サーチ領域の範囲をより大きく設定することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 被写体に対応する領域である追尾領域と相関の高い領域を継続的に検出する追尾手段と、
   ユーザーによるタッチ操作を検出するタッチ検出手段と、
   距離情報の検出を行う焦点検出手段と、
   被写体の動きを検出する動体検知手段と、
   前記動体検知手段の検出結果に応じて、前記タッチ操作を行ったタッチ位置を含む領域を、特定の被写体をサーチするためのサーチ領域として設定するサーチ領域設定手段と、
   前記サーチ領域設定手段が設定した前記サーチ領域を複数のブロックに分割する分割手段と、
   前記複数のブロックそれぞれについて前記焦点検出手段が検出した距離情報と過去に追尾していた被写体の距離情報との差分を算出する差分算出手段と、を有し、
   前記差分算出手段が算出した前記複数のブロックそれぞれについて前記焦点検出手段が検出した距離情報と前記過去に追尾していた被写体の距離情報との差分が、第１の所定値未満であるブロックがある場合は、前記追尾手段は前記焦点検出手段が検出した距離情報と前記過去に追尾していた被写体の距離情報との差分が第１の所定値未満であるブロックを含む領域を追尾領域として設定し、
   前記複数のブロックそれぞれについて前記焦点検出手段が検出した距離情報と前記過去に追尾していた被写体の距離情報との差分が第１の所定値未満のブロックがない場合には、前記追尾手段は追尾領域を変更しないことを特徴とする撮像装置。
5. 前記タッチ操作を行ったタッチ位置から被写体が遠ざかっているか否かを判定する動体判定手段を有し、
   前記動体検知手段は被写体のベクトル情報を取得し、
   前記動体判定手段は、過去に追尾していた被写体の動きベクトル情報に基づいて前記タッチ操作を行ったタッチ位置から被写体が遠ざかっているか否かを判定し、
   被写体が前記タッチ位置から遠ざかっていると前記動体判定手段が判定した場合には、前記サーチ領域設定手段は前記タッチ位置を起点にとして被写体の移動方向の反対の方向よりも被写体の移動方向へと広く前記サーチ領域を設定し、
   被写体が前記タッチ位置から遠ざかっていないと前記動体判定手段が判定した場合には、前記サーチ領域設定手段は前記タッチ位置を起点として被写体の移動方向の反対の方向よりも被写体の移動方向へと広く前記サーチ領域を設定することを特徴とする請求項４に記載の撮像装置。
6. 被写体に対応する領域である追尾領域と相関の高い領域を継続的に検出する追尾ステップを有する撮像装置の制御方法において、
   ユーザーによるタッチ操作を検出するタッチ検出ステップと、
   デフォーカス量の算出を行う焦点検出ステップと、
   被写体の動きを検出する動体検知ステップと、
   前記動体検知ステップの検出結果に応じて、前記タッチ操作を行ったタッチ位置を含む領域を、特定の被写体をサーチするためのサーチ領域として設定するサーチ領域設定ステップと、
   前記サーチ領域設定ステップで設定した前記サーチ領域を複数のブロックに分割する分割ステップと、
   前記複数のブロックそれぞれについて前記焦点検出ステップで算出したデフォーカス量と過去に追尾していた被写体のデフォーカス量との差分を算出する差分算出ステップと、を有し、
   前記差分算出ステップで算出した前記複数のブロックそれぞれについて前記焦点検出ステップで算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が、第１の所定値未満であるブロックがある場合は、前記追尾ステップでは前記焦点検出ステップで算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が第１の所定値未満であるブロックを含む領域を追尾領域として設定し、
   前記複数のブロックそれぞれについて前記焦点検出ステップで算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が第１の所定値未満のブロックがない場合には、前記追尾ステップは追尾領域を変更しないことを特徴とする撮像装置の制御方法。
7. 請求項６に記載の撮像装置の制御方法における各ステップをコンピュータによって実行させるためのプログラム。
8. 請求項７に記載のプログラムをコンピュータで読み取ることができるように記憶する記憶媒体。
9. 所定の対象を追尾するために、画面中の第１の追尾領域と相関の高い領域を第２の追尾領域として自動的に変更する追尾手段と、
   ユーザーによる画面へのタッチ操作を検出するタッチ検出手段と、
   前記タッチ操作を行った画面のタッチ位置に基づき前記所定の対象をサーチするためのサーチ領域を設定するサーチ領域設定手段と、を有し、
   前記追尾手段は、前記サーチ領域設定手段によって設定されたサーチ領域のデフォーカス量と前記第１の追尾領域のデフォーカス量との差分を算出し、前記差分が所定値より小さい場合は、前記サーチ領域の少なくとも一部を前記第２の追尾領域として設定し、前記差分が所定値より大きい場合は、前記サーチ領域を第２の追尾領域として設定しないように制御することを特徴とする追尾装置。
10. 前記デフォーカス量は画像の部分ごとに付加的に記録された情報であることを特徴とする請求項９記載の追尾装置。
11. 請求項９に記載の追尾装置の各手段の動作をコンピュータによって実行させるためのプログラム。
12. 請求項１１に記載のプログラムをコンピュータで読み取ることができるように記憶する記憶媒体。
13. 被写体に対応する領域である追尾領域と相関の高い領域を継続的に検出する追尾ステップと、
    ユーザーによるタッチ操作を検出するタッチ検出ステップと、
    デフォーカス量の算出を行う焦点検出ステップと、
    被写体の動きを検出する動体検知ステップと、
    前記動体検知ステップでの検出結果に応じて、前記タッチ操作を行ったタッチ位置を含む領域を、特定の被写体をサーチするためのサーチ領域として設定するサーチ領域設定ステップと、
    前記サーチ領域設定ステップで設定した前記サーチ領域を複数のブロックに分割する分割ステップと、
    前記複数のブロックそれぞれについて前記焦点検出ステップが算出したデフォーカス量と過去に追尾していた被写体のデフォーカス量との差分を算出する差分算出ステップと、を有し、
    前記差分算出ステップで算出した前記複数のブロックそれぞれについて前記焦点検出ステップで算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が、第１の所定値未満であるブロックがある場合は、前記追尾ステップで前記焦点検出ステップで算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が第１の所定値未満であるブロックを含む領域を追尾領域として設定し、
    前記複数のブロックそれぞれについて前記焦点検出ステップで算出したデフォーカス量と前記過去に追尾していた被写体のデフォーカス量との差分が第１の所定値未満のブロックがない場合には、前記追尾ステップで追尾領域を変更しないことを特徴とする撮像装置の制御方法。
14. 所定の対象を追尾するために、画面中の第１の追尾領域と相関の高い領域を第２の追尾領域として自動的に変更する追尾ステップと、
    ユーザーによる画面へのタッチ操作を検出するタッチ検出ステップと、
    前記タッチ操作を行った画面のタッチ位置に基づき前記所定の対象をサーチするためのサーチ領域を設定するサーチ領域設定ステップと、
    前記追尾ステップでは、前記サーチ領域設定ステップによって設定されたサーチ領域のデフォーカス量と前記第１の追尾領域のデフォーカス量との差分を算出し、前記差分が所定値より小さい場合は、前記サーチ領域の少なくとも一部を前記第２の追尾領域として設定し、前記差分が所定値より大きい場合は、前記サーチ領域を第２の追尾領域として設定しないように制御することを特徴とする追尾装置の制御方法。

Images