JPWO2006082967A1 - 撮像装置 - Google Patents

Abstract

撮像素子（１４）にて撮像された画像信号を画像分割部（１５）で分割したエリアからなるフォーカスエリアを，特徴点抽出部（３４）及び特徴点位置演算部（３５）により画像の特徴点位置情報を抽出し，被写体の動きに追従するようにする。さらに，前記特徴点位置情報について，低域通過フィルタ（３６）により時間的な振動周波数の低域分を抽出し，フォーカスエリア選択部（３７）の表示位置を演算し，表示部（１７）に表示することにより，表示部（１７）でのフォーカスエリア表示の被写体の動きによる変動によって不快感を与えることのない撮像装置を提供する。

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関し、特定的には、オートフォーカス機能を備えるデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。

現在、ＣＣＤやＣＭＯＳなどの撮像素子を備えるデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置が爆発的に普及している。これらの撮像装置は、一般的に被写体の画像信号に基づき合焦状態を検出し、検出結果に基づいて撮影光学系に含まれるフォーカスレンズ群を光軸方向に移動させることにより、オートフォーカス制御を行うものが主流である。

撮像装置の多機能化に伴って、オートフォーカス制御に対しても高機能化が求められるようになってきている。例えば、特許文献１には、撮像装置に適用され、フォーカス調整を行うオートフォーカス装置が記載されている。当該オートフォーカス装置は、被写体の画像信号を複数のフォーカスエリアに分割し、それぞれフォーカスエリアに含まれる肌色画素の数をカウントして、フォーカス調整を行うためのフォーカスエリアを特定する。

特許文献１に記載された従来のオートフォーカス装置は、主被写体として人物を想定している。すなわち、当該オートフォーカス装置は、肌色画素に基づいてフォーカス制御を行うことにより、フォーカスエリアが人物に追従し、常に人物に的確に合焦できるとしている。
特開２００４−３７７３３号公報

特許文献１に記載された従来のオートフォーカス装置は、人物に追従してフォーカス追従を行うことを想定し、フォーカス追従しているエリアをマーカーなどで表示させる、あるいは複数のフォーカスエリアの中から選択して表示させる。しかしながら、この場合、オートフォーカス装置本体の振れなどによって、撮影前のモニタ画面に表示されているマーカーまたは選択されたフォーカスエリアの位置が小刻みに変化し、モニタ画面が非常に見づらくなるという問題がある。特に、高倍率で撮像する場合、この影響が顕著になってしまう。

また、特許文献１に記載の従来のオートフォーカス装置では、モニタ画面の広い範囲でフォーカス追従のための特徴点抽出を行う必要があるため、演算処理の負荷が重くなってしまう。さらに、主被写体として人物のみを想定しているため、他の被写体の場合にフォーカス追従を行うことができない。デジタルスチルカメラやデジタルビデオカメラ等の撮像装置は、主被写体が人物である場合ばかりではないため、特許文献１に記載の従来のオートフォーカス装置は、ユーザの要求に十分に応えることができない。

それゆえに、本発明の目的は、移動する被写体に対してフォーカス調整を行うことができ、かつ表示すべきフォーカスエリアの不要な変動を防止することができる撮像装置を提供することである。

本発明の目的の１つは、以下の構成を備えた撮像装置によって達成される。被写体の電気的な画像信号を出力する撮像装置であって、焦点調節を行うためのフォーカスレンズ群を含み、被写体の光学的な像を形成する撮像光学系と、被写体の光学的な像を撮像して、電気的な画像信号に変換する撮像素子と、画像信号を複数のエリアに分割する画像分割部と、複数のエリアのうち、少なくとも１つのエリアを含む第１のエリア群内で撮像光学系の合焦情報を算出する合焦情報算出部と、合焦情報に基づいて、フォーカスレンズ群を光軸方向に駆動制御するレンズ駆動制御部と、複数のエリアのうち、少なくとも１つのエリアを含む第２のエリア群内で被写体の特徴点を抽出し、当該特徴点の位置を示す特徴点位置情報として出力する特徴点抽出部と、特徴点位置情報の時間的な振動周波数の低域成分を抽出し、抽出位置情報として出力する低域通過フィルタと、抽出位置情報に基づいて、表示すべき第２のエリア群の位置を演算し、表示位置情報として出力するエリア選択部とを備える。

本発明によれば、移動する被写体に対してフォーカス調整を行うことができ、かつ表示すべきフォーカスエリアの不要な変動を防止することができる撮像装置を提供することができる。

図１は、本発明の実施の形態１における撮像装置のブロック図である。 図２は、表示部１７に表示されるエリア枠の表示位置を示す図である。 図３は、本発明の実施の形態１における撮像装置本体背面の概略図である。 図４は、参照色情報設定処理における撮像装置の動作を示すフローチャートである。 図５は、被写体が写し出された表示部１７の概観図である。 図６は、本発明の実施の形態１における被写体とエリア枠が写し出された表示部１７の概観図である。 図７は、実施の形態１における色相及び彩度情報の演算式である。 図８は、実施の形態１における色相及び彩度情報のチャート図である。 図９は、実施の形態１における参照色情報と参照近傍領域１を示した色相及び彩度情報のチャート図である。 図１０は、フォーカス追従撮像処理における撮像装置の動作を示すフローチャートである。 図１１Ａは、実施の形態１における被写体とＡＦエリア枠とが写し出された表示部１７の概観図である。 図１１Ｂは、実施の形態１における被写体とＡＦエリア枠とが写し出された表示部１７の概観図である。 図１１Ｃは、実施の形態１における被写体とＡＦエリア枠とが写し出された表示部１７の概観図である。 図１１Ｄは、実施の形態１における被写体とＡＦエリア枠とが写し出された表示部１７の概観図である。 図１２は、図１１Ａ〜Ｄにおいて、単位エリアＢ１ａ〜Ｂ１ｄが移動する様子を模式的に示す図である。 図１３は、特徴点位置演算部によって演算される特徴点の座標を示す図である。 図１４Ａは、表示部１７に表示される表示エリア枠と特徴点との座標関係を示す図である。 図１４Ｂは、表示部１７に表示される表示エリア枠と特徴点との座標関係を示す図である。 図１５は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。 図１６は、本発明の実施の形態４に係る撮像装置の構成を示すブロック図である。 図１７は、本発明の実施の形態５に係る撮像装置の構成を示すブロック図である。 図１８は、実施の形態５に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャートである。 図１９は、本発明の実施の形態６に係る撮像装置の構成を示すブロック図である。 図２０は、実施の形態６に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャートである。 図２１は、特徴点位置演算部によって演算される特徴点の座標を示す図である。 図２２は、実施の形態６におけるＡＦエリア枠が表示された表示部１７の概観図である。 図２３Ａは、実施の形態７に係る被写体とエリア枠が写し出された表示部１７の概観図である。 図２３Ｂは、実施の形態７に係る被写体とエリア枠が写し出された表示部１７の概観図である。 図２３Ｃは、実施の形態７に係る被写体とエリア枠が写し出された表示部１７の概観図である。 図２３Ｄは、実施の形態７に係る被写体とエリア枠が写し出された表示部１７の概観図である。 図２４は、実施の形態７に係る低域通過フィルタ３６の詳細を示すブロック図である。 図２５Ａは、実施の形態７に係る低域通過フィルタ３６の入力信号波形である。 図２５Ｂは、実施の形態７に係る低域通過フィルタ３６の出力信号波形である。 図２６は、実施の形態７に係る低域通過フィルタ３６のカットオフ周波数ｆｃと像ぶれ評価点との関係を示すグラフである。

符号の説明

１０ 撮像装置本体
１０ａ ファインダ
１１ レンズ鏡筒
１２ ズームレンズ
１３ フォーカスレンズ
１４ ＣＣＤ
１５ 画像処理部
１６ 画像メモリ
１７、６７ 表示部
１８ メモリーカード
１９ 操作部
１９ａ シャッター釦
１９ｂ カーソルキー
１９ｃ 決定釦
１９ｄ メニュー釦
２１ レンズ駆動部
３０ システムコントローラ
３１ 画像分割部
３２ 合焦情報算出部
３３ レンズ位置制御部
３４ 特徴点抽出部
３５ 特徴点位置演算部
３６ 低域通過フィルタ
３７ ＡＦエリア選択部
４０ 単位エリア選択部
４１ 特徴点情報設定部
４２ 焦点距離演算部
４３ エリア面積変更部

（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置のブロック図である。実施の形態１にかかる撮像装置は、レンズ鏡筒１１と、撮像光学系であるズームレンズ系１２及びフォーカスレンズ１３と、撮像素子であるＣＣＤ１４と、画像処理部１５と、画像メモリ１６と、表示部１７と、操作部１９と、レンズ駆動部２１と、システムコントローラ３０とを含む。

レンズ鏡筒１１は、内部にズームレンズ系１２を保持する。ズームレンズ系１２及びフォーカスレンズ１３は、被写体の光学的な像を変倍可能に形成する撮像光学系である。撮像光学系は、被写体側から順に、変倍時に光軸に沿って移動するズームレンズ群１２ａ及びズームレンズ群１２ｂと、合焦状態に調節のために光軸に沿って移動するフォーカスレンズ１３とからなる。

ＣＣＤ１４は、ズームレンズ系１２が形成した光学的な像を所定のタイミングで撮像し、電気的な画像信号に変換して出力する撮像素子である。画像処理部１５は、ＣＣＤ１４から出力された画像信号にホワイトバランス補正やγ補正などの所定の画像処理を施す処理部である。画像メモリ１６は、画像処理部１５から出力された画像信号を一次的に格納する。

表示部１７は、典型的には液晶ディスプレイであり、後述するシステムコントローラ３０からの指令に基づき、ＣＣＤ１４から出力された画像信号あるいは画像メモリ１６に格納された画像信号を、画像処理部１５を介して入力させ、この画像信号を可視画像としてユーザに表示する。また、画像処理部１５は、ユーザにより着脱可能なメモリーカード１８と双方向にアクセス可能である。メモリーカード１８は、後述するシステムコントローラ３０からの指令に基づき、ＣＣＤ１４から出力された画像信号あるいは画像メモリ１６に格納された画像信号を、画像処理部１５を介して入力させて格納したり、格納された画像信号を、画像処理部１５を介して画像メモリ１６へ出力させ一時的に格納させたりする。

操作部１９は、撮像装置本体の外側に設けられ、ユーザが撮像装置本体の設定を行うため、あるいは操作するために用いる釦類である。なお、操作部１９は、複数の操作釦を含むが詳細は図３を用いて後述する。

レンズ駆動部２１は、後述するシステムコントローラ３０のレンズ位置制御部３３からの指令に基づき、フォーカスレンズ１３を光軸方向（Ａ方向あるいはＢ方向）に駆動する駆動信号を出力する。また、レンズ駆動部２１は、ズームレバー（図示せず）をユーザが操作することによりズームレンズ１２を光軸方向に駆動させる機能も有する。

システムコントローラ３０は、画像分割部３１と、合焦情報算出部３２と、レンズ位置制御部３３と、特徴点抽出部３４と、特徴点位置演算部３５と、低域通過フィルタ３６と、ＡＦエリア選択部３７と、単位エリア選択部４０とを含む。

画像分割部３１は、画像メモリ１６から出力される画像信号を複数の単位エリアに分割する処理を行う。

合焦情報算出部３２は、画像分割部３１により複数の単位エリアに分割された画像信号から、各単位エリアのコントラスト情報とフォーカスレンズ１３の位置情報とに基づいてデフォーカス量を演算する。合焦情報算出部３２は、少なくとも１以上の単位エリアを含む第１のエリア群内において、デフォーカス量を演算する。本実施の形態では、第１のエリア群は、後述する被写体の特徴点を抽出する処理およびデフォーカス量を演算する処理を行う最小の単位エリア群で構成される。

レンズ位置制御部３３は、合焦情報算出部３２から出力されるデフォーカス量に基づいてフォーカスレンズ１３の位置を制御するための制御信号を生成し、レンズ駆動部２１へ出力する。また、レンズ位置制御部３３は、レンズ駆動部２１によりフォーカスレンズ１３を駆動させたときの位置情報を合焦状態算出部３２に出力する。このとき、合焦状態算出部３２は、フォーカスレンズ１３の位置情報とコントラスト情報とからデフォーカス量を算出することができる。

特徴点抽出部３４は、画像分割部３１によって複数の単位エリアに分割された画像信号から各単位エリアの特徴点を抽出する。本実施の形態において、特徴点抽出部３４は、各単位エリアの特徴点として色情報を算出し、算出した色情報を特徴点位置演算部３５へ出力する。特徴点は、少なくとも１以上の単位エリアを含む第２のエリア群内から抽出されるが、本実施の形態において、特徴点が抽出されるエリアは、後述するＡＦエリア選択部３７から出力されたＡＦエリアの範囲を示す表示位置情報により決定されるものとして説明する。特徴点抽出部３４は、後述するＡＦエリア選択部３７から出力された特徴点設定エリアの範囲を示す表示位置情報に基づき、単位エリアに分割された画像信号のうち、特徴点設定エリアの範囲に含まれる各単位エリアの特徴点として色情報を算出し、特徴点情報設定部４１へ出力する。

特徴点情報設定部４１は、特徴点抽出部３４から出力される各単位エリアの色情報のうち、ユーザにより選択された単位エリアの色情報を算出して格納させ、特徴点情報設定処理を行う。なお、特徴点情報設定部４１は、不揮発性メモリを含み、一旦格納させた参照色情報を撮像装置本体の電源を切った場合でも保持することが可能である。特徴点情報設定部４１は、フォーカス追従撮像処理を行う場合、格納している色情報を読み出して特徴点位置演算部３５へ出力する。

特徴点位置演算部３５は、特徴点抽出部３４から出力される各単位エリアの特徴点と、特徴点情報設定部４１から出力される特徴点とを比較してほぼ一致する位置を演算する。本実施の形態において、特徴点位置演算部３５は、各単位エリアの色情報と、特徴点情報設定部４１から出力される色情報とを比較してほぼ一致する位置を演算する。特徴点位置演算部３５は、演算により得られた特徴点位置情報を低域通過フィルタ３６及び単位エリア選択部４０へ出力する。特徴点位置情報は、例えば座標を示す情報である。

低域通過フィルタ３６は、特徴点位置演算部３５から出力される特徴点位置情報から高域成分を除去することにより、特徴点位置情報の時間的な振動周波数の低域成分を抽出して出力する。例えば、低域通過フィルタは、特徴点位置情報を加算してその平均値を出力する加算平均や、一定期間内に得られた特徴点位置情報の平均値を出力する移動平均により、特徴点位置情報の低域成分を抜き取る。低域通過フィルタ３６は、抽出した低域成分の値を抽出位置情報としてＡＦエリア選択部３７へ出力する。

ＡＦエリア選択部３７は、低域通過フィルタ３６から出力される抽出位置情報に基づき、表示部１７に表示させるＡＦエリアの位置を示す表示位置情報を生成し、特徴点抽出部３４及び表示部１７に出力する。ＡＦエリア選択部３７は、フォーカス追従撮像処理において、最初にＡＦエリアを表示させる際、図示しないメモリに予め格納されているデフォルトの表示位置情報を読み出し、特徴点抽出部３４及び表示部１７に出力する。

また、ＡＦエリア選択部３７は、特徴点情報設定処理において、最初に特徴点設定エリアを表示させる際、図示しないメモリに予め格納されているデフォルトの表示位置情報を読み出し、特徴点抽出部３４及び表示部１７に出力する。

単位エリア選択部４０は、特徴点位置演算部３５から出力される特徴点位置情報に基づき、特徴点位置情報が示す位置に存在する単位エリアを選択する。例えば、特徴点位置情報が座標を示す情報である場合、単位エリア選択部４０は、特徴点位置演算部３５から出力される座標を含む単位エリアを選択する。そして、単位エリア選択部４０は、選択した単位エリアを囲む単位エリア枠を表示部１７に表示させる。

次に、ＡＦエリア及び単位エリアについて説明する。図２は、表示部１７に表示されるエリア枠を示す図である。図２では、表示部１７に表示すべき画像信号を横方向（ｘ方向）に１８分割、縦方向（ｙ方向）に１３分割させた例を示している。この場合、画像信号は１８×１３個の単位エリアに分割され、表示部１７には、１８×１３個の単位エリアをそれぞれ囲む単位エリア枠が表示される。

図２において、単位エリアＢ０は、後述する被写体の特徴点抽出処理及び合焦情報算出処理を行う単位エリアの一つを表し、この例では座標（１０，７）で表される。なお、１８×１３個の単位エリア枠を必ずしも表示させなくともよく、単位エリア選択部４０により選択された単位エリアを囲む単位エリア枠のみを表示させてもよい。例えば、すべてのエリア枠を表示させる場合、表示部１７の表示を見やすくするために、単位エリア枠の線を細くするか薄い色の線を用いて表示させてもよい。

また、後述するフォーカス追従撮像処理の動作中は、表示部１７には少なくとも１つ以上の単位エリアから形成されるＡＦエリアＡ０を囲むＡＦエリア枠が表示される。ＡＦエリアＡ０は、被写体のフォーカス追従撮像処理において特徴点が抽出されるエリアである。

図３は、本発明の実施の形態１における撮像装置本体背面の概略図である。実施の形態１にかかる撮像装置は、撮像装置本体１０と、表示部１７と、操作部１９と、ファインダー１０ａとを含む。

ファインダー１０ａは、光学的に被写体の像をユーザの瞳に導く光学系である。表示部１７は、先に説明した液晶ディスプレイであり、撮像された画像信号を可視画像としてユーザに表示する。操作部１９は、シャッター釦１９ａと、カーソルキー１９ｂと、決定釦１９ｃと、メニュー釦１９ｄとからなる。

シャッター釦１９ａは、ユーザにより半押しされることによってフォーカス追従撮像処理を開始させ、ユーザにより全押しされることによって撮像した画像をメモリーカードに格納させる操作を行う。カーソルキー１９ｂは、表示部１７に表示された各種動作モードのメニューから項目及びその内容を選択するために操作される。決定釦１９ｃは、カーソルキー１９ｂによって選択された内容を決定するために操作される。メニュー釦１９ｄは、撮像装置本体の一般的な各種動作モードのメニュー表示を行うために操作される。

各種動作モードのメニューの項目には、後述する表示部１７に撮像した画像信号の特徴点情報を格納させる（特徴点情報設定）処理を開始するかどうかが含まれる。ユーザが、メニュー釦１９ｄを操作して、表示部１７に特徴点情報設定処理の開始に関するメニューを表示させると、カーソルキー１９ｂは、ユーザによる操作でその内容の選択を受け付ける。この状態において、ユーザがカーソルキー１９ｂを操作し特徴点情報設定処理の開始を選択し、決定釦１９ｃを操作すると、特徴点情報設定部４１により特徴点情報設定処理が開始される。

図４は、特徴点情報設定処理における撮像装置の動作を示すフローチャートである。図４に示すフローチャートは、システムコントローラ３０上で動作するプログラムの動作フローを示す。また、図５は、被写体が写し出された表示部１７の概観図である。図５では、表示部１７に被写体Ｐ２が写し出されている例を示している。また、図６は、本発明の実施の形態１における被写体とエリア枠が写し出された表示部１７の概観図である。図６は、被写体Ｐ２に１８×１３個の単位エリア枠を表示させた例を示している。メニュー釦１９ｄと決定釦１９ｃにより色情報を参照するモードが設定された場合、参照色情報設定処理開始から処理が開始される。

ステップＳ１０１において、ＣＣＤ１４で撮像された画像信号が画像処理部１５から出力され、表示部１７に可視画像を表示する。単位エリア選択部４０は、単位エリア枠を表示部１７に表示させる。このとき、表示部１７に表示されている画像は、図６に示すように、可視画像と単位エリア枠とが重畳された表示状態となる。また、画像メモリ１６からシステムコントローラ３０の画像分割部３１に入力された画像信号は、単位エリアごとに分割される。

ステップＳ１０２において、特徴点設定エリアＣ１が選択されたかどうかの入力待ちになる。特徴点設定エリアＣ１は、特徴点を設定するために用いられる。ＡＦエリア選択部３７は、特徴点設定エリアＣ１の範囲を示す表示位置情報を表示部１７に出力し、表示部１７に特徴点設定エリア枠を表示させる。このとき特定のエリア（特徴点設定エリアＣ１）が太枠で囲まれて表示され、選択可能であることが示される。ユーザは、太枠のエリアをカーソルキー１９ｂで移動させることができる。例えば、ユーザが太枠のエリアを移動させて決定釦１９ｃを押すと、図６に示す特徴点設定エリアＣ１が選択されたことになり、ステップＳ１０３の処理に進む。

ステップＳ１０３において、特徴点抽出部３４は、選択された特徴点設定エリアＣ１内に表示されている分割された画像の色情報を算出して、ステップＳ１０４の処理に進む。

ステップＳ１０４において、特徴点情報設定部４１は算出された色情報を格納し、特徴点情報設定処理を終了する。

図７は、実施の形態１における色相及び彩度情報の演算式である。以下、ステップＳ１０３において説明した、特徴点抽出部３４の色相及び彩度情報の演算原理を説明する。なお、画像信号を赤（以降ではＲと称す），緑（以降ではＧと称す），青（以降ではＢと称す）で分けて表し、Ｒ，Ｇ，Ｂをそれぞれ２５６階調として説明する。

色相及び彩度情報の演算は、特徴点抽出部３４において実行される。はじめに、特徴点抽出部３４は、画像分割部３１から出力された分割された画像信号（以下、分割画像信号と呼ぶ）に対して、Ｒ，Ｇ，Ｂの最大値を求め、求められた最大値をＶとする（式１）。次に、特徴点抽出部３４は、画像分割部３１から出力された分割画像信号に対して、最小値を求め、求められた最小値をＶから引き算してｄとする（式２）。さらに、特徴点抽出部３４は、Ｖとｄから彩度Ｓを求める（式３）。

特徴点抽出部３４は、彩度Ｓ＝０であれば色相Ｈ＝０とする（式４）。また、特徴点抽出部３４は、彩度Ｓが０以外の値である場合、所定の処理を行って色相を演算する（式５〜式７）。ここで、所定の処理とは、Ｒ，Ｇ，Ｂの最大値がＲと等しい場合には式５により色相Ｈを求め、Ｇと等しい場合には式６により色相Ｈを求め、Ｂと等しい場合には式７により色相Ｈを求める処理である。

最後に、特徴点抽出部３４は、求められた色相Ｈが負の値に成っている場合、３６０を加算して、正の値に変換する（式８）。以上のようにして、特徴点抽出部３４は、分割画像信号の色相及び彩度情報を演算により算出する。

図８は、実施の形態１における色相及び彩度情報のチャート図である。図８において、彩度Ｓはチャートの半径方向に相当し、中心をＳ＝０とし、周辺へ向けて０〜２５５の範囲で増加するようにプロットされる。また、図８において、色相Ｈは、回転方向に相当し、回転方向に沿って０〜３５９の値で表す。

例えば、分割画像信号の色情報がＲ＝２５０，Ｇ＝１８０，Ｂ＝１２０であったとすると、特徴点抽出部３４は、前述した各式を用いて、各式からＶ＝２５０、ｄ＝２５０−１２０＝１３０、彩度Ｓ＝１３０×２５５／２５０＝１３３、色相Ｈ＝（１８０−１２０）×６０／１３３＝２７を得ることができる。

以上の通り、特徴点抽出部３４は、分割画像信号の彩度と色相とを算出する。算出された彩度と色相とを含む参照色情報は、特徴点情報として特徴点情報設定部４１へ出力され保存される。次に、参照色情報に隣接して設定される参照近傍領域について説明する。

特徴点抽出部３４により算出された参照色情報は、特徴点情報設定部４１に格納され、随時参照されて撮像されるべき被写体の色情報を判断するリファレンスとして用いられる。ところで、一般に、同一被写体であっても照明光や露光時間などの要因によって、撮像した色情報が微妙に変化する場合がある。したがって、参照色情報と撮像されるべき被写体の色情報とを比較する場合、参照色情報に一定の許容幅を持たせて、同一性判断をすることが望ましい。この参照色情報の一定の許容幅を参照近傍領域と呼ぶ。

以下、参照近傍領域を算出する例を示す。図９は、実施の形態１における参照色情報と参照近傍領域１を示した色相及び彩度情報のチャート図である。図９において、参照色情報（Ｈ１，Ｓ１）としてプロットされた点は、特徴点情報設定部４１で格納された色情報に相当する。なお、参照色情報は、一例として先に算出したＲ＝２５０，Ｇ＝１８０，Ｂ＝１２０とした場合に求められる色相Ｈ＝２７（＝Ｈ１）、彩度Ｓ＝１３０（＝Ｓ１）を表している。

参照近傍領域１は、格納されている参照色情報Ｈ１に対して許容幅を規定した領域である。色相の許容幅ΔＨ＝１０とすると、参照近傍領域１は、色相はＨ１±１０の領域に相当し、図９において、１本の円弧と２本の半径方向の線分で囲まれる領域となる。

以上説明した例では、いずも色相の許容幅を一律に設定したが、これに限られない。補助光源を使用する場合などでは、光源の色相情報に基づいて参照される色情報の範囲を補正することで、暗所で撮像装置を使用している場合においても参照範囲を正確に規定することが可能になる。例えば、ＬＥＤ等を用いた赤系色の補助光源の場合にはＨ１を０の方向にシフトさせるで補正が可能である。

次に、フォーカス追従動作について説明する。図１０は、フォーカス追従撮像処理における撮像装置の動作を示すフローチャートである。図１０に示すフローチャートは、システムコントローラ３０上で動作するプログラムの動作フローを示す。また、図１１は、実施の形態１における被写体とＡＦエリア枠とが写し出された表示部１７の概観図である。図１１Ａ〜Ｄは、被写体Ｐ１に１８×１３個の単位エリア枠とＡＦエリア枠（エリアＡ１）を表示させた例を示している。図１１Ａ〜Ｄは、それぞれ１／３０［ｓ］の時間が経過する毎に被写体Ｐ１が表示部１７上を移動する様子を示している。これに伴い、特徴点抽出部３４において抽出される被写体の特徴点が存在する単位エリア枠は、エリアＢ１ａ、エリアＢ１ｂ、エリアＢ１ｃ、エリアＢ１ｄの順で移動する。図１０において、ユーザによりシャッター釦１９ａが半押しされた場合、フォーカス追従撮像処理が開始される。

ステップＳ２０１において、表示部１７は、可視画像及びＡＦエリア枠を表示する。具体的には、表示部１７は、ＣＣＤ１４で撮像され画像処理部１５で所定の画像処理が施された画像信号を可視画像として表示する。また、画像信号は画像分割部３１により１８×１３個の単位エリアで分割され、そのうちの７×５個の単位エリアでＡＦエリアＡ１が形成される。ＡＦエリアＡ１を囲むＡＦエリア枠は、画像信号に重ねて表示される。このとき、表示部１７には、図１１Ａに示すように、可視画像とＡＦエリア枠とが重畳された表示状態となる。なお、図１１Ａには、単位エリア枠も表示しているが、単位エリア枠は表示しなくてもよい。

次に、ステップＳ２０２において、ＡＦエリアＡ１の中心座標は表示部１７の所定範囲外にあるかどうかを判定する。ＡＦエリアＡ１の中心座標が所定範囲外にある場合、ＡＦエリア枠が画面の外寄りに表示されてしまう。所定範囲とは、例えば、表示部１７の中央部付近の座標を含む範囲であり、例えば、図１１Ａ〜Ｄにおいて、座標（３，２）、（１４，２）、（１４，１０）、（３，１０）を結ぶエリアで形成される。

ＡＦエリアＡ１の中心座標が所定範囲外にある場合、ステップＳ２０３において、ＡＦエリアＡ１の中心座標をデフォルトにリセットする。ここでは、ＡＦエリアＡ１の中心座標を図４に示す表示部１７の中心座標である座標（８，６）に移動して表示部１７に表示させる。そして、再びステップＳ２０１において、表示部１７は、可視画像及びＡＦエリア枠を表示する。一方、ＡＦエリアＡ１の中心座標が所定範囲内にある場合、ステップＳ２０４の処理に進む。

ステップＳ２０４において、単位エリア選択部４０は、ＡＦエリアＡ１内に特徴点があるかどうかを判定する。具体的には、特徴点情報設定部４１に格納されている参照色情報に基づき、先の図９において説明した方法で参照近傍領域が算出され、特徴点抽出部３４から出力される各エリアの色情報が参照近傍領域内であるかどうかが判定される。特徴点があった場合、つまり、特徴点情報である参照色情報に近い色情報を有するエリアがあった場合、ステップＳ２０５の処理に進む。一方、特徴点がなかった場合、つまり参照色情報に近い色情報を有するエリアがなかった場合、ステップＳ２０８の処理に進む。

画像分割部３１は、１８×１３個の単位エリアに分割した画像信号を特徴点抽出部３４及び合焦情報算出部３２へ出力する。特徴点抽出部３４は、ＡＦエリア選択部３７から出力された表示位置情報情報に基づき、単位エリアに分割された画像信号のうち、ＡＦエリアＡ１の範囲に含まれる各単位エリアの特徴点として色情報を算出する。

図１１Ａでは、特徴点として抽出されたエリアＢ１ａは、座標（５，６）で表される。次の図１１Ｂでは、特徴点として抽出されたエリアＢ１ｂは、座標（１０，５）で表される。次の図１１Ｃでは、特徴点として抽出されたエリアＢ１ｃは、座標（８，４）で表される。次の図１１Ｄでは、特徴点として抽出されたエリアＢ１ｄは、座標（１１，８）で表される。

、図１２は、図１１Ａ〜Ｄにおいて、単位エリアＢ１ａ〜Ｂ１ｄが移動する様子を模式的に示す図である。図１１Ａ、図１１Ｂ、図１１Ｃ、図１１Ｄの順に被写体が移動すると、特徴点が抽出された単位エリア枠は、図１２に示す順で移動する。以下、表示部１７が図１１Ｄに示す状態である場合を例に説明する。

次に、ステップＳ２０５において、特徴点位置情報から低域成分が抽出される。低域通過フィルタ３６は、選択された単位エリア（エリアＢ１ａ〜Ｂ１ｄ）のうち現在の特徴点の座標（エリアＢ１ｄの座標）と前回の特徴点の座標（エリアＢ１ｃの座標）との加算平均を行い、抽出位置情報として出力する。

続くステップＳ２０６において、抽出位置情報に基づき、ＡＦエリアＡ１の表示位置を選択する。ＡＦエリア選択部３７は、ＡＦエリアＡ１の表示位置を選択して表示位置情報を出力し、表示部１７にＡＦエリア枠Ａ１を表示させる。

次に、ステップＳ２０７において、単位エリア選択部４０により選択された単位エリア（エリアＢ１ｄ）でデフォーカス量を演算する。具体的には、合焦情報算出部３２では単位エリア選択部４０において選択された各単位エリアの画像信号からコントラストを算出してコントラストがピークになる位置までのデフォーカス量を演算する。さらに具体的には、合焦情報算出部３２からレンズ位置制御部３３へデフォーカス量を演算するという指令を送り、レンズ位置制御部３３ではレンズ駆動部２１によってフォーカスレンズ１３をＡ方向あるいはＢ方向に駆動させ、フォーカスレンズ１３の位置情報を合焦情報算出部３２に送る。このフォーカスレンズ１３の位置情報と画像信号から算出されたコントラスト情報からコントラスト値が最も高くなるフォーカスレンズの位置と現在位置とからデフォーカス量を演算する。

次に、ステップＳ２０７において選択された単位エリア（例えば、エリアＢ１ｄ）で合焦させる。具体的には、合焦情報算出部３２で演算したデフォーカス量をレンズ位置制御部３３へ送り、レンズ位置制御部３３ではこのデフォーカス量に基づいてレンズ駆動部２１にフォーカスレンズ１３を駆動させ、被写体に合焦する。そして、ステップＳ２０９の処理に進む。

一方、ステップＳ２０４においてＡＦエリア（エリアＡ１）内に特徴点がないと判定された場合、ステップＳ２０８において、合焦情報算出部３２、レンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ１３を図１のＡ方向あるいはＢ方向に駆動することにより合焦情報算出部３２は、フォーカスレンズの位置情報と画像信号から生成されるコントラスト信号とから、ＡＦエリア内のすべてのエリアに対してコントラスト値が最も高くなるフォーカスレンズ１３の位置を演算する。このコントラスト値が最も高いフォーカスレンズ１３の位置と現在位置とからデフォーカス量を演算する。

ステップＳ２０９においては、ステップＳ２０７あるいはステップＳ２０８の処理にて合焦情報算出部３２で求めたデフォーカス量に基づいてレンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ１３を選択エリアで合焦させる動作を行い、次のステップＳ２１０の処理に進む。ここで、ステップＳ２０８においてはエリアＡ１内すべてのエリアで求めたデフォーカス量のうち最至近エリアのデフォーカス量を選択してステップＳ２０９で最至近エリアに合焦させるようにしてもよいし、中央付近のエリアを優先してデフォーカス量を選択してステップＳ２０９で中央付近のエリアに合焦させるようにしてもよい。

次に、ステップＳ２１０において、シャッター釦１９ａが全押しされたかどうかを判定し、全押しされた場合には次のステップＳ２１１の処理に進む。シャッター釦１９ａが離された場合には以上の処理はすべてやり直しとなる。ステップＳ２１１ではシャッター釦１９ａが全押しされたタイミングで、システムコントローラ３０からの指令に基づき、画像メモリ１６または画像処理部１５から出力される画像信号をメモリーカードに格納させる撮像処理を行い、フォーカス追従撮像処理を終了させる。

次に、本発明の特徴であるＡＦエリアの表示位置制御方法について説明する。

図１３は、特徴点位置演算部３５によって演算される特徴点の座標を示す図である。図１３の上段に示すグラフは、特徴点が存在する単位エリアのｘ方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部１７における特徴点の存在する単位エリアのｘ座標を表し、横軸は時間ｔを表す。また、波形Ｗｘ１は、特徴点位置演算部３５から出力される特徴点位置情報のうち、ｘ方向における位置の経時変化を示す波形である。波形Ｗｘ２は、低域通過フィルタ３６から出力される抽出位置情報のうち、ｘ方向における位置の経時変化を示す波形である。このように、Ｗｘ１の低域成分を抽出することにより、Ｗｘ１に比べて変動が小さな波形を生成することができる。

一方、図１３の下段に示すグラフは、特徴点が存在する単位エリアのｙ方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部１７における特徴点の存在する単位エリアのｙ座標を表し、横軸は時間ｔを表す。また、波形Ｗｙ１は、特徴点位置演算部３５から出力される特徴点位置情報のうち、ｙ方向における位置の経時変化を示す波形である。波形Ｗｙ２は、低域通過フィルタ３６から出力される抽出位置情報のうち、ｙ方向における位置の経時変化を示す波形である。このように、Ｗｙ１の低域成分を抽出することにより、Ｗｙ１に比べて変動が小さな波形を生成することができる。

図１３に示す２つのグラフには、合焦情報算出処理あるいは特徴点抽出処理を行う周期Ｔｓ間隔で単位エリアの特徴点位置情報がプロットされる。例えば、図１１に示す被写体の特徴点の動きを座標で表す場合、特徴点は、図１１Ａ、図１１Ｂ、図１１Ｃ、図１１Ｄの順に移動する。このとき、ｘ座標は、図１３に示すＸａ（＝５）、Ｘｂ（＝１０）、Ｘｃ（＝８）、Ｘｄ（＝１１）と表され、ｙ座標は、Ｙａ（＝６）、Ｙｂ（＝５）、Ｙｃ（＝４）、Ｙｄ（＝８）と表される。

図１４は、ＡＦエリア枠及び単位エリア枠が表示された表示部１７の概観を示す図である。図１１及び図１３を用いて説明した被写体の特徴点は、図１４Ａに示すように、エリアＢ１ａ、エリアＢ１ｂ、エリアＢ１ｃ、エリアＢ１ｄの順に座標が大きく変化している。特徴点が抽出された単位エリアのみを表示する場合、例えば、合焦情報算出処理あるいは特徴点抽出処理を行う周期Ｔｓが１／３０［ｓ］として表示部に表示する画像を更新すると、表示される単位エリアの位置が１／３０［ｓ］ごとに変化するため、非常に見づらい画面になってしまう。

これに対し、本発明に係る撮像装置は、これらの被写体の特徴点が抽出された単位エリア（エリアＢ１ａ〜Ｂ１ｄ）のみを表示するのではなく、１以上の単位エリアを範囲として含むようにＡＦエリア（エリアＡ１）を設定して表示させるようにする。具体的には、低域通過フィルタ３６から出力される特徴点の存在するエリアのｘ座標とｙ座標それぞれの低域成分にしたがってあらかじめ決めたエリアＡ１のサイズ（ここでは７×５個の単位エリアを含むサイズ）の中心位置を設定し、表示部１７に表示させる。これにより、図１４Ａに示すように、被写体の特徴点の位置がエリアＢ１ａ、Ｂ１ｂ、Ｂ１ｃ、Ｂ１ｄの順で小刻みに変化した場合であっても、ＡＦエリア（エリアＡ１）を安定した位置に表示させることができる。

また、図１４Ｂに示すように、被写体の特徴点が表示部１７の右上に存在する場合には、被写体の特徴点を抽出した単位エリア（エリアＢ２ａ〜Ｂ２ｄ）そのものではなく、これらのエリアを範囲として含むようにエリアＡ２が設定され表示される。したがって、ＡＦエリアが表示部１７の中央に表示されている状態（図１４Ａの状態）で撮像装置本体を左下の方向にパーニングすると、表示部１７に表示されているＡＦエリアは右上方向へゆっくりと移動していき、図１４Ａから図１４Ｂの状態へと変化する。これにより、被写体に追従していることを明示するとともに見やすいＡＦエリアとして表示させることが可能になる。

以上のように、本実施の形態によれば、表示されたＡＦエリアの位置が小刻みに変動することがないため、被写体を捉えている範囲を見やすく画面上に表示させることができる高操作性の撮像装置を提供することが可能である。また、必要最小限の最適な大きさのＡＦエリア内で制御情報を演算するため、演算処理における負荷が軽減されることとなる。したがって、撮像装置の機能を向上させることができる。また、特徴点として用いる被写体の色情報はユーザによって任意に設定することができるため、撮像装置の機能をさらに向上させることができる。

また、本実施の形態によれば、ＡＦエリアの中心座標が所定範囲外にある場合、ＡＦエリアの中心座標をデフォルトにリセットし、ＡＦエリア枠を画面の中央部付近に移動させる。撮像装置がデジタルスチルカメラやデジタルビデオカメラである場合、一般的には、ユーザは、被写体が画面の端部に移動すると、被写体が画面の中央部付近に写し出されるように撮像装置の向きを変える。したがって、ＡＦエリアの中心座標が所定範囲外にある場合に、ＡＦエリアの中心座標をデフォルトにリセットすることにより、ＡＦエリアの表示位置を画面の中央部付近に素早く移動させることができる。

なお、実施の形態１において、画像分割部は画像信号を１８×１３個の単位エリアに分割し、表示部には１８×１３個の単位エリア枠が表示される場合を例に説明したが、単位エリアの設定は任意であり、適宜設定すればよい。また、単位エリアをいくつか合わせて単位エリアとしてもよい。また、その場合、複数の単位エリアが互いに重なり合ってもよい。

また、実施の形態１では、２×２個のエリア枠で特徴点情報を演算し記憶する例で説明したが、エリア枠のサイズ及び位置の設定は任意である。

また、実施の形態１では、特徴点情報設定部４１に撮像した被写体の色情報を格納させる例について説明したが、これに限られない。例えば、撮像装置本体に、肌色などあらかじめいくつかの参照色情報を特徴点情報として格納させておいてもよい。その場合、撮像装置が備えるメモリ等の記憶装置に予め特徴点情報を格納させておく。そして、特徴点抽出部３４は、特徴点を抽出する際に、予めメモリに格納されている特徴点情報に基づいて特徴点を抽出する。この場合、撮像装置に特徴点情報設定部４１を備えていなくてもよい。

また、実施の形態１では、フォーカス追従に用いられるＡＦエリアを囲む枠をＡＦエリア枠として表示させる例について説明したが、フォーカス追従撮像処理に用いるエリアと表示させるエリアとは必ずしも一致している必要はない。例えば、ＡＦエリア内だけでなく、全てのエリアにおいて、合焦情報算出処理及び特徴点抽出処理を行ってもよい。なお、ＡＦエリア枠の小刻みな位置変動を防止し、画面を見やすくするために、表示するＡＦエリア枠の面積は、合焦情報が算出されるエリアの面積よりも大きくすることが好ましい。

また、実施の形態１では、フォーカス追従処理の開始時に最初に表示されるＡＦエリアの表示位置と、その中心座標が所定範囲外になった場合のＡＦエリアの表示位置とは、画面の中央部付近である例について説明したが、ＡＦエリアのデフォルトの表示位置はこれに限られない。例えば、監視カメラ等において、被写体は画面の端部に現れることが多い。したがって、このような場合、ＡＦエリアのデフォルトの表示位置を画面の端部としてもよい。

（実施の形態２）
実施の形態１において、撮像装置は、特徴点を抽出する際に色情報を利用していたが、これに対し、本実施の形態に係る撮像装置は、特徴点を抽出する際に輝度に関する情報を利用することを特徴とする。

図１５は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

図１５に示すシステムコントローラ３０ａは、図１に示す実施の形態１に係る撮像装置が備えるシステムコントローラ３０と比較すると、特徴点抽出部３４及び特徴点情報設定部４１が省略されている点で相違する。また、図１５に示すシステムコントローラ３０ａにおいて、画像分割部及び特徴点位置演算部の動作が実施の形態１と異なるため、本実施の形態における画像分割部及び特徴点位置演算部を、実施の形態１における画像分割部３１及び特徴点位置演算部３５と区別するために、それぞれ画像分割部３１ａ及び特徴点位置演算部３５ａと呼ぶ。

画像分割部３１ａは、画像分割部３１ａは、単位エリア毎に分割した画像信号を合焦情報算出部３２及び特徴点位置演算部３５ａへ出力する。

特徴点位置演算部３５ａは、画像分割部３１ａにより複数の単位エリアに分割された画像信号から、各単位エリアの輝度に関する情報（以下、輝度情報と呼ぶ）に基づいて特徴点が存在する位置を演算する。具体的には、特徴点位置演算部３５ａは、輝度情報が示す輝度値のうち、時間の経過と共に変化するものがあるか否かを判断する。特徴点位置演算部３５ａは、所定のタイミングにおける画像信号の輝度値と、当該所定のタイミングから一定時間が経過したタイミングにおける画像信号の輝度値とを比較し、輝度値の差分が所定の閾値よりも大きい場合に、輝度値が変化したと判断する。そして、特徴点位置演算部３５ａは、輝度値が変化した位置を特徴点が存在する位置であると判断し、演算により得られた特徴点位置情報を低域通過フィルタ３６及び単位エリア選択部４０へ出力する。

本実施の形態において、フォーカス追従撮像処理における撮像装置の動作は、特徴点を抽出する際に輝度情報を用いることの他は実施の形態１に係る撮像装置の動作と同様であるため、図１０を援用し、説明を省略する。

以上のように、本実施の形態によれば、輝度情報を利用して被写体にフォーカス追従させることができる。なお、本実施の形態では、輝度値が変化した位置を特徴点として抽出していたが、輝度値を用いた特徴点の抽出方法はこれに限られず、例えば、ある特定の輝度値または一定値以上の輝度値を特徴点として予め設定しておいてもよい。その場合、ある特定の輝度値または一定値以上の輝度値を予めメモリに格納させておく。特徴点位置演算部はメモリに格納されている輝度値を読み出し、特徴点抽出処理を行う。これは、撮像装置が例えば監視カメラ等の備え付けカメラであって、写し出される背景がほぼ固定されている場合に特に有効である。

（実施の形態３）
実施の形態１において、撮像装置は、特徴点を抽出する際に色情報を利用していたが、これに対し、本実施の形態に係る撮像装置は、特徴点を抽出する際に動きベクトルを利用することを特徴とする。

本実施の形態に係る撮像装置の構成は、実施の形態２に係る撮像装置の構成と同様であるため、図１５を援用する。

特徴点位置演算部３５ａは、画像分割部３１ａにより複数の単位エリアに分割された画像信号から、各単位エリアの輝度情報が示す輝度値に基づいて、所定の時間あたりの被写体（特徴点）の動きベクトルをｘ方向及びｙ方向それぞれに検出する。特徴点位置演算部３５ａは、検出した動きベクトルを特徴点情報として低域通過フィルタ３６及び単位エリア選択部４０へ出力する。

本実施の形態において、フォーカス追従撮像処理における撮像装置の動作は、特徴点として動きベクトルを抽出することの他は実施の形態１に係る撮像装置の動作と同様であるため、図１０を援用し、説明を省略する。

以上のように、本実施の形態によれば、動きベクトルを利用してフォーカス追従することができる。

（実施の形態４）
実施の形態１において、撮像装置は、特徴点を抽出する際に色情報を利用していたが、これに対し、本実施の形態に係る撮像装置は、特徴点を抽出する際にエッジ情報を利用することを特徴とする。

図１６は、本発明の実施の形態４に係る撮像装置の構成を示すブロック図である。本実施の形態に係る撮像装置は、実施の形態１に係る撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

図１６に示すシステムコントローラ３０ｂは、図１に示す実施の形態１に係る撮像装置が備えるシステムコントローラ３０と比較すると、特徴点抽出部３４及び特徴点情報設定部４１が省略されている点で相違する。また、図１６に示すシステムコントローラ３０ｂにおいて、特徴点位置演算部及び合焦情報算出部の動作が実施の形態１と異なるため、本実施の形態における特徴点位置演算部及び合焦情報算出部を、実施の形態１における特徴点位置演算部３５及び合焦情報算出部３２と区別するために、それぞれ特徴点位置演算部３５ｂ及び合焦情報算出部３２ｂと呼ぶ。

本実施の形態において、合焦情報算出部３２ｂは、各単位エリアのコントラスト情報を特徴点位置演算部３５ｂへ出力する。

特徴点位置演算部３５ｂは、合焦情報算出部３２ｂから出力されるコントラスト情報に基づいて、特徴点が存在する位置を演算する。具体的には、特徴点位置演算部３５ｂは、コントラスト情報に基づき、背景と被写体とのコントラスト差から生じ、被写体の輪郭を示すエッジ情報を生成する。エッジ情報を生成する方法として、例えば、輝度値の比較により２値化する方法や、微分フィルタを用いてエッジ検出する方法があるが、エッジ情報を生成することができる方法であればよく、これら以外の方法を用いてエッジ情報を生成してもよい。

特徴点位置演算部３５ｂは、所定のタイミングにおけるエッジ情報と、当該所定のタイミングから一定時間が経過したタイミングにおけるエッジ情報とを比較し、変化したエッジの位置を特徴点として抽出し、演算により得られた特徴点の特徴点位置情報を低域通過フィルタ３６及び単位エリア選択部４０へ出力する。

本実施の形態において、フォーカス追従撮像処理における撮像装置の動作は、特徴点としてエッジ情報を抽出することの他は実施の形態１に係る撮像装置の動作と同様であるため、図１０を援用し、説明を省略する。

以上のように、本実施の形態によれば、エッジ情報を利用してフォーカス追従すること

（実施の形態５）
実施の形態１〜４において、撮像装置は、ユーザによりシャッター釦１９ａが半押しされた場合にフォーカス追従撮像処理を開始していた。これに対し、本実施の形態に係る撮像装置は、シャッター釦が半押しされ、かつ所定の焦点距離以上になるとフォーカス追従撮像処理を開始することを特徴とする。

図１７は、本発明の実施の形態５に係る撮像装置の構成を示すブロック図である。実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

図１７におけるシステムコントローラ３０ｃは、図１に示す実施の形態１に係る撮像装置が備えるシステムコントローラと比較すると、焦点距離演算部４２をさらに含む点で相違する。また、図１７に示すシステムコントローラ３０ｃにおいて、特徴点位置演算部及びレンズ位置制御部の動作が実施の形態１と異なるため、本実施の形態における特徴点位置演算部及びレンズ位置制御部を、実施の形態１における特徴点位置演算部３５及びレンズ位置制御部３３と区別するために、それぞれ特徴点位置演算部３５ｃ及びレンズ位置制御部３３ｃと呼ぶ。

レンズ位置制御部３３ｃは、合焦情報算出部３２から出力されるデフォーカス量に基づいてフォーカスレンズ１３の位置を制御するための制御信号を生成し、レンズ駆動部２１及び焦点距離演算部４２へ出力する。

焦点距離演算部４２は、レンズ位置制御部３３ｃから出力される制御信号に基づき、焦点距離を演算する。そして、焦点距離が所定値以上になると、焦点距離演算部４２は、フォーカス追従撮像処理を開始するよう特徴点位置演算部３５ｃに指示する。特徴点位置演算部３５ｃは、焦点距離演算部４２からフォーカス追従撮像処理を開始するための指示を受け取ると、フォーカス追従撮像処理を開始する。

図１８は、実施の形態５に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャートである。図１８に示すフローチャートは、システムコントローラ３０ｃ上で動作するプログラムの動作フローを示す。図１８において、ユーザによりシャッター釦１９ａが半押しされた場合、フォーカス追従撮像処理が開始される。

ステップＳ３０１において、焦点距離演算部４２は、レンズ位置制御部３３ｃから出力される制御信号に基づいて焦点距離を演算する。続くステップＳ３０２において、焦点距離演算部４２は、演算した焦点距離が所定値以上であるか否かを判断する。焦点距離が所定値未満である場合、焦点距離演算部４２はフォーカス追従撮像処理を終える。

一方、焦点距離が所定値以上である場合、焦点距離演算部４２は、図１０のステップＳ２０１の処理へ進む。ステップＳ２０１以降の処理は実施の形態１と同様であるため、図１０を援用し、説明を省略する。

以上のように、本実施の形態によれば、ユーザによりシャッター釦が半押しされ、かつ焦点距離が一定値以上となった場合にフォーカス追従撮像処理を開始することができる。これにより、高倍率で撮像する際に被写体の移動量が大きくなった場合においても、被写体を捉えているＡＦエリアの表示を見やすく画面に表示させることができる。

（実施の形態６）
実施の形態１〜５に係る撮像装置は、特徴点の移動に伴いＡＦエリア枠の位置のみを変更しており、ＡＦエリアの大きさは常に一定であった。これに対し、本実施の形態に係る撮像装置は、被写体の移動量に応じてＡＦエリアの大きさを変更することを特徴とする。

図１９は、本発明の実施の形態６に係る撮像装置の構成を示すブロック図である。実施の形態６に係る撮像装置は、実施の形態１に係る撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

図１９に示すシステムコントローラ３０ｄは、図１に示す実施の形態１に係る撮像装置が備えるシステムコントローラ３０と比較すると、エリア面積変更部４３とをさらに含む点で相違する。また、図１９に示すシステムコントローラ３０ｄにおいて、特徴点位置演算部３５ｄ及びＡＦエリア選択部３７ｄの動作が実施の形態１と異なるため、本実施の形態における特徴点位置演算部及びＡＦエリア選択部を実施の形態１における特徴点位置演算部３５及びＡＦエリア選択部３７と区別するために、それぞれ特徴点位置演算部３５ｄ及びＡＦエリア選択部３７ｄと呼ぶ。

特徴点位置演算部３５ｄは、実施の形態１と同様に、特徴点抽出部３４により抽出された被写体の特徴点のｘ方向及びｙ方向の座標を演算して出力する。実施の形態１において、特徴点位置演算部３５ｄは、座標情報を低域通過フィルタ３６及び単位エリア選択部４０へ出力していた。これに対し、本実施の形態において、特徴点位置演算部３５ｄは、座標情報を低域通過フィルタ３６、単位エリア選択部及びエリア面積変更部４３へ出力する。

エリア面積変更部４３は、特徴点位置演算部３５ｄから出力された特徴点位置情報に基づき、ＡＦエリアの面積を算出する。具体的には、エリア面積変更部４３は、特徴点位置情報の波形に対して包絡線検波や２乗平均を行うなどして振幅を演算する。そして、エリア面積変更部４３は、振幅の変化に応じて、ＡＦエリアの面積をＡＦエリア選択部３７ｄに通知する。以下、特徴点位置情報として、ｘ座標及びｙ座標の情報に基づいて包絡線検波を行い、振幅を演算する場合を例に説明する。

ＡＦエリア選択部３７ｄは、エリア面積変更部４３に通知された面積と、定期通過フィルタ３６から出力された抽出位置情報とに基づいて、ＡＦエリアの表示位置および面積を算出する。そして、ＡＦエリア選択部３７ｄは、算出したＡＦエリアの表示位置および面積を表示位置情報として表示部１７へ出力し、ＡＦエリア枠を表示させる。

本実施の形態において、フォーカス追従撮像処理における撮像装置の動作は、実施の形態１と比較すると、図１０に示すフローチャートのステップＳ２０６以降の処理が異なる。図２０は、実施の形態６に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャートである。以下、図１０及び図２０を参照し、本実施の形態に係る撮像装置の動作について説明する。

図１０に示すステップＳ２０６において、ＡＦエリア選択部３７ｄは、ＡＦエリアの表示位置を選択する。次に、図２０に示すステップＳ４０１において、エリア面積変更部４３は、ＡＦエリアの面積を変更するか否かを判断する。具体的には、エリア面積変更部４３は、特徴点位置情報の波形に基づいて包絡線検波を行い、振幅の変化が所定値以上であるか否かを判断する。

ＡＦエリアの面積に変更がある場合、つまり、振幅の変化が所定値以上である場合、エリア面積変更部４３は、ＡＦエリアの面積をＡＦエリア選択部３７ｄに通知する。

続くステップＳ４０２において、ＡＦエリア選択部３７ｄは、通知された面積と抽出位置情報とに基づいて、ＡＦエリアの表示位置および面積を算出し、表示位置情報として表示部１７へ出力する。表示部１７は、表示位置情報に基づきＡＦエリア枠を表示する。そして、処理は図１０のステップＳ２０７へ進む。一方、ＡＦエリアの面積に変更がない場合、つまり、振幅の変化が所定値以下である場合、エリア面積変更部４３は、ＡＦエリア枠の大きさを通知せずに図１０のステップＳ２０７の処理へ進む。

図２１は、特徴点位置演算部３５ｄによって演算される特徴点の座標を示す図である。図２１の上段に示すグラフは、特徴点が存在する単位エリアのｘ方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部１７における特徴点の存在する単位エリアのｘ座標を表し、横軸は時間ｔを表す。また、波形Ｗｘ３は、特徴点位置演算部３５ｄから出力される特徴点位置情報のうち、ｘ方向における位置の経時変化を示す波形である。波形Ｗｘ４は、低域通過フィルタ３６から出力される抽出のうち、ｘ方向における位置の経時変化を示す波形である。

一方、図２１の下段に示すグラフは、特徴点が存在する単位エリアのｙ方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部１７における特徴点の存在する単位エリアのｙ座標を表し、横軸は時間ｔを表す。また、波形Ｗｙ３は、特徴点位置演算部３５ｄから出力される特徴点位置情報のうち、ｙ方向における位置の経時変化を示す波形である。波形Ｗｙ４は、低域通過フィルタ３６から出力される抽出のうち、ｘ方向における位置の経時変化を示す波形である。ここで説明したＷｘ３，Ｗｘ４，Ｗｙ３，Ｗｙ４は、それぞれ実施の形態１で説明した図１３に示すＷｘ１，Ｗｘ２，Ｗｙ１，Ｗｙ２と同様である。

包絡線検波を行う際には、予め所定の閾値が定められており、当該所定の閾値以上の値、及び所定の閾値未満の値のそれぞれについて包絡線検波が行われる。図２１において、波形Ｗｘ５は、波形Ｗｘ３の座標のうち、所定の閾値以上の座標に基づいて包絡線検波を行った波形を表す。また、波形Ｗｘ６は、波形Ｗｘ３の座標のうち、所定の閾値未満の座標に基づいて包絡線検波を行った波形を表す。この波形Ｗｘ５と波形Ｗｘ６との差がｘ方向の振幅となる。

一方、波形Ｗｙ５は、波形Ｗｙ３の座標のうち、所定の閾値以上の座標に基づいて包絡線検波を行った波形を表す。また、波形Ｗｙ６は、波形Ｗｙ３の座標のうち、所定の閾値未満の座標に基づいて包絡線検波を行った波形を表す。この波形Ｗｙ５と波形Ｗｙ６との差がｙ方向の振幅となる。

このように、エリア面積変更部４３は、ｘ方向及びｙ方向について被写体の特徴点の位置変化を振幅として求め、表示すべきＡＦエリアの面積（単位エリアの数）を算出する。

図２２は、実施の形態６におけるＡＦエリア枠が表示された表示部１７の概観図である。以下、図２１及び図２２を参照して、表示部１７に表示されるＡＦエリア枠のサイズの制御方法について説明する。

図２１において、時間ｔ１に近づくにつれて被写体の移動量が大きくなり、ｘ方向及びｙ方向における特徴点の位置変動の振幅が大きくなっている。時間０において、ＡＦエリアＡ３ａが７×５個の単位エリアから形成されている場合、時間ｔ１に近づくにつれ、９×７個の単位エリアから形成されるＡＦエリアＡ３ｂ，１０×８個の単位エリアから形成されるＡＦエリアＡ３ｃの順に、表示部１７に表示されるＡＦエリア枠のサイズが拡大される。

以上のように、本実施の形態によれば、実施の形態１〜５において説明した効果に加えて、被写体の動きに合わせてＡＦエリアのサイズを制御するような構成を有しているため、撮像装置本体の手振れ量の個人差や高倍率にした場合における手振れ量が大きくなる状態に合わせてＡＦエリアの大きさが制御され、画面上での被写体の動きに合わせて小刻みにＡＦエリア枠の表示位置が変動することなく被写体を捉える範囲をさらに安定に見やすく表示させることができ、かつフォーカス追従するための演算処理も最小限の負荷で行うことができる。

また、手振れ等の像ぶれによる画面上での被写体の動きの変動はズーム倍率にほぼ比例して大きくなるため、ズーム倍率にほぼ比例してＡＦエリアのサイズを変更するように構成することで、特徴点の位置変動の包絡線検波を用いたサイズ変更の機能に加えて応答性を向上させることが可能になる。

なお、本実施の形態では、包絡線検波の処理について、図２１に示すように、所定の閾値以上あるいは所定の閾値未満の特徴点の座標に基づいて行う場合を例に説明した。ここで、特徴点の座標が所定の閾値以上であり、かつ前回の座標を上回る値であった場合に、今回の座標を包絡線検波の出力として求める、あるいは特徴点の座標が所定の閾値未満であり、かつ前回の座標を下回る値であった場合に、今回の座標を包絡線検波の出力として求める、いわゆるピークホールドの処理を施してもよい。また、所定の時間経過後は、ピークホールドの処理をリセットし、最初からピークホールドの処理を行うようにしてもよい。

（実施の形態７）
本発明に係る実施の形態７では、実施の形態１において説明した低域通過フィルタ３６の動作原理について、さらに詳細に説明する。実施の形態１では、特徴点位置演算部３５から出力される特徴点位置情報から高域成分を除去することにより、特徴点位置情報の時間的な振動周波数の低域成分を抽出して出力し、抽出した低域成分の値をＡＦエリアの表示位置情報としてＡＦエリア選択部３７へ出力するものとして説明した。

本実施の形態では、低域通過フィルタ３６の具体的な構成およびカットオフ周波数ｆｃの設定方法について説明する。なお、本実施の形態に係る撮像装置は、実施の形態１に係る撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

図２３Ａ〜Ｄは、被写体とエリア枠が写し出された表示部１７の概観図である。図２３では、表示部１７に表示すべき画像信号を横方向（ｘ方向）に１６分割、ｙ方向に１２分割した例を示している。この場合、画像信号は１６×１２個の単位エリアに分割され、表示部１７には、１６×１２個の単位エリアをそれぞれ囲む単位エリア枠が表示される。なお、図２３Ａ〜Ｄに示す各単位エリアの座標は、ｘ方向が０〜１５、ｙ方向が０〜１１の単位で表される。例えば、表示部１７をＱＶＧＡ（Ｑｕａｒｔｅｒ ＶＧＡ）とした場合、ｘ方向の画素数は３２０、ｙ方向の画素数は２４０であるため、単位エリアＢ４ａ〜ｄは、それぞれ２０［画素］×２０［画素］で表されるエリアとして定義される。

図２３Ａ〜Ｄは、図２３Ａ、図２３Ｂ、図２３Ｃ、図２３Ｄの順に、手振れあるいは被写体の移動により、表示部１７に写し出されている被写体Ｐ１の位置が変化する様子を示している。これに伴い、特徴点抽出部３４において抽出される被写体の特徴点が存在する単位エリア枠は、座標（７，５）のエリアＢ４ａ、座標（８，６）のエリアＢ４ｂ、座標（８，５）のエリアＢ４ｃ、座標（７，６）のエリアＢ４ｄの順に移動する。

図２３Ａ〜Ｄにおいて、点線枠は、従来の撮像装置のフォーカス追従により移動するＡＦエリア枠を示す。図２３Ａ〜Ｄに示す例では、ｘ方向の特徴点位置情報は、７、８、８、７の順に出力され、ｙ方向の特徴点位置情報は、５、６、５、６の順に出力される。先に述べたように、単位エリアＢ４は２０［画素］×２０［画素］で構成されるので、ｘ方向の座標が７から８へ、あるいは８から７へ変化した場合、被写体の像ぶれがｘ方向に２０［画素］分生じ、ｙ方向の座標が５から６へ、あるいは６から５へ変化した場合、被写体の像ぶれがｙ方向に２０［画素］分生じることとなる。例えば、特徴点位置情報が１／３０秒毎に出力され、被写体がＡＦエリアの中心に位置するようにＡＦエリア枠の表示位置を移動させた場合、従来の撮像装置では、ＡＦエリア枠が１／３０秒毎に２０［画素］分ずつｘ方向またはｙ方向に移動する。したがって、表示されるＡＦエリア枠の位置が小刻みに変動することとなるため、画面の表示が非常に見づらくなってしまう。

一方、図２３Ａ〜Ｄにおいて、エリアＡ４ａ〜ｄを囲む実線枠は、本実施形態に係る撮像装置のフォーカス追従により移動するＡＦエリア枠を示す。本実施の形態に係る撮像装置は、座標の時間的な振動周波数の変動成分のうち、低域成分を抜き取る低域通過フィルタ３６を備えているため、ＡＦエリア枠の小刻みな位置変動を防止することができる。

図２４は、本実施の形態に係る低域通過フィルタ３６の詳細を示すブロック図である。図２４は、低域通過フィルタ３６が、ディジタル回路で構成されたＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）である場合の構成例である。

低域通過フィルタ３６は、位置情報処理部３６０ｘと、位置情報処理部３６０ｙとを有する。位置情報処理部３６０ｘは、係数ブロック３６１、３６３と、遅延ブロック３６２と、加算ブロック３６４とからなり、ｘ方向の特徴点位置情報の時間的な振動周波数から低域成分を抜き取って出力する。位置情報処理部３６０ｙは、係数ブロック３６５、３６７と、遅延ブロック３６６と、加算ブロック３６７とからなり、ｙ方向の特徴点位置情報の時間的な振動周波数から低域成分を抜き取って出力する。位置情報処理部３６０ｘおよび位置情報処理部３６０ｙは処理する特徴点位置情報が相違するが、基本的な動作は同じであるため、位置情報処理部３６０ｘを代表例として説明する。

まず、特徴点位置演算部３５から出力されたｘ方向の特徴点位置情報が低域通過フィルタ３６の加算ブロック３６４に入力される。ここで、例えば、特徴点位置演算部３５は、ｘ方向の特徴点位置情報として図２３Ａ〜Ｄに示す単位エリアＢ４のｘ方向の座標を出力し、ｙ方向の特徴点位置の座標として図２３Ａ〜Ｄに示す単位エリアＢ４のｙ方向の座標を出力する。特徴点位置情報は、例えば、１／３０秒毎に更新して出力される。

加算ブロック３６４は、特徴点位置演算部３５から出力される値と、係数ブロック３６３から出力される値とを加算する。係数ブロック３６１は、加算ブロック３６４によって加算された値を所定の係数Ｋ１で処理し、エリアＡ選択部３７へ出力する。

遅延ブロック３６２は、加算ブロック３６４によって加算された値を所定の時間だけ遅延させて係数ブロック３６３へ出力する。本実施の形態において、遅延ブロック３６２は、入力された信号を１／ｆｓ＝１／３０［ｓ］だけ遅延させて出力するものとする（ｆｓ：サンプリング周波数）。

係数ブロック３６３は、遅延ブロック３６２から出力される値を所定の係数Ｋ２で処理し、加算ブロック３６４へ出力する。

ここで、カットオフ周波数をｆｃとして、ｆｃ＜＜ｆｓが成り立つとすると、以下に示す数式（１）で表されるＫ１および数式（２）で表されるＫ２を係数として設定することで、低域通過フィルタを構成することができる。

Ｋ１＝１／｛１＋１／（３０×２×π×ｆｃ）｝・・・（１）
Ｋ２＝１／｛１＋（３０×２×π×ｆｃ）｝ ・・・（２）

上記の数式（１）および（２）に示すように、カットオフ周波数ｆｃを小さくすると、ＡＦエリア枠の変動量を減少させることができる。したがって、係数Ｋ１およびＫ２に含まれるカットオフ周波数ｆｃを適切に設定することにより、ＡＦエリア枠の変動量を調整することができるため、ユーザがＡＦエリア枠の振動を感じないようにカットオフ周波数ｆｃを設定すればよいことが分かる。

図２５Ａ、Ｂは、低域通過フィルタ３６の入出力信号波形である。図２５Ａは、低域通過フィルタ３６に入力する入力信号の波形を示す図であり、図２５Ｂは、低域通過フィルタ３６から出力される出力信号の波形を示す図である。図２５Ａ、Ｂにおいて、縦軸は被写体の変位量に相当する画素数を表し、横軸はフレーム番号を表す。

低域通過フィルタ３６へ入力される信号としては、ｘ方向およびｙ方向の２系統が存在するが、図２５ＡおよびＢには、そのうちの一系統のみの入力信号の波形と出力信号の波形とを示している。また、図２５Ｂは、カットオフ周波数ｆｃ＝０．２［Ｈｚ］として係数Ｋ１およびＫ２を設定した場合に、図２５Ａに示す入力信号が入力した低域通過フィルタ３６から出力される出力信号をモニタしたグラフである。

図２５Ａでは、入力信号によって表される被写体の位置が±２０［画素］の範囲で変動している例を示す。図２５Ｂに示す出力信号は、カットオフ周波数ｆｃ＝０．２［Ｈｚ］の低域通過フィルタ３６における位置情報処理部３６０ｘまたは３６０ｙに入力した入力信号が減衰して出力されている様子を示す。フレームの更新周期が１／３０秒である場合、フレーム番号０〜３００までにかかる時間は１０秒である。

次に、本実施形態に係る低域通過フィルタ３６のカットオフ周波数ｆｃを変化させ、表示部１７に写し出される被写体の像ぶれの程度を評価した。具体的には、１０名の被験者が、それぞれＱＶＧＡの２．５インチのモニタ画面に写し出される被写体の像ぶれを評価し、像ぶれの程度が「像ぶれ問題なし：１点」、「どちらとも言えない：０．５点」、「像ぶれ問題あり：０点」のいずれに該当するかを判断した。

そして、低域通過フィルタのカットオフ周波数ｆｃを５［Ｈｚ］、４［Ｈｚ］、３［Ｈｚ］、２［Ｈｚ］、１［Ｈｚ］、０．５［Ｈｚ］、０．２「Ｈｚ」、０．１［Ｈｚ］・・・と段階的に変化させた場合のそれぞれについて、被験者による像ぶれの評価を行った。

図２６は、低域通過フィルタ３６のカットオフ周波数ｆｃと、被験者による像ぶれ評価点との関係を示すグラフである。図２６において、縦軸は被験者による像ぶれの評価点の平均値を表し、横軸はカットオフ周波数ｆｃを表す。

図２６に示すように、評価の結果、低域通過フィルタ３６のカットオフ周波数ｆｃを１［Ｈｚ］よりも大きく設定した場合、「像ぶれ問題あり」と評価される割合が多かった。一方、カットオフ周波数ｆｃを１［Ｈｚ］以下に設定した場合、「像ぶれ問題あり」から「像ぶれ問題なし」に評価される割合が多くなった。さらに、カットオフ周波数ｆｃを０．１［Ｈｚ］以下に設定すると、ほぼ全員が「像ぶれ問題なし」と評価した。

以上より、低域通過フィルタのカットオフ周波数ｆｃを０．１［Ｈｚ］〜１［Ｈｚ］の範囲で設定することで、ＡＦエリア枠が小刻みに変動することやぎくしゃくすることを低減することができ、比較的見やすいＡＦエリア枠をモニタ画面上に表示させることができる。図２３Ａ〜Ｄに示すように、被写体Ｐ１が１／３０［ｓ］毎に小刻みに移動している場合であっても、本実施形態によれば、被写体Ｐ１の移動範囲がほぼ中心となるように、実線枠で示されたＡＦエリア枠の表示位置を安定させることができる。

次に、ユーザにとって見やすい表示となるＡＦエリア枠の変動範囲について具体的に説明する。低域通過フィルタへ入力する入力信号において、ｘ方向およびｙ方向の被写体の位置がそれぞれ４０［画素］の範囲で１／ｆｓ［ｓ］毎にランダムに変位すると仮定した場合、入力信号が存在する周波数の範囲は、サンプリング周波数ｆｓの１／２と定義することができる。また、ｆｓ／２の範囲に存在する入力信号の平均電力は、統計的にｆｃ×π／２と表される。したがって、低域通過フィルタ３６を通過した出力信号の電力は、（ｆｃ×π／２）／（ｆｓ／２）に減衰する。ここで、電圧≒電力^{（１／２）}の関係にあることから、カットオフ周波数ｆｃ［Ｈｚ］の１次の低域通過フィルタから出力されるｘ方向の変位量Ｐｘと、ｙ方向の変位量Ｐｙとは、以下に示す数式（３）および（４）で表すことができる。

Ｐｘ≒｛（ｆｃ×π／２）／（ｆｓ／２）｝^{（１／２）}×４０・・・（３）
Ｐｙ≒｛（ｆｃ×π／２）／（ｆｓ／２）｝^{（１／２）}×４０・・・（４）

数式（３）および（４）において、例えば、カットオフ周波数ｆｃをパラメータとした場合、下記のようにＡＦエリア枠の表示位置の変動を低減することができる。

ｆｃ＝５［Ｈｚ］のときＰｘ＝Ｐｙ≒２９［画素］
ｆｃ＝４［Ｈｚ］のときＰｘ＝Ｐｙ≒２６［画素］
ｆｃ＝３［Ｈｚ］のときＰｘ＝Ｐｙ≒２２［画素］
ｆｃ＝２［Ｈｚ］のときＰｘ＝Ｐｙ≒１８［画素］
ｆｃ＝１［Ｈｚ］のときＰｘ＝Ｐｙ≒１３［画素］
ｆｃ＝０．５［Ｈｚ］のときＰｘ＝Ｐｙ≒９［画素］
ｆｃ＝０．２［Ｈｚ］のときＰｘ＝Ｐｙ≒６［画素］
ｆｃ＝０．１［Ｈｚ］のときＰｘ＝Ｐｙ≒４［画素］

以上より、モニタ画面の更新周期が１／３０［ｓ］である場合、ｆｃ＝０．１［Ｈｚ］〜１［Ｈｚ］の範囲では、像ぶれが４［画素］〜１３［画素］残留する。しかしながら、３２０［画素］×２４０［画素］のＱＶＧＡの画面サイズに対して、おおよそ１〜５％以内でＡＦエリア枠の表示位置の変動を低減することにより、被写体の動きに合わせてＡＦエリア枠が小刻みに変動することなく、画面の表示を見やすくすることができる。

また、本実施の形態では、低域通過フィルタ３６はディジタルフィルタで構成されている。これにより、低域通過フィルタのカットオフ周波数ｆｃやブロックの係数を変更することで、ＡＦエリア枠の表示条件を容易に設定／変更することができる。したがって、モニタ画面のサイズや撮像装置本体の大きさ、種類の違いによる像ぶれ量の差に応じて、容易にＡＦエリア枠の表示を見やすい条件に設定することが可能になる。

また、本実施の形態では、被写体の位置情報に時間的な変動を抑制する低域通過フィルタを介して出力した位置情報に基づいてＡＦエリア枠を表示させる際に、当該低域通過フィルタのカットオフ周波数ｆｃを０．１［Ｈｚ］〜１［Ｈｚ］の範囲に設定する例について説明したが、カットオフ周波数ｆｃはユーザがＡＦエリア枠の小刻みな振動を感じない程度であればよく、例えば、画面の画素数やコントラスト、被写体の大きさに応じて適宜決定するとよい。また、本実施の形態では、モニタ画像を２．５インチのＱＶＧＡとした場合に、像ぶれを４［画素］〜１３［画素］残留する程度に抑えれば、画面の表示を比較的見やすくすることができるという一例について説明したが、モニタ画面を２．５インチの６４０［画素］×４８０［画素］のＶＧＡとした場合には、一方向の解像度アップ率に比例して像ぶれを８［画素］〜２６［画素］残留する程度に抑えれば、画面の表示を比較的見やすくすることができる。さらに、モニタ画面を３インチのＶＧＡとした場合には、インチ数アップ率に反比例して像ぶれを６．７［画素］〜１０．８［画素］残留する程度に抑えれば、画面の表示を比較的見やすくすることができる。

また、ここではＩＩＲのディジタルフィルタとして、係数Ｋ１が数式（１）で表され、係数Ｋ２が数式（２）で表される場合を例に説明したが、この係数の選び方は自由であり、カットオフ周波数が上述の範囲になるように選べばよい。また、低域通過フィルタは、ＩＩＲフィルタに限らず、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタや２次のディジタルフィルタ、その他高次のディジタルフィルタで構成されていてもよい。また、低域通過フィルタはアナログのフィルタであってもよく、その場合、被写体の特徴点位置情報を一旦アナログ信号として取り出すとよい。また、ディジタルフィルタはマイコンなどにプログラミングすることで構成してもよいし、ハードウェアで構成してもよい。

各実施の形態にかかる撮像装置は、具体的な対応に限られず適宜変更可能である。例えば、各実施の形態にかかる撮像装置は、いずれもユーザによりシャッター釦が操作されて静止画を取得するデジタルスチルカメラである場合を例に説明したが、撮像釦が操作されている間所定のタイミングで画像が取得されつづけるデジタルビデオカメラとしても適用可能である。この場合、被写体が移動してもフォーカス追従を行うことができる。また、各実施の形態にかかる撮像装置は、監視カメラ、車載カメラ、ウェブカメラに適用してもよい。この場合、ユーザによりシャッター釦を操作することが難しい場合があり得るが、シャッター釦を所定のタイミングで自動的に操作したり、遠隔操作する等してもよい。

また、各実施の形態にかかる撮像装置は、システムコントローラを個別に備える例であったが、これをパーソナルコンピュータや携帯電話端末の制御ＣＰＵに代用させてなる撮像システムに適用することも可能である。その他、各構成要素同士は、任意の組み合わせが可能であり、例えば、撮影光学系及び撮像素子とその他の構成が物理的に分離されたシステム例、撮影光学系、撮像素子、画像処理部と、その他の構成が物理的に分離されたシステム例などさまざまな組み合わせを考えて良い。

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に好適である。

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関し、特定的には、オートフォーカス機能を備えるデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。

現在、ＣＣＤやＣＭＯＳなどの撮像素子を備えるデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置が爆発的に普及している。これらの撮像装置は、一般的に被写体の画像信号に基づき合焦状態を検出し、検出結果に基づいて撮影光学系に含まれるフォーカスレンズ群を光軸方向に移動させることにより、オートフォーカス制御を行うものが主流である。

撮像装置の多機能化に伴って、オートフォーカス制御に対しても高機能化が求められるようになってきている。例えば、特許文献１には、撮像装置に適用され、フォーカス調整を行うオートフォーカス装置が記載されている。当該オートフォーカス装置は、被写体の画像信号を複数のフォーカスエリアに分割し、それぞれフォーカスエリアに含まれる肌色画素の数をカウントして、フォーカス調整を行うためのフォーカスエリアを特定する。

特許文献１に記載された従来のオートフォーカス装置は、主被写体として人物を想定している。すなわち、当該オートフォーカス装置は、肌色画素に基づいてフォーカス制御を行うことにより、フォーカスエリアが人物に追従し、常に人物に的確に合焦できるとしている。
特開２００４−３７７３３号公報

特許文献１に記載された従来のオートフォーカス装置は、人物に追従してフォーカス追従を行うことを想定し、フォーカス追従しているエリアをマーカーなどで表示させる、あるいは複数のフォーカスエリアの中から選択して表示させる。しかしながら、この場合、オートフォーカス装置本体の振れなどによって、撮影前のモニタ画面に表示されているマーカーまたは選択されたフォーカスエリアの位置が小刻みに変化し、モニタ画面が非常に見づらくなるという問題がある。特に、高倍率で撮像する場合、この影響が顕著になってしまう。

また、特許文献１に記載の従来のオートフォーカス装置では、モニタ画面の広い範囲でフォーカス追従のための特徴点抽出を行う必要があるため、演算処理の負荷が重くなってしまう。さらに、主被写体として人物のみを想定しているため、他の被写体の場合にフォーカス追従を行うことができない。デジタルスチルカメラやデジタルビデオカメラ等の撮像装置は、主被写体が人物である場合ばかりではないため、特許文献１に記載の従来のオートフォーカス装置は、ユーザの要求に十分に応えることができない。

それゆえに、本発明の目的は、移動する被写体に対してフォーカス調整を行うことができ、かつ表示すべきフォーカスエリアの不要な変動を防止することができる撮像装置を提供することである。

本発明の目的の１つは、以下の構成を備えた撮像装置によって達成される。被写体の電気的な画像信号を出力する撮像装置であって、焦点調節を行うためのフォーカスレンズ群を含み、被写体の光学的な像を形成する撮像光学系と、被写体の光学的な像を撮像して、電気的な画像信号に変換する撮像素子と、画像信号を複数のエリアに分割する画像分割部と、複数のエリアのうち、少なくとも１つのエリアを含む第１のエリア群内で撮像光学系の合焦情報を算出する合焦情報算出部と、合焦情報に基づいて、フォーカスレンズ群を光軸方向に駆動制御するレンズ駆動制御部と、複数のエリアのうち、少なくとも１つのエリアを含む第２のエリア群内で被写体の特徴点を抽出し、当該特徴点の位置を示す特徴点位置情報として出力する特徴点抽出部と、特徴点位置情報の時間的な振動周波数の低域成分を抽出し、抽出位置情報として出力する低域通過フィルタと、抽出位置情報に基づいて、表示すべき第２のエリア群の位置を演算し、表示位置情報として出力するエリア選択部とを備える。

本発明によれば、移動する被写体に対してフォーカス調整を行うことができ、かつ表示すべきフォーカスエリアの不要な変動を防止することができる撮像装置を提供することができる。

（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置のブロック図である。実施の形態１にかかる撮像装置は、レンズ鏡筒１１と、撮像光学系であるズームレンズ系１２及びフォーカスレンズ１３と、撮像素子であるＣＣＤ１４と、画像処理部１５と、画像メモリ１６と、表示部１７と、操作部１９と、レンズ駆動部２１と、システムコントローラ３０とを含む。

レンズ鏡筒１１は、内部にズームレンズ系１２を保持する。ズームレンズ系１２及びフォーカスレンズ１３は、被写体の光学的な像を変倍可能に形成する撮像光学系である。撮像光学系は、被写体側から順に、変倍時に光軸に沿って移動するズームレンズ群１２ａ及びズームレンズ群１２ｂと、合焦状態に調節のために光軸に沿って移動するフォーカスレンズ１３とからなる。

ＣＣＤ１４は、ズームレンズ系１２が形成した光学的な像を所定のタイミングで撮像し、電気的な画像信号に変換して出力する撮像素子である。画像処理部１５は、ＣＣＤ１４から出力された画像信号にホワイトバランス補正やγ補正などの所定の画像処理を施す処理部である。画像メモリ１６は、画像処理部１５から出力された画像信号を一次的に格納する。

表示部１７は、典型的には液晶ディスプレイであり、後述するシステムコントローラ３０からの指令に基づき、ＣＣＤ１４から出力された画像信号あるいは画像メモリ１６に格納された画像信号を、画像処理部１５を介して入力させ、この画像信号を可視画像としてユーザに表示する。また、画像処理部１５は、ユーザにより着脱可能なメモリーカード１８と双方向にアクセス可能である。メモリーカード１８は、後述するシステムコントローラ３０からの指令に基づき、ＣＣＤ１４から出力された画像信号あるいは画像メモリ１６に格納された画像信号を、画像処理部１５を介して入力させて格納したり、格納された画像信号を、画像処理部１５を介して画像メモリ１６へ出力させ一時的に格納させたりする。

操作部１９は、撮像装置本体の外側に設けられ、ユーザが撮像装置本体の設定を行うため、あるいは操作するために用いる釦類である。なお、操作部１９は、複数の操作釦を含むが詳細は図３を用いて後述する。

レンズ駆動部２１は、後述するシステムコントローラ３０のレンズ位置制御部３３からの指令に基づき、フォーカスレンズ１３を光軸方向（Ａ方向あるいはＢ方向）に駆動する駆動信号を出力する。また、レンズ駆動部２１は、ズームレバー（図示せず）をユーザが操作することによりズームレンズ１２を光軸方向に駆動させる機能も有する。

システムコントローラ３０は、画像分割部３１と、合焦情報算出部３２と、レンズ位置制御部３３と、特徴点抽出部３４と、特徴点位置演算部３５と、低域通過フィルタ３６と、ＡＦエリア選択部３７と、単位エリア選択部４０とを含む。

画像分割部３１は、画像メモリ１６から出力される画像信号を複数の単位エリアに分割する処理を行う。

合焦情報算出部３２は、画像分割部３１により複数の単位エリアに分割された画像信号から、各単位エリアのコントラスト情報とフォーカスレンズ１３の位置情報とに基づいてデフォーカス量を演算する。合焦情報算出部３２は、少なくとも１以上の単位エリアを含む第１のエリア群内において、デフォーカス量を演算する。本実施の形態では、第１のエリア群は、後述する被写体の特徴点を抽出する処理およびデフォーカス量を演算する処理を行う最小の単位エリア群で構成される。

レンズ位置制御部３３は、合焦情報算出部３２から出力されるデフォーカス量に基づいてフォーカスレンズ１３の位置を制御するための制御信号を生成し、レンズ駆動部２１へ出力する。また、レンズ位置制御部３３は、レンズ駆動部２１によりフォーカスレンズ１３を駆動させたときの位置情報を合焦状態算出部３２に出力する。このとき、合焦状態算出部３２は、フォーカスレンズ１３の位置情報とコントラスト情報とからデフォーカス量を算出することができる。

特徴点抽出部３４は、画像分割部３１によって複数の単位エリアに分割された画像信号から各単位エリアの特徴点を抽出する。本実施の形態において、特徴点抽出部３４は、各単位エリアの特徴点として色情報を算出し、算出した色情報を特徴点位置演算部３５へ出力する。特徴点は、少なくとも１以上の単位エリアを含む第２のエリア群内から抽出されるが、本実施の形態において、特徴点が抽出されるエリアは、後述するＡＦエリア選択部３７から出力されたＡＦエリアの範囲を示す表示位置情報により決定されるものとして説明する。特徴点抽出部３４は、後述するＡＦエリア選択部３７から出力された特徴点設定エリアの範囲を示す表示位置情報に基づき、単位エリアに分割された画像信号のうち、特徴点設定エリアの範囲に含まれる各単位エリアの特徴点として色情報を算出し、特徴点情報設定部４１へ出力する。

特徴点情報設定部４１は、特徴点抽出部３４から出力される各単位エリアの色情報のうち、ユーザにより選択された単位エリアの色情報を算出して格納し、特徴点情報設定処理を行う。なお、特徴点情報設定部４１は、不揮発性メモリを含み、一旦格納させた参照色情報を撮像装置本体の電源を切った場合でも保持することが可能である。特徴点情報設定部４１は、フォーカス追従撮像処理を行う場合、格納している色情報を読み出して特徴点位置演算部３５へ出力する。

特徴点位置演算部３５は、特徴点抽出部３４から出力される各単位エリアの特徴点と、特徴点情報設定部４１から出力される特徴点とを比較してほぼ一致する位置を演算する。本実施の形態において、特徴点位置演算部３５は、各単位エリアの色情報と、特徴点情報設定部４１から出力される色情報とを比較してほぼ一致する位置を演算する。特徴点位置演算部３５は、演算により得られた特徴点位置情報を低域通過フィルタ３６及び単位エリア選択部４０へ出力する。特徴点位置情報は、例えば座標を示す情報である。

低域通過フィルタ３６は、特徴点位置演算部３５から出力される特徴点位置情報から高域成分を除去することにより、特徴点位置情報の時間的な振動周波数の低域成分を抽出して出力する。例えば、低域通過フィルタは、特徴点位置情報を加算してその平均値を出力する加算平均や、一定期間内に得られた特徴点位置情報の平均値を出力する移動平均により、特徴点位置情報の低域成分を抜き取る。低域通過フィルタ３６は、抽出した低域成分の値を抽出位置情報としてＡＦエリア選択部３７へ出力する。

ＡＦエリア選択部３７は、低域通過フィルタ３６から出力される抽出位置情報に基づき、表示部１７に表示させるＡＦエリアの位置を示す表示位置情報を生成し、特徴点抽出部３４及び表示部１７に出力する。ＡＦエリア選択部３７は、フォーカス追従撮像処理において、最初にＡＦエリアを表示させる際、図示しないメモリに予め格納されているデフォルトの表示位置情報を読み出し、特徴点抽出部３４及び表示部１７に出力する。

また、ＡＦエリア選択部３７は、特徴点情報設定処理において、最初に特徴点設定エリアを表示させる際、図示しないメモリに予め格納されているデフォルトの表示位置情報を読み出し、特徴点抽出部３４及び表示部１７に出力する。

単位エリア選択部４０は、特徴点位置演算部３５から出力される特徴点位置情報に基づき、特徴点位置情報が示す位置に存在する単位エリアを選択する。例えば、特徴点位置情報が座標を示す情報である場合、単位エリア選択部４０は、特徴点位置演算部３５から出力される座標を含む単位エリアを選択する。そして、単位エリア選択部４０は、選択した単位エリアを囲む単位エリア枠を表示部１７に表示させる。

次に、ＡＦエリア及び単位エリアについて説明する。図２は、表示部１７に表示されるエリア枠を示す図である。図２では、表示部１７に表示すべき画像信号を横方向（ｘ方向）に１８分割、縦方向（ｙ方向）に１３分割させた例を示している。この場合、画像信号は１８×１３個の単位エリアに分割され、表示部１７には、１８×１３個の単位エリアをそれぞれ囲む単位エリア枠が表示される。

図２において、単位エリアＢ０は、後述する被写体の特徴点抽出処理及び合焦情報算出処理を行う単位エリアの一つを表し、この例では座標（１０，７）で表される。なお、１８×１３個の単位エリア枠を必ずしも表示させなくともよく、単位エリア選択部４０により選択された単位エリアを囲む単位エリア枠のみを表示させてもよい。例えば、すべてのエリア枠を表示させる場合、表示部１７の表示を見やすくするために、単位エリア枠の線を細くするか薄い色の線を用いて表示させてもよい。

また、後述するフォーカス追従撮像処理の動作中は、表示部１７には少なくとも１つ以上の単位エリアから形成されるＡＦエリアＡ０を囲むＡＦエリア枠が表示される。ＡＦエリアＡ０は、被写体のフォーカス追従撮像処理において特徴点が抽出されるエリアである。

図３は、本発明の実施の形態１における撮像装置本体背面の概略図である。実施の形態１にかかる撮像装置は、撮像装置本体１０と、表示部１７と、操作部１９と、ファインダー１０ａとを含む。

ファインダー１０ａは、光学的に被写体の像をユーザの瞳に導く光学系である。表示部１７は、先に説明した液晶ディスプレイであり、撮像された画像信号を可視画像としてユーザに表示する。操作部１９は、シャッター釦１９ａと、カーソルキー１９ｂと、決定釦１９ｃと、メニュー釦１９ｄとからなる。

シャッター釦１９ａは、ユーザにより半押しされることによってフォーカス追従撮像処理を開始させ、ユーザにより全押しされることによって撮像した画像をメモリーカードに格納させる操作を行う。カーソルキー１９ｂは、表示部１７に表示された各種動作モードのメニューから項目及びその内容を選択するために操作される。決定釦１９ｃは、カーソルキー１９ｂによって選択された内容を決定するために操作される。メニュー釦１９ｄは、撮像装置本体の一般的な各種動作モードのメニュー表示を行うために操作される。

各種動作モードのメニューの項目には、後述する表示部１７に撮像した画像信号の特徴点情報を格納させる（特徴点情報設定）処理を開始するかどうかが含まれる。ユーザが、メニュー釦１９ｄを操作して、表示部１７に特徴点情報設定処理の開始に関するメニューを表示させると、カーソルキー１９ｂは、ユーザによる操作でその内容の選択を受け付ける。この状態において、ユーザがカーソルキー１９ｂを操作し特徴点情報設定処理の開始を選択し、決定釦１９ｃを操作すると、特徴点情報設定部４１により特徴点情報設定処理が開始される。

図４は、特徴点情報設定処理における撮像装置の動作を示すフローチャートである。図４に示すフローチャートは、システムコントローラ３０上で動作するプログラムの動作フローを示す。また、図５は、被写体が写し出された表示部１７の概観図である。図５では、表示部１７に被写体Ｐ２が写し出されている例を示している。また、図６は、本発明の実施の形態１における被写体とエリア枠が写し出された表示部１７の概観図である。図６は、被写体Ｐ２に１８×１３個の単位エリア枠を表示させた例を示している。メニュー釦１９ｄと決定釦１９ｃにより色情報を参照するモードが設定された場合、参照色情報設定処理開始から処理が開始される。

ステップＳ１０１において、ＣＣＤ１４で撮像された画像信号が画像処理部１５から出力され、表示部１７に可視画像を表示する。単位エリア選択部４０は、単位エリア枠を表示部１７に表示させる。このとき、表示部１７に表示されている画像は、図６に示すように、可視画像と単位エリア枠とが重畳された表示状態となる。また、画像メモリ１６からシステムコントローラ３０の画像分割部３１に入力された画像信号は、単位エリアごとに分割される。

ステップＳ１０２において、特徴点設定エリアＣ１が選択されたかどうかの入力待ちになる。特徴点設定エリアＣ１は、特徴点を設定するために用いられる。ＡＦエリア選択部３７は、特徴点設定エリアＣ１の範囲を示す表示位置情報を表示部１７に出力し、表示部１７に特徴点設定エリア枠を表示させる。このとき特定のエリア（特徴点設定エリアＣ１）が太枠で囲まれて表示され、選択可能であることが示される。ユーザは、太枠のエリアをカーソルキー１９ｂで移動させることができる。例えば、ユーザが太枠のエリアを移動させて決定釦１９ｃを押すと、図６に示す特徴点設定エリアＣ１が選択されたことになり、ステップＳ１０３の処理に進む。

ステップＳ１０３において、特徴点抽出部３４は、選択された特徴点設定エリアＣ１内に表示されている分割された画像の色情報を算出して、ステップＳ１０４の処理に進む。

ステップＳ１０４において、特徴点情報設定部４１は算出された色情報を格納し、特徴点情報設定処理を終了する。

図７は、実施の形態１における色相及び彩度情報の演算式である。以下、ステップＳ１０３において説明した、特徴点抽出部３４の色相及び彩度情報の演算原理を説明する。なお、画像信号を赤（以降ではＲと称す），緑（以降ではＧと称す），青（以降ではＢと称す）で分けて表し、Ｒ，Ｇ，Ｂをそれぞれ２５６階調として説明する。

色相及び彩度情報の演算は、特徴点抽出部３４において実行される。はじめに、特徴点抽出部３４は、画像分割部３１から出力された分割された画像信号（以下、分割画像信号と呼ぶ）に対して、Ｒ，Ｇ，Ｂの最大値を求め、求められた最大値をＶとする（式１）。次に、特徴点抽出部３４は、画像分割部３１から出力された分割画像信号に対して、最小値を求め、求められた最小値をＶから引き算してｄとする（式２）。さらに、特徴点抽出部３４は、Ｖとｄから彩度Ｓを求める（式３）。

特徴点抽出部３４は、彩度Ｓ＝０であれば色相Ｈ＝０とする（式４）。また、特徴点抽出部３４は、彩度Ｓが０以外の値である場合、所定の処理を行って色相を演算する（式５〜式７）。ここで、所定の処理とは、Ｒ，Ｇ，Ｂの最大値がＲと等しい場合には式５により色相Ｈを求め、Ｇと等しい場合には式６により色相Ｈを求め、Ｂと等しい場合には式７により色相Ｈを求める処理である。

最後に、特徴点抽出部３４は、求められた色相Ｈが負の値に成っている場合、３６０を加算して、正の値に変換する（式８）。以上のようにして、特徴点抽出部３４は、分割画像信号の色相及び彩度情報を演算により算出する。

図８は、実施の形態１における色相及び彩度情報のチャート図である。図８において、彩度Ｓはチャートの半径方向に相当し、中心をＳ＝０とし、周辺へ向けて０〜２５５の範囲で増加するようにプロットされる。また、図８において、色相Ｈは、回転方向に相当し、回転方向に沿って０〜３５９の値で表す。

例えば、分割画像信号の色情報がＲ＝２５０，Ｇ＝１８０，Ｂ＝１２０であったとすると、特徴点抽出部３４は、前述した各式を用いて、各式からＶ＝２５０、ｄ＝２５０−１２０＝１３０、彩度Ｓ＝１３０×２５５／２５０＝１３３、色相Ｈ＝（１８０−１２０）×６０／１３３＝２７を得ることができる。

以上の通り、特徴点抽出部３４は、分割画像信号の彩度と色相とを算出する。算出された彩度と色相とを含む参照色情報は、特徴点情報として特徴点情報設定部４１へ出力され保存される。次に、参照色情報に隣接して設定される参照近傍領域について説明する。

特徴点抽出部３４により算出された参照色情報は、特徴点情報設定部４１に格納され、随時参照されて撮像されるべき被写体の色情報を判断するリファレンスとして用いられる。ところで、一般に、同一被写体であっても照明光や露光時間などの要因によって、撮像した色情報が微妙に変化する場合がある。したがって、参照色情報と撮像されるべき被写体の色情報とを比較する場合、参照色情報に一定の許容幅を持たせて、同一性判断をすることが望ましい。この参照色情報の一定の許容幅を参照近傍領域と呼ぶ。

以下、参照近傍領域を算出する例を示す。図９は、実施の形態１における参照色情報と参照近傍領域１を示した色相及び彩度情報のチャート図である。図９において、参照色情報（Ｈ１，Ｓ１）としてプロットされた点は、特徴点情報設定部４１で格納された色情報に相当する。なお、参照色情報は、一例として先に算出したＲ＝２５０，Ｇ＝１８０，Ｂ＝１２０とした場合に求められる色相Ｈ＝２７（＝Ｈ１）、彩度Ｓ＝１３０（＝Ｓ１）を表している。

参照近傍領域１は、格納されている参照色情報Ｈ１に対して許容幅を規定した領域である。色相の許容幅ΔＨ＝１０とすると、参照近傍領域１は、色相はＨ１±１０の領域に相当し、図９において、１本の円弧と２本の半径方向の線分で囲まれる領域となる。

以上説明した例では、いずれも色相の許容幅を一律に設定したが、これに限られない。補助光源を使用する場合などでは、光源の色相情報に基づいて参照される色情報の範囲を補正することで、暗所で撮像装置を使用している場合においても参照範囲を正確に規定することが可能になる。例えば、ＬＥＤ等を用いた赤系色の補助光源の場合にはＨ１を０の方向にシフトさせることで補正が可能である。

次に、フォーカス追従動作について説明する。図１０は、フォーカス追従撮像処理における撮像装置の動作を示すフローチャートである。図１０に示すフローチャートは、システムコントローラ３０上で動作するプログラムの動作フローを示す。また、図１１Ａ〜Ｄは、実施の形態１における被写体とＡＦエリア枠とが写し出された表示部１７の概観図である。図１１Ａ〜Ｄは、被写体Ｐ１と１８×１３個の単位エリア枠とＡＦエリア枠（エリアＡ１）を表示させた例を示している。図１１Ａ〜Ｄは、それぞれ１／３０［ｓ］の時間が経過する毎に被写体Ｐ１が表示部１７上を移動する様子を示している。これに伴い、特徴点抽出部３４において抽出される被写体の特徴点が存在する単位エリア枠は、エリアＢ１ａ、エリアＢ１ｂ、エリアＢ１ｃ、エリアＢ１ｄの順で移動する。図１０において、ユーザによりシャッター釦１９ａが半押しされた場合、フォーカス追従撮像処理が開始される。

ステップＳ２０１において、表示部１７は、可視画像及びＡＦエリア枠を表示する。具体的には、表示部１７は、ＣＣＤ１４で撮像され画像処理部１５で所定の画像処理が施された画像信号を可視画像として表示する。また、画像信号は画像分割部３１により１８×１３個の単位エリアで分割され、そのうちの７×５個の単位エリアでＡＦエリアＡ１が形成される。ＡＦエリアＡ１を囲むＡＦエリア枠は、画像信号に重ねて表示される。このとき、表示部１７には、図１１Ａに示すように、可視画像とＡＦエリア枠とが重畳された表示状態となる。なお、図１１Ａには、単位エリア枠も表示しているが、単位エリア枠は表示しなくてもよい。

次に、ステップＳ２０２において、ＡＦエリアＡ１の中心座標は表示部１７の所定範囲外にあるかどうかを判定する。ＡＦエリアＡ１の中心座標が所定範囲外にある場合、ＡＦエリア枠が画面の外寄りに表示されてしまう。所定範囲とは、例えば、表示部１７の中央部付近の座標を含む範囲であり、例えば、図１１Ａ〜Ｄにおいて、座標（３，２）、（１４，２）、（１４，１０）、（３，１０）を結ぶエリアで形成される。

ＡＦエリアＡ１の中心座標が所定範囲外にある場合、ステップＳ２０３において、ＡＦエリアＡ１の中心座標をデフォルトにリセットする。ここでは、ＡＦエリアＡ１の中心座標を図４に示す表示部１７の中心座標である座標（８，６）に移動して表示部１７に表示させる。そして、再びステップＳ２０１において、表示部１７は、可視画像及びＡＦエリア枠を表示する。一方、ＡＦエリアＡ１の中心座標が所定範囲内にある場合、ステップＳ２０４の処理に進む。

ステップＳ２０４において、単位エリア選択部４０は、ＡＦエリアＡ１内に特徴点があるかどうかを判定する。具体的には、特徴点情報設定部４１に格納されている参照色情報に基づき、先の図９において説明した方法で参照近傍領域が算出され、特徴点抽出部３４から出力される各エリアの色情報が参照近傍領域内であるかどうかが判定される。特徴点があった場合、つまり、特徴点情報である参照色情報に近い色情報を有するエリアがあった場合、ステップＳ２０５の処理に進む。一方、特徴点がなかった場合、つまり参照色情報に近い色情報を有するエリアがなかった場合、ステップＳ２０８の処理に進む。

画像分割部３１は、１８×１３個の単位エリアに分割した画像信号を特徴点抽出部３４及び合焦情報算出部３２へ出力する。特徴点抽出部３４は、ＡＦエリア選択部３７から出力された表示位置情報情報に基づき、単位エリアに分割された画像信号のうち、ＡＦエリアＡ１の範囲に含まれる各単位エリアの特徴点として色情報を算出する。

図１１Ａでは、特徴点として抽出されたエリアＢ１ａは、座標（５，６）で表される。次の図１１Ｂでは、特徴点として抽出されたエリアＢ１ｂは、座標（１０，５）で表される。次の図１１Ｃでは、特徴点として抽出されたエリアＢ１ｃは、座標（８，４）で表される。次の図１１Ｄでは、特徴点として抽出されたエリアＢ１ｄは、座標（１１，８）で表される。

図１２は、図１１Ａ〜Ｄにおいて、単位エリアＢ１ａ〜Ｂ１ｄが移動する様子を模式的に示す図である。図１１Ａ、図１１Ｂ、図１１Ｃ、図１１Ｄの順に被写体が移動すると、特徴点が抽出された単位エリア枠は、図１２に示す順で移動する。以下、表示部１７が図１１Ｄに示す状態である場合を例に説明する。

次に、ステップＳ２０５において、特徴点位置情報から低域成分が抽出される。低域通過フィルタ３６は、選択された単位エリア（エリアＢ１ａ〜Ｂ１ｄ）のうち現在の特徴点の座標（エリアＢ１ｄの座標）と前回の特徴点の座標（エリアＢ１ｃの座標）との加算平均を行い、抽出位置情報として出力する。

続くステップＳ２０６において、抽出位置情報に基づき、ＡＦエリアＡ１の表示位置を選択する。ＡＦエリア選択部３７は、ＡＦエリアＡ１の表示位置を選択して表示位置情報を出力し、表示部１７にＡＦエリア枠Ａ１を表示させる。

次に、ステップＳ２０７において、単位エリア選択部４０により選択された単位エリア（エリアＢ１ｄ）でデフォーカス量を演算する。具体的には、合焦情報算出部３２では単位エリア選択部４０において選択された各単位エリアの画像信号からコントラストを算出してコントラストがピークになる位置までのデフォーカス量を演算する。さらに具体的には、合焦情報算出部３２からレンズ位置制御部３３へデフォーカス量を演算するという指令を送り、レンズ位置制御部３３ではレンズ駆動部２１によってフォーカスレンズ１３をＡ方向あるいはＢ方向に駆動させ、フォーカスレンズ１３の位置情報を合焦情報算出部３２に送る。このフォーカスレンズ１３の位置情報と画像信号から算出されたコントラスト情報からコントラスト値が最も高くなるフォーカスレンズの位置と現在位置とからデフォーカス量を演算する。

次に、ステップＳ２０７において選択された単位エリア（例えば、エリアＢ１ｄ）で合焦させる。具体的には、合焦情報算出部３２で演算したデフォーカス量をレンズ位置制御部３３へ送り、レンズ位置制御部３３ではこのデフォーカス量に基づいてレンズ駆動部２１にフォーカスレンズ１３を駆動させ、被写体に合焦する。そして、ステップＳ２０９の処理に進む。

一方、ステップＳ２０４においてＡＦエリア（エリアＡ１）内に特徴点がないと判定された場合、ステップＳ２０８において、合焦情報算出部３２、レンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ１３を図１のＡ方向あるいはＢ方向に駆動することにより合焦情報算出部３２は、フォーカスレンズの位置情報と画像信号から生成されるコントラスト信号とから、ＡＦエリア内のすべてのエリアに対してコントラスト値が最も高くなるフォーカスレンズ１３の位置を演算する。このコントラスト値が最も高いフォーカスレンズ１３の位置と現在位置とからデフォーカス量を演算する。

ステップＳ２０９においては、ステップＳ２０７あるいはステップＳ２０８の処理にて合焦情報算出部３２で求めたデフォーカス量に基づいてレンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ１３を選択エリアで合焦させる動作を行い、次のステップＳ２１０の処理に進む。ここで、ステップＳ２０８においてはエリアＡ１内すべてのエリアで求めたデフォーカス量のうち最至近エリアのデフォーカス量を選択してステップＳ２０９で最至近エリアに合焦させるようにしてもよいし、中央付近のエリアを優先してデフォーカス量を選択してステップＳ２０９で中央付近のエリアに合焦させるようにしてもよい。

次に、ステップＳ２１０において、シャッター釦１９ａが全押しされたかどうかを判定し、全押しされた場合には次のステップＳ２１１の処理に進む。シャッター釦１９ａが離された場合には以上の処理はすべてやり直しとなる。ステップＳ２１１ではシャッター釦１９ａが全押しされたタイミングで、システムコントローラ３０からの指令に基づき、画像メモリ１６または画像処理部１５から出力される画像信号をメモリーカードに格納させる撮像処理を行い、フォーカス追従撮像処理を終了させる。

次に、本発明の特徴であるＡＦエリアの表示位置制御方法について説明する。

図１３は、特徴点位置演算部３５によって演算される特徴点の座標を示す図である。図１３の上段に示すグラフは、特徴点が存在する単位エリアのｘ方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部１７における特徴点の存在する単位エリアのｘ座標を表し、横軸は時間ｔを表す。また、波形Ｗｘ１は、特徴点位置演算部３５から出力される特徴点位置情報のうち、ｘ方向における位置の経時変化を示す波形である。波形Ｗｘ２は、低域通過フィルタ３６から出力される抽出位置情報のうち、ｘ方向における位置の経時変化を示す波形である。このように、Ｗｘ１の低域成分を抽出することにより、Ｗｘ１に比べて変動が小さな波形を生成することができる。

一方、図１３の下段に示すグラフは、特徴点が存在する単位エリアのｙ方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部１７における特徴点の存在する単位エリアのｙ座標を表し、横軸は時間ｔを表す。また、波形Ｗｙ１は、特徴点位置演算部３５から出力される特徴点位置情報のうち、ｙ方向における位置の経時変化を示す波形である。波形Ｗｙ２は、低域通過フィルタ３６から出力される抽出位置情報のうち、ｙ方向における位置の経時変化を示す波形である。このように、Ｗｙ１の低域成分を抽出することにより、Ｗｙ１に比べて変動が小さな波形を生成することができる。

図１３に示す２つのグラフには、合焦情報算出処理あるいは特徴点抽出処理を行う周期Ｔｓ間隔で単位エリアの特徴点位置情報がプロットされる。例えば、図１１に示す被写体の特徴点の動きを座標で表す場合、特徴点は、図１１Ａ、図１１Ｂ、図１１Ｃ、図１１Ｄの順に移動する。このとき、ｘ座標は、図１３に示すＸａ（＝５）、Ｘｂ（＝１０）、Ｘｃ（＝８）、Ｘｄ（＝１１）と表され、ｙ座標は、Ｙａ（＝６）、Ｙｂ（＝５）、Ｙｃ（＝４）、Ｙｄ（＝８）と表される。

図１４Ａ〜Ｄは、ＡＦエリア枠及び単位エリア枠が表示された表示部１７の概観を示す図である。図１１及び図１３を用いて説明した被写体の特徴点は、図１４Ａに示すように、エリアＢ１ａ、エリアＢ１ｂ、エリアＢ１ｃ、エリアＢ１ｄの順に座標が大きく変化している。特徴点が抽出された単位エリアのみを表示する場合、例えば、合焦情報算出処理あるいは特徴点抽出処理を行う周期Ｔｓが１／３０［ｓ］として表示部に表示する画像を更新すると、表示される単位エリアの位置が１／３０［ｓ］ごとに変化するため、非常に見づらい画面になってしまう。

これに対し、本発明に係る撮像装置は、これらの被写体の特徴点が抽出された単位エリア（エリアＢ１ａ〜Ｂ１ｄ）のみを表示するのではなく、１以上の単位エリアを範囲として含むようにＡＦエリア（エリアＡ１）を設定して表示させるようにする。具体的には、低域通過フィルタ３６から出力される特徴点の存在するエリアのｘ座標とｙ座標それぞれの低域成分にしたがってあらかじめ決めたエリアＡ１のサイズ（ここでは７×５個の単位エリアを含むサイズ）の中心位置を設定し、表示部１７に表示させる。これにより、図１４Ａに示すように、被写体の特徴点の位置がエリアＢ１ａ、Ｂ１ｂ、Ｂ１ｃ、Ｂ１ｄの順で小刻みに変化した場合であっても、ＡＦエリア（エリアＡ１）を安定した位置に表示させることができる。

また、図１４Ｂに示すように、被写体の特徴点が表示部１７の右上に存在する場合には、被写体の特徴点を抽出した単位エリア（エリアＢ２ａ〜Ｂ２ｄ）そのものではなく、これらのエリアを範囲として含むようにエリアＡ２が設定され表示される。したがって、ＡＦエリアが表示部１７の中央に表示されている状態（図１４Ａの状態）で撮像装置本体を左下の方向にパーニングすると、表示部１７に表示されているＡＦエリアは右上方向へゆっくりと移動していき、図１４Ａから図１４Ｂの状態へと変化する。これにより、被写体に追従していることを明示するとともに見やすいＡＦエリアとして表示させることが可能になる。

以上のように、本実施の形態によれば、表示されたＡＦエリアの位置が小刻みに変動することがないため、被写体を捉えている範囲を見やすく画面上に表示させることができる高操作性の撮像装置を提供することが可能である。また、必要最小限の最適な大きさのＡＦエリア内で制御情報を演算するため、演算処理における負荷が軽減されることとなる。したがって、撮像装置の機能を向上させることができる。また、特徴点として用いる被写体の色情報はユーザによって任意に設定することができるため、撮像装置の機能をさらに向上させることができる。

また、本実施の形態によれば、ＡＦエリアの中心座標が所定範囲外にある場合、ＡＦエリアの中心座標をデフォルトにリセットし、ＡＦエリア枠を画面の中央部付近に移動させる。撮像装置がデジタルスチルカメラやデジタルビデオカメラである場合、一般的には、ユーザは、被写体が画面の端部に移動すると、被写体が画面の中央部付近に写し出されるように撮像装置の向きを変える。したがって、ＡＦエリアの中心座標が所定範囲外にある場合に、ＡＦエリアの中心座標をデフォルトにリセットすることにより、ＡＦエリアの表示位置を画面の中央部付近に素早く移動させることができる。

なお、実施の形態１において、画像分割部は画像信号を１８×１３個の単位エリアに分割し、表示部には１８×１３個の単位エリア枠が表示される場合を例に説明したが、単位エリアの設定は任意であり、適宜設定すればよい。また、単位エリアをいくつか合わせて単位エリアとしてもよい。また、その場合、複数の単位エリアが互いに重なり合ってもよい。

また、実施の形態１では、２×２個のエリア枠で特徴点情報を演算し記憶する例で説明したが、エリア枠のサイズ及び位置の設定は任意である。

また、実施の形態１では、特徴点情報設定部４１に撮像した被写体の色情報を格納させる例について説明したが、これに限られない。例えば、撮像装置本体に、肌色などあらかじめいくつかの参照色情報を特徴点情報として格納させておいてもよい。その場合、撮像装置が備えるメモリ等の記憶装置に予め特徴点情報を格納させておく。そして、特徴点抽出部３４は、特徴点を抽出する際に、予めメモリに格納されている特徴点情報に基づいて特徴点を抽出する。この場合、撮像装置に特徴点情報設定部４１を備えていなくてもよい。

また、実施の形態１では、フォーカス追従に用いられるＡＦエリアを囲む枠をＡＦエリア枠として表示させる例について説明したが、フォーカス追従撮像処理に用いるエリアと表示させるエリアとは必ずしも一致している必要はない。例えば、ＡＦエリア内だけでなく、全てのエリアにおいて、合焦情報算出処理及び特徴点抽出処理を行ってもよい。なお、ＡＦエリア枠の小刻みな位置変動を防止し、画面を見やすくするために、表示するＡＦエリア枠の面積は、合焦情報が算出されるエリアの面積よりも大きくすることが好ましい。

また、実施の形態１では、フォーカス追従処理の開始時に最初に表示されるＡＦエリアの表示位置と、その中心座標が所定範囲外になった場合のＡＦエリアの表示位置とは、画面の中央部付近である例について説明したが、ＡＦエリアのデフォルトの表示位置はこれに限られない。例えば、監視カメラ等において、被写体は画面の端部に現れることが多い。したがって、このような場合、ＡＦエリアのデフォルトの表示位置を画面の端部としてもよい。

（実施の形態２）
実施の形態１において、撮像装置は、特徴点を抽出する際に色情報を利用していたが、これに対し、本実施の形態に係る撮像装置は、特徴点を抽出する際に輝度に関する情報を利用することを特徴とする。

図１５は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

図１５に示すシステムコントローラ３０ａは、図１に示す実施の形態１に係る撮像装置が備えるシステムコントローラ３０と比較すると、特徴点抽出部３４及び特徴点情報設定部４１が省略されている点で相違する。また、図１５に示すシステムコントローラ３０ａにおいて、画像分割部及び特徴点位置演算部の動作が実施の形態１と異なるため、本実施の形態における画像分割部及び特徴点位置演算部を、実施の形態１における画像分割部３１及び特徴点位置演算部３５と区別するために、それぞれ画像分割部３１ａ及び特徴点位置演算部３５ａと呼ぶ。

画像分割部３１ａは、単位エリア毎に分割した画像信号を合焦情報算出部３２及び特徴点位置演算部３５ａへ出力する。

特徴点位置演算部３５ａは、画像分割部３１ａにより複数の単位エリアに分割された画像信号から、各単位エリアの輝度に関する情報（以下、輝度情報と呼ぶ）に基づいて特徴点が存在する位置を演算する。具体的には、特徴点位置演算部３５ａは、輝度情報が示す輝度値のうち、時間の経過と共に変化するものがあるか否かを判断する。特徴点位置演算部３５ａは、所定のタイミングにおける画像信号の輝度値と、当該所定のタイミングから一定時間が経過したタイミングにおける画像信号の輝度値とを比較し、輝度値の差分が所定の閾値よりも大きい場合に、輝度値が変化したと判断する。そして、特徴点位置演算部３５ａは、輝度値が変化した位置を特徴点が存在する位置であると判断し、演算により得られた特徴点位置情報を低域通過フィルタ３６及び単位エリア選択部４０へ出力する。

本実施の形態において、フォーカス追従撮像処理における撮像装置の動作は、特徴点を抽出する際に輝度情報を用いることの他は実施の形態１に係る撮像装置の動作と同様であるため、図１０を援用し、説明を省略する。

以上のように、本実施の形態によれば、輝度情報を利用して被写体にフォーカス追従させることができる。なお、本実施の形態では、輝度値が変化した位置を特徴点として抽出していたが、輝度値を用いた特徴点の抽出方法はこれに限られず、例えば、ある特定の輝度値または一定値以上の輝度値を特徴点として予め設定しておいてもよい。その場合、ある特定の輝度値または一定値以上の輝度値を予めメモリに格納させておく。特徴点位置演算部はメモリに格納されている輝度値を読み出し、特徴点抽出処理を行う。これは、撮像装置が例えば監視カメラ等の備え付けカメラであって、写し出される背景がほぼ固定されている場合に特に有効である。

（実施の形態３）
実施の形態１において、撮像装置は、特徴点を抽出する際に色情報を利用していたが、これに対し、本実施の形態に係る撮像装置は、特徴点を抽出する際に動きベクトルを利用することを特徴とする。

本実施の形態に係る撮像装置の構成は、実施の形態２に係る撮像装置の構成と同様であるため、図１５を援用する。

特徴点位置演算部３５ａは、画像分割部３１ａにより複数の単位エリアに分割された画像信号から、各単位エリアの輝度情報が示す輝度値に基づいて、所定の時間あたりの被写体（特徴点）の動きベクトルをｘ方向及びｙ方向それぞれに検出する。特徴点位置演算部３５ａは、検出した動きベクトルを特徴点情報として低域通過フィルタ３６及び単位エリア選択部４０へ出力する。

本実施の形態において、フォーカス追従撮像処理における撮像装置の動作は、特徴点として動きベクトルを抽出することの他は実施の形態１に係る撮像装置の動作と同様であるため、図１０を援用し、説明を省略する。

以上のように、本実施の形態によれば、動きベクトルを利用してフォーカス追従することができる。

（実施の形態４）
実施の形態１において、撮像装置は、特徴点を抽出する際に色情報を利用していたが、これに対し、本実施の形態に係る撮像装置は、特徴点を抽出する際にエッジ情報を利用することを特徴とする。

図１６は、本発明の実施の形態４に係る撮像装置の構成を示すブロック図である。本実施の形態に係る撮像装置は、実施の形態１に係る撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

図１６に示すシステムコントローラ３０ｂは、図１に示す実施の形態１に係る撮像装置が備えるシステムコントローラ３０と比較すると、特徴点抽出部３４及び特徴点情報設定部４１が省略されている点で相違する。また、図１６に示すシステムコントローラ３０ｂにおいて、特徴点位置演算部及び合焦情報算出部の動作が実施の形態１と異なるため、本実施の形態における特徴点位置演算部及び合焦情報算出部を、実施の形態１における特徴点位置演算部３５及び合焦情報算出部３２と区別するために、それぞれ特徴点位置演算部３５ｂ及び合焦情報算出部３２ｂと呼ぶ。

本実施の形態において、合焦情報算出部３２ｂは、各単位エリアのコントラスト情報を特徴点位置演算部３５ｂへ出力する。

特徴点位置演算部３５ｂは、合焦情報算出部３２ｂから出力されるコントラスト情報に基づいて、特徴点が存在する位置を演算する。具体的には、特徴点位置演算部３５ｂは、コントラスト情報に基づき、背景と被写体とのコントラスト差から生じ、被写体の輪郭を示すエッジ情報を生成する。エッジ情報を生成する方法として、例えば、輝度値の比較により２値化する方法や、微分フィルタを用いてエッジ検出する方法があるが、エッジ情報を生成することができる方法であればよく、これら以外の方法を用いてエッジ情報を生成してもよい。

特徴点位置演算部３５ｂは、所定のタイミングにおけるエッジ情報と、当該所定のタイミングから一定時間が経過したタイミングにおけるエッジ情報とを比較し、変化したエッジの位置を特徴点として抽出し、演算により得られた特徴点の特徴点位置情報を低域通過フィルタ３６及び単位エリア選択部４０へ出力する。

本実施の形態において、フォーカス追従撮像処理における撮像装置の動作は、特徴点としてエッジ情報を抽出することの他は実施の形態１に係る撮像装置の動作と同様であるため、図１０を援用し、説明を省略する。

以上のように、本実施の形態によれば、エッジ情報を利用してフォーカス追従すること

（実施の形態５）
実施の形態１〜４において、撮像装置は、ユーザによりシャッター釦１９ａが半押しされた場合にフォーカス追従撮像処理を開始していた。これに対し、本実施の形態に係る撮像装置は、シャッター釦が半押しされ、かつ所定の焦点距離以上になるとフォーカス追従撮像処理を開始することを特徴とする。

図１７は、本発明の実施の形態５に係る撮像装置の構成を示すブロック図である。実施の形態５に係る撮像装置は、実施の形態１に係る撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

図１７におけるシステムコントローラ３０ｃは、図１に示す実施の形態１に係る撮像装置が備えるシステムコントローラと比較すると、焦点距離演算部４２をさらに含む点で相違する。また、図１７に示すシステムコントローラ３０ｃにおいて、特徴点位置演算部及びレンズ位置制御部の動作が実施の形態１と異なるため、本実施の形態における特徴点位置演算部及びレンズ位置制御部を、実施の形態１における特徴点位置演算部３５及びレンズ位置制御部３３と区別するために、それぞれ特徴点位置演算部３５ｃ及びレンズ位置制御部３３ｃと呼ぶ。

レンズ位置制御部３３ｃは、合焦情報算出部３２から出力されるデフォーカス量に基づいてフォーカスレンズ１３の位置を制御するための制御信号を生成し、レンズ駆動部２１及び焦点距離演算部４２へ出力する。

焦点距離演算部４２は、レンズ位置制御部３３ｃから出力される制御信号に基づき、焦点距離を演算する。そして、焦点距離が所定値以上になると、焦点距離演算部４２は、フォーカス追従撮像処理を開始するよう特徴点位置演算部３５ｃに指示する。特徴点位置演算部３５ｃは、焦点距離演算部４２からフォーカス追従撮像処理を開始するための指示を受け取ると、フォーカス追従撮像処理を開始する。

図１８は、実施の形態５に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャートである。図１８に示すフローチャートは、システムコントローラ３０ｃ上で動作するプログラムの動作フローを示す。図１８において、ユーザによりシャッター釦１９ａが半押しされた場合、フォーカス追従撮像処理が開始される。

ステップＳ３０１において、焦点距離演算部４２は、レンズ位置制御部３３ｃから出力される制御信号に基づいて焦点距離を演算する。続くステップＳ３０２において、焦点距離演算部４２は、演算した焦点距離が所定値以上であるか否かを判断する。焦点距離が所定値未満である場合、焦点距離演算部４２はフォーカス追従撮像処理を終える。

一方、焦点距離が所定値以上である場合、焦点距離演算部４２は、図１０のステップＳ２０１の処理へ進む。ステップＳ２０１以降の処理は実施の形態１と同様であるため、図１０を援用し、説明を省略する。

以上のように、本実施の形態によれば、ユーザによりシャッター釦が半押しされ、かつ焦点距離が一定値以上となった場合にフォーカス追従撮像処理を開始することができる。これにより、高倍率で撮像する際に被写体の移動量が大きくなった場合においても、被写体を捉えているＡＦエリアの表示を見やすく画面に表示させることができる。

（実施の形態６）
実施の形態１〜５に係る撮像装置は、特徴点の移動に伴いＡＦエリア枠の位置のみを変更しており、ＡＦエリアの大きさは常に一定であった。これに対し、本実施の形態に係る撮像装置は、被写体の移動量に応じてＡＦエリアの大きさを変更することを特徴とする。

図１９は、本発明の実施の形態６に係る撮像装置の構成を示すブロック図である。実施の形態６に係る撮像装置は、実施の形態１に係る撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

図１９に示すシステムコントローラ３０ｄは、図１に示す実施の形態１に係る撮像装置が備えるシステムコントローラ３０と比較すると、エリア面積変更部４３とをさらに含む点で相違する。また、図１９に示すシステムコントローラ３０ｄにおいて、特徴点位置演算部及びＡＦエリア選択部の動作が実施の形態１と異なるため、本実施の形態における特徴点位置演算部及びＡＦエリア選択部を実施の形態１における特徴点位置演算部３５及びＡＦエリア選択部３７と区別するために、それぞれ特徴点位置演算部３５ｄ及びＡＦエリア選択部３７ｄと呼ぶ。

特徴点位置演算部３５ｄは、実施の形態１と同様に、特徴点抽出部３４により抽出された被写体の特徴点のｘ方向及びｙ方向の座標を演算して出力する。実施の形態１において、特徴点位置演算部３５ｄは、座標情報を低域通過フィルタ３６及び単位エリア選択部４０へ出力していた。これに対し、本実施の形態において、特徴点位置演算部３５ｄは、座標情報を低域通過フィルタ３６、単位エリア選択部及びエリア面積変更部４３へ出力する。

エリア面積変更部４３は、特徴点位置演算部３５ｄから出力された特徴点位置情報に基づき、ＡＦエリアの面積を算出する。具体的には、エリア面積変更部４３は、特徴点位置情報の波形に対して包絡線検波や２乗平均を行うなどして振幅を演算する。そして、エリア面積変更部４３は、振幅の変化に応じて、ＡＦエリアの面積をＡＦエリア選択部３７ｄに通知する。以下、特徴点位置情報として、ｘ座標及びｙ座標の情報に基づいて包絡線検波を行い、振幅を演算する場合を例に説明する。

ＡＦエリア選択部３７ｄは、エリア面積変更部４３に通知された面積と、低域通過フィルタ３６から出力された抽出位置情報とに基づいて、ＡＦエリアの表示位置および面積を算出する。そして、ＡＦエリア選択部３７ｄは、算出したＡＦエリアの表示位置および面積を表示位置情報として表示部１７へ出力し、ＡＦエリア枠を表示させる。

本実施の形態において、フォーカス追従撮像処理における撮像装置の動作は、実施の形態１と比較すると、図１０に示すフローチャートのステップＳ２０６以降の処理が異なる。図２０は、実施の形態６に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャートである。以下、図１０及び図２０を参照し、本実施の形態に係る撮像装置の動作について説明する。

図１０に示すステップＳ２０６において、ＡＦエリア選択部３７ｄは、ＡＦエリアの表示位置を選択する。次に、図２０に示すステップＳ４０１において、エリア面積変更部４３は、ＡＦエリアの面積を変更するか否かを判断する。具体的には、エリア面積変更部４３は、特徴点位置情報の波形に基づいて包絡線検波を行い、振幅の変化が所定値以上であるか否かを判断する。

ＡＦエリアの面積に変更がある場合、つまり、振幅の変化が所定値以上である場合、エリア面積変更部４３は、ＡＦエリアの面積をＡＦエリア選択部３７ｄに通知する。

続くステップＳ４０２において、ＡＦエリア選択部３７ｄは、通知された面積と抽出位置情報とに基づいて、ＡＦエリアの表示位置および面積を算出し、表示位置情報として表示部１７へ出力する。表示部１７は、表示位置情報に基づきＡＦエリア枠を表示する。そして、処理は図１０のステップＳ２０７へ進む。一方、ＡＦエリアの面積に変更がない場合、つまり、振幅の変化が所定値以下である場合、エリア面積変更部４３は、ＡＦエリア枠の大きさを通知せずに図１０のステップＳ２０７の処理へ進む。

図２１は、特徴点位置演算部３５ｄによって演算される特徴点の座標を示す図である。図２１の上段に示すグラフは、特徴点が存在する単位エリアのｘ方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部１７における特徴点の存在する単位エリアのｘ座標を表し、横軸は時間ｔを表す。また、波形Ｗｘ３は、特徴点位置演算部３５ｄから出力される特徴点位置情報のうち、ｘ方向における位置の経時変化を示す波形である。波形Ｗｘ４は、低域通過フィルタ３６から出力される抽出のうち、ｘ方向における位置の経時変化を示す波形である。

一方、図２１の下段に示すグラフは、特徴点が存在する単位エリアのｙ方向への経時変化を示すグラフである。当該グラフにおいて、縦軸は、表示部１７における特徴点の存在する単位エリアのｙ座標を表し、横軸は時間ｔを表す。また、波形Ｗｙ３は、特徴点位置演算部３５ｄから出力される特徴点位置情報のうち、ｙ方向における位置の経時変化を示す波形である。波形Ｗｙ４は、低域通過フィルタ３６から出力される抽出のうち、ｘ方向における位置の経時変化を示す波形である。ここで説明したＷｘ３，Ｗｘ４，Ｗｙ３，Ｗｙ４は、それぞれ実施の形態１で説明した図１３に示すＷｘ１，Ｗｘ２，Ｗｙ１，Ｗｙ２と同様である。

包絡線検波を行う際には、予め所定の閾値が定められており、当該所定の閾値以上の値、及び所定の閾値未満の値のそれぞれについて包絡線検波が行われる。図２１において、波形Ｗｘ５は、波形Ｗｘ３の座標のうち、所定の閾値以上の座標に基づいて包絡線検波を行った波形を表す。また、波形Ｗｘ６は、波形Ｗｘ３の座標のうち、所定の閾値未満の座標に基づいて包絡線検波を行った波形を表す。この波形Ｗｘ５と波形Ｗｘ６との差がｘ方向の振幅となる。

一方、波形Ｗｙ５は、波形Ｗｙ３の座標のうち、所定の閾値以上の座標に基づいて包絡線検波を行った波形を表す。また、波形Ｗｙ６は、波形Ｗｙ３の座標のうち、所定の閾値未満の座標に基づいて包絡線検波を行った波形を表す。この波形Ｗｙ５と波形Ｗｙ６との差がｙ方向の振幅となる。

このように、エリア面積変更部４３は、ｘ方向及びｙ方向について被写体の特徴点の位置変化を振幅として求め、表示すべきＡＦエリアの面積（単位エリアの数）を算出する。

図２２は、実施の形態６におけるＡＦエリア枠が表示された表示部１７の概観図である。以下、図２１及び図２２を参照して、表示部１７に表示されるＡＦエリア枠のサイズの制御方法について説明する。

図２１において、時間ｔ１に近づくにつれて被写体の移動量が大きくなり、ｘ方向及びｙ方向における特徴点の位置変動の振幅が大きくなっている。時間０において、ＡＦエリアＡ３ａが７×５個の単位エリアから形成されている場合、時間ｔ１に近づくにつれ、９×７個の単位エリアから形成されるＡＦエリアＡ３ｂ，１０×８個の単位エリアから形成されるＡＦエリアＡ３ｃの順に、表示部１７に表示されるＡＦエリア枠のサイズが拡大される。

以上のように、本実施の形態によれば、実施の形態１〜５において説明した効果に加えて、被写体の動きに合わせてＡＦエリアのサイズを制御するような構成を有しているため、撮像装置本体の手振れ量の個人差や高倍率にした場合における手振れ量が大きくなる状態に合わせてＡＦエリアの大きさが制御され、画面上での被写体の動きに合わせて小刻みにＡＦエリア枠の表示位置が変動することなく被写体を捉える範囲をさらに安定に見やすく表示させることができ、かつフォーカス追従するための演算処理も最小限の負荷で行うことができる。

また、手振れ等の像ぶれによる画面上での被写体の動きの変動はズーム倍率にほぼ比例して大きくなるため、ズーム倍率にほぼ比例してＡＦエリアのサイズを変更するように構成することで、特徴点の位置変動の包絡線検波を用いたサイズ変更の機能に加えて応答性を向上させることが可能になる。

なお、本実施の形態では、包絡線検波の処理について、図２１に示すように、所定の閾値以上あるいは所定の閾値未満の特徴点の座標に基づいて行う場合を例に説明した。ここで、特徴点の座標が所定の閾値以上であり、かつ前回の座標を上回る値であった場合に、今回の座標を包絡線検波の出力として求める、あるいは特徴点の座標が所定の閾値未満であり、かつ前回の座標を下回る値であった場合に、今回の座標を包絡線検波の出力として求める、いわゆるピークホールドの処理を施してもよい。また、所定の時間経過後は、ピークホールドの処理をリセットし、最初からピークホールドの処理を行うようにしてもよい。

（実施の形態７）
本発明に係る実施の形態７では、実施の形態１において説明した低域通過フィルタ３６の動作原理について、さらに詳細に説明する。実施の形態１では、特徴点位置演算部３５から出力される特徴点位置情報から高域成分を除去することにより、特徴点位置情報の時間的な振動周波数の低域成分を抽出して出力し、抽出した低域成分の値をＡＦエリアの表示位置情報としてＡＦエリア選択部３７へ出力するものとして説明した。

本実施の形態では、低域通過フィルタ３６の具体的な構成およびカットオフ周波数ｆｃの設定方法について説明する。なお、本実施の形態に係る撮像装置は、実施の形態１に係る撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の参照符号を付し、詳細な説明は省略する。

図２３Ａ〜Ｄは、被写体とエリア枠が写し出された表示部１７の概観図である。図２３Ａ〜Ｄでは、表示部１７に表示すべき画像信号を横方向（ｘ方向）に１６分割、ｙ方向に１２分割した例を示している。この場合、画像信号は１６×１２個の単位エリアに分割され、表示部１７には、１６×１２個の単位エリアをそれぞれ囲む単位エリア枠が表示される。なお、図２３Ａ〜Ｄに示す各単位エリアの座標は、ｘ方向が０〜１５、ｙ方向が０〜１１の単位で表される。例えば、表示部１７をＱＶＧＡ（Ｑｕａｒｔｅｒ ＶＧＡ）とした場合、ｘ方向の画素数は３２０、ｙ方向の画素数は２４０であるため、単位エリアＢ４ａ〜ｄは、それぞれ２０［画素］×２０［画素］で表されるエリアとして定義される。

図２３Ａ〜Ｄは、図２３Ａ、図２３Ｂ、図２３Ｃ、図２３Ｄの順に、手振れあるいは被写体の移動により、表示部１７に写し出されている被写体Ｐ１の位置が変化する様子を示している。これに伴い、特徴点抽出部３４において抽出される被写体の特徴点が存在する単位エリア枠は、座標（７，５）のエリアＢ４ａ、座標（８，６）のエリアＢ４ｂ、座標（８，５）のエリアＢ４ｃ、座標（７，６）のエリアＢ４ｄの順に移動する。

図２３Ａ〜Ｄにおいて、点線枠は、従来の撮像装置のフォーカス追従により移動するＡＦエリア枠を示す。図２３Ａ〜Ｄに示す例では、ｘ方向の特徴点位置情報は、７、８、８、７の順に出力され、ｙ方向の特徴点位置情報は、５、６、５、６の順に出力される。先に述べたように、単位エリアＢ４は２０［画素］×２０［画素］で構成されるので、ｘ方向の座標が７から８へ、あるいは８から７へ変化した場合、被写体の像ぶれがｘ方向に２０［画素］分生じ、ｙ方向の座標が５から６へ、あるいは６から５へ変化した場合、被写体の像ぶれがｙ方向に２０［画素］分生じることとなる。例えば、特徴点位置情報が１／３０秒毎に出力され、被写体がＡＦエリアの中心に位置するようにＡＦエリア枠の表示位置を移動させた場合、従来の撮像装置では、ＡＦエリア枠が１／３０秒毎に２０［画素］分ずつｘ方向またはｙ方向に移動する。したがって、表示されるＡＦエリア枠の位置が小刻みに変動することとなるため、画面の表示が非常に見づらくなってしまう。

一方、図２３Ａ〜Ｄにおいて、エリアＡ４ａ〜ｄを囲む実線枠は、本実施形態に係る撮像装置のフォーカス追従により移動するＡＦエリア枠を示す。本実施の形態に係る撮像装置は、座標の時間的な振動周波数の変動成分のうち、低域成分を抜き取る低域通過フィルタ３６を備えているため、ＡＦエリア枠の小刻みな位置変動を防止することができる。

図２４は、本実施の形態に係る低域通過フィルタ３６の詳細を示すブロック図である。図２４は、低域通過フィルタ３６が、ディジタル回路で構成されたＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）である場合の構成例である。

低域通過フィルタ３６は、位置情報処理部３６０ｘと、位置情報処理部３６０ｙとを有する。位置情報処理部３６０ｘは、係数ブロック３６１、３６３と、遅延ブロック３６２と、加算ブロック３６４とからなり、ｘ方向の特徴点位置情報の時間的な振動周波数から低域成分を抜き取って出力する。位置情報処理部３６０ｙは、係数ブロック３６５、３６７と、遅延ブロック３６６と、加算ブロック３６７とからなり、ｙ方向の特徴点位置情報の時間的な振動周波数から低域成分を抜き取って出力する。位置情報処理部３６０ｘおよび位置情報処理部３６０ｙは処理する特徴点位置情報が相違するが、基本的な動作は同じであるため、位置情報処理部３６０ｘを代表例として説明する。

まず、特徴点位置演算部３５から出力されたｘ方向の特徴点位置情報が低域通過フィルタ３６の加算ブロック３６４に入力される。ここで、例えば、特徴点位置演算部３５は、ｘ方向の特徴点位置情報として図２３Ａ〜Ｄに示す単位エリアＢ４のｘ方向の座標を出力し、ｙ方向の特徴点位置の座標として図２３Ａ〜Ｄに示す単位エリアＢ４のｙ方向の座標を出力する。特徴点位置情報は、例えば、１／３０秒毎に更新して出力される。

加算ブロック３６４は、特徴点位置演算部３５から出力される値と、係数ブロック３６３から出力される値とを加算する。係数ブロック３６１は、加算ブロック３６４によって加算された値を所定の係数Ｋ１で処理し、エリアＡ選択部３７へ出力する。

遅延ブロック３６２は、加算ブロック３６４によって加算された値を所定の時間だけ遅延させて係数ブロック３６３へ出力する。本実施の形態において、遅延ブロック３６２は、入力された信号を１／ｆｓ＝１／３０［ｓ］だけ遅延させて出力するものとする（ｆｓ：サンプリング周波数）。

係数ブロック３６３は、遅延ブロック３６２から出力される値を所定の係数Ｋ２で処理し、加算ブロック３６４へ出力する。

ここで、カットオフ周波数をｆｃとして、ｆｃ＜＜ｆｓが成り立つとすると、以下に示す数式（１）で表されるＫ１および数式（２）で表されるＫ２を係数として設定することで、低域通過フィルタを構成することができる。

Ｋ１＝１／｛１＋１／（３０×２×π×ｆｃ）｝・・・（１）
Ｋ２＝１／｛１＋（３０×２×π×ｆｃ）｝ ・・・（２）

上記の数式（１）および（２）に示すように、カットオフ周波数ｆｃを小さくすると、ＡＦエリア枠の変動量を減少させることができる。したがって、係数Ｋ１およびＫ２に含まれるカットオフ周波数ｆｃを適切に設定することにより、ＡＦエリア枠の変動量を調整することができるため、ユーザがＡＦエリア枠の振動を感じないようにカットオフ周波数ｆｃを設定すればよいことが分かる。

図２５Ａ、Ｂは、低域通過フィルタ３６の入出力信号波形である。図２５Ａは、低域通過フィルタ３６に入力する入力信号の波形を示す図であり、図２５Ｂは、低域通過フィルタ３６から出力される出力信号の波形を示す図である。図２５Ａ、Ｂにおいて、縦軸は被写体の変位量に相当する画素数を表し、横軸はフレーム番号を表す。

低域通過フィルタ３６へ入力される信号としては、ｘ方向およびｙ方向の２系統が存在するが、図２５ＡおよびＢには、そのうちの一系統のみの入力信号の波形と出力信号の波形とを示している。また、図２５Ｂは、カットオフ周波数ｆｃ＝０．２［Ｈｚ］として係数Ｋ１およびＫ２を設定した場合に、図２５Ａに示す入力信号が入力した低域通過フィルタ３６から出力される出力信号をモニタしたグラフである。

図２５Ａでは、入力信号によって表される被写体の位置が±２０［画素］の範囲で変動している例を示す。図２５Ｂに示す出力信号は、カットオフ周波数ｆｃ＝０．２［Ｈｚ］の低域通過フィルタ３６における位置情報処理部３６０ｘまたは３６０ｙに入力した入力信号が減衰して出力されている様子を示す。フレームの更新周期が１／３０秒である場合、フレーム番号０〜３００までにかかる時間は１０秒である。

次に、本実施形態に係る低域通過フィルタ３６のカットオフ周波数ｆｃを変化させ、表示部１７に写し出される被写体の像ぶれの程度を評価した。具体的には、１０名の被験者が、それぞれＱＶＧＡの２．５インチのモニタ画面に写し出される被写体の像ぶれを評価し、像ぶれの程度が「像ぶれ問題なし：１点」、「どちらとも言えない：０．５点」、「像ぶれ問題あり：０点」のいずれに該当するかを判断した。

そして、低域通過フィルタのカットオフ周波数ｆｃを５［Ｈｚ］、４［Ｈｚ］、３［Ｈｚ］、２［Ｈｚ］、１［Ｈｚ］、０．５［Ｈｚ］、０．２「Ｈｚ」、０．１［Ｈｚ］・・・と段階的に変化させた場合のそれぞれについて、被験者による像ぶれの評価を行った。

図２６は、低域通過フィルタ３６のカットオフ周波数ｆｃと、被験者による像ぶれ評価点との関係を示すグラフである。図２６において、縦軸は被験者による像ぶれの評価点の平均値を表し、横軸はカットオフ周波数ｆｃを表す。

図２６に示すように、評価の結果、低域通過フィルタ３６のカットオフ周波数ｆｃを１［Ｈｚ］よりも大きく設定した場合、「像ぶれ問題あり」と評価される割合が多かった。一方、カットオフ周波数ｆｃを１［Ｈｚ］以下に設定した場合、「像ぶれ問題あり」から「像ぶれ問題なし」に評価される割合が多くなった。さらに、カットオフ周波数ｆｃを０．１［Ｈｚ］以下に設定すると、ほぼ全員が「像ぶれ問題なし」と評価した。

以上より、低域通過フィルタのカットオフ周波数ｆｃを０．１［Ｈｚ］〜１［Ｈｚ］の範囲で設定することで、ＡＦエリア枠が小刻みに変動することやぎくしゃくすることを低減することができ、比較的見やすいＡＦエリア枠をモニタ画面上に表示させることができる。図２３Ａ〜Ｄに示すように、被写体Ｐ１が１／３０［ｓ］毎に小刻みに移動している場合であっても、本実施形態によれば、被写体Ｐ１の移動範囲がほぼ中心となるように、実線枠で示されたＡＦエリア枠の表示位置を安定させることができる。

次に、ユーザにとって見やすい表示となるＡＦエリア枠の変動範囲について具体的に説明する。低域通過フィルタへ入力する入力信号において、ｘ方向およびｙ方向の被写体の位置がそれぞれ４０［画素］の範囲で１／ｆｓ［ｓ］毎にランダムに変位すると仮定した場合、入力信号が存在する周波数の範囲は、サンプリング周波数ｆｓの１／２と定義することができる。また、ｆｓ／２の範囲に存在する入力信号の平均電力は、統計的にｆｃ×π／２と表される。したがって、低域通過フィルタ３６を通過した出力信号の電力は、（ｆｃ×π／２）／（ｆｓ／２）に減衰する。ここで、電圧≒電力^(1/2) の関係にあることから、カットオフ周波数ｆｃ［Ｈｚ］の１次の低域通過フィルタから出力されるｘ方向の変位量Ｐｘと、ｙ方向の変位量Ｐｙとは、以下に示す数式（３）および（４）で表すことができる。

Ｐｘ≒｛（ｆｃ×π／２）／（ｆｓ／２）｝^(1/2)×４０・・・（３）
Ｐｙ≒｛（ｆｃ×π／２）／（ｆｓ／２）｝^(1/2)×４０・・・（４）

数式（３）および（４）において、例えば、カットオフ周波数ｆｃをパラメータとした場合、下記のようにＡＦエリア枠の表示位置の変動を低減することができる。

ｆｃ＝５［Ｈｚ］のときＰｘ＝Ｐｙ≒２９［画素］
ｆｃ＝４［Ｈｚ］のときＰｘ＝Ｐｙ≒２６［画素］
ｆｃ＝３［Ｈｚ］のときＰｘ＝Ｐｙ≒２２［画素］
ｆｃ＝２［Ｈｚ］のときＰｘ＝Ｐｙ≒１８［画素］
ｆｃ＝１［Ｈｚ］のときＰｘ＝Ｐｙ≒１３［画素］
ｆｃ＝０．５［Ｈｚ］のときＰｘ＝Ｐｙ≒９［画素］
ｆｃ＝０．２［Ｈｚ］のときＰｘ＝Ｐｙ≒６［画素］
ｆｃ＝０．１［Ｈｚ］のときＰｘ＝Ｐｙ≒４［画素］

以上より、モニタ画面の更新周期が１／３０［ｓ］である場合、ｆｃ＝０．１［Ｈｚ］〜１［Ｈｚ］の範囲では、像ぶれが４［画素］〜１３［画素］残留する。しかしながら、３２０［画素］×２４０［画素］のＱＶＧＡの画面サイズに対して、おおよそ１〜５％以内でＡＦエリア枠の表示位置の変動を低減することにより、被写体の動きに合わせてＡＦエリア枠が小刻みに変動することなく、画面の表示を見やすくすることができる。

また、本実施の形態では、低域通過フィルタ３６はディジタルフィルタで構成されている。これにより、低域通過フィルタのカットオフ周波数ｆｃやブロックの係数を変更することで、ＡＦエリア枠の表示条件を容易に設定／変更することができる。したがって、モニタ画面のサイズや撮像装置本体の大きさ、種類の違いによる像ぶれ量の差に応じて、容易にＡＦエリア枠の表示を見やすい条件に設定することが可能になる。

また、本実施の形態では、被写体の位置情報の時間的な変動を抑制する低域通過フィルタを介して出力した位置情報に基づいてＡＦエリア枠を表示させる際に、当該低域通過フィルタのカットオフ周波数ｆｃを０．１［Ｈｚ］〜１［Ｈｚ］の範囲に設定する例について説明したが、カットオフ周波数ｆｃはユーザがＡＦエリア枠の小刻みな振動を感じない程度であればよく、例えば、画面の画素数やコントラスト、被写体の大きさに応じて適宜決定するとよい。また、本実施の形態では、モニタ画像を２．５インチのＱＶＧＡとした場合に、像ぶれを４［画素］〜１３［画素］残留する程度に抑えれば、画面の表示を比較的見やすくすることができるという一例について説明したが、モニタ画面を２．５インチの６４０［画素］×４８０［画素］のＶＧＡとした場合には、一方向の解像度アップ率に比例して像ぶれを８［画素］〜２６［画素］残留する程度に抑えれば、画面の表示を比較的見やすくすることができる。さらに、モニタ画面を３インチのＶＧＡとした場合には、インチ数アップ率に反比例して像ぶれを６．７［画素］〜１０．８［画素］残留する程度に抑えれば、画面の表示を比較的見やすくすることができる。

また、ここではＩＩＲのディジタルフィルタとして、係数Ｋ１が数式（１）で表され、係数Ｋ２が数式（２）で表される場合を例に説明したが、この係数の選び方は自由であり、カットオフ周波数が上述の範囲になるように選べばよい。また、低域通過フィルタは、ＩＩＲフィルタに限らず、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタや２次のディジタルフィルタ、その他高次のディジタルフィルタで構成されていてもよい。また、低域通過フィルタはアナログのフィルタであってもよく、その場合、被写体の特徴点位置情報を一旦アナログ信号として取り出すとよい。また、ディジタルフィルタはマイコンなどにプログラミングすることで構成してもよいし、ハードウェアで構成してもよい。

各実施の形態にかかる撮像装置は、具体的な態様に限られず適宜変更可能である。例えば、各実施の形態にかかる撮像装置は、いずれもユーザによりシャッター釦が操作されて静止画を取得するデジタルスチルカメラである場合を例に説明したが、撮像釦が操作されている間所定のタイミングで画像が取得されつづけるデジタルビデオカメラとしても適用可能である。この場合、被写体が移動してもフォーカス追従を行うことができる。また、各実施の形態にかかる撮像装置は、監視カメラ、車載カメラ、ウェブカメラに適用してもよい。この場合、ユーザによりシャッター釦を操作することが難しい場合があり得るが、シャッター釦を所定のタイミングで自動的に操作したり、遠隔操作する等してもよい。

また、各実施の形態にかかる撮像装置は、システムコントローラを個別に備える例であったが、これをパーソナルコンピュータや携帯電話端末の制御ＣＰＵに代用させてなる撮像システムに適用することも可能である。その他、各構成要素同士は、任意の組み合わせが可能であり、例えば、撮影光学系及び撮像素子とその他の構成が物理的に分離されたシステム例、撮影光学系、撮像素子、画像処理部と、その他の構成が物理的に分離されたシステム例などさまざまな組み合わせを考えて良い。

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に好適である。

本発明の実施の形態１における撮像装置のブロック図 表示部１７に表示されるエリア枠の表示位置を示す図 本発明の実施の形態１における撮像装置本体背面の概略図 参照色情報設定処理における撮像装置の動作を示すフローチャート 被写体が写し出された表示部１７の概観図 本発明の実施の形態１における被写体とエリア枠が写し出された表示部１７の概観図 実施の形態１における色相及び彩度情報の演算式 実施の形態１における色相及び彩度情報のチャート図 実施の形態１における参照色情報と参照近傍領域１を示した色相及び彩度情報のチャート図 フォーカス追従撮像処理における撮像装置の動作を示すフローチャート 実施の形態１における被写体とＡＦエリア枠とが写し出された表示部１７の概観図 実施の形態１における被写体とＡＦエリア枠とが写し出された表示部１７の概観図 実施の形態１における被写体とＡＦエリア枠とが写し出された表示部１７の概観図 実施の形態１における被写体とＡＦエリア枠とが写し出された表示部１７の概観図 図１１Ａ〜Ｄにおいて、単位エリアＢ１ａ〜Ｂ１ｄが移動する様子を模式的に示す図 特徴点位置演算部によって演算される特徴点の座標を示す図 表示部１７に表示される表示エリア枠と特徴点との座標関係を示す図 表示部１７に表示される表示エリア枠と特徴点との座標関係を示す図 本発明の実施の形態２に係る撮像装置の構成を示すブロック図 本発明の実施の形態４に係る撮像装置の構成を示すブロック図 本発明の実施の形態５に係る撮像装置の構成を示すブロック図 実施の形態５に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャート 本発明の実施の形態６に係る撮像装置の構成を示すブロック図 実施の形態６に係る撮像装置のフォーカス追従撮像処理における動作を示すフローチャート 特徴点位置演算部によって演算される特徴点の座標を示す図 実施の形態６におけるＡＦエリア枠が表示された表示部１７の概観図 実施の形態７に係る被写体とエリア枠が写し出された表示部１７の概観図 実施の形態７に係る被写体とエリア枠が写し出された表示部１７の概観図 実施の形態７に係る被写体とエリア枠が写し出された表示部１７の概観図 実施の形態７に係る被写体とエリア枠が写し出された表示部１７の概観図 実施の形態７に係る低域通過フィルタ３６の詳細を示すブロック図 実施の形態７に係る低域通過フィルタ３６の入力信号波形 実施の形態７に係る低域通過フィルタ３６の出力信号波形 実施の形態７に係る低域通過フィルタ３６のカットオフ周波数ｆｃと像ぶれ評価点との関係を示すグラフ

符号の説明

１０ 撮像装置本体
１０ａ ファインダー
１１ レンズ鏡筒
１２ ズームレンズ
１３ フォーカスレンズ
１４ ＣＣＤ
１５ 画像処理部
１６ 画像メモリ
１７、６７ 表示部
１８ メモリーカード
１９ 操作部
１９ａ シャッター釦
１９ｂ カーソルキー
１９ｃ 決定釦
１９ｄ メニュー釦
２１ レンズ駆動部
３０ システムコントローラ
３１ 画像分割部
３２ 合焦情報算出部
３３ レンズ位置制御部
３４ 特徴点抽出部
３５ 特徴点位置演算部
３６ 低域通過フィルタ
３７ ＡＦエリア選択部
４０ 単位エリア選択部
４１ 特徴点情報設定部
４２ 焦点距離演算部
４３ エリア面積変更部

Claims (18)

1. 被写体の電気的な画像信号を出力する撮像装置であって、
   焦点調節を行うためのフォーカスレンズ群を含み、前記被写体の光学的な像を形成する撮像光学系と、
   前記被写体の光学的な像を撮像して、前記電気的な画像信号に変換する撮像素子と、
   前記画像信号を複数のエリアに分割する画像分割部と、
   前記複数のエリアのうち、少なくとも１つのエリアを含む第１のエリア群内で前記撮像光学系の合焦情報を算出する合焦情報算出部と、
   前記合焦情報に基づいて、前記フォーカスレンズ群を光軸方向に駆動制御するレンズ駆動制御部と、
   前記複数のエリアのうち、少なくとも１つのエリアを含む第２のエリア群内で前記被写体の特徴点を抽出し、当該特徴点の位置を示す特徴点位置情報として出力する特徴点抽出部と、
   前記特徴点位置情報の時間的な振動周波数の低域成分を抽出し、抽出位置情報として出力する低域通過フィルタと、
   前記抽出位置情報に基づいて、表示すべき前記第２のエリア群の位置を演算し、表示位置情報として出力するエリア選択部とを備える、撮像装置。
2. さらに、前記画像信号に基づく画像を表示する表示部を備え、
   前記表示部は、前記エリア選択部から出力される前記表示位置情報に基づき前記エリア群の範囲を表示可能である、請求項１に記載の撮像装置。
3. 表示すべき前記第２のエリア群の面積は、前記第１のエリア群の面積よりも大きいことを特徴とする、請求項１に記載の撮像装置。
4. さらに、予め特徴点に関する情報を設定する特徴点設定部を備え、
   前記特徴点抽出部は、各前記エリア毎に前記画像信号から特徴点をそれぞれ抽出し、抽出した特徴点と、前記特徴点設定部により設定された前記特徴点に関する情報とを比較した結果に基づいて、前記被写体の特徴点を抽出する、請求項１に記載の撮像装置。
5. 前記特徴点設定部は、前記特徴点に関する情報として参照色情報を設定し、
   前記特徴点抽出部は、各前記エリア毎に前記画像信号から色情報をそれぞれ算出し、算出した色情報と、前記参照色情報設定部により設定された前記参照色情報とを比較した結果に基づいて、前記被写体の特徴点を抽出する、請求項４に記載の撮像装置。
6. 前記参照色情報は、予め撮像された画像信号から、前記画像分割部によって分割された所望のエリアに対して、前記特徴点抽出部が算出した色情報である、請求項５に記載の撮像装置。
7. 前記色情報及び前記参照色情報の内の少なくとも一方は、色相に関する情報及び彩度に関する情報の内の少なくとも一方を含む、請求項６に記載の撮像装置。
8. 前記特徴点抽出部は、前記被写体のエッジ情報を抽出することを特徴とする、請求項１に記載の撮像装置。
9. 前記特徴点抽出部は、前記被写体の輝度情報を抽出することを特徴とする、請求項１に記載の撮像装置。
10. 前記特徴点抽出部は、前記被写体の動きベクトルを抽出することを特徴とする、請求項１に記載の撮像装置。
11. さらに、前記被写体の移動量に応じて表示すべき前記第２のエリア群の面積を変更する表示エリア変更部を備える、請求項１に記載の撮像装置。
12. 前記撮像光学系は、前記被写体の光学的な像を変倍するズームレンズ群を含み、
    前記レンズ駆動制御部は、前記ズームレンズ群を光軸方向に駆動させるズームレンズ駆動部を含み、
    前記表示エリア変更部は、前記ズーム駆動部が制御するズーム倍率に応じて表示すべき前記第２のエリア群の面積を変更することを特徴とする、請求項１１に記載の撮像装置。
13. 前記エリア選択部は、表示すべき前記第２のエリア群の位置が所定範囲外である場合、表示すべき前記第２のエリア群の位置として所定の表示位置情報を出力することを特徴とする、請求項１に記載の撮像装置。
14. 前記所定の表示位置情報は、画面の中央部付近を示す情報であることを特徴とする、請求項１３に記載の撮像装置。
15. さらに、前記撮像光学系により形成される焦点距離を演算する焦点距離演算部を備え、
    前記特徴点抽出部は、前記焦点距離演算部によって演算された焦点距離が所定値以上となった場合に前記特徴点を抽出することを特徴とする、請求項１に記載の撮像装置。
16. 前記低域通過フィルタは、ディジタルフィルタで構成されることを特徴とする、請求項１に記載の撮像装置。
17. 前記低域通過フィルタのカットオフ周波数は、ユーザが前記ＡＦエリア枠の振動を感じない範囲で設定されることを特徴とする、請求項１に記載に撮像装置。
18. 前記低域通過フィルタのカットオフ周波数は、０．１Ｈｚ〜１Ｈｚの範囲で設定されることを特徴とする、請求項１７に記載の撮像装置。

Images