JP5394296B2

JP5394296B2 - 撮像装置及び画像処理方法

Info

Publication number: JP5394296B2
Application number: JP2010069315A
Authority: JP
Inventors: 雅彦杉本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-03-25
Filing date: 2010-03-25
Publication date: 2014-01-22
Anticipated expiration: 2030-03-25
Also published as: JP2011205282A; US20110234834A1; US8736689B2

Description

本発明は、時系列的に連続した複数の画像データを基に、前記各画像データのそれぞれに写った共通の被写体の動きを判断する撮像装置、及びその画像処理方法に関する。

撮像装置では、画像データから複数の特徴点を抽出し、他の画像データから各特徴点に対応する対応点を抽出して各特徴点を追跡することにより、時系列的に連続した複数の画像データのそれぞれに写った共通の被写体の動きを判断することが行われている。

例えば、特許文献１には、複数枚の画像から特徴点を抽出し、各特徴点の動きベクトルを演算することによって各画像の切り出し位置を補正し、切り出した各画像の加算平均を算出することによって、画像の像ぶれを補正することが記載されている。また、特許文献２には、撮影画像から複数の特徴点を抽出し、前記撮影画像の以前又は以降に取得された撮影画像から各特徴点に対応する対応点を抽出して各特徴点を追跡することにより、撮影装置が揺動する場合でも撮影装置の撮影位置や姿勢、又は対象物の座標を精度良く計測できるようにすることが記載されている。

特開２００７−１４２５０７号公報特開２００７−１８３２５６号公報

しかしながら、上記のように特徴点を追跡して被写体の動きを判断する方法には、被写体の動きが速い場合に、像流れにともなうコントラストの低下に起因して対応点を求めることができなくなり、動きが判断できなくなってしまうという問題がある。そして、上記特許文献１、２では、被写体の動きが速く、対応点を求めることができない場合の対応について、何ら考慮がなされていない。

本発明は、上記課題を鑑みてなされたものであり、特徴点の追跡を行うことによって、時系列的に連続した複数の画像データのそれぞれに写った共通の被写体の動きを判断する撮像装置において、被写体の動きが速く、対応点を求めることができない場合でも被写体の動きを判断できるようにすることを目的とする。

上記目的を達成するため、本発明は、撮像素子を駆動することによって時系列的に連続した複数の画像データを取得する撮像装置において、前記画像データから複数の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段が前記各特徴点を抽出した前記画像データの前又は後に取得された前記画像データから前記各特徴点に対応する対応点を求めることにより、前記各特徴点の追跡を行う特徴点追跡手段と、前記特徴点追跡手段で前記対応点が求められた追跡可能な前記特徴点の数、又は前記特徴点追跡手段で前記対応点を求めることができなかった追跡不可能な前記特徴点の数に応じて、前記各画像データのそれぞれに写った共通の被写体の動きが速いか否かを判断する動き判断手段とを備えたことを特徴とする。

前記動き判断手段は、追跡可能な前記特徴点の数が所定値以下である場合に、前記被写体の動きが速いと判断することが好ましい。また、前記動き判断手段は、追跡不可能な前記特徴点の数が所定値以上である場合に、前記被写体の動きが速いと判断する構成でもよい。さらに、前記動き判断手段は、追跡不可能な前記特徴点の数の割合が所定値以上である場合に、前記被写体の動きが速いと判断する構成でもよい。また、前記動き判断手段は、追跡可能な前記特徴点の数の割合が所定値以下である場合に、前記被写体の動きが速いと判断する構成でもよい。

前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、動体に適するように撮影の設定を変更する設定変更手段を設けることが好ましい。

前記設定変更手段は、前記撮像素子のシャッタ速度を速くすることによって動体に適した設定に変更することが好ましい。また、前記設定変更手段は、前記撮像素子のフレームレートを上げることによって動体に適した設定に変更する構成でもよい。また、前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、動体に適した撮影モードを設定する構成でもよい。さらに、前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、時系列的に連続した複数の静止画像を取得する連写モードを設定する構成でもよい。

前記動き判断手段は、追跡可能な前記特徴点の移動ベクトルの算出を行い、追跡可能な前記特徴点の数、又は追跡不可能な前記特徴点の数、及び前記移動ベクトルの大きさに基づいて前記被写体の動きが速いか否かを判断することが好ましい。

前記動き判断手段は、追跡可能な前記特徴点の数、又は追跡不可能な前記特徴点の数に応じて、前記被写体の動きが遅いと判断した場合であっても、前記移動ベクトルの大きさが所定値以上である場合には、前記被写体の動きが速いと判断することが好ましい。

前記動き判断手段は、前記移動ベクトルの大きさが所定値以下で、かつ追跡可能な前記特徴点の数が所定値以下である場合に、オクルージョンが発生していると判断することが好ましい。

前記動き判断手段は、追跡可能な前記特徴点、又は追跡不可能な前記特徴点に対し、前記画像データによって示される画像上の位置毎に予め設定された重み付けを行い、前記各特徴点の重みの値を積算することによって重み積算値を算出し、その重み積算値に応じて前記被写体の動きが速いか否かを判断することが好ましい。

被写体像を前記撮像素子に結像させるとともに、焦点の調節が可能な撮影レンズと、合焦速度の異なる複数の方式のＡＦ処理が実行可能なＡＦ制御手段とを備え、前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、合焦速度の速い方式のＡＦ処理を設定することが好ましい。

撮影の実行が指示された際に測光値を取得し、その測光値を基にＡＥ処理を行う通常ＡＥモードと、撮影の実行が指示された際にスルー画表示時に取得された測光値をそのまま利用してＡＥ処理を行うスルー画測光値利用ＡＥモードとを有するＡＥ制御手段を備え、前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、前記スルー画測光値利用ＡＥモードを設定することが好ましい。

また、本発明は、時系列的に連続した複数の画像データを基に、前記各画像データのそれぞれに写った共通の被写体の動きを判断する画像処理方法において、前記画像データから複数の特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップが前記各特徴点を抽出した前記画像データの前又は後に取得された前記画像データから前記各特徴点に対応する対応点を求めることにより、前記各特徴点の追跡を行う特徴点追跡ステップと、前記特徴点追跡ステップで前記対応点が求められた追跡可能な前記特徴点の数、又は前記特徴点追跡ステップで前記対応点を求めることができなかった追跡不可能な前記特徴点の数に応じて、前記被写体の動きが速いか否かを判断する判断ステップとを有することを特徴とする。

本発明では、追跡可能な特徴点の数、又は追跡不可能な特徴点の数に応じて、被写体の動きが速いか否かを判断するので、被写体の動きが速く、対応点を求めることができない場合でも被写体の動きを判断することができる。

デジタルカメラの正面斜視図である。デジタルカメラの背面図である。デジタルカメラの電気的構成を概略的に示すブロック図である。特徴点抽出処理及び特徴点追跡処理の概要を示す説明図である。デジタルカメラの処理手順を示すフローチャートである。追跡不可能な特徴点の数が所定値以上か否かの判定を行う例を示すフローチャートである。追跡不可能な特徴点の数の割合が所定値以上か否かの判定を行う例を示すフローチャートである。追跡可能な特徴点の数の割合が所定値以下か否かの判定を行う例を示すフローチャートである。被写体の動きが速いと判断された場合にフレームレートを上げる例を示すフローチャートである。被写体の動きが速いと判断された場合にスポーツモードに設定する例を示すフローチャートである。被写体の動きが速いと判断された場合に連写モードに設定する例を示すフローチャートである。追跡可能な特徴点の数が所定値以下である場合のみに特徴点を更新する例を示すフローチャートである。追跡可能な特徴点の数が所定値以下である場合のみに特徴点を更新する例を示す説明図である。追跡可能な特徴点の数が所定値以上である場合に対応点を次回の特徴点にする例を示すフローチャートである。追跡可能な特徴点の数が所定値以上である場合に対応点を次回の特徴点にする例を示す説明図である。追跡可能な特徴点の数が所定値以下である場合に移動ベクトルを算出する例を示すフローチャートである。オクルージョンの発生を検出する例を示すフローチャートである。オクルージョンが発生した例を示す説明図である。追跡可能な特徴点の数の判定を先に行ってオクルージョンの発生を検出する例を示すフローチャートである。追跡不可能な特徴点の重み積算値を算出する例を示すフローチャートである。被写体の動きに応じてＡＦの方式を変更する例を示すフローチャートである。被写体の動きに応じてＡＥのモードを変更する例を示すフローチャートである。

［第１実施形態］
図１に示すように、デジタルカメラ（撮像装置）２は、略直方体状に形成されたカメラ本体４を有している。カメラ本体４の前面には、撮影レンズ１０を保持するレンズ鏡筒１１と、撮影実行の際に被写体を照射するフラッシュ発光部１２とが設けられている。カメラ本体４の上面には、撮影実行を指示するレリーズボタン１４と、電源のＯＮ／ＯＦＦを切り替える電源ボタン１５と、撮影レンズ１０をワイド側もしくはテレ側に変倍させるズーム操作を行うためのズームレバー１６とが設けられている。

レリーズボタン１４は、２段階押しのスイッチとなっている。レリーズボタン１４を軽く押す（半押し）と、ＡＦ（自動焦点調整）などの各種の撮影準備処理が実施される。この半押しした状態からレリーズボタン１４をさらに押し込む（全押し）と、デジタルカメラ２に撮影の実行が指示され、撮影準備処理が施された１画面分の撮像信号が画像データに変換される。

図２に示すように、カメラ本体４の背面には、液晶ディスプレイ２０、モード選択ボタン２１、メニューボタン２２が設けられている。液晶ディスプレイ２０は、撮影した画像や撮影待機時のいわゆるスルー画、及び各種のメニュー画面などを表示する。デジタルカメラ２は、静止画像を取得する静止画撮影モード、動画像を取得する動画撮影モード、取得した各画像を液晶ディスプレイ２０に再生表示する再生モードなどの複数の動作モードを有している。モード選択ボタン２１は、デジタルカメラ２の各動作モードを切り替える際に操作される。デジタルカメラ２の動作モードは、モード選択ボタン２１の押下操作に応じて順次切り替えられる。メニューボタン２２は、液晶ディスプレイ２０に各種のメニュー画面を表示させる際に操作される。

図３に示すように、レンズ鏡筒１１には、モータ３０が接続されている。モータ３０は、ギヤなどの伝達機構を介してレンズ鏡筒１１に駆動力を伝えることにより、レンズ鏡筒１１の繰り出し／繰り込みを行う。図３では便宜的に図示を簡略化しているが、撮影レンズ１０は、複数枚のレンズからなるレンズ群であり、レンズ鏡筒１１の繰り出し／繰り込みに応じて各レンズの間隔を変化させることによって倍率を変化させる。また、撮影レンズ１０には、倍率を変化させる光学系の他に、開口面積を変化させることによって撮影レンズ１０から出射される光の量を調節する絞り機構や、光軸方向に移動することによって撮影レンズ１０の焦点を調節するフォーカスレンズが設けられている。

モータ３０は、モータドライバ３２に接続されている。モータドライバ３２は、デジタルカメラ２の全体を統括的に制御するＣＰＵ（動き判断手段、設定変更手段、ＡＦ制御手段、ＡＥ制御手段）３４に接続されており、このＣＰＵ３４からの制御信号に基づいてモータ３０に駆動パルスを送信する。モータ３０は、この駆動パルスに応じて回転軸を回転駆動する。

撮影レンズ１０の背後には、撮影レンズ１０によって結像された被写体像を撮像するＣＣＤ（撮像素子）３６が配置されている。ＣＣＤ３６には、ＣＰＵ３４によって制御されるタイミングジェネレータ（ＴＧ）３８が接続され、このＴＧ３８から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度及びフレームレートが決定される。

シャッタ速度とフレームレートとは、それぞれ値の異なる複数の設定が予め容易されている。これらは、メニューボタン２２の押下によって液晶ディスプレイ２０に表示されるメニュー画面から所定の値を選択することにより、ユーザが任意に設定することができる。ＣＰＵ３４は、これらの設定に応じてＴＧ３８を制御し、ユーザが選択したシャッタ速度及びフレームレートでＣＣＤ３６を駆動させる。

ＣＣＤ３６から出力された撮像信号は、相関二重サンプリング回路（ＣＤＳ）４０に入力され、ＣＣＤ３６の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの撮像信号として出力される。ＣＤＳ４０から出力された撮像信号は、増幅器（ＡＭＰ）４１で増幅され、Ａ／Ｄ変換器（Ａ／Ｄ）４２でデジタルの画像データに変換される。

画像入力コントローラ４３は、バス４４を介してＣＰＵ３４に接続され、ＣＰＵ３４の制御命令に応じて、ＣＣＤ３６、ＣＤＳ４０、ＡＭＰ４１、及びＡ／Ｄ４２の各部を制御する。Ａ／Ｄ４２から出力された画像データは、ＳＤＲＡＭ４５に一時的に記録される。

画像信号処理回路４６は、ＳＤＲＡＭ４５から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ４５に記録する。ＹＣ変換処理回路４７は、画像信号処理回路４６で各種処理を施された画像データをＳＤＲＡＭ４５から読み出し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換する。

液晶ドライバ４８は、画像信号処理回路４６、ＹＣ変換処理回路４７を経た画像データをＳＤＲＡＭ４５から読み出し、アナログのコンポジット信号に変換して液晶ディスプレイ２０に表示する。これにより、ＣＣＤ３６で撮像された撮像信号がスルー画として液晶ディスプレイ２０に表示される。

圧縮伸長処理回路５０は、ＹＣ変換処理回路４７でＹＣ変換された画像データを所定の形式のファイルフォーマットに変換することにより、画像データから静止画像ファイル又は動画像ファイルを生成する。メディアコントローラ５１は、メディアスロットに着脱自在に装着されたメモリカード５２にアクセスし、生成された静止画像ファイルや動画像ファイルの読み書きを行う。

ＣＰＵ３４には、レリーズボタン１４、ズームレバー１６、モード選択ボタン２１、メニューボタン２２といった各種の操作部材が接続されている。これらの各操作部材は、操作を検出し、その検出結果をＣＰＵ３４に入力する。

また、バス４４には、上記の他に、フラッシュ制御部５４、ＡＥ／ＡＷＢ検出回路５５、ＡＦ検出回路５６、特徴点抽出部５７、及び特徴点追跡部５８などが接続されている。フラッシュ制御部５４は、ＣＰＵ３４から送信されるフラッシュ発光信号に応じてフラッシュ発光部１２を発光させる。

ＡＥ／ＡＷＢ検出回路５５は、ＹＣ変換処理回路４７でＹＣ変換された画像データの輝度信号Ｙと色差信号Ｃｒ、Ｃｂとの積算値を基に、被写体の輝度を表す測光値を算出し、この算出結果をＣＰＵ３４に送信する。ＣＰＵ３４は、ＡＥ／ＡＷＢ検出回路５５から送信された測光値を基に、露出量、及びホワイトバランスの適否を判断し、撮影レンズ１０の絞り機構やＣＣＤ３６などの動作を制御するＡＥ（自動露出調整）を行う。

また、ＡＥ／ＡＷＢ検出回路５５は、スルー画として表示される各フレームの画像データが取得される毎に、その画像データに基づく測光値を算出してＣＰＵ３４に送信する。そして、ＣＰＵ３４は、ＡＥ／ＡＷＢ検出回路５５から測光値を取得する毎に、上記ＡＥの処理を実行する。すなわち、このデジタルカメラ２では、液晶ディスプレイ２０にスルー画が表示された撮影待機状態において常時ＡＥが実施され、その結果がスルー画に反映される。

また、このデジタルカメラ２は、レリーズボタン１４の全押しによって撮影の実行が指示された際に、ＡＥ／ＡＷＢ検出回路５５に測光値を算出させ、その測光値を基にＡＥ処理を行った後に撮影を実行する通常ＡＥモードと、レリーズボタン１４の全押しによって撮影の実行が指示された際に、直前のスルー画表示時に取得された測光値をそのまま利用してＡＥ処理を行った後に撮影を実行するスルー画測光値利用ＡＥモードとを有している。スルー画測光値利用ＡＥモードでは、測光値の算出にともなうシャッタタイムラグを軽減することができる。これらの各ＡＥモードは、メニューボタン２２の押下によって液晶ディスプレイ２０に表示されるメニュー画面からユーザが任意に設定することができる。

ＡＦ検出回路５６は、Ａ／Ｄ４２でデジタル化された画像データを基に撮影レンズ１０の合焦評価値を算出し、その算出結果をＣＰＵ３４に送信する。ＣＰＵ３４は、レリーズボタン１４の半押しにともなう撮影準備処理の際に、ＡＦ検出回路５６によって算出される合焦評価値に基づいてコントラスト方式のＡＦ処理を行うことにより、撮影レンズ１０を合焦させる。

特徴点抽出部５７は、ＣＰＵ３４の制御の下、ＹＣ変換処理回路４７でＹＣ変換された画像データをＳＤＲＡＭ４５から読み出し、図４に示すように、その画像データによって示されるフレーム画像６０から複数の特徴点６２を抽出する特徴点抽出処理を行う。特徴点６２とは、フレーム画像６０の被写体において他の点との区別がし易い点のことであり、例えば、輝度勾配を持ったコーナーなどである。

特徴点抽出部５７は、特徴点抽出処理を行った後、抽出した各特徴点６２を示す特徴点情報を特徴点追跡部５８に入力する。特徴点情報は、例えば、特徴点６２となる画素の位置や、当該画素及びその周辺の画素の画素値などから構成される。なお、特徴点抽出部５７による特徴点抽出処理には、上記特許文献１、２などに記載された周知の手法を用いればよい。

特徴点追跡部５８には、特徴点抽出部５７から入力された特徴点情報を記憶する特徴点情報記憶メモリ５９が設けられている。特徴点追跡部５８は、特徴点抽出部５７から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ５９に記憶させる。

特徴点追跡部５８は、ＣＰＵ３４の制御の下、特徴点情報記憶メモリ５９に特徴点情報が記憶された状態で次のフレームの画像データが取得された際に、その次のフレームのＹＣ変換後の画像データをＳＤＲＡＭ４５から読み出す。特徴点追跡部５８は、画像データを読み出したら、テンプレートマッチングなどの周知の手法を用い、特徴点情報記憶メモリ５９に記憶された特徴点情報が示す各特徴点６２のそれぞれに対応した対応点６４を、当該画像データによって示されるフレーム画像６０から求めることにより、各特徴点６２の移動軌跡を追跡する特徴点追跡処理を行う。そして、特徴点追跡部５８は、特徴点追跡処理を行った後、求めた各対応点６４を示す対応点情報を生成し、その対応点情報をＣＰＵ３４に入力する。なお、対応点情報は、特徴点情報と同様に、対応点６４となる画素の位置や、当該画素及びその周辺の画素の画素値などから構成される。

ＣＰＵ３４は、特徴点追跡部５８から対応点情報が入力されると、その対応点情報を基に、特徴点追跡部５８で対応点６４が求められた追跡可能な特徴点６２の数を確認し、その数が所定値以下か否かの判定を行う。追跡可能な特徴点６２の数は、被写体の動きが速い場合に、像流れにともなうコントラストの低下に起因して減少する傾向にある。そこで、ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下であると判定した場合に、被写体の動きが速いと判断する。

ＣＰＵ３４は、被写体の動きが速いと判断すると、メニュー画面を介してユーザが設定したシャッタ速度の如何に関わらず、最も速いシャッタ速度を設定し、ＣＣＤ３６のシャッタ速度を速くする。このように、ＣＰＵ３４は、追跡可能な特徴点６２の数によって被写体の動きを判断し、その結果に応じて動体に適するように撮影の設定を変更する。

次に、図５に示すフローチャートを参照しながら、上記構成によるデジタルカメラ２の作用について説明する。デジタルカメラ２で撮影を行う場合には、電源ボタン１５を押下してデジタルカメラ２の各部を起動させた後、モード選択ボタン２１を押下して静止画撮影モード又は動画撮影モードを選択し、デジタルカメラ２を撮影待機状態にする。

デジタルカメラ２が撮影待機状態になると、ＣＰＵ３４によってＴＧ３８が制御され、これによってＴＧ３８から出力されるタイミング信号によってＣＣＤ３６が駆動される。この際、ＣＰＵ３４は、メニュー画面を介してユーザが設定したシャッタ速度及びフレームレートに応じてＣＣＤ３６を駆動させる。ＣＣＤ３６は、ＴＧ３８からのタイミング信号に応答して撮像を行い、撮影レンズ１０によって結像された被写体像に応じた撮像信号を出力する。

ＣＣＤ３６から出力された撮像信号は、ＣＤＳ４０、ＡＭＰ４１、Ａ／Ｄ４２を経てデジタルの画像データに変換される。そして、このデジタルの画像データは、画像信号処理回路４６での各種の画像処理、及びＹＣ変換処理回路４７でのＹＣ変換処理が施された後、液晶ドライバ４８でアナログのコンポジット信号に変換され、スルー画として液晶ディスプレイ２０に表示される。

また、ＣＰＵ３４は、ＣＣＤ３６の駆動によって画像データが取得されると、上記のようにその画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データが最初のフレームであるか否かを判定する。そして、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示する。

特徴点抽出部５７は、ＣＰＵ３４から特徴点抽出処理の実行が指示されると、ＹＣ変換後の画像データをＳＤＲＡＭ４５から読み出し、その画像データによって示されるフレーム画像６０から複数の特徴点６２を抽出する。特徴点抽出部５７は、各特徴点６２を抽出したら、それらの各特徴点６２を示す特徴点情報を生成し、その特徴点情報を特徴点追跡部５８に入力する。特徴点追跡部５８は、特徴点抽出部５７から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ５９に記憶させる。

ＣＰＵ３４は、ＣＣＤ３６の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部５８に指示する。特徴点追跡部５８は、ＣＰＵ３４から特徴点追跡処理の実行が指示されると、ＹＣ変換後の画像データをＳＤＲＡＭ４５から読み出し、特徴点情報記憶メモリ５９に記憶された特徴点情報が示す各特徴点６２、すなわち１つ前のフレームの画像データから抽出された各特徴点６２のそれぞれに対応した対応点６４を、当該画像データによって示されるフレーム画像６０から求める。特徴点追跡部５８は、各対応点６４を求めたら、それらの各対応点６４を示す対応点情報をＣＰＵ３４に入力する。

ＣＰＵ３４は、特徴点追跡部５８から対応点情報が入力されると、その対応点情報を基に、特徴点追跡部５８で対応点６４が求められた追跡可能な特徴点６２の数が所定値以下か否かを判定する。ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値よりも大きい場合、被写体の動きが遅いと判断する。一方、ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してＣＣＤ３６のシャッタ速度を速くする。このように、追跡可能な特徴点６２の数が所定値以下か否かを判定するようにすれば、被写体の動きが速く、対応点を求めることができない場合でも被写体の動きを判断することができる。

ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下か否かの判定を行い、必要に応じてシャッタ速度を設定した後、特徴点追跡部５８に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示する。特徴点抽出部５７は、前回と同様の手順で各特徴点６２の抽出、及び特徴点情報の生成を行い、生成した特徴点情報を特徴点追跡部５８に入力する。

特徴点追跡部５８は、特徴点抽出部５７から特徴点情報が入力されると、特徴点情報記憶メモリ５９に記憶された特徴点情報を削除し、特徴点抽出部５７からの新たな特徴点情報を記憶させることにより、特徴点情報記憶メモリ５９の特徴点情報を更新する。このように、ＣＰＵ３４は、各フレームの画像データ毎に特徴点抽出処理を行うことにより、次のフレームの画像データの特徴点追跡処理に用いられる各特徴点６２を順次更新する（図４参照）。

そして、ＣＰＵ３４は、レリーズボタン１４の半押しにともなう撮影準備処理の実行の指示や、レリーズボタン１４の全押しにともなう撮影実行の指示、あるいはモード選択ボタン２１の押下にともなう再生モードへの切り替えの指示などが入力されるまで、上記の処理を繰り返す。

上記実施形態では、追跡可能な特徴点６２の数が所定値以下か否かの判定を行い、所定値以下である場合に、被写体の動きが速いと判断するようにしたが、これに限ることなく、図６のフローチャートに示すように、特徴点追跡部５８での特徴点追跡処理によって対応点６４を求めることができなかった追跡不可能な特徴点６２の数が所定値以上か否かの判定を行い、所定値以上である場合に、被写体の動きが速いと判断してもよい。

さらには、図７のフローチャートに示すように、特徴点情報が示す各特徴点６２の数、すなわち特徴点抽出処理で抽出された各特徴点６２の全体の数に対する追跡不可能な特徴点６２の数の割合を求め、その割合が所定値以上か否かの判定を行い、所定値以上である場合に、被写体の動きが速いと判断してもよし、図８のフローチャートに示すように、各特徴点６２の全体の数に対する追跡可能な特徴点６２の数の割合を求め、その割合が所定値以下か否かの判定を行い、所定値以下である場合に、被写体の動きが速いと判断してもよい。

また、上記実施形態では、被写体の動きが速いと判断された際に、シャッタ速度を速くすることによって動体に適した設定に変更するようにしたが、これに限ることなく、例えば、図８のフローチャートに示すように、被写体の動きが速いと判断された際に、最も高いフレームレートを設定し、ＣＣＤ３６のフレームレートを上げることによって動体に適した設定に変更するようにしてもよい。

なお、上記実施形態では、最も速いシャッタ速度を設定することによってＣＣＤ３６のシャッタ速度を速くするようにしたが、これに限ることなく、例えば、メニュー画面を介してユーザが設定したシャッタ速度の１つ上の値のシャッタ速度を設定することによってシャッタ速度を速くしてもよい。同様に、上記実施形態では、最も高いフレームレートを設定することによってＣＣＤ３６のフレームレートを上げるようにしたが、これに限ることなく、例えば、メニュー画面を介してユーザが設定したフレームレートの１つ上の値のフレームレートを設定することによってフレームレートを上げてもよい。このように、シャッタ速度やフレームレートの設定変更の手法は、上記に限定されるものではなく、シャッタ速度を速くしたりフレームレートを上げたりすることができる任意の手法でよい。

また、シャッタ速度やフレームレートの設定は、スルー画には適用することなく、撮影を実行して静止画像ファイルや動画像ファイルを取得する際にのみ適用してもよいし、スルー画にも適用してもよい。

また、動体の撮影に適したスポーツモードをデジタルカメラ２の撮影モードとして設けておき、図９のフローチャートに示すように、被写体の動きが速いと判断された際に、デジタルカメラ２の撮影モードをスポーツモードに設定するようにしてもよい。ここで、スポーツモードとは、ＣＣＤ３６のシャッタ速度や撮影レンズ１０の絞り機構などの値を統合的に調節することによって、スポーツシーンなどにおける動きの速い被写体を鮮明に撮影できるようにした撮影モードである。なお、スポーツモードに限ることなく、動体の撮影に適した他の撮影モードを設定してもよい。

さらには、１回の撮影実行指示に応答して静止画撮影を所定の間隔で複数回連続して実行することにより、時系列的に連続した複数の静止画像ファイルを取得する連写モードをデジタルカメラ２の撮影モードとして設けておき、図１０のフローチャートに示すように、被写体の動きが速いと判断された際に、デジタルカメラ２の撮影モードを連写モードに設定するようにしてもよい。こうすれば、被写体の動きが速い場合でも、適切なシャッタチャンスを捉えられる可能性が高まり、ユーザの所望するシャッタチャンスでの撮り逃しを防ぐことができる。

また、スポーツモードや連写モードなどの撮影モードを設定した場合には、撮影の実行によって取得された静止画像ファイルや動画像ファイルのタグ領域に、設定した撮影モードの情報をタグ情報として書き込むことが好ましい。こうすれば、被写体の動きが速いと判断されて取得された静止画像ファイルや動画像ファイルを検索したり分類したりする際の目安となり、利便性を高めることができる。さらには、被写体の動きが速いと判断されたこと自体をタグ情報として書き込んでもよい。

［第２実施形態］
次に、図１１のフローチャート及び図１２の説明図を参照しながら、本発明の第２の実施形態について説明する。なお、各部の構成は、上記第１の実施形態と同様とし、上記第１の実施形態と同じ符号を用いて説明を行う。

上記第１の実施形態と同様に、ＣＰＵ３４は、ＣＣＤ３６の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示する。

ＣＰＵ３４は、ＣＣＤ３６の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部５８に指示する。特徴点追跡部５８は、ＣＰＵ３４から特徴点追跡処理の実行が指示されると、ＹＣ変換後の画像データをＳＤＲＡＭ４５から読み出し、特徴点情報記憶メモリ５９に記憶された特徴点情報が示す各特徴点６２のそれぞれに対応した対応点６４を、当該画像データによって示されるフレーム画像６０から求める。特徴点追跡部５８は、各対応点６４を求めたら、それらの各対応点６４を示す対応点情報をＣＰＵ３４に入力する。

ＣＰＵ３４は、特徴点追跡部５８から対応点情報が入力されると、その対応点情報を基に、追跡可能な特徴点６２の数が１つ以下か否かを判定する。ＣＰＵ３４は、追跡可能な特徴点６２の数が２つ以上である場合、被写体の動きが遅いと判断する。一方、ＣＰＵ３４は、追跡可能な特徴点６２の数が１つ以下である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してＣＣＤ３６のシャッタ速度を速くする。

ＣＰＵ３４は、追跡可能な特徴点６２の数が１つ以下か否かの判定を行い、必要に応じてシャッタ速度を設定した後、追跡可能な特徴点６２の数が２つ以下か否かの判定を行う。ＣＰＵ３４は、追跡可能な特徴点６２の数が２つ以下であると判定すると、上記第１の実施形態と同様に、特徴点追跡部５８に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示することにより、特徴点追跡部５８の特徴点情報記憶メモリ５９に記憶された特徴点情報を更新させる。

一方、ＣＰＵ３４は、追跡可能な特徴点６２の数が３つ以上であると判定すると、特徴点抽出処理を行わずに、特徴点情報記憶メモリ５９に記憶されている特徴点情報を次のフレームの画像データの特徴点追跡処理にそのまま用いるようにする。

このように、追跡可能な特徴点６２の数が２つ以下になるまで共通の特徴点６２で特徴点追跡処理を行う（図１２参照）ようにすれば、特徴点６２と対応点６４との複数のフレーム間での対応関係がより明確になり、被写体の動きをより正確に判断することができるとともに、各フレームの画像データ毎に特徴点抽出処理を行う場合に比べてＣＰＵ３４などの処理負荷の低減も図ることができる。

なお、本実施形態では、追跡可能な特徴点６２の数が１つ以下か否かの判定、及び追跡可能な特徴点６２の数が２つ以下か否かの判定を行ったが、これらの判定における特徴点６２の数は、上記に限ることなく、任意の数でよい。

［第３実施形態］
次に、図１３のフローチャート及び図１４の説明図を参照しながら、本発明の第３の実施形態について説明する。なお、本実施形態は、追跡可能な特徴点６２の数が２つ以下か否かの判定を行う部分まで上記第２の実施形態と同様である。従って、この部分までの説明は省略する。

ＣＰＵ３４は、追跡可能な特徴点６２の数が２つ以下であると判定すると、上記各実施形態と同様に、特徴点追跡部５８に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示することにより、特徴点追跡部５８の特徴点情報記憶メモリ５９に記憶された特徴点情報を更新させる。

一方、ＣＰＵ３４は、追跡可能な特徴点６２の数が３つ以上であると判定すると、対応点情報を特徴点情報として特徴点追跡部５８に入力し、この対応点情報を特徴点情報記憶メモリ５９に記憶させることにより、特徴点追跡処理によって求められた各対応点６４を、次のフレームの画像データの特徴点追跡処理に用いる各特徴点６２とする（図１４参照）。

上記第２の実施形態では、特徴点情報記憶メモリ５９に記憶されている特徴点情報を次のフレームの画像データの特徴点追跡処理にそのまま用いるようにした。こうすると、特徴点６２と対応点６４との複数のフレーム間での対応関係を明確にすることができる反面、フレームが進む毎に像流れなどにともなう画像の変化量が蓄積されていき、変化量が徐々に大きくなっていくため、対応点６４を求める際の探索範囲から外れる可能性が高くなり、追跡可能な特徴点６２の数が減りやすい。

これに対し、本実施形態のように、各対応点６４を次のフレームの画像データの特徴点追跡処理に用いる各特徴点６２とすれば、隣接するフレーム間の画像の変化量だけで済むため、特徴点６２と対応点６４との複数のフレーム間での対応関係を明確にしつつ、対応点６４を求める際の探索範囲から外れる可能性を低くすることができる。

［第４実施形態］
次に、図１５のフローチャートを参照しながら、本発明の第４の実施形態について説明する。上記各実施形態と同様に、ＣＰＵ３４は、ＣＣＤ３６の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示する。

ＣＰＵ３４は、特徴点追跡部５８から対応点情報が入力されると、その対応点情報を基に、特徴点追跡部５８で対応点６４が求められた追跡可能な特徴点６２の数が所定値以下か否かを判定する。ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してＣＣＤ３６のシャッタ速度を速くする。

一方、ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値よりも大きい場合、特徴点追跡部５８から特徴点情報記憶メモリ５９に記憶された特徴点情報を読み出す。そして、ＣＰＵ３４は、特徴点情報に基づく各特徴点６２の位置と、対応点情報に基づく各対応点６４の位置とから、追跡可能な各特徴点６２の移動ベクトルを算出する。ＣＰＵ３４は、追跡可能な各特徴点６２の移動ベクトルを算出したら、それらの中から大きさが最大のものを抽出し、その移動ベクトルの大きさが所定値以上か否かを判定する。

ＣＰＵ３４は、移動ベクトルの大きさが所定値以下である場合、被写体の動きが遅いと判断する。一方、ＣＰＵ３４は、移動ベクトルの大きさが所定値以上である場合、被写体の動きが速いと判断し、追跡可能な特徴点６２の数が所定値以下である場合と同様に、最も速いシャッタ速度を設定してＣＣＤ３６のシャッタ速度を速くする。

ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下か否かの判定、及び移動ベクトルの大きさが所定値以上か否かの判定を行い、必要に応じてシャッタ速度を設定した後、特徴点追跡部５８に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示することにより、特徴点追跡部５８の特徴点情報記憶メモリ５９に記憶された特徴点情報を更新させる。

このように、追跡可能な各特徴点６２の移動ベクトルを算出し、それらの各移動ベクトルの大きさの最大値が所定値以上である場合に、被写体の動きが速いと判断すれば、より正確に被写体の動きを判断することができる。なお、本実施形態では、各移動ベクトルの大きさの最大値が所定値以上であるか否かを判定するようにしたが、これに限ることなく、例えば、各移動ベクトルの平均値を算出し、その平均値が所定値以上であるか否かを判定してもよい。

［第５実施形態］
次に、図１６のフローチャート及び図１７の説明図を参照しながら、本発明の第５の実施形態について説明する。上記各実施形態と同様に、ＣＰＵ３４は、ＣＣＤ３６の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示する。

ＣＰＵ３４は、ＣＣＤ３６の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部５８に指示する。特徴点追跡部５８は、ＣＰＵ３４から特徴点追跡処理の実行が指示されると、ＹＣ変換後の画像データをＳＤＲＡＭ４５から読み出し、特徴点情報記憶メモリ５９に記憶された特徴点情報が示す各特徴点６２のそれぞれに対応した対応点６４を、当該画像データによって示されるフレーム画像６０から求める。特徴点追跡部５８は、各対応点６４を求めたら、それらの各対応点６４を示す対応点情報、及び特徴点情報記憶メモリ５９に記憶された特徴点情報をＣＰＵ３４に入力する。

ＣＰＵ３４は、特徴点追跡部５８から特徴点情報と対応点情報とが入力されると、これらの各情報を基に、追跡可能な各特徴点６２の移動ベクトルを算出する。そして、ＣＰＵ３４は、追跡可能な各特徴点６２の移動ベクトルを算出したら、それらの中から大きさが最大のものを抽出し、その移動ベクトルの大きさが所定値以上か否かを判定する。

ＣＰＵ３４は、移動ベクトルの大きさが所定値以上である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してＣＣＤ３６のシャッタ速度を速くする。一方、ＣＰＵ３４は、移動ベクトルの大きさが所定値以下である場合、被写体の動きが遅いと判断する。

ＣＰＵ３４は、被写体の動きが遅いと判断すると、特徴点追跡部５８からの対応点情報を基に、追跡可能な特徴点６２の数が所定値以下か否かを判定する。そして、ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下である場合、図１７に示すように、特徴点６２に対応する部分が他の被写体によって隠されてしまったオクルージョンが発生していると判断する。

ＣＰＵ３４は、オクルージョンが発生していると判断すると、液晶ディスプレイ２０にメッセージを表示したり、図示を省略したスピーカから警告音を発したりすることなどにより、ユーザに対してオクルージョンの発生を警告する。

ＣＰＵ３４は、移動ベクトルの大きさが所定値以上か否かの判定を行い、必要に応じてシャッタ速度の設定やオクルージョンの警告を行った後、特徴点追跡部５８に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示することにより、特徴点追跡部５８の特徴点情報記憶メモリ５９に記憶された特徴点情報を更新させる。

このように、移動ベクトルの大きさが所定値以下で被写体の動きが遅いと判断される状況であるにも関わらず、追跡可能な特徴点６２の数が所定値以下に減少した場合に、オクルージョンが発生していると判断し、警告を行うようにすれば、ユーザの所望する被写体が隠れた状態で撮影が実行されてしまうことを防ぐことができる。こうした機能は、ユーザがスルー画などを確認することができないセルフタイマ撮影の際に、特に有効である。

また、オクルージョンは、特徴点６２に対応する部分を隠していた被写体が移動することにより、解消される場合がある。そこで、セルフタイマ撮影の際にオクルージョンが発生していると判断された場合には、所定のタイマ期間が経過した後にもオクルージョンが解消されるまで、すなわち隠れていた部分の各特徴点６２が再度確認されるまで撮影の実行を待ち、オクルージョンが解消された後に撮影を実行するようにしてもよい。

［第６実施形態］
次に、図１８のフローチャートを参照しながら、本発明の第６の実施形態について説明する。上記各実施形態と同様に、ＣＰＵ３４は、ＣＣＤ３６の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示する。

ＣＰＵ３４は、特徴点追跡部５８から対応点情報が入力されると、その対応点情報を基に、特徴点追跡部５８で対応点６４が求められた追跡可能な特徴点６２の数が所定値以下か否かを判定する。ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値よりも大きい場合、被写体の動きが遅いと判断する。

一方、ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下である場合、特徴点追跡部５８から特徴点情報記憶メモリ５９に記憶された特徴点情報を読み出す。そして、ＣＰＵ３４は、特徴点情報に基づく各特徴点６２の位置と、対応点情報に基づく各対応点６４の位置とから、追跡可能な各特徴点６２の移動ベクトルを算出する。ＣＰＵ３４は、追跡可能な各特徴点６２の移動ベクトルを算出したら、それらの中から大きさが最大のものを抽出し、その移動ベクトルの大きさが所定値以上か否かを判定する。

ＣＰＵ３４は、移動ベクトルの大きさが所定値以上である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してＣＣＤ３６のシャッタ速度を速くする。一方、ＣＰＵ３４は、移動ベクトルの大きさが所定値以下である場合、被写体の動きが遅いと判断するとともに、オクルージョンが発生していると判断し、液晶ディスプレイ２０にメッセージを表示したり、図示を省略したスピーカから警告音を発したりすることなどにより、ユーザに対してオクルージョンの発生を警告する。

ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下か否かの判定を行い、必要に応じてシャッタ速度の設定やオクルージョンの警告を行った後、特徴点追跡部５８に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示することにより、特徴点追跡部５８の特徴点情報記憶メモリ５９に記憶された特徴点情報を更新させる。

上記第５の実施形態では、移動ベクトルの大きさが所定値以下で、かつ追跡可能な特徴点の数が所定値以下である場合に、オクルージョンが発生していると判断した。これに対し、本実施形態では、追跡可能な特徴点の数が所定値以下で、かつ移動ベクトルの大きさが所定値以下である場合に、オクルージョンが発生していると判断した。このように、追跡可能な特徴点６２の数が所定値以下か否かを判定する工程と、移動ベクトルの大きさが所定値以上か否かを判定する工程とを入れ替えても、上記第５の実施形態と同様の効果を得ることができる。

［第７実施形態］
次に、図１９のフローチャートを参照しながら、本発明の第７の実施形態について説明する。上記各実施形態と同様に、ＣＰＵ３４は、ＣＣＤ３６の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示する。

ＣＰＵ３４は、特徴点追跡部５８から特徴点情報と対応点情報とが入力されると、これらの各情報を基に、特徴点追跡部５８で対応点６４を求めることができなかった追跡不可能な各特徴点６２を抽出する。ＣＰＵ３４は、追跡不可能な各特徴点６２を抽出したら、それらに対して位置毎に予め設定された重み付けを行う。そして、各特徴点６２の重みの値を積算することにより、追跡不可能な各特徴点６２の重み積算値を算出する。この際、重みの値は、例えば、フレーム画像６０の中央部分を最も大きくし、端に行くに従って徐々に小さくなるように設定すればよい。

ＣＰＵ３４は、追跡不可能な各特徴点６２の重み積算値を算出したら、その重み積算値が所定値以上か否かの判定を行う。ＣＰＵ３４は、重み積算値が所定値以下である場合、被写体の動きが遅いと判断する。一方、ＣＰＵ３４は、重み積算値が所定値以上である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してＣＣＤ３６のシャッタ速度を速くする。

ＣＰＵ３４は、重み積算値が所定値以上か否かの判定を行い、必要に応じてシャッタ速度を設定した後、特徴点追跡部５８に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示することにより、特徴点追跡部５８の特徴点情報記憶メモリ５９に記憶された特徴点情報を更新させる。

上記各実施形態のように、特徴点６２の数の減り具合のみで被写体の動きを判断すると、主要な被写体が動いて特徴点６２が減るケースだけでなく、背景部分に動きの速い被写体が存在するケースや、背景の一部にオクルージョンが発生したケースなど、撮影に実質的な影響が低いケースでも、被写体の動きが速いと判断されて設定が変更されてしまう。

これに対し、本実施形態では、位置に応じて重みを設定しておき、重みの値の小さい部分の特徴点６２が、動きの判断に与える影響を低くなるようにしたので、動きの判断をより適切に行うことができる。なお、重みの値を大きくする位置は、中央部分に限ることなく、例えば、顔検出で検出した顔の近くの重みの値を大きくしたり、自動追尾するターゲットの近くの重みの値を大きくしたりしてもよい。

［第８実施形態］
次に、図２０のフローチャートを参照しながら、本発明の第８の実施形態について説明する。ここで、本実施形態では、ＣＣＤ３６が、入射する光の角度に選択性を持たせた複数の位相差検出用の画素を有し、位相差方式のＡＦ処理を行うことができるものとする。さらに、デジタルカメラ２は、位相差方式のＡＦ処理（以下、位相差ＡＦと称す）と、コントラスト方式のＡＦ処理（以下、コントラストＡＦと称す）とを選択的に切り替えて実行できるものとする。

上記各実施形態と同様に、ＣＰＵ３４は、ＣＣＤ３６の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示する。

ＣＰＵ３４は、特徴点追跡部５８から対応点情報が入力されると、その対応点情報を基に、追跡可能な特徴点６２の数が所定値以下か否かを判定する。ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以上である場合、被写体の動きが遅いと判断し、精度の高いコントラストＡＦを設定する。一方、ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下である場合、被写体の動きが速いと判断し、コントラストＡＦよりも合焦速度の速い位相差ＡＦを設定する。

ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下か否かの判定、及びコントラストＡＦ又は位相差ＡＦの設定を行った後、特徴点追跡部５８に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示することにより、特徴点追跡部５８の特徴点情報記憶メモリ５９に記憶された特徴点情報を更新させる。

そして、ＣＰＵ３４は、レリーズボタン１４の半押しによって撮影準備処理の実行が指示された際に、上記の処理で設定した方式のＡＦ処理を実行する。こうすれば、被写体の動きが速い場合には、自動的に速度重視のＡＦ処理が行われるようになり、動きの速い被写体であっても、タイミングを逃さず、ピントの合った適切な画像を撮影することができる。

本実施形態では、コントラストＡＦと位相差ＡＦとを例に説明を行ったが、設定するＡＦ処理の方式は、これらに限定されるものではない。例えば、被写体との距離を測る測距センサをデジタルカメラ２に設け、被写体の動きが遅いと判断された場合には、コントラストＡＦを設定し、被写体の動きが速いと判断された場合には、前記測距センサを用いたアクティブ方式のＡＦ処理を設定するようにしてもよい。さらには、サーチステップの異なる複数のコントラストＡＦを用意しておき、被写体の動きが遅いと判断された場合には、サーチステップの細かいコントラストＡＦを設定し、被写体の動きが速いと判断された場合には、サーチステップの粗いコントラストＡＦを設定するようにしてもよい。

また、ＡＦ処理の方式は、２つに限らず３つ以上用意してもよい。この場合には、被写体の動きが速いと判断された場合に、最も合焦速度の速い方式を設定してもよいし、ユーザが設定した方式の１つ上の合焦速度の方式を設定してもよい。

［第９実施形態］
次に、図２１のフローチャートを参照しながら、本発明の第９の実施形態について説明する。上記各実施形態と同様に、ＣＰＵ３４は、ＣＣＤ３６の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ２０に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示する。

ＣＰＵ３４は、特徴点追跡部５８から対応点情報が入力されると、その対応点情報を基に、追跡可能な特徴点６２の数が所定値以下か否かを判定する。ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以上である場合、被写体の動きが遅いと判断し、通常ＡＥモードを設定する。一方、ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下である場合、被写体の動きが速いと判断し、スルー画測光値利用ＡＥモードを設定する。

ＣＰＵ３４は、追跡可能な特徴点６２の数が所定値以下か否かの判定、及び各ＡＥモードの設定を行った後、特徴点追跡部５８に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部５７に指示することにより、特徴点追跡部５８の特徴点情報記憶メモリ５９に記憶された特徴点情報を更新させる。

そして、ＣＰＵ３４は、レリーズボタン１４の全押しによって撮影の実行が指示された際に、上記の処理で設定した方式のＡＥで撮影を実行する。スルー画測光値利用ＡＥモードでは、シャッタタイムラグを軽減させることができるので、上記のように、被写体の動きが速いと判断される場合にスルー画測光値利用ＡＥモードを設定すれば、ユーザの所望するシャッタチャンスからのシャッタタイムラグに起因するタイミングのずれを防ぎ、タイミングの合った画像を撮影することができる。

上記各実施形態では、スルー画として表示される各フレームの画像データ毎に特徴点抽出処理を行ったが、これに限ることなく、所定の間隔を空けて数フレーム毎に特徴点抽出処理を行ってもよい。

上記各実施形態では、デジタルカメラ２に本発明を適用した例を示したが、本発明はこれに限ることなく、例えば、事前に取得された画像データの被写体の動きをパソコンなどで解析する場合にも適用することができる。

上記各実施形態では、特徴点抽出部５７が各特徴点６２を抽出した画像データの後に取得された画像データから各特徴点６２に対応する対応点６４を求めたが、これとは反対に、特徴点抽出部５７が各特徴点６２を抽出した画像データの前に取得された画像データから各特徴点６２に対応する対応点６４を求めてもよい。すなわち、特徴点追跡部５８が特徴点追跡処理を行う画像データの対象は、特徴点６２が抽出された画像データに対して時系列的に前でもよいし、後でもよい。

２デジタルカメラ（撮像装置）
１０撮影レンズ
３４ＣＰＵ（動き判断手段、設定変更手段、ＡＦ制御手段、ＡＥ制御手段）
３６ＣＣＤ（撮像素子）
５７特徴点抽出部（特徴点抽出手段）
５８特徴点追跡部（特徴点追跡手段）
６２特徴点
６４対応点

Claims

撮像素子を駆動することによって時系列的に連続した複数の画像データを取得する撮像装置において、
前記画像データから複数の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段が前記各特徴点を抽出した前記画像データの前又は後に取得された前記画像データから前記各特徴点に対応する対応点を求めることにより、前記各特徴点の追跡を行う特徴点追跡手段と、
前記特徴点追跡手段で前記対応点が求められた追跡可能な前記特徴点の数、又は前記特徴点追跡手段で前記対応点を求めることができなかった追跡不可能な前記特徴点の数に応じて、前記各画像データのそれぞれに写った共通の被写体の動きが速いか否かを判断する動き判断手段とを備えたことを特徴とする撮像装置。
前記動き判断手段は、追跡可能な前記特徴点の数が所定値以下である場合に、前記被写体の動きが速いと判断することを特徴とする請求項１記載の撮像装置。
前記動き判断手段は、追跡不可能な前記特徴点の数が所定値以上である場合に、前記被写体の動きが速いと判断することを特徴とする請求項１記載の撮像装置。
前記動き判断手段は、追跡不可能な前記特徴点の数の割合が所定値以上である場合に、前記被写体の動きが速いと判断することを特徴とする請求項１記載の撮像装置。
前記動き判断手段は、追跡可能な前記特徴点の数の割合が所定値以下である場合に、前記被写体の動きが速いと判断することを特徴とする請求項１記載の撮像装置。
前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、動体に適するように撮影の設定を変更する設定変更手段を設けたことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
前記設定変更手段は、前記撮像素子のシャッタ速度を速くすることによって動体に適した設定に変更することを特徴とする請求項６記載の撮像装置。
前記設定変更手段は、前記撮像素子のフレームレートを上げることによって動体に適した設定に変更することを特徴とする請求項６記載の撮像装置。
前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、動体に適した撮影モードを設定することを特徴とする請求項６記載の撮像装置。
前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、時系列的に連続した複数の静止画像を取得する連写モードを設定することを特徴とする請求項６記載の撮像装置。
前記動き判断手段は、追跡可能な前記特徴点の移動ベクトルの算出を行い、追跡可能な前記特徴点の数、又は追跡不可能な前記特徴点の数、及び前記移動ベクトルの大きさに基づいて前記被写体の動きが速いか否かを判断することを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
前記動き判断手段は、追跡可能な前記特徴点の数、又は追跡不可能な前記特徴点の数に応じて、前記被写体の動きが遅いと判断した場合であっても、前記移動ベクトルの大きさが所定値以上である場合には、前記被写体の動きが速いと判断することを特徴とする請求項１１記載の撮像装置。
前記動き判断手段は、前記移動ベクトルの大きさが所定値以下で、かつ追跡可能な前記特徴点の数が所定値以下である場合に、オクルージョンが発生していると判断することを特徴とする請求項１１記載の撮像装置。
前記動き判断手段は、追跡可能な前記特徴点、又は追跡不可能な前記特徴点に対し、前記画像データによって示される画像上の位置毎に予め設定された重み付けを行い、前記各特徴点の重みの値を積算することによって重み積算値を算出し、その重み積算値に応じて前記被写体の動きが速いか否かを判断することを特徴とする請求項１記載の撮像装置。
被写体像を前記撮像素子に結像させるとともに、焦点の調節が可能な撮影レンズと、
合焦速度の異なる複数の方式のＡＦ処理が実行可能なＡＦ制御手段とを備え、
前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、合焦速度の速い方式のＡＦ処理を設定することを特徴とする請求項６記載の撮像装置。
撮影の実行が指示された際に測光値を取得し、その測光値を基にＡＥ処理を行う通常ＡＥモードと、撮影の実行が指示された際にスルー画表示時に取得された測光値をそのまま利用してＡＥ処理を行うスルー画測光値利用ＡＥモードとを有するＡＥ制御手段を備え、
前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、前記スルー画測光値利用ＡＥモードを設定することを特徴とする請求項６記載の撮像装置。
時系列的に連続した複数の画像データを基に、前記各画像データのそれぞれに写った共通の被写体の動きを判断する画像処理方法において、
前記画像データから複数の特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップが前記各特徴点を抽出した前記画像データの前又は後に取得された前記画像データから前記各特徴点に対応する対応点を求めることにより、前記各特徴点の追跡を行う特徴点追跡ステップと、
前記特徴点追跡ステップで前記対応点が求められた追跡可能な前記特徴点の数、又は前記特徴点追跡ステップで前記対応点を求めることができなかった追跡不可能な前記特徴点の数に応じて、前記被写体の動きが速いか否かを判断する判断ステップとを有することを特徴とする画像処理方法。