JP6584122B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、撮影された動画像から静止画を生成するデジタルビデオカメラ、等の撮像装置に適用される画像処理装置に関し、撮影状態の良好な静止画像データを得ることを目的とする。

近年、動画撮影が可能な撮像装置の多画素化が急速に進んでいる。ＦｕｌｌＨＤサイズの動画を撮影する撮像装置は既に広く普及し、４Ｋ２Ｋ動画撮影が可能な撮像装置も徐々に市場に出始めている。

このような動画像の高精細化によって、動画像の各フレームの画像も静止画として使用するのに十分な画素数を有するようになってきている。これによって、動画像の各フレームから静止画を生成する使用方法が今後更に広がっていくものと考えられる。

特開平１１−１３６５５７号公報

動画像から静止画を生成する際の課題として、どのフレームの画像が静止画として最適な画像なのかを判断することが、ユーザーにとって難しいという点がある。

例えば、動画として見た場合には、画像が常に遷移していくために気付かない画像のブレやピントズレなどが、静止画としてみたときに許容できないレベルである場合も多い。

それを１フレームずつチェックしていくのは非常にユーザーにとって非常に煩わしい作業となる。

このような課題に対し、例えば、特許文献１では、フォーカス、露出などの情報や、角速度センサから得られる像ブレなどの撮影状態情報をもとにして評価を行っている。

評価値が高いか、あるいは一定の条件を満足するフレーム画像を自動的に選び出し、静止画データを生成するようにした技術が開示されている。

しかしながら、上記従来例においては、撮影された映像の中から結果的に評価値が高くなったフレームを選択しているにすぎず、評価値の高いフレームが出現する確率はユーザーの撮影技術や撮影時の状況に依存する部分が大きかった。

また、フォーカス、露出、像ブレ等の複数の評価値がそろって高い状態になる確率はより低くなると考えられる。そのため、撮影者のスキルや撮影時の状況によっては、良好な静止画が得られない場合があるという問題があった。

本発明は、上記問題点を鑑みてなされたものであり、動画像から静止画を生成する場合に、容易に静止画として最適な画像を生成することができる画像処理装置を提供することを目的とする。

上記目的を達成するために本発明の画像処理装置は、被写体像を撮像する撮像素子から出力される画像データから取得される撮像パラメータの良否を評価して前記撮像パラメータの評価値を生成する評価手段と、振れ検出手段から出力される振れデータを用いて振れ補正データを生成する生成手段と、前記振れ補正データを用いて像ブレ補正手段を制御する制御手段と、動画撮影時に、前記撮像パラメータの評価値が前記撮像パラメータの目標値に近い場合の前記像ブレ補正手段の像ブレ補正性能を、前記撮像パラメータの評価値が前記撮像パラメータの目標値に遠い場合の前記像ブレ補正手段の像ブレ補正性能よりも大きくする変更手段と、前記像ブレ補正性能が大きいフレーム画像を静止画再生用データとして記録する記録手段と、を有する画像処理装置であって、
前記撮像パラメータは、露出制御に用いる露出パラメータ、フォーカスレンズ制御に用いる焦点状態パラメータ、ホワイトバランスパラメータの何れかであり、
前記変更手段は、前記撮像パラメータの評価値が前記撮像パラメータの目標値に近くなると、前記像ブレ補正性能を小さくし、その後に前記撮像パラメータの評価値と前記撮像パラメータの目標値の差分値が所定閾値以下になると、前記像ブレ補正性能を小さくする前の像ブレ補正性能に戻すことを特徴とする。

本発明によれば、ユーザーが動画像から容易に静止画として最適な画像を生成することができる撮像装置を提供することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図 映像信号処理部１４の構成例を示すブロック図 ＷＢ制御の制御方法の例を説明するためのグラフ ＡＦ制御の制御方法の例を説明するためのグラフ 像ブレ補正制御部１０４の構成例を示すブロック図 ＷＢ制御の適正度を演算する演算方法の例を説明するためのグラフ ＡＥ制御の適正度を演算する演算方法の例を説明するためのグラフ ＡＦ制御の適正度を演算する演算方法の例を説明するためのグラフ 撮像特性制御部１０５の処理を説明するためのフローチャート 適正度から像ブレ補正制御部１０４のカットオフ周波数を演算する例を説明するためのグラフ 本発明の実施形態２に係るフローチャート 本発明の実施形態２に係るＡＦ適正度と像ブレ補正の時間的な変化を示す図 本発明の実施形態３に係るタイムチャート

（実施例１）
まず、本発明の実施形態１にかかる撮像装置の全体的な構成について説明する。図１は、本発明の実施形態１にかかる撮像装置１の構成例を模式的に示したブロック図である。

図１において、カメラシステム制御部１０は、撮像装置１の全体の動作を制御するためのブロックである。

画像処理装置であるカメラシステム制御部１０は、例えばＣＰＵ、ＲＡＭおよびＲＯＭを有し、ＲＯＭにあらかじめ記憶されたプログラムに従い、ＲＡＭを作業領域として用いながら、撮像装置１を制御する。

なお、後述する各処理は、コンピュータプログラム（ソフトウェア）として主にカメラシステム制御部１０によって実行されるものとする。

画像処理装置であるカメラシステム制御部１０は、ホワイトバランス調整処理を行うＷＢ制御部１０１、自動露出制御処理を行うＡＥ制御部１０２を有する。

更に、画像処理装置であるカメラシステム制御部１０は、自動焦点調整処理を行うＡＦ制御部１０３、像ブレ補正の制御を行う像ブレ補正制御部１０４を有している。

撮像レンズ１１、撮像素子１２及び映像信号処理部１４を制御することによって、撮像画像の露出、ホワイトバランス、フォーカス、像ブレ等の撮像状態が、それぞれ適切な状態になるように制御している。

更に、ＷＢ制御部１０１、ＡＥ制御部１０２、ＡＦ制御部１０３、像ブレ補正制御部１０４で行われる制御に関する撮影状態を監視し、互いの撮影状態に応じて各々の制御特性を変更する撮像特性制御部１０５を有している。

撮像特性制御部１０５は、各撮影状態が出来る限りそろって好適な状態になるように制御することにより、動画像から静止画像を生成する場合に、より高い確率で良好な静止画像を生成できるようにするためのブロックである。

カメラシステム制御部１０の各ブロックで行われる動作の詳細は後述する。

撮像レンズ１１は、ズーム、フォーカス、絞り、像ブレ補正等の機能を有した従来一般の撮像レンズが適用できる。絞り１１１は複数の絞り羽根を有しており、光通過口を形成して露出を変化させる露出制御手段のひとつである。

これらの絞り羽根は、絞り駆動部１１４の駆動力を受けて作動し、開口面積（絞り口径）を可変して撮像素子１２に入射される光量を調整する。

シフトレンズ１１２は、光軸と垂直方向に移動可能なレンズで、結像される被写体像の位置を移動させることができる。

シフトレンズ１１２は、シフトレンズ駆動部１１５からの駆動力を受けて移動し、撮像装置に加わる振れを打ち消すようにシフトレンズ１１２を移動することにより、撮像画像の像ブレを補正することができる。

フォーカスレンズ１１３は、フォーカスレンズ駆動部１１６からの駆動力を受けて光軸方向に移動し、所定の合焦位置に停止することで、撮像素子１２に結像される被写体像の焦点調整を行う。

撮像素子１２は、例えばＸＹアドレス方式のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等で構成されている。

撮像レンズ１１が形成する光学像を光電変換して電荷を蓄積し、その電荷を読み出すことで複数の画素からなる画像信号を映像信号処理部１４に供給する。

また、撮像素子１２は撮像素子駆動部１３によって駆動され、例えばＮＴＳＣフォーマットに準拠したビデオ信号の場合は６０Ｈｚの周期で被写体像を取り込むように動作する。

また、撮像素子駆動部１３からの制御信号によって蓄積した電荷を掃き出すことができ、これによって露光時間（蓄積時間）を制御する電子シャッタ機能を有している。

更に、蓄積した電荷を読み出す際に、信号を電気的に増幅するゲイン手段を有しており、その増幅率はカメラシステム制御部１０から可変できるようになっている。

これは、撮像における感度が変化することに相当する。電子シャッタ及びゲイン手段は露出制御手段のひとつである。

映像信号処理部１４は、撮像素子１２から出力された画像信号にホワイトバランス調整やガンマ補正などの信号処理を施し、映像信号に変換して記録制御部１６及び表示制御部１５に供給する。

また、映像信号処理部１４では、ＷＢ制御、ＡＥ制御、ＡＦ制御の処理で使用するための評価値を画像から生成して出力する。

記録制御部１６は、映像信号処理部１４において生成された映像信号を所望の形式のデータに変換し、動画データ或いは静止画データとして記録媒体１８に記録する。

記録媒体１８は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。

記録制御部１６は、図示しない操作部の指示に応じて画像の記録開始、記録停止等の制御を行う。

記録制御部１６は、操作部から動画の記録開始の指示がなされた場合には、映像信号処理部１４から出力される映像信号を所定の形式の動画データに変換して記録媒体１８に記録する。

そして、記録停止の指示がなされた場合には、動画データの生成を終了する。

また、操作部からの静止画撮影の指示、或いは撮像特性制御部１０５からの静止画データ生成の指示があった場合には、映像信号処理部１４から出力される映像信号のうち、所望のフレーム画像から静止画データを生成して記録媒体１８に記録する。

なお、静止画データ生成の別の方法として、動画データを構成する複数のフレーム画像のうち、静止画データの生成に用いるフレームを記述したメタデータを動画データと関連づけて記録媒体に記録しておく。

そして、動画撮影とは別のタイミングで、動画データから静止画データを生成できるようにしても良い。

表示制御部１５は、映像信号処理部１４から出力された映像信号に基づく画像（スルー画）の他、設定メニュー画像、記録済みの画像など用途に応じて加工した映像信号を出力して表示デバイス１７に画像を表示させる。

表示デバイス１７は液晶表示素子（ＬＣＤ）等であり、表示制御部１５により生成された画像を表示する。

角速度センサ１９は撮像装置１に加わる振れの検出を行うためのセンサであり、像ブレ補正制御部１０４で行われる像ブレ補正の制御に用いられる。

図２は、図１における映像信号処理部１４について、更に詳細な構成を模式的に図示したブロック図である。

図２において、撮像素子１２から供給された画像信号は、輝度・色信号生成部１４１によって、輝度信号（Ｙ）と色信号（Ｒ、Ｇ、Ｂ）に分割される。

ＷＢ調整部１４２は、ＷＢ制御部１０１からの制御に応じて、色信号（Ｒ、Ｇ、Ｂ）の各色それぞれのゲインを調整し、ゲイン調節された色信号（Ｒ’、Ｇ’、Ｇ’）を生成する。

ガンマ補正部１４３では、輝度信号（Ｙ）及び色信号（Ｒ’、Ｇ’、Ｂ’）に所定のガンマカーブに応じた補正をかける。

更に、色差信号生成部１４４では、ガンマ補正された輝度信号及び色信号から色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を生成してメモリ１４５に格納する。

メモリ１４５は、映像信号を記録制御部１６、表示制御部１５に受け渡すために一時的に保持するための領域である。

メモリ１４５に一時的に保持された映像信号は、記録制御部１６、表示制御部１５から読みだされ、それぞれの用途に応じた形式の信号に変換されて使用される。

色評価値生成部１４７は、ＡＷＢ制御において用いられる色評価値を算出する。

色評価値生成部は、１画面（フィールド又はフレーム）分の画像信号を所定数（例えば８×８）のブロックに分割し、各ブロックに含まれる画素の色差信号（Ｒ−Ｙ、Ｂ−Ｙ）の平均値を算出して平均色差信号を出力する。

輝度評価値生成部１４８は、ＡＥ制御において用いられる輝度評価値を算出する。

輝度評価値生成部は、１画面（フィールド又はフレーム）分の画像信号を所定数（例えば８×８）のブロックに分割し、各ブロックに含まれる画素の輝度信号（Ｙ）の平均値を算出して出力する。

合焦評価値生成部１４６は、ＡＦ制御において用いられる焦点評価値を算出する。焦点評価値生成部は、画像の空間周波数成分のうち、高域側の輪郭成分量に対応する信号を算出する。

具体的には、１画面分の画像信号に所定の測距領域を設定し、その領域内の輝度信号（Ｙ）にＨＰＦ等の演算処理を施すことで空間周波数の高周波成分を抽出する。

更に、抽出した高周波成分を累積加算等の演算処理を行うことで焦点評価値を算出して出力する。

焦点評価値は、映像信号の鮮鋭度（コントラスト）を表すものであるが、鮮鋭度は撮像レンズの合焦状態によって変化するので、結果的に焦点評価値は撮像レンズの合焦状態を表す信号となる。

＜ＷＢ制御＞
次に、ＷＢ制御部１０１で実行されるオートホワイトバランス制御（ＡＷＢ制御）について説明する。ＷＢ制御部１０１では、色評価値生成部１４７で生成される色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に基づいてホワイトバランス制御を行う。

ＷＢ制御部１０１は、画像から白い被写体であろう信号（以下、「白に近い信号」と呼ぶ）を抽出し、その信号の色信号Ｒ、Ｇ、Ｂの各比率がおよそ１：１：１になるように、ＷＢ調整部１４２におけるＲ、Ｇ、Ｂのゲインを調整する。

ＷＢ制御部１０１で行われる白に近い信号の抽出方法の一例としては、色評価値生成部１４７で生成される平均色評価値を取得する。

画面全体の全ブロックの平均色評価値をさらに平均化して画面全体の平均色評価値を算出し、その信号を白に近い信号として抽出する。

或いは、別の白に近い信号の抽出方法として、画像の中から白い被写体であろう領域を抽出して、その領域の色評価値を白に近い信号としても良い。

具体的には、図３に示すように、縦軸にＲ−Ｙ、横軸をＢ−Ｙとした色差平面上に白に近い領域である白抽出領域を設定している。

そして、色評価値生成部１４７で生成される各ブロックの平均色評価値のうち、白抽出領域内に入るものを抽出し、それらを平均化することで白に近い色信号を算出する。

このようにして抽出した白に近い信号が、予め設定された目標の白に近づくようにホワイトバランスゲインを算出し、算出したホワイトバランスゲインに基づいてＷＢ調整部１４２を制御する。

＜ＡＥ制御＞
次に、ＡＥ制御部１０２で実行される自動露出制御処理について説明する。

ＡＥ制御部１０２は、被写体の明るさを測光し、好適な露出条件で撮影が行われるように、絞り、シャッタ（電子シャッタ）、ゲインを制御する。

本発明にかかる撮像装置１では、撮像素子１２から得られる画像信号に基づいて測光が行われる。測光値の算出方法の一例としては、まず、輝度評価値生成部１４８から出力される輝度評価値を取得して、エリア毎の輝度値を抽出する。

そして、ユーザーが任意に設定したメニュー設定情報や、あるいは被写体から判別した撮影シーン情報に応じて、画面内のどのエリアの測光値を重要視するかを判定し、抽出した輝度値にエリア毎の重み付けを行う。

そして、重み付けを行った全エリアの平均値を取る等の処理を施して、画像全体の輝度値を算出する。

なお、ここで得られた輝度値は、撮像レンズ１１の絞り１１１を通った光束を撮像素子１２で撮像した結果を表す輝度値であるから、被写体の明るさ（Ｂｖ値）を直接表すものではない。

露出制御に用いる測光値は、画像から得られた輝度値と、現在の露出値（Ｅｖ値）及び撮像素子１２の感度からＢｖ値を算出する。

そして、算出した測光値に基づいて、画像の明るさが目標とする明るさになるようなＥｖ値を算出する。ＡＥ制御部は、Ｅｖ値をプログラム線図に照らし合わせて、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）、ゲイン（Ｓｖ値）を算出する。

そして、算出したＡｖ値、Ｔｖ値、Ｓｖ値に基づいて絞り１１１、撮像素子１２（電子シャッタ、ゲイン）を制御する。

なお、前述の測光値については、撮像素子１２により得られた画像信号を利用して算出しているが、撮像素子とは別の光電変換手段（測光手段）によって被写体の明るさを検出し、その検出信号から測光値を求めてもよい。

＜ＡＦ制御＞
次に、ＡＦ制御部１０３で実行されるＡＦ制御処理について説明する。ＡＦ制御部１０３は、図２の合焦評価値生成部１４６が生成する焦点評価値に基づいてＡＦ制御を行う。

合焦評価値生成部１４６は、撮像素子１２より得られた画像信号の所定の測距領域内における空間周波数の高周波成分を抽出し、抽出した高周波成分を積分することで、測距領域内のコントラストを示す焦点評価値を算出する。

算出した合焦点評価は、ＡＦ制御部１０３に供給され、合焦動作に用いられる。

ＡＦ制御部１０３は、合焦点評価が大きくなる方向にフォーカスレンズを動かしながら、合焦評価値をサンプリングし、焦点評価値が最も高くなるフォーカスレンズの位置（すなわち合焦点）を検出するように制御する。

図４において、まずＡＦ制御の開始時には、フォーカスレンズを一定の方向に移動させながら、焦点評価値をサンプリングする。

そして、フォーカスレンズの移動とともに焦点評価値が単調に増加する場合は、同一方向に焦点評価値の極大（すなわち合焦位置）が存在すると判断し、引き続きフォーカスレンズを移動させる。

一方、フォーカスレンズの移動と共に焦点評価値が減少する場合は、逆方向に焦点評価値の極大が存在すると判断し、逆方向にフォーカスレンズを移動させる。

図４のように例えば至近側に移動させながら焦点評価値をサンプリングすると、フォーカスレンズの移動とともに焦点評価値が単調に増加しているので、極大は至近側にあると判断し、引き続き至近側にフォーカスレンズを移動させる。

図４の場合、そのままフォーカスレンズの移動を継続していると、焦点評価値はピークを通り過ぎてから減少へと転じるので、そこで焦点評価値の極大（合焦位置）を確認することができる。

焦点評価値の極大を確認した場合は、フォーカスレンズを極大付近に戻す。このようにして焦点評価値が極大となる合焦位置にフォーカスレンズを移動させることができる。この動作を山登り駆動モードと称する。

また、合焦点付近において、フォーカスレンズを前後方向に微小に動作させながら焦点評価値をサンプリングし、現在のフォーカスレンズの位置が焦点評価値のピークにあることを確認する。この動作を微小駆動モードと称する。

焦点評価値がピークとなる位置にいないと判断されると、フォーカスレンズを評価値が大きくなる方向に動かし、フォーカスレンズを合焦点付近に維持するように制御する。

＜像ブレ補正制御＞
次に、図５を参照して、像ブレ補正制御部１０４で実行される像ブレ補正制御について説明する。

図５は、図１における像ブレ補正制御部１０４、シフトレンズ駆動部１１５を更に詳細に説明するためのブロック図である。

像ブレ補正制御部１０４は、角速度センサ１９から出力される角速度情報に基づいて撮像装置１に加わる振れを検出する。

そして、それを打ち消すように振れ補正データに基いてシフトレンズ１１２を駆動することにより、撮像画像に発生する像ブレを補正する。

角速度センサ１９は、光軸に直交する一平面上で互いに直交した検出軸をなすように、水平方向の回転軸（Ｙａｗ）と垂直方向の回転軸（Ｐｉｔｃｈ）との２軸方向に二つの角速度センサを配置している。

なお、それぞれの軸における信号処理及びシフトレンズ１１２の駆動制御は、両軸とも同じ処理で実現することができるので、以降は片方の軸についてのみ説明するものとする。

角速度センサ１９は、撮像装置１に加わる振れの角速度を検出し、角速度に応じた電圧を出力する。

Ａ／Ｄ変換器２０は角速度センサ１９から出力される電圧をデジタルデータに変換し、角速度データとして取り込む。

ＨＰＦ１２１は、角速度データの低周波数成分を除去して、敏感度補正部１２２に供給する。

敏感度補正部１２２は、シフトレンズ１１２を像ブレ補正に適切な（好ましくは最適な）変位量で駆動させる。

そのため、シフトレンズ１１２の偏心敏感度（即ち、シフトレンズの変位量に対する像面上の結像位置の変位量の比率によって求まる係数）を角速度データに乗じて、角速度データの振幅を変換する。

次に、敏感度補正部１２２の出力の単位は角速度であるので、積分器１２３で１階積分することにより角変位に変換する。

なお、ここで行われる積分演算は、飽和を防止するために不完全積分となっており、一般的に知られている１次ＬＰＦで演算される。

積分器１２３で算出された角変位データは、飽和防止制御部１２４において、シフトレンズ１１２が機械的な可動範囲の端に突き当たらないように制限をかけて出力される。

具体的には、シフトレンズ１１２の機械的な可動範囲の内側に制御範囲のリミッタを設け、角変位データがリミッタを超えないように制限をかける。

また、センタリング制御部１２５では、パンニングやチルティングといった意図した動作がなされたかどうかを判定し、シフトレンズの位置を中央に戻すように制御を行う。

具体的には、飽和防止制御部１２４に設けられたリミッタの更に内側に所定の閾値を設け、角変位データが閾値を超えた場合にはパンニングが行われたと判定する。

判定結果は、センタリング制御部１２５に通知され、パンニングと判定された場合には、ＨＰＦ１２１のカットオフ周波数を高くして積分器１２３に入力される角速度データを制限する。

また、積分器１２３に入力される角速度データから所定のオフセットを差し引いたり、或いは、積分器１２３で行われるＬＰＦ演算のカットオフ周波数を高くして、積分器１２３の出力が中央に戻るように制御する。

このように、パンニングやチルティング等の意図した振れがなされた場合であっても、シフトレンズ１１２の可動範囲に収まるように制御し、最終的なシフトレンズ１１２の変位量である駆動目標位置を算出する。

シフトレンズ駆動部１１５は、位置検出部１１９、アンプ１２０、モータ駆動部１１７、モータ１１８で構成されている。

位置検出部１１９は、シフトレンズ１１２の位置を検出して位置に応じた電圧を出力し、アンプ１２０で適切な電圧範囲の信号に増幅さる。

そして、Ａ／Ｄ変換器２０によってデジタルデータ化され、位置データとして取り込まれる。

制御フィルタ１２６は、駆動目標位置と位置データの差分である偏差データが入力され、増幅及び位相補償等の種々の信号処理を施してパルス幅変調部２１に出力される。

パルス幅変調部２１は、制御フィルタ１２６の出力を、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部１１７に供給する。

モータ１１８は、例えばボイス・コイル型モータであり、モータ駆動部１１７によって駆動されることにより、シフトレンズ１１２は光軸と垂直な方向に移動する。

そして、移動したシフトレンズ１１２の位置は位置検出部１１９で検出されて次の偏差データが算出されるというフィードバックループが形成されており、駆動目標位置と位置データの差分が小さくなるように制御される。

このように角速度センサ１９で検出した振れデータに応じてシフトレンズ１１２を駆動することで像ブレを補正することが出来る。

＜ＷＢ適正度の生成方法＞
次に、図６を用いてＷＢ適正度の演算方法について、詳細を説明する。

図６（ａ）のグラフはＲ−Ｙ、Ｂ−Ｙの色差を座標としている。

上述した色評価値生成部１４７から出力される色評価値の座標が、図６（ａ）の原点Ｏ付近に位置しているときは、ＲＧＢのバランスが取れている、即ちホワイトバランスが合っていることを示している。

逆に原点Ｏから離れているほど、ホワイトバランスがズレていることを示している。色評価値の図６（ａ）の座標上でのベクトルをＷＢ＿Ｖｅｃｔｏｒと定義する。

図６（ｂ）（ｂ）のグラフの横軸はＷＢ＿Ｖｅｃｔｏｒの大きさとし、縦軸を生成される適正度Ｍｄａｔａ＿ｗｂとしたグラフの一例を示している。

上述したように横軸は、値が大きくなるほどホワイトバランスがズレた画像となる。図６（ｂ）において、Ｍｄａｔａ＿ｗｂは、以下の計算式で演算する。
Ｍｄａｔａ＿ｗｂ＝｜ＷＢ＿Ｖｅｃｔｏｒ｜／ＷＢ＿ＴＨ

つまり、ホワイトバランスの最適値からのズレ量を所定の閾値ＷＢ＿ＴＨで正規化している。ここで、ＷＢ＿ＴＨは、ホワイトバランスのズレ量の許容値として設定される。

色のズレ量の許容値は個人差も大きく一意に決めるのは困難であるため、ユーザーが任意で設定できるようにしてもよい。

また、光源によっては、原点に収束し得ない場合もあるため、その場合は、ＷＢ＿ＴＨの閾値を広げてもよいし、図６（ａ）の原点を光源に合わせてシフトさせてもよい。

本演算により、Ｍｄａｔａ＿ｗｂは０に近いほどホワイトバランスが適正になっており、１よりも大きいほどホワイトバランスがズレていることを示すデータとなる。

＜ＡＥ適正度の生成方法＞
次に図７を用いてＡＥ適正度の生成方法について詳細を説明する。図７（ａ）乃至（ｂ）のグラフの横軸はＡＰＥＸ（Ａｄｄｉｔｉｖｅ Ｓｙｓｔｅｍ ｏｆ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｏｓｕｒｅ）システムを用いた単位系で表現している。各々の記号の定義は以下の通りである。
Ｅｖ＿ｎｏｗ …現在の露出値
Ｅｖ＿ｔａｒｇｅｔ …ＡＥ制御部１０２によって決まる適正露出値

図７（ｂ）は、横軸をＥｖ＿ｔａｒｇｅｔ−Ｅｖ＿ｎｏｗ、即ち適正露出値と現在の露出値との差分とし、縦軸を生成される適正度Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅとしたグラフの一例を示している。

横軸は、プラス方向に大きくなると露出オーバーとなり、マイナス方向に小さくなると露出アンダーとなり、０のときは露出が正確に合っている状態を示している。

このとき、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅ＝０となる。図７（ａ）において、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅは、以下の計算式で演算する。
Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅ＝｜Ｅｖ＿ｔａｒｇｅｔ−Ｅｖ＿ｎｏｗ｜／（１／３）

つまり、現在の露出の適正露出からのズレ量を所定のＥｖ値（ここでは１／３Ｅｖ）で正規化している。ここで、１／３Ｅｖで正規化したのは、あくまでも一例である。

本数値は、ユーザーが任意で設定できるようにしてもよいし、被写体の輝度分布により可変にしてもよい。

例えば、１／３Ｅｖずれると白飛びや黒つぶれが発生してしまう場合は、１／５Ｅｖで正規化する等の方法を採用することも可能である。

本演算により、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅは０に近いほど露出が適正になっており、１よりも大きいほど露出アンダーあるいはオーバーになっていることを示すデータとなる。

図７（ｂ）は、横軸と縦軸は図７（ａ）と共通で、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅの演算方法の更に他の例を示したグラフである。図７（ｂ）において、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅは、以下の計算式で演算する。
Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅ＝（２＾（｜Ｅｖ＿ｔａｒｇｅｔ−Ｅｖ＿ｎｏｗ｜）−１）
／（２＾（１／３）−１）

Ｅｖ値は、撮像素子に入射される光量を底を２とした対数で表現した単位系である。つまりＥｖ値が１変化すると、光量は２倍あるいは１／２倍となる。

上式はＡＰＥＸシステムの単位系を実際の光量の単位系に変換した後に正規化を行っており、より正確に露出のズレ量をＭｄａｔａ＿ｅｘｐｏｓｕｒｅで表現することができる。

＜ＡＦ適正度の生成方法＞
図８を用いてＡＦ適正度の生成方法について詳細を説明する。説明のため、以下のように記号を定義する。
Ｄｌ …合焦時に保持した焦点評価値（ピーク値）
Ｄｔ …現在の焦点評価値
Ｄｆ …被写界深度（無限遠側）
Ｄｎ …被写界深度（至近側）

図８（ａ）は、横軸をＤｌ−Ｄｔ、合焦時に保持した焦点評価値と現在の焦点評価値との差分とし、縦軸を生成される適正度Ｍｄａｔａ＿ｆｏｃｕｓとしたグラフの一例を示している。

Ｄｌ−Ｄｔが０のときは、ピントが完全に合っている状態を示しており、このとき、Ｍｄａｔａ＿ｆｏｃｕｓ＝０となる。図８（ａ）において、Ｍｄａｔａ＿ｆｏｃｕｓは、以下の計算式で演算する。
Ｍｄａｔａ＿ｆｏｃｕｓ＝｜（Ｄｌ−Ｄｔ）／（Ｄｆ−Ｄｔ）｜
ただし、Ｄｌ−Ｄｔ≧０
Ｍｄａｔａ＿ｆｏｃｕｓ＝｜（Ｄｌ−Ｄｔ）／（Ｄｎ−Ｄｔ）｜
ただし、Ｄｌ−Ｄｔ＜０

つまり、撮影被写体距離の目標値からのズレ量を被写界深度の深さで正規化している。これによって、Ｍｄａｔａ＿ｆｏｃｕｓは０に近いほどピントが合っており、１よりも大きくなるほどピンボケになっていることを示すデータとなる。

＜像ブレ補正適正度の生成方法＞
図５における敏感度補正部１２７、積分器１２８、追従度演算部１２９は、像ブレ補正制御の追従度（すなわち像ブレ補正制御についての適正度）を算出するためのブロックである。

敏感度補正部１２７は、敏感度補正部１２２と同じように、角速度データにシフトレンズ１１２の偏心敏感度を乗じて、シフトレンズで像ブレ補正を行うために適切な（好ましくは最適な）振幅に変換する。

積分器１２８は、角速度を１階積分することにより角変位に変換する。ただし、積分器１２３と異なり、ＬＰＦで実現される不完全積分では無く、完全積分で演算されるようになっている。

積分器１２８の出力は、角速度データをＨＰＦやＬＰＦ等でフィルタリングせずに演算しているので、積分器１２３の出力と比較した場合、撮像装置に加えられた振れをより精度良く得ることができる。

追従度演算部１２９では、以下の計算式で像ブレ補正適正度Ｍｄａｔａ＿ｓｈａｋｅを算出する。
Ｓｈａｋｅ＿ｄｅｔ …積分器１２８の出力（検出した角変位量）
Ｓｈａｋｅ＿ｃｏｒ …Ａ／Ｄ変換器２２の出力（補正した角変位量）
ｆ …現在の焦点距離
Ｍｄａｔａ＿ｓｈａｋｅ＝｜Ｓｈａｋｅ＿ｄｅｔ−Ｓｈａｋｅ＿ｃｏｒ｜／ｆ

つまり、角速度センサで検出した振れ情報から算出した角変位量とシフトレンズ１１２で実際に補正した角変位量の差分を算出することで画像データに残る振れ補正データである像ブレ量を求めており、さらに焦点距離ｆで規化している。

＜撮像特性制御部の動作＞
次に図１及び図５における撮像特性制御部１０５の動作について説明する。撮像特性制御部１０５は、本発明で最も特徴的な部分である。

その目的は、各の撮像パラメータについての撮影状態がそろって好適な状態となる確率を上げ、高品質な静止画を得やすくすることである。

ここでは、撮像特性制御部１０５で行われる処理の一例として、ＡＥ、ＡＦ、ＷＢの適正度を参照し、これら適正度に応じて像ブレ補正の制御特性を変更するように制御を行う。

ここで、像ブレ補正制御部１０４の制御特性を変更する方法について説明する。

像ブレ補正制御部１０４は、ＨＰＦ１２１のカットオフ周波数、或いは積分器１２３で演算されるＬＰＦのカットオフ周波数を操作することにより、その特性を変更することができる。

ＨＰＦ或いはＬＰＦのカットオフ周波数を高くすると、検出したブレ情報から低周波数成分が除去され、像ブレ補正の効果が低下する。

また、カットオフ周波数付近の位相が進む方向に変化するため、検出した振れに対する像ブレ補正の追従性が低下する（像ブレ補正の効果が低下する）。

一方、カットオフ周波数を低くすると低周波数のブレも補正することができ、位相特性に着目しても位相進みがより小さくなるため、検出したブレに対する像ブレ補正の追従性が高く（像ブレ補正の効果が高く）なる。

撮像特性制御部１０５は、センタリング制御部１２５を制御することにより、これらのカットオフ周波数を変更し、像ブレ補正の特性を制御することが出来る。

ところで、像ブレ補正の追従性を高く（像ブレ補正の効果を強く）することによって、像ブレが少なく品位の高い映像を得ることが出来るが、動画の撮影においては常に追従性を高く保つことが出来ない。

なぜならば、シフトレンズの可動範囲には機械的（或いは光学的）な可動端があるため、検出したブレに追従するように像ブレ補正を行うと、シフトレンズの位置は次第に可動端に近づき、最終的には可動端に突き当たってしまう。

可動端に突き当たるとそれ以上のブレ補正はできなくなり、撮像画像の像ブレとして現れる。

従って、像ブレ補正手段であるシフトレンズ１１２の位置を可動範囲に対してなるべく中央にくるように制御している、よって、像ブレ補正範囲にマージンを多く確保し、今後発生し得る大きなブレに対しても補正が可能なようにすることが出来る。

評価手段である撮像特性制御部１０５は、被写体像を撮像する撮像素子から出力される画像データから取得される撮像パラメータの良否を評価して撮像パラメータの評価値を生成する。

撮像パラメータは、露出制御に用いる露出パラメータ、フォーカスレンズ制御に用いる焦点状態パラメータ、ホワイトバランスパラメータの何れかである。

変更手段である像ブレ補正制御部１０４は、動画撮影時に、撮像パラメータの評価値が目標値に近い場合の像ブレ補正性能を撮像パラメータの評価値が目標値に遠い場合の像ブレ補正性能よりも大きくしている。

つまり、本発明にかかる撮像装置では、ＡＥ制御、ＡＦ制御、ＷＢ制御の適正度を参照する。

そして、各適正値が低い場合には、像ブレ補正の追従性を低くしてシフトレンズ１１２を中央付近に位置させてマージンを確保するようにして大きなブレに対しても補正が行えるように制御する。

そして、ＡＥ制御、ＡＦ制御、ＷＢ制御の適正度が高い場合には、像ブレ補正の追従性を高くして像ブレをできるだけ残さないように制御する。このように制御することで、動画を撮影しながら高品質な静止画を得ることが出来る。

以下に撮像特性制御部１０５で実行される処理について、図９のフローチャートを参照して詳細に説明する。

なお、図９に示す処理は、例えば撮像装置の１フレームの画像の取り込み周期である６０Ｈｚなど、所定の周期で繰り返し実行される。ステップＳ１０１では、ＡＦ制御部１０３が生成するＡＦ適正度を取得し、ＡＦ適正度が所定閾値以上かどうかを判定する。

所定閾値以上と判定された場合は、ステップＳ１０５に進み、所定閾値未満と判定された場合はステップＳ１０２に進む。ステップＳ１０２では、ＡＥ制御部１０２が生成するＡＦ適正度を取得し、ＡＥ適正度が所定閾値以上かどうかを判定する。

所定閾値以上と判定された場合は、ステップＳ１０５に進み、所定閾値未満と判定された場合はステップＳ１０３に進む。ステップＳ１０３では、ＷＢ制御部１０１が生成するＷＢ適正度を取得し、ＷＢ適正度が所定閾値以上かどうかを判定する。

所定閾値以上と判定された場合は、ステップＳ１０５に進み、所定閾値未満と判定された場合はステップＳ１０４に進む。

ステップＳ１０５は、ステップＳ１０１〜Ｓ１０３の判定のいずれかで、所定値以上と判定された場合の処理で、像ブレ補正制御部１０４で行われる像ブレ補正の特性を変更して、補正効果が弱くなるようにする。

ステップＳ１０４では、像ブレ補正制御部１０４で行われる像ブレ補正の特性を変更して、補正の効果が高くなるように変更し、ステップＳ１０６に進む。

ステップＳ１０４及びステップＳ１０５で行われる処理の具体的な方法としては、ＨＰＦ１２１のカットオフ周波数を低くし、積分器１２３の演算に用いるＬＰＦのカットオフ周波数を低く設定する。

図１０は各適正度に応じてＨＰＦおよびＬＰＦのカットオフ周波数を算出する方法を説明した図である。

図１０において、横軸は各適正度、縦軸はＨＰＦおよびＬＰＦのカットオフ周波数を示している。

ステップＳ１０５では、ＡＥ制御、ＡＦ制御、ＷＢ制御の適正度を参照して、適正度毎にカットオフ周波数を算出する。

そして、算出されたカットオフ周波数のうち、最も高いカットオフ周波数をＨＰＦ１２１及び積分器１２３の演算に用いるＬＰＦに設定する。

ステップＳ１０６では、像ブレ補正制御部１０４が生成する像ブレ補正の追従度を取得し、像ブレ補正追従度が所定閾値以上かどうかを判定する。

所定閾値以上と判定された場合はステップＳ１０７に進む。所定閾値未満と判定された場合は処理を終了する。

ステップＳ１０７は、すべての撮像パラメータが適正に近いと判定された場合の処理であり、動画データの現在のフレームから静止画データを生成するための指示を図１における記録制御部１６に報知する。

記録手段としての記録制御部１６は、像ブレ補正性能が大きいフレーム画像を静止画再生用データとして記録する。

記録制御部１６は撮像特性制御部１０５からの静止画データ生成の指示があった場合には、映像信号処理部１４から出力される映像信号のうち、所望のフレーム画像から静止画データを生成して記録媒体１８に記録する。

なお、静止画データ生成の別の方法として、動画データを構成する複数のフレーム画像のうち、静止画データの生成に用いるフレームを記述したメタデータを動画データと関連づけて記録媒体に記録しておく。

そして、動画撮影とは別のタイミングで、動画データから静止画データを生成できるようにしても良い。

以上説明してきたように、本発明においては、ＡＦ適正度、ＡＥ適正度、ＷＢ適正度ズレ、像ブレ補正適正度の４種類の適正度に基づいて、各撮像パラメータを制御する。

よって、各撮影状態が出来る限りそろって好適な状態になるように制御することが可能になる。

動画像から静止画像を生成する場合に、より高い確率で良好な静止画像を生成できるようになる。

そして、撮影動画像から静止画を生成する場合に、容易に静止画として最適な画像を生成することができる撮像装置を提供することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではない。

この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上記の４種類の適正度は全てを生成する必要はなく、少なくとも２種類以上の適正度を用いるシステムであってもよい。

（実施例２）
次に、本発明の実施形態２について説明する。本実施形態は、図１を参照して説明した撮像装置１と同じ構成で実現可能であるため、その説明を省略する。

本実施例では、撮像特性変更部１０５で行われる制御の別の方法について説明する。

ここでは、撮像特性制御部１０５で行われる処理の一例として、ＡＦの適正度を参照し、その時間的な変化に応じて、像ブレ補正の制御特性を変更する方法について説明する。

本実施例の撮像特性変更部１０５では、ピントが合っていない状態からピントが合っている状態に変化している時、言い換えれば、ＡＦによる合焦動作を行っている間に、像ブレ補正の補正効果を低く設定する。そして、ピントがあった状態で像ブレ補正の補正効果を高くする。

その目的は、実施形態１と同じように各撮像パラメータについての撮影状態がそろって好適な状態となる確率を上げ、高品質な静止画を得やすくすることであるが、適正度の時間的な変化を監視することによって、目的をより達成し易くする。

具体的には、ＡＦ動作が終了した時点において、シフトレンズ１１２を制御範囲の中央付近に位置するように制御することで、ピントが合っている状態での像ブレ補正の効果を最大限に引き出すことが可能となる。

なお、発明の趣旨を明確にするためにＡＦの適正度のみを参照して制御を行う方法を説明するが、ＡＥ、ＡＷＢの複数の適正度を参照した場合であっても同じ方法を適用することができる。

以下に撮像特性変更部１０５で実行される処理について、図１１のフローチャートを参照して詳細に説明する。

なお、図１１に示す処理は、例えば、撮像装置の１フレームの画像の取り込み周期である６０Ｈｚなど、所定の周期で繰り返し実行される。

ステップＳ２０１では、内部メモリの変数であるＡｆ＿Ｆｌａｇを参照し、０かどうかを判定する。０の場合はステップＳ２０２に進み、０でない場合はＳ２０５に進む。Ａｆ＿Ｆｌａｇは、撮像特性変更部１０５の処理の状態を示すためのフラグであり、一旦ピントが外れたと判定された時に１にセットされるフラグである。

ステップＳ２０２では、像ブレ補正制御部１０４で行われる像ブレ補正の特性を変更して、補正の効果が高くなるようにカットオフ周波数を低く設定する。このときの値は、通常時のカットオフ周波数であるＦｃ＿ｂａｓｅに設定する。

ステップＳ２０３では、ＡＦ制御部１０３が生成するＡＦ適正度を取得し、ＡＦ適正度が所定閾値より大きいかどうかを判定する。ＡＦ適正度が所定閾値より大きい（ピントが外れている）と判定された場合は、ステップＳ２０４に進み、Ａｆ＿ｆｌａｇを１にセットする。所定閾値以下と判定された場合は処理を終了する。

ステップＳ２０５は、ステップＳ２０１においてＡｆ＿ｆｌａｇが０でないと判定された場合の処理であり、即ち一旦ピントが外れた状態に行われる処理である。

ステップＳ２０５では、ＡＦ制御部１０３が生成するＡＦ適正度を取得し、ＡＦ適正度が単調減少しているかどうかを判定する。

この判定においては、過去に取得したＡＦ適正度をメモリに保持しておき、所定の回数のあいだ連続して減少しているかどうかを判定する。ステップＳ２０５において単調減少と判定された場合はステップＳ２０６に進み、単調減少ではないと判定された場合にはステップＳ２０７に進む。

ステップＳ２０６では、像ブレ補正制御部１０４で行われる像ブレ補正の特性を変更して、補正の効果が低くなるようにカットオフ周波数を高く設定し、処理を終了する。

ステップＳ２０７では、像ブレ補正の特性を通常時のカットオフ周波数であるＦｃ＿ｂａｓｅに設定する。

ステップＳ２０８では、ＡＦ適正度が所定閾値以下かどうかを判定し、所定閾値以下と判定された場合は、ステップＳ２０９に進み、所定閾値より大きいと判定された場合は処理を終了する。

ステップＳ２０９では、Ａｆ＿ｆｌａｇを０にクリアし、ステップＳ２１０に進む。ステップＳ２１０では、動画データの現在のフレームから静止画データを生成するための指示を図１における記録制御部１６に報知する。

記録制御部１６は撮像特性制御部１０５からの静止画データ生成の指示があった場合を示す。

その場合、映像信号処理部１４から出力される映像信号のうち、所望のフレーム画像から静止画データを生成して記録媒体１８に記録する。

なお、静止画データ生成の別の方法として、動画データを構成する複数のフレーム画像のうち、静止画データの生成に用いるフレームを記述したメタデータを動画データと関連づけて記録媒体に記録しておく。

そして、動画撮影とは別のタイミングで、動画データから静止画データを生成できるようにしても良い。

次に図１２は、撮像特性変更部１０５で行われる制御によるＡＦ適正度と像ブレ補正の時間的な変化を説明するための図である。図１２（ａ）は、横軸を時間、縦軸をＡＦ適正度としたときの、ＡＦ適正度の時間的な変化を示したグラフである。

図１２は、ピントが合っていない（即ち、ＡＦ適正度が大きい）状態から、ＡＦ動作を開始し、ピントが合っている（即ち、ＡＦ適正度が小さい）状態に変化している時のグラフである。ここで、時刻Ｔ１は、ピントが合っていない状態からＡＦ動作を開始してフォーカスレンズの駆動を開始した時刻を示しており、時刻Ｔ２は、被写体にピントが合い、ＡＦ動作を停止した時刻を示している。

従って、図１２（ａ）に示すように時刻Ｔ１から時刻Ｔ２にかけてＡＦ適正度が小さくなるように変化していく。

図１２（ｂ）は、撮像装置１に加わる振れの角変位量を表しており、本実施例では角速度センサ１９の出力から得られる情報である。

図１２（ｃ）及び（ｄ）は、従来の像ブレ補正の制御を説明するためのグラフであり、図１１（ｅ）及び（ｆ）は、本実施例の撮像装置における像ブレ補正の制御を説明するためのグラフである。

図１２（ｃ）及び（ｅ）は、積分器１２３の演算に用いるＬＰＦのカットオフ周波数の変化を示しており、縦軸はカットオフ周波数である。カットオフ周波数は像ブレ補正の補正効果に関係し、カットオフ周波数が低いほどブレ補正の効果が高くなり、カットオフ周波数が高いほど像ブレ補正の効果が低下する。

図１２（ｄ）及び（ｆ）は、検出した振れの角変位量（点線）に対して、実際に補正した振れの角変位量を実線で示している。また、シフトレンズ１１２の可動範囲の内側に制御範囲のリミッタが設けられている（飽和制御部１２５で行われる処理）。

まず、従来の像ブレ補正の制御について、図１２（ｃ）及び（ｄ）を用いて説明する。

従来の像ブレ補正の制御においては、シフトレンズ１１２が機械的な可動範囲の端に突き当たらないようにするために、積分器１２３の演算に用いるＬＰＦのカットオフ周波数を操作する。

即ち、積分器１２３の出力がリミッタに近づくと、カットオフ周波数を高くして、出力が中央に戻るように制御する（センタリング制御部１２５で行われる処理）。

図１２（ｃ）及び図１２（ｄ）において、時刻Ｔ３以前の間では、カットオフ周波数は通常時のＦｃ＿ｂａｓｅに設定されており、補正効果が高い状態となっている。

従って、検出した角変位量と補正した角変位量の間にはほとんど差が無い。そして時刻Ｔ３付近において、像ブレ補正の補正量（積分器１２３の出力）が制御範囲の端に近づくとカットオフ周波数を徐々に上げるように制御し、補正量が中央に戻るようにする。

このように制御することにより、シフトレンズ１１２が機械的な可動範囲の端に突き当たらないようにしている。

つまり、変更手段である像ブレ補正制御部１０４は、ＡＦ評価値が撮像パラメータの目標値に近い場合、像ブレ補正性能を一旦小さくし、その後、像ブレ補正性能を一旦小さくする前の像ブレ補正性能よりも大きくしている。

しかしながら、従来の像ブレ補正では、ＡＦ制御とは独立して制御されており、互いに関連性は無かった。

その為、図１２（ａ）及び（ｃ）から明らかなように、ＡＦの適正度が高く（適正度が０に近い）、像ブレ補正の効果が高い（カットオフ周波数が低い）状態にならない場合が多い。

次に、本実施例における像ブレ補正（撮像特性制御部１０５で行われる処理）について図１２（ｅ）及び（ｆ）を用いて説明する。本実施例における撮像特性制御部１０５では、ＡＦ適正度を参照し、その時間的な変化に応じて積分器１２３のカットオフ周波数を操作している。

図１２（ａ）において、時刻Ｔ１まではピントが外れている状態を示しており、ＡＦ適正度が大きい状態になっている。

この期間は、図１２（ｅ）の時刻Ｔ４までの期間に示すように、積分器１２３のカットオフ周波数を通常時のＦｃ＿ｂａｓｅに設定されている。次に図１２（ａ）の時刻Ｔ１から時刻Ｔ２の期間では、ＡＦ適正度が単調減少している期間である。

これは時刻Ｔ１においてＡＦ動作が開始して、時刻Ｔ２においてピントがあった状態に変化しているためである。撮像特性変更部１０５は、図１２（ｅ）の時刻Ｔ４から時刻Ｔ５に示すように、ＡＦ適正度が単調減少していると判定すると、積分器１２３のカットオフ周波数を高く設定する。

その結果、図１２（ｆ）の時刻Ｔ４から時刻Ｔ５に示すように、積分器１２３のカットオフ周波数が高くなることにより、像ブレ補正の補正量（積分器１２３の出力）は制御範囲の中央に近づくように制御される。

時刻Ｔ５において、ＡＦ適正度が単調減少ではなく、且つ所定閾値以下の状態になると、積分器１２３のカットオフ周波数は通常時のＦｃ＿ｂａｓｅに戻すように設定され、像ブレ補正の補正効果が高い状態にする。

そして時刻Ｔ６において静止画データが生成される。このとき、時刻Ｔ６においては、ピントがあった状態であり、且つ、像ブレ補正の補正効果が高い状態になっている。

また、図１２（ｆ）の時刻Ｔ５に示すようにシフトレンズ１１２の位置は制御範囲の中央付近に位置しており、時刻Ｔ６において制御範囲の端に突き当たることなる像ブレ補正を行う事が可能となっている。

以上説明してきたように、本発明においては、ＡＦ適正度の時間的な変化に応じて像ブレ補正の制御特性を変更するようにした。これによって、各撮影状態が出来る限りそろって好適な状態になるように制御することが可能になる。そして、動画像から静止画像を生成する場合に、より高い確率で良好な静止画像を生成できるようになる。

（実施例３）
次に、本発明の実施形態３について説明する。

実施形態２では、ＡＦ適正度を参照し、その時間的な変化に応じて像ブレ補正の制御特性を変更可能にしていた。

実施形態３では、ＡＥ制御の適正度を参照し、その時間的な変化に応じて、ＡＦ制御の制御特性および像ブレ補正の制御特性を変更する方法について説明する。

処理は図１１のフローチャートと同じ流れであるが、ＡＦ適正度の代わりにＡＥ適正度を用いる点と、像ブレ補正制御のカットオフ制御に加えて、ＡＦの制御特性を変更する点が異なる。

図１３（ａ）はＡＥ制御の測光値から算出した適正露出値（Ｅｖ＿ｔａｒｇｅｔ）と、現在の露出値（Ｅｖ＿ｎｏｗ）を図示したグラフである。

図１３のグラフは、例えば、撮影中にパンニングを行うことにより、より明るい被写体が映るように構図を変更した場合を示している。

図１３（ｂ）はＡＥ適正度であり、０に近いほど適正露出に近く、大きいほど適正露出からの差が大きい事を示している。通常、ＡＥ制御は、測光値が変化した場合であっても、それに合わせてすぐに露出を変化させることはしない。

それは、測光値に合わせて露出を変化させる制御が敏感すぎることによって画面の明るさの変化が周期的に繰り返す動作が起る場合があり、この動作を防止するためである。従って、ＡＥ適正度が所定の閾値を超えるまでは露出パラメータを変化させずに維持したままとする（時刻Ｔ１１から時刻Ｔ１２）。

そして、所定閾値を超えてから露出パラメータを変化させ、Ｅｖ＿ｔａｒｇｅｔに近づけていくように制御を行う（時刻Ｔ１２から時刻Ｔ１８）。

図１３（ｃ）はＡＦ適正度を示している。ＡＦ適正度は、０に近いほどピントがあっており、大きいほどピントがずれていることを示している。

図１３の時刻Ｔ１４から時刻Ｔ１５では、撮影中にパンニングを行うことによって、カメラと被写体との距離が変化し、ＡＦ適正度が大きくなっている（ピントがずれる方向に変化している）ことを示している。

撮像特性制御部１０５は、実施形態２と同様に、適正度の時間的変化を監視する。実施形態３では、ＡＥ適正度を監視する。

ＡＥ適正度が単調減少していると判定すると、像ブレ補正手段の制御特性及び、ＡＦ制御の制御特性であるフォーカスレンズの駆動速度を算出して設定する。

まず、図１３（ｂ）の時刻Ｔ１６において、ＡＥ適正度が単調減少していると判定すると、ＡＥ適正度の傾きを算出する（図１３（ｂ）における時刻Ｔ１３から時刻Ｔ１６の傾き）。

算出した傾きと現在のＡＥ適正度から、ＡＥ適正度が所定の範囲に収まるまでの時間Ａｅ＿ｔｉｍｅを算出する。即ち、現在のＡＥ適正度とＡｅ＿ｔｈｒｅｓｈとの差分、ＡＥ適正度の傾きから、Ａｅ＿ｔｉｍｅを算出する。

次に、算出したＡｅ＿ｔｉｍｅから、ＡＦ制御の制御特性を算出する。ＡＦ制御においては、Ａｅ＿ｔｉｍｅに応じたフォーカスレンズ１１３の駆動速度を算出し、ＡＦ制御部１０３に設定する。フォーカスレンズの駆動速度Ａｆ＿ｓｐｅｅｄは以下の計算式で演算する。
Ａｆ＿ｓｐｅｅｄ＝Ｋ＿ａｆ×Ｍｄａｔｅ＿ｆｏｃｕｓ／Ａｅ＿ｔｉｍｅ

ここで、Ｋ＿ａｆは、任意の係数である。駆動速度Ａｆ＿ｓｐｐｅｄは、Ａｅ＿ｔｉｍｅが短いほど大きく、Ａｅ＿ｔｉｍｅが長いほど小さくなる。

また、現在のＡＦ適正度が大きいほど、Ａｆ＿ｓｐｅｅｄは大きくなり、ＡＦ適正度が小さいほどＡｆ＿ｓｐｅｅｄは小さくなる。

つまり、変更手段である像ブレ補正制御部１０４は、撮像パラメータの評価値が撮像パラメータの目標値に近づくように変化している場合、評価値の大きさ及び評価値の変化の傾きから、評価値が適正となる予測時間を算出する。そして、予測時間に応じて像ブレ補正手段の像ブレ補正性能を変更している。

次に、像ブレ補正制御の制御特性である積分器１２３の演算に用いるＬＰＦのカットオフ周波数を算出する。カットオフ周波数Ｉｓ＿ｆｃは以下の計算式で演算する。
Ｉｓ＿ｆｃ＝（Ｋ＿ｉｓ／Ａｅ＿ｔｉｍｅ）＋Ｆｃ＿ｂａｓｅ

ここで、Ｋ＿ｉｓは任意の係数である。また、Ｆｃ＿ｂａｓｅは通常時のカットオフ周波数である。このようにＡｅ＿ｔｉｍｅが短いほどＩｓ＿ｆｃは高くなり、Ａｅ＿ｔｉｍｅが短いほどＩｓ＿ｆｃは低い値となる。

上記のように演算したフォーカスレンズの駆動速度Ａｆ＿ｓｐｅｅｄと、像ブレ補正制御のカットオフ周波数Ｉｓ＿ｆｃをＡＦ制御部１０３及び像ブレ補正制御部１０４に設定する。

図１３の時刻Ｔ１７において、フォーカスレンズの駆動速度をもとの値に戻すようにする。また、同様に時刻Ｔ１７において、像ブレ補正制御のカットオフ周波数を徐々にもとの値に戻すように変更する。

このように制御することで、ＡＥ適正度が適正露出となる時刻Ｔ１８となる前に、ＡＦ適正度を０に近づけることが可能となる。

また、像ブレ補正制御においても同様に、ＡＥ適正度が適正露出となる前にカットオフ周波数を通常時のＦｃ＿ｂａｓｅに戻すことが可能となる。

ＡＥ適正度が適正となった後、時刻Ｔ１９において静止画データが生成される。このとき、ＡＦ適正度は０に近づけることが出来るとともに、像ブレ補正のカットオフ周波数は低い状態となっており、より高い確率で良好な静止画像を生成できるようになる。

また、上記のように説明してきたように、ＡＥ適正度に応じてＡＦ制御の特性を変化させたり、像ブレ補正制御の特性を変化させる構成とした。

このように制御する理由としては、それぞれの制御における制御周期が挙げられる。

通常ＡＥ制御においては、画像から得た測光値に基づいて絞り、シャッタ、ゲイン等の露出パラメータを変化させるので、測光から露出変化までには数フレーム、例えばＮＴＳＣの場合は、数１０ｍｓから数１００ｍｓの時間が必要となる。

一方で像ブレ補正においては、１〜２０Ｈｚの手振れを補正の対象とした場合、手振れの周波数より十分に高い周波数で制御を行う必要があるため、その制御周期は、数１００μｓｅｃ程度の非常に短い周期となる。

このように、制御周期が長い処理の適正値（例えばＡＥ制御）を参照して、より制御周期が短い制御（例えば像ブレ補正制御）の特性を変更する構成とすることが望ましい。

以上説明してきたように、本発明においては、ＡＦ適正度の時間的な変化に応じて像ブレ補正及びＡＦ制御の制御特性を変更するようにした。

これによって、各撮影状態が出来る限りそろって好適な状態になるように制御することが可能になる。そして、動画像から静止画像を生成する場合に、より高い確率で良好な静止画像を生成できるようになる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。

そして、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。

また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。

さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。

その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。

従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１ 撮像装置
１０ カメラシステム制御部
１１ 撮像レンズ
１２ 撮像素子
１４ 映像信号処理部
１６ 記録制御部
１０１ ＷＢ制御部
１０２ ＡＥ制御部
１０３ ＡＦ制御部
１０４ 像ブレ補正制御部
１０５ 撮像特性制御部

Claims (7)

1. 被写体像を撮像する撮像素子から出力される画像データから取得される撮像パラメータの良否を評価して前記撮像パラメータの評価値を生成する評価手段と、振れ検出手段から出力される振れデータを用いて振れ補正データを生成する生成手段と、前記振れ補正データを用いて像ブレ補正手段を制御する制御手段と、動画撮影時に、前記撮像パラメータの評価値が前記撮像パラメータの目標値に近い場合の前記像ブレ補正手段の像ブレ補正性能を、前記撮像パラメータの評価値が前記撮像パラメータの目標値に遠い場合の前記像ブレ補正手段の像ブレ補正性能よりも大きくする変更手段と、前記像ブレ補正性能が大きいフレーム画像を静止画再生用データとして記録する記録手段と、を有する画像処理装置であって、
   前記撮像パラメータは、露出制御に用いる露出パラメータ、フォーカスレンズ制御に用いる焦点状態パラメータ、ホワイトバランスパラメータの何れかであり、
   前記変更手段は、前記撮像パラメータの評価値が前記撮像パラメータの目標値に近くなると、前記像ブレ補正性能を小さくし、その後に前記撮像パラメータの評価値と前記撮像パラメータの目標値の差分値が所定閾値以下になると、前記像ブレ補正性能を小さくする前の像ブレ補正性能に戻すことを特徴とする画像処理装置。
2. 前記変更手段は、前記撮像パラメータの評価値が前記撮像パラメータの目標値に近くなると、前記像ブレ補正性能を決定するローパスフィルタのカットオフ周波数を上げ、その後に前記撮像パラメータの評価値と前記撮像パラメータの目標値の差分値が所定閾値以下になると、前記像ブレ補正性能を決定するローパスフィルタのカットオフ周波数を上げる前のカットオフ周波数に戻すことを特徴とする請求項１に記載の画像処理装置。
3. 前記変更手段は、前記撮像パラメータの評価値が前記撮像パラメータの目標値に近づくように変化している場合、前記評価値の大きさ及び前記評価値の変化の傾きから、前記評価値が適正となる予測時間を算出し、前記予測時間に応じて前記像ブレ補正手段の像ブレ補正性能を変更する請求項１又は２に記載の画像処理装置。
4. 被写体像を撮像する撮像素子から出力される画像データから取得される撮像パラメータの良否を評価して前記撮像パラメータの評価値を生成する評価工程と、振れ検出手段から出力される振れデータを用いて振れ補正データを生成する生成工程と、前記振れ補正データを用いて像ブレ補正手段を制御する制御工程と、動画撮影時に、前記撮像パラメータの評価値が前記撮像パラメータの目標値に近い場合の前記像ブレ補正手段の像ブレ補正性能を前記撮像パラメータの評価値が前記撮像パラメータの目標値に遠い場合の前記像ブレ補正手段の像ブレ補正性能よりも大きくする変更工程と、前記像ブレ補正性能が大きいフレーム画像を静止画再生用データとして記憶する記録工程と、を有する画像処理方法であって、
   前記撮像パラメータは、露出制御に用いる露出パラメータ、フォーカスレンズ制御に用いる焦点状態パラメータ、ホワイトバランスパラメータの何れかであり、
   前記変更工程は、前記撮像パラメータの評価値が前記撮像パラメータの目標値に近くなると、前記像ブレ補正性能を小さくし、その後に前記撮像パラメータの評価値と前記撮像パラメータの目標値の差分値が所定閾値以下になると、前記像ブレ補正性能を小さくする前の像ブレ補正性能に戻すことを特徴とする画像処理方法。
5. 請求項４に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
6. コンピュータに、請求項４に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
7. 請求項１乃至３の何れか一項に記載の画像処理装置と、前記撮像素子とを有する撮像装置。

Images