JP5304002B2

JP5304002B2 - 撮像装置、画像選別方法及びプログラム

Info

Publication number: JP5304002B2
Application number: JP2008103161A
Authority: JP
Inventors: 佳子小野
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-04-11
Filing date: 2008-04-11
Publication date: 2013-10-02
Anticipated expiration: 2028-04-11
Also published as: JP2009253936A

Description

この発明は、撮像装置、画像選別方法及びプログラムに関する。

撮像装置の一例としてのデジタルカメラの内部にブレ検出センサを装備し、連続撮影された画像データ群の中から撮影状態の良好な画像を選別して保存するＢＳＳ（Ｂｅｓｔ−Ｓｈｏｔ−Ｓｅｌｅｃｔｏｒ）動作を実行する技術が知られている（特許文献１）。

特開２００６−２４５８４７号公報

しかしながら、上記従来の手法によれば、カメラ内部に装着されたブレ検出センサからの出力に基づいて、連続撮影された複数の画像データ群の中から撮影状態の良好な画像を選択するので、ブレ以外の画像劣化原因であるボケを含む画像が選択される場合があり、撮影状態が良好な画像を正確に選択することができなかった。

発明が解決しようとする課題は、撮影状態が良好な画像を正確に選択することができる撮像装置、画像選別方法及びプログラムを提供することである。

この発明は、以下の解決手段によって上記課題を解決する。

本発明に係る撮像装置は、連写撮影の開始から連写撮影の終了までの間の複数の撮像により複数の画像情報を取得する撮像部と、連写撮影が終了したか否かを判断する判断部と、前記判断部により連写撮影が終了したと判断された後に、前記複数の画像情報のそれぞれに対応する複数の点像広がり関数を演算する第１演算部と、前記複数の画像情報のそれぞれについて、前記点像広がり関数を用いて画像のブレ量及び画像のボケ量を演算する第２演算部と、前記複数の画像情報のそれぞれについて、前記ブレ量に前記ボケ量よりも大きな重み付けをする重み付け部と、前記重み付け部により重み付けがされた前記ブレ量の大きさと、前記重み付け部により重み付けがされた前記ボケ量の大きさとに基づいて、前記複数の画像情報のそれぞれの劣化量を評価する評価部と、前記複数の画像情報のうち、前記評価部により劣化量が少ないと判断された少なくとも１つの前記画像情報を媒体に保存させる保存部とを含むことを特徴とする。

本発明において、前記重み付け部が、前記重み付け部により重み付けされた前記ブレ量の大きさが、前記重み付け部により重み付けされていない前記ブレ量の大きさよりも大きいと評価し、前記重み付け部により重み付けされた前記ボケ量の大きさが、前記重み付け部により重み付けされていない前記ボケ量の大きさよりも小さくなるように重み付けをするように構成することができる。

本発明において、前記評価部が、前記重み付け部により重み付けされた前記ブレ量又は前記ボケ量の大きさが大きいほど画像が劣化していると評価するように構成することができる。

本発明において、前記第１演算部が、所定の画素数からなるブロック化された画像をずらしながら重なり合っている領域の画素同士の積の結果を加算し、これを領域の面積で除算することで得られる自己相関値を演算することで、前記複数の画像情報のそれぞれに対応する複数の点像広がり関数を演算するように構成することができる。

本発明において、前記第１演算部が、前記自己相関値を、後述する式４に示す自己相関関数値Ｒ _ｆｆを演算するように構成することができる。

本発明において、前記第１演算部は、前記複数の画像のそれぞれの焦点検出領域内における点像広がり関数を演算するように構成することができる。

本発明において、本発明の撮像装置を、コントラストの評価値を用いてフォーカスレンズの駆動を制御するフォーカス制御部をさらに有するものとし、前記撮像部が、前記フォーカス制御部による前記フォーカスレンズの駆動後に連写撮影を開始するように構成することができる。

上記発明によれば、点像広がり関数に基づく評価が相対的に高い画像を複数の画像の中から選択して保存するので、撮影状態が良好な画像を正確に選択することができる。

以下、発明の実施形態を図面に基づいて説明する。

《デジタルカメラ》
図１Ａに示すように、撮像装置の一例としての本実施形態に係るデジタルカメラ１は、カメラボディ１０とレンズ鏡筒３０から構成される。

レンズ鏡筒３０（撮影光学系）には、光軸３に沿って移動可能なフォーカスレンズ３１と、このフォーカスレンズ３１を光軸３に沿って移動させるレンズ駆動モータ３２と、フォーカスレンズ３１の位置を検出するためのレンズ位置検出部３３とが設けられている。

フォーカスレンズ３１の光軸３に沿う移動機構の具体的構成は特に限定されない。一例を挙げれば、レンズ鏡筒３０に固定された固定筒に回転可能に回転筒（図示省略。以下同じ）を挿入し、この回転筒の内周面にヘリコイド溝（螺旋溝）を形成するとともに、フォーカスレンズ３１を固定するレンズ枠の端部をヘリコイド溝に嵌合させる。そして、レンズ駆動モータ３２によって回転筒を回転させることで、レンズ枠に固定されたフォーカスレンズ３１が光軸に沿って直進移動することになる。

なお、レンズ鏡筒３０にはフォーカスレンズ３１以外のレンズ群が設けられているが、ここではフォーカスレンズ３１を例に挙げて説明する。

上述したようにレンズ鏡筒３０に対して回転筒を回転させることによりレンズ枠に固定されたフォーカスレンズ３１は光軸方向に直進移動するが、その駆動源としてのレンズ駆動モータ３２がレンズ鏡筒３０に設けられている。レンズ駆動モータ３２と回転筒とは、例えば複数の歯車からなる変速機で連結され、レンズ駆動モータ３２の駆動軸を何れか一方向へ回転駆動すると所定のギヤ比で回転筒に伝達され、そして、回転筒が何れか一方向へ回転することで、レンズ枠に固定されたフォーカスレンズ３１が光軸３の何れかの方向へ直進移動することになる。なお、レンズ駆動モータ３２の駆動軸が逆方向に回転駆動すると、変速機を構成する複数の歯車も逆方向に回転し、フォーカスレンズ３１は光軸３の逆方向へ直進移動することになる。

フォーカスレンズ３１の位置はレンズ位置検出部３３であるエンコーダによって検出される。既述したとおり、フォーカスレンズ３１の光軸方向の位置は回転筒の回転角に相関するので、例えばレンズ鏡筒３０に対する回転筒の相対的な回転角を検出すれば求めることができる。

レンズ位置検出部３３としては、回転筒の回転駆動に連結された回転円板の回転をフォトインタラプタなどの光センサで検出して、回転数に応じたパルス信号を出力するものや、固定筒と回転筒の何れか一方に設けられたフレキシブルプリント配線板の表面のエンコーダパターンに、何れか他方に設けられたブラシ接点を接触させ、回転筒の移動量（回転方向でも光軸方向の何れでもよい）に応じた接触位置の変化を検出回路で検出するものなどを挙げることができる。

フォーカスレンズ３１は、上述した回転筒の回転によってカメラボディ１０側の端部（以下、「至近端」ともいう。）から被写体側の端部（以下、「無限端」ともいう。）までの間を光軸方向に移動することができ（この範囲を「レンズの移動範囲Ｌ」ともいう。）、この移動はカメラボディ１０のレンズ駆動制御部１１からの指令によって制御される。

カメラボディ１０には、レンズ駆動制御部１１と、オートフォーカススイッチ１３と、撮像素子１４と、ＡＤ変換器１６と、撮像素子ドライバ１８と、ＣＰＵ１９と、ＲＯＭ２０と、ＲＡＭ２１と、記憶メディア２２と、ディスプレイドライバ２４と、ディスプレイ２６と、電源スイッチ２８と、撮影ボタン２９とが設けられている。

撮像素子１４（撮像手段）は、カメラボディ１０内の光軸３上に配置されており、フォーカスレンズ３１等によって結像された像（光束）を受光し、これを光電変換した画像信号を出力する。撮像素子１４が出力する画像信号は、撮影ボタン２９が全押しされた後に取り込まれる、本撮影により得られる画像（以下「撮影画像」という。）の画像信号であり、撮影ボタン２９を継続して全押しして連写した場合に、撮像素子１４が出力する画像信号は複数である。すなわち、撮影ボタン２９を継続して全押しして連写した場合に撮像素子１４が出力する複数の画像信号は、所定時間内の異なる時点に受光された光による画像信号である。

撮像素子１４は、半導体チップから構成された、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどで構成される。撮像素子１４の一方の主面１４１が撮像面となる。

図１Ｂに示すように、撮像素子１４は、矩形状の撮像面１４１の平面上に、複数の撮像画素１４２が、二次元的に配列され、緑色の波長領域を透過するカラーフィルタを有する緑画素Ｇと、赤色の波長領域を透過するカラーフィルタを有する赤画素Ｒと、青色の波長領域を透過するカラーフィルタを有する青画素Ｂがいわゆるベイヤー配列（ＢａｙｅｒＡｒｒａｎｇｅｍｅｎｔ）されたものである。すなわち、隣接する４つの画素群１４３（稠密正方格子配列）において一方の対角線上に２つの緑画素が配列され、他方の対角線上に赤画素と青画素が１つずつ配列されている。このベイヤー配列された画素群１４３を単位として、当該画素群１４３を撮像面１４１に二次元状に繰り返し配列することで撮像素子１４が構成されている。なお、単位画素群１４３の配列は、図示する稠密正方格子以外にも、例えば稠密六方格子配列にすることもできる。また、カラーフィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用することもできる。

図１Ｃに示すように、一つの撮像画素１４２は、マイクロレンズ１４２１と、光電変換部１４２２と、図示しないカラーフィルタとから構成される。

図１Ｄに示すように、撮像画素１４２は、撮像素子１４の半導体回路基板１４４の表面に光電変換部１４２２が造り込まれ、その表面にマイクロレンズ１４２１が形成されている。図示しないカラーフィルタは、マイクロレンズ１４２１と光電変換部１４２２との間に設けられる。光電変換部１４２２は、マイクロレンズ１４２１によりレンズ鏡筒３０（図１Ａ参照）の射出瞳（例えばＦ１．０）を通過した光束を受光する形状とされ、光束ＩＢを受光する。

本実施形態の光電変換部１４２２は、撮像面１４１（図１Ａ及び図１Ｂ参照）から取り込んだ画像（撮影画像）を光電変換してその画像の画像信号を出力することができる。

図１Ａに戻り、本実施形態の撮像素子１４は、オートフォーカススイッチ１３をＯＮ状態にして自動合焦探索を行う際、フォーカスレンズ３１を通過した像の所定領域４０ａ（図４参照）における焦点評価値をＣＰＵ１９へ出力する。

図１Ａに戻り、ＣＰＵ１９（コンピュータ）は、後述する画像選別処理を実行する機能を司るが、その具体的処理動作については後述する。

ＲＯＭ２０には、ＣＰＵ１９での制御動作の基となる制御プログラム（画像選別プログラム）が予め記憶してあり、不揮発性の記憶手段で構成される。

ＲＡＭ２１は、ＣＰＵ１９が処理中のデータを一時的に記憶する。

なお、カメラボディ１０には合焦表示部（図示省略）が設けられていてもよい。合焦表示部は、例えばファインダ（図示省略）やディスプレイ２６内に表示されるマークで構成したり、カメラボディ１０の外部にＬＥＤランプなどの表示手段（図示省略）で構成したり、あるいはファインダに設けられたオートフォーカス用ターゲットマークの色彩の変化で構成することができる。

《画像選別処理》
次に、画像選別プログラムによって実行される、デジタルカメラ１による画像選別処理の一例を説明する。

図１Ａ、図３及び図４に示すように、まず、カメラ１の電源スイッチ２８がＯＮされていることを確認した上で撮影ボタン２９が半押しされると、ＣＰＵ１９は、レンズ駆動制御部１１に指令を送出し、この指令を受けたレンズ駆動制御部１１からの指令を受けたレンズ駆動モータ３２によりフォーカスレンズ３１の位置を移動させつつステップＳ１に進む。

《ステップＳ１及びＳ２》
ステップＳ１にて、撮影ボタン２９が全押しされ、１枚分の撮影動作が実行されると、ステップＳ２へ進み、ＣＰＵ１９は画像選別プログラムを起動させて図３のフローチャートを処理する。

ステップＳ２にて、ＣＰＵ１９は、ステップＳ１にて実行され、撮像素子ドライバ１８を介して撮像素子１４から送出された撮影画像４０の画像出力を取り込み、これをＲＡＭ２１に一時保存させて、ステップＳ３へ進む。

《ステップＳ３》
ステップＳ３にて、ＣＰＵ１９は、連続撮影を終了する要因（以下「連続撮影終了要因」という。）が発生している否かを判定する。この判定は、例えば撮影ボタン２９の押圧が継続しているか、又は解除されているか、の別に基づいて行うことができる。その結果、撮影ボタン２９の押圧が継続していた場合、ＣＰＵ１９は、連続撮影終了要因は発生していないと判断し（Ｓ３にてＮｏ）、停止フラグをリセット状態に維持したまま、ステップＳ１へ戻り、Ｓ１〜Ｓ３の各ステップを繰り返して連続撮影を行う。これに対し、撮影ボタン２９の押圧が解除されていた場合、ＣＰＵ１９は、撮影終了条件を満足した（すなわち連続撮影終了要因が発生した）と判断して（Ｓ３にてＹｅｓ）、連続撮影を終了し、ステップＳ４へ進む。

なお、連続撮影を行う際に、ＣＰＵ１９は予め、レンズ駆動制御部１１に制御信号を送出してフォーカスレンズ３１を所定のサンプリング間隔で駆動させ、それぞれの位置における焦点評価値（例えばコントラスト評価値）を演算する。この焦点評価値は、高周波透過フィルタを用いて、例えば撮像素子１４からの画像出力の高周波成分を抽出し、これを積算して焦点電圧を検出することで算出することができる。また、遮断周波数が異なる２つの高周波透過フィルタを用いて高周波成分を抽出し、それぞれを積算して焦点電圧を検出することにより算出することもできる。次に、ＣＰＵ１９は、演算された焦点評価値が最大となるフォーカスレンズ３１の位置を、例えば内挿法などの演算方式を用いて求める。この内挿法による焦点評価値の最大値の求め方を図２を参照しながら説明する。ここでは３点内挿法を説明する。

図２の上図に示した丸印は焦点評価値のサンプリング点を示しており、例えばフォーカスレンズ３１の探索範囲に８箇所Ｐ１〜Ｐ８の焦点評価値が取得されているものとする。破線で示す曲線は焦点評価値のプロファイルを示し、レンズ位置Ｐｘにピークを有する。なお、図２の下図は時間に対するフォーカスレンズ３１の位置の軌跡を示すグラフである。

取得された８個の焦点評価値では、焦点評価値Ｐ５が最大となっているが、３点内挿法では、最大の焦点評価値Ｐ５とその前後に位置する焦点評価値Ｐ４，Ｐ６とを用いてレンズの合焦位置Ｐｘを算出する。まず、最大の点Ｐ５および３点のうち最小の点Ｐ６を通る直線Ｌ１を算出する。この直線Ｌ１の傾きをＫとしたとき、傾きが−Ｋで、残りの点Ｐ４を通る直線Ｌ２を算出する。そして、直線Ｌ１と直線Ｌ２との交点のレンズ位置座標を求める。この交点のレンズ位置座標がフォーカスレンズ３１の合焦位置Ｐｘとして求められる。こうして求められたフォーカスレンズ３１の合焦位置ＰｘをＣＰＵ１９からレンズ駆動制御部１１に送出し、レンズ駆動モータ３２を制御してフォーカスレンズ３１を合焦位置に移動させる。なお、オートフォーカススイッチ１３をＯＦＦ状態にした場合は、使用者が回転筒（図示省略）を回転させることにより手動による合焦操作を行うことができる。

《ステップＳ４》
ステップＳ４（第１の工程）にて、ＣＰＵ１９は、ステップＳ２にて一時保存されている各撮影画像４０の画像出力を取得し、この取得した各撮影画像４０の画像出力から、予め決められた所定領域４０ａにおけるＰＳＦを撮影画像４０毎に算出して、ステップＳ５へ進む。ここでの所定領域４０ａは、各撮影画像４０の焦点検出領域などが挙げられる。焦点検出領域は複数設けられていてもよい。なお、ＰＳＦとは、点像広がり関数（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）であり、一点から出た光がどのように広がるかを表す関数である。

一般に、撮影画像のＰＳＦを算出し、この算出されたＰＳＦを用いて、ブレやボケを含む「劣化画像」としての撮影画像を、ブレやボケのない「理想画像」に近づけるように復元させる方法は知られている。

ここで、（ｘ、ｙ）を撮影画像上の座標とし、ブレやボケを含む劣化画像をｇ（ｘ、ｙ）、ブレやボケのない理想画像をｈ（ｘ、ｙ）、ブレやボケによって広がった点像の情報（ＰＳＦ関数）をｐ（ｘ、ｙ）とすると、これら３つの式は次の関係を満たす。図５はこれらの関係を模式的に表したものである。

［数１］ｇ（ｘ、ｙ）＝ｈ（ｘ、ｙ）＊ｐ（ｘ、ｙ） …式１
式１中、＊はコンボリューション（畳み込み積分）演算を表すものである。

ここで、式１をフーリエ変換して、空間周波数（ｕ，ｖ）領域２にすると、式１は以下の式２になる。

［数２］Ｇ（ｕ、ｖ）＝Ｈ（ｕ、ｖ）＊Ｐ（ｕ、ｖ） …式２
ここで、劣化画像ｇ（ｘ，ｙ）に加えて、何らかの方法によりＰＳＦ関数ｐ（ｘ，ｙ）を知ることができれば、それぞれのスペクトルを算出し、式２を変形した以下の式３により、理想画像のスペクトルＨ（ｕ，ｖ）を算出することができる。

［数３］Ｈ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｐ（ｕ、ｖ） …式３
そして、式３で算出されるＨ（ｕ，ｖ）を逆フーリエ変換すれば、理想画像ｈ（ｘ、ｙ）を算出することができる。

本実施形態では、撮影画像４０毎に算出されたＰＳＦを用いて複数の撮影画像４０の相対的な画像評価を行おうとするものである。

本実施形態において、各撮影画像４０のＰＳＦを算出するには、例えば、劣化画像のフーリエ変換の振幅スペクトルがゼロになる周期と方向を検出してブレの大きさと方向を検出する方法（特開２００６−２２１３４７）や、動きベクトルを利用して算出する方法（特開２００７−６０４５）などを用いることができ、特に限定されない。

以下の説明では、画像の自己相関に基づいてＰＳＦを算出する方法を例示する。

図１Ａ、図３及び図６に示すように、まずステップＳ４１では、撮像素子１４から出力される複数の撮影画像４０における各アナログ画像信号をＡ／Ｄ変換器１６によりデジタル画像信号へ変換し、これをＲＡＭ２１に取り込み、ステップＳ４２に進む。

ステップＳ４２では、取り込んだ各撮影画像のＲＧＢ成分中Ｇ成分を抽出して（Ｇ成分抽出）、ステップＳ４３に進む。Ｇ成分を抽出するのは、ＰＳＦ算出に色成分は不要であるからである。

ステップＳ４３では、ダウンサンプリングして、取り込んだ各撮影画像の画像サイズを小さくし（画像縮小）、ステップＳ４４進む。画像サイズを縮小するのは、演算量を小さくするためである。なお、圧縮後のデータ容量が大きいほど高周波成分が多く、シャープな画像であり、劣化が少ない画像であると判断することができる。

ステップＳ４４では、図７に示すように、画像ｇを７×７の領域にブロック分割してステップＳ４５に進む。

図６に戻り、ステップＳ４５では、ステップＳ４４で分割した全ブロック中、画素値が飽和している画素を有するブロックを演算から除外し（飽和ブロック除去）、ステップＳ４６へ進む。

ステップＳ４６では、ラプラシアン処理によって輪郭を強調させた後、ステップＳ４７へ進む。

ステップＳ４７では、全ブロック中、テクスチャ（模様）の無いブロックを除外し（無模様ブロック除外）、ステップＳ４８へ進む。テクスチャの無いブロックは、ブレやボケを検出できないからである。

ステップＳ４８では、除外されず残っているブロックについて自己相関値を演算し（自己相関値演算）、ステップＳ４９へ進む。図８の例では画像ｇの内太線の４つのブロックが残っているブロック（演算対象）であり、それぞれのブロックについて演算を行う。

２次元の自己相関関数値Ｒ_ｆｆは、次式で定義される。

［数４］

ここで、Ｂをブロック化された画像（５×５ｐｉｘｅｌ）、ａ、ｂをＸ、Ｙ方向の画素間距離、Ｎは自己相関を演算する領域のＸ方向の長さ、ＭはＹ方向の長さを示す。自己相関値の演算は、図８に示すように、画像Ｂをずらしながら重なり合っている領域の画素同士の積の結果を加算し、これを領域の面積で除算することで行われる。

図６に戻り、ステップＳ４９では、ステップＳ４８にて算出された自己相関値の演算結果を基に、自己相関画像を作成し（自己相関画像作成）、ステップＳ５０へ進む。

自己相関値は、ａ＝０、ｂ＝０の時、つまり画素が完全に重なっている時に最大となる。Ｒ_ｆｆ（０，０）を基に正規化を行い、グレースケール０〜２５５に対応させ画像を作成する。図９に算出された自己相関画像の例を示す。図９の例では、４つのブロックにおいて、それぞれ斜め方向への自己相関が高く、ブレが斜め方向に生じていると推定される。

図６に戻り、ステップＳ５０では、ステップＳ４９にて作成した自己相関画像を平均化した画像（この例では４つの画像の平均）を、ＰＳＦ推定結果として算出する（ブロック平均化）。

図１０に示すように、算出されたＰＳＦ推定結果から、撮影画像には、直線的な所定長さと方向を持つブレと、所定量のボケとが含まれていることが確認できる。

図３に戻り、すなわちステップＳ４で算出されるＰＳＦにより、各撮影画像４０にどの程度のブレやボケが含まれるか否かを確認することができる。

《ステップＳ５》
図１Ａ、図３及び図４に戻り、次にステップＳ５（第２の工程）にて、ＣＰＵ１９は、ステップＳ４で算出したＰＳＦに基づいて各撮影画像３の評価を行い、ステップＳ６へ進む。各撮影画像４０の評価は、撮影画像４０毎の劣化量の大小に基づいて行うことができる。劣化量には、各撮影画像４０のブレ量及びボケ量の少なくともいずれかを含み、好ましくはブレ量とボケ量の双方を考慮して各撮影画像４０の評価を行うことが望ましい。

《ステップＳ６》
ステップＳ６（第３の工程）にて、ＣＰＵ１９は、ステップＳ５にて行われた評価が相対的に高い画像を複数の撮影画像４０の中から選択して、ステップＳ７へ進む。

相対的な画像の選択基準は、ステップＳ１〜Ｓ３の繰り返し回数に応じて撮影された複数の撮影画像４０のうち、相対的に劣化量の少ない画像を高評価として選択する。

なお、劣化量の少ない画像としては、例えば圧縮後のデータ容量が大きいものなどが挙げられる。圧縮後のデータ容量が大きいほど高周波成分が多く、結果としてブレずにシャープな画像であるということができる。

以下の例では、５枚連続撮影を行ったこととして説明する。

図１１に示す例では、各ＰＳＦより撮影画像４０はブレた画像であると理解され、中でも４枚目の画像が最もブレが少ない画像であると評価される。

図１Ａに戻り、この場合ＣＰＵ１９は、前記評価順位が１位の４枚目のみを選択してもよいし、あるいは上位１枚だけに限らず、上位２位まで選択してもよい。

図１２に示すように、各撮影画像４０はピンボケ画像であると理解され、中でも３枚目の画像が最もピンボケが少ない画像であると評価される。

図１Ａに戻り、この場合ＣＰＵ１９は、３枚目の画像のみを選択することができ、上位１枚だけに限らず、上位２位まで選択してもよい。

なお、連続撮影された撮影画像４０のデータ群は、実際には、図１３に示すように、ブレた画像とピントがボケた画像が混在する場合がある。また、図１４に示すように、一枚の写真で、ブレとボケが混在している場合もある。従って、このような場合を想定してステップＳ６での相対的な画像の選択基準は、ブレ量とボケ量のいずれかに重み付けをし、これに基づきブレ量とボケ量のいずれかを優先して評価してもよい。本例では、ブレ量とボケ量の重み付けを、例えばブレ：１．２、ボケ：０．７などとすることができる。このようにＰＳＦデータに上記重み付けをした場合、ブレ量は、ＰＳＦから判断された本来のブレ量より大きくなり、ボケ量は、同様に本来のボケ量より小さくなることになる。すなわちブレた画像よりボケた画像の方を良好な画像と評価することになる。

《ステップＳ７》
図１Ａ、図３及び図４に戻り、ステップＳ７（第３の工程）にて、ＣＰＵ１９は、ステップＳ６で選択した画像（１枚とは限らない）を記憶メディア２２に保存して、終了する。

以上説明してきたように、本実施形態によれば、複数の撮影画像４０毎に所定領域４０ａにおけるＰＳＦを算出し、この算出したＰＳＦに基づいて各画像４０の評価を行い、この評価が相対的に高い画像を複数の画像の中から選択し、これを保存する。相対的な画像の選択基準は、複数の撮影画像４０のうちブレ量及びボケ量の少なくともいずれかが少ない画像を高評価として選択し、少なくとも上位１枚を選択する。従って、相対的な画像の選択基準に、例えば撮影画像４０のボケ量が少ない画像を高評価として選択すれば、ボケの少ない良好な画質の画像を正確に選択することができる。また、相対的な画像の選択基準に、例えば撮影画像４０のボケ量とブレ量の双方が少ない画像を高評価として選択すれば、手ブレだけではなく、ピンボケにも対応した極めて良好な画質の画像を正確に選択することができる。

また、本実施形態によれば、ブレ検出センサ（特許文献１参照）を装備しないので、カメラ１の大型化が防止されるとの利点もある。

なお、上述した実施形態では、連続撮影を行う際に、コントラスト検出法により各撮影画像４０の焦点評価値を演算し、焦点検出状態を算出しているが、特にこの検出法に限定する趣旨ではなく、位相差検出法により各撮影画像４０の焦点検出状態を算出してもよい。

図１Ａはデジタルカメラを示すブロック図である。図１Ｂは図１Ａの撮像素子における撮像画素の配列を模式的に示す正面図である。図１Ｃは図１Ｂに示す撮像画素の一つを拡大して示す正面図である。図１Ｄは図１Ｂに示す撮像画素の一つを拡大して示す断面図である。図２は図１Ａのカメラの合焦判定を説明するためのグラフである。図３は本実施形態に係る画像選別処理の一例を示すフローチャートである。図４は撮影画像とＰＳＦ算出領域との関係を示す説明図である。図５はブレやボケを含む劣化画像とブレやボケのない理想画像とブレやボケによって広がった点像の情報（ＰＳＦ関数）との関係を表した模式図である。図６は画像の自己相関に基づいたＰＳＦの算出方法の一例を示すフローチャートである。図７は図６のステップＳ４４での処理状態を示す概略図である。図８は図６のステップＳ４８での自己相関値を演算する対象と演算手順を示す説明図である。図９は図６のステップＳ４９にて作成される自己相関画像の一例を示す説明図である。図１０は図６のステップＳ５０にて算出されたＰＳＦ推定結果を示す説明図である。図１１は図３のステップＳ４にて算出された各画像のＰＳＦを模式的に表した一例を示す図である。図１２は図３のステップＳ４にて算出された各画像のＰＳＦを模式的に表した他の例を示す図である。図１３は図３のステップＳ４にて算出された各画像のＰＳＦを模式的に表した他の例を示す図である。図１４は図３のステップＳ４にて算出された各画像のＰＳＦを模式的に表した他の例を示す図である。

符号の説明

１…デジタルカメラ（撮像装置）
１０…カメラボディ（撮像装置）
１１…レンズ駆動制御部
１３…オートフォーカススイッチ
１４…撮像素子（撮像手段）
１６…ＡＤ変換器
１８…撮像素子ドライバ
１９…ＣＰＵ（算出手段、評価手段、保存手段、第１〜第３の工程、コンピュータ）
２０…ＲＯＭ
２１…ＲＡＭ
２２…記憶メディア
２４…ディスプレイドライバ
２６…ディスプレイ
２８…電源スイッチ
２９…撮影ボタン
３０…レンズ鏡筒
３１…フォーカスレンズ
３２…レンズ駆動モータ
３３…レンズ位置検出部
４０…撮影画像

Claims

連写撮影の開始から連写撮影の終了までの間の複数の撮像により複数の画像情報を取得する撮像部と、
連写撮影が終了したか否かを判断する判断部と、
前記判断部により連写撮影が終了したと判断された後に、前記複数の画像情報のそれぞれに対応する複数の点像広がり関数を演算する第１演算部と、
前記複数の画像情報のそれぞれについて、前記点像広がり関数を用いて画像のブレ量及び画像のボケ量を演算する第２演算部と、
前記複数の画像情報のそれぞれについて、前記ブレ量に前記ボケ量よりも大きな重み付けをする重み付け部と、
前記重み付け部により重み付けがされた前記ブレ量の大きさと、前記重み付け部により重み付けがされた前記ボケ量の大きさとに基づいて、前記複数の画像情報のそれぞれの劣化量を評価する評価部と、
前記複数の画像情報のうち、前記評価部により劣化量が少ないと判断された少なくとも１つの前記画像情報を媒体に保存させる保存部とを含むことを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記重み付け部は、
前記重み付け部により重み付けされた前記ブレ量の大きさが、前記重み付け部により重み付けされていない前記ブレ量の大きさよりも大きくなるように重み付けをし、
前記重み付け部により重み付けされた前記ボケ量の大きさが、前記重み付け部により重み付けされていない前記ボケ量の大きさよりも小さくなるように重み付けをすることを特徴とする撮像装置。
請求項２に記載の撮像装置であって、
前記評価部は、前記重み付け部により重み付けされた前記ブレ量又は前記ボケ量の大きさが大きいほど画像が劣化していると評価することを特徴とする撮像装置。
請求項１〜３のいずれかに記載の撮像装置であって、
前記第１演算部は、所定の画素数からなるブロック化された画像をずらしながら重なり合っている領域の画素同士の積の結果を加算し、これを領域の面積で除算することで得られる自己相関値を演算することで、前記複数の画像情報のそれぞれに対応する複数の点像広がり関数を演算することを特徴とする撮像装置。
請求項４に記載の撮像装置であって、
前記第１演算部は、前記自己相関値を、下記式４に示す自己相関関数値Ｒ_ｆｆを演算することで算出する撮像装置。

（上記式４において、Ｂは所定の画素数からなるブロック化された画像であり、ａ，ｂはそれぞれＸ方向およびＹ方向の画素間距離であり、Ｎは自己相関を演算する領域のＸ方向の長さであり、Ｍは自己相関を演算する領域のＹ方向の長さである。）
請求項１〜５のいずれかに記載の撮像装置であって、
前記第１演算部は、前記複数の画像のそれぞれの焦点検出領域内における点像広がり関数を演算することを特徴とする撮像装置。
請求項１〜６のいずれかに記載の撮像装置であって、
コントラストの評価値を用いてフォーカスレンズの駆動を制御するフォーカス制御部をさらに有し、
前記撮像部は、前記フォーカス制御部による前記フォーカスレンズの駆動後に連写撮影を開始することを特徴とする撮像装置。