JP4524717B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特にフォーカスブラケット撮影により全焦点画像又はぼけ強調画像を得ることができる画像処理装置、撮像装置、画像処理方法及びプログラムに関する。

レンズのフォーカス位置を変化させながら連続して被写体像を撮影するフォーカスブラケット撮影により取得された複数枚の画像（以下、フォーカスブラケット画像という）を用いて全焦点画像を得る技術として、特許文献１には、フォーカスブラケット画像に対して、微分フィルタを用いて各画素毎にコントラスト判断し（図１７のＳＡ〜ＳＡ２参照）、所定コントラスト以上の画素が「対」になっている間の領域をコントラストの高い合焦領域とし（図１７のＳＡ３〜ＳＥ参照）、各画像から合焦領域の画素のみを合成してボケのない合成画像を生成する技術が開示されている。

また、フォーカスブラケット画像を用いて、画像内のどの被写体も合焦している画像（全焦点画像）を得るための全焦点処理や、主要被写体は合焦し、それ以外の被写体は実際の被写界深度以上にぼけた画像（ぼけ強調画像）を得るためのぼけ強調処理を行う方法として、微分フィルタ等により各画像毎及び各画素毎に算出された鮮鋭度を用いてフォーカスブラケット画像のうちのどの画像により合焦しているかを各画素毎に判断し、この結果に基づいて全焦点処理のための合成重み係数算出やぼけ強調処理のためのぼけ量算出を行う方法が用いられている。

特開平６−３１１４１１号公報

しかしながら、特許文献１に記載された発明においては、所定コントラスト以上の画素が「対」になっている間の領域を合焦領域としているため、安定性に欠けるという問題がある。すなわち、ノイズが入ること等により本来「対」となる信号が検出される画素以外の画素で信号が検出される等の誤判断が生じると、コントラストの高い領域が合焦領域と判断されないという問題がある。

更に、特許文献１に記載された発明においては、合焦領域と非合焦領域の境目において、画素値の変化が急峻であるため、階調のつながりが不連続となり、不自然な合成画像になってしまうという問題がある。

また、微分フィルタ等により各画像毎及び各画素毎に算出された鮮鋭度を用いてフォーカスブラケット画像のうちのどの画像により合焦しているかを各画素毎に判断し、この結果に基づいて全焦点処理のための合成重み係数算出やぼけ強調処理のためのぼけ量算出を行う方法においては、単純に各画素毎の鮮鋭度から合焦判断結果を得ているため、合焦判断結果が空間的に不連続な値になりやすく、かつ所望の結果が得られない場合が多いという問題がある。

図１８は、被写体のあるエッジに注目した場合、フォーカスブラケット画像のうちそのエッジに合焦している画像１及び合焦していない画像２の画素値の変化を示すグラフと、画像１、画像２の各画素に対して［１，−２，１］の微分フィルタを適用し、その絶対値を鮮鋭度として算出した結果と、その画素において鮮鋭度の大きい画像の番号を合焦と判断される画像と判断した結果（距離画像）を示す。

画像１は、エッジの変化点において画素値が急峻に変化するため、鮮鋭度が「８」という高い数値となり、エッジの変化点以外では画素値に変化が無いため、鮮鋭度は「０」となる。それに対し、画像２はエッジの変化点近傍において画素値はなだらかに変化するため、画素の鮮鋭度は「１」となるが、エッジの変化点では画素値の変化率が一定であるため、鮮鋭度は「０」となる。

確かに、エッジ変化点付近（前後１画素）では、画像１の鮮鋭度が画像２の鮮鋭度より大きいため、画像１に合焦していると判断される。しかしながら、その周辺の領域では、実際には画像１にピントがあっていると考えられるが、画像２の鮮鋭度が画像１の鮮鋭度より大きくなっているため、実際とは逆に、画像２にピントが合っていると誤判断が生じやすいことがわかる。これは、画像１では、鮮鋭度の算出される画素が急峻なエッジの変化点部分のみに限定されるのに対し、画像２では、ぼけたエッジが空間的に広がることにより、鮮鋭度の算出される領域が広がってしまうためである。

エッジ変化点の周辺の領域、すなわち画像１、画像２共に画素値が変化しない領域では、共に鮮鋭度の値は「０」と等しくなる。しかしながら、撮像素子等のわずかなノイズにより鮮鋭度が「０」以外となった場合には、鮮鋭度が「０」以外となった画像にピントがあっていると誤判断される恐れがある。すなわち、ノイズの影響により、どちらの画像が合焦と判断されるかが分からない状況となってしまう。

以上のように、各画素の鮮鋭度を判断基準として合焦判断を行う場合には、空間的な処理の不連続さや誤判断を引き起こしてしまうために、全焦点画像やぼけ強調画像は不自然な画像となってしまう可能性が高いという問題がある。

さらに、合焦の判断には、その画素において鮮鋭度の大きい画像の番号しか使用しないため、画像１のエッジ変化点付近（前後１画素）における「８」という大きな鮮鋭度の値を反映することができない。

本発明はこのような事情に鑑みてなされたもので、コントラストの高い領域を安定して合焦領域と判定し、階調のつながりが滑らかな合成画像を得ることができる画像処理装置、撮像装置、距離画像生成方法及びプログラムを提供することを目的とする。

前記目的を達成するために、請求項１に記載の画像処理装置は、レンズの焦点位置を変化させながら連続して撮影された複数枚の画像を取得する画像取得手段と、前記画像取得手段により取得された複数枚の画像の各画素に対して鮮鋭度を算出する鮮鋭度算出手段と、前記鮮鋭度算出手段により算出された複数枚の画像の同一位置の画素のうちの鮮鋭度が最大となる画像が、前記複数枚の画像のいずれの画像に属するかを示す第１の参照値を、前記画像の各画素毎に算出する第１の参照値算出手段と、前記第１の参照値算出手段により算出された前記画像の各画素毎の第１の参照値から第２の参照値を算出する第２の参照値算出手段であって、ある画素の第１の参照値をその周囲の画素の第１の参照値に基づいて空間平滑化して前記第２の参照値を算出する第２の参照値算出手段と、前記画像取得手段により取得された複数枚の画像を前記第２の参照値算出手段により算出された第２の参照値に基づいて画像処理し、画像の全ての部分に焦点の合った全焦点画像を生成する、又は前記画像取得手段により取得された複数枚の画像のいずれか１枚を前記第２の参照値算出手段により算出された第２の参照値に基づいて画像処理し、主要被写体以外の部分をぼかしたぼけ強調画像を生成する画像処理手段と、を備えたことを特徴とする。

請求項１に記載の画像処理装置によれば、レンズの焦点位置を変化させながら複数枚の画像を取得し、取得した複数枚の画像の各画素に対して鮮鋭度を算出する。鮮鋭度が最大となる画像が、複数枚の画像のいずれの画像に属するかを示す第１の参照値を各画素に算出し、算出された第１の参照値をその周囲の画素の第１の参照値に基づいて空間平滑化して第２の参照値を算出し、算出された第２の参照値に基づいて、複数枚の画像のうちの少なくとも１枚を画像処理する。これにより、合焦分布を示す第２の参照値のつながりを滑らかにすることができる、すなわち階調方向の滑らかさや空間方向の滑らかさを得ることができる。また、第２の参照値に基づいて複数枚の画像を画像処理して全焦点画像を生成するか、算出された第２の参照値に基づいて複数枚の画像のいずれか１枚を画像処理してぼけ強調画像を生成する。これにより、自然な全焦点画像又は自然なぼけ強調画像を得ることができる。ここで、「画像の全ての部分に焦点の合った全焦点画像」とは、取得した複数枚の画像のうちの少なくとも１枚において焦点の合っている部分が合成された全焦点画像という意味である。すなわち、取得した複数枚の画像の全てにおいて焦点が合っていない部分について焦点を合わせることが必須なわけではない。言い換えると、画像内のある部分Ａが、複数枚の画像全てにおいて焦点が合っていない場合には、全焦点画像の部分Ａも焦点があっていないままである。

請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記第２の参照値算出手段は、前記第１の参照値算出手段により算出された前記画像の各画素毎の第１の参照値を、各画素位置に対応して配置してなるマップを生成するマップ生成手段を含み、前記マップ生成手段により生成されたマップを空間平滑化することにより第２の参照値を算出することを特徴とする。

請求項２に記載の画像処理装置によれば、画像の各画素毎の第１の参照値を各画素位置に対応して配置することによりマップを生成し、生成されたマップを空間平滑化することにより第２の参照値を算出する。これにより、第２の参照値の階調方向の滑らかさや空間方向の滑らかさを得ることができる。

請求項３に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記第１の参照値は、前記鮮鋭度が最大となる画素が前記複数枚の画像のいずれの画像に属するかを示す第１の情報と、前記鮮鋭度の大きさを示す第２の情報とからなることを特徴とすることを特徴とする。

請求項３に記載の画像処理装置によれば、第１の参照値は、鮮鋭度が最大となる画素が複数枚の画像のいずれの画像に属するかを示す第１の情報と、鮮鋭度の大きさを示す第２の情報とで構成される。これにより、鮮鋭度の大きさを反映して合焦の判断をすることができる。

請求項４に記載の画像処理装置は、請求項３に記載の画像処理装置において、前記第１の参照値は、前記第１の情報を偏角とし、前記第２の情報を動径とする２次元ベクトルで表されることを特徴とする。

請求項４に記載の画像処理装置によれば、鮮鋭度が最大となる画素が複数枚の画像のいずれの画像に属するかを示す第１の情報を偏角とし、鮮鋭度の大きさを示す第２の情報を動径とする２次元ベクトルを第１の参照値とする。これにより、鮮鋭度の大きさを反映して合焦の判断をすることができる。

請求項５に記載の画像処理装置は、請求項４に記載の画像処理装置において、前記第２の参照値算出手段は、前記画像の各画素毎の２次元ベクトルで表された第１の参照値をＸ成分とＹ成分とに分離し、前記Ｘ成分とＹ成分とをそれぞれ各画素位置に対応して配置してなるＸ成分及びＹ成分のマップを生成するマップ生成手段を含み、前記マップ生成手段により生成されたＸ成分及びＹ成分のマップをそれぞれ空間平滑化し、これらの空間平滑後のＸ成分とＹ成分から偏角を求め、この偏角を前記第２の参照値とすることを特徴とする。

請求項５に記載の画像処理装置によれば、２次元ベクトルで表された第１の参照値をＸ成分とＹ成分とに分離し、分離したＸ成分とＹ成分とをそれぞれ各画素位置に対応して配置することによりＸ成分及びＹ成分のマップを生成する。Ｘ成分及びＹ成分のマップそれぞれを平滑化した空間平滑後のＸ成分とＹ成分から２次元ベクトルの偏角を求め、この偏角を第２の参照値とする。これにより、鮮鋭度が最大となる画素が複数枚の画像のいずれの画像に属するかを示す情報のみでなく、鮮鋭度の大きさを加味した空間平滑化を行うことができる。したがって、より正確な合焦分布を求めることができる。

請求項６に記載の画像処理装置は、請求項２又は５に記載の画像処理装置において、前記マップ生成手段は、前記第１の参照値を所定範囲で加重平均し、前記マップよりも少ないサンプル数の低解像度のマップを生成することを特徴とする。

請求項６に記載の画像処理装置によれば、第１の参照値を所定範囲で加重平均することでサンプル数の少ない低解像度のマップを生成し、生成された低解像度のマップを空間平滑化して第２の参照値を算出する。これにより、処理の高速化や省メモリ化を図ることができる。

請求項７に記載の画像処理装置は、請求項１から６のいずれかに記載の画像処理装置において、前記画像処理手段は、前記第２の参照値算出手段により算出された第２の参照値に基づいて、前記複数枚の画像の同一位置の画素毎の加重平均係数を決定する手段と、前記決定された加重平均係数に基づいて前記複数枚の画像の同一位置の画素を加重平均して全焦点画像を生成する手段と、を有することを特徴とする。

請求項７に記載の画像処理装置によれば、第２の参照値に基づいて、複数枚の画像の同一位置の画素毎の加重平均係数を決定し、決定された加重平均係数に基づいて複数枚の画像を加重平均して全焦点画像を生成する。これにより、より正確で滑らかな全焦点画像を生成することができる。

請求項８に記載の画像処理装置は、請求項１から７のいずれかに記載の画像処理装置において、前記画像処理手段は、前記第２の参照値算出手段により算出された第２の参照値に基づいて、前記複数枚の画像のうちの基準画像の各画素毎のぼかしの程度を調整するぼかしフィルタのフィルタ係数を決定する手段と、前記決定されたフィルタ係数をもつぼかしフィルタにより前記基準画像の対応する画素に対してフィルタ処理をすることによりぼけ強調画像を生成する手段と、を有することを特徴とする。

請求項８に記載の画像処理装置によれば、第２の参照値に基づいて、複数枚の画像のうちの基準画像の各画素毎のぼかしの程度を調整するフィルタ係数を決定し、決定されたフィルタ係数をもつぼかしフィルタにより基準画像の対応する画素に対してフィルタ処理をすることにより、ぼけ強調画像を生成する。これにより、主要被写体だけに合焦し、その他の領域は適切なぼかし量でぼかされたぼけ強調画像を得ることができる。

請求項９に記載の撮像装置は、請求項１から８のいずれかに記載の画像処理装置と、被写体像を撮像する撮像素子と、前記撮像素子に被写体像を結像させる撮影光学系とで構成された撮像手段と、前記複数枚の画像を前記撮像素子に結像させるように前記撮像手段を制御する制御手段と、を備えたことを特徴とする。

請求項１０に記載の画像処理方法は、レンズの焦点位置を変化させながら連続して撮影
された複数枚の画像を取得するステップと、前記取得された複数枚の画像の各画素に対し
て鮮鋭度を算出するステップと、前記算出された複数枚の画像の同一位置の画素のうちの
鮮鋭度が最大となる画素が、前記複数枚の画像のいずれの画像に属するかを示す第１の参
照値を、前記画像の各画素毎に算出するステップと、ある画素の第１の参照値をその周囲
の画素の第１の参照値に基づいて空間平滑化することによって、前記各画素毎の第１の参
照値から前記第２の参照値を算出するステップと、前記第２の参照値に基づいて前記複数
の画像のうち少なくとも１つを処理する画像処理ステップと、を含むことを特徴とする。

請求項１１に記載のプログラムは、請求項１０に記載の画像処理方法を演算装置に実行させる。

本発明によれば、コントラストの高い領域を安定して合焦領域と判定し、階調のつながりが滑らかな合成画像を得ることができる。

本発明が適用されたデジタルカメラ１の電気的構成を示すブロック図である。 上記デジタルカメラ１の全焦点画像／ぼけ強調画像撮影モードにおける全体の処理の流れを示すフローチャートである。 参照値算出処理（ステップＳ２０）における全体の処理の流れを示すフローチャートである。 鮮鋭度の算出に用いるラプラシアンフィルタの一例である。 各画素毎に算出された第１の参照値を各画素位置に対応して配置することにより、第１の参照値の空間的な分布を示す１画面分のマップの一例である。 空間平滑化に用いる平滑化フィルタの一例である。 空間平滑化後の参照値（第２の参照値）のマップの一例である。 全焦点処理（ステップＳ２２）を行う処理の流れを示すフローチャートである。 ぼけ強調処理（ステップＳ２２）を行う処理の流れを示すフローチャートである。 ぼけ強調処理に用いるガウシアンフィルタの一例である。 第２の参照値のマップを隣接する２×２の４画素で平均化した低解像度のマップの一例である。 本発明が適用された第２の実施の形態のデジタルカメラ２内部の概略構成を示すブロック図である。 上記デジタルカメラ２の全焦点画像／ぼけ強調画像撮影モードにおける全体の処理の流れを示すフローチャートである。 参照値を決定する処理（ステップＳ２６）の流れを示すフローチャートである。 フォーカスブラケット画像が５枚の場合における鮮鋭度ベクトルの単位ベクトルについて示す図である。 鮮鋭度ベクトルの空間平滑化概念を示す図である。 従来の合焦判定領域を求める方法を説明する図である。 従来の合焦判定方法を説明する図である。

以下、添付図面に従って本発明が適用された画像処理装置、撮像装置、画像処理方法及びプログラムを実施するための最良の形態について詳細に説明する。

＜第１の実施の形態＞
図１は第１の実施の形態のデジタルカメラ１内部の概略構成を示すブロック図である。

同図に示すように、デジタルカメラ１は、主として、ＣＰＵ１１０、操作部（シャッターボタン、電源／モードスイッチ、モードダイヤル、ズームボタン、十字ボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン、ＢＡＣＫボタン等）１１２、絞り駆動部１１４、フォーカスレンズ駆動部１１６、撮像素子駆動部１１８、レンズユニット１２０、光学ローパスフィルタ（ＬＰＦ）１２２、撮像素子１２４、アナログ信号処理部（ＣＤＳ／ＡＭＰ）１２６、Ａ／Ｄ変換器１２８、メモリ制御部１３０、メインメモリ１３２、デジタル信号処理部１３４、圧縮伸張処理部１３６、積算部１３８、メモリ制御部１４０、記録媒体１４２、表示制御部１４４、表示部１４６、発光部１５０、受光部１５２、参照値算出部１６０、参照値平滑化部１６２、全焦点処理部１６４、ぼけ強調処理部１６６で構成される。

ＣＰＵ１１０は、操作部１１２から入力される操作信号に基づき所定の制御プログラムに従ってデジタルカメラ１の全体を統括制御する。

レンズユニット１２０は、主として、絞り１２０ａと、フォーカスレンズ１２０ｂとで構成される。絞り１２０ａは、モータとモータドライバとからなる絞り駆動部１１４によって駆動される。この絞り駆動部１１４は、ＣＰＵ１１０から出力される絞り値データに基づいて絞り径の調整を行う。フォーカスレンズ１２０ｂは、モータとモータドライバとからなるフォーカスレンズ駆動部１１６によって光軸方向に移動される。フォーカスレンズ駆動部１１６はＣＰＵ１１０から出力される駆動量データに基づいて各々のレンズの移動を制御する。

撮像素子１２４は、たとえば、所定の配列構造（ベイヤー、Ｇストライプなど）で配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを介して多数のフォトダイオード（受光素子）が二次元的に配置された受光面を有するカラーＣＣＤで構成される。レンズユニット１２０及び光学ＬＰＦ１２２を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。

撮像素子駆動部１１８は、ＣＰＵ１１０からの指令に応じて、この撮像素子１２４を駆動するためのタイミング信号を出力する。

アナログ信号処理部１２６は、撮像素子１２４から出力された画像信号に対して、画素ごとのＲ、Ｇ、Ｂ信号をサンプリングホールド（相関二重サンプリング処理）するとともに、増幅してＡ／Ｄ変換器１２８に出力する。

Ａ／Ｄ変換器１２８は、アナログ信号処理部１２６から出力されたアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して出力する。

メモリ制御部１３０は、Ａ／Ｄ変換器１２８から出力されたデジタルのＲ、Ｇ、Ｂ信号をメインメモリ１３２に出力する。メインメモリ１３２に記憶された撮像信号は、データバス１０４を介してデジタル信号処理部１３４に送られる。

デジタル信号処理部１３４は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

圧縮伸張処理部１３６は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。圧縮伸張処理部１３６で生成されたデータは、メモリ制御部１３０を介してメインメモリ１３２に記憶される。

積算部１３８は、ＣＰＵ１１０からの指令に従い、ＡＦエリア（たとえば、画面中央部）内の信号を切り出し、ＡＦエリア内の絶対値データを積算する。また、積算部１３８は、ＣＰＵ１１０からの指令に従い、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。

メモリ制御部１４０は、ＣＰＵ１１０からの指令に従い、メディアスロットに装填された記録媒体１４２に対してデータの読み／書きを制御する。

表示制御部１４４は、ＣＰＵ１１０からの指令に従い、表示部１４６への表示を制御する。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号を表示部１４６に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換して表示部１４６に出力する。

ストロボ発光部１５０は、たとえばキセノン管を光源として構成されており、その発光量を調整可能に形成されている。なお、キセノン管の他、高輝度のＬＥＤを光源としたフラッシュを用いることもできる。ＣＰＵ１１０は、受光部１５２での受光量が所定量に達すると、ストロボ発光部１５０への通電を遮断し、ストロボ発光部１５０の発光を停止させる。

参照値算出部１６０は、フォーカスブラケット撮影により撮影された複数枚の画像の同一位置の画素の鮮鋭度のうち、どの画像の鮮鋭度が最大であるかを示す第１の参照値を各画素毎に算出する。また、参照値算出部１６０は、各画素毎に算出された第１の参照値を各画素位置に対応して配置することにより、第１の参照値の空間的な分布を示すマップを作成する。参照値算出部１６０については、後に詳述する。

参照値平滑化部１６２は、参照値算出部１６０において作成されたマップに対して、平滑化フィルタをかける空間平滑化処理を行うことにより、第２の参照値を算出する。参照値平滑化部１６２については、後に詳述する。

全焦点処理部１６４は、参照値平滑化部１６２により算出された第２の参照値に基づいて、フォーカスブラケット画像から画像内の全ての被写体が合焦している画像（全焦点画像）を生成する全焦点処理を行う。全焦点処理部１６４については、後に詳述する。

ぼけ強調処理部１６６は、主要被写体のみが合焦し、その他の被写体は実際の被写界深度以上にぼけた画像（ぼけ強調画像）を生成するぼけ強調処理を行う。ぼけ強調処理部１６６については、後に詳述する。

以上のように構成された本実施の形態のデジタルカメラ１の作用について説明する。まず、通常の撮影処理について説明する。

電源／モードスイッチを撮影位置に合わせることで、デジタルカメラ１は撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズユニット１２０が繰り出され、撮影スタンバイ状態になる。

この撮影モードの下、レンズユニット１２０を通過した被写体光は、撮像素子１２４の受光面に結像され、入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、撮像素子駆動部１１８から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ信号処理部（ＣＤＳ／ＡＭＰ）１２６に加えられる。

アナログ信号処理部１２６から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１２８でデジタルのＲ、Ｇ、Ｂ信号に変換され、メモリ制御部１３０に加えられる。メモリ制御部１３０は、Ａ／Ｄ変換器１２８から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１３２に出力する。

撮影画像を表示部１４６に出力する場合は、メモリ制御部１３０からメモリ１３２に出力された画像信号よりデジタル信号処理部１３４で輝度／色差信号が生成され、その信号が表示制御部１４４に送られる。表示制御部１４４は、入力された輝度／色差信号を表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、表示部１４６に出力する。これにより、撮像素子１２４で撮像された画像が表示部１４６に表示される。

撮像素子１２４から画像信号を定期的に取り込み、その画像信号から生成される輝度／色差信号によってメインメモリ１３２内の画像データを定期的に書き換え、表示部１４６に出力することにより、撮像素子１２４で撮像される画像がリアルタイムに表示される。ユーザは、この表示部１４６にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。

撮影はシャッターボタンの押下によって行なわれる。シャッターボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ１１０に入力される。

まず、メモリ制御部１３０を介して撮像素子１２４から取り込まれた画像信号が積算部１３８に入力される。ＣＰＵ１１０は、積算部１３８で算出されたＡＦエリア内の絶対値データに基づいて、フォーカスレンズ駆動部１１６を制御してフォーカスレンズ１２０ｂを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズ群が移動するように、フォーカスレンズ駆動部１１６を制御する。

また、ＣＰＵ１１０は、積算部１３８で算出されたＲ、Ｇ、Ｂの画像信号の積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、求めた撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタースピードを決定し、これに従い撮像素子１２４の電子シャッターと絞り駆動部１１４を制御して適正な露光量を得る。同時に、ＣＰＵ１１０は、検出された被写体輝度より、ストロボの発光が必要かどうかを判断する。

ＣＰＵ１１０は、積算部１３８で算出されたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス補正回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。

以上のように、シャッターボタンの半押しによって、ＡＥ処理、ＡＦ処理及びＡＷＢ処理が行なわれる。この間、ユーザは、必要に応じてズームボタンを操作し、レンズユニット１２０をズーミングさせて画角を調整し、ＣＰＵ１１０は、ＡＥ／ＡＦ処理及びＡＷＢ処理を継続して行う。

この後、シャッターボタンが全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力され、ＣＰＵ１１０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で撮像素子１２４を露光する。この際、必要に応じてＣＰＵ１１０は、ストロボ発光部１５０を発光させる。

撮像素子１２４から出力された画像信号は、アナログ信号処理部１２６、Ａ／Ｄ変換器１２８、メモリ制御部１３０を介してメモリ１３２に取り込まれ、デジタル信号処理部１３４において輝度／色差信号に変換されたのち、メモリ１３２に格納される。

メモリ１３２に格納された画像データは、圧縮伸張処理部１３６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１３２に格納され、所定の画像記録フォーマット（たとえばＥｘｉｆ形式）の画像ファイルとされたのち、メモリ制御部１４０を介して記録媒体１４２に記録される。

次に、全焦点画像又はぼけ強調画像の撮影処理について説明する。図２は、全焦点画像又はぼけ強調画像を撮影するための全焦点画像／ぼけ強調画像撮影モードにおける全体の処理の流れを示すフローチャートである。全焦点画像／ぼけ強調画像撮影モードは、電源／モードスイッチにより撮影モードに設定された状態において、操作部１１２のモードダイヤルを操作することにより設定される。

この全焦点画像／ぼけ強調画像撮影モード下で操作部１１２のシャッターボタンが半押しされることによりＣＰＵ１１０にＳ１ＯＮ信号が入力されると、ＣＰＵ１１０は、フォーカスブラケット撮影に先立って、自動焦点制御（ＡＦ）を行う（ステップＳ１０）。

すなわち、ＣＰＵ１１０は、フォーカスレンズ駆動部１１６を制御してフォーカスレンズ１２０ｂを移動させながら、複数のＡＦ検出ポイントで撮像素子駆動部１１８を介して撮像素子１２４で光学像を撮像する。積算部１３８は、その出力信号に基づいてＡＦ評価値（例えばバンドバスフィルタの出力値）を算出し、ＣＰＵ１１０は、ＡＦ評価値が極大となるレンズ位置を合焦位置として決定する。

そして、ＣＰＵ１１０は、フォーカスブラケット撮影の際に設定される焦点位置を、ステップＳ１０において算出された合焦位置を含むように複数位置設定する（ステップＳ１２）。後に詳述するステップＳ２２において全焦点処理を行う場合には、画像内の全ての被写体について、いずれか１枚の画像において合焦するように焦点位置を設定する。この際、撮影時の絞りや焦点距離等に応じて焦点位置を変化させるとより効果的である。

次に、ステップＳ１２により決定された焦点位置でフォーカスブラケット撮影を行う（ステップＳ１４〜Ｓ１８）。まず、ＣＰＵ１１０は、フォーカスレンズ駆動部１１６を介して、ステップＳ１２で決定された複数の焦点位置のうちの所望の焦点位置にフォーカスレンズ１２０ｂを移動し（ステップＳ１４）、撮像素子駆動部１１８を介して撮像素子１２４を制御し、被写体像を撮像する（ステップＳ１６）。ステップＳ１６で撮像された画像は、メモリ制御部１３０を介して一旦メインメモリ１３２に蓄積される。

そして、ＣＰＵ１１０は、ステップＳ１２で決定された複数の焦点位置全ての位置で撮影が行われたかどうか、すなわちステップＳ１２で決定された複数の焦点位置のうちの全ての焦点位置でステップＳ１４、Ｓ１６の処理が行われたかどうかを判断する（ステップＳ１８）。

ステップＳ１２で決定された複数の焦点位置のうちの全ての焦点位置でステップＳ１４、Ｓ１６の処理が行われていない場合（ステップＳ１８でＮＯ）には、異なる焦点位置にフォーカスレンズ１２０ｂを移動し（ステップＳ１４）、その焦点位置における被写体像を撮像する（ステップＳ１６）。

ステップＳ１２で決定された複数の焦点位置のうちの全ての焦点位置において、ステップＳ１４、Ｓ１６の処理が行われた場合（ステップＳ１８でＹＥＳ）には、ＣＰＵ１１０は、フォーカスブラケット撮影を終了する。フォーカスブラケット撮影で得られた画像（以下、フォーカスブラケット画像という）には、フォーカスブラケット画像を焦点位置に基づいて並べた場合に何番目に位置する画像であるかを示す画像番号がつけられる。例えば、焦点位置が最もＮＥＡＲ（近い）側の画像の画像番号を０（０番目の画像）とし、最もＦＡＲ（遠い）側の画像の画像番号はＮ−１（Ｎ−１番目の画像）とする。ここで、Ｎはフォーカスブラケット撮影で得られた画像の枚数であり、例えばＮが５であれば、最もＦＡＲ側の画像の画像番号は４となる。

フォーカスブラケット撮影（ステップＳ１４〜Ｓ１８）が終了したら、ＣＰＵ１１０は、フォーカスブラケット画像より参照値を決定する（ステップＳ２０）。図３は、第１の参照値を算出する処理（ステップＳ２０）の流れを示すフローチャートである。

まず、ＣＰＵ１１０は、メインメモリ１３２に蓄積された画像を参照値算出部１６０に入力し、参照値算出部１６０は、入力された画像のなかから対象画素を選択する（ステップＳ３０）。例えば、参照値算出部１６０は、画像の左上を原点とし、横方向をｘ方向、縦方向をｙ方向とするｘｙ座標を画像上に設定し、このｘｙ座標を用いて対象画素の位置を指定することにより、対象画素を選択する。

参照値算出部１６０は、フォーカスブラケット画像のうちｉ番目の画像（以下、画像ｉという）を選択する（ステップＳ３２）。フォーカスブラケット画像が５枚の場合には、ｉは０〜４の値を取る。

ステップＳ３２において選択された画像ｉについて、ステップＳ３０で選択された対象画素の鮮鋭度を算出する（ステップＳ３４）。鮮鋭度の算出は、図４に示すラプラシアンフィルタなどのフィルタを用いて行われる。ラプラシアンフィルタの出力値は正負の値を持つため、対象画素にラプラシアンフィルタを適用して求められた結果を絶対値化したものを鮮鋭度とする。鮮鋭度が高い場合には、その画素にある被写体は合焦している可能性が高いことを示す。なお、ラプラシアンフィルタはこの例に限定されるものではなく、またラプラシアンフィルタ以外の鮮鋭度算出フィルタを用いてもよい。

参照値算出部１６０は、入力されたフォーカスブラケット画像全てに対してステップＳ３４に示す鮮鋭度算出処理が行われたかどうかを判断する（ステップＳ３６）。ステップＳ３４に示す鮮鋭度算出処理が入力された全フォーカスブラケット画像に対して行われていない場合（ステップＳ３６でＮＯ）には、参照値算出部１６０は、フォーカスブラケット画像のうちの異なる画像を選択し（ステップＳ３２）、対象画素の鮮鋭度を算出する（ステップＳ３４）。

ステップＳ３４に示す鮮鋭度算出処理が入力された全フォーカスブラケット画像に対して行われた場合（ステップＳ３６でＹＥＳ）には、ステップＳ３４で算出された鮮鋭度のうち、鮮鋭度が最大となる画像の画像番号を、その対象画素における第１の参照値として出力する（ステップＳ３８）。例えば、フォーカスブラケット画像の枚数が５枚の場合には、第１の参照値は、通常０〜４の５階調の値を取る。ただし、ここでは後段（ステップＳ４２、Ｓ４４）との比較の便宜上、０〜４の５階調の値を２５５／４倍した上で整数化し、０〜２５５の値となるように規格化した値を第１の参照値とする。ただし、階調数はあくまで（０，６４，１２８，１９１，２５５）の５階調である。

参照値算出部１６０は、以上の処理が全画素に対して実施されたか、すなわち全画素について第１の参照値が出力されたかどうかを判断する（ステップＳ４０）。全画素について第１の参照値が出力されていない場合（ステップＳ４０でＮＯ）には、参照値算出部１６０は、異なる対象画素を選択し（ステップＳ３０）、その対象画素における第１の参照値を出力する（ステップＳ３２〜Ｓ３８）。

全画素について第１の参照値が出力された場合（ステップＳ４０でＹＥＳ）には、その結果として、参照値算出部１６０は、各画素毎に算出された第１の参照値を各画素位置に対応して配置することにより、第１の参照値の空間的な分布を示す１画面分のマップ（図５参照）を作成する。ＣＰＵ１１０は、参照値算出部１６０で作成されたマップを、メモリ制御部１３０を介して一旦メインメモリ１３２に記憶する。そして、ＣＰＵ１１０は、メインメモリ１３２に記憶したマップを参照値平滑化部１６２に入力し、参照値平滑化部１６２は、このマップに対して空間平滑化処理を行い、空間的に平滑化されたマップを得る（ステップＳ４２）。

空間平滑化処理は、例えば図６に示すような平滑化フィルタを図５に示すマップにかけることにより行われる。図６は、平滑化フィルタの分子のみを示すものであり、その総和は１６であるので、図６に示す平滑化フィルタの係数と図５に示すマップの対応する値との積和を取り、その積和結果を１６で除算することにより、図７に示すような空間的に平滑化されたマップが得られる。

図５と図７を比較すると、図７に示す平滑化後の参照値は、図５に示す第１の参照値が階調的に、かつ空間的に平滑化されていることが分かる。すなわち、平滑化により、第２の参照値は、５階調よりも多くの階調を保持することとなる。これにより、参照値の階調方向の滑らかさを得ることができる。また、平滑化によりノイズによる微小な変動も低減されるため、空間方向の滑らかさも得ることができる。

参照値平滑化部１６２は、この平滑化後の参照値を第２の参照値とし、第２の参照値のマップ、すなわち合焦分布を示す距離画像をＣＰＵ１１０に出力する（ステップＳ４４）。

これにより、フォーカスブラケット画像より参照値を決定する処理（ステップＳ２０）を終了する。ＣＰＵ１１０は、参照値算出部１６０で求められた距離画像を、メモリ制御部１３０を介して一旦メインメモリ１３２に記憶する。

次に、メインメモリ１３２に記憶された第２の参照値に基づいて、全焦点処理部１６４は全焦点処理を行い、ぼけ強調処理部１６６はぼけ強調処理を行う（ステップＳ２２）。

図８は、全焦点処理部１６４が全焦点処理を行う処理の流れを示すフローチャートである。

まず、全焦点処理部１６４は、所望の画素を選択し（ステップＳ５０）、選択された画素についての加重係数、すなわちどの画像をどの割合で加重平均するかを決定する（ステップＳ５２）。すなわち、全焦点処理部１６４は、メインメモリ１３２に記憶されたマップを参照し、ステップＳ５０で選択された画素の第２の参照値を取得し、取得された第２の参照値を４／２５５倍して元の０〜４の値に戻し、この値を加重係数とする。

そして、ステップＳ５２で決定された加重係数に基づいて、ステップＳ５２で選択された画素について、フォーカスブラケット画像を加重平均する（ステップＳ５４）。例えば、ステップＳ５２で決定された加重係数が１．５である場合には、画像１と画像２とを０．５対０．５の割合で加重平均する。また、ステップＳ５２で決定された加重係数が２．８である場合には、画像２と画像３とを０．２対０．８の割合で加重平均する。

全焦点処理部１６４は、全ての画素に対してフォーカスブラケット画像の加重平均が行われたかどうかを判断する（ステップＳ５６）。フォーカスブラケット画像の加重平均が全ての画素に対して行われていない場合（ステップＳ５６でＮＯ）には、全焦点処理部１６４は、別の画素を選択し（ステップＳ５０）、加重係数を決定し（ステップＳ５２）、フォーカスブラケット画像の加重平均を行う（ステップＳ５４）。

フォーカスブラケット画像の加重平均が全ての画素に対して行われた場合（ステップＳ５６でＹＥＳ）には、全焦点処理を終了する。これにより、画像の全ての部分に焦点の合った全焦点画像が生成される。ここで、「画像の全ての部分に焦点の合った全焦点画像」とは、取得した複数枚の画像のうちの少なくとも１枚において焦点の合っている部分が合成された全焦点画像という意味である。すなわち、取得した複数枚の画像の全てにおいて焦点が合っていない部分について焦点を合わせることが必須なわけではない。言い換えると、画像内のある部分Ａが、複数枚の画像全てにおいて焦点が合っていない場合には、全焦点画像の部分Ａも焦点があっていないままである。

図９は、ぼけ強調処理部１６６がぼけ強調処理を行う処理の流れを示すフローチャートである。

まず、ぼけ強調処理部１６６は、所望の画素を選択し（ステップＳ６０）、選択された画素についてのぼかし用フィルタ係数を決定する（ステップＳ６２）。すなわち、ぼけ強調処理部１６６は、メインメモリ１３２に記憶されたマップを参照し、ステップＳ６０で選択された画素の第２の参照値を取得し、取得された第２の参照値を４／２５５倍して元の０〜４の値に戻す。そして、この第２の参照値を元の０〜４に戻した値と、ステップＳ１６で撮影されたフォーカスブラケット画像のうちのステップＳ１０で決定した合焦位置で撮影された画像（以下、基準画像という）の画像番号との差に応じて、ぼかし用フィルタ係数σを決定する（数式１参照）。

［数１］
σ＝｜第２の参照値を元の０〜４に戻した値−基準画像の画像番号｜
例えば、フォーカスブラケット画像５枚のうち、基準画像の画像番号が２であり、ステップＳ６２で決定されたぼかし用フィルタ係数が１．４である場合には、σ＝０．６の特性を持つガウシアンフィルタをぼかし用フィルタの係数とする。基準画像の画像番号が２であり、ステップＳ６２で決定されたぼかし用フィルタ係数が３．５である場合には、σ＝１．５の特性を持つガウシアンフィルタをぼかし用フィルタの係数とする。

ガウシアンフィルタは、例えば図１０に示すようなフィルタ係数を持つローパスフィルタであり、このフィルタ係数σの値が大きいほどぼけ量が大きいという特性を持つ。なお、フィルタ係数σはこの例に限定されるものではなく、実写でのぼけ量に合うように数式１を用いて算出した値を定数倍して用いてもよい。

そして、ステップＳ６２において算出されたフィルタ係数σの特性を持つガウシアンフィルタを用いて、基準画像のステップＳ６０で選択された画素に対してフィルタ処理を行う（ステップＳ６４）。これにより、第２の参照値に応じて、画像のぼけ方を画素毎に変えることができる。

ぼけ強調処理部１６６は、全ての画素に対してフィルタ処理が行われたかどうかを判断する（ステップＳ６６）。フィルタ処理が全ての画素に対して行われていない場合（ステップＳ６６でＮＯ）には、ぼけ強調処理部１６６は、別の画素を選択し（ステップＳ６０）、フィルタ係数σを決定し（ステップＳ６２）、選択された画素に対してフィルタ処理を行う（ステップＳ６４）。

フィルタ処理が全ての画素に対して行われた場合（ステップＳ６６でＹＥＳ）には、ぼけ強調処理を終了する。これにより、ぼけ強調画像が生成される。

これにより、全焦点処理又はぼけ強調処理を行うステップ（ステップＳ２２）を終了する。ＣＰＵ１１０は、ステップＳ２２で生成された全焦点画像及びぼけ強調画像を圧縮伸張処理部１３６に加え、全焦点画像及びぼけ強調画像は、圧縮伸張処理部１３６で所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１３２に格納され、所定の画像記録フォーマット（たとえばＥｘｉｆ形式）の画像ファイルとされたのち、メモリ制御部１４０を介して記録媒体１４２に記録される（ステップＳ２４）。

本実施の形態によれば、鮮鋭度が最大となる画像の画像番号を平滑化することにより、より正確でよりつながりの滑らかな合焦判定結果が得ることができる。また、平滑化することにより、ノイズの影響を緩和することができる。そのため、この平滑化後の参照値に基づいた合焦判定結果を参照することにより、より自然な全焦点処理やぼけ強調処理を行うことができる。

なお、本実施の形態では、参照値を算出するステップ（ステップＳ２０）において、各画素毎に算出された第１の参照値を各画素位置に対応して配置することにより、第１の参照値の空間的な分布を示す１画面分のマップを作成し、そのマップに対して空間平滑化処理を行った（ステップＳ４２）が、全画素分のマップを作成する必要は無く、最低でも空間平滑化フィルタのタップ数分のマップを保持すればよい。例えば、３×３のフィルタを用いて処理を行う場合には、３×３のメモリがあれば、全画素分のマップを作成することなく、空間平滑化処理を行うことができる。

また、本実施の形態では、参照値を算出するステップ（ステップＳ２０）において、フォーカスブラケット画像と同じ解像度のマップを作成した（ステップＳ４２）が、マップは必ずしも画像と同じ解像度である必要はなく、例えば図１１に示すように、隣接する２×２の４画素で平均化した低解像度のマップを用いてもよい。これにより、マップ用のメモリ空間を節約できるだけでなく、空間平滑化処理を高速に行うことができる。ただし、この場合には、全焦点処理、ぼけ強調処理（ステップＳ２２）においては、元の画像の座標に対応する参照値を低解像度マップから参照する必要がある。

また、本実施の形態では、フォーカスブラケット撮影の際の焦点位置の設定（ステップＳ１２）において、ステップＳ１０で算出された合焦位置を含むように複数位置設定するようにしたが、合焦位置を含まないようにフォーカスブラケット撮影の際の焦点位置を設定してもよい。

また、本実施の形態では、全焦点処理、ぼけ強調処理（ステップＳ２２）において全焦点処置及びぼけ強調処理を行ったが、必ずしも両方の処理を行なう必要は無く、全焦点処理又はぼけ強調処理のいずれか一方の処理のみを行なうようにしてもよい。

また、本実施の形態では、ぼけ強調処理（ステップＳ６２、Ｓ６４）において、合焦位置で撮影された画像を基準画像としたが、ユーザが任意に設定した画像を基準画像としてもよい。

なお、被写体とカメラとが非常に近接している場合には、すべての画像の全ての部分で焦点が合わないことがある。この場合には、完全に合焦していなくても、第２の参照値に基づいて複数枚の画像のうち最も合焦に近い画像を選択し、選択された部分を合成して全焦点画像を生成するようにしても良い。また、第２の参照値に基づいて最も合焦に近くなるようにフォーカスブラケット画像を加重平均して全焦点画像を生成するようにしても良い。

＜第２の実施の形態＞
第１の実施の形態は、鮮鋭度が最大となる画像番号を第１の参照値とするため、鮮鋭度が最大でさえあれば、その大きさに関わらず同じ結果が得られる。例えば、図１８のエッジの変化点において、画像１の鮮鋭度は８であるが、この鮮鋭度が仮に１６であっても１であっても、画像２の鮮鋭度と比較した場合には、画像１の鮮鋭度が最大の鮮鋭度であることには変わりがない。

しかしながら、実際の画像では、より強いエッジが存在するほどその画素周辺は合焦している可能性が高い。したがって、より正確な合焦判定を行うためには、鮮鋭度の大きさも加味した上で空間平滑化を行う方が望ましい。

第２の実施の形態は、第１の参照値を鮮鋭度最大の画像番号というスカラー量でなく、これに鮮鋭度を加えた２次元ベクトル（鮮鋭度ベクトル）として表現することにより、鮮鋭度の大きさも加味した上で空間平滑化を行う形態である。以下、第２の実施の形態について説明する。第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

図１２は第２の実施の形態のデジタルカメラ２内部の概略構成を示すブロック図である。

同図に示すように、デジタルカメラ１は、主として、ＣＰＵ１１０、操作部（シャッターボタン、電源／モードスイッチ、モードダイヤル、ズームボタン、十字ボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン、ＢＡＣＫボタン等）１１２、絞り駆動部１１４、フォーカスレンズ駆動部１１６、撮像素子駆動部１１８、レンズユニット１２０、光学ローパスフィルタ（ＬＰＦ）１２２、撮像素子１２４、アナログ信号処理部（ＣＤＳ／ＡＭＰ）１２６、Ａ／Ｄ変換器１２８、メモリ制御部１３０、メインメモリ１３２、デジタル信号処理部１３４、圧縮伸張処理部１３６、積算部１３８、メモリ制御部１４０、記録媒体１４２、表示制御部１４４、表示部１４６、発光部１５０、受光部１５２、参照値算出部１６０、参照値平滑化部１６２、全焦点処理部１６４、ぼけ強調処理部１６６、偏角算出部１６８で構成される。

偏角算出部１６８は、鮮鋭度ベクトルを極座標で表現したときの偏角を算出する。鮮鋭度ベクトル及び偏角の算出方法については、後に詳述する。

以上のように構成された本実施の形態のデジタルカメラ２の作用について説明する。通常の撮影処理については、第１の実施の形態と同一であるため、全焦点画像又はぼけ強調画像の撮影処理について説明する。図１３は、全焦点画像又はぼけ強調画像を撮影するための全焦点画像／ぼけ強調画像撮影モードにおける全体の処理の流れを示すフローチャートである。

全焦点画像／ぼけ強調画像撮影モード下で操作部２３のシャッターボタンが半押しされることによりＣＰＵ１１０にＳ１ＯＮ信号が入力されると、ＣＰＵ１１０は、フォーカスブラケット撮影に先立って、自動焦点制御（ＡＦ）を行い（ステップＳ１０）、フォーカスブラケット撮影の際に設定される焦点位置を、ステップＳ１０において算出された合焦位置を含むように複数位置設定する（ステップＳ１２）。

次に、ステップＳ１２により決定された焦点位置でフォーカスブラケット撮影を行う（ステップＳ１４〜Ｓ１８）。まず、ＣＰＵ１１０は、フォーカスレンズ駆動部１１６を介して、ステップＳ１２で決定された複数の焦点位置のうちの所望の焦点位置にフォーカスレンズ１２０ｂを移動し（ステップＳ１４）、撮像素子駆動部１１８を介して撮像素子１２４を制御し、被写体像を撮像する（ステップＳ１６）。ステップＳ１６で撮像された画像は、メモリ制御部１３０を介して一旦メインメモリ１３２に蓄積される。

そして、ＣＰＵ１１０は、ステップＳ１２で決定された複数の焦点位置全ての位置で撮影が行われたかどうか、すなわちステップＳ１２で決定された複数の焦点位置のうちの全ての焦点位置でステップＳ１４、Ｓ１６の処理が行われたかどうかを判断する（ステップＳ１８）。

ステップＳ１２で決定された複数の焦点位置のうちの全ての焦点位置でステップＳ１４、Ｓ１６の処理が行われていない場合（ステップＳ１８でＮＯ）には、異なる焦点位置にフォーカスレンズ１２０ｂを移動し（ステップＳ１４）、その焦点位置における被写体像を撮像する（ステップＳ１６）。

ステップＳ１２で決定された複数の焦点位置のうちの全ての焦点位置において、ステップＳ１４、Ｓ１６の処理が行われた場合（ステップＳ１８でＹＥＳ）には、ＣＰＵ１１０は、フォーカスブラケット撮影を終了し、フォーカスブラケット画像より参照値を決定する（ステップＳ２６）。図１４は、参照値を決定する処理（ステップＳ２６）の流れを示すフローチャートである。

まず、ＣＰＵ１１０は、メインメモリ１３２に蓄積された画像を参照値算出部１６０に入力し、参照値算出部１６０は、例えば画像の左上を原点とし、横方向をｘ方向、縦方向をｙ方向とするｘｙ座標を画像上に設定し、このｘｙ座標を用いて対象画素の位置を指定することにより、対象画素を選択し（ステップＳ３０）、フォーカスブラケット画像のなかから画像ｉを選択し（ステップＳ３２）、ステップＳ３２において選択された画像ｉについて、ステップＳ３０で選択された対象画素の鮮鋭度を算出する（ステップＳ３４）。

参照値算出部１６０は、入力されたフォーカスブラケット画像全てに対してステップＳ３４に示す鮮鋭度算出処理が行われたかどうかを判断する（ステップＳ３６）。ステップＳ３４に示す鮮鋭度算出処理が入力された全フォーカスブラケット画像に対して行われていない場合（ステップＳ３６でＮＯ）には、参照値算出部１６０は、フォーカスブラケット画像のうちの異なる画像を選択し（ステップＳ３２）、対象画素の鮮鋭度を算出する（ステップＳ３４）。

ステップＳ３４に示す鮮鋭度算出処理が入力された全フォーカスブラケット画像に対して行われた場合（ステップＳ３６でＹＥＳ）には、ステップＳ３４で算出された鮮鋭度のうち、鮮鋭度が最大となる画像の画像番号を選択し（ステップＳ３８）、その画像番号と鮮鋭度とに基づいて鮮鋭度ベクトルを求め、これを第１の参照値として算出する（ステップＳ７０）。

例えばフォーカスブラケット画像が５枚の場合には、図１５に示すように、０〜４の画像番号に対応した単位ベクトルｕ_０〜ｕ_４を予め準備する。極座標で表現すると、単位ベクトルｕ_０〜ｕ_４の動径ｒは１であり、最もＮＥＡＲ側の画像（画像０）の単位ベクトルｕ_０の偏角θは０［ｒａｄ］、最もＦＡＲ側の画像（画像４）の単位ベクトルｕ_４の偏角θはπ［ｒａｄ］、その間の画像（画像１〜３）の単位ベクトルｕ_１〜ｕ_３の偏角θは０〜π［ｒａｄ］の間を等分する値、すなわち画像１の単位ベクトルｕ_１の偏角θはπ／４［ｒａｄ］、画像２の単位ベクトルｕ_２の偏角θはπ／２［ｒａｄ］、画像３の単位ベクトルｕ_３の偏角θは３π／４［ｒａｄ］である。

鮮鋭度ベクトルは、この単位ベクトルの動径として鮮鋭度を割り当てたものである。例えば、ある画素について画像１の鮮鋭度が８であり、これが全画像中で最大の鮮鋭度である場合には、その鮮鋭度ベクトルは動径ｒが８、偏角θがπ／４［ｒａｄ］のベクトルとなる。

このようにして求められた各画素の鮮鋭度ベクトルを、後段（ステップＳ７２〜Ｓ７４、後に詳述）の空間平滑化処理のために、極座標表現からＸＹ座標表現に変換した鮮鋭度ベクトルを第１の参照値として出力する。例えば、動径ｒが８、偏角θがπ／４［ｒａｄ］の鮮鋭度ベクトルの第１の参照値は、（Ｘ,Ｙ）＝（８／√２,８／√２）となる。

参照値算出部１６０は、以上の処理が全画素に対して実施されたか、すなわち全画素について第１の参照値が出力されたかどうかを判断する（ステップＳ４０）。全画素について第１の参照値が出力されていない場合（ステップＳ４０でＮＯ）には、参照値算出部１６０は、異なる対象画素を選択し（ステップＳ３０）、その対象画素における第１の参照値を出力する（ステップＳ３２〜Ｓ７０）。

全画素について第１の参照値が出力された場合（ステップＳ４０でＹＥＳ）には、その結果として、参照値算出部１６０は、Ｘ成分、Ｙ成分それぞれの空間的な分布を示す２画面分のマップを作成する。ＣＰＵ１１０は、参照値算出部１６０で作成されたマップを、メモリ制御部１３０を介して一旦メインメモリ１３２に記憶する。そして、ＣＰＵ１１０は、メインメモリ１３２に記憶したマップを参照値平滑化部１６２に入力し、参照値平滑化部１６２は、Ｘ成分のマップに対して、第１の実施の形態と同様の方法により空間平滑化処理を行い（ステップＳ７２）、Ｙ成分のマップに対して、第１の実施の形態と同様の方法により空間平滑化処理を行う（ステップＳ７４）。

図１６は、Ｘ成分、Ｙ成分それぞれに対して空間平滑化処理を行なった後でＸＹ座標表現から極座標表現に戻した鮮鋭化ベクトルの一例である。図１６に示すように、各画素毎の空間平滑化後の鮮鋭度ベクトルの向き（偏角）は、近傍にある長さ（動径）の大きいベクトルの影響を受けて、長さの大きいベクトルの向き（偏角）に近づく。これにより、鮮鋭化ベクトルのつながりを滑らかにすることができる。

このようにして空間平滑化処理が行われた鮮鋭度ベクトルのマップ（平滑化処理後のＸ成分のマップ及びＹ成分のマップ）は、メモリ制御部１３０を介して再びメインメモリ１３２に記憶され、偏角算出部１６８に入力される。偏角算出部１６８は、数式２に基づいて、入力されたマップより偏角θを算出する。数式２において、ｘ，ｙは平滑化された鮮鋭度ベクトルのＸ，Ｙ成分である。

偏角θは画像番号に対応した尺度であるので、算出された偏角が第２の参照値となる。得られた偏角を４／π倍することにより、偏角θが画像番号０〜４の値に還元され、第１の実施の形態と同様に、多階調の第２の参照値のマップ、すなわち合焦分布を示す距離画像が得られる（ステップＳ７６）。

これにより、フォーカスブラケット画像より参照値を決定する処理（ステップＳ２６）を終了する。ＣＰＵ１１０は、偏角算出部１６８で算出された距離画像を、メモリ制御部１３０を介して一旦メインメモリ１３２に記憶する。

次に、メインメモリ１３２に記憶された第２の参照値に基づいて、全焦点処理部１６４は全焦点処理を行い、ぼけ強調処理部１６６はぼけ強調処理を行う（ステップＳ２２）。そして、ＣＰＵ１１０は、ステップＳ２２において生成された全焦点画像及びぼけ強調画像を、メモリ制御部１４０を介して記録媒体１４２に記録する（ステップＳ２４）。

本実施の形態によれば、鮮鋭度が最大の画像番号のみでなく、鮮鋭度の大きさ、すなわち強いエッジの影響を重視することにより、より正確な距離画像を得ることができる。そのため、距離画像に基づいて合成する全焦点画像をより滑らかに、より自然にすることができる。また、より正確な合焦判定結果を得ることができるため、より正確なぼけ量のぼけ強調画像を生成することができる。

本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置や、撮像装置で撮像された画像の処理をおこなうＰＣなどの画像処理装置にも同様に適用することができる。また、ＰＣなどの装置に適用するプログラムとして提供することもできる。

１、２：デジタルカメラ、１１０：ＣＰＵ、１１２：操作部、１１４：、１１６：フォーカスレンズ駆動部、１１８：撮像素子駆動部、１２０：レンズユニット、１２２：光学ローパスフィルタ（ＬＰＦ）、１２４：撮像素子、１２６：アナログ信号処理部（ＣＤＳ／ＡＭＰ）、１２８：Ａ／Ｄ変換器、１３０：メモリ制御部、１３２：メインメモリ、１３４：デジタル信号処理部、１３６：圧縮伸張処理部、１３８：積算部、１４０：メモリ制御部、１４２：記録媒体、１４４：表示制御部、１４６：表示部、１５０：発光部、１５２：受光部、１６０：参照値算出部、１６２：参照値平滑化部、１６４：全焦点処理部、１６６：ぼけ強調処理部、１６８：偏角算出部

Claims (11)

1. レンズの焦点位置を変化させながら連続して撮影された複数枚の画像を取得する画像取得手段と、
   前記画像取得手段により取得された複数枚の画像の各画素に対して鮮鋭度を算出する鮮鋭度算出手段と、
   前記鮮鋭度算出手段により算出された複数枚の画像の同一位置の画素のうちの鮮鋭度が最大となる画素が、前記複数枚の画像のいずれの画像に属するかを示す第１の参照値を、前記画像の各画素毎に算出する第１の参照値算出手段と、
   前記第１の参照値算出手段により算出された前記画像の各画素毎の第１の参照値から第２の参照値を算出する第２の参照値算出手段であって、ある画素の第１の参照値をその周囲の画素の第１の参照値に基づいて空間平滑化して前記第２の参照値を算出する第２の参照値算出手段と、
   前記画像取得手段により取得された複数枚の画像を前記第２の参照値算出手段により算出された第２の参照値に基づいて画像処理し、画像の全ての部分に焦点の合った全焦点画像を生成する、又は前記画像取得手段により取得された複数枚の画像のいずれか１枚を前記第２の参照値算出手段により算出された第２の参照値に基づいて画像処理し、主要被写体以外の部分をぼかしたぼけ強調画像を生成する画像処理手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記第２の参照値算出手段は、前記第１の参照値算出手段により算出された前記画像の各画素毎の第１の参照値を、各画素位置に対応して配置してなるマップを生成するマップ生成手段を含み、前記マップ生成手段により生成されたマップを空間平滑化することにより第２の参照値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の参照値は、前記鮮鋭度が最大となる画素が前記複数枚の画像のいずれの画像に属するかを示す第１の情報と、前記鮮鋭度の大きさを示す第２の情報とからなることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の参照値は、前記第１の情報を偏角とし、前記第２の情報を動径とする２次元ベクトルで表されることを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の参照値算出手段は、前記画像の各画素毎の２次元ベクトルで表された第１の参照値をＸ成分とＹ成分とに分離し、前記Ｘ成分とＹ成分とをそれぞれ各画素位置に対応して配置してなるＸ成分及びＹ成分のマップを生成するマップ生成手段を含み、前記マップ生成手段により生成されたＸ成分及びＹ成分のマップをそれぞれ空間平滑化し、これらの空間平滑後のＸ成分とＹ成分から偏角を求め、この偏角を前記第２の参照値とすることを特徴とする請求項４に記載の画像処理装置。
6. 前記マップ生成手段は、前記第１の参照値を所定範囲で加重平均し、前記マップよりも少ないサンプル数の低解像度のマップを生成することを特徴とする請求項２又は５に記載の画像処理装置。
7. 前記画像処理手段は、
   前記第２の参照値算出手段により算出された第２の参照値に基づいて、前記複数枚の画像の同一位置の画素毎の加重平均係数を決定する手段と、
   前記決定された加重平均係数に基づいて前記複数枚の画像の同一位置の画素を加重平均して全焦点画像を生成する手段と、
   を有することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記画像処理手段は、
   前記第２の参照値算出手段により算出された第２の参照値に基づいて、前記複数枚の画像のうちの基準画像の各画素毎のぼかしの程度を調整するぼかしフィルタのフィルタ係数を決定する手段と、
   前記決定されたフィルタ係数をもつぼかしフィルタにより前記基準画像の対応する画素に対してフィルタ処理をすることによりぼけ強調画像を生成する手段と、
   を有することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 請求項１から８のいずれかに記載の画像処理装置と、
   被写体像を撮像する撮像素子と、前記撮像素子に被写体像を結像させる撮影光学系とで構成された撮像手段と、
   前記複数枚の画像を前記撮像素子に結像させるように前記撮像手段を制御する制御手段と、
   を備えたことを特徴とする撮像装置。
10. レンズの焦点位置を変化させながら連続して撮影された複数枚の画像を取得するステップと、
    前記取得された複数枚の画像の各画素に対して鮮鋭度を算出するステップと、
    前記算出された複数枚の画像の同一位置の画素のうちの鮮鋭度が最大となる画素が、前記複数枚の画像のいずれの画像に属するかを示す第１の参照値を、前記画像の各画素毎に算出するステップと、
    ある画素の第１の参照値をその周囲の画素の第１の参照値に基づいて空間平滑化することによって、前記各画素毎の第１の参照値から前記第２の参照値を算出するステップと、
    前記複数枚の画像を前記第２の参照値に基づいて画像処理し、画像の全ての部分に焦点の合った全焦点画像を生成する、又は前記複数枚の画像のいずれか１枚を前記第２の参照値に基づいて画像処理し、主要被写体以外の部分をぼかしたぼけ強調画像を生成する画像処理ステップと、
    を含むことを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法を演算装置に実行させるためのプログラム。

Images