JP5115297B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。

従来から、手ブレやピンぼけの有無を判定するために、合焦状態の異なる複数フレームの画像を用いて画像内の合焦箇所を判定する撮像装置が知られている。一例として、特許文献１には、山登りＡＦのために取得した合焦状態の異なる複数の画像を比較して、ピントの状態を自動的に判別する撮像装置の構成が開示されている。
特開２００５−２２３５２８号公報

しかし、従来の技術では、所望の画像の合焦度を求めるためには合焦状態の異なる複数の画像が必要となる。そのため、従来の技術では、１フレームの画像から画像内の合焦箇所を求めることができない点でなお改善の余地があった。

そこで、本発明の目的は、１フレームの画像から画像内の合焦箇所を求める手段を提供することにある。

一の態様に係る画像処理装置は、撮像画像を取得する画像読込部と、第１高周波強度算出部と、第２高周波強度算出部と、ノイズパラメータ供給部と、合焦度算出部と、合焦判定部とを備える。第１高周波強度算出部は、撮像画像から第１高周波成分を抽出する。また、第１高周波強度算出部は、撮像画像での位置と第１高周波成分の強度との対応関係を示す第１高周波強度情報を生成する。第２高周波強度算出部は、第１高周波成分よりも低域側の周波数成分が含まれるように撮像画像から第２高周波成分を抽出する。また、第２高周波強度算出部は、撮像画像での位置と第２高周波成分の強度との対応関係を示す第２高周波強度情報を生成する。ノイズパラメータ供給部は、撮像画像に含まれるノイズの平均振幅の大きさに比例し、ノイズの平均振幅よりも大きな値に設定されるノイズパラメータを供給する。合焦度算出部は、第１高周波強度情報、第２高周波強度情報およびノイズパラメータを用いて、撮像画像内の複数の位置で撮像画像の合焦度をそれぞれ算出する。合焦判定部は、撮像画像の各位置での合焦度に基づいて、撮像画像の合焦箇所を求める。

上記の一の態様において、合焦度算出部は、撮像画像の所定位置における合焦度を算出するときに、所定位置における第１高周波成分の強度を、所定位置における第２高周波成分の強度とノイズパラメータとの加算値で除して合焦度を求めてもよい。

上記の一の態様の画像処理装置は、撮像画像に階調変換を施して、ノイズの平均振幅が均等化された階調変換画像を生成する階調変換部をさらに備えていてもよい。また、第１高周波強度算出部および第２高周波強度算出部は、階調変換画像から第１高周波強度情報および第２高周波強度情報をそれぞれ生成してもよい。

上記の一の態様において、合焦度算出部は、撮像画像を複数の分割領域に区画してもよい。また、合焦度算出部は、分割領域内で取得された複数の合焦度の値を積算して、分割領域ごとの合焦度を算出してもよい。

上記の一の態様において、ノイズパラメータ供給部は、撮像画像の明るさの局所平均値に対してショットノイズに対応する比例係数を乗じた乗算値に、撮像時の光量に依存しないノイズ成分に対応する定数を加算して撮像画像のノイズ期待値を複数求めてもよい。また、ノイズパラメータ供給部は、上記のノイズ期待値の分散に基づいてノイズパラメータを設定してもよい。

上記の一の態様の画像処理装置は、合焦箇所の位置を示す表示を行う表示部をさらに備えていてもよい。そして、表示部は、撮像画像に対応する縮小表示画像と合焦箇所の位置とを関連付けて表示してもよい。

ここで、一の態様の画像処理装置を備える撮像装置や、あるいは一の態様の画像処理装置の構成を画像処理方法、プログラムおよびプログラム記憶媒体に変換して表現したものも本発明の具体的態様として有効である。

一の態様によれば、周波数成分がそれぞれ異なる第１高周波強度情報および第２高周波強度情報を１つの撮像画像から生成し、第１高周波強度情報、第２高周波強度情報およびノイズパラメータを用いて撮像画像の合焦箇所を判定できる。

＜一の実施形態の説明＞
図１は、一の実施形態の電子カメラの概略構成を示すブロック図である。電子カメラは、撮像光学系１１と、撮像素子１２と、ＡＦＥ１３と、合焦箇所検出部１４と、視認画像生成部１５と、画像記憶部１６と、画像表示部１７とを有している。

撮像光学系１１は、ズームレンズ、フォーカシングレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

撮像素子１２は、複数の受光素子がマトリックス状に配列された受光面を有している。そして、撮像素子１２は、撮像光学系１１によって受光面に結像した被写体像を撮像して画像信号を生成する。また、撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のいずれかのカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。よって、撮像素子１２から出力されるＲＡＷ画像は、ＲＧＢ各色がベイヤ配列構造で配列されたモザイク状の画像となっている。

ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。また、ＡＦＥ１３では、画像信号のゲインの調整によってＩＳＯ感度に相当する撮像感度の調整を行うことができる。なお、ＡＦＥ１３から出力されるＲＡＷ画像のデータは、合焦箇所検出部１４および視認画像生成部１５にそれぞれ入力される。

合焦箇所検出部１４は、ＲＡＷ画像のデータを解析して、画像内の合焦箇所の位置を示す合焦箇所マップを生成する。ここで、図２を参照しつつ、合焦箇所検出部１４の回路構成例を説明する。一の実施形態での合焦箇所検出部１４は、階調変換部２１と、第１高周波強度算出部２２と、第２高周波強度算出部２３と、ノイズパラメータ供給部２４と、合焦度算出部２５と、合焦判定部２６とを有している。

階調変換部２１は、ＡＦＥ１３から入力されるＲＡＷ画像のデータに後述の均等ノイズガンマ変換を施して、階調変換画像のデータを生成する。この階調変換部２１の出力は第１高周波強度算出部２２および第２高周波強度算出部２３にそれぞれ接続されている。

第１高周波強度算出部２２は、階調変換画像のデータから第１高周波成分を抽出する。そして、第１高周波強度算出部２２は、画像内の位置と第１高周波成分の強度との対応関係を示す第１高周波強度マップを生成する。

第２高周波強度算出部２３は、階調変換画像のデータから、第１高周波成分よりも低域側の周波数成分を含む第２高周波成分を抽出する。そして、第２高周波強度算出部２３は、画像内の位置と第２高周波成分の強度との対応関係を示す第２高周波強度マップを生成する。なお、第１高周波強度算出部２２および第２高周波強度算出部２３の各出力は、いずれも合焦度算出部２５と接続されている。

ノイズパラメータ供給部２４は、合焦度算出部２５に対して、後述の合焦度の演算に適用される変数（ノイズパラメータ）の値を出力する。

一の実施形態におけるノイズパラメータの値は、均等ノイズガンマ変換後の画像全体におけるノイズの平均振幅の大きさに比例して設定されている。一例として、ノイズパラメータは、均等ノイズガンマ変換後の画像（階調変換画像）に含まれるノイズの平均振幅の１０倍程度の値に設定される。

また、上記のノイズパラメータはノイズの平均振幅に比例するため、ＡＦＥ１３の撮像感度を高くしてＳＮ比が低下するほど、ノイズパラメータの値も大きくなる。そのため、一の実施形態のノイズパラメータ供給部２４は、撮像感度の値とノイズパラメータの値との対応関係を予めテーブル化したメモリ２７を有している。そして、ノイズパラメータ供給部２４は、メモリ２７のテーブルを参照することで、各々の撮像感度の値に対応するノイズパラメータの値を出力するようになっている。なお、上記のテーブルのデータは、階調チャートなどの標本画像を撮像して得たノイズの実測値に基づいて、電子カメラの製造工程の段階で予めセッティングされる。

合焦度算出部２５は、第１高周波強度マップ、第２高周波強度マップおよびノイズパラメータを用いて、画像の各位置における合焦度を算出する。この合焦度算出部２５の出力は合焦判定部２６と接続されている。また、合焦判定部２６は、合焦度算出部２５の求めた合焦度に基づいて、上記の合焦箇所マップを生成する。この合焦判定部２６の出力は、画像表示部１７と接続されている。

図１に戻って、視認画像生成部１５は、ＲＡＷ画像のデータに各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施して視認画像のデータを生成する。また、視認画像生成部１５は、視認画像のデータに対してＪＰＥＧ（Joint Photographic Experts Group）形式の圧縮処理も実行する。なお、視認画像生成部１５の出力は、画像記憶部１６および画像表示部１７にそれぞれ接続されている。

画像記憶部１６は、不揮発性の記憶媒体１８を着脱可能に接続するコネクタを有している。そして、画像記憶部１６は、上記の記憶媒体１８に対して、ＪＰＥＧ圧縮処理後の視認画像のデータを書き込む。上記の記憶媒体１８は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１８の一例としてメモリカードを図示する。

画像表示部１７は、例えば、電子カメラの筐体背面に配置される液晶モニタと、この液晶モニタでの画像の表示を制御するドライバとで構成されている。この画像表示部１７は、視認画像のデータに解像度変換（画素数変換）を施して、モニタの解像度に合わせた低解像度の縮小表示画像を生成する。また、画像表示部１７は、合焦箇所検出部１４から取得した合焦箇所マップのデータに基づいて、合焦箇所の位置を示す表示を縮小表示画像とともにモニタに表示する。

次に、一の実施形態における電子カメラの撮影モードでの動作例を説明する。一の実施形態の電子カメラは、レリーズ釦（不図示）の全押し操作を受け付けると、撮像素子１２を駆動させて被写体像を撮像する。

撮像素子１２から出力されるＲＡＷ画像のデータは、ＡＦＥ１３を介して合焦箇所検出部１４と視認画像生成部１５とにそれぞれ入力される。ここで、視認画像生成部１５は、ＲＡＷ画像のデータに各種の画像処理を施して視認画像のデータを生成する。この視認画像のデータは、視認画像生成部１５でさらにＪＰＥＧ圧縮処理が施された後に、画像記憶部１６で記憶媒体１８に記録される。また、視認画像のデータは、モニタでの表示のために画像表示部１７にも入力される。

一方、合焦箇所検出部１４は、ＲＡＷ画像のデータを用いて合焦箇所マップのデータを生成する。以下、図３の流れ図を参照しつつ、一の実施形態での合焦箇所検出部１４の動作を詳細に説明する。

ステップＳ１０１：階調変換部２１は、ＡＦＥ１３から入力されたＲＡＷ画像のデータに公知の均等ノイズガンマ変換を施して、階調変換画像のデータを生成する。階調変換部２１から出力される階調変換画像のデータは、第１高周波強度算出部２２および第２高周波強度算出部２３にそれぞれ入力される。なお、上記の階調変換画像も、ＲＡＷ画像と同様に、ＲＧＢ各色がベイヤ配列構造で配列された状態にある。

上記の均等ノイズガンマ変換では、信号値とノイズの平均振幅との依存関係に基づいて、入力されたＲＡＷ画像の信号値を非線形にレベル圧縮する。一例として、Ｓ１０１での階調変換部２１は、以下の式（１）による階調変換処理を行う。

ここで、式（１）において、「ｘ」は階調変換部２１に入力される信号値を示し、「ｙ」は階調変換部２１から出力される信号値を示す。「ξ」は積分変数を示し、「ｎ（ξ）」は入力信号ξにおけるノイズの平均振幅を示す。また、「ｂ」および「ｃ」は別個に定める定数を示す。

上記式（１）による階調変換後のノイズの平均振幅ｎ_yは、以下の式（２）で表すことができる。

ｎ_y≒（ｄｙ／ｄｘ）・ｎ（ｘ）＝ｃ …(2)
上記の式（２）から、階調変換後のノイズの平均振幅ｎ_yは、出力信号ｙに依らず、定数ｃにほぼ均等化されることが分かる。したがって、Ｓ１０１で生成される階調変換画像のデータでは、ノイズの平均振幅が信号値の大きさ（画像での明暗の差）に拘わらずに均等とみなせる状態となり、すべての信号値でノイズの影響が一定に保たれる。そして、かかる均等ノイズガンマ変換によって、ノイズパラメータや後述の合焦判定用の閾値を一定の値としても、合焦判定を適切に行うことが可能となる。

ステップＳ１０２：第１高周波強度算出部２２は、階調変換画像のデータ（Ｓ１０１）から画像の高周波成分を抽出する。そして、第１高周波強度算出部２２は、抽出した高周波成分の強度と画像での位置との対応関係を示す第１高周波強度マップを生成する。

一例として、第１高周波強度算出部２２は、以下の（Ａ１）から（Ａ３）までの処理を実行する。

（Ａ１）第１高周波強度算出部２２は、階調変換画像のＧ画素を対象として、ガウシアン型平滑化フィルタによるフィルタ演算を行う。この第１高周波強度算出部２２で適用される平滑化フィルタは、５×５画素のサイズに設定されている。また、第１高周波強度算出部２２は、上記のフィルタ演算において、フィルタの範囲内に含まれる各色の画素のうち、Ｇ画素の信号値のみを参照して平滑化を行う。これにより、第１高周波強度算出部２２は、Ｇ画素の信号値がそれぞれ平滑化された第１低周波画像を生成する。

（Ａ２）第１高周波強度算出部２２は、階調変換画像の各Ｇ画素の信号値から、第１低周波画像で対応位置にあるＧ画素の信号値をそれぞれ減算し、階調変換画像を平滑化したときに失われる第１高周波成分を抽出する。なお、上記の減算処理で取得される差分の画像を第１高周波画像と称する。

（Ａ３）第１高周波強度算出部２２は、第１高周波画像の各Ｇ画素について信号値の絶対値をとって、第１高周波成分の強度をそれぞれ求める。これにより、第１高周波強度算出部２２は、第１高周波成分の強度と画像での位置との対応関係を示す第１高周波強度マップを生成する。なお、第１高周波強度マップのデータは、合焦度算出部２５に入力される。

ステップＳ１０３：第２高周波強度算出部２３は、第１高周波強度算出部２２での抽出結果よりも低域側の周波数成分が含まれるように、階調変換画像のデータ（Ｓ１０１）から画像の高周波成分を抽出する。そして、第２高周波強度算出部２３は、抽出した高周波成分の強度と画像での位置との対応関係を示す第２高周波強度マップを生成する。

一例として、第２高周波強度算出部２３は、以下の（Ｂ１）から（Ｂ３）までの処理を実行する。なお、第２高周波強度算出部２３の（Ｂ１）から（Ｂ３）の処理は、Ｓ１０２で説明した（Ａ１）から（Ａ３）の処理にそれぞれ対応するので、重複する処理の説明は一部省略する。

（Ｂ１）第２高周波強度算出部２３は、階調変換画像のＧ画素を対象として、ガウシアン型平滑化フィルタによるフィルタ演算を行う。これにより、第２高周波強度算出部２３は、Ｇ画素の信号値がそれぞれ平滑化された第２低周波画像を生成する。

この（Ｂ１）の処理では、９×９画素のサイズの平滑化フィルタを適用してフィルタ演算が行われる。したがって、（Ｂ１）の処理では、上記（Ａ１）の処理と比べて周囲のＧ画素をより多く参照するので、上記（Ａ１）の処理と比べて平滑化の度合いが強くなる。よって、第２低周波画像では、第１低周波画像と比べて高域側の周波数成分がより少なくなる。

（Ｂ２）第２高周波強度算出部２３は、階調変換画像の各Ｇ画素の信号値から、第２低周波画像で対応位置にあるＧ画素の信号値をそれぞれ減算し、階調変換画像を平滑化したときに失われる第２高周波成分を抽出する。なお、上記の減算処理で取得される差分の画像を第２高周波画像と称する。

この（Ｂ２）の処理では、第１低周波画像よりも高周波成分の少ない第２低周波画像で階調変換画像をマスクして第２高周波成分を抽出する。よって、第２高周波成分には、第１高周波成分に比べて低域側の周波数成分がより多く含まれることとなる。

（Ｂ３）第２高周波強度算出部２３は、第２高周波画像の各Ｇ画素について信号値の絶対値をとって、第２高周波成分の強度をそれぞれ求める。これにより、第２高周波強度算出部２３は、第２高周波成分の強度と画像での位置との対応関係を示す第２高周波強度マップを生成する。なお、第２高周波強度マップのデータは、合焦度算出部２５に入力される。

ステップＳ１０４：ノイズパラメータ供給部２４は、メモリ２７のテーブルを参照して、撮像感度の設定値に対応するノイズパラメータの値を読み出す。そして、ノイズパラメータ供給部２４は、読み出したノイズパラメータの値を合焦度算出部２５に出力する。

ステップＳ１０５：合焦度算出部２５は、第１高周波成分の強度、第２高周波成分の強度およびノイズパラメータを用いて、画像内のＧ画素における合焦度をそれぞれ算出する。この合焦度の演算では、画像外縁のリングピクセル分は演算対象から除外される。

具体的には、合焦度算出部２５は、注目画素（演算対象とする任意のＧ画素）での合焦度を以下の式（３）により求める。なお、式（３）による合焦度の値は、画像がぼけているほど小さな値を示す。

ここで、第１高周波成分の強度は、ピンぼけや手ブレなどによって高周波成分が失われた箇所では小さな値となる。一方、第２高周波成分には、第１高周波成分よりも低域側の周波数成分が含まれている。そのため、第２高周波成分の強度は、多少のピンぼけや手ブレなどが生じていても、第１高周波成分の強度と比べると相対的に大きな値となる。

また、第１高周波成分の強度および第２高周波成分の強度は、いずれも画像の絵柄によるコントラストに比例する。例えば、被写体の輪郭部分のように画像のコントラストが高くなる箇所では、第１高周波成分の強度および第２高周波成分の強度は多少のピンぼけが生じていても高い値を示す傾向がある。

しかし、一の実施形態では、画像のノイズが十分に小さい場合には、実質的に第２高周波成分の強度に対する第１高周波成分の強度の比率が合焦度となる。そのため、上記の合焦度の値では、画像の絵柄によるコントラストの影響は相殺されることとなる。そして、第１高周波成分の方が第２高周波成分よりもピンぼけなどの影響を強く受けるので、ピンぼけなどのある箇所では上記の合焦度は小さな値を示すことが分かる。

また、画像のノイズの平均振幅がある程度大きくなると、第１高周波成分の強度および第２高周波成分の強度のいずれもが、ノイズの影響で値が大きく変動するようになる。この場合に、第２高周波成分の強度に対する第１高周波成分の強度の比率で合焦度を求めると、特に分母側の値がノイズで大きく変動するので、合焦度の演算結果が不安定となり易い。

そこで、一の実施形態では、第１高周波成分の強度を、第２高周波成分の強度とノイズパラメータとの加算値で除して合焦度を求めている。上述のように、ノイズパラメータは、ノイズの平均振幅に比例して設定されるとともに、ノイズの平均振幅と比べて十分に大きな値となっている。したがって、上記の式（３）の分母側の値では、第２高周波成分に含まれるノイズの影響が相対的に小さくなり、画像のノイズが合焦度に与える影響を一定に抑制することが可能となる。これにより、一の実施形態では、ノイズの大きな画像であっても、ノイズによる構造を合焦箇所と誤判定するおそれが著しく低減する。

なお、Ｓ１０５での合焦度算出部２５は、各Ｇ画素での合焦度の値を示す合焦度マップを生成し、この合焦度マップのデータを合焦判定部２６に出力する。

ステップＳ１０６：合焦判定部２６は、各Ｇ画素での合焦度（Ｓ１０５）を合焦判定用の閾値と比較する。そして、合焦判定部２６は、合焦度が上記の閾値よりも大きくなる画素の位置を画像内の合焦位置と判定する。

ここで、上記の合焦判定用の閾値は、ノイズによる構造を合焦箇所と誤判定しない程度の値に予め設定されている。例えば、合焦判定用の閾値を設定するときには、平坦な被写体を撮像したときのノイズの振幅の標準偏差を予め求めておき、その値よりもある程度大きくなるように合焦判定用の閾値を調整すればよい。なお、一の実施形態では、合焦判定用の閾値は、０．１から０．２程度の値に設定されている。

その後、合焦判定部２６は、上記の判定結果に基づいて画像内の合焦箇所の位置を示す合焦箇所マップを生成する。なお、合焦箇所マップのデータは、画像表示部１７に入力される。以上で、図３の流れ図の説明を終了する。

そして、画像表示部１７は、視認画像のデータを用いて、記憶媒体１８に記録される画像に対応する縮小表示画像を生成する。また、画像表示部１７は、合焦箇所マップのデータに基づいて、モニタの縮小表示画像上に合焦箇所の位置を重畳表示させる。なお、上記の縮小表示画像および合焦箇所の位置の表示画面は、例えば、視認画像のデータの記録が終了するまでモニタに表示される。

図４に、合焦箇所の位置を重畳表示した縮小表示画像の例を示す。図４では、コントラストの高い被写体を実線で表現するとともに、コントラストが低くてぼけている被写体を破線で表現している。そして、合焦箇所の位置は、画像表示部１７が縮小表示画像にオーバーレイによるマーキングを施すことで示される。なお、図４では、合焦箇所の位置のマーキングを斜線で表現している。

一般に、電子カメラのモニタの解像度は、記録用の画像よりも解像度が低いので、モニタに表示された画像のみから手ブレやピンぼけの有無を判断することは困難である。しかし、一の実施形態では、モニタの縮小表示画像に合焦箇所を示すマーキングが重畳されるので、ユーザーはモニタの表示から画像の合焦状態を容易に確認できる。

＜他の実施形態の説明＞
図５は、他の実施形態に係る画像処理装置の構成例を示すブロック図である。他の実施形態では、コンピュータ３０に画像処理プログラムを実行させることで画像処理装置の機能を実現する。よって、他の実施形態の構成においても、一の実施形態と同様の効果を奏することができる。

画像処理装置を構成するコンピュータ３０は、ＣＰＵ３１、記憶装置３２、画像入力部３３および入出力インターフェース３４、バス３５を有している。ＣＰＵ３１、記憶装置３２、画像入力部３３および入出力インターフェース３４は、バス３５を介して相互に接続されている。さらに、入出力インターフェース３４を介して、入力装置３６とモニタ３７とがコンピュータに接続されている。そして、入出力インターフェース３４は、入力装置３６からの各種入力を受け付けるとともに、モニタ３７に対して表示用のデータを出力する。

ＣＰＵ３１は、画像処理プログラムを実行するプロセッサである。他の実施形態では、ＣＰＵ３１が画像処理プログラムを実行することで、一の実施形態の合焦箇所検出部１４および画像表示部１７の動作がソフトウェア的に実現される。

記憶装置３２は、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータ（例えば、ノイズパラメータのテーブルのデータや、合焦判定用の閾値のデータ）を保持する。なお、他の実施形態での記憶装置３２は、ハードディスクや、不揮発性の半導体メモリなどで構成される。

画像入力部３３は、処理対象となる画像のデータや、記憶装置３２に記憶されるプログラムを外部から読み込むときに用いられる。例えば、画像入力部３３は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスクの読込装置など）や、公知の通信規格で外部の装置との通信を行う通信デバイス（ＵＳＢインターフェースや、無線ＬＡＮモジュールなど）で構成される。なお、他の実施形態の例では、ＣＰＵ３１は、画像のデータの付帯情報（例えばＥｘｉｆ規格によるヘッダ情報）から撮像感度の情報を取得すればよい。

＜実施形態の補足事項＞
（１）上記の一の実施形態において、合焦度算出部２５は、視認画像を複数の分割領域で区画するとともに、分割領域内に含まれる各々のＧ画素の合焦度を積算して分割領域ごとの合焦度を算出してもよい。そして、合焦判定部２６は、分割領域単位で合焦箇所を判定してもよい。この場合には、合焦度のＳＮ比が向上するので、ノイズによる誤判定がより少ない合焦判定を行うことが可能となる。

（２）上記の一の実施形態において、ノイズパラメータ供給部２４は、ノイズパラメータを以下の要領で求めるようにしてもよい。

第１に、ノイズパラメータ供給部２４は、処理対象の画像内に９×９画素程度の小領域を設定し、この小領域において画像の明るさの局所平均値を求める。

第２に、ノイズパラメータ供給部２４は、上記の局所平均値に対してショットノイズに対応する比例係数を乗じる。そして、ノイズパラメータ供給部２４は、撮像時の光量に依存しないノイズ成分に対応する定数を上記の乗算値に加算する。これにより、ノイズパラメータ供給部２４は、その小領域における画像のノイズ期待値を求める。

第３に、ノイズパラメータ供給部２４は、各々の小領域の位置が異なる上記のノイズ期待値を多数求めるとともに、これらのノイズ期待値の分散を用いてノイズパラメータを設定する。なお、上記の処理によるノイズパラメータを適用する場合には、均等ノイズガンマ変換を行わなくても、上述の一の実施形態とほぼ同様の効果を得ることが可能となる。

（３）上記の一の実施形態で説明した合焦判定はあくまで一例であって、本発明の合焦箇所検出部１４は、数学的に等価な別の式によって合焦判定を行うようにしてもよい。

上記の一の実施形態の合焦判定は、Ｓ１０５およびＳ１０６の処理を合わせると、上記の式（３）の合焦度が合焦判定用の閾値を上回る場合に、その画像の位置を合焦箇所と判定している。この演算は、以下の式（４）に示す不等式と実質的に等価である。

第１高周波成分の強度＞所定の係数×第２高周波成分の強度
＋ノイズ依存のパラメータ …(4)
なお、式（４）の「ノイズ依存のパラメータ」は、ノイズパラメータに合焦判定用の閾値を乗算したものに相当する。このように、本発明の技術的範囲には、式（４）の不等式を用いて合焦判定を行うものも含まれる。

（４）さらに、上記の一の実施形態の合焦度算出部２５は、合焦度を求める演算において、第１高周波成分の強度と第２高周波成分の強度とを入れ替えてもよい。すなわち、Ｓ１０５の処理において、合焦度算出部２５は、第２高周波成分の強度を、第１高周波成分の強度とノイズパラメータとの加算値で除して合焦度を求めるようにしてもよい。なお、この場合には、合焦判定部２６での判定処理を適宜変更する必要がある。

（５）上記の一の実施形態では、合焦箇所検出部１４は、ＲＡＷ画像のデータに均等ノイズガンマ変換を施して合焦度を求めているが、本発明は上記の例に限定されるものではない。例えば、合焦箇所検出部１４は、ガンマ変換後の画像のデータに対して、既に施されたガンマ変換と逆の変換処理を行って、信号値が露光量に比例する状態の画像を生成する。そして、合焦箇所検出部１４は、上記した逆変換後の画像のデータに均等ノイズガンマ変換を施して、ノイズの平均振幅が信号値に依存しない画像を生成してもよい。

（６）上記の一の実施形態における電子カメラは、撮影待機時に所定間隔ごとに取得される観測用画像（スルー画像）のデータを用いて、上記の合焦箇所の判定および合焦箇所の表示を行うようにしてもよい。

（７）本発明の画像処理装置は、電子カメラやコンピュータに限定されることなく、画像の表示出力機能を有するデバイス全般に広く適用できる。また、上記の一の実施形態の電子カメラでは、合焦箇所検出部１４をハードウェア的に実現する例を示したが、電子カメラにおいても、合焦箇所検出部１４の機能をソフトウェア的に実現しても勿論かまわない。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

一の実施形態の電子カメラの概略構成を示すブロック図 合焦箇所検出部の回路構成例を示すブロック図 一の実施形態における合焦箇所検出部の動作例を示す流れ図 合焦箇所の位置を重畳表示した縮小表示画像の例を示す図 他の実施形態に係る画像処理装置の構成例を示すブロック図

符号の説明

１２…撮像素子、１４…合焦箇所検出部、１５…視認画像生成部、１７…画像表示部、１８…モニタ、２１…階調変換部、２２…第１高周波強度算出部、２３…第２高周波強度算出部、２４…ノイズパラメータ供給部、２５…合焦度算出部、２６…合焦判定部、２７…メモリ、３１…ＣＰＵ、３２…記憶装置

Claims (9)

1. 撮像画像を取得する画像読込部と、
   前記撮像画像から第１高周波成分を抽出するとともに、前記撮像画像での位置と前記第１高周波成分の強度との対応関係を示す第１高周波強度情報を生成する第１高周波強度算出部と、
   前記第１高周波成分よりも低域側の周波数成分が含まれるように前記撮像画像から第２高周波成分を抽出するとともに、前記撮像画像での位置と第２高周波成分の強度との対応関係を示す第２高周波強度情報を生成する第２高周波強度算出部と、
   前記撮像画像に含まれるノイズの平均振幅の大きさに比例し、前記ノイズの平均振幅よりも大きな値に設定されるノイズパラメータを供給するノイズパラメータ供給部と、
   前記第１高周波強度情報、前記第２高周波強度情報および前記ノイズパラメータを用いて、前記撮像画像内の複数の位置で前記撮像画像の合焦度をそれぞれ算出する合焦度算出部と、
   前記撮像画像の各位置での前記合焦度に基づいて、前記撮像画像の合焦箇所を求める合焦判定部と、を備え、
   前記合焦度算出部は、前記撮像画像の所定位置における前記合焦度を算出するときに、前記所定位置における前記第１高周波成分の強度を、前記所定位置における前記第２高周波成分の強度と前記ノイズパラメータとの加算値で除して前記合焦度を求めることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記撮像画像に階調変換を施して、前記ノイズの平均振幅が均等化された階調変換画像を生成する階調変換部をさらに備え、
   前記第１高周波強度算出部および前記第２高周波強度算出部は、前記階調変換画像から前記第１高周波強度情報および前記第２高周波強度情報をそれぞれ生成することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記合焦度算出部は、前記撮像画像を複数の分割領域に区画するとともに、前記分割領域内で取得された複数の前記合焦度の値を積算して、前記分割領域ごとの合焦度を算出することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記ノイズパラメータ供給部は、前記撮像画像の明るさの局所平均値に対してショットノイズに対応する比例係数を乗じた乗算値に、撮像時の光量に依存しないノイズ成分に対応する定数を加算して前記撮像画像のノイズ期待値を複数求めるとともに、前記ノイズ期待値の分散に基づいて前記ノイズパラメータを設定することを特徴とする画像処理装置。
5. 請求項１から請求項４のいずれか１項に記載の画像処理装置において、
   前記合焦箇所の位置を示す表示を行う表示部をさらに備えることを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記表示部は、前記撮像画像に対応する縮小表示画像と前記合焦箇所の位置とを関連付けて表示することを特徴とする画像処理装置。
7. 請求項１から請求項６のいずれか１項に記載の画像処理装置と、
   被写体を撮像して撮像画像を生成する撮像部と、
   を備えることを特徴とする撮像装置。
8. 撮像画像を取得する画像読込ステップと、
   前記撮像画像から第１高周波成分を抽出するとともに、前記撮像画像での位置と前記第１高周波成分の強度との対応関係を示す第１高周波強度情報を生成する第１高周波強度算出ステップと、
   前記第１高周波成分よりも低域側の周波数成分が含まれるように前記撮像画像から第２高周波成分を抽出するとともに、前記撮像画像での位置と第２高周波成分の強度との対応関係を示す第２高周波強度情報を生成する第２高周波強度算出ステップと、
   前記撮像画像に含まれるノイズの平均振幅の大きさに比例し、前記ノイズの平均振幅よりも大きな値に設定されるノイズパラメータを供給するノイズパラメータ供給ステップと、
   前記第１高周波強度情報、前記第２高周波強度情報および前記ノイズパラメータを用いて、前記撮像画像内の複数の位置で前記撮像画像の合焦度をそれぞれ算出する合焦度算出ステップと、
   前記撮像画像の各位置での前記合焦度に基づいて、前記撮像画像の合焦箇所を求める合焦判定ステップと、を含み、
   前記合焦度算出ステップにて、前記撮像画像の所定位置における前記合焦度を算出するときに、前記所定位置における前記第１高周波成分の強度を、前記所定位置における前記第２高周波成分の強度と前記ノイズパラメータとの加算値で除して前記合焦度を求めることを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images