JP5369729B2 - 画像処理装置、撮像装置およびプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置およびプログラムに関する。

従来から、カメラのオートフォーカス（ＡＦ）制御では、複数の焦点検出エリアで測距を行なうことで、各々の焦点検出エリアに対応する被写体距離の情報を取得している。また、一例として特許文献１に示すように、合焦状態の異なる２枚の画像の鮮鋭度の差を用いて、画像内の注目領域とそれ以外の領域との領域分割を行う手法も従来から提案されている。

しかし、従来の技術では、カメラで撮像された画像内で焦点検出エリアの存在しない領域につき、画像内の各領域（位置）に対応するそれぞれの被写体距離の情報を得ることが困難であった。

そこで、本発明の目的は、撮像画像で焦点検出エリアに対応しない各々の部分についても、それぞれ被写体距離の情報を取得するための手段を提供することにある。

一の態様の画像処理装置は、画像取得部と、画像選択部と、合焦度算出部と、距離推測部とを備える。画像取得部は、レンズの焦点位置および絞り値の一方の撮像条件をそれぞれ変化させて共通の被写体を撮像した複数の撮像画像を取得する。画像選択部は、複数の撮像画像のうちから、基準画像と、該基準画像と異なる１以上の参照画像とを選択する。合焦度算出部は、基準画像および参照画像を対象として、画像の合焦度を示す合焦評価値を、対象の各画像内における複数の領域毎に求める。距離推測部は、基準画像に対応する第１の撮像条件の情報および参照画像に対応する第２の撮像条件の情報を用いて、各領域において得られた、基準画像から求まる複数の第１合焦評価値と参照画像から求まる複数の第２合焦評価値との間の変化量に応じて、基準画像の各領域に対応する被写体距離を推測する。

上記の一の態様において、画像選択部は、焦点検出エリアの位置情報、焦点検出エリアのピント判定情報、撮像画像を画像解析した結果に基づいて検出された被写体の検出位置の情報、画像の色情報のうち、少なくとも１つの情報を用いて、基準画像を選択してもよい。

上記の一の態様において、合焦度算出部は、互いの周波数特性が異なる一対のエッジ抽出処理を対象の画像に施してもよい。また、合焦度算出部は、該エッジ抽出処理で求まる一対のエッジ量の差分を用いて、対象の画像の各領域で合焦評価値を求めてもよい。

上記の一の態様において、合焦度算出部は、対象の画像の各領域での画像構造を示す画像構造ベクトルをそれぞれ求めてもよい。また、合焦度算出部は、画像構造ベクトルの情報を用いて、対象の画像の各領域で合焦評価値を求めてもよい。

ここで、上記の一の態様の画像処理装置を備えた撮像装置や、上記の一の態様の画像処理装置としてコンピュータを機能させるプログラムや、このプログラムを記憶したプログラム記憶媒体や、上記の一の態様の画像処理装置の動作を方法のカテゴリで表現したものも本発明の具体的態様として有効である。

本発明では、撮像条件を変化させて取得した画像間における合焦評価値の変化量を用いて、撮像画像内の各領域（位置）に対応する被写体距離を推測できる。

一の実施形態の電子カメラの概略構成を示すブロック図 一の実施形態の電子カメラでの撮影モードの動作例を説明する流れ図 合焦評価値の演算サブルーチンの一例を示す流れ図 図３の処理の概要を示す図 合焦評価値の演算サブルーチンの他の例を示す流れ図 図５の処理の概要を示す図 合焦評価値の演算サブルーチンの他の例の概要を示す図 合焦評価値の演算サブルーチンの他の例を示す流れ図 局所領域および画像構造ベクトルの説明図 他の実施形態に係る画像処理装置の構成例を示すブロック図

＜一の実施形態の説明＞
図１は、一の実施形態の画像処理装置を含む電子カメラの概略構成を示すブロック図である。電子カメラ１１は、撮像光学系１２と、レンズ駆動部１３と、絞り１４と、絞り駆動部１５と、撮像素子１６と、ＡＦＥ１７と、ＣＰＵ１８と、第１メモリ１９および第２メモリ２０と、メディアＩ／Ｆ２１と、通信Ｉ／Ｆ２２と、モニタ２３と、レリーズ釦２４とを有している。ここで、レンズ駆動部１３、絞り駆動部１５、ＡＦＥ１７、第１メモリ１９、第２メモリ２０、メディアＩ／Ｆ２１、通信Ｉ／Ｆ２２、モニタ２３、レリーズ釦２４は、それぞれＣＰＵ１８と接続されている。

撮像光学系１２は、フォーカシングレンズを含む複数のレンズで構成されている。撮像光学系１２のレンズ位置は、レンズ駆動部１３によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１２を１枚のレンズとして図示する。また、絞り１４は、撮像素子１６に入射する単位時間当たりの光量を調節する。この絞り１４の開口量は、ＣＰＵ１８の指示に応じて絞り駆動部１５が調整する。

撮像素子１６は、撮像光学系１２によって結像される被写体像を撮像して撮像画像の画像信号を生成する。なお、撮像素子１６から出力された画像信号はＡＦＥ１７に入力される。

ＡＦＥ１７は、撮像素子１６の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１７では、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換が行われる。なお、ＡＦＥ１７から出力されたデジタルの画像信号はＣＰＵ１８に入力される。

ＣＰＵ１８は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、ＣＰＵ１８は、撮像素子１６で撮像された画像のデータを用いて、公知のＡＦ演算処理や、公知の被写体検出処理（テンプレートマッチングによる被写体検出処理や顔検出処理など）を実行する。

また、ＣＰＵ１８は、後述のプログラムの実行により、画像処理部２５、画像選択部２６、合焦度算出部２７、距離推測部２８として機能する。ここで、上記の画像処理部２５は、Ａ／Ｄ変換後の撮像画像に各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す。なお、画像選択部２６、合焦度算出部２７、距離推測部２８の動作についてはいずれも後述する。

第１メモリ１９は、揮発性の記憶媒体（ＳＤＲＡＭなど）で構成されており、ＣＰＵ１８による画像処理の前工程や後工程で画像のデータを一時的に記憶する。また、第２メモリ２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２０には、ＣＰＵ１８によって実行される各種のプログラムが記憶される。このプログラムによる撮影モードでの動作例については後述する。

メディアＩ／Ｆ２１は、不揮発性の記憶媒体２９を着脱可能に接続できる。そして、メディアＩ／Ｆ２１は、記憶媒体２９に対して撮像画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２９の一例としてメモリカードを図示する。

通信Ｉ／Ｆ２２は、有線または無線の公知の通信回線を介して接続された外部装置（コンピュータなど）とのデータ送受信を、所定の通信規格に準拠して制御する。

モニタ２３は、ＣＰＵ１８の制御によって、撮像画像の再生表示を行う。また、レリーズ釦２４は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。

次に、図２の流れ図を参照しつつ、一の実施形態の電子カメラ１１での撮影モードの動作例を説明する。図２に示す撮影モードでは、各々の撮像条件が異なる複数の撮像画像間での合焦評価値の変化量と、その撮像条件情報とに応じて、電子カメラ１１が、基準として選択された１枚の撮像画像の各位置に対応する被写体距離をそれぞれ推測する。なお、図２の流れ図の処理は、レリーズ釦２４の全押し操作に応じて、ＣＰＵ１８がプログラムを実行することで開始される。

ステップＳ１０１：ＣＰＵ１８は、それぞれ撮像条件を変化させて共通の被写体を撮像した複数の撮像画像と、その撮像条件情報とを取得する。一の実施形態でのＣＰＵ１８は、撮像光学系１２の焦点位置を変化させながら撮像素子１６を駆動させて、各々の合焦状態が異なる複数の撮像画像を連写撮影で取得する。例えば、ＣＰＵ１８は、撮像光学系１２の焦点位置を所定方向にずらしながら画像を連写撮影してもよい。このとき、上記の撮像条件情報は、各撮像画像の撮影時の焦点位置情報を示す。

なお、撮像時に撮像素子１６から出力される各々の撮像画像のデータは、ＡＦＥ１７を介して画像処理部２５で所定の画像処理を施された後、上記の撮像条件情報とともに、第１メモリ１９にそれぞれ記憶されることとなる。

ステップＳ１０２：ＣＰＵ１８の画像選択部２６は、Ｓ１０１で取得した複数の撮像画像のうちから、画面内の各領域におけるそれぞれの被写体距離を求めるときに基準とする基準画像と、各領域の合焦状態を基準画像と対比するための１以上の参照画像とを選択する。

例えば、Ｓ１０２での画像選択部２６は、Ｓ１０１の撮影前に予め行われたＡＦにおける焦点検出エリアの領域（位置）情報（画面内におけるＸＹ位置情報）に基づいて、複数の撮像画像のうちで焦点検出エリアの被写体に最もピントの合った状態の画像を基準画像に選択する。また、Ｓ１０１の撮影前にＣＰＵ１８が被写体検出処理を行っている場合、画像選択部２６は、検出対象となる被写体の領域（位置）情報（画面内におけるＸＹ位置情報）位置の情報に基づいて、検出対象の被写体に最もピントの合った状態の画像を基準画像に選択してもよい。また、画像選択部２６は、画像の色情報を用いて人物の肌領域を推定し、人物に最もピントの合った状態の画像を基準画像に選択してもよい。なお、画像選択部２６は、Ｓ１０１で取得された撮像画像のうちで最初に撮像された画像を基準画像に選択してもよい。

そして、画像選択部２６は、Ｓ１０１で取得した複数の撮像画像のうち、基準画像を除く撮像画像から参照画像を選択する。一の実施形態での画像選択部２６は、基準画像を除く全ての撮像画像をいずれも参照画像として選択するものとする。なお、画像選択部２６は、基準画像と焦点位置が前後する１組の撮像画像を参照画像としてもよい。

ステップＳ１０３：ＣＰＵ１８は、基準画像および参照画像のうちから、画像の合焦度を示す合焦評価値を求める処理対象の画像を指定する。なお、Ｓ１０３でのＣＰＵ１８は、Ｓ１０２で選択した撮像画像のすべてを処理対象として順次指定してゆくものとする。

ステップＳ１０４：ＣＰＵ１８の合焦度算出部２７は、合焦評価値の演算サブルーチンを実行し、処理対象の画像（Ｓ１０３）について画像内の各領域（位置）での合焦評価値をそれぞれ求める。

ここで、画像内の各領域とは、撮像画像を複数の領域に（ＸＹ平面上で）２次元的に分割した領域を指すものとする。各領域の最小単位としては１画素となる。なお、画像内の位置（領域）とは、その画像を撮像した撮像素子内に含まれる画素エリア（または単一の画素）の、撮像素子内でのＸＹ位置（領域）を示すものとする。

そして、合焦度算出部２７は、処理対象の画像での各領域（位置）と合焦評価値との対応関係を示す合焦評価値マップを生成する。なお、上記の合焦評価値の演算サブルーチンの内容については後述する。ただし、通常は、共通の被写体を撮影した場合でも必ず画像の位置ズレが生じるが、本題から外れるため、以下の処理では位置合わせが暗に行われた画像であるとする。

したがって、全ての処理対象の画像にわたって、合焦評価値を求める領域（位置）はいずれも共通するものとする。また、各々の合焦評価値は、画像の合焦度が高いほど高い値を示すものとする。

さらに、Ｓ１０４で合焦評価値を求めるときには、合焦度算出部２７は、画像を所定サイズのブロックで複数に分割し、各ブロック単位で合焦評価値を求めてもよい。このとき、合焦度算出部２７は、ブロック内の積分値を用いて上記の合焦評価値を求めてもよい。あるいは、合焦度算出部２７は、画像内に任意の間隔で注目画素を順次設定し、この注目画素ごとに合焦評価値を求めるようにしてもよい。このとき、合焦度算出部２７は、各々の注目画素において注目画素の位置を基準として画像内に所定の局所領域を設定し、この局所領域内の積算値を用いて上記の合焦評価値を求めてもよい。

ステップＳ１０５：ＣＰＵ１８は、Ｓ１０２で選択された処理対象となる全ての画像で合焦評価値の演算が終了したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０６に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１８はＳ１０３に戻って、Ｓ１０２で選択された未処理の画像を処理対象に指定して上記動作を繰り返す。

ステップＳ１０６：ＣＰＵ１８の距離推測部２８は、基準画像に対応する第１の合焦評価値マップと、参照画像に対応する第２の合焦評価値マップと、各々の画像の撮像情報（撮影時の焦点位置情報）とを用いて、基準画像内の各領域（位置）に対応する被写体距離をそれぞれ推測する。

具体的には、距離推測部２８は、第１の合焦評価値マップと第２の合焦評価値マップとの間で画像上の対応領域（位置）ごとに合焦評価値の差分をとって、各々の領域（位置）で合焦評価値の変化量を求める。なお、参照画像が複数存在する場合には、距離推測部２８は各々の参照画像と基準画像との間で合焦評価値の変化量を求めるものとする。

ここで、基準画像内のある領域において、注目被写体が合焦状態であって、参照画像では注目被写体がぼけているケースを考える。上記のケースでは、第１の合焦評価値マップで注目被写体に対応する領域の合焦評価値は高い値を示すが、第２の合焦評価値マップで注目被写体に対応する領域の合焦評価値は第１の合焦評価値マップと比べて非常に低い値を示す。そのため、上記のケースでは、注目被写体が対応する領域の合焦評価値の変化量は大きな値を示すこととなる。

一方、基準画像および参照画像の両方で注目被写体がぼけているケースでは、第１の合焦評価値マップおよび第２の合焦評価値マップの両方で、注目被写体に対応する領域の合焦評価値の値がいずれも小さくなる。そのため、上記のケースでは、注目被写体が対応する領域の合焦評価値の変化量は相対的に小さな値を示す。

よって、基準画像での合焦評価値が高く、参照画像では合焦評価値が大きく減少する領域（位置）は、焦点位置の移動により合焦状態から非合焦状態となった箇所と推測できる。逆に、基準画像での合焦評価値が低く、参照画像では合焦評価値が大きくなる領域（位置）は、参照画像の焦点位置で合焦状態となった箇所と推測できる。このとき、基準画像と参照画像との間で焦点位置の移動方向とその移動量とを参照すれば、注目する被写体の存在する領域が、基準画像の焦点位置を基準として前ピンまたは後ピンのいずれで、また基準画像の焦点面とどの程度離れているのかを、距離推測部２８が判定できる。

同様に、基準画像での合焦評価値が低く、参照画像との間で合焦評価値の変化量も小さい領域（位置）は、基準画像での焦点位置と参照画像での焦点位置とのいずれもが合焦面から遠い箇所と推測できる。また、基準画像での合焦評価値が高く、参照画像との間で合焦評価値の変化量が小さい領域（位置）は、基準画像での焦点位置および参照画像での焦点位置の両方でほぼ合焦状態にある箇所と推測できる。

そして、Ｓ１０６での距離推測部２８は、上記の推測結果に基づいて、基準画像内の各領域（位置）に対応する被写体距離の情報をそれぞれ生成する。例えば、距離推測部２８は、上記の合焦評価値の高さと変化量とに基づいて、基準画像の焦点位置で合焦した被写体との相対距離（またはその度数）で各々の被写体距離を表現してもよい。あるいは、距離推測部２８は、画像の各位置で合焦状態となる画像を特定し、合焦状態となる画像に対応する被写体距離の値をそのまま被写体距離の情報としてもよい。

ステップＳ１０７：ＣＰＵ１８は、Ｓ１０６で推測した被写体距離と画像内の各領域（位置）との対応関係を示す被写体距離情報を記憶媒体２９に記録する。例えば、ＣＰＵ１８は、基準画像のデータを含む画像ファイルのヘッダ領域に上記の被写体距離マップ情報を記録する。これにより、ユーザーは、被写体距離マップ情報を参照することで、基準画像内の各領域（位置）に対応する被写体距離を容易に把握できる。以上で、図２の流れ図の説明を終了する。

次に、図２のＳ１０４における合焦評価値の演算サブルーチンの例を説明する。Ｓ１０４での合焦度算出部２７は、例えば、以下のいずれかのサブルーチンを用いて撮像画像の合焦評価値マップを生成すればよい。

（合焦評価値の演算サブルーチンの動作例１）
図３は、合焦評価値の演算サブルーチンの一例を示す流れ図である。また、図４は、図３の処理の概要を示す図である。図３に示すサブルーチンでは、合焦度算出部２７が、処理対象の画像に各々の周波数特性が異なる一対のエッジ抽出処理を施すとともに、これらのエッジ抽出処理で求まる一対のエッジ量の差分を用いて合焦評価値を求める。

ステップＳ２０１：合焦度算出部２７は、処理対象の画像に第１のエッジ抽出処理を施し、抽出したエッジ成分の強度と画像での位置との対応関係を示す第１エッジ画像を生成する。一例として、Ｓ２０１での合焦度算出部２７は、以下の（Ａ１）、（Ａ２）の各処理を実行する。

（Ａ１）合焦度算出部２７は、処理対象の画像の輝度面（Ｙチャネルの画像）に対して、ガウシアン型平滑化フィルタによるフィルタ演算を行う。一例として、Ｓ２０１での合焦度算出部２７は、Ｐ（ｒ）∝ｅｘｐ（−ｒ^２／２σ^２）の平滑化フィルタを用いるものとする。なお、Ｓ２０１での平滑化フィルタの強度とフィルタ半径とに関係するパラメータσの値は任意に設定できる。この処理により、元画像（処理対象のＹチャネルの画像）からＹ成分の値が平滑化された第１ボケ画像が生成される。なお、以後、パラメータσのことを「フィルタ半径」と略して称する。

（Ａ２）合焦度算出部２７は、上記の元画像の各画素値から第１ボケ画像で対応位置にある画素値をそれぞれ減算するとともに、減算後の画素値の絶対値をとる。これにより、合焦度算出部２７は、元画像を平滑化したときに失われるエッジ成分を抽出する。なお、この（Ａ２）の処理で取得される差分の画像を第１エッジ画像と称する。

ステップＳ２０２：合焦度算出部２７は、第１のエッジ抽出処理（Ｓ２０１）での抽出結果よりも低域側の周波数成分が含まれるように、処理対象の画像に第２のエッジ抽出処理を施し、抽出したエッジ成分の強度と画像での位置との対応関係を示す第２エッジ画像を生成する。

一例として、Ｓ２０２での合焦度算出部２７は、以下の（Ｂ１）、（Ｂ２）の各処理を実行する。なお、（Ｂ１）、（Ｂ２）の各処理は、Ｓ２０１で説明した（Ａ１）、（Ａ２）の各処理にそれぞれ対応するので、重複する処理の説明は一部省略する。

（Ｂ１）合焦度算出部２７は、処理対象の画像の輝度面に対して、ガウシアン型平滑化フィルタによるフィルタ演算を行う。この処理により、元画像からＹ成分の値が平滑化された第２ボケ画像が生成される。

この（Ｂ１）の処理では、Ｓ２０１の（Ａ１）の処理と比べて、平滑化フィルタのフィルタ半径（σの値）を大きくして画像の平滑化を行う。したがって、（Ｂ１）の処理では、上記（Ａ１）の処理と比べて平滑化の度合いが強くなる。すなわち、第２ボケ画像では、第１ボケ画像と比べて高域側の周波数成分がより少なくなり、第１ボケ画像よりもエッジがなまった状態となる。

ここで、画像のピントが合っていない領域では、上記の平滑化フィルタのσの値を少し変えてもエッジ量はほとんど変化しない。一方、画像のピントが合っている領域では、平滑化フィルタのσの値を少し変えただけでもエッジ量は大きく変化する。そのため、第１エッジ抽出処理と第２エッジ抽出処理とで、平滑化フィルタのσの値を互いに近い値に設定すると、後述の特徴量の差分をとったときに合焦領域と非合焦領域とでエッジ量の変位の振る舞いが大きく異なり、合焦度の測定が比較的容易となる。一例として、第１エッジ抽出処理ではσの値を０．５とし、第２エッジ抽出処理ではσの値を０．６としてもよい。

（Ｂ２）合焦度算出部２７は、上記の元画像の各画素値から第２ボケ画像で対応位置にある画素値をそれぞれ減算するとともに、減算後の画素値の絶対値をとる。これにより、合焦度算出部２７は、元画像を平滑化したときに失われるエッジ成分を抽出する。なお、この（Ｂ２）の処理で取得される差分の画像を第２エッジ画像と称する。

この（Ｂ２）の処理では、第１ボケ画像よりも高周波成分の少ない第２ボケ画像と元画像との差分演算によってエッジ成分を抽出する。よって、第２エッジ画像には、第１エッジ画像と比べて低域側の周波数成分がより多く含まれることとなる。

ステップＳ２０３：合焦度算出部２７は、第１エッジ画像（Ｓ２０１）および第２エッジ画像（Ｓ２０２）を、それぞれ２０画素×２０画素程度のサイズのブロックに領域分割するとともに、各ブロックごとにそれぞれ特徴量を求める。例えば、合焦度算出部２７は、各エッジ画像のブロック毎にそのブロックに含まれる全画素のエッジ量を積算し、この積算値をブロックの画素数で割った値（ブロック内のエッジ量の平均値）を特徴量として算出する。これにより、各ブロックの特徴をそれぞれ１つの値で表すことができる。

ステップＳ２０４：合焦度算出部２７は、第１エッジ画像の各ブロックの特徴量と、第２エッジ画像の各ブロックの特徴量とを、対応するブロックごとに差分をとり、その変位を求める。

上記のように、画像のピントが合っていない領域では、平滑化フィルタのσの値を少しだけ変えてもエッジ量はほとんど変化しないが、画像のピントが合っている領域では、平滑化フィルタのσの値を少し変えただけでもエッジ量は大きく変化する。そのため、平滑化フィルタのフィルタ半径を小さい範囲で変化させたときの各領域におけるエッジ量の変位をみれば、領域ごとの合焦度の強弱を判定できることが分かる。

ステップＳ２０５：合焦度算出部２７は、Ｓ２０４で求めた各ブロックの特徴量の差分値を、第１エッジ画像または第２エッジ画像から求めたエッジ量を用いて正規化する。例えば、合焦度算出部２７は、上記のブロックごとの差分値を、第１エッジ画像で対応するブロックの特徴量（あるいは第２エッジ画像で対応するブロックの特徴量や、同じブロックにおける第１エッジ画像の特徴量と第２エッジ画像の特徴量との平均値）で割ればよい。そして、合焦度算出部２７は、Ｓ２０５の正規化後の値を各々のブロックの合焦量とする。

上記のＳ２０４の段階では、画像に含まれるエッジ量の値が元々大きい箇所（高輝度なので画素値が大きい箇所）でのエッジの変位と、画像に含まれるエッジ量の値が小さい箇所（低輝度なので画素値が小さい箇所）でのエッジの変位をそのまま比べると、前者の方が変位量が大きくなる可能性が高い。すなわち、画像はボケていても輝度差が大きな箇所では合焦度を高く評価してしまう可能性がある。そのため、Ｓ２０５での合焦度算出部２７は、上記のエッジ画像のエッジ量で差分値を正規化することで、画像の輝度差が合焦度に及ぼす影響を抑制している。

ステップＳ２０６：合焦度算出部２７は、Ｓ２０５で求めた全ての合焦量の平均値を求め、この平均値を合焦量の基準値として設定する。ただし、既に別の入力画像を用いて、この基準値が求めてある場合には、合焦度算出部２７は、その値を基に合焦度を求めてもよい。

ステップＳ２０７：合焦度算出部２７は、各々のブロックの合焦量（Ｓ２０５）と合焦量の基準値（Ｓ２０６）とを比較し、各ブロックの合焦評価値を求める。この比較には、例えば、合焦量と基準値との減算値または除算値を用いてもよい。これにより、合焦度算出部２７は合焦評価値マップを取得できる。そして、合焦度算出部２７は、Ｓ２０７の処理が終了すると、図２のＳ１０５の処理に復帰する。なお、異なる画像から求めたＳ２０７の合焦評価値マップを比較する場合、合焦度算出部２７は、画像間の輝度差を考慮して必要に応じて合焦評価値マップの正規化を行うものとする。

以上で、図３の流れ図の説明を終了する。図３に示すサブルーチンでは、フィルタ半径（σ）の異なる２つの平滑化フィルタを用いて２つのエッジ画像を生成するとともに、このエッジ画像間のエッジ量の差分を正規化して合焦評価値を算出する。これにより、画像内に大きな輝度差が存在する場合でも、比較的精度よく領域別合焦評価値を求めることが可能となる。

（合焦評価値の演算サブルーチンの動作例２）
図５は、合焦評価値の演算サブルーチンの他の例を示す流れ図である。また、図６は、図５の処理の概要を示す図である。この図５に示すサブルーチンは、図３、図４に示すサブルーチンの変形例であるので、重複する処理の説明については一部省略する。

ステップＳ３０１：合焦度算出部２７は、処理対象の画像に対して、各々の周波数特性が異なる一対のエッジ抽出処理を施すとともに、これらのエッジ抽出処理で求まる一対のエッジ量の差分を用いて高周波側の合焦評価値マップを生成する。このＳ３０１で合焦評価値を求める手法は、上記した図３のＳ２０１からＳ２０７までと同様の処理で行われる。

ステップＳ３０２：合焦度算出部２７は、処理対象の画像に対して、各々の周波数特性が異なる一対のエッジ抽出処理を施すとともに、これらのエッジ抽出処理で求まる一対のエッジ量の差分を用いて低周波側の合焦評価値マップを生成する。このＳ３０２で合焦評価値を求める手法も、上記した図３のＳ２０１からＳ２０７までと同様の処理で行われる。なお、Ｓ３０２での合焦度算出部２７は、２つのボケ画像を生成するときに平滑化フィルタのフィルタ半径をＳ３０１と比べてそれぞれ大きく設定する。

ここで、Ｓ３０１の処理では、Ｓ３０２と比べて平滑化フィルタのフィルタ半径が小さくなる。そのため、Ｓ３０１で求めた高周波側の合焦評価値は、細かい（高周波の）エッジ成分を拾いやすくなる反面、高い撮像感度ではノイズ成分も拾いやすくなる特性がある。一方、Ｓ３０２の処理では、Ｓ３０１と比べて平滑化フィルタのフィルタ半径が大きくなる。そのため、Ｓ３０２で求めた低周波側の合焦評価値は、ノイズ成分を拾いにくくなる反面、画像の背景のボケを拾いやすくなる特性がある。

ステップＳ３０３：合焦度算出部２７は、Ｓ３０１で求めた高周波側の合焦評価値に対して、ノイズ除去処理を実行する。例えば、合焦度算出部２７は、注目点の近傍領域における合焦評価値を積算し、この積算値が予め決められた閾値よりも小さい場合には注目点の合焦評価値をノイズの影響によるものとみなして補正する。一般に、高い撮像感度で撮像された画像を処理対象とする場合、フィルタ半径が小さい平滑化フィルタを用いて合焦評価値を求めると、ノイズ成分は多くなる。そのため、合焦度算出部２７は、高周波側の合焦評価値にノイズ除去処理を施すことで、かかるノイズの影響を抑制する。

ステップＳ３０４：合焦度算出部２７は、ノイズ除去後の高周波側の合焦評価値マップ（Ｓ３０３）から低周波側の合焦評価値マップ（Ｓ３０２）を減算し、最終的な合焦評価値マップを生成する。このＳ３０４での合焦評価値マップでは、ノイズによるエッジ成分や、画像のボケた部分のエッジ成分の影響が小さなものとなる。

そして、合焦度算出部２７は、Ｓ３０４の処理が終了すると、図２のＳ１０５の処理に復帰する。なお、異なる画像から求めたＳ３０４の合焦評価値マップを比較する場合、合焦度算出部２７は、画像間の輝度差を考慮して必要に応じて合焦評価値マップの正規化を行ってもよい。

以上で、図５の流れ図の説明を終了する。図５に示すサブルーチンでは、図３のサブルーチンと同様の手法で、高周波側および低周波側の合焦評価値を算出し、両者の差分から最終的な合焦評価値を求めている。これにより、画像内に大きな輝度差が存在する場合や、高い撮像感度で画像を撮像した場合にも、比較的精度よく領域別合焦評価値を求めることが可能となる。

（合焦評価値の演算サブルーチンの動作例３）
図７は、合焦評価値の演算サブルーチンの他の例の概要を示す図である。この図７の例では、合焦度算出部２７は、フィルタ半径σの異なる２つの平滑化フィルタの差分をとることで得られる１つの差分エッジフィルタを適用する。

まず、合焦度算出部２７は、処理対象の画像の輝度面に対し、上記の差分エッジフィルタのフィルタ演算を実行して画像の各位置でのエッジ変位量（合焦量）を求める。次に、合焦度算出部２７は、上記の各合焦量の平均値を求め、この平均値を合焦量の基準値として設定する。そして、合焦度算出部２７は、各位置での合焦量から上記の合焦量の基準値を減算し、各位置での合焦評価値を求める。これにより、合焦度算出部２７は、合焦評価値マップを取得できる。その後、合焦度算出部２７は、図２のＳ１０５の処理に復帰する。なお、異なる画像から求めた合焦評価値マップを比較する場合、合焦度算出部２７は、画像間の輝度差を考慮して必要に応じて合焦評価値マップの正規化を行ってもよい。

この図７に示すサブルーチンでは、差分エッジフィルタによってフィルタ演算を１度で済ますことができるので、図３や図５に示す処理と比べて高速に領域別合焦評価値を求めることが可能となる。

（合焦評価値の演算サブルーチンの動作例４）
図８は、合焦評価値の演算サブルーチンの他の例を示す流れ図である。図８に示すサブルーチンでは、撮像画像の各位置での画像構造を示す画像構造ベクトルの情報を用いて、合焦度算出部２７が合焦評価値を演算する。

一般的に、撮像画像内のノイズは画像の構造やエッジの方向とは無関係に存在するため、画像のノイズに起因するエッジ量は指向性のないものとなる。一方、通常の撮像画像では、画像の構造に起因して、局所領域では構造方向の画素値同士に強い相関が生じることが知られている。そして、上記の局所領域において、相関の強い方向（画像の構造が類似する方向）における画素値の差分は小さな値を示し、相関の強い方向に対して垂直方向の画素値の差分は大きな値を示す。そのため、図８に示すサブルーチンでは、上記性質を利用し、局所領域での画像構造を示す画像構造ベクトルの情報を主成分分析の手法を用いて求め、これに基づいて、撮像画像の合焦度を評価する。

ステップＳ４０１：合焦度算出部２７は、処理対象の画像に含まれる複数の画素のうちから、画像構造ベクトルを求める注目画素Ｘの位置を指定する。

ここで、一例として、Ｓ４０１での合焦度算出部２７は、処理対象の画像の全ての画素を処理対象領域とし、注目画素Ｘを処理対象領域内において順次指定するものとして説明を行う。しかし、合焦度算出部２７は、撮像画像内の所定画素からなる小領域を処理対象領域として以下の処理を行ってもよい。なお、Ｓ４０１での合焦度算出部２７は、注目画素Ｘの位置を順次指定するときには、画像内の処理対象領域の左上隅を起点として１行ずつ左から右に注目画素Ｘを順番に指定してゆくものとする。

ステップＳ４０２：合焦度算出部２７は、注目画素Ｘの位置を基準として、撮像画像内に所定の局所領域を設定する（図９参照）。この局所領域のサイズと形は任意に設定できるが、一例として、Ｓ４０２での合焦度算出部２７は、撮像画像内において注目画素を中心とした矩形の範囲（例えば９×９画素の範囲）を局所領域として設定する。

ステップＳ４０３：合焦度算出部２７は、局所領域に含まれる各画素の画素値の勾配情報を用いて、注目画素Ｘの位置での画像構造ベクトルを求める。ここでは一例として、Ｓ４０３での合焦度算出部２７は、画素値の勾配を求めるときに、処理対象の画像の輝度に着目して演算を行う。撮像画像のデータがＹＣｂＣｒ形式のものであれば、合焦度算出部２７はＹ成分の画素値の勾配を求めればよいが、撮像画像データがＲＧＢ形式の場合には、合焦度算出部２７はＲＧＢのいずれかの画素値の勾配を求めてもよく、あるいはＲＧＢからＹＣｂＣｒへ色空間変換後にＹ成分の画素値の勾配を求めればよい。

次に、Ｓ４０３での合焦度算出部２７は、主成分分析の手法を用いて、以下の要領で画像構造ベクトルを求める演算処理を行う。上記の局所領域（Ｓ４０２）内の各画素ｘ_iについて、画素値の勾配を

の固有値問題を解くことで求めることができる。但し、上記の式（２）中の「Ｃ」は、局所領域内の各画素ｘ_iにおける画素値ｆ（ｘ）を用いて下式（３）により定義される行列を示している。

なお、上記の式（３）の「Σ」は、いずれも局所領域に含まれる全画素の和を示している。

また、上記の行列Ｃは２行２列の行列であるので、上記の式（２）は２つの固有値と、２つの異なる単位固有ベクトルとをもつことが分かる。

ステップＳ４０４：合焦度算出部２７は、現在の注目画素Ｘが最後の位置（処理対象領域内の右下隅の画素）のものであるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ４０５に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、合焦度算出部２７はＳ４０１に戻って上記動作を繰り返す。なお、Ｓ４０４でのＮＯ側のループにより、撮像画像の各位置で求められた画像構造ベクトルの情報が順次生成されることとなる。

ステップＳ４０５：合焦度算出部２７は、画像構造ベクトルの情報を用いて、以下の（Ｃ）または（Ｄ）のいずれかの手法（あるいは両者の組み合わせ）によって、撮像画像の各位置での合焦評価値Ｅを求める。なお、合焦度算出部２７は、Ｓ４０５の処理が終了すると図２のＳ１０５の処理に復帰する。

（Ｃ）合焦度算出部２７は、各注目画素の位置における画像構造ベクトルの強度を示す固有値λ_s（Ｓ４０３で求まったもの）から、撮像画像の各位置での合焦評価値を求める。これにより、合焦度算出部２７は合焦評価値マップを取得できる。

ここで、上記の固有値λ_sは画像の構造の指向強度を２乗した量となっているので、固有値λ_sの２重根を合焦評価値とすることが好ましい。また、固有値λ_sは局所領域内の画素数に比例する値であるため、局所領域内の画素数で平均化することが好ましい。そのため、合焦度算出部２７は、以下の式（４）により、各々の注目画素Ｘごとに合焦評価値Ｅを演算する。

なお、式（４）の「Ｎ」は、局所領域内の画素数を示している。また、上記の画像構造ベクトルの強度が大きくなるほど画像の合焦度はより高くなることを示す。したがって、注目画素の位置での画像の合焦度が高い程上記の合焦評価値Ｅの値も高くなる。

また、画像構造ベクトルの強度から合焦評価値Ｅを求める場合、上記の固有値λ_sは画像の輝度値の影響を受けることとなる。そのため、それぞれ輝度の異なる複数の撮像画像間で固有値λ_sに基づく合焦評価値Ｅを比較する場合には、合焦度算出部２７は合焦評価値Ｅを正規化する必要が生じる。一例として、合焦度算出部２７は、任意の処理対象の画像における画像構造ベクトルの固有値λ_sの最大値λ_maxを求めるとともに、全ての処理対象の画像において画像構造ベクトルの固有値λ_sをそれぞれ上記の最大値λ_maxで除して正規化すればよい。

（Ｄ）合焦度算出部２７は、隣接する注目画素間における画像構造ベクトルの方向の相関に基づいて、撮像画像の各位置での合焦評価値Ｅを求める。これにより、合焦度算出部２７は合焦評価値マップを取得できる。

画像内で合焦状態にある被写体については、画像における構造の相関が高くなることから、注目画素とその周囲の画素との画像構造ベクトルはそれぞれ同じ方向に向きやすくなる。一方、画像内でピントが合っていない被写体については、画像がボケて構造の指向性が失われてしまい、合焦状態と比べると画像構造ベクトルの向きは不均一なものとなる。そのため、隣接する注目画素間での画像構造ベクトルの方向の相関をみれば、画像の各位置での合焦度を評価できることが分かる。

なお、注目画素間での固有単位ベクトルの内積から合焦評価値Ｅを求めた場合には、合焦評価値Ｅは画像の輝度値に影響されないので、撮像画像間で合焦評価値Ｅの正規化を行う必要はない。

以上で、図８の流れ図の説明を終了する。図８に示すサブルーチンでは、画像構造ベクトルの強度や画像構造ベクトルの方向の相関に基づいて、合焦度算出部２７が撮像画像の合焦評価値を求める。上記の画像構造ベクトルは、局所領域内における画素値の勾配から主成分分析の手法を用いて求めるので、方向性のないノイズによる勾配成分から上記の画像構造ベクトルへのノイズの影響は非常に小さなものとなる。そのため、図８に示すサブルーチンでは、画像の合焦度を高い精度で求めることが可能となる。

以上に述べたように、一の実施形態の電子カメラ１１は、撮像光学系１２の焦点位置を変化させて撮像した画像間の合焦評価値の変化量と、その焦点位置情報とを用いて、撮像画像の各位置に対応する被写体距離を推測する。そのため、一の実施形態では、撮像画像内で焦点検出エリアに対応していない領域においても、電子カメラ１１は被写体距離の情報を容易に得ることができる。

＜一の実施形態の変形例の説明＞
上記の一の実施形態のＳ１０１において、ＣＰＵ１８は、撮像条件の焦点位置を固定し、絞り値（絞り１４の開口度）を各フレームで変化させて、被写界深度が異なる複数の撮像画像を取得してもよい。この場合にも、撮像光学系１２の焦点位置を変化させた場合と同様に、電子カメラ１１は、画像間の合焦評価値の変化量と、撮像情報（焦点位置と絞り値）に応じて各位置の被写体距離を求めることができる。

また、この変形例でのＣＰＵ１８は、Ｓ１０１の処理前に予めＡＦを行って主要被写体にピントを合わせておくとともに、レリーズ釦２４の全押しに応じて絞り値を所定のステップで変化させながら複数の撮像画像を取得すればよい。

＜他の実施形態の説明＞
図１０は、他の実施形態に係る画像処理装置の構成例を示すブロック図である。他の実施形態では、コンピュータに画像処理プログラムを実行させることで画像処理装置の機能を実現する。よって、他の実施形態の構成においても、上述の一の実施形態（およびその変形例）とほぼ同様の効果を奏することができる。

画像処理装置を構成するコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。

データ読込部３２は、撮像画像のデータや、画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置（電子カメラ１１など）と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。

記憶装置３３は、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータとを記憶する。また、記憶装置３３には、データ読込部３２から取得した撮像画像のデータを記録することもできる。なお、他の実施形態での記憶装置３３は、ハードディスクや、不揮発性の半導体メモリなどで構成される。

ＣＰＵ３４は、コンピュータ３１の各部動作を統括的に制御するプロセッサである。他の実施形態では、ＣＰＵ３４が画像処理プログラムを実行することで、一の実施形態でのＣＰＵ１８、画像処理部２５、画像選択部２６、合焦度算出部２７、距離推測部２８の各動作がソフトウェア的に実現される。また、メモリ３５は、画像処理プログラムの演算結果などを一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭなどで構成される。

ここで、他の実施形態のコンピュータ３１で撮像画像から被写体距離の情報を求める場合、それぞれ撮像条件（レンズの焦点位置または絞り値）の異なる複数の撮像画像を、予め電子カメラ１１で撮影しておく。そして、コンピュータ３１は、撮像画像のデータと、その撮像条件の情報とを対応付けした画像ファイルをデータ読込部３２から読み込むことで、一の実施形態と同様の処理を行うことが可能となる。

＜実施形態の補足事項＞
（１）一の実施形態のＣＰＵ１８は、Ｓ１０６で求めた各位置の被写体距離の情報をモニタ２３に表示してもよい。あるいは、一の実施形態のＣＰＵ１８は、各位置の被写体距離に応じて画像内の被写体をグループ化し、基準画像の領域分割処理を行ってもよい。

（２）一の実施形態のＣＰＵ１８は、撮像光学系１２の焦点位置の移動に応じて、画像間の倍率調整処理を行うようにしてもよい。

（３）上記実施形態で説明した画像処理装置はあくまで一例であり、本発明を実施するときには、上記実施形態および変形例に示す構成やその処理の順序についてあらゆる組み合わせをとることができる。例えば、画像処理装置は、各画像の合焦評価値をそれぞれ演算した後に、その演算結果を用いて基準画像および参照画像を選択してもよい。

（４）本発明のプログラムを実行する装置は、上記実施形態の電子カメラ１１やコンピュータ３１の例に限定されることなく、カメラ付携帯電話や画像のビューアなどの電子機器にも広く適用できる。

（５）上記の各実施形態では、画像選択部２６、合焦度算出部２７および距離推測部２８の各機能をプログラムでソフトウェア的に実現する例を説明したが、これらの処理をＡＳＩＣを用いてハードウエア的に実現しても勿論かまわない。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…電子カメラ、１２…撮像光学系、１３…レンズ駆動部、１４…絞り、１５…絞り駆動部、１６…撮像素子、１８…ＣＰＵ、２６…画像選択部、２７…合焦度算出部、２８…距離推測部、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ

特開２００５−３８０８３号公報

Claims (6)

1. レンズの焦点位置および絞り値の一方の撮像条件をそれぞれ変化させて共通の被写体を撮像した複数の撮像画像を取得する画像取得部と、
   前記複数の撮像画像のうちから、基準画像と、該基準画像と異なる１以上の参照画像とを選択する画像選択部と、
   前記基準画像および前記参照画像を対象として、画像の合焦度を示す合焦評価値を、前記対象の各画像内における複数の領域毎に求める合焦度算出部と、
   前記基準画像に対応する第１の撮像条件の情報および前記参照画像に対応する第２の撮像条件の情報を用いて、前記各領域において得られた、前記基準画像から求まる複数の第１合焦評価値と前記参照画像から求まる複数の第２合焦評価値との間の変化量とに応じて、前記基準画像の各領域に対応する被写体距離を推測する距離推測部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像選択部は、焦点検出エリアの位置情報、焦点検出エリアのピント判定情報、撮像画像を画像解析した結果に基づいて検出された被写体の検出位置の情報、画像の色情報のうち、少なくとも１つの情報を用いて、前記基準画像を選択することを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記合焦度算出部は、互いの周波数特性が異なる一対のエッジ抽出処理を前記対象の画像に施すとともに、該エッジ抽出処理で求まる一対のエッジ量の差分を用いて、前記対象の画像の各領域で前記合焦評価値を求めることを特徴とする画像処理装置。
4. 請求項１から請求項３のいずれか１項に記載の画像処理装置において、
   前記合焦度算出部は、前記対象の画像の各領域での画像構造を示す画像構造ベクトルをそれぞれ求めるとともに、前記画像構造ベクトルの情報を用いて、前記対象の画像の各領域で前記合焦評価値を求めることを特徴とする画像処理装置。
5. 被写体を撮像して撮像画像を生成する撮像部と、
   請求項１から請求項４のいずれか１項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
6. レンズの焦点位置および絞り値の一方の撮像条件をそれぞれ変化させて共通の被写体を撮像した複数の撮像画像を取得する画像取得処理と、
   前記複数の撮像画像のうちから、基準画像と、該基準画像と異なる１以上の参照画像とを選択する画像選択処理と、
   前記基準画像および前記参照画像を対象として、画像の合焦度を示す合焦評価値を、前記対象の各画像内における複数の領域毎に求める合焦度算出処理と、
   前記基準画像に対応する第１の撮像条件の情報および前記参照画像に対応する第２の撮像条件の情報を用いて、前記各領域において得られた、前記基準画像から求まる複数の第１合焦評価値と前記参照画像から求まる複数の第２合焦評価値との間の変化量とに応じて、前記基準画像の各領域に対応する被写体距離を推測する距離推測処理と、
   をコンピュータに実行させることを特徴とするプログラム。
   

Images