JP5003406B2 - 合焦測定装置、合焦測定方法およびプログラム - Google Patents

Description

本発明は、電子カメラ等の撮像装置のオートフォーカスや撮像された画像におけるピントの合っている度合いを示す合焦レベルを評価する合焦測定装置、合焦測定方法およびプログラムに関する。

従来、ピントが合っているか否かの判定は、画像全領域またはオートフォーカス選択領域のような特定領域における画像のコントラストに基づいて行われる。即ち、コントラストが高いほどピントが合っており、低いほどピントがずれていると判定される。

特許文献１では、画像の特定領域における高周波成分を抽出して積算する。その積算値を、特定領域におけるコントラストを示す評価値として用いピントが合っているか否かの判定を行うことを開示している。

特許文献２では、画像の特定領域において遮断周波数の異なる２つの高周波成分をそれぞれ抽出する。２つの高周波成分から算出される評価値に基づいて、撮像装置の撮像レンズの移動速度をピントの合っている位置からのずれ幅に応じて適宜変えることで、ピントの合っている位置に収束する収束時間を向上させることを開示している。
特許第３８４０７２５号公報 特開平１０−２２１５９４号公報

しかしながら、特許文献１や特許文献２のような手法では、近年の高ＩＳＯ感度化された撮像素子で撮像した画像において、撮像素子の画素からのスパイク状等のノイズを画像の高周波成分として解してしまい、画像の合焦測定が正確に行うことができない。

上記従来技術が有する問題に鑑み、本発明の目的は、高ＩＳＯ感度の画像の合焦レベルの測定に対しても正確に合焦測定できる技術を提供することにある。

第１の発明に係る合焦測定装置は、撮像した画像を取得する画像入力部と、画像に対して周波数特性の異なる１対のフィルタをそれぞれ用いて第１のボケ画像群を生成する第１のフィルタ部と、画像に対して第１のフィルタ部における１対のフィルタより低周波数側の周波数特性を持ち各々相異なる１対のフィルタをそれぞれ用いて第２のボケ画像群を生成する第２のフィルタ部と、画像の複数の箇所における、画像と第１のボケ画像群の各々とからそれぞれ抽出される１対の特徴量に基づいてピントの合っている度合いを示す第１の合焦量を算出する第１の合焦演算部と、画像の複数の箇所における、画像と第２のボケ画像群の各々とからそれぞれ抽出される１対の特徴量に基づいて第２の合焦量を算出する第２の合焦演算部と、第１の合焦量および第２の合焦量に基づいて画像の複数の箇所における合焦レベルを測定する測定部とを備えることを特徴とする。

第２の発明は、第１の発明において、第１の合焦量は、画像と第１のボケ画像群の各々とからそれぞれ抽出される１対の特徴量の差分、または差分をいずれか一つの画像の特徴量または画像の特徴量の平均値で割った値であり、第２の合焦量は、画像と第２のボケ画像群の各々とからそれぞれ抽出される１対の特徴量の差分、または差分をいずれか一つの画像の特徴量または画像の特徴量の平均値で割った値であることを特徴とする。

第３の発明は、第１の発明または第２の発明において、画像と第１のボケ画像群または第２のボケ画像群とからそれぞれ抽出される画像の特徴量は、画像のエッジ量の平均値、絶対値の平均値または分散値であることを特徴とする。

第４の発明は、第１の発明ないし第３の発明のいずれかにおいて、第１のフィルタ部は、周波数特性の各々を撮像素子のＩＳＯ感度に応じて変える第１の周波数特性調節部をさらに備え、第２のフィルタ部は、低周波側の周波数特性の各々を撮像素子のＩＳＯ感度に応じて変える第２の周波数特性調節部をさらに備えることを特徴とする。

第５の発明は、第１の発明ないし第３の発明のいずれかにおいて、第１のフィルタ部は、第１の合焦量に対してノイズ成分の除去を行うノイズ除去部をさらに備えることを特徴とする。

第６の発明は、第１の発明において、画像の複数の箇所のうち画像の所定の領域内にある箇所の各々にて算出された第１の合焦量および第２の合焦量から合焦レベルの第１の基準値および第２の基準値を算出する基準値演算部をさらに備え、測定部は、画像の複数の箇所における合焦レベルの測定を第１の合焦量の第１の基準値に対する値の大きさおよび第２の合焦量の第２の基準値に対する値の大きさに基づいて行う基準値測定部をさらに備えることを特徴とする。

第７の発明は、第６の発明において、測定部は、同一の撮像装置で撮像した他の画像の合焦レベルの測定に対しても第１の基準値および第２の基準値を用いるために保持する基準値記憶部をさらに備えることを特徴とする。

第８の発明は、第６の発明において、所定の領域は画像全領域であることを特徴とする。

第９の発明は、第６の発明において、所定の領域は撮影時のオートフォーカス選択領域であることを特徴とする。

第１０の発明は、第１の発明ないし第９の発明のいずれかにおいて、測定部は、第１の合焦量および第２の合焦量の各々のレベル調節を行うレベル調節部をさらに備え、第１の合焦量と第２の合焦量との差分に基づいて画像の複数の箇所における合焦レベルを測定することを特徴とする。

第１１の発明に係る合焦測定方法は、撮像した画像に対して周波数特性の異なる１対のフィルタをそれぞれ用いて第１のボケ画像群を生成する工程と、画像に対して第１のフィルタ部における１対のフィルタより低周波数側の周波数特性を持ち各々相異なる１対のフィルタをそれぞれ用いて第２のボケ画像群を生成する工程と、画像の複数の箇所における、画像と第１のボケ画像群の各々とからそれぞれ抽出される１対の特徴量に基づいてピントの合っている度合いを示す第１の合焦量を算出する工程と、画像の複数の箇所における、画像と第２のボケ画像群の各々とからそれぞれ抽出される１対の特徴量に基づいて第２の合焦量を算出する工程と、第１の合焦量および第２の合焦量に基づいて画像の複数の箇所における合焦レベルを測定する工程とを備えることを特徴とする。

第１２の発明に係るプログラムは、第１の発明ないし第１０の発明のいずれかの合焦測定装置として、コンピュータを機能させる。

本発明によれば、周波数特性の異なる１対のボカシフィルタから成る２つの組み合わせを用い、高ＩＳＯ感度の画像に対して合焦レベルを正確に測定することが可能となる。

≪第１の実施形態≫
図１は、本発明の第１の実施形態に係る電子カメラ１０の構成図である。電子カメラ１０は、撮像レンズ１、撮像素子２、Ａ／Ｄ変換部３、バッファメモリ４、記憶部５、レンズ駆動部６、ＣＰＵ７、操作部材８およびモニタ９から構成される。撮像レンズ１のレンズ駆動部６と撮像素子２とは、ＣＰＵ７とそれぞれ接続されている。一方、バッファメモリ４、記憶部５、ＣＰＵ７、操作部材８およびモニタ９は、バス１１を介して情報伝達可能に接続されている。

被写体からの光は、撮像レンズ１によって撮像素子２の撮像面に結像される。撮像素子２は、ＣＰＵ７の指示に従って撮像する。撮像素子２は、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができる。

Ａ／Ｄ変換部３は、撮像素子２からの画像信号の出力に対してＡ／Ｄ変換を行い、画像のデジタル信号を出力する。

バッファメモリ４は、撮像素子２が撮像してＡ／Ｄ変換された被写体像の画像を一時的に格納し保持する。

レンズ駆動部６は、ＣＰＵ７の指示に基づいて撮像レンズ１をピントの合う最適な位置に移動させる。

記憶部５は、バッファメモリ４に保持された画像を、ＣＰＵ７の指示によりバス１１を介して格納する。画像は、ビットマップ形式、ｊｐｅｇ形式、ｔｉｆｆ形式等の様々な形式で保存される。また、記憶部５は、ＣＰＵ７によって実行される合焦測定プログラム等を保存する。記憶部５に保存される画像やプログラム等は、バス１１を介してＣＰＵ７から適宜参照することができる。記憶部５は、一般的なハードディスク装置や光磁気ディスク装置または脱着可能なメモリカード等の記憶装置を選択して用いることができる。

ＣＰＵ７は、記憶部５に保存されている合焦測定プログラムを実行して、バッファメモリ４または記憶部５に保存されている画像を適宜読み込み合焦測定を行う。その測定結果に基づいて、ＣＰＵ７は、撮像レンズ１をピントの合う最適な位置に移動させる指令をレンズ駆動部６に送信する。同時に、ＣＰＵ７は、その測定結果を記憶部５に保存したりモニタ９に出力する。ＣＰＵ７には、一般的なコンピュータのＣＰＵが使用できる。

操作部材８は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ７に送る。操作部材８は、例えば、撮影モード等のモード設定釦、ズーム設定釦、レリーズ釦等の操作部材を有する。

モニタ９は、撮影された画像やモード設定画面等を表示する。モニタ９には、液晶モニタ等を適宜選択して用いることができる。

次に、本第１の実施形態に係る合焦測定の手順について、図２のフローチャートを参照しながら説明する。

具体的には、ユーザが操作部材８のレリーズ釦を半押しすることにより、ＣＰＵ７に対して被写体を撮像するための合焦測定の指令が送信される。ＣＰＵ７は、記憶部５に保存する合焦測定プログラムを実行する。その結果、図２のステップＳ１０１からステップＳ１１１の処理が行われる。なお、本第１の実施形態において、電子カメラ１０が撮像しようとする被写体は、図３の人物とその背景である建物とであるとする。ピントを合わせの基準となるオートフォーカス選択領域２０を、視野の中心に設定する。

ステップＳ１０１では、ＣＰＵ７が、現位置での撮像レンズ１によって撮像素子２の撮像面に結像される被写体像を撮像素子２に撮像させる。撮像した画像は、Ａ／Ｄ変換部３を介してバッファメモリ４に保持される。ＣＰＵ７は、撮像した画像をバッファメモリ４から直接読み込む。

ステップＳ１０２では、ＣＰＵ７が、撮像した画像から２つのエッジ量を抽出する。ＣＰＵ７は、高周波数側の周波数特性を示すパラメータσの異なる２つのガウス型をしたボカシフィルタＰ（ｒ）∝ｅｘｐ（−ｒ²／２σ²）を用い、画像に対してそれぞれ平滑化処理を行いボケ画像を生成する。ＣＰＵ７は、撮像した画像と各々のボケ画像との差分を取ることにより、エッジ量の分布を示す高周波数側の２つのエッジ画像を生成する。ＣＰＵ７は、高周波数側の２つのエッジ画像を記憶部５に保持する。

なお、２つのパラメータσの値は任意に選ぶことができる。互いに近い値を選択することが好適である。その理由は、画像のピントが合っていない領域でのエッジ量は、ボカシフィルタＰのパラメータσを少し変えたとしても、エッジ量の値はほとんど変化しない。一方、画像のピントが合っている領域では、ボカシフィルタＰのパラメータσを少し変えても、エッジ量の値は大きく変化する。即ち、後述するステップＳ１０４にて求める２つのエッジ画像の差分で、エッジ量の変位を表す合焦量は、ピントが合っている領域ではそうでない領域と比べて大きな値となり、合焦レベルの測定が容易になるからである。

ただし、撮像素子２のＩＳＯ感度が高い場合には、撮像素子２の各画素からのスパイク状等のノイズによる影響が無視できない。そこで、パラメータσの選択にはある程度制限が加わる。即ち、パラメータσの値が小さすぎる場合には、ノイズを画像のエッジ量として誤って抽出する。一方、パラメータσの値が大きすぎる場合には、平滑化の効果によりノイズによる影響は目立たなくなるが、画像自信のエッジ成分までも抽出され難くなる。したがって、これらのことを考慮してパラメータσの値を決めることが重要である。本第１の実施形態では、高周波数側のパラメータσは０．７と０．８とする。

ステップＳ１０３では、ＣＰＵ７が、低周波数側の周波数特性を示すパラメータσの異なる２つのガウス型をしたボカシフィルタＰを用いて、画像に対してそれぞれ平滑化処理を行いボケ画像を生成する。ＣＰＵ７は、撮像した画像と各々のボケ画像との差分を取ることにより、エッジ量の分布を示す低周波数側の２つのエッジ画像を生成する。ＣＰＵ７は、低周波数側の２つのエッジ画像を記憶部５に保持する。本第１の実施形態では、低周波数側のパラメータσは１．５と１．６とする。

ステップＳ１０４では、ＣＰＵ７が、ステップＳ１０２およびステップＳ１０３で求めた高周波数側および低周波数側それぞれの２つのエッジ画像の差分の絶対値を算出する。そして、算出した差分の絶対値の２次元データを、例えば、３０画素×３０画素の大きさのブロック領域に分割し、ブロック領域毎にその平均値を求める。ＣＰＵ７は、算出した平均値をエッジ変位量として記憶部５に保持する。

ステップＳ１０５では、ＣＰＵ７が、ステップＳ１０４で求めた高周波数側および低周波数側のエッジ変位量のうち、オートフォーカス選択領域２０に含まれるブロック領域のエッジ変位量を用いて、オートフォーカス領域２０における高周波数側および低周波数側それぞれのエッジ変位量の平均値を求める。ＣＰＵ７は、求めた平均値を高周波数側および低周波数側それぞれのエッジ変位量の基準値として記憶部５に保持する。

ステップＳ１０６では、ＣＰＵ７が、ステップＳ１０４で求めた高周波数側および低周波数側それぞれの各ブロック領域のエッジ変位量から、ステップＳ１０５で求めた基準値を引く。ＣＰＵ７は、得られた値を、高周波数側および低周波数側それぞれにおける各ブロック領域の合焦量として記憶部５に保持する。

図４および図５は、高周波数側および低周波数側それぞれにおける、各ブロック領域における合焦量のうち、正となる値の分布を３次元的に示す。基本的に、人物のところに分布していることが分かる。しかしながら、図４の高周波数側の合焦量の分布には、人物とともに背景の建物による合焦量の分布が存在する。一方、図５の低周波数側の合焦量の分布には、人物とともに背景の空からの合焦量の分布が存在する。この背景の建物や空の合焦量は、撮像素子２の高ＩＳＯ感度のためによる撮像素子２の画素からのスパイク状等のノイズが主な原因である。次のステップＳ１０７以降において、そうしたノイズの除去を行う。なお、図４および図５の合焦量＝０となる平面において、図３のオートフォーカス選択領域２０に対応する領域を２１および２２として示す。

ステップＳ１０７では、上述したようにＣＰＵ７が、ステップＳ１０６で求めた高周波数側の各ブロック領域の合焦量のうち、撮像素子２の高ＩＳＯ感度によるノイズの影響を受けたものを除くノイズ除去を行う。

図６は、ステップＳ１０７のノイズ除去を図４に対して適用した結果を示す。図４と比較して、明らかに背景の建物におけるスパイク状の合焦量が減少していることから、それらの合焦量がノイズによるものであったことが分かる。なお、図６の合焦量＝０となる平面において、図３のオートフォーカス選択領域２０に対応する領域を２３として示す。

ステップＳ１０８では、ＣＰＵ７が、高周波数側と低周波数側との合焦量の差分を算出するために、相互間の値のレベル調整を行う。レベル調整を行った後に、ＣＰＵ７は、高周波数側と低周波数側との合焦量の差分を各ブロック領域毎に行う。こうした差分により、ステップＳ１０７におけるノイズ除去とともに、ノイズによる成分やボケた部分におけるエッジ成分を取り除くことができる。ＣＰＵ７は、求めた値を各ブロック領域の差分合焦量として記憶部５に保持する。

図７は、各ブロック領域毎に、図６の高周波数側の合焦量から図５の低周波数側の合焦量を差し引いた差分合焦量のうち、正となる値の分布を３次元的に示す。なお、図７の差分合焦量＝０となる平面において、図３のオートフォーカス選択領域２０に対応する領域を２４として示す。

ステップＳ１０９では、ＣＰＵ７が、オートフォーカス選択領域２０内の各ブロック領域における差分合焦量のうち、正値のみを積算した積算値を求める。

ステップＳ１１０では、ＣＰＵ７が、ステップＳ１０９で求めた積算値を合焦レベル判定の評価値として用い、前回求めた評価値との比較からピントが合っているか否かを判定する。ピントが合っている度合いが高いほど合焦量も大きくなることから、ステップＳ１０９で求める積算値が最大になるとき、即ち、今回の評価値と前回の評価値とが一致するとき、撮像レンズ１はピントの合う最適な位置にあることを意味する。ＣＰＵ７は、今回の評価値と前回の評価値とが一致するならば、撮像レンズ１はピントの合う最適な位置あると判断して合焦測定を終了する。ＣＰＵ７は、ピントが合ったことをユーザに知らせるために、例えば、モニタ９に記号や文字等を用いて表示する。そして、ＣＰＵ７は合焦測定を終了する。一方、一致しない場合、ステップＳ１１１（ＮＯ側）へ移行する。なお、本第１の実施形態では、測定開始直後の場合、前回の評価値はないことから、ステップＳ１０７はスキップされてステップＳ１１１へ直接移行する。

ステップＳ１１１では、ＣＰＵ７が、オートフォーカス選択領域２０における評価値が最大になるように、レンズ駆動部６を通じて撮像レンズ１の位置を移動させる。具体的には、今回の評価値＞前回の評価値の場合には、前回と同じ方向に撮像レンズ１を移動させ、今回の評価値＜前回の評価値の場合には、前回とは逆の方向に撮像レンズ１を移動させる。レンズ駆動部６が撮像レンズ１を移動させる量は、例えば、今回の評価値と前回の評価値との差分に応じて決められる。そして、ステップＳ１０１へ移行して、次の画像を撮像して合焦測定を行う。今回の評価値＝前回の評価値となるまで、ステップＳ１０１からステップＳ１１１の作業を行う。評価値が最大となったとき、ＣＰＵ７は、撮像レンズ１はピントの合う最適な位置にあると判断し合焦測定を終了する。

このように本第１の実施形態は、高周波数および低周波数側それぞれにおいて、１対のパラメータσの異なるボカシフィルタＰをそれぞれ画像に適用して合焦量を算出することにより、大きな輝度差が存在する場合や撮像素子の高ＩＳＯ感度による被写体の撮像に対して合焦レベルの正確な測定が可能となる。

また、本第１の実施形態では、ボカシフィルタＰのパラメータσを撮像素子のＩＳＯ感度に応じて調節し、高周波数側の合焦量に対してノイズ除去を行うことにより、合焦測定の精度向上を図ることが可能となる。
≪第２の実施形態≫
図８は、本発明の第２の実施形態に係る合焦測定装置３０の構成図である。第２の実施形態に係る合焦測定装置３０は、ＣＰＵ３１、メモリ３２、記憶装置３３、画像入力部３４および入出力インターフェース３６から構成される。ＣＰＵ３１、メモリ３２、記憶装置３３、画像入力部３４および入出力インターフェース３６は、バス３５を介して情報伝達可能に接続されている。さらに、入出力インターフェース３６を介して、入力装置３７と出力装置３８とが接続されている。

ＣＰＵ３１は、ユーザによる入力装置３７からの開始命令と初期設定を、入出力インターフェース３６を経由して受け、メモリ３２に保持されている合焦測定プログラムを実行する。ＣＰＵ３１は、記憶装置３３または画像入力部３４に格納されている画像データを適宜読み込み、合焦測定を行う。この合焦測定の結果は、記憶装置３３に保存され、同時に入出力インターフェース３６を介して出力装置３８に表示される。ＣＰＵ３１には、一般的なコンピュータのＣＰＵが使用できる。

メモリ３２は、合焦測定プログラムの保持、およびＣＰＵ３１が行う合焦測定に伴う途中の処理結果や各構成要素からの各種データの一時記憶に用いられる。メモリ３２には、一般的な半導体メモリを用いることができる。

記憶装置３３は、ＣＰＵ３１での処理の対象となる画像データを格納および保持する。画像データは、ビットマップ形式、ｊｐｅｇ形式、ｔｉｆｆ形式等の様々な形式で保持される。記憶装置３３に保持されたデータは、バス３５を介して、ＣＰＵ３１から適宜参照することができる。記憶装置３３には、一般的なハードディスク装置や光磁気ディスク装置、または脱着可能なメモリカード等の記憶装置を選択して用いることができる。

画像入力部３４は、処理対象となる画像データの入力を行うときに使われる。画像入力部３４には、ＵＳＢケーブルやメモリカード等の差し込み口が設けられている。そして、ＵＳＢケーブル等によって接続される機器（スキャナ、デジタルカメラやデジタルビデオ等）、または差し込み口に挿入されたメモリカード等から、合焦測定装置３０への画像入力が行われる。画像入力部３４から入力された画像データは、バス３５を介して、大容量記憶装置３３に転送及び保持されても良いし、ＣＰＵ３１によって直接読み出されても良い。

入出力インターフェース３６は、入力装置３７からの開始命令や初期設定をＣＰＵ３１に伝え、逆にＣＰＵ３１からの処理結果を出力装置３８へ送るために用いられる。

入力装置３７は、ユーザによる画像処理プログラムの実行開始指示や初期設定操作等に用いられる。入力装置３７には、一般的なキーボードやマウス等を用いることができる。

出力装置３８は、ＣＰＵ３１から送られてくる処理の途中経過やその結果を、ユーザが確認可能な情報として表示する。出力装置３８には、モニタやプリンタ等を用いることができる。

以下に、本第２の実施形態に係る合焦測定装置３０について、図９のフローチャートに沿って説明する。

具体的には、ユーザが、入力装置３７を使用して、初期設定等とともに合焦測定プログラムのコマンドを入力し開始命令を出す。入出力インターフェース３６を通じて、合焦測定装置３０のＣＰＵ３１がその命令を受け、メモリ３２に格納されている合焦判定プログラムを実行する。その結果、図９のステップＳ２０１からステップＳ２０９の処理が行われる。なお、以下の説明では、合焦測定装置３０の記憶装置３３に、複数の画像のデータが、あらかじめ記憶されていることを前提とする。

ステップＳ２０１では、ＣＰＵ３１が、１枚の画像を記憶装置３３より読み込みメモリ３２に保持する。

ステップＳ２０２では、ＣＰＵ３１が、撮像した画像から２つのエッジ量を抽出する。ＣＰＵ３１は、高周波数側の周波数特性を示すパラメータσの異なる２つのガウス型をしたボカシフィルタＰを用いて、画像に対してそれぞれ平滑化処理を行いボケ画像を生成する。ＣＰＵ３１は、撮像した画像と各々のボケ画像との差分を取ることにより、エッジ量の分布を示す高周波数側の２つのエッジ画像を生成する。ＣＰＵ３１は、高周波数側の２つのエッジ画像をメモリ３２に保持する。なお、第１の実施形態と同様に、高周波数側のパラメータσは０．７と０．８とする。

ステップＳ２０３では、ＣＰＵ３１が、ステップＳ２０２と同様の手順により、低周波数側の周波数特性を示すパラメータσの異なる２つのガウス型をしたボカシフィルタＰを用いて、画像に対してそれぞれ平滑化処理を行いボケ画像を生成する。ＣＰＵ３１は、撮像した画像と各々のボケ画像との差分を取ることにより、エッジ量の分布を示す低周波数側の２つのエッジ画像を生成する。ＣＰＵ３１は、低周波数側の２つのエッジ画像をメモリ３２に保持する。なお、第１の実施形態と同様に、低周波数側のパラメータσは１．５と１．６とする。

ステップＳ２０４では、ＣＰＵ３１が、ステップＳ２０２およびステップＳ２０３で求めた高周波数側および低周波数側それぞれの２つのエッジ画像の差分の絶対値を算出する。そして、算出した差分の絶対値の２次元データを、例えば、３０画素×３０画素の大きさのブロック領域に分割し、ブロック領域毎にその平均値を求める。ＣＰＵ３１は、算出した平均値をエッジ変位量としてメモリ３２に保持する。

ステップＳ２０５では、ＣＰＵ３１が、ステップＳ２０４で求めた高周波数側および低周波数側のエッジ変位量を用いて、画像全体におけるそれぞれのエッジ変位量の平均値を求める。ＣＰＵ３１は、求めた平均値を高周波数側および低周波数側それぞれのエッジ変位量の基準値としてメモリ３２に保持する。

ステップＳ２０６では、ＣＰＵ３１が、ステップＳ２０４で求めた高周波数側および低周波数側それぞれの各ブロック領域のエッジ変位量から、ステップＳ２０５で求めた基準値を引く。ＣＰＵ３１は、得られた値を、高周波数側および低周波数側それぞれにおける、各ブロック領域の合焦量としてメモリ３２に保持する。

ステップＳ２０７では、ＣＰＵ３１が、ステップＳ２０６で求めた高周波数側の各ブロック領域の合焦量のうち、ノイズの影響を受けたものを除くノイズ除去を行う。

ステップＳ２０８では、ＣＰＵ３１が、高周波数側と低周波数側との合焦量の差分を算出するために、相互間の値のレベル調整を行う。レベル調整を行った後に、ＣＰＵ３１は、高周波数側と低周波数側との合焦量の差分を各ブロック領域毎に行う。ＣＰＵ３１は、求めた値を各ブロック領域の差分合焦量としてメモリ３２に保持する。

ステップＳ２０９では、ＣＰＵ３１が、画像を入出力インターフェース３６を介して出力装置３８に出力する。同時に、ＣＰＵ３１は、出力装置３８に出力された画像の上に、ステップＳ２０８で求めた差分合焦量のうち、正の値となる領域をピントが合っている領域として線等で図示し、合焦判定を終了する。図１０は、ステップＳ２０１にて読み込んだ画像が図３の人物と背景の建物である場合、図７の分布に基づいて正の値となる差分合焦量の領域を破線で示したものである。
≪第３の実施形態≫
図１１は、本発明の第３の実施形態に係る合焦判定装置における処理のフローチャートである。

本第３の実施形態に係る合焦測定装置は、基本的に図８の第２の実施形態に係る合焦測定装置３０と同じであり、各構成要素の動作に関する説明は省略する。本第３の実施形態が第２の実施形態と異なる点は、連写等によって撮像された複数の画像のうち、基準となる１枚の画像の基準値に基づいて最も合焦レベルの高い画像を選択することにある。

具体的には、ユーザが、入力装置３７を使用して、初期設定等とともに合焦測定プログラムのコマンドを入力し開始命令を出す。入出力インターフェース３６を通じて、合焦測定装置３０のＣＰＵ３１がその命令を受け、メモリ３２に格納されている合焦判定プログラムを実行する。その結果、図８のステップＳ３０１からステップＳ３１２の処理が行われる。なお、以下の説明では、合焦測定装置３０の記憶装置３３に、図３の被写体を連写によって撮像した複数の画像があらかじめ保存されているとする。

ステップＳ３０１では、ＣＰＵ３１が、１枚の画像を記憶装置３３より読み込み、メモリ３２に保持する。なお、本第３の実施形態では、１枚目の画像を基準画像とする。

ステップＳ３０２では、ＣＰＵ３１が、画像から２つのエッジ量を抽出する。ＣＰＵ３１は、高周波数側の周波数特性を示すパラメータσの異なる２つのガウス型をしたボカシフィルタＰを用いて、画像に対してそれぞれ平滑化処理を行いボケ画像を生成する。ＣＰＵ３１は、撮像した画像と各々のボケ画像との差分を取ることにより、エッジ量の分布を示す高周波数側の２つのエッジ画像を生成する。ＣＰＵ３１は、高周波数側の２つのエッジ画像をメモリ３２に保持する。なお、本第１の実施形態と同様に、高周波数側のパラメータσは０．７と０．８とする。

ステップＳ３０３では、ＣＰＵ３１が、ステップＳ２０２と同様の手順により、低周波数側の周波数特性を示すパラメータσの異なる２つのガウス型をしたボカシフィルタＰを用いて、画像に対してそれぞれ平滑化処理を行いボケ画像を生成する。ＣＰＵ３１は、撮像した画像と各々のボケ画像との差分を取ることにより、エッジ量の分布を示す低周波数側の２つのエッジ画像を生成する。ＣＰＵ３１は、低周波数側の２つのエッジ画像をメモリ３２に保持する。なお、第１の実施形態と同様に、低周波数側のパラメータσは１．５と１．６とする。

ステップＳ３０４では、ＣＰＵ３１が、ステップＳ３０２およびステップＳ３０３で求めた高周波数側および低周波数側それぞれの２つのエッジ画像の差分の絶対値を算出する。そして、算出した差分の絶対値の２次元データを、例えば、３０画素×３０画素の大きさのブロック領域に分割し、ブロック領域毎にその平均値を求める。ＣＰＵ３１は、算出した平均値をエッジ変位量としてメモリ３２に保持する。

ステップＳ３０５では、ＣＰＵ３１が、ステップＳ３０４で求めた高周波数側および低周波数側のエッジ変位量のうち、オートフォーカス選択領域２０に含まれるブロック領域のエッジ変位量を用いて、オートフォーカス領域２０における高周波数側および低周波数側それぞれのエッジ変位量の平均値を求める。ＣＰＵ３１は、求めた平均値を高周波数側および低周波数側それぞれのエッジ変位量の基準値としてメモリ３２に保持する。

ステップＳ３０６では、ＣＰＵ３１が、ステップＳ３０４で求めた高周波数側および低周波数側それぞれの各ブロック領域のエッジ変位量から、ステップＳ３０５で求めた基準値を引く。ＣＰＵ３１は、得られた値を、高周波数側および低周波数側それぞれにおける各ブロック領域の合焦量としてメモリ３２に保持する。

ステップＳ３０７では、ＣＰＵ３１が、ステップＳ３０６で求めた高周波数側の各ブロック領域毎の合焦量のうち、ノイズの影響を受けたものを除くノイズ除去を行う。

ステップＳ３０８では、ＣＰＵ３１が、高周波数側と低周波数側との合焦量および基準値の差分を算出するために、相互間の値のレベル調整を行う。ここで、連写にて撮像した画像同士の比較するため、レベル調整を行うにあたり、基準画像で用いたレベル調整のパラメータの値を他の画像に対しても適用して行う。したがって、ＣＰＵ３１は、処理対象の画像が基準画像である場合には、レベル調整に用いたパラメータの値をメモリ３２に保持する。レベル調整後、ＣＰＵ３１は、高周波数側と低周波数側との合焦量の差分を各ブロック領域毎に行い、求めた値を各ブロック領域の差分合焦量としてメモリ３２に保持する。

ステップＳ３０９では、ＣＰＵ３１が、オートフォーカス選択領域２０内の各ブロック領域における差分合焦量のうち、正値のみを積算した積算値を求める。ＣＰＵ３１は、その積算値をメモリ３２に保持する。

ステップＳ３１０では、ＣＰＵ３１が、連写にて撮像した画像全てに対して処理が行われた場合には、ステップＳ３１２へ移行する。未処理の画像がまだ存在する場合には、ステップＳ３０１（ＹＥＳ側）へ移行する。ＣＰＵ３１は、連写による全ての画像に対してステップＳ３０１からステップＳ３０９の処理を行う。ＣＰＵ３１は、各々の画像の積算値をメモリ３２に保持する。

ステップＳ３１１では、ＣＰＵ３１が、メモリ３２よりステップＳ３０９で求めた連写による画像全ての積算値を読み込む。ＣＰＵ３１は、最も大きな積算値を与える画像をピントが最も合っている画像として、入出力インターフェース３６を介して出力装置３８に出力し合焦測定を終了する。
≪実施形態に関する補足事項≫
本第１の実施形態ないし本第３の実施形態では、エッジ量を、画像と各々のボケ画像との差分から求めた値としたが、本発明はこれに限定されない。例えば、エッジ量を、画像と各々のボケ画像との差分の絶対値から求めた値または分散値とすることもできる。

本第１の実施形態ないし本第３の実施形態では、エッジ変位量を、２つのエッジ画像の差分の絶対値を各ブロック領域で平均した値としたが、本発明はこれに限定されない。例えば、２つのエッジ画像の差分の絶対値を各ブロック領域で積算した値、または２つのエッジ画像の差分の各ブロック領域における平均値や積算値を、エッジ変位量として用いることができる。

第１の実施形態ないし本第３の実施形態では、合焦量を、各ブロック領域におけるエッジ変位量の平均値と基準値との差から求まる値としたが、本発明はこれに限定されない。例えば、合焦量を、ブロック領域におけるエッジ変位量の平均値を、同じブロック領域のいずれかのエッジ画像のエッジ量の平均値、またはそれらをさらに平均した値で割った値と基準値との差分から求めても良い。

なお、本第１の実施形態ないし本第３の実施形態では、各ブロック領域の大きさを３０画素×３０画素としたが、本発明はこれに限定されない。ブロック領域の大きさは、処理する画像の大きさ、処理速度、メモリ領域の大きさおよび合焦測定の精度等に応じて適宜選択することが好適である。

なお、本第１の実施形態ないし本第３の実施形態では、合焦量を求めるために、各ブロック領域におけるエッジ変位量の平均値を用いたが、本発明はこれに限定されない。各ブロック領域におけるエッジ変位量の分散値を用いても良い。

なお、本第１の実施形態ないし本第３の実施形態では、エッジ変位量の基準値は、読み込んだ画像または連写による複数の画像におけるエッジ変位量を用いて求めたが、本発明はこれに限定されない。例えば、ユーザが直接入力する値を基準値として用いることができる。

なお、本第１の実施形態ないし本第３の実施形態では、高周波数側のボカシフィルタＰのパラメータσを０．７と０．８とし、低周波数側のパラメータσは１．５と１．６としたが、本発明はこれに限定されない。合焦測定の精度等だけでなく撮像素子のＩＳＯ感度に応じて、高周波数側および低周波数側のボカシフィルタＰのパラメータσを適宜選択することが好適である。

なお、本第１の実施形態ないし本第３の実施形態では、ノイズを除去する方法として、公知である手法を適宜選択して用いることができる。

なお、本第１の実施形態ないし本第３の実施形態では、レベル調整の方法として、公知である方法を適宜選択して用いることができる。

なお、本第１の実施形態または本第３の実施形態では、オートフォーカス選択領域２０を、撮像する視野の中心付近の領域に設定したが、本発明はこれに限定されない。オートフォーカス選択領域２０は、視野の中心から外れた領域に設定されても良い。あるいは、オートフォーカス選択領域２０は、複数の領域として設定され、全ての領域を合焦測定に使用しても良いし、一部の領域を適宜選択して合焦測定に使用しても良い。

なお、本第１の実施形態または本第３の実施形態では、エッジ変位量の基準値をオートフォーカス選択領域２０内のエッジ変位量を用いて求めたが、本発明はこれに限定されない。画像の全てのエッジ変位量を用いて基準値を求めても良い。

なお、本第２の実施形態では、エッジ変位量の基準値を画像全体のエッジ変位量を用いて求めたが、本発明はこれに限定されない。例えば、オートフォーカス選択領域や任意の大きさの領域のエッジ変位量を用いて基準値を求めても良い。

なお、本第３の実施形態では、１枚目の画像を基準画像としたが、本発明はこれに限定されない。基準画像は、連写した複数の画像の中から任意に決めることができる。

なお、本発明に係る合焦測定方法における各工程を実現するためのプログラムを備え、画像の合焦レベルを測定する合焦測定装置としてコンピュータを機能させることに対しても適用可能である。

なお、本発明に係る合焦測定方法における各工程を実現するためのコンピュータプログラムを記憶する記録媒体に対しても適用可能である。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されてはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文には何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

以上説明したように、本発明は、正確な合焦レベルの算出・判定が要求される、電子カメラやビデオカメラ等の画像の画像処理装置等に応用可能な技術である。

本第１の実施形態に係る電子カメラの構成を示す図 本第１の実施形態に係る合焦測定の手順を示すフローチャート 本第１の実施形態における撮像の視野に人物と建物とが配置されていることを示す図 図３を撮像した画像の各ブロック領域のうち高周波数側の合焦量のうち正の値の分布を３次元的に示す図 図３を撮像した画像の各ブロック領域のうち低周波数側の合焦量のうち正の値の分布を３次元的に示す図 図４の高周波数側の合焦量に対してノイズ除去を行った後の新たな高周波数側の合焦量のうち正の値の分布を３次元的に示す図 図６の高周波数側と図５との差分合焦量のうち正の値の分布を３次元的に示す図 本第２の実施形態に係る合焦判定装置の構成を示す図 本第２の実施形態に係る合焦測定の手順を示すフローチャート 図３の撮像した画像において正の値となる差分合焦量の領域を線で示す図 本第３の実施形態に係る合焦測定の手順を示すフローチャート

符号の説明

１ 撮像レンズ、２ 撮像素子、３ Ａ／Ｄ変換部、４ バッファメモリ、５ 記憶部、６ レンズ駆動部、７ ＣＰＵ、８ 操作部材、９ モニタ、１０ 電子カメラ、１１ バス

Claims (12)

1. 撮像した画像を取得する画像入力部と、
   前記画像に対して周波数特性の異なる１対のフィルタをそれぞれ用いて第１のボケ画像群を生成する第１のフィルタ部と、
   前記画像に対して前記第１のフィルタ部における前記１対のフィルタより低周波数側の周波数特性を持ち各々相異なる１対のフィルタをそれぞれ用いて第２のボケ画像群を生成する第２のフィルタ部と、
   前記画像の複数の箇所における、前記画像と前記第１のボケ画像群の各々とからそれぞれ抽出される１対の特徴量に基づいてピントの合っている度合いを示す第１の合焦量を算出する第１の合焦演算部と、
   前記画像の複数の箇所における、前記画像と前記第２のボケ画像群の各々とからそれぞれ抽出される１対の特徴量に基づいて第２の合焦量を算出する第２の合焦演算部と、
   前記第１の合焦量および第２の合焦量に基づいて前記画像の複数の箇所における合焦レベルを測定する測定部と、
   を備えることを特徴とする合焦測定装置。
2. 請求項１に記載の合焦測定装置において、
   前記第１の合焦量は、前記画像と前記第１のボケ画像群の各々とからそれぞれ抽出される前記１対の特徴量の差分、または前記差分をいずれか一つの前記画像の特徴量または前記画像の特徴量の平均値で割った値であり、
   前記第２の合焦量は、前記画像と前記第２のボケ画像群の各々とからそれぞれ抽出される前記１対の特徴量の差分、または前記差分をいずれか一つの前記画像の特徴量または前記画像の特徴量の平均値で割った値である
   ことを特徴とする合焦測定装置。
3. 請求項１または請求項２に記載の合焦測定装置において、
   前記画像と前記第１のボケ画像群または前記第２のボケ画像群とからそれぞれ抽出される画像の特徴量は、画像のエッジ量の平均値、絶対値の平均値または分散値であることを特徴とする合焦測定装置。
4. 請求項１ないし請求項３のいずれかに記載の合焦測定装置において、
   前記第１のフィルタ部は、
   前記周波数特性の各々を撮像素子のＩＳＯ感度に応じて変える第１の周波数特性調節部をさらに備え、
   前記第２のフィルタ部は、
   前記低周波数側の周波数特性の各々を撮像素子のＩＳＯ感度に応じて変える第２の周波数特性調節部をさらに備える
   ことを特徴とする合焦測定装置。
5. 請求項１ないし請求項４のいずれかに記載の合焦測定装置において、
   前記第１のフィルタ部は、
   前記第１の合焦量に対してノイズ成分の除去を行うノイズ除去部をさらに備える
   ことを特徴とする合焦測定装置。
6. 請求項１に記載の合焦測定装置において、
   前記画像の複数の箇所のうち前記画像の所定の領域内にある前記箇所の各々にて算出された前記第１の合焦量および前記第２の合焦量から合焦レベルの第１の基準値および第２の基準値を算出する基準値演算部をさらに備え、
   前記測定部は、
   前記画像の複数の箇所における合焦レベルの測定を前記第１の合焦量の前記第１の基準値に対する値の大きさおよび前記第２の合焦量の前記第２の基準値に対する値の大きさに基づいて行う基準値測定部をさらに備える
   ことを特徴とする合焦測定装置。
7. 請求項６に記載の合焦測定装置において、
   前記測定部は、
   同一の撮像装置で撮像した他の画像の合焦レベルの測定に対しても前記第１の基準値および前記第２の基準値を用いるために保持する基準値記憶部をさらに備える
   ことを特徴とする合焦測定装置。
8. 請求項６に記載の合焦測定装置において、
   前記所定の領域は画像全領域であることを特徴とする合焦測定装置。
9. 請求項６に記載の合焦測定装置において、
   前記所定の領域は撮影時のオートフォーカス選択領域であることを特徴とする合焦測定装置。
10. 請求項１ないし請求項９のいずれかに記載の合焦測定装置において、
    前記測定部は、
    前記第１の合焦量および前記第２の合焦量の各々のレベル調節を行うレベル調節部をさらに備え、
    前記第１の合焦量と前記第２の合焦量との差分に基づいて前記画像の複数の箇所における合焦レベルを測定することを特徴とする合焦判定装置。
11. 撮像した画像に対して周波数特性の異なる１対のフィルタをそれぞれ用いて第１のボケ画像群を生成する工程と、
    前記画像に対して前記第１のフィルタ部における前記１対のフィルタより低周波数側の周波数特性を持ち各々相異なる１対のフィルタをそれぞれ用いて第２のボケ画像群を生成する工程と、
    前記画像の複数の箇所における、前記画像と前記第１のボケ画像群の各々とからそれぞれ抽出される１対の特徴量に基づいてピントの合っている度合いを示す第１の合焦量を算出する工程と、
    前記画像の複数の箇所における、前記画像と前記第２のボケ画像群の各々とからそれぞれ抽出される１対の特徴量に基づいて第２の合焦量を算出する工程と、
    前記第１の合焦量および第２の合焦量に基づいて前記画像の複数の箇所における合焦レベルを測定する工程と、
    を備えることを特徴とする合焦測定方法。
12. 請求項１ないし請求項１０のいずれかに記載の合焦測定装置として、コンピュータを機能させるためのプログラム。
    

Images