JP5850365B2 - 画像処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、焦点の異なる複数の画像データから、全焦点画像データを生成する画像処理プログラムおよび画像処理装置に関する。

一般的に、撮影位置から異なる距離にある複数の被写体をカメラ等で撮影する場合、合焦する領域と合焦しない領域とが混在した画像データが撮影されることが知られている。全ての被写体に合焦した全焦点画像データを、一度の撮影で生成することは不可能である。そこで、従来、焦点画像データを生成する様々な方法が提案されている。

例えば、近年、ウェーブレット変換を利用して全焦点画像データを合成する方法が開発され、この方法により、雑音成分を低減し、画質が向上することが知られている（特許文献１および特許文献２参照）。

例えば特許文献１に記載の方法は、フォーカス距離の異なる対象画像をそれぞれウェーブレット分解する。さらに特許文献１に記載の方法は、得られたそれぞれのウェーブレット係数を、同一位置で比較して、最大スペクトル振幅を検知し、検知された最大スペクトル振幅を用いて、逆ウェーブレット変換することにより、合成画像を作成する。

また特許文献２に記載の方法は、特許文献１と同様に、フォーカス距離の異なる対象画像をそれぞれウェーブレット分解する。さらに特許文献２に記載の方法は、ウェーブレット分解で得られた複数の異なる解像度レベルでの表現値集合のテクスチャ特徴量を計算する。このテクスチャ特徴量により、最も鮮明な領域が判定および抽出され、抽出した領域を結合することにより、特許文献２に記載の方法は、全焦点画像を生成する。

特許文献３も、全焦点画像を生成する方法を開示する。特許文献３に記載の方法は、広域通過特性を有する近景用の第１フィルタおよび遠景用の第２のフィルタを利用する。特許文献３に記載の方法は、近景に合焦した画像と遠景に合焦した画像とを、第１および第２のフィルタでバランス良く高域成分を抽出し足し合わせることで、全焦点画像を取得する。

特開平６−２４３２５０号公報 特開２００５−２０２９０７号公報 特開２００１−２２３８７４号公報

しかしながら、従来の方法では十分に鮮明な全焦点画像を得られる訳ではない。従来の方法では、画像のぼけの度合いを考慮せず、画素毎に鮮明画像の画素値を抽出したり、あるいは固定サイズのマスク毎に鮮明画像の画素値を抽出したりし、これにより、鮮明画像データを生成する。

ここで、同一被写体を撮影した焦点の異なる２つの画像データにおいて、その撮影領域は異なる。例えば、近景の被写体は、遠景の合焦画像においてぼけて撮影される。従って近景の合焦画像と遠景の合焦画像において、近景の被写体は、近景の合焦画像よりも、遠景の合焦画像において広い領域に撮影される。

しかしながら従来の方法では、焦点の違いにより被写体が撮影される領域が異なることを考慮していないので、合成後の画像の一部に、ぼけが残留する場合がある。具体的には、従来の方法では、遠景の合焦画像における近景の被写体のエッジを、より鮮明な画像であると判断して採用する場合がある。これにより、近景の合焦画像における近景の被写体の周囲に、遠景の合焦画像における近景の被写体のデータが残る場合がある。

このように従来の方法では、全ての領域で焦点の合った鮮明画像を得ることができなかった。

従って本発明の目的は、焦点の異なる複数の画像から鮮明画像を生成する画像処理プログラムおよび画像処理装置を提供することである。

上記課題を解決するために、本発明の第１の特徴は、焦点の異なる第１の画像データおよび第２の画像データとから、鮮明画像データを生成する画像処理プログラムに関する。即ち第１の特徴に係る画像処理プログラムは、コンピュータを、焦点の異なる第１の画像データおよび第２の画像データと、全ての領域でぼけたぼけ画像データとを記憶する記憶手段と、所定の画素について、第１の画像データにおける当該画素を含む所定領域の画素値と、第２の画像データにおける当該画素を含む所定領域の画素値との差分に基づいて、当該所定の画素のぼけ量を算出し、ぼけ量が大きい場合は大きく、ぼけ量が小さい場合は小さいマスクサイズを決定するマスクサイズ決定手段と、当該画素を含み、マスクサイズ決定手段で決定されたマスクサイズの領域において、第１の画像データおよび第２の画像データのうち、ぼけ画像データの画素値とより乖離した画素値を有する画像データを特定し、特定された画像データの当該画素の画素値を、鮮明画像データの当該画素の画素値として、鮮明画像データを生成する鮮明画像生成手段として機能させる。

ここで、各画素の画素値は、ＲＧＢ毎の画素値を含み、マスクサイズ決定手段は、第１の画像データにおける当該画素を含む所定領域の画素値と、第２の画像データにおける当該画素を含む所定領域の画素値について、当該所定領域に、ＲＧＢの全ての画素値の差分が所定の閾値より大きい画素が多く含まれている場合にぼけ量が大きくなり、ＲＧＢの全ての画素値の差分が所定の閾値より少ない画素が多く含まれている場合にぼけ量が小さくなるように、ぼけ量を算出しても良い。

コンピュータをさらに、第１の画像データおよび第２の画像データの対応する画素の画素値を加算した後、横方向に隣接する画素値の加算を複数回繰り返すとともに、縦方向に隣接する画素の画素値の加算を複数回繰り返してぼけ画像データを生成するぼけ画像生成手段として機能させても良い。

本発明の第２の特徴は、焦点の異なる第１の画像データおよび第２の画像データとから、鮮明画像データを生成する画像処理方法に関する。即ち本発明の第２の特徴に係る画像処理方法は、焦点の異なる第１の画像データおよび第２の画像データと、全ての領域でぼけたぼけ画像データとを記憶するステップと、所定の画素について、第１の画像データにおける当該画素を含む所定領域の画素値と、第２の画像データにおける当該画素を含む所定領域の画素値との差分に基づいて、当該所定の画素のぼけ量を算出し、ぼけ量が大きい場合は大きく、ぼけ量が小さい場合は小さいマスクサイズを決定するステップと、当該画素を含み、決定されたマスクサイズの領域において、第１の画像データおよび第２の画像データのうち、ぼけ画像データの画素値とより乖離した画素値を有する画像データを特定し、特定された画像データの当該画素の画素値を、鮮明画像データの当該画素の画素値として、鮮明画像データを生成するステップを備える。

本発明によれば、焦点の異なる複数の画像から鮮明画像を生成する画像処理プログラムおよび画像処理装置を提供することができる。

図１は、本発明の実施の形態に係る画像処理装置のハードウェア構成と機能ブロックを説明する図である。 図２（ａ）は、対象物に焦点のあった近景合焦画像を模式的に説明する図であって、図２（ｂ）は、背景に焦点のあった遠景合焦画像を模式的に説明する図である。 図３は、入力された画像データから算出されるぼけ画像との差分情報が大きい画素領域の分布を模式的に説明する図である。 図４は、ぼけ量を考慮した最適なマスクサイズを模式的に説明する図である。 図５は、マスクサイズ決定手段によるマスクサイズ決定処理を説明するフローチャートである。 図６は、ぼけ画像生成手段によるぼけ画像生成処理を説明するフローチャートである。 図７は、鮮明画像生成手段による鮮明画像生成処理を説明するフローチャートである。 図８は、第１の変形例に係る画像処理装置のハードウェア構成と機能ブロックを説明する図である。 図９は、第２の変形例に係る画像処理装置のハードウェア構成と機能ブロックを説明する図である。 図１０は、３以上の画像データから鮮明画像データを生成する際の処理を説明する図である。 図１１は、第１のテスト例において入力される近景合焦画像データである。 図１２は、第１のテスト例において入力される遠景合焦画像データである。 図１３は、図１１および図１２に示す画像データから、従来の方法で生成した鮮明画像データである。 図１４は、図１１および図１２に示す画像データから、本発明の実施の形態に係る画像処理方法で生成した鮮明画像データである。 図１５は、第２のテスト例において入力される遠景合焦画像データである。 図１６は、第２のテスト例において入力される中景合焦画像データである。 図１７は、第２のテスト例において入力される近景合焦画像データである。 図１８は、図１５ないし図１７に示す画像データから、本発明の実施の形態に係る画像処理方法で生成した鮮明画像データである。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

（実施の形態）
本発明の実施の形態に係る画像処理装置１は、焦点の異なる第１の画像データ１１および第２の画像データ１２とから、鮮明画像データ１５を生成する。画像処理装置１は、図１に示すように、本発明の実施の形態に係る画像処理プログラムを、一般的なコンピュータにインストールし実行することによって実現される。画像処理プログラムは、コンピュータに各機能を実現させる。画像処理装置１は、記憶装置１０および中央処理制御装置２０を備える。

記憶装置１０は、画像処理プログラムを記憶するとともに、第１の画像データ１１、第２の画像データ１２、画素毎マスクサイズデータ１３、ぼけ画像データ１４および鮮明画像データ１５を記憶する。中央処理制御装置２０で実現される各処理手段が、第１の画像データ１１、第２の画像データ１２、画素毎マスクサイズデータ１３、ぼけ画像データ１４および鮮明画像データ１５を、記憶装置１０に記憶する。

画像取得手段２１は、第１の画像データ１１および第２の画像データ１２を取得し、記憶装置１０に記憶する。画像取得手段２１は、例えば、デジタルカメラに内蔵されるメモリカードに記憶された第１の画像データ１１および第２の画像データ１２を、メモリカードリーダ（図示せず）を介して読み出し、記憶装置１０に記憶する。また、画像取得手段２１は、通信制御装置（図示せず）を介して、第１の画像データ１１および第２の画像データ１２を受信し、記憶装置１０に記憶する。そのほか、画像取得手段２１は、どのような方式で画像データを取得しても良い。

第１の画像データ１１および第２の画像データ１２は、同一の対象物を同じ位置から異なる焦点で撮影した画像データである。第１の画像データ１１および第２の画像データ１２は、図８を参照して説明するように、２つの画像撮影部を備え、一度の操作で異なる焦点の画像データを撮影可能な画像撮影装置で撮影されたデータであっても良い。第１の画像データ１１および第２の画像データ１２は、図９を参照して説明するように、一つの画像撮影部を備え、プログラムの制御により、一度の操作で異なる焦点の画像の画像データを連続的に撮影可能な画像撮影装置で撮影されたデータであっても良い。

第１の画像データ１１および第２の画像データ１２は、同じ構成で画素を設け、各画素の画素値として、ＲＧＢ毎の画素値を含む。第１の画像データ１１および第２の画像データ１２は、例えば、横方向に２０４８個、縦方向に１５３６個を格子状に並べたＣＣＤ（Charge Coupled Devices）で撮影された画像データである。この場合、第１の画像データ１１および第２の画像データ１２は、ＲＧＢのそれぞれの色について、２０４８＊１５３６画素値を持つ。

第１の画像データ１１および第２の画像データ１２は、同じ場所から同一の対象物を撮影するので、第１の画像データ１１の各画素で撮影される対象物の情報と、第２の画像データ１２の各画素で撮影される対象物の情報は、対応する。しかしながら、第１の画像データ１１と第２の画像データ１２とは、焦点の位置が異なるので、同一の対象物を撮影していたとしても、各画像データにおける対象物の領域の大きさが異なる。具体的には、対象物がぼけて撮影された画像データにおける領域は、対象物に合焦して撮影された画像データにおける領域より広くなる。

図２を参照して、本発明の実施の形態に係る第１の画像データ１１および第２の画像データ１２を説明する。

図２（ａ）に示す第１の画像データ１１は、対象物に焦点のあった近景合焦画像である。従って、第１の画像データ１１は、対象物に合焦し、遠景はぼやけた画像となる。図２（ａ）は、模式的に、第１の画像データ１１における対象物のエッジを、第１の対象物のエッジＥ１で表記し、対象物のエッジＥ１の範囲外を、背景Ｂ１とする。第１の画像データ１１は、対象物に合焦するので、対象物と背景Ｂ１を区切るエッジＥ１は、高周波成分で構成され、シャープな輪郭となる。

図２（ｂ）に示す第２の画像データ１２は、背景に焦点のあった遠景合焦画像である。従って、第２の画像データ１２は、遠景に合焦し、対象物はぼやけた画像となる。図２（ｂ）は、模式的に、第２の画像データ１２における対象物のエッジを第２の対象物のエッジＥ２で表記し、対象物のエッジＥ２の範囲外を、背景Ｂ２とする。第２の画像データ１２は、対象物に合焦しないので、対象物と背景Ｂ２を区切るエッジＥ２は、第１の画像データ１１に比べて低周波成分で構成され、周囲の背景と混じり、ぼやけた輪郭となる。従って図２に示すように、同一の対象物を撮影したとしても、第１の画像データ１１における対象物は、第２の画像データ１２における対象物よりも、狭い領域で表現される。

画像取得手段２１が、第１の画像データ１１および第２の画像データ１２を記憶装置１０に記憶すると、マスクサイズ決定手段２２およびぼけ画像生成手段２３による処理がそれぞれ実行される。

マスクサイズ決定手段２２は、画像データの各画素についてマスクサイズを決定する。このマスクは、鮮明画像データ１５の各画素の画素値を決定するための画像データを特定するために用いられる。

マスクサイズ決定手段２２は、所定の画素について、第１の画像データ１１における当該画素を含む所定領域の画素値と、第２の画像データ１２における当該画素を含む所定領域の画素値との差分に基づいて、当該所定の画素のぼけ量を算出する。さらにマスクサイズ決定手段２２は、ぼけ量が大きい場合は大きく、ぼけ量が小さい場合は小さいマスクサイズを決定する。より具体的にはマスクサイズ決定手段２２は、第１の画像データ１１における当該画素を含む所定領域の画素値と、第２の画像データ１２における当該画素を含む所定領域の画素値について、ぼけ量を算出する。このときマスクサイズ決定手段２２は、当該所定領域に、ＲＧＢの全ての画素値の差分が所定の閾値より大きい画素が多く含まれている場合にぼけ量が大きくなるようにぼけ量を算出する。またマスクサイズ決定手段２２は、当該所定領域に、ＲＧＢの全ての画素値の差分が所定の閾値より少ない画素が多く含まれている場合にぼけ量が小さくなるように、ぼけ量を算出する。

本発明の実施の形態に係る画像処理装置１は、図２に示すように、焦点の位置によって、画像データにおける対象物の領域が異なる点に着目する。図２に示す例において、第１の画像データ１１における対象物のエッジＥ１の大きさと、第２の画像データ１２における対象物のエッジＥ２の大きさの差異は、第１の画像データ１１と第２の画像データ１２との、ぼけ度の差異に対応する。

マスクサイズ決定手段２２は、画像データの所定の画素について、第１の画像データ１１および第２の画像データ１２から、所定の画素を中心とする所定領域の各画素のＲ、ＧおよびＧそれぞれの画素値をそれぞれ抽出する。この所定領域は、例えば、６４画素×６４画素のサイズである。

さらにマスクサイズ決定手段２２は、所定領域内の各画素について、第１の画像データ１１のＲの画素値と、第２の画像データ１２のＲの画素値との差分を算出する。同様にマスクサイズ決定手段２２は、当該画素の第１の画像データ１１のＧの画素値と、第２の画像データ１２のＧの画素値との差分を算出するとともに、当該画素の第１の画像データ１１のＢの画素値と、第２の画像データ１２のＢの画素値との差分を算出する。マスクサイズ決定手段２２は、所定領域の全ての画素のうち、ＲＧＢの全ての画素値の差分が、所定の閾値より大きい画素の数を算出する。マスクサイズ決定手段２２は、この所定領域において、ＲＧＢの全ての画素値の差分が、所定の閾値より大きい画素の数を、この所定領域の中心画素のぼけ量とする。

マスクサイズ決定手段２２は、各画素についてぼけ量を算出すると、各画素の識別子と、ぼけ量が大きいほど大きいマスクサイズを、ぼけ量が小さいほど小さいマスクサイズを対応づけて、画素毎マスクサイズデータ１３を生成する。マスクサイズ決定手段２２は、生成した画素毎マスクサイズデータ１３を、記憶装置１０に記憶する。

ぼけ画像生成手段２３は、第１の画像データ１１および第２の画像データ１２から、全ての領域でぼけたぼけ画像データ１４を生成する。ぼけ画像生成手段２３は、第１の画像データ１１および第２の画像データ１２の対応する画素の画素値を加算した後、横方向に隣接する画素値の加算を複数回繰り返す。さらにぼけ画像生成手段２３は、縦方向に隣接する画素の画素値の加算を複数回繰り返して、ぼけ画像データ１４を生成することができる。ぼけ画像生成手段２３は、記憶装置１０にぼけ画像データ１４を記憶する。

マスクサイズ決定手段２２により、画素毎のマスクサイズが決定されるとともに、ぼけ画像生成手段２３により、ぼけ画像データ１４が生成されると、鮮明画像生成手段２４は、鮮明画像データ１５を生成する。鮮明画像データ１５は、所定の画素について、画素毎マスクサイズデータ１３から、当該画素に対応づけられてマスクサイズ決定手段２２で決定されたマスクサイズを取得する。鮮明画像生成手段２４は、当該画素を含み、マスクサイズ決定手段２２で決定されたマスクサイズの領域において、第１の画像データ１１および第２の画像データ１２のうち、ぼけ画像データ１４の画素値とより乖離した画素値を有する画像データを特定する。マスクサイズ決定手段２２は、特定された画像データの当該画素の画素値を、鮮明画像データ１５の当該画素の画素値とする。全ての画素について、鮮明画像データ１５の画素値を特定して、鮮明画像データ１５を生成し、記憶装置１０に記憶する。

鮮明画像生成手段２４は、鮮明画像データ１５の所定の画素の画素値を、第１の画像データ１１の当該画素の画素値および第２の画像データ１２の当該画素の画素値のうち、いずれかとする。このとき鮮明画像生成手段２４は、第１の画像データ１１および第２の画像データ１２から、当該画素に対応づけられたマスクサイズを有する画素を中心とする領域の画素の画素値を抽出する。鮮明画像生成手段２４は、第１の画像データ１１から抽出した画素値と、第２の画像データから抽出した画素値とを比較して、よりぼけ画像データ１４との差分が大きい画素値が抽出された画像データを特定する。鮮明画像生成手段２４は、鮮明画像データ１５における当該画素の画素値を、特定した画像データにおける当該画素の画素値とする。

（マスクサイズ）
ここに、図３ないし図４を参照して、マスクサイズ決定手段２２が決定する最適なマスクサイズを説明する。

まず図３を参照して、図２に示した第１の画像データ１１および第２の画像データ１２について算出した、ぼけ画像データ１４との差分情報の画素分布を説明する。この差分情報は、所定の画素について、当該画素に対応づけられたマスクサイズ内の全ての画素のＲＧＢの値について、ぼけ画像データ１４と、第１の画像データ１１または第２の画像データ１２との差分の絶対値の総和である。この差分情報は、鮮明画像生成手段２４によって算出される。ぼけ画像データ１４と、第１の画像データ１１との差分情報は、後述する図７のステップＳ３０８で算出され、ぼけ画像データ１４と、第２の画像データ１２との差分情報は、ステップＳ３１０で算出される。図３に示す例では、この差分情報が大きい画素領域にハッチングを設けている。

ぼけ画像との差分情報が大きい領域ＡＲ１は、ぼけ画像データ１４と第１の画像データ１１との差分情報が大きい画素領域である。この領域ＡＲ１は、第１の画像データ１１における対象物のエッジＥ１の周辺に設けられる。ぼけ画像との差分情報が大きい領域ＡＲ２は、ぼけ画像データ１４と第２の画像データ１２との差分情報が大きい画素領域である。この領域ＡＲ２は、第２の画像データ１２における対象物のエッジＥ２の周辺に設けられる。ぼけ画像データにおいて対象物がぼけて大きく表示される。ぼけ画像データ１４において、鮮明な対象物のエッジの外側に、ぼけた対象物のエッジが設けられることによって、領域ＡＲ２が生じる。

このとき、第１の画像データ１１における第１の対象物のエッジＥ１の画素値は、第２の画像データ１２における第２の対象物のエッジＥ２の画素値より高周波成分が大きい。従って、エッジＥ１の周辺の領域ＡＲ１の幅は、エッジＥ２の周辺の領域ＡＲ２の幅よりも狭くなる。

図４（ａ）は、小さすぎるマスクサイズのマスクＭ１およびＭ２を用いる場合を説明する。図４（ａ）において、マスクＭ１およびＭ２のマスクサイズは、図４（ｂ）および（ｃ）と比べて小さい。マスクＭ１は、第１の対象物のエッジＥ１近傍の画素Ｐ１について、鮮明な画素値を選択する場合のマスクである。マスクＭ２は、第２の対象物のエッジＥ２近傍の画素Ｐ２について、鮮明な画素値を選択する場合のマスクである。

鮮明画像生成手段２４は、マスクＭ１の中心画素Ｐ１について、第１の対象物のエッジＥ１の高周波成分に基づいて第１の画像データ１１から鮮明な画素値を選択することができる。しかしながら、第２の対象物のエッジＥ２の近傍の画素においてぼけ画像データ１４と比較すると、第２の対象物のエッジＥ２があるため、第１の画像データ１１よりも第２の画像データ１２の方が、ぼけ画像データ１４とより乖離することになる。従って、マスクＭ２の中心画素Ｐ２について画素値を選択する際、鮮明画像生成手段２４は、第２の対象物のエッジＥ２に基づいて第２の画像データ１２から鮮明な画素値を選択してしまう。

このように小さいマスクサイズのマスクＭ１およびＭ２を用いると、エッジＥ１周辺において第１の画像データ１１から画素値を取得し、さらに、エッジＥ２周辺において第２の画像データ１２から画素値を取得して、鮮明画像データ１５を生成することになる。従って、鮮明画像データ１５において、第１の画像データ１１から取得した対象物のエッジの周辺に、さらに、第２の画像データ１２から取得した対象物の薄いエッジが表示されることになる。これにより、小さいマスクサイズを用いると、対象物のエッジが二重になる鮮明画像データが生成されてしまう。

一方、図４（ｃ）において、大きすぎるマスクサイズのマスクＭ４を用いる場合を説明する。マスクＭ４は、ぼけ画像との差分情報が大きい領域ＡＲ２より外の画素Ｐ４について、鮮明な画素値を選択する場合のマスクである。マスクサイズが大きすぎる場合、マスクＭ４内において、第２の画像データ１２のエッジＥ２より、第１の画像データ１１のエッジＥ１の影響が大きい。第２の画像データ１２よりも第１の画像データ１１の方が、第１の対象物のエッジＥ１があることにより、ぼけ画像データ１４とより乖離することになる。従って、マスクＭ４の中心画素Ｐ４について画素値を選択する際、鮮明画像生成手段２４は、第１の対象物のエッジＥ１に基づいて第１の画像データ１１から鮮明な画素値を選択してしまう。このように大きいマスクサイズのマスクＭ４を用いると、鮮明画像データ１５において、対象物以外の領域において、第１の画像データ１１の背景Ｂ１の画素を取得しやすくなる。従って、鮮明画像データ１５において、焦点の合わない背景が表示されることになる。

そこで、本発明の実施の形態に係るマスクサイズ決定手段２２は、小さすぎず、また大きすぎない、最適なマスクサイズを算出する。

図４（ｂ）は、最適なマスクサイズのマスクＭ３を用いる場合を説明する。マスクＭ４は、第２の対象物のエッジＥ２周辺の画素Ｐ３について、鮮明な画素値を選択する場合のマスクである。図４（ｂ）に示す例では、マスクＭ３内に、第１の画像データ１１のエッジＥ１と、第２の画像データ１２のエッジＥ２とが含まれる。しかしながら、第２の画像データ１２のエッジＥ２よりも、第１の画像データ１１のエッジＥ１の高周波成分の影響が大きい。第２の画像データ１２よりも第１の画像データ１１の方が、第１の対象物のエッジＥ１があるため、ぼけ画像データ１４とより乖離することになる。従って、マスクＭ３の中心画素Ｐ３について画素値を選択する際、鮮明画像生成手段２４は、第１の対象物のエッジＥ１に基づいて第１の画像データ１１から鮮明な画素値を選択する。

また、ぼけ画像との差分情報が大きい領域ＡＲ２の外側の画素について、鮮明な画素値を選択する際、マスクＭ３内に、第１の画像データ１１のエッジＥ１の領域を含まない。従ってマスクＭ３の中心画素が対象物の外側の場合、鮮明画像生成手段２４は、第２の画像データ１２から鮮明な画素値を選択する。

このように、最適なマスクサイズのマスクＭ３によれば、対象物の周囲において、対象物に合焦した画像データから画素値を取得することができる。さらに最適なマスクサイズのマスクＭ３によれば、対象物外の領域において、背景に合焦した画像データから画素値を取得ことができる。従って、最適なマスクサイズのマスクＭ３によれば、全領域において鮮明な画像データを生成することができる。

本発明の実施の形態において、最適なマスクサイズは、対象物のエッジＥ２の内部の画素について、第１の画像データ１１から画素値を取得し、領域ＡＲ２の外部において、第２の画像データ１２から画素値を取得可能なマスクサイズである。ここで、「内部」は、対象物側のことを示し、「外部」は、対象物とは異なる側を示す。図３に示す例で、最適なマスクサイズの一辺は、Ｌｍｉｎより大きく、Ｌｍａｘより小さいのが好ましい。

Ｌｍｉｎは、ｌｍｉｎの２倍である。ｌｍｉｎは、第１の画像データ１１における対象物のエッジＥ１と、第２の画像データ１２における対象物のエッジＥ２間の距離である。マスクサイズの一辺がＬｍｉｎよりも小さくなると、図４（ａ）のマスクＭ２で示したように、第２の画像データ１２における対象物のエッジＥ２の周辺で、第２の画像データ１２の画素の画素値を選択する問題が生じる。従って、最適なマスクサイズの一辺の最小値をＬｍｉｎとすることにより、第２の画像データ１２における対象物のエッジＥ２の周辺で、第１の画像データ１１の画素の画素値を選択することができる。

Ｌｍａｘは、ｌｍａｘの２倍である。ｌｍａｘは、第１の画像データ１１における対象物のエッジＥ１と、ぼけ画像との差分情報が大きい領域ＡＲ２の外側の境界間の距離である。マスクサイズの一辺がＬｍａｘよりも大きくなると、図４（ｃ）のマスクＭ４で示したように、ぼけ画像との差分情報が大きい領域ＡＲ２の外側で、第１の画像データ１１の画素の画素値を選択する問題が生じる。従って、最適なマスクサイズの一辺の最大値をＬｍａｘとすることにより、ぼけ画像との差分情報が大きい領域ＡＲ２の外側で、第２の画像データ１２の画素の画素値を選択することができる。

このように本発明の実施の形態においては、最適なマスクサイズを、Ｌｍｉｎ×Ｌｍｉｎより大きく、かつＬｍａｘ×Ｌｍａｘより小さくする。この場合、最適なマスクサイズのマスク内に、エッジＥ２より内側の画素について、第１の画像データ１１のエッジＥ１を含め、領域ＡＲ２の外側の画素について、第１の画像データ１１のエッジＥ１を含めないことができる。これにより、対象物の周辺の画素において、対象物の周辺がぼけた第２の画像データ１２と比べて、より高周波成分の第１の画像データ１１からの画素値を鮮明画像データ１５の画素値とすることができる。また、対象物の外側の画素において、より高周波成分の第２の画像データ１２からの画素値を鮮明画像データ１５の画素値とすることができる。これにより本発明の実施の形態は、全ての画素において鮮明な鮮明画像データ１５を生成することができる。

（マスクサイズ決定処理）
図５を参照して、マスクサイズ決定手段２２によるマスクサイズ決定処理を説明する。マスクサイズ決定手段２２は、画像データの画素毎に、鮮明画像生成手段２４で参照するマスクサイズを決定する。本発明の実施の形態に係る画像処理装置１は、各画素のぼけ度に応じてマスクサイズを変更することにより、鮮明画像データ１５を生成することができる。

まずマスクサイズ決定手段２２は、記憶装置１０から、ステップＳ１０１において第１の画像データ１１を読み出すとともに、ステップＳ１０２において第２の画像データ１２を読み出す。このとき、マスクサイズ決定手段２２は、第１の画像データ１１および第２の画像データ１２の各画素について、ＲＧＢの各画素値を取得する。

次に、ステップＳ１０３においてマスクサイズ決定手段２２は、全ての画素（ｉ，ｊ）について、ＲＧＢ毎に、第１の画像データ１１の当該画素の画素値と、第２の画像データ１２の当該画素の画素値との差分の絶対値を算出する。ここで、所定の画素（ｉ，ｊ）における第１の画像データ１１のＲの画素値をＲ１（ｉ，ｊ）とし、Ｇの画素値をＧ１（ｉ，ｊ）とし、Ｂの画素値をＢ１（ｉ，ｊ）とする。同様に、所定の画素（ｉ，ｊ）における第２の画像データ１２のＲの画素値をＲ２（ｉ，ｊ）とし、Ｇの画素値をＧ２（ｉ，ｊ）とし、Ｂの画素値をＢ２（ｉ，ｊ）とする。また、所定の画素（ｉ，ｊ）の画素値のぼけ量をｂ（ｉ，ｊ）とし、Ｒの画素値のぼけ量をＲｂ（ｉ，ｊ）とし、Ｇの画素値のぼけ量をＧｂ（ｉ，ｊ）とし、Ｂの画素値のぼけ量をＢｂ（ｉ，ｊ）とする。

マスクサイズ決定手段２２は、ステップＳ１０４において、｜Ｒ１（ｉ，ｊ）−Ｒ２（ｉ，ｊ）｜を算出する。この値が閾値Ｔより大きい場合、ステップＳ１０５においてマスクサイズ決定手段２２は、Ｒｂ（ｉ，ｊ）を１に設定し、ステップＳ１０６において小さい場合、Ｒｂ（ｉ，ｊ）を０に設定する。同様に、マスクサイズ決定手段２２は、ステップＳ１０７において、｜Ｇ１（ｉ，ｊ）−Ｇ２（ｉ，ｊ）｜を算出する。この値が閾値Ｔより大きい場合、ステップＳ１０８においてマスクサイズ決定手段２２は、Ｇｂ（ｉ，ｊ）を１に設定し、ステップＳ１０９において小さい場合、Ｇｂ（ｉ，ｊ）を０に設定する。マスクサイズ決定手段２２は、ステップＳ１１０において、｜Ｂ１（ｉ，ｊ）−Ｂ２（ｉ，ｊ）｜を算出する。この値が閾値Ｔより大きい場合、ステップＳ１１１においてマスクサイズ決定手段２２は、Ｂｂ（ｉ，ｊ）を１に設定し、ステップＳ１１２において小さい場合、Ｂｂ（ｉ，ｊ）を０に設定する。

ステップＳ１０４ないしステップＳ１１２においてＲｂ（ｉ，ｊ）、Ｇｂ（ｉ，ｊ）およびＢｂ（ｉ，ｊ）が算出されると、ステップＳ１１３においてマスクサイズ決定手段２２は、当該画素（ｉ，ｊ）におけるぼけ量ｂ（ｉ，ｊ）を算出する。具体的にマスクサイズ決定手段２２は、Ｒｂ（ｉ，ｊ）、Ｇｂ（ｉ，ｊ）およびＢｂ（ｉ，ｊ）が全て０の場合、ｂ（ｉ，ｊ）＝０とし、それ以外の場合は、ｂ（ｉ，ｊ）＝１とする。全ての画像についてぼけ量ｂ（ｉ，ｊ）が算出されると、ステップＳ１１３ないしステップＳ１１７において各画素におけるマスクサイズを決定する。

まずステップＳ１１３においてマスクサイズ決定手段２２は、処理対象の画素（ｉ，ｊ）を中心とする所定領域内の画素のぼけ量を取得し、このぼけ量の合計を算出する。この所定領域は、マスクサイズ決定手段２２が決定するマスクサイズより大きい領域であることが好ましい。ステップＳ１１５ないしステップＳ１１７において、ステップＳ１１３において算出したぼけ量の総和に基づいて、ぼけ量の総和が大きいほどマスクサイズが大きくなるように、当該画素のマスクサイズを決定する。

当該画素のマスクサイズが決定されると、ステップＳ１１８においてマスクサイズ決定手段２２は、当該画素の識別子（ｉ，ｊ）と、ステップＳ１１４ないしステップＳ１１６で決定されたマスクサイズとを対応づけて、画素毎マスクサイズデータ１３に登録する。

画像データの全ての画素についてステップＳ１１４ないしステップＳ１１８の処理が終了すると、マスクサイズ決定手段２２は処理を終了する。

（ぼけ画像生成処理）
図６を参照して、ぼけ画像生成手段２３によるぼけ画像生成処理を説明する。ぼけ画像生成手段２３は、第１の画像データ１１および第２の画像データとから、全領域がぼけたぼけ画像データ１４を生成する。本発明の実施の形態に係る画像処理装置１は、第１の画像データおよび第２の画像データうち、ぼけ画像データの画素値とより乖離した画像データの画素値を取得して、鮮明画像データ１５を生成する。

ぼけ画像生成手段２３は、まずステップＳ２０１において、第１の画像データ１１を読み出し、ステップＳ２０２において第２の画像データ１２を読み出す。ここで、第１の画像データ１１の所定画素の画素値をＲ１、Ｇ１およびＢ１とし、第２の画像データ１２の所定画素の画素値をＲ２、Ｇ２およびＢ２とする。

ステップＳ２０３においてぼけ画像生成手段２３は、第１の画像データ１１の画素値と、第２の画像データ１２の画素値を取得し、同じ位置の画素の画素値を、ＲＧＢ毎に加算する。具体的には、所定の画素について、Ｒ＝Ｒ１＋Ｒ２、Ｇ＝Ｇ１＋Ｇ２およびＢ＝Ｂ１＋Ｂ２を算出する。この処理を、画像データの全ての画素について繰り返す。

その後、ぼけ画像生成手段２３は、隣り合う画素の画素値の加算を繰り返す。ここでは、ぼけ画像生成手段２３が、横方向の隣り合う各画素の加算をｋ回繰り返した後、縦方向の隣り合う各画素の加算をｋ回繰り返す場合を説明する。各加算を、横方向１段目、横方向２段目、…横方向ｋ段目とするとともに、縦方向１段目、縦方向２段目、…縦方向ｋ段目と表記する。ｋは任意の数字で良い。また、隣り合う画素を加算する順序は問わない。

ステップＳ１０４においてぼけ画像生成手段２３は、横方向１段目の加算をする。ぼけ画像生成手段２３は、ステップＳ２０３で算出された各画素のＲＧＢの値について、横方向に隣接する画素のＲＧＢの画素値を算出する。例えばぼけ画像生成手段２３は、所定の画素（ｉ、ｊ）のＲの画素値に、この所定の画素の右方向に隣接する画素（ｉ＋１，ｊ）のＲの画素値を足し、当該所定の画素（ｉ、ｊ）の画素値とする。さらにぼけ画像生成手段２３は、その所定の画素の右方向に隣接する画素（ｉ＋１、ｊ）のＲの画素値に、さらにその右方向に隣接する画素（ｉ＋２、ｊ）のＲの画素値を足し、当該所定の画素の右方向に隣接する画素（ｉ＋１、ｊ）のＲの画素値とする。Ｒについて、全ての画素について処理した後、ＧおよびＢについても同様に処理を繰り返す。

横方向１段目の加算が終了すると、ステップＳ２０５においてぼけ画像生成手段２３は、横方向２段目の加算をする。ステップＳ２０４と同様にぼけ画像生成手段２３は、ステップＳ２０４で算出された各画素のＲＧＢの値について、横方向に隣接する画素のＲＧＢの画素値を算出する。

このように横方向の加算を繰り返し、ステップＳ２０６において横方向ｋ段目の加算が終了すると、ステップＳ２０７においてぼけ画像生成手段２３は、縦方向１段目の加算をする。ぼけ画像生成手段２３は、ステップＳ２０６で算出された各画素のＲＧＢの値について、縦方向に隣接する画素のＲＧＢの画素値を算出する。例えばぼけ画像生成手段２３は、所定の画素（ｉ、ｊ）のＲの画素値に、この所定の画素の下方向に隣接する画素（ｉ，ｊ＋１）のＲの画素値を足し、当該所定の画素（ｉ、ｊ）の画素値とする。さらにぼけ画像生成手段２３は、その所定の画素の下方向に隣接する画素（ｉ、ｊ＋１）のＲの画素値に、さらにその下方向に隣接する画素（ｉ、ｊ＋２）のＲの画素値を足し、当該所定の画素の右方向に隣接する画素（ｉ、ｊ＋１）のＲの画素値とする。Ｒについて、全ての画素について処理した後、ＧおよびＢについても同様に処理を繰り返す。

縦方向１段目の加算が終了すると、ステップＳ２０８においてぼけ画像生成手段２３は、縦方向２段目の加算をする。ステップＳ２０７と同様にぼけ画像生成手段２３は、ステップＳ２０７で算出された各画素のＲＧＢの値について、縦方向に隣接する画素のＲＧＢの画素値を算出する。

このように縦方向の加算を繰り返し、ステップＳ２０９において縦方向ｋ段目の加算が終了すると、ステップＳ２１０においてぼけ画像生成手段２３は、縦方向ｋ段目の計算結果について、各画素のＲＧＢの各画素値について、１／２^{（２ｋ＋１）}する。ステップＳ２０３において、画素値が約２倍になり、またステップＳ２０４ないしステップＳ２０８においてさらに約２^２ｋ倍になっているので、ステップＳ２０９の出力結果は、ステップＳ２０１またはステップＳ２０２の２^{（２ｋ＋１）}倍になっている。そこで、ステップＳ２１０において、ステップＳ１０９で出力された各画素のＲＧＢの各画素値を、２^{（２ｋ＋１）}で割って、第１の画像データ１１および第２の画像データ１２に対応するように、振幅を調整する。

ステップＳ２１１においてぼけ画像生成手段２３は、ステップＳ２１０で出力された各画素のＲＧＢの各画素値に基づいて、ぼけ画像データ１４として出力する。

このようなぼけ画像生成方法は、乗算器を用いなくとも、加算を繰り返すことで、ぼけ画像データ１４を生成することができるので、実装が容易である。なお、画像の境界の画素は、対象拡張法などを用いて処理されても良い。

（鮮明画像生成手段）
図７を参照して、鮮明画像生成手段２４による鮮明画像生成処理を説明する。鮮明画像生成手段２４は、各画素について、ぼけ画像データ１４の画素値とより乖離した画像データの画素値を取得し、この画素値を結合して鮮明画像データ１５を生成する。このとき鮮明画像生成手段２４は、所定の画素について、第１の画像データ１１の画素値と第２の画像データ１２の画素値のどちらが乖離しているか判断する場合、画素毎マスクサイズデータ１３においてこの所定の画素に対応づけられたマスクサイズを取得する。鮮明画像生成手段２４は、この所定の画素値を中心とする、取得したマスクサイズ内の複数の画素の画素値について、ぼけ画像データ１４、第１の画像データ１１および第２の画像データ１２を比較する。鮮明画像生成手段２４は、第１の画像データ１１および第２の画像データ１２のうち、ぼけ画像データ１４とより乖離した画像データの画素値を特定する。

ステップＳ３０１において鮮明画像生成手段２４は、記憶装置１０からぼけ画像データ１４を読み出す。

さらに鮮明画像生成手段２４は、ステップＳ３０２において、記憶装置１０から第１の画像データ１１を読み出す。ステップＳ３０３において鮮明画像生成手段２４は、第１の画像データ１１の各画素およびＲＧＢ毎に、ステップＳ３０１で読み出したぼけ画像データ１４との差分を算出する。同様に鮮明画像生成手段２４は、ステップＳ３０４において、記憶装置１０から第２の画像データ１２を読み出す。ステップＳ３０５において鮮明画像生成手段２４は、第２の画像データ１２の各画素およびＲＧＢ毎に、ステップＳ３０１で読み出したぼけ画像データ１４との差分を算出する。

次に、画像データの全ての画素について、ステップＳ３０６ないしステップＳ３１３の処理を繰り返す。ここで、処理対象の画素を、画素（ｉ，ｊ）で示す。

ステップＳ３０６において鮮明画像生成手段２４は、記憶装置１０から画素毎マスクサイズデータ１３を読み出し、当該画素（ｉ，ｊ）に対応づけられたマスクサイズを取得する。

ステップＳ３０７において鮮明画像生成手段２４は、第１の画像データ１１から、当該画素（ｉ，ｊ）を中心とするマスクサイズ内の画素を特定し、特定した画素について、ステップＳ３０３で算出したＲＧＢ毎の差分の絶対値を取得する。さらにステップＳ３０８において鮮明画像生成手段２４は、ステップＳ３０７で生成したＲＧＢ毎の差分の絶対値の総和を算出し、Ｐ１（ｉ，ｊ）として出力する。

同様に、ステップＳ３０９において鮮明画像生成手段２４は、第２の画像データ１２から、当該画素（ｉ，ｊ）を中心とするマスクサイズ内の画素を特定し、特定した画素について、ステップＳ３０３で算出したＲＧＢ毎の差分の絶対値を取得する。さらにステップＳ３１０において鮮明画像生成手段２４は、ステップＳ３０９で生成したＲＧＢ毎の差分の絶対値の総和を算出し、Ｐ２（ｉ，ｊ）として出力する。

ステップＳ３１１において鮮明画像生成手段２４は、ステップＳ３０８で算出したＰ１（ｉ，ｊ）と、ステップＳ３１０で算出したＰ２（ｉ，ｊ）とを比較する。Ｐ１（ｉ，ｊ）の方が大きい場合、当該画素のマスク内の画素について、ぼけ画像データ１４と比べて、第１の画像データ１１の画素値が、第２の画像データ１２の画素値より、より乖離していたことになる。従って、鮮明画像データ１５の当該画素（ｉ，ｊ）のＲＧＢの画素値を、第１の画像データ１１の当該画素（ｉ，ｊ）のＲＧＢの画素値とする。

一方、Ｐ２（ｉ，ｊ）の方が大きい場合、当該画素のマスク内の画素について、ぼけ画像データ１４と比べて、第２の画像データ１２の画素値が、第１の画像データ１１の画素値より、より乖離していたことになる。従って、鮮明画像データ１５の当該画素（ｉ，ｊ）のＲＧＢの画素値を、第２の画像データ１２の当該画素（ｉ，ｊ）のＲＧＢの画素値とする。

このように、全ての画素について、ステップＳ３０６ないしステップＳ３１３の処理が繰り返されると、ステップＳ３１４において鮮明画像生成手段２４は、鮮明画像データ１５を生成する。この鮮明画像データ１５は、ステップＳ３１２またはステップＳ３１３で決定された各画素のＲＧＢの画素値に基づいて生成される。

このような本発明の実施の形態に係る画像処理装置１は、各画素のぼけ度に応じてマスクサイズを決定する。これにより、合焦していない対象物によるノイズを低減した画像データを生成することができる。

また本発明の実施の形態に係る画像処理装置１は、隣接する画素の画素値の加算を繰り返すことにより、ぼけ画像データを生成することができる。

このように本発明の実施の形態に係る画像処理装置１は、デジタルカメラ等によって撮影された２の画像データから、ぼけ画像データを生成するとともに、このぼけ画像データと、各画像データとの差分をそれぞれ算出する。これにより画像処理装置１は、２の画像データから高周波成分を取得する。さらに画像処理装置１は、各画素のぼけ度合いに応じてマスクサイズを決定し、マスク内の高周波成分の総和に基づいて、２の画像データから、より鮮明な画像領域を特定し、特定された領域を結合して、鮮明画像データを生成することができる。

また、画像処理装置１がぼけ画像データ１４を生成する際、乗算器を使わず、加算器のみで実現可能なため、生成に必要な計算量を低減することができる。これにより、本発明の実施の形態に係る画像処理方法に要する時間を低減することができる。また、画像処理方法を、デジタルカメラなどのハードウェアスペックが制限される機器にも適用することができる。

（第１の変形例）
図８を参照して、第１の変形例に係る画像処理装置１００を説明する。第１の変形例に係る画像処理装置１００は、本発明の実施の形態に係る画像撮影プログラムおよび画像撮影方法を実現する。

第１の変形例に係る画像処理装置１００は、いわゆるデジタルカメラなどの撮影機器である。画像処理装置１００は、メモリ１１０、コントローラ１２０、ボタンやタッチパネルなどの入力装置１３０、第１の画像撮影部１４０、第２の画像撮影部１５０および表示装置１６０を備える。

メモリ１１０は、画像処理装置１００のコントローラ１２０が、画像処理装置１００の制御のためのプログラム、処理で参照更新されるデータ、画像処理装置１００が撮影したデータなどを格納する記憶手段である。メモリ１１０は、一般的な画像撮影装置に必要なデータを記憶するとともに、図１を参照して説明した画像処理装置１の記憶装置１０に記憶された各種データを記憶する。

コントローラ１２０は、画像処理装置１００を制御する。コントローラ１２０は、メモリ１１０のデータを参照更新し、入力装置１３０から入力されたデータを処理する。またコントローラ１２０は、第１の画像撮影部１４０および第２の画像撮影部１５０から画像データを取得する。コントローラ１２０は、コントローラ１２０の処理結果を表示装置１６０に出力する。コントローラ１２０は、一般的な画像撮影装置に必要な処理を制御するとともに、図１を参照して説明した画像処理装置１の中央処理制御装置２０で実現される各手段を実装する。コントローラ１２０は、図１の画像処理装置１と比べて、画像撮影制御手段１２５を備えるとともに第１の画像取得手段１２６および第２の画像取得手段１２７を備える点が異なる。

画像撮影制御手段１２５は、入力装置１３０から撮影指示が入力されると、第１の画像撮影部１４０および第２の画像撮影部１５０に、異なる対象物に合焦させて撮影する指示を入力する。第１の画像取得手段１２６は、第１の画像撮影部１４０から取得した第１の画像データ１１１をメモリ１１０に記憶する。第２の画像取得手段１２７は、第２の画像撮影部１５０から取得した第２の画像データ１１２をメモリ１１０に記憶する。

この第１の画像データ１１１および第２の画像データ１１２は、コントローラ１２０のマスクサイズ決定手段１２２、ぼけ画像生成手段１２３および鮮明画像生成手段１２４によって処理される。マスクサイズ決定手段１２２、ぼけ画像生成手段１２３および鮮明画像生成手段１２４の各処理は、図１ないし図７を参照して説明した実施の形態に係る画像処理装置１の処理と同様である。この処理によって画像処理装置１００は、鮮明画像データ１１５を生成し、表示装置１６０に表示する。

このように、本発明の実施の形態に係る画像処理方法は、デジタルカメラなどの画像処理装置１００で使用されても良い。これにより、第１の変形例に係る画像処理装置１００は、鮮明画像を表示することができる。また、第１の変形例に係る画像処理装置１００は、２つの画像撮影部を備え、異なる対象物に合焦した２つの画像データを同時に撮影することができるので、より明瞭な鮮明画像データ１１５を出力することができる。

（第２の変形例）
図９を参照して第２の変形例に係る画像処理装置１０１を説明する。第２の変形例に係る画像処理装置１０１は、第１の変形例に係る画像処理装置１００と同様に、いわゆるデジタルカメラなどの画像撮影機器である。第２の変形例に係る画像処理装置１０１は、図８を参照して説明した第１の変形例に係る画像処理装置１００と比べて、一つの画像撮影部１７０を備える点が異なる。

第２の変形例に係る画像撮影制御手段１２８は、画像撮影部１７０に、異なる対象物に合焦した２つの画像データを連続して撮影する指示を入力する。例えば画像撮影制御手段１２８は、画像撮影部１７０に、近景に合焦した第１の画像データ１１１を撮影した後、遠景に合焦した第２の画像データ１１２を撮影する指示を入力する。画像取得手段１２９は、画像撮影部１７０から第１の画像データ１１１を取得するとメモリ１１０に記憶し、第２の画像データ１１２を取得するとメモリ１１０に記憶する。

この第１の画像データ１１１および第２の画像データ１１２は、コントローラ１２０のマスクサイズ決定手段１２２、ぼけ画像生成手段１２３および鮮明画像生成手段１２４によって処理される。マスクサイズ決定手段１２２、ぼけ画像生成手段１２３および鮮明画像生成手段１２４の各処理は、図１ないし図７を参照して説明した実施の形態に係る画像処理装置１の処理と同様である。この処理によって画像処理装置１０１は、鮮明画像データ１１５を生成し、表示装置１６０に表示する。

このように、第２の変形例に係る画像処理装置１０１は、一つの画像撮影部で異なる対象物に合焦した２つの画像データを撮影し、これらの画像データから鮮明画像データ１１５を出力することができる。第２の変形例に係る画像処理装置１０１は、第１の変形例に係る画像処理装置１０１のように２つの画像撮影部を有さなくとも、鮮明画像データ１１５を出力することができる。

また第２の変形例に係る画像処理装置１０１によれば、一つの画像撮影部１７０で連続的に画像データを生成することができるので、異なる対象物に合焦した３以上の画像データを撮影することができる。

この場合、例えば図１０に示すように、本発明の実施の形態に係る画像処理方法を繰り返し適用することにより鮮明画像データを生成することができる。まず画像処理方法は、入力となる３以上の画像データを、近景が合焦している画像データから、遠景が合焦している画像データとなるように、画像データを並べ替える。さらに画像処理方法は、最も近景が合焦している一枚目の画像データと、その次に近景が合焦している２枚目の画像データから、第１の鮮明画像データを生成する。さらに、画像処理方法は、第１の鮮明画像データと、２枚目の画像データの次に近景が合焦している３枚目の画像データから、第２の鮮明画像データを生成する。この処理を繰り返すことにより、複数の画像データからより鮮明な画像データを生成することができる。

なおここでは、複数の画像データを、近景が合焦している画像データから、遠景が合焦している画像データとなるように、画像データを並べ替える場合を説明したが、別の実施例もある。具体的には、遠景が合焦している画像データから、近景が合焦している画像データとなるように、画像データを並べ替えても良い。

従って、第２の変形例に係る画像処理装置１０１は、３以上の画像データから、より明瞭な鮮明画像データ１１５を生成することができる。また、画像処理装置１０１の一つの画像撮影部１７０が連続的に複数の画像データを撮影することにより、複数の画像撮影部を備える場合と比べて、コストの低減が期待できる。

（第１のテスト例）
図１１ないし図１８を参照して、本発明の実施の形態に係る画像処理方法で入出力する画像データを説明する。

図１１ないし図１４は、第１のテスト例の入出力の画像データである。図１１ないし図１４は、絵画とメロンを被写体とする同一の対象物を同一の位置から撮影した画像に関する画像データである。図１１および図１２は、デジタルカメラ等で撮影した入力画像データである。図１１は、近景のメロンに合焦し、遠景の絵画がぼけた画像データである。図１２は、遠景の絵画に合焦し、近景のメロンがぼけた画像データである。

図１３は、図１１の画像データと図１２の画像データから、従来の手法に基づいて生成された鮮明画像データである。図１３に示す従来の鮮明画像データにおいては、被写体のエッジ傍にぼけ情報が残留して表示されている。例えば、絵画の左側に白い線上のノイズが入り、メロンの弦の上部にも白い線上のノイズが入っている。

これは、上述した通り、ぼけた画像データにおいては被写体が大きく写ることに依存している。図１２に示したメロンは、図１１に示したメロンより、その輪郭がぼけている分、若干大きい。このメロンが撮影された大きさに差異があるにもかかわらず、同様のマスクサイズを適用しているので、図１３に示す従来の画像データにおいて、被写体のエッジ傍に、その被写体のぼけた画像データのエッジが残ってしまう。

一方、図１４は、本発明の実施の形態に係る手法に基づいて生成された鮮明画像データである。図１４に示す画像データでは、メロンおよび絵画の両被写体に合焦しており、また、そのエッジ傍に図１３に示したようなノイズも残っていない。

本発明の実施の形態においては、画像データの各画素に、そのぼけ量に応じた大きさのマスクを用いる。これにより本発明の実施の形態に係る画像処理方法は、被写体のエッジの傍に、その被写体のぼけた画像データのエッジにぼけ情報が残らず、より明瞭な鮮明画像データを生成することができる。

（第２のテスト例）
図１１ないし図１４に示す例は、２つの画像データから鮮明画像データを生成する場合を説明したが、図１５ないし図１８に示す例では、３つの画像データから鮮明画像データを生成する場合を説明する。図１５ないし図１８は、第２のテスト例の入出力の画像データである。

図１５ないし図１７は、デジタルカメラ等で撮影した入力画像データである。図１５は、遠景の絵画に合焦し、中景のメロンと近景のリンゴがぼけた画像データである。図１６は、近景のメロンに合焦し、遠景の絵画と近景のリンゴがぼけた画像データである。図１７は、近景のリンゴに合焦し、遠景の絵画と中景のメロンがぼけた画像データである。

このように入力の画像データが３以上ある場合、図１０を参照して説明した様に、画像処理方法は、２枚の画像データを合成する処理を繰り返し、鮮明画像データを生成する。例えば、画像処理方法は、図１５に示した画像データと図１６に示した画像データとから、第１の鮮明画像データを生成する。この第１の鮮明画像データは、遠景の絵画と中景のメロンとに合焦し、リンゴがぼけた画像データである。さらに、画像処理方法は、第１の鮮明画像データと図１７に示した画像データとから、第２の鮮明画像データを生成する。

この第２の鮮明画像データは、図１８に示すように、遠景の絵画、中景のメロン、近景のリンゴに合焦した鮮明画像データである。図１８に示す画像データにおいても、図１３に示したような被写体のエッジ近辺のノイズはみられない。

このように、本発明の実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムは、焦点の異なる複数の画像データから鮮明画像データを生成することができる。

（その他の実施の形態）
上記のように、本発明の最良の実施の形態とその第１の変形例および第２の変形例によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

例えば、本発明の最良の実施の形態に記載した画像処理方法および画像処理プログラムは、図１に示すようにコンピュータ上に構成されても良いし、図８および図９に示すように、デジタルカメラなどの画像撮影装置上に構成されても良い。

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１、１００、１０１ 画像処理装置
１０ 記憶装置
１１、１１１ 第１の画像データ
１２、１１２ 第２の画像データ
１３、１１３ 画素毎マスクサイズデータ
１４、１１４ ぼけ画像データ
１５、１１５ 鮮明画像データ
２０、１２０ 中央処理制御装置
２１、１２６、１２７、１２９ 画像取得手段
２２、１２２ マスクサイズ決定手段
２３、１２３ ぼけ画像生成手段
２４、１２４ 鮮明画像生成手段
１２８ 画像撮影制御手段
１３０ 入力装置
１４０、１５０、１７０ 画像撮影部
１６０ 表示装置

Claims (4)

1. 焦点の異なる第１の画像データおよび第２の画像データとから、鮮明画像データを生成する画像処理プログラムであって、
   コンピュータを、
   同一の対象物を同じ位置からそれぞれ異なる焦点で撮影した第１の画像データおよび第２の画像データと、全ての領域でぼけたぼけ画像データとを記憶装置に記憶する記憶手段と、
   所定の画素について、前記第１の画像データにおける当該画素を含む所定領域の画素値と、前記第２の画像データにおける当該画素を含む前記所定領域の画素値との差分に基づいて、当該所定の画素のぼけ量を算出し、ぼけ量が大きい場合は大きく、ぼけ量が小さい場合は小さいマスクサイズを決定するマスクサイズ決定手段と、
   当該画素を含み、前記マスクサイズ決定手段で決定されたマスクサイズの領域において、前記第１の画像データおよび前記第２の画像データのうち、前記ぼけ画像データの画素値とより乖離した画素値を有する画像データを特定し、特定された画像データの当該画素の画素値を、鮮明画像データの当該画素の画素値として、前記鮮明画像データを生成する鮮明画像生成手段
   として機能させるための画像処理プログラム。
2. 各画素の画素値は、ＲＧＢ毎の画素値を含み、
   前記マスクサイズ決定手段は、前記第１の画像データにおける当該画素を含む所定領域の画素値と、前記第２の画像データにおける当該画素を含む前記所定領域の画素値について、当該所定領域に、ＲＧＢの全ての画素値の差分が所定の閾値より大きい画素が多く含まれている場合にぼけ量が大きくなり、ＲＧＢの全ての画素値の差分が前記所定の閾値より少ない画素が多く含まれている場合にぼけ量が小さくなるように、前記ぼけ量を算出する
   ことを特徴とする請求項１に記載の画像処理プログラム。
3. 前記コンピュータをさらに、
   前記第１の画像データおよび前記第２の画像データの対応する画素の画素値を加算した後、横方向に隣接する画素値の加算を複数回繰り返すとともに、縦方向に隣接する画素の画素値の加算を複数回繰り返して前記ぼけ画像データを生成するぼけ画像生成手段
   として機能させるための請求項１または２記載の画像処理プログラム。
4. 焦点の異なる第１の画像データおよび第２の画像データとから、鮮明画像データを生成する画像処理装置であって、
   同一の対象物を同じ位置からそれぞれ異なる焦点で撮影した第１の画像データおよび第２の画像データと、全ての領域でぼけたぼけ画像データとを記憶する記憶装置と、
   所定の画素について、前記第１の画像データにおける当該画素を含む所定領域の画素値と、前記第２の画像データにおける当該画素を含む前記所定領域の画素値との差分に基づいて、当該所定の画素のぼけ量を算出し、ぼけ量が大きい場合は大きく、ぼけ量が小さい場合は小さいマスクサイズを決定するマスクサイズ決定手段と、
   当該画素を含み、前記マスクサイズ決定手段で決定されたマスクサイズの領域において、前記第１の画像データおよび前記第２の画像データのうち、前記ぼけ画像データの画素値とより乖離した画素値を有する画像データを特定し、特定された画像データの当該画素の画素値を、鮮明画像データの当該画素の画素値として、前記鮮明画像データを生成する鮮明画像生成手段
   を備えることを特徴とする画像処理装置。