JP3915037B1 - 画像処理プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに画像処理装置 - Google Patents

Abstract

本画像処理プログラムは、被写体から発せられた光子が所定の様相に従って拡散するとの前提に基づいて、ピンボケが生じた原画像に対する先鋭化処理をコンピュータに実行させる画像処理プログラムであって、光子の拡散様相に基づいて原画像を先鋭化し、先鋭化後の画像について見た目上のザラツキ具合を示すザラツキ度を計測し、該ザラツキ度が所定の閾値を超えない範囲内で拡散様相を支配するパラメータの最大値をその最適値として決定する処理をコンピュータに実行させるものである。
【選択図】図８

Description

本発明は、ピンボケ画像や手ブレ画像を先鋭な画像に修正する画像処理プログラム及び画像処理装置に関し、特に、同じアルゴリズムでピンボケと手ブレの双方を、短い処理時間で且つ高い精度で自動的に修正可能な画像処理プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに画像処理装置画像処理装置に関する。

デジタルカメラ等を用いて被写体を撮影した場合、写真画像にボケが生じる場合がある。このボケとしては、焦点距離のズレに起因するピンボケと、撮像者の手のぶれに起因する手ブレボケと、被写体が動くことに起因する被写体ブレボケとが挙げられる。このようなボケ画像を先鋭化すなわちくっきりとした画像に修正する方法として、いわゆるアンシャープマスクやラプラシアンフィルタによる処理が従来用いられている（例えば特許文献１及び特許文献２参照）。アンシャープマスクによる処理は、ボケが生じた原画像を更にぼかしたボカシ画像を生成し、このボカシ画像と原画像との差分を原画像に上乗せすることによりボケを修正するものである。一方、ラプラシアンフィルタによる処理は、原画像の二次微分値を調べることにより、明暗や色合いが急激に変化している境界を見つけ、それを原画像に上乗せすることによりボケを修正するものである。

しかし、アンシャープマスクやラプラシアンフィルタを用いて先鋭化処理を行う従来の画像処理プログラムや画像処理装置では、ピンボケと手ブレボケの双方を包括的に先鋭化することができないため、画像に生じたボケに応じてアンシャープマスクやラプラシアンフィルタ等を適宜使い分ける必要があって処理が煩雑になり、また、ピンボケと手ブレボケの双方が複合的に発生した画像に対しては有効な先鋭化を行うことが難しいという問題があった。

日本国特許出願公開番号 特開２００６−０３１１９５号公報 日本国特許出願公開番号 特開２００６−０１１６１９号公報

本発明は、このような問題に鑑みてなされたものであり、画像に生じたボケがピンボケであるか手ブレボケであるかによらず、共通のアルゴリズムを用いて、高速かつ高精度の先鋭化処理を行う手段を提供する。尚、先鋭化処理は、使用者よりのパラメータ入力に基づいて行うことも可能であるし、パラメータ入力を全く行わないで自動的に行うことも可能である。

本発明の実施例に係る画像処理装置１の構成を示すブロック図。 画像処理プログラム６の処理の流れを示すフローチャート。 対象ピクセル１３と周囲８方向に隣接するピクセルとの明度差の一例を示す図。 対象ピクセル１３と周囲８方向に隣接するピクセルとの明度差の一例を示す図。 対象ピクセル１３と周囲８方向に隣接するピクセルとの明度差の一例を示す図。 対象ピクセル１３と周囲８方向に隣接するピクセルとの明度差の一例を示す図。 短冊２２を説明するための説明図。 ピンボケのみ対処モード（Ｓ３）の処理の流れを示すフローチャート。 第１中間値を算出するためのグラフ。 第２中間値を算出するためのグラフ。 第２中間値を算出するためのグラフ。 被写体Ｈから発せられた光子が撮像素子面Ｓに到達する様子を説明するための説明図。 手ブレボケの発生を説明するための説明図。 ピンボケの発生を説明するための説明図。 撮像素子（ｘ，ｙ）が受け止める光子の総数を説明するための説明図。 あるメッシュ中に含まれる全ピクセルについて〔対隣接ピクセル明度差〕の度数分布を示す度数分布表。 ピンボケ・手ブレ双方対処モード（Ｓ４）の処理の流れを示すフローチャート。 〔拡散率設定の元データ・表〕を示す図。

以下、本発明の実施例に係る画像処理装置及び画像処理プログラムについて図面に基づいて説明する。図１は、本実施例に係る画像処理装置１の構成を示すブロック図である。本画像処理装置１は、修正すべき原画像の画像データを入力するためのメディアリーダ（原画像入力手段）２と入力された原画像に基づいてこれを先鋭化した新画像を生成するコンピュータ３と、生成された新画像をプリントアウトするための写真プリンタ４と、を備えてなるものである。

メディアリーダ２は、メモリカード，ＣＤ等の各種記憶媒体に記憶された原画像データを読み取ってコンピュータ３に入力するためのものである。もちろん、本発明にかかる原画像入力手段として、本実施例のメディアリーダ２に代えて従来公知のイメージスキャナ等を用いることにより、プリント済みの写真画像から画像データを読み取ることも可能である。

コンピュータ３は、メディアリーダ２から入力された原画像データを記憶する画像メモリ５と、画像先鋭化のための画像処理プログラム６を格納するハードディスク７と、該ハードディスク７から読み出された画像処理プログラム６を一時記憶するＲＡＭ（Ｒａｎｄａｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８と、この画像処理プログラム６に従って原画像データを先鋭化処理するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９と、原画像や先鋭化処理後の画像を表示するための表示部１０と、マウスやキーボード等で構成される操作部１１と、がシステムバス１２を介して接続されてなるものである。

以下、本発明に係る画像処理プログラム６のアルゴリズムについて説明する。本画像処理プログラム６は、種々のプログラミング言語を用いて作成され、原画像データに基づいてピンボケや手ブレがまったく発生しない時の理想像を近似的に算出するものである。

図２は、画像処理プログラム６の処理の流れを示すフローチャートである。画像処理プログラム６では、まず、入力された原画像に対して手ブレ状況推測処理（Ｓ１）が実行される。その結果、原画像に手ブレが発生していないと判断した場合は（Ｓ２：Ｎｏ）、ピンボケのみ対処モードが実行される（Ｓ３）。一方、手ブレが発生していると判断した場合は（Ｓ２：Ｙｅｓ）、ピンボケ・手ブレ双方対処モードが実行される（Ｓ４）。以下、各処理について詳細に説明する。尚、原画像についての手ブレの存否は、手ブレ状況推測処理（Ｓ１）に基づいた判断（Ｓ２）によることなく、使用者自身が原画像を見て手ブレの存否を判断した上で、ピンボケのみ対処モード（Ｓ３）とピンボケ・手ブレ双方対処モード（Ｓ４）のいずれかを選択することも可能である。

まず、手ブレ状況推測処理（Ｓ１）について説明する。手ブレ状況推測処理（Ｓ１）は、入力された原画像データを解析することにより、撮影時に生じた手ブレ方向である〔ブレ方向〕と、そのピクセル数である〔ブレピクセル数〕を推測する処理である。より詳細に説明すると、被写体から発せられてデジタルカメラのある１つの撮像素子によって受け止められるはずであった光子は、手ブレが発生すると、その撮像素子に対して手ブレ方向とは逆方向に位置する撮像素子によっても受け止められる。これにより、原画像には、明度等の属性が接近しているピクセルが所定方向に連続した短冊状の部分が生じる。本発明では、原画像に生じたこの短冊部分を解析することにより、〔ブレ方向〕と〔ブレピクセル数〕を推測する。尚、以降においては、注目属性としてピクセルの明度を使用した場合を説明するが、色相や彩度や輝度といった他の属性を使用した場合もこれと同様の手順となる。

手ブレ状況推測処理（Ｓ１）では、まず、原画像に含まれる全ピクセルについて、周囲８方向に隣接するピクセル、すなわち左，右，上，下，左上，右上，左下，及び右下の計８方向に隣接する各ピクセルとの明度差を調べ、その絶対値をそれぞれ記録していく。図３及び図４は、中央に位置する対象ピクセル１３と周囲８方向に隣接するピクセルとの明度差の一例を示す図である。尚、図中で斜線が施されたピクセルは対象ピクセル１３との明度差が所定の閾値より小さいピクセルを意味し、図中で黒く塗りつぶされたピクセルは対象ピクセル１３との明度差が所定の閾値より大きいピクセルを意味している。尚、本実施例では、この閾値を０．０５としているが、適宜設定変更が可能である。ここで、図３（ａ）に示すように、対象ピクセル１３が、左右両隣のピクセル１４，１５と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がある程度異なる場合や、図３（ｂ）及び図３（ｃ）に示すように、対象ピクセル１３が左右いずれか一方の隣接ピクセル１４，１５と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がある程度異なる場合、対象ピクセル１３は水平方向に平坦性があると判断する。

同様に、図４（ａ）に示すように、対象ピクセル１３が、上下両隣のピクセル１６，１７と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がある程度異なる場合や、図４（ｂ）及び図４（ｃ）に示すように、対象ピクセル１３が上下いずれか一方の隣接ピクセル１６，１７と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がある程度異なる場合、対象ピクセル１３は上下方向に平坦性があると判断する。

また、図５及び図６は、対象ピクセル１３と周囲８方向に隣接するピクセルとの明度差について他の例を示す図である。尚、図中では斜線が施されたピクセルは対象ピクセル１３との明度差が所定の閾値より小さいピクセルを、黒く塗りつぶされたピクセルは対象ピクセル１３との明度差が所定の閾値より大きいピクセルを、白く塗りつぶされたピクセルは対象ピクセル１３との明度差を問わないピクセルをそれぞれ意味している。ここで、図５（ａ）に示すように、対象ピクセル１３が左下隣及び右上隣の両ピクセル１８，１９と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がほとんど同じであるとは言えない場合や、図５（ｂ）及び図５（ｃ）に示すように、対象ピクセル１３が左下又は右上のいずれか一方の隣接ピクセル１８，１９と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がほとんど同じであるとは言えない場合、対象ピクセル１３は左下―右上方向に平坦性があると判断する。

同様に、図６（ａ）に示すように、対象ピクセル１３が左上隣及び右下隣の両ピクセル２０，２１と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がほとんど同じであるとは言えない場合や、図６（ｂ）及び図６（ｃ）に示すように、対象ピクセル１３が左上又は右下のいずれか一方の隣接ピクセル２０，２１と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がほとんど同じであるとは言えない場合、対象ピクセル１３は左上―右下方向に平坦性があると判断する。

また、図に詳細は示さないが、対象ピクセル１３と周囲８方向に隣接するピクセルとの明度差が図３乃至図６のいずれにも該当しない場合、対象ピクセル１３は平坦性がないと判断する。

次に、全ピクセルの平坦性に関する調査結果に基づいて、原画像上における短冊部分の存否及びその方向を調査する。すなわち、図７（ａ），（ｂ），（ｃ）に示すように、同方向への平坦性を有するピクセルが連続する場合にこれを短冊２２と判断し、図に詳細は示さないが、水平，垂直，左下―右上，及び左上―右下の各方向ごとに、何ピクセル分の短冊２２が何個形成されたかを示す度数分布表をそれぞれ作成する。

次に、作成された度数分布表を元に、各方向毎に短冊２２の平均長さを算出する。但し、その長さが２ピクセルより短い短冊２２と、所定の上限値より長い短冊２２については、平均長さの算出対象から除外した。これは、２ピクセルより短いものは、実質上短冊２２を形成しているとは言えないからであり、また、上限値より長いものは、手ブレによって生じた短冊２２部分ではなく、被写体上に実在する明度が接近しているピクセルが連続した部分の可能性が高いからである。尚、本実施例では前記上限値を８ピクセルとしたが、適宜設定変更が可能である。

次に、各方向毎に算出された短冊２２の平均長さに基づいて、〔ブレ方向〕を推測する。〔ブレ方向〕の推測は、短冊２２が最も多く形成された方向を調べ、その方向を〔ブレ方向〕と決定することにより行う。より詳細には、各方向毎に算出された短冊２２の平均長さのうち、水平方向の平均短冊長さと垂直方向の平均短冊長さを比較し、水平方向の平均短冊長さが垂直方向の平均短冊長さ以上である場合には、以下の式（１）により、〔水平―垂直短冊分布比〕を算出する。一方、水平方向の平均短冊長さが垂直方向の平均短冊長さより小さい場合には、以下の式（２）により、〔水平―垂直短冊分布比〕を算出する。

また、各方向毎に算出された短冊２２の平均長さのうち、左下―右上方向の平均短冊長さと左上―右下方向の平均短冊長さを比較し、左下―右上方向の平均短冊長さが左上―右下方向の平均短冊長さ以上である場合には、以下の式（３）により、〔斜め短冊分布比〕を算出する。一方、左下―右上方向の平均短冊長さが左上―右下方向の平均短冊長さより小さい場合には、以下の式（４）により、〔斜め短冊分布比〕を算出する。

このように〔水平―垂直短冊分布比〕と〔斜め短冊分布比〕を算出した後、両者を比較して、〔水平―垂直短冊分布比〕が〔斜め短冊分布比〕以上であって、且つ、水平方向の平均短冊長さが垂直方向の平均短冊長さ以上である場合には、〔ブレ方向〕を水平方向に決定する。一方、〔水平―垂直短冊分布比〕が〔斜め短冊分布比〕以上であって、且つ、水平方向の平均短冊長さが垂直方向の平均短冊長さより小さい場合には、〔ブレ方向〕を垂直方向に決定する。

また、〔水平―垂直短冊分布比〕が〔斜め短冊分布比〕より小さく、且つ、左下―右上方向の平均短冊長さが左上―右下方向の平均短冊長さ以上である場合には、〔ブレ方向〕を左下―右上方向に決定する。一方、〔水平―垂直短冊分布比〕が〔斜め短冊分布比〕より小さく、且つ、左下―右上方向の平均短冊長さが左上―右下方向の平均短冊長さより小さい場合には、〔ブレ方向〕を左上―右下方向に決定する。

次に、〔ブレピクセル数〕を推測する。すなわち、〔ブレ方向〕が水平方向の場合は〔ブレピクセル数〕を水平方向の平均短冊長さに決定し、〔ブレ方向〕が垂直方向の場合は〔ブレピクセル数〕を垂直方向の平均短冊長さに決定する。また、〔ブレ方向〕が左下―右上方向の場合は〔ブレピクセル数〕を左下―右上方向の平均短冊長さに決定し、〔ブレ方向〕が左上―右下方向の場合は〔ブレピクセル数〕を左上―右下方向の平均短冊長さに決定する。

次に、〔ブレ方向に関する確信度〕を算出する。前述のように、〔ブレ方向〕の推測に際しては、短冊２２が最も多く形成された方向を〔ブレ方向〕としたが、それが圧倒的多数を占めたものであったのか、それとも僅少差で最も多く形成された方向とされたのかによってその確信度が異なる。従って、本発明では、〔ブレ方向〕の推測にどの程度の確信度があるかを示す係数として、〔ブレ方向に関する確信度〕を導入している。この〔ブレ方向に関する確信度〕は、以下の式（５）によって算出される。ここで、式（５）における〔多数派勢力指数〕としては、〔ブレ方向〕が水平方向または垂直方向の場合は〔水平―垂直短冊分布比〕を、〔ブレ方向〕が左下―右上方向または左上―右下方向の場合は〔斜め短冊分布比〕をそれぞれ用いる。

次に、〔グループ化可能ピクセルの多少に起因しての確信度〕を算出する。前述のように、〔ブレ方向〕の決定に際しては、短冊２２が最も多く形成された方向を〔ブレ方向〕としたが、原画像中に多くの短冊２２が形成された状態において最も多く形成された方向を〔ブレ方向〕として決定した場合と、短冊２２を形成し得るピクセルがほとんどなく、ほんの僅かの個数の短冊２２が形成されただけの状態において最も多く形成された方向を〔ブレ方向〕として決定した場合とではその確信度が異なる。従って、本発明では、〔ブレ方向〕の推測にどの程度の確信度があるかを示す係数として、〔ブレ方向に関する確信度〕とは別に、〔グループ化可能ピクセルの多少に起因しての確信度〕を導入している。

この〔グループ化可能ピクセルの多少に起因しての確信度〕の算出に際しては、まず、〔多数派形成・ピクセル数・割合〕を以下の式（６）によって算出する。ここで、式（６）における〔多数派形成・ピクセル数〕としては、〔ブレ方向〕が水平方向の場合は、原画像中で水平方向に平坦性を有するピクセルの数を、〔ブレ方向〕が垂直方向の場合は、原画像中で水平方向に平坦性を有するピクセルの数を、〔ブレ方向〕が左下―右上方向の場合は、原画像中で左下―右上方向に平坦性を有するピクセルの数を、〔ブレ方向〕が左上―右下方向の場合は、左上―右下方向に平坦性を有するピクセルの数を、それぞれ採用する。

そして、以下の式（７）によって〔グループ化可能ピクセルの多少に起因しての確信度〕を算出する。

最後に、〔総合判定・確信度〕を算出する。この〔総合判定・確信度〕は、〔ブレ方向〕の推測にどの程度の確信度があるかを示す係数として算出した〔ブレ方向に関する確信度〕と〔グループ化可能ピクセルの多少に起因しての確信度〕を用いて、以下の式（８）によって算出することができる。

以上説明したように、原画像に対して手ブレ状況推測処理が実行された結果、〔ブレ方向〕，〔ブレピクセル数〕，及び〔総合判定・確信度〕の３つの情報が出力され、これらの情報に基づいて後述する２次元正規分布扁平化処理が実行されるものとなっている。

次に、図２に示すピンボケのみ対処モード（Ｓ３）について説明する。図８は、ピンボケのみ対処モード（Ｓ３）の処理の流れを示すフローチャートである。本画像処理プログラム６は、後述するように、被写体から発せられた光子が２次元正規分布に従って拡散するとの前提の下、原画像に対して先鋭化処理を実行するものである。ピンボケのみ対処モード（Ｓ３）では、２次元正規分布のパラメータである標準偏差σが最適値に設定され、その上で原画像に対して先鋭化処理が実行されるものとなっている。

図８に示すように、ピンボケのみ対処モード（Ｓ３）の開始に伴い、まず、標準偏差σを上限値に設定して原画像に対して先鋭化処理を実行する（Ｓ５）。本発明では、２次元正規分布のパラメータである標準偏差σとして、実用上の上限値と下限値を予め定めている。ここで、上限値とは、それ以上標準偏差σが大きくなると、画像の先鋭度は増すものの、画像のザラツキが著しくなって見るに耐えない状態となる限界値である。一方、下限値とは、それ以下に標準偏差σが小さくなると、先鋭化の効果が得られないか或いは画像が異常な状態になってしまう限界値である。本実施例では、多数の画像に対して標準偏差σを種々に変化させて先鋭化を行った結果、上限値を０．７に、下限値を０．３にそれぞれ設定している。もちろん、画像のザラツキ感は見る側の個人差等に影響を受けるため、本実施例に限定されず適宜設定変更が可能である。尚、先鋭化処理の詳細については後述するため、ここでは説明を省略する。

そして、先鋭化処理後の画像について、ザラツキ度計測処理を実行する（Ｓ６）。ここでは、計測されたザラツキ度を〔ザラツキ度・標準偏差・上限値設定〕と定義し、これを目安ザラツキ度（閾値）と比較する（Ｓ７）。この目安ザラツキ度は、ザラツキ度がこの程度の大きさになれば良好な先鋭化の効果が得られるというザラツキ度の目安値であって、本実施例ではこの目安ザラツキ度を３０に設定している。もちろん、この目安ザラツキ度も適宜設定変更が可能である。そして、〔ザラツキ度・標準偏差・上限値設定〕が目安ザラツキ度より小さい場合には（Ｓ７：Ｙｅｓ）、標準偏差σを上限値に設定して原画像に先鋭化処理を行い（Ｓ８）、先鋭化処理後の画像を最終結果として出力した後、処理を終了する。このように、標準偏差σを上限値に設定して最も強い先鋭化処理を行っても、先鋭化処理後の画像のザラツキ度が目安ザラツキ度に達しない場合には、標準偏差σの最適値として上限値を採用する。尚、ザラツキ度計測処理の詳細についても後述するため、ここでは説明を省略する。

一方、〔ザラツキ度・標準偏差・上限値設定〕が、目安ザラツキ度より大きい場合には（Ｓ７：Ｎｏ）、標準偏差σを下限値に設定して原画像に対して先鋭化処理を実行する（Ｓ９）。そして、先鋭化処理後の画像について、ザラツキ度計測処理を実行する（Ｓ１０）。ここでは、計測されたザラツキ度を、〔ザラツキ度・標準偏差・下限値設定〕と定義し、これを目安ザラツキ度と比較する（Ｓ１１）。そして、〔ザラツキ度・標準偏差・下限値設定〕が目安ザラツキ度より大きい場合には（Ｓ１１：Ｙｅｓ）、標準偏差σを下限値に設定して原画像に先鋭化処理を行い（Ｓ１２）、先鋭化処理後の画像を最終結果として出力した後、処理を終了する。このように、標準偏差σを下限値に設定して最も弱い先鋭化処理を行っても、先鋭化処理後の画像のザラツキ度が目安ザラツキ度を越えてしまう場合には、標準偏差σの最適値として下限値を採用する。この場合でも、下限値は、先鋭化処理の前後で画像にほとんど差が生じない程度の大きさに設定されているため、標準偏差σを下限値に設定することで画像が見るに耐えない状態になることはない。

また、〔ザラツキ度・標準偏差・下限値設定〕が目安ザラツキ度より小さい場合には（Ｓ１１：Ｎｏ）、標準偏差σの第１中間値を算出する（Ｓ１３）。この第１中間値とは、上限値と下限値の間に、最適値に程々に近い値として暫定的に設定されるものである。この第１中間値を算出するには、まず、図９に示すように、Ｘ軸に標準偏差σをＹ軸にザラツキ度を取ったグラフを作成し、このグラフ上に、（上限値，〔ザラツキ度・標準偏差・上限値設定〕）Ｐ１と（下限値，〔ザラツキ度・標準偏差・下限値設定〕）Ｐ２の２点をそれぞれプロットする。そして、この２点を通過する直線Ａを引き、目安ザラツキ度を示す直線ＢであるＹ＝３０との交点Ｐ３について、その交点座標を算出しＸ座標を第１中間値と決定する。次に、標準偏差σをこの第１中間値に設定して原画像に対して先鋭化処理を実行する（Ｓ１４）。そして、先鋭化処理後の画像についてザラツキ度計測処理を実行する（Ｓ１５）。ここでは、計測されたザラツキ度を〔ザラツキ度・標準偏差・第１中間値設定〕と定義する。

次に、標準偏差σの第２中間値を算出する（Ｓ１６）。この第２中間値とは、第１中間値より更に最適値に近い値であって、下限値と第１中間値の間、又は第１中間値と上限値の間に設定されるものである。この第２中間値の算出方法は、〔ザラツキ度・標準偏差・第１中間値設定〕が目安ザラツキ度より大きいか小さいかによって２通りに分類される。まず、〔ザラツキ度・標準偏差・第１中間値〕が目安ザラツキ度より大きい場合、図１０に示すように、Ｘ軸に標準偏差σをＹ軸にザラツキ度を取ったグラフを作成し、このグラフ上に、（第１中間値，〔ザラツキ度・標準偏差・第１中間値設定〕）Ｐ３と、（下限値，〔ザラツキ度・標準偏差・下限値設定〕）Ｐ２の２点をプロットする。そして、この２点を通過する直線Ｃと、目安ザラツキ度を示す直線ＢであるＹ＝３０との交点Ｐ４について、その交点座標を算出しＸ座標を標準偏差σの第２中間値と決定する。

一方、〔ザラツキ度・標準偏差・第１中間値設定〕が目安ザラツキ度より小さい場合、図１１に示すように、Ｘ軸に標準偏差σをＹ軸にザラツキ度を取ったグラフを作成し、このグラフ上に、（第１中間値，〔ザラツキ度・標準偏差・第１中間値設定〕）Ｐ３と、（上限値，〔ザラツキ度・標準偏差・上限値設定〕）Ｐ１の２点をプロットする。そして、この２点を通過する直線Ｄと、目安ザラツキ度を示す直線ＢであるＹ＝３０との交点Ｐ５について、その交点座標を算出しＸ座標を標準偏差σの第２中間値と決定する。最後に、図８に示すように、標準偏差σを第２中間値に設定して原画像に対して先鋭化処理を実行し（Ｓ１７）、先鋭化処理後の画像を最終結果として出力した後、処理を終了する。

このように、標準偏差σが下限値から上限値へと変化するに連れてザラツキ度が線形的に変化すると仮定し、ザラツキ度が目安ザラツキ度となる標準偏差σ値を第１中間値として算出した上で、実際に標準偏差σをその中間値に設定して先鋭化処理を行ってその画像のザラツキ度を計測し、ザラツキ度が目安ザラツキ度に更に近付くような第２中間値を算出する、という手順により標準偏差σの最適値を近似計算している。尚、本実施例では標準偏差σの最適値として第２中間値を採用しているが、更に下限値と第２中間値の間、或いは第２中間値と上限値の間に第３中間値を算出してこれを最適値として採用することも可能である。また、同様の手順で第４中間値、第５中間値・・と算出してこれを最適値として採用することも可能である。

以下、図８に示すピンボケのみ対処モード（Ｓ３）における先鋭化処理（Ｓ５，Ｓ８，Ｓ９，Ｓ１２，Ｓ１４，Ｓ１７）について説明する。先鋭化処理（Ｓ５，Ｓ８，Ｓ９，Ｓ１２，Ｓ１４，Ｓ１７）の説明に先立って、まず、デジタルカメラにおけるピンボケや手ブレボケの発生メカニズムについて説明する。一般に、デジタルカメラの内部には、光を受けると電気的に反応する素子（以下、「撮像素子」という）が設けられており、撮影しようとする物体（以下、「被写体」という）の表面から発せられた光の粒である光子が、デジタルカメラのシャッターが開いている間に、カメラ内部の撮像素子に到達することより、被写体に応じた像が形成される。これにより、デジタルカメラによる被写体の撮影が可能となっている。本発明では、図１２に示すように、被写体Ｈの表面を格子状に分割して、各格子内に位置する被写体Ｈの所定部分を被写体（ｘ，ｙ）と表し、被写体（ｘ，ｙ）の部分から発せられた全ての光子のうち、デジタルカメラの撮像素子面Ｓまで到達した光子の数すなわち光の量を、出力光量＿被写体（ｘ，ｙ）と表すこととする。一方、デジタルカメラの撮像素子面Ｓは、被写体の分割数と同数の撮像素子が整列してできたものとし、撮像素子の所定部分を撮像素子（ｘ，ｙ）と表し、撮像素子（ｘ，ｙ）の部分が受け取った光子の数すなわち光の量を、入力光量＿撮像素子（ｘ，ｙ）と表すこととする。

ここで、下記の式（９）のような理想的な条件が完全に整った時、すなわち、被写体（ｘ，ｙ）から発せられてデジタルカメラの撮像素子面Ｓまで到達した光子の全てが唯１個の撮像素子（ｘ，ｙ）によって受け止められ、それ以外の撮像素子によって受け止められた光子が１個もない時、撮像素子面Ｓには被写体Ｈと全く同一の像が形成され、ピンボケ・手ブレボケが全く発生しないピンボケ及び手ブレボケ・ゼロ状態の写真を撮ることができる。

しかし、現実の写真撮影においては、レンズの性能限界や、シャッターが開いている間に撮影者がカメラを動かしてしまったり（手ブレ）、被写体Ｈに焦点距離が合っていない（ピンボケ）等の事情により、式（９）が完全に成り立つことはなく、被写体（ｘ，ｙ）から発せられてデジタルカメラの撮像素子面Ｓまで到達した光子の一部は、撮像素子（ｘ，ｙ）以外の撮像素子によって受け止められる。例えば、手ブレが生じた場合、図１３に示すように、撮像素子まで到達した光子の一部は、撮像素子（ｘ，ｙ）に対して手ブレ方向とは逆方向に位置する撮像素子によって受け止められ、これにより手ブレボケが発生する。また、被写体Ｈに焦点距離が合っていない場合、図１４に示すように、撮像素子まで到達した光子の一部は、四方八方に拡散して撮像素子（ｘ，ｙ）の周囲の撮像素子によって受け止められ、これによりピンボケが発生する。

このようにしてピンボケ・手ブレボケが生じた原画像からボケのない理想像を求めるべく、本発明に係る画像処理プログラム６では、光子の拡散率が適宜設定されている。表１は、光子の拡散率の一例を示すテーブルである。この場合、被写体（ｘ，ｙ）から撮像素子面Ｓまで到達した光子のうち、約４０％が撮像素子（ｘ，ｙ）によって受け止められ、約１０％が撮像素子（ｘ，ｙ−１），撮像素子（ｘ，ｙ＋１），撮像素子（ｘ−１，ｙ），撮像素子（ｘ＋１，ｙ）によってそれぞれ受け止められ、約５％が撮像素子（ｘ−１，ｙ−１），撮像素子（ｘ−１，ｙ＋１），撮像素子（ｘ＋１，ｙ−１），撮像素子（ｘ＋１，ｙ＋１）によって受け止められることを意味している。すなわち、被写体（ｘ，ｙ）から発せられた光子が拡散する範囲は、撮像素子（ｘ，ｙ）とこれを包囲するようにして隣接する計９個の撮像素子の範囲に限られ、それより外側の撮像素子の範囲へは拡散しないことを意味している。

そして、光子の拡散率を表１に示すように設定した場合、図１５に示すように、撮像素子（ｘ，ｙ）が受け止める光子の総数は、被写体（ｘ，ｙ）とこれを包囲するようにして隣接する計９個の被写体格子から発せられた光子の合計となり、次の式（１０）が成立する。

ここで、式（１０）における入力光量＿撮像素子（ｘ，ｙ）は、メディアリーダ２から入力された原画像データを参照することで全てのｘとｙについて得られる既知の値であるため、この既知の入力光量＿撮像素子（ｘ，ｙ）に基づいて、被写体（ｘ，ｙ）から発せられた全ての光子のうちデジタルカメラの撮像素子面Ｓに到達した光子の総数である出力光量＿被写体（ｘ，ｙ）を全てのｘとｙについて求めることにより、撮影した被写体Ｈの正確な像を得ることができる。すなわち、ボケが生じている原画像に基づいて、ボケのない被写体Ｈの正確な像を知ることができる。

本画像処理プログラム６では、被写体Ｈや撮像素子面Ｓの分割数を多くした場合でも、式（１０）において、膨大な変数を含んだ連立方程式を解くことなく、全てのｘとｙについて出力光量＿被写体（ｘ，ｙ）を近似的に算出することを可能とすべく、出力光量＿被写体（ｘ−１，ｙ）を入力光量＿撮像素子（ｘ−１，ｙ）に、出力光量＿被写体（ｘ＋１，ｙ）を入力光量＿撮像素子（ｘ＋１，ｙ）に、出力光量＿被写体（ｘ，ｙ−１）を入力光量＿撮像素子（ｘ，ｙ−１）に、出力光量＿被写体（ｘ，ｙ＋１）を入力光量＿撮像素子（ｘ，ｙ＋１）に、出力光量＿被写体（ｘ−１，ｙ−１）を入力光量＿撮像素子（ｘ−１，ｙ−１）に、出力光量＿被写体（ｘ＋１，ｙ−１）を入力光量＿撮像素子（ｘ＋１，ｙ−１）に、出力光量＿被写体（ｘ−１，ｙ＋１）を入力光量＿撮像素子（ｘ−１，ｙ＋１）に、出力光量＿被写体（ｘ＋１，ｙ＋１）を入力光量＿撮像素子（ｘ＋１，ｙ＋１）に、それぞれ置換して導出した以下の式（１１）を用いている。

ここで、下記の式（１２）のように定義する光総量・周囲分なる値を新たに導入することにより式（１１）を下記の式（１３）のように書き直すことができる。

そして、式（１３）を変形することによって、下記の式（１４）を導くことができる。

ここで、前述のように、入力光量＿撮像素子（ｘ，ｙ）と光総量・周囲分とは、共に入力された原画像データから得られる既知の値である。従って、前記ＣＰＵ９は、この式（１４）を用いて全てのｘとｙについて出力光量＿被写体（ｘ，ｙ）を算出し、これに応じた画像を新たに生成する。このように、ボケている原画像を修正するのではなく、ボケている原画像データに基づいてボケがない状態での被写体Ｈの理想像を近似的に算出した上で、これに応じた新たな画像を生成することとしたので、膨大な数の変数を含んだ連立方程式を解く必要がない分、処理時間を短縮することができ、且つ、高い精度でボケを修正することができる。

尚、光子の拡散率は表１に限定されず任意の設定に変更することが可能であり、拡散率の設定を変化させることにより、ボケの修正の度合いを強くし又は弱くするように調整することができる。また、本実施例では被写体（ｘ，ｙ）から発せられた光子が撮像素子（ｘ，ｙ）及びこれを包囲するように隣接する計９個の撮像素子の範囲に拡散し、それより外側の撮像素子の範囲には拡散しないものとして拡散率を設定したが、これに限られず、例えば撮像素子（ｘ，ｙ）の隣の隣の撮像素子、すなわち撮像素子（ｘ，ｙ）を中心として５×５＝計２５個あるいは７×７＝計４９個の撮像素子の範囲に光子が拡散するものとして拡散率を設定することも可能である。以下の表２と表３は、この場合の拡散率の設定例を示したものであり、表２はピンボケ修正の度合いを強めにした場合の設定例であって、表３は表２より修正の度合いを弱めにした場合の設定例を示している。

尚、上記説明では説明の便宜上、光子の拡散率を示すテーブルとして表１，表２，及び表３を例に挙げて説明したが、光子の拡散率を示すテーブルは任意に設定変更が可能である。本発明では、表に詳細は示さないが、被写体から発せられた光子が２次元正規分布に従って拡散するとの前提の下、光子の拡散率を示すテーブルを設定している。これは、標準偏差という１個のパラメータを制御するだけで、ピンボケの修正度合いを強くし又は弱くするように自在に調整することができ、制御が容易だからである。また、この場合の画像処理アルゴリズムは、式（１４）を用いて行う点で前述と同様であり、ここでは説明を省略する。

一方、本画像処理プログラム６は、光子の拡散率の設定を、ピンボケ修正の場合と異なる設定とすることによって、手ブレボケの修正も行うことが可能となっている。表４は、手ブレボケ修正の場合の光子の拡散率の設定例であり、撮像素子（ｘ，ｙ）の他に、手ブレ方向とは逆方向に隣接する撮像素子（ｘ−１，ｙ）と、更にそれに隣接する撮像素子（ｘ−２，ｙ）とが光子を受け止めることを示している。

この場合、前記式（１３）と同様に下記の式（１５）が成立し、これを変形することで式（１６）に示すように出力光量＿被写体（ｘ，ｙ）を算出することができる。これにより、手ブレボケした原画像データに基づいて手ブレがない状態での被写体Ｈの理想像を近似的に算出した上で、これに応じた新たな画像を生成することにより、手ブレボケを修正することができる。

このように、同じアルゴリズムを用いてピンボケと手ブレボケの双方を修正可能としたことにより、画像に生じたボケがピンボケか手ブレボケかによって修正のためのアルゴリズムを使い分ける必要がなく、処理が簡略化される。加えて、ピンボケと手ブレボケの双方が複合的に生じた画像でも、有効な先鋭化処理を行うことができるという利点がある。

また、多画素化が進む近年のデジタルカメラで撮影した画像であって、被写体Ｈから発せられた光子が撮像素子の広い範囲に渡って拡散することが想定される場合には、本発明の適用に当たり、以下のような応用的な手法を用いることも可能である。すなわち、修正すべき原画像上に、複数の画素を含んでなる所定大きさのメッシュを設定する。このメッシュの大きさは、原画像の横方向と縦方向のそれぞれにメッシュ個数が１０００個を超えないような大きさとする。そして、光子の拡散率を表４に示すように設定する前提の下で式（１４）を変更した式（１７）を用いることにより、被写体Ｈの理想像を近似的に算出する。尚、式（１７）中の｛メッシュ中平均＿入力光量＿撮像素子（ｍ，ｎ）｝とは、原画像中の横方向にｍ番目、縦方向にｎ番目に位置するメッシュ（ｍ，ｎ）に注目し、その内部に存在する全ての撮像素子（ｘ，ｙ）に対して｛入力光量＿撮像素子（ｘ，ｙ）｝を調べ、それらの平均値を算出したものである。

以下、図８に示すピンボケのみ対処モード（Ｓ３）におけるザラツキ度計測処理（Ｓ６，Ｓ１０，Ｓ１５）について説明する。一般に、画像の先鋭化に際しては、先鋭化の程度が強くなるに従って、その画像は人の目から見て荒れた感じすなわちざらついた感じが強くなる。本発明では、この画像のざらついた感じを数値化すべく、「ザラツキ度」なる指数を導入している。このザラツキ度を計測するには、まず、対象となる画像を複数のメッシュに分割する。本実施例では、このメッシュを一辺が５０ピクセルの正方形領域としたが、もちろん任意の数のピクセルを含んだメッシュを設定可能である。そして、ある１つのメッシュ内に含まれる全ピクセルについて、所定方向に隣接するピクセルとの明度差である〔対隣接ピクセル明度差〕を計測する。ここで、隣接ピクセルとは、画像データ上に隣り合って格納されたピクセルを意味するのではなく、次のようにして決定されるピクセルを意味している。すなわち、対象画像の横方向に格納されたピクセル数と縦方向に格納されたピクセル数を比較して、いずれか大きい方のピクセル数をＫとした場合、その画像上のあるピクセル（ｘ，ｙ）の隣接ピクセルは、以下の式（１８）と式（１９）によって算出されるＩを用いることにより、ピクセル（ｘ−Ｉ，ｙ）と表すことができる。これは、あるピクセル（ｘ，ｙ）から見て左方向にＩピクセルだけ離れた位置に格納されたピクセルを意味している。尚、画像データ上における（Ｉ，ｙ）よりも左側に位置するピクセルについては、左側への隣接ピクセルが存在しないため、対隣接ピクセルの明度差の計測は行わない。また、隣接ピクセルとしては左方向に隣接したピクセルに限られず、任意の方向に隣接したピクセルを選択することが可能である。

そして、そのメッシュについて、図１６に示すように、横軸に０．１幅間隔で明度差を表示し縦軸に度数を表示した度数分布表を作成する。その上で、明度差が−０．１〜＋０．１の範囲の度数を合計したものを〔中心領域・総度数〕と定義する一方、この中心領域の外側に位置する領域、すなわち明度差が−０．３〜−０．１の範囲と＋０．１〜＋０．３の範囲の度数を合計したものを、〔近中心領域・総度数〕と定義する。この場合、当該メッシュのザラツキ度は、以下の式（２０）によって表すことができる。また、度数分布表の横軸は、０．１幅間隔に限られず任意の幅間隔とすることができる。

そして、これと同様にして、画像中に含まれる全てのメッシュについて、メッシュ中の全ピクセルの〔対隣接ピクセル明度差〕を計測した上で度数分布表を作成することにより、ザラツキ度をそれぞれ計測する。その上で、全メッシュのザラツキ度のうち最大値をその画像全体のザラツキ度として出力する。

また、対象画像のザラツキ度を計測する他の手段としては、画像をメッシュ分割することなく行う方法もある。この方法では、まず、対象画像について、最も左端に位置するピクセルを除く全ピクセルについて〔対隣接ピクセル明度差〕を計測する。その上で、上記と同様にして、横軸に０．１幅間隔で明度差を表示し縦軸に度数を表示した度数分布表を作成し、上記式（２０）を用いて画像全体としてのザラツキ度を直接算出する。この方法によれば、画像をメッシュ分割する処理が不要となる分、処理時間を短縮できるという利点がある。

次に、図２に示すピンボケ・手ブレ双方対処モード（Ｓ４）について説明する。図１７は、ピンボケ・手ブレ双方対処モード（Ｓ４）の処理の流れを示すフローチャートである。本画像処理プログラム６は、前述のように、被写体から発せられた光子が２次元正規分布に従って拡散するとの前提の下、現画像に対して先鋭化処理を実行するものである。ピンボケ・手ブレ双方対処モード（Ｓ４）は、光子の拡散率の設定をピンボケのみ対処モード（Ｓ３）とは異なる設定とすることによって、手ブレにも対処可能としたことを特徴としている。このモードでは、まず２次元正規分布扁平化処理（Ｓ１８）が実行された後、扁平化された２次元正規分布に基づいてピンボケのみ対処モード（Ｓ３）が実行される。このピンボケのみ対処モード（Ｓ３）の処理の流れは前述と同じであるため、ここでは説明を省略する。

２次元正規分布扁平化処理（Ｓ１８）では、まず、前記手ブレ状況推測処理（Ｓ１）の出力結果に基づいて、扁平化パラメータ値を算出する。扁平化パラメータ値とは、〔扁平化処理の長軸方向角度〕，〔長軸方向・倍率〕，及び〔短軸方向・倍率〕の３つの数値からなるものであって、手ブレ状況推測処理（Ｓ１）から出力される〔ブレ方向〕，〔ブレピクセル数〕，及び〔総合判定・確信度〕の３つの情報に基づいて算出される。

〔扁平化処理の長軸方向角度〕は〔ブレ方向〕により決定される。具体的には、〔ブレ方向〕が水平方向の場合は〔扁平化処理の長軸方向角度〕が０度に、〔ブレ方向〕が垂直方向の場合は〔扁平化処理の長軸方向角度〕が９０度に、〔ブレ方向〕が左下―右上方向の場合は〔扁平化処理の長軸方向角度〕が４５度に、〔ブレ方向〕が左上―右下方向の場合は〔扁平化処理の長軸方向角度〕が１３５度にそれぞれ設定される。

〔長軸方向・倍率〕と〔短軸方向・倍率〕は、次の式（２１）と式（２２）により算出される。ここで、式（２１）中の〔長軸方向を短軸方向の何倍にするか〕は、〔ブレピクセル数〕と〔総合判定・確信度〕を用いて次の式（２３）により算出される。この式（２３）によれば、〔総合判定・確信度〕の変化に伴って〔長軸方向を短軸方向の何倍にするか〕が動的に変化し、例えば、〔総合判定・確信度〕＝０の時は〔長軸方向を短軸方向の何倍にするか〕＝１．０となり、〔総合判定・確信度〕＝.１．０の時は〔長軸方向を短軸方向の何倍にするか〕＝〔ブレピクセル数〕となる。

次に、〔拡散率設定の元データ・表〕を設定する。図１８は、〔拡散率設定の元データ・表〕を示す図である。〔拡散率設定の元データ・表〕を構成する各マス目には、図に示すような座標がそれぞれ与えられている。この座標（ｘ，ｙ）に対し、以下の式（２４）から式（２９）を用いて算出した〔マス目（ｘ，ｙ）に設定する値〕をそれぞれセットしていく。

そして、算出した〔拡散率設定の元データ〕を用いて、〔光子拡散率表〕の各マス目（ｘ，ｙ）に設定する値を次の式（３０）により算出する。尚、式（３０）におけるΣは、〔拡散率設定の元データ・表・マス目（ｘ，ｙ）に設定する値〕の全マス目に渡っての総合計を意味している。

本発明は、ピンボケ画像や手ブレ画像を先鋭な画像に修正する画像処理プログラム及び画像処理装置に適用可能である。

Claims (15)

1. 被写体から発せられた光子が所定の様相に従って拡散するとの前提に基づいて、ピンボケが生じた原画像に対する先鋭化処理をコンピュータに実行させる画像処理プログラムであって、
   前記光子の拡散様相に基づいて原画像を先鋭化し、先鋭化後の画像について見た目上のザラツキ具合を示すザラツキ度を計測し、該ザラツキ度が所定の閾値を超えない範囲内で前記拡散様相を支配するパラメータの最大値をその最適値として決定し、前記パラメータを前記最適値に設定して原画像を先鋭化した画像を最終結果として出力する処理をコンピュータに実行させることを特徴とする画像処理プログラム。
2. 被写体から発せられた光子が所定の様相に従って拡散するとの前提に基づいて、ピンボケと手ブレボケの双方が複合して生じた原画像に対する先鋭化処理をコンピュータに実行させる画像処理プログラムであって、
   原画像に生じた手ブレ状況を推測し、該手ブレ状況に応じて前記光子の拡散様相を変形させ、変形後の前記拡散様相に基づいて原画像を先鋭化し、先鋭化後の画像について見た目上のザラツキ具合を示すザラツキ度を計測し、該ザラツキ度が所定の閾値を超えない範囲内で変形後の前記拡散様相を支配するパラメータの最大値をその最適値として決定し、前記パラメータを前記最適値に設定して原画像を先鋭化した画像を最終結果として出力する処理をコンピュータに実行させることを特徴とする画像処理プログラム。
3. 前記手ブレ状況を推測する処理は、原画像を構成する画素について、隣接する周囲の画素との差異を測定してその絶対値が所定の閾値より小さい方向をその画素が平坦性を有する方向とし、同じ方向に平坦性を有する連続した画素群を短冊として形成し、短冊が最も多く形成された方向を手ブレ方向と推測するとともに、その手ブレ方向に形成された短冊の平均長さを手ブレ画素数と推測するものであることを特徴とする請求項２記載の画像処理プログラム。
4. 前記光子の拡散様相を変形させる処理は、前記光子の拡散様相を前記手ブレ方向に前記手ブレ画素数分だけ引き延ばすものであることを特徴とする請求項３記載の画像処理プログラム。
5. 前記光子の拡散様相が２次元正規分布であって、前記パラメータが標準偏差であることを特徴とする請求項１乃至４のいずれかに記載の画像処理プログラム。
6. 前記ザラツキ度は、前記先鋭化後の画像を構成する画素について、所定方向に隣接する画素との明度差を測定し、その明度差に基づいて計測されることを特徴とする請求項１乃至５のいずれかに記載の画像処理プログラム。
7. 前記原画像を先鋭化する処理は、被写体から発せられてカメラの撮像素子面上に位置する所定の撮像素子によって受け止められる光の総量が、前記被写体の所定部分から発せられて前記撮像素子面に到達した光のうち前記所定の撮像素子によって受け止められる光量と、前記被写体の所定部分から発せられた光の拡散範囲内に含まれる撮像素子のうち前記所定の撮像素子を除く他の撮像素子によって受け止められる光の総量との合計に等しいと近似して、前記被写体の所定部分から発せられて前記撮像素子面に到達した光量を算出することにより、原画像データに基づいて新たな画像を生成するものであることを特徴とする請求項１乃至６のいずれかに記載の画像処理プログラム。
8. 請求項１乃至７のいずれかに記載の画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体。
9. 被写体から発せられた光子が所定の拡散様相に従って拡散するとの前提に基づいて、ピンボケが生じた原画像に対する先鋭化処理を実行する画像処理装置において、
   前記光子の拡散様相に基づいて原画像を先鋭化する先鋭化手段と、先鋭化後の画像について見た目上のザラツキ具合を示すザラツキ度を計測するザラツキ度計測手段と、ザラツキ度が所定の閾値を超えない範囲内で前記拡散様相を支配するパラメータの最大値をその最適値として決定するパラメータ最適値決定手段と、前記先鋭化手段が前記パラメータを前記最適値に設定して原画像を先鋭化した画像を最終結果として出力する最終結果出力手段と、を備えることを特徴とする画像処理装置。
10. 被写体から発せられた光子が所定の様相に従って拡散するとの前提に基づいて、ピンボケと手ブレボケの双方が複合して生じた原画像に対する先鋭化処理を実行する画像処理装置において、
    原画像に生じた手ブレ状況を推測する手ブレ状況推測手段と、該手ブレ状況に応じて前記光子の拡散様相を変形させる拡散様相変形手段と、変形後の前記拡散様相に基づいて原画像を先鋭化する先鋭化手段と、先鋭化後の画像について見た目上のザラツキ具合を示すザラツキ度を計測するザラツキ度計測手段と、該ザラツキ度が所定の閾値を超えない範囲内で変形後の前記拡散様相を支配するパラメータの最大値をその最適値として決定するパラメータ最適値決定手段と、前記先鋭化手段が前記パラメータを前記最適値に設定して原画像を先鋭化した画像を最終結果として出力する最終結果出力手段と、を備えることを特徴とする画像処理装置。
11. 前記手ブレ状況推測手段は、原画像を構成する画素について、隣接する周囲の画素との差異を測定してその絶対値が所定の閾値より小さい方向をその画素が平坦性を有する方向とし、同じ方向に平坦性を有する連続した画素群を短冊として形成し、短冊が最も多く形成された方向を手ブレ方向と推測するとともに、その手ブレ方向に形成された短冊の平均長さを手ブレ画素数と推測するものであることを特徴とする請求項１０記載の画像処理装置。
12. 前記拡散様相変形手段は、前記光子の拡散様相を前記手ブレ方向に前記手ブレ画素数分だけ引き延ばすものであることを特徴とする請求項１１記載の画像処理装置。
13. 前記光子の拡散様相が２次元正規分布であって、前記パラメータが標準偏差であることを特徴とする請求項９乃至１２のいずれかに記載の画像処理装置。
14. 前記ザラツキ度計測手段は、前記先鋭化後の画像を構成する画素について、所定方向に隣接する画素との明度差を測定し、その明度差に基づいてザラツキ度を計測することを特徴とする請求項９乃至１３のいずれかに記載の画像処理装置。
15. 前記先鋭化手段は、被写体から発せられてカメラの撮像素子面上に位置する所定の撮像素子によって受け止められる光の総量が、前記被写体の所定部分から発せられて前記撮像素子面に到達した光のうち前記所定の撮像素子によって受け止められる光量と、前記被写体の所定部分から発せられた光の拡散範囲内に含まれる撮像素子のうち前記所定の撮像素子を除く他の撮像素子によって受け止められる光の総量との合計に等しいと近似して、前記被写体の所定部分から発せられて前記撮像素子面に到達した光量を算出することにより、原画像データに基づいて新たな画像を生成するものであることを特徴とする請求項９乃至１４のいずれかに記載の画像処理装置。

Images