WO2007141886A1

WO2007141886A1 - 手ブレ状況推測プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに手ブレ状況推測装置

Info

Publication number: WO2007141886A1
Application number: PCT/JP2006/315679
Authority: WO
Inventors: Syunichi Yanagida
Original assignee: Nippon Computer System Co., Ltd
Priority date: 2006-06-08
Filing date: 2006-08-08
Publication date: 2007-12-13
Also published as: JP3915037B1; WO2007141887A1; WO2007141863A1; JPWO2007141863A1

Abstract

　本手ブレ状況推測プログラムは、対象となる画像を構成する複数の画素について、色の属性に関し隣接する周囲の画素との差異を測定してその絶対値が所定の閾値より小さい方向をその画素が平坦性を有する方向とし、同じ方向に平坦性を有する連続した画素群を短冊として形成し、各方向毎に算出した短冊の平均長さに基づいて手ブレ方向を推測するとともに、その手ブレ方向に形成された短冊の平均長さを手ブレ画素数と推測するものである。

Description

明細書

手ブレ状況推測プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに手ブレ状況推測装置

技術分野

[0001] 本発明は、ボケが生じた画像を先鋭ィ匕するに先立って、手ブレの方向とその画素数を精度良く推測することが可能な手ブレ状況推測プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに手ブレ状況推測装置に関する。背景技術

[0002] デジタルカメラ等を用いて被写体を撮影した場合、写真画像にボケが生じる場合がある。このボケとしては、焦点距離のズレに起因するピンボケと、撮像者の手のぶれに起因する手ブレボケと、被写体が動くことに起因する被写体ブレボケとが挙げられる。このようなボケ画像を先鋭ィ匕すなわちくっきりとした画像に修正する方法として、いわゆるアンシャープマスクやラプラシアンフィルタによる処理が従来用いられて、る ( 例えば特許文献 1及び特許文献 2参照)。

[0003] し力し、アンシャープマスクやラプラシアンフィルタを用いた先鋭化処理では、ピンボケと手ブレボケの双方を包括的に先鋭ィ匕することができな、ため、画像に生じたボケに応じてアンシャープマスクやラプラシアンフィルタ等を適宜使い分ける必要がある。従って、有効な先鋭ィ匕処理を実現するためには、先鋭ィ匕処理に先立って、対象となる画像の撮影時に手ブレがどちら向きに何画素分生じたかを精度良く推測することが必要となる。

[0004] 従来、対象画像につ!、て手ブレの発生状況を推測する手法としては、デジタルカメラ等に搭載されて撮影時に手ブレをハード的に検出する方法や、対象画像のスぺクトルを分析してその分析したスペクトルをフーリエ変換することによりソフト的に検出する方法が用いられている。

[0005] しかし、上記のようにフーリエ変換によりソフト的に手ブレの発生状況を推測する方法は、計算が複雑なものとなり、計算コストが高くなるという問題があった。

[0006] 特許文献 1 :日本国特許出願公開番号特開 2006— 031195号公報特許文献 2 :日本国特許出願公開番号特開 2006— 011619号公報発明の開示

[0007] 本発明は、このような問題に鑑みてなされたものであり、ボケが生じた画像に対する先鋭ィ匕処理を実行するに先立って、画像撮影時に手ブレがどちら向きに何画素分生じた力を安価なコストで精度良く推測する手段を提供する。

図面の簡単な説明

[0008] [図 1]本発明の実施例に係る画像処理装置 1の構成を示すブロック図。

[図 2]画像処理プログラム 6の処理の流れを示すフローチャート。

[図 3]対象ピクセル 13と周囲 8方向に隣接するピクセルとの明度差の一例を示す図。

[図 4]対象ピクセル 13と周囲 8方向に隣接するピクセルとの明度差の一例を示す図。

[図 5]対象ピクセル 13と周囲 8方向に隣接するピクセルとの明度差の一例を示す図。

[図 6]対象ピクセル 13と周囲 8方向に隣接するピクセルとの明度差の一例を示す図。

[図 7]短冊 22を説明するための説明図。

[図 8]ピンボケのみ対処モード（S3)の処理の流れを示すフローチャート。

[図 9]第 1中間値を算出するためのグラフ。

[図 10]第 2中間値を算出するためのグラフ。

[図 11]第 2中間値を算出するためのグラフ。

[図 12]被写体 H力発せられた光子が撮像素子面 Sに到達する様子を説明するための説明図。

[図 13]手ブレボケの発生を説明するための説明図。

[図 14]ピンボケの発生を説明するための説明図。

[図 15]撮像素子 (X, y)が受け止める光子の総数を説明するための説明図。

[図 16]あるメッシュ中に含まれる全ピクセルについて〔対隣接ピクセル明度差〕の度数分布を示す度数分布表。

[図 17]ピンボケ.手ブレ双方対処モード（S4)の処理の流れを示すフローチャート。

[図 18]〔拡散率設定の元データ ·表〕を示す図。

発明を実施するための最良の形態

[0009] 以下、本発明の実施例に係る画像処理装置及び画像処理プログラムについて図面に基づいて説明する。図 1は、本実施例に係る画像処理装置 1の構成を示すプロック図である。本画像処理装置 1は、修正すべき原画像の画像データを入力するためのメディアリーダ (原画像入力手段） 2と入力された原画像に基づヽてこれを先鋭化した新画像を生成するコンピュータ 3と、生成された新画像をプリントアウトするための写真プリンタ 4と、を備えてなるものである。

[0010] メディアリーダ 2は、メモリカード， CD等の各種記憶媒体に記憶された原画像データを読み取ってコンピュータ 3に入力するためのものである。もちろん、本発明にかかる原画像入力手段として、本実施例のメディアリーダ 2に代えて従来公知のイメージスキャナ等を用いることにより、プリント済みの写真画像力画像データを読み取ることも可能である。

[0011] コンピュータ 3は、メディアリーダ 2から入力された原画像データを記憶する画像メモリ 5と、画像先鋭ィ匕のための画像処理プログラム 6を格納するハードディスク 7と、該ハードディスク 7から読み出された画像処理プログラム 6を一時記憶する RAM (Randa om Access Memory) 8と、この画像処理プログラム 6に従って原画像データを先鋭化処理する CPU (Central Processing Unit) 9と、原画像や先鋭化処理後の画像を表示するための表示部 10と、マウスやキーボード等で構成される操作部 11と、がシステムノス 12を介して接続されてなるものである。尚、先鋭化処理後の画像をハードディスク 7に格納することも可能である。

[0012] 以下、本発明に係る画像処理プログラム 6のアルゴリズムにつ、て説明する。本画像処理プログラム 6は、種々のプログラミング言語を用いて作成され、原画像データに基づ!/、てピンボケや手ブレがまったく発生しな、時の理想像を近似的に算出するものである。

[0013] 図 2は、画像処理プログラム 6の処理の流れを示すフローチャートである。画像処理プログラム 6では、まず、入力された原画像に対して手ブレ状況推測処理 (S 1)が実行される。その結果、原画像に手ブレが発生していないと判断した場合は（S2 : No) 、ピンボケのみ対処モードが実行される（S3)。一方、手ブレが発生していると判断した場合は（S2 : Yes)、ピンボケ'手ブレ双方対処モードが実行される（S4)。以下、各処理について詳細に説明する。尚、原画像についての手ブレの存否は、手ブレ状況推測処理 (SI)に基づいた判断 (S2)によることなぐ使用者自身が原画像を見て手ブレの存否を判断した上で、ピンボケのみ対処モード（S3)とピンボケ.手ブレ双方対処モード (S4)の、ずれかを選択することも可能である。

[0014] まず、手ブレ状況推測処理 (S1)について説明する。手ブレ状況推測処理 (S1)は、入力された原画像データを解析することにより、撮影時に生じた手ブレ方向である〔ブレ方向〕と、そのピクセル数である〔ブレビクセル数〕を推測する処理である。より詳細に説明すると、被写体力発せられてデジタルカメラのある 1つの撮像素子によつて受け止められるはずであった光子は、手ブレが発生すると、その撮像素子に対して手ブレ方向とは逆方向に位置する撮像素子によっても受け止められる。これにより、原画像には、明度等の属性が接近して、るピクセルが所定方向に連続した短冊状の部分が生じる。本発明では、原画像に生じたこの短冊部分を解析することにより、〔ブレ方向〕と〔ブレビクセル数〕を推測する。尚、以降においては、注目属性としてピクセルの明度を使用した場合を説明するが、色相や彩度や輝度といった他の属性を使用した場合もこれと同様の手順となる。

[0015] 手ブレ状況推測処理 (S1)では、まず、原画像に含まれる全ピクセルについて、周囲 8方向に隣接するピクセル、すなわち左，右，上，下，左上，右上，左下，及び右下の計 8方向に隣接する各ピクセルとの明度差を調べ、その絶対値をそれぞれ記録していく。図 3及び図 4は、中央に位置する対象ピクセル 13と周囲 8方向に隣接するピクセルとの明度差の一例を示す図である。尚、図中で斜線が施されたピクセルは対象ピクセル 13との明度差が所定の閾値より小さいピクセルを意味し、図中で黒く塗りつぶされたピクセルは対象ピクセル 13との明度差が所定の閾値より大きいピクセルを意味している。尚、本実施例では、この閾値を 0. 05としている力適宜設定変更が可能である。ここで、図 3 (a)に示すように、対象ピクセル 13が、左右両隣のピクセル 1 4, 15と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がある程度異なる場合や、図 3 (b)及び図 3 (c)に示すように、対象ピクセル 13が左右いずれか一方の隣接ピクセル 14, 15と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がある程度異なる場合、対象ピクセル 13は水平方向に平坦性があると判断する。 [0016] 同様に、図 4 (a)に示すように、対象ピクセル 13が、上下両隣のピクセル 16, 17と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がある程度異なる場合や、図 4 (b)及び図 4 (c)に示すように、対象ピクセル 13が上下いずれか一方の隣接ピクセル 16, 17と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度力 Sある程度異なる場合、対象ピクセル 13は上下方向に平坦性があると判断する。

[0017] また、図 5及び図 6は、対象ピクセル 13と周囲 8方向に隣接するピクセルとの明度差について他の例を示す図である。尚、図中では斜線が施されたピクセルは対象ピクセル 13との明度差が所定の閾値より小さいピクセルを、黒く塗りつぶされたピクセルは対象ピクセル 13との明度差が所定の閾値より大きいピクセルを、白く塗りつぶされたピクセルは対象ピクセル 13との明度差を問わな、ピクセルをそれぞれ意味してヽる。ここで、図 5 (a)に示すように、対象ピクセル 13が左下隣及び右上隣の両ピクセル 18, 19と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がほとんど同じであるとは言えない場合や、図 5 (b)及び図 5 (c)に示すように、対象ピクセル 13 が左下又は右上のいずれか一方の隣接ピクセル 18, 19と明度がほとんど同じであつて、それ以外の隣接ピクセルとは明度がほとんど同じであるとは言えない場合、対象ピクセル 13は左下一右上方向に平坦性があると判断する。

[0018] 同様に、図 6 (a)に示すように、対象ピクセル 13が左上隣及び右下隣の両ピクセル 20, 21と明度がほとんど同じであって、それ以外の隣接ピクセルとは明度がほとんど同じであるとは言えない場合や、図 6 (b)及び図 6 (c)に示すように、対象ピクセル 13 が左上又は右下のいずれか一方の隣接ピクセル 20, 21と明度がほとんど同じであつて、それ以外の隣接ピクセルとは明度がほとんど同じであるとは言えない場合、対象ピクセル 13は左上一右下方向に平坦性があると判断する。

[0019] また、図に詳細は示さないが、対象ピクセル 13と周囲 8方向に隣接するピクセルとの明度差が図 3乃至図 6のいずれにも該当しない場合、対象ピクセル 13は平坦性がないと判断する。

[0020] 次に、全ピクセルの平坦性に関する調査結果に基づいて、原画像上における短冊部分の存否及びその方向を調査する。すなわち、図 ₇ (_a) , (b) , (c)に示すように、同方向への平坦性を有するピクセルが連続する場合にこれを短冊 22と判断し、図に詳細は示さないが、水平，垂直，左下一右上，及び左上一右下の各方向ごとに、何ピクセル分の短冊 22が何個形成されたかを示す度数分布表をそれぞれ作成する。

[0021] 次に、作成された度数分布表を元に、各方向毎に短冊 22の平均長さを算出する。

但し、その長さが 2ピクセルより短い短冊 22と、所定の上限値より長い短冊 22については、平均長さの算出対象から除外した。これは、 2ピクセルより短いものは、実質上短冊 22を形成しているとは言えないからであり、また、上限値より長いものは、手ブレによって生じた短冊 22部分ではなぐ被写体上に実在する明度が接近しているピクセルが連続した部分の可能性が高いからである。尚、本実施例では前記上限値を 8 ピクセルとしたが、適宜設定変更が可能である。

[0022] 次に、各方向毎に算出された短冊 22の平均長さに基づいて、〔ブレ方向〕を推測する。〔ブレ方向〕の推測は、短冊 22が最も多く形成された方向を調べ、その方向を〔ブレ方向〕と決定することにより行う。より詳細には、各方向毎に算出された短冊 22の平均長さのうち、水平方向の平均短冊長さと垂直方向の平均短冊長さを比較し、水平方向の平均短冊長さが垂直方向の平均短冊長さ以上である場合には、以下の式（1 )により、〔水平一垂直短冊分布比〕を算出する。一方、水平方向の平均短冊長さが垂直方向の平均短冊長さより小さい場合には、以下の式 (2)により、〔水平一垂直短冊分布比〕を算出する。

[数 1] 水平-垂直短冊分布比

=水平方向'平均短冊長さノ垂直方向'平均短冊長さ式）

[数 2] 水平-垂直短冊分布比

=垂直方向'平均短冊長さノ水平方向'平均短冊長さ式（2)

[0023] また、各方向毎に算出された短冊 22の平均長さのうち、左下一右上方向の平均短冊長さと左上一右下方向の平均短冊長さを比較し、左下一右上方向の平均短冊長さが左上一右下方向の平均短冊長さ以上である場合には、以下の式 (3)により、〔斜め短冊分布比〕を算出する。一方、左下一右上方向の平均短冊長さが左上一右下方向の平均短冊長さより小さい場合には、以下の式 (4)により、〔斜め短冊分布比〕を算出する。

[数 3] 斜め ·短冊分布比

=左下一右上方向'平均'短冊長さ Z左上一右下方向 '平均.短冊長さ. . .式（3) 画斜め ·短冊分布比

=左上一右下方向'平均短冊長さ左下一右上方向.平均短冊長さ. . .式（₄)

[0024] このように〔水平一垂直短冊分布比〕と〔斜め短冊分布比〕を算出した後、両者を比較して、〔水平一垂直短冊分布比〕が〔斜め短冊分布比〕以上であって、且つ、水平方向の平均短冊長さが垂直方向の平均短冊長さ以上である場合には、〔ブレ方向〕を水平方向に決定する。一方、〔水平一垂直短冊分布比〕が〔斜め短冊分布比〕以上であって、且つ、水平方向の平均短冊長さが垂直方向の平均短冊長さより小さい場合には、〔ブレ方向〕を垂直方向に決定する。

[0025] また、〔水平一垂直短冊分布比〕が〔斜め短冊分布比〕より小さぐ且つ、左下一右上方向の平均短冊長さが左上一右下方向の平均短冊長さ以上である場合には、〔ブレ方向〕を左下一右上方向に決定する。一方、〔水平一垂直短冊分布比〕が〔斜め短冊分布比〕より小さぐ且つ、左下一右上方向の平均短冊長さが左上一右下方向の平均短冊長さより小さい場合には、〔ブレ方向〕を左上一右下方向に決定する。

[0026] 次に、〔ブレビクセル数〕を推測する。すなわち、〔ブレ方向〕が水平方向の場合は〔ブレビクセル数〕を水平方向の平均短冊長さに決定し、〔ブレ方向〕が垂直方向の場合は〔ブレビクセル数〕を垂直方向の平均短冊長さに決定する。また、〔ブレ方向〕が左下一右上方向の場合は〔ブレビクセル数〕を左下一右上方向の平均短冊長さに決定し、〔ブレ方向〕が左上一右下方向の場合は〔ブレビクセル数〕を左上一右下方向の平均短冊長さに決定する。

[0027] 次に、〔ブレ方向に関する確信度〕を算出する。前述のように、〔ブレ方向〕の推測に際しては、短冊 22が最も多く形成された方向を〔ブレ方向〕としたが、それが圧倒的多数を占めたものであったのか、それとも僅少差で最も多く形成された方向とされたのかによってその確信度が異なる。従って、本発明では、〔ブレ方向〕の推測にどの程度の確信度があるかを示す係数として、〔ブレ方向に関する確信度〕を導入してヽる。この〔ブレ方向に関する確信度〕は、以下の式（5)によって算出される。ここで、式 (5)における〔多数派勢力指数〕としては、〔ブレ方向〕が水平方向または垂直方向の場合は〔水平一垂直短冊分布比〕を、〔ブレ方向〕が左下一右上方向または左上一右下方向の場合は〔斜め短冊分布比〕をそれぞれ用いる。

[数 5]

[ブレ方向に関する確信度] =

(

1.0

I

(1.0

+

( 100.0

*

exp

(

( ( - 1.0 ) * [多数派勢力指数] ) 式（5)

)

[0028] 次に、〔グループ化可能ピクセルの多少に起因しての確信度〕を算出する。前述のように、〔ブレ方向〕の決定に際しては、短冊 22が最も多く形成された方向を〔ブレ方向〕としたが、原画像中に多くの短冊 22が形成された状態において最も多く形成された方向を〔ブレ方向〕として決定した場合と、短冊 22を形成し得るピクセルがほとんどなぐほんの僅かの個数の短冊 22が形成されただけの状態において最も多く形成された方向を〔ブレ方向〕として決定した場合とではその確信度が異なる。従って、本発明では、〔ブレ方向〕の推測にどの程度の確信度があるかを示す係数として、〔ブレ方向に関する確信度〕とは別に、〔グループィ匕可能ピクセルの多少に起因しての確信度〕を導入している。

[0029] この〔グループィ匕可能ピクセルの多少に起因しての確信度〕の算出に際しては、まず、〔多数派形成'ピクセル数'割合〕を以下の式 (6)によって算出する。ここで、式 (6 )における〔多数派形成'ピクセル数〕としては、〔ブレ方向〕が水平方向の場合は、原画像中で水平方向に平坦性を有するピクセルの数を、〔ブレ方向〕が垂直方向の場合は、原画像中で水平方向に平坦性を有するピクセルの数を、〔ブレ方向〕が左下一右上方向の場合は、原画像中で左下一右上方向に平坦性を有するピクセルの数を、〔ブレ方向〕が左上一右下方向の場合は、左上一右下方向に平坦性を有するピクセルの数を、それぞれ採用する。

[数 6]

〔多数派形成'ピクセル数'割合〕

=〔多数派形成■ピクセル数〕ノ原画像の総ピクセル数式（6) そして、以下の式（7)によって〔グループ化可能ピクセルの多少に起因しての確信度〕を算出する。

[数 7]

[グループ化可能ピクセル数の多少に起因しての確信度； ) =

(

1.0

I

( 1.0

+

( 20.0

*

exp

(

( ( - 1.0 )

*

( 200

[多数派形成'ピクセル数'割合] 式 (7)

) [0031] 最後に、〔総合判定'確信度〕を算出する。この〔総合判定'確信度〕は、〔ブレ方向〕の推測にどの程度の確信度があるかを示す係数として算出した〔ブレ方向に関する確信度〕と〔グループィ匕可能ピクセルの多少に起因しての確信度〕を用いて、以下の式 (8)によって算出することができる。

[数 8]

[総合判定 ·確信度] =

0.98

*

(

[グループ化可能ピクセルの多少に起因しての確信度] 式（₈)

[ブレの方向に関する確信度]

)

[0032] 以上説明したように、原画像に対して手ブレ状況推測処理が実行された結果、〔ブレ方向〕，〔ブレビクセル数〕，及び〔総合判定'確信度〕の 3つの情報が出力され、これらの情報に基づいて後述する 2次元正規分布扁平化処理が実行されるものとなつている。

[0033] 次に、図 2に示すピンボケのみ対処モード（S3)について説明する。図 8は、ピンボケのみ対処モード（S3)の処理の流れを示すフローチャートである。本画像処理プログラム 6は、後述するように、被写体から発せられた光子が 2次元正規分布に従って拡散するとの前提の下、原画像に対して先鋭ィ匕処理を実行するものである。ピンボケのみ対処モード (S3)では、 2次元正規分布のパラメータである標準偏差 σが最適値に設定され、その上で原画像に対して先鋭ィ匕処理が実行されるものとなってヽる。

[0034] 図 8に示すように、ピンボケのみ対処モード (S3)の開始に伴い、まず、標準偏差 σ を上限値に設定して原画像に対して先鋭化処理を実行する（S5)。本発明では、 2次元正規分布のパラメータである標準偏差 σとして、実用上の上限値と下限値を予め定めている。ここで、上限値とは、それ以上標準偏差 σが大きくなると、画像の先鋭度は増すものの、画像のザラツキが著しくなつて見るに耐えない状態となる限界値である。一方、下限値とは、それ以下に標準偏差 σが小さくなると、先鋭ィ匕の効果が得られないか或いは画像が異常な状態になってしまう限界値である。本実施例では、多数の画像に対して標準偏差 σを種々に変化させて先鋭ィ匕を行った結果、上限値を 0. 7に、下限値を 0. 3にそれぞれ設定している。もちろん、画像のザラツキ感は見る側の個人差等に影響を受けるため、本実施例に限定されず適宜設定変更が可能である。尚、先鋭ィ匕処理の詳細については後述するため、ここでは説明を省略する。

[0035] そして、先鋭化処理後の画像につ!、て、ザラツキ度計測処理を実行する（S6)。ここでは、計測されたザラツキ度を〔ザラツキ度'標準偏差 ·上限値設定〕と定義し、これを目安ザラツキ度（閾値)と比較する（S7)。この目安ザラツキ度は、ザラツキ度がこの程度の大きさになれば良好な先鋭ィ匕の効果が得られるというザラツキ度の目安値であつて、本実施例ではこの目安ザラツキ度を 30に設定している。もちろん、この目安ザラツキ度も適宜設定変更が可能である。そして、〔ザラツキ度 ·標準偏差 ·上限値設定〕が目安ザラツキ度より小さ、場合には (S7： Yes)、標準偏差 σを上限値に設定して原画像に先鋭ィ匕処理を行い (S8)、先鋭ィ匕処理後の画像を最終結果として出力した後、処理を終了する。このように、標準偏差 σを上限値に設定して最も強い先鋭ィ匕処理を行っても、先鋭ィ匕処理後の画像のザラツキ度が目安ザラツキ度に達しない場合には、標準偏差 σの最適値として上限値を採用する。尚、ザラツキ度計測処理の詳細についても後述するため、ここでは説明を省略する。

[0036] 一方、〔ザラツキ度 ·標準偏差 ·上限値設定〕が、目安ザラツキ度より大きい場合には

(S7 : No)、標準偏差 σを下限値に設定して原画像に対して先鋭化処理を実行する (S9)。そして、先鋭ィ匕処理後の画像について、ザラツキ度計測処理を実行する（S1 0)。ここでは、計測されたザラツキ度を、〔ザラツキ度'標準偏差 '下限値設定〕と定義し、これを目安ザラツキ度と比較する（Sl l)。そして、〔ザラツキ度 ·標準偏差 ·下限値設定〕が目安ザラツキ度より大き!、場合には (S 11： Yes)、標準偏差 σを下限値に設定して原画像に先鋭化処理を行い（S 12)、先鋭ィヒ処理後の画像を最終結果として出力した後、処理を終了する。このように、標準偏差 σを下限値に設定して最も弱い先鋭ィ匕処理を行っても、先鋭ィ匕処理後の画像のザラツキ度が目安ザラツキ度を越えてしまう場合には、標準偏差 σの最適値として下限値を採用する。この場合でも、下限値は、先鋭ィ匕処理の前後で画像にほとんど差が生じない程度の大きさに設定されているため、標準偏差 σを下限値に設定することで画像が見るに耐えない状態になることはない。

[0037] また、〔ザラツキ度，標準偏差，下限値設定〕が目安ザラツキ度より小さい場合には（ Sl l :No)、標準偏差 σの第 1中間値を算出する (S13)。この第 1中間値とは、上限値と下限値の間に、最適値に程々に近い値として暫定的に設定されるものである。この第 1中間値を算出するには、まず、図 9に示すように、 X軸に標準偏差 σを Y軸にザラツキ度を取ったグラフを作成し、このグラフ上に、（上限値，〔ザラツキ度'標準偏差'上限値設定〕） P1と (下限値，〔ザラツキ度'標準偏差 ·下限値設定〕 ) Ρ2の 2点をそれぞれプロットする。そして、この 2点を通過する直線 Αを引き、目安ザラツキ度を示す直線 Bである Y= 30との交点 P3について、その交点座標を算出し X座標を第 1 中間値と決定する。次に、標準偏差 σをこの第 1中間値に設定して原画像に対して先鋭ィ匕処理を実行する（S 14)。そして、先鋭ィ匕処理後の画像についてザラツキ度計測処理を実行する（S 15)。ここでは、計測されたザラツキ度を〔ザラツキ度 ·標準偏差，第 1中間値設定〕と定義する。

[0038] 次に、標準偏差 σの第 2中間値を算出する (S16)。この第 2中間値とは、第 1中間値より更に最適値に近い値であって、下限値と第 1中間値の間、又は第 1中間値と上限値の間に設定されるものである。この第 2中間値の算出方法は、〔ザラツキ度'標準偏差 ·第 1中間値設定〕が目安ザラツキ度より大き!ヽか小さ！ヽかによつて 2通りに分類される。まず、〔ザラツキ度 ·標準偏差 ·第 1中間値〕が目安ザラツキ度より大きい場合、図 10に示すように、 X軸に標準偏差 σを Y軸にザラツキ度を取ったグラフを作成し、このグラフ上に、（第 1中間値，〔ザラツキ度'標準偏差 '第 1中間値設定〕） Ρ3と、 ( 下限値，〔ザラツキ度 ·標準偏差 ·下限値設定〕） Ρ2の 2点をプロットする。そして、この 2点を通過する直線 Cと、目安ザラツキ度を示す直線 Βである Υ= 30との交点 Ρ4について、その交点座標を算出し X座標を標準偏差 σの第 2中間値と決定する。

[0039] 一方、〔ザラツキ度 ·標準偏差 '第 1中間値設定〕が目安ザラツキ度より小さい場合、図 11に示すように、 X軸に標準偏差 σを Υ軸にザラツキ度を取ったグラフを作成し、このグラフ上に、（第 1中間値，〔ザラツキ度'標準偏差 '第 1中間値設定〕） Ρ3と、（上限値，〔ザラツキ度'標準偏差 ·上限値設定〕） P1の 2点をプロットする。そして、この 2 点を通過する直線 Dと、目安ザラツキ度を示す直線 Βである Υ= 30との交点 Ρ5について、その交点座標を算出し X座標を標準偏差 σの第 2中間値と決定する。最後に、図 8に示すように、標準偏差 σを第 2中間値に設定して原画像に対して先鋭化処理を実行し (S17)、先鋭ィ匕処理後の画像を最終結果として出力した後、処理を終了する。

[0040] このように、標準偏差 σが下限値力上限値へと変化するに連れてザラツキ度が線形的に変化すると仮定し、ザラツキ度が目安ザラツキ度となる標準偏差 σ値を第 1中間値として算出した上で、実際に標準偏差 σをその中間値に設定して先鋭ィ匕処理を行ってその画像のザラツキ度を計測し、ザラツキ度が目安ザラツキ度に更に近付くような第 2中間値を算出する、という手順により標準偏差 σの最適値を近似計算している。尚、本実施例では標準偏差 σの最適値として第 2中間値を採用しているが、更に下限値と第 2中間値の間、或いは第 2中間値と上限値の間に第 3中間値を算出してこれを最適値として採用することも可能である。また、同様の手順で第 4中間値、第 5 中間値 · ·と算出してこれを最適値として採用することも可能である。

[0041] 以下、図 8に示すピンボケのみ対処モード（S3)における先鋭化処理（S5, S8, S9 , S12, S14, S17)〖こついて説明する。先鋭ィ匕処理（S5, S8, S9, S12, S14, S1 7)の説明に先立って、まず、デジタルカメラにおけるピンボケや手ブレボケの発生メ力-ズムについて説明する。一般に、デジタルカメラの内部には、光を受けると電気的に反応する素子 (以下、「撮像素子」という）が設けられており、撮影しょうとする物体 (以下、「被写体」、う）の表面力発せられた光の粒である光子力デジタルカメラのシャッターが開いている間に、カメラ内部の撮像素子に到達することより、被写体に応じた像が形成される。これにより、デジタルカメラによる被写体の撮影が可能となつている。本発明では、図 12に示すように、被写体 Hの表面を格子状に分割して、各格子内に位置する被写体 Hの所定部分を被写体 (X, y)と表し、被写体 (X, y)の部分力も発せられた全ての光子のうち、デジタルカメラの撮像素子面 Sまで到達した光子の数すなわち光の量を、出力光量—被写体 (X, y)と表すこととする。一方、デジタルカメラの撮像素子面 Sは、被写体の分割数と同数の撮像素子が整列してできたものとし、撮像素子の所定部分を撮像素子 (X, y)と表し、撮像素子 (X, y)の部分が受け取った光子の数すなわち光の量を、入力光量—撮像素子 (X, y)と表すこととする [0042] ここで、下記の式（9)のような理想的な条件が完全に整った時、すなわち、被写体（ X, y)力発せられてデジタルカメラの撮像素子面 Sまで到達した光子の全てが唯 1 個の撮像素子 (X, y)によって受け止められ、それ以外の撮像素子によって受け止められた光子が 1個もない時、撮像素子面 Sには被写体 Hと全く同一の像が形成され、ピンボケ.手ブレボケが全く発生しないピンボケ及び手ブレボケ.ゼロ状態の写真を撮ることがでさる。

[数 9] 入力光量撮像素子 (； c, ) =出力光量被写体 ( ) 式（9)

[0043] しかし、現実の写真撮影においては、レンズの性能限界や、シャッターが開いている間に撮影者がカメラを動力してしまったり（手ブレ)、被写体 Hに焦点距離が合っていない (ピンボケ)等の事情により、式 (9)が完全に成り立つことはなぐ被写体 (X, y) 力も発せられてデジタルカメラの撮像素子面 Sまで到達した光子の一部は、撮像素子 (X, y)以外の撮像素子によって受け止められる。例えば、手ブレが生じた場合、図 13に示すように、撮像素子まで到達した光子の一部は、撮像素子 (X, y)に対して手ブレ方向とは逆方向に位置する撮像素子によって受け止められ、これにより手プレボケが発生する。また、被写体 Hに焦点距離が合っていない場合、図 14に示すように、撮像素子まで到達した光子の一部は、四方八方に拡散して撮像素子 (X, y)の周囲の撮像素子によって受け止められ、これによりピンボケが発生する。

[0044] このようにしてピンボケ ·手ブレボケが生じた原画像力もボケのな!、理想像を求めるベぐ本発明に係る画像処理プログラム 6では、光子の拡散率が適宜設定されている。表 1は、光子の拡散率の一例を示すテーブルである。この場合、被写体 (X, y)から撮像素子面 Sまで到達した光子のうち、約 40%が撮像素子 (X, y)によって受け止められ、約 10%が撮像素子 (X, y- 1) ,撮像素子 (X, y+ 1) ,撮像素子 (x—l , y) ,撮像素子 (x+ 1, y)によってそれぞれ受け止められ、約 5%が撮像素子 (x—l , y- 1) ,撮像素子 (x—l , y+ 1) ,撮像素子 (x+ 1, y- 1) ,撮像素子 (x+ 1, y+ 1)によつて受け止められることを意味している。すなわち、被写体 (X, y)力も発せられた光子が拡散する範囲は、撮像素子 (X, y)とこれを包囲するようにして隣接する計 9個の撮像素子の範囲に限られ、それより外側の撮像素子の範囲へは拡散しないことを意味している。

[表 1]

表 1 ：光子の拡散率を示すテーブル

[0045] そして、光子の拡散率を表 1に示すように設定した場合、図 15に示すように、撮像素子 (X, y)が受け止める光子の総数は、被写体 (X, y)とこれを包囲するようにして隣接する計 9個の被写体格子から発せられた光子の合計となり、次の式（10)が成立する。

[数 10] 入力光量—撮像素子 (X, ） =

出力光量—被写体 (X ,y )χ0.4

+出力光量—被写体 Oc- 1， )χ0.1

+出力光量—被写体 Oc + 1, )χ0.1

+出力光量—被写体 (X , -l)x0.1

+出力光量—被写体 (X , + l)x0.1

+出力光量—被写体 (χ-1，ァ -1)χ0.05

+出力光量—被写体 (X + 1，タ - 1) X 0.05

+出力光量—被写体 (X - 1 , + 1) X 0.05

+出力光量—被写体 (χ + 1， + 1)χ0.05 式（10)

[0046] ここで、式（10)における入力光量—撮像素子 (X, y)は、メディアリーダ 2から入力された原画像データを参照することで全ての Xと yについて得られる既知の値であるため、この既知の入力光量—撮像素子 (X, y)に基づいて、被写体 (X, y)から発せられた全ての光子のうちデジタルカメラの撮像素子面 Sに到達した光子の総数である出力光量—被写体 (X, y)を全ての Xと yについて求めることにより、撮影した被写体 Hの正確な像を得ることができる。すなわち、ボケが生じている原画像に基づいて、ボケのな、被写体 Hの正確な像を知ることができる。 [0047] 本画像処理プログラム 6では、被写体 Hや撮像素子面 Sの分割数を多くした場合でも、式（10)において、膨大な変数を含んだ連立方程式を解くことなぐ全ての Xと yについて出力光量—被写体 (X, y)を近似的に算出することを可能とすべぐ出力光量 _被写体 (X— 1, y)を入力光量 _撮像素子 (X— 1, y)に、出力光量 _被写体 (χ+ 1, y)を入力光量—撮像素子 (χ+1, y)に、出力光量—被写体 (X, y—l)を入力光量 _撮像素子 (X, y—l)に、出力光量 _被写体 (X, y+1)を入力光量 _撮像素子 ( X, y+1)に、出力光量—被写体 (χ—1, ー1)を入カ光量—撮像素子ー1, y- 1)に、出力光量 _被写体 (x+1, y— 1)を入力光量 _撮像素子 (x+1, y— 1)に、出力光量 _被写体 (χ—1, 7+1)を入カ光量_撮像素子ー1, y+1)に、出力光量 _被写体 (x+1, y+1)を入力光量 _撮像素子 (x+1, y+1)に、それぞれ置換して導出した以下の式（11)を用いて!/、る。

[数 11]

入力光量—撮像素子 ( =

出力光量—被写体 (X ,y )x0.4

+入力光量—撮像素子 (x-l，ァ )χ0.1

+入力光量 _撮像素子 (x + 1,ヌ )χ0.1

+入力光量 _撮像素子 (X ， - 1)χ0·1

+入力光量一撮像素子 , + l)x0.1

+入力光量—撮像素子 -1)χ0.05

+入力光量—撮像素子 (X + 1， - 1) X 0.05

+入力光量—撮像素子 0 - 1 , + 1) X 0.05

+入力光量—撮像素子 + + 1)χ0.05 式（"）

[0048] ここで、下記の式（12)のように定義する光総量'周囲分なる値を新たに導入することにより式（11)を下記の式（13)のように書き直すことができる。

[数 12] 光総量 ·周囲分 =

入力光量—撮像素子 (x - l， ) x 0.1

+入力光量一撮像素子 (x + 1 , ) x 0.1

+入力光量—撮像素子 (X , - 1 ) χ 0.1

+入力光量—撮像素子 (X ， + 1) χ 0.1

+入力光量—撮像素子 (X 1， - 1) X 0.05

+入力光量 _撮像素子 (X + 1 , — 1) X 0.05

+入力光量—撮像素子 0 _ 1， + 1) X 0.05

+入力光量一撮像素子 (X + 1，ヌ + 1) X 0.05 式（ 1 2)

[数 13] 入力光量—撮像素子 ( ） =

出力光量—被写体 0， y) X 0.4

+光総量■周囲分式（1 3 )

[0049] そして、式（13)を変形することによって、下記の式（14)を導くことができる。

[数 14] 出力光量 _被写体 (X, ） =

{入力光量—撮像素子 (χ， -光総量'周囲分 0.4 式（1 4) ここで、前述のように、入力光量 _撮像素子 (X, y)と光総量'周囲分とは、共に入力された原画像データから得られる既知の値である。従って、前記 CPU9は、この式 (14)を用いて全ての Xと yについて出力光量—被写体 (X, y)を算出し、これに応じた画像を新たに生成する。このように、ボケている原画像を修正するのではなぐボケて V、る原画像データに基づ!/ヽてボケがな!、状態での被写体 Hの理想像を近似的に算出した上で、これに応じた新たな画像を生成することとしたので、膨大な数の変数を含んだ連立方程式を解く必要がない分、処理時間を短縮することができ、且つ、高い精度でボケを修正することができる。

[0050] 尚、光子の拡散率は表 1に限定されず任意の設定に変更することが可能であり、拡散率の設定を変化させることにより、ボケの修正の度合いを強くし又は弱くするように調整することができる。また、本実施例では被写体 (X, y)から発せられた光子が撮像素子 (X, y)及びこれを包囲するように隣接する計 9個の撮像素子の範囲に拡散し、それより外側の撮像素子の範囲には拡散しないものとして拡散率を設定したが、これに限られず、例えば撮像素子 (x, y)の隣の隣の撮像素子、すなわち撮像素子 (X, y )を中心として 5 X 5 =計 25個あるいは 7 X 7 =計 49個の撮像素子の範囲に光子が拡散するものとして拡散率を設定することも可能である。以下の表 2と表 3は、この場合の拡散率の設定例を示したものであり、表 2はピンボケ修正の度合ヽを強めにした場合の設定例であって、表 3は表 2より修正の度合いを弱めにした場合の設定例を示している。

[表 2] 表 2 ：光子の拡散率を示すテーブル（ピンボケの修正度合いを強めに設定)

[表 3]

表 3 ：光子の拡散率を示すテーブル（ピンボケの修正度合いを弱めに設定)

X一 2 x - ― 1 X X +- 1 x + 2 y-2 0 0 0. 0 0. 01 0. 0 0. 0 y-i 0 0 0. 04 0. 08 0. 04 0. 0 y 〇. 01 0. 08 0. 48 0. 08 0. 01 y + i 0 0 0. 04 0. 08 0. 04 0. 0 y + 2 0 0 0. 0 0. 01 0. 0 0. 0

[0051] 尚、上記説明では説明の便宜上、光子の拡散率を示すテーブルとして表 1,表 2, 及び表 3を例に挙げて説明したが、光子の拡散率を示すテーブルは任意に設定変更が可能である。本発明では、表に詳細は示さないが、被写体から発せられた光子力 ^次元正規分布に従って拡散するとの前提の下、光子の拡散率を示すテーブルを設定している。これは、標準偏差という 1個のパラメータを制御するだけで、ピンボケの修正度合いを強くし又は弱くするように自在に調整することができ、制御が容易だ力もである。また、この場合の画像処理アルゴリズムは、式（14)を用いて行う点で前述と同様であり、ここでは説明を省略する。

[0052] 一方、本画像処理プログラム 6は、光子の拡散率の設定を、ピンボケ修正の場合と異なる設定とすることによって、手ブレボケの修正も行うことが可能となっている。表 4 は、手ブレボケ修正の場合の光子の拡散率の設定例であり、撮像素子 (X, y)の他に、手ブレ方向とは逆方向に隣接する撮像素子 (X— 1, y)と、更にそれに隣接する撮像素子 (X— 2, y)とが光子を受け止めることを示して、る。

[表 4] 表 4 ：光子の拡散率を示すテーブル（手ブレボケ修正の場合)

X - 2 x― 1 X X + 1 X + 2 y - 2 0 0 0 . 0 0 . 0 0 . 0 0 . 0 y — 1 0 0 0 . 0 0 . 0 0 . 0 0 . 0 y 0 2 0 . 3 0 . 5 0 . 0 0 . 0 y + i 0 0 0 . 0 0 . 0 0 . 0 0 . 0 y + 2 0 0 0 . 0 0 . 0 0 . 0 0 . 0 この場合、前記式（13)と同様に下記の式（15)が成立し、これを変形することで式（ 16)に示すように出力光量—被写体 (X, y)を算出することができる。これにより、手ブレボケした原画像データに基づ!/ヽて手ブレがな!/ヽ状態での被写体 Hの理想像を近似的に算出した上で、これに応じた新たな画像を生成することにより、手ブレボケを修正することができる。

[数 15] 入力光量一撮像素子 (χ， =

出力光量—被写体 (X, X 0.5

+光総量■周囲分式（1 5)

[数 16] 出力光量一被写体，） =

{入力光量 _撮像素子 (X, -光総量'周囲分 0.5 式（1 6) このように、同じアルゴリズムを用いてピンボケと手ブレボケの双方を修正可能としたことにより、画像に生じたボケがピンボケか手ブレボケかによつて修正のためのァルゴリズムを使い分ける必要がなぐ処理が簡略化される。カロえて、ピンボケと手ブレボケの双方が複合的に生じた画像でも、有効な先鋭ィ匕処理を行うことができるという利点がある。また、多画素化が進む近年のデジタルカメラで撮影した画像であって、被写体 Hから発せられた光子が撮像素子の広い範囲に渡って拡散することが想定される場合には、本発明の適用に当たり、以下のような応用的な手法を用いることも可能である。すなわち、修正すべき原画像上に、複数の画素を含んでなる所定大きさのメッシュを設定する。このメッシュの大きさは、原画像の横方向と縦方向のそれぞれにメッシュ個数が 1000個を超えないような大きさとする。そして、光子の拡散率を表 4に示すように設定する前提の下で式（14)を変更した式（ 17)を用、ることにより、被写体 Hの理想像を近似的に算出する。尚、式 (17)中の {メッシュ中平均—入力光量—撮像素子 (m, n) }とは、原画像中の横方向に m番目、縦方向に n番目に位置するメッシュ (m, n)に注目し、その内部に存在する全ての撮像素子 (X, y)に対して {入力光量—撮像素子 (X, y) }を調べ、それらの平均値を算出したものである。

[数 17]

出力光量—被写体 0 ,y )

={ 入力光量—撮像素子 Oc，

-メッシュ中平均—入力光量—撮像素子 m— ι,η ノ χθ.06

-メッシュ中平均—入力光量—撮像素子 m + \,n )x0.06

—メッシュ中平均—入力光量—撮像素子 m ,w— 1)χ0.06

-メッシュ中平均—入力光量—撮像素子 m ,« + l)x0.06

-メッシュ中平均—入力光量—撮像素子 w-l,«-l)x0.03

メッシュ中平均—入力光量一撮像素子； M + 1,«-1)X0.03

-メッシュ中平均—入力光量—撮像素子 m-l,« + l)x0.03

-メッシュ中平均—入力光量—撮像素子 m + l,n + l)x0.03

-メッシュ中平均—入力光量—撮像素子 m-2,n )x0.02

一メッシュ中平均—入力光量撮像素子 m + 2,n )x0.02

-メッシュ中平均一入力光量—撮像素子 m ,«-2)x0.02

―メッシュ中平均—入力光量 _撮像素子 m ,n + 2)x0.02

-メッシュ中平均—入力光量 _撮像素子 w - 2，"— l)x0.015

-メッシュ中平均入力光量—撮像素子 m + 2,n-l)xO.Q\5

-メッシュ中平均入力光量一撮像素子 »¾-2,« + l)x0.015

-メッシュ中平均—入力光量 _撮像素子 m + 2,« + l)x0.015

-メッシュ中平均—入力光量 _撮像素子 OT-1,«-2)X0.015

-メッシュ中平均一入力光量 _撮像素子 m + l,«-2)x0.015

-メッシュ中平均—入力光量—撮像素子 m-l,« + 2)x0.015

-メッシュ中平均—入力光量 _撮像素子 m + l,« + 2)x0.015

-メッシュ中平均—入力光量—撮像素子 m-2,«-2)x0.007

-メッシュ中平均一入力光量—撮像素子 m-2,« + 2)x0.007

一メッシュ中平均入力光量—撮像素子 m + 2, 7-2)x 0.007

-メッシュ中平均—入力光量撮像素子 w + 2,i7 + 2)x0.007

}÷ 0.412 式（1フ）以下、図 8に示すピンボケのみ対処モード（S3)におけるザラツキ度計測処理 (S6, S10, S15)について説明する。一般に、画像の先鋭ィ匕に際しては、先鋭化の程度が強くなるに従って、その画像は人の目力も見て荒れた感じすなわちざらついた感じが強くなる。本発明では、この画像のざらついた感じを数値ィ匕すべぐ「ザラツキ度」なる指数を導入している。このザラツキ度を計測するには、まず、対象となる画像を複数のメッシュに分割する。本実施例では、このメッシュを一辺が 50ピクセルの正方形領域としたが、もちろん任意の数のピクセルを含んだメッシュを設定可能である。そして、ある 1つのメッシュ内に含まれる全ピクセルについて、所定方向に隣接するピクセルとの明度差である〔対隣接ピクセル明度差〕を計測する。ここで、隣接ピクセルとは、画像データ上に隣り合って格納されたピクセルを意味するのではなぐ次のようにして決定されるピクセルを意味している。すなわち、対象画像の横方向に格納されたピクセル数と縦方向に格納されたピクセル数を比較して、 Vヽずれか大き、方のピクセル数を Kとした場合、その画像上のあるピクセル (X, y)の隣接ピクセルは、以下の式（1 8)と式（19)によって算出される Iを用いることにより、ピクセル (X— I, y)と表すことができる。これは、あるピクセル (X, y)力も見て左方向に Iピクセルだけ離れた位置に格納されたピクセルを意味している。尚、画像データ上における (I, y)よりも左側に位置するピクセルについては、左側への隣接ピクセルが存在しないため、対隣接ピクセルの明度差の計測は行わない。また、隣接ピクセルとしては左方向に隣接したピクセルに限られず、任意の方向に隣接したピクセルを選択することが可能である。

[数 18]

J = KZ1 000 式（1 8)

[数 19]

I=J+ 1 式（1 9) そして、そのメッシュについて、図 16に示すように、横軸に 0. 1幅間隔で明度差を表示し縦軸に度数を表示した度数分布表を作成する。その上で、明度差が 0. 1〜 + 0. 1の範囲の度数を合計したものを〔中心領域 *総度数〕と定義する一方、この中心領域の外側に位置する領域、すなわち明度差が 0. 3〜一 0. 1の範囲と + 0. 1 〜+ 0. 3の範囲の度数を合計したものを、〔近中心領域 ·総度数〕と定義する。この場合、当該メッシュのザラツキ度は、以下の式（20)によって表すことができる。また、度数分布表の横軸は、 0. 1幅間隔に限られず任意の幅間隔とすることができる。

[数 20] ザラツキ度 = (近中心領域'総度数 Z中心領域'総度数 ) χ 100 式（20)

[0057] そして、これと同様にして、画像中に含まれる全てのメッシュについて、メッシュ中の全ピクセルの〔対隣接ピクセル明度差〕を計測した上で度数分布表を作成することにより、ザラツキ度をそれぞれ計測する。その上で、 ^ッシュのザラツキ度のうち最大値をその画像全体のザラツキ度として出力する。

[0058] また、対象画像のザラツキ度を計測する他の手段としては、画像をメッシュ分割することなく行う方法もある。この方法では、まず、対象画像について、最も左端に位置するピクセルを除く全ピクセルにつヽて〔対隣接ピクセル明度差〕を計測する。その上で、上記と同様にして、横軸に 0. 1幅間隔で明度差を表示し縦軸に度数を表示した度数分布表を作成し、上記式 (20)を用いて画像全体としてのザラツキ度を直接算出する。この方法によれば、画像をメッシュ分割する処理が不要となる分、処理時間を短縮できるという利点がある。

[0059] 次に、図 2に示すピンボケ ·手ブレ双方対処モード（S4)について説明する。図 17 は、ピンボケ ·手ブレ双方対処モード（S4)の処理の流れを示すフローチャートである。本画像処理プログラム 6は、前述のように、被写体から発せられた光子が 2次元正規分布に従って拡散するとの前提の下、現画像に対して先鋭化処理を実行するものである。ピンボケ ·手ブレ双方対処モード (S4)は、光子の拡散率の設定をピンボケのみ対処モード (S3)とは異なる設定とすることによって、手ブレにも対処可能としたことを特徴としている。このモードでは、まず 2次元正規分布扁平ィ匕処理 (S 18)が実行された後、扁平ィ匕された 2次元正規分布に基づいてピンボケのみ対処モード (S3)が実行される。このピンボケのみ対処モード（S3)の処理の流れは前述と同じであるため、ここでは説明を省略する。

[0060] 2次元正規分布扁平化処理 (S18)では、まず、前記手ブレ状況推測処理 (S1)の出力結果に基づいて、扁平ィ匕パラメータ値を算出する。扁平化パラメータ値とは、〔扁平化処理の長軸方向角度〕，〔長軸方向'倍率〕，及び〔短軸方向'倍率〕の 3つの数値力もなるものであって、手ブレ状況推測処理 (S1)から出力される〔ブレ方向〕，〔ブレビクセル数〕 ,及び〔総合判定'確信度〕の 3つの情報に基づいて算出される。 [0061] 〔扁平化処理の長軸方向角度〕は〔ブレ方向〕により決定される。具体的には、〔ブレ方向〕が水平方向の場合は〔扁平化処理の長軸方向角度〕が 0度に、〔ブレ方向〕が垂直方向の場合は〔扁平ィ匕処理の長軸方向角度〕が 90度に、〔ブレ方向〕が左下一右上方向の場合は〔扁平化処理の長軸方向角度〕が 45度に、〔ブレ方向〕が左上一右下方向の場合は〔扁平化処理の長軸方向角度〕が 135度にそれぞれ設定される。

[0062] 〔長軸方向'倍率〕と〔短軸方向'倍率〕は、次の式 (21)と式 (22)により算出される。

ここで、式（21)中の〔長軸方向を短軸方向の何倍にするか〕は、〔ブレビクセル数〕と〔総合判定'確信度〕を用いて次の式（23)により算出される。この式（23)によれば、〔総合判定'確信度〕の変化に伴って〔長軸方向を短軸方向の何倍にするか〕が動的に変化し、例えば、〔総合判定'確信度〕 =0の時は〔長軸方向を短軸方向の何倍にするカゝ〕 = 1. 0となり、〔総合判定'確信度〕 = .1. 0の時は〔長軸方向を短軸方向の何倍にする力〕 =〔ブレビクセル数〕となる。

[数 21]

[長軸方向 ·倍率] = ι.οΖ [長軸方向を短軸方向の何倍にするか] 式（2 1 )

[数 22] 短軸方向 ·倍率] = 1.0 式（2 2 )

[数 23]

[長軸方向を短軸方向の何倍にする力、: 1 =

1.0

+

( 数]' 式（2 3 )

1.0

[総合判定 *確信度]

[0063] 次に、〔拡散率設定の元データ'表〕を設定する。図 18は、〔拡散率設定の元データ •表〕を示す図である。〔拡散率設定の元データ'表〕を構成する各マス目には、図に示すような座標がそれぞれ与えられている。この座標 (X, y)に対し、以下の式（24) 力も式（29)を用いて算出した〔マス目（X, y)に設定する値〕をそれぞれセットしていく

[数 24]

[回転角度] =0- [扁平化処理の長軸方向角度] 式（24)

[数 25] [回転後' ] =

x*cos( [回転角度] )

式（25)

*sin(〖回転角度] )

[数 26]

[回転後 ·ί'] =

X* sin ([回転角度])

+ ■ (式 26)

* cos ([回転角度])

[数 27]

[伸張後 ' ] = [回転後 * [長軸方向'倍率]' 式（27)

[数 28]

[伸張後■ Y] = [回転後■ Y] * [短軸方向 ·倍率]'■ 式 (28)

[数 29] [拡散率設定の元データ■表'マス目 (χ，に設定する値] =

(1.0

I

(2.0*π (円周率) * [標準偏差])

)

( -1.0/2.0)

(

([伸張後 ]* [伸張後 ])

I

([標準偏差] * [標準偏差])

)

+

(

([伸張後 ·ίΊ* [伸張後 ])

I

([標準偏差] * [標準偏差])

)

、（式 29)

[0064] そして、算出した〔拡散率設定の元データ〕を用いて、〔光子拡散率表〕の各マス目（ X, y)に設定する値を次の式（30)により算出する。尚、式（30)における∑は、〔拡散率設定の元データ'表 'マス目（X, y)に設定する値〕の全マス目に渡っての総合計を意味している。

[数 30]

[光子拡散率表'マス目 (X, に設定する値] =

[拡散率設定の元データ '表 'マス目 (X, に設定する値]

I 式（30)

∑

産業上の利用可能性

[0065] 本発明は、ピンボケ画像や手ブレ画像を先鋭な画像に修正する画像処理プロダラム及び画像処理装置に適用可能である。

Claims

請求の範囲

[1] 対象となる画像について手ブレの発生状況を推測する処理をコンピュータに実行させる手ブレ状況推測プログラムであって、

前記手ブレの発生状況を推測する処理は、対象となる画像を構成する複数の画素について、色の属性に関し隣接する周囲の画素との差異を測定してその絶対値が所定の閾値より小さい方向をその画素が平坦性を有する方向とし、同じ方向に平坦性を有する連続した画素群を短冊として形成し、各方向毎に算出した短冊の平均長さに基づ!/、て手ブレ方向を推測するとともに、その手ブレ方向に形成された短冊の平均長さを手ブレ画素数と推測するものであることを特徴とする手ブレ状況推測プログラム。

[2] 前記短冊の平均長さが、所定の下限値より短い短冊と所定の上限値より長い短冊を除外して算出されることを特徴とする請求項 1記載の手ブレ状況推測プログラム。

[3] 前記手ブレ方向の推測は、水平方向に延びる短冊の平均長さと垂直方向に延びる短冊の平均長さとの比である水平一垂直短冊分布比を算出する一方、左下一右上方向に延びる短冊の平均長さと左上一右下方向に延びる短冊の平均長さとの比である斜め短冊分布比を算出し、水平一垂直短冊分布比が斜め短冊分布比より大きい場合は、水平方向と垂直方向のうち短冊の平均長さが長い方向を手ブレ方向と推測し、斜め短冊分布比が水平一垂直短冊分布比より大きい場合は、左下一右上方向と左上一右下方向のうち短冊の平均長さが長い方向を手ブレ方向と推測するものであることを特徴とする請求項 1又は 2に記載の手ブレ状況推測プログラム。

[4] 前記色の属性が、明度、彩度、色相、又は輝度のいずれかであることを特徴とする請求項 1乃至 3のいずれかに記載の手ブレ状況推測プログラム。

[5] 請求項 1乃至 4の、ずれかに記載の手ブレ状況推測プログラムが記録されたコンビユータ読み取り可能な記録媒体。

[6] 対象となる画像につ!ヽて手ブレの発生状況を推測する処理を実行する手ブレ状況推測装置であって、

対象となる画像を構成する複数の画素について、色の属性に関し隣接する周囲の画素との差異を測定する差異測定手段と、測定された差異の絶対値が所定の閾値より小さい方向をその画素が平坦性を有する方向と決定する平坦性決定手段と、同じ方向に平坦性を有する連続した画素群を短冊として形成する短冊形成手段と、各方向毎に短冊の平均長さを算出する平均短冊長さ算出手段と、算出された短冊の平均長さに基づいて手ブレ方向を推測するとともに、その手ブレ方向に形成された短冊の平均長さを手ブレ画素数と推測する手ブレ状況推測手段と、を備えることを特徴とする手ブレ状況推測装置。

[7] 前記平均短冊長さ算出手段が、所定の下限値より短い短冊と所定の上限値より長い短冊を除外して短冊の平均長さを算出することを特徴とする請求項 6記載の手ブレ状況推測装置。

[8] 前記手ブレ状況推測手段による手ブレ方向の推測は、水平方向に延びる短冊の平均長さと垂直方向に延びる短冊の平均長さとの比である水平一垂直短冊分布比を算出する一方、左下一右上方向に延びる短冊の平均長さと左上一右下方向に延びる短冊の平均長さとの比である斜め短冊分布比を算出し、水平一垂直短冊分布比が斜め短冊分布比より大きい場合は、水平方向と垂直方向のうち短冊の平均長さが長い方向を手ブレ方向と推測し、斜め短冊分布比が水平一垂直短冊分布比より大きい場合は、左下一右上方向と左上一右下方向のうち短冊の平均長さが長い方向を手ブレ方向と推測するものであることを特徴とする請求項 6又は 7に記載の手ブレ状況推測装置。

[9] 前記色の属性が、明度、彩度、色相、又は輝度のいずれかであることを特徴とする請求項 6乃至 8のいずれかに記載の手ブレ状況推測装置。