JP5436566B2

JP5436566B2 - 画像を編集する方法及び装置

Info

Publication number: JP5436566B2
Application number: JP2011533527A
Authority: JP
Inventors: ツゥアン，ウェイ; クゥエンシャム，ワイ
Original assignee: Chinese University of Hong Kong CUHK
Current assignee: Chinese University of Hong Kong CUHK
Priority date: 2009-10-02
Filing date: 2010-10-01
Publication date: 2014-03-05
Anticipated expiration: 2030-10-01
Also published as: US20110085741A1; JP2012505489A; HK1159834A1; US8582910B2; KR20110079654A; KR101278797B1; WO2011038698A1; CN102203827B; CN102203827A

Description

本発明は、画像編集に関し、特には焦点が合った対象物及び焦点がずれた対象物を有する画像を編集する方法及び装置に関する。

画像の焦点編集は、興味深い研究課題であり、最近多くの注目を集めている。この研究課題には、主として２つの問題が含まれている。そのひとつは、画像の焦点を再集束させることであり、焦点を再集束させることにより焦点がずれた不鮮明な画像の鮮鋭さが取り戻される。別の問題は、焦点ずれ拡大である。ポートレートのようなある写真技術では、浅い被写界深度（DOF ）が、焦点がずれた不鮮明な背景で前景の対象物を強調することが好まれている。しかしながら、レンズ及びセンサの限界により、一部のカメラ（例えば全自動カメラ）は十分な焦点ずれ効果をもたらすことができない。

最近、多くの焦点編集アルゴリズムが提案されており、２つのタイプに分類され得る。そのひとつは計算式写真技術であり、計算式写真技術では、センサが対象の景色に関するより多くの情報をコード化するのを支援すべく、複数の更なる光学要素又は光学機器が従来の写真技術において追加されている。他方のタイプは、カメラを変更することなく、画像処理技術に基づいて対処している。マルチ画像に基づく方法が、この数年で広く研究されている。しかしながら、更に困難ながら興味深い単一画像に基づく方法が最近提示されている。バー（Bae ）及びデュランド（Durand）は、「焦点ずれ拡大（Defocus Magnification ）」，ユーログラフィックス（Eurographics），2007年に焦点マップの推定方法を提案しており、この方法では、焦点ずれ拡大がフォトショップ（登録商標）のレンズブラーを用いて処理されている。この方法の一欠点は、不安定且つ強引な適合手法を用いたぼかし推定部である。更に、バンドー（Bando ）及びニシタ（Nishita ）によって、「単一写真からデジタル再集束に向けて（Towards Digital Refocusing from a Single Photograph）」，パシフィックグラフィックス（Pacific Graphics），ｐ．363-372 ，2007年に、多くの予め定義された候補からぼかしカーネルを決定すべく多くのユーザとの対話処理を必要とする方法が提案されている。

特開２００８−６０７７８号公報

本発明は、上記の問題の少なくとも１つに対処している。

本発明の様態によれば、焦点がずれた対象物を有する単一の画像を編集する方法において、単一の画像の夫々のエッジ画素のエッジ幅であるぼかし度を決定し、非エッジ画素のぼかし度を決定するために、決定されたぼかし度を夫々のエッジ画素に隣接する非エッジ画素に伝播し、焦点がずれた対象物を識別するために、エッジ画素及び非エッジ画素のぼかし度に基づいて焦点マップを推定し、前記焦点マップに基づいて、焦点がずれた対象物の焦点を再集束し、前記焦点の再集束は、前記焦点マップに基づいて画像の少なくとも１つの事前分布を確定し、確定された事前分布は、焦点が再集束される画像のエッジ画素の鮮鋭さを確保するための局所鮮鋭事前分布を有しており、確定された事前分布に基づいて、最大事後確率（MAP ）を用いて前記点拡がり関数を決定し、焦点が再集束された画像を得るために、前記点拡がり関数を用いて焦点がずれた対象物を逆畳み込みすることにより行われることを特徴とする方法が提供されている。

本発明の別の様態によれば、焦点が合った対象物及び焦点がずれた対象物を有する単一の画像を編集する方法において、単一の画像のエッジ画素を検出し、焦点が合った対象物及び焦点がずれた対象物を識別するために、検出されたエッジ画素に基づいて画像の焦点マップを推定し、焦点がずれた対象物の焦点を再集束させるか、又は、焦点が合った対象物及び焦点がずれた対象物の少なくとも１つの焦点をずらし、前記焦点マップの推定が、検出された夫々のエッジ画素のエッジ幅であるぼかし度に基づいて行われ、前記焦点の再集束は、前記焦点マップに基づいて画像の少なくとも１つの事前分布を確定し、確定された事前分布は、焦点が再集束される画像のエッジ画素の鮮鋭さを確保するための局所鮮鋭事前分布を有しており、確定された事前分布に基づいて、最大事後確率（MAP ）を用いて前記点拡がり関数を決定し、焦点が再集束された画像を得るために、前記点拡がり関数を用いて焦点がずれた対象物を逆畳み込みすることにより行われることを特徴とする方法が提供されている。

本発明の更なる様態によれば、焦点がずれた対象物を有する単一の画像を編集する装置において、単一の画像の夫々のエッジ画素のエッジ幅であるぼかし度を決定すべく構成された決定モジュールと、非エッジ画素のぼかし度を決定するために、決定されたぼかし度を夫々のエッジ画素に隣接している非エッジ画素に伝播すべく構成された伝播モジュールと、焦点がずれた対象物を識別するために、エッジ画素及び非エッジ画素のぼかし度に基づいて焦点マップを推定すべく構成された推定モジュールと、前記焦点マップに基づいて、焦点がずれた対象物の焦点を再集束させるべく構成された再集束モジュールとを備えており、前記再集束モジュールは、前記焦点マップに基づいて画像の少なくとも１つの事前分布を確定し、確定された事前分布に基づいて、最大事後確率（MAP ）を用いることにより前記点拡がり関数を決定すべく構成された決定ユニットと、焦点が再集束された画像を得るために、前記点拡がり関数を用いて、焦点がずれた対象物の焦点をずらすべく構成された逆畳み込みユニットとを有しており、確定された事前分布は、焦点が再集束される画像のエッジ画素の鮮鋭さを確保するための局所鮮鋭事前分布を有していることを特徴とする装置が提供されている。

本発明では、簡易且つ十分にパラメータ化されたマルチポイント機構がエッジぼかし度を測定するために採用されている。更に難しい再集束問題は、精巧なブラインド逆畳み込みフレームワークで処理されている。尚、本発明では、エッジの手掛かりが、焦点検出だけでなく画像の焦点の再集束でも十分利用されている。更に、本発明によれば、最適なぼかしカーネル及び対象の鮮明な画像が、十分に正規化されたブラインド逆畳み込み手法を用いて同時に得られる。

本発明では、焦点マップの推定、画像の焦点再集束及び画像の焦点ずらしのような、焦点を編集する際のタスクを全て処理するための方法及びシステムが提供されている。第１に、十分にパラメータ化されたエッジモデルにより、ここに提案された焦点マップの推定方法がより簡易でありながら、より効果的になる。第２に、難しい再集束問題は、精巧な単一画像のブラインド逆畳み込み（SBD ）フレームワークによって十分に対処されている。特に、新規性がある画像鮮鋭事前分布のために、本発明に係る方法は、詳細内容が最も優れている好ましい結果を生み出している。更に、提案されているSBD は、ユーザによる初期化が必要ではなく、計算上効率的である。様々な実際の画像が、提案されている方法を実証すべく使用されている。

本発明に係る画像編集方法を示すフローチャートである。 P1,P2,P3が異なる深度でのシーンポイントを表わす画像形成モデルの形態を示す図である。一次元パラメータエッジモデルを示す図である。ガウスフィルタの導関数でエッジを畳み込みした応答を示す図である。最初のエッジが黒線で表されて、w を減少させることにより再構築された新たなエッジが破線及び点線で表されている、w を変更した効果を示す図である。図１に示された方法の推定ステップを示すフローチャートである。図１に示された方法の再集束ステップを示すフローチャートである。本発明に係る画像編集装置を示すブロック図である。本明細書に説明された画像編集を実行するために適切な、図示された一実施形態に係るプロセッサに基づいた画像編集システムを示す図である。

本発明に係る実施形態を、添付図面を参照して以下に詳細に説明する。

本発明では、単一画像の焦点編集方法が、焦点マップの推定、画像の焦点再集束及び画像の焦点ずらしのタスクを処理すべく提案されている。単一画像は、前景のような焦点が合った対象物と背景のような焦点がずれた対象物とを有してもよい。焦点が合った対象物及び焦点がずれた対象物は、本発明に係る方法において、まず画像の焦点マップを用いることにより識別されて分離される。

問題の定式化
図１に示されているように、焦点面上のシーンポイントP1から生じた光線が結像面上のポイントに集まる。しかしながら、シーンポイントが焦点面から離れるとき、光線は結像面上で錯乱円を生じさせて、画像の焦点がずれているとみなされる。ポイントが更に移動すると、焦点がずれたより不鮮明な画像I が生成される。理論的には、該画像I は、焦点が合った画像F をカメラの点拡がり関数（PSF ）h で畳み込みした結果とみなされ得る。

ここで、n は画像ノイズを示している。カメラのレンズの回折及び収差により、PSF は、g(x,y;σ_f) = 1/√(2πσ² _f)exp[-(x²+y²)/2σ² _f]により与えられる二次元ガウスフィルタを用いて通常近似される。対象物の焦点面への距離と関連した拡散パラメータσ_fは、取り込まれた画像のぼかし度を決定する。従って、本発明では、拡散パラメータσ_fを変えることにより焦点ずれ効果が柔軟に制御され得るように、ガウスぼかしが焦点ずれ効果をシミュレートすべく使用される。

図２を参照して、本発明に係る単一画像を編集する方法2000を説明する。示されているように、ステップ2001で画像のエッジを検出して、ステップ2002で、焦点が合った対象物及び焦点がずれた対象物を識別するために、検出されたエッジに基づいて画像の焦点マップを推定する。本発明では、エッジのぼかしが焦点ずれの結果のみによると仮定している。従って、焦点情報がエッジのぼかし度によって示され得る。

エッジ検出
利用可能な不十分なデータが単一画像に含まれているので、単一画像における焦点の検出及び編集は非常に困難である。幸いにも、画像のエッジは、画像の形成特性を反映し得る重要な情報を保持している。所与の画像に関して、エッジ情報を含んでいる応答が、二次元ガウスフィルタを用いて画像を畳み込みすることにより得られてもよい。応答のピークが、エッジを位置付けるために使用されてもよい。しかしながら実際には、エッジの位置は、実態と一致しないこともある格子点の位置に制限される。このような状況では、以下に説明されるように、本発明では、十分にパラメータ化されたモデルがエッジを明瞭に表現するために採用される。

単純化のために、一次元エッジを一例として説明しており、従って一次元ガウスフィルタを一例で用いている。例えば、平滑化されたエッジが図３(a) に示されており、エッジを一次元ガウスフィルタを用いて畳み込みすることにより得られた応答が図３(b) に示されている。図３(b) のピークd₁がエッジ画素とみなされる。複数のピークが応答に含まれてもよく、従って複数のピーク全てのためのパラメータが決定されてもよいと理解され得る。上記の導出がマルチポイント推定方法として参照されてもよく、エッジの全ての画素がそれに応じて決定されてもよい。

同様に、二次元画像に関して、二次元ガウスフィルタを用いて画像を畳み込みすることにより応答が得られてもよく、図３(b) に示されているように、応答のピークがエッジを位置付けるために使用されてもよい。

エッジに基づいた焦点マップの推定
ステップ2001でエッジ画素を検出した後、ステップ2002で、検出されたエッジ画素に基づいて、以下のステップ2021-2023 によって焦点マップを推定する。

まずステップ2021で、検出されたエッジ上の各エッジ画素の、エッジに関連したパラメータを計算する。このステップ2021では、パラメータ化されたモデルを、以下の通り導き出す。

数学的に、画像のエッジ画素x における理想的なステップ状のエッジが、e(x;b,c,x₀) = cU(x-x₀)+bとして表されてもよい。ここで、U （・）は単位ステップ関数であり、b はエッジベースを表し、c はエッジコントラストを表し、x₀はエッジ中心を表す。図３(a) に示されているような平滑化されたエッジs(x; b,c,w,x₀)が、以下の式(2) として、e(x; b,c,x₀)を一次元ガウスフィルタg(x;w) = 1/√(2πw²)exp(-x²/2w²)を用いて畳み込みすることにより得られてもよい。
s(x;b,c,w,x₀) = b+c/2{1+erf[(x-x₀)/w√2]} (2)
ここで、erf （・）は誤差関数であり、w は、ぼかしカーネルの標準的な導出から生じており、エッジ幅パラメータとして参照されてもよい。w が小さくなると、エッジがより鮮鋭になる。

従って、予め定義されたガウスフィルタg'_d(x;σ_d)の導関数を用いてs(x; b,c,w,x₀)を畳み込みすることにより得られた応答が、以下の式(3) として表されてもよい。
d(x;c,w,σ_d) = c/√[2π(w²+σ² _d)]exp[-(x-x₀)²/2(w²+σ² _d)] (3)
ここで、σ_dは、所望に応じて予め設定されてもよいパラメータである。

上記のモデルに従って、応答が得られた後、x が０であるときに、検出されたピークが存在すると仮定すると、x が-a、０及びa であるときにサンプリングすることにより３つのポイントの応答が選択されてもよい。ここで、d₁はd(0;c,w,σ_d)であり、d₂はd(a;c,w,σ_d)であり、d₃はd(-a;c,w,σ_d)である。a は自由に選択されてもよく、通常１が実用的である。その後、全てのエッジ画素のためのパラメータが以下の通り決定されてもよい。
c = d₁・√[2πa²/ln(l₁)]・l^1/4a ₂ (4)
w = √[a²/ln(l₁)-σ² _d] (5)
x₀ = 0.5・a・ln(l₂)/ln(l₁) (6)
b = s(x₀)-c/2 (7)
ここで、l₁はd₁ ²/d₂d₃であり、l₂はd₂/d₃である。実施形態によれば、単一尺度のガウスフィルタが画像のエッジを検出するために採用されてもよく、ここで、パラメータσ_d は、所望に応じて予め設定されてもよく、[1,3] が適切な範囲であってもよい。

従って、検出されたエッジ上の各エッジ画素の、エッジに関連したパラメータが、式(4) 乃至式(7) に基づき計算されてもよい。このモデルでは、パラメータx₀が、実際のエッジ位置に関してピークの導出を連続的に反映すべく導入されるので、このモデルから決定されたエッジ位置が実態と一致する。任意には、相互フィルタリングが、エッジ検出及びパラメータ計算で生じる場合がある外れ値を除去するために、得られたエッジぼかし結果の純度を高めるべく行われてもよい。

その後、ステップ2022で、エッジ画素のためのぼかし度w を、エッジ画素の近隣の非エッジ画素に伝播する。類似色の空間的近隣画素が同様のぼかし度を共有すると適切に仮定されてもよいと考慮すると、エッジ画素のぼかし情報が、強度及び位置の類似性に基づいて近隣の非エッジ画素に伝播されてもよい。一実施形態によれば、このような伝播は、その最適化が線形システム内で効率的に解決され得る二次費用関数の最小化として既知の画像カラー化を用いて定式化される。

上述されたパラメータ化されたモデルでは、エッジは、これらのパラメータを制御することにより容易に変更され得る。例えば、図３(c) に示されているように、w を減少することによりエッジがより鮮鋭になる。エッジが検出されて、パラメータが推定された後、新たなw'を式(2) に代入して他のパラメータを変更しないことによりエッジが再構築されてもよい。図３(c) に示されたラインは、w'がw/2 であるときの再構築されたエッジとw'がw/4 であるときの再構築されたエッジとを夫々示している。明らかに、w が小さい程、再構築されたエッジがより鮮鋭になる。尚、追加のパラメータθがエッジ方向を表わすために必要とされるという点を除いて、上記の全ての分析が二次元の場合に直接適用されてもよい。

ステップ2022で非エッジ画素のぼかし度を決定した後、ステップ2023で、画像の全ての画素のぼかし度を反映する焦点マップを決定する。

上述したように、エッジぼかし度は、焦点設定に関する重要な手掛かりを伝えており、異なるぼかし度が異なる焦点ずれ尺度を意味している。本発明によれば、ぼかし度が異なる画素が異なるぼかし値を有してもよく、従って、差異を反映する焦点マップ（又はぼかしマップ）が得られてもよい。一実施形態によれば、ぼかし度w は[0,1] の範囲内の値を有している。鮮明な画素は０に近いぼかし値を有している一方、不鮮明な画素は１に近いぼかし値を有してもよい。従って、実施形態によれば、ぼかし度が異なる画素を表わすために異なるグレースケールの色を取り込むことにより、焦点マップが得られる。

本発明によれば、エッジパラメータが、近似された調整ではなく、閉形式で導き出されており、追加のパラメータx₀が真のエッジ位置をサブ画素レベルでより正確に位置付けるために導入されているので、実際のエッジ中心が２点の格子点間のどこかに存在するときに生じる結果を、計算を複雑化することなく補償することが可能になる。

典型的な試験が、本発明に係る方法を検査すべく行われている。試験の結果は、エッジぼかし度が本発明に係る方法を用いて十分測定されていることを示している。特には、本発明に係る方法によって得られた焦点マップは、外れ値がより少なく、認識された実態にずっと近い。更に、本発明に係る方法は、より効率的であり、所要時間がより少ない。焦点マップの精度を更に評価するために、フォトショップのレンズブラーが採用されてもよく、更に視覚的に実際に近い結果が、本発明に係る方法を用いることにより得られることが判明した。

実施形態によれば、本発明に係る単一画像を編集する方法に、図１に示されるように、焦点がずれた対象物の焦点を再集束させるステップ2003、又は焦点が合った対象物及び焦点がずれた対象物の内の少なくとも１つの焦点をずらすステップ2004が更に設けられてもよい。ステップ2004が単にガウスぼかしによって行なわれてもよいので、ステップ2004は詳細に説明していない。ステップ2003について、以下に説明する。

画像の焦点再集束
焦点ずらしと比較すると、焦点再集束は根本的に更に困難である。前述したように、画像の焦点再集束は、単一画像のブラインド逆畳み込み(SBD) 問題とみなされることが可能であり、その目的は、入力された不鮮明な画像からPSF に加えて鮮明な画像も同時に取り戻すことである。しかしながら、不鮮明な画像は、多くの異なる対の鮮明な画像及びPSF の畳み込みによって得られるので、SBD は十分な不良設定問題である。最近、多くの方法が提示されており、該方法のほとんどは計算上費用がかかる反復方法で行われる。鮮明な潜像及びPSF は、収束まで反復して更新される。更に、適切な初期化が、極小での収束を回避するために必要であることが多い。見込みのある結果がこの何年間で示されているが、現在の最新のSBD 技術は未だ制限されており、焦点がずれたぼかしから十分鮮明な画像を確実に取り戻すには役に立たない。これらの研究の主な問題は、エッジの鮮鋭さの手掛かりが十分に利用されていないということである。

本発明によれば、SBD 処理全体を通してエッジの鮮鋭さの手掛かりを利用する再集束方法が提案されている。詳細には、再集束される画像の鮮明さを確保するために、ステップ2001及びステップ2002で得られたエッジ情報に応じて、鮮鋭事前分布が確定されてもよく、リングアーチファクトを抑制するために不変の低コントラスト領域を制限すべく、局所事前分布が確定されてもよい。鮮鋭事前分布及び局所事前分布は、PSF を推定するために最初に利用される鮮鋭且つ平滑事前分布(SSP) を形成してもよい。更に、画像全体の平滑さを確保するために、全体事前分布が更に確定されてもよい。SSP 及び全体事前分布は、画像の鮮明さを確保してリングアーチファクトを抑制するために適切な正規化を提供すべく、精密なMAP フレームワークに埋め込まれてもよい。次に、提案されているSBD 手法は、単純化のためにPSFが空間的に不変であると仮定することにより示される。

図５を参照すると、再集束のためのステップ2003は、以下に述べられているように、検出されたエッジに基づいて点拡がり関数を決定するステップ2031と、焦点がずれた対象物を点拡がり関数を用いて逆畳み込みするステップ2032とを備えてもよい。

SSP に基づいたPSF の推定
焦点がずれた不鮮明な画像I が与えられたとすると、対応する焦点が合った画像F に関する２つの予測が以下の通りなされ得る。第１に、前記画像F においてエッジが鮮鋭になるべきである。第２に、焦点がずれた画像の局所的な平滑領域が、逆畳み込み後にほとんど不変のままである。

エッジのモデル化の一部に導入されたパラメータ化されたエッジモデルにより、第１の予測は、再集束されるエッジ毎に式(2) で小さな幅パラメータw を確保することにより明確に定式化されてもよい。詳細には、入力された不鮮明な画像に関して、エッジが鮮鋭な予測画像F_pが、図３(c) に示されているものと同様に、幅パラメータw を減少させることにより（例えばw'にw/10を設定することにより）再構築されてもよい。更に、２値エッジマスクM_eが、全てのエッジ画素及びそれらの最近隣画素を有するエッジ領域を位置付けるために、検出されたエッジ及びそれらの最近隣エッジに応じて決定されてもよい。対応する２値エッジマスクM_e及び予測画像F_pを用いて、入力された不鮮明な画像I において検出されたエッジが著しく鮮鋭化される。

第２の予測は、焦点ずれにより引き起こされる低下がガウスぼかし（平滑化）として近似されてもよいという事実に基づいている。この第２の予測では、２値エッジマスクM_sが、焦点がずれた画像I の局所的な平滑領域を位置付けるために決定されてもよい。焦点がずれた画像I の局所的な平滑領域、及び焦点が合った画像F の対応する領域が、同様の低コントラストを有すべきである。実施形態によれば、焦点がずれた画像I の画素毎に、該画素を中心に置いて、PSF で同様のサイズを有するウィンドウが定められるように、局所的な平滑領域が決定されてもよい。このウィンドウの標準的な導出が閾値より小さい場合、この画素は局所的に平滑化されているとみなされる。

式(8) で示されているように、最適な点拡がり関数h が、最大事後確率（MAP ）フレームワークで得られる。

ここで、焦点がずれた画像I が分散1/2 α_n の零平均ガウスノイズによる点拡がり関数h での焦点が合った画像F の畳み込み結果とは異なると仮定することにより、尤度項p(I|F,h)が、式(1) で示された画像形成モデルに基づいて定められてもよい。すなわち、以下の式(9) により示される。

同様に、上記の２つの予測に対応する２つの尤度が、以下の通り定められ得る。

ここで、゜は、要素に関する乗算演算を表す。式(8) に基づいて、エネルギ項が、以下の式(12)として定められ得る。

ここで、パラメータα_e1及びパラメータα_s1は、設定されて修正されてもよい加重値であり、PSF に関する事前分布p(h) は、非負性制約での一般的なl1ノルムスパース事前分布を用いて定められる。圧縮センシングにおける最近の進展により、式(12)の最適化が有効に解決されてもよく、従って点拡がり関数h が決定されてもよい。

焦点が合った鮮明な画像の取り戻し
点拡がり関数h が決定されると、焦点が合った画像F の推測が、以下の式(13)のように非ブラインド逆畳み込み問題になる。

信頼できる画像事前分布p(F)が、良設定問題としてこの不良設定問題を正規化するために必要である。本発明では、画像事前分布p(F)は、以下の式(14)として３つの異なる事前分布を組み合わせることにより定められる。
p(F) = p_g(F)p_e(F)p_s(F) (14)
ここで、p_g(F) は全体事前分布であり、他の２つの局所事前分布p_e(F) 及びp_s(F) は前述の予測に基づいて導入される。全体事前分布p_g(F) は、以下の式(15)として、鮮鋭なエッジを保存して画像アーチファクトを低減する適切な機能のために全変動正規化項（total variation regularizer）を用いて定められてもよい。

ここで、t_i(i=1,2) は、水平及び垂直一次導関数フィルタ（t₁=[1-1]及びt₂=[1-1]^T）によって簡単に定められ得る。

第１の鮮明予測により、局所鮮鋭事前分布p_e(F) が、焦点が合った潜像F のエッジ領域は予測画像F_pのエッジ領域と同様の鮮鋭度を有すべきであるという事実に基づいて生成されてもよい。式(16)に示されているように、この類似性は一次導関数を用いて定められており、誤差は、分散1/2 α_e2で分配された零平均ガウス分布であると仮定される。

別の局所平滑事前分布p_s(F) もリングアーチファクトを抑制するために導入されてもよい。第２の予測に基づいて、焦点がずれた画像I 及び焦点が合った潜像F の平滑領域が同様の一次導関数を共有するように局所平滑事前分布p_s(F) が定められてもよい。

ここで、差は、分散1/2 α_s2で分配された零平均ガウス分布であるとみなされる。

式(13)の最大化問題は、式(9) 及び式(13)乃至(17)を用いて定められたエネルギ項の最小化として与えられてもよい。

ここで、右辺の第３項及び第４項は、夫々リングアーチファクトを抑制して画像の鮮明さを確保するためにある。焦点が再集束される画像F は、エネルギE_F(F) の最小化により決定されてもよい。

しかしながら、E_Fは未知のF に対して二次式ではないので、式(18)の直接的な最小化は処理しにくい。このような状況では、実施形態によれば、一般的な可変分割及びペナルティ機構が、この困難な最適化問題に対処すべく採用されている。

反復機構が、未知のF 及びζ_i を、増加するペナルティパラメータλを代わりに用いて更新すべく採用されてもよい。式(19)を最小化する結果が、λが十分大きくなるとき、式(18)を最小化する結果に収束する。各反復で、F が固定されると、ζ_i (i=1,2)を更新することにより、E_F(F) から分離されたE_Fζ(ζ_i )が最小化される。

E_Fζ(ζ_i)は、ζ_iに対して微分であるので、閉形式の解が得られてもよい。尚、ζ_i は２値エッジマスクM_s及びM_eの存在により画素単位で更新されるべきである。次に、ζ_i が固定されるとき、F を更新することにより、E_F(F) から分離されたE_FF(F)が最小化される。

ここで、E_FF(F)は、F に対して二次であり、E_FF(F)の最小化は、閉形式解を有する容易な最小二乗問題である。更に、畳み込みによって引き起こされる計算の複雑さを回避するために、（E_FF(F)にフーリエ変換を適用して）フーリエ変換領域の上記の最小二乗問題に対処することがより望ましい。試験では、λが初めに１に設定されて、次に、各反復後２倍ずつ増加される。（α_n ，α_e1，α_e2のような）他の加重係数が、ノイズレベル、予測画像F_pの質等に応じて経験に基づいて設定され得る。

従って、焦点が再集束された画像F が決定される。

予測された鮮鋭なエッジが鮮鋭度を確保するための唯一の制約である２つの分離されたMAP フレームワークで点拡がり関数h 及び焦点が合った画像F の推定が処理されるので、提案されている方法は、ノイズ及び近くのエッジの影響による外れ値に対して頑健である。従って、これらの外れ値の影響は、他の制約（例えば平滑項）によって除去される。更に、PSF 及び鮮明な潜像を反復して更新する必要がないので、本方法の計算の複雑さは軽減される。

本発明の実施形態によれば、様々な図示された実施形態が実施され得る画像編集装置が更に提供される。図６を参照すると、本発明に係る、焦点が合った対象物及び焦点がずれた対象物を有する画像を編集するための画像編集装置600 は、画像のエッジ画素のぼかし度を決定すべく構成された決定モジュール601 と、非エッジ画素のぼかし度を決定するために、決定されたぼかし度を各エッジ画素に隣接している非エッジ画素に伝播させるべく構成された伝播モジュール602 と、焦点がずれた対象物を識別するために、エッジ画素及び非エッジ画素のぼかし度に基づいて焦点マップを推定すべく構成された推定モジュール603 と、焦点マップに基づいて、焦点がずれた対象物の焦点を再集束させるべく構成された再集束モジュール604 とを備えている。

実施形態によれば、再集束モジュールは、ブラインド逆畳み込みにより焦点マップに基づいて、焦点がずれた対象物の焦点を再集束させるべく構成されてもよい。実施形態によれば、再集束モジュールは、焦点マップに基づいて点拡がり関数を決定すべく構成された決定ユニットと、焦点が再集束された画像を得るために、焦点がずれた対象物の焦点を点拡がり関数を用いてずらすべく構成された逆畳み込みするユニットとを備えてもよい。実施形態によれば、画像の少なくとも１つの事前分布が焦点マップに基づいて確定されてもよく、決定ユニットは、最大事後確率（MAP ）を用いることにより、確率された事前分布に基づいて点拡がり関数を決定すべく構成されている。実施形態によれば、確定された事前分布は、焦点が再集束される画像のエッジ画素の鮮鋭度を確保するための局所鮮鋭事前分布、及び／又は、焦点が再集束される画像の非エッジ画素の平滑さを確保するための局所平滑事前分布を有してもよい。実施形態によれば、確定された事前分布は、焦点が再集束される画像の平滑さを確保するための全体事前分布を更に有してもよい。実施形態によれば、焦点マップは、画像の各画素のぼかし度を有してもよい。実施形態によれば、前記装置は、エッジに関連した曲線を決定するためにガウスフィルタの導関数を用いて画像を畳み込みすべく構成された畳み込みモジュールと、エッジ画素として曲線のピークを選択すべく構成された選択モジュールとを更に備えてもよい。実施形態によれば、曲線は関数d(x;c,w,σ_d) = c/√[2π(w²+σ² _d)]exp[-(x-x₀)/2(w²+σ² _d)]として定式化されてもよく、決定モジュールは、曲線から様々な値x のポイントをサンプリングすべく構成されたサンプリングユニットと、サンプリングされたポイントの関数値に応じてぼかし度w を決定すべく構成された決定ユニットとを備えており、ここで、c はエッジコントラストであり、x₀はエッジ中心であり、σ_dは、経験に基づき選択されたガウスフィルタのパラメータであり、σ_dは、1 乃至3 の範囲内であってもよい。

実施形態によれば、焦点が合った対象物及び焦点がずれた対象物を有する画像を編集するための装置が提供されており、該装置は、画像のエッジ画素のぼかし度を決定すべく構成された決定モジュールと、非エッジ画素のぼかし度を決定するために、決定したぼかし度を各エッジ画素に隣接している非エッジ画素に伝播すべく構成された伝播モジュールと、焦点がずれた対象物を識別するために、エッジ画素及び非エッジ画素のぼかし度に基づいて焦点マップを推定すべく構成された推定モジュールと、焦点が合った対象物及び焦点がずれた対象物の少なくとも１つの焦点をずらすべく構成された焦点ずらしモジュールとを備えている。本実施形態では、焦点ずらしモジュールは、ガウスぼかしにより、焦点が合った対象物及び焦点がずれた対象物の少なくとも１つの焦点をずらすべく構成されてもよい。

図７を参照すると、様々な図示された実施形態が実施され得る画像編集システム1004が示されている。必要ではないが、実施形態のある部分は、コンピュータによって実行されるプログラムアプリケーションモジュール、オブジェクト又はマクロのような、コンピュータで実行可能な命令又はロジックの一般的な要素で説明される。図示された実施形態も他の実施形態も、携帯型機器、マルチプロセッサシステム、マイクロプロセッサ型又はプログラム可能な家庭用電化製品、パーソナルコンピュータ（「PC」）、ネットワークPC、ミニコンピュータ、メインフレームコンピュータなどの他のコンピュータシステム構成で実行され得ると当業者は認識する。実施形態は、タスク又はモジュールが、通信網によってリンクされたリモート処理機器によって行なわれる分散型コンピューティング環境で実行され得る。分散型コンピューティング環境では、プログラムモジュールが、ローカルメモリ記憶装置及びリモートメモリ記憶装置の両方に設けられてもよい。

画像編集システム1004は、従来のPCの形態を有してもよく、処理ユニット1006と、システムメモリ1008と、システムメモリ1008などの様々なシステム要素を処理装置1006に接続するシステムバス1010とを備えている。画像編集システム1004は、ここでは単数形で記載されることがあるが、これは、ある実施形態では、２以上のシステム又は他のネットワーク化された関連したコンピューティング装置があるので、実施形態を単一のシステムに制限することを意図していない。市販されているシステムの非制限例は、米国のインテル株式会社（Intel Corporation）から販売されている80 x 86 又はペンティアムシリーズ（登録商標）のマイクロプロセッサ、アイ・ビー・エム株式会社（IBM ）から販売されているパワーピーシーマイクロプロセッサ（PowerPC microprocessor）、サン・マイクロシステムズ社（Sun Microsystems, Inc.）から販売されているスパーク（Sparc ）マイクロプロセッサ、ヒューレット・パッカード社（Hewlett-Packard Company）から販売されているPA-RISC シリーズのマイクロプロセッサ、又はモトローラ株式会社（Motorola Corporation）から販売されている68xxx シリーズのマイクロプロセッサを含んでいるが、これらに限定されない。

処理ユニット1006は、一又は複数の中央処理装置（CPU ）、マイクロプロセッサ、デジタルシグナルプロセッサ（DSP ）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）などのようないかなる論理処理ユニットであってもよい。別の方法で説明されていない場合、図７に示された様々なブロックの構成及び動作は、従来通りに設計される。その結果、このようなブロックが当業者によって理解されるので、前記ブロックは更に詳細にここで説明される必要がない。

システムバス1010は、メモリ制御部、周辺バス及びローカルバスを有するメモリバスなどの任意の公知のバス構造又は構成が採用され得る。システムメモリ1008は、読取専用メモリ（「ROM 」）1012、及びランダムアクセスメモリ（「RAM 」）1014を備えている。ROM 1012の一部を形成し得る基本入出力システム（「BIOS」）1016が、起動中等に、画像編集システム1004内の要素間での情報転送を支援する基本ルーチンを含んでいる。ある実施形態は、データ、指示及び電力のために個別のバスを採用してもよい。

画像編集システム1004は、ハードディスク1020に対して読み書きするためのハードディスクドライブ1018と、着脱可能な光ディスク1026に対して読み書きするための光ディスクドライブ1022と、着脱可能な磁気ディスク1028に対して読み書きするための磁気ディスクドライブ1024とを備えている。光ディスク1026はCD又はDVD であってよく、磁気ディスク1028は磁気フレキシブルディスク又はディスケットであってもよい。ハードディスクドライブ1018、光ディスクドライブ1022及び磁気ディスクドライブ1024は、システムバス1010を介して処理ユニット1006と通信する。ハードディスクドライブ1018、光ディスクドライブ1022及び磁気ディスクドライブ1024は、当業者に公知であるように、このようなドライブ及びシステムバス1010間に接続されたインターフェース又は制御部（不図示）を有してもよい。ドライブ1018,1022,1024、及びこれらの関連したコンピュータ読取り可能な媒体1020,1026,1028は、画像編集システム1004のためのコンピュータ読取り可能な指示、データ構造、プログラムモジュール及び他のデータの不揮発性記憶部を提供する。説明された画像編集システム1004はハードディスク1020、光ディスク1026及び磁気ディスク1028を採用しているが、磁気カセット、フラッシュメモリカード、ベルヌーイカートリッジ、RAM 、ROM 、スマートカード等のような、コンピュータによってアクセス可能なデータを記憶することが可能な他のタイプのコンピュータ読取り可能な媒体が採用され得ると当業者は認識する。

オペレーティングシステム1030、一又は複数のアプリケーションプログラム1032、他のプログラム若しくはモジュール1034、ドライバ1036及びプログラムデータ1038のようなプログラムモジュールが、システムメモリ1008に記憶され得る。

アプリケーションプログラム1032は、例えば、エッジ検出論理回路1032a 、焦点マップ推定論理回路1032b 及び再集束論理回路1032c を有してもよい。論理回路1032a-1032c は、例えば、一又は複数の実行可能命令として記憶されてもよい。エッジ検出論理回路1032a は、画像又は画像データのエッジを検出するための論理又は指示を含んでもよい。焦点マップ推定論理回路1032b は、焦点マップを推定するための論理を含んでもよく、エッジに関連したパラメータを計算するための計算論理と、計算されたエッジに関連したパラメータを非エッジ画素に伝播するための伝播論理と、エッジ画素及び非エッジ画素の両方のエッジに関連したパラメータに基づいた焦点マップを推定するための推定論理とを含んでもよい。再集束論理回路1032c は、ブラインド逆畳み込みを用いて、焦点がずれた対象物の焦点を再集束させてもよく、検出されたエッジに基づいて点拡がり関数を決定するための決定論理と、点拡がり関数を用いて焦点がずれた対象物を逆畳み込みすべく構成された逆畳み込み論理とを含んでもよい。

システムメモリ1008は、以下に説明するように、画像編集システム1004がユーザコンピューティングシステム、インターネット上のウェブサイト、企業イントラネット又は他のネットワークのような他のシステムにアクセスしてデータを交換するために、例えばサーバ及び／又はウェブクライアント又はブラウザのような通信プログラム1040を含んでもよい。説明された実施形態における通信プログラム1040は、ハイパーテキストマークアップ言語（HTML）、エクステンシブルマークアップ言語（XML ）又はワイヤレスマークアップ言語（WML ）のようなマーク付け言語に基づいており、文書の構造を表わすために、文書のデータに追加された構文的な区切り文字を使用するマーク付け言語で作動する。多くのサーバ及び／又はウェブクライアント又はブラウザが、カリフォルニアのモジラ社（Mozilla Corporation）及びワシントンのマイクロソフトから市販されている。

図７では、オペレーティングシステム1030、アプリケーションプログラム1032、他のプログラム／モジュール1034、ドライバ1036、プログラムデータ1038及びサーバ及び／又はブラウザ1040はシステムメモリ1008に記憶されるように示されているが、ハードディスクドライブ1018のハードディスク1020、光ディスクドライブ1022の光ディスク1026及び／又は磁気ディスクドライブ1024の磁気ディスク1028に記憶され得る。ユーザは、タッチスクリーン又はキーボード1042のような入力装置、及び／又はマウス1044のようなポインティング装置によって画像編集システム1004に命令及び情報を入力することが可能である。他の入力装置として、マイクロホン、ジョイスティック、ゲームパッド、タブレット、スキャナ、バイオメトリクススキャニング装置等が可能である。パラレルポート、ゲームポート若しくはワイヤレスインタフェースのような他のインターフェース又はシリアルポートが使用されてもよいが、これら及び他の入力装置は、システムバス1010に接続された汎用シリアルバス（「USB 」）インターフェースのようなインターフェース1046を介して処理ユニット1006に接続されている。モニタ1048又は他の表示装置が、ビデオアダプタのようなビデオインタフェース1050を介してシステムバス1010に接続されている。図示されていないが、画像編集システム1004は、スピーカ、プリンタ等の他の出力装置を備えることが可能である。

画像編集システム1004は、一又は複数の通信チャネル、例えば一又は複数のネットワーク1014a,1014b を介して一又は複数のリモートコンピュータ、サーバ及び／又は装置と通信するために、一又は複数の論理的接続を用いてネットワーク化された環境で作動する。これらの論理的接続により、コンピュータがインターネットのような一又は複数のLAN 及び／又はWAN 等を介して通信することが可能であるいかなる既知の方法が容易にされてもよい。このようなネットワーキング環境は、有線及び無線の企業全域のコンピュータネットワーク、イントラネット、エクストラネット及びインターネットでよく知られている。他の実施形態は、遠距離ネットワーク、セルラーネットワーク、ページングネットワーク及び他のモバイルネットワークなどの他のタイプのコミュニケーションネットワークを含んでいる。

画像編集システム1004は、WAN ネットワーキング環境で使用されるとき、WAN 、例えばインターネット1014a を介して通信を確立するためのモデム1054を備えてもよい。モデム1054は、インターフェース1046とインターネット1014a との間で通信可能にリンクされているとして図７に示されている。追加として又は代わりに、システムバス1010に通信可能にリンクされるネットワークポート1056のような別の装置が、インターネット1014a を介して通信を確立するために使用されてもよい。更に、システムバス1010に通信可能にリンクされる一又は複数のネットワークインタフェース1052a-1052d が、LAN 1014b を介して通信を確立するために使用されてもよい。特に、センサインターフェース1052a が、センササブシステム（例えばカメラ）との通信を提供してもよい。

ネットワーク化された環境では、プログラムモジュール、アプリケーションプログラム、データ又はそれらの一部が、サーバコンピューティングシステム（不図示）に記憶され得る。図７に示されたネットワーク接続がコンピュータ間の通信を確立する方法の内のある例に過ぎず、他の接続が無線を含めて使用されてもよいと当業者は認識する。

便宜上、処理ユニット1006、システムメモリ1008、ネットワークポート1056及びインターフェース1046,1052a-1052cが、システムバス1010を介して互いに通信可能に接続されているとして図示されており、それにより、上記の構成要素間の接続性を提供している。画像編集システム1004の他の実施形態では、上記の構成要素は、図７に図示された構成とは異なる構成で通信可能に接続されてもよい。例えば、一又は複数の上記の構成要素が、他の構成要素に直接接続されてもよく、又は中間要素（不図示）を介して互いに接続されてもよい。ある実施形態では、システムバス1010が省略されて、構成要素が適切な接続を用いて互いに直接接続されている。

尚、公知のマルチ画像に基づく手法とは異なり、単一画像に基づく処理自体が既にほとんど制約されておらず、より多くの未知数を追加することによりフレームワーク全体を処理しにくくするので、閉塞問題は、本発明では画像形成モデルに直接定式化されない。しかしながら、推定された焦点マップにより、生じ得る閉塞領域が、レイヤー境界に沿って位置付けられており、その後、アーチファクトを回避するためにこれらの領域を合成すべくアルファブレンディングが使用される。その結果は、これが閉塞問題を処理するために視覚的で実際的な方法であることを示している。しかしながら、単一画像に基づく処理における半透明性に加えて対象物の閉塞問題についての調査は、興味ある将来の研究課題になる。更に、本発明の基本概念は、空間的に異なるぼかし除去のような他の低レベルの視覚問題に更に適用され得る。

本発明は、上述された説明及び実施形態に限定されない。本発明の趣旨から外れることなく、本発明の開示に従って当業者によって得られる他の実施形態は、本発明の範囲内とすべきである。

本発明は、2009年10月２日付で出願された米国仮特許出願第61/278,182号明細書の権利を主張しており、その内容全体が参照してここに組み込まれる。

Claims

焦点がずれた対象物を有する単一の画像を編集する方法において、
単一の画像の夫々のエッジ画素のエッジ幅であるぼかし度を決定し、
非エッジ画素のぼかし度を決定するために、決定されたぼかし度を夫々のエッジ画素に隣接する非エッジ画素に伝播し、
焦点がずれた対象物を識別するために、エッジ画素及び非エッジ画素のぼかし度に基づいて焦点マップを推定し、
前記焦点マップに基づいて、焦点がずれた対象物の焦点を再集束し、
前記焦点の再集束は、
前記焦点マップに基づいて画像の少なくとも１つの事前分布を確定し、確定された事前分布は、焦点が再集束される画像のエッジ画素の鮮鋭さを確保するための局所鮮鋭事前分布を有しており、
確定された事前分布に基づいて、最大事後確率（MAP ）を用いて前記点拡がり関数を決定し、
焦点が再集束された画像を得るために、前記点拡がり関数を用いて焦点がずれた対象物を逆畳み込みすることにより行われることを特徴とする方法。
確定された事前分布は、焦点が再集束される画像の非エッジ画素の平滑さを確保するための局所平滑事前分布を更に有していることを特徴とする請求項１に記載の方法。
確定された事前分布は、焦点が再集束される画像の平滑さを確保するための全体事前分布を更に有していることを特徴とする請求項２に記載の方法。
前記焦点マップは、画像の夫々の画素のぼかし度を有していることを特徴とする請求項１に記載の方法。
エッジに関連した曲線を決定するために、ガウスフィルタの導関数を用いて画像を畳み込み、
前記エッジ画素として前記曲線のピークを選択することを特徴とする請求項１に記載の方法。
前記ぼかし度の決定は、
前記曲線から様々な値x のポイントをサンプリングし、
前記曲線を関数d(x;c,w,σ_d) = c/√[2π(w²+σ² _d)]exp[-(x-x₀)/2(w²+σ² _d)]として定式化し、
サンプリングされたポイントの関数値に応じてぼかし度w を決定することにより行なわれることを特徴とする請求項５に記載の方法。
c ；エッジコントラスト，x₀；エッジ中心，σ_d ；経験に基づき選択されたガウスフィルタのパラメータ
σ_d は、１乃至３の範囲内にあることを特徴とする請求項６に記載の方法。
焦点が合った対象物及び焦点がずれた対象物を有する単一の画像を編集する方法において、
単一の画像のエッジ画素を検出し、
焦点が合った対象物及び焦点がずれた対象物を識別するために、検出されたエッジ画素に基づいて画像の焦点マップを推定し、
焦点がずれた対象物の焦点を再集束させるか、又は、焦点が合った対象物及び焦点がずれた対象物の少なくとも１つの焦点をずらし、
前記焦点マップの推定が、検出された夫々のエッジ画素のエッジ幅であるぼかし度に基づいて行われ、
前記焦点の再集束は、
前記焦点マップに基づいて画像の少なくとも１つの事前分布を確定し、確定された事前分布は、焦点が再集束される画像のエッジ画素の鮮鋭さを確保するための局所鮮鋭事前分布を有しており、
確定された事前分布に基づいて、最大事後確率（MAP ）を用いて前記点拡がり関数を決定し、
焦点が再集束された画像を得るために、前記点拡がり関数を用いて焦点がずれた対象物を逆畳み込みすることにより行われることを特徴とする方法。
前記エッジ画素の検出は、
ガウスフィルタの導関数で画像を畳み込み、
前記エッジ画素として、畳み込み結果のピークを決定することにより行われることを特徴とする請求項８に記載の方法。
前記焦点マップの推定は、
夫々のエッジ画素のエッジに関連したパラメータを決定し、
決定されたパラメータを前記エッジ画素夫々に隣接している非エッジ画素に伝播し、
エッジ画素及び非エッジ画素のパラメータに基づいて前記焦点マップを推定することにより行われることを特徴とする請求項８に記載の方法。
決定されたパラメータは、少なくとも前記ぼかし度を有していることを特徴とする請求項１０に記載の方法。
決定されたパラメータは、前記ぼかし度、エッジコントラスト、エッジ中心及びエッジベースの少なくとも１つを有していることを特徴とする請求項１０に記載の方法。
前記焦点マップは、画像の夫々の画素のぼかし情報を有していることを特徴とする請求項８に記載の方法。
前記パラメータの決定は、
ガウスフィルタの導関数を用いた画像の畳み込みにより決定された曲線から様々な値x のポイントをサンプリングし、
前記曲線を関数d(x;c,w,σ_d) = c/√[2π(w²+σ² _d)]exp[-(x-x₀)/2(w²+σ² _d)]として定式化し、
サンプリングされたポイントの関数値に応じて、パラメータc ，w ，x₀，b を決定することにより行なわれることを特徴とする請求項１０に記載の方法。
w ；ぼかし度，c ；エッジコントラスト，x₀；エッジ中心，b ；エッジベース，σ_d ；経験に基づき選択されたガウスフィルタのパラメータ
σ_d は、１乃至３の範囲内であることを特徴とする請求項１４に記載の方法。
確定された事前分布は、局所平滑事前分布を更に有しており、
焦点が再集束される画像の非エッジ画素の平滑さが局所平滑事前分布により確保されることを特徴とする請求項８に記載の方法。
確定された事前分布は、焦点が再集束される画像の平滑さを確保するための全体事前分布を更に有していることを特徴とする請求項１６に記載の方法。
前記焦点のずらしは、
ガウスぼかしにより、焦点が合った対象物及び焦点がずれた対象物の少なくとも１つの焦点をずらすことにより行われることを特徴とする請求項８に記載の方法。
焦点がずれた対象物を有する単一の画像を編集する装置において、
単一の画像の夫々のエッジ画素のエッジ幅であるぼかし度を決定すべく構成された決定モジュールと、
非エッジ画素のぼかし度を決定するために、決定されたぼかし度を夫々のエッジ画素に隣接している非エッジ画素に伝播すべく構成された伝播モジュールと、
焦点がずれた対象物を識別するために、エッジ画素及び非エッジ画素のぼかし度に基づいて焦点マップを推定すべく構成された推定モジュールと、
前記焦点マップに基づいて、焦点がずれた対象物の焦点を再集束させるべく構成された再集束モジュールと
を備えており、
前記再集束モジュールは、
前記焦点マップに基づいて画像の少なくとも１つの事前分布を確定し、確定された事前分布に基づいて、最大事後確率（MAP ）を用いることにより前記点拡がり関数を決定すべく構成された決定ユニットと、
焦点が再集束された画像を得るために、前記点拡がり関数を用いて、焦点がずれた対象物の焦点をずらすべく構成された逆畳み込みユニットと
を有しており、
確定された事前分布は、焦点が再集束される画像のエッジ画素の鮮鋭さを確保するための局所鮮鋭事前分布を有していることを特徴とする装置。
確定された事前分布は、焦点が再集束される画像の非エッジ画素の平滑さを確保するための局所平滑事前分布を更に有していることを特徴とする請求項１９に記載の装置。
確定された事前分布は、焦点が再集束される画像の平滑さを確保するための全体事前分布を更に有していることを特徴とする請求項２０に記載の装置。
前記焦点マップは、画像の夫々の画素のぼかし度を有していることを特徴とする請求項１９に記載の装置。
エッジに関連した曲線を決定するために、ガウスフィルタの導関数を用いて画像を畳み込むべく構成された畳み込みモジュールと、
前記エッジ画素として、曲線のピークを選択すべく構成された選択モジュールと
を更に備えていることを特徴とする請求項１９に記載の装置。
前記曲線は、関数d(x;c,w,σ_d) = c/√[2π(w²+σ² _d)]exp[-(x-x₀)/2(w²+σ² _d)]として定式化されており、
前記決定モジュールは、
前記曲線から様々な値x のポイントをサンプリングすべく構成されたサンプリングユニットと、
サンプリングされたポイントの関数値に応じてぼかし度w を決定すべく構成された決定ユニットと
を有していることを特徴とする請求項２３に記載の装置。
c ；エッジコントラスト，x₀；エッジ中心，σ_d ；経験に基づき選択されたガウスフィルタのパラメータ
σ_d は、１乃至３の範囲内にあることを特徴とする請求項２４に記載の装置。