JP4938070B2 - 画像のブラー除去方法および記録媒体 - Google Patents

画像のブラー除去方法および記録媒体 Download PDF

Info

Publication number
JP4938070B2
JP4938070B2 JP2009239797A JP2009239797A JP4938070B2 JP 4938070 B2 JP4938070 B2 JP 4938070B2 JP 2009239797 A JP2009239797 A JP 2009239797A JP 2009239797 A JP2009239797 A JP 2009239797A JP 4938070 B2 JP4938070 B2 JP 4938070B2
Authority
JP
Japan
Prior art keywords
image
blur
information
estimated
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009239797A
Other languages
English (en)
Other versions
JP2010157210A (ja
Inventor
承勇 李
城顯 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy Industry Foundation of POSTECH
Original Assignee
Academy Industry Foundation of POSTECH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy Industry Foundation of POSTECH filed Critical Academy Industry Foundation of POSTECH
Publication of JP2010157210A publication Critical patent/JP2010157210A/ja
Application granted granted Critical
Publication of JP4938070B2 publication Critical patent/JP4938070B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Description

本発明は、画像処理方法に関し、より詳細には、一枚の画像のみで迅速かつ効果的にブラーを除去しうる画像のブラー除去方法および当該画像のブラー除去方法に対応するプログラムの記録された記録媒体に関する。
ブラー現象は、画像獲得装置を用いて画像を獲得する過程でよく発生可能な現象であって、画像の品質を低下させる主要な原因の一つである。
暗い室内や夕方頃の野外のように光量の足りない環境で、カメラなどの装置を用いて画像を獲得する場合、鮮明な画像を得るためには、十分な光量が必要であり、このために画像センサーを光に長い時間露出させなければならない。しかし、露出時間が長くなると、画像センサーの揺れによって獲得した画像にブラーが発生してしまう。
ブラー現象を除去するためにいままで多くの研究がなされてきたが、画像からブラーを除去することは相変らず解決しにくい問題である。
これは、画像からブラーを推定して除去する問題が、与えられた情報の量に比べて知らなければならない情報の量のほうがさらに多いためである。
従来の多くの解決策は、前記のような問題を解決するために、複数枚の画像を用いる或いはセンサーの露出時間を用いることなど、付加的な情報を必要としたり、ブラーの形が２次元ベクトルに表現可能な線形モーションに制限する方式などにように極めて制限された形態のブラーのみを仮定して問題を解決してきた。
Ｙｔｉｚｈａｋｅｙなどは、画像が等方性を有するという仮定を用いて２Ｄベクトルに表現可能なブラーを推定した（非特許文献１）。Ｒａｖ−ＡｃｈａとＰｅｌｅｇは、２枚のブラーのある画像を用いてブラーを推定する方法を提示して（非特許文献２）、Ｙｕａｎなどは、ブラーはないが、ノイズのある画像とブラーのある画像を用いてブラーを推定して除去する方法を提示した（非特許文献３）。ＭｏｎｅｙとＫａｎｇは、ブラーのある画像にショックフィルター(ｓｈｏｃｋ ｆｉｌｔｅｒ)を適用して鮮明なエッジ(ｓｈａｒｐ ｅｄｇｅｓ)を復元した後、これを用いてガウスブラー(ｇａｕｓｓｉａｎ ｂｌｕｒ)および２Ｄベクトルで表現可能なブラーを推定する方法を提示した（非特許文献４）。
最近は一枚の画像から少ない数のパラメーターで表現可能なモーションブラーより一般的なブラーを推定して除去する方法が紹介された。
Ｆｅｒｇｕｓなどは、一般的な画像が有する統計的な特性を用いてブラーを推定する方法を提示していて（非特許文献５）、Ｊｉａは、画像でブラーの発生した領域に対する情報をアルファマット(ａｌｐｈａ ｍａｔｔｅ)技法を用いて得た後、画像のブラーを除去する方法を提示した（非特許文献６）。しかし、Ｆｅｒｇｕｓなどの提示した方法は、統計的モデルの複雑度によって良い結果を出すことが難しく、ブラーの推定に長い時間がかかるという短所がある。
また、Ｊｉａの提示した方法の場合、アルファマット技法の結果に非常に依存的であるため、良いマットを具備することができてこそ満足な結果を得ることができるという短所がある。
Ｓｈａｎなどは、Ｆｅｒｇｕｓなどの提示した一般的な画像が有する統計的特性をより計算しやすい形態で提示して、これを用いるブラーの推定および除去を行う方法を提示した（非特許文献７）。しかし、一枚の画像を処理するのに数分から十数分以上の処理時間を必要とするため、実用的に用いにくいという短所がある。
Ｙｔｉｚｈａｋｅｙ，Ｙ．，ＭＯＲ，I．，Ａ．，Ａｎｄ ＫＯＰＥＩＫＡ，Ｎ．Ｓ．,「モーションブラー画像復元のための直接法（Direct method for restoration of motion-blurred images.）」，米国光学会誌Ａ（Journal of Optical Society of America A），（米国），１９９８年，第１５巻，６号，ｐ．１５１２−１５１９． ＲＡＶ−ＡＣＨＡ，Ａ．，ＡＮＤ ＰＥＬＥＧ，Ｓ．，「一より二つのモーションブラー画像のほうが好ましい（Two motion-blurred images are better than one.）」，パターン認識論文誌（Pattern Recognition Letters），（オランダ），２００５年，第２６巻，ｐ．３１１-３１７． ＹＵＡＮ，Ｌ．，ＳＵＮ，Ｊ．，ＱＵＡＮ．，Ｌ．，ＡＮＤ ＳＨＵＭ，Ｈ．−Ｙ．，「ブラー画像及びノイズ画像の組による画像のブラー修正（Image deblurring with blurred/noisy image pairs.）」，国際計算機学会誌グラフィックス分野（ACM Transactions on Graphics），（米国），２００７年，第２６巻，第３号，記事１． ＭＯＮＥＹ，Ｊ．Ｈ．，ＡＮＤ ＫＡＮＧ，Ｓ．Ｈ．，「ショックフィルターの参照によるブラインドデコンボリューションのトータルバリエーション最小化（Total variation minimizing blind deconvolution with shock filter reference）」，イメージ アンド ビジョン コンピューティング（Image and Vision Computing），（オランダ），２００８年，第２６巻，第２号，ｐ．３０２-３１４． ＦＥＲＧＵＳ，Ｒ，．ＳＩＮＧＨ，Ｂ．，ＨＥＲＴＡＭＡＮ，Ａ．，ＲＯＷＥＩＳ，ＳＴ．，ＡＮＤ ＦＲＥＥＭＡＮ，Ｗ．，「単一写真からのカメラ振動除去（Removing camera shake from a single photograph.）」，国際計算機学会誌グラフィックス分野（ACM Transactions on Graphics），（米国），２００６年，第２５巻，ｐ．７８７-７９４． ＪＩＡ，Ｊ．，「トランスパレンシーを用いた単一画像モーションブラー修正（Single image motion deblurring using transparency.）」，２００７年ＣＶＰＲ会報（In Proc.CVPR 2007），（米国）,２００７年，ｐ．１−８． ＳＨＡＮ，Ｑ．，ＪＩＡ．，ＡＮＤ ＡＧＡＲＷＡＬＡ，Ａ．，「単一画像からの高品質モーションブラー除去（High-quality motion deblurring from a single image.）」，国際計算機学会誌グラフィックス分野（ACM Transactions on Graphics），（米国），２００８年，第２７巻，３号，記事７３．
本発明は、前記問題に鑑みてなされたものであり、本発明の目的とするところは、一枚の画像から容易かつ迅速にブラーを除去することができ、画像の品質を向上させることが可能な、新規かつ改良された画像のブラー除去方法を提供することにある。
本発明の他の目的は、一枚の画像から容易かつ迅速にブラーを除去でき、画像の品質を向上させることが可能な、新規かつ改良された画像のブラー除去方法に対応するプログラムの記録された記録媒体を提供することにある。
前述した本発明の目的を達成するための本発明の一側面による画像のブラー除去方法は、ブラーのある画像を提供される段階と、提供された前記ブラーのある画像からブラーのない画像を推定する画像推定段階と、前記ブラーのある画像および推定された前記ブラーのない画像からブラー情報を推定するブラー情報推定段階と、前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像からブラーを除去するブラー除去段階とを含み、前記画像推定段階および前記ブラー情報推定段階については、反復的に行うものである。
前記画像推定段階は、前記ブラーのある画像のグラジエント情報を予測するグラジエント情報予測段階および前記推定されたブラー情報および前記ブラーのある画像に基づいて第１デコンボリューションを行う第１デコンボリューション遂行段階を含む段階とすることができる。
また、前記グラジエント情報予測段階は、前記ブラーの含まれたオリジナル画像に両方向フィルターを適用する段階と、前記両方向フィルターの適用された画像にショックフィルターを適用する段階と、前記ショックフィルターの適用された画像のグラジエントマップを算出する段階と、算出された前記グラジエントマップに臨界値を適用する段階とを含むものとすることができる。
そして、前記算出された前記グラジエントマップに臨界値を適用する段階は、前記算出されたグラジエントの方向および大きさに基づいてヒストグラムを生成する段階と、前記生成されたヒストグラムに含まれた各方向に相応するブラー情報の垂直および水平大きさのうち、最大値の所定倍数以上のピクセルを含むことの可能なグラジエントの大きさを臨界値に設定する段階と、設定された前記臨界値を前記グラジエントマップに適用してグラジエントを省略する段階とを含むものとすることができる。
前記設定された前記臨界値を前記グラジエントマップに適用してグラジエントを省略する段階は、前記臨界値より小さいグラジエントを０に設定する段階とすることができる。
また、前記ブラー情報推定段階は、前記ブラーのある画像および前記省略されたグラジエントに基づいて、前記ブラー情報を推定する段階とすることができる。
この他、前記ブラー情報推定段階は、ピクセル値を含ませないで画像導関数のみを含むエネルギー関数を用いて、ブラー情報を推定する段階とすることができる。
また、前記画像推定段階および前記ブラー情報推定段階については、前記ブラーのある画像および前記推定されたブラーのない画像の解像度を変化させて、反復的に行うことができる。
前記本発明の他の目的を達成するための本発明の一側面による画像のブラー除去方法に対応するプログラムが記録された記録媒体は、ブラーのある画像が提供される段階と、提供された前記ブラーのある画像からブラーのない画像を推定する画像推定段階と、前記ブラーのある画像および推定された前記ブラーのない画像からブラー情報を推定するブラー情報推定段階と、前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像でブラーを除去するブラー除去段階とをデジタル処理装置（コンピュータ）に実行させ、前記画像推定段階および前記ブラー情報推定段階については、これらの段階を、前記デジタル処理装置に反復的に実行させるためのプログラムを記録する。
前述したような画像のブラー除去方法および画像のブラー除去方法に対応するプログラムの記録された記録媒体によると、提供されたブラーのある画像に対して画像フィルターを適用してエッジを復元してノイズを除去してグラジエントマップを予測した後、前記グラジエントマップとブラーのある画像に基づいてブラーカーネルを推定し、推定されたブラーカーネルとブラーのある画像に対してデコンボリューションを行って潜像（ｌａｔｅｎｔ ｉｍａｇｅ）を推定する。そして前記した過程を繰り返してブラーカーネルの推定の正確度を向上させて、最終ブラーカーネルを推定した後、推定された最終ブラーカーネルとブラーのある画像に対して最終デコンボリューションを行って画像のブラーを除去する。前記ブラーカーネル推定過程ではピクセル値を用いることなく画像導関数のみを用いる。
よって、ブラーの含まれた一枚の映像のみで画像の品質を維持しかつブラーが除去でき、従来のブラーの除去方法より画期的にブラーの除去に要する処理時間を短縮することができる。
本発明の一実施例による画像のブラー除去方法を示すフローチャートである。 図１に示した本発明の一実施例による画像のブラー除去方法において、反復遂行の回数に応じたブラーの除去された画像を示す。 図１に示した予測段階のより詳細な処理過程を示すフローチャートである。 本発明の一実施例による画像のブラー除去方法において、互いに異なるスケールから推定されたカーネルを示す。 本発明の一実施例によるブラーカーネル推定の収斂速度を従来のブラーカーネル推定方法と比較して示した図である。 本発明の一実施例によるブラーカーネル推定の正確度を示す。 本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された画像を示す。 本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された実際画像を示す。 図８に示した画像のブラー除去に要した処理時間を示す。
本発明は多様に変更することができ、多様な形態を有することができるが、ここでは、特定の実施形態を図面に例示して詳細に説明する。但し、ここでの記載は、本発明を特定の開示形態に限定するものではなく、本発明の権利範囲は、本発明の思想及び技術範囲に含まれる全ての変更、均等物、乃至代替物を含むことを理解すべきである。以下の記載では、各図面を説明しながら類似の参照符号を類似の構成要素に対して付与した。
また、第１、第２、Ａ、Ｂ等の用語は、多様な構成要素を説明するために使用することができるが、構成要素は用語によって限定されない。用語は一つの構成要素を他の構成要素から区別する目的としてのみ使用される。例えば、本発明の権利範囲から逸脱することなしに、第１構成要素は第２構成要素と称されてもよく、同様に第２構成要素も第１構成要素に称されてもよい。この他、「及び／または」という用語は、複数関連記載の項目の組合せまたは複数関連記載の項目のうちのいずれかを含む用語である。
また、いかなる構成要素についても、当該構成要素が他の構成要素に「連結」されている、或いは、「接続」されていると言及する時には、他の構成要素に直接的に連結されているか或いは接続されていることもあるが、それらの中間に更に他の構成要素が存在することもあることを理解すべきである。
反面、いかなる構成要素についても、当該構成要素が他の構成要素に「直接連結」されている、或いは、「直接接続」されていると言及するときには、中間に更に他の構成要素が存在しないことと理解すべきである。
また、本出願において用いた用語は、ただ特定の実施例を説明するためのものであって、本発明を限定するものではない。単数の表現は、文脈上、明白に相違が示されない限り、複数の表現を含む。本出願において、「含む」または「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを意図するものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、又はこれらを組み合わせたもの等の存在または付加の可能性を予め排除しないことを理解しなければならない。
なお、異なるものとして定義しない限り、技術的な用語や科学的な用語を含めてここで用いられる全ての用語は、本発明が属する技術分野において通常の知識を有する者によって一般的に理解されるものと同一の意味を有している。一般的に用いられる辞典に定義されているもののような用語は、関連技術の文脈上で有する意味と一致する意味を有することと解釈すべきであり、本出願で明白に定義されない限り、異常的であるか過度に形式的な意味に解釈されない。
以下に添付図面を参照して本発明の好適な実施形態について詳細に説明する。
一般的にモーションブラーは、下記の数式１（以下、数式番号については、対応する項目番号を引用して記載する。）のように示すことができる。
数式１でＢは、ブラーのある画像(ｂｌｕｒｒｅｄ ｉｍａｇｅ)を示し、Ｋは、画像のブラー情報を示すモーションブラーカーネル(ｍｏｔｉｏｎ ｂｌｕｒ ｋｅｒｎｅｌ)または点広がり関数(ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ)を示し、Ｌは、潜像(ｌａｔｅｎｔ ｉｍａｇｅ)、すなわち、ブラーのない鮮明な画像を示す。また、Ｎは、画像獲得過程で導入された未知のノイズを示し、＊は、畳み込み演算子(ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｏｒ)を示す。
前記数式１のブラインドデコンボリューション(ｂｌｉｎｄ ｄｅｃｏｎｖｏｌｕｔｉｏｎ)のためには、反復処理過程(ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｓｓ)でＬとＫの最適化が必要である。また、潜像推定およびブラーカーネル推定は、数式２および数式３の解決によって得ることができる。
数式２および数式３で、
は、データ調整項(ｄａｔａ ｆｉｔｔｉｎｇ ｔｅｒｍ)を示し、ρLおよびρKは、正規化項(ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｔｅｒｍｓ)を示す。
反復処理過程での最適化（以下、反復的最適化という。）の目的は、ブラーカーネルＫの正確度を徐々に改善(ｒｅｆｉｎｅ)することにある。ブラーの除去された最終画像は、最終ブラーカーネルＫと与えられたブラーのある画像Ｂに対するデコンボリューション演算を行うことによって得られる。反復的最適化の途中、推定された潜像は、ブラーの除去された最終画像に直接的な影響を及ぼさなくて、モーションブラーカーネルＫの改善に影響を及ぼすことによって、ブラーの除去された最終画像には間接的に影響を及ぼすようになる。
潜像推定のための反復的最適化過程によって潜像から鮮明なエッジ(ｓｈａｒｐ ｅｄｇｅ)復元と平坦な領域(ｓｍｏｏｔｈ ｒｅｇｉｏｎ)におけるノイズ減殺特性を得ることができ、これはより正確なモーションブラーカーネルを推定することに用いられる。与えられた画像が均一なブラーを含むことに仮定する場合にも鮮明なエッジの周辺からさらに正確なモーションブラーカーネルを得ることができる。例えば、均一な強度(ｃｏｎｓｔａｎｔ ｉｎｔｅｎｓｉｔｙ)を有する領域では、モーションブラーカーネルが推定できないが、一般的に自然画像(ｎａｔｕｒａｌ ｉｍａｇｅ)は、強いエッジ(ｓｔｒｏｎｇ ｅｄｇｅｓ)を含んでいるため、モーションブラーカーネルは、潜像（ｌａｔｅｎｔ ｉｍａｇｅ)推定過程で復元されたエッジを通じて効果的に予測することが可能である。
また、一般的な自然画像では平坦な領域が鮮明なエッジ領域より更に多い領域を占めるため、平坦な領域におけるノイズ抑圧も重要である。もし平坦な領域でノイズが抑圧されないと、数式３のデータ調整項は、ノイズによって非常に大きい影響を受けるようになり、これによって鮮明なエッジからブラーカーネルを推定することにおいて正確度が損なわれる。
数式２の解を求める過程で鮮明なエッジ復元およびノイズ抑圧のための従来の方法は、計算的に複雑な非線形最適化（ｎｏｎ−ｌｉｎｅａｒ ｏｐｔｉｍｉｚａｔｉｏｎ)方法を用いる。また、数式３を用いる従来のブラーカーネル推定方法は、莫大な行列およびベクトルに対して演算を必要とする。結果的に、レイタント画像（潜像）およびブラーカーネル推定のための従来のブラインドデコンボリューションの反復的遂行方法は、計算量が非常に大きいという短所がある。
前記のような従来の短所を解決するために本発明の一実施例による画像のブラー除去方法では、潜像推定およびブラーカーネル推定過程で計算量を減少させることによって、迅速なブラインドデコンボリューション方法を提供する。
本発明の一実施例による画像のブラー除去方法では、レイタント画像の推定速度を向上させるために、潜像の鮮明なエッジを十分に含むことと仮定し、数式２で計算複雑度の高い非線形正規化項(ｎｏｎ−ｌｉｎｅａｒ ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｔｅｒｍ)を最適化する代わりに画像フィルターを用いて鮮明なエッジ復元およびノイズ抑圧特性を用いる。
また、ブラーカーネル推定過程では、ピクセル値(ｐｉｘｅｌ ｖａｌｕｅ)を除くことによって、数式３の数値最適化(ｎｕｍｅｒｉｃａｌ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ)速度を向上させる。
本発明の一実施例による画像のブラー除去方法において、潜像の推定過程は、大きく単純デコンボリューションと予測との２段階で構成される。
単純デコンボリューション段階では、ブラーのある画像ＢとブラーカーネルＫが与えられた場合、先に潜像Ｌを推定するために、ガウスプライア（ｇａｕｓｓｉａｎ ｐｒｉｏｒ）を有する単純かつ迅速なデコンボリューションを用いてブラーを除去する。
ガウスプライアの特徴によって、潜像Ｌは、平坦なエッジ(ｓｍｏｏｔｈ ｅｄｇｅｓ)および平坦な領域にノイズを含む。
潜像Ｌの予測段階では、画像フィルターを用いて鮮明なエッジ復元とノイズを除去して正確度の改善された(ｒｅｆｉｎｅｄ)推定潜像Ｌ’を獲得する。ここで、潜像の平坦な領域で鮮明な(ｓｔｒｏｎｇ)エッジおよび抑圧されたノイズは、潜像がブラーカーネル推定に用いられる時、重要な特徴として用いられるため、単純デコンボリューションは画像品質が低下するにもかかわらず、結果的に推定潜像Ｌ’は正確なブラーカーネル推定に必要な高品質の潜像を提供する。
ブラーカーネル推定段階では、前記数式３の解を求めるために、共役勾配（ＣＧ：Ｃｏｎｊｕｇａｔｅ Ｇｒａｄｉｅｎｔ）法を用いる。また、数式３の解を求める過程でエネルギー関数のグラジエント計算が数回行われる。
グラジエント計算は、高次元の行列およびベクトルの掛け算を含むため、演算が非常に複雑であるがコンボリューション演算に関わる掛け算は、高速フーリエ変換(ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ)を用いて計算速度を向上させることができる。
しかし、順次に高速フーリエ変換を行う過程で、高速フーリエ変換の直接的な連接(ｃｏｎｃａｔｅｎａｔｉｏｎ)に妨害となる画像境界を適切に調整することが必要である。
数式３を単に画像導関数(ｉｍａｇｅ ｄｅｒｉｖａｔｉｖｅｓ)を有するエネルギー関数に公式化することによって、画像境界調節および高速フーリエ変換の数を顕著に減少させることができる。
また、前記エネルギー関数の公式化は、付加的に共役勾配法(ＣＧ)の処理速度の向上を提供し、数式３から誘導される計算体系に小さい条件数(ｃｏｎｄｉｔｉｏｎ ｎｕｍｂｅｒ)を有する正しい条件(ｗｅｌｌ−ｃｏｎｄｉｔｉｏｎｅｄ)を提供して収斂速度を向上させる。
図１は、本発明の一実施例による画像のブラー除去方法を示すフローチャートである。
図１を参照すると、まず、ブラーのある画像が提供される(段階１１０)。
予測段階(段階１２０)は、ブラーのある画像が提供された時、ブラーカーネル推定のための潜像Ｌの初期値を提供するために反復されるループの始めに位置する。
予測段階では、平坦な領域でノイズの抑圧された潜像で著しいエッジを予測するために、潜像Ｌのｘ方向およびｙ方向に沿ってグラジエントマップ[Ｐx，Ｐy]を計算する。
段階１２０〜段階１５０の反復過程における予測段階への入力は、初回（一回目）を除いて以前の反復過程におけるデコンボリューション段階で獲得した、推定された潜像Ｌになる。
ブラーカーネル推定段階(段階１３０)では、段階１２０で計算によって予測されたグラジエントマップ[Ｐx，Ｐy]およびブラーのある画像Ｂを用いてブラーカーネルＫを推定する。
デコンボリューション段階(段階１４０)では、ブラーカーネルＫおよびブラーのある画像Ｂを用いて潜像Ｌを推定する。ここで、前記推定された潜像Ｌは、次の反復過程の予測段階(段階１２０)に入力される。
本発明の一実施例による画像のブラー除去方法では、より効果的にブラーカーネルＫおよび潜像Ｌを推定するために、段階１２０および段階１３０を反復的に行うことで、推定の正確度を向上させる。
本発明の一実施例による画像のブラー除去方法では、ブラーカーネルＫおよび潜像Ｌの正確度向上ための反復的処理過程でブラーのある画像および潜像Ｌのグレースケールバージョンを用いる。
最終デコンボリューション段階(段階１５０)では、反復動作によって最終ブラーカーネルＫが得られた後、ブラーの除去された最終画像を得るために、前記最終ブラーカーネルＫとブラーのある画像Ｂの各カラーチャンネルに対する最終デコンボリューションを行う(段階１５０)。
図２は、図１に示した本発明の一実施例による画像のブラー除去方法でブラーが除去された画像を反復回数に応じて複数示す。
図２を参照すると、図２の(ａ)はブラーの含まれたオリジナル画像を示し、図２の(ｂ)は本発明の一実施例によりブラーの除去された最終画像を示す。
また、図２の(ｃ)〜(ｅ)は、それぞれ図１の段階１２０〜段階１４０を１回、３回、および５回を反復して行った結果を示すものであって、予測されたグラジエントマップ[Ｐx，Ｐy]と、推定されたブラーカーネルを含むデコンボリューションの結果を示す。図２では、図示の予測されたグラジエントマップ[Ｐx，Ｐy]は、視覚化のためにポアソン復元(Ｐｏｉｓｓｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)を用いた。
図２に示したように、本発明の一実施例による画像のブラー除去方法では、図１の段階１２０〜段階１４０の反復回数が増加するほど(図５の(ｅ)、５ｔｈ ｉｔｅｒａｔｉｏｎ)より更に正確に潜像を推定でき、推定された潜像に基づいて、より更に正確なブラーカーネルをブラーカーネルを予測することができる。そして、より正確に推定されたブラーカーネルを用いてブラーの除去された最終画像(ｂ)を得ることができる。
以下、本発明の一実施例による画像のブラー除去方法をより詳細に説明する。
先に、図１の予測段階(段階１２０)は潜像Ｌから著しいエッジのみを残して、残りの領域はグラジエントを０に設定することによって画像グラジエントマップ[Ｐx，Ｐy]を推定する。グラジエント０のコンボリューションは、推定されたブラーカーネルに関係なくいつも０であるため、結果的にブラーカーネル推定段階(段階１３０)で著しいエッジのみブラーカーネルの最適化に影響を及ぼす。
また、予測段階では、強い(ｓｔｒｏｎｇ)エッジを復元するために、ショックフィルター用いる。ショックフィルターは、ブラーのある画像から鮮明なエッジを復元することによって画像の特徴を強化させる効率的な道具である。
ショックフィルターは、下記の数式４のように示すことができる。
数式４で、Ｉtは時間ｔにおける画像を示し、ΔItおよび∇Itは、それぞれＩtのラプラシアンおよびグラジエントを示す。また、ｄｔは単一展開(ｅｖｏｌｕｔｉｏｎ)に対する時間段階(ｔｉｍｅ ｓｔｅｐ)を示す。
図３は、図１に示した予測段階のより詳細な処理過程を示すフローチャートである。
図３を参照すると、予測段階は、両方向フィルタリング段階、ショックフィルタリング段階、およびグラジエント臨界値適用段階を含む段階とすることができる。
まず、現在の推定された潜像Ｌに対して存在可能なノイズおよび小さいディテール(ｓｍａｌｌ ｄｅｔａｉｌ)を抑圧するために、両方向フィルターを適用する(段階１２１)。ここで、両方向フィルタリングで支援可能な画像のサイズは固定（例えば、５×５)することができる。
その後、推定された潜像Ｌで強い（ｓｔｒｏｎｇ）エッジを復元するために、ショックフィルターが適用される(段階１２３)。ここで、ショックフィルターの適用された結果の画像である潜像Ｌ’は、エッジのコントラストが向上するが同時にノイズが増加する。
したがって、潜像Ｌ’のグラジエントマップ
を計算し(段階１２５)、計算されたグラジエントマップに臨界値を適用してグラジエントを省略(ｔｒｕｎｃａｔｅ)することによってノイズを除去する(段階１２７)。省略されたグラジエントマップ｛Ｐx，Ｐy｝がこの予測段階の最終出力となる。ここで、前記グラジエントの省略は、例えば、臨界値より小さいグラジエントを０に設定することで行うことができる。
グラジエントの省略のための臨界値は、まず、グラジエントの方向を所定角度(例えば、４５°)間隔に区分し、各方向に対してグラジエント大きさによるヒストグラムを生成し(ここで、１８０°〜３６０°の間は、符号のみ相違であり、大きさは同一の方向の角度で計算)、生成されたそれぞれの方向に対してブラーカーネルの垂直および水平大きさのうち、最大値の所定倍数(例えば、２倍)以上のピクセルを含むことのできるグラジエント大きさを臨界値に設定する。
デコンボリューション段階(段階１４０)では、与えられたブラーカーネルＫおよび提供されたブラーのある画像Ｂに基づいて潜像Ｌを推定する。ここで、潜像Ｌを推定するために、エネルギー関数を用いる。エネルギー関数は、下記の数式５のように示すことができる。
数式５で、
は、互いに違う方向での偏微分演算子および次数を示し、
は、各偏微分に対する加重値を示し、αは、正規化項に対する加重値(例えば、０．１)を示す。
数式５の一番目の項は、リンギング効果(ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔｓ)を減少させるために画像導関数を用いるＳｈａｎなどが提案したブラーモデルに基づく（非特許文献７）。また、正規化項
は、平坦なグラジエントを有する潜像Ｌを取る。
前記数式５は、ただ２回の高速フーリエ演算による周波数領域でピクセル別割算演算(ｐｉｘｅｌ−ｗｉｓｅ ｄｉｖｉｓｉｏｎ)によって非常に速く最適化することができる。数式５が最適化された結果は、平坦なエッジおよびリンギング効果を含むことができる。しかし、段階１２０で強いエッジのみを復元し、リンギング効果を含む残りは省略するため、予測段階(段階１２０)に基づいた単一デコンボリューションの遂行結果（実行結果）は、正確なブラーカーネルの推定に影響を及ぼさない。
本発明の一実施例による画像のブラー除去方法では、大きいブラー(ｌａｒｇｅ ｂｌｕｒ)の有する画像から効果的にブラーを除去するために、マルチスケール反復処理(ｍｕｌｔｉ−ｓｃａｌｅ ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｓｓ)を行う。
図４は、本発明の一実施例による画像のブラー除去方法において、互いに異なるスケールで推定されたカーネルを示す。
図４を参照してマルチスケール反復処理過程を説明すると、先に、ブラーの範囲が狭くて深刻な局部化エラー(ｓｅｖｅｒｅ ｌｏｃａｌｉｚａｔｉｏｎ ｅｒｒｏｒｓ)なしにエッジを推定できる低い解像度(ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ)で鮮明なエッジを推定する。
高い解像度では、以前の低い解像度を通じて獲得したデコンボリューションされた画像から深刻な局部化エラーを避けて鮮明なエッジ推定を始める。特定スケールで反復処理を行う間、鮮明なエッジ推定は以前の反復処理過程で更新されたブラーカーネルを通じて得られたデコンボリューション結果に適用される。
前記のように、本発明の一実施例による画像のブラー除去方法では、マルチスケール反復処理過程によって小さいサイズの両方向フィルターおよびショックフィルターを用いて大きいブラーに対するブラーカーネルを推定することができる。
マルチスケール反復処理過程は、一つのスケールを用いては扱うことのできなかった大きいブラーを推定可能にする。また、本発明の一実施例による画像のブラー除去方法では、ブラーカーネル推定のための潜像のグラジエントマップ予測で２回の高速フーリエ変換と単純な画像フィルタリングを行い、両方向フィルタリング、ショックフィルタリング、およびグラジエント臨界値適用については非常に速く実行することが可能である。このため、本発明では、従来のブラー除去方法(例えば、Ｓｈａｎ ｅｔ ａｌ．２００８)が３０〜６０回の高速フーリエ変換を行うことに比べて非常に速く処理することが可能である。
推定されたグラジエントマップ[Ｐx，Ｐy]を用いるブラーカーネル推定は、数式６のエネルギー関数を用いる。
数式６で
は、各偏微分のための加重値を示し、Ｐ*およびＢ*は、下記の数式７のように変えることができる。
数式６で各
はマップを形成し、マップＩは
に定義される。ここで、(ｘ，ｙ)はＩでピクセルのインデックスを示す。また、βはチホノフ正規化(Ｔｉｋｈｏｎｏｖ ｒｅｇｕｌａｒｉｚａｔｉｏｎ)に対する加重値を示す。
数式６に記載のように、本発明ではエネルギー関数でピクセル値を含ませないでただ画像導関数のみを用いる。また、本発明では、従来のブラー除去方法で用いたＫのＬ１ノルム(ｎｏｒｍ)の代わりにチホノフ正規化項を用いる。
数式６は、数式８のように行列式形態に表現することができる。
数式８でＡは５つのＰ*で構成された行列を示し、ｋはブラーカーネルＫのベクトルを示す。また、ｂは５つのＢ*で構成された行列を示す。
数式８を最小化するために共役勾配法(ＣＧ)を用いると、ｆkのグラジエントは数式９のように定義される。
数式９で∂ｆk（ｋ）／∂ｋの計算は、Ａが大きくなるほど多くの時間を必要とする。潜像ＬとブラーカーネルＫの大きさがそれぞれｎ×ｎおよびｍ×ｍの場合、Ａの大きさは５ｎ2×ｍ2になる。したがって、Ａｋの直接的な計算は、厖大な計算量と大きい保存容量を必要とする。ＡTＡの大きさはｍ2×ｍ2で相対的に小さいがこれも計算に多くの時間を必要とする。
しかし、Ａｋが５つＰ*のＫとのコンボリューションに相応するため、高速フーリエ変換を用いて計算速度を向上させることができる。特に、Ａｋの計算は、６回の高速フーリエ変換が必要である。すなわち、１回の
と５回の
の高速フーリエ変換が必要である。ここで、および
は、それぞれフーリエ変換(ｆｏｒｗａｒｄ ＦＦＴ)および逆フーリエ変換(ｉｎｖｅｒｓｅ ＦＦＴ)を示し、○はピクセル別掛け算を示す。
は、共役勾配法(ＣＧ)の計算の前にあらかじめ計算することができる。
前述した方法と類似的に６回の高速フーリエ変換を通じて、
の計算速度を向上させることができる。
結果的に、共役勾配法(ＣＧ)の各反復段階でグラジエント∂ｆk（ｋ）／∂ｋの計算に総１２回の高速フーリエ変換が行われる。そして、前処理段階で
だけでなくＡTｂも高速フーリエ変換によって計算することができる。
本発明では、高速フーリエ変換の回数を減少させることによって、計算速度を更に向上させるために、ＡｋとＡTｙとを関連させてＡTＡｋを直接的に計算する。ＡTＡｋは、下記の数式１０のように示すことができる。
数式１０で、
は
の共役複素数(ｃｏｍｐｌｅｘ ｃｏｎｊｕｇａｔｅ)を示す。
は、共役勾配法(ＣＧ)の反復の前にあらかじめ計算することができる。したがって、グラジエント計算にただ二回の高速フーリエ変換が行われるため、高速フーリエ変換の回数を１０回減少させることができる。
前述したのような効率的な計算は、数式６でピクセル値を用いないで画像導関数のみを用いることから起因する。すなわち、本発明では画像偏微分のみを用いるため、Ａｋを計算する前に画像の境界(ｂｏｕｎｄａｒｙ)を偏微分値が０である値を有する領域に拡張することによって画像境界の問題を回避する。
前記数式６の最適化以後、最も大きい値の１/２０より小さい値を有する要素を０に設定した後、０でない値に対しては合計が１となるように正規化する。
数値最適化の過程で最適化収斂のための反復遂行の回数および収斂速度は非常に重要である。本発明の一実施例によるブラーカーネル推定方法は、ピクセル値を含む従来の場合より非常に速い速度で計算が最適化する。
図５は、本発明の一実施例によるブラーカーネル推定の収斂速度を従来のブラーカーネル推定方法と比較して示したものである。
図５を参照すると、本発明の一実施例によるブラーカーネル推定は、数回以内の反復によって画期的にブラーカーネル推定エラーが減少するが、ピクセル値を用いる従来のブラーカーネル推定方法は、本発明に比べてブラーカーネル推定エラーがより遅く減少することが分かる。
前記したように、数値最適化の速い収斂は、数式９で行列ＡTＡのよく定義された条件に起因する。ＡTＡは、下記の数式１１のように示すことができる。
数式１１でＡ* TＡ*は
で定義される。ここで、Ｉ* iはに依存する量によってシフトされた後の∂*Ｌのベクトル表現である。画像偏微分は、エッジピクセルを除いては一般的に０に近い。したがって、Ａ* TＡ*の成分値は対角(ｄｉａｇｏｎａｌ)領域では大きい値を有し、対角線でない領域(ｏｆｆ−ｄｉａｇｏｎａｌ ｒｅｇｉｏｎ)では急激に小さい値になる。
ブラーカーネル推定速度の比較のために、チホノフ正規化項がカーネル推定の正規化項に用いられることを除いて、エネルギー関数が「Ｓｈａｎ ｅｔ ａｌ．２００８」と同じ状態でカーネル推定方法を考慮する。ここで、チホノフ正規化項の用いられた「Ｓｈａｎ ｅｔ ａｌ．２００８」を「Ｓｈａｎ−Ｌ２」と称する。
「Ｓｈａｎ ｅｔ ａｌ．２００８」の本来バージョンは、エネルギー関数の正規化項にＬ１ノルムを用いるため、更に多い計算量を必要とする。また、前記「Ｓｈａｎ ｅｔ ａｌ．２００８」の本来バージョンにおけるカーネル推定段階では、厖大な大きさの行列が生成されるため、メモリー不足および過度な計算量を招く短所がある。
反面、本発明の一実施例によるブラーカーネル推定は、各共役勾配法(ＣＧ)の遂行段階で２回の高速フーリエ変換を行うが、「Ｓｈａｎ−Ｌ２」は一枚のピクセル値の画像と５枚の偏微分された画像で構成された６枚の画像を用いるため、総１４回の高速フーリエ変換を行う。また、「Ｓｈａｎ−Ｌ２」は、ピクセル値を用いるため、本発明よりさらに多い反復遂行が必要である。
図５に示したように、本発明の一実施例によるブラーカーネル推定方法では５回の共役勾配法(ＣＧ)処理を繰り返して行ったが、類似の正確度を得るために「Ｓｈａｎ−Ｌ２」は、３０回の反復遂行が必要であることが分かる。
結果的に、本発明の一実施例によるブラーカーネル推定方法は、「Ｓｈａｎ−Ｌ２」に比べて４０倍以上に速く、ピクセル値を用いる従来の他の方法よりも１０倍以上速い。
図６は、本発明の一実施例によるブラーカーネル推定の正確度を示す。
本発明の一実施例によるカーネル推定方法の正確度を検証するために、互いに異なるガウスノイズを付加したテスト画像を用いて本発明とピクセル値を用いる従来の方法とを比較した。
図６を参照すると、本発明の一実施例によるカーネル推定方法では、ピクセル値を用いないにもかかわらずピクセル値を用いた従来のカーネル推定方法と実質的に同一の正確度を有する。また、一部のケースでは、本発明のカーネル推定方法がピクセル値を除くことによって得られるよく定義された計算体系によって、ピクセル値を用いる従来のカーネル推定方法よりさらに優秀な正確度を有する。
図７は、本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された画像を示す。
図７を参照すると、推定されたブラーカーネルは、本来のブラーカーネルと実質的に同一であり、ブラーの除去された画像はオリジナル画像の繊細なディテールに正確に復元されたことが分かる。
図８は、本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された実際画像を示す。図８に示された各画像は、互いに異なる複雑な形状(ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ)およびカメラモーション(ｃａｍｅｒａ ｍｏｔｉｏｎｓ)を含む。
図８を参照すると、ブラーの除去された各画像は、鮮明なエッジが非常に強化されて客体の形態と構造とをより明らかに示すことが分かる。
図９は、図８に示した画像のブラー除去に要した処理時間を示す。
実験環境は、ＭＳ Ｗｉｎｄｏｗｓ（登録商標） ＸＰ(３２ｂｉｔ)基盤のＩｎｔｅｌ（登録商標） Ｃｏｒｅ ２ ＣＰＵ ２．６６ＧＨｚ，３．２５ＧＢ ＲＡＭ、ＮＶＩＤＩＡ（登録商標） ＧｅＦｏｒｃｅ（登録商標） ＧＴＸ グラフィックカードを有するＰＣである。実験のために具現されたブラー除去方法は、グラフィックカードのＧＰＵ加速機能を用いて具現された。図９を参照すると、本発明の一実施例による画像のブラー除去方法が、カーネルの大きさが大きい場合にも、入力されたブラーのある画像から数秒以内にブラーを除去できることを理解することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、各種の変更例または修正例を想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属する。

Claims (8)

  1. ブラーのある画像が提供される段階と、
    提供された前記ブラーのある画像にエッジ復元フィルターを適用し、ブラーのない画像のエッジ情報を推定する画像推定段階と、
    前記ブラーのある画像および推定された前記ブラーのない画像のエッジ情報に基づいてブラー情報を推定するブラー情報推定段階と、
    前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像に第１デコンボリューションを行う第１デコンボリューション実行段階と、
    を含み、
    前記ブラーのある画像が提供される段階から前記第１デコンボリューション実行段階までを、予め定められた回数、または、推定された前記ブラー情報が以前の実行時に推定されたブラー情報と比較して差異がなくなるまで、反復的に実行し、且つ、反復実行時には、前記第１デコンボリューションが行われた画像を、前記ブラーのある画像として提供すること
    を特徴とする画像のブラー除去方法。
  2. 前記反復実行が完了した後、最終的に推定されたブラー情報に基づいて、第２デコンボリューションを行うことによって、前記ブラーのある画像からブラーが除去された画像を復元する第２デコンボリューション実行段階をさらに含むことを特徴とする請求項１に記載の画像のブラー除去方法。
  3. 前記画像推定段階は、
    前記ブラーのある画像にノイズ除去フィルターを適用する段階と、
    前記ノイズ除去フィルターが適用された画像にエッジ復元フィルターを適用する段階と、
    前記エッジ復元フィルターが適用された画像のグラジエントマップを算出する段階と、
    前記算出されたグラジエントマップに基づいて臨界値を算出し、前記算出されたグラジエントの大きさが前記臨界値より小さいピクセルのグラジエントを省略するように前記臨界値を前記グラジエントマップに適用することによって、前記ブラーのない画像のエッジ情報を推定する臨界値を前記グラジエントマップに適用する段階と、
    を含むことを特徴とする請求項１に記載の画像のブラー除去方法。
  4. 前記臨界値を適用する段階は、
    前記算出されたグラジエントの方向および大きさに基づいてヒストグラムを生成する段階と、
    前記生成されたヒストグラムに含まれた各方向に相応するブラー情報の垂直および水平大きさのうち、最大値の所定倍数以上のピクセルを含みうるグラジエントの大きさを臨界値に設定する段階と、
    設定された前記臨界値を前記グラジエントマップに適用して、グラジエントを省略(ｔｒｕｎｃａｔｅ)する段階と、を含むことを特徴とする請求項３に記載の画像のブラー除去方法。
  5. 前記設定された前記臨界値を前記グラジエントマップに適用してグラジエントを省略する段階では、
    前記臨界値より小さいグラジエントを０に設定することを特徴とする請求項４に記載の画像のブラー除去方法。
  6. 前記ブラー情報推定段階では、
    前記ブラーのある画像および前記省略されたグラジエントに基づいて、前記ブラー情報を推定することを特徴とする請求項４に記載の画像のブラー除去方法。
  7. 前記画像推定段階および前記ブラー情報推定段階は、
    前記ブラーのある画像および前記推定されたブラーのない画像の解像度を変化させて反復的に行われることを特徴とする請求項１に記載の画像のブラー除去方法。
  8. 画像に含まれたブラーの除去を行うデジタル処理装置によって実行可能な命令語のプログラムが有形的に具現されていて、前記デジタル処理装置によって判読可能なプログラムを記録した記録媒体であって、
    ブラーのある画像が提供される段階と、
    提供された前記ブラーのある画像にエッジ復元フィルターを適用し、ブラーのない画像のエッジ情報を推定する画像推定段階と、
    前記ブラーのある画像および推定された前記ブラーのない画像のエッジ情報に基づいてブラー情報を推定するブラー情報推定段階と、
    前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像に第１デコンボリューションを行う第１デコンボリューション実行段階と、
    を含み、
    前記ブラーのある画像が提供される段階から前記第１デコンボリューション実行段階までを、予め定められた回数、または、推定された前記ブラー情報が以前の実行時に推定されたブラー情報と比較して差異がなくなるまで、反復的に実行し、且つ、この反復実行時には、前記第１デコンボリューションが行われた画像を、前記ブラーのある画像として提供する
    処理を前記デジタル処理装置に実行させるためのプログラム
    を記録した記録媒体。
JP2009239797A 2008-12-31 2009-10-16 画像のブラー除去方法および記録媒体 Expired - Fee Related JP4938070B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0138195 2008-12-31
KR1020080138195A KR100990791B1 (ko) 2008-12-31 2008-12-31 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체

Publications (2)

Publication Number Publication Date
JP2010157210A JP2010157210A (ja) 2010-07-15
JP4938070B2 true JP4938070B2 (ja) 2012-05-23

Family

ID=42285081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009239797A Expired - Fee Related JP4938070B2 (ja) 2008-12-31 2009-10-16 画像のブラー除去方法および記録媒体

Country Status (6)

Country Link
US (1) US8380000B2 (ja)
JP (1) JP4938070B2 (ja)
KR (1) KR100990791B1 (ja)
CN (1) CN102326379B (ja)
DE (1) DE112009004059B4 (ja)
WO (1) WO2010076945A2 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2454876B1 (en) * 2009-10-21 2013-12-04 Ron Banner Real-time video deblurring
JP5184574B2 (ja) * 2010-04-30 2013-04-17 パナソニック株式会社 撮像装置、画像処理装置、および画像処理方法
CN101986345B (zh) * 2010-11-04 2012-06-06 浙江大学 一种图像去模糊方法
US9535537B2 (en) 2010-11-18 2017-01-03 Microsoft Technology Licensing, Llc Hover detection in an interactive display device
CN102572201B (zh) * 2010-12-31 2015-01-28 北京大学 一种图像网纹去除方法及系统
KR101839617B1 (ko) * 2011-07-11 2018-03-19 포항공과대학교 산학협력단 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
US8705881B2 (en) 2011-09-02 2014-04-22 Adobe Systems Incorporated Motion deblurring for text images
JP5910043B2 (ja) * 2011-12-02 2016-04-27 富士通株式会社 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
JP2013152583A (ja) * 2012-01-25 2013-08-08 Nagoya Institute Of Technology 画像処理装置
CN102708541B (zh) * 2012-02-22 2015-01-14 贵州大学 微扰法解图像模糊
KR101810876B1 (ko) * 2012-03-13 2018-01-26 삼성전자주식회사 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
WO2013148139A1 (en) 2012-03-29 2013-10-03 Nikon Corporation Algorithm for minimizing latent sharp image and point spread function cost functions with spatial mask fidelity
WO2013148142A1 (en) * 2012-03-29 2013-10-03 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
WO2013165595A1 (en) * 2012-04-30 2013-11-07 Nikon Corporation Point spread function cost function with non-uniform weights
US8867856B2 (en) * 2012-11-12 2014-10-21 Adobe Systems Incorporated De-noising image content using directional filters for image de-blurring
CN103337055B (zh) * 2013-06-24 2016-07-20 暨南大学 一种基于梯度拟合的文本图像去模糊方法
EP3028220A4 (en) 2013-07-29 2017-04-05 Nikon Corporation Multiple phase method for image deconvolution
US9430817B2 (en) 2013-11-12 2016-08-30 Microsoft Technology Licensing, Llc Blind image deblurring with cascade architecture
US9659351B2 (en) * 2014-03-12 2017-05-23 Purdue Research Foundation Displaying personalized imagery for improving visual acuity
CN104932868B (zh) * 2014-03-17 2019-01-15 联想(北京)有限公司 一种数据处理方法及电子设备
CN105096261B (zh) * 2014-05-13 2018-04-17 北京大学 图像处理装置和图像处理方法
CN105469363B (zh) 2014-09-05 2018-05-18 华为技术有限公司 基于模糊图像生成清晰图像的方法和装置
CN104794691B (zh) * 2015-04-07 2017-06-23 浙江大学 利用广义高斯模型进行单张失焦图像清晰重建的方法
KR101624503B1 (ko) 2015-05-11 2016-05-26 한화탈레스 주식회사 번짐 영상의 복원 방법
WO2016183716A1 (zh) * 2015-05-15 2016-11-24 北京大学深圳研究生院 图像去模糊方法及系统
KR101596203B1 (ko) * 2015-06-16 2016-02-22 중앙대학교 산학협력단 모션 블러 이미지 복원 방법 및 장치
JP6541454B2 (ja) * 2015-06-17 2019-07-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017010092A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
KR101671391B1 (ko) * 2015-07-07 2016-11-02 한국과학기술연구원 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
US11354881B2 (en) 2015-07-27 2022-06-07 United Launch Alliance, L.L.C. System and method to enable the application of optical tracking techniques for generating dynamic quantities of interest with alias protection
US9852330B1 (en) 2015-07-27 2017-12-26 United Launch Alliance, L.L.C. System and method to enable the application of optical tracking techniques for generating dynamic quantities of interest with alias protection
CN105512461B (zh) * 2015-11-26 2019-02-12 深圳市华星光电技术有限公司 背光源mura值的计算方法、系统及检测装置
CN105957043B (zh) * 2016-06-22 2018-12-14 西北工业大学 基于梯度自动激活的模糊图像盲复原方法
WO2018097677A1 (en) 2016-11-28 2018-05-31 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and computer-readable recording medium thereof
KR101862490B1 (ko) * 2016-12-13 2018-05-29 삼성전기주식회사 영상 보정 프로세서 및 컴퓨터 판독가능 기록 매체
US10628995B2 (en) 2017-04-17 2020-04-21 Microsoft Technology Licensing, Llc Anti-aliasing of graphical elements defined based on functions
CN107610056B (zh) * 2017-08-11 2020-08-11 南京信息工程大学 基于全变分的混合加权维纳滤波图像去噪方法
US11276159B1 (en) 2018-05-15 2022-03-15 United Launch Alliance, L.L.C. System and method for rocket engine health monitoring using digital image correlation (DIC)
KR102126916B1 (ko) 2018-11-30 2020-06-26 동국대학교 산학협력단 블러된 영상 복원을 위한 장치 및 방법
CN110874826B (zh) * 2019-11-18 2020-07-31 北京邮电大学 应用于离子束精准镀膜的工件图像去雾化方法及装置
CN116612048B (zh) * 2023-07-17 2023-09-26 山东产研卫星信息技术产业研究院有限公司 一种光学卫星遥感影像去模糊处理方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832839A (ja) * 1994-07-19 1996-02-02 Sharp Corp 雑音除去装置
JP4344968B2 (ja) 1999-10-28 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法
US7440634B2 (en) * 2003-06-17 2008-10-21 The Trustees Of Columbia University In The City Of New York Method for de-blurring images of moving objects
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
KR100688536B1 (ko) 2005-03-09 2007-03-02 삼성전자주식회사 영상신호 잡음제거장치 및 영상신호 잡음제거방법
CN1904941A (zh) * 2005-07-29 2007-01-31 清华大学 一种图像处理中的去模糊方法
US20070165961A1 (en) * 2006-01-13 2007-07-19 Juwei Lu Method And Apparatus For Reducing Motion Blur In An Image
US7587099B2 (en) * 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
JP2007334457A (ja) * 2006-06-12 2007-12-27 Toshiba Corp 画像処理装置及び画像処理方法
US20080137978A1 (en) * 2006-12-07 2008-06-12 Guoyi Fu Method And Apparatus For Reducing Motion Blur In An Image
JP4799428B2 (ja) * 2007-01-22 2011-10-26 株式会社東芝 画像処理装置及び方法
KR101399012B1 (ko) * 2007-09-12 2014-05-26 삼성전기주식회사 영상 복원 장치 및 방법
JP2009182576A (ja) * 2008-01-30 2009-08-13 Canon Inc 画像処理装置、撮像装置、印刷装置及び画像処理方法

Also Published As

Publication number Publication date
CN102326379A (zh) 2012-01-18
WO2010076945A3 (ko) 2010-08-12
US20100166332A1 (en) 2010-07-01
US8380000B2 (en) 2013-02-19
JP2010157210A (ja) 2010-07-15
KR20100079658A (ko) 2010-07-08
WO2010076945A2 (ko) 2010-07-08
CN102326379B (zh) 2014-11-05
DE112009004059B4 (de) 2017-07-27
KR100990791B1 (ko) 2010-10-29
DE112009004059T5 (de) 2012-07-12

Similar Documents

Publication Publication Date Title
JP4938070B2 (ja) 画像のブラー除去方法および記録媒体
Bahat et al. Non-uniform blind deblurring by reblurring
Cho et al. Fast motion deblurring
Whyte et al. Deblurring shaken and partially saturated images
US8705881B2 (en) Motion deblurring for text images
US9262815B2 (en) Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
Faramarzi et al. Unified blind method for multi-image super-resolution and single/multi-image blur deconvolution
US20140354886A1 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
WO2016183716A1 (zh) 图像去模糊方法及系统
Hu et al. PSF estimation via gradient domain correlation
US20160070979A1 (en) Method and Apparatus for Generating Sharp Image Based on Blurry Image
Chowdhury et al. Non-blind and blind deconvolution under Poisson noise using fractional-order total variation
KR20130104259A (ko) 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
KR101839617B1 (ko) 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
Lee et al. High-quality non-blind image deconvolution with adaptive regularization
Pan et al. Learning discriminative data fitting functions for blind image deblurring
Anger et al. Blind image deblurring using the l0 gradient prior
Qin et al. A novel fluorescence microscopy image deconvolution approach
KR101152525B1 (ko) 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치
Yang et al. Blind image deblurring with modified richardson-lucy deconvolution for ringing artifact suppression
He et al. Joint motion deblurring and superresolution from single blurry image
Xie et al. A new algorithm for improving Deblurring effects and addressing spatially-variant blur problems for image motion deblurring
Tsai et al. An improved adaptive deconvolution algorithm for single image deblurring
Horkaew et al. Structural adaptive anisotropic NAS-RIF for biomedical image restoration
Rana et al. Image deblurring methodology using wiener filter & genetic algorithm

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111026

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4938070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees