JP5543605B2 - 空間画像事前確率を用いたぼけ画像修正 - Google Patents

空間画像事前確率を用いたぼけ画像修正 Download PDF

Info

Publication number
JP5543605B2
JP5543605B2 JP2012534216A JP2012534216A JP5543605B2 JP 5543605 B2 JP5543605 B2 JP 5543605B2 JP 2012534216 A JP2012534216 A JP 2012534216A JP 2012534216 A JP2012534216 A JP 2012534216A JP 5543605 B2 JP5543605 B2 JP 5543605B2
Authority
JP
Japan
Prior art keywords
image
blur
difference
sharp
blurred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012534216A
Other languages
English (en)
Other versions
JP2013508811A5 (ja
JP2013508811A (ja
Inventor
ワン，セン
ホウ，ティンボ
リー ミラー，ロドニー
Original Assignee
インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー filed Critical インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー
Publication of JP2013508811A publication Critical patent/JP2013508811A/ja
Publication of JP2013508811A5 publication Critical patent/JP2013508811A5/ja
Application granted granted Critical
Publication of JP5543605B2 publication Critical patent/JP5543605B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、ぼけ画像修正の分野に関し、より詳細には短い露光時間でキャプチャされた第１の鮮明な画像とより長い露光時間でキャプチャされたシーンの第２のぼけ修正画像とを用いてぼけ修正画像を決定する方法に関する。
デジタル画像におけるぼけ画像のある共通のソースは、画像のキャプチャに関連する露光時間（積分時間）中のカメラとシーンとの間の相対運動である。この種のぼけ画像は、「モーション・ブラー（motion blur）」、「スミア（smear）」と呼ばれる。モーション・ブラーは、通常、画像キャプチャ環境の光レベルが暗く、長い露光時間が必要なときに生じる。
モーション・ブラーを低減する１つのアプローチは、採光を補完するために電子フラッシュを用いることである。しかしながら、これは、被写体が比較的カメラの近くにいるときにのみ効果的である。さらに、多くのユーザは、フラッシュ撮影された写真が満足のいくものではないことを知っている。
モーション・ブラーを低減する別のアプローチは、画像キャプチャ中の露光時間を短縮するために、電子画像センサの光感度を向上させることである。近年、この分野で大きな進歩があるが、現在利用可能な電子画像センサの光感度は、多くの画像キャプチャ環境においてモーション・ブラーを防ぐほど十分高くない。
電子画像センサの光感度を低下させる１つの要因は、カラー画像を形成させるためにセンサの上に配置されるカラー・フィルタの使用である。例えば、米国特許番号第３，９７１，０６５号明細書で教示されている良く知られた「バイヤ・パターン」は、カラー画像信号を検出するために、赤、緑及び青色フィルタの繰り返しアレイの使用を教示している。この一般的なアプローチは、今日、大部分の消費者デジタル・カメラで用いられているが、カラー・フィルタ・アレイ（ＣＦＡ）は入射光の約３分の２を無駄にしてしまうという望ましくない効果を有するので、画像システムの写真の速度を実質的に低下させてしまう。
Muramatsuの米国特許番号第４，８７６，５９１号明細書は、ビーム・スプリッタと２つの異なるセンサとを有する電子画像システムを開示している。このシステムでは、１つのセンサはカラー・フィルタを持たず、他のセンサはあるパターンのカラー・フィルタを有する。カラー・フィルタを有しないセンサは、向上した光感度を提供し、他のセンサは色情報を提供する。このシステムは、単一の従来の画像センサよりも光感度を改善しているが、２つのセンサとビーム・スプリッタ・とを必要とするため、システムの全体的な複雑性、大きさ及びコストが増大している。さらに、ビーム・スプリッタは画像から各センサへの光の半分しか検出せず、写真の速度の改善が限られる。
Hamilton他の米国特許出願番号２００７／００４６８０７号明細書は、幾つかのカラー画像ピクセルを有する単一のセンサを用いたデジタル画像システムであって、カラー・フィルタ及びカラー・フィルタを有しない幾つかのパンクロマティック画像ピクセルを備えたシステムを教示している。補間アルゴリズムは、高速パンクロマティック画像ピクセルが画像の詳細情報を提供する場合、フルカラー画像を再構成するために用いられる。このアプローチは、短い露光時間を可能にすることによりモーション・ブラーをある程度まで低減できるが、多くの低光画像シナリオではあるレベルのモーション・ブラーが依然として存在する。
デジタル画像のモーション・ブラーの影響を低減する別の方法は、キャプチャされた画像のぼけを補償する画像増強アルゴリズムを使用することである。このようなアルゴリズムは、「ぼけ修正」又は「逆畳み込み（デコンボリューション）」アルゴリズムと呼ばれる。このようなアルゴリズムは、大きく２つのカテゴリに分類できる。つまり、「ブラインド」と「非ブラインド」である。ぼけ画像に関連するぼけの中核が未知のとき、問題は、「ブラインド・デコンボリューション」であり、ぼけの中核が分かっているとき、「非ブラインド・デコンボリューション」であると言われる。
非ブラインド・デコンボリューションでは、最も一般的な技術は、「ルーシー・リチャードソン（ＲＬ）」デコンボリューションである。（文献W.H.Richardson, "Bayesian-based iterative method of image restoration," Journal of the optical society of America, Vol.６２, pp.５５-５９, １９７２、及びL.B.Lucy, "Aniterative technique for the rectification of observed distributions," Astronomical Journal, vol.７９, pp.７４５-７５４, １９７４を参照）この方法は、ぼけ修正画像のピクセル強度がポアソン分布に従うという仮定の下で、ぼけ修正画像（「潜在画像（latent image）」とも称される）の決定を含む。
文献「Improved image deblurring with anti-reflective boundary conditions and re-blurring」(Inverse Problems, Vol.２２, pp.２０３５-２０５３, ２００６),Donatellie et al.は、ＰＤＥ（Partial Differential Equation）に基づくモデルを用い、反射防止境界条件及び再ぼけ段階を組み込むことにより、リンギングの低減されたぼけ修正された画像を回復している。
文献「Progressive inter-scale and intra-scale non-blind image deconvolution」(ACM Transaction on Graphics, Vol.２７, Iss.３, ２００８), Yuan, et al.は、有意にリンギングを低減する進行型スケール間およびスケール内非ブラインド画像デコンボリューションを開示している。
ブラインド・デコンボリューションは、不良設定問題であり、極めて興味深い。純粋なブラインド・デコンボリューションへのアプローチは、単一のぼけ画像又は複数のぼけ画像のいずれかに適用される。最も興味深い問題は、単一画像のブラインドぼけ修正であり、ぼけ修正画像の同時推定及び画像ぼけに関する点像分布関数（Point Spread Function: PSF）を必要とする。
文献「Removingcamerashakefromasinglephotograph」(ACM Transaction on Graphics, Vol.２５, pp.７８７-７９４, ２００６), Fergus et al.は、ぼけの中核が複雑で鮮明であることが多いことを示している。彼らは、自然画像の勾配について特定の統計的分布を仮定しながら、ぼけの中核を回復させるために集合体の学習のアプローチを教示している。
文献「High-quality motion deblurring from a single image」(ACM Transaction on Graphics, Vol.２７, pp.１-１０, ２００８), Shan et al.は、ぼけの中核の推定及び非ぼけ画像の再構成の両方の統一された確率的モデルを用い、モーション・ブラーを除去する方法を開示している。
文献「Understanding and evaluating blind deconvolution algorithms」(Proc. IEEE Conf. on Computer Vision and Pattern Recognition, ２００９, Vol.２７, pp.１-１０, ２００８), Levin, et al.は、多数の単一画像のブラインド・デコンボリューション・アルゴリズムを記載及び評価している。
複数のぼけ画像を有し、ぼけ修正過程に更なる制約をもたらしうる。文献「Two motion-blurred images are better than one」(Pattern Recognition Letters, Vol.３６, pp.２１１-２１７, ２００５), Rav-Acha, etal.は、中核の推定の向上をもたらすために異なるぼけ方向を有する画像の使用を教示している。
近年、別の種類のブラインド・デコンボリューションが開示されている。これは、ぼけ像に加えて追加情報を用い、デコンボリューションを改善する。この方法は、「疑似ブラインド・デコンボリューション」として分類される。文献「Simultaneous image formation and motion blur restoration via multiple capture」(Proc. International Conference Acoustics, Speech, Signal Processing, pp.１８４１-１８４４, ２００１), Liu et al.は、通常の露光時間内に複数の高速フレームをキャプチャするために、ＣＭＯＳセンサを用いることを教示している。モーション・ブラーを有する画像ピクセルは、高速フレームの中の１つからのピクセルで置換される。
文献「Motion deblurring using hybrid imaging」(Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol.１, pp.６５７−６６４, ２００３), Ben-Ezra, et al.は、時間的に同期した低解像度画像シーケンスと一緒に同時に高解像度画像シーケンスをキャプチャするハイブリッド・カメラを開示している。この方法では、高解像度画像の全体的なモーション・ブラーを推定するために、オプティカル・フローが低解像度画像から得られる。
文献「Codedexposurephotograph:motiondeblurringusingflutteredshutter」(ACM Transaction on Graphics, Vol.２５, pp.７９５-８０４, ２００６), Rasker, et al.は、疑似ランダム・シーケンスを有する通常の露光時間中にシャッターを開閉する「フラッタード・シャッター」カメラを開示している。フラッターは、通常の「ボックス・フィルタ」を変更し、ぼけ画像の高周波数の空間的詳細を保ソンする広帯域フィルタにする。結果として、対応するデコンボリューションは、良設定問題になる。
文献「image deblurring with blurred/noisy image pairs」,(ACM Transaction on Graphics, Vol.２６, Issue ３, ２００７), Yuan, et al.は、ぼけたノイズの多い画像対を用いた画像ぼけ修正の方法を開示している。各画像対は、長い露光時間でキャプチャされたぼけ画像と短い露光時間でキャプチャされたノイズのある画像を有する。短い露光時間の画像に関連するノイズは、低光条件では深刻なので、ぼけ修正はノイズ除去動作の性能に大きく依存する。
文献「Image and depth from a conventional camera with a coded aperture」(ACM Transaction on Graphics, Vol.２６, Issue ６, ２００７), Levin, et al.は、ぼけ修正アルゴリズムで使用できる概算ぼけ中核を得るために符号化開口を用いる。このぼけ修正アプローチは、ピンぼけに起因する画像ぼけに限られる。
本発明は、ぼけ修正画像を決定する方法を提示する。当該方法は、データ処理システムにより少なくとも一部が実施され、短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラー及び低いレベルの画像ノイズを有する、ステップ、前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップ、前記ぼけ画像、前記ぼけの中核及び前記１又は複数の基準差分画像に応答してぼけ修正画像を決定するステップ、前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、を有する。
本発明は、鮮明な画像より低いノイズ・レベルを有するが、ぼけ画像より高い鮮明さのレベルを有するぼけ修正画像を生成するという利点を有する。
本発明は、従来のぼけ修正アルゴリズムよりも少ないリンギング・アーティファクトを有するぼけ修正画像を生成するという更なる利点を有する。
本発明の実施形態によるデジタル画像を分類するシステムのコンポーネントを示す高位レベルの図である。 本発明の好適な実施形態のフローチャートである。 短い露光時間及び長い露光時間で画像対をキャプチャするタイミング図である。 本発明の好適な実施形態による図２のぼけの中核を推定するステップの更なる詳細を示すフローチャートである。 基準差分画像を決定するために用いられるインデックスのアレイである。
以下の説明では、本発明の幾つかの実施形態は、通常ソフトウェア・プログラムとして実施されるという観点で記載される。当業者は、このようなソフトウェアの等価物がハードウェアで構成されうることを直ちに理解するだろう。画像操作アルゴリズム及びシステムは良く知られているので、本願明細書は、特に本発明による方法の一部を形成する又はより直接的にその方法と協働するアルゴリズム及びシステムを教示する。このようなアルゴリズム及びシステムの他の態様は、関連する画像信号を生成及びその他処理するハードウェア及びソフトウェアと共に、本願明細書に詳細に示され又は記載されないが、従来知られているシステム、アルゴリズム、コンポーネント及び要素から選択されてよい。以下の本発明によるシステムが記載され、本発明の実施に有用なソフトウェアは特に示され、提案され又は記載されないが、従来通りであり当業者の技術の範囲内である。
本発明は、本願明細書に騎士あされた実施形態の組合せを包含する。「特定の実施形態」等への言及は、本発明の少なくとも１つの実施形態に存在する特徴を表す。「一実施形態」又は「特定の実施形態」等の別個の言及は、必ずしも同一の１又は複数の実施形態を表すものではない。しかしながら、このような実施形態は、特に示されない限り相互に排他的ではなく、又は直ちに当業者に明らかである。「方法」等の言及に用いられる単数又は複数の使用は、限定的ではない。特に明示されない限り又は文脈上必要でない限り、本願明細書における「又は」の使用は非排他的である。
本願明細書で用いられる「デジタル画像ファイル」の語は、デジタル・スチル画像又はデジタル・ビデオ・ファイルのような任意のデジタル画像ファイルを表す。
図１は、本発明の実施形態によるぼけ修正画像を決定するシステムのコンポーネントを示す高位レベルの図である。システムは、データ処理システム１１０、周辺システム１２０、ユーザ・インタフェース・システム１３０及びデータ記憶システム１４０を有する。周辺システム１２０は、ユーザ・インタフェース・システム１３０及びデータ記憶システム１４０は、データ処理システム１１０に通信可能に接続される。
データ処理システム１１０は、本願明細書に記載された例示的な処理を含む本発明の種々の実施形態の処理を実施する１又は複数のデータ処理装置を有する。用語「データ処理装置」又は「データ・プロセッサ」は、中央演算ユニット（ＣＰＵ）、デスクトップ・コンピュータ、ラップトップ・コンピュータ、メインフレーム・コンピュータ、パーソナル・デジタル・アシスタント、Blackberry（登録商標）、デジタル・カメラ、携帯電話機、又は電気的、磁気的、光学的、バイオロジカル・コンポーネント等で実施されるか否かに関わらずデータを処理し、データを管理し若しくはデータを取り扱う任意の他の装置のような任意の処理装置を包含する。
データ記憶システム１４０は、本願明細書に記載された例示的な処理を含む本発明の種々の処理を実行するために必要な情報を含む情報を格納する１又は複数のプロセッサによりアクセス可能なメモリを有する。データ記憶システム１４０は、データ処理システム１１０に複数のコンピュータ又は装置を介して通信可能に接続された複数のプロセッサによりアクセス可能なメモリを含む分散型のプロセッサによりアクセス可能なメモリ・システムであってもよい。一方で、データ記憶システム１４０は、分散型のプロセッサによりアクセス可能なメモリ・システムである必要はなく、したがって、単一のデータ・プロセッサ又は装置内に配置された１又は複数のプロセッサによりアクセス可能なメモリを有してもよい。
用語「プロセッサによりアクセス可能なメモリ」は、揮発性か不揮発性か、電子的、磁気的、光学的又はその他に関わらず、任意のプロセッサによりアクセス可能なデータ記憶装置を包含し、レジスタ、フロッピ・ディスク、ハード・ディスク、コンパクト・ディスク、ＤＶＤ、フラッシュ・メモリ、ＲＯＭ及びＲＡＭを含むがこれらに限定されない。
用語「通信可能に接続される」は、有線か無線かに関わらず、装置間、データ・プロセッサ管、又はプログラム間のデータが伝達される任意の種類のコネクションを包含する。用語「通信可能に接続される」は、単一のデータ・プロセッサ内の素子間又はプログラム間のコネクション、異なるデータ・プロセッサに配置された素子間又はプログラム間のコネクション、データ・プロセッサ内に配置されていない素子間の全てのコネクションを包含する。これに関し、データ記憶システム１４０は、データ処理システム１１０と別に示されるが、当業者は、データ記憶システム１４０がデータ処理システム１１０内に完全に又は部分的に格納されてもよいことを理解するだろう。さらに、これに関し、周辺システム１２０及びユーザ・インタフェース・システム１３０はデータ処理システム１１０と別個に示されるが、当業者は、これらのシステムの一方又は両方がデータ処理システム１１０内に完全に又は部分的に格納されてもよいことを理解するだろう。
周辺システム１２０は、データ処理システム１１０にデジタル・コンテンツ・レコードを提供する１又は複数の装置を有してもよい。例えば、周辺システム１２０は、デジタル・スチル・カメラ、デジタル・ビデオ・カメラ、携帯電話機、又は他のデータ・プロセッサを有してもよい。データ処理システム１１０は、デジタル・コンテンツ・レコードを周辺システム１２０の装置から受信すると、このデジタル・コンテンツ・レコードをデータ記憶システム１４０に格納する。
ユーザ・インタフェース・システム１３０は、マウス、キーボード、別のコンピュータ、又はデータがデータ処理システム１１０に入力される任意の装置又は装置の組合せを有してもよい。これに関し、周辺システム１２０はユーザ・インタフェース・システム１３０と別個に示されるが、周辺システム１２０は、ユーザ・インタフェース・システム１３０に一部として含まれてもよい。
ユーザ・インタフェース・システム１３０は、ディスプレイ装置、プロセッサによりアクセス可能なメモリ、又はデータがデータ処理システム１１０により出力される任意の装置又は装置の組合せを有してもよい。これに関し、ユーザ・インタフェース・システム１３０がプロセッサによりアクセス可能なメモリを有する場合、図１にはユーザ・インタフェース・システム１３０とデータ記憶システム１４０が別個に示されているが、このようなメモリは、データ記憶システム１４０の一部であってもよい。
図２を参照して本発明を説明する。ぼけ画像を受信するステップ２００は、ぼけ画像２０５を受信するために用いられる。また、鮮明な画像を受信するステップ２１０は、鮮明な画像２１５を受信するために用いられる。次に、ぼけの中核を推定するステップ２２０は、ぼけ画像２０５及び鮮明な画像２１５に応じて、ぼけの中核２２５を決定するために用いられる。ぼけの中核２２５は、ぼけ画像２０５とほぼ等しい鮮明さの特徴と有する画像を生成するために鮮明な画像２１５に適用される畳み込みカーネルである。次に、基準差分画像（reference differential image）を計算するステップ２３０は、１又は複数の基準差分画像２３５のセットを鮮明な画像２１５から計算するために用いられる。基準差分画像２３５のセットは、異なる方向（例えば、ｘ及びｙ）の数学的導関数を計算することにより計算された勾配画像（gradient image）又は異なるピクセル間隔（例えば、Δｘ＝１、２、３）の数学的導関数を計算することにより計算された勾配画像を含む。次に、ぼけ修正画像を計算するステップ２４５は、ぼけ画像２０５、ぼけの中核２２５、及び基準差分画像２３５に応じて、ぼけ修正画像２５０を計算するために用いられる。後に詳述するように、本発明の好適な実施形態では、ぼけ修正画像を計算するステップ２４５は、ＭＡＰ（Maximum-A-Posterior）推定を用いるベイジアン推定方法を利用する。最後に、ぼけ修正画像を格納するステップ２２５は、結果として生じたぼけ修正画像２５０をプロセッサによりアクセス可能なメモリに格納するために用いられる。プロセッサによりアクセス可能なメモリは、ＲＡＭ又はハード・ディスクのような任意の種類のデジタル記憶装置であってもよい。
本発明の一実施形態では、ぼけ画像２０５及び鮮明な画像２１５は、デジタル・カメラを用い、２つの連続的な露出を用いてキャプチャされる。鮮明な画像２１５は、短い露光時間を用いてキャプチャされ、低いレベルのモーション・ブラーを有する画像を提供する。しかしながら、この画像は、通常、特にシーンが低いレベルの最高で写真を撮られた場合に、高いレベルの画像ノイズを有する。ぼけ画像２０５は、長い露光時間を用いてキャプチャされ、低いレベルの画像ノイズを有する画像を提供する。しかしながら、露光時間中にシーン内のカメラと被写体との間に相対運動がある場合、ぼけ画像２０５は高いレベルのモーション・ブラーを有する。図３は、短い露光時間と長い露光時間で画像対をキャプチャするタイミング図の例を示す。短い露光時間２７０（時間ｔ＝０とｔ＝ｔ１との間）は、鮮明な画像２１５をキャプチャするために用いられる。第２の長い露光時間２８０（時間ｔ＝ｔ１とｔ＝ｔ２との間）は、ぼけ画像２０５をキャプチャするために用いられる。露光時間は、デジタル・センサの積分時間を調整することにより、或いはシャッターを制御することにより、制御することができる。本発明の好適な実施形態では、２つの画像は、１回のボタン押下に応答してデジタル・カメラによりキャプチャされる。
図４は、本発明の好適な実施形態によるぼけの中核を推定するステップ２２０の詳細を提供するフローチャートを示す。ぼけの中核は通常、色チャネルと独立なので、ぼけ画像２０５と鮮明な画像２１５のグレイスケール版を用いてぼけの中核を決定することが概して望ましい。画像を前処理するステップ４００は、ぼけ画像２０５からぼけたグレイスケール画像４０５を計算するため、及び鮮明な画像２１５から鮮明なグレイスケール画像４１０を計算するために用いられる。カラー画像からグレイスケール画像への変換は、従来知られている任意の方法を用いて実行できる。本発明の好適な実施形態では、グレイスケール画像は、カラー・チャネルの加重和を実行することにより決定される。
Figure 0005543605
 ここで、Ｒ、Ｇ及びＢは、それぞれ入力画像の赤、緑及び青色チャネルのピクセル値である。ａＲ、ａＧ及びａＢは定数である。Ｐはグレイスケール画像のピクセル値である。
画像を前処理するステップ４００は、画像をグレイスケール・フォーマットに変換するのに加えて他の機能を実行することもできる。例えば、画像を前処理するステップ４００は、鮮明な画像２１５にノイズ除去アルゴリズムを適用してノイズ・レベルを低減することができる。メジアン・フィルタリング・アルゴリズムのような多くの従来知られたノイズ除去アルゴリズムがある。
画像を前処理するステップ４００は、トーン・スケール調整処理を適用し、２つの画像の信号レベルを等しくすることができる。ヒストグラムの均等化は、従来知られたトーン・スケール調整処理の一例である。
画像を前処理するステップ４００は、ぼけ画像２０５又は鮮明な画像２１５にアフィン変換を適用し、他方の画像と良好に協調するために用いることができる。これは、２つの画像がキャプチャされた時間と時間の間のカメラ又はシーンの動きを説明するために用いることができる。
画像を前処理するステップ４００は、ぼけ画像２０５のサブセット及び対応する鮮明な画像２１５のサブセットをトリミング（crop out）し、計算効率を向上させるために用いることもできる。望ましくは、有意な画像の詳細（大きな強度偏差）を有する画像領域が選択される。何故なら、この画像領域では、モーション・ブラーの効果が最も重大だからである。このような画像領域は、ラプラシアン演算子をぼけ画像２０５に適用してラプラシアン画像を形成し、次に高い信号レベルを有するラプラシアン画像の領域を選択することにより、決定することができる。任意的に、ラプラシアン画像は、ラプラシアン演算子を鮮明な画像２１５に適用するか、ぼけ画像２０５と鮮明な画像２１５の両方に適用することにより決定することができる。選択された画像領域は、特定のサイズの方形領域のような隣接する画像領域でありうる。或いは、選択された画像領域は、大きさが所定の閾を超えているラプラシアン画像内の画像ピクセルの周囲の近隣の画像ピクセルのような、画像全体に散乱した画像ピクセルのサブセットを有しうる。本発明の代替の実施形態では、画像領域は手動でユーザにより選択することができる。
本発明の好適な実施形態では、ぼけの中核２２５は、ＭＡＰ（Maximum-A-Posterior）推定を用いたベイズ推定方法で決定される。この方法を用いて、ぼけの中核２２５は、次式のエネルギ関数を定めることにより決定される。
Figure 0005543605
 ここで、ＰＢはぼけたグレイスケール画像４０５であり、ＰＳは鮮明なグレイスケール画像４１０である。Ｋはぼけの中核２２５である。λ３は重み係数である。
Figure 0005543605
 は畳み込み演算子である。
Figure 0005543605
 はl-norm演算子である。Ｅ（Ｋ）はエネルギ値であり、ぼけの中核の関数である。このエネルギ関数はぼけ画像（ＰＢ）と、鮮明な画像（ＰＳ）を候補のぼけの中核（Ｋ）と共に畳み込みすることにより決定された候補のぼけ画像との間の差の関数である第１の項を有することが分かる。
本発明の好適な実施形態では、このＭＡＰ問題は、良く知られた共役勾配方法により解かれ、次の偏微分方程式（ＰＤＥ）を解くことによりエネルギを最小化するぼけの中核を決定する。
Figure 0005543605
 共役勾配方法を用いてＰＤＥを解くことに関する更なる情報については、前述の文献「Image and depth from a conventional camera with a coded aperture」Levin, et alを参照のこと。
本発明の好適な実施形態では、マルチスケール・アプローチが、スケーリングされた画像の階層に基づき用いられ、最適渦中の極小にトラップされるのを回避する。マルチスケール・アプローチでは、粗い画像スケールで開始する一連のスケールでぼけの中核の推定を順次最適化する反復処理が用いられる。通常、各スケールが２倍だけ異なる２又は３の異なるスケールが良好に動作することが分かっている。
最も粗いスケールで、ぼけの中核を初期化するステップ４１５は、ぼけの中核２２５（Ｋ）を等しい要素を有する所定の範囲の四角形カーネルとして初期化するために用いられる。画像をダウンサンプリングするステップ４２０は、ぼけたグレイスケール画像４０５及び鮮明なグレイスケール画像４１０を現在のスケールにダウンサンプリングするために用いられる。例えば、３つのスケールが用いられる場合、最初の反復は４×ダウンサンプリングを必要とし、２番目の反復は２×ダウンサンプリングを必要とし、３番目の反復は完全な解像度の画像を用いるだろう。
次に、ぼけの中核を更新するステップ４２５は、共役勾配方法を用いて式（３）で与えられたＰＤＥを解くことにより、ぼけの中核２２５の新たな推定を計算するために用いられる。ここで、前の反復からのぼけの中核はＰＤＥの回の初期の推測として用いられる。任意的なぼけの中核の閾を適用する（threshold）ステップ４３０（破線で示される）は、小さいぼけの中核要素（例えば、全エネルギの０．１％より小さい）を閾にして、推定のノイズを低減するために用いられる。ぼけの中核を正規化するステップ４３５は、推定されたぼけの中核を正規化して、ぼけの中核の要素の和が１．０になるようにするために用いられる。テスト４４０は、処理の必要な追加のスケールがあるか否かを決定するために用いられる。追加のスケールがある場合、ぼけの中核の現在の推定は、ぼけの中核をアップサンプリングするステップ４４５を用いて次のスケールにアップサンプリングされる。これは、三次補間のような任意の知られている補間技術を用いて実行できる。処理すべきスケールがもはや残されていない場合、ぼけの中核を出力するステップ４５０は、ぼけの中核２２５の最終的な推定を出力するために用いられる。
本発明の好適な実施形態では、ぼけ修正画像を計算するステップ２４５は、ＭＡＰ（Maximum-A-Posterior）推定と共にベイズ推定方法を用いる。この方法を用いて、ぼけ修正画像２５０は、次式のエネルギ関数を定めることにより決定される。
Figure 0005543605
 ここで、Ｌはぼけ修正画像２５０、Ｋはぼけの中核２２５、Ｂはぼけ画像２０５、Ｓは鮮明な画像２１５、ｊはインデックス値、
Figure 0005543605
 は畳み込み演算子、
Figure 0005543605
 は絶対値演算子、
Figure 0005543605
 は勾配演算子、
Figure 0005543605
 はｊ番目のインデックスに対応する微分演算子、ｗはピクセルに依存する重み係数、λ１、λ２及びｃｊは重み定数である。
インデックスｊは、差分値を計算する目的で近隣ピクセルを識別するために用いられる。本発明の好適な実施形態では、差分値は、特定のピクセルを中心として５×５ピクセルのウインドウについて計算される。図５は、現在のピクセルを中心としたインデックスのアレイ５００を示す。インデックスのアレイ５００内に示された番号は、インデックスｊである。例えば、ｊ＝６のインデックス値は、現在のピクセル位置５１０の１行上で２列左にあるピクセルに対応する。
微分演算子
Figure 0005543605
 は現在のピクセルのピクセル値と、インデックスｊにより指定された相対位置のピクセル値との間の差を決定する。例えば、
Figure 0005543605
 は、鮮明な画像Ｓ内の各ピクセルと、１行上２列左にある対応するピクセルとの間の差を取ることにより決定された差分画像に対応する。これは次式の形式で与えられる。
Figure 0005543605
 ここで、Δｘｊ及びΔｙｊは、それぞれｊ番目のインデックスに対応する列及び行のオフセットである。差分画像
Figure 0005543605
 のセットは、ぼけ修正画像２５０について生成されるべき所望の差分画像の推定を表すので、基準差分画像として表すことができる。基準差分画像を計算するステップ２３０は、式（５）を用いて基準差分画像２３５のセットを決定するために用いられる。通常、基準差分画像２３５のセットは、水平方向の近隣ピクセル間の差を表す１又は複数の水平差分画像及び垂直方向の近隣ピクセル間の差を表す１又は複数の垂直差分画像、並びに対角線方向の近隣ピクセル間の差を表す１又は複数の対角差分画像を有することが望ましい。
式（４）で与えられたエネルギ関数の最初の項は、画像忠実度の項である。ベイズ推定の用語では、これは「尤度（likelihood）項」として表されることが多い。この項はぼけ画像２０５（Ｂ）と、ぼけの中核２２５（Ｋ）と共に畳み込みされたぼけ修正画像（Ｌ）のぼけた版との間の差が小さいときに小さくなることが分かる。
式（４）で与えられたエネルギ関数の２番目及び３番目の項は、「画像の事前確率（image prior）」として表されることが多い。２番目の項は、ぼけ修正画像２５０（Ｌ）の勾配の大きさが小さいとき、低いエネルギを有する。これは、鮮明な画像が、通常、ぼけの端の幅が減少するほど、小さい勾配値でより多くのピクセルを有するという事実を反映している。前述の文献「Image and depth from a conventional camera with a coded aperture」Levin, et alで議論されている理由から、ピクセルに依存する重み係数ｗが次式を用いて決定されることが望ましい。
Figure 0005543605
 ここで、αは定数（例えば、０．８）である、最適化処理中、
Figure 0005543605
 は、前の反復のために決定されたＬの推定を用いて各反復のために計算される。代替として、鮮明な画像２１５（Ｓ）は、ぼけ修正画像２５０（Ｌ）の推定として用いることができる。
式（４）で与えられたエネルギ関数の３番目の項は、基準差分画像２３５
Figure 0005543605
 とぼけ修正画像に対して計算された差分画像
Figure 0005543605
 との間の差を計算する。この項は、画像微分項として表すことができる。基準差分画像２３５の各々について貢献が決定され、この貢献は、次に１つのエネルギ項を決定するために重み付けされ加算される。この項に対応するエネルギは、ぼけ修正画像に対する差分画像
Figure 0005543605
 が基準差分画像２３５
Figure 0005543605
 にほぼ等しいとき、低くなる。
他の研究者等は、式（４）に示されるエネルギ関数の最初の２つの項を有するエネルギ関数を利用している。（例えば、前述の文献「Image and depth from a conventional camera with a coded aperture」Levin, et alを参照のこと。）基準差分画像を含むエネルギ関数に３番目の項を追加することは、先行文献に記載されたエネルギ関数に対して有意な利点を示す。特に、この項の使用は、従来の方法が画像の端近くに生じる傾向のあるリンギング・アーティファクトを低減することにより、ぼけ修正画像２５０の品質を有意に向上することが分かった。
ぼけ修正画像を計算するステップ２４５は、当業者に良く知られている最適化方法を用いて式（４）で与えられたエネルギ関数を最小化することにより、ぼけ修正画像２５０を計算する。本発明の好適な実施形態では、最適化問題は、ＰＤＥとして次式で与えられる。
Figure 0005543605
 この式は、従来のＰＤＥ解法を用いて解くことができる。本発明の好適な実施形態では、ＰＤＥ解法は、ＰＤＥが共役勾配アルゴリズムのような従来の一次方程式の解法を用いて解くことができる一次方程式の形式に変換されて用いられる。ＰＤＥ解法に関する更なる詳細については、前述の文献「Image and depth from a conventional camera with a coded aperture」Levin, et alを参照のこと。
ぼけ修正画像を計算するステップ２４５は、ベイズ推定方法に加えて他の技術を用いることできることが当業者により理解されるだろう。例えば、従来の周波数領域の逆畳み込み方法は、ぼけ画像が周波数領域に変換され、ぼけの中核２２５を周波数領域に変換することにより決定された伝達関数により分けられる場合に用いることができる。次に、フィルタリングされた画像が、空間領域に逆変換される。この技術の変形は、良く知られたウィーナ・フィルタを含む。
本発明の方法は、任意の種類のデジタル画像システムにも適用できる。本発明の好適な実施形態では、この方法は、デジタル・スチル・カメラ・システムの一部として実装される。この方法は、デジタル・スチル・カメラ内のプロセッサにより実施されてもよく、代替としてパーソナル・コンピュータのようなデジタル・スチル・カメラの外部のプロセッサにより全体又は一部が実施されてもよい。本発明の方法は、デジタル・ビデオ画像を処理するためにも用いることができる。この場合、デジタル・ビデオのフレームは、短い露光時間と長い露光時間で交互にキャプチャでき、ぼけ修正画像を形成するためにビデオ・フレームの対が処理される。
コンピュータ・プログラム・プロダクトは、１又は複数の記憶媒体、例えば（フロッピ・ディスクのような）磁気ディスク又は磁気テープのような磁気記憶媒体、光ディスク、光学テープ又は機械読み取り可能なバーコードのような光記憶媒体、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read-Only Memory）のような固体電子記憶素子、又は本発明による方法を実行するよう１又は複数のコンピュータを制御するための命令を有するコンピュータ・プログラムを格納するために用いられる任意の他の物理装置若しくは媒体を含む。
１１０ データ処理システム
１２０ 周辺システム
１３０ユーザ・インタフェース・システム
１４０ データ記憶システム
２００ ぼけ画像を受信するステップ
２０５ ぼけ画像
２１０ 鮮明な画像を受信するステップ
２１５ 鮮明な画像
２２０ ぼけの中核を推定するステップ
２２５ ぼけの中核
２３０ 基準差分画像を計算するステップ
２３５ 基準差分画像
２４５ ぼけ修正画像を計算するステップ
２５０ ぼけ修正画像
２５５ ぼけ修正画像を格納するステップ
２７０ 短い露光時間
２８０ 長い露光時間
４００ 画像を前処理するステップ
４０５ ぼけたグレイスケール画像
４１０ 鮮明なグレイスケール画像
４１５ ぼけの中核を初期化するステップ
４２０ 画像をダウンサンプリングするステップ
４２５ ぼけの中核を更新するステップ
４３０ ぼけの中核に閾を適用するステップ
４３５ ぼけの中核を正規化するステップ
４４０ テスト
４４５ ぼけの中核をアップサンプリングするステップ
４５０ ぼけの中核を出力するステップ
５００ インデックスのアレイ
５１０ 現在のピクセル位置

Claims (21)

  1. ぼけ修正画像を決定する方法であって、前記方法は、データ処理システムにより少なくとも一部が実施され、
    （ａ）短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、
    （ｂ）前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラーを有する、ステップ、
    （ｃ）前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、
    （ｄ）前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップであって、
    特定の基準差分画像の各ピクセルは、前記鮮明な画像内の対応するピクセルと所定の相対位置にある前記鮮明な画像内の近隣ピクセルとの間の差を計算することにより決定され、各基準デジタル画像は、異なる所定の相対位置に関連付けられる、ステップ、
    （ｅ）前記基準差分画像と候補ぼけ修正画像について計算された候補差分画像の対応するセットとの間の差の関数である画像差分項を含むエネルギ関数を定めるステップであって、前記候補ぼけ修正画像について計算された候補差分画像は、対応する基準差分画像と関連付けられた前記所定の相対位置を用いて計算される、ステップ、
    （ｆ）前記エネルギ関数を用いて候補ぼけ修正画像を評価することにより、前記ぼけ画像、前記ぼけの中核に応答してぼけ修正画像を決定するステップ、
    （ｇ）前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、
    を有する方法。
  2. 前記ぼけの中核は、前記候補画像と前記鮮明な画像をぼけの中核の候補と畳み込むことにより決定された候補ぼけ画像との間の差の関数である項を含むエネルギ関数を最小化する最適化方法を用いることにより決定される、請求項１に記載の方法。
  3. 前記ぼけの中核は、前記鮮明な画像内の画像ピクセルのサブセット及び前記ぼけ画像内の画像ピクセルの対応するサブセットのみを分析することにより決定され、２つの前記サブセットは、重要な画像の詳細を含むよう決定される、請求項２に記載の方法。
  4. 前記鮮明な画像のピクセルのサブセットは、
    前記鮮明な画像若しくは前記ぼけ画像又はそれらの両方からラプラシアン画像を決定し、
    前記ラプラシアン画像を分析して重要な画像の詳細を含む画像ピクセルのサブセットを決定することにより、前記鮮明な画像内の画像ピクセルのサブセット及び前記ぼけ画像内の画像ピクセルの対応するサブセットを選択する、
    ことにより選択される、請求項３に記載の方法。
  5. 前記画像ピクセルのサブセットは、所定の閾を超える前記ラプラシアン画像内のピクセルを含む、請求項４に記載の方法。
  6. ノイズ除去アルゴリズム若しくはトーン・スケール調整アルゴリズム又はそれらの両方は、前記ぼけの中核を決定するために用いられる前に、前記鮮明な画像に適用される、請求項２に記載の方法。
  7. 前記ぼけの中核は、複数のサイズ変更された前記鮮明な画像及び異なる解像度を有する前記ぼけ画像を分析することにより決定される、請求項２に記載の方法。
  8. 前記１又は複数の基準差分画像は、水平方向のオフセットを有する所定の相対位置に対応する水平差分画像及び垂直方向のオフセットを有する所定の相対位置に対応する垂直差分画像を有する、請求項１に記載の方法。
  9. 前記ぼけ修正画像は、ベイズ推定方法を用いて決定される、請求項１に記載の方法。
  10. 前記ベイズ推定方法は、エネルギ関数を用いて候補ぼけ修正画像を評価することを含む、請求項９に記載の方法。
  11. 前記エネルギ関数は、
    前記ぼけ画像と候補ぼけ修正画像を前記ぼけの中核と畳み込むことにより決定された候補ぼけ画像との間の差の関数である画像忠実度の項、
    を含む、請求項１０に記載の方法。
  12. 前記エネルギ関数は、前記候補ぼけ修正画像の勾配の関数である項を更に含む、請求項１１に記載の方法。
  13. 前記エネルギ関数は、共役勾配アルゴリズムを用いて最適化される、請求項１０に記載の方法。
  14. 前記ぼけ修正画像は、周波数領域の逆畳み込み方法を用いて決定される、請求項１に記載の方法。
  15. 前記鮮明な画像を前記ぼけ画像と良好に協調させるために、前記鮮明な画像及び前記ぼけ画像にアフィン変換を適用するステップ、を更に有する請求項１に記載の方法。
  16. 前記鮮明な画像及び前記ぼけ画像は、１回のボタン押下に応答して、デジタル・カメラを用いて順次キャプチャされる、請求項１に記載の方法。
  17. 前記モーション・ブラーは、少なくとも部分的に、前記鮮明な画像及び前記ぼけ画像がキャプチャされる時間中の前記デジタル・カメラの動きによる、請求項１６に記載の方法。
  18. 前記モーション・ブラーは、少なくとも部分的に、前記鮮明な画像及び前記ぼけ画像がキャプチャされる時間中の前記シーン内の被写体の動きによる、請求項１４に記載の方法。
  19. 前記鮮明な画像及び前記ぼけ画像は、デジタル・ビデオのフレームである、請求項１に記載の方法。
  20. デジタル・カメラ・システムであって、
    シーンの画像をキャプチャする画像センサ、
    前記画像センサに前記シーンを画像化するレンズ・システム、
    プロセッサによりアクセス可能なメモリ・システム、
    データ処理システム、
    を有し、前記データ処理システムは、
    短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、
    前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラー及び低いレベルの画像ノイズを有する、ステップ、
    前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、
    前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップ、であって、
    特定の基準差分画像の各ピクセルは、前記鮮明な画像内の対応するピクセルと所定の相対位置にある前記鮮明な画像内の近隣ピクセルとの間の差を計算することにより決定され、各基準デジタル画像は、異なる所定の相対位置に関連付けられる、ステップ、
    前記基準差分画像と候補ぼけ修正画像のために計算された候補差分画像の対応するセットとの間の差の関数である画像差分項を含むエネルギ関数を定めるステップであって、前記候補ぼけ修正画像のために計算された候補差分画像は、対応する基準差分画像と関連付けられた前記所定の相対位置を用いて計算される、ステップ、
    前記エネルギ関数を用いて候補ぼけ修正画像を評価することにより、前記ぼけ画像、前記ぼけの中核に応答してぼけ修正画像を決定するステップ、
    前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、
    を実行する、デジタル・カメラ・システム。
  21. ぼけ修正画像を決定するコンピュータ・プログラムであって、非一時的プロセッサ可読媒体に格納された実行可能ソフトウェア・アプリケーションを有し、前記実行可能ソフトウェア・アプリケーションは、データ処理システムに、
    （ａ）短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、
    （ｂ）前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラーを有する、ステップ、
    （ｃ）前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、
    （ｄ）前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップであって、
    特定の基準差分画像の各ピクセルは、前記鮮明な画像内の対応するピクセルと所定の相対位置にある前記鮮明な画像内の近隣ピクセルとの間の差を計算することにより決定され、各基準差分画像は、異なる所定の相対位置に関連付けられる、ステップ、
    （ｅ）前記基準差分画像と候補ぼけ修正画像のために計算された候補差分画像の対応するセットとの間の差の関数である画像差分項を含むエネルギ関数を定めるステップであって、前記候補ぼけ修正画像のために計算された候補差分画像は、対応する基準差分画像と関連付けられた前記所定の相対位置を用いて計算される、ステップ、
    （ｆ）前記エネルギ関数を用いて候補ぼけ修正画像を評価することにより、前記ぼけ画像、前記ぼけの中核に応答してぼけ修正画像を決定するステップ、
    （ｇ）前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、
    を実行させる、コンピュータ・プログラム。
JP2012534216A 2009-10-16 2010-10-01 空間画像事前確率を用いたぼけ画像修正 Expired - Fee Related JP5543605B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/580,569 2009-10-16
US12/580,569 US8390704B2 (en) 2009-10-16 2009-10-16 Image deblurring using a spatial image prior
PCT/US2010/051026 WO2011046755A1 (en) 2009-10-16 2010-10-01 Image deblurring using a spatial image prior

Publications (3)

Publication Number Publication Date
JP2013508811A JP2013508811A (ja) 2013-03-07
JP2013508811A5 JP2013508811A5 (ja) 2013-09-26
JP5543605B2 true JP5543605B2 (ja) 2014-07-09

Family

ID=43033318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012534216A Expired - Fee Related JP5543605B2 (ja) 2009-10-16 2010-10-01 空間画像事前確率を用いたぼけ画像修正

Country Status (5)

Country Link
US (1) US8390704B2 (ja)
EP (1) EP2489007B1 (ja)
JP (1) JP5543605B2 (ja)
CN (1) CN102576454B (ja)
WO (1) WO2011046755A1 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204330B2 (en) * 2009-06-29 2012-06-19 DigitalOptics Corporation Europe Limited Adaptive PSF estimation technique using a sharp preview and a blurred image
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
US20080309770A1 (en) * 2007-06-18 2008-12-18 Fotonation Vision Limited Method and apparatus for simulating a camera panning effect
US8139886B2 (en) * 2008-06-23 2012-03-20 Microsoft Corporation Blur estimation
US8781250B2 (en) * 2008-06-26 2014-07-15 Microsoft Corporation Image deconvolution using color priors
EP2415015B1 (en) * 2009-03-30 2015-08-12 Telefonaktiebolaget LM Ericsson (publ) Barcode processing
US8437571B2 (en) * 2009-04-30 2013-05-07 Hewlett-Packard Development Company, L.P. Method and system for adaptive context-embedded prediction
KR101594300B1 (ko) * 2009-11-20 2016-02-16 삼성전자주식회사 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
KR101653272B1 (ko) * 2009-12-28 2016-09-01 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
EP2535864B1 (en) * 2010-02-10 2020-07-15 Dolby International AB Image processing device and method
JP5543280B2 (ja) 2010-06-01 2014-07-09 キヤノン株式会社 画像処理装置、画像処理方法
JP5656705B2 (ja) * 2010-06-01 2015-01-21 キヤノン株式会社 撮像装置、撮像装置の制御方法
US8792748B2 (en) 2010-10-12 2014-07-29 International Business Machines Corporation Deconvolution of digital images
US8532421B2 (en) * 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames
WO2012166512A2 (en) * 2011-05-31 2012-12-06 Dolby Laboratories Licensing Corporation Video compression implementing resolution tradeoffs and optimization
US9124797B2 (en) * 2011-06-28 2015-09-01 Microsoft Technology Licensing, Llc Image enhancement via lens simulation
JP5824155B2 (ja) * 2011-08-30 2015-11-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像のノイズ除去、圧縮および補間のための異方性勾配の正則化
US8705881B2 (en) 2011-09-02 2014-04-22 Adobe Systems Incorporated Motion deblurring for text images
US8861884B1 (en) 2011-11-21 2014-10-14 Google Inc. Training classifiers for deblurring images
KR101844332B1 (ko) * 2012-03-13 2018-04-03 삼성전자주식회사 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
US9143687B2 (en) * 2012-03-14 2015-09-22 University Of Dayton Method of analyzing motion blur using double discrete wavelet transform
US9137526B2 (en) 2012-05-07 2015-09-15 Microsoft Technology Licensing, Llc Image enhancement via calibrated lens simulation
US9064318B2 (en) 2012-10-25 2015-06-23 Adobe Systems Incorporated Image matting and alpha value techniques
US8867856B2 (en) * 2012-11-12 2014-10-21 Adobe Systems Incorporated De-noising image content using directional filters for image de-blurring
US9355649B2 (en) 2012-11-13 2016-05-31 Adobe Systems Incorporated Sound alignment using timing information
US9201580B2 (en) 2012-11-13 2015-12-01 Adobe Systems Incorporated Sound alignment user interface
US9076205B2 (en) * 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
US9451304B2 (en) 2012-11-29 2016-09-20 Adobe Systems Incorporated Sound feature priority alignment
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
US9135710B2 (en) 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
US9208547B2 (en) 2012-12-19 2015-12-08 Adobe Systems Incorporated Stereo correspondence smoothness tool
US10249052B2 (en) 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US9214026B2 (en) 2012-12-20 2015-12-15 Adobe Systems Incorporated Belief propagation and affinity measures
CN103337058B (zh) * 2013-07-05 2015-12-02 西北工业大学 基于模糊噪声图像对联合优化的图像盲复原方法
US9349165B2 (en) * 2013-10-23 2016-05-24 Adobe Systems Incorporated Automatically suggesting regions for blur kernel estimation
US9047658B2 (en) * 2013-11-05 2015-06-02 United Microelectronics Corp. Method of optical proximity correction
US9430817B2 (en) * 2013-11-12 2016-08-30 Microsoft Technology Licensing, Llc Blind image deblurring with cascade architecture
US9607369B2 (en) 2013-11-14 2017-03-28 Kla-Tencor Corporation Motion and focus blur removal from pattern images
WO2015130616A2 (en) 2014-02-27 2015-09-03 Dolby Laboratories Licensing Corporation Systems and methods to control judder visibility
CN103955934B (zh) * 2014-05-06 2017-05-24 北京大学 一种结合图像显著性区域分割的图像模糊检测算法
CN105469363B (zh) 2014-09-05 2018-05-18 华为技术有限公司 基于模糊图像生成清晰图像的方法和装置
WO2016054076A1 (en) 2014-10-02 2016-04-07 Dolby Laboratories Licensing Corporation Dual-ended metadata for judder visibility control
WO2016107961A1 (en) 2014-12-29 2016-07-07 Nokia Corporation Method, apparatus and computer program product for motion deblurring of images
US10283031B2 (en) * 2015-04-02 2019-05-07 Apple Inc. Electronic device with image processor to reduce color motion blur
CN104851079B (zh) * 2015-05-06 2016-07-06 中国人民解放军国防科学技术大学 基于噪声/模糊图像对的低照度车牌图像恢复方法
TW201716933A (zh) * 2015-11-06 2017-05-16 原相科技股份有限公司 具有補償失焦影像的光學導航裝置及其補償電路
CN106683174B (zh) * 2016-12-23 2020-10-27 南京拓恒无人系统研究院有限公司 双目视觉系统的三维重建方法、装置及双目视觉系统
CN106780406A (zh) * 2017-02-28 2017-05-31 长沙全度影像科技有限公司 一种快速鱼眼图像去模糊方法
CN107292842B (zh) * 2017-06-15 2020-08-07 北京大学深圳研究生院 基于先验约束和离群值抑制的图像去模糊方法
CN107451973B (zh) * 2017-07-31 2020-05-22 西安理工大学 基于丰富边缘区域提取的运动模糊图像复原方法
US10593020B2 (en) * 2018-02-02 2020-03-17 Nvidia Corp. Unsupervised learning approach for video deblurring
CN108830802B (zh) * 2018-05-16 2022-07-08 浙江大学 一种基于短曝图像梯度导向的图像模糊核估计方法
CN108898611B (zh) * 2018-06-19 2021-09-24 东华理工大学 基于显著感知先验的模糊区域活动轮廓分割模型
KR102126916B1 (ko) * 2018-11-30 2020-06-26 동국대학교 산학협력단 블러된 영상 복원을 위한 장치 및 방법
CN111275625B (zh) * 2018-12-04 2023-08-04 杭州海康机器人股份有限公司 一种图像去模糊方法、装置及电子设备
CN110097509B (zh) * 2019-03-26 2021-05-18 杭州电子科技大学 一种局部运动模糊图像的复原方法
CN110062164B (zh) * 2019-04-22 2021-10-26 深圳市商汤科技有限公司 视频图像处理方法及装置
CN113767416A (zh) * 2019-05-06 2021-12-07 索尼集团公司 电子装置、方法、以及计算机程序
KR102665968B1 (ko) * 2019-06-27 2024-05-16 삼성전자주식회사 블러 추정 방법 및 장치
US11645747B2 (en) * 2020-02-25 2023-05-09 GE Precision Healthcare LLC Methods and systems for digital mammography imaging
CN111416937B (zh) * 2020-03-25 2021-08-20 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动设备
US11222402B2 (en) 2020-04-24 2022-01-11 Aupera Technologies, Inc. Adaptive image enhancement
CN112465730A (zh) * 2020-12-18 2021-03-09 辽宁石油化工大学 一种运动视频去模糊的方法
CN112738358B (zh) * 2020-12-22 2023-03-28 安徽四创电子股份有限公司 一种应用于高速目标视频图像的去运动模糊的方法
CN113177890B (zh) * 2021-04-27 2023-04-18 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
KR102328029B1 (ko) * 2021-06-02 2021-11-17 아주대학교산학협력단 블러 이미지 처리 방법 및 장치
CN114841870A (zh) * 2022-03-31 2022-08-02 华为技术有限公司 图像处理方法、相关装置和系统
CN117557626B (zh) * 2024-01-12 2024-04-05 泰安大陆医疗器械有限公司 一种气雾喷雾器喷头安装辅助定位方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JP2849813B2 (ja) * 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
US20070046807A1 (en) * 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7680354B2 (en) * 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
US7616826B2 (en) * 2006-07-28 2009-11-10 Massachusetts Institute Of Technology Removing camera shake from a single photograph using statistics of a natural image
JP4947576B2 (ja) * 2006-10-12 2012-06-06 京セラ株式会社 撮像装置、ぶれ補正方法及び撮像方法
US8184926B2 (en) 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
JP2009088935A (ja) * 2007-09-28 2009-04-23 Sanyo Electric Co Ltd 画像記録装置、画像補正装置及び撮像装置
JP5213670B2 (ja) * 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
JP4958806B2 (ja) * 2008-01-22 2012-06-20 三洋電機株式会社 ぶれ検出装置、ぶれ補正装置及び撮像装置
US8203602B2 (en) * 2009-02-06 2012-06-19 Robert Bosch Gmbh Depth-aware blur kernel estimation method for iris deblurring
CN101504765B (zh) * 2009-03-20 2011-06-08 东华大学 采用梯度融合技术的运动模糊图像序列的复原方法

Also Published As

Publication number Publication date
CN102576454B (zh) 2015-07-08
WO2011046755A1 (en) 2011-04-21
EP2489007A1 (en) 2012-08-22
EP2489007B1 (en) 2015-06-03
CN102576454A (zh) 2012-07-11
US20110090352A1 (en) 2011-04-21
US8390704B2 (en) 2013-03-05
JP2013508811A (ja) 2013-03-07

Similar Documents

Publication Publication Date Title
JP5543605B2 (ja) 空間画像事前確率を用いたぼけ画像修正
US8203615B2 (en) Image deblurring using panchromatic pixels
US8379120B2 (en) Image deblurring using a combined differential image
US8330827B2 (en) Increasing image resolution using combined differential image
JP4999680B2 (ja) 画像ノイズを低減することによる画像データ処理方法および該方法を実行するカメラ組み込み手段
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
KR100911890B1 (ko) 이미지 모델의 컬러 성분의 복원을 위한 방법, 시스템,프로그램 모듈, 및 컴퓨터 프로그램 생성물
US7522782B2 (en) Digital image denoising
EP2164040B1 (en) System and method for high quality image and video upscaling
KR20100056167A (ko) 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
EP3438923B1 (en) Image processing apparatus and image processing method
WO2021013139A1 (zh) 图像处理的方法和装置
Buades et al. CFA video denoising and demosaicking chain via spatio-temporal patch-based filtering
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
CN111640077A (zh) 一种简单高效的模糊文本图片清晰化处理方法
US9996908B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur
Zhang et al. Self-supervised image restoration with blurry and noisy pairs
Wang et al. High-quality image deblurring with panchromatic pixels.
Purkait et al. Morphologic gain-controlled regularization for edge-preserving super-resolution image reconstruction
CN112241670B (zh) 图像处理方法及装置
KR101152525B1 (ko) 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치
JP2017130167A (ja) 画像処理装置、撮像装置および画像処理プログラム
Sarmadi et al. A new approach in single Image Super Resolution
Ahalya et al. Deep Learning for Single Image Deblurring
Seo et al. Computational photography using a pair of flash/no-flash images by iterative guided filtering

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140508

R150 Certificate of patent or registration of utility model

Ref document number: 5543605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees