JP6656111B2 - 画像のノイズを除去する方法及びシステム - Google Patents

画像のノイズを除去する方法及びシステム Download PDF

Info

Publication number
JP6656111B2
JP6656111B2 JP2016148250A JP2016148250A JP6656111B2 JP 6656111 B2 JP6656111 B2 JP 6656111B2 JP 2016148250 A JP2016148250 A JP 2016148250A JP 2016148250 A JP2016148250 A JP 2016148250A JP 6656111 B2 JP6656111 B2 JP 6656111B2
Authority
JP
Japan
Prior art keywords
gcrf
network
input image
patch
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016148250A
Other languages
English (en)
Other versions
JP2017059220A (ja
Inventor
オンセル・チュゼル
ミン−ユ・リウ
ラビテジャ・ベムラパリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2017059220A publication Critical patent/JP2017059220A/ja
Application granted granted Critical
Publication of JP6656111B2 publication Critical patent/JP6656111B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、包括的には、コンピュータービジョン及び画像処理に関し、より詳細には、画像のノイズを除去することに関する。
ディープネットワークは、多くのコンピュータービジョン及び画像処理のアプリケーションにおいて用いられている。完全接続層（fully-connected layer）又は畳み込み層（convolutional layer）を有する通常のディープネットワークは、広範囲のアプリケーションに良好に機能する。しかしながら、その一般的なアーキテクチャは、幾つかのアプリケーションにおいて非常に役立つ可能性がある問題領域知識（problem domain knowledge）を用いていない。
例えば、画像ノイズ除去の場合、従来の多層パーセプトロン（perceptron）（フィードフォワードニューラルネットワーク）は、複数のレベルの入力ノイズを処理することがあまり得意ではない。ノイズ分散を追加の入力としてネットワークに提供することによって、複数の入力ノイズレベルを処理するように単一の多層パーセプトロンをトレーニングすると、そのパーセプトロンは、最先端のブロックマッチング３Ｄフィルタリング（ＢＭ３Ｄ:Block-matching and 3D filtering）と比較して低質の結果をもたらす。これについては、非特許文献１を参照されたい。これとは対照的に、モデルベースの手法である予想パッチ対数尤度（ＥＰＬＬ:Expected Patch Log Likelihood）フレームワークは、広範囲のノイズレベルにわたって良好に機能する。これについては、非特許文献２を参照されたい。
ガウスマルコフ確率場（ＧＭＲＦ:Gaussian Markov Random Field）が、ノイズ除去（denoising）、インペインティング（inpainting）、超解像度（super-resolution）、奥行き推定（depth estimation）等の画像推論タスク（image inference task）において用いられることが多い。ＧＭＲＦは、連続量をモデル化し、線形代数を用いて効率的に解くことができる。しかしながら、ＧＭＲＦモデルの性能は、事前確率分布（以下、ｐｒｉｏｒとする。）の選択に大きく依存する。例えば、画像ノイズ除去の場合、ｐｒｉｏｒを均一にすると、すなわち、各ピクセルのｐｒｉｏｒを同一にすると、その結果、エッジのブレ及び画像の過剰平滑化がもたらされる。したがって、ＧＭＲＦモデルの使用を成功させるには、ｐｒｉｏｒは、処理されている画像に従って選択されるべきである。データ依存ｐｒｉｏｒを用いるＧＭＲＦモデルは、ガウス条件付き確率場（ＧＣＲＦ:Gaussian conditional random field）と呼ばれる。
ＧＣＲＦモデルを画像推論タスクに用いることは、以下の２つの主要なステップを含む。
１）適切な画像ｐｒｉｏｒが入力画像に基づいて選択される、データ依存ｐｒｉｏｒ生成ステップ、及び、
２）選択された画像ｐｒｉｏｒを用いて最大事後（ＭＡＰ）推論が実行される推論ステップ。
ガウス条件付き確率場
非特許文献３に記載されたＧＣＲＦモデルは、出力画像の条件付き分布のパラメーターを入力画像の関数としてモデル化する。各画像パッチ、例えば３×３ピクセルに関連付けられた精度行列が、手動選択された微分フィルターベースの行列の線形結合としてモデル化される。結合重みは、所定のマルチスケール有向エッジ及びバーフィルターのセットに対する入力画像の絶対応答のパラメトリック関数として選択され、パラメーターは、弁別的なトレーニング（discriminative training）を用いて学習される。
ＧＣＲＦモデルは、回帰木場（ＲＴＦ）に拡張されている。これについては、非特許文献４を参照されたい。この文献では、回帰木は、パラメーター選択に用いられる。フル画像モデルが、幾つかの重なり合うパッチモデルに分解され、それらのパッチにわたって定義されたガウスモデルのパラメーターを選択する回帰木が構築される。回帰木は、様々な手動選択されたフィルターに対する入力画像の応答を、各画像パッチの適切なリーフノードを選択することに用いる。より近時においては、ＲＴＦのカスケードが、非ブラインド画像のブレ補正に用いられている。これについては、非特許文献５を参照されたい。
ノイズ除去
画像ノイズ除去は、画像処理における基本的な問題である。縮小（shrinkage）、非局所画像統計（non-local image statistic）を用いたスパース符号化（sparse coding）、自然画像ｐｒｉｏｒ、及びグラフィカルモデルを含む、ノイズ除去に用いることができる多くの方法がある。
ニューラルネットワークを用いたノイズ除去
スタックドスパースノイズ除去自己符号化器（ＳＳＤＡ:stacked sparse denoising autoencoder）及び多層パーセプトロン等の画像ノイズ除去の様々なディープネットワークベースの手法が知られている。これについては、非特許文献６を参照されたい。しかしながら、それらのディープネットワークのうちのいずれも、ノイズの分散を明示的にモデル化せず、したがって、複数のノイズレベルの処理が得意ではない。上記全てのネットワークにおいて、各ノイズレベルにそれぞれ異なるネットワークが用いられ、これによって、設計及びプロセスが複雑になっている。
Dabov他、「Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering」、IEEE Transactions on Image Processing、2007年、16(8): 2080-2095 Zoran他、「From Learning Models of Natural Image Patches to Whole Image Restoration」、In ICCV、2011年 Tappen他、「Learning Gaussian Conditional Random Fields for Low-Level Vision」、CVPR、2007年 Jancsary他、「Loss-specific Training of Non-parametric Image Restoration Models: A New State of the Art」、ECCV、2012年 Schmidt他、「Discriminative Non-blind Deblurring」、CVPR、2013年 Burger他、「Image Denoising: Can Plain Neural Networks Compete with BM3D?」、CVPR、2012年
本発明の実施の形態は、画像のノイズを除去する方法及びシステムを提供する。本方法は、ガウス条件付き確率場モデルに基づくディープネットワーク（ディープＧＣＲＦ）を用いる。ディープＧＣＲＦネットワークは、データ依存ｐｒｉｏｒ生成ネットワーク（ＰｇＮｅｔ:prior generation network）及び推論ネットワーク（ｉｎｆＮｅｔ:inference network）の２つのサブネットワークを備える。ｐｒｉｏｒ生成ネットワークは、画像固有のｐｒｉｏｒをモデル化するのに用いられる。推論ネットワークの層は、反復ＧＣＲＦ推論手順のステップを繰り返す。ディープＧＣＲＦネットワークは、画像ノイズ除去に固有の損失関数を用いたバックプロパゲーション（back-propagation）を介してトレーニングされる。
従来の弁別的ノイズ除去モデルは、通常、ノイズレベルごとに別々のネットワークを必要とする。これとは対照的に、本実施の形態によるディープネットワークは、入力ノイズ分散を明示的にモデル化し、したがって、それぞれ異なるノイズレベルに広く適用される。
ディープＧＣＲＦネットワークは、ＧＣＲＦのｐｒｉｏｒ生成ステップ及び推論ステップをフィードフォワードネットワークに変換する。そのようなディープネットワークアーキテクチャを用いると、バックプロパゲーションを用いてディープネットワークを弁別的にトレーニングすることによって、ノイズ除去、インペインティング、超解像度、奥行き推定等の推論タスクの良好なデータ依存ｐｒｉｏｒを学習することが可能である。
このＧＣＲＦネットワークアーキテクチャは、従来のディープニューラルネットワーク、例えば、畳み込み層及び完全接続層を有するネットワークと異なる。従来のニューラルネットワークのパラメーターは線形フィルターであるが、本実施の形態によるネットワークは、対称半正定値行列（symmetric positive semidefinite matrix）をモデルパラメーターとして用いる。本実施の形態によるネットワークは、２次関数、行列反転及び相乗交互作用を用いる様々な新規なタイプの層を有し、これらの層は、線形フィルターを用いた後に非線形性を用いる従来の計算と異なる。この結果、複数の利益が得られる。
従来技術の弁別的画像ノイズ除去方法のほとんどは、入力ノイズ分散をそれらのモデルにおいて用いていないので、複数のノイズレベルを処理することができない。これとは対照的に、本実施の形態は、入力ノイズ分散をＧＣＲＦモデルにおいて明示的にモデル化し、このノイズ分散を入力としてネットワークに提供する。したがって、ディープＧＣＲＦネットワークは、複数のノイズレベルを処理することができる。
多くの従来のＧＣＲＦ手法と異なり、開示されたディープＧＣＲＦネットワークは、手動で選ばれた画像特徴量もフィルターも用いない。ディープＧＣＲＦネットワークは、画像ノイズ除去タスクに固有の損失関数を用いた従来のバックプロパゲーションを用いてエンドツーエンド（end-to-end）でトレーニングされる。従来技術のＧＣＲＦにおけるように非常に大きな線形システムを解くのではなく、開示されたネットワークは、半２次分割（ＨＱＳ）層を用いる。したがって、ネットワーク内の全ての計算は、ピクセルレベルにおいて十分に並列化することができる。
本発明の実施形態は、ディープガウス条件付き確率場（ＧＣＲＦ）に基づく画像ノイズ除去の新規なディープネットワークアーキテクチャを提供する。ディープＧＣＲＦネットワークのｐｒｉｏｒ生成ステップ及び推論ステップは、フィードフォワードネットワークに変換される。ディープＧＣＲＦネットワークは、ノイズ分散を明示的にモデル化するので、複数のノイズレベルを処理することができる。このネットワークは、弁別的にトレーニングされると、様々な最先端の画像ノイズ除去方法よりも性能が優れている。
ディープＧＣＲＦネットワークは、これらに限定されるものではないが、インペインティング、画像超解像度及び奥行き推定を含む複数のコンピュータービジョンアプリケーションに用いることができる。
本発明の実施形態によるディープガウス条件付き確率場（ディープＧＣＲＦ）ネットワークを用いた画像ノイズ除去の概略図である。 本発明の実施形態によるディープＧＣＲＦネットワークのブロック図である。 本発明の実施形態による２層選択ネットワークのブロック図である。 本発明の実施形態によるｐｒｉｏｒ生成ネットワーク（ＰｇＮｅｔ）のブロック図である。 本発明の実施形態による推論ネットワーク（ＩｎｆＮｅｔ）のブロック図である。
本発明の実施形態は、画像のノイズを除去する方法及びシステムを提供する。本方法は、ディープガウス条件付き確率場（ＧＣＲＦ）ネットワーク１０５を用いる。ディープＧＣＲＦへの入力は、ノイズを有する入力画像１０１及びノイズの分散σ２１０２である。本方法は、メモリ、入出力インターフェースに接続されたプロセッサ１００において実行することができる。プロセッサは、画像を直接的又は間接的のいずれかで取得する。例えば、画像は、カメラによって取り込まれ、その後、メモリ又は有線通信リンク若しくは無線通信リンクによってプロセッサに転送される。
図１Ａに示すように、入力画像１０１は、例えば、カメラ又は奥行きセンサーによって取り込まれる。次に、同時に又は後に、画像は、プロセッサによって取得される（１０９）。画像は、分散σ２１０２を有するノイズを含む。このノイズ分散は、従来の技法を用いて求めることができる。画像１０１のノイズを除去して、ノイズが除去された出力画像１０３を生成することが望まれている。したがって、画像１０１は、ディープガウス条件付き確率場ネットワーク（ディープＧＣＲＦ）１０５によって処理され、出力画像１０３が生成される。この出力画像は、記憶、送信、表示又は印刷することができる。
表記（notation）
ボールド体大文字は行列を示し、ボールド体小文字はベクトルを示し、ｖｅｃ（Ａ）、ＡＴ及びＡ−１は、それぞれ、行列Ａの列ベクトル表現、転置行列及び逆行列を示し、
Figure 0006656111
 は、行列Ａが対称半正定値であることを意味する。
ガウス条件付き確率場
以下では、図１Ｂに示すように、Ｘは、ノイズを有する入力画像１０１を表し、σ２１０２は、ピクセルＸ（ｉ，ｊ）を有する入力画像１０１内のノイズの分散であり、Ｙは、ピクセルＹ（ｉ，ｊ）を有するノイズが除去された出力画像１０３を表す。
条件付き確率ｐ（Ｙ｜Ｘ）が、以下のようにガウス分布としてモデル化される。
Figure 0006656111
指数（ｅｘｐ）内の左の項は、データ項であり、指数（ｅｘｐ）内の右の項は、データ依存ｐｒｉｏｒ項である。２次ｐｒｉｏｒパラメーター
Figure 0006656111
 は、入力画像Ｘ １０１に基づいて選択される。出力画像Ｙ １０３は、条件付き確率ｐ（Ｙ｜Ｘ）を最大にすることによって推論される。
パッチｐｒｉｏｒを用いた画像ｐｒｉｏｒの生成
画像全体のｐｒｉｏｒパラメーターＱを直接選択することは、画像内のピクセルの数がほぼ１０６個以上である可能性があることから困難である。したがって、ｄ×ｄのピクセルの画像パッチ上でそれぞれｐｒｉｏｒを用いることによってフル画像ｐｒｉｏｒ Ｑが間接的に構築される。
画像Ｘ及びＹにおけるピクセル（ｉ，ｊ）を中心とするｄ×ｄのパッチを表すｄ２×１列ベクトルをそれぞれｘｉｊ及びｙｉｊとする。これらのパッチは、３×３、５×５等とすることができる。ｘｉｊ及びｙｉｊの平均値減算されたもの（mean-subtracted versions）をそれぞれ
Figure 0006656111
 及び
Figure 0006656111
 とする。ここで、
Figure 0006656111
 は平均値減算行列（mean subtraction matrix）である。ここで、Ｉはｄ２×ｄ２単位行列であり、
Figure 0006656111
 は、１からなるｄ２×１ベクトルであり、Ｔは転置演算子である。
上記のパッチ
Figure 0006656111
 上のデータ依存ゼロ平均ガウスｐｒｉｏｒを
Figure 0006656111
 とする。全てのピクセルにおけるパッチｐｒｉｏｒを結合すると、以下のフル画像ｐｒｉｏｒ Ｑが得られる。
Figure 0006656111
ここで、ｖｅｃは、行列を列ベクトルに変換する線形変換である。
全てのｄ×ｄの画像パッチが用いられるので、各ピクセルは、そのｄ×ｄの近傍ピクセルを中心とするｄ２個のパッチに現れる。いずれのパッチにおいても、各ピクセルは、共分散ｐｒｉｏｒΣｉｊを通じてそのパッチ内の全てのｄ２個のピクセルと相互作用する。これは、（２ｄ−１）×（２ｄ−１）の近傍サイズを有する出力画像Ｙ全体におけるグラフィカルモデルを効果的に定義する。
推論（Inference）
共分散ｐｒｉｏｒΣｉｊが与えられると、ＧＣＲＦ推論は、以下の最適化問題を解く。
Figure 0006656111
式（３）における最適化問題は、閉形式で正確に解くことができる制約なし２次プログラムである。しかしながら、出力画像Ｙの閉形式の解は、画像ピクセルの数に等しい数の変数を有する線形連立方程式（linear system of equations）を解くことを必要とする。そのような線形システム（線形連立方程式）を解くことは、数百万個のピクセルを有する大きな画像については計算的に法外であるので、上記最適化問題を解くことができる半２次分割（ＨＱＳ:half quadratic splitting）と呼ばれる反復最適化方法が用いられる。この手法は、補助変数を用いることによって効率的な最適化を可能にする。これについては、非特許文献２を参照されたい。
パッチｙｉｊに対応する補助変数をｚｉｊとする。半２次分割方法において、式（３）におけるコスト関数は、以下の式に変更される。
Figure 0006656111
ここで、Ｊは、各反復においてβを増加させる間、最小にされる。β→∞にすると、パッチ｛ｙｉｊ｝は補助変数｛ｚｉｊ｝に等しくなるように制限され、方程式（３）及び（４）の解は収束する。
固定値のβの場合、コスト関数Ｊは、代替的にＹ及び｛ｚｉｊ｝について最適化を行うことによって最小にすることができる。Ｙを固定した場合、最適なｚｉｊは以下となる。
Figure 0006656111
上記式における最後の等式は、ウッドベリー行列恒等式から得られる。｛ｚｉｊ｝を固定した場合、最適なＹ（ｉ，ｊ）は以下となる。
Figure 0006656111
ここで、
Figure 0006656111
 及び
Figure 0006656111
 は、それぞれフロア演算子及びシーリング演算子であり、ｚｐｑ（ｉ，ｊ）は、補助パッチｚｐｑによるピクセル（ｉ，ｊ）の強度である。
ディープＧＣＲＦネットワーク
上記で説明し、また図１Ｂに示すように、実施形態によるディープＧＣＲＦネットワーク１０５は、以下の構成要素を備える。
ｐｒｉｏｒ生成ネットワーク（ＰｇＮｅｔ）１１０
ＰｇＮｅｔは、入力画像Ｘ１０１を用いてパッチ共分散ｐｒｉｏｒΣｉｊ １１１を生成する。
推論ネットワーク（ＩｎｆＮｅｔ）１２０
ＩｎｆＮｅｔは、ＰｇＮｅｔ１１０からのパッチ共分散ｐｒｉｏｒΣｉｊ １１１を用いてＧＣＲＦ推論を実行する。ＩｎｆＮｅｔは、直列に接続された一組の半２次分割（ＨＱＳ）層１３０を備える。幾つかの実施形態では、ＨＱＳ層を用いる代わりに、ＩｎｆＮｅｔは、線形システム（線形連立方程式）を解くことによって、式（３）のようなガウス条件付き確率場推論を実行することができる。
ＰｇＮｅｔ及びＩｎｆＮｅｔを結合することによって、本発明者らのディープＧＣＲＦネットワークが得られる。適切なｐｒｉｏｒを選択することは、ＧＣＲＦの成功に非常に重要であることに留意されたい。ＰｇＮｅｔは、ノイズを有する入力画像１０１に対して操作を行うので、画像ノイズが増加するにつれて、良好なｐｒｉｏｒを選択することはますます困難になる。この問題に対処するために、図１Ｂにおける破線のボックスに示すように、各ＨＱＳ反復１３０の後に追加のＰｇＮｅｔ１４０が用いられる。
本発明者らのディープＧＣＲＦネットワークは、バックプロパゲーションを用いてエンドツーエンドで弁別的にトレーニングされるので、最初のＰｇＮｅｔ１１０が良好なｐｒｉｏｒの選択に失敗したときであっても、その後のＰｇＮｅｔ１４０は、部分的に復元された画像に基づいて適切なｐｒｉｏｒを選択することを学習することができる。
ｐｒｉｏｒ生成ネットワーク（ＰｇＮｅｔ）
図３は、ｐｒｉｏｒ生成ネットワーク（ＰｇＮｅｔ）１１０を示している。ＰｇＮｅｔは、画像内のパッチの全てについてのパッチ共分散ｐｒｉｏｒΣｉｊ １１１を生成する。ここで、（ｉ，ｊ）は、パッチの中心ピクセルである。ＰｇＮｅｔは、パッチ抽出層３１０、選択ネットワーク２００、及び結合層３３０を備える。
入力画像Ｘ１０１が与えられると、パッチ抽出層３１０は、画像のあらゆるピクセル（ｉ，ｊ）を中心とするｄ×ｄ次元の平均値減算されたパッチを抽出する。画像Ｘ内のピクセル（ｉ，ｊ）を中心とするｄ×ｄのパッチを表すｄ２×１列ベクトルをｘｉｊとする。パッチ抽出層は、ｘｉｊの平均値減算されたものである、
Figure 0006656111
 を求める。ここで、
Figure 0006656111
 は、平均値減算行列である。
選択ネットワークへの入力は、平均値減算されたパッチ
Figure 0006656111
 ２０１及びノイズ分散σ２１０２である。図２に示すような２層選択ネットワーク２００を用いて、結合重み
Figure 0006656111
 ２０２が選択される。入力画像Ｘ１０１から抽出された平均値減算されたパッチ
Figure 0006656111
 ２０１を用いて、結合重み
Figure 0006656111
 ２０２が求められる。選択ネットワークのパラメーター
Figure 0006656111
 は、２次層２１０において用いられる。選択ネットワークは、成分対数尤度２２０（第（ｉ，ｊ）ピクセルを中心とするパッチの第ｋ成分を選択する対数尤度）である
Figure 0006656111
 を生成する２次層２１０を備える。この後には、結合重みγｉｊ＝ＳｏｆｔＭａｘ（ｓｉｊ）を求めるＳｏｆｔｍａｘ層２３０が続く。ここで、ＳｏｆｔＭａｘは、ソフトマックス関数又は正規化された指数関数である。
結合層３３０は、Ｋ個の対称半正定値行列Ψ１，．．．，ΨＫの凸結合、すなわち、下式としてパッチ共分散ｐｒｉｏｒを選択する。
Figure 0006656111
選択ネットワーク２００では、成分対数尤度｛ｓｋ｝２２０の計算を、ガウス対数尤度の値を求めることと解釈することができるように、特定の２次形式（Ｗｋ＋σ２Ｉ）−１が選択される。｛Ｗｋ｝を、クリーンなパッチに関連付けられた共分散行列と解釈した場合、｛Ｗｋ＋σ２Ｉ｝は、ノイズを有するパッチに関連付けられた共分散行列と解釈することができる。
この２次形式の利益は、以下の２通りに分けられる。
（ｉ）選択器が対称的である。ゼロ平均ガウスｐｒｉｏｒが選択されているので、パッチ
Figure 0006656111
 が特定の共分散ｐｒｉｏｒを有する可能性がある場合、パッチ
Figure 0006656111
 も等しく同じ共分散ｐｒｉｏｒを有する可能性がある。本発明者らの選択器は、
Figure 0006656111
 及び
Figure 0006656111
 の双方が同じ結合重み｛γｋ｝を有することを満たす。
（ｉｉ）この２次形式はノイズ分散σ２を考慮しているので、本発明者らの選択は入力画像のノイズに対してロバスト（robust）である。
推論ネットワーク
上記で説明した半２次分割方法を用いて、本発明者らの推論ネットワークが設計される。この推論ネットワークの各層は、ＨＱＳ層とも呼ばれ、１つの半２次分割反復（式５及び式６）を実施する。各ＨＱＳ層は、図４に示すような以下の２つの連続した部分層を有する。
パッチ推論層（ＰＩ）４１０
この層は、出力の現在の推定値Ｙｔを入力として取り込み、ｆｉｊ（Ｙ）を用いて補助パッチ｛ｚｉｊ｝を求める。
画像形成層（ＩＦ）４２０
この層は、ＰＩ層によって与えられた補助パッチ｛ｚｉｊ｝を入力として取り込み、ｇｉｊ（｛ｚｉｊ｝）を用いて次の画像推定値Ｙｔ＋１を求める。
半２次分割のβ定数の集合が｛β１，β２，…，βＴ｝である場合、本発明者らの推論ネットワークは、図４に示すようにＴ個のＨＱＳ層１３０を有する。ここで、Σｉｊは、ノイズ分散σ２１０２を有する入力画像Ｘ１０１についてＰｇＮｅｔ１１０によって求められたパッチ共分散ｐｒｉｏｒである。
ディープＧＣＲＦネットワーク
上記ｐｒｉｏｒ生成ネットワーク及び推論ネットワークを結合すると、パラメーター
Figure 0006656111
 を有する本発明者らのディープＧＣＲＦネットワークが得られる。本発明者らのネットワークは、従来のディープネットワークにおいて用いられる計算とは異なる２次関数、行列反転及び相乗交互作用を用いた様々な新しいタイプの層を有することに留意されたい。
各反復後のｐｒｉｏｒの生成
適切なｐｒｉｏｒを選択することが、ＧＣＲＦの成功に決定的に重要であることに留意されたい。ｐｒｉｏｒ生成ネットワークは、入力画像Ｘに対して操作するので、ノイズ分散σ２を選択ネットワーク２００内に組み込んだ後であっても、高いノイズレベルにおいて良好なｐｒｉｏｒを選択することは非常に困難である。この問題を克服するために、各ＨＱＳ反復１３０の後に追加のＰｇＮｅｔ１４０が用いられる。これらの追加のＰｇＮｅｔを加える根本的な理由は、最初のＰｇＮｅｔ１１０が、良好なｐｒｉｏｒ１１１の選択に失敗した場合であっても、後のＰｇＮｅｔが、部分的にノイズが除去された画像を用いて適切なｐｒｉｏｒを選択することができるからである。
トレーニング
好ましい実施形態では、本発明者らのディープＧＣＲＦネットワークが、ノイズを有するトレーニング画像及びノイズが除去されたトレーニング画像の対のデータセットに適用される平均二乗誤差（ＭＳＥ:mean squared error）損失関数を用いて弁別的にトレーニングされる。幾つかの他の実施形態では、ディープＧＣＲＦネットワークは、ピーク信号対雑音比（ＰＳＮＲ:peak signal to noise ratio）又は構造類似性尺度（ＳＳＩＭ:structural similarity measure）を最大にすることによってトレーニングされる。ノイズを有するトレーニング画像は、合成ノイズをノイズのない画像に加えることによって生成することができる。
従来のバックプロパゲーションを用いて、ネットワークパラメーターに関する損失の微分（derivatives）を求める。本発明者らのパラメーター
Figure 0006656111
 は、対称半正定値である必要があるので、ここでは、制約付き最適化問題が得られることに留意されたい。この制約付き問題は、
Figure 0006656111
 及び
Figure 0006656111
 をパラメーター化することによって制約なし問題に変換される。ここで、Ｐｋ及びＲｋは下三角行列であり、メモリ制限ブロイデン・フレッチャー・ゴールドファーブ・シャノ（ＢＦＧＳ:Broyden-Fletcher-Goldfarb-Shanno）アルゴリズムを最適化に用いる。
発明の効果
本発明の実施形態は、ディープガウス条件付き確率場（ＧＣＲＦ）に基づく画像ノイズ除去の新規なディープネットワークアーキテクチャを提供する。ディープＧＣＲＦネットワークのｐｒｉｏｒ生成ステップ及び推論ステップは、フィードフォワードネットワークに変換される。ディープＧＣＲＦネットワークは、ノイズ分散を明示的にモデル化するので、複数のノイズレベルを処理することができる。このネットワークは、弁別的にトレーニングされると、様々な最先端の画像ノイズ除去方法よりも性能が優れている。
ディープＧＣＲＦネットワークは、これらに限定されるものではないが、インペインティング、画像超解像度及び奥行き推定を含む複数のコンピュータービジョンアプリケーションに用いることができる。

Claims (19)

  1. 画像のノイズを除去する方法であって、
    分散σ２を有するノイズを含む入力画像Ｘを取得するステップと、
    ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
    を含み、
    前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
    前記適用されることは、プロセッサにおいて実行され、
    前記ＰｇＮｅｔは、パッチ抽出層、選択ネットワーク、及び結合層を備える、方法。
  2. 前記パッチ抽出層は、前記画像のあらゆるピクセル（ｉ，ｊ）を中心とするｄ×ｄ次元の平均値減算されたパッチ
    Figure 0006656111
     を求め、ここで、
    Figure 0006656111
     であり、ｘｉｊは、前記ピクセル（ｉ，ｊ）を中心とする前記ｄ×ｄパッチを表すｄ２×１列ベクトルであり、
    Figure 0006656111
     は、平均値減算行列であり、Ｉはｄ２×ｄ２単位行列であり、
    Figure 0006656111
     は１からなるｄ２×１ベクトルであり、Ｔは転置演算子である、請求項１に記載の方法。
  3. 前記選択ネットワークは、前記各パッチの結合重みをγｉｊ＝ＳｏｆｔＭａｘ（ｓｉｊ）として求め、ここで、ｓｉｊは、２次関数
    Figure 0006656111
     によって求められる成分対数尤度であり、
    Figure 0006656111
     は、前記選択ネットワークのパラメーターであり、ＳｏｆｔＭａｘは、ソフトマックス関数であり、
    Figure 0006656111
     は、対称半正定値行列を示す、請求項１に記載の方法。
  4. 前記結合層は、前記パッチ共分散ｐｒｉｏｒを、Ｋ個の対称半正定値行列Ψ１，．．．，ΨＫの凸結合
    Figure 0006656111
     として求め、ここで、
    Figure 0006656111
     は前記結合重みである、請求項３に記載の方法。
  5. 画像のノイズを除去する方法であって、
    分散σ ２ を有するノイズを含む入力画像Ｘを取得するステップと、
    ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
    を含み、
    前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣ ｉｊ を生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
    前記適用されることは、プロセッサにおいて実行され、
    前記ＩｎｆＮｅｔは、前記ＧＣＲＦを解く以下の式の推論手順
    Figure 0006656111
     であり、ここで、
    Figure 0006656111
     は、平均値減算行列であり、Ｉはｄ２×ｄ２単位行列であり、
    Figure 0006656111
     は１からなるｄ２×１ベクトルであり、Ｔは転置演算子である、方法。
  6. 画像のノイズを除去する方法であって、
    分散σ ２ を有するノイズを含む入力画像Ｘを取得するステップと、
    ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
    を含み、
    前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣ ｉｊ を生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
    前記適用されることは、プロセッサにおいて実行され、
    前記ＩｎｆＮｅｔは、順次接続された１つ又は複数の半２次分割（ＨＱＳ）層のセットを備える反復手順であり、
    前記各ＨＱＳ分割層は、パッチ推論層を備え、前記パッチ推論層の後に画像形成層が続く、方法。
  7. 前記パッチ推論層は、補助パッチｚｉｊ＝ｆｉｊ（Ｙ）を求め、ここで、
    Figure 0006656111
     であり、
    Figure 0006656111
     は、平均値減算行列であり、Ｉはｄ２×ｄ２単位行列であり、
    Figure 0006656111
     は１からなるｄ２×１ベクトルであり、Ｔは転置演算子であり、βは定数である、請求項６に記載の方法。
  8. 前記画像形成層は、ノイズが除去された次の画像推定値Ｙｔ＋１＝ｇｉｊ（｛ｚｉｊ｝）を求め、ここで、
    Figure 0006656111
     であり、
    Figure 0006656111
     及び
    Figure 0006656111
     は、それぞれフロア演算子及びシーリング演算子であり、ｚｐｑ（ｉ，ｊ）は、補助パッチｚｐｑによるピクセル（ｉ，ｊ）の強度である、請求項６に記載の方法。
  9. 画像のノイズを除去する方法であって、
    分散σ ２ を有するノイズを含む入力画像Ｘを取得するステップと、
    ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
    を含み、
    前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣ ｉｊ を生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
    前記適用されることは、プロセッサにおいて実行され、
    前記ＩｎｆＮｅｔは、順次接続された１つ又は複数の半２次分割（ＨＱＳ）層のセットを備える反復手順であり、
    前記各ＨＱＳ層の出力は、追加のＰｇＮｅｔによって処理されて、次のＨＱＳ層の更新されたパッチ共分散ｐｒｉｏｒΣｉｊが生成される、方法。
  10. 画像のノイズを除去する方法であって、
    分散σ ２ を有するノイズを含む入力画像Ｘを取得するステップと、
    ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
    を含み、
    前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣ ｉｊ を生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
    前記適用されることは、プロセッサにおいて実行され、
    前記ディープＧＣＲＦのパラメーターは、バックプロパゲーションを用いるとともに、ノイズを有するトレーニング画像及びノイズのないトレーニング画像の対のデータセットを用いて平均二乗誤差損失関数を最小にして学習される、方法。
  11. 前記ノイズを有するトレーニング画像は、合成ノイズをノイズのない画像に加えることによって生成される、請求項１０に記載の方法。
  12. 前記ＩｎｆＮｅｔは、ＧＣＲＦ推論を実行する線形システムを解く、請求項５に記載の方法。
  13. 画像のノイズを除去する方法であって、
    分散σ ２ を有するノイズを含む入力画像Ｘを取得するステップと、
    ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
    を含み、
    前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣ ｉｊ を生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
    前記適用されることは、プロセッサにおいて実行され、
    前記ディープＧＣＲＦネットワークは、奥行き推定に用いられる、方法。
  14. 前記ディープＧＣＲＦの前記パラメーターは、ピーク信号対雑音比を最大にすることによって学習される、請求項１０に記載の方法。
  15. 前記ディープＧＣＲＦの前記パラメーターは、構造類似性尺度を最大にすることによって学習される、請求項１０に記載の方法。
  16. 画像のノイズを除去するシステムであって、
    シーンの入力画像Ｘを取得するセンサーであって、該入力画像は、分散σ２を有するノイズを含む、センサーと、
    ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するプロセッサと
    を備え、
    前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、該ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＩｎｆＮｅｔを前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用することによって前記ＧＣＲＦを解き、
    前記ＰｇＮｅｔは、パッチ抽出層、選択ネットワーク、及び結合層を備える、システム。
  17. 画像のノイズを除去するシステムであって、
    シーンの入力画像Ｘを取得するセンサーであって、該入力画像は、分散σ２を有するノイズを含む、センサーと、
    ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するプロセッサと
    を備え、
    前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、該ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＩｎｆＮｅｔを前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用することによって前記ＧＣＲＦを解き、
    前記ＩｎｆＮｅｔは、前記ＧＣＲＦを解く以下の式の推論手順
    Figure 0006656111
     であり、ここで、
    Figure 0006656111
     は、平均値減算行列であり、Ｉはｄ ２ ×ｄ ２ 単位行列であり、
    Figure 0006656111
     は１からなるｄ ２ ×１ベクトルであり、Ｔは転置演算子である、システム。
  18. 画像のノイズを除去するシステムであって、
    シーンの入力画像Ｘを取得するセンサーであって、該入力画像は、分散σ２を有するノイズを含む、センサーと、
    ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するプロセッサと
    を備え、
    前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、該ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＩｎｆＮｅｔを前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用することによって前記ＧＣＲＦを解き、
    前記ディープＧＣＲＦのパラメーターは、バックプロパゲーションを用いるとともに、ノイズを有するトレーニング画像及びノイズのないトレーニング画像の対のデータセットを用いて平均二乗誤差損失関数を最小にして学習される、システム。
  19. 画像のノイズを除去するシステムであって、
    シーンの入力画像Ｘを取得するセンサーであって、該入力画像は、分散σ２を有するノイズを含む、センサーと、
    ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するプロセッサと
    を備え、
    前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、該ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＩｎｆＮｅｔを前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用することによって前記ＧＣＲＦを解き、
    前記ディープＧＣＲＦネットワークは、奥行き推定に用いられる、システム。
JP2016148250A 2015-09-15 2016-07-28 画像のノイズを除去する方法及びシステム Active JP6656111B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/854,352 US9633274B2 (en) 2015-09-15 2015-09-15 Method and system for denoising images using deep Gaussian conditional random field network
US14/854,352 2015-09-15

Publications (2)

Publication Number Publication Date
JP2017059220A JP2017059220A (ja) 2017-03-23
JP6656111B2 true JP6656111B2 (ja) 2020-03-04

Family

ID=58236995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016148250A Active JP6656111B2 (ja) 2015-09-15 2016-07-28 画像のノイズを除去する方法及びシステム

Country Status (2)

Country Link
US (1) US9633274B2 (ja)
JP (1) JP6656111B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3166068B1 (en) * 2015-11-06 2020-08-12 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체
DE112016007312T5 (de) * 2016-10-03 2019-07-04 Mitsubishi Electric Corporation Netzwerk-bildungsvorrichtung und netzwerk-bildungsverfahren
US20200060572A1 (en) * 2016-12-12 2020-02-27 University Of Louisville Research Foundation, Inc. Methods of detecting and mapping spinal cord epidurally-evoked potentials
CN108629402A (zh) * 2017-03-20 2018-10-09 上海荆虹电子科技有限公司 用于图像处理的方法和装置
JP7254440B2 (ja) * 2017-10-25 2023-04-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
US10534837B2 (en) * 2017-11-13 2020-01-14 Samsung Electronics Co., Ltd Apparatus and method of low complexity optimization solver for path smoothing with constraint variation
JP7032913B2 (ja) * 2017-11-27 2022-03-09 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
KR102459221B1 (ko) 2018-02-20 2022-10-27 삼성전자주식회사 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US10749882B2 (en) * 2018-04-19 2020-08-18 Raytheon Bbn Technologies Corp. Network security system and methods for encoding network connectivity for activity classification
CN108765319B (zh) * 2018-05-09 2020-08-14 大连理工大学 一种基于生成对抗网络的图像去噪方法
US10636123B2 (en) * 2018-05-15 2020-04-28 Wipro Limited Method and device for de-noising images
WO2020081470A1 (en) * 2018-10-15 2020-04-23 Flir Commercial Systems, Inc. Deep learning inference systems and methods for imaging systems
CN109816599B (zh) * 2018-12-07 2020-12-29 西安电子科技大学 一种基于小波分解卷积神经网络的图像条带噪声抑制方法
EP3671530A1 (en) * 2018-12-17 2020-06-24 Koninklijke Philips N.V. Device, system and method for object recognition
KR20210004229A (ko) 2019-07-03 2021-01-13 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
CN110349088A (zh) * 2019-07-15 2019-10-18 上海点积实业有限公司 一种图像处理方法和系统
CN110855585B (zh) * 2019-09-30 2020-11-10 北京交通大学 一种毫米波大规模mimo系统的信道估计方法
JP2021128497A (ja) * 2020-02-13 2021-09-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11508037B2 (en) 2020-03-10 2022-11-22 Samsung Electronics Co., Ltd. Systems and methods for image denoising using deep convolutional networks
US20230196512A1 (en) * 2020-05-18 2023-06-22 Nippon Telegraph And Telephone Corporation Learning method, high resolution processing method, learning apparatus and computer program
CN112001856A (zh) * 2020-07-29 2020-11-27 东软医疗系统股份有限公司 去噪模型的训练方法及去除图像噪声方法、相关装置
CN111951167B (zh) * 2020-08-25 2021-05-18 深圳思谋信息科技有限公司 超分辨率图像重建方法、装置、计算机设备和存储介质
CN112598593B (zh) * 2020-12-25 2022-05-27 吉林大学 基于非均衡深度期望块对数似然网络的地震噪声压制方法
CN113450290B (zh) * 2021-09-01 2021-11-26 中科方寸知微(南京)科技有限公司 基于图像修补技术的低照度图像增强方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406197B2 (en) * 2003-11-05 2008-07-29 Joseph M Francos Parametric estimation of multi-dimensional homeomorphic transformations
US7620204B2 (en) * 2006-02-09 2009-11-17 Mitsubishi Electric Research Laboratories, Inc. Method for tracking objects in videos using covariance matrices
US8525727B2 (en) * 2009-12-29 2013-09-03 Texas Instruments Incorporated Position and velocity uncertainty metrics in GNSS receivers
US20100316293A1 (en) * 2009-06-15 2010-12-16 Siemens Corporation System and method for signature extraction using mutual interdependence analysis
KR101300247B1 (ko) * 2011-11-11 2013-08-26 경희대학교 산학협력단 마르코프 연쇄 은닉 조건부 랜덤 필드 모델 기반의 패턴 인식 방법
US8891884B2 (en) * 2011-12-27 2014-11-18 Microsoft Corporation Regression tree fields
US20140307950A1 (en) * 2013-04-13 2014-10-16 Microsoft Corporation Image deblurring
US9042468B2 (en) * 2013-06-27 2015-05-26 Intel Mobile Communications GmbH Channel estimation technique
US9396523B2 (en) * 2013-07-24 2016-07-19 Microsoft Technology Licensing, Llc Image restoration cascade
US9430817B2 (en) * 2013-11-12 2016-08-30 Microsoft Technology Licensing, Llc Blind image deblurring with cascade architecture
US9344690B2 (en) * 2014-01-24 2016-05-17 Microsoft Technology Licensing, Llc Image demosaicing

Also Published As

Publication number Publication date
US20170076170A1 (en) 2017-03-16
JP2017059220A (ja) 2017-03-23
US9633274B2 (en) 2017-04-25

Similar Documents

Publication Publication Date Title
JP6656111B2 (ja) 画像のノイズを除去する方法及びシステム
Valsesia et al. Deep graph-convolutional image denoising
Arjomand Bigdeli et al. Deep mean-shift priors for image restoration
KR102056073B1 (ko) 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템
Nan et al. Deep learning for handling kernel/model uncertainty in image deconvolution
Wang A multilayer neural network for image demosaicking
Elad et al. Image denoising: The deep learning revolution and beyond—a survey paper
Shi et al. Unsharp mask guided filtering
Xia et al. A discrete-time learning algorithm for image restoration using a novel L2-norm noise constrained estimation
CN114746895A (zh) 用于图像去噪的噪声重构
Singhal et al. A domain adaptation approach to solve inverse problems in imaging via coupled deep dictionary learning
De los Reyes et al. Bilevel optimization methods in imaging
Chen et al. Deep learning for linear inverse problems using the plug-and-play priors framework
Patil et al. Bilateral filter for image denoising
US20240020796A1 (en) Noise reconstruction for image denoising
CN113256519A (zh) 图像的恢复方法、设备、存储介质及程序产品
Kumar et al. Neural network based image deblurring
Chen et al. Online dictionary learning over distributed models
Vasudevan et al. Efficient image de-noising technique based on modified cuckoo search algorithm
CN108898557B (zh) 图像恢复方法及装置、电子设备、计算机程序及存储介质
Kumar et al. Image Deconvolution using Deep Learning-based Adam Optimizer
Wei et al. Image denoising with deep unfolding and normalizing flows
Tanaka et al. Locally adaptive learning for translation-variant MRF image priors
Helminger et al. Blind image restoration with flow based priors
Patil et al. Hybrid image inpainting using reproducing kernel Hilbert space and dragonfly inspired wavelet transform

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190521

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190521

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200204

R150 Certificate of patent or registration of utility model

Ref document number: 6656111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250