JP7303783B2 - 不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法 - Google Patents
不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法 Download PDFInfo
- Publication number
- JP7303783B2 JP7303783B2 JP2020133682A JP2020133682A JP7303783B2 JP 7303783 B2 JP7303783 B2 JP 7303783B2 JP 2020133682 A JP2020133682 A JP 2020133682A JP 2020133682 A JP2020133682 A JP 2020133682A JP 7303783 B2 JP7303783 B2 JP 7303783B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- kernel
- scaling
- generating
- scaled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 80
- 230000015556 catabolic process Effects 0.000 claims description 82
- 238000006731 degradation reaction Methods 0.000 claims description 82
- 230000000007 visual effect Effects 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 230000002085 persistent effect Effects 0.000 claims description 22
- 230000002829 reductive effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 230000002688 persistence Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Description
図1は様々な実施形態の1つ以上の態様を実施するように構成されたシステムを例示する。図示のように、システム100はネットワーク150を介して互いに結合されたクライアント110及びサーバー130を含む。クライアント110又はサーバー130は、卓上コンピュータ、ラップトップコンピュータ、携帯装置、計算装置の仮想インスタンス、分散及び/又はクラウドベースのコンピュータシステムなどを含む任意の技術的に可能な種類のコンピュータシステムであってよい。ネットワーク150は、特定区域内ネットワーク(LAN)、広域ネットワーク(WAN)、ワールドワイドウェブ、又はインターネットなどを含む複数の相互接続通信リンクの任意の技術的に可能な組であってよい。
図2Aは、様々な実施形態に係る図1のスケーリングアプリケーションのより詳細な図である。図示のように、スケーリングアプリケーション120はカーネルマッピング網200、低下認識生成器網220、カーネル識別器網230、入力データ210、及びパラメータ最適化器240を含む。カーネルマッピング網200、低下認識生成器網210、及びカーネル識別器網220は図2Bと共に下記に説明される手法により訓練される人工神経網である。1つの実施形態では、上記の人工神経網の1つ以上は畳み込み神経網であってもよい。
図2Bは様々な他の実施形態に係る図2Aのスケーリングアプリケーションに含まれうる訓練エンジンを例示する。図示のように、訓練エンジン250は、1つ以上の元の画像254に1つ以上のダウンスケーリングカーネル202に基づいてダウンスケーリング操作を実行して1つ以上のダウンスケールされた画像208を生成するように構成された畳み込み操作部252を含む。元の画像254は、例えば通常様々な異なる画像タイプに亘る1つ以上のランダム画像を含みうる。訓練エンジン250は、下記に説明する2つの訓練段階の間、元の画像254、ダウンスケーリングカーネル202、及びダウンスケールされた画像208を訓練データとして使用するように構成されている。
図3は様々な実施形態に係る様々な異なるダウンスケーリングカーネルを含むカーネル空間を例示する。図示のように、カーネル空間300は異なるタイプのダウンスケーリングカーネル、例えばインパルスカーネル310、ディスクカーネル320、及び双3次カーネル330を含む。また、任意の特定のタイプのカーネルについて、カーネル空間300は、その特定のタイプのカーネルの伸ばされた及び/又はサイズ変更されたバージョン群を含むその特定のタイプのカーネルの異なる空間バリエーションを含む。
図4は様々な実施形態に係る不明のダウンスケーリングカーネルを使用してダウンスケールされた画像をアップスケールするための方法ステップのフロー図である。方法ステップは図1~3のシステムと共に説明されるが、当業者はこれらの方法ステップをいずれかの順に実行するように構成されたどのシステムもこれらの実施形態の範囲内に入ることを理解するであろう。
幾つかの実施形態は画像内容をスケールするためのコンピュータ実行方法を含む。この方法は、スケールされた画像及びスケーリングカーネルに基づいて第1復元画像を生成するステップであって、前記第1復元画像は第1解像度を有し、前記スケールされた画像は第2解像度を有する、ステップと、前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも1つの視覚アーティファクトが前記第1復元画像内に存在することを示す、ステップと、前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第2復元画像を生成するステップであって、前記少なくとも1つの視覚アーティファクトは前記第2復元画像内で低減されているか又は除去されている、ステップとを含む。
前記第1復元画像を生成するステップは、前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、前記スケールされた画像及び前記低下マップを組み合わせて前記第1復元画像を生成するステップとを含む、態様1記載のコンピュータ実行方法。
前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルに関連する次元数値を低減することを含む、態様1又は2記載のコンピュータ実行方法。
前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第1解像度を有するターゲット画像に関連する1つ以上の領域に亘って複写することを含む、態様1~3のいずれかに記載のコンピュータ実行方法。
前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第1復元画像を生成することを含む、態様1~4のいずれかに記載のコンピュータ実行方法。
前記画像差を生成するステップは、前記第1復元画像を生成するのに使用される第1畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第1復元画像と前記スケールされた画像の原版の差を表す、ステップとを含む、態様1~5のいずれかに記載のコンピュータ実行方法。
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第2畳み込み神経網を使用して分類して前記画像差を生成することを含む、態様1~6のいずれかに記載のコンピュータ実行方法。
前記スケーリングカーネルを部分変更するステップは、パラメータ最適化操作を前記スケーリングカーネル及び前記スケーリングカーネルの符号化版の少なくとも1つを用いて実行することを含む、態様1~7のいずれかに記載のコンピュータ実行方法。
複数の異なるカーネルを含むカーネル空間から抽出して前記スケーリングカーネルを生成するステップを更に含む態様1~8のいずれかに記載のコンピュータ実行方法。
前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記スケールされた画像を生成するステップを更に含む態様1~9のいずれかに記載のコンピュータ実行方法。
幾つかの実施形態は、プログラム命令群を記憶する持続性コンピュータ読取可能媒体を含む。前記プログラム命令群は、プロセッサにより実行される時、前記プロセッサに、スケールされた画像及びスケーリングカーネルに基づいて第1復元画像を生成するステップであって、前記第1復元画像は第1解像度を有し、前記スケールされた画像は第2解像度を有する、ステップと、前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも1つの視覚アーティファクトが前記第1復元画像内に存在することを示す、ステップと、前記スケールされた画像と最適化処理により生成される部分変更されたスケーリングカーネルとに基づいて第2復元画像を生成するステップであって、前記少なくとも1つの視覚アーティファクトは前記第2復元画像内で低減されているか又は除去されている、ステップとを実行させることで画像内容をスケールさせる。
前記第1復元画像を生成するステップは、前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、前記スケールされた画像及び前記低下マップを組み合わせて前記第1復元画像を生成するステップとを含む、態様11記載の持続性コンピュータ読取可能媒体。
前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルを圧縮して前記スケーリングカーネルより少ない次元数を持つ前記スケーリングカーネルの圧縮版を生成することを含む、態様11又は12記載の持続性コンピュータ読取可能媒体。
前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第1解像度を有するターゲット画像に関連する1つ以上の領域に亘って複写することを含む、態様11~13のいずれかに記載の持続性コンピュータ読取可能媒体。
前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第1復元画像を生成することを含む、態様11~14のいずれかに記載の持続性コンピュータ読取可能媒体。
前記画像差を生成するステップは、前記第1復元画像を生成するのに使用される第1畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第1復元画像と前記スケールされた画像の原版の差を表す、ステップとを含む、態様11~15のいずれかに記載の持続性コンピュータ読取可能媒体。
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第2畳み込み神経網を使用して分類して前記画像差を生成することを含む、態様11~16のいずれかに記載の持続性コンピュータ読取可能媒体。
前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記スケールされた画像を生成するステップと、前記スケールされた画像、前記スケーリングカーネル、及び前記第1復元画像の原版を含む訓練データを使用して1つ以上の神経網を前記第1復元画像及び前記画像差を生成するように訓練するステップとを更に含む態様11~17のいずれかに記載の持続性コンピュータ読取可能媒体。
前記第1解像度は前記第2解像度より大きく、前記スケーリングカーネルはダウンスケーリングカーネルから成る、態様11~18のいずれかに記載の持続性コンピュータ読取可能媒体。
幾つかの実施形態はソフトウェアアプリケーションを記憶するメモリ及びプロセッサを備えるシステムを含む。前記プロセッサは前記ソフトウェアアプリケーションを実行する時、スケールされた画像及びスケーリングカーネルに基づいて第1復元画像を生成するステップであって、前記第1復元画像は第1解像度を有し、前記スケールされた画像は第2解像度を有する、ステップと、前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも1つの視覚アーティファクトが前記第1復元画像内に存在することを示す、ステップと、前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第2復元画像を生成するステップであって、前記少なくとも1つの視覚アーティファクトは前記第2復元画像内で低減されているか又は除去されている、ステップとを実行するように構成される。
実施形態1
画像内容をスケールするためのコンピュータ実行方法であって、
スケールされた画像及びスケーリングカーネルに基づいて第1復元画像を生成するステップであって、前記第1復元画像は第1解像度を有し、前記スケールされた画像は第2解像度を有する、ステップと、
前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも1つの視覚アーティファクトが前記第1復元画像内に存在することを示す、ステップと、
前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、
前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第2復元画像を生成するステップであって、前記少なくとも1つの視覚アーティファクトは前記第2復元画像内で低減されているか又は除去されている、ステップと
を含むコンピュータ実行方法。
実施形態2
前記第1復元画像を生成するステップは、
前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、
前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、前記スケールされた画像及び前記低下マップを組み合わせて前記第1復元画像を生成するステップと
を含む、実施形態1に記載のコンピュータ実行方法。
実施形態3
前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルに関連する次元数値を低減することを含む、実施形態2に記載のコンピュータ実行方法。
実施形態4
前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第1解像度を有するターゲット画像に関連する1つ以上の領域に亘って複写することを含む、実施形態2に記載のコンピュータ実行方法。
実施形態5
前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第1復元画像を生成することを含む、実施形態2に記載のコンピュータ実行方法。
実施形態6
前記画像差を生成するステップは、
前記第1復元画像を生成するのに使用される第1畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第1復元画像と前記スケールされた画像の原版の差を表す、ステップと
を含む、実施形態1に記載のコンピュータ実行方法。
実施形態7
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第2畳み込み神経網を使用して分類して前記画像差を生成することを含む、実施形態6に記載のコンピュータ実行方法。
実施形態8
前記ダウンスケーリングカーネルを部分変更するステップは、パラメータ最適化操作を前記ダウンスケーリングカーネル及び前記ダウンスケーリングカーネルの符号化版の少なくとも1つを用いて実行することを含む、実施形態1に記載のコンピュータ実行方法。
実施形態9
複数の異なるカーネルを含むカーネル空間から抽出して前記スケーリングカーネルを生成するステップを更に含む実施形態1に記載のコンピュータ実行方法。
実施形態10
前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記ダウンスケールされた画像を生成するステップを更に含む実施形態1に記載のコンピュータ実行方法。
実施形態11
プログラム命令群を記憶する持続性コンピュータ読取可能媒体であって、前記プログラム命令群は、プロセッサにより実行される時、前記プロセッサに、
スケールされた画像及びスケーリングカーネルに基づいて第1復元画像を生成するステップであって、前記第1復元画像は第1解像度を有し、前記スケールされた画像は第2解像度を有する、ステップと、
前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも1つの視覚アーティファクトが前記第1復元画像内に存在することを示す、ステップと、
前記スケールされた画像と最適化処理により生成される部分変更されたスケーリングカーネルとに基づいて第2復元画像を生成するステップであって、前記少なくとも1つの視覚アーティファクトは前記第2復元画像内で低減されているか又は除去されている、ステップと
を実行させることで画像内容をスケールさせる、持続性コンピュータ読取可能媒体。
実施形態12
前記第1復元画像を生成するステップは、
前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、
前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、
前記スケールされた画像及び前記低下マップを組み合わせて前記第1復元画像を生成するステップと
を含む、実施形態11に記載の持続性コンピュータ読取可能媒体。
実施形態13
前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルを圧縮して前記スケーリングカーネルより少ない次元数を持つ前記スケーリングカーネルの圧縮版を生成することを含む、実施形態12に記載の持続性コンピュータ読取可能媒体。
実施形態14
前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第1解像度を有するターゲット画像に関連する1つ以上の領域に亘って複写することを含む、実施形態12に記載の持続性コンピュータ読取可能媒体。
実施形態15
前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第1復元画像を生成することを含む、実施形態12に記載の持続性コンピュータ読取可能媒体。
実施形態16
前記画像差を生成するステップは、
前記第1復元画像を生成するのに使用される第1畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第1復元画像と前記スケールされた画像の原版の差を表す、ステップと
を含む、実施形態11に記載の持続性コンピュータ読取可能媒体。
実施形態17
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第2畳み込み神経網を使用して分類して前記画像差を生成することを含む、実施形態16に記載の持続性コンピュータ読取可能媒体。
実施形態18
前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記ダウンスケールされた画像を生成するステップと、
前記スケールされた画像、前記スケーリングカーネル、及び前記第1復元画像の原版を含む訓練データを使用して1つ以上の神経網を前記第1復元画像及び前記画像差を生成するように訓練するステップと
を更に含む実施形態11に記載の持続性コンピュータ読取可能媒体。
実施形態19
前記第1解像度は前記第2解像度より大きく、前記スケーリングカーネルはダウンスケーリングカーネルから成る、実施形態11に記載の持続性コンピュータ読取可能媒体。
実施形態20
ソフトウェアアプリケーションを記憶するメモリ及びプロセッサを備えるシステムであって、前記プロセッサは前記ソフトウェアアプリケーションを実行する時、
スケールされた画像及びスケーリングカーネルに基づいて第1復元画像を生成するステップであって、前記第1復元画像は第1解像度を有し、前記スケールされた画像は第2解像度を有する、ステップと、
前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも1つの視覚アーティファクトが前記第1復元画像内に存在することを示す、ステップと、
前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、
前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第2復元画像を生成するステップであって、前記少なくとも1つの視覚アーティファクトは前記第2復元画像内で低減されているか又は除去されている、ステップと
を実行するように構成される、システム。
110 クライアント
112、132 プロセッサ
114、134 I/O装置
116、136 メモリ
118 データベース
120 スケーリングアプリケーション
122 グラフィカル・ユーザーインターフェース(GUI)
130 サーバー
150 ネットワーク
200 カーネルマッピング網
202 ダウンスケーリングカーネル
204 潜在表現
206 低下マップ
208 ダウンスケールされた画像
210 入力データ
220 低下認識生成器網
222 復元画像
230 カーネル識別器網
232 画像デルタ
240 パラメータ最適化器
250 訓練エンジン
254 元の画像
Claims (18)
- 画像内容をスケールするためのコンピュータ実行方法であって、
スケールされた画像及びスケーリングカーネルに基づいて第1復元画像を生成するステップであって、前記第1復元画像は第1解像度を有し、前記スケールされた画像は第2解像度を有する、ステップと、
前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも1つの視覚アーティファクトが前記第1復元画像内に存在することを示す、ステップと、
前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、
前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第2復元画像を生成するステップであって、前記少なくとも1つの視覚アーティファクトは前記第2復元画像内で低減されているか又は除去されている、ステップと
を含み、
前記第1復元画像を生成するステップは、
前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、
前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、
前記スケールされた画像及び前記低下マップを組み合わせ、前記スケールされた画像の少なくとも一部及び前記低下マップを神経網を使用して分類して前記第1復元画像を生成するステップと
を含むコンピュータ実行方法。 - 前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルに関連する次元数値を低減することを含む、請求項1記載のコンピュータ実行方法。
- 前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第1解像度を有するターゲット画像に関連する1つ以上の領域に亘って複写することを含む、請求項1記載のコンピュータ実行方法。
- 前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第1復元画像を生成することを含む、請求項1記載のコンピュータ実行方法。
- 前記画像差を生成するステップは、
前記第1復元画像を生成するのに使用される第1畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第1復元画像と前記スケールされた画像の原版の差を表す、ステップと
を含む、請求項1記載のコンピュータ実行方法。 - 前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第2畳み込み神経網を使用して分類して前記画像差を生成することを含む、請求項5記載のコンピュータ実行方法。
- 前記スケーリングカーネルを部分変更するステップは、パラメータ最適化操作を前記スケーリングカーネル及び前記スケーリングカーネルの符号化版の少なくとも1つを用いて実行することを含む、請求項1記載のコンピュータ実行方法。
- 複数の異なるカーネルを含むカーネル空間から抽出して前記スケーリングカーネルを生成するステップを更に含む請求項1記載のコンピュータ実行方法。
- 前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記スケールされた画像を生成するステップを更に含む請求項1記載のコンピュータ実行方法。
- プログラム命令群を記憶する持続性コンピュータ読取可能媒体であって、前記プログラム命令群は、プロセッサにより実行される時、前記プロセッサに、
スケールされた画像及びスケーリングカーネルに基づいて第1復元画像を生成するステップであって、前記第1復元画像は第1解像度を有し、前記スケールされた画像は第2解像度を有する、ステップと、
前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも1つの視覚アーティファクトが前記第1復元画像内に存在することを示す、ステップと、
前記スケールされた画像と最適化処理により生成される部分変更されたスケーリングカーネルとに基づいて第2復元画像を生成するステップであって、前記少なくとも1つの視覚アーティファクトは前記第2復元画像内で低減されているか又は除去されている、ステップと
を実行させることで画像内容をスケールさせ、
前記第1復元画像を生成するステップは、
前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、
前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、
前記スケールされた画像及び前記低下マップを組み合わせ、前記スケールされた画像の少なくとも一部及び前記低下マップを神経網を使用して分類して前記第1復元画像を生成するステップと
を含む、持続性コンピュータ読取可能媒体。 - 前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルを圧縮して前記スケーリングカーネルより少ない次元数を持つ前記スケーリングカーネルの圧縮版を生成することを含む、請求項10記載の持続性コンピュータ読取可能媒体。
- 前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第1解像度を有するターゲット画像に関連する1つ以上の領域に亘って複写することを含む、請求項10記載の持続性コンピュータ読取可能媒体。
- 前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第1復元画像を生成することを含む、請求項10記載の持続性コンピュータ読取可能媒体。
- 前記画像差を生成するステップは、
前記第1復元画像を生成するのに使用される第1畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第1復元画像と前記スケールされた画像の原版の差を表す、ステップと
を含む、請求項10記載の持続性コンピュータ読取可能媒体。 - 前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第2畳み込み神経網を使用して分類して前記画像差を生成することを含む、請求項14記載の持続性コンピュータ読取可能媒体。
- 前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記スケールされた画像を生成するステップと、
前記スケールされた画像、前記スケーリングカーネル、及び前記第1復元画像の原版を含む訓練データを使用して1つ以上の神経網を前記第1復元画像及び前記画像差を生成するように訓練するステップと
を更に含む請求項10記載の持続性コンピュータ読取可能媒体。 - 前記第1解像度は前記第2解像度より大きく、前記スケーリングカーネルはダウンスケーリングカーネルから成る、請求項10記載の持続性コンピュータ読取可能媒体。
- ソフトウェアアプリケーションを記憶するメモリ及びプロセッサを備えるシステムであって、前記プロセッサは前記ソフトウェアアプリケーションを実行する時、
スケールされた画像及びスケーリングカーネルに基づいて第1復元画像を生成するステップであって、前記第1復元画像は第1解像度を有し、前記スケールされた画像は第2解像度を有する、ステップと、
前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも1つの視覚アーティファクトが前記第1復元画像内に存在することを示す、ステップと、
前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、
前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第2復元画像を生成するステップであって、前記少なくとも1つの視覚アーティファクトは前記第2復元画像内で低減されているか又は除去されている、ステップと
を実行するように構成され、
前記第1復元画像を生成するステップは、
前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、
前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、
前記スケールされた画像及び前記低下マップを組み合わせ、前記スケールされた画像の少なくとも一部及び前記低下マップを神経網を使用して分類して前記第1復元画像を生成するステップと
を含む、システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/542,227 US11080824B2 (en) | 2019-08-15 | 2019-08-15 | Techniques for upscaling images generated with undetermined downscaling kernels |
US16/542,227 | 2019-08-15 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021034038A JP2021034038A (ja) | 2021-03-01 |
JP2021034038A5 JP2021034038A5 (ja) | 2021-07-26 |
JP7303783B2 true JP7303783B2 (ja) | 2023-07-05 |
Family
ID=71950572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020133682A Active JP7303783B2 (ja) | 2019-08-15 | 2020-08-06 | 不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11080824B2 (ja) |
EP (1) | EP3779863B1 (ja) |
JP (1) | JP7303783B2 (ja) |
KR (1) | KR102512507B1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11126895B2 (en) * | 2019-05-22 | 2021-09-21 | Lawrence Livermore National Security, Llc | Mimicking of corruption in images |
US11769227B2 (en) * | 2021-08-12 | 2023-09-26 | Adobe Inc. | Generating synthesized digital images utilizing a multi-resolution generator neural network |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6276901B1 (ja) * | 2017-05-26 | 2018-02-07 | 楽天株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
US10885608B2 (en) * | 2018-06-06 | 2021-01-05 | Adobe Inc. | Super-resolution with reference images |
US11107205B2 (en) * | 2019-02-18 | 2021-08-31 | Samsung Electronics Co., Ltd. | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames |
US10977524B2 (en) * | 2019-04-11 | 2021-04-13 | Open Text Sa Ulc | Classification with segmentation neural network for image-based content capture |
-
2019
- 2019-08-15 US US16/542,227 patent/US11080824B2/en active Active
-
2020
- 2020-08-05 EP EP20189699.0A patent/EP3779863B1/en active Active
- 2020-08-06 JP JP2020133682A patent/JP7303783B2/ja active Active
- 2020-08-12 KR KR1020200101045A patent/KR102512507B1/ko active IP Right Grant
Non-Patent Citations (1)
Title |
---|
Jinjin Gu 他,Blind Super-ResolutionWith Iterative Kernel Correction,2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) ,IEEE,2019年06月15日,p1604-1613 |
Also Published As
Publication number | Publication date |
---|---|
JP2021034038A (ja) | 2021-03-01 |
KR20210021272A (ko) | 2021-02-25 |
KR102512507B1 (ko) | 2023-03-22 |
EP3779863A1 (en) | 2021-02-17 |
US11080824B2 (en) | 2021-08-03 |
US20210049739A1 (en) | 2021-02-18 |
EP3779863B1 (en) | 2022-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10783611B2 (en) | Frame-recurrent video super-resolution | |
Lai et al. | Deep laplacian pyramid networks for fast and accurate super-resolution | |
CN113014927B (zh) | 图像压缩方法和图像压缩装置 | |
Li et al. | FilterNet: Adaptive information filtering network for accurate and fast image super-resolution | |
EP3721628B1 (en) | Processing signal data using an upsampling adjuster | |
KR102225024B1 (ko) | 이미지 채움 장치 및 방법 | |
EP2529353A1 (en) | Method and system for generating an output image of increased pixel resolution from an input image | |
JP7303783B2 (ja) | 不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法 | |
CN114868401A (zh) | 使用下采样/上采样和深度图非线性滤波对视频数据的编码方案 | |
US11308361B1 (en) | Checkerboard artifact free sub-pixel convolution | |
WO2016108847A1 (en) | Methods and apparatus for processing motion information images | |
Sidike et al. | A fast single-image super-resolution via directional edge-guided regularized extreme learning regression | |
Gao et al. | A fast view synthesis implementation method for light field applications | |
US10964076B2 (en) | Method and system for solving inverse problems in image processing using deep dictionary learning (DDL) | |
CN113902617B (zh) | 基于参考图像的超分辨率方法、装置、设备及介质 | |
US20220321830A1 (en) | Optimization of adaptive convolutions for video frame interpolation | |
KR102353837B1 (ko) | 고해상도 얼굴 영상 복원 방법 및 장치 | |
WO2020263112A1 (en) | Image processing method and apparatus and computer program product for the same | |
KR102244457B1 (ko) | 시멘틱 구역화를 위한 상향샘플링 방법 및 시스템 | |
Liu et al. | Soft-introVAE for continuous latent space image super-resolution | |
Ahmed et al. | Digital image inpainting techniques for cultural heritage preservation and restoration | |
US20230342893A1 (en) | Transferring faces between digital images by combining latent codes utilizing a blending network | |
US20230237628A1 (en) | Modeling continuous kernels to generate an enhanced digital image from a burst of digital images | |
Ye et al. | Learning multi-granularity semantic interactive representation for joint low-light image enhancement and super-resolution | |
CN117557452A (zh) | 一种图像还原方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210527 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220720 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221020 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7303783 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |