JP7303783B2 - 不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法 - Google Patents

不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法 Download PDF

Info

Publication number
JP7303783B2
JP7303783B2 JP2020133682A JP2020133682A JP7303783B2 JP 7303783 B2 JP7303783 B2 JP 7303783B2 JP 2020133682 A JP2020133682 A JP 2020133682A JP 2020133682 A JP2020133682 A JP 2020133682A JP 7303783 B2 JP7303783 B2 JP 7303783B2
Authority
JP
Japan
Prior art keywords
image
kernel
scaling
generating
scaled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020133682A
Other languages
English (en)
Other versions
JP2021034038A (ja
JP2021034038A5 (ja
Inventor
シュレールス クリストファー
ワン イーファン
コルニレール ヴィクトル
ソルキン－ホーナング オルガ
ジェロウア アブデルアジズ
Original Assignee
ディズニー エンタープライジーズ インコーポレイテッド
アイトゲノシシュ・テクニシェ・ホッホシューレ・チューリッヒ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディズニー エンタープライジーズ インコーポレイテッド, アイトゲノシシュ・テクニシェ・ホッホシューレ・チューリッヒ filed Critical ディズニー エンタープライジーズ インコーポレイテッド
Publication of JP2021034038A publication Critical patent/JP2021034038A/ja
Publication of JP2021034038A5 publication Critical patent/JP2021034038A5/ja
Application granted granted Critical
Publication of JP7303783B2 publication Critical patent/JP7303783B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Description

様々な実施形態は概ね映像処理、より具体的には、不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法に関する。
代表的なメディア作成過程は、様々な理由で処理中のメディアコンテンツの解像度が増加及び／又は減少させられる１つ以上のメディア処理段階を含む。例えば、処理中のメディアコンテンツは最初に８Ｋ解像度などの相対的により高い解像度で取り込まれ得たであろう。メディアコンテンツのこのより高い解像度版は次に既知のダウンスケーリングカーネルを使用してＨＤ（高精細）解像度などの相対的により低い解像度（下流の作成処理操作のためにより適切である）にダウンスケールされうる。メディア作成過程の下流部では、メディアコンテンツのこのより低い解像度版は追加の描画されたコンテンツと合成されメディアコンテンツのより低い解像度合成版を生成しうる。次に、メディアコンテンツのより低い解像度合成版は既知のダウンスケーリングカーネルを使用して、見るためにより適切である４Ｋ解像度などの相対的により高い解像度にアップスケールされうる。
上記の手法の１つの欠点は、ダウンスケール及びアップスケール操作に使用されるダウンスケーリングカーネルが既知である場合に限り、メディアコンテンツは通常相対的により低い解像度にダウンスケールされ次に相対的に高い解像度に視覚アーティファクトが生ずることなくアップスケールされうることである。しかし、多くの状況では、ダウンスケーリングカーネルは不明であり、従って、メディアコンテンツのより低い解像度版を、かなりの視覚アーティファクトがメディアコンテンツの得られたアップスケール版に生ずることなくアップスケールするために使用され得ない。視覚アーティファクトはメディアコンテンツの全体視覚品質を低下させ低質な視覚体験を引き起こしうるので望ましくない。
上記のように、当分野で必要なものは、ダウンスケーリングカーネルが不明である場合にメディアコンテンツをアップスケールするより効果的な手法である。
様々な実施形態は画像をスケールするためのコンピュータ実行方法を含む。この方法は、スケールされた画像及びスケーリングカーネルに基づいて第１復元画像を生成するステップであって、前記第１復元画像は第１解像度を有し、前記スケールされた画像は第２解像度を有する、ステップと、前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも１つの視覚アーティファクトが前記第１復元画像内に存在することを示す、ステップと、前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第２復元画像を生成するステップであって、前記少なくとも１つの視覚アーティファクトは前記第２復元画像内で低減されているか又は除去されている、ステップとを含む。
従来技術に比べて開示された手法の少なくとも１つの技術的利点は、不明のダウンスケーリングカーネルを使用してダウンスケールされた低解像度画像をより高い解像度に重大な視覚アーティファクトが生ずることなくアップスケールできることである。従って、開示された手法は、様々な理由でメディアコンテンツをダウンスケールし、次に表示するのにより適切であるいくらか相対的により高い解像度にアップスケールする必要があるメディア作成過程及び他のメディア処理状況において適用されうる。
様々な実施形態の上記の特徴が詳細に理解されうるために、一部が添付の図面に例示された様々な実施形態を参照することで、上記に簡潔に要約された本発明概念のより明確な説明を得られるかもしれない。しかし、添付の図面は本発明概念の典型的な実施形態のみを例示し、従って、範囲を限定すると全く考えられるべきではなく、他の同様に効果的な実施形態が存在することは留意されるべきである。
本実施形態の１つ以上の態様を実施するように構成されたシステムを例示する。 様々な実施形態に係る図１のスケーリングアプリケーションのより詳細な図である。 他の様々な実施形態に係る図２Ａのスケーリングアプリケーションに含まれうる訓練エンジンを例示する。 様々な実施形態に係る様々な異なるダウンスケーリングカーネルを含むカーネル空間を例示する。 様々な実施形態に係る不明のダウンスケーリングカーネルを使用してダウンスケールされた画像をアップスケールするための方法ステップのフロー図である。
以下の説明において、様々な実施形態のより完全な理解を提供するために多数の具体的詳細が明らかにされる。しかし、これらの具体的詳細の１つ以上を欠いて本発明概念を実施してもよいことは当業者には明白であろう。
上述したように、代表的なメディア作成過程は、様々な理由でメディアコンテンツの解像度が増加及び／又は減少させられる１つ以上のメディア処理段階を含む。例えば、メディアコンテンツは最初に８Ｋ解像度などのより高い解像度で取り込まれうる。メディアコンテンツのより高い解像度版は次に既知のダウンスケーリングカーネルに基づいてＨＤ解像度などのより低い解像度（作成処理操作に適している）にダウンスケールされうる。メディアコンテンツのより低い解像度版は描画されたコンテンツと合成されメディアコンテンツのより低い解像度合成版を生成しうる。次に、メディアコンテンツのより低い解像度合成版は既知のダウンスケーリングカーネルに基づいて、見るのに適している４Ｋ解像度などのより高い解像度にアップスケールされうる。
上記例のようにメディアコンテンツが既知のダウンスケーリングカーネルを使用してより低い解像度にダウンスケールされる状況では、メディアコンテンツのより低い解像度版は既知のダウンスケーリングカーネルに基づいて重大な視覚アーティファクトが生ずることなくより高い解像度に効果的にアップスケールされうる。しかし、多くの状況では、ダウンスケーリングカーネルは不明であり、従って、メディアコンテンツのより低い解像度版をアップスケールするために使用され得ない。結果として、メディアコンテンツのより低い解像度版は通常、重大な視覚アーティファクトが生ずることなくより高い解像度にアップスケールされ得ない。これらの視覚アーティファクトはメディアコンテンツの全体様相を低下させ、低質な視覚体験を引き起こしうる。
これらの問題に対処するために、様々な実施形態はダウンスケールされた画像を生成するのに使用されたダウンスケーリングカーネルを推定するスケーリングアプリケーションを含む。スケーリングアプリケーションは推定されたダウンスケーリングカーネルに基づいてダウンスケールされた画像をアップスケールし、これによりダウンスケールされた画像の最小の視覚アーティファクトを持ったより高い解像度版を生成する。スケーリングアプリケーションは上記操作を実行する様々な網状要素を含む。特に、カーネルマッピング網は推定されたダウンスケーリングカーネルに基づいて低下マップを生成する。低下認識生成器網はダウンスケールされた画像及び低下マップに基づいて復元画像を生成する。カーネル識別器網は復元画像に存在する視覚アーティファクトを反映する画像デルタを生成する。スケーリングアプリケーションは、画像デルタに示された視覚アーティファクトを低減するために、推定されたダウンスケーリングカーネルを繰り返し部分変更するパラメータ最適化器を更に含む。１回以上の繰り返しにより、スケーリングアプリケーションはそのダウンスケーリングカーネルのますます正確な推定であって、ダウンスケールされた画像をアップスケールし視覚アーティファクトを低減するのに使用されうる推定を生成する。
従来技術に比べて開示された手法の少なくとも１つの技術的利点は、不明のダウンスケーリングカーネルを使用してダウンスケールされた低解像度画像をより高い解像度に重大な視覚アーティファクトが生ずることなくアップスケールできることである。従って、開示された手法は、様々な理由でメディアコンテンツをダウンスケールし、次に表示により適したいくらか相対的により高い解像度にアップスケールする必要があるメディア作成過程に適用されうる。これらの技術的利点は従来技術の手法と比較して１つ以上の技術的進歩を表す。
システム概要
図１は様々な実施形態の１つ以上の態様を実施するように構成されたシステムを例示する。図示のように、システム１００はネットワーク１５０を介して互いに結合されたクライアント１１０及びサーバー１３０を含む。クライアント１１０又はサーバー１３０は、卓上コンピュータ、ラップトップコンピュータ、携帯装置、計算装置の仮想インスタンス、分散及び／又はクラウドベースのコンピュータシステムなどを含む任意の技術的に可能な種類のコンピュータシステムであってよい。ネットワーク１５０は、特定区域内ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ワールドワイドウェブ、又はインターネットなどを含む複数の相互接続通信リンクの任意の技術的に可能な組であってよい。
更に図示のように、クライアント１１０は互いに結合されたプロセッサ１１２、入力／出力（Ｉ／Ｏ）装置１１４、及びメモリ１１６を含む。プロセッサ１１２はデータを処理しソフトウェアアプリケーションを実行するように構成された複数のハードウェアユニットの任意の技術的に可能な組を含む。例えば、プロセッサ１１２は１つ以上の中央処理装置（ＣＰＵ）を含みうる。Ｉ／Ｏ装置１１４は、例えば表示装置、キーボード、及びタッチスクリーンなどを含む入力及び／又は出力動作を実行するように構成された装置の任意の技術的に可能な組を含む。
メモリ１１６は、データ及びソフトウェアアプリケーションを記憶するように構成された任意の技術的に可能な記憶媒体、例えばハードディスク、ランダムアクセスメモリ（ＲＡＭ）モジュール、及び読み出し専用メモリ（ＲＯＭ）を含む。メモリ１１６はデータベース１１８（０）、スケーリングアプリケーション１２０（０）、及びグラフィカル・ユーザーインターフェース（ＧＵＩ）１２２（０）を含む。データベース１１８（０）はスケーリングアプリケーション１２０（０）により処理される様々なデータを記憶する。スケーリングアプリケーション１２０（０）は、プロセッサ１１２により実行される時、サーバー１３０上で動作している対応するソフトウェアアプリケーションと相互動作するソフトウェアアプリケーションである。ＧＵＩ１２２（０）はスケーリングアプリケーション１２０（０）がそれを通して入力を受け取り出力を提供できるインターフェースである。
サーバー１３０は互いに結合されたプロセッサ１３２、Ｉ／Ｏ装置１３４、及びメモリ１３６を含む。プロセッサ１３２はデータを処理しソフトウェアアプリケーションを実行するように構成された複数のハードウェアユニットの任意の技術的に可能な組、例えば１つ以上のＣＰＵを含む。Ｉ／Ｏ装置１３４は、入力及び／又は出力動作を実行するように構成された装置の任意の技術的に可能な組、例えば表示装置、キーボード、及びタッチスクリーンなどを含む。
メモリ１３６は、データ及びソフトウェアアプリケーションを記憶するように構成された任意の技術的に可能な記憶媒体、例えばハードディスク、ＲＡＭモジュール、及びＲＯＭを含む。メモリ１３６はデータベース１１８（１）、スケーリングアプリケーション１２０（１）、及びＧＵＩ１２２（１）を含む。データベース１１８（１）はスケーリングアプリケーション１２０（１）により処理される様々なデータを記憶する。スケーリングアプリケーション１２０（１）は、プロセッサ１３２により実行される時、クライアント１１０上で動作しているスケーリングアプリケーション１２０（０）と相互動作するソフトウェアアプリケーションである。ＧＵＩ１２２（１）はスケーリングアプリケーション１２０（１）がそれを通して入力を受け取り出力を提供できるインターフェースである。
通例、データベース１１８（０）及び１１８（１）は分散された記憶実体の別々の部分を表す。従って、簡単のために、データベース１１８（０）及び１１８（１）はデータベース１１８と以下総称される。同様に、スケーリングアプリケーション１２０（０）及びスケーリングアプリケーション１２０（１）は本書に記載された発明の動作のどれも及び全てを実行するように構成され分散されたソフトウェア実体の別々の部分を表す。従って、簡単のために、スケーリングアプリケーション１２０（０）及び１２０（１）はスケーリングアプリケーション１２０と以下総称される。同様に、ＧＵＩ１２２（０）及び１２２（１）は分散されたＧＵＩの別々の部分を表し、ＧＵＩ１２２と以下総称される。
動作時、スケーリングアプリケーション１２０はダウンスケールされた画像を処理しこれらの画像のより高い解像度版を生成するように構成されている。そうする時、スケーリングアプリケーション１２０はダウンスケールされた画像を生成するのに使用されたダウンスケーリングカーネルを推定し、次に推定されたダウンスケーリングカーネル（又はそれの符号化され及び／又は圧縮されたバージョン）を部分変更してこれらの画像のより高い解像度版の視覚アーティファクトを低減する。これは図２Ａ～図４と共に下記にもっと詳細に説明される。
ソフトウェア概要
図２Ａは、様々な実施形態に係る図１のスケーリングアプリケーションのより詳細な図である。図示のように、スケーリングアプリケーション１２０はカーネルマッピング網２００、低下認識生成器網２２０、カーネル識別器網２３０、入力データ２１０、及びパラメータ最適化器２４０を含む。カーネルマッピング網２００、低下認識生成器網２１０、及びカーネル識別器網２２０は図２Ｂと共に下記に説明される手法により訓練される人工神経網である。１つの実施形態では、上記の人工神経網の１つ以上は畳み込み神経網であってもよい。
動作時、カーネルマッピング網２００はダウンスケーリングカーネル２０２を取得又は生成する。幾つかの使用シナリオでは、ダウンスケーリングカーネル２０２は予め決められており、従って、ダウンスケールされた画像２０８を生成するのに使用されたと分かっている。しかし、他の使用シナリオでは、ダウンスケールされた画像２０８を生成するのに使用されたダウンスケーリングカーネルは予め決められてはいない、従って、不明である。これらの使用シナリオでは、ダウンスケーリングカーネル２０２は、無作為化されるか又は一組の可能なダウンスケーリングカーネルに広がるカーネル空間から無作為に抽出されて、ダウンスケールされた画像２０８を生成するのに使用されたかも知れないダウンスケーリングカーネルへの近似を提供する。代表的なカーネル空間は図３と共に下記にもっと詳細に説明される。
カーネルマッピング網２００はダウンスケーリングカーネル２０２を潜在空間内に符号化して潜在表現２０４を生成する。潜在表現２０４はダウンスケーリングカーネル２０２の低減された次元数版である。１つの実施形態では、カーネルマッピング網２００は、行連結により得られるベクトル形態のダウンスケーリングカーネル２０２を分析する２層高密度網であってもよい。カーネルマッピング網２００は次にベクトル形態のダウンスケーリングカーネル２０２を潜在表現２０４に対応付けてもよい。
カーネルマッピング網２００は潜在表現２０４の１つ以上のインスタンスを集めて低下マップ２０６を形成する。低下マップ２０６は、低下の様々な空間的に依存する源を示す空間的特徴マップである。カーネルマッピング網２００は低下マップ２０６を下記のプロセスの１つにより生成する。特定の入力画像の複数の領域又は画素位置に亘って変わらない単一のダウンスケーリングカーネルに基づいてダウンスケールされた画像２０８が生成される場合は、カーネルマッピング網２００はそれらの領域又は画素位置に亘って潜在表現２０４を複写することで低下マップ２０６を組み立てる。ダウンスケールされた画像２０８がその特定の入力画像の複数の領域又は画素位置に亘って変わる複数のダウンスケーリングカーネルに基づいて生成される場合は、カーネルマッピング網２００は各異なる領域又は画素位置について異なる潜在表現２０４を生成しそれらの異なる潜在表現２０４を低下マップ２０６に組み合わせることで低下マップ２０６を組み立てる。
上述した低下マップ２０６により、カーネルマッピング網２００は、空間的に変わるダウンスケーリングカーネルにより実行されるダウンスケーリング操作に加えて空間的に不変のダウンスケーリングカーネルにより実行されるダウンスケーリング操作に対応できる。１つの実施形態では、カーネルマッピング網２００は最初、ダウンスケーリングカーネル２０２を空間的に不変として扱い、従って、低下マップ２０６内に潜在表現２０４の複数のコピーを含んでもよい。次に、カーネルマッピング網２００はダウンスケーリングカーネル２０２を１つ以上の空間的変化を有するとして扱い、次に低下マップ２０６内に潜在表現２０４の異なるバージョンを含むように低下マップ２０６を部分変更してもよい。ダウンスケーリングカーネル２０２の空間的変化は、図２Ｂと共に下記に説明されるパラメータ最適化プロセスにより低下マップ２０６内に符号化されてもよい。
ダウンスケールされた画像２０８及び低下マップ２０６が入力２１０に含まれ、低下認識生成器網２２０及びカーネル識別器網２３０に供給される。低下認識生成器網２２０は、ダウンスケールされた画像２０８及び低下マップ２０６を分析して復元画像２２２を生成する畳み込み神経網である。復元画像２２２はダウンスケールされた画像２０８のより高い解像度版である。低下認識生成器網２２０は図２Ｂと共に下記にもっと詳細に説明される手法によりダウンスケールされた画像のより高い解像度版を生成するように訓練される。
カーネル識別器網２３０はダウンスケールされた画像２０８、低下マップ２０６、及び低下認識生成器網２２０の１つ以上の出力を分析して画像デルタ２３２を生成する畳み込み神経網である。画像デルタ２３２は通常、復元画像２２２に存在するかも知れないどんなアーティファクトも示す。そのようなアーティファクトはダウンスケーリングカーネルが不明の時に存在しうる。従って、低下認識生成器網２２０は、無作為化されたか又は無作為に抽出されたダウンスケーリングカーネル２０２に基づいて生成される低下マップ２０６を入力として受け取る。名目の状況下では、画像デルタ２３２は、カーネル識別器網２３０により予測されるダウンスケールされた画像２０８とダウンスケールされた画像２０８の元のより高い解像度版の差を表す。１つの実施形態では、カーネル識別器網２３０は低下認識生成器網２２０に含まれる少なくとも１つの特徴層からの１つ以上の出力を受け取ってもよい。低下認識生成器網２２０は図２Ｂと共に下記にもっと詳細に説明される手法により画像デルタを生成するように訓練される。
パラメータ最適化器２４０はカーネル生成器網２３０から画像デルタ２３２を得て、ダウンスケーリングカーネル２０２及び低下マップ２０６の少なくとも１つを用いてパラメータ最適化プロセスを実行する。ダウンスケーリングカーネル２０２を用いてパラメータ最適化プロセスを実行する時、パラメータ最適化器２４０はダウンスケーリングカーネル２０２の物理的構成を記述する１つ以上の係数を変更し、カーネルマッピング網２００、低下認識生成器網２２０、及びカーネル識別器網２３０の次回の処理実行の後の画像デルタ２３２を最小にする。特に、カーネル識別器網２３０はダウンスケーリングカーネル２０２の１つ以上の係数を最適化して画像デルタ２３２がゼロに近づき、復元画像２２２に含まれる幾つか又は全てのアーティファクトが除去されたことを示すようにさせる。本手法はダウンスケーリングカーネル２０２が空間的に不変である時に実行されうる。
低下マップ２０６を用いてパラメータ最適化プロセスを実行する時、パラメータ最適化器２４０は低下マップ２０６に含まれる潜在表現２０４の１つ以上のバージョンを部分変更してカーネルマッピング網２００、低下認識生成器網２２０、及びカーネル識別器網２３０の次回の処理実行の後の画像デルタ２３２を最小にする。具体的には、カーネル識別器網２３０は低下マップ２０６に１つ以上の空間的に変わる部分変更を行って画像デルタ２３２がゼロに近づき、復元画像２２２に含まれる幾つか又は全てのアーティファクトが除去されたことを示すようにさせる。本手法はダウンスケーリングカーネル２０２が空間的に不変である時、及びダウンスケーリングカーネル２０２が特定の入力画像の複数の異なる領域又は画素位置に亘って変わる時にも実行されうる。
上記手法により、ダウンスケールされた画像２０８より高い解像度を持ち、もしあればごく少数の視覚アーティファクトを含む復元画像２２２を生成できる。また、開示された手法は、ダウンスケーリングカーネル２０２が予め決められており、従ってダウンスケールされた画像２０８を生成するのに使用されたと分かっている場合、及びダウンスケールされた画像２０８を生成するのに使用されたダウンスケーリングカーネルが不明で及び／又は空間的に変わる場合にも実行されうる。上述した様々な人工神経網は図２Ｂと共に下記に説明される手法を使って訓練されうる。
人工神経網の訓練
図２Ｂは様々な他の実施形態に係る図２Ａのスケーリングアプリケーションに含まれうる訓練エンジンを例示する。図示のように、訓練エンジン２５０は、１つ以上の元の画像２５４に１つ以上のダウンスケーリングカーネル２０２に基づいてダウンスケーリング操作を実行して１つ以上のダウンスケールされた画像２０８を生成するように構成された畳み込み操作部２５２を含む。元の画像２５４は、例えば通常様々な異なる画像タイプに亘る１つ以上のランダム画像を含みうる。訓練エンジン２５０は、下記に説明する２つの訓練段階の間、元の画像２５４、ダウンスケーリングカーネル２０２、及びダウンスケールされた画像２０８を訓練データとして使用するように構成されている。
第１の訓練段階では、訓練エンジン２５０はカーネルマッピング網２００及び／又は低下認識生成器網２２０に含まれる重みの様々な組を用いて、ダウンスケーリングカーネル２０２及びダウンスケールされた画像２０８から得られる入力及び元の画像２５４から得られるターゲット出力を使用して逆伝搬操作を実行する。そうする時、訓練エンジン２５０はカーネルマッピング網２００及び／又は低下認識生成器網２２０に含まれる複数の組の重みを、１つ以上の復元画像２２２が対応する元の画像２５４と閾誤差未満で一致するまで部分変更する。次に訓練エンジン２５０はカーネルマッピング網２００及び／又は低下認識生成器網２２０の訓練を止め、第２の訓練段階を実行する。
第２の訓練段階では、訓練エンジン２５０はカーネル識別器網２３０に含まれる重みの様々な組を用いて、特定のダウンスケーリングカーネル２０２の適正版及び不適正版を使用して生成された復元画像２２２のペアを含む入力を使用して逆伝搬操作を実行する。第２の訓練段階時にカーネル識別器網２３０に提供される入力は、低下認識生成器網２２０の１つ以上の畳み込み層の少なくとも１つの出力も含みうる。訓練エンジン２５０は、ダウンスケーリングカーネル２０２の変化と画像デルタ２３２に存在する視覚アーティファクトの間の対応付けをそれらの変化に基づいて符号化するためにカーネル識別器網２３０に含まれる複数の組の重みを部分変更する。この手法で、カーネル識別器網２３０はこれらの視覚アーティファクトを示す画像デルタ２３２を予測するように訓練される。
上記２つの訓練段階が完了すると、パラメータ最適化器２４０は前述したやり方で動作してダウンスケーリングカーネル２０２及び／又は低下マップ２０６を最適化し、画像デルタ２３２を最小にし、それによりダウンスケールされた画像２０８を生成するのに使用されたダウンスケーリングカーネルを近似する（又はそれらから派生する低下マップを近似する）。
概ね図２Ａ～２Ｂを参照すると、様々な状況下で、ダウンスケーリングカーネル２０２は、上記のように、１つ以上の無作為化されたカーネル及び／又は１つ以上の無作為抽出されたダウンスケーリングカーネル２０２により実現されうる。後者の場合、ダウンスケーリングカーネルは、図３と共に下記にもっと詳細に説明されるように、ある範囲の可能なダウンスケーリングカーネルを含むカーネル空間から無作為に選択されうる。
代表的なカーネル空間
図３は様々な実施形態に係る様々な異なるダウンスケーリングカーネルを含むカーネル空間を例示する。図示のように、カーネル空間３００は異なるタイプのダウンスケーリングカーネル、例えばインパルスカーネル３１０、ディスクカーネル３２０、及び双３次カーネル３３０を含む。また、任意の特定のタイプのカーネルについて、カーネル空間３００は、その特定のタイプのカーネルの伸ばされた及び／又はサイズ変更されたバージョン群を含むその特定のタイプのカーネルの異なる空間バリエーションを含む。
１つの実施形態では、通常の使用シナリオでは、図２Ａ～２Ｂと共に上述したカーネルマッピング網２００は初めにカーネル空間３００からＮ個のダウンスケーリングカーネルを選択しこれらのＮ個のダウンスケーリングカーネルに基づいてＮ個の画像デルタ２３２を計算してもよい。得られたＮ個の画像デルタ２３２内に見つかる視覚アーティファクトの程度及び／又は重大さに依って、カーネルマッピング網２００は、これらのＮ個のダウンスケーリングカーネルの１つのサブセットが、カーネル空間３００から抽出された他のダウンスケーリングカーネルに比べて適正なダウンスケーリングカーネルをより含んでいそうであると判断する場合がある。開示された手法は任意の特定のダウンスケーリングカーネルに関連する極小を避けることで、適正なダウンスケーリングカーネルをより効果的に特定できる。
別の実施形態では、開示された手法は図１のＧＵＩ１２２と共に実行されてよい。ＧＵＩ１２２は異なるパラメータでアップスケールされるべきダウンスケールされた画像の特定の部分を反映するユーザー入力を受け取るよう構成されてもよい。例えば、ＧＵＩ１２２はユーザーから特定のダウンスケールされた画像の特定領域を際立たせるブラシの一振りを受け取りうる。ブラシの一振りはダウンスケーリングカーネル２０２の１つ以上のパラメータ、例えば標準偏差がその特定領域内で変更されるべきであることを示しうる。
概ね図１～３を参照すると、開示された手法の１つの利点は、それらの画像を生成するのに使用されたダウンスケーリングカーネルが入手できないか又は不明である状況下でダウンスケールされた画像のより高い解像度版を生成しうることである。また、開示された手法は、画像の異なる部分が異なるダウンスケーリングカーネルによって引き起こされる低下を被っている状況に適用されうる。例えば、背景コンテンツに描画されたコンテンツを重ねる場合、異なるタイプのコンテンツは、異なるダウンスケーリングカーネルの結果だとされうる異なるタイプの視覚アーティファクトを持ちうる。開示された手法はそのようなコンテンツを効果的にアップスケールしてそのコンテンツの、もしあればごく少数の気付きうる視覚アーティファクトを含む高解像度版を作成できる。様々な実施形態では、開示された手法は、ダウンスケールされていないが代わりに初めに低解像度で生成されたより低い解像度の画像をアップスケールするのに適用されてよい。そのような状況では、最初のダウンスケーリング操作は実行されないので、ダウンスケーリングカーネルは通常「入手できない」と考えられる。より低い解像度の画像がより高い解像度にアップスケールされる必要がある任意の技術的に可能な状況に開示された手法が適用可能であることを当業者は理解するであろう。開示された手法は図４と共に下記にもっと詳細に説明される。
画像をアップスケールするための手順
図４は様々な実施形態に係る不明のダウンスケーリングカーネルを使用してダウンスケールされた画像をアップスケールするための方法ステップのフロー図である。方法ステップは図１～３のシステムと共に説明されるが、当業者はこれらの方法ステップをいずれかの順に実行するように構成されたどのシステムもこれらの実施形態の範囲内に入ることを理解するであろう。
図示のように、方法４００は図１のスケーリングアプリケーション１２０がダウンスケールされた画像を受信するステップ４０２から始まる。ダウンスケールされた画像は複数の異なるシナリオで生成されうる。例えば、メディアコンテンツは高解像度で取り込まれ、次に視覚効果演出などの生成後操作を実行するためにより低い「作業用」解像度にダウンスケールされうる。或いは、ダウンスケールされた画像は、初めに低解像度で取り込まれ及び／又は提示されたが表示のためにより高い解像度にアップスケールされる必要がある単に低解像度画像である場合がある。
ステップ４０４では、スケーリングアプリケーション１２０はダウンスケーリングカーネルを生成する。通常ダウンスケーリングカーネルは不明で、スケーリングエンジン１２０は初めに図３に示すようなカーネル空間からの無作為抽出によりダウンスケーリングカーネルを生成するが、幾つかの状況では、ダウンスケーリングは予め決められている場合がある。１つの実施形態では、スケーリングアプリケーション１２０は初めに複数のダウンスケーリングカーネルを生成し、次に画像アップスケーリングを最も良く容易にするような１つのダウンスケーリングカーネルを選択してもよい。
ステップ４０６では、スケーリングアプリケーション１２０内のカーネルマッピング網２００はステップ４０４で生成されたダウンスケーリングカーネルを潜在空間内に符号化しダウンスケーリングカーネルの潜在表現を生成する。潜在表現はダウンスケーリングカーネルの原版に比べて低減された次元数を有するダウンスケーリングカーネルの圧縮版である。
ステップ４０８では、カーネルマッピング網２００はステップ４０６で生成された潜在表現に基づいて低下マップを生成する。低下マップは低下の様々な空間的に依存する源を示す空間的特徴マップである。カーネルマッピング網２００は、潜在表現を目標のアップスケールされた解像度を有する画像に関連する領域又は画素位置に亘って複写することで、又は各異なる領域又は画素位置について異なる潜在表現を生成しそれらの異なる潜在表現を組み合わせることで低下マップを生成できる。１つの実施形態では、カーネルマッピング網２００は潜在表現を生成するように訓練データに基づいて訓練される畳み込み神経網であってもよく、訓練データは１つ以上のダウンスケーリングカーネル、一組の画像、及びその一組の画像をそれらの１つ以上のダウンスケーリングカーネルを使用してダウンスケールすることで生成された一組のダウンスケールされた画像を含む。
ステップ４１０では、スケーリングアプリケーション１２０内の低下認識生成器網２２０はステップ４０２で受信したダウンスケールされた画像及びステップ４０８で生成された低下マップに基づいて復元画像を生成する。復元画像は、ステップ４０２で受信したダウンスケールされた画像を生成するためにダウンスケールされる元の画像に、幾つかの場合、対応する目標組の寸法及び／又は解像度を有する。１つの実施形態では、低下認識生成器網２２０は潜在表現を生成するように訓練データに基づいて訓練される畳み込み神経網であってもよく、訓練データは１つ以上の低下マップ、一組の画像、及びそれらの１つ以上の低下マップと関連する一組のダウンスケールされた画像を含む。
ステップ４１２では、カーネル識別器網２３０は画像デルタをステップ４０２で受信したダウンスケールされた画像、ステップ４０８で生成された低下マップ、及び低下認識生成器網２２０から引き出された一組の出力に基づいて生成する。１つの実施形態では、その一組の出力は低下認識生成器網２２０に含まれる最終の畳み込み層から得られてもよい。カーネル識別器網２３０はステップ４１０で生成された復元画像内に存在するかも知れない一組のアーティファクトを示す画像デルタを生成する。１つの実施形態では、カーネル識別器網２３０は画像デルタを生成するように訓練データに基づいて訓練される畳み込み神経網であってもよく、訓練データは低下認識生成器網２２０への入力及び／又はからの出力のいずれかを含む。
ステップ４１４では、スケーリングアプリケーション１２０内のパラメータ最適化器２４０はステップ４０４で生成されたダウンスケーリングカーネル及び／又はステップ４０８で生成された低下マップを部分変更して画像デルタを１回以上の処理実行に亘って低減する。特に、パラメータ最適化器２４０は、画像デルタが視覚アーティファクトの閾量未満を示すまで、ダウンスケーリングカーネルを規定する１つ以上のパラメータを繰り返し変更し、及び／又は低下マップを直接部分変更し、次に復元画像及び画像デルタを繰り返し再計算する。
ステップ４１６では、スケーリングエンジン１２０はダウンスケールされた画像より高い解像度の復元画像を出力する。スケーリングエンジン１２０はダウンスケーリングカーネル及び／又は低下マップを最適化して画像デルタを低減するので、ステップ４１６で出力される復元画像はもしあれば最少の視覚アーティファクトを含む。
要約すると、スケーリングアプリケーションはダウンスケールされた画像を生成するのに使用されたダウンスケーリングカーネルを推定する。次にスケーリングアプリケーションはダウンスケールされた画像を推定されたダウンスケーリングカーネルに基づいてアップスケールし、それによりダウンスケールされた画像の最少の視覚アーティファクトを含むより高い解像度版を生成する。スケーリングアプリケーションは上記動作を行う様々な人工神経網を含む。特に、カーネルマッピング網は低下マップを推定されたダウンスケーリングカーネルに基づいて生成する。低下認識生成器網は復元画像をダウンスケールされた画像及び低下マップに基づいて生成する。カーネル識別器網は復元画像内に存在する視覚アーティファクトを反映する画像デルタを生成する。スケーリングアプリケーションは、画像デルタに示された視覚アーティファクトを低減するために、推定されたダウンスケーリングカーネルを繰り返し部分変更するパラメータ最適化器を更に含む。１回以上繰り返すことで、スケーリングアプリケーションはダウンスケーリングカーネルの合理的に正確な推定を生成し、次にダウンスケールされた画像をアップスケールし視覚アーティファクトを低減できる。
従来技術に比べて開示された手法の少なくとも１つの技術的利点は、不明のダウンスケーリングカーネルを使用してダウンスケールされた低解像度の画像は重大な視覚アーティファクトが生じることなくより高い解像度にアップスケールされうることである。従って、開示された手法は、様々な理由でメディアコンテンツをダウンスケールし、次に表示により適したいくらか相対的により高い解像度にアップスケールする必要があるメディア作成過程に適用されうる。これらの技術的利点は従来技術の手法と比較して１つ以上の技術的進歩を表す。
態様１
幾つかの実施形態は画像内容をスケールするためのコンピュータ実行方法を含む。この方法は、スケールされた画像及びスケーリングカーネルに基づいて第１復元画像を生成するステップであって、前記第１復元画像は第１解像度を有し、前記スケールされた画像は第２解像度を有する、ステップと、前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも１つの視覚アーティファクトが前記第１復元画像内に存在することを示す、ステップと、前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第２復元画像を生成するステップであって、前記少なくとも１つの視覚アーティファクトは前記第２復元画像内で低減されているか又は除去されている、ステップとを含む。
態様２
前記第１復元画像を生成するステップは、前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、前記スケールされた画像及び前記低下マップを組み合わせて前記第１復元画像を生成するステップとを含む、態様１記載のコンピュータ実行方法。
態様３
前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルに関連する次元数値を低減することを含む、態様１又は２記載のコンピュータ実行方法。
態様４
前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第１解像度を有するターゲット画像に関連する１つ以上の領域に亘って複写することを含む、態様１～３のいずれかに記載のコンピュータ実行方法。
態様５
前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第１復元画像を生成することを含む、態様１～４のいずれかに記載のコンピュータ実行方法。
態様６
前記画像差を生成するステップは、前記第１復元画像を生成するのに使用される第１畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第１復元画像と前記スケールされた画像の原版の差を表す、ステップとを含む、態様１～５のいずれかに記載のコンピュータ実行方法。
態様７
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第２畳み込み神経網を使用して分類して前記画像差を生成することを含む、態様１～６のいずれかに記載のコンピュータ実行方法。
態様８
前記スケーリングカーネルを部分変更するステップは、パラメータ最適化操作を前記スケーリングカーネル及び前記スケーリングカーネルの符号化版の少なくとも１つを用いて実行することを含む、態様１～７のいずれかに記載のコンピュータ実行方法。
態様９
複数の異なるカーネルを含むカーネル空間から抽出して前記スケーリングカーネルを生成するステップを更に含む態様１～８のいずれかに記載のコンピュータ実行方法。
態様１０
前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記スケールされた画像を生成するステップを更に含む態様１～９のいずれかに記載のコンピュータ実行方法。
態様１１
幾つかの実施形態は、プログラム命令群を記憶する持続性コンピュータ読取可能媒体を含む。前記プログラム命令群は、プロセッサにより実行される時、前記プロセッサに、スケールされた画像及びスケーリングカーネルに基づいて第１復元画像を生成するステップであって、前記第１復元画像は第１解像度を有し、前記スケールされた画像は第２解像度を有する、ステップと、前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも１つの視覚アーティファクトが前記第１復元画像内に存在することを示す、ステップと、前記スケールされた画像と最適化処理により生成される部分変更されたスケーリングカーネルとに基づいて第２復元画像を生成するステップであって、前記少なくとも１つの視覚アーティファクトは前記第２復元画像内で低減されているか又は除去されている、ステップとを実行させることで画像内容をスケールさせる。
態様１２
前記第１復元画像を生成するステップは、前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、前記スケールされた画像及び前記低下マップを組み合わせて前記第１復元画像を生成するステップとを含む、態様１１記載の持続性コンピュータ読取可能媒体。
態様１３
前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルを圧縮して前記スケーリングカーネルより少ない次元数を持つ前記スケーリングカーネルの圧縮版を生成することを含む、態様１１又は１２記載の持続性コンピュータ読取可能媒体。
態様１４
前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第１解像度を有するターゲット画像に関連する１つ以上の領域に亘って複写することを含む、態様１１～１３のいずれかに記載の持続性コンピュータ読取可能媒体。
態様１５
前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第１復元画像を生成することを含む、態様１１～１４のいずれかに記載の持続性コンピュータ読取可能媒体。
態様１６
前記画像差を生成するステップは、前記第１復元画像を生成するのに使用される第１畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第１復元画像と前記スケールされた画像の原版の差を表す、ステップとを含む、態様１１～１５のいずれかに記載の持続性コンピュータ読取可能媒体。
態様１７
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第２畳み込み神経網を使用して分類して前記画像差を生成することを含む、態様１１～１６のいずれかに記載の持続性コンピュータ読取可能媒体。
態様１８
前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記スケールされた画像を生成するステップと、前記スケールされた画像、前記スケーリングカーネル、及び前記第１復元画像の原版を含む訓練データを使用して１つ以上の神経網を前記第１復元画像及び前記画像差を生成するように訓練するステップとを更に含む態様１１～１７のいずれかに記載の持続性コンピュータ読取可能媒体。
態様１９
前記第１解像度は前記第２解像度より大きく、前記スケーリングカーネルはダウンスケーリングカーネルから成る、態様１１～１８のいずれかに記載の持続性コンピュータ読取可能媒体。
態様２０
幾つかの実施形態はソフトウェアアプリケーションを記憶するメモリ及びプロセッサを備えるシステムを含む。前記プロセッサは前記ソフトウェアアプリケーションを実行する時、スケールされた画像及びスケーリングカーネルに基づいて第１復元画像を生成するステップであって、前記第１復元画像は第１解像度を有し、前記スケールされた画像は第２解像度を有する、ステップと、前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも１つの視覚アーティファクトが前記第１復元画像内に存在することを示す、ステップと、前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第２復元画像を生成するステップであって、前記少なくとも１つの視覚アーティファクトは前記第２復元画像内で低減されているか又は除去されている、ステップとを実行するように構成される。
請求項のいずれかに記述された請求要素のいずれか及び／又は本願に記載されたいずれかの要素の任意の組み合わせ及び全ての組み合わせは、任意のやり方で、本実施形態及び保護の考慮された範囲内に入る。
様々な実施形態の説明が例示の目的のために提示されたが、網羅的であることも開示した実施形態に限定されることも意図されていない。説明した実施形態の範囲及び要旨から逸脱することなく多くの改良及び変更が、当業者には明らかであろう。
本実施形態の態様はシステム、方法、又はコンピュータプログラム製品として具体化されてもよい。従って、本開示の態様は完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又は本明細書において一般に「モジュール」又は「システム」と呼ばれうるソフトウェア態様とハードウェア態様を組み合わせた実施形態の形をとってもよい。また、本開示の態様は、コンピュータ読取可能プログラムコードが組み込まれた１つ以上のコンピュータ読取可能媒体に具体化されたコンピュータプログラム製品の形をとってもよい。
１つ以上のコンピュータ読取可能媒体のいずれの組み合わせも利用してよい。コンピュータ読取可能媒体は、コンピュータ読取可能信号媒体又はコンピュータ読取可能記憶媒体であってもよい。コンピュータ読取可能記憶媒体は、例えば、これらに限定されないが、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置、又はデバイス、又はそれらの任意の適切な組み合わせであってよい。コンピュータ読取可能記憶媒体のより具体的な例（非網羅的リスト）は、１つ以上のワイヤーを有する電気的接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去・プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、携帯型コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又はそれらの任意の適切な組み合わせを含むであろう。本明細書の文脈では、コンピュータ読取可能記憶媒体は、命令実行システム、装置、又はデバイスによる又はに関連した使用のためのプログラムを含み又は記憶しうる任意の有形の媒体であってよい。
本開示の態様は、本開示の実施形態に係るフローチャート図及び／又は方法、装置（システム）、及びコンピュータプログラム製品のブロック図を参照して上記で説明されている。フローチャート図及び／又はブロック図の各ブロックと、フローチャート図及び／又はブロック図内のブロックの組み合わせとはコンピュータプログラム命令群により実施されうることは理解されよう。これらのコンピュータプログラム命令は汎用コンピュータ、特殊用途コンピュータ、又は機械を製造する他のプログラム可能データ処理装置のプロセッサに提供されてもよい。コンピュータ又は他のプログラム可能データ処理装置のプロセッサにより実行される時、それらの命令はフローチャート及び／又はブロック図内ブロックに明記された機能／動作の実行を可能にする。このようなプロセッサは、限定されないが、汎用プロセッサ、特殊用途プロセッサ、特定用途向けプロセッサ、又はフィールド・プログラム可能ゲートアレイであってもよい。
図のフローチャート及びブロック図は、本開示の様々な実施形態に係る、システム、方法、及びコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能、及び動作を例示する。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実施するための１つ以上の実行可能命令を含むコードのモジュール、セグメント、又は部分を表す場合がある。なお、幾つかの他の実施形態では、ブロックに記された機能は、図に記された順番から外れて発生してもよい。例えば、続けて示された２つのブロックは、実際には実質的に同時に実行されるか、又は係る機能に依って、時には逆の順番に実行されるかもしれない。また、ブロック図及び／又はフローチャート図の各ブロックと、ブロック図及び／又はフローチャート図内のブロックの組み合わせとは、指定の機能又は動作を実行する特殊用途ハードウェアベースシステム又は特殊用途ハードウェア及びコンピュータ命令群の組み合わせにより実現されうる。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
画像内容をスケールするためのコンピュータ実行方法であって、
スケールされた画像及びスケーリングカーネルに基づいて第１復元画像を生成するステップであって、前記第１復元画像は第１解像度を有し、前記スケールされた画像は第２解像度を有する、ステップと、
前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも１つの視覚アーティファクトが前記第１復元画像内に存在することを示す、ステップと、
前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、
前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第２復元画像を生成するステップであって、前記少なくとも１つの視覚アーティファクトは前記第２復元画像内で低減されているか又は除去されている、ステップと
を含むコンピュータ実行方法。
実施形態２
前記第１復元画像を生成するステップは、
前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、
前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、前記スケールされた画像及び前記低下マップを組み合わせて前記第１復元画像を生成するステップと
を含む、実施形態１に記載のコンピュータ実行方法。
実施形態３
前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルに関連する次元数値を低減することを含む、実施形態２に記載のコンピュータ実行方法。
実施形態４
前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第１解像度を有するターゲット画像に関連する１つ以上の領域に亘って複写することを含む、実施形態２に記載のコンピュータ実行方法。
実施形態５
前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第１復元画像を生成することを含む、実施形態２に記載のコンピュータ実行方法。
実施形態６
前記画像差を生成するステップは、
前記第１復元画像を生成するのに使用される第１畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第１復元画像と前記スケールされた画像の原版の差を表す、ステップと
を含む、実施形態１に記載のコンピュータ実行方法。
実施形態７
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第２畳み込み神経網を使用して分類して前記画像差を生成することを含む、実施形態６に記載のコンピュータ実行方法。
実施形態８
前記ダウンスケーリングカーネルを部分変更するステップは、パラメータ最適化操作を前記ダウンスケーリングカーネル及び前記ダウンスケーリングカーネルの符号化版の少なくとも１つを用いて実行することを含む、実施形態１に記載のコンピュータ実行方法。
実施形態９
複数の異なるカーネルを含むカーネル空間から抽出して前記スケーリングカーネルを生成するステップを更に含む実施形態１に記載のコンピュータ実行方法。
実施形態１０
前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記ダウンスケールされた画像を生成するステップを更に含む実施形態１に記載のコンピュータ実行方法。
実施形態１１
プログラム命令群を記憶する持続性コンピュータ読取可能媒体であって、前記プログラム命令群は、プロセッサにより実行される時、前記プロセッサに、
スケールされた画像及びスケーリングカーネルに基づいて第１復元画像を生成するステップであって、前記第１復元画像は第１解像度を有し、前記スケールされた画像は第２解像度を有する、ステップと、
前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも１つの視覚アーティファクトが前記第１復元画像内に存在することを示す、ステップと、
前記スケールされた画像と最適化処理により生成される部分変更されたスケーリングカーネルとに基づいて第２復元画像を生成するステップであって、前記少なくとも１つの視覚アーティファクトは前記第２復元画像内で低減されているか又は除去されている、ステップと
を実行させることで画像内容をスケールさせる、持続性コンピュータ読取可能媒体。
実施形態１２
前記第１復元画像を生成するステップは、
前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、
前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、
前記スケールされた画像及び前記低下マップを組み合わせて前記第１復元画像を生成するステップと
を含む、実施形態１１に記載の持続性コンピュータ読取可能媒体。
実施形態１３
前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルを圧縮して前記スケーリングカーネルより少ない次元数を持つ前記スケーリングカーネルの圧縮版を生成することを含む、実施形態１２に記載の持続性コンピュータ読取可能媒体。
実施形態１４
前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第１解像度を有するターゲット画像に関連する１つ以上の領域に亘って複写することを含む、実施形態１２に記載の持続性コンピュータ読取可能媒体。
実施形態１５
前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第１復元画像を生成することを含む、実施形態１２に記載の持続性コンピュータ読取可能媒体。
実施形態１６
前記画像差を生成するステップは、
前記第１復元画像を生成するのに使用される第１畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第１復元画像と前記スケールされた画像の原版の差を表す、ステップと
を含む、実施形態１１に記載の持続性コンピュータ読取可能媒体。
実施形態１７
前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第２畳み込み神経網を使用して分類して前記画像差を生成することを含む、実施形態１６に記載の持続性コンピュータ読取可能媒体。
実施形態１８
前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記ダウンスケールされた画像を生成するステップと、
前記スケールされた画像、前記スケーリングカーネル、及び前記第１復元画像の原版を含む訓練データを使用して１つ以上の神経網を前記第１復元画像及び前記画像差を生成するように訓練するステップと
を更に含む実施形態１１に記載の持続性コンピュータ読取可能媒体。
実施形態１９
前記第１解像度は前記第２解像度より大きく、前記スケーリングカーネルはダウンスケーリングカーネルから成る、実施形態１１に記載の持続性コンピュータ読取可能媒体。
実施形態２０
ソフトウェアアプリケーションを記憶するメモリ及びプロセッサを備えるシステムであって、前記プロセッサは前記ソフトウェアアプリケーションを実行する時、
スケールされた画像及びスケーリングカーネルに基づいて第１復元画像を生成するステップであって、前記第１復元画像は第１解像度を有し、前記スケールされた画像は第２解像度を有する、ステップと、
前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも１つの視覚アーティファクトが前記第１復元画像内に存在することを示す、ステップと、
前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、
前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第２復元画像を生成するステップであって、前記少なくとも１つの視覚アーティファクトは前記第２復元画像内で低減されているか又は除去されている、ステップと
を実行するように構成される、システム。

１００ システム
１１０ クライアント
１１２、１３２ プロセッサ
１１４、１３４ Ｉ／Ｏ装置
１１６、１３６ メモリ
１１８ データベース
１２０ スケーリングアプリケーション
１２２ グラフィカル・ユーザーインターフェース（ＧＵＩ）
１３０ サーバー
１５０ ネットワーク
２００ カーネルマッピング網
２０２ ダウンスケーリングカーネル
２０４ 潜在表現
２０６ 低下マップ
２０８ ダウンスケールされた画像
２１０ 入力データ
２２０ 低下認識生成器網
２２２ 復元画像
２３０ カーネル識別器網
２３２ 画像デルタ
２４０ パラメータ最適化器
２５０ 訓練エンジン
２５４ 元の画像

Claims (18)

  1. 画像内容をスケールするためのコンピュータ実行方法であって、
    スケールされた画像及びスケーリングカーネルに基づいて第１復元画像を生成するステップであって、前記第１復元画像は第１解像度を有し、前記スケールされた画像は第２解像度を有する、ステップと、
    前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも１つの視覚アーティファクトが前記第１復元画像内に存在することを示す、ステップと、
    前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、
    前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第２復元画像を生成するステップであって、前記少なくとも１つの視覚アーティファクトは前記第２復元画像内で低減されているか又は除去されている、ステップと
    を含み、
    前記第１復元画像を生成するステップは、
    前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、
    前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、
    前記スケールされた画像及び前記低下マップを組み合わせ、前記スケールされた画像の少なくとも一部及び前記低下マップを神経網を使用して分類して前記第１復元画像を生成するステップと
    を含むコンピュータ実行方法。
  2. 前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルに関連する次元数値を低減することを含む、請求項１記載のコンピュータ実行方法。
  3. 前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第１解像度を有するターゲット画像に関連する１つ以上の領域に亘って複写することを含む、請求項１記載のコンピュータ実行方法。
  4. 前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第１復元画像を生成することを含む、請求項１記載のコンピュータ実行方法。
  5. 前記画像差を生成するステップは、
    前記第１復元画像を生成するのに使用される第１畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、
    前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第１復元画像と前記スケールされた画像の原版の差を表す、ステップと
    を含む、請求項１記載のコンピュータ実行方法。
  6. 前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第２畳み込み神経網を使用して分類して前記画像差を生成することを含む、請求項５記載のコンピュータ実行方法。
  7. 前記スケーリングカーネルを部分変更するステップは、パラメータ最適化操作を前記スケーリングカーネル及び前記スケーリングカーネルの符号化版の少なくとも１つを用いて実行することを含む、請求項１記載のコンピュータ実行方法。
  8. 複数の異なるカーネルを含むカーネル空間から抽出して前記スケーリングカーネルを生成するステップを更に含む請求項１記載のコンピュータ実行方法。
  9. 前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記スケールされた画像を生成するステップを更に含む請求項１記載のコンピュータ実行方法。
  10. プログラム命令群を記憶する持続性コンピュータ読取可能媒体であって、前記プログラム命令群は、プロセッサにより実行される時、前記プロセッサに、
    スケールされた画像及びスケーリングカーネルに基づいて第１復元画像を生成するステップであって、前記第１復元画像は第１解像度を有し、前記スケールされた画像は第２解像度を有する、ステップと、
    前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも１つの視覚アーティファクトが前記第１復元画像内に存在することを示す、ステップと、
    前記スケールされた画像と最適化処理により生成される部分変更されたスケーリングカーネルとに基づいて第２復元画像を生成するステップであって、前記少なくとも１つの視覚アーティファクトは前記第２復元画像内で低減されているか又は除去されている、ステップと
    を実行させることで画像内容をスケールさせ、
    前記第１復元画像を生成するステップは、
    前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、
    前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、
    前記スケールされた画像及び前記低下マップを組み合わせ、前記スケールされた画像の少なくとも一部及び前記低下マップを神経網を使用して分類して前記第１復元画像を生成するステップと
    を含む、持続性コンピュータ読取可能媒体。
  11. 前記スケーリングカーネルを前記潜在空間内に符号化するステップは、前記スケーリングカーネルを圧縮して前記スケーリングカーネルより少ない次元数を持つ前記スケーリングカーネルの圧縮版を生成することを含む、請求項１０記載の持続性コンピュータ読取可能媒体。
  12. 前記低下マップを生成するステップは、前記スケーリングカーネルの前記潜在表現を前記第１解像度を有するターゲット画像に関連する１つ以上の領域に亘って複写することを含む、請求項１０記載の持続性コンピュータ読取可能媒体。
  13. 前記スケールされた画像及び前記低下マップを組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを畳み込み神経網を使用して分類して前記第１復元画像を生成することを含む、請求項１０記載の持続性コンピュータ読取可能媒体。
  14. 前記画像差を生成するステップは、
    前記第１復元画像を生成するのに使用される第１畳み込み神経網の畳み込み層から引き出された一組の出力を得るステップと、
    前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせて前記画像差を生成するステップであって、前記画像差は前記第１復元画像と前記スケールされた画像の原版の差を表す、ステップと
    を含む、請求項１０記載の持続性コンピュータ読取可能媒体。
  15. 前記スケールされた画像及び前記低下マップを前記一組の出力と組み合わせるステップは、前記スケールされた画像の少なくとも一部及び前記低下マップを第２畳み込み神経網を使用して分類して前記画像差を生成することを含む、請求項１４記載の持続性コンピュータ読取可能媒体。
  16. 前記スケーリングカーネル及び前記スケールされた画像の原版に基づいて前記スケールされた画像を生成するステップと、
    前記スケールされた画像、前記スケーリングカーネル、及び前記第１復元画像の原版を含む訓練データを使用して１つ以上の神経網を前記第１復元画像及び前記画像差を生成するように訓練するステップと
    を更に含む請求項１０記載の持続性コンピュータ読取可能媒体。
  17. 前記第１解像度は前記第２解像度より大きく、前記スケーリングカーネルはダウンスケーリングカーネルから成る、請求項１０記載の持続性コンピュータ読取可能媒体。
  18. ソフトウェアアプリケーションを記憶するメモリ及びプロセッサを備えるシステムであって、前記プロセッサは前記ソフトウェアアプリケーションを実行する時、
    スケールされた画像及びスケーリングカーネルに基づいて第１復元画像を生成するステップであって、前記第１復元画像は第１解像度を有し、前記スケールされた画像は第２解像度を有する、ステップと、
    前記スケールされた画像及び前記スケーリングカーネルに基づいて画像差を生成するステップであって、前記画像差は少なくとも１つの視覚アーティファクトが前記第１復元画像内に存在することを示す、ステップと、
    前記スケーリングカーネルを部分変更して変更されたスケーリングカーネルを生成するステップと、
    前記スケールされた画像及び前記変更されたスケーリングカーネルに基づいて第２復元画像を生成するステップであって、前記少なくとも１つの視覚アーティファクトは前記第２復元画像内で低減されているか又は除去されている、ステップと
    を実行するように構成され、
    前記第１復元画像を生成するステップは、
    前記スケーリングカーネルを潜在空間内に符号化して前記スケーリングカーネルの潜在表現を生成するステップと、
    前記スケーリングカーネルの前記潜在表現に基づいて低下マップを生成するステップと、
    前記スケールされた画像及び前記低下マップを組み合わせ、前記スケールされた画像の少なくとも一部及び前記低下マップを神経網を使用して分類して前記第１復元画像を生成するステップと
    を含む、システム。
JP2020133682A 2019-08-15 2020-08-06 不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法 Active JP7303783B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/542,227 US11080824B2 (en) 2019-08-15 2019-08-15 Techniques for upscaling images generated with undetermined downscaling kernels
US16/542,227 2019-08-15

Publications (3)

Publication Number Publication Date
JP2021034038A JP2021034038A (ja) 2021-03-01
JP2021034038A5 JP2021034038A5 (ja) 2021-07-26
JP7303783B2 true JP7303783B2 (ja) 2023-07-05

Family

ID=71950572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020133682A Active JP7303783B2 (ja) 2019-08-15 2020-08-06 不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法

Country Status (4)

Country Link
US (1) US11080824B2 (ja)
EP (1) EP3779863B1 (ja)
JP (1) JP7303783B2 (ja)
KR (1) KR102512507B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126895B2 (en) * 2019-05-22 2021-09-21 Lawrence Livermore National Security, Llc Mimicking of corruption in images
US11769227B2 (en) * 2021-08-12 2023-09-26 Adobe Inc. Generating synthesized digital images utilizing a multi-resolution generator neural network

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6276901B1 (ja) * 2017-05-26 2018-02-07 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US10885608B2 (en) * 2018-06-06 2021-01-05 Adobe Inc. Super-resolution with reference images
US11107205B2 (en) * 2019-02-18 2021-08-31 Samsung Electronics Co., Ltd. Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
US10977524B2 (en) * 2019-04-11 2021-04-13 Open Text Sa Ulc Classification with segmentation neural network for image-based content capture

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jinjin Gu 他，Blind Super-ResolutionWith Iterative Kernel Correction，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) ，IEEE，2019年06月15日，p1604-1613

Also Published As

Publication number Publication date
JP2021034038A (ja) 2021-03-01
KR20210021272A (ko) 2021-02-25
KR102512507B1 (ko) 2023-03-22
EP3779863A1 (en) 2021-02-17
US11080824B2 (en) 2021-08-03
US20210049739A1 (en) 2021-02-18
EP3779863B1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
US10783611B2 (en) Frame-recurrent video super-resolution
Lai et al. Deep laplacian pyramid networks for fast and accurate super-resolution
CN113014927B (zh) 图像压缩方法和图像压缩装置
Li et al. FilterNet: Adaptive information filtering network for accurate and fast image super-resolution
EP3721628B1 (en) Processing signal data using an upsampling adjuster
KR102225024B1 (ko) 이미지 채움 장치 및 방법
EP2529353A1 (en) Method and system for generating an output image of increased pixel resolution from an input image
JP7303783B2 (ja) 不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法
CN114868401A (zh) 使用下采样/上采样和深度图非线性滤波对视频数据的编码方案
US11308361B1 (en) Checkerboard artifact free sub-pixel convolution
WO2016108847A1 (en) Methods and apparatus for processing motion information images
Sidike et al. A fast single-image super-resolution via directional edge-guided regularized extreme learning regression
Gao et al. A fast view synthesis implementation method for light field applications
US10964076B2 (en) Method and system for solving inverse problems in image processing using deep dictionary learning (DDL)
CN113902617B (zh) 基于参考图像的超分辨率方法、装置、设备及介质
US20220321830A1 (en) Optimization of adaptive convolutions for video frame interpolation
KR102353837B1 (ko) 고해상도 얼굴 영상 복원 방법 및 장치
WO2020263112A1 (en) Image processing method and apparatus and computer program product for the same
KR102244457B1 (ko) 시멘틱 구역화를 위한 상향샘플링 방법 및 시스템
Liu et al. Soft-introVAE for continuous latent space image super-resolution
Ahmed et al. Digital image inpainting techniques for cultural heritage preservation and restoration
US20230342893A1 (en) Transferring faces between digital images by combining latent codes utilizing a blending network
US20230237628A1 (en) Modeling continuous kernels to generate an enhanced digital image from a burst of digital images
Ye et al. Learning multi-granularity semantic interactive representation for joint low-light image enhancement and super-resolution
CN117557452A (zh) 一种图像还原方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220720

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221020

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230623

R150 Certificate of patent or registration of utility model

Ref document number: 7303783

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150