JP6490871B2 - 画像アップスケーリング - Google Patents
画像アップスケーリング Download PDFInfo
- Publication number
- JP6490871B2 JP6490871B2 JP2018520600A JP2018520600A JP6490871B2 JP 6490871 B2 JP6490871 B2 JP 6490871B2 JP 2018520600 A JP2018520600 A JP 2018520600A JP 2018520600 A JP2018520600 A JP 2018520600A JP 6490871 B2 JP6490871 B2 JP 6490871B2
- Authority
- JP
- Japan
- Prior art keywords
- subset
- pixel
- pixel subset
- image
- subsets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims description 171
- 238000000034 method Methods 0.000 claims description 103
- 238000012545 processing Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 43
- 238000009877 rendering Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 10
- 230000001235 sensitizing effect Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 description 37
- 238000004590 computer program Methods 0.000 description 22
- 230000015654 memory Effects 0.000 description 21
- 239000013598 vector Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010070834 Sensitisation Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/36—Level of detail
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Description
図1は、トレーニングおよびランタイムの間にハッシングを使用して画像をアップスケールするアップスケーリング・システム100の例を示す。幾つかの実装では、当該アップスケーリング・システムは、他のシステムと比べてアップスケールされた画像の品質を保ちつつ、当該画像の処理時間を削減しうる。
図2は、アップスケーリング・トレーニング・システム200の例である。アップスケーリング・トレーニング・システム200が低解像度画像202および高解像度画像210を受信し、画素のパッチに対するフィルタを、例えば、最小二乗ソルバ220a−dを用いて学習する。アップスケーリング・トレーニング・システム200は、画像をアップスケールする際に使用するためにアップスケーリング・ランタイム・システムに、例えば、以下でより詳細に説明される図3AおよびBのアップスケーリング・ランタイム・システムに、当該フィルタを提供する。
図3AおよびBは、アップスケーリング・ランタイム・システム300a−bの例である。アップスケーリング・ランタイム・システム300a−bは、アップスケーリング・トレーニング・システム200により生成されたフィルタを使用して、低解像度画像302をより高い解像度画像、例えば、出力画像312にアップスケールする。例えば、アップスケーリング・ランタイム・システム300a−bは、アップスケーリング・トレーニング・システム200により使用される同一のアップスケーリング方法、例えば、同一の高速な、軽量な、またはその両方の、アップスケーリング・トレーニング・システム200により使用されるアップスケーリング方法を用いて、低解像度画像302をアップスケールする304。
図4は、例えば、トレーニングに、ランタイム、またはその両方の間に画像をアップスケールするためのコンピュータ・システム400の例である。幾つかの実装では、当該フィルタを生成する同一のコンピュータ・システム400はランタイムの間に当該フィルタを使用してもよい。幾つかの実装では、第1のコンピュータ・システムはトレーニングの間に当該フィルタを生成し、画像をアップスケールためのランタイム利用のために、当該フィルタを、第1のコンピュータ・システムと異なるコンピュータ・システムである第2のコンピュータ・システムに提供する。
図5は、画像アップスケーリングのためのフィルタを決定するためのプロセス500の流れ図である。例えば、プロセス500を、図4で示したコンピュータ・システム400により使用されることができる。
図6は、高解像度画像を生成するためのプロセス600の流れ図である。例えば、プロセス600を図4で示したコンピュータ・システム400により使用することができる。
幾つかの実装では、アップスケーリング・システムは、任意の介在パッチなしに特定のパッチのすぐ隣のパッチからの情報を用いて、特定のパッチのプロパティの値を決定してもよい。例えば、アップスケーリング・システムは、当該特定のパッチおよび4つの隣接パッチ、例えば、任意の介在パッチなしに当該特定のパッチの直上、直下、すぐ左、およびすぐ右のパッチを用いて、特定のパッチに対する勾配の角度を決定してもよい。幾つかの例では、アップスケーリング・システムは、当該特定のパッチのすぐ隣のパッチの全てからの情報を用いてパッチのプロパティを決定してもよい。
本明細書で説明した主題および当該機能的動作の実施形態を、デジタル電子回路で、有形に−具現化されたコンピュータソフトウェアまたはファームウェアで、当該構造開示された本明細書およびそれらの構造的な均等物で、またはそれらの1つまたは複数の組合せでを含めて、コンピュータハードウェアで実装することができる。本明細書で説明した主題の実施形態を、1つまたは複数のコンピュータ・プログラム、即ち、データ処理装置により実行するためのまたはその動作を制御するための有形非-一時的プログラム・キャリアで符号化されたコンピュータ・プログラム命令の1つまたは複数のモジュールとして実装することができる。あるいはまたはさらに、当該プログラム命令は、データ処理装置により実行するための適切な受信機装置に送信するための情報を符号化するために生成される、人工的に-生成された伝播信号、例えば、マシン生成された電気的、光学的、または電磁気信号で符号化されることができる。当該コンピュータ記憶媒体はマシン可読記憶デバイス、マシン可読記憶基板、ランダムまたはシリアル・アクセス・メモリデバイス、またはそれらの1つまたは複数の組合せであることができる。
402 プロセッサ
404 ビデオ・プロセッサ
406 ディスプレイ
408 画像信号プロセッサ
410 メモリ
Claims (22)
- データ処理装置と、
前記データ処理装置とデータ通信し、前記データ処理装置により実行可能な命令を格納し、かかる実行の際前記データ処理装置に、
特定のコンテンツを描画する第1の解像度を有する低解像度画像を前記第1の解像度より高い第2の解像度にアップスケールして、第1のアップスケールされた画像を生成するステップと、
前記第1のアップスケールされた画像の第1の画素サブセットを生成するステップであって、前記第1の画素サブセット内の各サブセットは第1のサイズを有し、前記第1のアップスケールされた画像内の各画素は前記第1の画素サブセット内のサブセットに含まれる、ステップと、
前記特定のコンテンツを描画する、前記第1の解像度より高い第3の解像度を有する高解像度画像の第2の画素サブセットを生成するステップであって、前記第2の画素サブセット内の各サブセットは第2のサイズを有し、前記高解像度画像内の各画素は前記第2の画素サブセット内のサブセットに含まれ、前記第1の画素サブセットの量は前記第2の画素サブセットの量と同じであり、前記第1の画素サブセットの各々は前記第2の画素サブセットの各々に対応し、前記高解像度画像は前記第1のアップスケールされた画像から分離した画像である、ステップと、
前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、a)前記対応する画素サブセットおよびb)前記対応する画素サブセットに含まれない1つまたは複数の画素を含む前記対応する画素サブセットに隣接する少なくとも1つの画素サブセットを用いて、前記対応する画素サブセットのプロパティの値を決定するステップと、
前記対応する画素サブセットの前記プロパティの値を用いて、前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、前記対応する画素サブセットが属する1群のサブセットを決定するステップであって、各画素サブセットは1つのグループのみに含まれる、ステップと、
前記1群のサブセットの各々に対して、前記グループ内の前記画素サブセットに対応する前記第1の画素サブセットの各々に適用して前記第1の画素サブセットを用いて前記対応する第2の画素サブセットを近似する最終画素サブセットを生成するためのフィルタを決定するステップであって、前記最終画素サブセットの全ての組合せは第2のアップスケールされた画像を表す、ステップと、
を含む動作を実施させる、非一時的コンピュータ可読記憶媒体と、
を備える、システム。 - 前記動作は、
前記低解像度画像をアップスケールする前に、前記低解像度画像を受信するステップと、
前記高解像度画像の前記第2の画素サブセットを生成する前に、前記高解像度画像を受信するステップと、
を含む、請求項1に記載のシステム。 - 特定のコンテンツを描画する前記第1の解像度を有する前記低解像度画像を前記第1の解像度より高い前記第2の解像度にアップスケールして、前記第1のアップスケールされた画像を生成するステップは、前記低解像度画像を前記高解像度画像の前記第3の解像度にアップスケールするステップを含む、請求項1に記載のシステム。
- 前記第1のサイズは前記第2のサイズと同じサイズであり、
前記高解像度画像の前記第2の画素サブセットを生成するステップであって、前記第2の画素サブセット内の各サブセットは前記第2のサイズを有する、ステップは、前記高解像度画像の前記第2の画素サブセットを生成するステップであって、前記第2の画素サブセット内の各サブセットは前記第1のサイズを有する、ステップを含む、請求項1に記載のシステム。 - 前記第1のアップスケールされた画像の前記第1の画素サブセットを生成するステップは、前記第1のアップスケールされた画像の第1の非重複画素サブセットを生成するステップを含み、
前記第3の解像度を有する前記高解像度画像の第2の画素サブセットを生成するステップは、前記高解像度画像の第2の非重複画素サブセットを生成するステップを含む、
請求項1に記載のシステム。 - 前記第1のアップスケールされた画像の前記第1の画素サブセットを生成するステップは、前記第1のアップスケールされた画像の第1の重複画素サブセットを生成するステップを含み、
前記第3の解像度を有する前記高解像度画像の第2の画素サブセットを生成するステップは、前記高解像度画像の第2の重複画素サブセットを生成するステップを含む、
請求項1に記載のシステム。 - 前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、前記対応する画素サブセットの前記プロパティの値を決定するステップは、前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、前記対応する画素サブセットのエッジの角度を決定するステップを含む、請求項1に記載のシステム。
- 前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、前記対応する画素サブセットの前記プロパティの値を決定するステップは、前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、前記対応する画素サブセットのエッジの派生物を決定するステップを含む、請求項1に記載のシステム。
- 前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、前記対応する画素サブセットの前記プロパティの値を決定するステップは、前記対応する画素サブセットおよび前記対応する画素サブセットに含まれない1つまたは複数の画素を各々含む前記対応する画素サブセットに隣接する全ての画素サブセットを用いて、前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、前記対応する画素サブセットの前記プロパティの値を決定するステップを含む、請求項1に記載のシステム。
- 前記1群のサブセットの各々に対して、前記フィルタを決定するステップは、トレーニング・プロセス中に、前記1群のサブセットの各々に対して、前記フィルタを決定するステップを含み、
前記動作は、前記トレーニング・プロセス中に、前記低解像度画像のアップスケーリングの前に前記低解像度画像を圧縮するステップを含む、請求項1に記載のシステム。 - 前記1群のサブセットの各々に対して、前記フィルタを決定するステップは、トレーニング・プロセス中に、前記1群のサブセットの各々に対して、前記フィルタを決定するステップを含み、
前記動作は、前記トレーニング・プロセス中に、前記高解像度画像の前記第2の画素サブセットを生成する前に前記高解像度画像を鋭敏化するステップを含む、請求項1に記載のシステム。 - 前記動作は、
前記1群のサブセットの各々に対して、前記グループ内の前記最終画素サブセットの各々に適用して、前記最終画素サブセットを用いて前記対応する第2の画素サブセットを近似する第2の最終画素サブセットを生成するための第2のフィルタを決定するステップであって、前記第2の最終画素サブセットの全ての組合せは第3のアップスケールされた画像を表す、ステップを含む、請求項1に記載のシステム。 - 前記1群のサブセットの各々に対して、前記グループ内の前記画素サブセットに対応する前記第1の画素サブセットの各々に適用して前記第1の画素サブセットを用いて前記対応する第2の画素サブセットを近似する前記最終画素サブセットを生成するための前記フィルタを決定するステップは、
前記1群のサブセットの各々に対して、前記グループ内の前記画素サブセットに対応する前記第1の画素サブセットの各々に適用するための水平フィルタを決定するステップと、
前記1群のサブセットの各々に対して、前記グループ内の前記画素サブセットに対応する前記第1の画素サブセットの各々に適用するための垂直フィルタを決定するステップと、
を含む、請求項1に記載のシステム。 - 前記1群のサブセットの各々に対して、前記グループ内の前記画素サブセットに対応する前記第1の画素サブセットの各々に適用して前記第1の画素サブセットを用いて前記対応する第2の画素サブセットを近似する前記最終画素サブセットを生成するための前記フィルタを決定するステップは、前記1群のサブセットの各々に対して、他のグループに対する前記フィルタと異なる前記グループ内の前記画素サブセットに対応する前記第1の画素サブセットの各々に適用するための一意なフィルタを決定するステップを含む、請求項1に記載のシステム。
- 前記データ処理装置は自動的に前記低解像度画像をアップスケールして、前記第1のアップスケールされた画像を生成する、請求項1に記載のシステム。
- 前記データ処理装置および前記コンピュータ可読記憶媒体を含むモバイル・デバイスを含む、請求項1に記載のシステム。
- 前記データ処理装置および前記コンピュータ可読記憶媒体を含むパーソナル・コンピュータを備える、請求項1に記載のシステム。
- 特定のコンテンツを描画する第1の解像度を有する低解像度画像を前記第1の解像度より高い第2の解像度にアップスケールして、第1のアップスケールされた画像を生成するプロセッサと、
データ処理装置と、
前記データ処理装置とデータ通信し、前記データ処理装置により実行可能な命令を格納し、かかる実行の際前記データ処理装置に、
前記第1のアップスケールされた画像の第1の画素サブセットを生成するステップであって、前記第1の画素サブセット内の各サブセットは第1のサイズを有し、前記第1のアップスケールされた画像内の各画素は前記第1の画素サブセット内のサブセットに含まれる、ステップと、
前記特定のコンテンツを描画する、前記第1の解像度より高い第3の解像度を有する高解像度画像の第2の画素サブセットを生成するステップであって、前記第2の画素サブセット内の各サブセットは第2のサイズを有し、前記高解像度画像内の各画素は前記第2の画素サブセット内のサブセットに含まれ、前記第1の画素サブセットの量は前記第2の画素サブセットの量と同じであり、前記第1の画素サブセットの各々は前記第2の画素サブセットの各々に対応し、前記高解像度画像は前記第1のアップスケールされた画像から分離した画像である、ステップと、
前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、a)前記対応する画素サブセットおよびb)前記対応する画素サブセットに含まれない1つまたは複数の画素を含む前記対応する画素サブセットに隣接する少なくとも1つの画素サブセットを用いて、前記対応する画素サブセットのプロパティの値を決定するステップと、
前記対応する画素サブセットの前記プロパティの値を用いて、前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、前記対応する画素サブセットが属する1群のサブセットを決定するステップであって、各画素サブセットは1つのグループのみに含まれる、ステップと、
前記1群のサブセットの各々に対して、前記グループ内の前記画素サブセットに対応する前記第1の画素サブセットの各々に適用して前記第1の画素サブセットを用いて前記対応する第2の画素サブセットを近似する最終画素サブセットを生成するためのフィルタを決定するステップであって、前記最終画素サブセットの全ての組合せは第2のアップスケールされた画像を表す、ステップと、
を含む動作を実施させる、非一時的コンピュータ可読記憶媒体と、
を備える、システム。 - 前記プロセッサは、画像および前記データ処理装置とは異なる信号プロセッサを含む、請求項18に記載のシステム。
- データ処理装置により実行可能な命令を格納し、かかる実行の際前記データ処理装置に、
特定のコンテンツを描画する第1の解像度を有する低解像度画像の第1の画素サブセットを生成するステップであって、前記第1の画素サブセット内の各サブセットは第1のサイズを有し、前記低解像度画像内の各画素は前記第1の画素サブセット内のサブセットに含まれる、ステップと、
前記特定のコンテンツを描画する、前記第1の解像度より高い第2の解像度を有する高解像度画像の第2の画素サブセットを生成するステップであって、前記第2の画素サブセット内の各サブセットは第2のサイズを有し、前記高解像度画像内の各画素は前記第2の画素サブセット内のサブセットに含まれ、前記第1の画素サブセットの量は前記第2の画素サブセットの量と同じであり、前記第1の画素サブセットの各々は前記第2の画素サブセットの各々に対応する、ステップと、
前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、a)前記対応する画素サブセットおよびb)前記対応する画素サブセットに含まれない1つまたは複数の画素を含む前記対応する画素サブセットに隣接する少なくとも1つの画素サブセットを用いて、前記対応する画素サブセットのプロパティの値を決定するステップと、
前記対応する画素サブセットの前記プロパティの値を用いて、前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、前記対応する画素サブセットが属する1群のサブセットを決定するステップであって、各画素サブセットは1つのグループのみに含まれる、ステップと、
前記1群のサブセットの各々に対して、前記グループ内の前記画素サブセットに対応する前記第1の画素サブセットの各々に適用して前記第1の画素サブセットを用いて前記対応する第2の画素サブセットを近似する最終画素サブセットを生成するためのフィルタを決定するステップであって、前記最終画素サブセットの全ての組合せは前記特定のコンテンツを描画するアップスケールされた画像を表す、ステップと、
を含む動作を実施させる、非一時的コンピュータ可読記憶媒体。 - 前記1群のサブセットの各々に対して、前記グループ内の前記画素サブセットに対応する前記第1の画素サブセットの各々に適用して前記第1の画素サブセットを用いて前記対応する第2の画素サブセットを近似する前記最終画素サブセットを生成するための前記フィルタを決定するステップは、前記画素サブセットをアップスケールして、前記第1の画素サブセットを用いて前記対応する第2の画素サブセットを近似する前記最終画素サブセットを生成する単一フィルタを生成するステップを含む、請求項20に記載のコンピュータ可読記憶媒体。
- 特定のコンテンツを描画する第1の解像度を有する低解像度画像を第1の解像度より高い第2の解像度にアップスケールして、第1のアップスケールされた画像を生成するステップと、
前記第1のアップスケールされた画像の第1の画素サブセットを生成するステップであって、前記第1の画素サブセット内の各サブセットは第1のサイズを有し、前記第1のアップスケールされた画像内の各画素は前記第1の画素サブセット内のサブセットに含まれる、ステップと、
前記特定のコンテンツを描画する、前記第1の解像度より高い第3の解像度を有する高解像度画像の第2の画素サブセットを生成するステップであって、前記第2の画素サブセット内の各サブセットは第2のサイズを有し、前記高解像度画像内の各画素は前記第2の画素サブセット内のサブセットに含まれ、前記第1の画素サブセットの量は前記第2の画素サブセットの量と同じであり、前記第1の画素サブセットの各々は前記第2の画素サブセットの各々に対応し、前記高解像度画像は前記第1のアップスケールされた画像とは異なり、前記高解像度画像は前記第1のアップスケールされた画像から分離した画像である、ステップと、
前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、a)前記対応する画素サブセットおよびb)前記対応する画素サブセットに含まれない1つまたは複数の画素を含む前記対応する画素サブセットに隣接する少なくとも1つの画素サブセットを用いて、前記対応する画素サブセットのプロパティの値を決定するステップと、
前記対応する画素サブセットの前記プロパティの値を用いて、前記第1の画素サブセット内のサブセットごとにまたは前記第2の画素サブセット内のサブセットごとに、前記対応する画素サブセットが属する1群のサブセットを決定するステップであって、各画素サブセットは1つのグループのみに含まれる、ステップと、
前記1群のサブセットの各々に対して、前記グループ内の前記画素サブセットに対応する前記第1の画素サブセットの各々に適用して前記第1の画素サブセットを用いて前記対応する第2の画素サブセットを近似する最終画素サブセットを生成するためのフィルタを決定するステップであって、前記最終画素サブセットの全ての組合せは第2のアップスケールされた画像を表し、前記1群のサブセット内の第1のグループに対する第1のフィルタは前記1群のサブセット内の第2のグループに対する第2のフィルタとは異なるフィルタである、ステップと、
を含む、コンピュータ実行型の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/000,670 | 2016-01-19 | ||
US15/000,670 US9996902B2 (en) | 2016-01-19 | 2016-01-19 | Image upscaling |
PCT/US2016/065338 WO2017127171A1 (en) | 2016-01-19 | 2016-12-07 | Image upscaling |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019032606A Division JP6789331B2 (ja) | 2016-01-19 | 2019-02-26 | 画像アップスケーリング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019500667A JP2019500667A (ja) | 2019-01-10 |
JP6490871B2 true JP6490871B2 (ja) | 2019-03-27 |
Family
ID=57680540
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018520600A Active JP6490871B2 (ja) | 2016-01-19 | 2016-12-07 | 画像アップスケーリング |
JP2019032606A Active JP6789331B2 (ja) | 2016-01-19 | 2019-02-26 | 画像アップスケーリング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019032606A Active JP6789331B2 (ja) | 2016-01-19 | 2019-02-26 | 画像アップスケーリング |
Country Status (4)
Country | Link |
---|---|
US (2) | US9996902B2 (ja) |
EP (2) | EP3341911B1 (ja) |
JP (2) | JP6490871B2 (ja) |
WO (1) | WO2017127171A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6391170B2 (ja) * | 2015-09-03 | 2018-09-19 | 東芝メモリ株式会社 | 検査装置 |
KR102580519B1 (ko) * | 2016-09-07 | 2023-09-21 | 삼성전자주식회사 | 영상처리장치 및 기록매체 |
US11082710B2 (en) | 2016-09-14 | 2021-08-03 | Inscape Data, Inc. | Embedding video watermarks without visible impairments |
US11132758B2 (en) * | 2016-09-14 | 2021-09-28 | Inscape Data, Inc. | Embedding data in video without visible impairments |
WO2018178822A1 (en) * | 2017-03-31 | 2018-10-04 | 3M Innovative Properties Company | Image based counterfeit detection |
CN107527069A (zh) * | 2017-08-22 | 2017-12-29 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
US10521878B1 (en) | 2017-09-27 | 2019-12-31 | United Services Automobile Association (Usaa) | Machine-learning for enhanced machine reading of non-ideal capture conditions |
WO2019106474A1 (en) * | 2017-11-30 | 2019-06-06 | 3M Innovative Properties Company | Image based counterfeit detection |
WO2019133052A1 (en) | 2017-12-28 | 2019-07-04 | Yang Shao Wen | Visual fog |
US20190034716A1 (en) | 2017-12-28 | 2019-01-31 | Intel Corporation | Privacy-preserving demographics identification |
KR102516366B1 (ko) | 2018-05-30 | 2023-03-31 | 삼성전자주식회사 | 특징 데이터 획득 방법 및 장치 |
US11265446B2 (en) * | 2018-10-18 | 2022-03-01 | Sony Corporation | Frame handling for ML-based upscaling |
GB2578769B (en) | 2018-11-07 | 2022-07-20 | Advanced Risc Mach Ltd | Data processing systems |
KR20200080926A (ko) * | 2018-12-27 | 2020-07-07 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
GB2583061B (en) * | 2019-02-12 | 2023-03-15 | Advanced Risc Mach Ltd | Data processing systems |
TWI715448B (zh) * | 2020-02-24 | 2021-01-01 | 瑞昱半導體股份有限公司 | 偵測解析度的方法及電子裝置 |
CN113316017B (zh) * | 2020-02-27 | 2023-08-22 | 瑞昱半导体股份有限公司 | 检测分辨率的方法和电子装置 |
KR20230120371A (ko) | 2022-02-09 | 2023-08-17 | 삼성전자주식회사 | 이미지 처리 장치 및 이를 이용한 이미지 처리 방법 |
GB2617145A (en) * | 2022-03-30 | 2023-10-04 | Sony Interactive Entertainment Europe Ltd | Adaptive tile based super resolution |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5796879A (en) * | 1995-05-23 | 1998-08-18 | Hewlett-Packard Company | Area based interpolation for image scaling |
US6330372B1 (en) * | 1999-09-13 | 2001-12-11 | Intel Corporation | Compression edge adaptive video and image sharpening and scaling |
US7330209B2 (en) * | 1999-12-20 | 2008-02-12 | Texas Instruments Incorporated | Digital still camera system and complementary-color-filtered array interpolation method |
JP3714350B2 (ja) * | 2004-01-27 | 2005-11-09 | セイコーエプソン株式会社 | 画像中の人物候補領域抽出方法及び人物候補領域抽出システム並びに人物候補領域抽出プログラム |
US9013511B2 (en) | 2006-08-09 | 2015-04-21 | Qualcomm Incorporated | Adaptive spatial variant interpolation for image upscaling |
CN101849246B (zh) * | 2007-09-19 | 2014-06-11 | 汤姆森特许公司 | 缩放图像的系统和方法 |
US8284314B2 (en) * | 2009-12-16 | 2012-10-09 | Vixs Systems, Inc. | Adaptive edge enhancement using directional components from non-linear filtering |
JP5335713B2 (ja) | 2010-02-16 | 2013-11-06 | 富士フイルム株式会社 | 画像処理方法及び装置並びにプログラム |
JP2014515587A (ja) | 2011-06-01 | 2014-06-30 | ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー | デジタル画像装置用の画像処理パイプラインの学習 |
US8687923B2 (en) | 2011-08-05 | 2014-04-01 | Adobe Systems Incorporated | Robust patch regression based on in-place self-similarity for image upscaling |
EP2662824A1 (en) * | 2012-05-10 | 2013-11-13 | Thomson Licensing | Method and device for generating a super-resolution version of a low resolution input data structure |
KR102080859B1 (ko) | 2013-04-08 | 2020-02-24 | 삼성전자주식회사 | 이미지 프로세서 및 이미지 프로세서의 이미지 처리 방법 |
US9123138B2 (en) * | 2013-06-18 | 2015-09-01 | Adobe Systems Incorporated | Adaptive patch-based image upscaling |
CN103455988B (zh) * | 2013-09-17 | 2016-03-02 | 西安电子科技大学 | 基于结构自相似性与稀疏表示的超分辨率图像重构方法 |
US9734558B2 (en) | 2014-03-20 | 2017-08-15 | Mitsubishi Electric Research Laboratories, Inc. | Method for generating high-resolution images using regression patterns |
WO2015198368A1 (ja) * | 2014-06-24 | 2015-12-30 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
US9256920B1 (en) * | 2014-07-25 | 2016-02-09 | Sharp Laboratories Of America, Inc. | Image enhancement using a patch based technique |
US9734559B1 (en) * | 2014-11-25 | 2017-08-15 | Pixelworks, Inc. | Match error compensation for super-resolution images |
-
2016
- 2016-01-19 US US15/000,670 patent/US9996902B2/en active Active
- 2016-12-07 EP EP16819779.6A patent/EP3341911B1/en active Active
- 2016-12-07 EP EP19207931.7A patent/EP3657431B1/en active Active
- 2016-12-07 JP JP2018520600A patent/JP6490871B2/ja active Active
- 2016-12-07 WO PCT/US2016/065338 patent/WO2017127171A1/en active Application Filing
-
2018
- 2018-05-03 US US15/970,393 patent/US10929952B2/en active Active
-
2019
- 2019-02-26 JP JP2019032606A patent/JP6789331B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP3341911A1 (en) | 2018-07-04 |
EP3657431A1 (en) | 2020-05-27 |
US20170206632A1 (en) | 2017-07-20 |
EP3657431B1 (en) | 2022-08-24 |
US20180253826A1 (en) | 2018-09-06 |
EP3341911B1 (en) | 2020-02-19 |
JP2019117644A (ja) | 2019-07-18 |
JP6789331B2 (ja) | 2020-11-25 |
US10929952B2 (en) | 2021-02-23 |
JP2019500667A (ja) | 2019-01-10 |
WO2017127171A1 (en) | 2017-07-27 |
US9996902B2 (en) | 2018-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6490871B2 (ja) | 画像アップスケーリング | |
Sun et al. | Shufflemixer: An efficient convnet for image super-resolution | |
CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
Yu et al. | A unified learning framework for single image super-resolution | |
US10311547B2 (en) | Image upscaling system, training method thereof, and image upscaling method | |
US8867858B2 (en) | Method and system for generating an output image of increased pixel resolution from an input image | |
Cheon et al. | Generative adversarial network-based image super-resolution using perceptual content losses | |
KR20220124622A (ko) | 이미지 압축 방법 및 이미지 압축 장치 | |
KR20180128888A (ko) | 지각 다운스케일링 방법을 사용하여 이미지를 다운스케일링하기 위한 이미지 처리 시스템 | |
US20210312698A1 (en) | Utilizing voxel feature transformations for deep novel view synthesis | |
JP2011527033A (ja) | 変換の高速でメモリ効率の良い実施のための方法 | |
CN105469363A (zh) | 基于模糊图像生成清晰图像的方法和装置 | |
US20180225806A1 (en) | Brightness-compensating safe pixel art upscaler | |
Wei et al. | Improving resolution of medical images with deep dense convolutional neural network | |
Chierchia et al. | Epigraphical projection and proximal tools for solving constrained convex optimization problems: Part i | |
US20150324953A1 (en) | Method and apparatus for performing single-image super-resolution | |
KR101341617B1 (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
JP5514132B2 (ja) | 画像縮小装置、画像拡大装置、及びこれらのプログラム | |
Chilukuri et al. | Analysing Of Image Quality Computation Models Through Convolutional Neural Network | |
Wang et al. | Data-driven tight frame for multi-channel images and its application to joint color-depth image reconstruction | |
CN116645267A (zh) | 模型训练方法、装置、计算机设备及计算机可读存储介质 | |
CN106796732B (zh) | 基于一维数据的加速图像梯度 | |
US12079957B2 (en) | Modeling continuous kernels to generate an enhanced digital image from a burst of digital images | |
US20130114888A1 (en) | Image processing apparatus, computer program product, and image processing method | |
El Abbadi et al. | Estimating Blur Parameters to Reconstruct the Motion Blurred Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180816 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180629 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180816 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6490871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |