TWI806243B - 超解析度影像產生裝置 - Google Patents

超解析度影像產生裝置 Download PDF

Info

Publication number
TWI806243B
TWI806243B TW110142683A TW110142683A TWI806243B TW I806243 B TWI806243 B TW I806243B TW 110142683 A TW110142683 A TW 110142683A TW 110142683 A TW110142683 A TW 110142683A TW I806243 B TWI806243 B TW I806243B
Authority
TW
Taiwan
Prior art keywords
values
circuit
generate
feature map
image
Prior art date
Application number
TW110142683A
Other languages
English (en)
Other versions
TW202322608A (zh
Inventor
劉康郁
余家偉
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW110142683A priority Critical patent/TWI806243B/zh
Priority to US17/972,195 priority patent/US11995797B2/en
Publication of TW202322608A publication Critical patent/TW202322608A/zh
Application granted granted Critical
Publication of TWI806243B publication Critical patent/TWI806243B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一種超解析度影像產生裝置可彈性地處理一影像，包含影像放大電路、前端電路、第一分支電路、第二分支電路以及運算電路。該影像放大電路放大一低解析度影像以產生一放大影像包含N個像素值。該前端電路提取該低解析度影像的特徵以產生一前端特徵圖。該第一分支電路提取該前端特徵圖的特徵以產生一第一特徵圖，並放大該第一特徵圖以產生N個第一值分別對應該N個像素值。該第二分支電路處理該前端特徵圖以產生一第二特徵圖、放大該第二特徵圖以產生N個第二值、處理該N個第二值以產生N個處理值分別對應該N個像素值。該運算電路結合該N個像素值、N個第一值與N個處理值，以產生一超解析度影像。

Description

超解析度影像產生裝置
本發明是關於影像產生裝置，尤其是關於超解析度影像產生裝置。
人工智慧超解析度(Artificial Intelligence Super-Resolution；AISR)技術與生成對抗網路(Generative Adversarial Network；GAN)技術可用來提高影像解析度，一種代表作法為增強超解析度生成對抗網路(Enhanced Super-Resolution Generative Adversarial Network；ESRGAN)。
ESRGAN的一種範例如下所述：
(1)藉由優化一高解析度影像與該AISR所產生之一影像之間的損失，產生一超解析度權重表(Super-Resolution Weight Table)(後稱模型A)，模型A可用來產生穩定且不容易有偽影(Artifact)的影像，但無法用來產生影像細節。
(2)利用該GAN技術來優化模型A，以產生另一超解析度權重表(後稱模型B)，模型B可用來產生具有細節的影像，但容易使該影像有偽影。
(3)對模型A與模型B的做權重混合(weight blending)，再讓一超解析度生成對抗網路(SRGAN)依據混合後的權重處理一輸入影像(低解析度影像)，以產生一輸出影像(高解析度影像)。
然而，上述作法有下列缺點：
(1)該作法利用混合後的權重來處理整張輸入影像，無法僅利用模型A來處理該輸入影像的某一個區塊以及僅利用模型B來處理該輸入影像的另一個區塊。
(2)該作法無法消除該GAN技術所導致的偽影。
(3)該作法無法利用模型B來對該輸入影像的不同區塊做不同強度的處理。
更多先前技術的說明見於下列參考資料：(1)ESRGAN:Enhanced Super-Resolution Generative Adversarial Networks(https://arxiv.org/pdf/1809.00219.pdf)；(2)Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network(https://arxiv.org/abs/1609.04802)。
本揭露的目的之一在於提供一種超解析度影像產生裝置，以改善先前技術。
本揭露之超解析度影像產生裝置的一實施例包含一影像放大電路、一前端電路、一第一分支電路、一第二分支電路以及一運算電路。該影像放大電路用來放大一低解析度影像，以產生一放大影像，其中該放大影像包含N個像素值，該N為一整數。該前端電路用來提取該低解析度影像的至少一種特徵，以產生一前端特徵圖。該第一分支電路用來提取該前端特徵圖的至少一 種特徵以產生一第一特徵圖，並用來放大該第一特徵圖以產生N個第一值，其中該N個第一值分別對應該N個像素值。該第二分支電路用來處理該前端特徵圖以產生一第二特徵圖、放大該第二特徵圖以產生N個第二值、以及處理該N個第二值以產生N個處理值，其中該第二特徵圖包含影像細節，該N個處理值分別對應該N個像素值。該運算電路耦接該影像放大電路、該第一分支電路與該第二分支電路，用來結合該N個像素值、該N個第一值與該N個處理值，以產生一超解析度影像的N個輸出像素值。
本揭露之超解析度影像產生裝置的另一實施例包含一影像放大電路、一第一分支電路、一第二分支電路以及一運算電路。該影像放大電路用來放大一低解析度影像，以產生一放大影像，其中該放大影像包含N個像素值，該N為一整數。該第一分支電路用來提取該低解析度影像的至少一種特徵以產生一第一特徵圖，並用來放大該第一特徵圖以產生N個第一值，其中該N個第一值分別對應該N個像素值。該第二分支電路用來處理該低解析度影像以產生一第二特徵圖、放大該第二特徵圖以產生N個第二值、以及處理該N個第二值以產生N個處理值，其中該第二特徵圖包含影像細節，該N個處理值分別對應該N個像素值。該運算電路耦接該影像放大電路、該第一分支電路與該第二分支電路，用來結合該N個像素值、該N個第一值與該N個處理值，以產生一超解析度影像的N個輸出像素值。
本揭露之超解析度影像產生裝置的又一實施例包含一前端電路、一第一分支電路、一第二分支電路以及一運算電路。該前端電路用來保留一低解析度影像的原始值以及提取該低解析度影像的至少一種特徵，以產生一前端特徵圖。該第一分支電路用來處理該前端特徵圖以產生一放大影像，其中 該放大影像包含N個穩定像素值，該N為一整數。該第二分支電路用來處理該前端特徵圖以產生一第二特徵圖、放大該第二特徵圖以產生N個第二值、以及處理該N個第二值以產生N個處理值，其中該第二特徵圖包含影像細節，該N個處理值分別對應該N個穩定像素值。該運算電路耦接該第一分支電路與該第二分支電路，用來結合該N個穩定像素值與該N個處理值，以產生一超解析度影像的N個輸出像素值。
有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。
100:超解析度影像產生裝置
110:影像放大電路
120:前端電路
130:第一分支電路
140:第二分支電路
150:運算電路
210:卷積電路
310:第一處理電路
320:第一放大電路
410:生成對抗網路電路
420:後處理電路
510:第二處理電路
520:第二放大電路
610:低通濾波器
620:可控遮罩
630:乘法器
710:第一加總電路
720:第二加總電路
800:超解析度影像產生裝置
810:影像放大電路
820:第一分支電路
830:第二分支電路
840:運算電路
900:超解析度影像產生裝置
910:前端電路
920:第一分支電路
930:第二分支電路
940:運算電路
〔圖1〕顯示本揭露之超解析度影像產生裝置的一實施例；〔圖2〕顯示圖1之前端電路的一實施例；〔圖3〕顯示圖1之第一分支電路的一實施例；〔圖4〕顯示圖1之第二分支電路的一實施例；〔圖5〕顯示圖4之生成對抗網路電路的一實施例；〔圖6〕顯示圖4之後處理電路的一實施例；〔圖7〕顯示圖1之運算電路的一實施例；〔圖8〕顯示本揭露之超解析度影像產生裝置的另一實施例；以及〔圖9〕顯示本揭露之超解析度影像產生裝置的另一實施例。
本說明書揭露一種超解析度(super resolution；SR)影像產生裝置，可彈性地處理一輸入影像以產生一SR影像。舉例而言，本揭露之SR影像產生裝置可分別地對該輸入影像的不同區塊施以不同處理，以產生該SR影像。
圖1顯示本揭露之SR影像產生裝置的一實施例，用來產生一SR影像包含N個輸出像素值。該N為一整數；更明確地說，該N為一輸入影像的像素數目(亦即：該輸入影像的大小)乘以一放大倍率，該輸入影像的像素數目與放大倍率是依實施而定。舉例而言，該N為不小於320×200的整數。圖1的SR影像產生裝置100包含一影像放大電路110、一前端電路120、一第一分支電路130、一第二分支電路140以及一運算電路150。該些電路分述於後。
請參閱圖1。影像放大電路110用來放大一低解析度影像，以產生一放大影像，其中該放大影像包含N個像素值。影像放大電路110是藉由已知/自行開發的技術(例如：影像縮放(image scaling)電路)來實現。
請參閱圖1。前端電路120用來提取該低解析度影像的至少一種特徵，以產生一前端特徵圖(feature map)。圖2顯示前端電路120的一實施例，包含複數個串聯連接的卷積電路210。於一實作範例中，每個卷積電路210利用一卷積核(convolution kernel)(例如：3×3的濾波矩陣，其係數依實施需求而定)按一預定步伐(例如：1)和預定順序(例如：由左至右以及由上至下)滑過一輸入影像，以對該輸入影像執行卷積運算，從而提取該輸入影像的一種特徵(例如：邊緣、線條、角…)，並產生一特徵圖作為下一個卷積電路210的一輸入影像；然此並非本發明的實施限制，卷積電路210可藉由其它已知/自行開發的技術來實現。藉由該些卷積電路210執行多層卷積運算，最終的該前端特徵圖可反映該低解析度影像的特定特徵。前端電路120是藉由已知/自 行開發的技術(例如：卷積神經網路(Convolutional Neural Network；CNN)；殘差網路(Residual Network；Res-net)；或稠密連接卷積網路(Densely Connected Convolutional Network；Dense-net))來實現。
請參閱圖1。第一分支電路130用來提取該前端特徵圖的至少一種特徵，以產生一第一特徵圖。第一分支電路130進一步用來放大該第一特徵圖，以產生N個第一值，其中該N個第一值分別對應該N個像素值。圖3顯示第一分支電路130的一實施例，包含一第一處理電路310與一第一放大電路320。第一處理電路310用來提取該前端特徵圖的該至少一種特徵(例如：銳利化的結果、去雜訊的結果)，以產生該第一特徵圖。第一處理電路310的一實施例如圖2所示，是藉由已知/自行開發的技術(例如：卷積神經網路；殘差網路；或稠密連接卷積網路)來實現；值得注意的是，第一處理電路310之硬體的實施例雖然與前端電路120之硬體的實施例相仿，但兩者的運作參數通常不同，是依各自的實施需求而定。第一放大電路320用來放大該第一特徵圖，以產生N個穩定變動值(stable delta values)作為該N個第一值；第一放大電路320是藉由已知/自行開發的技術(例如：像素洗牌(pixel shuffle)技術)來實現。
請參閱圖1。第二分支電路140用來處理該前端特徵圖以產生一第二特徵圖、放大該第二特徵圖以產生N個第二值、以及處理該N個第二值以產生N個處理值，其中該第二特徵圖包含影像細節，且該影像細節不包含於該前端特徵圖中，該N個處理值分別對應該N個像素值。圖4顯示第二分支電路140的一實施例，包含一生成對抗網路(generative adversarial network；GAN)電路410與一後處理電路420，其中生成對抗網路電路410用來產生該N個第二值。後處理電路420用來產生該N個處理值。
圖5顯示生成對抗網路電路410的一實施例，包含一第二處理電路510與一第二放大電路520。第二處理電路510用來依據該前端特徵圖產生該第二特徵圖，該第二特徵圖包含該影像細節。第二處理電路510的一實施例如圖2所示，是藉由已知/自行開發的技術(例如：卷積神經網路；殘差網路；或稠密連接卷積網路)來實現；值得注意的是，第二處理電路510之硬體的實施例雖然與前端電路120之硬體的實施例相仿，但兩者的運作參數通常不同，是依各自的實施需求而定。第二放大電路520用來放大該第二特徵圖，以產生該N個生成對抗網路變動值作為該N個第二值；第二放大電路520是藉由已知/自行開發的技術(例如：像素洗牌技術)來實現。
圖6顯示後處理電路420的一實施例，包含一低通濾波器610、一可控遮罩(controlled mask)620與一乘法器630。低通濾波器610用來依據該N個生成對抗網路變動值產生N個濾波值，以消除生成對抗網路電路410所產生的偽影(artifact)，其中該N個濾波值分別對應前述放大影像的N個像素值。可控遮罩620用來決定該放大影像之M個區塊的M個權重值W 1~W M，以實現分區控制，其中該M為大於一的整數，該M個區塊分別對應該放大影像之N個像素值的M組像素值，從而分別對應該N個濾波值的M組濾波值。乘法器630耦接可控遮罩620與低通濾波器610，用來依據該M個權重值W 1~W M分別處理對應該M組濾波值，以產生該N個處理值；舉例而言，乘法器630將該M組濾波值的第K組濾波值乘以該M個權重值的第K個權重值，以產生該N個處理值的第K組處理值，其中該K為一整數。
於一實作範例中，可控遮罩620依據外部資訊決定該M個權重值W 1~W M，其中該外部資訊包含下列資訊的至少其中之一：語意切割(semantic segmentation)類別資訊；雜訊偵測資訊；以及動態(motion)強度資訊。於一實作範例中，該M個權重值的至少其中之二不同，以實現對不同影像區域施以不同處理的效果。於一實作範例中，該M個權重值的其中一權重值W K為0，因此，該權重值W K所對應之該放大影像的區塊不會採納第二分支電路140所產生的任何影像細節，僅會採納第一分支電路130的穩定變動值。於一實作範例中，該權重值W K為1，因此，該權重值W K所對應之該放大影像的區塊會採納第二分支電路140所產生的所有影像細節。
請參閱圖1。運算電路150耦接影像放大電路110、第一分支電路130與第二分支電路140，用來結合該N個像素值、該N個第一值與該N個處理值，以產生該SR影像的N個輸出像素值。圖7顯示運算電路150的一實施例，包含一第一加總電路710與一第二加總電路720。第一加總電路710耦接第一放大電路320與後處理電路420，用來加總該N個穩定變動值的一第K變動值以及該N個處理值的一第K處理值，以產生一第K加總值，該第K加總值對應該N個像素值的一第K像素值。第二加總電路720耦接影像放大電路110與第一加總電路710，用來加總該第K像素值與該第K加總值，以產生該N個輸出像素值的一第K輸出像素值。藉由上述方式，該SR影像的N個輸出像素值依序地被產生。
請參閱圖1。值得注意的是，第一分支電路130與第二分支電路140共用前端電路120所產生的前端特徵圖，因此節省了硬體資源。另值得注意的是，前端電路120、第一分支電路130與第二分支電路140之運作參數的最佳化，是在一研發階段時透過一訓練方法來決定，此部分可藉由已知/自行開發的技術來實現。由於本發明著重於SR影像產生裝置的架構，而非如何最佳化SR影像產生裝置的運作參數，因此上述訓練方法不在本發明的討論範圍內。
圖8顯示本揭露之SR影像產生裝置的另一實施例。圖8之SR影像產生裝置800包含一影像放大電路810、一第一分支電路820、一第二分支電路830以及一運算電路840。圖8的實施例與圖1的實施例之間的差別在於：圖8的實施例不包含圖1的前端電路120，而是將前端電路120的功能整合至第一分支電路820與第二分支電路830。因此，第一分支電路820用來提取該低解析度影像(而非前述的前端特徵圖)的至少一種特徵以產生該第一特徵圖，並用來放大該第一特徵圖以產生該N個第一值；第二分支電路830用來處理該低解析度影像(而非前述的前端特徵圖)以產生該第二特徵圖、放大該第二特徵圖以產生該N個第二值、以及處理該N個第二值以產生該N個處理值，其中該第二特徵圖包含影像細節，且該影像細節不包含於該低解析度影像中。
由於本領域具有通常知識者能夠參酌圖1-7之實施例的揭露來瞭解圖8之實施例的細節與變化，亦即圖1-7之實施例的技術特徵可合理地應用於圖8的實施例中，因此，冗餘的說明在此省略。
圖9顯示本揭露之SR影像產生裝置的另一實施例。圖9的SR影像產生裝置900包含一前端電路910、一第一分支電路920、一第二分支電路930以及一運算電路940。圖9的實施例與圖1的實施例之間的差別在於：圖9的實施例不包含圖1的放大電路110，而是讓第一分支電路920保留該低解析度影像的原始值再加以放大。
請參閱圖9。前端電路910(例如：圖2的前端電路120)用來保留該低解析度影像的原始值，以及提取該低解析度影像的至少一種特徵，以產生該前端特徵圖。第一分支電路920包含一處理電路(例如：圖3的第一處理電路310)與一放大電路(例如：圖3的第一放大電路320)。該處理電路用來保 留該低解析度影像的原始值，以及提取該前端特徵圖的至少一種特徵以產生該第一特徵圖。該放大電路用來放大該第一特徵圖以產生該放大影像，其中該放大影像包含該N個穩定像素值，該N個穩定像素值是由N個穩定值以及N個第一值構成，該N個穩定值源自於該低解析度影像的原始值，該N個第一值(例如：前述N個穩定變動值)源自於該前端特徵圖的該至少一種特徵。第二分支電路930用來處理該前端特徵圖以產生該第二特徵圖、放大該第二特徵圖以產生該N個第二值、以及處理該N個第二值以產生該N個處理值，其中該第二特徵圖包含影像細節，且該影像細節不包含於該前端特徵圖中。運算電路940耦接第一分支電路920與第二分支電路930，用來結合該N個穩定像素值與該N個處理值，以產生一SR影像的N個輸出像素值。
由於本領域具有通常知識者能夠參酌圖1-7之實施例的揭露來瞭解圖9之實施例的細節與變化，亦即圖1-7之實施例的技術特徵可合理地應用於圖9的實施例中，因此，冗餘的說明在此省略。
請注意，在實施為可能的前提下，本技術領域具有通常知識者可選擇性地實施前述任一實施例中部分或全部技術特徵，或選擇性地實施前述複數個實施例中部分或全部技術特徵的組合，藉此增加本發明實施時的彈性。
綜上所述，本發明能夠視實施需求，彈性地處理影像，以達到較佳的效果。
雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範 疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。
100:超解析度影像產生裝置 110:影像放大電路 120:前端電路 130:第一分支電路 140:第二分支電路 150:運算電路

Claims (10)

  1. 一種超解析度(super resolution；SR)影像產生裝置，包含：一影像放大電路，用來放大一低解析度影像，以產生一放大影像，其中該放大影像包含N個像素值，該N為一整數；一前端電路，用來提取該低解析度影像的至少一種特徵，以產生一前端特徵圖(feature map)；一第一分支電路，用來提取該前端特徵圖的至少一種特徵以產生一第一特徵圖，並用來放大該第一特徵圖以產生N個第一值，其中該N個第一值分別對應該N個像素值；一第二分支電路，用來處理該前端特徵圖以產生一第二特徵圖、放大該第二特徵圖以產生N個第二值、以及處理該N個第二值以產生N個處理值，其中該第二特徵圖包含影像細節，該N個處理值分別對應該N個像素值，該第二分支電路包含：一生成對抗網路(generative adversarial network；GAN)電路，包含：一第二處理電路，用來依據該前端特徵圖產生該第二特徵圖；以及一第二放大電路，用來放大該第二特徵圖以產生N個生成對抗網路變動值作為該N個第二值；以及一後處理電路，用來依據該N個生成對抗網路變動值執行一分區處理以針對該放大影像的不同區塊，從而產生該N個處理值；以及一運算電路，耦接該影像放大電路、該第一分支電路與該第二分支電路，用來結合該N個像素值、該N個第一值與該N個處理值，以產生一超解析度影像的N個輸出像素值。
  2. 如請求項1之超解析度影像產生裝置，其中：該第一分支電路包含：一第一處理電路，用來提取該前端特徵圖的該至少一種特徵，以產生該第一特徵圖；以及一第一放大電路，用來放大該第一特徵圖以產生N個穩定變動值作為該N個第一值；以及該運算電路包含：一第一加總電路，耦接該第一放大電路與該後處理電路，用來加總該N個穩定變動值的一第K變動值以及該N個處理值的一第K處理值，以產生一第K加總值，該第K加總值對應該N個像素值的一第K像素值；以及一第二加總電路，耦接該影像放大電路與該第一加總電路，用來加總該第K像素值與該第K加總值，以產生該N個輸出像素值的一第K輸出像素值。
  3. 如請求項2之超解析度影像產生裝置，其中該前端電路、該第一處理電路與該第二處理電路的至少其中之一用來依序執行複數層卷積處理。
  4. 如請求項1之超解析度影像產生裝置，其中該後處理電路包含：一低通濾波器，用來依據該N個生成對抗網路變動值產生N個濾波值，該N個濾波值分別對應該N個像素值；一可控遮罩(controlled mask)，用來決定該放大影像之M個區塊的M個權重值，其中該M為大於一的整數，該M個區塊分別對應該放大影像之該N個像素值的M組像素值，從而分別對應該N個濾波值的M組濾波值；以及 一乘法器，耦接該可控遮罩與該低通濾波器，用來依據該M個權重值分別處理該M組濾波值，以產生該N個處理值。
  5. 一種超解析度影像產生裝置，包含：一影像放大電路，用來放大一低解析度影像，以產生一放大影像，其中該放大影像包含N個像素值，該N為一整數；一第一分支電路，用來提取該低解析度影像的至少一種特徵以產生一第一特徵圖，並用來放大該第一特徵圖以產生N個第一值，其中該N個第一值分別對應該N個像素值；一第二分支電路，用來處理該低解析度影像以產生一第二特徵圖、放大該第二特徵圖以產生N個第二值、以及處理該N個第二值以產生N個處理值，其中該第二特徵圖包含影像細節，該N個處理值分別對應該N個像素值，該第二分支電路包含：一生成對抗網路(generative adversarial network；GAN)電路，包含：一第二處理電路，用來依據該低解析度影像產生該第二特徵圖；以及一第二放大電路，用來放大該第二特徵圖以產生N個生成對抗網路變動值作為該N個第二值；以及一後處理電路，用來依據該N個生成對抗網路變動值執行一分區處理以針對該放大影像的不同區塊，從而產生該N個處理值；以及一運算電路，耦接該影像放大電路、該第一分支電路與該第二分支電路，用來結合該N個像素值、該N個第一值與該N個處理值，以產生一超解析度影像的N個輸出像素值。
  6. 如請求項5之超解析度影像產生裝置，其中： 該第一分支電路包含：一第一處理電路，用來提取該低解析度影像的該至少一種特徵，以產生該第一特徵圖；以及一第一放大電路，用來放大該第一特徵圖以產生N個穩定變動值作為該N個第一值；以及該運算電路包含：一第一加總電路，耦接該第一放大電路與該後處理電路，用來加總該N個穩定變動值的一第K變動值以及該N個處理值的一第K處理值，以產生一第K加總值，該第K加總值對應該N個像素值的一第K像素值；以及一第二加總電路，耦接該影像放大電路與該第一加總電路，用來加總該第K像素值與該第K加總值，以產生該N個輸出像素值的一第K輸出像素值。
  7. 如請求項5之超解析度影像產生裝置，其中該後處理電路包含：一低通濾波器，用來依據該N個生成對抗網路變動值產生N個濾波值，該N個濾波值分別對應該N個像素值；一可控遮罩，用來決定該放大影像之M個區塊的M個權重值，其中該M為大於一的整數，該M個區塊分別對應該放大影像之該N個像素值的M組像素值，從而分別對應該N個濾波值的M組濾波值；以及一乘法器，耦接該可控遮罩與該低通濾波器，用來依據該M個權重值分別處理對應該M組濾波值，以產生該N個處理值。
  8. 一種超解析度影像產生裝置，包含： 一前端電路，用來保留一低解析度影像的原始值以及提取該低解析度影像的至少一種特徵，以產生一前端特徵圖；一第一分支電路，用來處理該前端特徵圖以產生一放大影像，其中該放大影像包含N個穩定像素值，該N為一整數；一第二分支電路，用來處理該前端特徵圖以產生一第二特徵圖、放大該第二特徵圖以產生N個第二值、以及處理該N個第二值以產生N個處理值，其中該第二特徵圖包含影像細節，該N個處理值分別對應該N個穩定像素值，該第二分支電路包含：一生成對抗網路(generative adversarial network；GAN)電路，包含：一第二處理電路，用來依據該前端特徵圖產生該第二特徵圖；以及一第二放大電路，用來放大該第二特徵圖以產生N個生成對抗網路變動值作為該N個第二值；以及一後處理電路，用來依據該N個生成對抗網路變動值執行一分區處理以針對該放大影像的不同區塊，從而產生該N個處理值；以及一運算電路，耦接該第一分支電路與該第二分支電路，用來結合該N個穩定像素值與該N個處理值，以產生一超解析度影像的N個輸出像素值。
  9. 如請求項8之超解析度影像產生裝置，其中：該第一分支電路包含：一第一處理電路，用來保留該低解析度影像的原始值以及提取該前端特徵圖的至少一種特徵，以產生一第一特徵圖；以及一第一放大電路，用來放大該第一特徵圖以產生該放大影像，其中該放大影像包含該N個穩定像素值，該N個穩定像素值是由N個穩定值以及N 個第一值構成，該N個穩定值源自於該低解析度影像的原始值，該N個第一值源自於該前端特徵圖的該至少一種特徵；以及該運算電路用來加總該N個穩定像素值的一第K穩定像素值以及該N個處理值的一第K處理值，以產生該N個輸出像素值的一第K輸出像素值。
  10. 如請求項8之超解析度影像產生裝置，其中該後處理電路包含：一低通濾波器，用來依據該N個生成對抗網路變動值產生N個濾波值，該N個濾波值分別對應該N個穩定像素值；一可控遮罩，用來決定該放大影像之M個區塊的M個權重值，其中該M為大於一的整數，該M個區塊分別對應該放大影像之該N個穩定像素值的M組像素值，從而分別對應該N個濾波值的M組濾波值；以及一乘法器，耦接該可控遮罩與該低通濾波器，用來依據該M個權重值分別處理對應該M組濾波值，以產生該N個處理值。
TW110142683A 2021-11-17 2021-11-17 超解析度影像產生裝置 TWI806243B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110142683A TWI806243B (zh) 2021-11-17 2021-11-17 超解析度影像產生裝置
US17/972,195 US11995797B2 (en) 2021-11-17 2022-10-24 Super resolution image generating device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110142683A TWI806243B (zh) 2021-11-17 2021-11-17 超解析度影像產生裝置

Publications (2)

Publication Number Publication Date
TW202322608A TW202322608A (zh) 2023-06-01
TWI806243B true TWI806243B (zh) 2023-06-21

Family

ID=86323714

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110142683A TWI806243B (zh) 2021-11-17 2021-11-17 超解析度影像產生裝置

Country Status (2)

Country Link
US (1) US11995797B2 (zh)
TW (1) TWI806243B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968064A (zh) * 2020-10-22 2020-11-20 成都睿沿科技有限公司 一种图像处理方法、装置、电子设备及存储介质
TW202044196A (zh) * 2019-05-22 2020-12-01 南韓商三星電子股份有限公司 影像處理裝置以及其影像處理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI543586B (zh) * 2014-05-30 2016-07-21 國立交通大學 影像增強的方法及其影像處理裝置與電腦程式產品
KR102570562B1 (ko) * 2018-07-16 2023-08-24 삼성전자주식회사 영상 처리 장치 및 그 동작방법
US11544815B2 (en) * 2019-11-18 2023-01-03 Advanced Micro Devices, Inc. Gaming super resolution
US20230139962A1 (en) * 2020-04-07 2023-05-04 Hewlett-Packard Development Company, L.P. Image upsampling
US11995156B2 (en) * 2021-02-03 2024-05-28 Samsung Electronics Co., Ltd. Confidence aided upsampling of categorical maps
US12020400B2 (en) * 2021-10-23 2024-06-25 Adobe Inc. Upsampling and refining segmentation masks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202044196A (zh) * 2019-05-22 2020-12-01 南韓商三星電子股份有限公司 影像處理裝置以及其影像處理方法
CN111968064A (zh) * 2020-10-22 2020-11-20 成都睿沿科技有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11995797B2 (en) 2024-05-28
US20230153944A1 (en) 2023-05-18
TW202322608A (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
Hui et al. Fast and accurate single image super-resolution via information distillation network
Zhang et al. Learning deep CNN denoiser prior for image restoration
Zhong et al. Joint sub-bands learning with clique structures for wavelet domain super-resolution
Huang et al. Interpretable detail-fidelity attention network for single image super-resolution
Zhang et al. Accurate and efficient image super-resolution via global-local adjusting dense network
Hung et al. Real-time image super-resolution using recursive depthwise separable convolution network
CN111986092B (zh) 一种基于双重网络的图像超分辨率重建方法及系统
Su et al. Multi‐scale cross‐path concatenation residual network for Poisson denoising
Song et al. Grouped multi-scale network for real-world image denoising
Muqeet et al. Ultra lightweight image super-resolution with multi-attention layers
Jang et al. Dual path denoising network for real photographic noise
CN109767389A (zh) 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法
Liu et al. From coarse to fine: Hierarchical pixel integration for lightweight image super-resolution
Xu et al. Efficient deep image denoising via class specific convolution
Wu et al. Lightweight asymmetric convolutional distillation network for single image super-resolution
Shen et al. RSHAN: Image super-resolution network based on residual separation hybrid attention module
Sun et al. Progressive multi-branch embedding fusion network for underwater image enhancement
Cheng et al. Adaptive feature denoising based deep convolutional network for single image super-resolution
TWI806243B (zh) 超解析度影像產生裝置
Guo et al. Joint demosaicking and denoising benefits from a two-stage training strategy
Esmaeilzehi et al. MuRNet: A deep recursive network for super resolution of bicubically interpolated images
Kim et al. Restoring spatially-heterogeneous distortions using mixture of experts network
Hou et al. Image super-resolution reconstruction method based on global and local residual learning
Wu et al. Learning to joint remosaic and denoise in quad bayer cfa via universal multi-scale channel attention network
CN116485651A (zh) 一种图像超分辨率重建方法