TWI847299B - 具有深度學習機制的影像放大裝置及其影像放大方法 - Google Patents
具有深度學習機制的影像放大裝置及其影像放大方法 Download PDFInfo
- Publication number
- TWI847299B TWI847299B TW111138225A TW111138225A TWI847299B TW I847299 B TWI847299 B TW I847299B TW 111138225 A TW111138225 A TW 111138225A TW 111138225 A TW111138225 A TW 111138225A TW I847299 B TWI847299 B TW I847299B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- circuit
- generate
- reconfiguration
- deep learning
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims description 19
- 238000013341 scale-up Methods 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims description 28
- 230000003321 amplification Effects 0.000 claims description 16
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 5
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 3
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Abstract
一種具有深度學習機制的影像放大裝置。深度學習電路包含：縮小電路、影像特性分析電路、權重重新配置電路及放大電路。縮小電路將輸入影像進行縮小產生縮小影像。影像特性分析電路根據複數影像特性對縮小影像進行分析產生分類圖像。權重重新配置電路根據對應影像特性的複數影像權重參數對分類圖像進行權重重新配置產生權重重新配置圖像。放大電路將權重重新配置圖像進行放大產生調整圖像。串接電路將輸入影像以及調整圖像串接產生串接影像。超解析放大電路將串接影像進行超解析放大產生輸出影像。
Description
本發明是關於影像處理技術，尤其是關於一種具有深度學習機制的影像放大裝置及其影像放大方法。
以往的影像放大技術並無法讓放大影像的解析度提升。因此，在放大的影像中，容易觀察到明顯的模糊感、不清晰的邊緣以及噪點的出現。近年來，影像超解析（super resolution）技術已在日常生活中被廣泛的使用。超解析主要的目的在於由低解析度（low-resolution；LR）的影像來獲得高解析度（high-resolution；HR）的影像，並盡可能維持細節。
隨著現今數位顯示器解析度的改善，從全高清（full HD）提升到超高清（ultra HD）甚至更高的解析度，具有超解析放大機制的影像放大技術也變得更重要。如何使放大的影像不僅在整體性上可以調整，更能針對區域特性進行增強，是亟待解決的問題。
鑑於先前技術的問題，本發明之一目的在於提供一種具有深度學習機制的影像放大裝置及其影像放大方法，以改善先前技術。
本發明包含一種具有深度學習機制的影像放大裝置，包含：深度學習電路、串接（concatenating）電路以及超解析放大電路。深度學習電路包含：縮小（scale down）電路、影像特性分析電路、權重重新配置（re-weighting）電路以及放大（scale up）電路。縮小電路配置以將輸入影像進行縮小，以產生縮小影像。影像特性分析電路配置以根據複數影像特性對縮小影像進行分析，以產生分類圖像（map）。權重重新配置（re-weighting）電路配置以根據對應影像特性的複數影像權重參數對分類圖像進行權重重新配置，以產生權重重新配置圖像。放大（scale up）電路配置以將權重重新配置圖像進行放大，以產生調整圖像。串接（concatenating）電路配置以將輸入影像以及調整圖像串接，以產生串接影像。超解析放大電路配置以將串接影像進行超解析放大，以產生輸出影像。
本發明更包含一種具有深度學習機制的影像放大方法，應用於影像放大裝置中，包含：使深度學習電路包含之縮小電路將輸入影像進行縮小，以產生縮小影像；使深度學習電路包含之影像特性分析電路根據複數影像特性對縮小影像進行分析，以產生分類圖像；使深度學習電路包含之權重重新配置電路根據對應影像特性的複數影像權重參數對分類圖像進行權重重新配置，以產生權重重新配置圖像；使深度學習電路包含之放大電路將權重重新配置圖像進行放大，以產生調整圖像；使串接電路將輸入影像以及調整圖像串接，以產生串接影像；以及使超解析放大電路將串接影像進行超解析放大，以產生輸出影像。
有關本案的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。
本發明之一目的在於提供一種具有深度學習機制的影像放大裝置及其影像放大方法，藉由獨立於影像放大路徑外的深度學習電路針對不同的影像特性對輸入影像進行深度學習，進而對放大的輸入影像強化，達到超解析的影像放大效果。
請參照圖1。圖1顯示本發明之一實施例中，一種具有深度學習機制的影像放大裝置100的方塊圖。影像放大裝置100配置以對解析度較低的輸入影像LR藉由深度學習的機制進行超解析（super resolution）影像放大，以產生輸出影像HR。
於一實施例中，輸入影像LR具有為H×W的原始尺寸以及為Co的原始通道數，其中H為高度，W為寬度，Co則對應於例如但不限於不同顏色的通道。舉例而言，輸入影像LR可具有數目為3的原始通道數（Co=3），分別對應於紅色（R）、綠色（G）與藍色（B）的通道。當放大倍率為n倍時，輸出影像HR將具有為nH×nW的輸出尺寸以及相當於原始通道數C的輸出通道數。
影像放大裝置100包含：深度學習電路110、串接（concatenating）電路120、超解析放大電路130以及記憶體電路140。
深度學習電路110包含：縮小（scale down）電路150、影像特性分析電路160、權重重新配置（re-weighting）電路170以及放大（scale up）電路180。
縮小電路150配置以將輸入影像LR進行縮小，以產生縮小影像DR。於一實施例中，縮小電路150是以縮放比例s對輸入影像LR進行縮小。因此，縮小影像DR具有為H/s×W/s的縮小尺寸以及為Co的原始通道數。
影像特性分析電路160配置以根據複數影像特性對縮小影像DR進行分析，以產生分類圖像（map）AR。於一實施例中，分類圖像AR具有縮小尺寸H/s×W/s以及分析通道數Cs，其中分析通道數Cs為影像特性的數目。
於一實施例中，影像特性分析電路160為語義分割（semantic segmentation）電路、區域頻率偵測電路或其組合。並且，影像特性分析電路160可視實際需求，根據索伯（Sobel）、離散餘弦變換（Discrete cosine transform；DCT）等濾波技術進行分析。
影像特性包含例如，但不限於複數物件類別、複數頻率範圍或其組合。物件類別可為例如，但不限於植物、建物、天空或其他物件。頻率範圍可為例如，但不限於高頻範圍（例如影像變化劇烈）以及低頻範圍（例如影像變化平緩）。
於一實施例中，一個物件類別或一個頻率範圍對應於一個分析通道。舉例而言，分析通道數Cs為3，且此3個分析通道分別對應植物、建物及天空。當影像特性分析電路160根據分析判斷縮小影像DR包含的某個像素是對應植物時，將使這3個分析通道的數值分別為1、0、0，以表示此像素僅對應植物，而不對應建物及天空。
權重重新配置電路170配置以根據對應影像特性的複數組影像權重參數對分類圖像AR進行權重重新配置，以產生權重重新配置圖像WR。
於一實施例中，權重重新配置圖像WR具有為H/s×W/s的縮小尺寸以及為Cw的權重重新配置通道數，其中權重重新配置通道數Cw為此些組影像權重參數的數目。於一實施例中，此些組影像權重參數對應於去雜訊處理、銳利度處理、紋路強化處理或其組合。
於一實施例中，一組影像權重參數對應於一個權重重新配置通道。舉例而言，權重重新配置通道數Cw為2，且此2個分析通道分別根據分類圖像AR產生一組參數對應去雜訊處理及紋路強化處理。更詳細的說，於一實施例中，如分類圖像AR包含天空時，權重重新配置電路170可產生包含對應去雜訊處理的一組影像權重參數的權重重新配置圖像WR，而使天空在後續經過此組影像權重參數處理後更為乾淨。
放大電路180配置以將權重重新配置圖像WR進行放大，以產生調整圖像MR。
於一實施例中，放大電路180是以縮放比例s對權重重新配置圖像WR進行放大。因此，調整圖像MR具有為H×W的原始尺寸以及為Cw的權重重新配置通道數。
串接電路120配置以將輸入影像LR以及調整圖像MR串接，以產生串接影像CR。
於一實施例中，串接影像CR具有為H×W的原始尺寸以及串接通道數Cc，其中串接通道數Cc為原始通道數Co以及權重重新配置通道數Cw之和，亦即Cc=Co+Cw。
超解析放大電路130配置以將串接影像CR進行超解析放大，以產生輸出影像HR。
由於串接影像CR除了包含輸入影像LR，更包含額外的調整圖像MR，因此超解析放大電路130可將調整圖像MR做為逐像素的調整控制項，進而對放大的輸入影像LR強化，達到超解析的影像放大效果。
於一實施例中，輸入影像LR之第一更新頻率為調整圖像MR之第二更新頻率的N倍，其中N為正整數。
在一實施例中，輸入影像LR之第一更新頻率可與調整圖像MR之第二更新頻率相同（N=1），以使深度學習電路110產生調整圖像MR的速度與輸入影像LR的更新速度同步。此時，串接電路120可直接自放大電路180接收調整圖像MR與輸入影像LR進行串接。
然而，由於深度學習電路110的處理實際上是獨立於進行放大的路徑外，因此在另一實施例中，深度學習電路110可經由設置而使調整圖像MR之第二更新頻率小於輸入影像LR之第一更新頻率。舉例而言，當輸入影像LR之第一更新頻率為60赫茲時，深度學習電路110可設置調整圖像MR之第二更新頻率為30赫茲（N=2）。因此，調整圖像MR可相對輸入影像LR存在有畫面延遲（frame delay）。
此時，記憶體電路140配置以儲存調整圖像MR，以使串接電路120配置以透過需線路徑自記憶體電路140擷取調整圖像MR與輸入影像LR進行串接。在上述第一更新頻率為第二更新頻率的兩倍的情形下，串接電路120將使連續兩張輸入影像LR對應同一調整圖像MR分別串接產生兩張串接影像CR，再進行超解析放大產生兩張輸出影像HR。
在這樣的情形下，影像放大裝置100的系統運算量及頻寬將可彈性地調整，而不需因為使調整圖像MR與輸入影像LR同步而消耗過多的資源。
須注意的是，在實作上，深度學習電路110包含的各電路在進行影像及圖像的處理時亦可將處理完成的內容暫存在記憶體電路140中以供下一個電路擷取，而非直接在各元件間傳送。本發明並不限於圖1所繪示的訊號傳遞方式。
因此，本發明中具有深度學習機制的影像放大裝置可藉由獨立於影像放大路徑外的深度學習電路針對不同的影像特性對輸入影像進行深度學習，進而對放大的輸入影像強化，達到超解析的影像放大效果。
須注意的是，上述影像放大裝置100所包含的各元件在實作上可分別以獨立的硬體電路實現，或是分別以由軟體運作產生的軟體模組實現。本發明並不為此所限。
圖2顯示本發明一實施例中，一種具有深度學習機制的影像放大方法200的流程圖。
除前述裝置外，本發明另揭露一種影像放大方法200的流程圖，應用於例如，但不限於圖1的影像放大裝置100中。影像放大方法200的之一實施例如圖2所示，包含下列步驟。
於步驟S210，使深度學習電路110包含之縮小電路150將輸入影像LR進行縮小，以產生縮小影像DR。
於步驟S220，使深度學習電路110包含之影像特性分析電路160根據複數影像特性對縮小影像DR進行分析，以產生分類圖像AR。
於步驟S230，使深度學習電路110包含之權重重新配置電路170根據對應影像特性的複數影像權重參數對分類圖像AR進行權重重新配置，以產生權重重新配置圖像WR。
於步驟S240，使深度學習電路110包含之放大電路180將權重重新配置圖像WR進行放大，以產生調整圖像MR。
於步驟S250，使串接電路120將輸入影像LR以及調整圖像MR串接，以產生串接影像CR。
於步驟S260，使超解析放大電路130將串接影像進行超解析放大，以產生輸出影像HR。
需注意的是，上述的實施方式僅為一範例。於其他實施例中，本領域的通常知識者當可在不違背本發明的精神下進行更動。
綜合上述，本發明中具有深度學習機制的影像放大裝置及其影像放大方法可藉由獨立於影像放大路徑外的深度學習電路針對不同的影像特性對輸入影像進行深度學習，進而對放大的輸入影像強化，達到超解析的影像放大效果。
雖然本案之實施例如上所述，然而該些實施例並非用來限定本案，本技術領域具有通常知識者可依據本案之明示或隱含之內容對本案之技術特徵施以變化，凡此種種變化均可能屬於本案所尋求之專利保護範疇，換言之，本案之專利保護範圍須視本說明書之申請專利範圍所界定者為準。
100:影像放大裝置
110:深度學習電路
120:串接電路
130:超解析放大電路
140:記憶體電路
150:縮小電路
160:影像特性分析電路
170:權重重新配置電路
180:放大電路
200:影像放大方法
S210~S260:步驟
AR:分類圖像
Cc:串接通道數
Co:原始通道數
Cs:分析通道數
Cw:權重重新配置通道數
CR:串接影像
DR:縮小影像
H:高度
HR:輸出影像
LR:輸入影像
MR:調整圖像
s:縮放比例
W:寬度
WR:權重重新配置圖像
［圖1］顯示本發明之一實施例中，一種具有深度學習機制的影像放大裝置的方塊圖；以及
［圖2］顯示本發明之一實施例中，一種具有深度學習機制的影像放大方法的流程圖。
100:影像放大裝置
110:深度學習電路
120:串接電路
130:超解析放大電路
140:記憶體電路
150:縮小電路
160:影像特性分析電路
170:權重重新配置電路
180:放大電路
AR:分類圖像
Cc:串接通道數
Co:原始通道數
Cs:分析通道數
Cw:權重重新配置通道數
CR:串接影像
DR:縮小影像
H:高度
HR:輸出影像
LR:輸入影像
MR:調整圖像
W:寬度
WR:權重重新配置圖像
Claims (10)
- 一種具有深度學習機制的影像放大裝置，包含：一深度學習電路，包含：一縮小(scale down)電路，配置以將具有一原始通道數的一輸入影像進行縮小，以產生一縮小影像；一影像特性分析電路，配置以根據複數影像特性對該縮小影像進行分析，以產生一分類圖像(map)；一權重重新配置(re-weighting)電路，配置以根據對應該等影像特性的複數組影像權重參數對該分類圖像進行權重重新配置，以產生具有一權重重新配置通道數的一權重重新配置圖像，其中該權重重新配置通道數為該複數組影像權重參數的數目；以及一放大(scale up)電路，配置以將該權重重新配置圖像進行放大，以產生具有該權重重新配置通道數的一調整圖像；一串接(concatenating)電路，配置以將該輸入影像以及該調整圖像串接，以產生具有一串接通道數的一串接影像，該串接通道數為該原始通道數以及該權重重新配置通道數之和；以及一超解析放大電路，配置以將該串接影像進行超解析放大，以產生一輸出影像。
- 如請求項1所述之影像放大裝置，其中該輸入影像具有一原始尺寸，該縮小影像具有一縮小尺寸以及該原始通道數；該分類圖像具有該縮小尺寸以及一分析通道數，其中該分析通道數為該等影像特性的數目； 該權重重新配置圖像具有該縮小尺寸；該調整圖像具有該原始尺寸以及該權重重新配置通道數；以及該串接影像具有該原始尺寸。
- 如請求項1所述之影像放大裝置，其中該輸入影像之一第一更新頻率為該調整圖像之一第二更新頻率的N倍，其中N為正整數。
- 如請求項3所述之影像放大裝置，更包含一記憶體電路，配置以儲存該調整圖像，以使該串接電路配置以自該記憶體電路擷取該調整圖像與該輸入影像進行串接。
- 如請求項1所述之影像放大裝置，其中該影像特性分析電路為一語義分割(semantic segmentation)電路、一區域頻率偵測電路或其組合。
- 如請求項1所述之影像放大裝置，其中該等影像特性包含複數物件類別、複數頻率範圍或其組合。
- 如請求項1所述之影像放大裝置，其中該複數組影像權重參數對應於一去雜訊處理、一鋶利度處理、一紋路強化處理或其組合。
- 一種具有深度學習機制的影像放大方法，應用於一影像放大裝置中，包含： 使一深度學習電路包含之一縮小電路將具有一原始通道數的一輸入影像進行縮小，以產生一縮小影像；使該深度學習電路包含之一影像特性分析電路根據複數影像特性對該縮小影像進行分析，以產生一分類圖像；使該深度學習電路包含之一權重重新配置電路根據對應該等影像特性的複數組影像權重參數對該分類圖像進行權重重新配置，以產生具有一權重重新配置通道數的一權重重新配置圖像，其中該權重重新配置通道數為該複數組影像權重參數的數目；使該深度學習電路包含之一放大電路將該權重重新配置圖像進行放大，以產生具有該權重重新配置通道數的一調整圖像；使一串接電路將該輸入影像以及該調整圖像串接，以產生具有一串接通道數的一串接影像，該串接通道數為該原始通道數以及該權重重新配置通道數之和；以及使一超解析放大電路將該串接影像進行超解析放大，以產生一輸出影像。
- 如請求項8所述之影像放大方法，其中該輸入影像具有一原始尺寸，該縮小影像具有一縮小尺寸以及該原始通道數；該分類圖像具有該縮小尺寸以及一分析通道數，其中該分析通道數為該等影像特性的數目；該權重重新配置圖像具有該縮小尺寸；該調整圖像具有該原始尺寸以及該權重重新配置通道數；以及該串接影像具有該原始尺寸。
- 如請求項8所述之影像放大方法，其中該輸入影像之一第一更新頻率為該調整圖像之一第二更新頻率的N倍，其中N為正整數。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111138225A TWI847299B (zh) | 2022-10-07 | 具有深度學習機制的影像放大裝置及其影像放大方法 | |
| US18/376,074 US20240119559A1 (en) | 2022-10-07 | 2023-10-03 | Image enlarging apparatus and image enlarging method thereof having deep learning mechanism |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111138225A TWI847299B (zh) | 2022-10-07 | 具有深度學習機制的影像放大裝置及其影像放大方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202416220A TW202416220A (zh) | 2024-04-16 |
| TWI847299B true TWI847299B (zh) | 2024-07-01 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220301123A1 (en) | 2021-03-17 | 2022-09-22 | Ali Mosleh | End to end differentiable machine vision systems, methods, and media |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220301123A1 (en) | 2021-03-17 | 2022-09-22 | Ali Mosleh | End to end differentiable machine vision systems, methods, and media |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI321730B (en) | Transferring a video frame from memory into an on-chip buffer for video processing | |
| US7092016B2 (en) | Method and system for motion image digital processing | |
| CN107169927A (zh) | 一种图像处理系统、方法及显示装置 | |
| US7269300B2 (en) | Sharpening a digital image in accordance with magnification values | |
| US20040189874A1 (en) | Image detail enhancement system | |
| US7408590B2 (en) | Combined scaling, filtering, and scan conversion | |
| US20210398247A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| TWI492187B (zh) | 超解析度影像處理方法及其裝置 | |
| TWI847299B (zh) | 具有深度學習機制的影像放大裝置及其影像放大方法 | |
| EP1093086A2 (en) | Method and apparatus for digital image rescaling with adaptive contrast enhancement | |
| KR20050059171A (ko) | 이미지 스케일링 방법 | |
| TW202416220A (zh) | 具有深度學習機制的影像放大裝置及其影像放大方法 | |
| US6697540B1 (en) | Method for digital image interpolation and sharpness enhancement | |
| US20080309817A1 (en) | Combined scaling, filtering, and scan conversion | |
| JP4369030B2 (ja) | 画像補正方法および装置ならびに画像補正プログラムを記録したコンピュータ読取可能な記録媒体 | |
| CN117956099A (zh) | 具有深度学习机制的影像放大装置及其影像放大方法 | |
| CN102842111B (zh) | 放大图像的补偿方法及装置 | |
| US8180169B2 (en) | System and method for multi-scale sigma filtering using quadrature mirror filters | |
| US20210287339A1 (en) | Image processing apparatus using artificial intelligence super-resolution circuit and follow-up resize circuit for image resizing | |
| CN110519530B (zh) | 基于硬件的画中画显示方法及装置 | |
| CN106651815B (zh) | 用于处理Bayer格式视频图像的方法及装置 | |
| WO2016035568A1 (ja) | 信号処理装置および信号処理方法、固体撮像素子、撮像装置、電子機器、並びにプログラム | |
| JP3461613B2 (ja) | 画像処理装置 | |
| US11836893B2 (en) | Online AI super resolution engine and operations | |
| CN111383172B (zh) | 神经网络模型的训练方法、装置及智能终端 |