TWI799265B - 超解析度裝置及方法 - Google Patents

超解析度裝置及方法 Download PDF

Info

Publication number
TWI799265B
TWI799265B TW111117909A TW111117909A TWI799265B TW I799265 B TWI799265 B TW I799265B TW 111117909 A TW111117909 A TW 111117909A TW 111117909 A TW111117909 A TW 111117909A TW I799265 B TWI799265 B TW I799265B
Authority
TW
Taiwan
Prior art keywords
super
resolution
perform
input
operations
Prior art date
Application number
TW111117909A
Other languages
English (en)
Other versions
TW202345092A (zh
Inventor
李功賀
鄭宇呈
史旭冬
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW111117909A priority Critical patent/TWI799265B/zh
Priority to US17/936,851 priority patent/US20230368496A1/en
Application granted granted Critical
Publication of TWI799265B publication Critical patent/TWI799265B/zh
Publication of TW202345092A publication Critical patent/TW202345092A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

一種超解析度裝置及方法。該裝置包含一輸入介面及一共用層運算器組。由該輸入介面接收一影像及一放大信號，其中該放大信號用以指示對該影像執行一二倍放大運作或一四倍放大運作。當該放大信號指示執行該四倍放大運作時，該共用層運算器組基於一第一輸入通道數及一第一輸出通道數執行複數個卷積運作。當該放大信號指示執行該二倍放大運作時，該共用層運算器組基於一第二輸入通道數及一第二輸出通道數執行該等卷積運作。

Description

超解析度裝置及方法
本發明係關於一種超解析度裝置及方法。具體而言，本發明係關於一種可共用一共用層運算器組的超解析度裝置及方法。
在現有技術中，使用硬體電路的卷積神經網路進行影像超解析放大（Super resolution scaling）時，需要先透過卷積神經網路模型對影像進行特徵提取。然而，由於一個卷積神經網路模型只能夠對應的執行一種放大倍率，因此對於不同的放大倍率需要訓練不同的卷積神經網路模型以進行特徵提取。舉例而言，當硬體裝置同時提供放大二倍或是放大四倍時，需要二組不同的硬體電路來分別執行對應的特徵提取。
因此，若是提供多組卷積神經網路模型來對應不同的放大倍率時，必須額外的製作對應不同放大倍率的硬體電路，導致電路的面積大幅上升。
有鑑於此，如何能共用不同放大倍率時所使用的特徵擷取電路，以節省電路面積，乃業界亟需努力之目標。
本案之一目的在於提供一種超解析度裝置。該超解析度裝置包含一輸入介面及一共用層運算器組。該輸入介面用以接收一影像及一放大信號，其中該放大信號用以指示對該影像執行一二倍放大運作或一四倍放大運作。該共用層運算器組包含對應至一第一數量之複數個乘積累加運算器，該等乘積累加運算器用以執行複數個卷積運作，其中該第一數量為一初始輸出通道數之二倍。當該放大信號指示執行該四倍放大運作時，該共用層運算器組基於一第一輸入通道數及一第一輸出通道數執行該等卷積運作，其中該第一輸入通道數及該第一輸出通道數至少為大於等於2之偶數正整數。當該放大信號指示執行該二倍放大運作時，該共用層運算器組基於一第二輸入通道數及一第二輸出通道數執行該等卷積運作。其中，該第一輸入通道數為該第二輸入通道數之二倍，且該第一輸出通道數為該第二輸出通道數之二倍。
本案之另一目的在於提供一種超解析度方法。該超解析度方法用於一超解析度裝置。該超解析度裝置包含一輸入介面及一共用層運算器組，該共用層運算器組包含對應至一第一數量之複數個乘積累加運算器，該等乘積累加運算器用以執行複數個卷積運作，其中該第一數量為一初始輸出通道數之二倍，該超解析度方法包含下列步驟：接收一影像及一放大信號，其中該放大信號用以指示對該影像執行一二倍放大運作或一四倍放大運作；當該放大信號指示執行該四倍放大運作時，該共用層運算器組基於一第一輸入通道數及一第一輸出通道數執行該等卷積運作，其中該第一輸入通道數及該第一輸出通道數至少為大於等於2之偶數正整數；以及當該放大信號指示執行該二倍放大運作時，該共用層運算器組基於一第二輸入通道數及一第二輸出通道數執行該等卷積運作；其中，該第一輸入通道數為該第二輸入通道數之二倍，且該第一輸出通道數為該第二輸出通道數之二倍。
本案所提供之超解析度技術（至少包含裝置及方法），藉由限制不同放大運作時（例如：二倍放大運作及四倍放大運作）的輸入通道數及輸出通道數的對應關係，使得對應二倍放大運作及四倍放大運作所需要的乘積累加運算器數量相同，因此本案所提供之超解析度技術能夠在不同倍率的放大運作時，仍可共用相同的特徵擷取電路，達到節省電路面積的目的，解決現有技術需要額外的設計對應不同放大倍率的硬體電路的缺點。
以下結合圖式闡述本案之詳細技術及實施方式，俾使本案所屬技術領域中具有通常知識者能理解所請求保護之本案之技術特徵。
以下將透過實施方式來解釋本案所提供之一種超解析度裝置及方法。然而，該等實施方式並非用以限制本案需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本案之目的，而非用以限制本案之範圍。應理解，在以下實施方式及圖式中，與本案非直接相關之元件已省略而未繪示，且各元件之尺寸以及元件間之尺寸比例僅為例示而已，而非用以限制本案之範圍。
本案之第一實施方式為一超解析度裝置1，其架構示意圖係描繪於第1A圖。超解析度裝置1包含一輸入介面11及一共用層運算器組13。輸入介面11為可接收及傳輸資料之介面或本案所屬技術領域中具有通常知識者所知悉之其他可接收及傳輸資料之介面。共用層運算器組13包含複數個乘積累加運算器M1、M2、……、Mn（下稱第一數量），該等乘積累加運算器M1、M2、……、Mn用以執行對應於特徵提取（Feature extraction）的複數個卷積運作，關於執行該等卷積運作的內容容後詳述。
於某些實施方式中，如第1B圖所示，超解析度裝置1可更包含一輸出介面17，輸出介面17電性連接至共用層運算器組13。輸出介面17可根據所選擇的放大倍率（例如：二倍放大或是四倍放大），將共用層運算器組13所輸出的特徵資訊轉化為相應輸出的影像。
須說明者，為了使得二倍放大運作及四倍放大運作所使用的運算裝置能夠共用，因此需要對於共用層運算器組所包含的乘積累加運算器的數量進行限制。於本實施方式中，該第一數量為一初始輸出通道數（channel）之二倍。
舉例而言，當對應影像之初始輸出通道數為2時，共用層運算器組13包含4個乘積累加運算器M1、M2、M3及M4，二倍放大運作及四倍放大運作可共同使用共用層運算器組13中的乘積累加運算器M1、M2、M3及M4以完成特徵提取運作。
須說明者，超解析度裝置1亦包含其他執行超解析度運作的必要元件或運作，例如：像素重組（pixel shuffle）運作，惟本案之重點在於與特徵擷取相關之硬體共用運作，故以下段落將僅詳細說明與本案相關之實施細節。
於本實施方式中，輸入介面11用以接收一影像及一放大信號，其中該放大信號用以指示對該影像執行二倍放大運作或四倍放大運作。於某些實施方式中，超解析度裝置1亦可包含一多工器（Multiplexer；MUX），透過該多工器選擇二倍放大運作或四倍放大運作。此外，輸出介面17可根據該多工器所執行的放大倍率（例如：二倍放大或是四倍放大），將共用層運算器組13所輸出的特徵資訊轉化為相應輸出的影像。
須說明者，在硬體產品設計時，超解析度裝置1需要定義最大的影像解析度輸出尺寸（例如：3840*2160）。因此，對於不同放大倍率時，超解析度裝置1可接受的影像最大解析度輸入尺寸不同。舉例而言，當超解析度裝置1最大的解析度輸出尺寸為3840*2160時，執行二倍放大運作的超解析度裝置1可接受的影像輸入解析度最大為1920*1080（即，二分之一寬度及二分之一長度）。當執行四倍放大運作時，超解析度裝置1可接受的影像輸入解析度最大為960*540（即，四分之一寬度及四分之一長度）。
應理解，當輸出解析度為3840*2160時，對應放大四倍的最大輸入為960*540，對應放大兩倍的輸入為1920*1080，因此二者所需要計算的資料差異量為四倍（即，長與寬各為二倍）。因此，為了使得超解析度裝置1在執行二倍放大運作及四倍放大運作的幀率（frame rate）維持相同（例如：幀率 60/s），在具有相同最大輸出時，放大二倍運作所需要的計算量為放大四倍運作時的4倍。前述條件為本案設計硬體電路時的重點原理，因此本案所提出的共用層運算器組13將滿足前述條件。
於本實施方式中，對應二倍放大運作或四倍放大運作時，共用層運算器組13會分別基於不同之輸入通道數及輸出通道數執行該等卷積運作。具體而言，當該放大信號指示執行該四倍放大運作時，共用層運算器組13基於一第一輸入通道數（input channel）及一第一輸出通道數（output channel）執行該等卷積運作，其中該第一輸入通道數及該第一輸出通道數至少為大於等於2之偶數正整數。
此外，當該放大信號指示執行該二倍放大運作時，共用層運算器組13基於一第二輸入通道數及一第二輸出通道數執行該等卷積運作。其中，該第一輸入通道數為該第二輸入通道數之二倍，且該第一輸出通道數為該第二輸出通道數之二倍。
於某些實施方式中，共用層運算器組13所對應的該初始輸出通道數需要為偶數，因此在共用層運算器組13執行該等卷積運作前，超解析度裝置1更先對該影像執行第一層的卷積運作，以使該初始輸出通道數轉變為2的倍數。具體而言，請參考第5A圖，超解析度裝置1更包含一第一層運算器12，第一層運算器12電性連接至輸入介面11及共用層運算器組13。第一層運算器12執行一第一層卷積運作，其中該第一層卷積運作對應至該初始輸出通道數（即，經由該第一層卷積運作後，對應該影像產生的輸出通道數為該初始輸出通道數），且該初始輸出通道數為一偶數正整數。
於某些實施方式中，如第5B圖所示，超解析度裝置1可更包含一輸出介面17，輸出介面17電性連接至共用層運算器組13。輸出介面17可根據所選擇的放大倍率（例如：二倍放大或是四倍放大），將共用層運算器組13所輸出的特徵資訊轉化為相應輸出的影像。
於某些實施方式中，該等乘積累加運算器M1、M2、……、Mn係基於一卷積核（kernel）執行該等卷積運作，該卷積核對應至一寬度數值及一長度數值，且該等卷積運作各者由該等乘積累加運算器M1、M2、……、Mn其中之一所執行。
於某些實施方式中，該等乘積累加運算器執行之各該卷積運作包含執行N*M次乘法運作及(N*M)-1次加法運作，其中N為該卷積核所對應之該寬度數值，M為該卷積核所對應之該長度數值，且N及M為一正整數。
為便於理解，請參考第2圖。第2圖例示了寬度數值及長度數值分別為3*3的卷積核時，乘積累加運算器M1所執行的乘法運作及加法運作，其中V及W分別對應至影像的像素數值（value）及卷積核所對應的權重（weight）。由第2圖可知，在卷積核為3*3時，乘積累加運算器M1需要執行9次的乘法運作及8次的加法運作。
須說明者，於本實施方式中，每個乘積累加運算器M1、M2、……、Mn均執行同樣次數之乘法運作及加法運作。此外，由於相同卷積核所對應之乘法運作及加法運作次數相同，每個乘積累加運算器可透過固定數量的硬體元件（例如：9個乘法器及8個加法器）執行前述乘法運作及加法運作，本領域具有通常知識者應可基於前述內容理解各個乘積累加運算器的實施方式，故不贅言。
為便於理解，以下段落將分別詳述在二倍放大運作及四倍放大運作中利用共用層運算器組13執行該等卷積運作的具體範例。須說明者，於以下具體範例中，共用層運算器組13將會分別基於不同之輸入通道數及輸出通道數，執行對應二倍放大運作及四倍放大運作該等卷積運作。
首先，請參考第3A圖及第3B圖所示之對應四倍放大運作的一具體範例，但其非用以限制本案之範例。於本範例中，卷積核設定為3*3，且輸入通道數及輸出通道數均設定為2。如第3A圖所示，共用層運算器組13將透過具有二個輸入通道數的卷積核（即，卷積核CH1及卷積核CH2）對輸入影像100進行卷積運作，以產生對應二個輸出通道數之數值V1及數值V2。
如第3B圖所示，共用層運算器組13將透過4個乘積累加運算器M1、M2 、M3及M4執行上述之卷積運作。具體而言，由乘積累加運算器M1及M2計算出數值V1，且透過乘積累加運算器M3及M4計算出數值V2。於某些實施方式中，數值V1及數值V2更透過其他運作（例如：偏權值（bias）、激勵函數（Activation function）等等）產生畫素P1。
接著，請參考第4A圖及第4B圖所示之對應二倍放大運作的一具體範例，但其非用以限制本案之範例。於本範例中，卷積核同樣設定為3*3，但輸入通道數及輸出通道數均設定為1（即，輸入通道數及輸出通道數為前述對應四倍運作時的一半）。如第4A圖所示，共用層運算器組13將透過具有一個輸入通道數的卷積核（即，卷積核CH1），對輸入影像102進行卷積運作，以產生4個畫素P1、P2、P3及P4。
如第4B圖所示，共用層運算器組13將透過同樣4個乘積累加運算器M1、M2 、M3及M4執行上述之卷積運作。具體而言，分別由乘積累加運算器M1、M2、M3及M4計算出畫素P1、P2、P3及P4。於某些實施方式中，畫素P1、P2、P3及P4更透過其他運作產生（例如：偏權值（bias）、激勵函數（Activation function）等等）。
由前述具體範例可見，本案透過限制對應二倍放大運作及四倍放大運作的輸入通道數及輸出通道數（即，四倍放大運作所對應的輸入通道數為二倍放大運作所對應的輸入通道數之二倍，且四倍放大運作所對應的輸出通道數為二倍放大運作所對應的輸出通道數之二倍），使得對應二倍放大運作及四倍放大運作所需要的乘積累加運算器數量相同，因此能共用相同的硬體電路，並可滿足相同的幀率（即，放大二倍運作所需要的計算量為放大四倍運作時的4倍）。
須說明者，前述範例僅為例示，但其非用以限制本案之範例。應理解，於其他實施方式中，當輸入通道數或輸出通道數上升時，由於共用層運算器組13具有前述限制條件（即，四倍放大運作所對應的輸入通道數為二倍放大運作所對應的輸入通道數之二倍，且四倍放大運作所對應的輸出通道數為二倍放大運作所對應的輸出通道數之二倍），對應二倍放大運作及四倍放大運作所需要的乘積累加運算器數量仍會保持相同，因此能同樣共用相同的硬體電路。本領域具有通常知識者應可基於前述內容理解不同輸入通道數及輸出通道數的實施方式，故不贅言。
於某些實施方式中，請參考第5A圖，超解析度裝置1更包含一共用層加法器組15，共用層加法器組15電性連接至共用層運算器組13，共用層加法器組15用以執行複數個加法運作。其中，超解析度裝置1透過共用層運算器組13及共用層加法器組15，產生對應該影像之複數個畫素。舉例而言，共用層加法器組15用以執行第3B圖中的加法運作A1及A2、或是第4B圖中額外計算P3及P4的加法運作（即，額外的二組偏權值及激勵函數的加法運作）。
須說明者，共用層加法器組15執行的加法運作次數與輸入通道數及輸出通道數有關。具體而言，當該放大信號指示執行該四倍放大運作時，共用層加法器組15執行對應至一第二數量之該等加法運作，以產生對應該影像之該等畫素。當該放大信號指示執行該二倍放大運作時，共用層加法器組15執行對應至一第三數量之該等加法運作，以產生對應該影像之該等畫素。其中，該第二數量係基於該第一輸入通道數及該第一輸出通道數產生，且該二數量與該第三數量相同（即，由於額外的加法運作數量相同，二倍放大運作及四倍放大運作可共同使用共用層加法器組15）。
於某些實施方式中，請參考第5A圖。超解析度裝置1更包含一共用線緩衝器（Line Buffer）14。共用線緩衝器14包含對應至一第四數量之複數個暫存區塊，其中共用層運算器13是基於該等暫存區塊執行該四倍放大運作與該二倍放大運作所對應之該等卷積運作，且該第四數量係基於該第一輸入通道數及該第一輸出通道數產生。
須說明者，由於對應二倍放大運作及四倍放大運作所需要的乘積累加運算器數量相同，因此同時需要的暫存區塊也相同。據此，超解析度裝置1可透過位址分配的運作（例如：透過指標指向暫存區塊的位置），共同使用共用線緩衝器14以進行該等卷積運作。
由上述說明可知，本案所提供之超解析度裝置1，藉由限制不同放大運作時（例如：二倍放大運作及四倍放大運作）的輸入通道數及輸出通道數的對應關係，使得對應二倍放大運作及四倍放大運作所需要的乘積累加運算器數量相同，因此本案所提供之超解析度裝置1能夠在不同倍率的放大運作時，仍可共用相同的特徵擷取電路，達到節省電路面積的目的，解決現有技術需要額外的設計對應不同放大倍率的硬體電路的缺點。
本案之第二實施方式為一超解析度方法，其流程圖係描繪於第6圖。超解析度方法600適用於一超解析度裝置，例如：第一實施方式所述之超解析度裝置1。該超解析度裝置包含一輸入介面及一共用層運算器組，該共用層運算器組包含對應至一第一數量之複數個乘積累加運算器，該等乘積累加運算器用以執行複數個卷積運作，其中該第一數量為一初始輸出通道數之二倍，例如：第一實施方式所述之輸入介面11及共用層運算器組13。超解析度方法600透過步驟S601至步驟S605利用該共用層運算器組執行該等卷積運作。
於某些實施方式中，超解析度裝置可更包含一輸出介面，例如：第一實施方式所述之輸出介面17。輸出介面電性連接至共用層運算器組。輸出介面可根據所選擇的放大倍率（例如：二倍放大或是四倍放大），將共用層運算器組所輸出的特徵資訊轉化為相應輸出的影像。
於步驟S601，由該超解析度裝置接收一影像及一放大信號，其中該放大信號用以指示對該影像執行一二倍放大運作或一四倍放大運作。於步驟S603，當該放大信號指示執行該四倍放大運作時，該共用層運算器組基於一第一輸入通道數及一第一輸出通道數執行該等卷積運作，其中該第一輸入通道數及該第一輸出通道數至少為大於等於2之偶數正整數。
於步驟S605，當該放大信號指示執行該二倍放大運作時，該共用層運算器組基於一第二輸入通道數及一第二輸出通道數執行該等卷積運作。其中，該第一輸出通道數為該第二輸出通道數之二倍，且該第一通道數為該第二通道數之二倍。
於某些實施方式中，其中該超解析度裝置更包含：一第一層運算器，且該第一層運算器電性連接至該輸入介面及該共用層運算器組，其中超解析度方法600更包含下列步驟：該第一層運算器執行一第一層卷積運作，其中該第一層卷積運作對應至該初始輸出通道數，且該初始輸出通道數為一偶數正整數。
於某些實施方式中，其中該影像對應至一輸入解析度，且該超解析度裝置對應至一最大輸出解析度，超解析度方法600更包含下列步驟：當該放大信號指示執行該四倍放大運作時，該影像所對應之該輸入解析度最大為該最大輸出解析度的四分之一寬度及四分之一長度；以及當該放大信號指示執行該二倍放大運作時，該影像所對應之該輸入解析度最大為該最大輸出解析度的二分之一寬度及二分之一長度。
於某些實施方式中，其中該超解析度裝置更包含：一共用層加法器組，且該共用層加法器組電性連接至該共用層運算器組，其中超解析度方法600更包含下列步驟：由該共用層加法器組執行複數個加法運作；其中，該共用層運算器組及該共用層加法器組用以產生對應該影像之複數個畫素。
於某些實施方式中，其中超解析度方法600更包含下列步驟：當該放大信號指示執行該四倍放大運作時，該共用層加法器組執行對應至一第二數量之該等加法運作，以產生對應該影像之該等畫素。
於某些實施方式中，其中超解析度方法600更包含下列步驟：當該放大信號指示執行該二倍放大運作時，該共用層加法器組執行對應至一第三數量之該等加法運作，以產生對應該影像之該等畫素。
於某些實施方式中，其中該第二數量係基於該第一輸入通道數及該第一輸出通道數產生，且該二數量與該第三數量相同。
於某些實施方式中，其中該等乘積累加運算器係基於一卷積核執行該等卷積運作，該卷積核對應至一寬度數值及一長度數值，且該等卷積運作各者由該等乘積累加運算器其中之一所執行。
於某些實施方式中，其中該等乘積累加運算器執行之各該卷積運作包含以下運作：執行N*M次乘法運作及(N*M)-1次加法運作，其中N為該卷積核所對應之該寬度數值，M為該卷積核所對應之該長度數值，且N及M為一正整數。
於某些實施方式中，其中該超解析度裝置更包含一共用線緩衝器，該共用線緩衝器包含對應至一第四數量之複數個暫存區塊，其中超解析度方法600更包含下列步驟：該共用層運算器基於該等暫存區塊執行該四倍放大運作與該二倍放大運作所對應之該等卷積運作，其中該第四數量係基於該第一輸入通道數及該第一輸出通道數產生。
除了上述步驟，第二實施方式亦能執行第一實施方式所描述之超解析度裝置1之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本案所屬技術領域中具有通常知識者可直接瞭解第二實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。
需說明者，於本案專利說明書及申請專利範圍中，某些用語（包含：輸入通道數、輸出通道數及數量）前被冠以「第一」、「第二」、「第三」或「第四」，該等「第一」、「第二」、「第三」或「第四」僅用來區分不同之用語。例如：第一輸入通道數及第二輸入通道數中之「第一」及「第二」僅用來表示不同階段所使用之不同的輸入通道數。
綜上所述，本案所提供之超解析度技術（至少包含裝置及方法），藉由限制不同放大運作時（例如：二倍放大運作及四倍放大運作）的輸入通道數及輸出通道數的對應關係，使得對應二倍放大運作及四倍放大運作所需要的乘積累加運算器數量相同，因此本案所提供之超解析度技術能夠在不同倍率的放大運作時，仍可共用相同的特徵擷取電路，達到節省電路面積的目的，解決現有技術需要額外的設計對應不同放大倍率的硬體電路的缺點。
上述實施方式僅用來例舉本案之部分實施態樣，以及闡釋本案之技術特徵，而非用來限制本案之保護範疇及範圍。任何本案所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本案所主張之範圍，而本案之權利保護範圍以申請專利範圍為準。
1:超解析度裝置 11:輸入介面 13:共用層運算器組 17:輸出介面 M1、M2、……、Mn:乘積累加運算器 V:像素數值 W:權重 100:輸入影像 102:輸入影像 CH1、CH2:卷積核 V1、V2:數值 A1、A2:加法運作 P1、P2、P3、P4:畫素 12:第一層運算器 14:共用線緩衝器 15:共用層加法器組 600:物件偵測模型訓練方法 S601、S603、S605:步驟
第1A圖係描繪第一實施方式之超解析度裝置之架構示意圖； 第1B圖係描繪某些實施方式之超解析度裝置之架構示意圖； 第2圖係描繪第一實施方式之一種乘積累加運算器之示意圖； 第3A圖係描繪第一實施方式之對應四倍放大運作的示意圖； 第3B圖係描繪第一實施方式之對應四倍放大運作的運作示意圖； 第4A圖係描繪第一實施方式之對應二倍放大運作的示意圖； 第4B圖係描繪第一實施方式之對應二倍放大運作的運作示意圖； 第5A圖係描繪某些實施方式之超解析度裝置之架構示意圖； 第5B圖係描繪某些實施方式之超解析度裝置之架構示意圖；以及 第6圖係描繪第二實施方式之超解析度方法之部分流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
600:超解析度方法
S601、S603、S605:步驟

Claims (10)

  1. 一種超解析度裝置，包含：一輸入介面，用以接收一影像及一放大信號，其中該放大信號用以指示對該影像執行一二倍放大運作或一四倍放大運作；以及一共用層運算器組，包含對應至一第一數量之複數個乘積累加運算器，該等乘積累加運算器用以執行複數個卷積運作，其中該第一數量為一初始輸出通道數之二倍；當該放大信號指示執行該四倍放大運作時，該共用層運算器組基於一第一輸入通道數及一第一輸出通道數執行該等卷積運作，其中該第一輸入通道數及該第一輸出通道數至少為大於等於2之偶數正整數；當該放大信號指示執行該二倍放大運作時，該共用層運算器組基於一第二輸入通道數及一第二輸出通道數執行該等卷積運作；其中，該第一輸入通道數為該第二輸入通道數之二倍，且該第一輸出通道數為該第二輸出通道數之二倍。
  2. 如請求項1所述之超解析度裝置，更包含：一第一層運算器，電性連接至該輸入介面及該共用層運算器組，並用以執行一第一層卷積運作，其中該第一層卷積運作對應至該初始輸出通道數，且該初始輸出通道數為一偶數正整數。
  3. 如請求項1所述之超解析度裝置，其中該影像對應至一輸入解析度，且該超解析度裝置對應至一最大輸出解析度，且該超解析度裝置更包含以下運作：當該放大信號指示執行該四倍放大運作時，該影像所對應之該輸入解析度最大為該最大輸出解析度的四分之一寬度及四分之一長度；以及當該放大信號指示執行該二倍放大運作時，該影像所對應之該輸入解析度最大為該最大輸出解析度的二分之一寬度及二分之一長度。
  4. 如請求項1所述之超解析度裝置，更包含：一共用層加法器組，電性連接至該共用層運算器組，並用以執行複數個加法運作；其中，該共用層運算器組及該共用層加法器組用以產生對應該影像之複數個畫素。
  5. 如請求項4所述之超解析度裝置，其中該超解析度裝置更包含以下運作：當該放大信號指示執行該四倍放大運作時，該共用層加法器組執行對應至一第二數量之該等加法運作，以產生對應該影像之該等畫素。
  6. 如請求項5所述之超解析度裝置，其中該超解析度裝置更包含以下運作：當該放大信號指示執行該二倍放大運作時，該共用層加法器組執行對應至一第三數量之該等加法運作，以產生對應該影像之該等畫素。
  7. 如請求項1所述之超解析度裝置，其中該等乘積累加運算器係基於一卷積核執行該等卷積運作，該卷積核對應至一寬度數值及一長度數值，且該等卷積運作各者由該等乘積累加運算器其中之一所執行。
  8. 如請求項7所述之超解析度裝置，其中該等乘積累加運算器執行之各該卷積運作包含以下運作：執行N*M次乘法運作及(N*M)-1次加法運作，其中N為該卷積核所對應之該寬度數值，M為該卷積核所對應之該長度數值，且N及M為一正整數。
  9. 如請求項1所述之超解析度裝置，其中更包含：一共用線緩衝器，包含對應至一第四數量之複數個暫存區塊，其中該共用層運算器組是基於該等暫存區塊執行該四倍放大運作與該二倍放大運作所對應之該等卷積運作，且該第四數量係基於該第一輸入通道數及該第一輸出通道數產生。
  10. 一種超解析度方法，用於一超解析度裝置，該超解析度裝置包含一輸入介面及一共用層運算器組，該共用層運算器組包含對應至一第一數量之複數個乘積累加運算器，該等乘積累加運算器用以執行複數個卷積運作，其中該第一數量為一初始輸出通道數之二倍，該超解析度方法包含下列步驟：接收一影像及一放大信號，其中該放大信號用以指示對該影像執行一二倍放大運作或一四倍放大運作；當該放大信號指示執行該四倍放大運作時，該共用層運算器組基於一第一輸入通道數及一第一輸出通道數執行該等卷積運作，其中該第一輸入通道數及該第一輸出通道數至少為大於等於2之偶數正整數；以及當該放大信號指示執行該二倍放大運作時，該共用層運算器組基於一第二輸入通道數及一第二輸出通道數執行該等卷積運作；其中，該第一輸入通道數為該第二輸入通道數之二倍，且該第一輸出通道數為該第二輸出通道數之二倍。
TW111117909A 2022-05-12 2022-05-12 超解析度裝置及方法 TWI799265B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111117909A TWI799265B (zh) 2022-05-12 2022-05-12 超解析度裝置及方法
US17/936,851 US20230368496A1 (en) 2022-05-12 2022-09-30 Super resolution device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111117909A TWI799265B (zh) 2022-05-12 2022-05-12 超解析度裝置及方法

Publications (2)

Publication Number Publication Date
TWI799265B true TWI799265B (zh) 2023-04-11
TW202345092A TW202345092A (zh) 2023-11-16

Family

ID=86948695

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111117909A TWI799265B (zh) 2022-05-12 2022-05-12 超解析度裝置及方法

Country Status (2)

Country Link
US (1) US20230368496A1 (zh)
TW (1) TWI799265B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914687A (zh) * 2014-03-14 2014-07-09 常州大学 一种基于多通道和多阈值的矩形目标识别方法
TW201837854A (zh) * 2017-04-10 2018-10-16 南韓商三星電子股份有限公司 用於深度學習影像超解析度的系統及方法
TW202006662A (zh) * 2018-07-03 2020-02-01 日商優必達株式會社股份有限公司 提高影像品質的方法
CN111696038A (zh) * 2020-05-26 2020-09-22 新华三大数据技术有限公司 图像超分辨率方法、装置、设备及计算机可读存储介质
TWI725875B (zh) * 2018-01-16 2021-04-21 美商伊路米納有限公司 結構照明成像系統和使用結構化光來創建高解析度圖像的方法
TW202217742A (zh) * 2020-10-21 2022-05-01 國立政治大學 影像品質提昇方法及使用該方法的影像處理裝置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914687A (zh) * 2014-03-14 2014-07-09 常州大学 一种基于多通道和多阈值的矩形目标识别方法
TW201837854A (zh) * 2017-04-10 2018-10-16 南韓商三星電子股份有限公司 用於深度學習影像超解析度的系統及方法
TWI725875B (zh) * 2018-01-16 2021-04-21 美商伊路米納有限公司 結構照明成像系統和使用結構化光來創建高解析度圖像的方法
TW202006662A (zh) * 2018-07-03 2020-02-01 日商優必達株式會社股份有限公司 提高影像品質的方法
CN111696038A (zh) * 2020-05-26 2020-09-22 新华三大数据技术有限公司 图像超分辨率方法、装置、设备及计算机可读存储介质
TW202217742A (zh) * 2020-10-21 2022-05-01 國立政治大學 影像品質提昇方法及使用該方法的影像處理裝置

Also Published As

Publication number Publication date
US20230368496A1 (en) 2023-11-16
TW202345092A (zh) 2023-11-16

Similar Documents

Publication Publication Date Title
WO2019192316A1 (zh) 图像相关处理方法及装置、设备、存储介质
JP2921659B2 (ja) ビデオ・イメージの寸法変更装置及び方法
KR100594073B1 (ko) 내장형 시스템의 디지털 영상 스케일링방법
JP5991722B2 (ja) パラレルスケーラ処理のための装置、及び方法
Chen VLSI implementation of a low-cost high-quality image scaling processor
US20030088602A1 (en) High-speed computation in arithmetic logic circuit
TW576101B (en) Combined color space matrix transformation and FIR filter
JP2544326B2 (ja) ディジタルフィルタ
KR100416370B1 (ko) 비디오필드들을순차주사비디오프레임들로디인터레이싱하기위한방법및장치
TWI459357B (zh) 解析度定標器
Huang et al. A novel interpolation chip for real-time multimedia applications
Lien et al. An efficient edge-based technique for color filter array demosaicking
KR20000047576A (ko) 신호 처리 분산 산술 구조
TWI799265B (zh) 超解析度裝置及方法
Zhu et al. An efficient bicubic interpolation implementation for real-time image processing using hybrid computing
GB2498033A (en) Generating a super resolution image
JP2008523489A (ja) 画像サイズを変更する方法および装置
JPH06132781A (ja) 画像処理用デジタルフィルタ
CN115547350A (zh) 音频信号处理方法、装置、电子设备及可读存储介质
CN116227507B (zh) 一种用于进行双线性插值处理的运算装置
JPH08107512A (ja) 画像の鮮鋭度調整方法
US7092035B1 (en) Block move engine with scaling and/or filtering for video or graphics
US20050213851A1 (en) Scaling device and method for scaling a digital picture
Rahmatullah et al. Comparison of Interpolation Scaling Algorithm and Efficient VLSI Design of Win-Scale Interpolation for Run Time Digital Picture Spreading
CN101431637B (zh) 帧数据处理的装置及方法