TWI543586B - 影像增強的方法及其影像處理裝置與電腦程式產品 - Google Patents

影像增強的方法及其影像處理裝置與電腦程式產品 Download PDF

Info

Publication number
TWI543586B
TWI543586B TW103119050A TW103119050A TWI543586B TW I543586 B TWI543586 B TW I543586B TW 103119050 A TW103119050 A TW 103119050A TW 103119050 A TW103119050 A TW 103119050A TW I543586 B TWI543586 B TW I543586B
Authority
TW
Taiwan
Prior art keywords
edge
image
component
resolution
pixels
Prior art date
Application number
TW103119050A
Other languages
English (en)
Other versions
TW201545539A (zh
Inventor
彭國軒
林芳正
黃乙白
謝漢萍
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW103119050A priority Critical patent/TWI543586B/zh
Priority to US14/522,595 priority patent/US9552625B2/en
Publication of TW201545539A publication Critical patent/TW201545539A/zh
Application granted granted Critical
Publication of TWI543586B publication Critical patent/TWI543586B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)

Description

影像增強的方法及其影像處理裝置與電腦程式產品
本發明是有關於一種影像處理的技術,且特別是有關於一種影像增強的方法及其影像處理裝置與電腦程式產品。
近幾年隨著液晶電視的快速發展,超高解析度(Ultra High Definition,UHD)液晶電視挾著液晶電視既有的高對比、高亮度、高色彩飽和度以及廣視角之條件因而快速竄起,並且打開大尺寸液晶面板的需求,以超越人眼空間解析的顯示技術,驚豔觀賞者的視覺體驗。
然而,在高畫質影像擷取設備尚未完備的情況下,超高解析度影像也未因此普及。所謂「超高解析度影像」是將影像放大並補償影像中的高頻,使得放大後的影像仍具有與原始影像相同的清晰度,甚至出現更多的細節資訊。此技術已被廣泛地利用在電視訊號影像處理,以將解析度低的原始訊號展開成為高畫質 影像。
習知的技術主要是運用資料庫做為高解析度影像的參考源,或是經過複雜的迭代流程以自我搜尋影像中的相似度來產生超解析度影像。這些方式雖然有良好的效果,但其計算程序複雜,難以實作在即時運算的顯示器視訊處理晶片。另一方面,習知的影像處理所採用的銳利化方式可以形成區域性對比增強而達到超解析度影像的目的,其中又以鈍化遮罩銳利化(Unsharp Masking Sharpening Method)技術具有高效率以及低複雜度的優點,適合應用在顯示器視訊晶片的實作。然而,鈍化遮罩銳利化容易使影像產生振鈴(Ringing)與鋸齒(Jaggy)效應,反而會造成影像清晰度的下降。
有鑑於此,本發明提供一種影像增強的方法及其影像處理裝置與電腦程式產品,其結合邊緣偵測與鈍化遮罩銳利化技術,以低成本的實作方式,即時地產生超高解析度的影像。
本發明提出一種影像增強的方法,適用於影像處理裝置。此方法先接收低解析度影像,並且放大低解析度影像,以產生放大影像,其中放大影像包括多個第一畫素。接著,針對放大影像進行邊緣偵測處理,以取得各所述第一畫素的邊緣資訊,其中各所述第一畫素的邊緣資訊包括邊緣方向以及邊緣強度,各所述邊緣方向包括水平分量以及垂直分量,各所述邊緣方向的水平 分量與垂直分量之總和為固定值。之後,利用低通濾波器,針對放大影像進行低通濾波處理,以產生低通濾波放大影像,並且根據各所述邊緣方向的水平分量以及垂直分量,分別利用一維水平鈍化遮罩銳利化法以及一維垂直鈍化遮罩銳利化法,強化低通濾波放大影像的邊緣區域,以產生高解析度邊緣影像,又利用二維鈍化遮罩銳利化法,強化放大影像的非邊緣區域,以產生高解析度細節影像。之後,根據各所述邊緣強度,融合高解析度邊緣影像與高解析度細節影像,以產生超解析度影像。
在本發明的一實施例中,上述放大低解析度影像,以產生放大影像的步驟為利用雙線性內插法,內插放大低通低解析度影像,以產生放大影像。
在本發明的一實施例中,上述針對放大影像進行邊緣偵測處理,以取得各所述第一畫素的邊緣資訊的步驟包括利用邊緣偵測濾波器,計算各所述第一畫素的水平梯度分量以及垂直梯度分量,再分別計算各所述第一畫素的水平梯度分量與垂直梯度分量的絕對值總和,並且正規化所述絕對值總和,以取得各所述第一畫素的邊緣強度,以及分別計算各所述第一畫素的水平梯度分量與垂直梯度分量之絕對值相對於其所對應的絕對值總和的比值,以取得各所述第一畫素的邊緣方向的水平分量以及垂直分量。
在本發明的一實施例中,上述在分別計算各所述第一畫素的水平梯度分量與垂直梯度分量之絕對值相對於其所對應的絕對值總和的比值,以取得各所述第一畫素的邊緣方向的水平分量 以及垂直分量的步驟之後,所述方法更利用另一低通濾波器,針對各所述第一畫素的邊緣方向的水平分量進行低通濾波處理,以產生各所述第一畫素的邊緣方向的低通水平分量,又根據各所述第一畫素的邊緣方向的低通水平分量,取得各所述第一畫素的邊緣方向的低通垂直分量,再分別將各所述第一畫素的邊緣方向的低通水平分量以及低通垂直分量設定為各所述第一畫素的邊緣方向的水平分量以及垂直分量。
在本發明的一實施例中,上述根據各所述邊緣方向的水平分量以及垂直分量,分別利用一維水平鈍化遮罩銳利化法以及一維垂直鈍化遮罩銳利化法,強化低通濾波放大影像的邊緣區域,以產生高解析度邊緣影像的步驟,包括設定各所述邊緣方向的水平分量為對應水平鈍化遮罩的水平權重,設定各所述邊緣方向的垂直分量為對應垂直鈍化遮罩的垂直權重,根據水平鈍化遮罩、各所述水平權重、垂直鈍化遮罩以及各所述垂直權重,強化低通濾波放大影像的邊緣區域,以產生邊緣強化影像,以及根據各所述邊緣強度,針對邊緣強化影像的邊緣區域進行剪裁處理,以產生高解析度邊緣影像。
在本發明的一實施例中,上述根據各所述邊緣強度,融合高解析度邊緣影像與高解析度細節影像,以產生超解析度影像的步驟包括設定各所述邊緣強度為對應於高解析度邊緣影像的邊緣強度權重,根據各所述邊緣強度權重,分別取得對應的非邊緣強度權重,以及分別以各所述邊緣強度權重與非邊緣強度權重, 分配高解析度邊緣影像與高解析度細節影像的融合比例,以產生超解析度影像。
本發明另提出一種影像處理裝置,包括儲存單元以及處理單元,其中處理單元耦接儲存單元。儲存單元用以儲存多個指令。處理單元用以存取所述指令以執行下列步驟。首先,接收低解析度影像,並且放大低解析度影像,以產生放大影像,其中放大影像包括多個第一畫素。接著,針對放大影像進行邊緣偵測處理,以取得各所述第一畫素的邊緣資訊,其中各所述第一畫素的邊緣資訊包括邊緣方向以及邊緣強度,各所述邊緣方向包括水平分量以及垂直分量,各所述邊緣方向的水平分量與垂直分量之總和為固定值。之後,利用低通濾波器,針對放大影像進行低通濾波處理,以產生低通濾波放大影像,並且根據各所述邊緣方向的水平分量以及垂直分量,分別利用一維水平鈍化遮罩銳利化法以及一維垂直鈍化遮罩銳利化法,強化放大影像的邊緣區域,以產生高解析度邊緣影像,又利用二維鈍化遮罩銳利化法,強化低通濾波放大影像的非邊緣區域,以產生高解析度細節影像。之後,根據各所述邊緣強度,融合高解析度邊緣影像與高解析度細節影像,以產生超解析度影像。
在本發明的一實施例中,其中處理單元執行上述放大低解析度影像,以產生放大影像的步驟為利用雙線性內插法,內插放大低通低解析度影像,以產生放大影像。
在本發明的一實施例中,處理單元執行上述針對放大影 像進行邊緣偵測處理,以取得各所述第一畫素的邊緣資訊的步驟包括利用邊緣偵測濾波器,計算各所述第一畫素的水平梯度分量以及垂直梯度分量,再分別計算各所述第一畫素的水平梯度分量與垂直梯度分量的絕對值總和,並且正規化所述絕對值總和,以取得各所述第一畫素的邊緣強度,以及分別計算各所述第一畫素的水平梯度分量與垂直梯度分量之絕對值相對於其所對應的絕對值總和的比值,以取得各所述第一畫素的邊緣方向的水平分量以及垂直分量。
在本發明的一實施例中,處理單元在執行上述分別計算各所述第一畫素的水平梯度分量與垂直梯度分量之絕對值相對於其所對應的絕對值總和的比值,以取得各所述第一畫素的邊緣方向的水平分量以及垂直分量的步驟之後,處理單元更執行下列步驟。利用另一低通濾波器,針對各所述第一畫素的邊緣方向的水平分量進行低通濾波處理,以產生各所述第一畫素的邊緣方向的低通水平分量,又根據各所述第一畫素的邊緣方向的低通水平分量,取得各所述第一畫素的邊緣方向的低通垂直分量,再分別將各所述第一畫素的邊緣方向的低通水平分量以及低通垂直分量設定為各所述第一畫素的邊緣方向的水平分量以及垂直分量。
在本發明的一實施例中,處理單元執行上述根據各所述邊緣方向的水平分量以及垂直分量,分別利用一維水平鈍化遮罩銳利化法以及一維垂直鈍化遮罩銳利化法,強化低通濾波放大影像的邊緣區域,以產生高解析度邊緣影像的步驟包括設定各所述 邊緣方向的水平分量為對應水平鈍化遮罩的水平權重,設定各所述邊緣方向的垂直分量為對應垂直鈍化遮罩的垂直權重,根據水平鈍化遮罩、各所述水平權重、垂直鈍化遮罩以及各所述垂直權重,強化低通濾波放大影像的邊緣區域,以產生邊緣強化影像,以及根據各所述邊緣強度,針對邊緣強化影像的邊緣區域進行剪裁處理,以產生高解析度邊緣影像。
在本發明的一實施例中,處理單元執行上述根據各所述邊緣強度,融合高解析度邊緣影像與高解析度細節影像,以產生超解析度影像的步驟包括設定各所述邊緣強度為對應於高解析度邊緣影像的邊緣強度權重,根據各所述邊緣強度權重,分別取得對應的非邊緣強度權重,以及分別以各所述邊緣強度權重與非邊緣強度權重,分配高解析度邊緣影像與高解析度細節影像的融合比例,以產生超解析度影像。
本發明又提出一種電腦程式產品,其係經由影像處理裝置載入程式以執行下列步驟。首先,接收低解析度影像,並且放大低解析度影像,以產生放大影像,其中放大影像包括多個第一畫素。接著,針對放大影像進行邊緣偵測處理,以取得各所述第一畫素的邊緣資訊,其中各所述第一畫素的邊緣資訊包括邊緣方向以及邊緣強度,各所述邊緣方向包括水平分量以及垂直分量,各所述邊緣方向的水平分量與垂直分量之總和為固定值。之後,利用低通濾波器,針對放大影像進行低通濾波處理,以產生低通濾波放大影像,並且根據各所述邊緣方向的水平分量以及垂直分 量,分別利用一維水平鈍化遮罩銳利化法以及一維垂直鈍化遮罩銳利化法,強化低通濾波放大影像的邊緣區域,以產生高解析度邊緣影像,又利用二維鈍化遮罩銳利化法,強化放大影像的非邊緣區域,以產生高解析度細節影像。之後,根據各所述邊緣強度,融合高解析度邊緣影像與高解析度細節影像,以產生超解析度影像。
基於上述,本發明所提出的影像增強的方法、影像處理裝置及電腦程式產品,其利用正規化邊緣結構偵測所取得的完整邊緣方向與邊緣強度資訊,產生穩定的判斷結果,又針對影像的邊緣區域使用水平與垂直的高通濾波器配合完整的邊緣方向資訊,產生清晰的邊緣,以解決邊緣區域常出現鋸齒與振鈴失真的問題,並且針對影像的非邊緣區域使用無方向性的高通濾波器取得高頻資訊,有效地加強影像的細節成份,避免細節失真或扭曲,以產生超高解析度的影像品質。此外,本發明運用高通濾波器為核心,其不需要迭代即可取得影像的高頻成份,即可達到即時運算的需求,更可因應需求自行調整,具有高度的使用彈性。藉此,在保留單一影像處理而不需畫幅暫存器(Frame Buffer)的同時,本發明所提出的影像增強技術可運用於具有即時運算處理晶片的超高解析度液晶顯示器等消費性電子產品上,以增強本發明在實際應用中的適用性。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100‧‧‧影像處理裝置
102‧‧‧儲存單元
104‧‧‧處理單元
S202~S212‧‧‧影像增強方法的流程
d‧‧‧梯度方向
m‧‧‧梯度值
Edx‧‧‧邊緣方向的水平分量
Edy‧‧‧邊緣方向的垂直分量
LR‧‧‧低解析度影像
I‧‧‧放大影像
Ed‧‧‧邊緣方向
Ei‧‧‧邊緣強度
HRed‧‧‧高解析度邊緣影像
HRdt‧‧‧高解析度細節影像
UHD‧‧‧超解析度影像
402‧‧‧放大處理
404‧‧‧邊緣偵測處理
406‧‧‧邊緣強化處理
408‧‧‧細節強化處理
410‧‧‧融合處理
圖1繪示依據本發明一實施例之一種影像處理裝置的方塊圖。
圖2繪示依據本發明一實施例之影像增強方法的流程圖。
圖3(a)繪示習知的邊緣資訊的示意圖。
圖3(b)繪示依據本發明一實施例之正規化的邊緣資訊的示意圖。
圖4繪示依據本發明一實施例之影像增強方法的功能方塊圖。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
圖1繪示依據本發明一實施例之影像處理裝置的方塊示意圖,但此僅是為了方便說明,並不用以限制本發明。首先圖1先介紹影像處理裝置的所有構件以及配置關係,詳細功能將配合圖2一併揭露。
請參照圖1,本實施例的影像處理裝置100可針對一低解析度的輸入影像進行影像增強處理,以產生超解析度的輸出影像。影像處理裝置100可以為個人電腦、筆記型電腦、平板電腦、 數位相機、智慧型手機、電視等具有影像處理功能的電子裝置,本發明不在此設限。影像處理裝置100包括儲存單元102及處理單元104,其功能分述如下。
儲存單元102例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash Memory)、硬碟或其他類似裝置或這些裝置的組合,而用以記錄可由處理單元104執行的多個指令,這些指令可載入處理單元104以對輸入影像進行影像增強處理。
處理單元104例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。處理單元104耦接至儲存單元102,其可存取並執行記錄在儲存單元102中的指令。
圖2繪示依據本發明一實施例之影像增強的方法流程圖。本實施例的方法適用於圖1的影像處理裝置100,以下即搭配影像處理裝置100中的各項元件說明本發明之影像增強的方法之詳細步驟。
請參照圖2,首先,處理單元104接收低解析度影像(步 驟S202),並且放大低解析度影像,以產生放大影像(步驟S204)。詳言之,處理單元104可利用例如是雙立方內插法(Bicubic Interpolation)將低解析度影像內插放大至放大影像。雙立方內插法常用於圖像或是視訊的縮放,相較於其它內插法,其可保留原始影像中更多的細節並且產生較少的內插假影(Interpolation Artifacts)。在此將放大影像中的畫素定義為「第一畫素」,其係以行(column)與列(row)的方式排列成一個矩陣。
接著,處理單元104將針對放大影像進行邊緣偵測處理,以取得各所述第一畫素的邊緣資訊(步驟S206)。在此,各所述第一畫素的邊緣資訊包括邊緣方向以及邊緣強度,而各所述邊緣方向包括水平分量以及垂直分量。以下將針對此步驟進行更詳盡的說明。
詳言之,處理單元104可先利用邊緣偵測濾波器,計算各所述第一畫素的水平梯度分量以及垂直梯度分量。在本實施例中,邊緣偵測濾波器可以為一般常用於進行邊緣檢測的索貝爾運算子(Sobel Operator),其包括對應於水平方向的矩陣Sbx以及對 應於垂直方向的矩陣Sby,其中以及 處理單元104可根據方程式(1)得到各所述第一畫素的水平梯度分量以及垂直梯度分量: 其中Gx為各所述第一畫素的水平梯度分量,Gy為各所述第一畫素的垂直梯度分量,I為放大影像的各所述第一畫素,以及(*)為摺積運算子(Convolution Operator)。接著,處理單元104便可利用各所述第一畫素的水平梯度分量以及垂直梯度分量來取得各所述第一畫素的邊緣方向以及邊緣強度。
以邊緣方向而言,在此將各所述第一畫素的水平梯度分量與垂直梯度分量所對應的比值定義為「梯度方向」,其可以方程式(2)來表示: 其中d為梯度方向,Gx以及Gy分別為各所述第一畫素的水平梯度分量與垂直梯度分量。另一方面,以邊緣強度而言,在此將各所述第一畫素的水平梯度分量與垂直梯度分量所對應的絕對值總和定義為「梯度值」,其可以方程式(3)來表示:m=|Gx|+|Gy| 方程式(3)其中m為梯度值。在此的梯度方向d以及梯度值m則為一般習知辨識邊緣資訊的引數(Argument)。
然而,針對邊緣方向,在此的處理單元104可先計算各第一畫素的水平梯度分量與垂直梯度分量的絕對值比值,再利用轉換函數將各個絕對值比值轉換至正規化範圍,以分別形成一個正規化方向值,其中各個正規化方向值使得各所述第一畫素的邊 緣方向的水平分量與垂直分量之總和為固定值。因此,處理單元104只需使用水平分量或是垂直分量其中之一者即可代表邊緣方向。換言之,此方式可簡化邊緣方向的資訊,得以單一分量來表示完整的邊緣方向資訊。
具體而言,在本實施例中,處理單元104可根據方程式(4)先將各所述第一畫素的梯度方向d分解成邊緣方向的水平分量Edx以及邊緣方向的垂直分量Edy 其中Edx以及Edy分別為各所述第一畫素的梯度方向d於水平方向以及垂直方向所佔的百分比。據此,處理單元104可取得各所述第一畫素的邊緣方向的水平分量以及垂直分量來做為邊緣偵測的引|數。
在一實施例中,處理單元104可利用低通濾波器(Low Pass Filter)針對各所述第一畫素的邊緣方向的水平分量進行低通濾波處理,以平滑邊緣方向的水平分量,從而產生各所述第一畫素的邊緣方向的低通水平分量。此低通濾波器可以是高斯模糊濾波器(Gaussian Blur Filter)、均值濾波器(Mean Filter)或其它種類的低通濾波器,本發明不在此設限。接著,處理單元104可再根據各所述邊緣方向的低通水平分量,取得各所述邊緣方向的低通垂直分量。最後再將各所述邊緣方向的低通水平分量以及低通 垂直分量設定為各所述第一畫素的邊緣方向的水平分量以及垂直分量。
另一方面,針對邊緣強度,在此處理單元104可先計算各所述第一畫素的水平梯度分量與垂直梯度分量的絕對值總和,再利用轉換函數將各所述絕對值總和轉換至正規化範圍,以取得分別各所述第一畫素的邊緣強度來做為邊緣偵測的另一引數。此引數同時考量到水平梯度分量與垂直梯度分量,使得邊緣強度資訊具有連續變化的特性,在辨識邊緣的使用上可以不受雜訊的影響而產生穩定的判斷結果。
具體而言,在本實施例中,處理單元104可根據方程式(5)取得各所述第一畫素的邊緣強度: 其中Ei為根據轉換函數Eif(m,Ei cor ,Ei th )後,正規化至[0,1]區間的各所述第一畫素的邊緣強度。Ei cor 為對應於梯度值m下限的核化值(coring value),Ei th 為對應於梯度值m上限的閥值(threshold value)。
簡言之,圖3(a)繪示一般習知包括梯度方向d以及梯度值m的邊緣資訊。處理單元104則於步驟S206中將梯度資訊E(d,m)轉換為圖3(b)所繪示的正規化的邊緣資訊E nc (Edx,Ei),而此邊緣資訊包括邊緣方向的水平分量Edx與垂直分量Edy以及邊緣強度Ei
接著,請再參照圖2,處理單元104將利用低通濾波器針對放大影像進行低通濾波處理,以產生低通濾波放大影像,並且根據各所述邊緣方向的水平分量以及垂直分量,分別利用一維水平鈍化遮罩銳利化法以及一維垂直鈍化遮罩銳利化法,強化低通濾波放大影像的邊緣區域,以產生高解析度邊緣影像(步驟S208)。在此,處理單元104所利用的低通濾波器亦可以是高斯模糊濾波器、均值濾波器或其它種類的低通濾波器,本發明不在此設限。此外,處理單元104是利用具有方向性的高通濾波器(High-pass Filter)來產生清晰邊緣。
詳言之,處理單元104先利用低通濾波器,對放大影像進行低通濾波處理,以產生較低雜訊的低通濾波放大影像。之後,處理單元104可先將步驟S206中所取得的各所述第一畫素的邊緣方向的水平分量以及垂直分量分別設定為對應水平鈍化遮罩的水平權重以及對應垂直鈍化遮罩的垂直權重。接著,處理單元104再根據水平鈍化遮罩、各所述水平權重、垂直鈍化遮罩以及各所述垂直權重,強化低通濾波放大影像的邊緣區域,以產生邊緣強化影像。具體而言,處理單元104可根據方程式(6)來產生邊緣強化影像:I ed =I+Edx×(S umsx I)+Edy×(S umsy I) 方程式(6)其中I ed 為邊緣強化影像;S umsx 為一維水平鈍化遮罩,其可以例如是[-1,2,-1];S umsy 為一維垂直鈍化遮罩,其可以例如是[-1,2,-1] T
在本實施例中,為了能夠使得邊緣強化影像的邊緣區域 更加平滑,在不模糊非邊緣區域而失去細節資訊的前提下,處理單元104可根據各所述第一畫素的邊緣強度,針對邊緣強化影像的邊緣區域進行剪裁處理(Clipping),以產生高解析度邊緣影像。具體而言,在本實施例中,處理單元104可根據方程式(7)來產生高解析度邊緣影像: 其中I max=max(I(x+i,y+j)),其代表第一畫素I(x,y)之鄰近區域中的最大像素值;I min=min(I(x+i,y+j)),其代表第一畫素I(x,y)之鄰近區域中的最小像素值;i,j=[-k,k];I edcl 為高解析度邊緣影像。
處理單元104在步驟S208使用水平與垂直的高通濾波器配合正規化的邊緣方向資訊,並且採用加權組合動態決定水平與垂直方向的強化分量來產生邊緣強化影像後,再針對邊緣強化影像的邊緣區域進行剪裁處理後,可解決一般習知鈍化遮罩銳利化法在邊緣區域出現失真以及鋸齒的問題。
接著,處理單元104利用二維鈍化遮罩銳利化法,強化放大影像的非邊緣區域,以產生高解析度細節影像(步驟S210)。具體來說,處理單元104可根據方程式(8)來產生高解析度細節影像:I dt =I+S dt I 方程式(8)其中I dt 為高解析度細節影像,S dt 為二維鈍化遮罩,其可以例如是 。換言之,處理單元104在此步驟針對非邊緣區域 採用二維無方向性的高通濾波器取得高頻資訊,有效地加強影像的高頻細節成份而產生鮮明的細節,以避免造成細節失真或扭曲的問題。
在此必須說明的是,在本實施例中,處理單元104先執行步驟S208以產生高解析度邊緣影像後,再執行步驟S210以產生高解析度細節影像。然而,在其它實施例中,處理單元104可先執行步驟S210後再執行步驟S208,或者甚至可同步處理此二步驟,本發明不在此設限。
之後,處理單元104根據各所述邊緣強度,融合高解析度邊緣影像與高解析度細節影像,以產生超解析度影像(步驟S212)。詳言之,處理單元104將利用各所述第一畫素的邊緣強度做為引數,先設定各所述邊緣強度為對應於高解析度邊緣影像的邊緣強度權重,再根據各所述邊緣強度權重,分別取得對應的非邊緣強度權重。接著,處理單元104將以各所述邊緣強度權重與其所對應的非邊緣強度權重來分配高解析度邊緣影像與高解析度細節影像的融合比例,以產生超解析度影像。具體而言,處理單元104可根據方程式(9)來產生邊緣強化影像:I'=Ei×I edcl +(1-EiI dt 方程式(9)其中I'為超解析度影像,Ei為邊緣強度權重,(1-Ei)為非邊緣強度權重。在此的超解析度影像則具有平滑且清晰的邊緣結構以及更 明顯的細節表現。
前述影像增強的方法可利用圖4依據本揭露一實施例所繪示的功能方塊圖來總結。請參照圖4,此方法會先接收低解析度影像LR以做為輸入影像,再將低解析度影像LR進行放大處理402,以產生放大影像I。在邊緣偵測處理404中,可取得低解析度影像LR的邊緣資訊,其包括邊緣方向Ed以及邊緣強度Ei。接著,針對放大影像I進行低通濾波處理,並且將其所產生的影像的邊緣區域進行邊緣強化處理406,以產生高解析度邊緣影像HRed,並且針對放大影像I的非邊緣區域進行細節強化處理408,以產生高解析度細節影像HRdt。之後,再將高解析度邊緣影像HRed與高解析度細節影像HRdt進行融合處理410,以產生超解析度影像UHD。
本發明另提供一種電腦程式產品,其係用以執行上述依據影像增強的方法的各個步驟,此電腦程式產品基本上是由多數個程式碼片段所組成的(例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段),並且這些程式碼片段在載入影像處理單元中並執行之後,即可完成上述依據影像增強的方法步驟。
綜上所述,本發明所提出的影像增強的方法、影像處理裝置及電腦程式產品,其利用正規化邊緣結構偵測所取得的完整邊緣方向與邊緣強度資訊,產生穩定的判斷結果,又針對影像的邊緣區域使用水平與垂直的高通濾波器配合完整的邊緣方向資 訊,產生清晰的邊緣,以解決邊緣區域常出現鋸齒與振鈴失真的問題,並且針對影像的非邊緣區域使用無方向性的高通濾波器取得高頻資訊,有效地加強影像的細節成份,避免細節失真或扭曲,以產生超高解析度的影像品質。此外,本發明運用高通濾波器為核心,其不需要迭代即可取得影像的高頻成份,即可達到即時運算的需求,更可因應需求自行調整,具有高度的使用彈性。藉此,在保留單一影像處理而不需畫幅暫存器(Frame Buffer)的同時,本發明所提出的影像增強技術可運用於具有即時運算處理晶片的超高解析度液晶顯示器等消費性電子產品上,以增強本發明在實際應用中的適用性。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S202~S212‧‧‧影像增加方法的流程

Claims (13)

  1. 一種影像增強的方法,適用於一影像處理裝置,該方法包括:接收一低解析度影像;放大該低解析度影像,以產生一放大影像,其中該放大影像包括多個第一畫素;針對該放大影像進行邊緣偵測處理,以取得各所述第一畫素的一邊緣資訊,其中各所述第一畫素的該邊緣資訊包括一邊緣方向以及一邊緣強度,各所述邊緣方向包括一水平分量以及一垂直分量,各所述邊緣方向的該水平分量與該垂直分量之總和為一固定值;利用一低通濾波器,針對該放大影像進行低通濾波處理,以產生一低通濾波放大影像,並且根據各所述邊緣方向的該水平分量以及該垂直分量,分別利用一一維水平鈍化遮罩銳利化法以及一一維垂直鈍化遮罩銳利化法,強化該低通濾波放大影像的一邊緣區域,以產生一高解析度邊緣影像;利用一二維鈍化遮罩銳利化法,強化該放大影像的一非邊緣區域,以產生一高解析度細節影像;以及根據各所述邊緣強度,融合該高解析度邊緣影像與該高解析度細節影像,以產生一超解析度影像。
  2. 如申請專利範圍第1項所述的方法,其中上述放大該低解析度影像,以產生該放大影像的步驟包括: 利用一雙線性內插法,內插放大該低解析度影像,以產生該放大影像。
  3. 如申請專利範圍第1項所述的方法,其中上述針對該放大影像進行邊緣偵測處理,以取得各所述第一畫素的該邊緣資訊的步驟包括:利用一邊緣偵測濾波器,計算各所述第一畫素的一水平梯度分量以及一垂直梯度分量;分別計算各所述第一畫素的該水平梯度分量與該垂直梯度分量的一絕對值總和,並且正規化所述絕對值總和,以取得各所述第一畫素的該邊緣強度;以及分別計算各所述第一畫素的該水平梯度分量與該垂直梯度分量之絕對值相對於其所對應的該絕對值總和的比值,以取得各所述第一畫素的該邊緣方向的該水平分量以及該垂直分量。
  4. 如申請專利範圍第3項所述的方法,其中在分別計算各所述第一畫素的水平梯度分量與垂直梯度分量之該絕對值相對於其所對應的該絕對值總和的該比值,以取得各所述第一畫素的該邊緣方向的該水平分量以及該垂直分量的步驟之後,該影像增強方法更包括:利用一另一低通濾波器,針對各所述第一畫素的該邊緣方向的該水平分量進行低通濾波處理,以產生各所述第一畫素的該邊緣方向的一低通水平分量;根據各所述第一畫素的該邊緣方向的該低通水平分量,取得 各所述第一畫素的該邊緣方向的該低通垂直分量;以及分別將各所述第一畫素的該邊緣方向的該低通水平分量以及該低通垂直分量設定為各所述第一畫素的該邊緣方向的該水平分量以及該垂直分量。
  5. 如申請專利範圍第1項所述的方法,其中上述根據各所述邊緣方向的該水平分量以及該垂直分量,分別利用該一維水平鈍化遮罩銳利化法以及該一維垂直鈍化遮罩銳利化法,強化該低通濾波放大影像的該邊緣區域,以產生該高解析度邊緣影像的步驟包括:設定各所述邊緣方向的該水平分量為對應一水平鈍化遮罩的一水平權重;設定各所述邊緣方向的該垂直分量為對應一垂直鈍化遮罩的一垂直權重;根據該水平鈍化遮罩、各所述水平權重、該垂直鈍化遮罩以及各所述垂直權重,強化該低通濾波放大影像的該邊緣區域,以產生一邊緣強化影像;以及根據各所述邊緣強度,針對該邊緣強化影像的該邊緣區域進行剪裁處理,以產生該高解析度邊緣影像。
  6. 如申請專利範圍第1項所述的方法,其中上述根據各所述邊緣強度,融合該高解析度邊緣影像與該高解析度細節影像,以產生該超解析度影像的步驟包括:設定各所述邊緣強度為對應於該高解析度邊緣影像的一邊緣 強度權重;根據各所述邊緣強度權重,分別取得一對應的非邊緣強度權重;以及分別以各所述邊緣強度權重與該非邊緣強度權重,分配該高解析度邊緣影像與該高解析度細節影像的融合比例,以產生該超解析度影像。
  7. 一種影像處理裝置,包括:一儲存單元,儲存多個指令;一處理單元,耦接至該儲存單元,存取所述指令以執行下列步驟:接收一低解析度影像;放大該低解析度影像,以產生一放大影像,其中該放大影像包括多個第一畫素;針對該放大影像進行邊緣偵測處理,以取得各所述第一畫素的一邊緣資訊,其中各所述第一畫素的該邊緣資訊包括一邊緣方向以及一邊緣強度,各所述邊緣方向包括一水平分量以及一垂直分量,各所述邊緣方向的該水平分量與該垂直分量之總和為一固定值;利用一低通濾波器,針對該放大影像進行低通濾波處理,以產生一低通濾波放大影像,並且根據各所述邊緣方向的該水平分量以及該垂直分量,分別利用一一維水平鈍化遮罩銳利化法以及一一維垂直鈍化遮罩銳利化法,強化該低通濾波放大影像 的一邊緣區域,以產生一高解析度邊緣影像;利用一二維鈍化遮罩銳利化法,強化該放大影像的一非邊緣區域,以產生一高解析度細節影像;以及根據各所述邊緣強度,融合該高解析度邊緣影像與該高解析度細節影像,以產生一超解析度影像。
  8. 如申請專利範圍第7項所述的影像處理裝置,其中該處理單元執行上述放大該低解析度影像,以產生該放大影像的步驟包括:利用一雙線性內插法,內插放大該低通低解析度影像,以產生該放大影像。
  9. 如申請專利範圍第7項所述的影像處理裝置,其中該處理單元執行上述針對該放大影像進行邊緣偵測處理,以取得各所述第一畫素的該邊緣資訊的步驟包括:利用一邊緣偵測濾波器,計算各所述第一畫素的一水平梯度分量以及一垂直梯度分量;分別計算各所述第一畫素的該水平梯度分量與該垂直梯度分量的一絕對值總和,並且正規化所述絕對值總和,以取得各所述第一畫素的該邊緣強度;以及分別計算各所述第一畫素的該水平梯度分量與該垂直梯度分量之絕對值相對於其所對應的該絕對值總和的比值,以取得各所述第一畫素的該邊緣方向的該水平分量以及該垂直分量。
  10. 如申請專利範圍第9項所述的影像處理裝置,其中該處理 單元執行上述分別計算各所述第一畫素的水平梯度分量與垂直梯度分量之該絕對值相對於其所對應的該絕對值總和的該比值,以取得各所述第一畫素的該邊緣方向的該水平分量以及該垂直分量的步驟之後,該處理單元更執行下列步驟:利用一另一低通濾波器,針對各所述第一畫素的該邊緣方向的該水平分量進行低通濾波處理,以產生各所述第一畫素的該邊緣方向的一低通水平分量;根據各所述第一畫素的該邊緣方向的該低通水平分量,取得各所述第一畫素的該邊緣方向的該低通垂直分量;以及分別將各所述第一畫素的該邊緣方向的該低通水平分量以及該低通垂直分量設定為各所述第一畫素的該邊緣方向的該水平分量以及該垂直分量。
  11. 如申請專利範圍第7項所述的影像處理裝置,其中該處理單元執行上述根據各所述邊緣方向的該水平分量以及該垂直分量,分別利用該一維水平鈍化遮罩銳利化法以及該一維垂直鈍化遮罩銳利化法,強化該低通濾波放大影像的該邊緣區域,以產生該高解析度邊緣影像的步驟包括:設定各所述邊緣方向的該水平分量為對應一水平鈍化遮罩的一水平權重;設定各所述邊緣方向的該垂直分量為對應一垂直鈍化遮罩的一垂直權重;根據該水平鈍化遮罩、各所述水平權重、該垂直鈍化遮罩以 及各所述垂直權重,強化該放大影像的該邊緣區域,以產生一邊緣強化影像;以及根據各所述邊緣強度,針對該邊緣強化影像的該邊緣區域進行剪裁處理,以產生該高解析度邊緣影像。
  12. 如申請專利範圍第7項所述的影像處理裝置,其中該處理單元執行上述根據各所述邊緣強度,融合該高解析度邊緣影像與該高解析度細節影像,以產生該超解析度影像的步驟包括:設定各所述邊緣強度為對應於該高解析度邊緣影像的一邊緣強度權重;根據各所述邊緣強度權重,分別取得一對應的非邊緣強度權重;以及分別以各所述邊緣強度權重與該非邊緣強度權重,分配該高解析度邊緣影像與該高解析度細節影像的融合比例,以產生該超解析度影像。
  13. 一種電腦程式產品,經由一影像處理裝置載入該程式以執行下列步驟:接收一低解析度影像;放大該低解析度影像,以產生一放大影像,其中該放大影像包括多個第一畫素;針對該放大影像進行邊緣偵測處理,以取得各所述第一畫素的一邊緣資訊,其中各所述第一畫素的該邊緣資訊包括一邊緣方向以及一邊緣強度,各所述邊緣方向包括一水平分量以及一垂直 分量,各所述邊緣方向的該水平分量與該垂直分量之總和為一固定值;針對該放大影像進行低通濾波處理,以產生一低通濾波放大影像,並且根據各所述邊緣方向的該水平分量以及該垂直分量,分別利用一一維水平鈍化遮罩銳利化法以及一一維垂直鈍化遮罩銳利化法,強化該低通濾波放大影像的一邊緣區域,以產生一高解析度邊緣影像;利用一二維鈍化遮罩銳利化法,強化該放大影像的一非邊緣區域,以產生一高解析度細節影像;以及根據各所述邊緣強度,融合該高解析度邊緣影像與該高解析度細節影像,以產生一超解析度影像。
TW103119050A 2014-05-30 2014-05-30 影像增強的方法及其影像處理裝置與電腦程式產品 TWI543586B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103119050A TWI543586B (zh) 2014-05-30 2014-05-30 影像增強的方法及其影像處理裝置與電腦程式產品
US14/522,595 US9552625B2 (en) 2014-05-30 2014-10-24 Method for image enhancement, image processing apparatus and computer readable medium using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103119050A TWI543586B (zh) 2014-05-30 2014-05-30 影像增強的方法及其影像處理裝置與電腦程式產品

Publications (2)

Publication Number Publication Date
TW201545539A TW201545539A (zh) 2015-12-01
TWI543586B true TWI543586B (zh) 2016-07-21

Family

ID=54702389

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103119050A TWI543586B (zh) 2014-05-30 2014-05-30 影像增強的方法及其影像處理裝置與電腦程式產品

Country Status (2)

Country Link
US (1) US9552625B2 (zh)
TW (1) TWI543586B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI823756B (zh) * 2022-06-27 2023-11-21 大陸商威視芯半導體(合肥)有限公司 一種利用數值轉換提高圖像分辨率的方法及系統

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102087681B1 (ko) * 2015-09-17 2020-03-11 삼성전자주식회사 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터 판독가능 기록 매체
JPWO2017191716A1 (ja) * 2016-05-06 2019-04-04 ソニー株式会社 表示制御装置および撮像装置
CN106709873B (zh) * 2016-11-11 2020-12-18 浙江师范大学 一种基于三次样条插值和迭代更新的超分辨率方法
CN106682611B (zh) * 2016-12-26 2019-12-13 浙江宇视科技有限公司 图像处理方法及装置
CN107220628B (zh) * 2017-06-06 2020-04-07 北京环境特性研究所 红外干扰源检测的方法
TWI673997B (zh) * 2018-04-02 2019-10-01 Yuan Ze University 雙通道影像縮放系統及其方法
CN111028542B (zh) * 2019-04-10 2020-09-22 台州明创科技有限公司 定制对象预警控制装置
CN112668578B (zh) * 2020-12-31 2023-11-07 中广核研究院有限公司 指针式仪表读数方法、装置、计算机设备和存储介质
CN113592776B (zh) * 2021-06-30 2024-07-19 北京旷视科技有限公司 图像处理方法及装置、电子设备、存储介质
US20230053776A1 (en) * 2021-08-19 2023-02-23 Mediatek Singapore Pte. Ltd. Region-of-interest (roi) guided sampling for ai super resolution transfer learning feature adaptation
TWI806243B (zh) * 2021-11-17 2023-06-21 瑞昱半導體股份有限公司 超解析度影像產生裝置
CN114998175B (zh) * 2022-06-16 2023-09-05 洛阳热感科技有限公司 基于区域边缘强度的图像融合方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7412107B2 (en) * 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
US8538203B2 (en) * 2007-07-24 2013-09-17 Sharp Laboratories Of America, Inc. Image upscaling technique
CN101452573B (zh) 2007-12-04 2013-01-30 比亚迪股份有限公司 一种图像边缘增强方法
US8351725B2 (en) 2008-09-23 2013-01-08 Sharp Laboratories Of America, Inc. Image sharpening technique
US9064476B2 (en) * 2008-10-04 2015-06-23 Microsoft Technology Licensing, Llc Image super-resolution using gradient profile prior
US8885967B2 (en) 2009-01-19 2014-11-11 Csr Technology Inc. Method and apparatus for content adaptive sharpness enhancement
US8284314B2 (en) 2009-12-16 2012-10-09 Vixs Systems, Inc. Adaptive edge enhancement using directional components from non-linear filtering
JP5706177B2 (ja) 2010-02-09 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 超解像処理装置及び超解像処理方法
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US20130177242A1 (en) * 2012-01-10 2013-07-11 James E. Adams, Jr. Super-resolution image using selected edge pixels
JP6085620B2 (ja) * 2012-03-05 2017-02-22 トムソン ライセンシングThomson Licensing 超解像度処理のための方法、システム及び装置
EP2662824A1 (en) * 2012-05-10 2013-11-13 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
US9692939B2 (en) * 2013-05-29 2017-06-27 Yeda Research And Development Co. Ltd. Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN103279933B (zh) * 2013-06-07 2016-10-26 重庆大学 一种基于双层模型的单幅图像超分辨率重建方法
CN103514580B (zh) * 2013-09-26 2016-06-08 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
TWI492187B (zh) * 2014-02-17 2015-07-11 Delta Electronics Inc 超解析度影像處理方法及其裝置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI823756B (zh) * 2022-06-27 2023-11-21 大陸商威視芯半導體(合肥)有限公司 一種利用數值轉換提高圖像分辨率的方法及系統

Also Published As

Publication number Publication date
US20150348234A1 (en) 2015-12-03
TW201545539A (zh) 2015-12-01
US9552625B2 (en) 2017-01-24

Similar Documents

Publication Publication Date Title
TWI543586B (zh) 影像增強的方法及其影像處理裝置與電腦程式產品
US8233744B2 (en) Image enlargement apparatus, method, integrated circuit, and program
US9495582B2 (en) Digital makeup
US10410327B2 (en) Shallow depth of field rendering
CN108154474B (zh) 一种超分辨率图像重构方法、装置、介质及设备
WO2016045242A1 (zh) 一种图像放大方法、图像放大装置及显示设备
WO2011033619A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
JP2014164661A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2010034964A (ja) 画像合成装置、画像合成方法及び画像合成プログラム
US20200219229A1 (en) Edge-Aware Upscaling for Improved Screen Content Quality
WO2011141197A1 (en) Method for detecting directions of regularity in a two-dimensional image
WO2015198368A1 (ja) 画像処理装置及び画像処理方法
JP2010055410A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
RU2583725C1 (ru) Способ и система для обработки изображения
US9928577B2 (en) Image correction apparatus and image correction method
JP6056511B2 (ja) 画像処理装置、方法、及びプログラム、並びに撮像装置
JP5042251B2 (ja) 画像処理装置および画像処理方法
US9699453B1 (en) Methods and apparatuses for video enhancement and video object tracking
JP2020091910A (ja) 画像処理装置、画像処理方法及びプログラム
KR102470242B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
WO2015151279A1 (ja) フォーカス評価を補助するための装置、プログラム及び方法
Okuhata et al. Implementation of super-resolution scaler for Full HD and 4K video
KR100905524B1 (ko) 확대된 영상의 흐려짐 선명화 장치 및 방법
CN110140150A (zh) 一种图像处理方法、装置以及终端设备
Kim A New Image Downscaling Algorithm based on a Circular Area Pixel Model

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees