TWI743746B - 影像處理方法及影像處理電路 - Google Patents
影像處理方法及影像處理電路 Download PDFInfo
- Publication number
- TWI743746B TWI743746B TW109112749A TW109112749A TWI743746B TW I743746 B TWI743746 B TW I743746B TW 109112749 A TW109112749 A TW 109112749A TW 109112749 A TW109112749 A TW 109112749A TW I743746 B TWI743746 B TW I743746B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- value
- block
- specific
- image component
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 title claims description 87
- 238000002156 mixing Methods 0.000 claims abstract description 42
- 239000003086 colorant Substances 0.000 claims 1
- 238000000034 method Methods 0.000 description 20
- 238000009499 grossing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Image Processing (AREA)
Abstract
影像處理方法包括：接收於特定顏色編碼通道之輸入影像畫面的特定影像分量資料，特定影像分量資料由多個相同特性的影像分量值所組成；根據特定區塊大小，於空間上將輸入影像畫面的多個像素單元分類至多個區塊；從該特定影像分量資料中取得每一區塊內的多個像素單元所相應的多個影像分量值，計算每一區塊的影像分量平均值；根據多個區塊的多個影像分量平均值，產生內插後的影像畫面之多個影像分量值；以及將內插後的影像畫面之影像分量值與輸入影像畫面的原始分量值進行混合以產生輸出影像畫面。
Description
本發明係關於一種影像處理機制，特別有關於一種影像處理方法及影像處理電路。
一般而言，假輪廓的現象是在輸入影像經過壓縮編碼時，由於量化處理所導致原本影像平滑的色彩層次變化被轉換成階狀變化，因而出現如人眼可感知到的等高線狀的假影（artifact）。
為了除去假輪廓，現有的傳統技術多半會對輸入影像進行假輪廓的偵測，並在偵測到的假輪廓部份實施低通濾波（low-pass filtering）以做約化（smoothing）處理，傳統的作法在電路上需要同時取得濾波範圍內的所有像素資料，因此在硬體資源上需要使用大量的存儲空間，包含需要使用到大量的正反器（flip-flop）、靜態隨機存取存儲器（SRAM）及線緩衝器（line buffer）等等。由於電路上硬體資源有限，時常會在成本取捨上犧牲了低通濾波器的涵蓋範圍，因此導致約化處理效果時常有所不足，比較嚴重的假輪廓將無法得到完全平順的結果。
因此，本發明的目的之一在於提供一種影像處裝置/電路及方法，以解決上述習知技術的問題。
根據本發明的實施例，其係公開了一種影像處理方法。該影像處理方法包括：接收於一特定顏色編碼通道上之一輸入影像畫面的一特定影像分量資料，該特定影像分量資料由多個相同特性的影像分量值所組成；根據一特定區塊大小，於空間上將該輸入影像畫面的複數個像素單元分類至複數個區塊；對於每一區塊，從該特定影像分量資料中取得該每一區塊內的複數個像素單元所相應的複數個影像分量值，計算該每一區塊的一影像分量平均值；根據該複數個區塊的複數個影像分量平均值，產生一內插後的影像畫面之多個影像分量值；以及將該內插後的影像畫面之該多個影像分量值與該輸入影像畫面的多個原始分量值進行混合以產生一輸出影像畫面的修正後的多個影像分量值。
根據本發明的實施例，其係公開了一種影像處理電路。影像處理電路包括一接收電路與一處理電路。接收電路係用來接收於一特定顏色編碼通道之一輸入影像畫面的一特定影像分量資料，該特定影像分量資料由多個相同特性的影像分量值所組成。處理電路耦接至該接收電路，並用來：根據一特定區塊大小，於空間上將該輸入影像畫面的複數個像素單元分類至複數個區塊；對於每一區塊，從該特定影像分量資料中取得該每一區塊內的複數個像素單元所相應的複數個影像分量值，計算該每一區塊的一影像分量平均值；根據該複數個區塊的複數個影像分量平均值，產生一內插後的影像畫面之多個影像分量值；以及將該內插後的影像畫面之該多個影像分量值與該輸入影像畫面的多個原始分量值進行混合以產生一輸出影像畫面的修正後的多個影像分量值。
本發明的技術精神旨在於提供一種以區塊為基礎（block-based）的大範圍影像約化作法，以取得更平滑的約化結果，以固定區塊為單位來統計一輸入影像畫面的資料，將輸入影像簡化為每個區塊的影像特徵值，並在各像素位置以一或多個附近區塊的特徵值內插（interpolation）作為約化結果。此作法在硬體實作上可將計算需調用的資料量簡化，不需要大範圍的資料來作濾波，可以對硬體資源更有效利用。其中每個區塊的影像特徵值實作上例如可以是每個區塊內之多個像素單元的影像值的平均值或加權平均值等，影像特徵值亦可以包含但不限於：區塊亮度/色度/彩度平均、區塊內亮度/色度/彩度最大值、區塊內亮度/色度/彩度最小值、亮度分佈直方圖（histogram）等。每個區塊運用統計資料，經過計算電路運算出一組亮度、色度與彩度的特徵值，作為每個區塊的代表值。之後將多個區塊的影像特徵值經由空間內插運算後，可得出每個像素單元經約化後的像素值，最後將輸入影像畫面和約化的影像結果經由影像混合（blending），得出最後去除假輪廓的輸出影像畫面。因此由上可知，本發明的以區塊為基礎的大範圍影像約化作法，不需要同時取得一濾波範圍內的所有像素資料，因此在硬體資源上不需要使用到大量的正反器、靜態隨機存取存儲器及線緩衝器。
以下說明於計算每個區塊的影像特徵值是係採用計算平均值或加權平均值的作法，然而如上說明所述，亦可採用其他統計作法；計算平均值的作法並非是本案的限制。
第1圖是本申請一實施例之影像處理裝置100的示意圖。影像處理裝置100例如使用於作為一電視晶片裝置（但不限定），用以處理例如壓縮後的影像資料（但不限定），用來抹平、減輕或去除影像畫面中被人眼所感知到的假輪廓（false contouring）及/或減輕影像畫面中突然產生的閃爍現象；該影像資料包括有多個影像圖幀/畫面，每一圖幀/畫面包含有多個像素單元的影像值所組成，每一像素單元的影像值例如是由一特定顏色編碼格式（color encoding format）所表示，顏色編碼格式或稱為顏色空間或色彩模型，例如是YUV編碼格式，其中Y的值表示亮度資訊（亦即灰階值）、U的值表示色度資訊、V的值表示濃度資訊，或是RGB編碼格式所表示，其中RGB的值分別表示紅綠藍的色彩資訊，然此並非是本案的限制，本案亦可採用其他不同的顏色編碼格式，例如YCbCr及YPbPr等等。
在第1圖的實施例，影像處理裝置100是用來處理顏色編碼格式為YUV格式的影像畫面，影像處理裝置100係分別且獨立處理每一影像畫面所包含的亮度資訊、色度資訊及濃度資訊，其先將每一影像畫面所包含的亮度資訊、色度資訊及濃度資訊分離至Y編碼通道、U編碼通道及V編碼通道。影像處理裝置100包括有多個影像處理電路105，其中該些影像處理電路105分別設置於YUV編碼格式的不同的Y編碼通道、U編碼通道及V編碼通道，以分別處理每一張輸入影像畫面中每一像素單元之影像值的亮度資訊、色度資訊以及濃度資訊。如第1圖所示，影像處理裝置100採用三個影像處理電路105以分別且獨立地處理每一張輸入影像畫面中每一像素單元之影像值的亮度資訊、色度資訊以及濃度資訊，以減輕、消除或抹平每一張輸入影像畫面中的假輪廓；應注意的是，在本實施例，為了較佳地減輕影像畫面中的假輪廓，影像處理裝置100啟動三個影像處理電路105的操作，以對每一影像畫面中的亮度資訊、色度資訊以及濃度資訊均進行假輪廓的抹平，而在其他實施例，影像處理裝置100也可以選擇只啟動一個或兩個影像處理電路105來處理影像值的不同影像分量的資訊（亦即亮度資訊、色度資訊以及濃度資訊），亦可達到部分減輕假輪廓的效果，例如影像處理裝置100可以選擇只啟動位於Y編碼通道上的一個影像處理電路105，只對影像畫面中的亮度資訊進行假輪廓的抹平，而不處理色彩資訊，好處在於可減輕運算負載；然此並非本案的限制。而當一個影像處理電路105不被啟動時，係表示該影像處理電路105會直接輸出所接收到的影像分量資訊，而不進行處理。
以下說明係先以處理亮度資訊的影像處理電路105作為說明，而其亦相同於處理影像值的不同影像分量資訊（色度資訊、濃度資訊）之操作。影像處理電路105包括接收電路110及處理電路115，對於處理亮度資訊來說，該接收電路110用來接收一特定顏色編碼格式（例如YUV編碼格式）之一編碼通道（例如Y編碼通道）上的一輸入影像資料，該輸入影像資料包括一或多個影像畫面中多個像素單元的多個影像值的亮度值。處理電路115耦接至該接收電路110，用來根據一特定區塊大小，於空間上將一影像畫面的大小分割或分類為多個區塊，每一區塊例如均具有N*N個像素單元，例如以一個4K影像畫面來說，如果區塊大小是40*40個像素單元，則可以將該4K影像畫面大小分割為96*54個區塊；然此並非是本案的限制。
實作上，該處理電路115包括一統計電路1151、一內插電路1152以及一混合電路1153。對於每一個區塊，該處理電路115的統計電路1151會累加並平均該每一區塊內的N*N個像素單元的N*N個亮度值，以產生該每一區塊的一亮度平均值（在另一實施例亦可以是亮度的加權平均值），因此得而產生例如96*54個亮度平均值（但不限定）。當產生該些亮度平均值之後，該處理電路115的內插電路1152會根據該些區塊的該些亮度平均值來產生每一該些區塊內的每一像素單元的一內插後的亮度值，而混合電路1153將該內插後的亮度值與原始的亮度值進行混合以產生一修正後的亮度值，據此而得到最終一張修正畫面的亮度值。由於該內插後的亮度值是由部分區塊的部分平均值所決定產生的，因此該內插後的亮度值是進行模糊化後的影像結果，而令其與原始的亮度值進行適當地混合所產生的修正後的亮度值則可在盡量抹除假輪廓的同時令其他部分的影像仍保有足夠的影像銳利度而不過度失真。
實作上，對於產生一特定區塊的一特定像素單元的一內插後的亮度值來說，該處理電路115的內插電路1152係參考該特定區塊上下左右相鄰的多個區塊，例如M*M個區塊而M例如是5（但不限定），該內插電路1152例如根據該特定區塊的該特定像素單元與該特定區塊的多個相鄰區塊的多個空間位置距離的遠近，計算決定出多個內插權重值，例如M*M個內插權重值，其中當一空間位置距離愈近時一相應的內插權重值愈大，之後內插電路1152再根據該特定區塊本身的亮度平均值、該多個相鄰區塊本身的多個平均值以及該多個內插權重值，相應地將M*M個內插權重值分別乘上M*M個相鄰區塊的M*M個亮度平均值以內插計算出該特定區塊的該特定像素單元的一內插後的亮度值，之後混合電路1153根據該特定區塊的該特定像素單元的一原始的亮度值以及該特定區塊的該特定像素單元的該內插後的亮度值，決定一混合權重值，以及根據該混合權重值，混合該原始影像的亮度值與該內插後的亮度值來產生該特定像素單元的一最終的亮度值。因此，當對於一張畫面中的每一區塊的每一像素單元均進行上述處理操作之後，該處理電路115可產生一張修正後畫面的亮度值。
就混合操作來說，請參照第2圖，第2圖是混合電路1153之操作的一混合權重曲線的實施例示意圖。對於一特定區塊的一特定像素單元來說，混合電路1153係將該特定像素單元的一原始的亮度值與該特定像素單元的一內插後的亮度值相減來產生一亮度差值，之後參照第2圖所示之混合權重曲線來決定一混合權重值，如第2圖所示，水平軸所表示為一影像分量的差值（例如亮度差值），垂直軸所表示為混合權重值（例如範圍從0至1），當亮度差值愈大時，所決定出的該混合權重值會愈小，令最終所產生的一修正後的亮度值中有愈小的比例是由該內插後的亮度值所決定或貢獻，亦即該修正後的亮度值中有愈大的比例是由該原始影像的亮度值所決定或貢獻，反之，當亮度差值愈小時，所決定出的該混合權重值會愈大，令最終所產生的一修正後的亮度值中有愈大的比例是由該內插後的亮度值所決定或貢獻，亦即該修正後的亮度值中有愈小的比例是由該原始影像的亮度值所決定或貢獻，舉例來說，修正後的亮度值
可由以下等式表示之：
其中
是混合權重值，
是內插後的亮度值，以及
是原始影像的亮度值；也就是說，等效上，當該亮度差值較小時，處理電路115才會進行較大程度的假輪廓抹平操作，而該亮度差值較大時，處理電路115會進行較小程度的假輪廓抹平操作，以避免抹除掉影像畫面中真正的影像邊緣。
此外，就產生該特定區塊的一亮度平均值來說，在一實施例中該處理電路115的統計電路1151亦可另參考前一張影像畫面中與該特定區塊位於相同空間位置之一區塊的一亮度平均值來決定該特定區塊之該亮度平均值，例如，為了避免在時間上前後兩張影像畫面中的亮度資訊差過大，該統計電路1151可參考前一張影像畫面中與該特定區塊位於相同空間位置之一區塊的一亮度平均值來決定出一第一臨界值TH1（例如一上限值），所計算之該特定區塊的亮度平均值大於該第一臨界值TH1時，該統計電路1151會直接取該第一臨界值TH1作為該特定區塊的一最終亮度平均值，以及可參考前一張影像畫面中與該特定區塊位於相同空間位置之該區塊的該亮度平均值來決定出一第二臨界值TH2（例如一下限值），所計算之該特定區塊的亮度平均值小於該第二臨界值TH2時，該統計電路1151會直接取該第二臨界值TH2作為該特定區塊的一最終亮度平均值。亦即，該處理電路在決定一張目前影像畫面之一特定區塊之一亮度平均值時可參考前一張影像畫面的亮度來進行適當修正，令前後兩張影像的亮度差異不過大，避免發生影像突發閃爍的現象。
另外，對於處理U分量的色度資訊來說，就第二個影像處理電路105而言，其接收電路110用來接收YUV編碼格式之一U編碼通道上的色度資訊的一輸入影像資料，該輸入影像資料包括複數個影像畫面中多個像素單元的多個影像值的色度值。處理電路115耦接至該接收電路110，用來根據一特定區塊大小，於空間上將一影像畫面的大小分割或分類為多個區塊，每一區塊例如均具有N*N個像素單元，例如以一個4K影像畫面來說，如果區塊大小是40*40個像素單元，則可以將該4K影像畫面大小分割為96*54個區塊；然此並非是本案的限制。
實作上，對於每一個區塊，該處理電路115的統計電路1151會累加並平均該每一區塊內的N*N個像素單元的N*N個色度值，以產生該每一區塊的一色度平均值（在另一實施例亦可以是色度的加權平均值），因此得而產生例如96*54個色度平均值（但不限定）。當產生該些色度平均值之後，該處理電路115的內插電路1152會根據該些區塊的該些色度平均值來產生每一該些區塊內的每一像素單元的一內插後的色度值，而混合電路1153將該內插後的色度值與原始影像的色度值進行混合以產生一修正後的色度值，據此而得到最終一張修正畫面的色度值。由於該內插後的色度值是由部分區塊的部分平均值所決定產生的，因此該內插後的色度值是進行模糊化後的影像結果，而令其與原始影像的色度值進行適當地混合所產生的最終修正後的色度值則可在盡量抹除假輪廓的同時令其他部分的影像仍保有足夠的影像銳利度而不過度失真。
實作上，對於產生一特定區塊的一特定像素單元的一內插後的色度值來說，該處理電路115的內插電路1152係參考該特定區塊上下左右相鄰的多個區塊，例如M*M個區塊而M例如是5（但不限定），該內插電路1152例如根據該特定區塊的該特定像素單元與該特定區塊的多個相鄰區塊的多個空間位置距離的遠近，計算決定出多個內插權重值，例如M*M個內插權重值，其中當一空間位置距離愈近時一相應的內插權重值愈大，之後內插電路1152再根據該特定區塊本身的色度平均值、該多個相鄰區塊本身的多個平均值以及該多個內插權重值，相應地將M*M個內插權重值分別乘上M*M個相鄰區塊的M*M個色度平均值以內插計算出該特定區塊的該特定像素單元的一內插後的色度值，之後混合電路1153根據該特定區塊的該特定像素單元的一原始影像的色度值以及該特定區塊的該特定像素單元的該內插後的色度值，決定一混合權重值，以及根據該混合權重值，混合該原始影像的色度值與該內插後的色度值來產生該特定像素單元的一最終修正後的色度值。因此，當對於一張畫面中的每一區塊的每一像素單元均進行上述處理操作之後，該處理電路115可產生一張修正後畫面的色度值。
相似地，就混合操作來說，對於一特定區塊的一特定像素單元來說，混合電路1153係將該特定像素單元的一原始影像的色度值與該特定像素單元的一內插後的色度值相減來產生一色度差值，之後相似地參照第2圖所示之混合權重曲線來決定一混合權重值，當色度差值愈大時，所決定出的該混合權重值會愈小，令最終所產生的一修正後的色度值中有愈小的比例是由該內插後的色度值所決定或貢獻，亦即該修正後的色度值中有愈大的比例是由該原始影像的色度值所決定或貢獻，反之，當色度差值愈小時，所決定出的該混合權重值會愈大，令最終所產生的一修正後的色度值中有愈大的比例是由該內插後的色度值所決定或貢獻，亦即該修正後的色度值中有愈小的比例是由該原始影像的色度值所決定或貢獻，舉例來說，修正後的色度值
可由以下等式表示之：
其中
是混合權重值，
是內插後的色度值，以及
是原始影像的色度值；也就是說，等效上，當該色度差值較小時，處理電路115才會進行較大程度的假輪廓抹平操作，當該色度差值較大時，處理電路115會進行較小程度的假輪廓抹平操作，以避免抹除掉影像畫面中真正的影像邊緣。
此外，就產生該特定區塊的一色度平均值來說，在一實施例中該處理電路115的統計電路1151亦可另參考前一張影像畫面中與該特定區塊位於相同空間位置之一區塊的一色度平均值來決定該特定區塊之該色度平均值，例如，為了避免在時間上前後兩張影像畫面中的色度資訊差過大，該統計電路1151可參考前一張影像畫面中與該特定區塊位於相同空間位置之一區塊的一色度平均值來決定出一第三臨界值TH3（例如一上限值），所計算之該特定區塊的色度平均值大於該第三臨界值TH3時，該統計電路1151會直接取該第三臨界值TH3作為該特定區塊的一最終色度平均值，以及可參考前一張影像畫面中與該特定區塊位於相同空間位置之該區塊的該色度平均值來決定出一第四臨界值TH4（例如一下限值），所計算之該特定區塊的色度平均值小於該第四臨界值TH4時，該統計電路1151會直接取該第四臨界值TH4作為該特定區塊的一最終色度平均值。亦即，該處理電路在決定一張目前影像畫面之一特定區塊之一色度平均值時可參考前一張影像畫面的色度來進行適當修正，令前後兩張影像的色度差異不過大，避免發生影像突發閃爍的現象。
另外，對於處理V分量的濃度資訊來說，就第三個影像處理電路105而言，其接收電路110用來接收YUV編碼格式之一V編碼通道上的濃度資訊的一輸入影像資料，該輸入影像資料包括複數個影像畫面中多個像素單元的多個影像值的濃度值。處理電路115耦接至該接收電路110，用來根據一特定區塊大小，於空間上將一影像畫面的大小分割或分類為多個區塊，每一區塊例如均具有N*N個像素單元，例如以一個4K影像畫面來說，如果區塊大小是40*40個像素單元，則可以將該4K影像畫面大小分割為96*54個區塊；然此並非是本案的限制。
實作上，對於每一個區塊，該處理電路115的統計電路1151會累加並平均該每一區塊內的N*N個像素單元的N*N個濃度值，以產生該每一區塊的一濃度平均值（在另一實施例亦可以是濃度的加權平均值），因此得而產生例如96*54個濃度平均值（但不限定）。當產生該些濃度平均值之後，該處理電路115的內插電路1152會根據該些區塊的該些濃度平均值來產生每一該些區塊內的每一像素單元的一內插後的濃度值，而混合電路1153將該內插後的濃度值與原始影像的濃度值進行混合以產生一修正後的濃度值，據此而得到最終一張修正畫面的濃度值。由於該內插後的濃度值是由部分區塊的部分平均值所決定產生的，因此該內插後的濃度值是進行模糊化後的影像結果，而令其與原始影像的濃度值進行適當地混合所產生的最終修正後的濃度值則可在盡量抹除假輪廓的同時令其他部分的影像仍保有足夠的影像銳利度而不過度失真。
實作上，對於產生一特定區塊的一特定像素單元的一內插後的濃度值來說，該處理電路115的內插電路1152係參考該特定區塊上下左右相鄰的多個區塊，例如M*M個區塊而M例如是5（但不限定），該內插電路1152例如根據該特定區塊的該特定像素單元與該特定區塊的多個相鄰區塊的多個空間位置距離的遠近，計算決定出多個內插權重值，例如M*M個內插權重值，其中當一空間位置距離愈近時一相應的內插權重值愈大，之後內插電路1152再根據該特定區塊本身的濃度平均值、該多個相鄰區塊本身的多個平均值以及該多個內插權重值，相應地將M*M個內插權重值分別乘上M*M個相鄰區塊的M*M個濃度平均值以內插計算出該特定區塊的該特定像素單元的一內插後的濃度值，之後混合電路1153根據該特定區塊的該特定像素單元的一原始影像的濃度值以及該特定區塊的該特定像素單元的該內插後的濃度值，決定一混合權重值，以及根據該混合權重值，混合該原始影像的濃度值與該內插後的濃度值來產生該特定像素單元的一最終的濃度值。因此，當對於一張畫面中的每一區塊的每一像素單元均進行上述處理操作之後，該處理電路115可產生一張修正後畫面的濃度值。
相似地，就混合操作來說，對於一特定區塊的一特定像素單元來說，混合電路1153係將該特定像素單元的一原始影像的濃度值與該特定像素單元的一內插後的濃度值相減來產生一濃度差值，之後相似地參照第2圖所示之混合權重曲線來決定一混合權重值，當濃度差值愈大時，所決定出的該混合權重值會愈小，令最終所產生的一修正後的濃度值中有愈小的比例是由該內插後的濃度值所決定或貢獻，亦即該修正後的濃度值中有愈大的比例是由該原始影像的濃度值所決定或貢獻，反之，當濃度差值愈小時，所決定出的該混合權重值會愈大，令最終所產生的一修正後的濃度值中有愈大的比例是由該內插後的濃度值所決定或貢獻，亦即該修正後的濃度值中有愈小的比例是由該原始影像的濃度值所決定或貢獻，舉例來說，修正後的濃度值
可由以下等式表示之：
其中
是混合權重值，
是內插後的濃度值，以及
是原始影像的濃度值；也就是說，等效上，當該濃度差值較小時，處理電路115才會進行較大程度的假輪廓抹平操作，當該濃度差值較大時，處理電路115會進行較小程度的假輪廓抹平操作，以避免抹除掉影像畫面中真正的影像邊緣。
此外，就產生該特定區塊的一濃度平均值來說，在一實施例中該處理電路115的統計電路1151亦可另參考前一張影像畫面中與該特定區塊位於相同空間位置之一區塊的一濃度平均值來決定該特定區塊之該濃度平均值，例如，為了避免在時間上前後兩張影像畫面中的濃度資訊差過大，該統計電路1151可參考前一張影像畫面中與該特定區塊位於相同空間位置之一區塊的一濃度平均值來決定出一第五臨界值TH5（例如一上限值），所計算之該特定區塊的濃度平均值大於該第五臨界值TH5時，該統計電路1151會直接取該第五臨界值TH5作為該特定區塊的一最終濃度平均值，以及可參考前一張影像畫面中與該特定區塊位於相同空間位置之該區塊的該濃度平均值來決定出一第六臨界值TH6（例如一下限值），所計算之該特定區塊的濃度平均值小於該第六臨界值TH6時，該統計電路1151會直接取該第六臨界值TH6作為該特定區塊的一最終濃度平均值。亦即，該處理電路在決定一張目前影像畫面之一特定區塊之一濃度平均值時可參考前一張影像畫面的濃度來進行適當修正，令前後兩張影像的濃度差異不過大，避免發生影像突發閃爍的現象。須注意的是，上述的該些上限值的數值可以是相同的或是不同的，並且上述的該些下限值的數值也可以是相同的或是不同的，並且均可以被動態地調整，視使用者的設計而定。
最後，當得到不同影像分量資料的影像資訊後，該影像處理裝置100會組合不同影像分量的影像資訊來產生一張修正後的影像畫面，令可在盡量抹除原始影像畫面中由於影像壓縮而所產生的假輪廓的同時令其他部分的影像仍保有足夠的影像銳利度。
此外，應注意的是，本案的技術內容亦適用於RGB的顏色編碼格式，請參照第3圖，第3圖是本發明另一實施例之影像處理裝置300的示意圖。影像處理裝置300例如使用於作為一電視晶片裝置，用以處理例如壓縮後的影像資料，該影像資料包括有多個影像圖幀，每一圖幀包含有多個像素單元，每一像素單元的影像值例如是由RGB編碼格式所表示，影像處理裝置300所包括的分別設置於R編碼通道、G編碼通道及B編碼通道上的三個影像處理電路105可分別且獨立地處理RGB的顏色編碼格式的不同分量（或稱為顏色分量（color component））的影像資料，使得可在盡量抹除原始影像畫面中由於影像壓縮而所產生的假輪廓的同時令其他部分的影像仍保有足夠的影像銳利度而不過度失真。
再者，為了令讀者更易於明白本發明的技術精神，第4圖是本申請實施例之影像畫面處理操作的方法流程圖，倘若大體上可達到相同的結果，並不需要一定照第4圖所示的流程中的步驟順序來進行，且第4圖所示的步驟不一定要連續進行，亦即其它步驟亦可插入其中。流程步驟的說明描述在下：
步驟405：開始；
步驟410：接收於一特定顏色編碼通道上之一輸入影像畫面的一特定影像分量資料，該特定影像分量資料包括一或多個影像畫面中的多個相同特性的影像分量值所組成；
步驟415：根據一特定區塊大小，於空間上將該輸入影像畫面的複數個像素單元分類至複數個區塊；
步驟420：對於每一區塊，從該特定影像分量資料中取得該每一區塊內的複數個像素單元所相應的複數個影像分量值，計算該每一區塊的一影像分量平均值；
步驟425：根據該複數個區塊的多個影像分量平均值，產生一內插後的影像畫面之多個影像分量值；
步驟430：將該內插後的影像畫面之多個影像分量值與該輸入影像畫面的多個原始分量值進行混合以產生一輸出影像畫面的修正後的多個影像分量值；以及
步驟435：結束。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100,300:影像處理裝置
105:影像處理電路
110:接收電路
115:處理電路
1151:統計電路
1152:內插電路
1153:混合電路
第1圖是本申請一實施例之影像處理裝置的示意圖。
第2圖是第1圖所示之混合電路之操作的一混合權重曲線的實施例示意圖。
第3圖是本發明另一實施例之影像處理裝置的示意圖。
第4圖是本申請實施例之影像畫面處理操作的方法流程圖。
100:影像處理裝置
105:影像處理電路
110:接收電路
115:處理電路
1151:統計電路
1152:內插電路
1153:混合電路
Claims (10)
- 一種影像處理方法，包括： 接收於一特定顏色編碼通道上之一輸入影像畫面的一特定影像分量資料，該特定影像分量資料由多個相同特性的影像分量值所組成； 根據一特定區塊大小，於空間上將該輸入影像畫面的複數個像素單元分類至複數個區塊； 對於每一區塊，從該特定影像分量資料中取得該每一區塊內的複數個像素單元所相應的複數個影像分量值，計算該每一區塊的一影像分量平均值； 根據該複數個區塊的複數個影像分量平均值，產生一內插後的影像畫面之多個影像分量值；以及 將該內插後的影像畫面之該多個影像分量值與該輸入影像畫面的多個原始分量值進行混合以產生一輸出影像畫面的修正後的多個影像分量值。
- 如申請專利範圍第1項所述之影像處理方法，其中產生該內插後的影像畫面之多個影像分量值的步驟包含有： 對於該輸入影像畫面中的一特定區塊的一特定像素單元： 根據該特定區塊的該特定像素單元與該特定區塊的複數個相鄰區塊的空間位置距離，決定出複數個內插權重值； 根據該特定區塊的一影像分量平均值、該複數個相鄰區塊的複數個影像分量平均值以及該複數個內插權重值，產生該特定區塊的該特定像素單元的一內插後的影像分量值； 根據該特定區塊的該特定像素單元的一原始影像分量值以及該特定區塊的該特定像素單元的該內插後的影像分量值，決定一混合權重值；以及 根據該混合權重值，混合該原始影像分量值與該內插後的影像分量值來產生該特定像素單元的一修正後的影像分量值。
- 如申請專利範圍第2項所述之影像處理方法，其中決定該混合權重值的步驟包含： 計算該原始影像分量值與該內插後的影像分量值的一影像分量差值；以及 根據所計算之該影像分量差值，決定該混合權重值。
- 如申請專利範圍第3項所述之影像處理方法，其中當該影像分量差值愈大時，該混合權重值愈小，令該修正後的影像分量值的一較大比例係由該原始影像分量值所貢獻；以及，當該影像分量差值愈小時，該混合權重值愈大，令該修正後的影像分量值的該較大比例係由該內插後的影像分量值所貢獻。
- 如申請專利範圍第1項所述之影像處理方法，其中該特定顏色編碼通道係對應於一YUV顏色編碼系統的一亮度、一色度及一濃度的其中一個。
- 如申請專利範圍第1項所述之影像處理方法，其中該特定顏色編碼通道係對應於一RGB顏色編碼空間的其中一個特定顏色。
- 如申請專利範圍第1項所述之影像處理方法，其中計算該每一區塊的該影像分量平均值之步驟係另參考該輸入影像畫面的前一張輸入影像畫面內對應於同一空間位置上的一相應區塊的一影像分量平均值以及一臨界值，來計算出該輸入影像畫面的該每一區塊的該影像分量平均值。
- 如申請專利範圍第7項所述之影像處理方法，另包括： 對於該每一區塊，當該臨界值位於該前一張輸入影像畫面內對應於該同一空間位置上的該相應區塊的該影像分量平均值以及該輸入影像畫面內對應於該同一空間位置上的該每一區塊的該影像分量平均值之間之間時，將該輸入影像畫面內相應於該同一空間位置上的該該每一區塊的該影像分量平均值修正為該臨界值。
- 如申請專利範圍第8項所述之影像處理方法，其中該臨界值係由該前一張輸入影像畫面內對應於該同一空間位置上的該相應區塊的該影像分量平均值所決定。
- 一種影像處理電路，包括： 一接收電路，用來接收於一特定顏色編碼通道之一輸入影像畫面的一特定影像分量資料，該特定影像分量資料由多個相同特性的影像分量值所組成；以及 一處理電路，耦接至該接收電路，用來： 根據一特定區塊大小，於空間上將該輸入影像畫面的複數個像素單元分類至複數個區塊； 對於每一區塊，從該特定影像分量資料中取得該每一區塊內的複數個像素單元所相應的複數個影像分量值，計算該每一區塊的一影像分量平均值； 根據該複數個區塊的複數個影像分量平均值，產生一內插後的影像畫面之多個影像分量值；以及 將該內插後的影像畫面之該多個影像分量值與該輸入影像畫面的多個原始分量值進行混合以產生一輸出影像畫面的修正後的多個影像分量值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109112749A TWI743746B (zh) | 2020-04-16 | 2020-04-16 | 影像處理方法及影像處理電路 |
| US17/110,245 US11501416B2 (en) | 2020-04-16 | 2020-12-02 | Image processing method and image processing circuit capable of smoothing false contouring without using low-pass filtering |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109112749A TWI743746B (zh) | 2020-04-16 | 2020-04-16 | 影像處理方法及影像處理電路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI743746B true TWI743746B (zh) | 2021-10-21 |
| TW202141971A TW202141971A (zh) | 2021-11-01 |
Family
ID=78081993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109112749A TWI743746B (zh) | 2020-04-16 | 2020-04-16 | 影像處理方法及影像處理電路 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11501416B2 (zh) |
| TW (1) | TWI743746B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101778297A (zh) * | 2009-01-08 | 2010-07-14 | 华晶科技股份有限公司 | 影像序列的干扰消除方法 |
| CN102147916A (zh) * | 2010-02-10 | 2011-08-10 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| TW201519160A (zh) * | 2013-09-10 | 2015-05-16 | Apple Inc | 使用局部色調曲線計算之影像色調調整 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006509292A (ja) * | 2002-12-05 | 2006-03-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | セグメント化されたイメージから偽エッジを除去するための装置及び方法 |
| KR101108435B1 (ko) * | 2005-05-31 | 2012-02-16 | 서강대학교산학협력단 | 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치 |
| KR20070118755A (ko) * | 2006-06-13 | 2007-12-18 | 삼성전자주식회사 | 의사 윤곽 제거 방법 및 그 장치 |
| US8218632B2 (en) * | 2006-09-20 | 2012-07-10 | Mitsubishi Electric Corporation | Frame interpolation apparatus and frame interpolation method |
| KR101303667B1 (ko) * | 2007-08-28 | 2013-09-04 | 삼성전자주식회사 | 의사 윤곽을 탐지 및 제거하는 방법 및 장치, 픽셀의 윤곽여부를 확인하는 방법 및 장치 그리고 심플리시티를계산하는 방법 및 장치 |
| CN106470293B (zh) | 2015-08-20 | 2019-07-09 | 联咏科技股份有限公司 | 图像处理装置及图像处理方法 |
| CN106470292B (zh) * | 2015-08-20 | 2019-08-27 | 联咏科技股份有限公司 | 图像处理装置及图像处理方法 |
| KR20170087278A (ko) * | 2016-01-20 | 2017-07-28 | 한국전자통신연구원 | 비디오 압축 영상을 위한 거짓 등고선 검출과 제거 방법 및 장치 |
| JP6912869B2 (ja) * | 2016-06-15 | 2021-08-04 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法 |
-
2020
- 2020-04-16 TW TW109112749A patent/TWI743746B/zh active
- 2020-12-02 US US17/110,245 patent/US11501416B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101778297A (zh) * | 2009-01-08 | 2010-07-14 | 华晶科技股份有限公司 | 影像序列的干扰消除方法 |
| CN102147916A (zh) * | 2010-02-10 | 2011-08-10 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| TW201519160A (zh) * | 2013-09-10 | 2015-05-16 | Apple Inc | 使用局部色調曲線計算之影像色調調整 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202141971A (zh) | 2021-11-01 |
| US20210327035A1 (en) | 2021-10-21 |
| US11501416B2 (en) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9467704B2 (en) | Adaptive ratio images in HDR image representation | |
| TWI407777B (zh) | 以影像特徵為基礎之動態對比強化裝置及其方法 | |
| EP3280138B1 (en) | Image processing apparatus, image projection apparatus, and image processing method | |
| US8639050B2 (en) | Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images | |
| US20100278423A1 (en) | Methods and systems for contrast enhancement | |
| CN111292269B (zh) | 图像色调映射方法、计算机装置及计算机可读存储介质 | |
| CN105850114A (zh) | 用于图像的逆色调映射的方法 | |
| CN109345490B (zh) | 一种移动播放端实时视频画质增强方法及系统 | |
| CN110910333B (zh) | 图像处理方法和图像处理设备 | |
| KR20120107429A (ko) | 구역 기반의 톤 매핑 | |
| JP2002510174A (ja) | 飛び越しビデオ表示における画質の改善のための方法およびシステム | |
| WO2021073304A1 (zh) | 一种图像处理的方法及装置 | |
| CN113766341A (zh) | 电视画质调整方法、装置和系统及电视机设备 | |
| CN110691227A (zh) | 一种视频信号处理方法及装置 | |
| CN104935902A (zh) | 图像色彩增强方法、装置及电子设备 | |
| TW202046698A (zh) | 影像調整方法以及相關的影像處理電路 | |
| CN112534466B (zh) | 定向缩放系统和方法 | |
| CN115239578A (zh) | 图像处理方法及装置、计算机可读存储介质、终端设备 | |
| US20130114895A1 (en) | Joint Color Channel Image Noise Filtering and Edge Enhancement in the Bayer Domain | |
| CN113556545B (zh) | 图像处理方法及图像处理电路 | |
| TWI743746B (zh) | 影像處理方法及影像處理電路 | |
| CN114078101A (zh) | 图像显示方法、电子设备及计算机可读存储介质 | |
| JP2009010636A (ja) | 適応ヒストグラム等化方法及び適応ヒストグラム等化装置 | |
| TWI517097B (zh) | 增強影像對比之方法及裝置以及非暫時性計算機可讀媒體 | |
| WO2022158010A1 (ja) | 画像処理方法 |