TWI749831B - 選擇編碼單元的幀內模式的裝置及方法 - Google Patents

選擇編碼單元的幀內模式的裝置及方法 Download PDF

Info

Publication number
TWI749831B
TWI749831B TW109137378A TW109137378A TWI749831B TW I749831 B TWI749831 B TW I749831B TW 109137378 A TW109137378 A TW 109137378A TW 109137378 A TW109137378 A TW 109137378A TW I749831 B TWI749831 B TW I749831B
Authority
TW
Taiwan
Prior art keywords
modes
coding unit
mode
module
select
Prior art date
Application number
TW109137378A
Other languages
English (en)
Other versions
TW202119819A (zh
Inventor
志宏 蔡
曾偉民
陳伍軍
王晶
浦煒
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Publication of TW202119819A publication Critical patent/TW202119819A/zh
Application granted granted Critical
Publication of TWI749831B publication Critical patent/TWI749831B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種選擇模組，用來選擇一幀內模式，包含有一方向梯度直方圖模組，用來接收一編碼單元，用來從該編碼單元的33個角度模式中選擇4個角度模式、選擇該編碼單元的一直流模式以及選擇該編碼單元的一平面模式；以及一決策模組，耦接於該方向梯度直方圖模組，用來從該方向梯度直方圖模組接收該6個模式，以根據一絕對轉換誤差分裂總和演算法，比較該6個模式，以選擇該6個模式中一模式。

Description

選擇編碼單元的幀內模式的裝置及方法
本發明相關於一種用於多媒體系統的裝置及方法，尤指一種選擇編碼單元的幀內模式的裝置及方法。
在高效率影像編碼(high efficiency video coding，HEVC)標準中，亮度分量(luma component)具有35個幀內模式(即幀內預測模式)，包含有平面模式(planar mode)、直流模式(DC mode)及33個角度模式(angular modes)。 色度分量(chroma component)具有5個幀內模式，包含有平面模式、垂直模式(vertical mode)、水平模式(horizontal mode)、直流模式及對應於亮度分量的預測模式。相較於H.264/MPEG-4進階影像編碼(advanced video coding，AVC)標準中的8個幀內角度預測模式，高效率影像編碼標準具有已開發及延伸的33個角度模式。
根據統計資訊，鄰近水平/垂直方向的角度模式的配置較為密集，以及鄰近對角線方向的角度模式的配置較為稀疏。
在高效率影像編碼標準的參考設計中，對於35個幀內模式的各個模式，轉換(transform)、量化(quantization)、反(inverse)量化及反轉換被執行 以獲得幀內模式的預測數值。原始像素及預測像素間的差異被用來判斷幀內模式是否為最佳模式，以及最佳模式可獲得最小率失真(rate distortion)成本。
上述方法可以較高計算複雜度的成本來獲得較佳的表現。高效率影像編碼標準支援的區塊尺寸範圍為4x4到64x64。若轉換、量化、反量化及反轉換在35個幀內模式的各個模式上被執行，符合高效率影像編碼標準的硬體配置難以實現。因此，具有低複雜度的選擇幀內模式的裝置及方法為一亟待解決的問題。
本發明提供了一種方法及其通訊裝置，用來選擇編碼單元(coding unit，CU)的幀內模式(intra mode)，以解決上述問題。
本發明揭露一種選擇模組，用來選擇一幀內模式，包含有一方向梯度直方圖(histogram of oriented gradient，HOG)模組，用來接收一編碼單元，用來從該編碼單元的33個角度模式(angular modes)中選擇4個角度模式、選擇該編碼單元的一直流模式(DC mode)以及選擇該編碼單元的一平面模式(planar mode)；以及一決策模組，耦接於該方向梯度直方圖模組，用來從該方向梯度直方圖模組接收該6個模式，以根據一絕對轉換誤差分裂總和(Split Sum of Absolute Transformed Difference，SSATD)演算法，比較該6個模式，以選擇該6個模式中一模式。
本發明另揭露一種方法，用來選擇一幀內模式，包含有接收一編碼單元，用來從該編碼單元的33個角度模式中選擇4個角度模式、選擇該編碼單元 的一直流模式以及選擇該編碼單元的一平面模式；以及接收該6個模式，以根據一絕對轉換誤差分裂總和演算法，比較該6個模式，以選擇該6個模式中一模式。
10:選擇模組
100,300:方向梯度直方圖模組
110,320:決策模組
30:完善選擇模組
310:完善模組
400,500:編碼樹單元
410,420,430,440,450:區域
50:圖像
502:編碼單元
90:流程
900,902,904,906:步驟
gx:X方向的梯度
gy:Y方向的梯度
第1圖為本發明實施例用來選擇幀內模式的一選擇模組的示意圖。
第2圖為本發明實施例邊緣及梯度間的關係示意圖。
第3圖為本發明實施例一完善選擇模組的示意圖。
第4圖為本發明實施例參考像素的示意圖。
第5圖為本發明實施例一圖像的示意圖。
第6圖為本發明實施例梯度計算的示意圖。
第7圖為本發明實施例角度模式的示意圖。
第8圖為本發明實施例像素預測的示意圖。
第9圖為本發明實施例一流程的流程圖。
本發明提供了一種方法，用來選擇編碼單元(coding unit，CU)的幀內模式(intra mode)(即幀內預測模式)，以根據以下步驟，降低計算複雜度：
(1)根據方向梯度直方圖(histogram of oriented gradient，HOG)方法，從編碼單元的一亮度分量(luma component)的33個角度模式(angular modes)中選擇4個角度模式。
(2)比較該4個模式、亮度分量的一直流模式及亮度分量的一平面模式，以選擇該6個模式中一最佳模式。
(3)設定一色度分量(chroma component)的一幀內模式為對應亮度分量的一幀內模式。
(4)以複數個原始像素(original pixels)取代複數個參考像素(reference pixels)的複數個重建像素(reconstructed pixels)的一集合。
根據上述步驟，硬體的並行處理可被實現，以及硬體的計算複雜度可被降低。
第1圖為本發明實施例用來選擇幀內模式的一選擇模組10的示意圖。選擇模組10包含有一方向梯度直方圖模組100及一決策模組110。在本實施例中，尺寸為32x32的一編碼單元被納入考慮。在接收編碼單元後，方向梯度直方圖模組100從編碼單元的33個角度模式中選擇4個角度模式、選擇編碼單元的一直流模式(DC mode)以及選擇編碼單元的一平面模式(planar mode)。方向梯度直方圖模組100提供4個角度模式、直流模式及平面模式到決策模組110。耦接於方向梯度直方圖模組100的決策模組110接收6個模式，以及根據一絕對轉換誤差分裂總和(Split Sum of Absolute Transformed Difference，SSATD)演算法，比較6個模式，以選擇6個模式中具有一最佳表現(或者一最低失真(distortion))的一模式。
方向梯度直方圖模組100及決策模組110可透過多種方式被實現。方向梯度直方圖模組100及決策模組110的運作實施例如以下陳述。
方向梯度直方圖模組100的輸入包含有一亮度分量的像素。首先，根據一索博算子(Sobel operator)計算一目前區塊的梯度，以獲得目前區塊的一方 向梯度直方圖數值。邊緣(edge)方向被計算，以及邊緣方向被用來比較高效率影像編碼標準中的33個角度的方向。此流程被稱為方向劃分(direction partitioning)。
(1)梯度計算
X方向的一梯度運算子被定義如下：fltXCoeff[3][3]={{-1,0,1},{-2,0,2},{-1,0,1}} (式1)
Y方向的一梯度運算子被定義如下：fltYCoeff[3][3]={{-1,-2,-1},{0,0,0},{1,2,1}} (式2)
對於亮度分量的各個像素，像素點在X方向的梯度gx及在Y方向的梯度gy被計算。舉例來說，假設一像素的位置為(row,col)以及一亮度圖像被設為Img，透過以下的方式，例如透過方向梯度直方圖模組100，X方向及Y方向的梯度被計算：gx[row][col]=fltXCoeff[0][0]*Img[row-1][col-1]+fltXCoeff[0][1]*Img[row-1][col]+fltXCoeff[0][2]*Img[row-1][col+1]+fltXCoeff[1][0]*Img[row][col-1]+fltXCoeff[1][1]*Img[row][col]+fltXCoeff[1][2]*Img[row][col+1]+fltXCoeff[2][0]*Img[row+1][col-1]+fltXCoeff[2][1]*Img[row+1][col]+fltXCoeff[2][2]*Img[row+1][col+1]， (式3)gy[row][col]=fltYCoeff[0][0]*Image[row-1][col-1] +fltYCoeff[0][1]*Img[row-1][col]+fltYCoeff[0][2]*Img[row-1][col+1]+fltYCoeff[1][0]*Img[row][col-1]+fltYCoeff[1][1]*Img[row][col]+fltYCoeff[1][2]*Img[row][col+1]+fltYCoeff[2][0]*Img[row+1][col-1]+fltYCoeff[2][1]*Img[row+1][col]+fltYCoeff[2][2]*Img[row+1][col+1] (式4)
在編碼樹單元(coding tree unit，CTU)外圍的像素需要被用來計算在編碼單元的邊緣的像素。因此，編碼單元可被擴展如下：
Figure 109137378-A0305-02-0008-21
根據上述方法，獲得圖像的尺寸會與原始圖像的尺寸相同。
(2)方向劃分
第2圖為本發明實施例邊緣及梯度間的關係示意圖。第2圖陳述的是 邊緣及梯度之間的關係。根據gx及gy，即根據
Figure 109137378-A0305-02-0009-2
，梯度的方向被決定， 其中mgx及mgy分別為gx及gy的大小(magnitude)。由於梯度的方向與邊緣互相垂直，根據gx及gy，邊緣的資訊可被決定。根據方向劃分，33個角度模式的方向梯度直方圖數值的統計資訊可被計算，例如透過方向梯度直方圖模組100。對於各個像素，根據gx及gy，邊緣的方向可被計算。最接近方向的方向梯度直方圖數值的統計資訊以(mgx+mgy)增加。
(3)幀內模式選擇
根據前述獲得的方向梯度直方圖，方向梯度直方圖模組100選擇具有最多統計資訊的4個角度模式。接著，4個角度模式、直流模式及平面模式被提供到決策模組110。這6個模式可被視為一主要選擇(primary selection)的結果。
第3圖為本發明實施例一完善選擇模組(refined selection module)30的示意圖。完善選擇模組30包含有一方向梯度直方圖模組300、一完善模組(refinement module)310及一決策模組320。方向梯度直方圖模組300、完善模組310及決策模組320可透過多種方式被實現。方向梯度直方圖模組300、完善模組310及決策模組320的運作實施例如以下陳述。
(i)方向梯度直方圖模組300的運作
在接收編碼單元後，方向梯度直方圖模組300從編碼單元的33個角度模式中選擇4個角度模式、選擇編碼單元的一直流模式以及選擇編碼單元的一平面模式。這6個模式被提供給完善模組310。
(ii)完善模組310的運作
完善模組310另獲得(例如接收)編碼單元的鄰近編碼單元的幀內模式。鄰近編碼單元的幀內模式可事先被決定。若一鄰近編碼單元存在，鄰近編碼單元可位在編碼單元的左方或上方。因此，完善模組310從方向梯度直方圖模組300獲得6個模式，以及獲得鄰近編碼單元的幀內模式。根據以下步驟，完善模組310完善獲得的模式。完善模組310比較6個模式(即4個角度模式、編碼單元的直流模式及編碼單元的平面模式)以及編碼單元的鄰近編碼單元的幀內模式。對於鄰近編碼單元中的一編碼單元，若鄰近編碼單元中的編碼單元的幀內模式不為6個模式中一模式，完善模組310以編碼單元的鄰近編碼單元的幀內模式取代來自方向梯度直方圖模組300的6個模式中具有最少統計資訊的一模式。完善模組310在鄰近編碼單元的所有的幀內模式上執行上述運作，以及獲得包含有6個完善模式的一幀內模式清單。也就是說，根據6個模式的統計資訊(以及編碼單元的幀內模式是否與鄰近編碼單元的幀內模式相同)，完善模組310可以鄰近編碼單元的幀內模式的一集合取代該6個模式的一集合。
(iii)決策模組320的運作
根據一絕對轉換誤差分裂總和演算法，決策模組320計算6個完善模式的率失真(rate distortions)(或率失真成本)，以選擇具有最小率失真的一最佳模式。此外，重建像素及原始像素兩者皆被作為(即被包含在或屬於)參考像素，以降低決策模組320的實施複雜度。
第4圖為本發明實施例參考像素的示意圖。在本實施例中，根據參考像素的位置，例如參考像素是否位在編碼樹單元400中，一重建像素或一原始像素被決定是否可作為編碼樹單元400的編碼單元的參考像素被使用。若參考像素 非位在編碼樹單元400中，重建像素作為位在左上方區域410、上方區域420及右上方區域430的參考像素，以及原始像素作為位在左方區域440及左下方區域450的參考像素。若參考像素位在編碼樹單元400中，原始像素可作為參考像素。
(4)分割編碼單元
一編碼單元可進一步被分割為具有較小尺寸的編碼單元。在一實施例中，具有32x32尺寸的編碼單元可被分割為8x8尺寸的16個編碼單元。接著，具有32x32尺寸的編碼單元的一絕對轉換誤差分裂結果為具有8x8尺寸的16個編碼單元的絕對轉換誤差分裂結果的一總和。
根據(例如透過比較)編碼單元的一率失真及具有一較小尺寸的編碼單元的率失真的一總合，編碼單元是否應被分割成具有較小尺寸的編碼單元可被決定。在一實施例中，若編碼單元的一率失真大於具有A尺寸的編碼單元的率失真的一總合，編碼單元被分割為具有較小A尺寸的編碼單元。率失真或率失真的總合可如前述所述的最佳模式的率失真被獲得。
當以具有較小尺寸的編碼單元代替編碼單元被使用時，一偏移(offset)應被應用到編碼單元以改善準確性。根據一查找表(lookup table)，偏移可被決定。
第5圖為本發明實施例一圖像50的示意圖。圖像50被分割為具有32x32尺寸的16個編碼樹單元。在本實施例中，一編碼樹單元500被選擇。編碼樹單元500的分割可透過多種方式被實現。編碼樹單元500可被分割為具有16x16尺寸的4個編碼單元，以及具有16x16尺寸的編碼單元可進一步被分割為具有8x8 尺寸的4個編碼單元。在以下的實施例中，具有8x8尺寸的一編碼單元502被用來說明一幀內模式如何被選擇。
(i)計算梯度
一般來說，計算一梯度的一單元為具有32x32尺寸的一編碼樹單元。編碼樹單元的梯度可被再利用於具有8x8尺寸的一編碼單元的一梯度。
第6圖為本發明實施例梯度計算的示意圖。當計算一像素的一梯度時，一上方像素的值、一下方像素的值、一左方像素的值及一右方像素的值是需要的。若像素位在一編碼樹單元的一邊緣，像素應被擴展。舉例來說，第6圖中由虛線描繪的方格為擴展像素，以及透過複製鄰近像素而被獲得。舉像素S(1,1)作為例子，像素S(1,1)的8個鄰近像素被需要以計算像素S(1,1)在X方向及在Y方向的梯度。梯度可根據以下方式被計算：Gx(1,1)=(-1)*S(1,1)+0*S(1,1)+(1)*S(2,1)+(-2)*S(1,1)+0*S(1,1)+(2)*S(2,1)+(-1)*S(1,2)+0*S(1,2)+(1)*S(2,2), (式6)Gy(1,1)=(-1)*S(1,1)+(-2)*S(1,1)+(-1)*S(2,1)+0*S(1,1)+0*S(1,1)+0* S(2,1)+(1)*S(1,2)+(2)*S(1,2)+(1)*S(2,2), (式7)其中Gx(1,1)及Gy(1,1)分別為像素S(1,1)在X方向及Y方向的梯度。
根據前述方程式，編碼樹單元(例如，編碼樹單元500)中所有32x32在X方向及Y方向的梯度可以類似的方式被獲得。梯度的示意圖為對應於S(1,1)、…、S(32,32)的Gx(1,1)、…、Gx(32,32)及Gy(1,1)、…、Gy(32,32)，如第 8圖所示。
(ii)方向劃分
第7圖為本發明實施例角度模式的示意圖。第7圖所示的是高效率影像編碼標準中33個角度模式。圓圈指示的是對角線方向、一水平方向及一垂直方向。
具有8x8尺寸的一編碼單元包含有64個像素，其中各個像素包含有X方向及Y方向的梯度。根據像素在X方向及Y方向的梯度，像素的一邊緣方向可被獲得。計算獲得的邊緣被分類到上述所述的33個角度模式方向中最鄰近的方向。梯度gx及梯度gy的絕對值的總合指示所選最鄰近角度模式的大小。
在以下的實施例中，角度模式26-34被納入考慮。假設一編碼單元的一像素的梯度(gx,gy)=(-16,-9)被獲得，以下運作被執行：
(a)角度區間被預先決定為[29,23.5,19,15,11,8,5,4]。
(b)根據梯度的符號，方向被決定為左下方。因此，角度範圍可被得知位在角度模式26及角度模式34之間。
(c)梯度被縮放以確保abs(gx)=32，以及一縮放結果為(gx’,gy’)=(-32,-18)。
(d)由於abs(gy’)=18，位在角度區間中的19及15之間，一對應角度31(V+17)被獲得。
(e)根據上述結果，角度模式31的一方向梯度直方圖數值被加上abs(gx)+abs(gy)。
(f)上述運作在編碼單元的所有像素中被執行，以獲得方向梯度直 方圖數值，以及方向梯度直方圖數值從大到小被分類。前四個角度模式為候選角度模式。
(iii)幀內模式選擇
候選角度模式的率失真被計算。具有最小率失真的候選角度模式被選為最佳角度模式。
根據以下方程式，率失真可被獲得：RD_Cost=D+lambda * R (式8)
其中lambda為根據一像素的一編碼方式的一量化參數(quantization parameter，QP)所決定的一常數，R為編碼方式的一模式中的一位元串流(bit stream)中獲得的位元的數量，以及D為根據絕對轉換誤差分裂總和演算法被計算，像素的一原始數值及一預測數值間的一差異。
第8圖為本發明實施例像素預測的示意圖。根據像素R(x,y)，x=0、…、N，y=0、…、N，像素P(x,y)，x=1、…、N，y=1、…、N被預測。像素R(x,y)包含有一左方區域、一頂端區域、一右上區域以及包含有原始像素及重建像素的一左上區域。各個角度模式被設定具有方程式的一對應集合。舉例來說，角度模式26被設定具有以下方程式的集合：P(1,1)=P(1,2)=...=P(1,N)=R(1,0),P(2,1)=P(2,2)=...=P(2,N)=R(2,0),…P(N,1)=P(N,2)=...=P(N,N)=R(N,0) (式9)
根據絕對轉換誤差分裂總和演算法，在獲得角度模式26的預測像素後，原始像素及預測像素間的一差異被計算。
上述實施例中選擇模組10或完善選擇模組30的運作可被總結為一流程90，如第9圖所示。流程90包含有以下步驟：步驟900：開始。
步驟902：接收一編碼單元，以從該編碼單元的33個角度模式中選擇4個角度模式、選擇該編碼單元的一直流模式以及選擇該編碼單元的一平面模式。
步驟904：接收該6個模式，以根據一絕對轉換誤差分裂總和演算法比較該6個模式，以選擇該6個模式中一模式。
步驟906：結束。
流程90用來說明選擇模組10或完善選擇模組30的運作。流程90的詳細陳述及變動可參考前述說明，在此不贅述。
本領域具通常知識者當可依本發明的精神加以結合、修飾及/或變化以上所述的實施例，而不限於此。前述的陳述、步驟、函數、模組及/或流程(包含建議步驟)可透過裝置實現，裝置可為硬體、軟體、韌體(為硬體裝置與電腦指令與資料的結合，且電腦指令與資料屬於硬體裝置上的唯讀軟體)、電子系統、或上述裝置的組合。
硬體的實施例可包含有類比電路、數位電路及/或混合電路。舉例來說，硬體可包含有特定應用積體電路(application-specific integrated circuit(s)， ASIC(s))、場域可程式化閘陣列(field programmable gate array(s)，FPGA(s))、可程式化邏輯裝置(programmable logic device(s))、耦合硬體元件(coupled hardware components)、或上述裝置的組合。在一實施例中，硬體包含有通用處理器(general-purpose processor(s))、微處理器(microprocessor(s))、控制器(controller(s))、數位訊號處理器(digital signal processor(s)，DSP(s))、或上述裝置的組合。
軟體的實施例可包含有程式代碼的集合、指令的集合及/或函數的集合，其可被保留(例如存儲)在存儲單元，例如電腦可讀取介質(computer-readable medium)中。電腦可讀取介質可包含有用戶識別模組(Subscriber Identity Module，SIM)、唯讀式記憶體(Read-Only Memory，ROM)、快閃記憶體(flash memory)、隨機存取記憶體(Random-Access Memory，RAM)、CD-ROM/DVD-ROM/BD-ROM、磁帶(magnetic tape)、硬碟(hard disk)、光學資料儲存裝置(optical data storage device)、非揮發性儲存裝置(non-volatile storage device)、或上述裝置的組合。電腦可讀取介質(例如存儲單元)可在內部(例如集成(integrate))或外部(例如分離(separate))耦合到至少一處理器。 包含有一個或多個模組的至少一個處理器可(例如被配置為)執行電腦可讀取介質中的軟體。程式代碼的集合、指令的集合及/或函數的集合可使至少一處理器、模組、硬體及/或電子系統執行相關步驟。
綜上所述，本發明提供一種裝置及方法，用來選擇幀內模式。因此，硬體的並行處理可被實現，以及硬體的計算複雜度可被降低。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變 化與修飾，皆應屬本發明之涵蓋範圍。
10:選擇模組
100:方向梯度直方圖模組
110:決策模組

Claims (9)

  1. 一種選擇模組，用來選擇一幀內模式(intra mode)，包含有：一方向梯度直方圖(histogram of oriented gradient，HOG)模組，用來接收一編碼單元(coding unit，CU)，用來從該編碼單元的33個角度模式(angular modes)中選擇4個角度模式、選擇該編碼單元的一直流模式(DC mode)以及選擇該編碼單元的一平面模式(planar mode)；一決策模組，耦接於該方向梯度直方圖模組，用來從該方向梯度直方圖模組接收6個模式，以根據一絕對轉換誤差分裂總和(Split Sum of Absolute Transformed Difference，SSATD)演算法，比較該6個模式，以選擇該6個模式中一模式；以及一完善模組，耦接於該方向梯度直方圖模組及該決策模組之間，用來根據下列步驟來完善該6個模式：從該方向梯度直方圖模組接收該6個模式；獲得該編碼單元的複數個鄰近編碼單元的複數個幀內模式；比較該6個模式及該複數個鄰近編碼單元的該複數個幀內模式；以及根據該6個模式的統計資訊，以該複數個幀內模式的一集合取代該6個模式的一集合。
  2. 如請求項1所述的選擇模組，其中根據下列步驟，該方向梯度直方圖模組選擇該4個角度模式、該直流模式以及該平面模式：計算該編碼單元的複數個梯度；根據該複數個梯度，計算該33個角度模式的統計資訊；以及根據該統計資訊，選擇該4個角度模式。
  3. 如請求項2所述的選擇模組，其中根據一索博算子(Sobel operator)，該方向梯度直方圖模組計算該編碼單元的該複數個梯度。
  4. 如請求項1所述的選擇模組，其中根據下列步驟，該決策模組比較該6個模式，以從該6個模式中選擇該模式：計算該6個模式的率失真(rate distortions)；以及選擇具有一最小率失真的該6個模式中該模式。
  5. 如請求項4所述的選擇模組，其中根據包含有該編碼單元的複數個原始像素(original pixels)以及該編碼單元的複數個重建像素(reconstructed pixels)的複數個參考像素(reference pixels)，該決策模組計算該率失真。
  6. 如請求項5所述的選擇模組，其中根據該複數個參考像素的複數個位置，該複數個重建像素被包含在該複數個參考像素中。
  7. 如請求項1所述的選擇模組，其中根據該編碼單元的一率失真以及從該編碼單元分割出來的複數個編碼單元的率失真的一總和，該編碼單元的一尺寸被決定。
  8. 如請求項1所述的選擇模組，其中該33個角度模式屬於該編碼單元的一亮度分量(luma component)。
  9. 一種用來選擇一幀內模式(intra mode)的方法，包含有：接收一編碼單元(coding unit，CU)，用來從該編碼單元的33個角度模式 (angular modes)中選擇4個角度模式、選擇該編碼單元的一直流模式(DC mode)以及選擇該編碼單元的一平面模式(planar mode)；接收該6個模式，以根據一絕對轉換誤差分裂總和(Split Sum of Absolute Transformed Difference，SSATD)演算法，比較該6個模式，以選擇該6個模式中一模式；以及根據下列步驟來完善該6個模式：接收該6個模式；獲得該編碼單元的複數個鄰近編碼單元的複數個幀內模式；比較該6個模式及該複數個鄰近編碼單元的該複數個幀內模式；以及根據該6個模式的統計資訊，以該複數個幀內模式的一集合取代該6個模式的一集合。
TW109137378A 2019-11-12 2020-10-28 選擇編碼單元的幀內模式的裝置及方法 TWI749831B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/680,517 2019-11-12
US16/680,517 US11051013B2 (en) 2019-11-12 2019-11-12 Device and method of selecting an intra mode of a coding unit

Publications (2)

Publication Number Publication Date
TW202119819A TW202119819A (zh) 2021-05-16
TWI749831B true TWI749831B (zh) 2021-12-11

Family

ID=75847048

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109137378A TWI749831B (zh) 2019-11-12 2020-10-28 選擇編碼單元的幀內模式的裝置及方法

Country Status (2)

Country Link
US (1) US11051013B2 (zh)
TW (1) TWI749831B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230124010A1 (en) * 2021-10-01 2023-04-20 Qualcomm Incorporated Histogram of gradient generation
WO2023241347A1 (en) * 2022-06-13 2023-12-21 Mediatek Inc. Adaptive regions for decoder-side intra mode derivation and prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016521A1 (en) * 2013-05-27 2015-01-15 Microsoft Corporation Video encoder for images
US20150245068A1 (en) * 2014-02-21 2015-08-27 Industry-Academic Cooperation Foundation, Yonsei University Tsm rate-distortion optimizing method, encoding method and device using the same, and apparatus for processing picture
US20170302962A1 (en) * 2014-12-31 2017-10-19 Alibaba Group Holding Limited Rapid selection method for video intra prediction mode and apparatus thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7804900B2 (en) * 2006-02-23 2010-09-28 Industrial Technology Research Institute Method for fast SATD estimation
JP2017034532A (ja) * 2015-08-04 2017-02-09 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP7147145B2 (ja) * 2017-09-26 2022-10-05 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US11128872B2 (en) * 2018-07-16 2021-09-21 Qualcomm Incorporated Position dependent intra prediction combination with wide angle intra prediction
US10652581B1 (en) * 2019-02-27 2020-05-12 Google Llc Entropy coding in image and video compression using machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016521A1 (en) * 2013-05-27 2015-01-15 Microsoft Corporation Video encoder for images
US20150245068A1 (en) * 2014-02-21 2015-08-27 Industry-Academic Cooperation Foundation, Yonsei University Tsm rate-distortion optimizing method, encoding method and device using the same, and apparatus for processing picture
US20170302962A1 (en) * 2014-12-31 2017-10-19 Alibaba Group Holding Limited Rapid selection method for video intra prediction mode and apparatus thereof

Also Published As

Publication number Publication date
US11051013B2 (en) 2021-06-29
TW202119819A (zh) 2021-05-16
US20210144368A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
CN113228646B (zh) 具有非线性限幅的自适应环路滤波(alf)
US11889102B2 (en) Filtering method for removing blocking artifact and apparatus
TWI749831B (zh) 選擇編碼單元的幀內模式的裝置及方法
CN109845263B (zh) 用于视频编码的设备和方法
CN110087083B (zh) 帧内色度预测模式的选择方法、图像处理设备及存储设备
US8639054B2 (en) Image processing apparatus for noise removal and edge enhancement based on edge direction
KR101445009B1 (ko) 공통 프로세싱 요소들에 기초하여 비디오 안정화를 수행하고 비디오 샷 경계를 검출하는 기법
US8363978B2 (en) System and method for block edge location with varying block sizes and offsets in compressed digital video
CN111885382B (zh) 帧内色度预测模式快速选择
US20240187591A1 (en) Image encoding apparatus, image decoding apparatus, control methods and non-transitory computer-readable storage medium
US20150063439A1 (en) Encoding apparatus and method
CN110741642B (zh) 使用拟合平面和参考样本进行定向帧内预测的装置和方法
US8253817B2 (en) Image compression method, device, electronic camera, and program
CN110868593B (zh) 基于区域决策树的视频cu快速划分
US10425640B2 (en) Method, device, and encoder for controlling filtering of intra-frame prediction reference pixel point
CN114007074B (zh) 一种视频帧的帧内预测模式筛选方法及装置
CN112770115B (zh) 一种基于方向梯度统计特征的快速帧内预测模式决策方法
CN111683245B (zh) 基于纹理相似度的cu划分决策
CN110519597B (zh) 一种基于hevc的编码方法、装置、计算设备和介质
US6925125B2 (en) Enhanced aperture problem solving method using displaced center quadtree adaptive partitioning
Wang et al. Neural network based in-loop filter with constrained memory
JP4231020B2 (ja) イントラ予測モード選択方法，画像符号化装置，画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN112514382A (zh) 一种视频编解码方法、装置以及计算机可读存储介质
US11245896B1 (en) Deblocking filter level decision method
CN112437313B (zh) 一种帧内预测像素生成方法和装置