TW201138468A - Method and apparatus for encoding and decoding an image by using rotational transform - Google Patents

Method and apparatus for encoding and decoding an image by using rotational transform Download PDF

Info

Publication number
TW201138468A
TW201138468A TW099127248A TW99127248A TW201138468A TW 201138468 A TW201138468 A TW 201138468A TW 099127248 A TW099127248 A TW 099127248A TW 99127248 A TW99127248 A TW 99127248A TW 201138468 A TW201138468 A TW 201138468A
Authority
TW
Taiwan
Prior art keywords
frequency coefficient
coefficient matrix
matrix
unit
frequency
Prior art date
Application number
TW099127248A
Other languages
English (en)
Inventor
Elena Alshina
Alexander Alshin
Vadim Seregin
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of TW201138468A publication Critical patent/TW201138468A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

201138468 六、發明說明: 【相關專利申請案交叉參考】 本申請案主張於2009年8月13號向韓國智慧財產局 提出申請之韓國專利申請案第10-2009-0074898號的優先 權’該專利申請案所揭露之内容系完整結合於本說明書中。 【發明所屬之技術領域】 根據本發明例示性實施例之方法與裝置是有關於一種 編碼/解碼影像之方法與裝置,且特別是有關於一種編碼/ 解碼頻域(frequency domain)之係數(coefficient)之方 法與裝置。 【先前技術】 為執行影像壓縮,大多數影像編碼及解碼方法及裝置 藉由將畫素域(pixel domain)之影像變換成頻域之係數來 編碼影像。離散餘弦變換(discrete cosine transform,DCT) 是一種廣泛用於影像或聲音壓縮之頻率變換技術。近年 來’已進行研究來尋找一種更為高效之編碼方法《對於音 訊編碼(audio coding)而言,參數編瑪(parametric coding) 相較DCT提供更佳之結果。對於二維(2D)資料而言, 儘管卡洛變換(Karhunen Loeve Transform,KLT )係數具 有最小之位元大小,然附加資訊(overhead information) 之大小顯著增大。 【發明内容】 本發明之例示性實施例提供一種編碼/解碼影像的方 法與裝置。 4 201138468 式 本發明之例示性實施例亦提供一種電腦可讀 ’此電腦可讀取記錄媒體上記錄有用於執行此方^之程 根據例示性實施例之-態樣,提供一種編爲 法,所述方法包括:將預定區塊變換至頻域,產生 率係數矩陣;根㈣度參數,在所述第—鮮係數= 列之間及行之間,執行-或多個值之局部交換, 二頻率係數矩陣;量化所述第二辭魏以 述第二頻率係數矩陣與關於所述角度參數之資訊進㈣編 碼。其中所述角度參數是表示所述列之間及所述行之間所 述一或多個值之局部交換之程度的參數。 根據例示性實施例之另-態樣,提供一種影像編碼裝 置,包括:變換n,祕將預定區塊變換至頻域以產生 第-頻率絲矩陣,並根據角度參數,在所述第— 數矩陣之狀間及行之間,執行—或多個值之局部交換, 以產生第二鮮係數矩陣;量化單元,㈣量化所述第二 頻率係數矩陣;以及熵編碼器,用於對所述第二頻率係數 矩陣及關於所述角度參數之資訊進行熵編碼。其中所述角 度參數是表輯述狀間輯述行q賴—或多個值之 局部交換之程度的參數。 根據例示性實施例之另-態樣,提供—種解碼影像之 /丄所述方法包括·對第二頻率倾矩陣及關於角度參 =之貝訊進打_碼;逆量化所述第二頻率係數矩陣;根 據所補度參數,在所述第二頻率係數矩陣之列之間及行 201138468 之間,執行-或多個值之局部交換,以產生第—頻率係數 矩陣;以及將所述第一頻率係數矩陣逆變換至晝素域並 重建預定眺。其巾所述肖度參數是表賴述狀間及所 述行之間所述-或多個值之局部交換之程度的參數。 根據例不性實施例之另一態樣,提供一種影像解碼褒 置,包括:贿碼n ’祕對第二辨係數矩陣及關於角 度參數之資訊進行_碼;逆量化單元,用於逆量化所述 第二頻率係數矩陣;逆變換器,用於根據所述角度參數, 在所述第二鮮餘轉之狀間及行之間,執行一或多 :值之局部交換,以產生第—頻率係數轉;以及將所述 第-頻率缝矩陣逆變魅畫钱,並4建縣區塊。其 :所述角度參數是表示所述列之間及所述行之間所述一或 夕個值之局部交換之程度的參數。 —根據例示性實施例之另一態樣,提供一種電腦可讀 ,錄媒體,此電腦可讀取記錄媒體儲存有電腦可讀取 電腦可讀取程式用於執行所述編碼影像之方法 所述解碼影像之方法。 為讓本發$之上述和其他目的、特徵和優點能更明 明如下下文特舉較佳實施例,並配合所附圖式,作詳細 【實施方式】 例。細說明本發明之例示性賃 像彳5 ,影像(lmage)」可表示視訊之靜jt (lmage)或表示移動影像(即視訊本身)。 6 201138468 圖1為根據一例示性實施例的用於編碼影像之裝 100之方塊圖。 & 參見圖卜裝置100包括最大編碼單元劃分S 110 碼深度確定單元120、影像資料編碼器13〇及編碼資 碼器140。 最大編碼單元劃分器11〇可根據尺寸最大之編碼單元 的最大編碼單元來劃分當前畫面或切片(slice)。亦即最 大編碼單元劃分器110可劃分當前畫面或切片來獲得 一個最大編瑪單元。 根據一例示性實施例,可使用最大編碼單元及深度來 表示編碼單元。如上所述’最大編碼單元絲當前晝^ 各編碼單元巾尺寸最大之編碼單元,深度職示藉由 層方式減小編碼單元而獲得之子編碼單元之尺寸。隨著π 度的增加’編碼單元可自最Α編碼單元減小至最小編碼= 疋i其中最大編碼單元之深度被定義為最小深度,最小編 ^單兀之度貞彳被定義為最大深度。由於隨著深度的择 編碼單元之尺寸自最大編碼單元開始減小,故 子Γ碼可包含多個為第(k+n)th深度之子編竭 (/、n為等於或大於1的整數)。 隨著所欲編碼之晝面之尺寸增大,以 比。更r 變化之則無法藉由反映連續 舉例而5,當編碼諸如大海或天空之平滑區域時,編 201138468 碼單元越大,壓縮比便可增加得越多。然而,當編碼諸如 人或建築物之複雜區域時,編碼單元越小,壓縮比便可增 加得越多。 因此,根據一例示性實施例,為每一畫面或切片設定 不同之最大影像編碼單元及不同之最大深度。因最大深度 表示編碼單元可減小之最大次數,故可根據最大深度以可 變方式設定最大影像編碼單元中所包含之每一最小編碼單 元之尺寸。 編碼深度確定單元12〇確定最大深度。可基於碼率_ 失真(Rate-Distortion,R-D )成本之計算來確定最大深度。 對於每一畫面或切片或對於每一最大編碼單元,可確定不 同之最大深度。所確定最域度被提供至闕資訊編碼器 140’且依照最大編碼單元之影像資料被提供至影像資料編 碼器130。 最大深度表示可包含於最大編碼單元中的具有最小尺 寸之編碼單元’即最小編碼單元。齡之,最大編碼單元 可根據不同深度_分成具有㈣尺寸之子編碼單元。此 將在下文中參照圖8A及圖8B予以詳述。此外,可基於具 寸之處理單元,預測或變換包含於最大編碼單元 中的=有不同尺寸之子編碼單元。換言之,裝置⑽可基 於ίί種尺寸及各種形狀之處理單元而執行多種影像編 瑪^理操作。為編像資料,執行諸如預測、 編碼(entropy enc〇ding)之處理操作,且中可」: 使用具有相同尺寸之處理單元,或者可對每-操作使用且 8 201138468 有不同尺寸之處理單元。 單元可選擇不同於-編碼單元之處理 當編碼早凡之尺寸為2Νχ2Ν (其中N為正整數)時, 用^測之處理單元可為2Νχ2Ν、2NxN、Nx2N及⑽。 有將編碼單元之高度與寬度至少其中之 理單元定義為「預測單2 為預測之基礎的處 預測模式可為“内模式(intmm ,•叫及跳過模式(sk :::模式 ϊ =,r對具有特定尺寸或形狀二執 :正單模rr尺寸為_ 2Νχ2Ν2_單ί—^’跳過模式只可對尺寸為 元,則可在為备一箱订。右在編碼單元中存在多個預測單 誤差之預測模式。早兀執行預測後選擇具有最小編碼 寸之Si執編碼單元具有不同尺 等於或小於編喝單元之處理單^來之變換。可基於尺寸 中,將作為頻率變換之其礎^來執行頻率變換。在下文 (―一單元定義為「變換單元 言,離散餘弦變換(DCT) ^ ^為任何變換;舉例而 編碼深度確定單元㈣(KLT)。 2〇可利用基於拉格朗日乘數 201138468 (Lagrangian multiplier)之肋最佳化,確定包含於最大 編碼單%巾之?編碼單元。财之, 可確定自最大編碼單元劃分出的多個子編碼1^有哪= :狀’其中此多個子編碼軍元按其深度而具早有 =ir編碼最大編碼單元,進二= 編碼資訊輪碼器140編碼與編碼深度確定單元12 確定之最大編碼單元之編碼模式有關之#訊。換古之 碼:Γ藉由編碼與最大編碼單元“ 關=資訊、與最大深度有關之資訊以及與每—紐下子編 碼模式有關之資訊而輸出位元流。與子編碼單 關之資訊可包括與子編碼單元之預測單元 =之貝訊、與母一預測單元之預測模式有關之資訊、以 及與子編碼單元之變換單元有關之資訊。 。。一因在每一最大編碼單元中存在具有不同尺寸之子 早7L ’且必須騎—子編碼單元確定與編碼模式有關之資 ,右Π —個最大編碼單元,可確定與至少-種編石馬模 式有關之資訊。 裝置100可藉由隨深度之增加’將最大編碼單元之高 者等分為二而產生子編碼單^。亦即,當為第 冰度之編碼單元之尺寸為2NX2N時,為第(k+1产深产 之編碼單元之尺寸為ΝΧΝβ 又 因此’根據-例示性實施例之裝置100可慮及影像特 201138468 徵,^據最大編碼單元之尺寸以及最大深度,為每一最大 編:單元錢最佳劃分形狀。藉由慮及影像特徵而可變地 調整最大編解元之尺寸並藉由將最大編碼單元劃分成不 同深度之子編解元而編碼影像,可更高效地編碼具有各 種解析度之影像。 圖2為根據一例示性實施例的用於解碼影 200之方塊圖。 .參見圖2 ’裝置200包括影像資料擷取單元210、編碼 貧訊提取單元220及影像資料解碼器23〇。 一影像資料擷取單元210藉由剖析由裝置2〇〇接收之位 疋流而根據最大編碼單元娜影㈣料,並將影像資料輸 ^至影像資料解碼器23G。影像㈣擷取單元⑽可自當 刖晝面或,片之標頭(heade〇提取與當前畫面或切片之 最大編碼單元有關之資訊。換言之,影像資料擷取單元21〇 以最大編碼單元劃分位元流,俾使影像資料解碼器230可 根據最大編碼單元解碼影像資料。 1編碼資^提取單元220藉由剖析裝置200所接收之位 疋流’自^前晝面之標頭提取與最大編碼單元、最大深度、 J大編碼單元之劃分形狀及子編碼單元之編碼模式有關又之 ^。與劃分形財關之資誠及與編碼模式有關之資訊 被提供至影像資料解碣器23〇。 ,最大編碼單元之劃分形狀錢之資訊可包括與最大 編碼單元巾所包麵按深度而具#尺寸之子編碼單元 有關之資訊,^與編式有關之f訊可包括與依照子編 11 201138468 單元有關之資訊、與預測模式有關之資訊以 及與變換早7L有關之資訊。 影像資料解碼器230根據編碼資訊提取單元22〇所提 訊’解骑—最大編碼單元之影像資料藉此恢復 虽,面。影像資料解碼器㈣可根據與最大編碼單元之 ^形狀有關之f訊來解碼包含於最大編碼單元中之子編 碼早7L。解碼触可包括麵顧及逆變換财,預測過 程則包括畫面内預測及移動補償。 、 影像資料解碼器23〇可根據與預測單元有 輯關之資訊來執行晝面内預測 j ’藉以預測-預測單元。影像資料解碼器23〇亦可根據 執元之變換單元有關之資訊,為每-子編碼單元 圖3繪示根據-例示性實施例之階層式編碼單元。 參見圖3’根據-例示性實施例之階層式編碼單元可 匕括=寸為64x64、32χ32、16χ16、8χ8及細之編瑪單 疋。除此等具有完全正方形形狀之編碼單元外,亦可存在 尺寸為 64x32、32x64、32χ16、16χ32、16χ8、8χ16、8χ4 及4x8之編碼單元。 參見圖3,對於解析度為192〇χ1〇8〇之影像資料3ι〇, t編碼單元之尺寸被蚊為64χ64,且最大深度被設定 π對於解析度為1920x1080之影像資料32〇,最大編碼 早凡之尺核設定為64χ64,且最域度被設定為3。對 12 201138468 於解析度為352><288之影像資料別,最大編碼單元之尺 寸被设定為16x16 ’且最大深度被設定為i。 s當解析度為高或者資料量很大時,較佳使編碼單元之 最大尺寸相對很大,以增大㈣比並準確地反映影像特 徵。因此,對於解析度較影像資料330 $高之影像資料31〇 及32^) ’可選擇64x64作為最大編碼單元之尺寸。 最大深度表示階層式編碼單元中之總層數。因影像資 料310之最大深度為2,故影像資料31G之編碼單 可匕3長轴尺寸為64之最大編瑪單元並隨著深度的增大 而包含長軸尺寸為32及16之子編碼單元。 另一方面 囚影像資料330之最大深度為丨,故影像 ^斗330之編碼單㈣5可包含長軸尺寸為16之最大編碼 單70並—的增大而包含長轴尺寸為8之編碼單元。 然而影像資料320之最大深度為3,故影像資料 320之:編碼單元325可包括長轴尺寸為64之最大編碼單元 並隨著深度的增大而包含長軸尺寸為32、16、8及4之子 編碼單元。因隨著深度的增大而基於變小之子編碼單元來 編碼影像,故本例雜實施例適用於編碼包含更微小景物 之影像。 圖4為根據-例示性實施例的基於編碼單元之影像編 碼器400之方塊圖。 畫面内預測器彻對當前訊框(frame)彻中畫面内 模式之預㈣元執行4面_測,且移動估計單元及 移動補償卓凡425使用當前訊框_及參考訊框495對晝 13 201138468 面間模式之預測單元執行晝面間預測及移動補償。 根據由畫面内預測器410、移動估計單元42〇及移動 補償單元425輸出之預測單元,產生殘餘值(⑽麻】 value) ’且所產生之殘餘值藉由穿過變換器43〇與量化單 元440而作為量化的變換係數輸出。 量化的變換係數藉由穿過逆量化單元及頻率逆變 換器470而恢復成殘餘值’且已恢復之殘餘值藉由穿過解 塊單元(deblocking unit) 480及迴路濾波單元49〇而經過 後處理(p〇St-pn)CeSS),並被作為參考訊框495輸出。量化 的變換係數可藉由穿過熵編碼器而被作為位元流4分 輸出。 為基於根據-例示性實施例之編碼方法執行編瑪,影 像編碼器400之組件(即,畫面内預測器41〇、移動估叶 單元420、移動補償單元425、變換器43〇、量化單元44〇\ 熵編碼器450、逆量化單元460、頻率逆變換!| 47〇、解塊 單元480及迴輯波單元49〇)根據最大編碼單元、依據 於冰度之子編碼單元、糊單元以及變換單元來執行影 編石禍寂。 圖5為根據-例示性實施例的基於編碼單元之影 碼器500之方塊圖。 解 位元流(bitstream)5〇5穿過剖析單元51〇,俾剖 ,之已編碼影像資料以及為解碼所需之編碼資訊。已編碼 =像資料藉由穿過熵解碼器別及逆量化單元別而被作 為量化㈣輸出,並藉由穿過頻率逆賴^ 5奶而恢復成 201138468 殘餘值。藉由將殘餘值相加至畫面内預測器55〇 預測結果或移動補償單元560之移動補償結果,面内 單元恢復殘餘值。恢復後之編碼單元藉由穿 ,媽 570及迴路濾、波單元58G _於_後續編碼單 = 晝面。 故卜 為基於根據一例示性實施例之解碼方 影像解碼器500之組件(即剖析單^1()、熵解^器解^’ 逆量化單^ 530、頻率逆變換器54〇、畫面内預測器55〇、 移動補償單元560、解塊單元57G及迴路據波單元58〇)根 據最大編碼單元、依據於深度之子編碼單元、預 x 變換單元來執行影像解碼過程。 、疋 具體而言,晝面内預測器55〇及移動補償單元5⑹藉 由慮及最大編碼單元及深度來確定子編碼單元中之預測單 70以及預賴式,且頻率逆變換器藉由慮及變換單元 之尺寸而執行逆變換。 、 圖6繪示根據一例示性實施例之最大編碼單元、 碼單元及預測單元。 、 根據一例示性實施例之裝置1〇〇及裝置2〇〇使用階層 式編碼單元在慮及影像特徵之情況下執行編碼及解碼。可 根據影像特徵而自適應性地設定最大編碼單元及最大深 度’或者根據使用者之要求而不同地設定最大編碼單元及 最大深度。 根據一例示性實施例之階層式(hierarchical)編碼單元 結構600繪示高度及寬度為64且最大深度為4之最大編碼 15 201138468 單元610。深度沿階層式編碼單 ί ^ =之增A ’蝴單元“产 ::元=子階:;\=::。,顯= 度及寬度)為_。深度沿豎^ 尺十(即高 且深度為!之子編碼單元為 =寸,2 之子編碼單元630、尺寸為8χ8 : X且/木度為2 _、以及尺寸為4x4且深产為4為3之子編碼單元 為W W為…編 = 元伽。尺寸 該最]、總石民留-杏 為最小編碼單元,且 最=:可劃分成預測單元,每-預測單元皆小於 實例…=二=根據每一深度ί橫軸顯示預測單元之 為尺寸等於G之最^碼單元61G之預測單元可 為尺(即64X64)之預測單元,或者 元:尺寸為_之^^編^早疋610的以下預測單 單元614、抑h =早 尺寸為32x64之預測 严抑或尺寸為32x32之預測單元616。 可為尺;J二:尺寸為32x32之編碼單元620之預測單元 者為尺(即32:32)之預測單元,或 元:尺寸A 、為32x32之編碼單疋620的以下預測單 單元62I之預測單元622、尺寸為1純之預測 ^ 仰或尺寸為16x16之預測單元626。 深度為2且尺寸為16x16之編碼單元63〇之預測單元 201138468 0為尺寸等於編^ 者為尺寸小於尺寸為】6χ ( P之預測單元,或 元··尺寸為】⑽之預測單元元㈣的町預測單 元,、抑或尺寸為8x8之酬單元尺寸為_之預測單 ;木度為3且尺寸為8χ8 為尺寸等於編碼單元64〇 (即元_之預測單元可 尺寸小於尺寸為8x8之編 =預測早疋,或者為 寸為Μ之預測單元⑷的以下預測單元:尺 抑或尺寸為切之預測單元=為㈣之預測單元⑽、 最後’深度為4且尺·4 ^ 編碼單元及深度最大之編碑單元x, 元咖為最小 ;元可為尺寸為糾之預測單二==之預測 單凡松、尺寸為2χ4 尺^切之預測 預測單元656。 、或尺寸為2x2之 元。圖7繪示根據-例示性實施例之編解元及變換單 」艮據一例示性實施例之裝置1〇〇及 碼早疋本身或自最大編碼單元劃分出之 =大編 碼,其中子編碼單元等於或小於最大編竭=早疋執行編 在編碼過程中,將用於頻率變換之變換 f成不大於對應編碼單元之尺寸。舉例而言,寸選 單凡710之尺寸為64x64日夺,可使用尺寸為3 :則編碼 單元720執行頻率變換。 芍32x32之變換 圖8A及圖8B繪示根據一例示性實施例之編碼單元 17 201138468 預測單元及頻率變換單元之劃分形狀。 圖8A繪示根據一例示性實施例之編碼單元及預測單 元。 圖8A之左侧顯示根據一例示性實施例,裝置為 編碼最大編碼單元⑽而選擇之劃分雜。裝置將最 大編碼單元⑽劃分成各種形狀,執行編碼,並藉由根據 =成本將各種fj分形狀之編碼結果相互比較而選擇最佳 S’J分形狀。當原樣地編碼最大編媽單S 810域佳時可 在不如圖8Α·犯所_分最大編碼單元_之情況下 編碼最大編碼單元81〇。 c f見圖8Α之左側’藉由將深度為〇之最大編碼單i 成深度等於或大於1之子編碼單元,編碼最大岛 I早兀810。亦即,將最大編碼單元81〇劃分 的4個子編解元,並躲料丨之料子編碼單^^ 部或其中之某些劃分成深度為2之子編碼單元。 ^ …在深度為1之子編碼單元中,將位於右上側之 早兀與位於左下側之子編碼單元射成深度等於或大於; 之子編碼單元。深度等於或大於2之子編碼單元其之宜 些可劃分成深度等於或大於3之子編碼單元。 〃 圖8A之右侧顯示最大編碼單元81〇 分形狀。 』平兀之劃 參見圖8A之右側,最大編碼單元⑽之預測 可按不同於最大編碼單元810之方式劃分。換古之― 子編碼單元之預測單元可小於對應之子編碣單元。母 18 201138468 舉例而言,在深度為1之子編喝單元中,位於右下側 之子編碼單元854之預測單元可小於子編碼單元854。另 外’深度為2之子編碼單元814、816、85〇及852其中之 某些(814、816、85〇及852)之預測單元可分別小ς子編 碼單疋814、816、850及852。另外,深度為3之子編碼 早兀822、832及848之預測單元可分別小於子編碼單元 822>、832及848。各刪單元可具有將各自之子編碼單元 在高度或寬度方向上等分為二而得到之形狀,或者具有將 各自之子編碼單元在高度及寬度方向上等分為四而得到之 形狀。 圖8Β繪示根據一例示性實施例之預測單元及變換單 元0 圖8Β之左侧顯示圖8Α右側所示最大編碼單元810之 預測單元之劃分形狀,圖8Β之右侧則顯示最大編碼單元 810之變換單元之劃分形狀。 參見圖8Β的右側,可按不同於預測單元860之方式 設定變換單元870之劃分形狀。 舉例而言,即使深度為1之編碼單元854之預測單元 被選擇成具有將編碼單元854之高度等分為二而得到之形 狀,變換單元亦可被選擇成與編碼單元854具有相同尺 寸。同樣,即使深度為2之編碼單元814及850之預測單 元被選擇成具有將編碼單元814及850中每一者之高度等 分為二而得到之形狀,變換單元亦可被選擇成具有與編碼 單元814及850中每一者之原始尺寸相同之尺寸。 201138468 變換單元可被選擇成具有小於預測單元之尺寸。舉例 而言,當深度為2之編碼單元852之預测單元被選擇成具 有將編竭單元852之寬度等分為二而得到之形狀時,變換 單元可被選擇成具有將編碼單元852在高度及 、 等分為四而得狀薇,卿狀財小於賴;元^ 狀。 圖9為根據另一例示性實施例之影像編碼裝置9⑻之 方塊圖。 圖9之影像編碼裝置900可為包含於圖1所示影像編 碼裝置中或® 4所示影像編碼器·巾並用於執行下文所 將說明之影像編碼程序的餘。參細9,根據本例示性 實施例之影像編碼裝置9〇〇包括變換器91〇、量化 及熵編碼器930。 變換器910接收預定區塊,並將其變換至頻域。該預 定區塊是根_錢換演算法輯賴,並且接著產生頻 域之係數。變換器91G可制涉及將晝素域之區塊變換成 頻域之係數的各種演算法其巾之—。舉例而言可利用離 散餘弦變換(DCT)或卡洛變換(κχτ)將預定區塊變換 至頻域。預定區塊可為殘餘區塊(—1 block)。此外, 預定區塊亦可為結合圖7或圖8B所述之變換單元之區塊。 此外’變換器910亦執行後處理過程(post process), 該後處理雖涉及在包含料變換結果而產 生之頻域係數 之矩陣中,在列之間以及在行之間交換一或多個值,此後 處理過程將參照圖1G以及圖UA至圖uc予以詳述。 20 201138468
1 上/毳 A 圖10為根據一例示性實施例之變換器91〇之圖式。 參見圖10,變換器910包括變換執行單元1〇1〇及旋 轉變換(rotational transform,ROT)執行單元 1〇2〇。 變換執行單元1〇1〇接收預定區塊,將其變換至頻域, 並產生頻率係數矩陣。舉例而言,如上所述,藉由執行dct 或KLT,可產生包含頻域係數之頻率係數矩陣。 R〇T執行單元102〇接收變換執行單元1〇1〇所產生之 頻率係數矩陣,執行R0T,然後產生調整過的頻率係數矩 陣ROT可對應於用以在列之間及行之間交換一或多個值 之變換。ROT將參照圖11A至圖llc予以詳述。 圖11A至圖11 c繪示根據一例示性實施例之rot。 ROT執行單元1〇2〇在頻率係數矩陣之列之間或行之 間局部地交換一或多個值。現在,將參照圖11A至圖iic 來說明頻率係數矩陣之列之間以及行之間的交換。 ^根據此一或多個例示性實施例,列之間或行之間的局 P乂換並不表示作為 對應關係無條件地交換特定列或 特疋行之值,而是表示利用特定函數局部地交換兩列之間 或兩行之間的值,此特定函數包括正弦函數(sinus〇idal function)。 舉例而言,可根據參數a之值,將兩列A與B之間的 交換定義為方程式1。 [方程式1]
Row A(new) = c〇s(a) * row A(old) - sin(a) * row B(old) 21 201138468 Λ
Row B(new) = sin(a) * row A(old) + cos⑻ * row B(old) 參見方程式1,參數「a」當作一角度。因此,在本發 明之此一或多個實施例中,將表示DCT變換矩陣的列之間 及行之間局部交換之程度的參數「a」定義為角度參數。 在參數「a」之值為0度之情形中,則意謂不發生交換。 此外,在參數「a」之值為90度之情形中,則在列之間發 生整體交換。 在參數「a」之值大於90度且小於18〇度之情形中, 則意謂在列之間發生交換,且元素值之符號發生改變。在 參,「a」之值為180度之情形中,則在列之間不發生交換, 但每-列中所包含之所有元素之符號發生改變。在此一或 =例雜實施财,讀局部交_同之方式 疋義行之間的局部交換。 參見Ξ 4x4頻率係數矩陣執行r〇t之情形。 用三個參數〜在^;矩t的!1之間的局部交換中,使 三個參數仪5、α6。、在仃之間的局部交換中使用 在圖頻率係數矩陣執行R〇T之情形。 :a 3 V0C 4、α 5、〇^ 在列之間的局部交換中使用众!、、 %、α10、α ^並在行之間的局部交換中使用am 1、a12 〇 執行對尺彻之解係數矩陣 σ圖11A及圖11B所述,隨著頻率係數矩陣 22 201138468
率係數矩^執^目增A °為對圖11A之4x4頻 之W頻率係數_^要g固角度參數,並且為對圖11B 儘管以藉由對 化及,之方式提過=== 传附加#訊增大’則資料總量亦不“少。因此, 係數矩陣執行贿時)餘轉。 紫羊 圖llc所示,R0T執行單元刪選擇包 _ mo二1110其中之某些係數之所取樣頻率係數 Μη ’ ”遏騎翻率舰轉112G執行ROT。對 頻率係數矩陣之其餘部分1130則不執行R0T。 為使ROT對具有大尺寸之頻率彳繪矩陣具有充分之 m要使包含於鮮絲轉u2G巾之餘具有壓縮 〜像資料之效果。因此,ROT執行單元刪僅選擇呈有 ,頻分量的及可具有非零值的餘,輯料係數執行 •ROT 〇 -般而言,作為變換結果而產生之頻率係數矩陣在此 頻率係數矩陣之左上角包含關於低頻分f之係數。因此, 如圖lie所示,ROT執行單元1020僅選擇位於頻率係數 矩陣mo之左上角之係數,然後執行R0T。在圖llc之 一實例中,ROT執行單元1〇2〇以與結合圖11B所述之R〇T 相同之方式,對尺寸為8x8之頻率係數矩陣112〇執行 23 201138468 ROT 〇 參見圖11A對4x4頻率係數矩陣執行之尺〇7,根據三 個角度參數αι、α2、之應用次序,獲得不同之結果。 亦即,此三個角度參數並不相互獨立。藉由對其中首先應 用角度參數αι並接著應用角度參數α2之情形執行R〇T而 產生之調整過的頻率係數矩陣不同於藉由對其中首先應用 角度參數062並接著應用角度參數αι之情形執行R〇T而產 生之調整過的頻率係數矩陣。此將參照圖予以詳述。 圖12為根據另一例示性實施例之歐拉角之圖式。 參見圖12,可以理解,矩陣的列之間或行之間的交換 類似於三維(3D)空間中座標轴之旋轉。亦即,三個列或 行分別對應於3D座標之X轴、γ轴及z轴。對於3D空 間中座標軸之旋轉而言,依哪一個轴首先旋轉而定,會獲 得不同之結果。因此,已作出許多嘗試來展示3d空間中 座標軸之旋轉,且該等嘗試其中之一代表性嘗試為歐拉角 (Euler angle )。 在圖12中’角度:οε;、β、γ表示歐拉角。在圖12中, X軸、Υ軸及Ζ軸表示旋轉前之座標軸,X,轴、γ,軸及ζ, 軸則表示旋轉後之座標轴。Ν轴為Χ-Υ平面與平面 之交叉線。此處,Ν軸被稱為「節點線(iineofnodes)」。 角度α表示圍繞Z軸旋轉之X轴與n軸之間的夾角。 角度β表示圍繞Ν轴旋轉之ζ轴與Ζ,軸之間的夾角。角度 頂1J表示圍繞Ζ軸旋轉之Ν轴與X,轴之間的夾角。 各座標軸根據歐拉角之旋轉由方程式2表示。 24 201138468 [方程式2] COSy silly 〇5 -siny cosy 0 〇 0 1, fl ο ο ’ 0 cosp sinp ,0 -sinp oosp i f cosoc sifta 0' -sina cosa 0 丨 0 0 1) 第"一矩陣表不圍繞Z’轴之旋轉。第二矩陣表示圍繞n 軸之旋轉。第三矩陣表示圍繞Z軸之旋轉。 在此一或多個例示性實施例中,可利用歐拉角,將矩 陣的列之間或行之間的交換表示為座標軸之旋轉。 重新參見圖9及圖10,變換器910之ROT執行單元 1020對頻率係數矩陣執行R0T,並由此產生調整過的頻率 係數矩陣。調整過的頻率係數矩陣被輸入至量化單元9 2 〇。 置化單元920根據預定量化步階(qUantizati〇n 8邮) 來量化包含於調整過的頻率係數矩陣中之係數,且熵編碼 器930對量化後之調整過的頻率係數矩陣執行熵編碼。可 利用上下文自適應性可變算術編碼(c〇ntext adaptive variable arithmetic coding,CABAC)或上下文自適應性可 變長度編碼(context_adaptive variable丨⑶她⑺出哗, CAVLC)執行熵編碼。在因頻率係數矩陣iii〇具有大尺 寸而僅對包含其中之某些係數之頻率係數矩陣執行 2之情形巾對包含解係數矩陣112G以及其餘部分 Π之f率餘轉1UG執行量倾接耗賴編碼, 其中=率係數矩陣1120包含該等經旋轉變換之某些係數。 網編碼H 930對在變換器91〇執行之騰中所用 25 201138468 度參數執行熵編碼,且影像編碼裝置900根據以下程序確 定ROT之最佳角度參數。 為高效地執行壓縮,需要使最佳角度參數尋找最佳角 度參數。然而,此為一種多參數問題(muhi_parameter problem),對參數具有強的不平滑依賴性。為解決該問題, 使用蒙特卡羅(Monte Carlo)方法。此處,在蒙特卡羅方 法中’可使用萊默隨機序列數(Lehmer,s rand〇m sequence number)產生隨機點。可並非儲存或傳送用作參數的角度 參數而疋僅儲存或傳送一個表示序列數之整數。藉此, 可減i將ROT中所用角度參數告知編碼器所需之附加 訊。 士下亦即,在確定最佳角度參數之組合時所要考量之事項 1·對變換矩陣執行逆變換 2. 為達成更高效之編碼,重新安排能量 3. 利用萊默隨機序列數來最小化所增加之資訊 β重新參見圖11A至圖uc,藉由旋轉頻率係數 修被標為黑色,而未得到修改之部分被標為 ==對十五個係數進行之修改中,涉及六個 2^在圖11Β之8x8頻率係數矩陣中,在對二 係數之修改中涉及十二個角度參數。單中在對”十個 且對於列之間的交換,需要三個角度參數, 仃之間的讀,需要科三個角度參數。因此,對 26 201138468 於4x4區塊,需要六個角度參數。 參見圖11B’對於列之間的交換,需要六個角度參數, 且對於行之間的交換,需要另外六個角度參數。因此,對 於8x8區塊,需要十二個角度參數。 影像編碼裝置900可根據以下步驟執行R〇T : 步驟1 —正交變換族參數化(orth〇g〇nal transf〇rm family parameterization ) 步驟2—蒙特卡羅方法 步驟3—萊默偽隨機數 步驟4—最佳角度參數之範圍的局部化 步驟 5 —準最佳基(quasioptimal basis) 儘管_ ROT會提高影狀壓縮比,心若增加過多 之參數,則傳輸視訊訊號可較壓縮達成更佳之效果。換古 之丄在壓縮比與額外參數之附加資訊之間存在折衷。舉^ 而言’儘管將4x4頻率係數矩陣中之影像訊號壓縮至接近 於〇之尺寸,然而若此壓縮需要十六個額外參數則 必執行ROT。就此而言’傳送十六個畫素值至解喝器可能 更為高效。因此,壓縮影像訊號與最小化所 = 訊二者皆頗為重要。 育 為此,ROT執行單元1020根據以下步驟, 附加資訊之同時尋找最佳角度參數。 ^ <步驟1 —正交變換族參數化> 為對當前資料選取最佳變換,需要進行 adjustment )。選取基之旋轉作為基修5改( 27 201138468 modification)。因此’旋轉角度之集合即唯一地描述基修 改。 所引入之旋轉角度描述基修改之方式與歐拉角描述實 心體在3D空間中之旋轉之方式相同。此種演算法之名稱 即緣於此種相似性。 為對基進行修改,主要選擇基之旋轉。在此一或多個 例示性實施例中’使用角度參數執行基之旋轉。此處,利 用使用角度參數執行的基之旋轉。角度參數可為歐拉角。 然而’角度參數並不限於歐拉角,因而亦可包括其他可表 示矩陣的列之間及行之間一或多個值之局部交換程度的角 度參數。以下,將說明涉及使用歐拉角之實例。 利用頻率係數矩陣D之左乘法Rh—及右乘法 Rvertical ’將旋轉定義為方程式3。 [方程式3] D - Rh〇rizontai X D X Rvertical (吖表示旋轉變換後之調整過的頻率係數矩陣。) 矩陣執行頻率係數矩陣D的列之間的交換。 Rvertical則執行頻率係數矩陣D的行之間的交換。 在4區塊中’矩陣Rhoriz()ntal之實例由方程式4表示。 ^horizontal Λ. JB c 〇 > -D E JF' 〇 G H j 〇 〇 〇 O 1 , 28 201138468 A= cosmos'/ - sin«cosPsiin, B = -sinacosv - cos^cosPsinv » C = sinPsin” D = cosasin7 + sinacosPcosv » E = -sin..asiin + cos^cosPcost, F = -sinPcosv > G = sinrtsinP, H = cosasinP » I = cos3 在方程式4中’ 〇c、β、γ表示歐拉角。 因此,對於4x4頻率係數矩陣,歐拉角藉由一組六個 參數0^’2、…、%來描述對十二個頻率係數之修改。 對於8x8頻率係數矩陣,則由十二個歐拉角〇ό:1、:α.2、、 αΐ2來描述對六十個頻率係數之修改。 <步驟2—蒙特卡羅方法> 在自由度減小為六個角度參數(在8><頻率係數矩陣之 情形中,為十二個角度參數)後,為了節約位元,需要檢 查最佳化事項。亦即,需要將用於選擇一組角度參數之方 法最佳化。 最佳化之困難之處在於使用參數的高維域(六個或十 29 201138468 關。一般而言, ^卡^讀所財數不平滑地相 蒙特羅方法克服此種困難。 點量麵始ΐ 是執行多次嘗試。亦即,自若千 隨機點之品質非常 根據另—例示性實施例之偽隨機點。 一之左侧圖式繪示均勻網格點,而圖13 式繪不根據騎機過㈣前十六伽。 之右側圖 ^用均勻網格點(unifQrm _ pQims)之情形 g象特卡羅方法有十六個點,卻對第—參數(及 僅檢,四個不同的值。相反,在使用偽隨機點之情"^中, 則以十六個點對第-參數(及第二參數)檢 ^ 偽隨機點時,針對十六個點充分: Ϊ法,著之不同值。特別地,對於蒙特卡羅 二的增大’使用偽隨機*較使用均勻網 <步驟3 —萊默偽隨機數> 可使用各種方法產生偽隨機序列。最高效之方法其中 之一疋使用來默數(Lehmer number)。此為—種人工產生 之序列,,接近於均勻分佈之實際隨機數。用於產^萊= 序列之凟异法已眾所習知,故此處不再予以贅述。根據‘’‘ 例示性實施例,提供至少10u個不重複的點。萊默序列為 30 201138468 :種且用於產生萊默序列之演算法已眾所習 头故解碼|§可輕易地重新計算之。 藉由使用萊默序列,可利用一條資 編碼角度參數之組合。在六維(在二 ί係ί矩陣之情形中)或十二維(在8X8頻率係數矩陣之 中’產生對應於隸參數之組合的隨機點, 點行壓縮後量測壓縮率,然後選擇最佳參數 萊财歹=或傳送角度參數之組合’而是儲存或傳送 來默序列中對應於最佳參數點之數。 若對2Ρ個點(即,蒙特卡羅方法中角度來數之组 订,則僅包含Ρ個位元之資訊作為附加資訊。 <步驟4~最佳角度參數之範圍的局部化> 於二多個例示性實施例,最佳旋轉角度具有接近 之變f度h弧度)之值。此4謂用於實施向頻域 之II換的基(例如DCT基或KLT基)近乎最佳化。 因=,根據此-或多侧示性實_之角度參數僅用 之,ΓφΓ及行之間—或多個值之局部交換(在歐拉角 並接近於0度之角度)’或者用於執行局部交換 素之符號(在歐㈣之情形中,為接近180度 =度)。亦即’此-或多侧示性實施例中所用參數之範 圍僅限於域的特定部分,此種限制被稱為局部化。 藉由對參數之範圍執行局部化,減少關於開銷之位元 数目L若假定所欲檢查之點被限制於圖13中的特定部分, 則為尋找角度參數之最佳組合而欲檢查之點之數目減少。 31 201138468 此外,若所欲檢查之點之數目固定(亦即 附加資訊之位元數目固定之情形中),且應 = 檢查較小角度中的更多點’ 一可増大壓轉。則了 <步驟5—準最佳基> 藉由執行上述步驟1至步驟4,可針對 寸等於或大於4x4及8X8之區塊)選擇最佳基有,(尺 速率(bit rate)下,可向每一區塊掷 土 呵位元 1〇個位元組之附加資訊。當位元^·8個位元組或 最佳基。 &料降⑽,較佳選擇準 準最佳基意謂對切片或晝面中张4人入 2錢換單元所構成的一組變換單二相=:元 Γ二=用最佳旋轉,則對影像之壓縮率增大,但 為確定對一變換單元、〜組變 單位應用相同之旋轉’可執行各種實i 矩陣之許多部分中的量化她值變係數 係數矩陣之該等部分,M G因此,對於頻率 於旋轉角度值之額外資訊。订τ以及不需要傳送關 之组=編1裝置_利用蒙特卡羅方法對多個角度參數 角忿C,並重複地執行量化及熵編碼,藉此確定 度;數,。此外,影像編碼裝置900不編碼角 參數最佳組:之;:默二隨1 序列數作為關於所確定角度 δ匕處,藉由利用局部化及準最佳基, 32 201138468 β 、高之效率編碼關於角度參數之資訊。 之方塊二另i示性實施例之影像解碼裝置1400 示影二= 影Λ解繼1400可為包含於圖2所 於執行下*裝 #或圖5所示影像解碼器500中並用 影^^所將朗之雜解碼程序的難。參見圖Η, ===包括熵解碼器_、逆量化單元漏 頻率14H)接收位(流’並對預^區塊之調整過的 11 車執行熵解碼。調整過的頻率係數矩陣是以藉 疋區塊變換至頻域而產生頻率係數矩陣並對頻 係數矩陣執行ROT之方式產生。此外,對於逆ROT,^ 解碼器1410可解碼與在R〇T中所用角度參數有關之資 訊。類似於熵編碼器930,熵解碼器141〇利用CABAC或 CAVLC執行熵解碼。 逆量化單元1420用於逆量化經熵解碼器141〇熵解碼 之調整過的頻率係數矩陣。逆量化是根據用於編碼操作之 量化步階來執行。 逆變換器1430藉由對調整過的頻率係數矩陣執行逆 ROT而產生頻率係數矩陣,並將頻率係數矩陣逆變換至書 素域。此將參照圖15予以詳述。 圖15為根據另一例示性實施例之逆變換器1430之圖 式。 參見圖15,逆變換器1430包括逆ROT執行單元ι510 及逆變換執行單元1520。 33 201138468 曰逆尺01:執行單元1510對自逆量化單元142〇接收的逆 量化後之調整過的頻率係數矩陣執行逆R〇T。逆R〇T執 行單元1510逆向地執行結合圖UA至圖11C、圖η及圖 13所述之ROT。此處,逆R〇T執行單元lsl〇可藉由參考 被熵解碼器1410 _碼的關於角度參數之資訊而執行逆 ROT。根_於肖度參數之資訊,在調整過的鮮係數矩 陣的列之間及行之間局部地交換—或多個值,進而產生頻 率係數矩陣。 在對包含頻率係數矩陣1110其中之某些係數的頻率 係數矩陣1120執行R0T的情形中,對包含其中之某些係 數之頻率係數矩陣112G執行逆rot,進而產生頻率係數 矩陣1110。 逆變換執行單元1520自逆R〇T執行單元15ι〇接收頻 率係數矩陣,並將頻率係數矩陣逆變換至畫素域。藉由逆 向地執行DCT或KLT,逆變換執行單元152〇可逆變換頻 率係數矩陣。作為逆變換之結果,重建(_nstmet)出晝 素域之預定區塊。 — 圖16為根據一例示性實施例的一種編碼影像之方法 之流程圖。 參見圖16,在操作161〇中,影像編碼裝置藉由將預 定區塊變換至頻域,產生頻率係數矩陣。影像編碼裝置接 收預定區塊,對預定區塊執行DCT或KLT,然後產生包 含頻域係數之頻率係數矩陣。 在操作1620中,影像編碼裝置藉由在操作161〇中產 34 201138468 生之頻率係數矩陣的列之間及行之間執行一或多個值之局 部交換,產生調整過的頻率係數矩陣。影像編碼裝置藉由 對頻率係數矩陣執行結合圖11A至圖uc、圖12及圖13 所述之ROT,產生調整過的頻率係數矩陣。 當頻率魅矩陣之財較大(㈣,財等於或大於 1祕)可選擇包含頻率係數矩陣其中之某些係數的 矩陣’並可賴包含其巾之某㈣數的輯執行R0T。在 選擇包含其中之某些係數的矩陣時,可選擇僅包含關於低 頻分量之係數的矩陣。 - 在操作1630中,影像編碼裝置量化在操作162〇中產 生之調整過的頻耗數矩陣。調整過的頻率係數 據預定量化步階進行量化。 m 在操作1640中,影像編碼裝置對在操作163 之調整過的頻率係數矩陣執行熵編碼。熵編碼是利用 CAVLC執行。在操作_中,影像編碼^ 亦對關於在操作162G中在列之間及行之間局部交換 多個值時所用的角度參數之資訊執行熵編碼1角度 =表示列之間及行之間—或多個值之局部交換程^的參 影像編碼裝置可對多個角度參數之組合重 =至,作164〇’藉此可確定最佳角度參數。藉由二= = 行編碼’可選擇顯示出最佳壓縮率 此多個角度參數之組合可利用蒙特卡羅方法來選擇, 35 201138468 此多個角度參數之組合對應 參數之資訊可為對;於=二::碼的關於角度 序列數。 疋最佳角度參數之萊默偽隨機 法之流程® [轉3例讀實闕的—轉碼影像之方 參見圖17,在择作ηΐΛ + 預定區塊之位元流=:::== ==行_碼。調整過的== 3頻革係數矩陣之全部或某些部分執行贿而形成之 在操作172G t,影像解碼裝置逆量化在操作ΐ7ι〇令 =3 =過的頻率係數矩陣。影像解碼裝置根據在 中所用之1化步階’逆量化調整過的頻率係數矩 、在操作1730中,影像解碼襄置藉由在操作中經 逆量化之調整過的鮮係數轉的狀間及行之間執行一 或多個值之局部交換,產生頻率係數矩陣^影像解碼裝置 藉由參考在操作171G中經熵解碼的關於角度參數之資 訊,逆向地執行結合圖11A至圖11C、圖12及圖13所述 之ROT來產生頻率係數矩陣。 如上所述,在編碼程序中旋轉變換包含頻率係數矩陣 其中之某些係數的矩陣的情形中,對該包含其中之某些係 數之矩陣執行逆ROT,以產生頻率係數矩陣。 ,、 36 201138468 在操作1740中,影像解碼裝置逆變換在操作173〇中 產生之頻率係數矩陣。藉由對頻率係數矩陣執行DCT或 KLT,重建晝素域之區塊。 如上所述,根據例示性實施例的用於編碼/解碼影像之 方法與裝置可根據堅實之數學基礎,以更高之壓縮率:編碼 頻率係數矩陣’並進而可大幅提高整個影像編碼操作之壓 縮率。 此等例示性實施例亦可在電腦可讀取記錄媒體上實施 為電腦可讀取代碼。電腦可讀取記錄媒體為任何可儲存資 料之資料儲存裝置,該資料可在此後被電腦系統讀取。電 腌可讀取記錄媒體之實例包括唯讀記憶體 memory,R0M )、隨機存取記憶體(rand〇m_access memory,RAM)、CD-R0M、磁帶、軟碟及光學資料儲存 ^置。電腦可讀取記錄媒體亦可分佈於與網路耦接之電腦 系統上,俾以分佈方式儲存及執行電腦可讀取碼。 舉例而言,根據此-或多個例示性實施例之影像編碼 裝置、影像解碼裝置、影像編碼器、及影像解碼器盆中之 每-者皆可包括匯讀以及至少—個處理器,此匯流 接至圖1至圖2、圖4至圖5、圖9至圖10及圖14至圖 15所不裝置中之每—單元’此至少—個處理器則輕接至此 匿流排。此外’根據此—或多_示性實施例之影像編瑪 ,置、影像解縣置、影像編碼^、及影像解碼器其中之 每-者亦可包括記贿’此帥縣接至與匯流排輕接之 此至少-個處理H,以用於儲存命令、所接收之訊息或所 37 201138468 產生之訊息並執行此等命令。 雖然本發明已以較佳實施例揭露如上,鈇 限定本發明,任何熟習此技藝者,在不脫離=發明二= 和範圍内’當可作些許之更動與潤飾,因此本發明之保^ fe圍當視後附之申請專利範圍所界定者為準。 【圖式簡單說明】 藉由參照附圖詳細說明本發明之例示性實施例,本發 明之上述及其他特徵將變得更加顯而易見,附圖中: 圖1為根據一例示性實施例之影像編褐裝置之圖式。 圖2為根據另一例示性實施例之影像解碼裝置I圖 圖3為根據另一例示性實施例之階層式(hierarchical) 編碼單元之圖式。 圖4為根據另一例示性實施例的基於編碼單元之影像 編碼器之方塊圖。 圖5為根據另·一例不性實施例的基於編碼單元之影像 解喝器之方塊圖。 阖6繪示根據另一例示性實施例之最大編碼單元、子 蝙竭單元及預測單元。 圖7為根據另一例示性實施例之編碼單元及變換單元 之圖式。 圖8A及圖8B為根據另一例示性實施例之最大編碼單 元、預測單元及變換單元之劃分形式。 圖9為根據另一例示性實施例之影像編碼裝置之方塊 38 201138468 一一
圖1 〇為根據另一例示性實施例之變換器之圖式。 圖11Α至圖lie繪示根據另一例示性實施例之旋轉變 換(ROT)。 圖12為根據另一例示性實施例之歐拉角(Euler angles) 之圖式。 圖13繪示根據另一例示性實施例之偽隨機點 (pseudo-random points) ° 圖14為根據另一例示性實施例之影像解碼襄置之方 塊圖。 圖15為根據另一例示性實施例之逆變換器之圖式。 圖16為根據一例示性實施例的一種編碼影像之方法 之流程圖。 圖17為根據另一例示性實施例的一種解,影像之方 法之流程圖。 / 【主要元件符號說明】 100 :裝置 110 :最大編碼單元劃分器 120 :編蝎深度確定單元 130 :影像資料編碼器 140 :編碼資訊編碼器 200:襞置 ·影像資料揭取(aCqUisiti〇n)單元 22〇 ’編,資訊提取(extracting)單元 39 201138468 230:影像資料解碼器 310 :影像資料 315 :編碼單元 320 :影像資料 330 :影像資料 335 :編碼單元 400 :影像編碼器 405 :當前訊框 410 :晝面内預測器 420 :移動估計單元 425 :移動補償單元 430 :變換器 440 :量化單元 450 :熵編碼器 455 :位元流 460 :逆量化單元 470 :頻率逆變換器 480 :解塊(deblocking)單元 490 :迴路滤波(loop filtering)單元 495 :參考訊框 500 :影像解碼器 505 :位元流 510 :剖析(parsing)單元 520 :熵解碼器 201138468 530 :逆量化單元 540 :頻率逆變換器 550 :晝面内預測器 560 :移動補償單元 570 :解塊單元 580 :迴路濾波單元 600 :編碼單元結構 610 :最大編碼單元 612 :預測單元 614 :預測單元 616 :預測單元 620 :子編碼單元 622 :預測單元 624 :預測單元 626 :預測單元 630 :子編碼單元 632 :預測單元 634 :預測單元 636 :預測單元 640 :子編碼單元 642 :預測單元 644 :預測單元 646 :預測單元 650 :子編碼單元 41 201138468 652 :預測單元 654 :預測單元 656 :預測單元 710 :編碼單元 720 :變換單元 810 :最大編碼單元 814 :子編碼單元 816 :子編碼單元 822 :子編碼單元 832 :子編碼單元 848 :子編碼單元 850 :子編碼單元 852 ··子編碼單元 854 :編碼單元 860 :預測單元 870 ··變換單元 900 :影像編碼裝置 910 :變換器 920 :量化單元 930 :熵編碼器 1010 :變換執行單元 1020 :旋轉變換執行單元 1110 :頻率係數矩陣 1120 :頻率係數矩陣 42 201138468 ·/«/V/‘‘ 1130 :其餘部分 1400 :影像解碼裝置 1410 :熵解碼器 1420 :逆量化單元 1430 :逆變換器 1510 :逆ROT執行單元 1520 :逆變換執行單元 αί〜αΐ2 :參數 α :歐拉角 Ρ :歐拉角 υ :歐拉角 X:旋轉前之座標軸 X':旋轉後之座標軸 Υ:旋轉前之座標軸 Υ。旋轉後之座標軸 Ζ:旋轉前之座標轴 旋轉後之座標軸 Ν :節點線 43

Claims (1)

  1. 201138468 七、申請專利範圍: ^ 一種編碼影像之方法,所述方法包括: 產生第一頻率係數矩陣; 根據角度參數,在所述第一頻率係數矩陣之至少兩列 之間或至少兩行之間,執行一或多個值之局部交換以 生第二頻率係數矩陣; 量化所述第二頻率係數矩陣;以及 對所述第二頻率係數矩陣與關於所述角度泉數 進行熵編碼, 貝3札 、其中所述肖度參數是表示所述第-鮮係數矩陣之) 述至少㈣之間或所述至少兩行之間的所述—或多 所述局部交換之程度的參數。 · 2. 如申請專利範圍第i項所述之方法 參數是關於歐拉角之參數。 所返^ 3. 如申請專利範圍第丨項所述之方法,其中 =第二頻率係數矩陣之步驟包括:在所述第1率^ 陣之左側乘上用於在所述第一頻率係數矩陣之所至, ==間執行所述局部交換之矩陣,並在所述第一頻㈤ 少兩乘上祕在所述第—鮮係數轉之所心 y兩仃之間執行所述局部交換之矩陣。 ^ 4. 如申請專利範圍第3項所述之方法,其中用 兩列或所述至少— 44 201138468 JB C 0> D £: JT Ο GH I O ^ O O O 1 / 5 其中 A = cos acos Y - sinacos PsinT, B = -sinacosY - cosacos ^sinT » C - sin PsinY j D = cos ^sinT + sin^cos ^cosV » E = -sin^sinY + cos^cos ^cosT * F = -sin PcosV 5 G = sinasin β, H = cosasin β 5 I = cosβ,以及 其中所述a,β,γ為歐拉角。 5. 如申請專利範圍第1項所述之方法,更包括對於不 同之角度參數,重複執行:在所述第一頻率係數矩陣之至少 兩列之間或至少兩行之間執行一或多個值之局部交換而產 生第二頻率係數矩陣之步驟、量化所述第二頻率係數矩陣 之步驟、以及對所述第二頻率係數矩陣進行熵編碼之步 驟;以及 自所述不同角度參數中選擇對應於最高壓縮率之角度 參數。 6. 如申請專利範圍第5項所述之方法,其中自所述不 同角度參數中選擇所述角度參數包括: 對於所述不同角度參數,使用蒙特卡羅方法,重複執 45 201138468 行:在所述第-頻率係數矩陣之所述至少 亍所述一或多個值之所述局部交換而產: 戶:述:一頻率係數矩陣之步驟、量化所述第二頻率係數矩 、以及對所述第二頻率係數矩陣進行熵編碼之步 所述角度參射獅對應於所料高壓縮率之 角度===第5項所述之方法,其中選擇所述 使所述不同角度參數對應於隨機序列;以及 =於所述不_度參數,重複執行:在所述第—頻率係 至少兩行之間_ 之牛驟旦外a產生所述第二頻率係數矩陣 所述第二頻率係數矩陣之步驟、以及對所述 第一頻率係數矩陣進行熵編碼之步驟;以及 辦角度參數中選擇對應於所述最高壓縮率之 所述角度參數,並且其中 驟勺=關於所述角度參數之所述資訊進行熵編碼之步 1所述隨機序列中對應於所述所選角度參數之數 進行,以作為關於所述角度參數之所述資訊。 8.如申請專利範圍第7項所述之方法,其中所述 序列為萊默偽隨機數D 9·如申請專利範圍第1項所述之方法,其中產生所述 46 201138468 第二頻率係數矩陣之步驟包括: 選擇包含所述第一頻率係數矩陣中一些係數之矩陣; 以及 根據角度參數,在包含所述所選係數之所述矩陣的至 少兩列之間或至少兩行之間,執行一或多個值之局部交 換,以產生所述第二頻率係數矩陣。 10·如申請專利範圍第9項所述之方法’其中所述所 選係數在所述第-頻率係數矩陣之所述係數中對應於低頻 分量。 11· 一種影像編碼裝置,包括: 變換器’用於產生第一頻率係數矩陣,並根據角度參 數,在所述第-頻率係數矩陣之至少兩列之間或至少^ 之間,執行-或多個值之局部交換,以產生第二頻率係數 矩陣; 量化單元,用於量化所述第二頻率係數矩陣;以及 摘編瑪=,用於對所述第二頻率係數矩陣及關於所述 角度參數之資訊進行熵編碼, 、 其中參數是表示所述第一頻率係數矩陣之所 述至少兩1間或所述至少兩行之間的所述— 所述局部交換之程度的參數。 似值之 12,種解媽影像之方法,所述方法包括. 對Ρ頻率餘輯及關於角度參數之資訊進行網解 , 逆量化所述第二頻率係數矩陣; 201138468 根據所述角度參數,在所述第二頻率係數 ==間或至少兩行之間,執行一或多個值之局夂/ 1產生第一頻率係數矩陣;以及 ,所述第—頻率係數矩陣逆變換至畫素域並重建預 疋區塊, ^所述肖度參數是絲所述第二頻耗數矩陣之所 戶^述·局部交換之ί呈度的參數 〇 度參數是項所述之方法,其中所述角 述第1-4權如^請專利範圍第12項所述之方法,其中產生所 陣之左之步驟包括:在所述第:頻率係數矩 列之間於在所述第二頻率係數矩陣之所述至少兩 矩陣之右:垂r局部交換之矩陣並在所述第二頻率係數 兩行之間執二 率係數矩陣之所述至少 撕述之方法,其㈣㈣ n•一種影像解碼裝置,包括: 之資==解:於對第二頻率係數矩陣及關於角度參數 48 201138468 iC,用於f = 斤述第二頻率係數矩陣; 矩陣之至少兩列之間或至少兩行之間:第:繼 f部交換1產生第-頻率係數矩陣或多個值之 率係數矩陣逆變換至畫素域,並重建預定二:所述第-頻 其中所述角度參數是表示所述第 述至少兩列之間或所述至少兩行 所述局部交換之程度的參數。W所述—或多個值之 述二==_體,上面記錄有程式,所 法包括 種編碼影像之方法,所述方 產生第—頻率係數矩陣; =角度參數,在所述第—鱗係數 之間或至少兩行之間,執 7兩歹j 生第二頻率係數矩陣; ^個值之局部父換,以產 量化所述第二頻率係數矩陣;以及 進行第二頻率係數矩陣與關於所述角度參數之資訊 述至述第一頻率係數矩陣之所 所述局部交換之程Si數兩订之間的所述一或多個值之 述程記錄媒體,上面記錄有程式,所 法包=在被電月岛運仃時執行-種解石馬影像之方法,所述方 49 201138468 對第二頻率係數矩陣及關於角度參數之資訊進行熵解 碼 逆量化所述第二頻率係數矩陣; 根據所述角度參數,在所述第二頻率係數矩陣之至 或至少兩行之間’執行-或多個值之局部交換, 產生第一頻率係數矩陣;以及 定區ί所述第—頻率係數矩陣逆變換至畫素域,並重建預 之所 之 述至所述第二頻率係數矩陣< 所达局部交換之程一‘兩行之間的所述一或多個值 50
TW099127248A 2009-08-13 2010-08-13 Method and apparatus for encoding and decoding an image by using rotational transform TW201138468A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090074898A KR20110017303A (ko) 2009-08-13 2009-08-13 회전변환을 이용한 영상 부호화, 복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
TW201138468A true TW201138468A (en) 2011-11-01

Family

ID=43586683

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099127248A TW201138468A (en) 2009-08-13 2010-08-13 Method and apparatus for encoding and decoding an image by using rotational transform

Country Status (7)

Country Link
US (1) US8532416B2 (zh)
EP (1) EP2452492A4 (zh)
JP (1) JP2013502142A (zh)
KR (1) KR20110017303A (zh)
CN (1) CN102484702A (zh)
TW (1) TW201138468A (zh)
WO (1) WO2011019248A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600167B2 (en) 2017-01-18 2020-03-24 Nvidia Corporation Performing spatiotemporal filtering

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370288B1 (ko) * 2007-10-24 2014-03-05 삼성전자주식회사 이미지 신호의 압축 방법 및 장치
GB2475721B (en) * 2009-11-27 2015-03-11 British Broadcasting Corp Picture encoding and decoding
JP2012039590A (ja) * 2010-07-16 2012-02-23 Sony Corp 画像処理装置、画像処理方法、及びプログラム
FR3044507A1 (fr) * 2015-11-30 2017-06-02 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996038794A1 (fr) * 1995-06-01 1996-12-05 Hitachi, Ltd. Circuit de transformation en cosinus discrets
EP0808069B1 (en) 1996-05-14 2003-05-02 Daewoo Electronics Corporation A Quantizer for video signal encoding system
US6298166B1 (en) * 1998-03-30 2001-10-02 Seiko Epson Corporation Image transformations in the compressed domain
US20020114388A1 (en) * 2000-04-14 2002-08-22 Mamoru Ueda Decoder and decoding method, recorded medium, and program
CN101699866B (zh) * 2004-01-30 2016-08-03 松下电器(美国)知识产权公司 运动图片编码方法和运动图片解码方法
JP4594688B2 (ja) * 2004-06-29 2010-12-08 オリンパス株式会社 画像符号化処理方法、画像復号化処理方法、動画圧縮処理方法、動画伸張処理方法、画像符号化処理プログラム、画像符号化装置、画像復号化装置、画像符号化/復号化システム、拡張画像圧縮伸張処理システム
KR101370288B1 (ko) * 2007-10-24 2014-03-05 삼성전자주식회사 이미지 신호의 압축 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600167B2 (en) 2017-01-18 2020-03-24 Nvidia Corporation Performing spatiotemporal filtering
US11113800B2 (en) 2017-01-18 2021-09-07 Nvidia Corporation Filtering image data using a neural network
TWI764974B (zh) * 2017-01-18 2022-05-21 美商輝達公司 使用一類神經網路過濾影像資料

Also Published As

Publication number Publication date
CN102484702A (zh) 2012-05-30
KR20110017303A (ko) 2011-02-21
JP2013502142A (ja) 2013-01-17
US20110038555A1 (en) 2011-02-17
WO2011019248A2 (en) 2011-02-17
WO2011019248A3 (en) 2011-04-21
EP2452492A2 (en) 2012-05-16
EP2452492A4 (en) 2014-06-04
US8532416B2 (en) 2013-09-10

Similar Documents

Publication Publication Date Title
US8929673B2 (en) Method and apparatus for encoding and decoding image by using rotational transform
CN101102495B (zh) 一种基于区域的视频图像编解码方法和装置
CN104735451B (zh) 通过使用大变换单元对图像进行编码和解码的方法和设备
US8204320B2 (en) Method and apparatus for encoding and decoding image by using large transformation unit
KR101462052B1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
TW201138468A (en) Method and apparatus for encoding and decoding an image by using rotational transform
JP2009272727A (ja) 予測誤差の方向性に基づく変換方法、画像符号化方法及び画像復号化方法
CN109923864B (zh) 数据处理设备、方法、计算机程序和计算机可读介质
JP2013513330A5 (zh)
CN102907101A (zh) 具有随机存取性能的图像压缩方法
WO2014070945A1 (en) Encoding video into lower resolution streams
TW201233190A (en) Dynamic picture encoding apparatus, dynamic picture decoding apparatus, dynamic picture encoding method and dynamic picture decoding method
KR20110065092A (ko) 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
KR20160106619A (ko) 예측된 신호와 변환 코딩된 신호를 이용한 비디오 신호의 예측 방법 및 장치
CN105794116A (zh) 编码器、解码器及使用内插值的运行方法
Kim et al. End-to-end learnable multi-scale feature compression for vcm
CN103248885B (zh) 帧内图像预测编解码方法及视频编解码器
US20140118460A1 (en) Video Coding
CN107770537B (zh) 基于线性重建的光场图像压缩方法
CN103379349B (zh) 一种视点合成预测编码方法、解码方法、对应的装置及码流
EP2723075A2 (en) Method and device for the transformation and method and device for the reverse transformation of images
KR20160087207A (ko) 다시점 영상의 부호화/복호화 방법 및 장치
Shi et al. Realistic mesh compression based on geometry image
CN110766766B (zh) 一种感知数据驱动的自适应压缩感知图像编码方法
CN105324998A (zh) 视频编码装置、视频解码装置、视频编码方法、视频解码方法及程序