TWI834167B - 基於分區之框內寫碼技術 - Google Patents
基於分區之框內寫碼技術 Download PDFInfo
- Publication number
- TWI834167B TWI834167B TW111118067A TW111118067A TWI834167B TW I834167 B TWI834167 B TW I834167B TW 111118067 A TW111118067 A TW 111118067A TW 111118067 A TW111118067 A TW 111118067A TW I834167 B TWI834167 B TW I834167B
- Authority
- TW
- Taiwan
- Prior art keywords
- partition
- block
- current
- prediction
- data stream
- Prior art date
Links
- 238000005192 partition Methods 0.000 title claims abstract description 737
- 230000009466 transformation Effects 0.000 claims description 119
- 238000000034 method Methods 0.000 claims description 68
- 238000006243 chemical reaction Methods 0.000 claims description 48
- 230000001419 dependent effect Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 7
- 230000008685 targeting Effects 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 abstract description 65
- 238000012545 processing Methods 0.000 abstract description 46
- 230000011664 signaling Effects 0.000 abstract description 36
- 238000012937 correction Methods 0.000 abstract description 4
- 239000000523 sample Substances 0.000 description 60
- 230000008569 process Effects 0.000 description 20
- 238000009795 derivation Methods 0.000 description 17
- 230000003595 spectral effect Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 11
- 230000007704 transition Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013139 quantization Methods 0.000 description 10
- 238000000844 transformation Methods 0.000 description 10
- 239000013074 reference sample Substances 0.000 description 8
- 230000002441 reversible effect Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012886 linear function Methods 0.000 description 4
- 238000013138 pruning Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000010543 22q11.2 deletion syndrome Diseases 0.000 description 1
- 108091026890 Coding region Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Seasonings (AREA)
Abstract
一圖片之區塊式寫碼係藉由提供一框內預測寫碼概念而變得更有效,根據該框內預測寫碼概念,沿著某一維度,藉由將預定區塊劃分成諸分區,使用某一框內寫碼模式,對該圖片之某一區塊進行框內預測寫碼,其中分區數大於二,及/或該等分區沿著該某一維度係一個樣本寬,為達重構目的,該等分區使用為該某一區塊傳訊之框內預測寫碼模式,然後藉由使用一預測殘差校正從而取得之預測子,循序經受空間預測,以使得對於居前分區,在處理下一個分區後才處理目前分區時,樣本之一重構對解碼器可用。與劃分有關之傳訊額外負荷可保持不變或可保持低額外負荷。該劃分能夠使一預定區塊整體保持低傳訊額外負荷,一框內預測模式係為了該預定區塊而予以在資料串流中傳訊,但是仍然使編碼器及解碼器有機會降低該預定區塊之樣本與其已重構/編碼鄰近參考樣本之平均距離。後者至少部分地落於預定區塊本身內,亦即落於已確定預測殘差之先前已處理分區內,以便可供校正用於其所在分區之預測子。
Description
本申請案涉及用於區塊式編解碼之框內寫碼概念,諸例如用於混成式視訊編解碼之框內寫碼概念。
給定某一區塊,藉由在某些型樣之後,亦即在33種角模式及一DC與一平面模式[1]之後,外插鄰近區塊之解碼邊界樣本,於HEVC中實行框內預測。接著向解碼器傳訊使率失真成本達到最小之一種框內預測模式。儘管支援許多框內預測模式(IPM)之編解碼為已知,藉此實現之框內預測仍然是用以尋找更好框內預測子使寫碼效率更高之開發主旨。這不僅涉及HEVC有關,還涉及使用框內預測之其他區塊式編解碼。尋找適合有效率寫碼區塊內部之一框內預測模式集合需要考量依據傳訊額外負荷傳訊框內預測模式之額外負荷、以及這些框內預測模式由於一更準確預測子減小預測殘差之事實所取得之預測子之所得品質,藉此減小與寫碼預測殘差相關聯之傳訊額外負荷。為了使與框內預測模式相關聯之傳訊額外負荷保持低,框內預測區塊應該大,亦即,傳訊框內預測模式之繁簡程度應該保持粗略,但另一方面,由於框內預測區塊內部之樣本(即要預測之樣本)與鄰近此區塊之已解碼/編碼樣本(即參考樣本)之一平均樣本距離更高,更大區塊之空間預測往往不太準確。HEVC藉由允許轉換殘差區塊繼承其對應寫碼單元之框內預測模式來稍微緩解此兩難情況(catch-22),相對於該寫碼單元,該轉換殘差塊形成葉區塊,該寫碼單元係藉由多樹細分予以細分成該等葉區塊。然而,這仍然需要傳訊額外負荷,才能從編碼器到解碼器傳訊將相應框內寫碼之編碼單元分成諸轉換區塊之細劃分。
因此,手邊有使框內寫碼之寫碼效率進一步提升之一概念將有所助益。
從而,本發明之一目的在於提供一種更有效率進行框內寫碼之概念。
此目的係藉由本申請案之獨立項之標的內容來達成。
本發明係基於以下發現:一圖片之區塊式寫碼可藉由提供一框內預測寫碼概念而變得更有效,根據該框內預測寫碼概念,沿著某一維度,藉由將預定區塊劃分成諸分區,使用某一框內寫碼模式,對該圖片之某一區塊進行框內預測寫碼,其中分區數大於二,及/或該等分區沿著該某一維度係一個樣本寬,為達重構目的,該等分區使用為該某一區塊傳訊之框內預測寫碼模式,然後藉由使用一預測殘差校正從而取得之預測子,循序經受空間預測,以使得對於居前分區,在處理下一個分區後才處理目前分區時,樣本之一重構對解碼器可用。與劃分有關之傳訊額外負荷可保持不變或可保持低額外負荷。舉例來說,資料串流中僅可動用關於劃分維度之傳訊,諸如在藉以將預定區塊劃分成預定區塊之具有其寬度之水平切片之沿著垂直軸之一劃分、及藉以將預定區塊劃分成預定區塊之具有其高度之垂直切片之沿著水平軸之劃分之間作區別等。藉由具有例如編碼器與解碼器之間達成一致之分區數,其中編碼器及解碼器將預定區塊拆分成此分區數,或藉由將預定區塊劃分成如預定區塊以沿著預定維度之樣本為單位調整尺寸一般多之分區以使得各分區沿著分區維度係一個樣本寬,分區數可固有地清楚,亦即藉由劃分成此類一個樣本寬之分區而清楚。因此,該劃分能夠使一預定區塊整體保持低傳訊額外負荷,一框內預測模式係為了該預定區塊而予以在資料串流中傳訊,但是仍然使編碼器及解碼器有機會降低該預定區塊之樣本與其已重構/編碼鄰近參考樣本之平均距離。後者至少部分地落於預定區塊本身內,亦即落於已確定預測殘差之先前已處理分區內,以便可供校正用於其所在分區之預測子。
以下圖式說明始於介紹用於對一視訊之圖片進行寫碼之一區塊式預測編解碼之編碼器與解碼器之一說明,以便為一寫碼框架形成一實例,可將一框內預測編解碼之實施例內建到該寫碼框架內。以前的編碼器及解碼器係參照圖1至3作說明。下文中,連同可如何分別將此類概念建置到圖1及圖2所示編碼器及解碼器之一說明,介紹本申請案之框內預測概念之實施例之說明,但後續配合圖4及以下所述之實施例亦可用於形成不根據成為圖1及2所示編碼器及解碼器基礎之寫碼框架進行操作之編碼器及解碼器。
圖1展示使用轉換式殘差寫碼採例示方式用於將一圖片12預測寫碼成一資料串流14之一設備。設備或編碼器係使用參考符號10來指出。圖2展示一對應解碼器20,亦即被組配用以亦使用轉換式殘差解碼從資料串流14對圖片12'進行預測解碼之一設備20,其中已將撇號用於指出在由預測殘差信號之一量化所引進之寫碼損耗方面,如解碼器20所重構之圖片12'與最初由設備10所編碼之圖片12有偏差。圖1及圖2採例示方式使用轉換式預測殘差寫碼,但本申請案之實施例不受限於這種預測殘差寫碼。這對於關於圖1及2所述其他細節也成立,將在下文中略述。
編碼器10被組配用以使預測殘差信號經受空間至頻譜轉換,並且被組配用以將從而取得之預測殘差信號編碼成資料串流14。同樣地,解碼器20被組配用以從資料串流14解碼預測殘差信號,並且使從而取得之預測殘差信號經受頻譜至空間轉換。
編碼器10可在內部包含產生一預測殘差24之一預測殘差信號形成器22,以便測量一預測信號26與原始信號(即圖片12)之一偏差。預測殘差信號形成器22舉例來說,可以是將預測信號從原始信號(即圖片12)減去之一減法器。編碼器10接著更包含使預測殘差信號24經受一空間至頻譜轉換以取得一頻譜域預測殘差信號24'之一轉換器28,接著透過亦由編碼器構成10所包含之一量化器32使頻譜域預測殘差信號24'經受量化。將從而量化之預測殘差信號24’’寫碼成位元串流14。為此,編碼器10可任選地包含隨著預測殘差信號轉換及量化成資料串流14對其進行熵寫碼之一熵寫碼器34。預測殘差26係由編碼器10之一預測級36基於解碼成並可解碼自資料串流14之預測殘差信號24’’所產生。為此,預測級36可如圖1所示,在內部包含為了獲得除量化損耗外與信號24'對應之頻譜域預測殘差信號24’’’而對預測殘留信號24’’進行去量化預測之一去量化器38,後接使後項預測殘差信號24’’’經受一逆轉換,即一頻譜至空間轉換,以取得預測殘差信號24’’’’之一逆轉換器40,預測殘差信號24’’’’除量化損耗外對應於原始預測殘差信號24。預測級36之一組合器42使預測信號26與預測殘差信號24’’’’復合,諸如藉由相加來復合,以便取得一重構信號46,即原始信號12之一重構。重構信號46可對應於信號12'。預測級36之一預測模組44接著藉由使用例如空間預測,即框內預測、及/或時間預測,即框間預測,基於信號46產生預測信號26。
同樣地,解碼器20內部可由對應於預測級36並採用對應於預測級36之一方式互連之諸組件所組成。特別的是,解碼器20之熵解碼器50可從資料串流對量化之頻譜域預測殘差信號24’’進行熵解碼,然後,採用以上關於預測級36之模組所述之一方式互連及相配合之去量化器52、逆轉換器54、組合器56及預測模組58基於預測殘差信號24’’恢復重構信號,以使得如圖2所示,組合器56之輸出導致重構信號,即圖片12'。
雖然上面未具體說明,然然很容易清楚的是,根據一些最佳化方案,使某率及失真相關準則,即寫碼成本,最佳化之一方式,編碼器10可設定一些寫碼參數,舉例來說,包括預測模式、動作參數及類似者。舉例而言,編碼器10及解碼器20以及對應之模組44、58分別可支援不同預測模式,諸如框內寫碼模式及框間寫碼模式。編碼器及解碼器在這些預測模式類型之間切換之繁簡程度可分別對應於將圖片12及12'分成寫碼部段或寫碼區塊之一細分。舉例來說,以這些寫碼部段為單位,可將圖片細分成受框內寫碼之區塊及受框間編碼之區塊。框內寫碼區塊係基於相應區塊之一空間、已寫碼/解碼鄰域來預測,下面有更詳細略述。可存在並為一相應框內寫碼部段選擇數種框內寫碼模式,包括定向或角度框內寫碼模式,根據該框內寫碼模式,藉由沿著某一方向外插鄰域之樣本值將相應部段填充到相應框內寫碼部段內,該某一方向特定用於相應定向框內寫碼模式。框內寫碼模式舉例來說,亦可包含一或多種進一步模式,諸如用於相應框內寫碼區塊之預測據以將一DC值指派給相應框內寫碼部段內之所有樣本之一DC寫碼模式、及/或一平面框內寫碼模式,根據該平面框內寫碼模式,將相應區塊之預測逼近或確定為由一二維線性函數所述樣本值於相應框內寫碼區塊之樣本位置上方之一空間分布,該相應框內寫碼區塊具有基於鄰近樣本由二維線性函數所定義之平面之驅動傾斜及偏移。與此相比,可例如在時間上預測框間寫碼區塊。對於框間寫碼區塊,可在資料串流內傳訊動作向量,該等動作向量指出視訊之一先前寫碼圖片之圖片12所屬部分之空間位移,於該處對該先前寫碼/解碼圖片進行取樣,以便為相應框間寫碼區塊取得預測信號。這意味著,除了由資料串流14所包含之殘差信號寫碼以外,諸如除了代表量化頻譜域預測殘差信號24’’之熵寫碼轉換係數層級以外,可有用於將寫碼模式指派給各個區塊之寫碼模式參數、諸如用於框間寫碼部段之動作參數等用於一些該等區塊之預測參數、以及諸如分別對將圖片12及12'分成該等部段之細分進行控制及傳訊之任選其他參數編碼成資料串流14。解碼器20使用這些參數採用與編碼器所做相同之方式細分圖片,用來將相同預測模式指派給部段,並且用來進行相同預測以導致相同預測信號。
圖3繪示重構信號,即重構圖片12',及一方面如資料串流中所傳訊之預測殘差信號24’’’’與另一方面預測信號26之組合之間的關係。如上述,該組合可以是一加法。圖3中將預測信號26繪示為將圖片區域分成使用影線說明性指出之諸框內寫碼區塊、及未用影線說明性指出之框間寫碼區塊之一細分。該細分可以是分成諸區塊之任何細分,諸如將圖片區域分成諸區塊之諸列及諸行或諸區塊之一規律性細分、或將圖片12分成諸不同尺寸葉區塊之一多樹細分,諸如一四元樹細分或類似者等,其中圖3繪示以上之一混合,先將圖片區域細分成諸樹根區塊之諸列及諸行,然後根據一遞迴多樹細分予以進一步細分。又,資料串流14可具有為框內寫碼區塊80編碼成資料串流14之一框內寫碼模式,其將數個所支援框內寫碼模式之一指派給相應框內寫碼區塊80。下文說明進一步細節。對於框間寫碼區塊82,資料串流14可具有編碼成資料串流14之一或多個動作參數。一般而言,框間寫碼區塊82不受限於被時間寫碼。替代地,框間寫碼區塊82可以是從目前圖片12本身之外先前寫碼部分所預測之任何區塊,諸如圖片12所屬之一視訊之先前寫碼圖片、或編碼器及解碼器分別為可調編碼器及解碼器之狀況中另一視圖或一階層式下層之圖片。亦將圖3中之預測殘差信號24’’’’繪示為將圖片區域分成區塊84之一細分。這些區塊可能稱為轉換區塊,以便使其與寫碼區塊80及82有所區別。實際上,圖3繪示編碼器10及解碼器20可分別使用將圖片12及圖片12'分成諸區塊之兩種不同細分,即分成寫碼區塊80及82之一種細分、及分成區塊84之另一細分。兩細分可能相同,亦即寫碼區塊80及82各可同時形成一轉換區塊84,但圖3繪示之狀況中,舉例來說,分成諸轉換區塊84之一細分形成分成諸寫碼區塊80/82之細分之一延伸,以使得區塊80及82兩個區塊之間的任何邊界覆蓋兩個區塊84之間的一邊界,或者說,各區塊80/82擇一與諸轉換區塊84之一重合、或與諸轉換塊84之一叢集重合。然而,亦可彼此獨立地確定或選擇該等細分,以使得轉換區塊84可使介於諸塊80/82之間的區塊邊界交替地交叉。就分成諸轉換區塊84之細分而言,隨著針對分成區塊80/82之細分所提出之敘述,類似敘述從而成立,亦即區塊84可以是將圖片區域分成布置成諸列及諸行之區塊/區塊之一規律性細分之結果、圖片區域之一遞迴多樹細分之結果、或以上的一組合或任何其他類區塊化。另外,應知,區塊80、82及84之形狀不受限於方形、矩形或任何其他形狀。
圖3繪示預測信號26與預測殘差信號24’’’’之組合直接導致重構信號12'。然而,應知,根據替代實施例,可將多於一個預測信號26與預測殘差信號24’’’’組合以產生圖片12'。
在圖3中,轉換部段84應具有以下含義。轉換器28及逆轉換器54以這些轉換部段84為單位進行其轉換。舉例來說,許多編解碼將某類DST或DCT用於所有轉換區塊84。一些編解碼允許略過轉換,以使得對於一些轉換部段84,直接在空間域中寫碼預測殘差信號。然而,根據下文所述之實施例,將編碼器10及解碼器20組配成支援數種轉換。舉例而言,編碼器10及解碼器20所支援之轉換可包含:
o DCT-II (或DCT-III),其中DCT代表離散餘弦轉換
o DST-IV,其中DST代表離散正弦轉換
o DCT-IV
o DST-VII
o 恆等變換(IT)
當然,儘管轉換器28將支援這些轉換之所有前向轉換版本,但是解碼器20或逆轉換器54仍將支援其對應之後向或逆向版本:
o 逆向DCT-II (或逆向DCT-III)
o 逆向DST-IV
o 逆向DCT-IV
o 逆向DST-VII
o 恆等變換(IT)
後續說明更加詳細說明編碼器10及解碼器20可支援哪些轉換。在任何狀況中,應知,所支援轉換集合可以僅包含一種轉換,諸如一種頻譜至空間或空間至頻譜轉換。
如上述, 已舉一實例介紹圖1至3,其中可實施下文進一步說明之框內預測概念,以便根據本申請案為編碼器及解碼器形成特定實例。於此範圍內,圖1及2之編碼器及解碼器分別代表下面本文中所述之編碼器及解碼器之可能實作態樣。如下文將更詳細略述的是,當後續根據本申請案為框內預測解釋之實施例內建於圖1及2之編碼器及解碼器時,至少作為一個選項,圖1之編碼器及圖2之解碼器支援採用下文更詳細略述之方式處理一框內預測區塊80。因此,下文中所述之實施例係有關於一種編碼器,其等於圖1之編碼器10,採用下文更加詳述之方式處理框內寫碼區塊80,而且一樣適用於圖2之解碼器,其因此根據一實施例代表一解碼器之一實例,其中框內寫碼區塊係採用下文更詳細略述之方式來處理。但是,圖1及2僅為特定實例。然而,根據本申請案之實施例之一編碼器可使用下文更詳細略述之概念對一圖片12進行區塊式編碼,而且與圖1之編碼器不同,不同之處舉例如:該編碼器係無視訊編碼器、該編碼器不支援框間預測、或分成諸區塊80之細分係採用與圖3所例示不同之一方式來進行、甚至此編碼器不隨著寫碼預測殘差使用轉換預測殘差寫碼,舉例來說,反而直接在空間域中使用轉換預測殘差寫碼。同樣地,根據本申請之實施例之解碼器可使用下文進一步略述之框內預測寫碼概念從資料串流14進行圖片12'之區塊式解碼,但舉例來說,可有別於圖2之解碼器20,舉例來說,差異在於其非為視訊解碼器而是一靜止圖片解碼器,差異在於其不支援框內預測,或差異在於其採用與參照圖3所述不同之一方式將圖片12'細分成諸區塊,及/或差異在於其不在轉換域中從資料串流14推導出預測殘差而是在空間域中推導出。
話雖如此,以下說明根據本申請案之實施例,集中於框內預測之說明。根據本文中介紹之框內預測,允許將諸如圖4所示區塊80等框內預測區塊拆分成一維水平分區或一維垂直分區。依該方式處理區塊之可用性可為任何尺寸之框內預測區塊80予以提供,或僅受限於一預定義區塊尺寸範圍內之區塊80,諸如大於某一尺寸之區塊。「一維」意指為以下事實:當與劃分所致之分區有關時,該等分區沿著分區維度僅一個樣本寬。然而,本文中所論述之劃分模式之一維性意指為以下事實:劃分沿著某一維度發生,所產生之分區像是在橫切劃分方向之一方向上於區塊上方完全延伸之條帶。舉例來說,請參照圖4。圖4展示左手邊之框內預測區塊80,即要解碼之區塊或要編碼之區塊。其具有維度W × H。也就是說,其係維度為W × H之一區塊,其中分別地,H係高度且W係樣本中所測區塊80之寬度根據圖4,有兩個可用之拆分或劃分選項,亦即一水平拆分100,根據水平拆分100,沿著一垂直軸,即分區維度104,將區塊80拆分或劃分成若干分區102
1、102
2、102
3及102
4。圖4之實例係用於以下說明中之實例,根據該實例,各分區102
1至102
4如雙箭頭106所示係一個樣本寬,以使得從區塊80得到之分區102
1至102
4之數量等於H,即以區塊80之樣本108為單位之區塊80之高度,但應清楚的是,劃分亦可藉由編碼器及解碼器根據編碼器與解碼器之間達成一致之一不同方式來進行,舉例如,區塊80沿著維度104之一劃分可採用導致預定義數量之分區102
i之一方式來進行,該預定義數量大於二,舉例來說,或以上之一混合,沿著分區維度將該尺寸之區塊80均勻地分布到預定義數量之分區上。
圖4所示並且由參考符號110所指之另一寫碼選項對應於將區塊80拆分成垂直分區112
1、112
2、… 112
8。也就是說,根據選項110,區塊80係沿著水平軸劃分為分區112
i,即沿著水平分區維度104劃分。以選項100來說明,各分區102
i如區塊80一般寬,亦即,具有該區塊之寬度W,而分區112
i採用區塊80之高度H,亦即具有高度H。彙總起來,採用與選項100之說明類似之一方式,可將區塊80垂直拆分110成W個分區112
i,其中W表示在樣本108中所測量之區塊80之水平寬度,以使得各分區112
i在水平方向上係一個樣本寬,然而,其中根據選項110之劃分亦可採用編碼器與解碼器之間達成一致之另一方式來進行。
因此,根據圖4,編碼器自由根據水平拆分選項100將區塊80劃分成H Wx1個分區102
i,或根據垂直拆分選項110劃分成W 1xH個分區112
i,並且可為區塊80在資料串流14中傳訊由編碼器為區塊80選擇之拆分選項,舉例來說,諸如藉由資料串流14中一對應分區維度旗標114來傳訊。然而,應清楚的是,本申請之實施例亦涵蓋預設僅使用選項100及110其中一者之編碼器及解碼器,而不需要資料串流中之旗標114。在其他實例中,可更進一步於資料串流80中輸送旗標114,端視從編碼器到解碼器為區塊80在資料串流14傳訊之框內寫碼模式116而定。如上述,框內寫碼模式可從一可用/所支援框內寫碼模式集合指出一個框內寫碼模式,舉例來說,包括角模式,並且任選地包括一或多個非角模式,諸如一DC模式或一平面模式。也就是說,根據下文未進一步論述之替代實施例,可採用條件式取決於框內寫碼模式116之一方式在資料串流14中輸送旗標114。根據下文所述之實施例,在資料串流14中為區塊80存在旗標114,與在資料串流14中為區塊80傳訊之框內寫碼模式116無關。然而,相對於剛才所述框內寫碼區塊80之劃分處置與處理塊80之框內寫碼之一不同處置方式之間的一旗標切換,可存在一相依性,下文中將予以略述。
根據本申請之實施例,個別對各分區102/112進行預測、轉換、量化及寫碼,並採用這種方式循序處理該等分區。因此,某一分區之重構樣本將能夠用於依照將區塊80劃分完成後之諸分區間之分區順序來預測任何後接分區102/112,並且採用這種方式,透過將區塊80劃分完成後之分區102/112循環處理框內預測。圖5例示性地展示根據選項100拆分之一框內預測區塊80。區塊80之各分區102
1至102
4經受預測,亦即,推導相應分區102
i之預測子、以及預測殘差相關任務,亦即使用預測殘差校正預測子。後項任務可藉由將預測殘差與預測子組合來進行。這是為了重構而在解碼器中完成。編碼器如預測殘差相關任務確定涉及例如轉換及量化之預測殘差,並且使用預測殘差校正預測子,亦即目的是為了藉由以圖片之重構在編碼器中填充解碼圖片緩衝區,使預測迴圈與解碼器保持同步。剛剛提到之任務即預測與殘差處置,係為了分區102
1至102
4而進行,也是在該等分區之中循序進行。為一目前處理之分區進行那兩個步驟之後,以相同方式根據分區順序處理下一個分區102
i。圖5中使用三個箭頭126例示性繪示分區順序。
圖5繪示將首先處理包括區塊80最左邊像素之分區,然後才處理正下方之鄰近分區102
2,以此類推,對應於圖5中分區102
1至102
4之索引之指派,但此順序僅是一實例,並且將在下文清楚說明,此分區順序可採用取決於其他設定之一方式來選擇,諸如框內寫碼模式及/或區塊80之尺寸,下文論述前者相依性。
在下文進一步論述之實例中,分區順序126僅在遍歷分區102/112者之間變化,所採用之一方式係使得緊接在後之分區彼此緊鄰,以使得分區順序分別在拆分類型100之狀況中係從上到下或從下到上、以及在分區類型110之狀況中係從左到右或從右到左。然而,應提到的是,也可想到其他實例。舉例來說,分區順序可採用在兩次掃描中以剛剛略述之鄰近順序掃描該等分區之一方式來選擇,在第一次掃描中,從上到下、從下到上、從左到右或從右到左處理每個第二分區,只要適用,便接著以相同順序方向、或以相反方向處理之間的其餘分區。
在任何狀況中,圖5繪示首先要處理之第一分區102
1,而且其為目前處理之分區。對於第一分區,這裡例示性地為102
1,為分區102
1用於形成預測子之鄰近樣本集合118
1僅可基於處理區塊80之第一分區時落於區塊80之邊界外之樣本來選擇,區塊80尚無已處理之樣本,亦即尚無已重構或編碼之樣本。也就是說,已使用資料串流中傳輸之一預測殘差,透過對應預測子之任何預測及校正,在編碼器中重構集合118
1中之樣本。其屬於先前寫碼/解碼之圖片塊,並且可以是框間寫碼區塊或框內寫碼區塊或任何其他寫碼區塊。至於用於形成第一分區102
1之預測子之鄰近樣本集合118
1之樣本之數量及確切位置,同樣取決於指派給區塊80之框內寫碼模式。此框內寫碼模式係聯合地、或同等地用於處理區塊80之每個分區,下面將有論述。為了完成第一分區102
1之處理,取決於集合118
1中之一或多個已重構/編碼樣本藉由填充此分區102
1在解碼器及編碼器中推導之此分區102
1之預測子,確定其涉及編碼器之預測殘差,亦即藉由如上述之轉換及量化來確定,然後,此預測殘差在資料串流中傳輸之版本中,亦即在包括量化損耗之版本中,係用於使用資料串流14中之預測殘差,藉由校正預測子來重構此分區102
1。舉例來說,圖5例示性地在120
1處為分區102
1展示預測殘差。也就是說,120
1包含與分區102
1之預測殘差之轉換對應之轉換係數,下文對資料120
1更詳細地論述一說明。
現請參照分區順序中之下一個分區,即圖5之實例中之分區102
2。情況已於此範圍內改變,因為用於為分區102
2推導預測子之鄰近已重構/編碼樣本之集合現可由位於區塊80外之樣本及/或位於區塊80內之樣本所組成,亦即,由位於任何已處理分區中之樣本所組成,該任何已處理分區目前在這裡係圖5之實例中之分區102
1,至於這些樣本,預測殘差已確定並且在資料串流14中已可用。也就是說,編碼器及解碼器為此分區102
2推導預測子,然後分別是在編碼器中確定預測殘差、以及在編碼器及解碼器中將預測殘差用於校正預測子。然後,此過程繼續進行下一個分區,即分區順序中之下一個分區,藉此循序處置區塊80之所有分區。
如上述,有可能採用不同於遍歷分區之另一方式選擇分區順序126,以使得緊接連序之分區係緊接之分區鄰區。也就是說,分區順序可以從一個分區跳到下一個分區。這意味著用於藉由填充相應劃分102
i推導相應預測子之鄰近樣本集合118
i不受限於如圖5所示相應分區之緊接樣本鄰區。這還涉及分區順序126之起始之選擇。舉例來說,想像分區102
4係分區順序中之第一分區。接著,其預測子可取決於一鄰近樣本集合118
4藉由將其填充來推導,圖5中未示出,其向區塊80之左邊及向頂端收集位於區塊80之圓周旁邊之樣本。集合118
4中有些樣本不會緊接鄰近分區102
4。順便一提,這將對應於在區塊80之通常框內預測填充中整塊式填充最後樣本列之情況。針對任何後續處理之分區,即分區順序中之第二及進一步分區,剛剛提到之可能性亦成立。也就是說,其鄰區樣本集合118
i亦可含有未緊接鄰近相應分區102
i之樣本。並且更進一步,假若不將分區順序限制於採用使連序分區彼此為緊接鄰區之方式遍歷分區,則任何第二或後續處理分區102
i之參考樣本集合118
i可不僅收集落至相應分區102
i之左邊頂端之樣本,而是還可收集落於相應分區102
1下面之樣本,端視是否已根據分區順序比102
1更早處理區塊80之任何分區而定。也就是說,集合180
i可包含位於分區102
i之多於兩側之樣本。
簡言之,圖5在這裡例示性針對水平分區展示一區塊80之分區102/112之循序處理,但是相同說明亦適用於針對垂直分區112
i之垂直模式110。對於各分區102
i,資料串流14中含有對應之預測殘差102
i。資料120
1至120
4一起形成區塊80之預測殘差,即120。應該記得,根據本申請之一替代實施例,可不使用轉換殘差寫碼,亦即,可在資料串流14中傳訊區塊80之預測殘差120,舉例來說,可在空間域中直接傳訊。在這種狀況中,用於各個分區102
1至102
4之資料120
1至120
4如圖5所示,可不在資料串流14中含有分區單獨欄位,其中每個資料部分120
i代表用於相應分區102
i之某一轉換之傳訊。反而,在那種狀況中,用於區塊80之預測殘差120可形成資料14之一個欄位。在處理某一分區102
i時,解碼器將在此替代實施例中針對此分區102
i從欄位120收集預測殘差之資訊。當使用一完全可逆版本之轉換時,亦可施用此程序,以使得可在空間域中完成量化。
因此,圖5展示在一編碼器與解碼器中,為各分區102
i進行兩個任務,即:1)預測推導任務122,其為相應分區102
1產出預測或預測子,亦即為相應分區102
i之各樣本產出一預測樣本值,以及2)之後進行之預測殘差相關任務,即編碼器處之預測殘差推導,其包括為求其進入資料串流14而量化預測殘差、以及藉由組合或校正預測殘差及預測子來重構相應分區102
i之樣本,以便為此分區102
i獲得重構樣本。為求預測推導任務,對於分區順序126中後接之隨後處理分區102
j之鄰近樣本集合118
j,後項重構樣本可當作一貯器。
在繼續進一步說明本申請案之實施例之細節之前,圖6繪示藉由填充一目前處理分區102
i進行預測推導122之過程,其中應回想僅已說明性選擇關於水平分區102之例示、以及相同說明亦有關於垂直分區112。圖6展示目前處理分區102
i以及其已重構/編碼之對應鄰近樣本集合118
i。如以上關於圖5所示,集合118
i可不受限於直接鄰近、或相鄰於分區102
i之樣本128。然而,由於劃分的關係,如從例如H.264或HEVC得知,相較於對區塊80進行框內預測,分區102
i之樣本與集合118
i之樣本128之間的平均距離130在對區塊80之所有樣本取平均時更低。如關於圖5所述,預測子推導或填充122係為了各分區102
i而使用與區塊80相關聯之框內預測模式來進行,此模式指出一可用框內預測模式集合中之一種框內預測模式。該集合可包含在角度或方向132上彼此不同之角模式或定向模式,沿著角度或方向132將鄰近樣本集合118
i之樣本內容複製到分區102
i之樣本134。為了進行此複製,分區102
i之各樣本134之預測可基於在與方向132相反之方向上相對於樣品134而置之集合118
i中鄰近樣本134之數量來推導。該數量舉例來說,係由用於對樣本集合118
i之諸樣本128之間的像素間位置進行推導之一內插濾波之一核心所定義。圖6舉例來說,繪示集合118
i中之三個樣本128係用於對預測目前處理分區102
i中之一個樣本134進行運算。由於平均距離130較小,每個分區102
i之樣本134可保持的參考樣本134數量少。下文將介紹更多細節。然而,為求完整,應知,可用框內預測模式集合亦可包含一DC模式,根據該DC模式,將一個DC值指派給分區102
i之所有樣本134,此DC值係藉由對鄰近樣本集合118
i進行取平均來推導。再者,可存在一平面模式,根據該平面模式,用於樣本134之預測值係由分區102
i內樣本位置上方之一線性函數所定義,此線性函數之斜率及偏移係以鄰近樣本118
i為基礎來推導。再者,應知,取決於為區塊80選擇之框內預測模式,鄰近集合118
i可不同,並且舉例來說,在角模式與非角模式DC/平面之間可特別不同。
舉例而言,現代化JEM解碼器中有67種框內預測模式可用:其中65種是角模式,並且其中兩種是DC及平面模型非定向紋理。1D劃分(簡稱為1D分區模式)模式即為了上文及下文略述之諸分區102/112而進行之預測子推導122,可與其任何一者組合,或換言之,可使用其任何一者來實施,根據預測子推導122,區塊80係沿著維度104劃分/拆分成諸分區,所產生之分區延伸於該區塊與維度104橫切之整個寬度,並且沿著方向104係一個樣本寬或多於一個樣本寬。如關於圖5所述,諸如一寫碼單元CU之一個區塊80之所有分區102/112使用區塊80之相同相關聯框內預測模式,藉此因為資料串流14中僅需為區塊80傳輸一次框內預測模式116,使信號化中避免一過度額外負荷。
也就是說,預測122可採用與JEM解碼器中所略述二維狀況相同之方式來實行。然而,無論是水平線還是垂直線,一目前處理分區102/112僅計算一條線,以使得相較於JEM,預測過程122從而將遭受調整。以採用使連序分區彼此緊鄰之一方式為遍歷分區而選擇分區順序來說明,預測過程122可對應於JEM之二維狀況,但僅僅針對第一條線,即離已重構/編碼鄰域最接近之一條線。在一些狀況中,HEVC及JEM兩者都允許將某些濾波用於參考樣本128或用於所產生之預測子。這在二維狀況中對區塊80內遠離參考樣本128以減少邊界不連續性之樣本做更好預測有用處。然而,藉由使用分成諸分區102/112之劃分,有可能且應該旨在利用諸附近像素間之高相關性。
也就是說,應該利用縮減之平均距離130。過度修勻會降低此品質。因此,如果編碼器或解碼器能夠進行兩種框內預測,即使用如關於圖4至6略述之劃分之框內預測,然後停用框內濾波,即涉及預測子推導122之濾波,或相對於對二維狀況中一個樣本有貢獻之樣本數量,至少每個分區樣本134之貢獻樣本134之數量減少,在該二維狀況中,用於區塊80之框內預測係於區塊上進行、或根據HEVC進行,亦即,係分解成使區塊80分成矩形區塊之階層式四元樹細分之葉區塊。
從上文提出之論述可清楚看出,為了進行預測殘差相關任務124,解碼器舉例來說,從資料串流14解碼目前處理分區之相應預測殘差之一轉換,並且對此轉換進行諸如一頻譜至空間轉換之一逆轉換,以便產出預測殘差,然後將該預測殘差用於校正藉由組合/加法在122處取得之預測子。在編碼器中完成相同操作,以便使預測迴圈與解碼器保持同步。另外,編碼器對使用122為一目前處理分區確定之預測子之預測誤差進行轉換,使其經受諸如一空間至頻譜轉換之一轉換,然後對轉換係數進行一量化,接著將該轉換寫碼成資料串流14以產出目前處理分區102
i之對應資料120
i。對於該轉換,可使用此相同轉換來處理區塊80內之所有分區102/112。其可以是一DCT-II,但在平面模式之狀況中除外,舉例來說,其中可使用DST-VII。正因如此,如果區塊80係採用到目前為止關於圖4至7略述、及下文進一步略述之劃分方式使用框內預測模式予以寫碼,則可停用與轉換及逆轉換有關之所有工具,編碼器及解碼器可將該等工具用於其他區塊,諸如轉換略過,即空間域中之寫碼、EMT (EMT = 顯式多核心轉換)、NSST (NSST = 模式相依性不可分離二次轉換)或其它轉換,以避免不必要之額外負荷位元。甚至替代地,該轉換可以是一線性轉換,其一類型係基於該框內預測模式、一專屬語法元素及該預定分區順序其中一或多者來選擇。
已針對用以對目前處理區塊80之分區102/112進行循序處理之分區順序126作了一些說明。應強調的是,這項實施例僅為一實例,並且分區順序可根據替代實施例屬於靜態,或可根據下面所提實例之其他實施例採用一不同方式變化。圖7藉由下標數字指出圖5中使用箭頭126所示之可能分區/處理順序。在這裡,此順序按升序遵循下標數字排序。圖5代表一實例,其中順序126始於含有區塊80之左上像素/樣本140之一分區,然後循序向下排序至最低分區。類似的是,如果拆分類型屬於垂直,則處理順序將始於含有左上像素/樣本之一最左分區,再次循序向右排序。然而,這不是全部現有框內預測模式之最佳狀況。這在圖7中以實例方式說明,其展示也為對角模式對區塊80進行垂直及水平劃分,亦即,複製角度/方向132從左下側45°指向右上側,以及34,複製角度/方向132從左上-45°指向右下。在前種狀況中,如果拆分屬於水平,則從區塊80之左上角開始將產生所屬重構樣本對後接分區之預測將不會有任何影響之分區。所以,從區塊之左下角開始更合理,以使得各分區之重構樣本可用於按分區順序預測下一個分區。然而,在垂直拆分中,這並非必要,因為其可在前述圖式中觀察到。另一方面,假定樣本是兩側水平及垂直拆分,則模式34不具有任何這些問題。因此,兩拆分中都可運用標準處理順序。
表1根據框內預測模式及拆分類型展示處理順序之完整清單。
表 I :根據框內模式及拆分類型之處理順序。 HOR_DIR 及 VER_DIR 分別是水平及垂直模式,並且 VDIA_DIR 是垂直對角模式
框內模式 | 拆分類型 | 處理順序 |
[0,1] ( 非角度 ) | 水平 | 標準 |
[0,1] ( 非角度 ) | 垂直 | 標準 |
[2,HOR_DIR-1] | 水平 | 逆向 |
[2,HOR_DIR-1] | 垂直 | 標準 |
[HOR_DIR,VER_DIR] | 水平 | 標準 |
[HOR_DIR,VER_DIR] | 垂直 | 標準 |
[VER_DIR+1,VDIA_DIR] | 水平 | 標準 |
[VER_DIR+1,VDIA_DIR] | 垂直 | 逆向 |
總結到目前為止關於信號化額外負荷所述之實施例,請參照圖8。圖8根據本申請案之一實施例,繪示一區塊80之傳輸內容。特別的是,有框內預測模式信號化116傳訊要將哪種框內預測模式施用於區塊80。因此,信號化116舉例來說,指出角模式之一、或包括角模式及非角模式在內的可用模式之一,諸如DC及平面模式。除了此信號化116以外,還有藉由編碼器寫碼成資料串流14、以及藉由解碼器針對區塊80從資料串流14解碼之一劃分旗標160,其指出是否根據圖4至7對區塊80施用劃分處理,或是否對其進行「標準」處理,諸如整塊式或一件式或二維方式處理,亦即,僅將區塊80外之樣本用於形成參考樣本貯器118以預測各區塊80內之各樣本。替代地,旗標160可在一方面關於圖4至圖7所論述之劃分處理與使用一四元樹細分成諸轉換區塊對區塊80之分解之間切換,接著對該等轉換區塊循序處理,然而,缺點是必須在資料串流14中傳訊該分解。如果劃分旗標160根據圖4指出劃分,則資料串流14為區塊80含有在關於圖4所述劃分類型100與110之間切換之劃分維度旗標114。然後,對於如果劃分旗標160指出此劃分選項則將區塊80細分/劃分出之區塊80之各分區,資料串流14包含一傳訊/資料120
1,其內舉例如以上所指在轉換域中編碼有相應分區之預測殘差。
關於圖8,應知,可依照對應於分區/寫碼順序126之一順序,將預測殘差資料120
1、120
2等等寫碼成資料串流14。如上述,後者可藉由信號化116所指之框內預測模式來唯一地確定。然而,一替代實施例會是在資料串流14中以一任選附加信號化為基礎而至少部分地確定劃分順序126。
本文中所提出之再一替代說明係可為了指出是否使用劃分選項而替代地使用信號化116。換句話說,一個語法元素通常可負責116及160之信號化。此一語法元素將假設一系列值中之一個值,該等值各對應於框內預測模式與是否使用區塊劃分之指示之一組合。在此一狀況中,還可能僅為框內預測模式之一子集提供劃分選項。並且最後,應知,以信號化116所指之框內預測模式假設可用框內預測模式中之某一子集來說明,亦可僅條件式在資料串流14中輸送劃分旗標160。
圖9採例示方式展示具有某一分區102/112
i之預測殘差之資料120
i的可能外觀。根據圖9之實施例,在轉換域中將預測殘差寫碼成資料串流14。也就是說,編碼器藉由轉換180,產生預測殘差之一轉換182,其中一解碼器藉由逆轉換184推導預測殘差及空間域。圖9繪示例如對應於不同頻譜頻率f之轉換182之轉換係數186。資料120
i可包含一寫碼區塊旗標CBF,資料120
i可包含一寫碼區塊旗標CBF 188,其指出轉換182是否包含任何有效轉換係數186,亦即,轉換182是否完全為零。如果CBF 188有設定,則轉換182不為零,並且資料120
i可包含一最後位置(LP)語法元素190,其指出192沿著使一有效轉換係數增加頻譜頻率之最後位置(請參照軸194),即從最低或DC係數196開始之一非零轉換係數186。接著,資料120
i包含將轉換係數從196傳訊至192之傳訊198。
也就是說,圖9繪示各分區102
i/112
i可藉由CBF 188、LP 190及轉換係數資料198將其預測殘差寫碼成資料串流14。也就是說,具有n個分區102/112之一區塊80將有n個CBF 188,並且具有一非零CBF 188之各分區將有一個LP 190,而且僅這些分區之轉換係數資料198才具有與其相關聯之一非零CBF 188。係數資料198可採用與用於標準處理框內預測區塊相同之方式來寫碼,即劃分旗標160指出非劃分選項之區塊80,但以下例外:如果分區係一個樣本寬,則各LP 190僅需要一個坐標(否則其照常需要2個坐標),即用於水平拆分100之x坐標、及用於垂直拆分110之y坐標。但是,以二維分區來說明,LP 190使用等級指示、或使用x與y坐標來指出沿著一掃描方向或路徑之最後位置。可將各CBF 188之脈絡選擇為先前寫碼CBF之值,即分區順序126中前一個分區之CBF。再者,由於劃分的關係,轉換係數資料198係有關於一不同形狀。也就是說,轉換182也具有一不同形狀。以該等分區係如關於圖4所論述之一維分區來說明,轉換182係一維轉換。也就是說,轉換182可以是轉換係數186之一W/H長向量,端視拆分類型100或110而定。
關於圖8之旗標160及114、以及其寫碼,注意以下內容。指出是否將區塊80區分成分區102/112之旗標160定義檢查是否為區塊80在資料串流14中輸送旗標114時要檢查之條件。特別的是,如果旗標160指出分成諸分區102/112之劃分,則旗標114存在於資料串流14中,並且係發送至解碼器以便傳訊將要進行哪種類型之拆分100/110,即水平或垂直類型。正如旗標CBF,旗標114亦可使用脈絡相依性熵寫碼/解碼來寫碼。根據區塊80之框內預測模式,旗標114之脈絡可具有三種可能性:0表示非角模式,1表示水平模式,並且2表示垂直模式。
儘管圖9繪示一CBF 188於目前區塊80每個分區i可能存在一次,但另外或替代地,目前區塊之分區120i之轉換182各可能分成在資料120i內每個子塊傳訊有一寫碼子塊旗標之一或多個子塊,該寫碼子塊旗標指出該子塊內之轉換係數186是否全部為零或其至少一個係數為非零。因此,有寫碼旗標信號傳訊存在非零係數之子塊內之係數186才將予以寫碼。有寫碼子塊旗標傳訊不存在任何非零係數之子塊內之其他係數將在解碼器側予以推斷為零。請注意,由於各分區120i係單獨予以轉換,屬於一個分區之子塊在該分區之轉換182之頻譜分量上有所不同,並且在其從該轉換包含之轉換係數186上有所不同。舉例而言,可將子塊設定成使得只要相應分區102
i/112
i具有在x (分區寬度)及y (分區高度)中都等於或大於4個樣本140之尺寸,並且因此只要相應分區102
i/112
i之轉換180在x及y中都具有等於或大於4個係數186之尺寸,該等子塊便是4×4係數區塊。以一4×N分區來說明,子塊形成一行m個4×4子塊,其中m*4=N且m係一整數。以一Nx4分區來說明,子塊形成一列m個4×4子塊,其中m*4=N且m係一整數。對於更寬之分區,可產生依照列與行布置之一4x4子塊陣列。然而,取決於嵌入,可能不會出現此類分區,即比4個樣本更寬及/或如4個樣本一般寬之分區。無論是否出現,對於更窄之分區,即有一個維度小於4個樣本之分區,即在至少一個維度x或y中小於4個樣本寬之分區,可完成其轉換180之分成諸子塊之子塊劃分,各子塊收集轉換180之不同係數群組,以使得對於目前區塊之尺寸,子塊在所有可能狀況中都具有最少數量M之係數。也就是說,可將該等分區設定為沿著一個維度如區塊寬度N一般大,其中沿著另一個維度104發生劃分。因此,各分區之轉換180可具有1xN、2xN、Nx1或Nx2之尺寸。事實上,某一分區之轉換180可具有與此分區中之樣本數量等數量之係數。以一1xN分區/轉換來說明,子塊可接著形成一行m個1xM子塊,其中m*M=N且m係一整數。以一Nx1分區來說明,子塊形成一列m個Mx1子塊,其中m*M=N且m係一整數。以一2xN分區/轉換來說明,子塊可接著形成一行m個2x(M/2)子塊,其中m*(M/2)=N且m係一整數。以一Nx2分區來說明,子塊可形成一列m個(M/2)x2子塊,其中m*(M/2)=N且m係一整數。對於最少數量之係數,表1採例示方式展示M = 16之例示性狀況。
表 1 :熵寫碼係數群組尺寸
區塊 ( 分區 / 轉換 ) 尺寸 | 係數群組 ( 子塊 ) 尺寸 |
所有其他可能之 狀況 |
儘管圖9繪示一CBF 188於目前區塊80之每個分區i可能存在一次,但解碼器與編碼器之間仍可能同意一目前區塊80之諸分區中n個分區其中至少一者具有一非零CBF 188。正因如此,如果
係子分區之數量,並且寫碼順序中之前
個子分區已產生一零CBF,則將第
個分區之CBF推斷為1。因此,沒有必要對其進行解碼且未對其進行編碼。因此,資料120n將遺漏之CBF係資料120
1至120
n-1中傳訊零之CBF,並且解碼器將推斷此CBF傳訊該分區之轉換中存在至少一個非零係數。
就框內寫碼模式信號化116而言,以下可成立。有可能發送寫碼模式信號化116作為指向最可能模式(MPM)清單中之一個最可能模式之一指標或索引。進而,後項MPM清單可能基於用於先前寫碼/解碼框內預測區塊之框內預測模式,諸如空間及/或時間鄰近之框內預測模式,採用相同方式,藉由編碼器及編碼器來確定。因此,MPM清單可代表可用/所支援框內預測模式之一真子集,即前述角模式、及/或DC與平面模式其中一或多者之一真子集。如上述,除了經典框內預測之區塊,即整塊式區塊、或以使用遞迴四元樹劃分對此類框內預測區塊進行劃分所分出之轉換區塊為單位之區塊,還可能有使用LIP或ISP方案之框內預測區塊,諸如圖中之區塊80。兩種類型之框內預測區塊都可能支援相同之可用/所支援框內預測模式集合。儘管對於後項標準/經典框內預測區塊,可在資料串流中傳訊一MPM旗標讓解碼器將其解碼並且讓編碼器將其編碼,指出是否從MPM清單選擇該區塊之模式,在這種狀況中,指標/索引係傳送到此MPM清單中讓解碼器將其解碼並且讓編碼器將其編碼,以使用LIP或ISP方案之框內預測區塊來說明,諸如區塊80,將推斷MPM旗標傳訊MPM清單限制。對於某一標準/經典框內預測區塊,如果MPM旗標傳訊沒有使用任何MPM模式,則資料串流中之該區塊不存在索引/指標,反而為該區塊在資料串流中傳輸一替代指標/索引到框內預測模式之一其餘部分清單中。該其餘部分清單也可以是可用/所支援框內預測模式之一真子集,並且特別的是,相較於可用/所支援框內預測模式集合,可以是MPM清單之補集,亦即,可用/所支援框內預測模式集合之每個成員將是MPM清單或其餘部分集合之成員。可能對進入MPM清單之指標/索引進行VLC寫碼,同時可能使用固定長度代碼對進入其餘部分集合之指標/索引進行寫碼。當然,即使對於LIP或ISP方案之框內預測區塊,仍可能傳送MPM旗標,以及編碼器有可能會從可用/所支援框內預測模式集合自由選擇任何模式,並且取決於所選模式是否有在其餘部分集合之MPM清單內來設定MPM旗標。
對於標準/經典框內預測區塊、以及對於ISP/LIP框內預測區塊,MPM清單可能相同,亦即可能藉由編碼器及編碼器採用相同方式來確定。然而,無論為ISP/LIP框內預測區塊限制MPM清單及推斷MPM旗標傳訊MPM清單使用狀況是否適用,替代地,可為ISP/LIP框內預測區塊採用不同方式來確定MPM清單,以便適用於ISP/LIP模式之統計。舉例而言,可更改成將DC框內模式從MP清單排除,並且為ISP水平拆分,即水平方向104,優先化水平框內模式,以及為垂直拆分,即垂直方向104,優先化垂直框內模式。也就是說,對於標準/經典框內預測區塊,MPM清單可形成可用/所支援框內預測模式之一真子集,該等模式係根據某一概念所選擇及排序。對於ISP/LIP框內預測區塊80,MPM索引可指向一MPM清單,其取決於由旗標114傳訊之劃分方向104,及/或其形成可用/所支援框內預測模式集合之一真子集,不是DC模式,也不是DC與平面模式,即可用/所支援框內預測模式集合中角模式之一真子集。基於先前寫碼/解碼之先前已用框內預測模式,MPM清單構造可偏好一角度框內預測方向之角模式在旗標114指出劃分方向104為水平之狀況中更接近水平維度,以及偏好一角度框內預測方向之角模式在旗標114指出劃分方向104為垂直之狀況中更接近垂直維度。
關於剛剛提出之說明,請再注意,標準處理之框內預測模式與使用如本文中所略述之劃分處理之框內預測模式之間的毗接並非需要。也就是說,編碼器及解碼器可使用本文中介紹之劃分不可避免地處理框內預測區塊80,劃分旗標160舉例來說,接著從而變得過期。然而,如果由旗標160傳訊之劃分選項可用作對於編碼器之一個決策,則以下說明透露編碼器如何進行決定、或找出分區模式是否應該用於某一區塊80之可能性,以及哪種拆分類型最好,即水平或垂直。為了進行此操作,編碼器應該為各區塊針對不同框內預測模式測試兩選項。相較於編碼器將僅具有一個選項之情況相比,諸如標準選項,編碼器將因此更慢,因為必須測試更多選項。為了降低這種影響,由旗標160傳訊之分區模式可藉由根據以下策略編碼來測試,其中請參照圖10及11。
1) 1D分區模式是要測試之最後框內模式。
2) 令
為到即將測試1D分區模式時為止之最小成本。
3) 選擇要測試之框內模式與拆分類型之一組合。
4) 區塊係拆分成
個1D分區,並且令
表示這些分區各者之索引,其中
。
5) 在對各分區進行寫碼之後,計算其子成本
。因此,我們可知道將分區
寫碼完成後可用之所有子成本之總和,其為
。圖10中繪示此程序,其從而說明累積1D分區子成本以取得整個區塊之最終成本。
6) 在處理每個分區之後,評估表達式
。若成立,我們繼續對分區進行寫碼直到結束。否則,保證此測試模式不會產出比
更低之一RD成本,因此過程中斷,並且我們繼續進行框內模式與拆分類型之下一個組合。
7) 如果將所有1D分區都寫碼,則測試模式係最佳模式,並且從而更新
。
此程序之優點在於其避免處理不必要之1D分區,因為與已存在最小成本相比,可已經知道1D分區模式不會產出之一更好成本。此外,其在RD損失方面沒有任何缺點。整個過程係如圖11中之一流程圖所示。
請再注意,所有上述實施例說明劃分係於橫切方向104之一個樣本寬條帶中進行,替代地,劃分可採用導致分區更寬之一方式進行,藉此導致二維分區,除非實施例之說明中之某些特定內容利用一維性。下文載明關於劃分之進一步替代方案。
換句話說,在以上說明中,已經說明可簡要描述為包括一線基框內預測(LIP)寫碼模式工具之實施例,根據該工具,一框內預測W×H區塊80係區分成1-D分區或線條102/112。接著,預測各所產生之線條102/112,並且產生一殘差信號,對其進行轉換、量化及熵寫碼,最後描述將係數發送至解碼器。此一線條之重構樣本可用於預測下一條線等。重複此過程,直到將原始區塊內之所有1-D分區全都寫碼。
然而,相對於此LIP概念,修改是可行的。論述圖4時,已在上文指出,本申請案之實施例不受限於沿著劃分/拆分方向104使分區102/112為一個樣本寬。在接下來說明之實施例中,沿著拆分方向104之寬度係基於1)框內預測模式是一角模式還是非角模式、以及2)框內預測區塊沿著方向104之寬度來定義。
1) 可將一
(假設
及
係2的次方)區塊80水平或垂直區分(例如,以發送至解碼器之一語法元素114所指)成尺寸為
之
個相等分區102/112,表II作說明其值。根據表II,將使用一非角度框內模式預測有
,
並且經受一垂直拆分(亦即,以垂直方向104拆分)之一區塊拆分成4個全都具有尺寸
及
之分區102。圖12a中繪示這項實例。如果相同區塊80係使用一角度框內模式預測,則將其拆分成8個各具有尺寸
及
之分區102。
表 II :額外布局實例 1 之 、 及 之值
變數 | 框內模式 | 垂直拆分 | 水平拆分 |
角度 | |||
非角度 | |||
角度 | |||
非角度 | |||
角度 | |||
非角度 |
2) 替代地,可將一
(假設
及
係2的次方)區塊80水平或垂直區分(例如以發送至解碼器之一語法元素114所指)成
個具有
尺寸之相等分區,其中
值不固定(因此以一語法元素將其傳送至解碼器),並且其範圍可以是介於2與
之間的2的次方,其中
係要拆分之尺寸之值(對於垂直拆分為寬度,而對於水平拆分為高度)。如表III中所述取得
及
之值。
表 III :額外布局實例 2 之 與 之值
變數 | 垂直拆分 | 水平拆分 |
反而,可直接為區塊80沿著維度104傳訊分區之寬度。
3) 可將一
(假設
及
係2的次方)區塊80水平或垂直區分(例如以發送至解碼器之一語法元素114所指)成
個具有
尺寸之分區(其中
取決於
及
),其中
。若為水平拆分則令
,
,並且若為垂直拆分則令
,
)。表IV中為不同
值說明
值之各種選項,其沿著維度104測量區塊80之寬度,並且
沿著維度104測量分區i之寬度。
表 IV :不同分區布局之 值
(選項1) | (選項2) | (選項3) | |
4 | (1, 1, 1, 1) | (1, 3) | (1, 1, 1, 1) |
8 | (1, 2, 2, 2, 1) | (3, 5) | (2, 2, 2, 2) |
16 | (2, 4, 4, 4, 2) | (5, 7, 4) | (2, 4, 4, 4, 2) |
32 | (4, 8, 8, 8, 4) | (7, 9, 11, 5) | (2, 4, 8, 4, 8, 4, 2) |
64 | (8, 16, 16, 16, 8) | (11, 13, 15, 17, 8) | (2, 4, 8, 16, 4, 16, 8, 4, 2) |
128 | (16, 32, 32, 32, 16) | (17, 19, 21, 23, 25, 23) | (2, 4, 8, 16, 32, 4, 32, 16, 8, 4, 2) |
解碼器使用之選項是固定選項,或可根據解碼器側現有參數之值來隱式確定。
4) 可將一
(假設
及
係2的次方)區塊80水平或垂直區分(例如以發送至解碼器之一語法元素114所指)成
個具有
尺寸之分區(其中
取決於
及
),其中
。若為水平拆分則令
,
,並且若為垂直拆分則令
,
)。
值將透過一語法元素來確定,該語法元素指出要將實例3)中介紹之三個選項中之哪個選項用於將區塊區分成子分區。
因此,如以上在實例1至4中例示,可沿著一個維度104進行劃分,以使得分區如垂直於預定維度之預定區塊一般寬,同時從至少兩個不同寬度設定或選項選擇分區之一寬度,該寬度係沿著預定維度104測量。顯式或隱式傳訊概念可用於使編碼器與解碼器之間保持選擇同步。因此,該選擇致使儘管可在相同尺寸與形狀之諸區塊之間改變劃分,與此變化相關聯之額外負荷仍保持合理低。舉例來說,可取決於用於預定區塊之框內寫碼模式來進行選擇,諸如取決於用於預定區塊之框內寫碼模式是否係一角模式來進行選擇。亦可為標引如4號實例所示至少兩個不同寬度設定之預定區塊,取決於資料串流中之一索引進行選擇。分區沿著劃分維度可以是一或多個樣本寬。在一個區塊內,沿著劃分/預定方向之分區寬度可改變。一者可以是一個樣本寬,即係為一維條帶,而另一者則是多於一個樣本寬,係為一二維樣本場。
再者,以上文介紹之一些LIP概念實施例來說明,提出可用於各區塊80之兩種處理順序類型,以上說明中稱為分區順序126,最終施用之一種類型係取決於用於區塊80之框內模式來選擇。然而,如上述,存在有用於決定分區順序126之替代方案。處理順序126指出要以何種順序處理子分區102/112。可能之處理順序126組成為:從左上子分區開始,然後以一預定順序繼續,諸如在水平拆分之狀況中為向下,或在垂直拆分之狀況中為向右,或者若將使用分成分區之另一劃分,則為諸如光柵掃描方式之任何其他順序。一般而言,處理順序126可在將要解碼/處理一相應子分區時,於解碼器側藉由可用之現有參數來確定。也就是說,對於解碼器,處理順序126可以是即時確定之某順序,亦即利用預測各種子分區102/112所交替確定之某順序。此類現有參數可包括框內模式、子分區索引、原始區塊之維度、子分區之維度、目前分區之CBF旗標等。亦可直接將順序126傳訊至解碼器。
用來甚至為使用相同劃分經受劃分框內預測分成分區102/112之區塊80而改變分區順序之動機亦可源於以上已關於圖5所論述之想法:變更處理分區102/112之順序126使得能夠在各個分區102/112之中分布預測準確度。舉例來說,如以上所例示,當選擇更遠離要根據分區順序126先處理之鄰區樣本集合118而置之一分區102/112時,這將意味著其框內預測將劣於該分區將根據分區順序126最後處理之情況,如在後種狀況中,用於填充該分區之參考將位於更近處,亦即在其面向參考樣本集合118之側毗鄰該分區之分區處。以圖5來說明,舉例來說,清楚可知的是,相較於分區102
4係根據分區順序126最後處理之狀況(在這種狀況中,分區102
4將基於相對於分區102
4涵蓋緊接鄰近樣本、以及例如將分區102
3之樣本包含在內之一鄰區樣本集合產出一預測),為分區102
4取得之框內預測結果在根據分區順序126排在第一之狀況中將造成一更大預測殘差(以使得將基於區塊80外之鄰近樣本取得預測)。然而,對於其餘分區則相反。以先處理分區102
4來說明,可將為分區102
4使用預測殘差對其進行之重構包括到根據分區順序126之任何後續處理之分區之鄰區樣本集合118
i內,藉此舉例來說,能夠從這些分區之兩側為區塊80使用框內預測模式來預測圖5之各分區102
1至102
3之內部。以處理分區102
4來說明,鄰區樣本集合118
i僅位於各分區102
i之相應分區之一側,其中i = 1 … 4。也就是說,針對分區102
1至102
3,情況將相反。對於這些分區,相較於最後處理分區102
4,在先處理分區102
4之狀況中,預測殘差將更低。並且更進一步,應思考亦已在上文所指之內容,亦即順序不僅可在並列連序遍歷分區之兩個選項之間切換,還有可能允許更進一步分區順序,諸如首先根據一預定順序處理每個第二分區,然後採用相同順序或採用相反預定順序處理其餘分區。可藉由測試編碼器側之各種順序選項來確定哪個選項最妥,同時在資料串流中為區塊80按順序126傳送一相應附加信號化,或者可採用相同方式在編碼器側及解碼器側選擇順序126,端視為區塊80或為鄰近區塊在資料串流中傳送之語法元素而定,採用之一方式使得即使為了尺寸及形狀相同並且以相同方式劃分成分區102/112之區塊80,順序126仍然不相等,而是在這些區塊80之中變化。
因此,可從至少兩種不同順序選擇對區塊80之分區進行處理之分區順序。顯式或隱式傳訊概念可用於使編碼器與解碼器之間保持選擇同步。因此,該選擇使得對預定區塊施用分區順序時,另一順序可施用於另一區塊,還使用劃分之框內預測概念來寫碼,尺寸與形狀相同,並且係以相同方式劃分成諸分區。為編碼器選擇分區處理順序、或對尺寸、形狀及劃分除外之其他參數施予相依性分區處理順序之一自由度在提升劃分框內預測模式之有效性方面有效。在採用取決於從至少兩種不同順序為預定區塊選擇預定分區順序126之一方式,為了推導某一分區102
i之預測子而甄選參考樣本118
i時,有效性甚至可更大。特別的是,如圖所示,甄選之參考樣本118
i在一個可用或可選擇分區順序之狀況中,可位於目前分區之兩個相對側,同時在另一可選擇分區順序之狀況中,也可僅位於分區120
i之兩個相對側其中一側。以沿著維度104之劃分來說明,該等「側」可以是分區120
i沿著該方向面向之側,諸如在垂直方向104之狀況中為上側及下側,而在水平方向之狀況中為左側及右側,但是在另一劃分之狀況中,如亦在下文中簡要論述,可單純地將該等「側」定義為面向參考樣本集合118
i中位於區塊80外側之那些樣本之劃分之一側、以及參考樣本集合118
i中位於區塊80內側,即位於先前已處理分區其中一者內,面向那些樣本之劃分之一側。舉例而言,儘管該至少兩種不同可選擇順序其中一者可從離該預定區塊之一左上角最遠之一分區開始遍歷該等分區,該至少兩種不同可選擇順序其中另一者仍可從離該預定區塊之一左上角最接近之一分區開始遍歷該等分區。
應解決之另一問題涉及殘差寫碼。如上述,也可使用轉換寫碼來完成。各子分區102/112可在資料串流中具有其自有寫碼區塊旗標(CBF) 188,最後位置(LP)語法元素190及轉換係數198,會將其傳送至解碼器。因此,對於諸如一CU之具有K個子分區102/112之一區塊80,具有一非零CBF之各分區102/112將有K個CBF 188及一個LP 190。用於對各CBF 188進行寫碼之脈絡可取決於相同區塊內一已先前寫碼子分區之CBF之值,例如沿著順序126寫碼。另外,可能在資料串流中將再一尚未提及之語法元素傳送至解碼器,以指出是否有在每個區塊上使用所述概念,或舉例來說,指出在對應於整個資料串流或某一圖片之一範疇、或對於某一圖片之一切片,是否有在該範疇內將本文中所述之劃分框內預測概念用於每個框內預測區塊80,或是否有傳訊要對其進行一件式處理,亦即劃分成僅一個分區。
同樣地,在上面已說明可使用一個轉換來單獨地轉換各子分區,藉此為沒有量化成全零之各分區102/112產出一個轉換。作為某一分區102/112之轉換,可使用一2-D轉換,但分區102/112之其中一個維度為一之狀況除外,在這種狀況中將施用一1-D轉換。轉換核心可以是一DCT-II或在即將解碼子分區時由解碼器側之現有參數確定之任何其他轉換。舉例而言,可根據框內模式、子分區索引與子分區維度之組合、或後項參數之某子集來選擇轉換。亦可直接將其傳訊至解碼器,或換言之,以例如為區塊80內之所有分區、或為一個區塊80之各分區102/112單獨地以一額外語法元素之形式傳訊。
一項態樣涉及以上已論述之態樣:區塊80之分區102/112之殘差在空間域或某中間轉換域中藉由使各分區之預測殘差以個別分區方式經受一轉換來達到量化之後,可以是轉換係數,然後對該等轉換係數進行量化,不過,使其經受無損或可逆之再一轉換。因此,解碼器將能夠為整個區塊80取得一轉換之轉換係數層級,使其經受逆無損轉換,以從藉由對各分區102/112進行再轉換在空間域中取得之預測殘差,在空間域或中間轉換域中為各分區102/112取得預測殘差。
應知,根據上述實施例之一變例,劃分可採用與沿著一維度104進行一劃分之形式不同之形式完成。可為使用此一變例之框內預測寫碼賦予一名稱,諸如靈活框內預測細劃分(FIPS)。代替分成條帶102/112之一劃分,區塊80之區分/劃分反而可導致區塊80之任何矩形子分區。靈活框內預測細劃分(FIPS)將一
框內預測區塊80區分成
個尺寸為
之矩形非重疊子分區,其中
。子分區之所產生布局完全緊湊,這意味著該等子分區之面積總和等於原始區塊之面積,亦即
。圖12b展示區塊80之此一通用區分之一實例,其中該等分區已再利用參考符號102。在這種狀況中,一
區塊80係區分成
個子分區102,表V中定義其尺寸。
表V:圖12b中所示子分區之尺寸
子分區索引 | 寬度 | 高度 |
1 | 6 | 6 |
2 | 6 | 2 |
3 | 2 | 8 |
4 | 5 | 3 |
5 | 3 | 3 |
6 | 8 | 4 |
7 | 8 | 1 |
到目前為止,上述實施例產出剛剛提到之劃分之例示性劃分。舉例而言,圖4展示區塊80之此一FIPS區分之兩項實例。然而,在這種狀況中,所有子分區102/112都具有相同尺寸。特別的是,垂直於維度104,其為區塊之寬度,而沿著維度104,其則具有相等寬度,與區塊之寬度沿著維度104之某一部分對應。與以上任何分區102/112相似,舉例來說,對FIPS中各產生之子分區102進行預測,並且對所產生之殘差信號進行個別轉換、量化及寫碼。因此,其重構值可用於預測尚未寫碼/解碼之其他子分區102。舉例而言,以圖12b中所示之區塊80來說明,可首先預測1號子分區,然後可將其重構樣本用於預測2號及3號子分區。重複此過程,直到所有子分區都完成寫碼/解碼。
總結FIPS,將框內預測區塊80分成諸分區102/112之劃分可採用與以上所述不同之一方式經由資料串流來定義及傳訊,舉例如,使用將區塊80分成不同尺寸矩形分區之一遞迴多樹細分、或任何其他劃分定義可能性來定義及傳訊。舉例來說,劃分可藉由如上述維度104之推導來定義,以便基於該劃分,並且就條帶之橫寬而言,即分別就水平條帶102之高度及垂直條帶112之寬度而言,取決於框內預測模式,確定區塊80之分區是水平條帶102還是垂直條帶112。上述所有其他可能性維持舉例如改變處理/分區順序126之可能性,其變化如上述,可取決於框內預測模式、為區塊80在資料串流中發送之某語法元素、以及框內預測模式參數、或以資料串流中發送之一些其他資訊為依據,諸如以可為各種分區在資料串流中發送之預測殘差推導出之資訊為依據。
再者,已在上文論述採用相對於這些分區之個別框內預測之一交替方式,逐分區循序地為區塊80之各個分區將預測殘差量化並且寫碼成資料串流。這已參照圖5以及參照圖10及11作說明。然而,透過一方面進行框內預測且另一方面進行預測殘差之組合,解碼器不需要藉由交替地一方面進行殘差解碼以及對各個分區進行重構來進行解碼。也就是說,在解碼某一區塊80時,解碼器可將為各個分區對預測殘差120進行解碼與包括對各個分區進行個別框內預測在內之實際重構程序解耦。請參照圖5:解碼器可從資料串流14解碼所有分區之預測殘差120,即根據一個處理任務用於區塊80之預測殘差120
1至120
4,並且解碼器可根據另一任務,使用分區102
i之預測殘差120
i,以便根據分區順序126,逐分區重構區塊80之內部。為此,解碼器在第二任務中使用區塊80之框內預測模式對各分區120
i進行框內預測,然後新增從第一任務取得之預測殘差120
i,接著藉由依照分區順序126步進到下一個分區120
i+1來繼續區塊80之重構,以便進行空間預測,然後為了校正框內預測結果而使用該分區之預測殘差進行重構。解碼器可在開始使用預測殘差進行預測及預測校正之第二任務之前,進行從資料串流14完全推導出預測殘差120之第一任務,或解碼器可平行地進行兩個任務與提供度量,以保證某一分區102
i之預測殘差120
i在需要時已準備好,亦即在使用區塊之框內預測模式為該分區102
i取得並且需要校正預測結果時已準備好。特別的是,在第一任務或階段期間,解碼器可對所有非零分區進行所有逆轉換,亦即,對將預測殘差120
i傳訊為非零所為之所有分區102平行地進行所有逆轉換。
僅作為一面,應知,根據以上實施例,其中分區i之殘差120
i是在轉換域中量化,可能發生的是,這些分區之重構樣本可能離開,亦即超出或者跟接,某一允許之樣本值範圍。如上述,其可為按順序126之分區j當作參考樣本118j之成員。舉例來說,根據一嵌入,這些樣本係為了按順序126預測分區j而保留原樣,同時對區塊80之這些樣本進行削剪,作為整個區塊80之最終削剪步驟,藉此在解碼器之側提升實作態樣親和性。因此,在為分區102
i推導預測子時,為目前分區當作參考之一或多個已重構樣本118
i之中,根據分區順序126居前於此分區102
i之分區之一重構樣本可在尚未削剪狀態下使用,其中最終發生將重構樣本從尚未削剪狀態削剪到被削剪至一允許樣本值範圍之一狀態,以最終重構預定區塊。在編碼器側,削剪只是為了取得此一樣本之重構版本而進行,用於為隨後編碼之區塊當作一預測參考,以便與解碼器保持參考同步。然而,此最終清理類型之削剪僅是一實例,並且可替代地立即進行削剪,亦即,在一分區i之重構樣本為隨後處理之分區j當作一參考樣本118j之前立即進行削剪。
在到目前為止論述之實施例中,應在下文使用具體實例來說明。特別的是,根據這項實施例,資料串流14藉由一拆分模式旗標160為一框內寫碼區塊80傳訊是否使用LIP或ISP方案對其進行寫碼。可將資料串流14中之一對應語法元素命名為intra_subpartitions_mode_flag。如果此旗標是一,舉例來說,則可使用LIP或ISP方案對框內寫碼區塊80進行寫碼,否則使用標準框內預測對方塊80進行寫碼。舉例來說,只要滿足某一或多個條件,LIP或ISP方案便可用於目前框內寫碼區塊80。這一或多個條件舉例來說,可包含:框內寫碼區塊80在例如區塊80之樣本數量方面必須大於某最小尺寸,及/或可不允許框內寫碼區塊80超出某一尺寸,至少水平地及垂直地兩者都不超出,以便舉例來說,不導致轉換尺寸太大。更精確地說,僅在區塊80在至少一個方向,即水平或垂直方向,小於或等於剛剛所提最大轉換相關尺寸之狀況中,LSP或ISP模式才可用。因此,在區塊80滿足剛剛所提條件之狀況中,資料串流中僅可存在intra_subpartitions_mode_flag。否則,解碼器可推斷對框內寫碼區塊80進行標準框內寫碼。若拆分模式旗標intra_subpartitions_mode_flag指出框內寫碼區塊80係一LSP或ISP寫碼區塊,則可為框內寫碼區塊80傳訊一分區維度旗標114。然而,可能不可避免地不對intra_subpartitions_mode_flag進行顯式傳訊,而是在某些狀況中予推斷為指出某一分區維度104。舉例來說,若框內寫碼區塊80具有超出前述最大轉換尺寸之寬度(但具有未超出之一高度),則分區維度104可不得不為水平維度,並且若區塊80之高度超出剛剛提到之最大轉換尺寸(但寬度未超出),則尺寸104可不得不為垂直維度。在兩種狀況中,資料串流中都未明確傳訊intra_subpartitions_split_flag,而是從而藉由解碼器予以推斷。可如上述在資料串流中傳訊框內寫碼模式116,亦即藉由使用在編碼器及解碼器側建構之一最可能框內預測模式清單來傳訊。儘管對於LIP或ISP框內寫碼區塊80,資料串流14可藉由一MPM清單指標來傳訊框內寫碼模式,該MPM清單指標不可避免地指向例如稱為intra_luma_mpm_IDX之可能框內預測模式清單,若未在LIP或ISP方案中對框內寫碼區塊進行寫碼,一MPM旗標可能在資料串流14中居前於此指標。如果例如稱為intra_luma_mpm_flag之該MPM旗標具有某一旗標狀態,則資料串流中將傳訊指向一框內預測模式提醒清單之一指標,而不是指向最可能框內預測模式清單之指標。然而,如上述,這僅僅是一實例,並且對於標準寫碼之框內預測區塊及LIP或ISP框內預測區塊兩者,可傳訊框內預測模式集合可能都可一樣,亦即涵蓋所有支援之框內預測模式。舉例來說,可為兩種類型之框內寫碼區塊發送intra_luma_mpm_flag。替代地,對於兩種類型之框內預測區塊,可將為兩種類型之框內寫碼區塊發送之指標直接指向所支援框內預測模式之一完整清單,不會有任何MPM旗標。如果使用LIP或ISP方案對框內寫碼區塊80進行寫碼,則可如下定義分區102/112之數量。特別的是,編碼器及解碼器可取決於區塊80之尺寸來確定分區數。不會在資料串流中動用任何信號。對於小區塊尺寸,數量可以是二,否則分區102/112之數量是四。資料串流中進行分區之框內預測及預測殘差之寫碼之分區順序可沿著分區方向104,在一水平方向n14之狀況中從最左邊分區、以及在一垂直分區方向之狀況中從最上分區,循序引導至最遠分區。也不會為此動用任何傳訊。如上述,可依據分區102/112完成殘差轉換。也就是說,可單獨地轉換各分區。與此相比,在一標準框內寫碼區塊80之狀況中,轉換數量可取決於框內寫碼區塊80之尺寸,如下:如果框內寫碼區塊在水平及垂直方向上小於前述最大轉換尺寸,則使用一個轉換對框內寫碼區塊80之殘差進行寫碼,亦即,區塊80之殘差完全經受一個轉換。以水平地超出最大轉換尺寸來說明,框內寫碼區塊80係水平地分成兩半或一對應之轉換區塊數量,以使得這兩半或轉換區塊符合最大轉換尺寸,並且區塊80之殘差經受每一半/轉換區塊一個轉換。以垂直地超出最大轉換尺寸之區塊80來說明也一樣適用。如果垂直及水平都超出最大轉換尺寸,則使用四個或對應數量之轉換將此區塊80之四個象限中區塊80之殘差、或區塊80之一常規2維子區分轉換成對應數量之轉換區塊。此外,標準框內寫碼區塊80之處理可能偏離LIP或ISP寫碼框內寫碼區塊80之處置,原因在於對標準框內寫碼區塊進行整塊式框內預測。也就是說,不對其進行細劃分。進一步差異可有關於為了寫碼區塊80之預測殘差而對轉換進行寫碼。對於各轉換,可傳送一寫碼區塊旗標188,諸如tu_cbf_luma,但儘管對於標準框內寫碼區塊80,可能不可避免地為區塊80內之各轉換對此旗標進行寫碼,在對區塊80進行LIP或ISB寫碼並且用於先前轉換之所有先前CBF都為零之狀況中,仍可將此旗標推斷為用於該區塊80最後一個轉換之旗標。再者,各轉換內子塊之維度之選擇在一方面之標準框內寫碼區塊80與另一方面之LIP或ISP寫碼區塊80之間可有所不同。細節如上述。然而,替代地,對於標準框內寫碼區塊及LIP或ISP寫碼區塊,可同等地完成將轉換182分成子塊之細分。舉例來說,分別令log2SbW及log2SbH為子塊之寬度及高度之對數對偶,且分別令log2TbWidth及log2TbHeight為轉換之寬度及高度。
然後,可如下確定子塊尺寸:
log2SbW = ( Min( log2TbWidth, log2TbHeight ) < 2 ?1 : 2 )
log2SbH = log2SbW
if ( log2TbWidth < 2 ) {
log2SbW = log2TbWidth
log2SbH = 4 − log2SbW
} else if ( log2TbHeight < 2 ) {
log2SbH = log2TbHeight
log2SbW = 4 − log2SbH
}
上述偽碼產出表1中所載明尺寸之子塊。由於框內寫碼區塊80之一固有最小尺寸、及標準框內寫碼區塊之非細分,其可能僅是標準框內寫碼區塊80之4×4係數結果之子塊。最後應知,剛剛略述之實例可導致尺寸不同之LIP或ISP框內預測區塊,包括僅劃分成兩個分區102/112之區塊,但無論是否存在此類LIP或ISP框內預測區塊,都有劃分成多於兩個分區之LIP或ISP框內預測區塊。
雖然已在一設備的背景下說明一些態樣,清楚可知的是,這些態樣也代表對應方法之說明,其中一程序塊或裝置對應於一方法步驟或一方法步驟之一特徵。類似的是,以一方法步驟為背景說明之態樣也代表一對應方塊或一對應設備之項目或特徵的說明。此等方法步驟中有一些或全部可藉由(或使用)一硬體設備來執行,舉例如:一微處理器、一可規劃電腦或一電子電路。在一些實施例中,最重要之方法步驟中有一或多者可藉由此一設備來執行。
發明性資料串流可儲存於一數位儲存媒體上,或可予以在諸如一無線傳輸介質之一傳輸介質、或諸如網際網路之一有線傳輸介質上傳輸。
取決於某些實作態樣要求,本發明之實施例可實施成硬體或軟體。此實作態樣可使用一數位儲存媒體來進行,例如軟式磁片、藍光(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體,此數位儲存媒體上有儲存電子可讀控制信號,此等電子可讀控制信號與一可規劃電腦系統相配合(或能夠相配合)而得以進行各別方法。因此,數位儲存媒體可以是電腦可讀。
根據本發明之一些實施例包含有一具有電子可讀控制信號之資料載體,此等電子可讀控制信號能夠與一可規劃電腦系統相配合而得以進行本文中所述方法之一。
一般而言,本發明之實施例可實施成一具有一程式碼之電腦程式產品,當此電腦程式產品在一電腦上執行時,此程式碼係運作來進行此等方法之一。此程式碼可例如儲存在一機器可讀載體上。
其他實施例包含有用於進行本方法所述方法之一、儲存在一機器可讀載體上之電腦程式。
換句話說,本發明之一實施例因此係一電腦程式,此電腦程式具有一程式碼,當此電腦程式在一電腦上運行時,此程式碼係用於進行本文中所述方法之一。
本發明此等方法之再一實施例因此係一資料載體(或一數位儲存媒體、或一電腦可讀媒體),其包含有、上有記錄用於進行本文中所述方法之一的電腦程式。此資料載體、數位儲存媒體或經記錄媒體典型係有形及/或非暫時性。
本方法之再一實施例因此係一資料串流或一信號串,其代表用於進行本文中所述方法之一的電腦程式。此資料串流或信號串可例如組配來經由一資料通訊連線來轉移,例如經由網際網路轉移。
再一實施例包含有例如一電腦之一處理手段、或一可規劃邏輯裝置,係組配來或適用於進行本文中所述方法之一。
再一實施例包含有一電腦,此電腦具有安裝於其上用於進行本文中所述方法之一的電腦程式。
根據本發明之再一實施例包含一設備或一系統,其係組配來(例如以電子方式或以光學方式)將用於本文中所述其中一種方法之一電腦程式轉移至一接收器。此接收器舉例而言,可以是一電腦、一行動裝置、一記憶體裝置或類似物。此設備或系統舉例而言,可包含有一用於轉移此電腦程式至此接收器的檔案伺服器。
在一些實施例中,一可規劃邏輯裝置(例如一可現場規劃閘陣列)可用於進行本文中所述方法之功能的一些或全部。在一些實施例中,一可現場規劃閘陣列可與一微處理器相配合,以便進行本文中所述方法之一。一般而言,此等方法較佳的是藉由任何硬體設備來進行。
本文中所述之設備可使用一硬體設備、或使用一電腦、或使用一硬體設備與一電腦之一組合來實施。
本文中所述之設備、或本文中所述設備之任何組件可予以至少部分實施成硬體及/或軟體。
本文中所述之方法可使用一硬體設備、或使用一電腦、或使用一硬體設備與一電腦之一組合來進行。
本文中所述之方法、或本文中所述設備之任何組件可予以至少部分藉由硬體及/或藉由軟體來進行。
由上述討論,將可理解,本發明可以多種實例形式體現,包含但不限於下列:
實例1. 一種用於從一資料串流對一圖片進行區塊式解碼之解碼器,其被組配用以
從該資料串流為該圖片之一預定區塊解碼一框內寫碼模式;
沿著一預定維度,將該預定區塊劃分成諸分區,其中分區數大於2,及/或該等分區沿著該預定維度係一個樣本寬;
根據一預定分區順序循序重構該預定區塊之該等分區,該預定分區順序對於一目前分區並且在繼續一後續分區之前,沿著該預定維度循序遍歷該等分區,
採用取決於該框內寫碼模式之一方式,取決於與該目前分區鄰近之一或多個已重構樣本,藉由填充該目前分區為該目前分區推導一預測子;
使用在該資料串流中傳訊之一預測殘差,藉由校正該預測子來重構該目前分區。
實例2. 如實例1之解碼器,
其中該解碼器被組配用以在轉換域中從該資料串流解碼該預測殘差,並且將其再轉換成空間域,以用於校正該預測子。
實例3. 如實例1或2之解碼器,
其中該解碼器被組配用以於一逐分區基礎上在轉換域中從該資料串流解碼該預測殘差。
實例4. 如實例1至3中任一者之解碼器,
其中該解碼器被組配用以對於各分區,在轉換域中從該資料串流解碼該預測殘差,
從該資料串流解碼一寫碼分區旗標;
如果未設定該寫碼分區旗標,則為該相應分區將該預測殘差設定為零,以及
如果有設定該寫碼分區旗標,則從該資料串流解碼該相應分區之該預測殘差之一轉換。
實例5. 如實例4之解碼器,
其被組配用以如果未設定所有居前寫碼分區旗標,則循序從該資料串流為該等分區解碼該等寫碼分區旗標,並且推斷有依照分區順序為一最後分區設定該寫碼分區旗標。
實例6. 如實例5之解碼器,
其被組配用以使用取決於依照該預定分區順序為居前於一相應分區之一居前分區解碼之該寫碼分區旗標之一脈絡,藉由脈絡相依熵解碼之使用,從該資料串流為該相應分區解碼該寫碼分區旗標。
實例7. 如實例1至6中任一者之解碼器,
其中該解碼器被組配用以
於一逐分區基礎上在轉換域中從該資料串流解碼該預測殘差,並且從該資料串流解碼一預定分區之該預測殘差之一轉換,方式如下
從該資料串流解碼一最後位置指示,沿著對一維轉換之轉換係數進行掃描之一預定掃描順序,指出該轉換之一最後轉換係數位置;以及
從該資料串流沿著該預定掃描順序解碼該轉換之轉換係數一直到該最後轉換係數位置,並且推斷沿著該預定掃描順序超過該最後轉換係數位置之該轉換之轉換係數為零。
實例8. 如實例7之解碼器,其中該等分區沿著該預定維度係一個樣本寬,並且該轉換係一一維轉換。
實例9. 如實例1至8中任一者之解碼器,
其中該解碼器被組配用以
沿著該預定維度,將該預定區塊劃分成該等分區,其中該等分區沿著該預定維度係一個樣本寬,
每個分區使用一轉換,於一逐分區基礎上在轉換域中從該資料串流解碼該預測殘差,其中
若該框內預測模式非為一平面模式,則該轉換係一DCT轉換,並且若該框內預測模式係該平面模式,則該轉換係一DST轉換,或
該轉換係一線性轉換,其一類型係基於該框內預測模式、一專屬語法元素及該預定分區順序其中一或多者來選擇。
實例10. 如實例1至9中任一者之解碼器,
其中該解碼器被組配用以
每個分區使用一轉換,於一逐分區基礎上在轉換域中從該資料串流解碼該預測殘差,其中該轉換係屬於基於該框內預測模式、一專屬語法元素及該等分區之尺寸其中一或多者所選擇之一類型。
實例11. 如實例1至10中任一者之解碼器,
其被組配用以
從該資料串流為該圖片之該預定區塊解碼一拆分模式旗標;
如果該拆分模式旗標指出一第一拆分模式,則進行該劃分及該循序重構;
如果該寫碼分區旗標指出一第二拆分模式,則採用取決於該框內寫碼模式之一方式藉由空間框內預測來重構該預定區塊。
實例12. 如實例11之解碼器,
其被組配用以
藉由藉著採用取決於該框內寫碼模式之一方式,取決於鄰近該預定區塊之一或多個已重構樣本,一件式填充該預定區塊,而為該預定區塊推導一預測子,然後藉著使用在該資料串流中傳訊之該預測殘差校正該預測子,而重構該預定區塊,若該寫碼分區旗標指出該第二拆分模式,則進行該空間框內預測,或
藉由沿著水平及垂直細分葉區塊邊界將該預定區塊劃分成該預定區塊之一階層式多樹細分之諸葉區塊,並且根據循序遍歷該等葉區塊之一預定葉區塊順序循序重構該預定區塊之該等葉區塊,若該寫碼分區旗標指出該第二拆分模式,則進行該空間框內預測。
實例13. 如實例11或12之解碼器,
其被組配用以,如果該框內預測模式係一角模式,
如果該拆分模式旗標指出一第一拆分模式,
在採用取決於該框內寫碼模式之一方式,取決於與該目前分區鄰近之一或多個已重構樣本,填充該目前分區時,使該等已重構樣本經受取決於該角模式之一第一內插濾波;
如果該寫碼分區旗標指出一第二拆分模式,
在藉由空間框內預測重構該預定區塊時,藉由使該等已重構樣本經受取決於該角模式之一第二內插濾波,採用取決於該框內寫碼模式之一方式,取決於與該預定區塊鄰近之該一或多個已重構樣本,填充該預定區塊,
其中該第一內插濾波與該第二內插濾波之差異在於該預定區塊內該預測子之各樣本所依賴之已重構樣本之一平均數。
實例14. 如實例1至13中任一者之解碼器,
其被組配用以
從該資料串流為該圖片之該預定區塊解碼一分區維度旗標,以及取決於該分區維度旗標將該分區維度設定為水平或垂直。
實例15. 如實例14之解碼器,
其被組配用以
使用取決於該框內寫碼模式之一脈絡,藉由脈絡相依熵解碼之使用來解碼該分區維度旗標。
實例16. 如實例14或15之解碼器,
其被組配用以
使用三個脈絡之一,藉由脈絡相依熵解碼之使用來解碼該分區維度旗標,該等三個脈絡包含
傳訊一非角模式之該框內寫碼模式,
傳訊一水平模式之該框內寫碼模式,
傳訊一垂直模式之該框內寫碼模式。
實例17. 如實例1至16中任一者之解碼器,
其被組配用以
取決於該框內寫碼模式來設定該預定分區順序。
實例18. 如實例1至17中任一者之解碼器,
其被組配用以,如果該框內預測模式係一角模式,
在採用取決於該框內寫碼模式之一方式,取決於與該目前分區鄰近之一或多個已重構樣本,填充該目前分區時,使該等已重構樣本經受取決於該角模式之一濾波,不用前置濾波。
實例19. 如實例1至18中任一者之解碼器,
其被組配用以,
從該資料串流向框間預測寫碼模式及框內預測寫碼模式解碼諸區塊之一指派,該圖片係細分成該等區塊,以在框間預測區塊與框內預測區塊之間作區別,其中該預定區塊係一框內預測區塊。
實例20. 如實例1至19中任一者之解碼器,
其被組配用以設定該等分區沿著該預定維度所測量之一寬度,
取決於該預定區塊沿著預定維度之一尺寸及/或
取決於用於該預定區塊之該框內寫碼模式及/或
取決於用於該預定區塊之該框內寫碼模式是否係一角模式及/或
取決於該資料串流中用於該預定區塊之一語法元素,其指出該分區數或指出該寬度。
實例21. 如實例1至20中任一者之解碼器,
其中該解碼器被組配用以在循序重構該預定區塊之該等分區之前,為所有分區從該資料串流解碼該預測殘差。
實例22. 如實例1至21中任一者之解碼器,
其被組配用以
除了該框內寫碼模式以外,還取決於為該預定區塊傳訊之一語法元素來設定該預定分區順序。
實例23. 如實例1至22中任一者之解碼器,
其被組配用以
從至少兩種不同順序,取決於該資料串流,為該預定區塊選擇該預定分區順序,
為該預測子之該推導,採用取決於從至少兩種不同順序為該預定區塊進行之該預定分區順序之該選擇之一方式,選擇該一或多個已重構樣本。
實例24. 如實例23之解碼器,
其被組配用以取決於該預定分區順序之該選擇,進行該一或多個已重構樣本之該選擇,使得該一或多個已重構樣本在該至少兩種不同順序其中一者之狀況中,係位於該目前分區之兩個相對側,並且在該至少兩種不同順序其中再一者之狀況中,係僅位於該兩個相對側其中一側。
實例25. 如實例23或24之解碼器,
其中,該至少兩種不同順序其中一者從離該預定區塊之一左上角最遠之一分區開始遍歷該等分區,並且該至少兩種不同順序其中另一者從離該預定區塊之一左上角最接近之一分區開始遍歷該等分區。
實例26. 如實例1至25中任一者之解碼器,其被組配用以
為該預定區塊解碼該框內寫碼模式,方式如下
推導一最可能框內預測模式清單,其形成該解碼器所支援之一框內預測模式集合之一真子集,
從該資料串流解碼指向該最可能框內預測模式清單之一最可能模式清單指標。
實例27. 如實例1至25中任一者之解碼器,其中該預定區塊係第一類型之一框內預測區塊,其中該解碼器被組配用以處理一框內預測區塊,方式如下
如果該框內預測區塊屬於一第二類型,
從該資料串流推導出一最可能旗標,該解碼器在該框內預測區塊屬於該第一類型之狀況中將其推斷為處於一第一旗標狀態,
如果該最可能旗標假設該第一旗標狀態,
推導一最可能框內預測模式清單,其形成該解碼器所支援之一框內預測模式集合之一真子集,
從該資料串流解碼指向該最可能框內預測模式清單之一最可能模式清單指標,
如果該最可能旗標假設該第二旗標狀態,
從該資料串流解碼再一指標,其指向框內預測模式之一其餘部分集合,該其餘部分集合包含該框內預測模式集合之框內預測模式,與該最可能框內預測模式清單不相交,
整塊式或使用一遞迴四元樹劃分對該框內預測區塊進行框內預測。
實例28. 如實例26或27之解碼器,其被組配用以在該預定區塊係一第一類型之一框內預測區塊之狀況中,推導該最可能框內預測模式清單,與在該預定區塊係一第二類型之一框內預測區塊之狀況中推導有所不同。
實例29. 如實例26或27之解碼器,其被組配用以在該預定區塊係一第一類型之一框內預測區塊之狀況中,推導該最可能框內預測模式清單,與在該預定區塊係一第二類型之一框內預測區塊之狀況中推導有所不同,原因在於該解碼器被組配用以藉由禁止填佈有、或偏好、內填佈該框內預測模式集合上方之角模式、DC及/或該框內預測模式集合之平面模式來填佈該最可能框內預測模式清單。
實例30. 如實例26至29中任一者之解碼器,其被組配用以在該預定區塊係一第一類型之一框內預測區塊之狀況中,推導該最可能框內預測模式清單,與在該預定區塊係一第二類型之一框內預測區塊之狀況中推導有所不同,原因在於該解碼器被組配用以藉由偏好、內填佈更接近一預定維度之該框內預測模式集合之角模式來填佈該最可能框內預測模式清單,於該預定維度將該預定區塊劃分成該等分區,以使得相較於更遠離該預定維度之該框內預測模式集合之角模式,該等分區如該預定區塊一般寬。
實例31. 如實例1至30中任一者之解碼器,
其中該解碼器被組配用以對於各分區,在轉換域中從該資料串流解碼該預測殘差,
以藉以劃分一轉換之子塊為單位,為各子塊從該資料串流解碼該相應分區之該預測殘差之該轉換,
從該資料串流解碼一寫碼子塊旗標;
如果未設定該寫碼子塊旗標,則將該相應子塊內該轉換之轉換係數推斷為零,以及
如果有設定該寫碼子塊旗標,則從該資料串流解碼該相應子塊內該轉換之該等轉換係數。
實例32. 如實例31之解碼器,其被組配用以將該轉換劃分成該等子塊,使得每個子塊之一係數量係一預定數字而與一分區尺寸無關,及/或使得該轉換係沿著一維度採用一維方式劃分成該等子塊,該轉換沿著該維度較不寬。
實例33. 一種用於將一圖片區塊式編碼成一資料串流之編碼器,其被組配用以
為該圖片之一預定區塊確定一框內寫碼模式,並且在該資料串流中傳訊該框內寫碼模式;
沿著一預定維度,將該預定區塊劃分成諸分區,其中分區數大於2,及/或該等分區沿著該預定維度係一個樣本寬;
根據一預定分區順序使該預定區塊之該等分區循序經受一預測,該預定分區順序對於一目前分區並且在繼續一後續分區之前,沿著該預定維度循序遍歷該等分區,
採用取決於該框內寫碼模式之一方式,取決於與該目前分區鄰近之一或多個已編碼樣本,藉由填充該目前分區為該目前分區推導一預測子;
確定一預測殘差以供在校正該預測子時用於重構該目前分區,
在該資料串流中傳訊該等分區之該預測殘差。
實例34. 如實例33之編碼器,
其中該編碼器被組配用以在轉換域中將該預測殘差編碼成該資料串流,該資料串流係從該轉換域再轉換成空間域以用於校正該預測子。
實例35. 如實例33或34之編碼器,
其中,該編碼器被組配用以於一逐分區基礎上在轉換域中將該預測殘差編碼成該資料串流。
實例36. 如實例33至35中任一者之編碼器,
其中,對於各分區,該編碼器被組配用以在轉換域中將該預測殘差編碼成該資料串流,
將一寫碼分區旗標編碼成該資料串流;
其中設定之該寫碼分區旗標傳訊要為該相應分區將該預測殘差設定為零,以及
其中未設定之該寫碼分區旗標使該相應分區之該預測殘差經受一轉換,以便取得該相應分區之該預測殘差之一轉換並將其編碼成該資料串流。
實例37. 如實例36之編碼器,
其被組配用以如果未設定所有居前寫碼分區旗標,則為該等分區將該等寫碼分區旗標循序編碼成資料串流,分區順序中一最後分區之寫碼分區旗標除外,然後將其推斷為有設定。
實例38. 如實例36或37之編碼器,
其被組配用以使用取決於依照該預定分區順序為居前於一相應分區之一居前分區編碼之該寫碼分區旗標之一脈絡,藉由脈絡相依熵編碼之使用,為該相應分區將該寫碼分區旗標編碼成該資料串流。
實例39. 如實例33至38中任一者之編碼器,
其中該編碼器被組配用以
於一逐分區基礎上在轉換域中將該預測殘差編碼成該資料串流,並且將一預定分區之該預測殘差之一轉換編碼成該資料串流,方式如下
將一最後位置指示編碼成該資料串流,其沿著對一維轉換之轉換係數進行掃描之一預定掃描順序,指出該轉換之一最後轉換係數位置;以及
沿著該預定掃描順序將該轉換之轉換係數編碼成該資料串流一直到該最後轉換係數位置,其中沿著該預定掃描順序超過該最後轉換係數位置之該轉換之轉換係數應該設定為零。
實例40. 如實例38之編碼器,其中該等分區沿著該預定維度係一個樣本寬,並且該轉換係一一維轉換。
實例41. 如實例33至40中任一者之編碼器,
其中該編碼器被組配用以
沿著該預定維度,將該預定區塊劃分成該等分區,其中該等分區沿著該預定維度係一個樣本寬,
每個分區使用一個轉換,於一逐分區基礎上在轉換域中將該預測殘差編碼成該資料串流,其中
若該框內預測模式非為一平面模式,則該轉換係一DCT轉換,並且若該框內預測模式係該平面模式,則該轉換係一DST轉換,或
該轉換係一線性轉換,其一類型係基於該框內預測模式、一專屬語法元素及該預定分區順序其中一或多者來選擇。
實例42. 如實例33至41中任一者之編碼器,
其中該編碼器被組配用以
每個分區使用一轉換,於一逐分區基礎上在轉換域中將該預測殘差編碼成該資料串流,其中該轉換係屬於基於該框內預測模式、一專屬語法元素及該等分區之尺寸其中一或多者所選擇之一類型。
實例43. 如實例33至42中任一者之編碼器,
其被組配用以
為該圖片之該預定區塊將一拆分模式旗標編碼成該資料串流;
如果該拆分模式旗標指出一第一拆分模式,則進行該等分區之該預測殘差之該劃分、該循序經受及該傳訊;
如果該寫碼分區旗標指出一第二拆分模式,則採用取決於該框內寫碼模式之一方式使該預定區塊經受空間框內預測,並且傳訊該預定區塊之一預測殘差。
實例44. 如實例43之編碼器,
其被組配用以
藉由藉著採用取決於該框內寫碼模式之一方式,取決於鄰近該預定區塊之一或多個已編碼樣本,一件式填充該預定區塊,而為該預定區塊推導一預測子,若該寫碼分區旗標指出該第二拆分模式,則進行該空間框內預測,並且使用該預測殘差,藉由校正該預測子,為該預定區塊之一重構,確定該預定區塊之該預測殘差,或
藉由沿著水平及垂直細分葉區塊邊界將該預定區塊劃分成該預定區塊之一階層式多樹細分之諸葉區塊,若該寫碼分區旗標指出該第二拆分模式,則進行該空間框內預測,並且根據循序遍歷該等葉區塊之一預定葉區塊順序,為該預定區塊之該等葉區塊之一循序重構確定該預定區塊之該預測殘差。
實例45. 如實例43或44之編碼器,
其被組配用以,如果該框內預測模式係一角模式,
如果該拆分模式旗標指出一第一拆分模式,
在採用取決於該框內寫碼模式之一方式,取決於與該目前分區鄰近之一或多個已重構樣本,填充該目前分區時,使該等已編碼樣本經受取決於該角模式之一第一內插濾波;
如果該寫碼分區旗標指出一第二拆分模式,
在藉由空間框內預測重構該預定區塊時,藉由使該等已編碼樣本經受取決於該角模式之一第二內插濾波,採用取決於該框內寫碼模式之一方式,取決於與該預定區塊鄰近之該一或多個已重構樣本,填充該預定區塊,
其中該第一內插濾波與該第二內插濾波之差異在於該預定區塊內該預測子之各樣本所依賴之已編碼樣本之一平均數。
實例46. 如實例33至45中任一者之編碼器,
其被組配用以
確定該分區維度為水平或垂直,
為該圖片之該預定區塊,將一分區維度旗標編碼成該資料串流,其指出該分區維度係水平或垂直。
實例47. 如實例46之編碼器,
其被組配用以
使用取決於該框內寫碼模式之一脈絡,藉由脈絡相依熵編碼之使用來編碼該分區維度旗標。
實例48. 如實例46或47之編碼器,
其被組配用以
使用三個脈絡之一,藉由脈絡相依熵編碼之使用來編碼該分區維度旗標,該等三個脈絡包含
傳訊一非角模式之該框內寫碼模式,
傳訊一水平模式之該框內寫碼模式,
傳訊一垂直模式之該框內寫碼模式。
實例49. 如實例33至48中任一者之編碼器,
其被組配用以
取決於該框內寫碼模式來設定該預定分區順序。
實例50. 如實例33至49中任一者之編碼器,
其被組配用以,如果該框內預測模式係一角模式,
在採用取決於該框內寫碼模式之一方式,取決於與該目前分區鄰近之一或多個已編碼樣本,填充該目前分區時,使該等已編碼樣本經受取決於該角模式之一濾波,不用前置濾波。
實例51. 如實例33至50中任一者之編碼器,
其被組配用以
向框間預測寫碼模式及框內預測寫碼模式將諸區塊之一指派編碼成該資料串流,該圖片係細分成該等區塊,以在框間預測區塊與框內預測區塊之間作區別,其中該預定區塊係一框內預測區塊。
實例52. 如實例33至51中任一者之編碼器,其被組配用以
為該圖片之該預定區塊將一拆分模式旗標編碼成該資料串流,該拆分模式旗標指出,如果有設定,則使用該等分區之該預測殘差之該劃分、該循序經受及該傳訊,來寫碼該預定區塊,或者,如果未設定,則使用為該預定區塊確定之該框內預測模式,使用空間框內預測之一替代方式來寫碼該預定區塊,
使用一寫碼成本最小化方案來決定
該框內寫碼模式出自一所支援框內預測模式集合,以及
該拆分模式旗標有設定或未設定,
方式如下
對該預定區塊進行寫碼成本測試,以便從該所支援框內預測模式集合,識別當使用該等所支援框內預測模式寫碼該預定區塊時,在寫碼成本方面屬於較佳之一所支援框內預測模式,以便採用替代方式,使用框內寫碼模式,在寫碼該預定區塊時,為該預定區塊、及與之相關聯之一參考寫碼成本,取得該框內寫碼模式,以及
循序經受時,確定與該預測殘差相關聯之一寫碼子成本以供為重構該目前分區用於校正該預測子、將該寫碼子成本加入與該預定區塊之居前分區之預測殘差相關聯之諸居前寫碼成本之一總和以取得一更新寫碼成本總和、檢查該更新寫碼成本總和是否超出該參考寫碼成本並且在該寫碼成本超出該參考寫碼成本而編碼未設定之該拆分模式旗標之狀況中使該循序經受中止、以及如果為該預定分區順序中之該最後分區取得之該更新寫碼成本總和仍未超出該參考寫碼成本則編碼該拆分模式旗標。
實例53. 如實例33至52中任一者之編碼器,
其被組配用以設定該等分區沿著該預定維度所測量之一寬度,
取決於該預定區塊沿著預定維度之一尺寸及/或
取決於用於該預定區塊之該框內寫碼模式及/或
取決於用於該預定區塊之該框內寫碼模式是否係一角模式及/或
取決於該資料串流中用於該預定區塊之一語法元素,其指出該分區數或指出該寬度。
實例54. 如實例33至53中任一者之編碼器,
其被組配用以
除了該框內寫碼模式以外,還取決於為該預定區塊傳訊之一語法元素來設定該預定分區順序。
實例55. 如實例33至54中任一者之編碼器,
其被組配用以
從至少兩種不同順序,為該預定區塊選擇該預定分區順序,
為該預測子之該推導,採用取決於從至少兩種不同順序為該預定區塊進行之該預定分區順序之該選擇之一方式,選擇該一或多個已重構樣本。
實例56. 如實例55之編碼器,
其中取決於該預定分區順序之該選擇,進行該一或多個已重構樣本之該選擇,使得該一或多個已重構樣本在該至少兩種不同順序其中一者之狀況中,係位於該目前分區之兩個相對側,並且係僅位於該兩個相對側其中一側。
實例57. 如實例55或56之編碼器,
其中,該至少兩種不同順序其中一者從離該預定區塊之一左上角最遠之一分區開始遍歷該等分區,並且該至少兩種不同順序其中另一者從離該預定區塊之一左上角最接近之一分區開始遍歷該等分區。
實例58. 如實例33至57中任一者之編碼器,其被組配用以
為該預定區塊編碼該框內寫碼模式,方式如下
推導一最可能框內預測模式清單,其形成該編碼器所支援之一框內預測模式集合之一真子集,
將指向該最可能框內預測模式清單之一最可能模式清單指標編碼成該資料串流。
實例59. 如實例33至57中任一者之編碼器,其中該預定區塊係第一類型之一框內預測區塊,其中該編碼器被組配用以處理一框內預測區塊,方式如下
如果該框內預測區塊屬於一第二類型,
將一最可能旗標編碼成該資料串流,要在該框內預測區塊屬於該第一類型之狀況中將其推斷為處於一第一旗標狀態,
如果該最可能旗標假設該第一旗標狀態,
推導一最可能框內預測模式清單,其形成該編碼器所支援之一框內預測模式集合之一真子集,
將指向該最可能框內預測模式清單之一最可能模式清單指標編碼成該資料串流,
如果該最可能旗標假設該第二旗標狀態,
將再一指標編碼成該資料串流,其指向框內預測模式之一其餘部分集合,該其餘部分集合包含該框內預測模式集合之框內預測模式,與該最可能框內預測模式清單不相交,
整塊式或使用一遞迴四元樹劃分對該框內預測區塊進行框內預測。
實例60. 如實例58或59之編碼器,其被組配用以在該預定區塊係一第一類型之一框內預測區塊之狀況中,推導該最可能框內預測模式清單,與在該預定區塊係一第二類型之一框內預測區塊之狀況中推導有所不同。
實例61. 如實例58或59之編碼器,其被組配用以在該預定區塊係一第一類型之一框內預測區塊之狀況中,推導該最可能框內預測模式清單,與在該預定區塊係一第二類型之一框內預測區塊之狀況中推導有所不同,原因在於該編碼器被組配用以藉由禁止填佈有、或偏好、內填佈該框內預測模式集合上方之角模式、DC及/或該框內預測模式集合之平面模式來填佈該最可能框內預測模式清單。
實例62. 如實例58至61中任一者之編碼器,其被組配用以在該預定區塊係一第一類型之一框內預測區塊之狀況中,推導該最可能框內預測模式清單,與在該預定區塊係一第二類型之一框內預測區塊之狀況中推導有所不同,原因在於該編碼器被組配用以藉由偏好、內填佈更接近一預定維度之該框內預測模式集合之角模式來填佈該最可能框內預測模式清單,於該預定維度將該預定區塊劃分成該等分區,以使得相較於更遠離該預定維度之該框內預測模式集合之角模式,該等分區如該預定區塊一般寬。
實例63. 如實例33至62中任一者之編碼器,
其中,對於各分區,該編碼器被組配用以在轉換域中將該預測殘差編碼成該資料串流,
以藉以劃分一轉換之子塊為單位,為各子塊將該相應分區之該預測殘差之該轉換編碼成該資料串流,
將一寫碼子塊旗標編碼成該資料串流,其中
如果未設定該寫碼子塊旗標,則要將該相應子塊內該轉換之轉換係數推斷為零,以及
如果有設定該寫碼子塊旗標,則從該資料串流編碼該相應子塊內該轉換之該等轉換係數。
實例64. 如實例63之編碼器,其被組配用以將該轉換劃分成該等子塊,使得每個子塊之一係數量係一預定數字而與一分區尺寸無關,及/或使得該轉換係沿著一維度採用一維方式劃分成該等子塊,該轉換沿著該維度較不寬。
實例65. 一種用於從一資料串流對一圖片進行區塊式解碼之方法,其包含
從該資料串流為該圖片之一預定區塊解碼一框內寫碼模式;
沿著一預定維度,將該預定區塊劃分成諸分區,其中分區數大於2,及/或該等分區沿著該預定維度係一個樣本寬;
根據一預定分區順序循序重構該預定區塊之該等分區,該預定分區順序對於一目前分區並且在繼續一後續分區之前,沿著該預定維度循序遍歷該等分區,
採用取決於該框內寫碼模式之一方式,取決於與該目前分區鄰近之一或多個已重構樣本,藉由填充該目前分區為該目前分區推導一預測子;
使用在該資料串流中傳訊之一預測殘差,藉由校正該預測子來重構該目前分區。
實例66. 一種用於將一圖片區塊式編碼成一資料串流之方法,其包含
為該圖片之一預定區塊確定一框內寫碼模式,並且在該資料串流中傳訊該框內寫碼模式;
沿著一預定維度,將該預定區塊劃分成諸分區,其中分區數大於2,及/或該等分區沿著該預定維度係一個樣本寬;
根據一預定分區順序使該預定區塊之該等分區循序經受一預測,該預定分區順序對於一目前分區並且在繼續一後續分區之前,沿著該預定維度循序遍歷該等分區,
採用取決於該框內寫碼模式之一方式,取決於與該目前分區鄰近之一或多個已編碼樣本,藉由填充該目前分區為該目前分區推導一預測子;
確定一預測殘差以供在校正該預測子時用於重構該目前分區,
在該資料串流中傳訊該等分區之該預測殘差。
實例67. 一種電腦程式,其具有用於在一電腦上執行時,進行如實例65或66之一方法的一程式碼。
實例68. 一種資料串流,其係藉由根據如實例66之一方法所產生。
上述實施例對於本發明之原理而言只具有說明性。瞭解的是,本文中所述布置與細節的修改及變例對於所屬技術領域中具有通常知識者將會顯而易見。因此,意圖是僅受限於待決專利請求項之範疇,並且不受限於藉由本文中實施例之說明及解釋所介紹之特定細節。
10:編碼器
12、12':圖片
14:資料串流
22:預測殘差信號形成器
24:預測殘差
24'、24''':頻譜域預測殘差信號
24'':量化預測殘差信號
24''':預測殘差信號
26:預測信號
28:轉換器
32:量化器
34:熵寫碼器
36:預測級
38、52:去量化器
40、54:逆轉換器
42、56:組合器
44、58:預測模組
50:熵解碼器
80:框內寫碼區塊
82:框間寫碼區塊
84:轉換區塊
100:水平拆分
102
1~102
4、102
i、112
1~112
8、112
i:分區
104:水平分區維度
106:雙箭頭
108、134:樣本
110:參考符號
114:分區維度旗標
116:框內寫碼模式
120:預測殘差
120
1~120
4、120
i:資料
122:預測推導任務
124:預測殘差相關任務
126:分區順序
130:平均距離
132:方向
140:左上像素/樣本
160:劃分旗標
180、182:轉換
184:逆轉換
186:轉換係數
188:寫碼區塊旗標CBF
190:LP
192:最後位置
194:軸
196:DC係數
198:轉換係數資料
本發明之有助益態樣為申請專利範圍附屬項之主旨。下文對照圖式說明本申請案之較佳實施例,該等圖式中:
圖1展示用於對一圖片進行預測寫碼之一設備的一方塊圖,作為一編碼器之一實例,其中可根據本申請案之實施例實施一框內預測概念;
圖2展示與圖1之設備配合運作用於對一圖片進行預測解碼之一設備的一方塊圖,作為解碼器之一實例,其中可根據本申請案之實施例實施一框內預測概念;
圖3展示分別為預測殘差信號、預測信號及重構信號之間的一關係繪示一實例的一示意圖,以便為寫碼模式選擇、轉換選擇及轉換效能繪示設定細分之可能性;
圖4展示一示意圖,其根據允許在不同劃分維度(即水平與垂直拆分)之間進行一選擇之一實施例,繪示一框內寫碼區塊之一劃分處理;
圖5展示一示意圖,其繪示根據劃分選項處理之一框內寫碼區塊之分區之循序處理;
圖6展示一示意圖,其為一分區繪示填充過程之預測推導;
圖7分別為根據水平及垂直拆分模式拆分之已劃分框內預測區塊繪示實例,並且該等已劃分框內預測區塊分別具有與其相關聯之兩種不同框內預測模式,以便說明在與框內預測區塊相關聯之框內預測模式上對分區順序進行相依性確定之可能性;
圖8展示一示意圖,其繪示為使用分區選項處理之一框內預測區塊80所動用之一可能信號化;
圖9展示一示意圖,其根據一實施例繪示一分區之預測殘差之一可能傳輸方式;
圖10展示一示意圖,其為涉及框內預測模式劃分之寫碼成本繪示部分和確定,以便能夠在其明顯不會比任何標準框內預測模式變得更好時中止測試;以及
圖11展示編碼器之一模式或操作的一流程圖,以便根據一實施例進行分區模式測試;以及
圖12a及12b為一框內寫碼區塊之一替代劃分展示實例,圖12a為再一實施例,並且圖12b為一說明性比較實施例。
10:編碼器
12:圖片
14:資料串流
22:預測殘差信號形成器
24:預測殘差
24'、24''':頻譜域預測殘差信號
24":量化預測殘差信號
24'''':預測殘差信號
26:預測信號
28:轉換器
32:量化器
34:熵寫碼器
36:預測級
38:去量化器
40:逆轉換器
42:組合器
44:預測模組
46:重構信號
Claims (12)
- 一種用於從一資料串流(14)區塊式解碼出一圖片(12)的設備,該圖片包含要被解碼的多個區塊,該設備包含:一處理器;以及具有多個指令的一記憶體,該等指令當被執行時會致使該設備進行下述作業:針對該等多個區塊中之一目前區塊(80)而從該資料串流(14)判定出一框內寫碼模式(116);其中,該目前區塊沿著一分區維度(104)被劃分成數量大於2的數個分區(102i;112i);沿著該分區維度而藉由下述作業以一預定分區順序(126)循序重構該目前區塊之各個分區:針對該目前區塊之一目前分區進行以下作業:基於與該目前區塊之該目前分區相鄰的一或多個已重構樣本,使用該目前區塊之該框內寫碼模式(116)而為該目前分區推導出(122)一預測子;針對該目前分區判定一預測殘差,其中:若基於該預定分區順序,該目前分區不是該目前區塊中的最後分區,則從該資料串流解碼出一寫碼分區旗標,若基於該預定分區順序,該目前分區是該目前區塊中的最後分區,且若針對該目前區塊中之各個先前已重構分區的各個寫碼分區旗標皆為零,則推斷針對該目前分區的該寫碼分區旗標為一;若該寫碼分區旗標係為一或被推斷為一,則從該資料串流解碼出該目前分區的數個轉換係數,並對該目前分區之被解碼出的該等轉 換係數進行逆轉換,以獲得針對該目前分區的該預測殘差;以及組合針對該目前分區的該預測子和該預測殘差。
- 如請求項1所述的設備,其中,從該資料串流解碼出針對該目前分區的該寫碼分區旗標的作業係利用脈絡相依熵解碼所進行,該脈絡相依熵解碼使用一脈絡,該脈絡取決於針對在該預定分區順序中居於該目前分區之前的一分區所解碼出的該寫碼分區旗標。
- 如請求項1所述的設備,其中:若該寫碼分區旗標係為一或被推斷為一,則藉由下述作業而從該資料串流解碼出該目前分區之該預測殘差之該等轉換係數:從該資料串流解碼出一最後位置指示,該最後位置指示指出沿著用於掃描轉換係數的一預定掃描順序的一最後轉換係數位置;以及從該資料串流沿著該預定掃描順序一路解碼轉換係數直到該最後轉換係數位置,並推斷沿該預定掃描順序之超出該最後轉換係數位置的轉換係數為零。
- 如請求項1所述的設備,其中,各分區具有一轉換,該轉換屬於基於該目前區塊之該框內預測模式、一專屬語法元素及該等分區之尺寸其中一或多者而選出的一類型。
- 如請求項1所述的設備,其中,該等指令當被執行時會致使該設備進行下述作業:從該資料串流解碼出針對該圖片之該目前區塊的一分區維度旗標,並取決於該分區維度旗標將該分區維度設定為水平或垂直。
- 一種用於將一圖片區塊式編碼成一資料串流的設備,該圖片包含要被編碼的多個區塊,該設備包含:一處理器;以及 具有多個指令的一記憶體,該等指令當受該處理器執行時會致使該設備進行下述作業:針對該等多個區塊中之一目前區塊決定一框內寫碼模式,並將該框內寫碼模式編碼至該資料串流內;沿一分區維度將該目前區塊劃分成數量大於2的數個分區;根據沿該分區維度循序遍歷該等分區的一預定分區順序,而藉由下述作業循序處理該目前區塊之各個分區:針對該目前區塊之一目前分區進行以下作業:基於與該目前分區相鄰的一或多個已編碼樣本,使用針對該目前區塊的該框內寫碼模式而針對該目前區塊之該目前分區推導出一預測子;針對該目前分區判定一預測殘差,其中:若基於該預定分區順序,該目前分區不是該目前區塊中的最後分區,則將一寫碼分區旗標編碼至該資料串流內,並且若該寫碼分區旗標為一,則將該目前分區的數個轉換係數編碼至該資料串流內,而若該寫碼分區旗標為零,則跳過針對該目前分區編碼該等轉換係數的動作;若基於該預定分區順序,該目前分區是該目前區塊中的最後分區,且若針對該目前區塊中之各個先前已處理分區的各個寫碼分區旗標皆為零,則跳過針對該目前分區編碼該寫碼分區旗標的動作,並將該目前分區之該等轉換係數編碼至該資料串流內。
- 如請求項6所述的設備,其中:將針對該目前分區的該寫碼分區旗標編碼至該資料串流內的作業係利用脈絡相依熵編碼所進行,該脈絡相依熵編碼使用一脈絡,該脈絡取決於針對在該預定分區順序中居於該目前分區之前的一分區而被編碼的一寫碼分區旗標。
- 如請求項6所述的設備,其中: 若針對該目前分區的該寫碼分區旗標為一,或若基於該預定分區順序,該目前分區是該目前區塊中的最後分區且針對該目前區塊中之各個先前已處理分區的各個寫碼分區旗標皆為零,則藉由下述作業將該目前分區之該預測殘差之該等轉換係數編碼至該資料串流內:將一最後位置指示編碼至該資料串流內,該最後位置指示指出沿著用於掃描轉換係數的一預定掃描順序的一最後轉換係數位置;以及沿著該預定掃描順序一路將轉換係數編碼至該資料串流內直到該最後轉換係數位置,其中,沿該預定掃描順序之超出該最後轉換係數位置的轉換係數被設定為零。
- 如請求項6所述的設備,其中:各分區具有一轉換,該轉換屬於基於該目前區塊之該框內預測模式、一專屬語法元素及該等分區之尺寸其中一或多者而選出的一類型。
- 如請求項6所述的設備,其中,該等指令當被執行時會致使該設備進行下述作業:將針對該目前區塊的一分區維度旗標編碼至該資料串流內,其指出該分區維度為水平抑或垂直。
- 一種用於從一資料串流(14)區塊式解碼出一圖片(12)的方法,該圖片包含要被解碼的多個區塊,該方法包含:針對該等多個區塊中之一目前區塊(80)而從該資料串流(14)判定出一框內寫碼模式(116);其中,該目前區塊沿著一分區維度(104)被劃分成數量大於2的數個分區(102i,112i);沿著該分區維度而藉由下述作業以一預定分區順序(126)循序重構該目前區塊之各個分區: 針對該目前區塊之一目前分區進行以下作業:基於與該目前區塊之該目前分區相鄰的一或多個已重構樣本,使用該目前區塊之該框內寫碼模式(116)而為該目前分區推導出(122)一預測子;針對該目前分區判定一預測殘差,其中:若基於該預定分區順序,該目前分區不是該目前區塊中的最後分區,則從該資料串流解碼出一寫碼分區旗標,若基於該預定分區順序,該目前分區是該目前區塊中的最後分區,且若針對該目前區塊中之各個先前已重構分區的各個寫碼分區旗標皆為零,則推斷針對該目前分區的該寫碼分區旗標為一;若該寫碼分區旗標係為一或被推斷為一,則從該資料串流解碼出該目前分區的數個轉換係數,並對該目前分區之被解碼出的該等轉換係數進行逆轉換,以獲得針對該目前分區的該預測殘差;以及組合針對該目前分區的該預測子和該預測殘差。
- 一種用於將一圖片區塊式編碼成一資料串流的方法,該圖片包含要被編碼的多個區塊,該方法包含:針對該等多個區塊中之一目前區塊決定一框內寫碼模式,並將該框內寫碼模式編碼至該資料串流內;沿一分區維度將該目前區塊劃分成數量大於2的數個分區;根據沿該分區維度循序遍歷該等分區的一預定分區順序,而藉由下述作業循序處理該目前區塊之各個分區:針對該目前區塊之一目前分區進行以下作業:基於與該目前分區相鄰的一或多個已編碼樣本,使用針對該目前區塊的該框內寫碼模式而針對該目前區塊之該目前分區推導出一預測子;判定一預測殘差,其中: 若基於該預定分區順序,該目前分區不是該目前區塊中的最後分區,則將一寫碼分區旗標編碼至該資料串流內,並且若該寫碼分區旗標為一,則將該目前分區的數個轉換係數編碼至該資料串流內,而若該寫碼分區旗標為零,則跳過針對該目前分區編碼該等轉換係數的動作;若基於該預定分區順序,該目前分區是該目前區塊中的最後分區,且若針對該目前區塊中之各個先前已處理分區的各個寫碼分區旗標皆為零,則跳過針對該目前分區編碼該寫碼分區旗標的動作,並將該目前分區之該等轉換係數編碼至該資料串流內。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18156169 | 2018-02-09 | ||
EP18156169.7 | 2018-02-09 | ||
EP18183571 | 2018-07-13 | ||
EP18183571.1 | 2018-07-13 | ||
EP19150108 | 2019-01-02 | ||
EP19150108.9 | 2019-01-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202249485A TW202249485A (zh) | 2022-12-16 |
TWI834167B true TWI834167B (zh) | 2024-03-01 |
Family
ID=65243601
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111118067A TWI834167B (zh) | 2018-02-09 | 2019-02-11 | 基於分區之框內寫碼技術 |
TW108104443A TWI767105B (zh) | 2018-02-09 | 2019-02-11 | 基於分區之框內寫碼技術 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108104443A TWI767105B (zh) | 2018-02-09 | 2019-02-11 | 基於分區之框內寫碼技術 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11956429B2 (zh) |
EP (1) | EP3750306A1 (zh) |
JP (2) | JP7187566B2 (zh) |
KR (1) | KR102504298B1 (zh) |
CN (2) | CN111971959B (zh) |
TW (2) | TWI834167B (zh) |
WO (1) | WO2019154936A1 (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2577056B (en) * | 2018-09-11 | 2022-12-14 | British Broadcasting Corp | Bitstream decoder |
US11272198B2 (en) * | 2019-01-30 | 2022-03-08 | Tencent America LLC | Method and apparatus for improved sub-block partitioning intra sub-partitions coding mode |
US12047596B2 (en) | 2019-01-31 | 2024-07-23 | Hfi Innovation Inc. | Method and apparatus of combined inter and intra prediction for video coding |
US11595663B2 (en) * | 2019-02-01 | 2023-02-28 | Qualcomm Incorporated | Secondary transform designs for partitioned transform units in video coding |
WO2020163535A1 (en) * | 2019-02-05 | 2020-08-13 | Beijing Dajia Internet Information Technology Co., Ltd. | Video coding using intra sub-partition coding mode |
JP2022524523A (ja) * | 2019-03-11 | 2022-05-06 | ヴィド スケール インコーポレイテッド | ビデオ符号化におけるイントラサブパーティション |
US11539952B2 (en) | 2019-03-12 | 2022-12-27 | Qualcomm Incorporated | Implicit transform selection in video coding |
CN113711593B (zh) | 2019-03-12 | 2024-08-23 | 弗劳恩霍夫应用研究促进协会 | 实现高效率的基于分区的帧内编码构思 |
WO2020185004A1 (ko) * | 2019-03-12 | 2020-09-17 | 현대자동차주식회사 | 예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치 |
CN113661712A (zh) * | 2019-03-12 | 2021-11-16 | 夏普株式会社 | 在视频编码中用于执行帧内预测编码的系统和方法 |
CN113574879A (zh) * | 2019-03-15 | 2021-10-29 | 三星电子株式会社 | 图像编码方法和装置、图像解码方法和装置 |
US11277637B2 (en) * | 2019-05-09 | 2022-03-15 | Qualcomm Incorporated | Reference sampling for matrix intra prediction mode |
US11206417B2 (en) * | 2019-05-30 | 2021-12-21 | Tencent America LLC | Method and apparatus for video coding |
US11438616B2 (en) * | 2019-08-27 | 2022-09-06 | Tencent America LLC | Method and apparatus for video coding |
WO2021037258A1 (en) * | 2019-08-30 | 2021-03-04 | Beijing Bytedance Network Technology Co., Ltd. | Sub-partitioning in intra coding |
KR20220053567A (ko) | 2019-09-01 | 2022-04-29 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서의 예측 가중치 정렬 |
US11310511B2 (en) * | 2019-10-09 | 2022-04-19 | Tencent America LLC | Method and apparatus for video coding |
WO2021068923A1 (en) * | 2019-10-10 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Deblocking filtering improvements |
US20240007645A1 (en) * | 2020-11-23 | 2024-01-04 | Hyundai Motor Company | Video encoding and decoding method using adaptive reference pixel selection |
US11601257B2 (en) * | 2020-12-04 | 2023-03-07 | International Business Machines Corporation | Creating deterministic ciphertext using wide-block encryption |
CN114286108A (zh) * | 2021-12-31 | 2022-04-05 | 展讯通信(上海)有限公司 | 确定帧内编码模式的方法、装置、电子设备及存储介质 |
WO2023214699A1 (ko) * | 2022-05-03 | 2023-11-09 | 현대자동차주식회사 | 블록 위치에 기초하는 인트라 모드의 적응적 코딩을 위한 방법과 장치 |
WO2024005547A1 (ko) * | 2022-06-29 | 2024-01-04 | 엘지전자 주식회사 | Isp 모드에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012167119A1 (en) * | 2011-06-03 | 2012-12-06 | Qualcomm Incorporated | Intra prediction mode coding with directional partitions |
WO2013040370A1 (en) * | 2011-09-16 | 2013-03-21 | Qualcomm Incorporated | Line buffer reduction for short distance intra - prediction in video coding |
WO2013106888A1 (en) * | 2012-01-20 | 2013-07-25 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454371B (zh) * | 2010-04-13 | 2020-03-20 | Ge视频压缩有限责任公司 | 解码器、数组重建方法、编码器、编码方法及存储介质 |
JP6763664B2 (ja) * | 2012-10-01 | 2020-09-30 | ジーイー ビデオ コンプレッション エルエルシー | エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化 |
US9813737B2 (en) * | 2013-09-19 | 2017-11-07 | Blackberry Limited | Transposing a block of transform coefficients, based upon an intra-prediction mode |
MX361228B (es) * | 2014-03-04 | 2018-11-29 | Microsoft Technology Licensing Llc | Inversión de bloque y modo de omisión en predicción de intracopia de bloque. |
US10218975B2 (en) | 2015-09-29 | 2019-02-26 | Qualcomm Incorporated | Transform precision manipulation in video coding |
US10390026B2 (en) * | 2016-03-25 | 2019-08-20 | Google Llc | Smart reordering in recursive block partitioning for advanced intra prediction in video coding |
US20170374369A1 (en) * | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
US10764587B2 (en) | 2017-06-30 | 2020-09-01 | Qualcomm Incorporated | Intra prediction in video coding |
US20190045198A1 (en) * | 2017-12-28 | 2019-02-07 | Intel Corporation | Region adaptive data-efficient generation of partitioning and mode decisions for video encoding |
-
2019
- 2019-02-07 JP JP2020543004A patent/JP7187566B2/ja active Active
- 2019-02-07 KR KR1020207025263A patent/KR102504298B1/ko active IP Right Grant
- 2019-02-07 CN CN201980024064.6A patent/CN111971959B/zh active Active
- 2019-02-07 EP EP19702479.7A patent/EP3750306A1/en active Pending
- 2019-02-07 CN CN202410683400.0A patent/CN118450120A/zh active Pending
- 2019-02-07 WO PCT/EP2019/053058 patent/WO2019154936A1/en active Search and Examination
- 2019-02-11 TW TW111118067A patent/TWI834167B/zh active
- 2019-02-11 TW TW108104443A patent/TWI767105B/zh active
-
2020
- 2020-08-06 US US16/986,628 patent/US11956429B2/en active Active
-
2022
- 2022-11-30 JP JP2022191609A patent/JP7536851B2/ja active Active
-
2023
- 2023-11-30 US US18/525,275 patent/US20240155126A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012167119A1 (en) * | 2011-06-03 | 2012-12-06 | Qualcomm Incorporated | Intra prediction mode coding with directional partitions |
WO2013040370A1 (en) * | 2011-09-16 | 2013-03-21 | Qualcomm Incorporated | Line buffer reduction for short distance intra - prediction in video coding |
WO2013106888A1 (en) * | 2012-01-20 | 2013-07-25 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit |
Also Published As
Publication number | Publication date |
---|---|
JP2021513296A (ja) | 2021-05-20 |
US11956429B2 (en) | 2024-04-09 |
US20240155126A1 (en) | 2024-05-09 |
US20200366895A1 (en) | 2020-11-19 |
WO2019154936A1 (en) | 2019-08-15 |
KR20230030054A (ko) | 2023-03-03 |
JP2023022221A (ja) | 2023-02-14 |
EP3750306A1 (en) | 2020-12-16 |
JP7187566B2 (ja) | 2022-12-12 |
CN111971959A (zh) | 2020-11-20 |
TW201941604A (zh) | 2019-10-16 |
CN111971959B (zh) | 2024-06-14 |
KR102504298B1 (ko) | 2023-02-28 |
JP7536851B2 (ja) | 2024-08-20 |
KR20200128020A (ko) | 2020-11-11 |
CN118450120A (zh) | 2024-08-06 |
TW202249485A (zh) | 2022-12-16 |
TWI767105B (zh) | 2022-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI834167B (zh) | 基於分區之框內寫碼技術 | |
TWI764015B (zh) | 分區框內寫碼技術 | |
JP7535068B2 (ja) | イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法 | |
TWI830012B (zh) | 圖片編碼的裝置和方法 | |
CN117119195A (zh) | 变换系数块编码 | |
JP7513813B2 (ja) | 実装効率の良いパーティションベースのイントラ符号化概念 | |
US11553207B2 (en) | Contour mode prediction | |
KR102722939B1 (ko) | 파티션 기반 인트라 코딩 개념 | |
KR102718946B1 (ko) | 분할 인트라 코딩 개념 | |
JP7436663B2 (ja) | サンプルブロックの変換済み表現についてのコーディングコンセプト | |
KR20240152972A (ko) | 분할 인트라 코딩 개념 | |
JP2024150750A (ja) | イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法 |