TWI779545B - 在視訊編解碼系統中以編碼樹單元為基礎進行切片分割之畫面編解碼方法和裝置 - Google Patents

在視訊編解碼系統中以編碼樹單元為基礎進行切片分割之畫面編解碼方法和裝置 Download PDF

Info

Publication number
TWI779545B
TWI779545B TW110112106A TW110112106A TWI779545B TW I779545 B TWI779545 B TW I779545B TW 110112106 A TW110112106 A TW 110112106A TW 110112106 A TW110112106 A TW 110112106A TW I779545 B TWI779545 B TW I779545B
Authority
TW
Taiwan
Prior art keywords
slice
slices
block
picture
rectangular
Prior art date
Application number
TW110112106A
Other languages
English (en)
Other versions
TW202143713A (zh
Inventor
黃毓文
魯林 陳
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202143713A publication Critical patent/TW202143713A/zh
Application granted granted Critical
Publication of TWI779545B publication Critical patent/TWI779545B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

視訊處理方法與裝置包括：接收與一當前畫面相關聯的輸入資料，該當前畫面是由用於編碼或解碼的複數個編解碼樹單元(Coding Tree Unit，CTU)所組成，將該當前畫面分割為一或多個切片，包括光柵掃描切片或矩形切片，以及對當前畫面中每一切片，藉由總是以一光柵掃描順序來處理在每一切片中的CTU而編碼或解碼每一切片。每一切片包含該當前畫面中的一整數個完整(complete)的CTU，該等切片的CTU僅(exclusively)被包含在一單個(single)網路接入層(Network Access Layer，NAL)單元中。分塊分割(Tile paritition)與分塊概念可以被移除以降低視訊處理的編解碼複雜度。

Description

在視訊編解碼系統中以編碼樹單元為基礎進行切片分割之畫 面編解碼方法和裝置
本發明關於視訊編解碼方法與裝置以編碼或解碼視訊資料。尤其，本發明關於基於CTU的切片分割來用於視訊編解碼系統。
多功能視訊編解碼(Versatile Video Coding，VVC)標準是由ITU-T研究組視訊編解碼專家聯合協作組(JCT-VC)的視訊編解碼專家所開發的最新視訊編解碼標準。VVC標準依賴於基於塊的編解碼結構，其將每個畫面分割為多個編解碼樹單元(CTU)。一個CTU由NxN個亮度(luma)樣本塊以及一或多個相應的色度(chroma)樣本塊所組成。例如，每一CTU由一個32x32亮度編解碼樹塊(CTB)以及用於4：2：0色度次取樣的兩個16x16色度CTB所組成。第1圖顯示一畫面分割為數個CTU的例子。每一CTU進一步遞迴式地被分割為一或多個編解碼單元(CU)而進行編碼或解碼以適應各種局部特性(local characteristics)。
視訊編碼或解碼中的預測決定是在CU層級(CU level)所做的，其中每一CU被幀間畫面(時間)預測或幀內畫面(空間)預測之一來加以編解碼。在得到藉由預測程序所產生的一殘差信號後，將屬於一CU的殘差信號進一 步轉換為轉換係數以進行緊密的資料表示(compact data representation)，而且這些轉換係數被量化並傳送到解碼器。
在VVC中各種畫面分割方法 一畫面可以被分割為一或多個分塊行(tile row)以及一或多個分塊欄(tile column)，而且分塊是一序列的CTU，其涵蓋了在該畫面中一特定分塊欄和一特定分塊行之中的一矩形區域。分塊的特性主要是為了平行處理的目的，分塊分割後的矩形切片形成次畫面(subpicture)也可以用於基於視口(viewport)的360度視訊應用。一畫面的分塊分割的處理順序是在該畫面內的分塊光柵掃描以及一分塊內CTU光柵掃描。分塊打破了畫面內預測的依賴性(dependency)以及熵解碼依賴性。切片的特性主要用於次畫面層級接入(access)與超低延遲。光柵掃描切片模式和矩形切片模式是VVC標準所支援的兩種切片結構模式。矩形切片總是為一矩形形狀，而光柵掃描切片可能是也可能不是一矩形形狀。光柵掃描切片由一畫面的整數個完整(complete)分塊所組成，這些分塊僅(exclusively)被包含在單個網絡抽象層(Network Abstraction Layer，NAL)單元中，而且一矩形切片由一畫面的整數個完整的分塊所組成或由在一畫面的一分塊中整數個連續(consecutive)完整的CTU行所組成，這些CTU行僅(exclusively)被包含在單個NAL單元中。在光柵掃描切片模式中，一切片包含一畫面中分塊光柵掃描順序的一完整分塊的序列。在矩形切片模式中，一切片包含共同形成畫面的一矩形區域的數個完整分塊或是共同形成畫面一矩形區域的一個分塊的數個連續完整CTU行。在一光柵掃描切片中的分塊是按照切片內的一分塊光柵掃描順序進行處理。在一矩形切片中的分塊是按照對應於該切片的該矩形區域內的一分塊光柵掃描順序進行處理。一次圖片包含一或多個切片，這些切片共同涵蓋了一畫面的一矩形區域。一畫面中的次畫面允許獨立編解碼和提取一編解碼畫面序列的一矩形次集合，以用於視口相關360度視訊流最佳化以及感興趣區域應用等的使用案例。即使 當次畫面是可提取的，次畫面允許一編解碼塊的運動向量指向次畫面之外，因此允許在次畫面邊界填充(padding)作為畫面邊界。
VVC標準中分塊和切片的關係一般有三種情況：光柵掃描切片中的分塊、矩形切片中的分塊、以及分塊中的矩形切片。第2圖繪示了光柵掃描切片中的分塊的例子，其中一畫面被分割為12個分塊並包含3個光柵掃描切片。如第2圖所示的畫面中有3個分塊欄(column)和4個分塊行(row)，而且每一分塊由18個CTU所組成。畫面的第一個切片由前2個分塊組成，第二個切片由分塊光柵掃描順序中的五個連續分塊組成，以及第三個切片由剩餘的5個分塊組成。第3圖繪示了矩形切片中分塊的例子，其中畫面被分割24個分塊並包含9個矩形切片。在此例子中有6個分塊欄(column)和4個分塊行(row)。除了第四、第五、第六矩形切片每一個具有4個分塊，所有其他矩形切片都由2個分塊所組成。第4圖顯示出在分塊中矩形切片的例子，其中一畫面被分割為分塊和矩形切片，並且一個分塊可以包含多個矩形切片，並且一個矩形切片可以包含多個分塊。第4圖中的畫面被分割為4個分塊和4個矩形切片。在此例子中，有2個分塊欄和2個分塊行，每一分塊包含54個CTU。該例子中的矩形切片可以包含2個分塊，或者備選地，一分塊可以包含2個矩形切片。第5圖顯示出了一畫面的次畫面分割的例子，其中該畫面被分割為28個不同維度的次畫面。
在根據三種情況之一對一畫面進行分割之後，分塊和切片邊界在解碼處理中對編解碼工具施加約束。在解碼處理中，兩種邊界(分塊邊界和切片邊界)在邊緣檢查與相鄰塊可用性檢查(neighboring block availability checking)、量化參數(Quantizaton Parameter，QP)設定、以及上下文自適性二進制算術編碼(Context-based Adaptive Binary Arithmetic Coding，CABAC)的初始化以及環路濾波(loop filtering)是被相同處理(treated equally)。換句話說，分塊和切 片邊界二者都對各種編解碼工具施加了約束。如表1所示，兩個控制旗標loop_filter_across_slices_enabled_flag和loof_filter_across_tile_enabled_flag被指明於PPS中，並且這兩個控制旗標分別指示是否應用環路濾波器操作於跨越切片邊界以及分塊邊界。
Figure 110112106-A0305-02-0006-1
在VVC標準中，分塊和切片的使用有些不同，例如次畫面佈局是直接基於切片而不是分塊，次畫面邊界與切片邊界重合(coincide)，以及切片尺寸大小定義了在單個NAL單元中的資料大小。與次畫面邊界相關的處理優先於(override)切片邊界的處理。平行處理可以基於分塊分割。
用於分塊、切片和次畫面佈局的高階語法 基於多功能視訊編解碼(VVC)草稿8，如表2所示，分塊分割和矩形切片結構被指明於畫面參數集(Picture Parameter Set，PPS)中，其涵蓋用於一切片佈局的均勻(uniform)和非均勻(non-uniform)分塊欄和行的二個情況。矩形切片的佈局基於分塊的佈局在PPS中加以發信，而且包括在光柵掃描切片中的分塊的信息在切片標頭中加以發信。根據VVC草案8，表3展示了與光柵掃描切片情況相關聯的語法元素。對於光柵掃描切片的情況，切片結構是以每一切片中分塊的數目在切片標頭中加以指定。次畫面佈局是在序列參數集(Sequence Parameter Set，SPS)中加以指定。
表二
Figure 110112106-A0305-02-0007-3
Figure 110112106-A0305-02-0008-5
Figure 110112106-A0305-02-0008-6
用在一視訊編碼或解碼系統中視訊處理方法的實施例，接收與一當前畫面相關聯的輸入資料，該當前畫面是由用於編碼或解碼的複數個編解碼樹單元(Coding Tree Units，CTUs)所組成，分割該當前畫面為一或多個切片，包括光柵掃描切片或矩形切片，而且對該當前畫面中每一切片，藉由總是以一 光柵掃描順序來處理在每一切片中的CTU，而編碼或解碼每一切片。每一CTU是由一亮度樣本塊以及一或多個對應的色度樣本塊所組成。每一切片包含在該當前畫面中一整數個完整的CTU，該等切片的CTU僅被包含在一單個網路接入層(Network Access Layer，NAL)單元中。將當前畫面分割為數個分塊的實施例中，其中每一分塊是在一個特定分塊欄(column)與一特定分塊行(row)之中的一矩形區域的CTU，該等切片是藉由以一光柵掃描順序的複數個連續的分塊所形成的光柵掃描切片，或是該等切片是藉由將該當前畫面分割為矩形區域所形成的矩形切片，每一矩形區域包含複數個完整的分塊。在移除分塊分割約束與概念的一些實施例中，該等切片是藉由以一光柵掃描順序的複數個連續的CTU所形成的光柵掃描切片，或是該等切片是藉由將該當前畫面分割為矩形區域所形成的矩形切片，每一矩形區域包含複數個完整的CTU。每一光柵掃描切片是基於一數目個連續CTU加以指明，而且每一矩形切片是基於具有一格柵欄寬度以及一格柵行高度的複數個格柵以CTU為單元加以指明。
在分割該當前畫面為複數個分塊的一些實施例中，其中每一分塊由在一特定分塊欄與一特定分塊行之中一矩形區域的CTU所組成，編碼或解碼每一切片進一步包括使分塊邊界相關的處理失能。例如，分塊邊界相關的處理包括下列之一或一組合：用於分塊邊界的邊緣檢查與相鄰塊可用性檢查，以用於量化參數推導(Quantization Parameter，QP)以及基於上下文自適性二進制算術編碼(Context based Adaptive Binary Arithmetic Coding，CABAC)的初始化，以及跨越分塊邊界的環路濾波處理。在一些實施例中，一第一旗標被視訊編碼系統於一視訊位元流中加以發信，或該第一旗標被視訊解碼系統從一視訊位元流中加以剖析。依據第一旗標的一數值，分塊邊界相關處理被自適性地致能或失能，例如，當此第一旗標等於1時，分塊邊界相關的處理可以被致能，以及當此第一旗標等於0時，分塊邊界相關的處理被失能。在一實施例中，第一旗 標於與該當前畫面相關聯的一序列參數集(Sequence Parameter Set，SPS)中加以發信，或從與該當前畫面相關聯的一SPS中加以剖析。
將當前畫面分割為數個分塊的一些實施例中，分塊分割僅被用來作為切片布局(slice layout)的一分割格柵(partition grid)，以及分塊邊界相關處理總是被失能，即在分割後的分塊邊界在編碼或解碼程序中不施加任何約束。
依據一實施例，該當前畫面由複數個次畫面組成，其中每一次畫面是在該當前畫面之中的一或多個切片的一矩形區域。次畫面邊界相關的處理優先於(override)重合的(coinciding)切片邊界相關的處理。當平行處理被使用來編碼或解碼該當前畫面中每一切片的情況下，平行處理是基於次畫面或矩形切片分割。
依據本發明的一些實施例，切片邊界相關的處理在視訊編碼或視訊解碼時被致能。例如，切片邊界相關的處理包括下列之一或一組合：用於切片邊界的邊緣檢查與相鄰塊可用性檢查，以用於QP推導以及CABAC的初始化，以及跨越切片邊界的環路濾波處理。
將當前畫面分割為一或多個矩形切片的步驟包括：發信或剖析以CTU為單元的每一矩形切片中與一左上方CTU的一位置相關的語法元素、以及以CTU為單元的每一矩形切片中的一切片寬度與切片高度。將當前畫面分割為一或多個光柵掃描切片的步驟包括：發信或剖析在每一光柵掃描切片的一第一CTU的一光柵掃描CTU索引的相關語法元素以及在每一光柵掃描切片的CTU的一數目。
在一些實施例中，該當前畫面中切片的形狀於解碼時被約束為有由畫面邊界所組成或由先前解碼後切片的邊界所組成的一整個左方邊界與整個上方邊界。
本揭示的一些方面進一步提供一種裝置以用於一視訊編碼或解碼系統中。該裝置的有些實施例接收與一當前畫面中相關聯的輸入資料，其中該當前畫面是由用於編碼或解碼的複數個CTU所組成，而且每一CTU是由一亮度樣本塊以及一或多個對應的色度樣本塊所組成，將該當前畫面分割為一或多個切片，包括光柵掃描切片或矩形切片，以及對每一切片，藉由總是以一光柵掃描順序來處理在每一切片中的CTU，而編碼或解碼每一切片。每一切片包含在該當前畫面中一整數個完整的(complete)CTU，該等切片的CTU僅(exclusively)被包含在一單個NAL單元中。
S1002~S1016:步驟
1100:視訊編碼器
1110:幀內預測模組
1112:幀間預測模組
1114:開關
1116:加法模組
1118:轉換模組(T)
1120:量化模組(Q)
1122:逆量化模組(IQ)
1124:逆轉換模組(IT)
1126:重構模組(REC)
1128:內環路處理濾波器(ILPF)
1132:參考畫面緩衝器(Ref.Pict.Buffer)
1134:熵編碼器
1200:視訊解碼器
1212:幀內預測模組
1214:幀間預測模組
1216:開關
1218:重構模組(REC)
1220:逆量化模組(IQ)
1222:逆轉換模組(IT)
1224:內環路處理濾波器(ILPF)
1228:參考畫面緩衝器(Ref.Pict.Buffer)
在本揭示被提出當例子的各種實施例將會參照下列圖式被更詳細地解說，其中類似的數字參照類似的元件，而且其中：第1圖繪示將一視訊畫面分割為數個CTU的一例子。
第2圖繪示應用光柵掃描切片分割來將一畫面分為12個分塊與3個光柵掃描切片的一例子。
第3圖繪示應用矩形切片分割來將一畫面分為24個分塊與9個矩形切片的一例子。
第4圖繪示分割一畫面為4個分塊與4個矩形切片的一例子。
第5圖繪示分割一畫面分為28個次畫面的一例子。
依據本發明的一實施例，第6A圖繪示一傳統處理順序來將以光柵掃描切片進行分割的一畫面加以編碼或解碼；以及第6B圖繪示一處理順序來將以光柵掃描切片進行分割的一畫面加以編碼或解碼。
依據本發明的一實施例，第7A圖繪示一傳統處理順序來將以矩形切片進行分割的一畫面加以編碼或解碼；以及第7B圖繪示一處理順序來將以矩形切片進行分 割的一畫面加以編碼或解碼。
第8圖繪示分割一畫面為10個矩形切片與5個次畫面的一例子。
第9圖繪示將一畫面分割為3個光柵掃描切片的一例子。
第10圖依據本發明的一實施例為藉由移除分塊概念來處理在CTU掃描順序的視訊資料的一流程圖。
第11圖繪示一示例性系統方塊圖以體現依據本發明實施例的視訊處理方法於一視訊編碼系統。
第12圖繪示一示例性系統方塊圖以體現依據本發明實施例的視訊處理方法於一視訊解碼系統。
將容易理解的是，本發明的組件，如本文圖中一般描述和示出的，可以以各種各樣的不同配置進行配置和設計。因此，如附圖所示的本發明的系統和方法的實施例的以下更詳細的描述並不旨在限制如所要求保護的本發明的範圍，而是僅代表本發明的選定實施例。
本說明書中對“一實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵、結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例，這些實施例可以單獨實施或與一個或多個其他實施例結合實施。此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，相關領域的習知技藝者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實踐本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。
對於VVC標準中分塊和切片之間關係的前兩種情況，在光柵掃 描切片或矩形切片內的分塊分割對編解碼效率的編解碼增益(coding gain)沒有貢獻或貢獻不足。更糟糕的是，分塊分割對編碼或解碼處理施加了多種影響(imposition)，例如，一分塊中的CTU是依據在分塊之內的一光柵掃描順序來加以處理，對某些編解碼工具需要進行分塊邊界檢查，這因而降低編解碼效率。此外，基於矩形切片的平行處理是可能的，並且可以取代基於分塊的平行處理。對於分塊和切片之間關係的第三種情況，施加的影響可以包括在一切片中的CTU是依照光柵掃描順序加以處理，並且切片邊界檢查是必須的。在第三種情況下，基於切片的平行處理也可以取代基於分塊的平行處理。在切片之外的分塊分割不影響基本切片處理。第三種情況實際上是由具有次畫面的使用案例所激發的。在使用案例中，次畫面邊界與分塊邊界重合，而且次畫面邊界相關的處理優先於(override)分塊邊界相關處理。為進一步考慮關於畫面分割結構的編解碼效率改善，本揭示提供以下方法。
方法1：分塊邊界不施加約束(Constraints) 本發明多種實施例改善編解碼效率以及藉由移除因分塊分割所造成的約束而降低系統複雜度。在方法1的實施例中，分塊邊界不可以對越跨分塊邊界的處理施加約束，換言之，在視訊編碼和解碼之中分塊邊界相關的處理可以被失能(disabled)。分塊邊界相關處理的一些例子為用於分塊邊界的邊緣檢查或相鄰塊可用性檢查(neighboring block availability checking)，以用於量化參數(Quantization Parameter，QP)推導或上下文自適性二進制算術編碼(Context-based Adaptive Binary Arithmetic Coding，CABAC)的初始化，以及跨越分塊邊界的環路濾波處理。在一些實施例中，一當前畫面由數個CTU所組成，而且當前畫面被一或多個分塊欄(column)以及一或多個分塊行(row)所分割。當前畫面中每一分塊是當前畫面中一特定分塊欄和一特定分塊行之中的CTU的一矩形區域。每一CTU由一NxN的亮度樣本塊以及一或多個對應的色度樣本塊所組成，例如每個 CTU由一個亮度CTB以及兩個色度CTB所組成。依據各種實施例，當前畫面也被劃分為多個光柵掃描切片或矩形切片。在一些實施例中，當前畫面中光柵掃描切片是藉由納入以光柵掃描順序的多個連續分塊來形成，而且當前畫面中的矩形切片是藉由將當前畫面分割為每一包含多個完整分塊(complete tile)的矩形區域所形成。在一些其他實施例中，切片邊界不必然與分塊邊界重合(coincide)，其中當前畫面中光柵掃描切片是藉由納入在一切片之中以光柵掃描順序的多個連續CTU來形成，而當前畫面中的矩形切片是藉由將當前畫面分割為矩形區域所形成，而每一矩形區域包含在一切片之中以一光柵掃描順序的多個完整的CTU。依據一實施例，每一光柵掃描切片是基於當前畫面中連續CTU的一數目來加以指明，而且根據另一個實施例，每一矩形切片是基於具有一格柵欄寬度(grid column width)和一格柵行高度(grid row height)的一格柵(以分塊為單位)來加以指明。在另一實施例的矩形切片中，每一矩形切片是基於具有一格柵欄寬度和一格柵行高度的一格柵(以CTU為單位)來加以指明。根據一些實施例，當前畫面還可以包括多個次畫面，每個次畫面具有一或多個完整的切片。根據本發明的一些實施例，與次畫面邊界相關的處理優先於對重合切片邊界的處理。在VVC標準中，當波前平行處理(Wavefront Parallel Processing，WPP)被致能時，平行處理是基於分塊分割。在本發明的多種實施例中，平行處理是基於次畫面或矩形切片分割。
在一些實施例中，在視訊編碼與解碼時依據在一高階語法集(high level syntax set)中所發信的第一旗標，分塊邊界相關處理被自適性地致能或失能。在一個實施例中，用於控制分塊邊界相關處理的第一旗標sps_no_use_tile_boundaries_flag在序列參數集(SPS)中被發信或剖析。例如，此第一旗標sps_no_use_tile_boundaries_flag等於1指明方法1的支援被致能，即在編碼或解碼時與分塊邊界相關的處理被失能；而第一旗標 sps_no_use_tile_boundaries_flag等於0指明方法1的支援被失能，即在編碼或解碼時與分塊邊界相關的處理被致能。在另一個例子中，如表4所示，第一旗標sps_processing_across_tile_boundaries_flag在一SPS中被發信。該第一旗標等於1指明跨越分塊邊界的處理被致能，而且該第一旗標等於0指明跨越分塊邊界的處理被失能。
Figure 110112106-A0305-02-0015-7
在此實施例中，根據在相關聯的SPS中所發信的第一旗標sps_processing_across_tile_boundaries_flag的一數值，第二旗標 loop_filter_across_tiles_enabled_flag自適性地被發信在如表5所示的畫面參數集(PPS)中。當此第二旗標等於1時，內-環路濾波(In-loop filtering)操作可以跨越參考PPS的畫面中的分塊邊界來進行；而當此第二旗標等於0時，內-環路濾波操作不跨越參考PPS的畫面中的分塊邊界來進行。內-環路濾波操作的一些例子為下列之一或組合：去塊濾波器、樣本自適性偏移濾波器(sample adaptive offset filter)、以及自適性環路濾波器操作。當第二旗標loop_filter_across_tiles_enabled_flag不存在時，其預設值被推論等於0。
Figure 110112106-A0305-02-0016-8
在SPS中發信第一旗標sps_processing_across_tile_boundaries_flag的此實施例中，分塊邊界相關的處理被相應地修改。例如，相鄰塊可用性availableN是依據此第一旗標而推導出的。如果以下八個條件中的一或多個為真(TRUE)，則用於一當前塊的相鄰塊可用性availableN被設定等於假(FALSE)，否則當此八個條件全部為假時，用於當前塊的availableN被設定等於真。此八個條件包含：xNbY小於0、y N b Y小於0、xNbY大於或等於pic_width_in_luma_samples、yNbY大於或等於pic_height_in_luma_samples、IsAvailble[cIdx][xNbY][yNbY]等於假、相鄰塊被包 含於與該當前塊不同的一切片中、相鄰塊被包含於與該當前塊不同的一分塊中以及該第一旗標sps_processing_across_tile_boundaries_flag等於1、以及sps_entropy_coding_sync_enabled_flag等於1以及(xNbY>>CtbLog2SizeY)大於或等於(xCurr>>CtbLog2SizeY)+1。當所有下列三條件為真時，相鄰塊可用性availableN被設定等於假：checkPredModeY等於真，availableN被設定等於真，以及CuPredMode[0][xNbY][yNbY]不等於CuPredMode[0][xCurr][yCurr]。
在另一例子中，用於量化參數的一變數qPY_PREV是依據第一旗標sps_processing_across_tile_boundaries_flag加以推導。當下列一或多個條件為真時，此變數qPY_PREV被設定等於一切片預設值SliceQpY。這些條件包括：該當前量化群組是在一切片中的第一個量化群組、該當前量化群組是在一分塊中的第一個量化群組而且第一旗標sps_processing_across_tile_boundaries_flag等於1、以及該當前量化群組是在一分塊中的一編解碼樹塊(Coding Tree Block，CTB)行(row)的第一個量化群組而且sps_entropy_coding_sync_enabled_flag等於1。該變數被設定等於在一解碼順序中前一個量化群組中最後亮度編解碼單元的一亮度量化參數QpY。
當開始剖析CTU語法並且以下一或多個條件為真時，一CABAC初始化程序被調用(invoked)：該CTU是在一切片中的第一個CTU，該CTU是在一分塊中的第一個CTU而且第一旗標sps_processing_across_tile_boundaries_flag等於1，而且sps_entropy_coding_sync_enabled_flag的數值等於1而且該CTU是一分塊的一CTU行(row)中的第一個CTU而且第一旗標sps_processing_across_tile_boundaries_flag等於1。
方法2：分塊分割僅使用作為分割格柵(Grid) 依據方法2的一些實施例，沒有額外的旗標用於使分塊邊界相關的處理失能，因為一旦切片佈 局被指明，分塊邊界約束就會被移除。分塊分割僅在方法2的實施例中用作切片佈局的分割格柵。根據本發明的實施例，每個切片中的CTU藉由總是以一光柵掃描順序處理來加以編碼或解碼。第6A圖繪示一傳統處理順序來將畫面中CTU加以編碼或解碼，而該畫面如第2圖所示是在3個光柵掃描切片之中被分割為12個分塊，其中在每一切片中的CTU是由一分塊接著另一分塊來加以處理，而且每一分塊中的CTU是由一光柵掃描順序來加以處理。根據本發明的一實施例，第6B圖繪示一處理順序來將如第2圖所示的相同畫面加以編碼或解碼。第6B圖中所示的每一切片中的CTU都以光柵掃描順序進行處理，而不管分塊分割的方式。第7A圖繪示一傳統處理順序來將畫面中CTU加以編碼或解碼，而該畫面如第3圖所示是在9個光柵掃描切片之中被分割為24個分塊，其中在每一矩形切片中的CTU是由一分塊接著另一分塊來加以處理，而且每一分塊中的CTU是由一光柵掃描順序來加以處理。根據本發明的一實施例，第7B圖繪示一處理順序來將如第3圖所示的相同畫面加以編碼或解碼。第7B圖中所示的每一矩形切片中的CTU都以一光柵掃描順序進行處理，而不管分塊分割的方式。
藉由施行方法2的實施例，如表6所示，旗標loop_filter_across_tile_enabled_flag從PPS中加以移除，這是由於在編碼和解碼之中不是所有分塊邊界都會被考慮。根據合乎方法2的實施例，分塊邊界相關的處理(例如跨越分塊邊界的內-環路濾波操作)總是被失能。
Figure 110112106-A0305-02-0018-9
Figure 110112106-A0305-02-0019-11
根據此實施例，在切片布局被指明後的處理中不涉及分塊，因此CTU信息的推導是用於每一切片(而不是用於每一分塊)而進行，sps_entropy_coding_sync_enabled_flag的數值為1，而且當WPP為致能時，此CTU是用於CABAC初始化的一矩形切片的一CTU行(row)中的第一個CTU。
方法3：分塊概念與分塊分割被移除 在一些其他實施例中，分塊概念被完全去除，因此在包括分塊邊界檢查和跨越分塊邊界的內-環路濾波的編碼或解碼程序中沒有與分塊邊界相關的處理。在一當前畫面中的所有切片都是基於具有一格柵欄寬度和一格柵行高度的一格柵(以CTU為單位)來加以指明的。當當前畫面被分割為多個次畫面的情況下，其中每一次畫面是由一或多個完整的矩形切片所組成。次畫面邊界相關的處理優先於(override)重合(coinciding)切片邊界的處理。平行處理是基於次畫面或矩形切片分割。第8圖繪示一當前畫面，其被分割為10個矩形切片與5個次畫面，其中第8圖中的每一格柵是一CTU，虛線是切片邊界，而實線是次畫面邊界。第8圖中的當前畫面被分割為10個矩形切片，具有切片尺寸大小在12到88個CTU的範圍，以及5個包含一到三個切片的不同維度的次畫面。矩形切片的格柵欄寬度和格柵行高度是基於CTU而不是分塊來加以計算的。在這些實施例中一切片的定義是一畫面或一次畫面的一切片之中依照光柵掃描順序的一整數數目的CTU，該畫面或次畫面則完全地被包含在單一NAL單元之中。
在將一當前畫面分割為矩形切片的一實施例中，與矩形切片的分割定義相關聯的語法元素被發信於PPS中。參考PPS的切片的對應語法結構被修改如表7所示，以移除與分塊分割相關的語法元素。
Figure 110112106-A0305-02-0020-12
Figure 110112106-A0305-02-0021-13
在PPS中所發信的語法元素pps_slice_same_size_flag用來指明參考PPS的畫面中的所有切片是否具有相同的寬度和相同的高度。當此語法元素pps_slice_same_size_flag等於1時，寬度是藉由pps_slice_width_minus1[0]加以指明而且高度是藉由pps_slice_height_minus1[0]加以指明，而寬度與高度並未施加此一約束。當此語法元素pps_slice_same_size_flag不存在時，其數值被推論等於0。用於將畫面分割為矩形切片的結構是由與以CTU為單位的每個切片的一左上CTU的位置、以CTU為單位的每一切片的切片寬度和切片高度相關的語法元素來加以定義。語法元素pps_slice_ctu_top_left_x[i]指明第i個切片(以 CtbSizeY為單位)的左上CTU的一水平位置。語法元素的長度為Ceil(Log2(tmpWidthVal))位元，其中變數tmpWidthVal被設定等於(pps_pic_width_in_luma_samples+CtbSizeY-1)/CtbSizeY。當pps_slice_ctu_top_left_x[i]不存在時，如果pps_slice_same_size_flag等於0或i等於0，此語法元素的數值被推論等於0；否則，pps_slice_ctu_top_left_x[i]的數值被推論等於(i%numSliceCols) * (pps_slice_width_minus1[0]+1)。當pps_slice_same_size_flag等於1，變數numSliceCols(指明參考PPS的每一畫面中的切片欄(column)的數目)依此推導：numSliceCols=tmpWidthVal/(pps_slice_width_minus1[0]+1)。當pps_slice_same_size_flag等於1，numSliceCols * tmpHeightVal/(pps_slice_height_minus1[0]+1)-1的數值應當等於pps_num_slices_minus1。語法元素pps_slice_ctu_top_left_y[i]指明第i個切片(以CtbSizeY為單位)的左上CTU的一垂直位置。語法元素的長度為Ceil(Log2(tmpHeightVal))位元，其中變數tmpHeightVal被設定等於(pps_pic_height_in_luma_samples+CtbSizeY-1)/CtbSizeY。當此語法元素不存在時，如果pps_slice_same_size_flag等於0或i等於0時，pps_slice_ctu_top_left_y[i]的數值被推論等於0；否則，pps_slice_ctu_top_left_y[i]的數值被推論等於(i/numSliceCols) * (pps_slice_height_minus1[0]+1)。語法元素pps_slice_width_minus1[i]加1的數值指明第i個切片的寬度(以CtbSizeY為單位)。語法元素的長度為Ceil(Log2(tmpWidthVal))位元。當此語法元素存在時，如果pps_slice_same_size_flag等於0或i等於0時，pps_slice_width_minusl[i]的數值被推論等於tmpWidthVal-pps_slice_ctu_top_left_x[i]-1；否則，pps_slice_width_minus1[i]的數值被推論等於pps_slice_width_minus1[0]。當pps_slice_same_size_flag等於1時，tmpWidthVal%(pps_slice_width_minus1[0]+1)的數值應當等於0。相似地，語法元素pps_slice_height_minus1[i]加1的數值 指明第i個切片(以CtbSizeY為單位)的高度。語法元素的長度為Ceil(Log2(tmpHeightVal))位元。當此語法元素不存在時，如果pps_slice_same_size_flag等於0或i等於0時，pps_slice_height_minus1[i]的數值被推論等於tmpHeightVal-pps_slice_ctu_top_left_y[i]-1；否則，pps_slice_height_minus1[i]的數值被推論等於pps_slice_height_minus1[0]。當pps_slice_same_size_flag等於1時，tmpHeightVal%(pps_slice_height_minus1[0]+1)的數值應當等於0。
位元流規約(bitstream conformance)的要求是切片的形狀應使得每一切片(在解碼後)有由畫面邊界所組成或由先前解碼後的切片的邊界所組成的整個左方邊界和整個上方邊界。
在將一當前畫面分割成光柵掃描切片的實施例中，每一切片是根據該切片中的CTU的一數目來加以指明。第9圖繪示了被分割為3個光柵掃描切片的一畫面。與光柵掃描切片的分割定義相關聯的語法元素在切片標頭中被發信，例如語法元素包括每個切片中一第一CTU的一光柵掃描CTU索引以及每個切片中CTU的一數目。根據本發明的一個實施例，對表8所示的光柵掃描切片的對應語法結構進行了修改。
Figure 110112106-A0305-02-0023-14
Figure 110112106-A0305-02-0024-16
在光柵掃描切片的切片標頭中所發信的語法元素sh_slice_address指明該光柵掃描切片的切片地址。當此一語法元素不存在時，sh_slice_address的數值被推論等於0。當pps_rect_slice_flag等於0的情況，切片地址為切片中第一個CTU的光柵掃描CTU索引，sh_slice_address的長度為Ceil(Log2(PicSizeInCtbsY))位元，而且sh_slice_address的數值應該在0到PicSizeInCtbsY-1的範圍(包括端點)。當pps_rect_slice_flag等於1時，切片地址為當前切片SubpicLevelSliceIdx[j]的次畫面-層級切片索引，其中j為當前切片的畫面-層級切片索引，sh_slice_address的長度為Ceil(Log2(NumSliceInSubpic[CurrSubpicIdx]))位元，並且sh_slice_address的數值應在0到NumSliceInSubpic[CurrSubpicIdx]-1的範圍(包括端點)。位元流規約要求下列約束被應用。如果pps_rect_slice_flag等於0或sps_subpic_info_present_flag等於0，sh_slice_address的數值不應該等於相同編解碼畫面的任何其他編解碼切片NAL單元的sh_slice_address的數值。否則，sh_subpic_id和sh_slice_address配對的數值不應等於相同編解碼畫面的任何其他編解碼切片NAL單元的sh_subpic_id和sh_slice_address配對數值。一畫面的切片的形狀應使得每一CTU(在解碼後)有由一畫面邊界所組成或由先前解碼後的CTU的邊界所組成的整個左方邊界和整個上方邊界。語法元素sh_num_ctus_in_slice_minus1加1的數值指明了切片中CTU的數目。sh_num_ctus_in_slice_minus1的數值應當在0到 PicSizeInCtbsY-1的範圍(包括端點)。當此語法元素sh_num_ctus_in_slice_minus1不存在於切片標頭時，其數值應被推論為等於0。分塊相關處理的結束不再需要。解碼程序中一些示例性分塊相關處理以矩形切片對應地加以修改。
藉由實施方法3的實施例，不是所有與分塊邊界相關的處理都會進行，一些修改的例子於下加以描述。用於一當前塊的相鄰塊可用性availableN的推導不檢查相鄰塊是否包含於與該當前塊不同的一分塊中。如果一或多個以下條件為真，相鄰塊可用性availableN被設定等於假：xNbY小於0、yNbY小於0、xNbY大於或等於pps_pic_widhh_in_luma_samples、yNbY大於或等於pps_pic_height_in_luma_samples、(xNbY>>CtbLog2SizeY)大於(xCurr>>CtbLog2SizeY)與(yNbY>>CtbLog2SizeY)大於或等於(yCurr>>CtbLog2SizeY)、(yNbY>>CtbLog2SizeY)大於或等於(yCurr>>CtbLog2SizeY)+1、IsAvailable[cIdx][xNbY][yNbY]等於假、相鄰塊被包含於與該當前塊不同的一切片中、以及sps_entropy_coding_sync_enabled_flag等於1以及(xNbY>>CtbLog2SizeY)大於或等於(xCurr>>CtbLog2SizeY)+1。否則，相鄰塊可用性availableN被設定等於真。當以下兩者都成立的情況下：checkPredModeY等於真且CuPredMode[0][xNbY][yNbY]不等於CuPredMode[0][xCurr][yCurr]，相鄰塊可用性availableN被設定等於假。
在另一例子中，當前量化群組是否為一分塊中的第一個量化群組的條件與量化參數的推導過程無關。預測亮度量化參數qPY_PRED由以下有順序的步驟加以推導。在第一步驟中，如果當前量化群組是一切片中的第一個量化群組，一變數qPY_PRED被設定等於SliceQpY。量化參數的推導程序不檢查當前量化群組是否為一切片中的第一個量化群組。變數qPY_PREV被設定等於在一解碼順序中前一量化群組中最後一個亮度編解碼單元的亮度量化參數QpY。在一步驟 中，預測亮度量化參數qPY_PRED推導如下。如果availableB等於真並且當前量化群組是一切片之中一CTB行(row)中的第一個量化群組，預測亮度量化參數qPY_PRED被設定等於包含覆蓋(xQg,yQg-1)的亮度編解碼塊的編解碼單元的亮度量化參數QpY。否則，預測亮度量化參數qPY_PRED推導如下：qPY_PRED=(qPY_A+qPY_B+1)>>1。
在一傳統的去塊濾波器程序中，當一語法元素pps_loop_filter_across_tile_enabled_flag指示出內-環路濾波器被應用於跨分塊邊界時，分塊邊界檢查被執行。根據本發明的各種實施例的移除分塊分割的例子中，編碼或解碼系統在內-環路濾波程序中(例如去塊濾波程序)不執行任何分塊邊界檢查。
在CABAC初始化程序中使用的分塊和基於分塊的WPP可以由矩形切片加以代替。當開始剖析CTU語法並且至少以下條件之一為真時，CABAC初始化程序被調用(invoked)：該CTU是一切片中的第一個CTU並且sps_entropy_coding_sync_enabled_flag的數值等於1並且CTU是一矩形切片的CTU行中的第一個CTU。依據本發明的各種實施例，CABAC初始化程序不檢查該CTU是否為一分塊中的第一個CTU。上下文變數(context variable)的存儲程序被應用如下：sps_entropy_coding_sync_enabled_flag等於1，而且當CTU語法剖析結束時，CtbAddrX等於每一矩形切片中一CTB行(row)的第一個CTB的地址，以TableStateIdx0Wpp來調用上下文變數的存儲程序而且TableStateIdx1Wpp為輸出。在sps_palette_enabled_flag等於1的情況下，調色板預測子(palette predictor)的存儲程序如下：當結束CTU語法的剖析以及CTU中最後一個CU的解碼程序時，sps_entropy_coding_sync_enabled_flag等於1，而且CtbAddrX等於每一矩形切片中一CTB行的第一個CTB的地址，調色板預測子存儲程序被調用。語法元素sps_entropy_coding_sync_enabled_flag等於1指明 在解碼該CTU之前用於上下文變數的一特定同步過程被調用，該CTU包括參考SPS的每一畫面中每一矩形切片中的一CTB行(row)的第一個CTB，以及在解碼該CTU後，用於上下文變數的一特定存儲程序被調用，該CTU包括參考SPS的每一畫面中每一矩形切片中的一CTB行的第一個CTB。語法元素sps_entropy_coding_sync_enabled_flag等於0指明在解碼該CTU之前沒有用於上下文變數的特定同步程序需要被調用，該CTU包括參考SPS的每一畫面的每一矩形切片中的一CTB行的第一個CTB。當此語法元素sps_entropy_coding_sync_enabled_flag等於1時，WPP被致能。語法元素sps_entry_point_offsets_present_flag等於1指明用於矩形切片或矩形切片-特定CTU行的入口點偏移(entry point offset)的信令可以出現在參考SPS的畫面的切片標頭中。語法元素sps_entry_point_offsets_present_flag等於0指明用於矩形切片或矩形切片-特定CTU行的入口點偏移的信令不存在於參考SPS的畫面的切片標頭中。
當一CLVS之中的畫面不是所有切片都改變時，上面提出的PPS中的矩形切片語法結構可以被放在SPS中。作為這種情況下的一個實施例，可以藉對具有一次畫面索引與一次畫面識別碼(ID)的切片數進行循環(loop over)而使次畫面語法結構可加以簡化。
代表性的視訊編解碼流程圖 第10圖繪示一視訊編碼或解碼系統的一實施例藉由移除分塊邊界約束來處理輸入資料的一流程圖。在步驟S1002，視訊編碼或解碼系統開始編碼或解碼視訊資料的一當前畫面或一當前次畫面。在步驟S1004，視訊編碼或解碼系統接收與由多個CTU所組成的一當前畫面或當前次畫面相關聯的輸入資料。每一CTU由一NxN亮度樣本塊以及一或多個對應的色度樣本塊所組成。在步驟S1006，該當前畫面或當前次畫面被分割為一或多個切片。每一切片包括在該當前畫面中一整數個完整的CTU，該等切片的CTU 僅被包含在一單個NAL單元中。依據一實施例，該等切片是藉由納入以一光柵掃描順序的複數個連續的CTU所形成的光柵掃描切片，以及依據另一實施例，該等切片是藉由將該當前畫面分割為矩形區域所形成的矩形切片，每一矩形區域包含複數個完整的CTU。在步驟S1008，在當前畫面或當前次畫面中的第一個切片被設定為一當前切片。在步驟S1010，視訊編碼或解碼系統檢查該當前切片是否為當前畫面或當前次畫面中的最後一個切片。在步驟S1012，如果該當前切片不是最後一個切片，視訊編碼或解碼系統藉由總是以一光柵掃描順序來處理在該當前切片中的CTU，而編碼或解碼該當前切片。分塊邊界相關的處理，例如用於分塊邊界的邊緣檢查與相鄰塊可用性檢查以用於QP推導與CABAC的初始化、以及跨越分塊邊界的環路濾波處理不會在步驟S1012中進行。在步驟S1014，在步驟S1012處理該當前切片之後，一後續切片被設定為該當前切片，而且進行至步驟S1010。在步驟S1016，如果該當前切片是該當前畫面或當前次畫面中最後一個切片，此為編碼或解碼該當前畫面或當前次畫面的結束。
實作本發明之示例性視訊編碼器與視訊解碼器 本發明的實施例可以在視訊編碼器與/或視訊解碼器中來實作。例如：所揭示方法可以實作於下列之一或一組合：一視訊編碼器的一熵編碼模組，一幀間、幀內、或預測模組，一轉換模組，或一解塊模組；與/或一視訊解碼器的一熵解碼模組，一逆解塊模組，一逆轉換模組，一幀間、幀內、或預測模組。備選地，任何所揭示的方法可以實作於一電路上而耦合在視訊編碼器的熵編碼模組，幀間、幀內、或預測模組，轉換模組，或解塊模組，與/或視訊解碼器的熵解碼模組，逆解塊模組，逆轉換模組，幀間、幀內、或預測模組，以提供任何模組所需的信息。視訊編碼器必須遵循上述語法設計才能生成合法的位元流，而只有在剖析程序符合上述語法設計時視訊解碼器才能正確地解碼位元流。當位元流中的任何語法元素被跳過時，視訊編碼器和解碼器將此語法元素的數值定義為一推論數值以確保 編碼和解碼結果相匹配。
第11圖示出了實作本發明一或多種實施例的視訊編碼器1100的一示例性系統方塊圖。視訊編碼器1100接收由多個CTU所組成的一當前畫面的輸入視訊資料。每一CTU是由一亮度樣本塊以及一或多個對應的色度樣本塊所組成。該當前畫面被分割為一或多個切片，每一切片包括在該當前畫面中一整數個完整的CTU，該等切片的CTU僅被包含在一單個NAL單元中。一幀內預測模組1110基於當前畫面的重構後視訊資料來提供幀內預測子。一幀間預測模組1112實施運動估計(Motion Estimation，ME)和運動補償(Motion Compensation，MC)，以基於參考來自其他一或多個畫面的視訊資料而提供幀間預測子。幀內預測模組1110或是幀間預測模組1112之一使用一開關1114，來將當前畫面的一當前塊中一選擇的預測子提供給加法器1116，藉由將所選擇的預測子從當前塊的原始視訊資料中減去以形成殘差。當前塊的殘差藉由轉換模組(T)1118進一步處理，接著是由量化模組(Q)1120處理。然後，轉換後和量化後的殘差信號由熵編碼器1134編碼以形成一視訊位元流。當前塊的轉換後和量化後的殘差信號由逆量化模組(IQ)1122和逆轉換模組(IT)1124處理以還原預測殘差。如第11圖所示，藉由在重構模組(REC)1126處加回所選擇的預測子來還原殘差，以產生重構後的視訊資料。重構後的視訊資料可以被儲存在一參考畫面緩衝器(Ref.Pict.Buffer)1132中，並用於其它畫面的預測。來自REC 1126的重構後的視訊資料可能由於編碼處理而受到各種損害，因此，在儲存於參考畫面緩衝器1132之前，至少一內環路處理濾波器(In-loop Processing Filter，ILPF)1128被有條件地應用於重構後的視訊資料的亮度與色度分量，以進一步提高畫面品質。一去塊濾波器為ILPF1128的一個例子。語法元素被提供至熵編碼器1134以便結合於視訊位元流中。在本發明的一些實施例中，每一切片藉由總是以一光柵掃描順序來處理在每一切片中的CTU而加以編碼。依據一些實施例，邊緣 檢查或相鄰塊可用性檢查以用於QP設定或CABAC的初始化僅被應用在切片邊界，而且環路濾波處理被自適性地應用於跨越切片邊界。例如，去塊濾波被自適性地應用於跨越切片邊界，而且去塊濾波不被應用於跨越分塊邊界。在另一實施例中，一旗標被發信來控制分塊邊界相關的處理是否被致能或失能，當該旗標指示出分塊邊界相關的處理被致能時，用於分塊邊界的邊緣檢查與相鄰塊可用性檢查以用於QP推導以及CABAC的初始化，以及跨越分塊邊界的環路濾波處理，可以被允許；否則，邊緣檢查與相鄰塊可用性檢查不被應用於分塊邊界，而且跨越分塊邊界的環路濾波處理不被允許。
用於第11圖的視訊編碼器1100的一對應視訊解碼器1200如第12圖所示。由一視訊編碼器所編碼的視訊位元流是視訊解碼器1200的輸入，並藉由熵解碼器1210加以解碼以剖析和還原一當前畫面的已變換後和已量化後的殘差信號和其他系統信息。除了解碼器1200僅需要一幀間預測模組1214中的運動補償預測之外，解碼器1200的解碼程序類似於編碼器1100處的重構環路。每一切片中的每一塊是藉由幀內預測模組1212或幀間預測模組1214來加以解碼。依據已解碼的模式信息，一開關1216自幀內預測模組1212選擇一幀內預測子或自幀間預測模組1214選擇一幀間預測子。已轉換後和已量化後的殘差信號是藉由逆量化(Inverse Quantization,IQ)模組1220和逆轉換(Inverse Transformation，IT)模組1222來加以還原。IQ模組1220也被稱為去-量化模組。藉由在一重構(REC)模組1218中加回預測子來重構已還原後的殘差信號，而產生已重構後的視訊。在當前畫面的每一切片之中的CTU的已重構後視訊藉由總是在當前畫面中以一光柵掃描順序來處理。已重構後的視訊由至少一內-環路處理濾波器(ILPF)1224進一步有條件地處理來產生最終已解碼的視訊。一去塊濾波器為ILPF1224的一個例子。在本發明的一些實施例中，環路濾波處理是有條件地應用於跨越切片邊界，這是由於分塊邊界不被認為是內-環路濾波處理。如果當前 已解碼的畫面是一參考畫面時，當前已解碼後畫面的已重構後視訊也被儲存在一參考畫面緩衝器(Ref.Pict.Buffer)1228中以用於解碼順序中的後續畫面。
第11圖和第12圖中的視訊編碼器1100和視訊解碼器1200的各種組件可以由硬體組件，一個或複數個處理器被配置來執行存儲在存儲器中的程式指令，或硬體和處理器的組合來實現。例如，一處理器執行程式指令來控制以一光柵掃描順序來處理在每一切片中的CTU。處理器配備有單個或複數個處理核心。在一些例子中，處理器執行程式指令以在編碼器1100和解碼器1200中的一些組件中執行功能，並且與處理器電耦合的存儲器用於存儲程式指令，對應於塊的重構後影像的信息，與/或編碼或解碼程序中的中間資料。在一些例子中，視訊編碼器1100可以藉由在一視訊位元流中納入一或多個語法元素來發信信息，並且對應的視訊解碼器1200藉由剖析和解碼一或多個語法元素來推導出此種信息。在一些實施例中的存儲器包括非暫時性計算機可讀介質，諸如半導體或固態存儲器，隨機存取存儲器(RAM)，只讀存儲器(ROM)，硬碟，光碟或其他合適的存儲介質。存儲器還可以是上面列出的兩個或更多個非暫時性計算機可讀介質的組合。如第11圖和第12圖所示，編碼器1100和解碼器1200可以在相同的電子設備中實現，因此如果在相同的電子設備中施行實作，則編碼器1100和解碼器1200的各種功能組件可以被共用或再利用。例如，在第11圖中重構模組1126、逆轉換模組1124、逆量化模組1122、內環路處理濾波器1128、以及參考畫面緩衝器1132，也可以分別用為第12圖中重構模組1218、逆轉換模組1222、逆量化模組1220、內環路處理濾波器1224、以及參考畫面緩衝器1228。
更有效的視訊處理方法的實施例可以在集成於視訊壓縮晶片的電路來實施，或集成於視訊壓縮軟體中執行以上描述的處理的程式代碼來實施。例如，藉由總是以一光柵掃描順序來處理在每一切片中的編解碼樹單元(CTU) 而編碼或解碼每一切片，可以實現於一計算機處理器上執行的程式代碼，數位訊號處理器(DSP)，微處理器或現場可程式閘陣列(field programmable gate array，FPGA)上。可以透過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼，來將這些處理器配置成執行依據本發明的特定任務。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他具體形式實施。所描述的例子僅在所有方面被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是前面的描述來指示。屬於申請專利範圍的等同物的含義和範圍內的所有變化將被包括在其範圍內。
S1002~S1016:步驟

Claims (17)

  1. 一種視訊處理方法，使用在一視訊編碼或解碼系統中，該方法包括：接收與一當前畫面相關聯的輸入資料，其中該當前畫面是由用於編碼或解碼的複數個編解碼樹單元所組成，而且每一編解碼樹單元是由一亮度樣本塊以及一或多個對應的色度樣本塊所組成，其中該當前畫面被分割為一或多個切片，包括光柵掃描切片或矩形切片，其中每一切片包含在該當前畫面中一整數個完整的編解碼樹單元，該等切片的編解碼樹單元僅被包含在一單個網絡抽象層單元中；以及該當前畫面被分割為複數個分塊，每一分塊由在該當前畫面中在一特定分塊欄與一特定分塊行之中一矩形區域的編解碼樹單元所組成，對該當前畫面中每一切片，無論每一切片中是否含有分塊及邊界，藉由總是以一光柵掃描順序來處理在每一切片中的編解碼樹單元，而編碼或解碼每一切片。
  2. 如請求項1所述的視訊處理方法，其中該等切片是藉由納入以一光柵掃描順序的複數個連續的分塊或是編解碼樹單元所形成的光柵掃描切片，或是該等切片是藉由將該當前畫面分割為矩形區域所形成的矩形切片，每一矩形區域包含複數個完整的分塊或編解碼樹單元。
  3. 如請求項2所述的視訊處理方法，其中每一該光柵掃描切片是基於一數目個連續的編解碼樹單元加以指明，而且每一該矩形切片是基於具有一格柵欄寬度以及一格柵行高度的複數個格柵以該編解碼樹單元為單元加以指明。
  4. 如請求項1所述的視訊處理方法，其中編碼或解碼每一切片的該步驟進一步包括使分塊邊界相關的處理失能。
  5. 如請求項4所述的視訊處理方法，其中該分塊邊界相關的處 理包括下列之一或一組合：用於分塊邊界的邊緣檢查與相鄰塊可用性檢查，以用於量化參數推導以及基於上下文自適性二進制算術編碼的初始化，以及跨越分塊邊界的環路濾波處理。
  6. 如請求項4所述的視訊處理方法，進一步包括發信或剖析一第一旗標，其中編碼或解碼該當前畫面的每一切片的該步驟包括基於該第一旗標的一數值對該分塊邊界相關的處理加以自適性地致能或失能。
  7. 如請求項6所述的視訊處理方法，其中該第一旗標發信於與該當前畫面相關聯的一序列參數集中，或從與該當前畫面相關聯的一序列參數集中加以剖析。
  8. 如請求項4所述的視訊處理方法，其中分塊分割被用來作為切片布局的一分割格柵。
  9. 如請求項1所述的視訊處理方法，其中該當前畫面由複數個次畫面所組成，而且每一次畫面是在該當前畫面之中的一或多個切片的一矩形區域。
  10. 如請求項9所述的視訊處理方法，其中次畫面邊界相關的處理優先於重合的切片邊界相關的處理。
  11. 如請求項9所述的視訊處理方法，其中編碼或解碼該當前畫面中每一切片的該步驟包括基於次畫面或矩形切片分割的平行處理。
  12. 如請求項9所述的視訊處理方法，其中一切片語法結構被發信於一序列參數集，以及一次畫面語法結構是藉對具有一次畫面索引與一次畫面識別碼的切片數進行循環來加以表示。
  13. 如請求項1所述的視訊處理方法，其中編碼或解碼該當前畫面中每一切片的該步驟包括使切片邊界相關的處理致能，其中該切片邊界相關的處理包括下列之一或一組合：用於切片邊界的邊緣檢查與相鄰塊可用性檢查， 以用於量化參數推導以及基於上下文自適性二進制算術編碼的初始化，以及跨越切片邊界的環路濾波處理。
  14. 如請求項1所述的視訊處理方法，其中以編解碼樹單元為單元中的每一切片中與一左上方編解碼樹單元的一位置相關的語法元素以及以編解碼樹單元為單元的每一切片中的一切片寬度與切片高度，被發信或剖析以用於被分割為矩形切片的該當前畫面中。
  15. 如請求項1所述的視訊處理方法，其中在每一切片的一第一編解碼樹單元的一光柵掃描編解碼樹單元索引的相關語法元素以及在每一切片的編解碼樹單元的一數目被發信或剖析，以用於被分割為光柵掃描切片的該當前畫面中。
  16. 如請求項1所述的視訊處理方法，其中在該當前畫面中該等切片的形狀於解碼時被約束為有由畫面邊界所組成或由先前解碼後切片的邊界所組成的一整個左方邊界與整個上方邊界。
  17. 一種於一視訊編碼或解碼系統中的視訊處理的裝置，該裝置包括一或多個電子電路配置用來：接收與一當前畫面中相關聯的輸入資料，其中該當前畫面是由用於編碼或解碼的複數個編解碼樹單元所組成，而且每一編解碼樹單元是由一亮度樣本塊以及一或多個對應的色度樣本塊所組成，其中該當前畫面被分割為一或多個切片，包括光柵掃描切片或矩形切片，其中每一切片包含在該當前畫面中一整數個完整的編解碼樹單元，該等切片的編解碼樹單元僅被包含在一單個網路抽象層單元中；以及該當前畫面被分割為複數個分塊，每一分塊由在該當前畫面中在一特定分塊欄與一特定分塊行之中一矩形區域的編解碼樹單元所組成，對該當前畫面中每一切片，無論每一切片中是否含有分塊及邊界，藉由總是以一光柵掃描順序 來處理在每一切片中的編解碼樹單元，而編碼或解碼每一切片。
TW110112106A 2020-04-05 2021-04-01 在視訊編解碼系統中以編碼樹單元為基礎進行切片分割之畫面編解碼方法和裝置 TWI779545B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063005397P 2020-04-05 2020-04-05
US63/005,397 2020-04-05
US202063073990P 2020-09-03 2020-09-03
US63/073,990 2020-09-03
US17/218,320 US11425388B2 (en) 2020-04-05 2021-03-31 Methods and apparatuses of coding pictures with CTU based slice partitions in video coding system
US17/218,320 2021-03-31

Publications (2)

Publication Number Publication Date
TW202143713A TW202143713A (zh) 2021-11-16
TWI779545B true TWI779545B (zh) 2022-10-01

Family

ID=77921985

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110112106A TWI779545B (zh) 2020-04-05 2021-04-01 在視訊編解碼系統中以編碼樹單元為基礎進行切片分割之畫面編解碼方法和裝置

Country Status (2)

Country Link
US (1) US11425388B2 (zh)
TW (1) TWI779545B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US20150016540A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
US20150264351A1 (en) * 2014-03-12 2015-09-17 Fujitsu Limited Video encoding apparatus, video encoding method, and video encoding computer program
US20170347109A1 (en) * 2016-05-24 2017-11-30 Qualcomm Incorporated Mapping of tile grouping and samples in hevc and l-hevc file formats

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US20150016540A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
US20150264351A1 (en) * 2014-03-12 2015-09-17 Fujitsu Limited Video encoding apparatus, video encoding method, and video encoding computer program
US20170347109A1 (en) * 2016-05-24 2017-11-30 Qualcomm Incorporated Mapping of tile grouping and samples in hevc and l-hevc file formats

Also Published As

Publication number Publication date
US11425388B2 (en) 2022-08-23
TW202143713A (zh) 2021-11-16
US20210314571A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
TWI695619B (zh) 在圖像或視頻編碼系統中處理圖像的方法和裝置
CN107836117B (zh) 一种块分割的方法及装置
US20240155122A1 (en) Methods and apparatus for picture encoding and decoding
CA2876017C (en) Method and apparatus for intra transform skip mode
EP3205092B1 (en) Intra block copy prediction restrictions for parallel processing
TW202106022A (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
US11146824B2 (en) Video encoding or decoding methods and apparatuses related to high-level information signaling
TWI772951B (zh) 用於編解碼視訊序列的方法和裝置
TW202041007A (zh) 用於視頻編解碼的量化矩陣計算和表示的方法和裝置
US11601647B2 (en) Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems
KR20230144124A (ko) 경계 강제 파티션에 대한 개선
TW202025723A (zh) 圖像和視訊處理中產生mpm 以進行幀內預測的方法和裝置
CN113632479A (zh) 越界节点视频数据的处理方法及装置
TWI730561B (zh) 利用圖塊分組進行視訊資料編碼的方法及裝置
US11711513B2 (en) Methods and apparatuses of coding pictures partitioned into subpictures in video coding systems
TWI779545B (zh) 在視訊編解碼系統中以編碼樹單元為基礎進行切片分割之畫面編解碼方法和裝置
TWI761166B (zh) 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
TWI786000B (zh) 色度分離樹的低延遲視訊編解碼方法和裝置
TWI796654B (zh) 圖片和視訊編解碼中以信號通知片和切片分區資訊的方法和裝置
TW202349960A (zh) 用於影像編碼系統中的熵編碼分區劃分決策的方法和裝置
TW202341732A (zh) 視訊編解碼方法和裝置
KR20220057571A (ko) 화상 부호화 장치 및 화상 복호 장치

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent