TWI617181B - 用於高效率視訊編碼裝置之排程方法 - Google Patents

用於高效率視訊編碼裝置之排程方法 Download PDF

Info

Publication number
TWI617181B
TWI617181B TW106100100A TW106100100A TWI617181B TW I617181 B TWI617181 B TW I617181B TW 106100100 A TW106100100 A TW 106100100A TW 106100100 A TW106100100 A TW 106100100A TW I617181 B TWI617181 B TW I617181B
Authority
TW
Taiwan
Prior art keywords
frame
frame signal
module
signal
sub
Prior art date
Application number
TW106100100A
Other languages
English (en)
Other versions
TW201826787A (zh
Inventor
謝鎮宇
曾鈺翔
Original Assignee
晨星半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 晨星半導體股份有限公司 filed Critical 晨星半導體股份有限公司
Priority to TW106100100A priority Critical patent/TWI617181B/zh
Priority to US15/850,482 priority patent/US20180192067A1/en
Application granted granted Critical
Publication of TWI617181B publication Critical patent/TWI617181B/zh
Publication of TW201826787A publication Critical patent/TW201826787A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種排程方法，用於一高效率視訊編碼裝置，該排程方法包含有由該高效率視訊編碼裝置之一排程模組接收複數個輸入幀訊號，以對應產生一控制訊號來判斷每一輸入幀訊號是否進行一幀內/幀間編碼操作；以及當該控制訊號被判斷來進行該幀內/幀間編碼操作時，該高效率視訊編碼裝置於每一工作週期內依序對該複數個幀訊號之多者進行該第一編碼操作與一第二編碼操作，其中每一工作週期係每一輸入幀訊號中單一亮度幀訊號或單一色度幀訊號進行該第一編碼操作中任一操作或該第二編碼操作中任一操作所對應之一時間。

Description

用於高效率視訊編碼裝置之排程方法
本發明係指一種高效率視訊編碼裝置之排程方法，尤指一種可適性調整進行幀內輸入訊號之編碼操作的排程順序，以提高高效率視訊編碼裝置之處理效率的排程方法。
傳統上，高效率視訊編碼裝置可接收包含有複數個輸入幀訊號之影音資料，且每一幀輸入訊號包含有複數個亮度幀訊號與複數個色度幀訊號，且每一亮度幀訊號與每一色度幀訊號係對應為一矩陣訊號，使得每一亮度幀訊號與每一色度幀訊號皆包含有已編號之複數個子亮度幀訊號與已編號之複數個子色度幀訊號。由於每一子亮度幀訊號或每一子色度幀訊號間有依附關係，即編碼後一者之子亮度幀訊號或子色度幀訊號需參考編碼前一者之子亮度幀訊號或子色度幀訊號的編碼結果，據此，當高效率視訊編碼裝置欲進行一幀內編碼操作時，由於高效率視訊編碼裝置需逐一對子亮度幀訊號或子色度幀訊號進行所對應之編碼操作（例如一像素預估操作、一離散餘弦轉換操作、一量化操作、一反量化操作、一反離散餘弦轉換操作與一像素重建操作），其將造成大部分的硬體資源處於一等待輸入訊號之情況，而其硬體排程係無法被有效利用。另外，當高效率視訊編碼裝置欲進行一幀內/幀間編碼操作時，現有的高效率視訊編碼裝置仍必須逐一進行複數個輸入幀訊號之編碼操作，而對於硬體資源之排程也同樣缺乏效率。
因此，提供一種用於高效率視訊編碼裝置之排程方法，以提高高效率視訊編碼裝置進行幀內編碼操作與幀內/幀間編碼操作之處理效率，已成為本領域之重要課題。
因此，本發明之主要目的即在於提供一種可適性調整進行幀內輸入訊號之編碼操作的排程順序，以對應提高高效率視訊編碼裝置之處理效率。
本發明揭露一種排程方法，用於一高效率視訊編碼裝置，該排程方法包含有由該高效率視訊編碼裝置之一排程模組接收複數個輸入幀訊號，以對應產生一控制訊號來判斷每一輸入幀訊號是否進行一幀內/幀間編碼操作，並由該排程模組判斷每一輸入幀訊號為一亮度幀訊號或一色度幀訊號；以及當該控制訊號被判斷來進行該幀內/幀間編碼操作時，該高效率視訊編碼裝置於每一工作週期內依序對複數個幀訊號之多者進行一第一編碼操作與一第二編碼操作；其中，該第一編碼操作係依序進行一像素預估操作、一離散餘弦轉換操作、一量化操作、一反量化操作、一反離散餘弦轉換操作與一像素重建操作，該第二編碼操作係依序進行一動作補償操作、該離散餘弦轉換操作、該量化操作、該反量化操作、該反離散餘弦轉換操作與該像素重建操作，而每一工作週期係每一輸入幀訊號中單一亮度幀訊號或單一色度幀訊號進行該第一編碼操作中任一操作或該第二編碼操作中任一操作所對應之一時間。
本發明另揭露一種高效率視訊編碼裝置，包含有一排程模組，用來接收複數個輸入幀訊號，以對應產生一控制訊號來判斷每一輸入幀訊號是否進行一幀內/幀間編碼操作，及用來判斷每一輸入幀訊號為一亮度幀訊號或一色度幀訊號；以及一工作迴圈模組，耦接該排程模組，包含有一預估模組、一離散餘弦轉換模組、一量化模組、一反量化模組、一反離散餘弦轉換模組與一像素重建模組且彼此為依序耦接；其中，當該控制訊號被判斷來進行該幀內/幀間編碼操作時，該工作迴圈模組於每一工作週期內依序對該複數個幀訊號之多者進行該第一編碼操作與一第二編碼操作，該第一編碼操作係依序進行一像素預估操作、一離散餘弦轉換操作、一量化操作、一反量化操作、一反離散餘弦轉換操作與一像素重建操作，該第二編碼操作係依序進行一動作補償操作、該離散餘弦轉換操作、該量化操作、該反量化操作、該反離散餘弦轉換操作與該像素重建操作，而每一工作週期係每一輸入幀訊號中單一亮度幀訊號或單一色度幀訊號進行該第一編碼操作中任一操作或該第二編碼操作中任一操作所對應之一時間。
請參考第1圖，第1圖為本發明實施例一高效能視頻編碼裝置1之示意圖。如第1圖所示，高效能視頻編碼裝置1包含有一排程模組10與一工作迴圈模組LM。其中，排程模組10可用來接收複數個輸入幀訊號，以對應產生一控制訊號來判斷每一輸入幀訊號係進行一幀內編碼操作或一幀內/幀間編碼操作，及用來判斷每一輸入幀訊號為一亮度幀訊號或一色度幀訊號。工作迴圈模組LM耦接排程模組10，包含有一預估模組11、一離散餘弦轉換模組12、一量化模組13、一反量化模組14、一反離散餘弦轉換模組15與一像素重建模組16，且彼此為依序耦接，每一者可對應進行一像素預估操作/一動作補償操作、一離散餘弦轉換操作、一量化操作、一反量化操作、一反離散餘弦轉換操作與一像素重建操作，而該些操作為本領域具通常知識者所熟知，為求簡潔，不逐一詳述。
此外，量化模組13還耦接一轉傳單元17，用來接收並輸出量化模組13所產生之一剩餘訊號至一幀內亮度暫存器或一幀內色度暫存器（圖中未示），而像素重建模組16也耦接另一轉傳單元18，用來接收並輸出像素重建模組16之一重建訊號至另一幀內亮度暫存器或另一幀內色度暫存器（圖中未示），使得暫存於幀內亮度暫存器或幀內色度暫存器內的相關訊號可作為高效率視訊編碼裝置1其他操作之需求；前述接收剩餘訊號之幀內亮度暫存器與接收重建訊號之另一幀內亮度暫存器不限於個別獨立之暫存器，亦有可能為同一記憶體的不同暫存區塊，同理，幀內色度暫存器亦同。再者，預估模組11、離散餘弦轉換模組12、量化模組13、反量化模組14、反離散餘弦轉換模組15與像素重建模組16皆包含有一剖析器（parser），可用來接收排程模組10所產生之控制訊號，以對應判斷目前已接收至少一輸入幀訊號係進行幀內編碼操作或幀內/幀間編碼操作，同時，還可用來判斷輸入幀訊號為亮度幀訊號或色度幀訊號。
值得注意地，本實施例中的每一幀輸入訊號包含有複數個亮度幀訊號與複數個色度幀訊號，每一亮度幀訊號與每一色度幀訊號係對應為一矩陣訊號，且每一亮度幀訊號與每一色度幀訊號皆包含有已編號之複數個子亮度幀訊號與複數個子色度幀訊號，而編號方式可為一Z型編碼（如其後之第4圖所示），然其非用以限制本發明的範疇。在此情況下，本實施例中的高效能視頻編碼裝置1先透過排程模組10來判斷所接收之輸入幀訊號將進行幀內編碼操作或幀內/幀間編碼操作，同時判斷輸入幀訊號為亮度幀訊號或色度幀訊號，並將以上之判斷結果輸出為控制訊號且傳輸至工作迴圈模組LM，進而對複數個子亮度幀訊號與複數個子色度幀訊號進行一第一編碼操作與一第二編碼操作，其中第一編碼操作係依序進行像素預估操作、離散餘弦轉換操作、量化操作、反量化操作、反離散餘弦轉換操作與像素重建操作，而第二編碼操作係依序進行動作補償操作、離散餘弦轉換操作、量化操作、反量化操作、反離散餘弦轉換操作與像素重建操作，至於詳細之操作方式將於以下段落詳述。
進一步地，本實施例高效能視頻編碼裝置1所適用之排程方法可歸納為一排程流程20，且被編譯為一程式碼而儲存於高效能視頻編碼裝置1之一儲存裝置中，並由高效能視頻編碼裝置1之一處理器模組來對應進行，進而控制排程模組10與工作迴圈模組LM之相關操作，如第2圖所示，排程流程20包含以下步驟。
步驟200：開始。
步驟202：排程模組10接收複數個輸入幀訊號，以對應產生控制訊號來判斷每一輸入幀訊號係進行幀內編碼操作或幀內/幀間編碼操作；若判斷進行幀內編碼操作，進行步驟204，若判斷進行幀內/幀間編碼操作，進行步驟206。
步驟204：當排程模組10判斷進行幀內編碼操作時，高效率視訊編碼裝置1依序對每一亮度幀訊號之複數個子亮度幀訊號中一者與每一色度幀訊號之複數個子色度幀訊號中一者進行第一編碼操作。
步驟206：當排程模組10判斷進行幀內/幀間編碼操作時，高效率視訊編碼裝置1於每一工作週期內依序對複數個幀訊號之多者進行第一編碼操作與第二編碼操作。
本實施例中排程流程20所對應之程式碼，可對應儲存於排程模組10、預估模組11、離散餘弦轉換模組12、量化模組13、反量化模組14、反離散餘弦轉換模組15與像素重建模組16（甚至是轉傳單元17、18）中，以提升高效能視頻編碼裝置1之處理效能，然非用以限制本發明的範疇。此外，本實施例中的每一工作週期係每一輸入幀訊號中單一亮度幀訊號或單一色度幀訊號進行第一編碼操作中任一操作或第二編碼操作中任一操作所對應之一時間，舉例來說，每一工作週期可理解為一最短時間間隔，以讓預估模組11、離散餘弦轉換模組12、量化模組13、反量化模組14、反離散餘弦轉換模組15與像素重建模組16中任一者對單一亮度幀訊號（或單一色度幀訊號）皆能完成其相關操作，據此，根據所接收輸入幀訊號的多寡，將使得第一編碼操作與第二編碼操作可對應複數個工作週期且為依序排列。
於步驟202中，排程模組10根據所接收之複數個輸入幀訊號，對應產生控制訊號來判斷進行步驟204（即進行幀內編碼操作）或進行步驟206（即進行幀內/幀間編碼操作），當然，根據不同需求，本領域具通常知識者亦可將步驟202所對應之判斷機制拆成兩個部分，以獨立判斷是否要進行幀內編碼操作且獨立判斷是否要進行幀內/幀間編碼操作，在此情況下，步驟202所對應之程式碼將可區分為兩個子程式碼來獨立進行操作，或是依序先後進行該兩者所對應之程式碼的判斷操作，以上非用以限制本發明的範疇）。至於步驟204與步驟206之操作內容還可進一步歸納為一幀內編碼流程30或一幀內/幀間編碼流程60，詳細說明可參考以下段落。
本實施例中幀內編碼流程30還可編譯為另一程式碼，且儲存於高效能視頻編碼裝置1之儲存裝置中，並由高效能視頻編碼裝置1之處理器模組來對應進行，進而控制工作迴圈模組LM之相關操作，如第3圖所示，幀內編碼流程30包含以下步驟。
步驟300：開始。
步驟302：於一第一工作週期，高效率視訊編碼裝置1對第一子亮度幀訊號進行一第一操作。
步驟304：於第一工作週期後之一第二工作週期，高效率視訊編碼裝置1對第一子色度幀訊號進行第一操作，同時高效率視訊編碼裝置1對第一子亮度幀訊號進行一第二操作。
步驟306：於第二工作週期後之一第三工作週期，高效率視訊編碼裝置1對第一子色度幀訊號進行第二操作。
步驟308：結束。
本實施例係根據工作迴圈模組LM所接收之控制訊號與輸入幀訊號，以對應啟動用於工作迴圈模組LM之幀內編碼流程30。此外，排程模組10一併將複數個輸入幀訊號對應之亮度幀訊號或色度幀訊號的判斷結果告知工作迴圈模組LM，以讓工作迴圈模組LM依序對亮度幀訊號之複數個子亮度幀訊號與色度幀訊號之複數個子色度幀訊號進行第一編碼操作。
舉例來說，於本實施例中，若亮度幀訊號包含有第一子亮度幀訊號且色度幀訊號包含有第一子色度幀訊號，排程模組10依序接收第一子亮度幀訊號與第一子色度幀訊號，而第一操作與第二操作依序為編碼操作之像素預估操作、離散餘弦轉換操作、量化操作、反量化操作、反離散餘弦轉換操作與像素重建操作中連續兩者。在此情況下，於步驟302中，高效率視訊編碼裝置1之工作迴圈模組LM將對第一子亮度幀訊號進行第一操作；步驟304中，於第一工作週期後之第二工作週期，工作迴圈模組LM將對第一子色度幀訊號進行第一操作，同時工作迴圈模組LM還對第二子亮度幀訊號進行第二操作；步驟306中，於第二工作週期後之第三工作週期，工作迴圈模組LM對第二子色度幀訊號進行第二操作。
換句話說，由於第一子亮度幀訊號與第一子色度幀訊號間不存在相互依存之參考關係，使得本實施例的幀內編碼流程30可於單一工作週期內進行至少兩個訊號之第一編碼操作，即步驟304中工作迴圈模組LM對第一子色度幀訊號進行第一操作與對第一子亮度幀訊號進行第二操作，當然，本實施例中亮度幀訊號所包含之子亮度幀訊號與色度幀訊號所包含之子色度幀訊號的數量僅為示範性說明，而執行步驟304的次數亦可根據子亮度幀訊號與子色度幀訊號之數量來對應調整。據此，幀內編碼流程30先進行子亮度幀訊號的編碼操作，並於下一個工作週期後，同時對子亮度幀訊號與子色度幀訊號進行第一編碼操作，直到子色度幀訊號完成第一編碼操作後，再逐一完成剩下子亮度幀訊號的第一編碼操作。
舉例來說，請參考第4圖，第4圖為本發明實施例一亮度幀訊號S_L與複數個色度幀訊號S_Cb、S_Cr之示意圖。本實施例中的亮度幀訊號S_L包含有複數個子亮度幀訊號S_L_0〜S_L_15（即分別編碼為0〜15），色度幀訊號S_Cb包含有子色度幀訊號S_Cb_16〜S_Cb_19­（即分別編碼為16〜19），色度幀訊號S_Cr包含有子色度幀訊號S_Cr_20〜S_Cr_23。另外，請參考第5圖，第5圖為第4圖實施例一亮度幀訊號S_L與複數個色度幀訊號S_Cb、S_Cr所對應幀內編碼操作之執行時間的示意圖，其中，亮度幀訊號與色度幀訊號所進行之第一編碼操作可標示為像素預估操作IAP、離散餘弦轉換操作DCT、量化操作Q、反量化操作IQ、反離散餘弦轉換操作IDCT與像素重建操作REC。
據此，於一第一時點T1，由子亮度幀訊號S_L_0進行像素預估操作IAP；於一第二時點T2，由子亮度幀訊號S_L_0進行離散餘弦轉換操作DCT，同時，子色度幀訊號S_Cb_16還進行像素預估操作IAP；於一第三時點T3到一第六時點T6，子亮度幀訊號S_L_0接續進行量化操作Q、反量化操作IQ、反離散餘弦轉換操作IDCT與像素重建操作REC，同時，子色度幀訊號S_Cb_16還進行離散餘弦轉換操作DCT、量化操作Q、反量化操作IQ與反離散餘弦轉換操作IDCT，並於第六時點T6結束時，子亮度幀訊號S_L_0已完成第一編碼操作，而其對應之編碼結果係可暫存於亮度暫存器（圖中未示）中，並輪到子亮度幀訊號S_L_1開始進行相關編碼操作，即於一第七時點T7，子亮度幀訊號S_L_1進行像素預估操作IAP，而子色度幀訊號S_Cb_16還進行像素重建操作REC，如此，子色度幀訊號S_Cb_16也完成其第一編碼操作，同樣地，其對應之編碼結果也可暫存於色度暫存器（圖中未示）中。據此，一第八時點T8之後每六個時點的操作方式，則重複第二時點T2到第七時點T7的操作方式，以同時對子亮度幀訊號S_L_1〜S_L_15與子色度幀訊號S_Cb_17〜S_Cb_19、S_Cr_20〜S_Cr_23進行編碼操作，直到子色度幀訊號S_Cr_23先完成第一編碼操作後，工作迴圈模組LM才於接下來的每一時點逐一完成剩餘子亮度幀訊號的第一編碼操作。
再者，本實施例中幀內/幀間編碼操作所對應之一幀內/幀間編碼流程60還可編譯為另一程式碼，且儲存於高效能視頻編碼裝置1之儲存裝置中，並由高效能視頻編碼裝置1之處理器模組來對應進行，進而控制工作迴圈模組LM之相關操作，如第6圖所示，幀內/幀間編碼流程60包含以下步驟。
步驟600：開始。
步驟602：於第一工作週期，高效率視訊編碼裝置1對複數個輸入幀訊號中之一第一輸入幀訊號進行第一編碼操作且持續六個工作週期。
步驟604：於第一工作週期後之第二工作週期，高效率視訊編碼裝置1對複數個幀訊號中之一第二輸入幀訊號進行第二編碼操作且持續六個工作週期。
步驟606：重複步驟604來對第二輸入幀訊號之複數個子亮度幀訊號與複數個子色度幀訊號進行第二編碼操作，且繼續進行第一輸入幀訊號之第一編碼操作。
步驟608：結束。
本實施例係根據工作迴圈模組LM所接收之控制訊號與輸入幀訊號，對應啟動用於工作迴圈模組LM之幀內/幀間編碼流程60，此外，排程模組10還將複數個輸入幀訊號對應之亮度幀訊號或色度幀訊號的判斷結果告知工作迴圈模組LM，以讓工作迴圈模組LM依序對複數個幀訊號進行第一編碼操作與第二編碼操作。例如，本實施例的排程模組10接收至少一第一輸入幀訊號與一第二輸入幀訊號，且第一輸入幀訊號與第二輸入幀訊號皆包含有複數個亮度幀訊號與複數個色度幀訊號，且排程模組10依序接收第一輸入幀訊號與第二輸入幀訊號。在此情況下，步驟602中，於第一工作週期，高效率視訊編碼裝置1之工作迴圈模組LM對第一輸入幀訊號進行第一編碼操作且持續六個工作週期；步驟604中，於第一工作週期後之第二工作週期，工作迴圈模組LM將對第二輸入幀訊號進行第二編碼操作且持續六個工作週期；步驟606中，重複步驟604之相關操作來對第二輸入幀訊號之複數個子亮度幀訊號與複數個子色度幀訊號進行第二編碼操作，且繼續進行第一輸入幀訊號之第一編碼操作。
換言之，由於第一輸入幀訊號與第二輸入幀訊號間不存在相互依存之參考關係，使得本實施例中的幀內/幀間編碼流程60可於單一工作週期內進行至少兩個輸入幀訊號之第一編碼操作與第二編碼，即幀內/幀間編碼流程60所進行之操作可理解為於完成第二輸入幀訊號之複數個子亮度幀訊號與複數個子色度幀訊號之第二編碼操作之前，於每一工作週期，工作迴圈模組LM同時對第一輸入幀訊號進行第一編碼操作且對第二輸入幀訊號進行第二編碼操作；一旦完成第二輸入幀訊號之複數個子亮度幀訊號與複數個子色度幀訊號之第二編碼操作後，於之後的每一工作週期，工作迴圈模組LM僅對第一輸入幀訊號進行第一編碼操作。據此，本實施例中幀內/幀間編碼流程60先於第一個工作周期進行第一輸入幀訊號的第一編碼操作，於下一個工作週期時，除了持續對第一輸入幀訊號進行第一編碼操作外，同時還對第二輸入幀訊號進行第二編碼操作且持續多個工作週期，直到第二輸入幀訊號完成第二編碼操作，則恢復進行第一輸入幀訊號之第一編碼操作，直到完成第一輸入幀訊號之第一編碼操作後，幀內/幀間編碼流程60即可終止。當然，本實施例中執行步驟606的次數還可根據複數個輸入幀訊號所包含之子亮度幀訊號與子色度幀訊號的數量來進行調整，非用以限制本發明的範疇。
請參考第7圖，第7圖為本發明實施例中複數個輸入幀訊號之亮度幀訊號S_L0、S_L1所對應幀內/幀間編碼操作之執行時間的示意圖，其中，本實施例中僅繪出工作迴圈模組LM所接收之亮度幀訊號S_L0、S_L1，亮度幀訊號S_L0、S_L1包含有複數個子亮度幀訊號S_L0_0〜S_L0_15、S_L1_0〜S_L1_15（即分別編碼為0〜15），當然，本實施例的工作迴圈模組LM也同時接收複數個輸入幀訊號之複數個色度幀訊號，不過為了簡潔說明，以下僅利用子亮度幀訊號來代表當前包含已存在複數個輸入幀訊號，然非用以限制本發明的範疇。於本實施例之一第一時點S1到一第六時點S6，由子亮度幀訊號S_L0_0依序進行第一編碼操作（即像素預估操作IAP、離散餘弦轉換操作DCT、量化操作Q、反量化操作IQ與反離散餘弦轉換操作IDCT與像素重建操作REC）；於一第二時點S2到一第七時點S7，由子亮度幀訊號S_L1_0依序進行第二編碼操作（即動作補償操作MC、離散餘弦轉換操作DCT、量化操作Q、反量化操作IQ與反離散餘弦轉換操作IDCT與像素重建操作REC）；類似地，於第三時點S3到第五時點S5，由子亮度幀訊號S_L1_1〜S_L1_3依序進行第二編碼操作且持續六個時點，直到一第六時點S6，子亮度幀訊號S_L_0完成其編碼操作，並於一第七時點S7，由子亮度幀訊號S_L0_1接著進行其第一編碼操作。當亮度幀訊號S_L1完成第二編碼操作後，工作迴圈模組LM接著繼續對亮度幀訊號S_L0進行第一編碼操作，直到完成亮度幀訊號S_L0之第一編碼操作，才結束幀內/幀間編碼流程60之相關操作。當然，於不同實施例中，還可適性加入不同輸入幀訊號之複數個色度幀訊號的操作時點於第7圖實施例亮度幀訊號S_L0、S_L1之操作時點後，或者根據不同需求來對應安排該些色度幀訊號之操作時點於工作迴圈模組LM之硬體資源的等待時點上，此亦屬於本發明的範疇。
相較於習知技術，本實施例中的幀內編碼流程30與幀內/幀間編碼流程60可控制工作迴圈模組LM之複數個組成模組來同時進行不同輸入幀訊號之子亮度幀訊號或子色度幀訊號之第一/第二編碼操作，以充分利用原先習知技術中工作迴圈模組LM之複數個組成模組所耗費的等待時間，進而大幅提高高效能視頻編碼裝置1的執行效率。再者，本實施例還新增轉傳單元17、18以及幀內亮度暫存器、幀內色度暫存器之操作方式，也可大幅提升高效能視頻編碼裝置1之應用空間。
需注意的是，本發明係透過調整進行幀內輸入訊號之編碼操作的排程順序，以對應提高處理效率。本領域具通常知識者可根據前述實施例做適當之變化，而不限於此。舉例來說，請參考第8圖，第8圖為排程模組10之一實施例之示意圖。如第8圖所示，排程模組10可包含一幀內亮度工作佇列、一幀內色度工作佇列、一幀間工作佇列及一邏輯模組。邏輯模組用以判斷幀訊號間的依附關係，決定啟動或輸出幀內亮度工作佇列、幀內色度工作佇列或幀間工作佇列的內容，進而輸出控制訊號至工作迴圈模組LM。工作迴圈模組LM接收到排程模組10的控制訊號後，即可進行對應編碼操作。第8圖係說明排程模組10之實施方式之一，本領域具通常知識者可根據系統所需適當調整，而不限於此。
綜上所述，本發明實施例係教導一種用於高效能視頻編碼裝置之排程方法，透過排程模組及其對應之剖析器，以判斷目前輸入幀訊號係欲進行幀內編碼操作或幀內/幀間編碼操作，並對應傳輸控制訊號至工作迴圈模組之預估模組、離散餘弦轉換模組、量化模組、反量化模組、反離散餘弦轉換模組與像素重建模組，以分別對不同輸入幀訊號之亮度幀訊號與色度幀訊號進行相關編碼操作，進而節省習知技術中硬體資源所浪費之等待時間。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
1‧‧‧高效能視頻編碼裝置
10‧‧‧排程模組
11‧‧‧預估模組
12‧‧‧離散餘弦轉換模組
13‧‧‧量化模組
14‧‧‧反量化模組
15‧‧‧反離散餘弦轉換模組
16‧‧‧像素重建模組
17、18‧‧‧轉傳單元
20‧‧‧排程流程
200、202、204、206、300、302、304、306、308、600、602、604、606、608‧‧‧步驟
30‧‧‧幀內編碼流程
60‧‧‧幀內/幀間編碼流程
LM‧‧‧工作迴圈模組
S_L‧‧‧亮度幀訊號
S_L_0〜S_L_15‧‧‧子亮度幀訊號
S_Cb、S_Cr‧‧‧色度幀訊號
S_Cb_16〜S_Cb_19、S_Cr_20〜S_Cr_23‧‧‧子色度幀訊號
IAP‧‧‧像素預估操作
DCT‧‧‧離散餘弦轉換操作
Q‧‧‧量化操作
IQ‧‧‧反量化操作
IDCT‧‧‧反離散餘弦轉換操作
REC‧‧‧像素重建操作
MC‧‧‧動作補償操作
T1～T8、S1～S8‧‧‧時點
第1圖為本發明實施例一高效能視頻編碼裝置之示意圖。 第2圖為本發明實施例一排程流程的流程圖。 第3圖為本發明實施例一幀內編碼流程的流程圖。 第4圖為本發明實施例一亮度幀訊號與複數個色度幀訊號之示意圖。 第5圖為第4圖實施例一亮度幀訊號與複數個色度幀訊號所對應幀內編碼操作之執行時間的示意圖。 第6圖為本發明實施例一幀內/幀間編碼流程的流程圖。 第7圖為本發明實施例中複數個輸入幀訊號之亮度幀訊號所對應幀內/幀間編碼操作之執行時間的示意圖。 第8圖為第1圖中一排程模組之一實施例之示意圖。
1‧‧‧高效能視頻編碼裝置
10‧‧‧排程模組
11‧‧‧預估模組
12‧‧‧離散餘弦轉換模組
13‧‧‧量化模組
14‧‧‧反量化模組
15‧‧‧反離散餘弦轉換模組
16‧‧‧像素重建模組
17、18‧‧‧轉傳單元
LM‧‧‧工作迴圈模組

Claims (19)

  1. 一種排程方法，用於一高效率視訊編碼裝置，該排程方法包含有： 由該高效率視訊編碼裝置之一排程模組接收複數個輸入幀訊號，以對應產生一控制訊號來判斷每一輸入幀訊號是否進行一幀內/幀間編碼操作，並由該排程模組判斷每一輸入幀訊號為一亮度幀訊號或一色度幀訊號；以及 當該控制訊號被判斷來進行該幀內/幀間編碼操作時，該高效率視訊編碼裝置於每一工作週期內依序對複數個幀訊號之多者進行一第一編碼操作與一第二編碼操作； 其中，該第一編碼操作係依序進行一像素預估操作、一離散餘弦轉換操作、一量化操作、一反量化操作、一反離散餘弦轉換操作與一像素重建操作，該第二編碼操作係依序進行一動作補償操作、該離散餘弦轉換操作、該量化操作、該反量化操作、該反離散餘弦轉換操作與該像素重建操作，而每一工作週期係每一輸入幀訊號中單一亮度幀訊號或單一色度幀訊號進行該第一編碼操作中任一操作或該第二編碼操作中任一操作所對應之一時間。
  2. 如請求項1所述之排程方法，其還包含有： 當該控制訊號被判斷不進行該幀內/幀間編碼操作時，該高效率視訊編碼裝置依序對每一亮度幀訊號之複數個子亮度幀訊號中一者與每一色度幀訊號之複數個子色度幀訊號中一者進行該第一編碼操作。
  3. 如請求項2所述之排程方法，其中每一亮度幀訊號包含有至少一第一子亮度幀訊號，每一色度幀訊號包含有至少一第一子色度幀訊號，而當該控制訊號被判斷不進行該幀內/幀間編碼操作時，該高效率視訊編碼裝置依序對每一亮度幀訊號之該複數個子亮度幀訊號中一者與每一色度幀訊號之該複數個子色度幀訊號中一者進行該第一編碼操作之步驟還包含有： 於一第一工作週期，該高效率視訊編碼裝置對該第一子亮度幀訊號進行一第一操作； 於該第一工作週期後之一第二工作週期，該高效率視訊編碼裝置對該第一子色度幀訊號進行該第一操作，同時該高效率視訊編碼裝置對該第一子亮度幀訊號進行一第二操作；以及 於該第二工作週期後之一第三工作週期，該高效率視訊編碼裝置對該第一子色度幀訊號進行該第二操作； 其中，該排程模組依序接收該第一子亮度幀訊號與該第一子色度幀訊號，而該第一操作與該第二操作依序為該像素預估操作、該離散餘弦轉換操作、該量化操作、該反量化操作、該反離散餘弦轉換操作與該像素重建操作中連續兩者。
  4. 如請求項1所述之排程方法，其中當該排程模組判斷進行該幀內/幀間編碼操作時，該高效率視訊編碼裝置依序對該複數個幀訊號之多者進行該第一編碼操作與該第二編碼操作之步驟還包含有： 於一第一工作週期，該高效率視訊編碼裝置對該複數個輸入幀訊號中一第一輸入幀訊號進行該第一編碼操作且持續六個工作週期； 於該第一工作週期後之一第二工作週期，該高效率視訊編碼裝置對該複數個輸入幀訊號中一第二輸入幀訊號進行該第二編碼操作且持續六個工作週期；以及 重複以上操作來對該第二輸入幀訊號之複數個子亮度幀訊號與複數個子色度幀訊號進行該第二編碼操作，且繼續進行該第一輸入幀訊號之該第一編碼操作。
  5. 如請求項4所述之排程方法，其還包含有： 於完成該第二輸入幀訊號之該複數個子亮度幀訊號與該複數個子色度幀訊號之該第二編碼操作前，於每一工作週期，該高效率視訊編碼裝置同時對該第一輸入幀訊號進行該第一編碼操作且對該第二輸入幀訊號進行該第二編碼操作。
  6. 如請求項4所述之排程方法，其還包含有： 一旦完成該第二輸入幀訊號之該複數個子亮度幀訊號與該複數個子色度幀訊號之該第二編碼操作後，於之後的每一工作週期，該高效率視訊編碼裝置對該第一輸入幀訊號進行該第一編碼操作。
  7. 如請求項1所述之排程方法，其中該高效率視訊編碼裝置還包含有一預估模組來進行該像素預估操作或該動作補償操作、一離散餘弦轉換模組來進行該離散餘弦轉換操作、一量化模組來進行該量化操作、一反量化模組來進行該反量化操作、一反離散餘弦轉換模組來進行該反離散餘弦轉換操作與一像素重建模組來進行該像素重建操作，且該預估模組、該離散餘弦轉換模組、該量化模組、該反量化模組、該反離散餘弦轉換模組與該像素重建模組為依序耦接來形成一工作迴圈模組。
  8. 如請求項7所述之排程方法，其中該預估模組、該離散餘弦轉換模組、該量化模組、該反量化模組、該反離散餘弦轉換模組與該像素重建模組皆包含有一剖析器，用來接收該排程模組之該控制訊號，以對應判斷是否進行該幀內/幀間編碼操作，同時還判斷該輸入幀訊號為該亮度幀訊號或該色度幀訊號。
  9. 如請求項7所述之排程方法，其中該量化模組還耦接一轉傳單元，用來輸出該量化模組之一剩餘訊號至一幀內亮度暫存器或一幀內色度暫存器。
  10. 如請求項7所述之排程方法，其中該像素重建模組還耦接一轉傳單元，用來輸出該像素重建模組之一重建訊號至一幀內亮度暫存器或一幀內色度暫存器。
  11. 一種高效率視訊編碼裝置，包含有： 一排程模組，用來接收複數個輸入幀訊號，以對應產生一控制訊號來判斷每一輸入幀訊號是否進行一幀內/幀間編碼操作，及用來判斷每一輸入幀訊號為一亮度幀訊號或一色度幀訊號；以及 一工作迴圈模組，耦接該排程模組，包含有一預估模組、一離散餘弦轉換模組、一量化模組、一反量化模組、一反離散餘弦轉換模組與一像素重建模組且彼此為依序耦接； 其中，當該控制訊號被判斷來進行該幀內/幀間編碼操作時，該工作迴圈模組於每一工作週期內依序對該複數個幀訊號之多者進行一第一編碼操作與一第二編碼操作，該第一編碼操作係依序進行一像素預估操作、一離散餘弦轉換操作、一量化操作、一反量化操作、一反離散餘弦轉換操作與一像素重建操作，該第二編碼操作係依序進行一動作補償操作、該離散餘弦轉換操作、該量化操作、該反量化操作、該反離散餘弦轉換操作與該像素重建操作，而每一工作週期係每一輸入幀訊號中單一亮度幀訊號或單一色度幀訊號進行該第一編碼操作中任一操作或該第二編碼操作中任一操作所對應之一時間。
  12. 如請求項11所述之高效率視訊編碼裝置，其中該預估模組、該離散餘弦轉換模組、該量化模組、該反量化模組、該反離散餘弦轉換模組與該像素重建模組皆包含有一剖析器，用來接收該排程模組之該控制訊號，以對應判斷進行該幀內編碼操作或該幀內/幀間編碼操作，同時還判斷每一輸入幀訊號為該亮度幀訊號或該色度幀訊號。
  13. 如請求項11所述之高效率視訊編碼裝置，其中該量化模組還耦接一轉傳單元，用來輸出該量化模組之一剩餘訊號至一幀內亮度暫存器或一幀內色度暫存器。
  14. 如請求項11所述之高效率視訊編碼裝置，其中該像素重建模組還耦接一轉傳單元，用來輸出該像素重建模組之一重建訊號至一幀內亮度暫存器或一幀內色度暫存器。
  15. 如請求項11所述之高效率視訊編碼裝置，其中當該控制訊號被判斷不進行該幀內/幀間編碼操作時，該工作迴圈模組依序對每一亮度幀訊號之複數個子亮度幀訊號中一者與每一色度幀訊號之複數個子色度幀訊號中一者進行該第一編碼操作。
  16. 如請求項15所述之高效率視訊編碼裝置，其中每一亮度幀訊號包含有至少一第一子亮度幀訊號，每一色度幀訊號包含有至少一第一子色度幀訊號，而當該控制訊號被判斷不進行該幀內/幀間編碼操作時，還包含有以下步驟： 於一第一工作週期，該工作迴圈模組對該第一子亮度幀訊號進行一第一操作； 於該第一工作週期後之一第二工作週期，該工作迴圈模組對該第一子色度幀訊號進行該第一操作，同時該工作迴圈模組對該第一子亮度幀訊號進行一第二操作；以及 於該第二工作週期後之一第三工作週期，該工作迴圈模組對該第一子色度幀訊號進行該第二操作； 其中，該排程模組依序接收該第一子亮度幀訊號與該第一子色度幀訊號，而該第一操作與該第二操作依序為該像素預估操作、該離散餘弦轉換操作、該量化操作、該反量化操作、該反離散餘弦轉換操作與該像素重建操作中連續兩者。
  17. 如請求項11所述之高效率視訊編碼裝置，其中當該控制訊號被判斷進行該幀內/幀間編碼操作時，還包含有以下步驟： 於一第一工作週期，該高效率視訊編碼裝置對該複數個幀訊號中一第一輸入幀訊號進行該第一編碼操作且持續六個工作週期； 於該第一工作週期後之一第二工作週期，該高效率視訊編碼裝置對該複數個幀訊號中一第二輸入幀訊號進行該第二編碼操作且持續六個工作週期；以及 重複以上操作來對該第二輸入幀訊號之複數個子亮度幀訊號與複數個子色度幀訊號進行該第二編碼操作，且繼續進行該第一輸入幀訊號之該第一編碼操作。
  18. 如請求項17所述之高效率視訊編碼裝置，其中當該控制訊號被判斷進行該幀內/幀間編碼操作時，還包含有以下步驟： 於完成該第二輸入幀訊號之該複數個子亮度幀訊號與該複數個子色度幀訊號之該第二編碼操作前，於每一工作週期，該高效率視訊編碼裝置同時對該第一輸入幀訊號進行該第一編碼操作且對該第二輸入幀訊號進行該第二編碼操作。
  19. 如請求項17所述之高效率視訊編碼裝置，其中當該控制訊號被判斷進行該幀內/幀間編碼操作時，還包含有以下步驟： 完成該第二輸入幀訊號之該複數個子亮度幀訊號與該複數個子色度幀訊號之該第二編碼操作後，於每一工作週期，該高效率視訊編碼裝置僅對該第一輸入幀訊號進行該第一編碼操作。
TW106100100A 2017-01-04 2017-01-04 用於高效率視訊編碼裝置之排程方法 TWI617181B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106100100A TWI617181B (zh) 2017-01-04 2017-01-04 用於高效率視訊編碼裝置之排程方法
US15/850,482 US20180192067A1 (en) 2017-01-04 2017-12-21 Scheduling method for high efficiency video coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106100100A TWI617181B (zh) 2017-01-04 2017-01-04 用於高效率視訊編碼裝置之排程方法

Publications (2)

Publication Number Publication Date
TWI617181B true TWI617181B (zh) 2018-03-01
TW201826787A TW201826787A (zh) 2018-07-16

Family

ID=62189256

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106100100A TWI617181B (zh) 2017-01-04 2017-01-04 用於高效率視訊編碼裝置之排程方法

Country Status (2)

Country Link
US (1) US20180192067A1 (zh)
TW (1) TWI617181B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110103485A1 (en) * 2008-07-01 2011-05-05 Kazushi Sato Image Processing Apparatus and Method
CN102143361B (zh) * 2011-01-12 2013-05-01 浙江大学 一种视频编码方法和装置
US20140362922A1 (en) * 2013-01-30 2014-12-11 Atul Puri Content adaptive prediction and entropy coding of motion vectors for next generation video
TW201536038A (zh) * 2013-12-19 2015-09-16 Qualcomm Inc 用於視訊資訊之可擴展寫碼之裝置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110103485A1 (en) * 2008-07-01 2011-05-05 Kazushi Sato Image Processing Apparatus and Method
CN102143361B (zh) * 2011-01-12 2013-05-01 浙江大学 一种视频编码方法和装置
US20140362922A1 (en) * 2013-01-30 2014-12-11 Atul Puri Content adaptive prediction and entropy coding of motion vectors for next generation video
TW201536038A (zh) * 2013-12-19 2015-09-16 Qualcomm Inc 用於視訊資訊之可擴展寫碼之裝置及方法

Also Published As

Publication number Publication date
TW201826787A (zh) 2018-07-16
US20180192067A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
KR101184244B1 (ko) 비디오 블록들의 병렬 배치 디코딩
US8472527B2 (en) Hierarchical motion estimation using original frame for sub-sampled reference
US20220377322A1 (en) Intra/inter mode decision for predictive frame encoding
TWI344793B (en) Power aware method and apparatus of video decoder on a multi-core platform
US8291256B2 (en) Clock stop and restart control to pipelined arithmetic processing units processing plurality of macroblock data in image frame per frame processing period
US9161056B2 (en) Method for low memory footprint compressed video decoding
CN108540797A (zh) 基于多核平台的hevc帧内/帧间联合wpp编码方法
US8238429B2 (en) Statistically cycle optimized bounding box for high definition video decoding
CN109391816B (zh) 基于cpu+gpu异构平台实现hevc中熵编码环节的并行处理方法
JP2005198289A (ja) データ処理システムおよびデータ処理方法
JP3305976B2 (ja) 圧縮ビデオシーケンス操作用デバイス
US11968380B2 (en) Encoding and decoding video
TWI617181B (zh) 用於高效率視訊編碼裝置之排程方法
CN105100799A (zh) 一种减少hevc编码器中帧内编码时延的方法
CN112422986A (zh) 硬件解码器流水线优化方法及应用
US20050080784A1 (en) Data processing system
US20170323454A1 (en) Apparatus and method for efficient motion estimation
CN108462877B (zh) 残差处理电路和相关的残差处理方法
JPH1155668A (ja) 画像符号化装置
KR20100123363A (ko) 매크로블록 기반의 데이터 병렬 처리를 수행하는 동영상 인코딩/디코딩 장치
Wang et al. Dynamic macroblock wavefront parallelism for parallel video coding
KR100637838B1 (ko) 계단식 파이프라인을 이용한 멀티미디어 데이터 병렬 처리장치 및 그 방법
CN108337507A (zh) 用于高效率视频编码装置的排程方法
US11750800B1 (en) Encoder and associated signal processing method
US20090006037A1 (en) Accurate Benchmarking of CODECS With Multiple CPUs

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees