TWI393446B - 視訊壓縮中用於精化係數編碼之方法及系統 - Google Patents

視訊壓縮中用於精化係數編碼之方法及系統 Download PDF

Info

Publication number
TWI393446B
TWI393446B TW096110564A TW96110564A TWI393446B TW I393446 B TWI393446 B TW I393446B TW 096110564 A TW096110564 A TW 096110564A TW 96110564 A TW96110564 A TW 96110564A TW I393446 B TWI393446 B TW I393446B
Authority
TW
Taiwan
Prior art keywords
refinement
coefficients
coefficient
symbol
symbols
Prior art date
Application number
TW096110564A
Other languages
English (en)
Other versions
TW200742444A (en
Inventor
Yan Ye
Yiliang Bao
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW200742444A publication Critical patent/TW200742444A/zh
Application granted granted Critical
Publication of TWI393446B publication Critical patent/TWI393446B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

視訊壓縮中用於精化係數編碼之方法及系統
本發明揭示內容一般而言係關於視訊處理。更具體而言，本發明揭示內容係關於編碼及解碼與視訊壓縮技術有關之資訊之方法及系統。
電腦科技在視訊壓縮技術方面繼續進步。視訊壓縮係指數位視訊資料的壓縮。將視訊壓縮用來有效地編碼呈視訊檔案格式及串流和廣播視訊格式之視訊資料係合意。壓縮係將資料轉換成需要更少位元之格式，通常實施壓縮以使資料可更為有效地儲存或傳輸。壓縮的逆過程係解壓縮，解壓縮可產生原始資料的副本。
當今，諸多視訊壓縮方法應用某一類型之分立變換(例如，分立餘弦變換(DCT))來減少使用時域或空域預測技術所產生預測殘餘中的剩餘空域冗餘。諸多視訊壓縮技術還涉及量子化，其可係標量量子化或向量量子化。在量子化後，可將量子化係數進行熵編碼並將其置放於一壓縮視訊位元流內。然後，將該壓縮位元流發送至一解碼器，該解碼器將解壓縮該位元流並極其近似地恢復該原始視訊資料。
視訊壓縮技術可有益於各種媒體形式之消費者。舉例而言，於廣播工程中，可藉由視訊壓縮來實現數位電視。TV台不僅可廣播HDTV及還可在同一物理通道上廣播多個虛擬通道。數位視訊廣播可使用MPEG－2標凖視訊壓縮格式。然而，H.264/MPEG－4及VC－1作為新的視訊壓縮標凖正開始出現。
遺憾地，已知的用於編碼視訊壓縮中資訊之系統及方法受到各種缺點的困擾。因此，改善用於編碼視訊壓縮中資訊之系統及方法可大有神益。本文闡述某些用於編碼視訊壓縮中資訊之系統及方法。
本發明揭示一種在一壓縮視訊序列之信號－對－雜訊比("SNR")可縮放增強層中編碼精化係數之方法。接收一視訊序列。於當前訊框中，自該視訊序列構建一原始視訊信號之預測。藉由自該當前訊框中之原始視訊信號中減去該原始視訊信號之預測來形成一殘餘信號。對該殘餘信號應用一變換。量子化複數個變換係數。將一精化係數映射成一三元精化符號。按某一編碼次序分組精化符號。使用可變長度碼來編碼該等精化符號組。
為不同增強層自適應地選擇一個可變長度編碼表格。於一實施例中，基於該等精化符號之概率估計自適應地選擇可變長度編碼表格。一特定可變長度編碼表格之選擇可基於一增強層之位凖。於一實施例中，該特定可變長度編碼表格之選擇係基於一係數是否第一次精化或該係數是否已在一先前層中精化。
於一實施例中，該方法使顯著性係數與精化係數交錯。識別一包括複數個方塊之切圖。可在分組該等精化係數之前掃描該複數個方塊。決定編碼該等精化係數所按照之次序。可根據該決定之次序將該等精化係數儲存於一佇列中。
於一實施例中，使用該可變長度編碼表格一同編碼每固定數量之連續精化係數。於一實施例中，將一切圖之精化係數分組在一起。可實施一轉儲清除作業。該可變長度編碼表格包括一27－條目之可變長度編碼表格，其中該組長度係三。該基於子頻帶之編碼次序係用於該增強層。
本發明亦揭示一種電子裝置，其實施一用於在一壓縮視訊序列之SNR可縮放增強層中編碼精化係數之方法。該電子裝置包括一處理器及與該處理器電子通信之記憶體。該記憶體包含儲存於其中之指令。接收一視訊序列。於當前訊框中，自該視訊序列構建一原始視訊信號之預測。藉由自該當前訊框中之原始視訊信號減去該原始視訊信號之預測來形成一殘餘信號。對該殘餘信號應用一變換。量子化複數個變換係數。將一精化係數映射成一三元精化符號。按一特定編碼次序來分組精化符號。使用可變長度碼來編碼該等精化符號組。
本發明亦揭示一種電腦可讀媒體，其包括實施用於在一壓縮視訊序列之SNR可縮放增強層中編碼精化係數之方法之指令。接收一視訊序列。於當前訊框中，自該視訊序列構建一原始視訊信號之預測。藉由自該當前訊框中之原始視訊信號減去該原始視訊信號之預測來形成一殘餘信號。對該殘餘信號應用一變換。量子化複數個變換係數。將一精化係數映射成一三元精化符號。按一特定編碼次序來分組精化符號。使用可變長度碼來編碼該等精化符號組。
本發明亦揭示一種用於解碼一編碼視訊序列中顯著性係數之方法。接收一編碼視訊序列。使用一可變長度編碼表格來解碼精化符號。使用該等精化符號來解碼精化係數，其中該等精化係數係按一特定編碼次序分組。解量子化複數個變換係數。對一精化信號應用一逆變換。構建一視訊序列。
於一實施例中，該編碼視訊流包括交錯之顯著性符號及精化符號。儲存所請求精化係數之位置。儲存對應基礎層係數之符號。遞增一計數器，該計數器與所作請求數量有關。於一實施例中，決定該計數器是否到達一預定計數。調用一讀取作業從而導致正常可變長度編碼表格之解碼。獲得一組精化符號。
現在參照該等圖示闡述本發明揭示內容之各種實施例，其中相同參考編號指示相同或功能類似之元件。本發明揭示內容之通常所述及圖解之實施例可佈置及設計成各種不同的組態。因此，下文關於本發明揭示內容之數個代表於圖示中之實施例更為詳細的說明並非意欲限制本發明揭示內容所主張的範圍，而僅代表本發明揭示內容之實施例。
本文所揭示實施例之諸多特徵可實施為電腦軟體、電子硬體或兩者之組合。為清楚地表明硬體與軟體之可互換性，通常將自其功能性方面來闡述各種組件。該種功能實施為硬體還是實施為軟體可取決於施加於整體系統上的特定應用及設計約束條件。熟習此項技術者可針對每一特定應用以不同方式構建上述功能，然而此等構建決定不應被解釋為背離本發明之範圍。
若所述功能性實施為電腦軟體，則該軟體可包括任一類型之儲存於一記憶體裝置內及/或在一系統匯流排或網路上傳輸為電子信號之電腦指令或機器可執行碼。構建與本文所述組件相關功能性之軟體可包括單個指令或諸多指令，且可分配於數個不同的碼段上，可分配在不同程式之間，且可分配於數個記憶體裝置上。
於普通的視訊壓縮技術(預測、變換及量子化)之後，下一步驟則係對語法元素及量子化係數實施熵編碼以形成一位元流。於一視訊解碼器中，則實施一逆過程。自該位元流解碼語法元素及量子化係數。然後，實施逆量子化及逆變換步驟。最後，將一重建殘餘添加至該預測以重建該視訊信號。
目前，由來自ISO/IEC MPEG及ITU－T VCEG的視訊編碼專家組成之聯合視訊組(JVT)正在開發對H.264/AVC進行擴展之可縮放視訊編碼(SVC)。稱為JSVM(聯合可縮放視訊模型)之共用軟體正由參與人員使用。JSVM可支援各種可縮放特徵。一SVC位元流可具有細粒度可縮放性、空域可縮放性、時域可縮放性或該三者之任一組合。
細粒度可縮放性(下文稱之為FGS)係視訊編碼之一種重要且非常期望獲得之特徵。該特徵可允許幾乎任意地截斷該壓縮視訊位元流，而同時為終端使用者提供可接受的解碼視訊降格品質。隨著該視訊解碼器在該層中接收並解碼更多的位元，其將產生更好的視訊品質。此外，JSVM中的FGS係以將視訊品質改良均勻散佈於整個視訊訊框上之方式設計，此與視訊品質改良僅集中在訊框某一空域區域內相反，此乃因後一情形會使終端觀看者在視覺上反感。
FGS使用位元平面編碼來達成視訊品質之優良改善。若使用量子化參數QP來量子化基礎或先前層的視訊訊框，則可使用通常大約QP－6的量子化參數來量子化當前的增強層視訊，此可有效地將量子化步驟大小減小一半。作為量子化步驟大小較小的結果，更多的變換係數將在增強層中變為非零。可將該增強層中之所有非零係數分類成三個類型：非顯著性係數、顯著性係數及精化係數。"非顯著性"係數係指彼等在增強層中為零而在基礎層或先前層中之對應係數為零之係數。"顯著性"係數係指彼等在增強層中變為非零而在基礎層或先前層中之對應係數為零之係數。精化係數係指彼等在基礎或先前層中已經為非零(亦即，顯著性)的係數。該等係數的值將在當前增強層中得到精化。
由於精化係數與其他係數具有不同的統計資料，故在FGS層中其係單獨進行編碼。類似於H.264/AVC，SVC之草案推薦亦支援兩種熵編碼模式：基於上下文的自適應二元算術編碼(CABAC)模式及基於上下文的自適應可變長度編碼(CAVLC)模式。下文提供關於一CAVLC模式中改良型精化係數編碼方案之細節，圖中顯示其不僅可改善編碼效率而且可大大減小編碼器及解碼器兩者之構建複雜性。
於該FGS層中，使用兩個語法元素來發送精化係數：coeff_refinement_flag及coeff_refinement_direction_flag。該第一語法元素－coeff_refinement_flag，係載明一精化係數位凖是否等於0。不失普遍性地，吾人假設，若coeff_refinement_flag等於0，則一精化係數位凖的值等於0，而coeff_refinement_flag等於1則係載明一精化係數位凖的值等於－1或等於1。該第二元素－coeff_refinement_direction_flag，係載明一變換係數精化位凖的符號與其基礎或先前層表示之符號是相同還是不相同。不失普遍性地，吾人假設，若coeff_refinement_direction_flag等於0，則該變換係數精化位凖的符號等於基礎層中對應係數之符號；否則該精化位凖具有相反的符號；於該CAVLC模式中，在FGS層中編碼該等精化係數之一種方式係逐個方塊地處理該等精化係數。一旦該視訊解碼器開始編碼一方塊中之精化係數，則當前方塊中之所有精化係數皆係在視訊編碼器開始編碼其他係數之前進行編碼。該種方案曾在JSVM之一個版本中採用。
表格1提供該種基於方塊之精化編碼過程，將其總結成以下偽碼。
該精化解碼過程係以逆次序實施，以恢復語法coeff_refinement_flag及coeff_refinement_direction_flag。藉由該兩個旗標以及該等基礎或先前層係數，該解碼器便能夠重建該等精化係數。該解碼器會以相同方來維持並更新緩衝器中之統計資訊以與該編碼器保持同步。
於表格1中，vlcTab(vlcTab1或vlcTab2)可取三個值中之一個，從而指示對精化旗標語法實施VLC編碼之不同方式。若vlcTab＝0，則逐個位元地發送該等精化語法(旗標編碼)。若vlcTab＝1，則以三個位元為一組地發送該等精化語法。若vlcTab＝2，則以四個位元為一組地發送該等精化語法。vlcTab的值係根據當前視訊切圖中精化係數之累計統計學資料來自適應地決定。同樣，編碼器及解碼器會追蹤該概率最大符號(MPS)的值，且若該MPS自0改變至1，則切換正編碼之實際符號，反之亦然。
當前CAVLC精化編碼方法可具有相對較高的計算複雜性。舉例而言，當前之方法可能需要維持並更新兩個精化語法(位凖語法及方向語法)之累計統計學資料。當前之方法可能需要更新vlcTaband MPS的值。當前之方法可能需要確保0及1之概率計數不會由於在需要時將其往回縮放而溢出。自適應地改變該組長度亦可複雜化該實施方案。
不但具有相對較高之複雜性，而且當前之精化編碼可能效率低下。模擬顯示，對於某些序列，該CAVLC精化編碼相比於CABAC精化編碼可佔用兩倍的位元(100%補償)，然而使用CABAC模式來替代CABAC之總位元速率補償通常大約僅為15%左右。效率低下很大程度上係由於CAVLC精化編碼在每一方塊結束處實施兩輪位元清除作業(一個針對該位凖語法，而另一個針對該方向語法)。若一方塊包含甚為少的精化係數(例如，僅1個或2個係數)，則該等頻繁的清除作業可能無法將3或4個位元分組在一起，因此會招致繁重的位元補償，此乃因無法根據該方案使用可變長度編碼。
如本文所使用，術語"一實施例"、"實施例(embodiment)"、"實施例(embodiments)"、"該實施例"、"該等實施例"、"一個或多個實施例"、"某些實施例(some embodiments)"、"某些實施例(some embodiments)"、"一個實施例"、"另一實施例"及類似術語係意指"本發明揭示內容之一個或多個(但未必全部的)實施例"，除非另外明確地予以規定。
術語"決定"(及其語法變型)之使用具有極其廣泛的意義。術語"決定"包括各種動作且因此"決定"可包括計算、運算、處理、推導、研究、查詢(例如，在一表格、一資料庫或另一資料結構中查詢)、確定及類似動作。同樣，"決定"還可包括接收(例如，接收資訊)、存取(例如，存取一記憶體中的資料)及類似動作。同樣，"決定"還可包括解決、選擇、選定、建立及類似動作。
短語"基於"並不意味著"僅僅基於"，除非另外明確予以規定。換言之，短語"基於"既係在闡述"僅僅基於"又係在闡述"至少基於"。
圖1圖解闡釋一稱為細粒度可縮放性(FGS)之可縮放視訊編碼位元流結構之實施例100。於FGS中，將一視訊序列壓縮成一單個具有至少兩個層(一基礎層106及一增強層104)之視訊流。如所示，FGS可進一步包括N個增強層102。
於一實施例中，基礎層106係該視訊序列之非可縮放編碼且通常具有視訊序列之最低品質。增強層104及N個增強層102具有高於基礎層106之彼品質位凖之不同品質位凖。解碼每一在基礎層106之後編碼之額外增強層可使視訊序列的品質增高。另外，FGS位元流具有一個重要的優點：在編碼期間或之後，可即時地截斷關於增強層104及N增強層102之位元(從而減小位元速率及因此提高解碼圖像品質)。此可提供對傳輸位元速率靈活的控制且允許調節增強層104及N個增強層102以匹配可用傳輸位元速率。
圖2係一網路方塊圖200，其圖解闡釋跨越網路210自編碼器208發送至一解碼器212之基礎層202及N個增強層204。解碼器212可解碼及使用基礎層202及一個或多個增強層204之全部或部分。解碼器212構建原始視訊序列206之最佳近似物214。於一實施例中，將最佳近似物214顯示於一顯示器216(例如，電腦監視器、電視、PDA、投影機等)上。將視訊序列206編碼為一基礎層202及一個或多個增強層204。低品質基礎層202代表最低的品質標凖，而增強層204之每一者係對基礎層202圖像品質的改善。於一實施例中，使用如圖1中解釋之FGS視訊編碼格式來編碼視訊序列206。該FGS編碼格式對其中可能事先不知曉可用傳輸頻寬之視訊流及廣播應用係尤其有用。在編碼期間或之後，可任意截斷增強層204以匹配可用的傳輸位元速率。隨著該可用的位元速率改變，可即時地相應截斷增強層204以提供相對於當前頻寬最佳品質之解碼視訊序列。舉例而言，網路200可截斷增強層204且然後以不同的位元速率將位元流發送至不同的目的地。
圖3圖解闡釋一編碼資訊之方法300。於一實施例中，待編碼之資訊包括一視訊序列。可在一視訊編碼器中實施方法300，且可藉由視訊解碼器來執行方法300的相反方法。編碼器係一用於將一信號或資料變成碼的裝置。然後，該解碼器可自該碼產生原始信號或該原始信號之近似物。該編碼器及解碼器可統稱為視訊編碼解碼器，其將一源影像或視訊序列編碼成一壓縮形式並解碼該壓縮形式以產生該源序列之拷貝或近似物。
方法300開始(302)於該編碼器接收(304)視訊序列。於一實施例中，該視訊序列係一未壓縮視訊信號。該編碼器開始藉由利用鄰近視訊訊框之間的相似性來壓縮該視訊序列並構建(306)關於當前視訊信號之預測。自一個或多個先前或未來訊框形成該預測並藉由補償該等訊框間的差別來改善該預測。然後，自該實際當前訊框減去該預測訊框來形成(308)一殘餘信號。該編碼器利用該預測殘餘鄰近樣本之間的相似性來減少空域冗餘。
方法300繼續進行：對該殘餘信號應用(310)一變換以減少剩餘空域冗餘。該變換將該等預測殘餘信號轉換至另一域內，其中該等預測殘餘樣本由變換係數來代表。量子化(312)該等係數以移除非顯著性值，從而留下少量為該殘餘樣本提供更為壓縮的表示之顯著性係數。於一實施例中，使用QP－6來量子化該等係數，此可有效地將該量子化步驟之大小減小一半。作為減小量子化步驟大小的結果，更多數量的變換係數將在當前訊框中變為非零。舉例而言，使用方法300編碼之預測殘餘可在一增強層中。若使用量子化參數QP來量子化(312)該視訊訊框之先前層或該視訊訊框之基礎層，則使用QP－6來量子化(312)當前的增強層。
於一實施例中，可將該增強層中之非零量子化係數分類為：非顯著性、顯著性、及精化係數。"非顯著性"係數係指彼等在基礎或先前層中為零而在當前增強層中保持為零的係數。"顯著性"係數係指彼等在基礎或先前層中為零但在當前增強層中變為非零係數之係數。"精化"係數係指彼等在基礎或先前層中已經為非零的係數。於一實施例中，將每一精化係數映射(313)成一三元精化符號。該三元精化符號可具有三個值中的一個。該編碼器掃描當前增強層並按照一特定編碼次序分組(314)該等精化符號。於一實施例中，該編碼器按照一基於次頻帶之編碼次序來分組(314)該等連續精化符號。每組精化符號被稱為"精化符號組"。該編碼器然後編碼(316)該等精化符號組並將該等碼添加至該位元流。於一實施例中，該編碼器使用一來自VLC表格之可變長度碼(VLC)來編碼(316)一精化符號組。於另一實施例中，可基於當前對該等精化係數統計學分佈之估計自一VLC表格集動態地選擇用以編碼一精化符號組之VLC表格。
於一額外實施例中，該編碼器可編碼來自多個增強層之精化符號。舉例而言，該編碼器可根據FGS編碼格式來編碼多個增強層。於一實施例中，使用自適應式之VLC表格選擇來編碼來自多個FGS增強層之精化符號組。於另一實施例中，一個FGS層之VLC表格係固定，但可與另一FGS層中所用之VLC表格不同。
圖4圖解闡釋解碼一編碼視訊序列之方法400之實施例。解碼方法400可係圖3之編碼方法300的相反方法。解碼方法400開始(402)於解碼器接收(404)該編碼視訊序列。該編碼視訊序列亦可稱為位元流。該解碼器使用該VLC表格解碼(406)該等精化符號組。若基於該等精化係數之統計學分佈來使用自適應VLC表格來編碼該等精化符號組，則在該解碼器中使用同一統計學資訊來選擇正確之VLC表格。若該解碼器接收來自多個增強層之編碼精化符號，則該解碼器可根據其相應之增強層來採用用以解碼精化符號之VLC表格。
方法400繼續且該解碼器使用最近解碼的精化符號來解碼(408)該等精化係數。然後，該解碼器會在將該等解碼精化係數往回添加至該基礎或先前層之解量子化係數之前繼續解量子化(410)該等解碼精化係數。方法400繼續：對該等解量子化係數應用(412)一逆變換。於一實施例中，該逆變換可包括逆分立餘弦變換。在該解碼器對該等精化係數應用(412)逆變換之後，該解碼器構建(414)該原始視訊序列(其在圖3之編碼方法300之前已存在)之近似物。
圖5圖解闡釋將一視訊訊框500劃分成複數個巨集塊之實施例。巨集塊係解碼過程中的基本資料單元。如顯示，可將視訊訊框500分割成複數個固定大小之巨集塊，該等巨集塊各自包括一視訊訊框500之樣本。於一實施例中，每一巨集塊皆包括一16x16圖元樣本。於一額外實施例中，每一巨集塊皆包括一亮度(luma)組件及兩個色度(charoma)組件。該亮度組件係關於特定樣本之亮度，而該等色度組件係關於該樣本之色彩特性。於一實施例中，進一步將視訊訊框500分割成複數個切圖，切圖A 502、切圖B 504及切圖C 506。一切圖係一巨集塊序列，該等巨集塊係按照一特定編碼次序連續地進行處理。舉例而言，切圖A 502及包含於切圖A 502內之巨集塊可在切圖B 504及切圖C 506之前進行編碼並發送至該解碼器。於一額外實施例中，編碼不同切圖502、504及506並將其發送至解碼器之次序可係任意。舉例而言，可在其他切圖之前對切圖B 504進行編碼並發送至該解碼器。類似地，可在其他兩個切圖之前對切圖C 506進行編碼並發送至解碼器。N個增強層內之每一巨集塊皆對應於一個在N－1個增強層及基礎層之每一者中的巨集塊。
圖6圖解闡釋如何分類係數之實例。提供一基礎層係數方塊602及一增強層係數方塊604。基礎層602及增強層604中之空白代表零係數。該等係數被稱為非顯著性係數。剩餘的空間606、608、608a及608b各自代表一可具有非零值之係數。於一實施例中，該基礎層係數方塊602係在使用FGS視訊編碼格式之先前增強層中。如先前所解釋，在圖3之編碼方法300期間，量子化變換係數。在量子化之後，增強層係數方塊604中之在基礎層係數方塊602中之對應係數為零之非零係數稱為顯著性係數606。其在基礎層中之對應係數為非零之係數稱為精化係數608。由於顯著性係數606及精化係數608具有不同的統計學資料，故在遵循FGS編碼格式之增強層604中對其進行單獨的編碼。
於一實施例中，顯著性係數606係彼等在基礎或先前層中之對應係數606a及606b(該係數代表同一子頻帶)為零之係數。精化係數608係彼等在基礎層或先前層中之對應係數608a及608b為非零之係數。
圖7圖解闡釋當前CAVLC精化編碼方案(其中使用逐個方塊的編碼次序)之缺點700。該逐個方塊之次序會固有地在視訊訊框710內產生空域不均勻之品質改良。如圖7中所示，當截斷位元流708時，所有代表於位元流708中之在截斷704之前的視訊方塊(方塊0,1,...n－1)相比於在截斷714期間精化係數丟失之視訊方塊706(方塊n等等)將具有更好的視訊品質712。編碼該等精化係數的更佳次序係使用基於子頻帶之編碼次序，此詳述於下一個圖示中。
圖8圖解闡釋基於子頻帶的編碼次序800之一個實施例。於一實施例中，第一方塊802、第二方塊804及第三方塊806係同一增強層中之三個係數方塊。於一實施例中，方塊802、804及806係該第一FGS增強層中之方塊以便可將基於子頻帶之FGS編碼次序800可擴展至並用於該第一FGS層。相比於基於方塊之次序，基於子頻帶之編碼次序800係根據精化係數所歸屬的變換域子頻帶來發送該等精化係數。於一實施例中，方塊802、804及806中所示之記法Bx,y可代表子頻帶y中及方塊x中之係數。舉例而言，B0,0代表第一子頻帶(子頻帶0)中及第一方塊802中之係數。
於一實施例中，該編碼器首先編碼任何存在於位置B0,0、B1,0及B2,0處之精化係數。然後，該編碼器編碼任何存在於位置B0,1、B1,1及B2,1處之精化係數等等。子頻帶編碼次序800可促進根據該等精化係數所歸屬的變換域子頻帶來編碼及發送該等精化係數。使用子頻帶編碼次序800可在接收更多精化位元時使品質改良更加空域均勻。
圖9圖解闡釋可與精化編碼中使用之兩個語法(coeff_refinement_flag 902及coeff_refinement_dir_flag 904)相關聯之精化符號(ref_symbol)906之實施例900。如先前所解釋，若一精化係數具有為0的值，則語法元素coeff_refinement_flag 902會被賦值為0。相應地，被賦值的ref_symbol 906亦為0。若該精化係數具有一非零值，則coeff_ref_flag 902被賦值為1。若該精化係數與基礎層或先前增強層中對應之精化係數具有相同符號，則coeff_ref_dir_flag 904被賦值為0。若該精化係數在基礎層或先前增強層中之符號與該精化係數在當前編碼層中之符號相反，則coeff_ref_dir_flag 904被賦值為1。於另一實施例中，界定coeff_ref_dir_flag 904的值之參數係相反。
若coeff_ref_dir_flag 904賦值為0，則ref_symbol 906被賦值為1，且若coeff_ref_dir_flag 904賦值為1，則ref_symbol 906被賦值為2。然後，編碼ref_symbol 906的值並將其包含於位元流中。下文提供編碼ref_symbol 906的值之實施例。
圖10圖解闡釋一使用可變長度編碼(VLC)表格1000來編碼圖9所解釋之參考符號值。在子頻帶編碼次序下，可將連續的精化符號分組在一起並使用VLC表格1000來編碼一精化符號組1002。表格1000包括複數個條目。每一條目皆具有：一如圖9中所解釋之精化符號組1002的值、可變長度碼(其用於編碼一特定值之精化符號組1002)之碼長1004；及可變長度碼(其用於編碼一特定值之精化符號組1002)之碼字1006。然後，將碼字1006包含於該位元流中並發送至該解碼器。
於一實施例中，在精化編碼中使用如表格1000之單個VLC表格，而無需編碼器及解碼器不斷地累計及更新精化符號統計學資料，因此，可大大減小該計算複雜性。於另一實施例中，基於精化係數統計學分佈之估計自多個表格中選擇一VLC表格，可藉由概率估計及表格選擇之額外複雜性來改善該效能。
現在參照圖11，當前之SVC標凖允許除一分立基礎層1102外存在多個層。當自第二FGS層1106開始及向上存在一個以上FGS層1104及1106時，所有精化係數皆屬於以下兩種類別之一種："舊精化係數"，其係彼等在先前FGS層1104中已具有精化係數之係數；及"新"精化係數，其係彼等在先前FGS層1104中剛變為顯著性且剛進入當前層1106中之精化階段之係數。圖11提供具有兩個FGS層1104及1106之實例。第一FGS層1104包含顯著性係數1108以及精化係數1110。第二FGS層1106包含"舊"精化係數1112以及"新"精化係數1114。係數1116係第二FGS層1106中之新顯著性係數。剩餘的空白位置係不具有任何非零值的非顯著性係數。
兩類精化係數1112及1114具有不同的符號概率分佈。因此，於實施例中，最好使用不同的VLC表格來對其進行編碼。進一步，可依據當前FGS層之位凖使用不同的VLC編碼表格。舉例而言，可使用一不同於用以編碼包含在第一FGS層1104中之精化係數的VLC表格之VLC表格來編碼包含在第二FGS層1106中之精化係數。因此，應使用一對於該概率分佈而言更為協調之編碼表格來改善效能。該VLC表格自適應性具有甚為低的複雜性，此乃因其僅基於精化係數類別及FGS層位凖，而不依賴於搜集及更新該等符號統計學資料。於另一實施例中，可基於當前FGS層精化係數之統計分佈之估計動態地選擇VLC表格。
圖12圖解闡釋解決由於當有效性及精化編碼交錯時分組精化符號所造成之問題的實施例1200。於FGS編碼中，通常將不同方塊之顯著性編碼操作及精化編碼操作交錯在一起。為此之一個原因係一方塊可能比另一方塊包含更少的顯著性係數。當某一方塊之顯著性編碼操作結束時，接下來該方塊之精化操作將開始，而此方塊之下一個方塊仍將通過其顯著性編碼操作。於一實施例中，方塊A 1202之顯著性編碼(S0,0及然後EOB)在兩輪後結束。然後，R0,0之精化編碼將開始(隨後R0,1之精化編碼開始)。但同時，方塊B 1204之顯著性編碼(係數S1,2及EOB)仍然在進行。
交錯顯著性及精化編碼之另一原因係使用了次頻帶編碼次序。圖13圖解闡釋另一其中可交錯顯著性編碼與精化編碼之實施例1300。於一實施例中，按照次頻帶來掃描該等係數。舉例而言，當掃描第0個次頻帶1306時，方塊A 1302包含一顯著性係數S0,0。因此，實施S0,0之顯著性編碼。類似地，當掃描方塊B 1304之第0個次頻帶1306時，實施精化係數R1,0之精化編碼。
顯著性與精化編碼之交錯行為當完成該精化編碼時會由於多個(例如，三個)精化係數之分組而產生一個問題。於該編碼器側處，在發出一VLC碼字之前，對三個精化符號進行緩衝。但在該解碼器側處，每當遇到一精化係數之解碼，該解碼器皆會試圖自該位元流讀取一代表一組三個精化符號之VLC碼字。但該碼字還仍在編碼器之編碼緩衝器中進行緩衝而尚未發送。該編碼器與該解碼器之間的同步損失意味著該種編碼方案(在顯著性及精化操作交錯時分組精化符號)將失效。為解決該問題提供了兩種解決方案並在以下予以闡述。
圖14圖解闡釋一不需要於該編碼器側處進行改變之基於編碼器之解決方法1400。該編碼器可在發出一碼字之前始終試圖將三個精化符號分組在一起。於該解碼側處，當請求一精化係數時，則實施以下作業。方法1400開始於將一計數器初始化(1402)為零。儲存所請求精化係數之位置(1404)，儲存對應基礎層係數之符號(1406)，遞增一計數器(於切圖解碼開始時初始化至零)以追蹤已作出請求的次數(1408)，若該計數器到達三(1410)，則調用一"讀取"作業並實施正常VLC解碼(1412)。返回一組三個精化符號，然後如先前儲存的那樣將該三個精化符號往回分配至對應之係數位置(1414)，且將該計數器重設為零(1416)。若該計數器尚未到達三(1410)，則方法1400返回至步驟1402並繼續進行。
儘管該解碼器側解決方案對該解碼器增加更重的負擔，然而該編碼器側解決方案對該解碼器具有最小的複雜性影響。該基本的概念係該編碼器始終預先發送多個精化係數(例如，三個)，則可保證該解碼器在請求精化係數時緩衝器中存在足夠的精化符號。圖15圖解闡釋一種基於編碼器之解決方法1500。該編碼器預先掃描該切圖中一定數量之方塊(1502)，且決定在實際編碼階段期間發送所有精化係數之次序(1504)。接下來，根據該編碼次序將該等精化係數儲存於一佇列中(1506)。於該編碼階段處，當需要發送一精化係數時，決定是否將其與先前係數分組在一起及是否已將其發出(1508)。若係如此，則不採取任何動作(1510)；否則，一同發送該精化係數以及在該佇列中其緊鄰之兩個係數(1512)。方法1500會繼續直至該編碼操作結束為止。
注意，基於編碼器及基於解碼器之兩個解決方案皆適於來自不同方塊之顯著性操作與精化操作之任一類型的交錯，其中包括但不限於當前SVC設計推薦中所支援之兩個編碼次序。該兩種解決方案亦適於分組任何數量之精化符號，而並非僅限於分組三個符號。
還應注意，該基於解碼器及基於編碼器之兩個解決方案皆適於SVC聯合草案5(JD5)中所界定之基於方塊之精化編碼，因此無需在每一方塊結束時轉儲清除儲存於緩衝器中剩餘精化位元。對於基於解碼器之解決方案，在該編碼器側處之進一步改變可保證編碼器與解碼器的同步化。由於JD5中基於方塊之精化編碼方案自適應該VLC表格，故分組的精化符號數量可在1、3與4之間改變。在一方塊結束時，該編碼器應暫停該VLC表格自適應直至其遇到足夠數量之精化係數為止(此將在隨後當該編碼器實施後續方塊精化編碼時發生)。當遇到足夠的精化係數以致可調用一VLC碼字之寫作業時，該編碼器會繼續該正常的VLC表格自適應。在該方案下，可最小化在當前精化編碼中使用之頻繁的清除作業(每一方塊完成一個)，且可大大改善編碼效能。
在編碼一定數量之精化係數結束時，若剩餘精化係數之數量並非為零但小於一典型編碼過程中使用的組大小，則可使用一清除作業。實施清除作業之一個方式係添加概率最大的符號以形成一完整的組，且如同其他組那樣編碼該最後一個組。舉例而言，假設該典型組大小被設為3，該清除作業中存在一個待編碼之剩餘係數，且該符號為2。將對組(2,0,0)進行編碼，假設符號"0"係該三元符號集中概率最大的符號。於該解碼器側處，捨棄該等填充符號。亦可更為頻繁地實施清除作業來減小該實施方案的複雜性。一組一同編碼之精化係數係來自不同的位置。限制同一組中係數之間的距離會導致某些未分組符號，需要藉由清除作業對該等未分組符號進行處理。於另一實施例中，並非藉由添加將被解碼器所捨棄之概率最大符號來形成一完整的組，而是使用設計用於編碼較小的組之VLC表格。此可在該解碼器能凖確地知曉待轉儲清除之精化係數的數量時使用。假設該組大小為3，且僅有一個待轉儲清除之係數"R"。並非使用用於編碼3個符號的組之VLC表格來編碼該組(R,0,0)，而使用一特殊的VLC表格可更為有效。舉例而言，將一值為"0"之精化符號編碼為"1"，將一值為"1"之精化符號編碼為"01"，且將一值為"2"的精化符號編碼為"00"。類似地，若該組大小為3，則存在兩個待轉儲清除之係數"R1"及"R2"。可針對編碼較小的組(R1,R2)使用不同的VLC表格而並非對組(R1,R2,0)進行編碼。於一實施例中，使用指數Golomb碼來編碼該組之計算為R1*3＋R2的索引。應注意，等效地，亦可將該組的編碼索引形成為R1＋R2 * 3。
圖16圖解闡釋一經組態以處理數位影像及/或數位視訊之裝置1600。裝置1600可代表或實施於一數位電視、一數位直接廣播系統、一無線通信裝置、一個人數位助理(PDA)、一膝上型電腦、一桌上型電腦、一數位照相機、一數位記錄裝置、一具有網路功能之數位電視、一蜂巢式或衛星無線電電話、或任一具有視訊電話(VT)能力之電信裝置中。
裝置1600可處理，編碼，解碼，傳輸及/或接收影像及/或視訊資料。該視訊資料可由一視訊照相機(例如，視訊捕獲單元(或影像感測器))1612來捕獲，自一視訊檔案儲存器擷取，或以另一方式獲得。裝置1600中之視訊編碼單元1610可使用一視訊編碼標凖，例如，MPEG－4、ITU－T H.263、ITU－T H.264或任一其他視訊編碼標凖。視訊編碼單元1610可支援訊框間編碼技術(例如，運動估計及運動補償)及訊框內編碼技術(例如，空域估計及內部預測編碼技術)。
裝置1600可包括一影像/視訊捕獲裝置1612(例如，一照相機或一視訊照相機)以捕獲影像或視訊序列並將所捕獲之影像或序列儲存於一記憶體1614中。一影像/視訊處理單元1602可處理影像及/或視訊序列。記憶體1604可在該處理之前及之後儲存該等影像及/或視訊序列。
一收發機1616可接收及/或將編碼之視訊序列傳輸至另一裝置。收發機1616可使用一無線通信標凖，例如，分碼多向存取(CDMA)。CDMA標凖之實例包括CDMA 1xEV－DO、WCDMA等。
裝置1600之一個或多個元件可經由一通信匯流排1618通信耦接。除或替代圖16中所示之元件外，裝置1600中還可包括其他元件。圖16中所示之架構僅係一實例。可藉由各種其他架構來實施本文所述之技術。
記憶體1614可具有一相對較大的記憶體空間。記憶體1614可包括動態隨機存取記憶體(DRAM)或快閃記憶體。記憶體1614可包括"NOR"或"NAND"閘記憶體技術或任一其他資料儲存技術。於其他實例中，記憶體1614可包括一非揮發性記憶體或任一其他類型之資料儲存單元。
影像/視訊處理單元1602可包括一用於一行動無線電電話之晶片組，其可包括硬體、軟體、韌體及/或一個或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其各種組合。處理單元1602可包括一耦接至一前端影像/視訊處理器單元1608之本地記憶體1604及一影像/視訊編碼單元1610。編碼單元1610可包括一用於編碼(或壓縮)及解碼(或解壓縮)數位視訊資料之編碼器/解碼器(CODEC)。
本地記憶體1604可包括一相對於記憶體1614更小且更快之記憶空間。舉例而言，本地記憶體1604可包括同步動態隨機存取記憶體(SDRAM)。本地記憶體1604可包括與處理單元1602之其他組件整合在一起之"晶片上"記憶體以在處理器密集之編碼過程期間提供快速的資料存取。然而，可將記憶體1614及1604組合成一個記憶體，或可以諸多其他組態來實施。記憶體控制器1606可控制對本地記憶體1604之存取及回寫。
前端影像/視訊處理單元1608可對一視訊序列之訊框實施一種或多種影像處理技術以改善影像品質，且由此改善一視訊序列之品質。舉例而言，前端影像/視訊處理單元1608可實施諸如以下技術：去馬賽克、透鏡滾降修正、按比例縮放、色彩修正、色彩轉換及空域過濾。前端影像/視訊處理單元1608亦可實施其他技術。一般而言，單元1608所實施之技術被稱為"前端"影像處理技術，此乃因該等技術係在影像/視訊編碼單元1610之前。
影像/視訊捕獲單元1612可包括影像感測器，該等影像感測器包含佈置於該等感測器之一表面上之色彩過濾陣列(CFA)。單元1608所實施之前端影像處理可改善捕獲單元1612所捕獲視訊序列之品質。舉例而言，前端處理單元1608及/或編碼單元1610可包括一經程式化以處理捕獲單元1612所捕獲影像之DSP。記憶體1604(或記憶體1614)之同一區域既可用於前端影像處理目的亦可用於其他儲存目的。
影像/視訊編碼單元1610可實施影像及/或視訊編碼，該影像及/或視訊編碼可包括一種或多種視訊壓縮技術，例如，訊框間壓縮及/或訊框內壓縮。舉例而言，編碼單元1610可實施運動估計及運動補償技術以利用時域或訊框間的資料相關性來提供訊框間壓縮。作為另一選擇或另外地，編碼單元1610可實施空域估計及內部預測技術以利用空域或訊框內資料之相關性來提供訊框內壓縮。運動補償(或內部預測)之輸出被稱為"殘餘"且可包括一資料塊，該資料塊指示一待編碼之當前視訊塊與由運動估計或空域估計所識別的預測塊之間的差別。
在編碼單元1610實施運動補償(或內部預測)以形成該殘餘之後，可實施一系列額外步驟來進一步編碼該殘餘及進一步壓縮該資料。該等額外步驟可取決於所使用之編碼標凖，但通常被稱為"殘餘編碼"。編碼單元1610可實施該等壓縮技術之一種或多種以減少經由收發機1616將一視訊序列通信至另一裝置所需的資料量。
可使用各種不同科技及技術之任一種來表示資訊及信號。舉例而言，上文說明中可能提及的資料、指令、命令、資訊、信號、位元、符號及晶片皆可由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任一組合來表示。
結合本文揭示之實施例所闡述的各種說明性邏輯塊、模塊、電路及演算法步驟可實施為電子硬體、計算器軟體或二者之組合。為清楚地闡釋硬體與軟體的此種可互換性，上文通常係自其功能性方面來闡釋各種說明性組件、方塊、模塊、電路及步驟。此種功能性實施為硬體還是實施為軟體取決於特定應用及施加於整個系統的設計限制。熟習此項技術者可針對每一特定應用以不同方式構建上述功能，但是，此等構建決定不應被解釋為背離本發明之範圍。
結合本文揭示之實施例所闡述的各種說明性邏輯塊、模塊、及電路可藉由下列組件來實施或執行：一通用處理器、一數字信號處理器(DSP)、一特殊應用集成電路(ASIC)、一場可程式化門陣列信號(FPGA)或其他可程式化邏輯裝置、分立閘或晶體管邏輯、分立硬體組件、或其任一經設計以執行本文所述功能的組合。通用處理器可為一微處理器，但另一選擇為，處理器可為任一習知之處理器、控制器、微控制器或狀態機。一處理器亦可構建為計算裝置之一組合，例如，一DSP與一微處理器之一組合、複數個微處理器、一或多個微處理器結合一DSP內核、或任一其他此等組態。
結合本文所揭示實施例闡釋的方法或演算法的步驟可直接包含於硬體、一由一處理器執行的軟體模組或該二者之一組合中。一軟體模組可駐存於RAM記憶體、快閃記憶體、ROM記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬磁碟、一可抽換式磁碟、一CD－ROM或此項技術中所習知之任一其他形式之儲存媒體中。一儲存媒體耦接至該處理器以使該處理器可自該儲存媒體讀取資訊及將資訊寫入至該儲存媒體。或者，該儲存媒體可係處理器之組成部分。該處理器及儲存媒體可駐存於一ASIC中。而該ASIC可駐存於一使用者終端機中。另一選擇為，該處理器及儲存媒體可作為分立組件駐存於一使用者終端機中。
本文所揭示之方法包括一個或多個用於達成所述方法之步驟或動作。該等方法步驟及/動作可彼此互換，此並不違背本發明揭示內容之範圍。換言之，除非需要一特定的步驟或動作次序來達成實施例之適當作業，否則可在不背離本發明揭示內容之範圍的前提下修改特定步驟及/或動作之次序及/或用途。
儘管上文已圖解並闡述了本發明揭示內容之特定組態及應用，但應理解本發明揭示內容並非侷限於本文所揭示之具體組態及組件。可對本文所揭示之本發明方法及系統之佈置、作業及細節作出各種對於熟悉此項技術者顯而易見的修改、改變及變化，此並不違背本發明精神及範圍。
102．．．增強層
104．．．增強層
106．．．基礎層
202．．．基礎層
204．．．增強層
206．．．原始視訊序列
208．．．編碼器
210．．．網路
212．．．解碼器
216．．．顯示器
1600．．．裝置
1602．．．影像/視訊處理單元
1604．．．記憶體
1606．．．記憶體控制器
1608．．．前端影像/視訊處理單元
1610．．．影像/視訊編碼單元
1612．．．影像/視訊捕獲單元
1614．．．記憶體
1616．．．收發機
1618．．．通信匯流排
圖1圖解闡釋一可縮放視訊編碼位元流結構之實施例；圖2圖解闡釋一跨過網路自一編碼器發送至一解碼器之一基礎層及複數個增強層之實施例；圖3圖解闡釋一用於編碼資訊之方法；圖4圖解闡釋一解碼一編碼視訊序列之方法之實施例；圖5圖解闡釋一被劃分成複數個巨集塊之圖像訊框之實施例；圖6圖解闡釋一為顯著性及精化係數分類之實施例；圖7圖解闡釋一可變長度編碼(VLC)精化編碼方案之缺點；圖8圖解闡釋一基於子頻帶之編碼次序之實施例；圖9圖解闡釋可與精化編碼中所用語法相關聯之精化符號之一實施例；圖10圖解闡釋一可變長度編碼(VLC)表格之實施例；圖11圖解闡釋多個細粒度可縮放性(FGS)層之實施例；圖12圖解闡釋一解決當顯著性及精化編碼交錯時由於精化係數之分組而引起問題之實施例；圖13圖解闡釋另一其中顯著性編碼及精化編碼可能交錯且使用子頻帶FGS編碼次序之實施例；圖14圖解闡釋一基於解碼器之解決方法之實施例；圖15圖解闡釋一基於編碼器之解決方法之實施例；且圖16係一方塊圖，其圖解闡釋通常用於處理數位影像及/或數位視訊之主要硬體組件。
102．．．增強層
104．．．增強層
106．．．基礎層

Claims (30)

  1. 一種用於在一經壓縮視訊序列之一信號-對-雜訊比(SNR)可縮放增強層中編碼精化係數之方法，其包括：接收一視訊序列；在一當前訊框中，自該視訊序列構建一原始視訊信號之預測；藉由自該當前訊框中之該原始視訊信號減去該原始視訊信號之該預測來形成一殘餘信號；對該殘餘信號應用一變換以轉換該殘餘信號至一域內，其中該殘餘信號係由複數個變換係數所代表；量子化該複數個變換係數以產生複數個非零變換係數，其中該等非零變換係數之每一者具有一非零值且該等非零變換係數之至少一些係精化係數，其中該等精化係數之每一者在該量子化之前具有該非零值；將每一精化係數映射成一三元精化符號以產生複數個精化符號，其中該三元精化符號具有三個值且每一精化符號具有指示該精化係數自一第一層至一增強層之一符號改變或轉變至零之該等三個值中之一個；以一特定編碼次序來分組該等精化符號以產生複數個精化符號組；及使用可變長度碼來編碼該等精化符號組。
  2. 如請求項1之方法，其進一步包括使用一針對不同增強層而自適應選擇之可變長度編碼表格。
  3. 如請求項1之方法，其進一步使用一基於該等精化符號 之概率估計而自適應選擇之可變長度編碼表格。
  4. 如請求項2之方法，其中一特定可變長度編碼表格之選擇係基於一增強層之位凖。
  5. 如請求項4之方法，其中該特定可變長度編碼表格之選擇係基於是否正第一次精化一係數或是否已在一先前層中精化該係數。
  6. 如請求項1之方法，其中該方法使顯著性係數與精化係數交錯，其進一步包括：識別一包括複數個方塊之切圖；在該等精化係數之分組之前掃描該複數個方塊；決定將編碼該等精化係數所按照之次序；及根據所決定之該次序將該等精化係數儲存於一佇列中。
  7. 如請求項1之方法，其進一步包括識別一包括複數個方塊之切圖。
  8. 如請求項1之方法，其進一步包括在該等精化係數之分組之前掃描該複數個方塊。
  9. 如請求項1之方法，其進一步包括決定一將編碼該等精化係數所按照之次序。
  10. 如請求項9之方法，其進一步包括根據所決定之該次序將該等精化係數儲存於一佇列中。
  11. 如請求項2之方法，其中使用該可變長度編碼表格來一同編碼每一固定數量之連續精化係數。
  12. 如請求項2之方法，其進一步包括將一切圖之精化係數 分組在一起。
  13. 如請求項1之方法，其進一步包括實施一清除作業。
  14. 如請求項13之方法，其中該清除作業包括將一個或多個概率最大符號添加至一個或多個精化符號以形成一完整組。
  15. 如請求項13之方法，其中該清除作業包括使用一可變長度編碼表格，該可變長度編碼表格係基於擬在該清除作業中處理之精化係數數量來選擇。
  16. 如請求項2之方法，其中該可變長度編碼表格包括一27-條目之可變長度編碼表格，其中該組長度係三。
  17. 如請求項1之方法，其進一步包括在該增強層上使用基於子頻帶之編碼次序。
  18. 一種經組態以在一經壓縮視訊序列之一信號-對-資訊比(SNR)可縮放增強層中編碼精化係數之電子裝置，該電子裝置包括：一處理器；與該處理器電子通信之記憶體；該處理器係經組態以：接收一視訊序列；在一當前訊框中自該視訊序列構建一原始視訊信號之預測；藉由自該當前訊框中該原始視訊信號中減去該原始視訊信號之該預測來形成一殘餘訊框；對該殘餘信號應用一變換以轉換該殘餘信號至一域 內，其中該殘餘信號係由複數個變換係數所代表；量子化該複數個變換係數以產生複數個非零變換係數，其中該等非零變換係數之每一者具有一非零值且該等非零變換係數之至少一些係精化係數，其中該等精化係數之每一者在該量子化之前具有該非零值；將每一精化係數映射成一三元精化符號以產生複數個精化符號，其中該三元精化符號具有三個值且每一精化符號具有指示該精化係數自一第一層至一增強層之一符號改變或轉變至零之該等三個值中之一個；以一特定編碼次序來分組該等精化符號以產生複數個精化符號組；及使用可變長度碼來編碼該等精化符號組。
  19. 如請求項18之電子裝置，其中該等指令可進一步執行以使用一針對不同增強層而自適應選擇之可變長度編碼表格。
  20. 如請求項18之電子裝置，其中該電子裝置經組態以交錯顯著性係數與精化係數，且其中該等指令可進一步執行以：識別一包括複數個方塊之切圖；在該等精化係數之分組之前掃描該複數個方塊；決定將編碼該等精化係數所按照之次序；及根據所決定之該次序將該等精化係數儲存於一佇列中。
  21. 一種電腦可讀媒體，其包括用於在一經壓縮視訊序列之 一信號-對-雜訊比(SNR)可縮放增強層中編碼精化係數之可執行指令，該等指令包括：接收一視訊序列；在一當前訊框中自該視訊序列構建一原始視訊信號之預測；藉由自該當前訊框中該原始視訊信號中減去該原始視訊信號之預測來形成一殘餘信號；對該殘餘信號應用一變換以轉換該殘餘信號至一域內，其中該殘餘信號係由複數個變換係數所代表；量子化該複數個變換係數以產生複數個非零變換係數，其中該等非零變換係數之每一者具有一非零值且該等非零變換係數之至少一些係多個精化係數，其中該等精化係數之每一者在該量子化之前具有該非零值；將每一精化係數映射成一三元符號以產生複數個精化符號，其中該三元精化符號具有三個值且每一精化符號具有指示該精化係數自一第一層至一增強層之一符號改變或轉變至零之該等三個值中之一個；以一特定編碼次序分組該等精化符號以產生複數個精化符號組；及使用可變長度碼來編碼該等精化符號組。
  22. 一種用於解碼一經編碼視訊序列中之精化係數之方法，其包括：接收一經編碼視訊序列；使用一可變長度編碼表格來解碼該視訊序列之多個精 化符號，其中該等精化符號已使用複數個精化係數而被編碼，其中每一精化係數係映射成一三元精化符號以產生該等精化符號，及其中該三元精化符號具有三個值且每一精化符號具有指示該精化係數自一第一層至一增強層之一符號改變或轉變至零之該等三個值中之一個；使用該等精化符號來解碼該等精化係數，其中該等精化係數係以一特定次序分組且其中該等精化係數係包含於複數個變換係數內；解量子化該複數個變換係數以產生一精化信號；對該精化信號應用一逆變換；及使用該精化信號之該逆變換以構建一視訊序列。
  23. 如請求項22之方法，其進一步包括使用針對不同增強層而自適應選擇之不同可變長度編碼表格。
  24. 如請求項22之方法，其中該編碼視訊序列包括交錯之顯著性符號及精化符號，其進一步包括：儲存所請求之該等精化係數之位置；儲存一對應基礎層係數之一符號；且遞增一與所做請求之數量相關之計數器。
  25. 如請求項24之方法，其進一步包括：決定該計數器是否達到一預定計數；及調用一讀取作業並致使正常可變長度編碼表格之解碼獲得一組精化符號。
  26. 如請求項25之方法，其進一步包括將該組精化符號儲存至如先前所儲存之對應位置。
  27. 如請求項22之方法，其進一步包括實施一清除作業。
  28. 如請求項27之方法，其中該清除作業包括捨棄所填充符號。
  29. 如請求項27之方法，其中該清除作業包括使用一可變長度編碼表格，該可變長度編碼表格係基於擬在該清除作業中處理之精化係數之數量來選擇。
  30. 一種經組態以在一經壓縮視訊序列之一信號-對-雜訊比(SNR)可縮放增強層中編碼精化係數之電子裝置，該電子裝置包括：用於接收一視訊序列之構件；用於在一當前訊框中自該視訊序列構建一原始視訊信號之一預測之構件；用於在該當前訊框中藉由自該原始視訊信號減去該原始視訊信號之該預測來形成一殘餘信號之構件；用於對該殘餘信號應用一變換以轉換該殘餘信號至一域內之構件，其中該殘餘信號係由複數個變換係數所代表；用於量子化該複數個變換係數以產生複數個非零變換係數之構件，其中該等非零變換係數之每一者具有一非零值且該等非零變換係數之至少一些係精化係數，其中該等精化係數之每一者在該量子化之前具有該非零值；用於將每一精化係數映射成一三元精化符號以產生複數個精化符號之構件，其中該三元精化符號具有三個值且每一精化符號具有指示該精化係數自一第一層至一增強層之一符號改變或轉變至零之該等三個值中之一個； 用於以一特定編碼次序分組該等精化符號以產生複數個精化符號組之構件；及用於使用可變長度碼來編碼該等精化符號組之構件。
TW096110564A 2006-03-27 2007-03-27 視訊壓縮中用於精化係數編碼之方法及系統 TWI393446B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US78680006P 2006-03-27 2006-03-27
US83019906P 2006-07-11 2006-07-11
US11/502,883 US8401082B2 (en) 2006-03-27 2006-08-10 Methods and systems for refinement coefficient coding in video compression

Publications (2)

Publication Number Publication Date
TW200742444A TW200742444A (en) 2007-11-01
TWI393446B true TWI393446B (zh) 2013-04-11

Family

ID=38533378

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096110564A TWI393446B (zh) 2006-03-27 2007-03-27 視訊壓縮中用於精化係數編碼之方法及系統

Country Status (9)

Country Link
US (1) US8401082B2 (zh)
EP (1) EP1999970A2 (zh)
JP (1) JP5248475B2 (zh)
KR (1) KR100987958B1 (zh)
CN (1) CN101411197B (zh)
BR (1) BRPI0709279A2 (zh)
CA (1) CA2643705C (zh)
TW (1) TWI393446B (zh)
WO (1) WO2007112341A2 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070077059A (ko) * 2006-01-19 2007-07-25 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
WO2008007929A1 (en) * 2006-07-14 2008-01-17 Samsung Electronics Co., Ltd Method and apparatus for encoding and decoding video signal of fgs layer by reordering transform coefficients
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
US9418450B2 (en) 2006-08-31 2016-08-16 Ati Technologies Ulc Texture compression techniques
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
US8467449B2 (en) * 2007-01-08 2013-06-18 Qualcomm Incorporated CAVLC enhancements for SVC CGS enhancement layer coding
DE602007010835D1 (de) * 2007-01-18 2011-01-05 Fraunhofer Ges Forschung Qualitätsskalierbarer videodatenstrom
US8594176B2 (en) * 2007-03-06 2013-11-26 Microsoft Corporation Streaming media codec with transform coefficient bounding
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
WO2008136792A1 (en) * 2007-05-03 2008-11-13 Thomson Licensing Method and apparatus for improving throughput and error performance of rateless coding systems
US8184715B1 (en) 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
US8121197B2 (en) 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
AU2007237313A1 (en) * 2007-12-03 2009-06-18 Canon Kabushiki Kaisha Improvement for error correction in distributed vdeo coding
US8891615B2 (en) * 2008-01-08 2014-11-18 Qualcomm Incorporated Quantization based on rate-distortion modeling for CABAC coders
US9008171B2 (en) * 2008-01-08 2015-04-14 Qualcomm Incorporated Two pass quantization for CABAC coders
WO2011042645A1 (fr) * 2009-10-05 2011-04-14 France Telecom Procedes de codage et de décodage d'images, dispositifs de codage et de decodage et programmes d'ordinateur correspondants
US20110194613A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
KR20130036768A (ko) 2010-07-28 2013-04-12 노키아 코포레이션 복잡도 균형 엔트로피 코딩을 제공하는 방법 및 장치
US20120163471A1 (en) * 2010-12-23 2012-06-28 Qualcomm Incorporated Variable length coding of video block coefficients
US9490839B2 (en) 2011-01-03 2016-11-08 Qualcomm Incorporated Variable length coding of video block coefficients
FR2972588A1 (fr) * 2011-03-07 2012-09-14 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2977111A1 (fr) 2011-06-24 2012-12-28 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US9516316B2 (en) 2011-06-29 2016-12-06 Qualcomm Incorporated VLC coefficient coding for large chroma block
US9445093B2 (en) * 2011-06-29 2016-09-13 Qualcomm Incorporated Multiple zone scanning order for video coding
US9338456B2 (en) 2011-07-11 2016-05-10 Qualcomm Incorporated Coding syntax elements using VLC codewords
LT3425805T (lt) 2011-07-15 2023-03-27 Ge Video Compression, Llc Ėminių masyvo mažos delsos kodavimas
US10003802B1 (en) 2012-04-18 2018-06-19 Matrox Graphics Inc. Motion-based adaptive quantization
US9300984B1 (en) * 2012-04-18 2016-03-29 Matrox Graphics Inc. Independent processing of data streams in codec
US10003803B1 (en) 2012-04-18 2018-06-19 Matrox Graphics Inc. Motion-based adaptive quantization
WO2014053456A1 (en) * 2012-10-01 2014-04-10 Rwth Aachen Binary residual refinement coding for scalable video coding
US10142636B2 (en) 2014-06-09 2018-11-27 Sony Corporation Communication system with coding mechanism and method of operation thereof
US9674554B2 (en) 2014-10-28 2017-06-06 Sony Corporation Image processing system with coding mode and method of operation thereof
US9294782B1 (en) 2014-10-28 2016-03-22 Sony Corporation Image processing system with artifact reduction mechanism and method of operation thereof
US9357237B2 (en) 2014-10-28 2016-05-31 Sony Corporation Image processing system with bitstream reduction and method of operation thereof
US10063889B2 (en) 2014-10-28 2018-08-28 Sony Corporation Image processing system with conditional coding and method of operation thereof
US10356410B2 (en) 2014-10-28 2019-07-16 Sony Corporation Image processing system with joint encoding and method of operation thereof
US9357232B2 (en) 2014-10-28 2016-05-31 Sony Corporation Image processing system with binary decomposition and method of operation thereof
US10778990B2 (en) 2018-11-19 2020-09-15 Sony Corporation Embedded codec circuitry for randomized refinement of uncoded-bits
CN113727104B (zh) * 2020-05-22 2024-01-16 北京小米移动软件有限公司 编码方法及装置、解码方法及装置、以及存储介质
CN115376309B (zh) * 2022-06-29 2024-04-26 华南理工大学 一种基于多视角时间矩阵分解的缺失交通数据修复方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4399467A (en) * 1981-10-13 1983-08-16 Ncr Canada Ltd. Method and apparatus for image data compression and decompression
WO1999017257A2 (en) * 1997-09-29 1999-04-08 Conexant Systems, Inc. System and method for compressing images using multi-threshold wavelet coding
WO2000035187A1 (en) * 1998-12-04 2000-06-15 General Instrument Corporation Improvement of fine granularity scalability using bit plane coding of transform coefficients
CN1457605A (zh) * 2001-02-26 2003-11-19 皇家菲利浦电子有限公司 精细颗粒可伸缩性视频编码技术中增强层的改进预测结构
CN1462555A (zh) * 2001-05-16 2003-12-17 皇家菲利浦电子有限公司 用于精细可伸缩性增强层的基于活动的频率加权方法及系统
US20040001547A1 (en) * 2002-06-26 2004-01-01 Debargha Mukherjee Scalable robust video compression
US20040005003A1 (en) * 2002-07-02 2004-01-08 Koninklijke Philips Electronics N.V. Quality improvement for FGS BL coding with U/V coarse quantization
CN1484452A (zh) * 2003-08-07 2004-03-24 西安电子科技大学 增强型精细粒度可伸缩视频编码结构
US20050185714A1 (en) * 2004-02-24 2005-08-25 Chia-Wen Lin Method and apparatus for MPEG-4 FGS performance enhancement
US20050213831A1 (en) * 2002-03-05 2005-09-29 Van Der Schaar Mihaela Method and system for encoding fractional bitplanes
US6980597B1 (en) * 1998-12-04 2005-12-27 General Instrument Corporation Fine granularity scalability using bit plane coding of transform coefficients
US20060008002A1 (en) * 2002-09-27 2006-01-12 Koninklijke Philips Electronics N.V. Scalable video encoding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5321776A (en) * 1992-02-26 1994-06-14 General Electric Company Data compression system including successive approximation quantizer
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP2000201353A (ja) * 1999-01-08 2000-07-18 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法およびその装置およびそのプログラムを記憶した記憶媒体
KR101010722B1 (ko) 2002-04-02 2011-01-24 노키아 코포레이션 영상의 코딩 변환 계수/비디오 인코더 및/또는 디코더
JP4003628B2 (ja) * 2002-12-02 2007-11-07 ソニー株式会社 画像符号化装置及び方法、並びにプログラム
US20060008009A1 (en) 2004-07-09 2006-01-12 Nokia Corporation Method and system for entropy coding for scalable video codec
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
EP1908298A4 (en) * 2005-07-21 2010-12-29 Nokia Corp VARIABLE LENGTH CODES FOR ADAPTABLE VIDEO CODING
WO2007029945A1 (en) 2005-09-06 2007-03-15 Samsung Electronics Co., Ltd. Method and apparatus for enhancing performance of entropy coding, video coding method and apparatus using the method
US7348903B2 (en) * 2005-09-26 2008-03-25 Samsung Electronics Co., Ltd. Method and apparatus for enhancing performance of entropy coding, and video coding method and apparatus using the entropy coding performance enhancing method
WO2007035070A1 (en) * 2005-09-26 2007-03-29 Samsung Electronics Co., Ltd. Method and apparatus for enhancing performance of entropy coding, and video coding method and apparatus using the entropy coding performance enhancing method
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4399467A (en) * 1981-10-13 1983-08-16 Ncr Canada Ltd. Method and apparatus for image data compression and decompression
WO1999017257A2 (en) * 1997-09-29 1999-04-08 Conexant Systems, Inc. System and method for compressing images using multi-threshold wavelet coding
WO2000035187A1 (en) * 1998-12-04 2000-06-15 General Instrument Corporation Improvement of fine granularity scalability using bit plane coding of transform coefficients
KR20010080666A (ko) * 1998-12-04 2001-08-22 매클린토크 샤운 엘 변환계수의 비트플레인 코딩을 이용한 세밀한 세분성스칼라빌러티의 향상
US6980597B1 (en) * 1998-12-04 2005-12-27 General Instrument Corporation Fine granularity scalability using bit plane coding of transform coefficients
CN1457605A (zh) * 2001-02-26 2003-11-19 皇家菲利浦电子有限公司 精细颗粒可伸缩性视频编码技术中增强层的改进预测结构
CN1462555A (zh) * 2001-05-16 2003-12-17 皇家菲利浦电子有限公司 用于精细可伸缩性增强层的基于活动的频率加权方法及系统
US20050213831A1 (en) * 2002-03-05 2005-09-29 Van Der Schaar Mihaela Method and system for encoding fractional bitplanes
US20040001547A1 (en) * 2002-06-26 2004-01-01 Debargha Mukherjee Scalable robust video compression
US20040005003A1 (en) * 2002-07-02 2004-01-08 Koninklijke Philips Electronics N.V. Quality improvement for FGS BL coding with U/V coarse quantization
US20060008002A1 (en) * 2002-09-27 2006-01-12 Koninklijke Philips Electronics N.V. Scalable video encoding
CN1484452A (zh) * 2003-08-07 2004-03-24 西安电子科技大学 增强型精细粒度可伸缩视频编码结构
US20050185714A1 (en) * 2004-02-24 2005-08-25 Chia-Wen Lin Method and apparatus for MPEG-4 FGS performance enhancement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shima M, "CE1: Complexity reduction for adaptive VLC," Geneva: ISO, CH, 10 Jan. 2005, XP030006289. Ridge J. et al., "Variable length codes for SVC," Geneva, ISO, CH, 22 July 2005, XP030006095 *

Also Published As

Publication number Publication date
JP5248475B2 (ja) 2013-07-31
CA2643705C (en) 2013-06-18
CN101411197B (zh) 2012-09-05
US20070223580A1 (en) 2007-09-27
CA2643705A1 (en) 2007-10-04
WO2007112341A2 (en) 2007-10-04
JP2009531990A (ja) 2009-09-03
TW200742444A (en) 2007-11-01
BRPI0709279A2 (pt) 2011-07-12
WO2007112341A3 (en) 2008-01-10
KR20090005075A (ko) 2009-01-12
KR100987958B1 (ko) 2010-10-18
US8401082B2 (en) 2013-03-19
CN101411197A (zh) 2009-04-15
EP1999970A2 (en) 2008-12-10

Similar Documents

Publication Publication Date Title
TWI393446B (zh) 視訊壓縮中用於精化係數編碼之方法及系統
KR100991410B1 (ko) 비디오 압축에서 유효 계수 코딩을 위한 방법 및 시스템
TWI357766B (en) Variable length coding table selection based on vi
JP5080575B2 (ja) 適応可変長符号を用いた映像圧縮
CA2645230C (en) Method and system for coding and decoding information associated with video compression
KR100636229B1 (ko) 신축형 부호화를 위한 적응적 엔트로피 부호화 및 복호화방법과 그 장치
JP2009531992A5 (zh)
Juurlink et al. Understanding the application: An overview of the h. 264 standard
KR100801967B1 (ko) 문맥 기반 적응적 가변 길이 부호화 인코더 및 디코더,문맥 기반 적응성 가변 길이 부호화하는 방법과 복호화하는방법 및 이를 이용한 동영상 전송 시스템.
RU2406259C2 (ru) Способы и системы для кодирования уточняющих коэффициентов при сжатии видеоданных

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees