TWI811706B - 用於編碼及解碼視訊資料的方法、設備及系統 - Google Patents

用於編碼及解碼視訊資料的方法、設備及系統 Download PDF

Info

Publication number
TWI811706B
TWI811706B TW110122343A TW110122343A TWI811706B TW I811706 B TWI811706 B TW I811706B TW 110122343 A TW110122343 A TW 110122343A TW 110122343 A TW110122343 A TW 110122343A TW I811706 B TWI811706 B TW I811706B
Authority
TW
Taiwan
Prior art keywords
range
video
encoding
bit stream
coefficients
Prior art date
Application number
TW110122343A
Other languages
English (en)
Other versions
TW202141992A (zh
Inventor
克里斯多福 羅斯沃恩
安德魯 多雷爾
Original Assignee
日商佳能股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商佳能股份有限公司 filed Critical 日商佳能股份有限公司
Publication of TW202141992A publication Critical patent/TW202141992A/zh
Application granted granted Critical
Publication of TWI811706B publication Critical patent/TWI811706B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一種將視訊資料編碼為具有複數範圍的視訊位元流之方法。該方法包含產生針對該些複數範圍之目前範圍的複數編碼成本估計(1106),藉由測試該目前範圍之相應候選係數截斷位準,該些編碼成本估計之各者為用以在該候選截斷位準編碼該目前範圍之已編碼資料大小的過估計且係使用最高有效位元平面指標來判定,其中該些編碼成本估計之各者係獨立於該目前範圍中之係數位元的值。該方法亦包含依據該目前範圍之該相應編碼成本估計及預算編碼成本以選擇(1110)該些候選截斷位準之一,該預算編碼成本係表示編碼該範圍之可容許大小;及使用該選定截斷位準以將視訊資料之該目前範圍編碼(1113)為該視訊位元流來產生該視訊位元流。

Description

用於編碼及解碼視訊資料的方法、設備及系統
本發明一般係有關於數位視訊信號處理,而特別是有關於用以編碼和解碼視訊資料之方法、設備及系統。本發明亦有關於一種電腦程式產品,包括電腦可讀取媒體,其上儲存有用以編碼和解碼視訊資料之電腦程式。
目前存在許多針對視訊編碼之應用程式,包括用於視訊資料之傳輸及儲存的應用程式。許多視訊編碼標準已被開發,而其他則目前正在開發中。視訊壓縮研究之許多強調係指向「分佈編碼解碼器」(亦即,為了將壓縮視訊資料分佈至地理上散佈的觀眾之編碼解碼器)。然而,新興的研究領域係指向「夾層(mezzanine)編碼解碼器」。夾層編碼解碼器被用於高度局部化的分佈,亦即,於廣播工作室內。夾層編碼解碼器之特徵在於超低潛時之需求(通常顯著地於一框之下),並大大地減少複雜度(針對編碼器和解碼器兩者),相較於傳統的視訊編碼解碼器。於標準化之國際組織/國際電工委員會聯合技術委員會1/子委員會29/工作群組1(ISO/IEC JTC1/SC29/WG1),亦已知為聯合照相專家群(JPEG),內之此編碼中的最近發展已導致稱為「JPEG XS」之標準化工作項目。JPEG XS工作項目之目標係用以產生一種編碼解碼器,其具有不超過32線視訊資料之端至端潛時、及用以實施於相對適度的實施科技(例如,來自諸如Xilinx ®等供應商之中階FPGA)內之能力。此等潛時需求係委託嚴格的速率控制技術之使用以確保已編碼資料不會相對於其攜載壓縮視訊資料之頻道的容量而過度地改變。 傳統視訊編碼解碼器(諸如H.264/AVC)傾向於被使用以致其由一編碼器所產生的視訊位元流很可能被解碼多次(例如,如廣播電視中之情況)。於此等應用中,一種相較於解碼器是相對更為複雜的編碼器是可允許的。此於複雜度中的不對稱提供了用以測試許多不同預測模式之可能性,在選擇最佳預測模式之前。反之,夾層編碼解碼器之應用通常涉及一種編碼器,其係產生待由一解碼器所消耗之位元流。如此一來,介於編碼器與解碼器之間的複雜度之可容許的不對稱被顯著地減少。 於廣播工作室中,視訊可由相機所擷取在經歷數個變換前,包括即時編輯、圖形和重疊插入以及混合不同內容來源,導致輸出視訊串流之產生。一旦視訊已被足夠地處理,分佈編碼器便被用以編碼輸出視訊串流以利分佈至終端消費者(例如,經由陸地廣播)。於工作室內,視訊資料傳統上一般已被傳送以一種需要使用極高速鏈結之未壓縮格式。串列數位介面(SDI)協定之變體可傳送不同的視訊格式。例如,3G-SDI(以3Gbps電鏈結操作)可傳送1080p HDTV(1920×1080解析度)於30fps及每樣本八(8)位元。具有固定位元率介面適於傳送具有恆定位元率(CBR)之資料。未壓縮視訊資料通常為CBR,而壓縮視訊資料(於超低潛時編碼之背景下)通常被預期亦為CBR。用於信號傳播之最大可使用纜線長度被減少以較高的位元率,其針對通過工作室之纜線路由可變為有問題的。例如,UHDTV (3840×2160)需要頻寬之4倍增加,相較於1080p HDTV,隱含12Gbps介面。增加單一電頻道之資料速率係減少了佈纜之可達成長度。於3 Gbps,纜線通常延伸不超過150m,針對許多工作室應用之最小可用長度。一種達成更高速率鏈結之方法係藉由複製佈纜(例如,藉由使用四條3G-SDI鏈結),利用框填磚或某其他多工方案。然而,佈纜複製方法增加了纜線路由複雜度(其需要更多實體空間),且可能減少可靠度(相較於使用單一纜線)。因此,產業上需要一種夾層編碼解碼器,其可以相對低的壓縮比(例如,4:1)履行壓縮而同時留存「視覺上無損失」(亦即,相較於原始視訊資料不具有可察覺的加工)等級的性能。壓縮比亦可被表達為其提供給壓縮串之「每像素位元」(bpp)的數目,注意其轉換回至壓縮比需要未壓縮信號之位元深度、及色度格式的知識。例如,8b 4:4:4視訊資料佔有24 bpp(當未壓縮時),因此傳送以4bpp隱含6:1壓縮比。 視訊資料包括一或更多顏色頻道。通常有一個主要顏色頻道及兩個次要顏色頻道。主要顏色頻道通常被稱為「亮度(luma)」頻道而次要顏色頻道通常被稱為「色度」頻道。視訊資料係使用顏色空間(諸如「YCbCr」或「RGB」)來表示。某些應用程式需要電腦圖形卡之輸出的視覺上無損失壓縮,或從平板中之SOC至平板中之LCD面板的傳輸。此內容常具有不同的統計性質(來自從相機所擷取的內容),由於使用渲染構件、文字、圖像等等。此等應用程式可被稱為「螢幕內容應用程式」。針對螢幕內容應用程式,「RGB」顏色空間常被使用,因為通常視訊是被擷取並顯示為RGB,例如,當驅動LCD面板時。注意:最大信號強度出現在「G」(綠)頻道,因此通常G頻道係使用主要顏色頻道來編碼,而餘留的頻道(亦即,「B」和「R」)係使用次要顏色頻道來編碼。此配置可被稱為「GBR」。當「YCbCr」顏色空間正使用中時,「Y」頻道係使用主要顏色頻道來編碼而「Cb」和「Cr」頻道係使用次要顏色頻道來編碼。 視訊資料亦使用特定色度格式來表示。主要顏色頻道及次要顏色頻道被空間地取樣以相同的空間密度,當4:4:4色度格式正使用中時。針對螢幕內容,常用的色度格式為4:4:4,因為通常LCD面板提供紅、綠及藍之獨立控制給各像素,亦即,4:4:4色度格式。位元深度係定義個別顏色頻道中之樣本的位元寬度,其係隱含可用樣本值之範圍。通常,所有顏色頻道係具有相同的位元深度,雖然其可能替代地具有不同的位元深度。其他色度格式亦是可能的。例如,假如色度頻道被取樣以水平上的速率之一半(相較於亮度頻道),則4:2:2色度格式被認為是使用中。同時,假如色度頻道被取樣以水平上及垂直上的速率之一半(相較於亮度頻道),則4:2:0色度格式被認為是使用中。這些色度格式係利用人類視覺系統之特性,其對強度之敏感度係高於對顏色之敏感度。如此一來,有可能減少顏色頻道之取樣而不造成過度的視覺影響。然而,此性質較少應用於工作室環境,其中編碼和解碼之多重產生是常見的。同時,針對螢幕內容,除了4:4:4之外的色度格式之使用可能是有問題的,因為失真被引入至子像素渲染的(或「抗鋸齒的」)文字及尖銳物件邊緣。 框資料亦可含有螢幕內容及相機擷取內容之混合。例如,電腦螢幕可包括各種視窗、圖像及控制按鈕,且亦含有被播放的視訊、或被觀看的影像。此內容(就電腦螢幕之完整性而言)可被稱為「混合內容」。此外,細節(或「紋理」)的位準係於框之內變化。通常,詳細紋理之區(例如,樹葉、文字)、或含有雜訊之區(例如,來自相機感應器)是難以壓縮的。詳細紋理僅可被編碼以低壓縮比而不損失細節。反之,具有少數細節(例如,平坦區、天空、來自電腦應用程式之背景)可被編碼以高壓縮比,具有極少的細節損失。 就低複雜度而言,一種方法是應用「小波」變換,其被階層式地應用遍及影像。小波變換已被研究於JPEG 2000影像編碼標準之背景下。跨越影像之轉移的應用係不同於區塊為基的編碼解碼器(諸如H.264/AVC),其係應用多種離散的餘弦變換(DCT),各應用於各框之小區段。H.264/AVC中之各區塊係使用多種方法之一而被預測,其達成高等級的局部調適性,以增加編碼器複雜度之代價(由於應做出模式決定之需求)。此外,編碼器係使用失真計算以協助模式選擇。反之,小波變換被應用涵蓋寬廣的空間區域,而因此可用於區塊為基的編碼解碼器之預測模式通常是不可用的,導致在編碼器與解碼器之複雜度上顯著減少的差異。預測模式決定之免除亦避免了用以協助此等決定之失真測量的需求,其減少了編碼器複雜度。然而,關於量化之決定仍餘留。在用於夾層編碼應用之小波為基的壓縮技術之背景下,對於編碼器複雜度之進一步減少是渴望的。
本發明之一目的係實質上克服(或至少改善)現存配置之一或更多缺點。 本發明之一形態係提供一種從位元流解碼影像框之方法,該方法包含: 從該位元流接收該影像框之一範圍的複數部分,該範圍係使用橫跨該範圍之小波變換而被編碼且被配置在相應於該範圍之空間行的複數行中之該位元流中; 從該些已接收複數部分解碼係數,該些複數部分之各者具有獨立於該些複數部分之其他部分的反量化之該些係數的反量化,該反量化被示意為可應用於該小波變換之所有子頻帶的情境及精化, 其中額外位元平面之情境及精化係依據該行之位元預算而被示意至該小波變換之至少一子頻帶,其中該情境及精化係指示截斷位準;以及 使用該些已解碼係數以形成該影像框。 於某些形態中,該行之該位元預算被判定自目前範圍之預算編碼成本,其係依據該些行之各者於該目前範圍內所佔據的相對比例而被劃分於該目前範圍中的該些行之間。 於某些形態中,範圍寬度為128之倍數,具有5之5水平分解的最深位準,以及在該最深位準成為四之集合的係數之群集。 本發明之另一形態係提供一種用以從位元流解碼影像框之設備,該設備包含: 接收機構,用以從該位元流接收該影像框之一範圍的複數部分,該範圍係使用橫跨該範圍之小波變換而被編碼且被配置在相應於該範圍之空間行的複數行中之該位元流中; 係數解碼機構,用以從該些已接收複數部分解碼係數,該些複數部分之各者具有獨立於該些複數部分之其他部分的反量化之該些係數的反量化,該反量化被示意為可應用於該小波變換之所有子頻帶的情境及精化, 其中額外位元平面之情境及精化係依據該行之位元預算而被示意至該小波變換之至少一子頻帶,其中該情境及精化係指示截斷位準;以及 形成機構,用以使用該些已解碼係數以形成該影像框。 本發明之另一形態係提供一種用以從位元流解碼影像框之系統,該系統包含: 記憶體,用以儲存資料和電腦程式; 處理器,其係耦合至該記憶體以執行該電腦程式,該電腦程式包括指令以: 從該位元流接收該影像框之一範圍的複數部分,該範圍係使用橫跨該範圍之小波變換而被編碼且被配置在相應於該範圍之空間行的複數行中之該位元流中; 從該些已接收複數部分解碼係數,該些複數部分之各者具有獨立於該些複數部分之其他部分的反量化之該些係數的反量化,該反量化被示意為可應用於該小波變換之所有子頻帶的情境及精化,其中額外位元平面之情境及精化係依據該行之位元預算而被示意至該小波變換之至少一子頻帶,其中該情境及精化係指示截斷位準;以及 使用該些已解碼係數以形成該影像框。 本發明之另一形態提供一種非暫態電腦可讀取媒體,該媒體上儲存有用以從位元流解碼影像框之電腦程式,該程式包含: 用以從該位元流接收該影像框之一範圍的複數部分之碼,該範圍係使用橫跨該範圍之小波變換而被編碼且被配置在相應於該範圍之空間行的複數行中之該位元流中; 用以從該些已接收複數部分解碼係數之碼,該些複數部分之各者具有獨立於該些複數部分之其他部分的反量化之該些係數的反量化,該反量化被示意為可應用於該小波變換之所有子頻帶的情境及精化, 其中額外位元平面之情境及精化係依據該行之位元預算而被示意至該小波變換之至少一子頻帶,其中該情境及精化係指示截斷位準;以及 用以使用該些已解碼係數以形成該影像框之碼。 本發明之另一形態係提供一種將影像框編碼為位元流之方法,該方法包含: 判定該影像框之一範圍的複數部分,該範圍係使用橫跨該範圍之小波變換而被編碼且被配置在相應於該範圍之空間行的複數行中; 從該些複數部分判定係數,該些複數部分之各者具有獨立於該些複數部分之其他部分的量化之該些係數的量化,該量化被示意為可應用於該小波變換之所有子頻帶的情境及精化,其中額外位元平面之情境及精化係依據該行之位元預算而被判定給該小波變換之至少一子頻帶,其中該情境及精化係指示截斷位準;以及 使用該些已判定係數以形成該影像框之該位元流。 本發明之另一形態係提供一種用以將影像框編碼為位元流之設備,該設備包含: 部分判定機構,用以判定該影像框之一範圍的複數部分,該範圍係使用橫跨該範圍之小波變換而被編碼且被配置在相應於該範圍之空間行的複數行中; 係數判定機構,用以從該些複數部分判定係數,該些複數部分之各者具有獨立於該些複數部分之其他部分的量化之該些係數的量化,該量化被示意為可應用於該小波變換之所有子頻帶的情境及精化,其中額外位元平面之情境及精化係依據該行之位元預算而被判定給該小波變換之至少一子頻帶,其中該情境及精化係指示截斷位準;以及 形成機構,用以使用該些已判定係數以形成該影像框之該位元流。 本發明之另一形態係提供一種用以將影像框編碼為位元流之系統,該系統包含: 記憶體,用以儲存資料和電腦程式; 處理器,其係耦合至該記憶體以執行該電腦程式,該電腦程式包括指令以: 判定該影像框之一範圍的複數部分,該範圍係使用橫跨該範圍之小波變換而被編碼且被配置在相應於該範圍之空間行的複數行中; 從該些複數部分判定係數,該些複數部分之各者具有獨立於該些複數部分之其他部分的量化之該些係數的量化,該量化被示意為可應用於該小波變換之所有子頻帶的情境及精化,其中額外位元平面之情境及精化係依據該行之位元預算而被判定給該小波變換之至少一子頻帶,其中該情境及精化係指示截斷位準;以及 使用該些已判定係數以形成該影像框之該位元流。 本發明之另一形態提供一種非暫態電腦可讀取媒體,該媒體上儲存有用以將影像框編碼為位元流之電腦程式,該程式包含: 用以判定該影像框之一範圍的複數部分之碼,該範圍係使用橫跨該範圍之小波變換而被編碼且被配置在相應於該範圍之空間行的複數行中; 用以從該些複數部分判定係數之碼,該些複數部分之各者具有獨立於該些複數部分之其他部分的量化之該些係數的量化,該量化被示意為可應用於該小波變換之所有子頻帶的情境及精化,其中額外位元平面之情境及精化係依據該行之位元預算而被判定給該小波變換之至少一子頻帶,其中該情境及精化係指示截斷位準;以及 用以使用該些已判定係數以形成該影像框之該位元流之碼。 本發明之另一形態係提供一種將視訊資料編碼為具有複數範圍的視訊位元流之方法,該方法包含:產生針對該些複數範圍之目前範圍的複數編碼成本估計,藉由測試該目前範圍之相應候選係數截斷位準,該些編碼成本估計之各者為用以在該候選截斷位準編碼該目前範圍之已編碼資料大小的過估計且係使用最高有效位元平面指標來判定,其中該些編碼成本估計之各者係獨立於該目前範圍中之係數位元的值;依據該目前範圍之該相應編碼成本估計及預算編碼成本以選擇該些候選截斷位準之一,該預算編碼成本係表示編碼該範圍之可容許大小;使用該選定截斷位準以將視訊資料之該目前範圍編碼為該視訊位元流來產生該視訊位元流。 於某些形態中,該編碼成本估計包括針對該目前範圍之各已編碼係數的符號編碼成本,其包括在該選定截斷位準已被量化至零之值的已編碼係數。 於某些形態中,用以編碼該目前範圍之該可容許大小係根據該目前範圍之預算以及依據漏桶模型之先前範圍的已編碼大小來判定。 於某些形態中,用以編碼該目前範圍之該可容許大小係根據該編碼成本估計之再評估來判定,該編碼成本估計之該再評估係考量其被量化至該選定截斷位準之係數的該些值。 於某些形態中,該方法進一步包含產生該些候選截斷位準。 於某些形態中,該目前範圍之該預算編碼成本為每像素位元乘以該目前範圍中之像素的數目。 於某些形態中,該目前範圍之該預算編碼成本係依據該些行之各者於該目前範圍內所佔據的相對比例而被劃分於該目前範圍中的該些行之間。 於某些形態中,該視訊位元流被填補以過濾器資料。 本發明之另一形態係提供一種用以將視訊資料編碼為具有複數範圍的視訊位元流之設備,該設備包含: 產生機構,用以產生針對該些複數範圍之目前範圍的複數編碼成本估計,藉由測試該目前範圍之相應候選係數截斷位準,該些編碼成本估計之各者為用以在該候選截斷位準編碼該目前範圍之已編碼資料大小的過估計且係使用最高有效位元平面指標來判定,其中該些編碼成本估計之各者係獨立於該目前範圍中之係數位元的值;選擇機構,用以依據該目前範圍之該相應編碼成本估計及預算編碼成本以選擇該些候選截斷位準之一,該預算編碼成本係表示編碼該範圍之可容許大小;編碼機構,用以使用該選定截斷位準以將視訊資料之該目前範圍編碼為該視訊位元流來產生該視訊位元流。 本發明之另一形態係提供一種用以將視訊資料編碼為具有複數範圍的視訊位元流之系統,該系統包含:記憶體,用以儲存資料和電腦程式;處理器,其係耦合至該記憶體以執行該電腦程式,該電腦程式包括指令以:產生針對該些複數範圍之目前範圍的複數編碼成本估計,藉由測試該目前範圍之相應候選係數截斷位準,該些編碼成本估計之各者為用以在該候選截斷位準編碼該目前範圍之已編碼資料大小的過估計且係使用最高有效位元平面指標來判定,其中該些編碼成本估計之各者係獨立於該目前範圍中之係數位元的值;依據該目前範圍之該相應編碼成本估計及預算編碼成本以選擇該些候選截斷位準之一,該預算編碼成本係表示編碼該範圍之可容許大小;使用該選定截斷位準以將視訊資料之該目前範圍編碼為該視訊位元流來產生該視訊位元流。 本發明之另一形態係提供一種非暫態電腦可讀取媒體,該媒體上儲存有用以將視訊資料編碼為具有複數範圍的視訊位元流之電腦程式,該程式包含:用以產生針對該些複數範圍之目前範圍的複數編碼成本估計之碼,藉由測試該目前範圍之相應候選係數截斷位準,該些編碼成本估計之各者為用以在該候選截斷位準編碼該目前範圍之已編碼資料大小的過估計且係使用最高有效位元平面指標來判定,其中該些編碼成本估計之各者係獨立於該目前範圍中之係數位元的值;用以依據該目前範圍之該相應編碼成本估計及預算編碼成本以選擇該些候選截斷位準之一的碼,該預算編碼成本係表示編碼該範圍之可容許大小;用以使用該選定截斷位準以將視訊資料之該目前範圍編碼為該視訊位元流來產生該視訊位元流之碼。 本發明之另一形態係提供一種解碼視訊位元流之視訊資料的方法,該視訊位元流具有以行配置之複數範圍,該方法包含:解碼該視訊位元流之標頭以判定各範圍之行的數目;解碼目前範圍以判定該目前範圍之各行內的各資料子封包之位置;及根據相應的已判定位置來解碼該目前範圍之該些子封包的各者;從該些已解碼子封包判定係數位元;及根據該些已判定係數位元上所履行的過濾器操作來從該些已判定係數位元判定已解碼視訊資料。 其他形態亦被揭露。
於附圖之任何一或更多者中係參考其具有相同參考數字之步驟及/或特徵,那些步驟及/或特徵為了本說明書之目的而具有相同的功能或操作,除非出現相反的意圖。 圖1為概略方塊圖,其顯示一種子框潛時視訊編碼及解碼系統100之功能模組。視訊編碼及解碼系統100中之速率控制及緩衝器管理機制確保其沒有緩衝區欠載運行及所導致的無法遞送已解碼視訊發生(例如,由於針對進入視訊資料至視訊編碼器114之可能模式的編碼器搜尋之複雜度及所花費時間的變化),以致其來自視訊解碼器134之已解碼視訊框係依據介面(於其上遞送視訊框)之時序而被遞送。速率控制機制可利用估計出的(最差情況)成本估計於決定用以減少編碼器複雜度之量化參數。此外,系統100可經由將各框劃分為行以提供恆定位元率編碼,具有獨立的量化控制,但具有針對其被封裝入單一位元流之各行的已壓縮資料。 視訊框所被遞送於其上之介面可為(例如)SDI。介面(諸如SDI)具有被同步化至時脈來源之樣本時序,具有水平及垂直遮沒週期。如此一來,已解碼視訊之樣本需依據SDI鏈結之框時序來遞送。針對透過SDI之傳輸而格式化的視訊資料亦可透過乙太網路被運送(例如,使用如SMPTE ST. 2022-6中所指明的方法)。於其樣本未依據所需時序而被遞送的情況下,將導致可察覺的視覺加工(例如,來自其無效資料被下游裝置解讀為樣本值)。因此,速率控制機制確保其沒有緩衝過載運行發生,其將導致無效位元流之產生。類似的限制存在於進來的SDI鏈結至視訊編碼器114,其需依據到達時序以編碼樣本且無法推遲進入視訊資料至視訊編碼器114(例如,由於針對編碼框之不同區的變化處理需求)。 如先前所提,視訊編碼及解碼系統100具有少於視訊資料之一框的潛時。特別地,某些應用程式要求不超過三十二(32)線的視訊資料之潛時,從視訊編碼器114之輸入至視訊解碼器134之輸出。潛時可包括於視訊資料之輸入/輸出及部分編碼視訊資料之儲存期間所花費的時間,在透過通訊頻道之運送以前及以後。通常,視訊資料係以光柵掃描順序來傳輸及接收(例如,透過SDI鏈結)。各框被劃分為「範圍」,各範圍通常為高度上兩條線的亮度樣本且具有等於該框之寬度的寬度。替代地,多數範圍可相鄰地共存,共同地佔據該框之寬度,各範圍屬於一分離的「行」。接著,既定行中之一或更多範圍的速率平坦化窗被應用以設定該行中之目前範圍的目標速率。位元流被寫入至緩衝器,以致其針對一壓縮範圍之資料被組合於緩衝器中,在傳輸之前。當多數行被使用時,一列範圍中之各壓縮範圍的資料被組合於緩衝器中,在傳輸為單一位元流之前。 系統100包括來源裝置110及目的地裝置130。通訊頻道120被用以傳遞已編碼視訊資訊從來源裝置110至目的地裝置130。於某些配置中,來源裝置110及目的地裝置130可包含個別廣播工作室配備,諸如重疊插入和即時編輯模組,於此情況下通訊頻道120可為SDI鏈結。通常,通訊頻道120為「CBR」頻道。如此一來,通訊頻道120賦予固定限制於可用頻寬。於其中並未使用夾層壓縮之應用中,未壓縮視訊係透過通訊頻道120而被直接地傳輸。針對此等應用,通訊頻道120之頻寬必須等於(或可大於)該未壓縮視訊資料之頻寬。夾層壓縮係處理其中通訊頻道120缺乏針對未壓縮視訊資料之足夠頻寬的情況。針對壓縮視訊資料,需求的頻寬通常係暫時地改變,隨著各範圍被允許於某判定限制改變其壓縮大小。視訊編碼器可在傳輸前緩衝數個壓縮範圍。由於傳輸係發生以恆定位元率,此緩衝提供較大程度的彈性於設定目前被壓縮之範圍的目標壓縮大小。涵蓋許多範圍而平均後,則維持一匹配通訊頻道120之頻寬的固定壓縮大小。緩衝在以下兩者中是可能的:係數領域(在視訊編碼器中之小波變換後但在熵編碼前)以及壓縮領域(在熵編碼後但在傳輸前)。緩衝係增加複雜度及潛時但容許「向前看」操作發生。係數領域中之緩衝係容許向前看模式,藉此目前範圍之目標預算被衰減以考量目前範圍相較於一或更多未來範圍之相對預期壓縮大小。範圍之預期壓縮大小可使用諸如橫跨所有子頻帶之加總絕對係數數值、或加總MSB位置等手段來判定。接著,第一範圍目標預算係多少考量接下來的一或更多範圍之相對編碼難度來設定。如此(達某程度)減輕了其針對第一範圍無速率傳遞可用的問題。缺乏速率控制預看窗之較低複雜度的實施方式係使用固定大小於各壓縮範圍的視訊資料。該些壓縮範圍的視訊資料係透過通訊頻道120而被運送。通訊頻道120可利用一種欲用以運送未壓縮資料之介面(諸如SDI或HDMI),即使於系統100中,壓縮資料被運送。 於其他配置中,來源裝置110及目的地裝置130可包含圖形驅動程式為系統單晶片(SOC)及LCD面板之部分(例如,如智慧型手機、平板或膝上型電腦中所發現者),於該情況下通訊頻道120通常是有線頻道,諸如PCB軌道作業及相關的連接器。此外,來源裝置110及目的地裝置130可包含寬廣範圍的裝置之任一者,包括透過以下各者而支援的裝置:空中電視廣播、有線電視應用程式、網際網路視訊應用程式以及其中已編碼視訊資料被擷取於某儲存媒體或檔案伺服器上之應用程式。來源裝置110亦可為數位相機,其係擷取視訊資料並以壓縮格式(其提供視覺上無損的壓縮)輸出該視訊資料,以致其系統100之性能可被視為等同於真實無損的格式(例如,未壓縮)。 如圖1中所示,來源裝置110包括視訊來源112、視訊編碼器114及傳輸器116。視訊來源112通常包含未壓縮視訊資料113之來源,諸如成像感應器、儲存在非暫態記錄媒體上之先前擷取的視訊序列、或饋送自遠端成像感應器之視訊。未壓縮視訊資料113係透過CBR頻道而從視訊來源112被運送至視訊編碼器114,以該視訊資料之遞送的固定時序。通常,視訊資料被遞送以光柵掃描格式,利用發信以描繪於線(「水平同步」)與框(「垂直同步」)之間。視訊來源112亦可為電腦圖形卡之輸出(例如,顯示其執行於計算裝置上之作業系統及各種應用程式的視訊輸出),例如平板電腦。此內容為「螢幕內容」之範例。來源裝置110(其可包括成像感應器為視訊來源112)之範例包括智慧型手機、視訊攝影機及網路視訊相機。因為螢幕內容可本身包括平緩渲染的圖形及各個區中之自然內容的播放,所以此亦常為「混合內容」之形式。視訊編碼器114係將未壓縮視訊資料113從視訊來源112轉換為已編碼視訊資料且將參考圖3而被進一步描述。 視訊編碼器114係編碼進入的未壓縮視訊資料113。視訊編碼器114必須即時地處理進入的樣本資料(亦即,視訊編碼器114無法推遲進入的未壓縮視訊資料113,例如,假如處理該進入資料之速率將下降低於輸入資料速率的話)。視訊編碼器114係以恆定位元率輸出壓縮視訊資料115(「位元流」)。於視訊串流應用中,整個位元流未被儲存於任一位置中。取代地,該些範圍的壓縮視訊資料正持續地由視訊編碼器114所產生且由視訊解碼器134所消耗,利用中間儲存,例如,於(CBR)通訊頻道120中。CBR串流壓縮視訊資料係由傳輸器116透過通訊頻道120(例如,SDI鏈結)來傳輸。亦有可能壓縮視訊資料被儲存於非暫態儲存裝置122(諸如「快閃」記憶體或硬碟驅動)中,直到稍後透過通訊頻道120而被傳輸,或者替代其透過通訊頻道120之傳輸。 目的地裝置130包括接收器132、視訊解碼器134及顯示裝置136。接收器132從通訊頻道120接收已編碼視訊資料並將已接收視訊資料133傳送至視訊解碼器134。視訊解碼器134接著將已解碼框資料135輸出至顯示裝置136。顯示裝置136之範例包括陰極射線管、液晶顯示(諸如智慧型手機中的)、平板電腦、電腦監視器或獨立型電視機。來源裝置110及目的地裝置130各者之功能亦可能被實施於單一裝置中,其範例包括行動電話手機和平板電腦、或者於廣播工作室(包括重疊插入單元)內之設備。 儘管以上所提之範例裝置,來源裝置110及目的地裝置130之各者可被組態於通用計算系統內,通常透過硬體與軟體組件之組合。圖2A闡明此一電腦系統200,其包括:電腦模組201;輸入裝置,諸如鍵盤202、滑鼠指標裝置203、掃描器226、相機227(其可被組態成視訊來源112)、及麥克風280;及輸出裝置,包括印表機215、顯示裝置214(其可被組態成顯示裝置136)、及揚聲器217。外部調變器-解調器(數據機)收發器裝置216可由電腦模組201所使用,以經由連接221而通訊至及自通訊網路220。通訊網路220(其可代表通訊頻道120)可為廣域網路(WAN)(諸如網際網路)、胞狀電信網路、或私人WAN。當連接221為電話線時,數據機216可為傳統的「撥接」數據機。替代地,當連接221為高容量(例如,電纜)連接時,則數據機216可為寬頻數據機。無線數據機亦可被用於無線連接至通訊網路220。收發器裝置216可提供傳輸器116及接收器132之功能,而通訊頻道120可被實施於連接221中。 電腦模組201通常包括至少一處理器單元205、及記憶體單元206。例如,記憶體單元206可具有半導體隨機存取記憶體(RAM)及半導體唯讀記憶體(ROM)。電腦模組201亦包括數個輸入/輸出(I/O)介面,包括:音訊-視訊介面207,其係耦合至視訊顯示214、揚聲器217及麥克風280;I/O介面213,其係耦合至鍵盤202、滑鼠203、掃描器226、相機227及選擇性地搖桿或其他人類介面裝置(未顯示);以及用於外部數據機216和印表機215之介面208。從音訊-視訊介面207至電腦監視器214之信號通常為電腦圖形卡之輸出並提供「螢幕內容」之範例。於某些實施方式中,數據機216可被結合入電腦模組201內,例如於介面208內。電腦模組201亦具有局部網路介面211,其允許經由連接223之電腦系統200的耦合至局部區域通訊網路222,已知為區域網路(LAN)。如圖2A中所示,本地通訊網路222亦可經由連接224而耦合至廣域網路220,該連接224通常將包括所謂的「防火牆」裝置或類似功能的裝置。局部網路介面211可包含EthernetTM 電路卡、BluetoothTM 無線配置或IEEE 802.11無線配置;然而,多種其他類型的介面可被實施於介面211。局部網路介面211亦可提供傳輸器116及接收器132之功能,而通訊頻道120亦可被實施於局部通訊網路222中。 I/O介面208及213可提供串列及平行連接之一者或兩者,前者通常係依據通用串列匯流排(USB)標準而被實施並具有相應的USB連接器(未顯示)。儲存裝置209被提供且通常包括硬碟驅動(HDD)210。諸如軟碟驅動及磁帶驅動(未顯示)等其他儲存裝置亦可被使用。光碟驅動212通常被提供以作用為資料之非揮發性來源。可攜式記憶體裝置(諸如光碟(例如,CD-ROM, DVD, Blu‑ray DiscTM )、USB-RAM、可攜式、外部硬碟驅動、及軟碟,舉例而言)可被使用為針對電腦系統200之資料的適當來源。通常,HDD 210、光學驅動212、網路220及222之任一者亦可被組態成操作為視訊來源112、或者為已解碼視訊資料之目的地以被儲存而供經由顯示214之再生。系統100之來源裝置110及目的地裝置130、或系統100之來源裝置110及目的地裝置130可被實施於電腦系統200中。 電腦模組201之組件205至213通常係經由互連匯流排204來通訊,且係以一種方式,其導致相關技術中那些熟悉本領域人士所已知的電腦系統200之操作的傳統模式。例如,處理器205係使用連接218而被耦合至系統匯流排204。同樣地,記憶體206及光碟驅動212係藉由連接219而被耦合至系統匯流排204。上述配置可被實行於其上之電腦的範例包括IBM-PC及相容者、Sun SPARC站、Apple MacTM 或類似的電腦系統。 當適當或想要時,視訊編碼器114及視訊解碼器134(以及以下所述之方法)可使用電腦系統200而被實施,其中視訊編碼器114、視訊解碼器134以及將被描述之方法可被實施為一或更多可被執行於電腦系統200內之軟體應用程式233。特別地,視訊編碼器114、視訊解碼器134及所述方法之步驟係由軟體233(其被執行於電腦系統200內)中之指令231(參見圖2B)所實現。軟體指令231可被形成為一或更多碼模組,各用以履行一或更多特定工作。軟體亦可被劃分為兩個分離部分,其中第一部分及相應的碼模組係履行所述的方法而第二部分及相應的碼模組係管理介於第一部分與使用者之間的使用者介面。 軟體可被儲存於電腦可讀取媒體中,包括以下所述之儲存裝置,舉例而言。軟體係從電腦可讀取媒體被載入電腦系統200,且接著由電腦系統200所執行。具有此軟體或電腦程式(其係記錄於電腦可讀取媒體上)之電腦可讀取媒體為一種電腦程式產品。電腦系統200中之電腦程式產品的使用最好是實現一種有利的設備,用以實施視訊編碼器114、視訊解碼器134及所述方法。 軟體233通常被儲存於HDD 210或記憶體206中。軟體係從電腦可讀取媒體被載入電腦系統200,且由電腦系統200所執行。因此,例如,軟體233可被儲存於光學可讀取碟儲存媒體(例如,CD-ROM)225上,其係由光碟驅動212所讀取。 於某些例子中,應用程式233可被供應至使用者,其係被編碼於一或更多CD-ROM 225上並經由相應的驅動212來讀取;或者替代地可由使用者從網路220或222所讀取。再者,軟體亦可從其他電腦可讀取媒體被載入電腦系統200。電腦可讀取儲存媒體係指稱任何非暫態有形儲存媒體,其係提供已記錄指令及/或資料至電腦系統200以供執行及/或處理。此儲存媒體之範例包括軟碟、磁帶、CD-ROM、DVD、Blu-ray DiscTM 、硬碟驅動、ROM或積體電路、USB記憶體、磁光碟、或電腦可讀取卡(諸如PCMCIA)等等,無論此類裝置係位於電腦模組201之內部或外部。暫態或非有形電腦可讀取傳輸媒體(其亦可參與軟體、應用程式、指令及/或視訊資料或已編碼視訊資料之提供至電腦模組201)的範例包括無線電或紅外線傳輸頻道以及網路連接至另一電腦或網連裝置、及網際網路或內部網路(包括記錄於網站上之e-mail傳輸和資訊),等等。 上述應用程式233之第二部分及相應的碼模組可被執行以實施一或更多圖形使用者介面(GUI)以被渲染或者表示於顯示214上。透過典型地鍵盤202及滑鼠203之調處,電腦系統200及應用程式之使用者可以一種功能上可調適的方式調處該介面來提供控制命令及/或輸入至其與GUI相關的應用程式。功能上可調適的使用者介面之其他形式亦可被實施,諸如音訊介面,其係利用經由揚聲器217而輸出之語音提示及經由麥克風280而輸入之使用者聲音命令。 圖2B為處理器205及「記憶體」234之詳細的概略方塊圖。記憶體234代表所有記憶體模組(包括HDD 209及半導體記憶體206)之邏輯聚合,其可由圖2A中之電腦模組201所存取。 當電腦模組201被初始地啟動時,開機自我測試(POST)程式250便執行。POST程式250通常被儲存於圖2A之半導體記憶體206的ROM 249中。儲存軟體之硬體裝置(諸如ROM 249)有時被稱為韌體。POST程式250係檢查電腦模組201內之硬體以確保適當的作用且通常係檢查處理器205、記憶體234(209、206)、及基本輸入輸出系統軟體(BIOS)模組251(通常亦儲存於ROM 249中)以利正確操作。一旦POST程式250已成功地運行,則BIOS 251便啟動圖2A之硬碟驅動210。硬碟驅動210之啟動造成自舉載入器程式252,其係駐存在硬碟驅動210上以經由處理器205而執行。如此便將作業系統253載入RAM記憶體206,作業系統253便於其上開始操作。作業系統253為系統階應用程式(可由處理器205所執行),用以完成各種高階功能,包括處理器管理、記憶體管理、裝置管理、儲存管理、軟體應用程式介面、及一般使用者介面。 作業系統253係管理記憶體234(209、206)以確保其運行於電腦模組201上之各程序或應用程式具有足夠的記憶體,其中用以執行而不與其配置給其他程序之記憶體衝突。再者,可用於圖2A之電腦系統200中的不同類型的記憶體需被適當地使用以致其各程序可有效地運行。因此,聚合記憶體234不是想要闡明記憶體之特定片段如何被配置(除非另有聲明),而是提供可由電腦系統200所存取之記憶體以及其如何被使用的一般性視圖。 如圖2B中所示,處理器205包括數個功能性模組,包括:控制單元239、算術邏輯單元(ALU)240、及區域或內部記憶體248(有時稱為快取記憶體)。快取記憶體248通常包括數個儲存暫存器244-246於暫存器區段中。一或更多內部匯流排241功能地互連這些功能模組。處理器205通常亦具有一或更多介面242,用以經由系統匯流排204而與外部裝置通訊,使用連接218。記憶體234係使用連接219而被耦合至匯流排204。 應用程式233包括指令231之序列,其可包括條件式分支及迴路指令。程式233亦可包括資料232,其被用於程式233之執行。指令231及資料232被個別地儲存於記憶體位置228、229、230及235、236、237中。根據指令231及記憶體位置228-230之相對大小,特別指令可被儲存於單一記憶體位置(如由記憶體位置230中所示之指令所描述者)中。另一方面,指令可被分割為數個部分,其各者被儲存於分離的記憶體位置中,如由記憶體位置228及229中所示之指令片段所描述者。 通常,處理器205被提供一組被執行於其中之指令。處理器205等待後續輸入,處理器205係藉由執行另一組指令而對該輸入做出反應。各輸入可被提供自數個來源之一或更多者,包括由輸入裝置202、203之一或更多者所產生的資料、從橫跨網路220、202之一的外部來源所接收的資料、從儲存裝置206、209之一所擷取的資料或者從其插入相應讀取器212之儲存媒體225所擷取的資料,均描繪於圖2A中。一組指令之執行可(於某些情況下)導致資料之輸出。執行亦可涉及將資料或變數儲存至記憶體234。 視訊編碼器114、視訊解碼器134及所述方法可使用輸入變數254,其被儲存於相應記憶體位置255、256、257中之記憶體234中。視訊編碼器114、視訊解碼器134及所述方法係產生輸出變數261,其被儲存於相應記憶體位置262、263、264中之記憶體234中。中間變數258可被儲存於記憶體位置259、260、266及267中。 參考圖2B之處理器205,暫存器244、245、246、算術邏輯單元(ALU)240、及控制單元239係一起工作以履行微操作之序列,該些微操作是用以履行針對指令集(其組成程式233)中之每一指令的「提取、解碼、及執行」循環所需的。各提取、解碼、及執行循環包含: (a)提取操作,其係從記憶體位置228、229、230提取或讀取指令231; (b)解碼操作,其中控制單元239係判定哪個指令已被提取;及 (c)執行操作,其中控制單元239及/或ALU 240係執行該指令。 之後,針對下一指令之進一步提取、解碼、及執行循環可被執行。類似地,儲存循環可被履行,控制單元239係藉由該儲存循環以將一值儲存或寫入至記憶體位置232。 圖11及12之方法中的各步驟或子程序(將被描述)係與程式233之一或更多片段相關且通常係由處理器205中之暫存器區段244、245、247、ALU 240、及控制單元239所履行,處理器205中之該些單元係一起工作以履行針對程式233之所述片段的指令集中之每一指令的提取、解碼、及執行循環。 圖3A為概略方塊圖,其顯示針對視訊資料113之一範圍300的小波子頻帶分解。視訊資料113之各框被劃分為數個範圍,該些範圍之各者通常高度為兩像素線且為該框之某部分的寬度(最高至整個框寬度)。該範圍被劃分為兩條「線」,具有子頻帶配置給各線。小波係數係於係數領域中,且因此該兩條線(群組)係界定子頻帶之兩群組,而非該範圍之空間劃分為像素之兩條線。子頻帶之群集為線亦影響位元流結構,如參考圖6所述者。框係藉由履行小波變換來編碼,該小波變換係涵蓋該框中之所有水平相鄰範圍而被應用。針對低潛時操作,小波變換被逐步地應用從該框之頂部至底部。小波變換被應用水平地及垂直地,具有特定的分解深度於各維度,如參考圖3B所進一步討論者。例如,範圍可首先使用垂直地一階而被分解,導致一組高頻係數及一組低頻係數。所得的高頻係數可接著被進一步水平地分解一次,導致識別為圖3A中之「LH0」及「HH0」的兩個子頻帶,形成「線1」。所得的低頻係數亦可被進一步水平地分解五次,導致識別為圖3A中之「LL4」、「HL4」、「HL3」、「HL2」、「HL1」、及「HL0」的六個子頻帶,形成「線0」。當解碼位元流時,有可能藉由處理僅線0子頻帶並捨棄線1子頻帶以獲得全影像之較低解析度「代理」。當小波變換被應用時,所得係數之數目係等於其被變換的樣本之數目,無論水平地或垂直地分解之組態。然而,這些係數之配置係取決於分解組態。此外,不同子頻帶中之係數的統計係顯著地不同。特別地,在分解階層中逐步地變深之子頻帶的低頻係數係形成原始範圍之低通過濾版本,其過濾之程度及「解析度」(子頻帶維度)係相應於範圍維度除以二的分解深度次方。高頻子頻帶係形成一種「殘餘」的形式,由於其低解析度子頻帶可藉由加入高頻子頻帶影像而被向上取樣及品質改良。此係傳遞小波「合成」過濾器庫之操作。 高壓縮效率主要係得自五階的水平分解,且相對低的殘餘能量係存在於小波變換之高頻係數中。此分解數目被重複於視訊資料113中之各顏色頻道。針對相對低階(例如,一階)的垂直分解之侷限係由於針對夾層編碼解碼器的應用之低潛時侷限而成為必要。通常係使用5/3小波。有助於一小波係數之空間支援(樣本之區)係取決於小波類型(例如,5/3)及選定的分解架構。於垂直方向上,五(5)之空間支援需要其五(5)列的樣本被緩衝於視訊編碼器114中(亦即,來自待變換範圍之上及之下的範圍之樣本亦為需要的)。接近於邊界,空間支援係延伸超過框邊緣。為了提供滿足小波變換之支援需求的值,邊緣樣本被複製、或者該框被「反射」以提供該框之維度以外的候選值。因此,此等邊界代表視覺加工之潛在危險,其可能得自欲滿足有限大小的框之侷限內的小波變換過濾器支援之此等人工方法。視覺加工之一結果係發生在當支援極大的框大小時,如新興的視訊格式中所見者。用以支援較大視訊格式(例如,UHD 8K)之常見方法係使用磚片,其各符合較小視訊格式(例如,UHD 4K)。填磚可致能現存編碼解碼器及傳送機制的再使用。同時,填磚可致能較大格式之編碼,其中編碼解碼器架構不可能放大至較大格式。例如,當需要諸如UHD 8K之格式的支援時,固有地依序操作(諸如小波係數編碼)之實施方式可能非可行的。在磚片邊界上之可見加工的可能性是極度不受歡迎的,特別是針對意圖提供視覺上無損的壓縮之夾層編碼解碼器,使得填磚成為一種針對此等應用之通常不受歡迎的解決方式。 圖3B為概略方塊圖,其顯示符合圖3A之小波分解的小波分析過濾器庫350。來自視訊資料113之樣本352被輸入至第0階垂直過濾器庫354,其係履行垂直方向上之過濾。第0階垂直過濾器庫354輸出一組高頻係數(「H」)及一組低頻係數(「L」)。該組高頻係數(「H」)及一組低頻係數(「L」)被進一步過濾以:第0階水平過濾器庫356、第0階水平過濾器庫358、第1階水平過濾器庫360、第2階水平過濾器庫362、第3階水平過濾器庫364、及第4階水平過濾器庫366。所得的子頻帶370係符合圖3A中所示的那些。 圖4為概略方塊圖,其顯示子頻帶400之部分,具有配置入四之群組(例如,係數群組404、406及408)的未量化小波係數402。複數候選截斷位準(例如,414)亦被顯示於圖4中。係數之截斷係導致已解碼視訊資料135之減少的保真度,相較於視訊資料113。係數之截斷致能以可控制位元率之壓縮。未量化小波係數402之各者的二元表示被顯示為位元平面403。與量化後之各係數相關的符號位元被顯示為符號位元401。在量化後,於特定截斷位準上,該特定截斷位準之係數值可變為零(即使相應的小波係數具有非零值)。例如,群組406中之未量化係數值「1」(當被量化至截斷位準414時)具有零之量化值。結果,沒有相關的符號位元(參見所示的佔位440,其可含有符號位元,假如(例如)無截斷操作被應用的話)。針對其中係數值變為零之截斷位準,並沒有與該係數相關的符號位元。當沒有與係數相關的符號位元時,則無此類位元需被編碼或解碼自該位元流。因此,符號位元之編碼成本係取決於未量化的係數值及應用的截斷位準。小波子頻帶中之所有係數在視訊編碼器114中被量化至特定位元平面、或「截斷位準」(例如,位元平面414)。量化程序具有兩個步驟。首先,量化補償被加入自未量化係數數值(亦即,未量化係數402之一的數值)。量化捨入補償係等於1 << (n - 1),其中n指示該子頻帶之最低編碼位元平面(亦即,截斷位準)。量化補償確保其當重建視訊解碼器134中之係數時,該重建值更接近於視訊編碼器114中所見之值,容許來自截斷之應用的精確度之無可避免的損失。 考量既定的係數群組(含有四個係數),其中所含有的係數(當以二元表示時)係形成「位元平面」之列表。接著,位元平面n含有四個位元,其各位元相應於該些四個係數之一的位元位置n。最後,特定臨限值之上的位元平面僅含有零值。此特定位元平面指標被稱為最高有效位元(MSB)位置指標。於此最高有效位元(MSB)平面指標上,與係數之該群組相關的四個位元之至少一者將為非零。在既定係數群組之MSB位置指標之上的位元平面為隱含地零且無須被編碼於位元流中。考量子頻帶中之係數的所有群組,MSB位置指標係形成一輪廓,於該輪廓之上所有位元(例如,410)均被已知為零而因此無須被編碼。接著,考量存在有其須被編碼之係數資料位元412的區之候選截斷位準(例如,414)。係數位元被編碼在量化補償之加入後,且該量化補償係取決於候選截斷位準。針對位元平面403之圖4中所顯示的位元值係在量化之前。如此一來,可看出:非零位元可出現位元平面中,截斷係在該些位元平面之下發生(亦即,416)。在候選截斷位準之下的位元平面(亦即,416)未被編碼於該已編碼位元流113中而因此被捨棄。 圖4A中未顯示一係數群組,其中所有相關的未量化係數具有足夠低的數值以使得無任何位元平面須針對此係數群組而被編碼。針對此等係數群組,零值位元410係延伸至該子頻帶之截斷位準。此等係數群組可被稱為「未編碼係數群組」。未編碼係數係藉由比較係數群組之MSB位置與該截斷位準來檢測。此外,未編碼係數群組已知為不具有相關的符號位元。此等符號位元之缺乏係藉由以上所提的比較操作而被輕易地檢測。反之,檢測諸如440之符號位元的缺乏則需要各截斷位準上之量化,其為一計算上成本較高的操作。 MSB位置指標通常係使用預測方案來編碼,諸如涵蓋各子頻帶之水平預測。如此一來,差量值(例如,示意由420及422所指示之MSB位置的改變)被編碼。亦可用一種垂直預測方案,其中MSB位置指標係使用來自上述範圍之相應係數群組的MSB位置指標來預測。亦可用一種「RAW」模式,其中子頻帶中之各MSB位置係使用4位元固定長度的碼字來編碼。RAW模式係加諸最差情況限制於編碼MSB位置之成本,因為編碼器必須選擇RAW模式(假如所有其他可用模式均導致較高的編碼成本的話)。當一或更多係數群組之MSB位置是在該子頻帶的截斷位準之下時,則無任何位元平面係針對這些係數群組而被編碼。同時,取代編碼此等係數群組之MSB位置,使用一種編碼的模式以跳至下個具有超過該截斷位準之MSB位置的係數群組。如此減少了編碼成本。 當視訊編碼器114測試各候選截斷位準時,為了產生正確的編碼成本,符號位元之存在或缺乏需為已知。判定符號位元之存在或缺乏需要知道該量化係數是非零(符號位元存在)或零(符號位元缺乏)。為了判定量化係數值,用於量化之各截斷位準的不同量化捨入補償被應用。應用不同量化捨入補償係由於加法及其他中間計算而導致增加的複雜度。由於該測試,各係數之重要性將被判定,而因此相關符號位元之存在被判定。如進一步參考圖7及8所討論,於系統100中達成相關於位元處置之複雜度減少。 取代針對一範圍中之各子頻帶具有獨立的截斷位準,一子頻帶之截斷位準係相對於總體臨限值而被判定,其可被稱為「情境」或「範圍量化」。範圍量化被示意於範圍標頭中。接著,各子頻帶之截斷位準係藉由將子頻帶特定的補償應用至該情境來判定。子頻帶特定的補償被示意於「加權表」(當作「增益」之列表)中,形成「增益表」,以每子頻帶被示意一增益或補償。預定的加權表可被供應至視訊編碼器114。加權表必須出現在位元流中,在圖片之第一片段前,針對位元流中所編碼之各圖片。增益表補償係容許位元之相稱的配置,而因此容許係數之相對精確度,於待更改的不同子頻帶之間。特別地,該些增益係致能其來自所考量的子頻帶分解階層之深度的各子頻帶中所固有的增益之補償。此補償導致橫跨所有子頻帶之係數的一致精確度。一致精確度導致已解碼視訊之最大化PSNR。替代地,特定子頻帶可被提供增加的精確度。被視為做出對於主觀品質更大貢獻的子頻帶可被提供增加的精確度。哪些子頻帶應被提供增加的精確度之判定可使用視覺感知模型及主觀實驗之任一者或兩者而做出。所得組的補償被稱為「視覺加權」。該情境因此針對量化及因而針對(例如)整個範圍之位元率提供粗略等級的控制,以該情境中之各減少引入每係數一位元(涵蓋整個範圍)。 額外控制(已知為「範圍精化」)係允許編碼該範圍中之子頻帶的子集之額外位元平面。該些子頻帶係針對其對於PSNR之貢獻而被排序(依遞減的貢獻之順序),且該精化係致能針對已排序列表的子頻帶之最前面n個子頻帶而編碼一額外位元平面。該排序係經由優先權之列表而被示意於加權表中。如此一來,提供了針對一範圍內之已編碼係數的量化之更精細等級的控制。因此,各範圍中之係數的量化係經由以下兩個參數來控制:情境及精化。此外,當範圍被劃分為多數行時,如參考圖5所討論,各行具有對於與該行相關的係數之量化的獨立控制(亦即,其駐存在個別行中之各子頻帶中的係數群組之子集)。 假定將係數群集為四之集合(以及各種框寬度之可能性),則某些係數群組(例如,任何子頻帶中之最右邊者)有可能包括少於四個係數。此等係數群組可被填補以額外值來達到所需的群組大小,犧牲了某些位元率。替代地,群組大小可於此等情況下改變。改變群組大小需要額外的複雜度,因為處理之最小單元不再總是4位元。例如,桶移位器邏輯可能是需要的。如此一來,將範圍大小侷限於僅使用四之係數群組(其中為可能的)是有利的。此一侷限須被加諸於所有子頻帶以達成複雜度減少,而因此最深階的小波分解係設定了最嚴謹的侷限。該侷限是將範圍大小限制於特定值的形式。例如,利用四之群組及五階的水平分解,則該侷限是其範圍寬度需為4×25 =128樣本的倍數。此侷限係參考圖5而被進一步討論。 圖5為概略方塊圖,其顯示將一框500劃分為數行,其可被稱為「行配置」。當一行被使用時,則範圍係涵蓋該框之整個寬度。當多數行存在時,則複數範圍被水平地配置於一列中(超過範圍之常見的垂直配置)。四行(標示為「第0行」至「第3行」)被顯示於圖5中。框500具有「8K」解析度(7680×4320像素)。以既定的框率,框500之「8K」解析度係等於相較於4K解析度(3840×2160像素)之像素率的四倍。一種用於編碼之磚片為基的方式是可能的,具有四個「4K」磚片於使用時。然而,磚片為基的方式需要框高度之至少一半的顯著緩衝,其違反夾層編碼解碼器之低潛時操作需求。為了維持低潛時操作,最好是操作於「行」模式。例如,1920×4320像素之四磚片大小的配置是可能的。框500亦被劃分為數個片段(標示為「第0片段」至「第4片段」的五個片段被顯示於圖5中)。介於片段之間的邊界被顯示以虛線(例如,514)。片段邊界係涵蓋該框之寬度,特別地,片段邊界係涵蓋所有行而既定片段邊界係發生在橫跨所有行之相同的垂直位置上。 參考圖5之上述行配置係容許低潛時操作。行配置(及一列範圍之因而存在)可使用夾層編碼解碼器之四個實例而被實現。一種考量是其四個實例之同步化須被提供。此外,四個所得的位元流需從視訊編碼器114之各實例被同步地傳送至視訊解碼器134之各實例。四個位元流可被分時多工(TDM)至單一通訊頻道120上,以某潛時被加入來容納各位元流之緩衝部分以供遞送至及提取自通訊頻道120。無用以同步化四個行之額外負擔,關於外部頻道同步化(亦即,透過SDI鏈結之垂直同步)的時序須被編碼器114及解碼器134兩者所事先得知。TDM方式允許現存的編碼器及解碼器模組之再使用,其各支援較低的視訊格式(無修改)以支援較高的視訊格式。TDM方式僅需要必要的環繞邏輯以履行分時多工於未壓縮的及壓縮的領域中並以增加的潛時為代價(例如,在編碼器及解碼器上加入一條線)來支援分時多工及解多工。此外,TDM方式可導致邊界的引入於相鄰行之間的介面上。於各編碼器及解碼器實例內,樣本延伸程序被應用以提供針對位於目前行之外的樣本之小波過濾器支援,即使當該些樣本之位置落入相鄰行中時。樣本延伸程序冒著在行邊界上引入視覺加工的風險。 一種用以避免行邊界上之視覺加工的風險之減輕方法是橫跨該框之整個寬度履行小波變換,但針對其他階段(諸如熵編碼)使用行為基的方式。橫跨該框之整個寬度履行小波變換但針對其他處理階段(亦即,量化及熵編碼)使用行為基的方式是有可能的,因為小波變換內之依存性被空間上限制於依據分解階層而卷積的過濾器支援。因為沒有涵蓋該框之依序依存性,所以有可能並行地實施小波變換,於分段中。接著,於壓縮領域中之已編碼傳輸(其導致可變長度的分段)可被考量。如上所述,依據先驗時序之分時多工壓縮位元流係導致額外的潛時,以考慮到可變長度壓縮行透過並行固定位元率頻道來運送。於一配置中,一種致能範圍被編碼為行之位元流語法可被建構。將依序熵編碼路徑從整個框寬度分裂至較小的行區(其集體地涵蓋該框)係致能視訊編碼器與解碼器之這些關鍵部分的平行性。因為各行係藉由具有有限的最差情況剖析通量能力之熵編碼模組來處理,所以各者係操作以恆定位元率。該行之恆定位元率被設為整體壓縮位元率,其係正比於行寬度相對於框寬度之比而被縮放。為了獲得各行之位元率的獨立控制,分離的情境及精化值被示意給範圍標頭中之各行。接著,各熵編碼器及解碼器之最差情況編碼及剖析能力被侷限於該行之位元率(而非整個框之位元率),如其中僅一熵編碼器及熵解碼器使用之情況。 在最深階的水平分解(亦即,第五階),各係數係符合水平地32像素(考量小波過濾器之低通部分的最大數值係數)。接著,隨著係數被群集成四之集合,128像素寬的區係符合一係數群組,在第五及最高分解階。為了減少其可能發生(在任何分解階)於框右邊界上之部分佔據的係數群組之實例,行邊界被限制至128像素之倍數,相對於左框邊界。 圖6為概略方塊圖,其顯示碼流語法600,用以表示具有用於增加的剖析通量之多行已編碼資料的壓縮視訊資料之框。各壓縮框被稱為「碼流」且序連碼流之序列形成位元流。各碼流包括圖片標頭6110,其係定義包括以下之圖片階參數:圖片大小、位元深度、編碼工具組態(水平地及垂直地小波變換深度、小波內核)。特別地,圖片標頭6110係定義數個行、及行邊界(以供用於該框)。已指明行之數目後,針對除了最左邊行之外的行之行水平位置的列表被編碼於圖片標頭6110中(其係隱含地對準至該框之左邊)。此列表中之行左邊位置可被指明以亮度樣本之單位,其提供最大等級的彈性於一框內之行定位中。於一配置中,各行左邊位置被指明以MSB位置群組大小(亦即,4)乘以二的水平小波分解深度次方(亦即,通常為5)之單位。圖片標頭600中所指明之預設組態因此導致128亮度樣本之單位。此等配置確保其針對最右邊行之外的所有行,這些行之係數群組中的各係數係相應於從小波變換階段所獲得之係數。填補或截斷僅針對最右邊行可能是必要的,由於其並未對準至係數群組大小之框大小,於高達最深階的水平分解。於又另一配置中,行左邊位置未被明確地編碼於列表中而是被推斷。當行寬度被推斷時,該框之寬度被除以行之數目,獲得約略寬度。從此約略行寬度,導出約略行邊界。接著,各約略行邊界被捨入至行寬度粒度(通常為128亮度樣本)以獲得最終行邊界。 一些範例被顯示於下: 1920劃分為三行:1920/3=640行寬度。因為640/128= 5,所以行寬度針對所有三行剛好為640像素而水平補償為0、640、及1280。 2048劃分為三行:2048/3=682.67行寬度。注意:682.67/128=5.33,行寬度係如下: 第0行:補償0,寬度=640像素。(5.33向下捨入至5,接著乘以128)。 第1行:補償640,寬度=1408-640=768像素(2×5.33得10.66,接著向上捨入至11並乘以128以求出絕對行邊界邊緣。接著,從第0行最右邊緣減去該補償以求出第1行寬度)。 第1行:補償=1408,寬度=640像素(設為消耗框寬度之剩餘者)。 注意:針對HD 2K、UHD 4K、及UHD 8K(1920、3840、7680寬度,個別地),行為128像素之倍數,當行之數目很小時(例如,從二至五)。 這些推斷的(或「隱含的」)邊界具有數個有利的性質:首先,限制行邊界開始位置去除了最右邊行之外的行中之任何部分使用的係數群組。此去除可簡化與這些行相關的邏輯,因為各係數群組無須處置既定係數群組之4個可用係數的1、2或3個有效係數的情況。然而,此邏輯對於最右邊行是需要的,因為框寬度(及因此最右邊行寬度)未另被限制。針對常見格式,諸如1080p HD(1920×1080解析度)及2160p UHD(3840×2160解析度),128亮度樣本之行寬度的預設粒度不會導致任何部分佔據的係數群組之引入。因此,針對侷限於使用此等格式之實施方式,最右邊行中之此邏輯亦非必要的,即使圖片標頭確實允許其有別於那些上述常用格式中所指明者的框寬度之示意。 其次,無明確的行位置被示意於圖片標頭中。因為行之數目可能改變,假如各行之補償將被示意的話,此將導致示意補償之可變長度列表。為了實施方式之簡便,最好是圖片標頭具有固定長度。特別地,最好是圖片標頭之長度可被得知而無須剖析圖片標頭之內容,以利減少的複雜度。假如可變大小的列表被包括於圖片標頭中,取代固定長度,則此一剖析步驟將是需要的。維持固定長度的圖片標頭係提供了某些優點以供剖析碼流,例如,藉由容許圖片標頭之辨識並移動至碼流之下個區段而無須剖析該圖片標頭之內容來找出該圖片標頭之長度。此外,隱含邊界被定義為實質上等化橫跨該框之行寬度。此等化係減少各行之熵編碼及解碼階段的最差情況通量需求。 於系統100之一配置中,四個行之最小行限制被加諸在當使用UHD 8K格式時。因此,各行之壓縮資料的通量不會超過當使用UHD 4K格式時之壓縮資料的通量(具有其他因素,諸如色度格式及框率保持不變)。此外,針對UHD 4K之設計的部分(亦即,實施熵編碼器及解碼器之硬體設計)可被再使用於UHD 8K支援。針對UHD 4K情況之此等硬體設計通常已完全利用目標科技之能力(例如,Xilinx Artix FPGA,針對時序要求),而因此無法被縮放至較高格式而不使用實質上更有能力的目標科技(其可能不存在或者可能不經濟)。 加權表6114係指明各子頻帶之增益及優先權。該增益係指明其被應用至可用子頻帶中之所有係數的增益。該增益被應用至所有範圍中以及該框之所有行中的可用子頻帶。該優先權被用以設定子頻帶之順序以供精化位元平面之插入,如參考圖4所討論者。如同該些增益,優先權之列表被示意在幾乎每框一次且被應用至該框中之所有行中的所有範圍。 該框之剩餘者被儲存以壓縮形式而成為片段之序列,諸如片段6114、6118。片段係保有範圍之集合,其被群集如參考圖5所示。片段形成一種用於平行性之工具,其提供用於一框內之不同片段的編碼及解碼的等級獨立性。相鄰範圍之序列(各涵蓋框寬度)被群集為片段。如此一來,片段係水平地劃分該框。針對平行處理,獨立的處理元件可並行地處理不同片段。此並行處理係隱含其涵蓋橫跨片段之緩衝的等級,而因此導致超過端至端潛時之所需32線的潛時。框之行配置亦能夠獲得平行性,包括針對軟體實施方式,而不引入額外的潛時。特別地,操作於各行上之獨立的處理元件能夠平行地操作一列範圍內之不同範圍的編碼或解碼。獨立的處理元件須被適當地計時以致其處理該列範圍中之各範圍的完成是同時的,其允許獨立的處理元件以同步化的方式前進至下一列的範圍。此同步化處理之結果是:當行配置被使用(相較於涵蓋框寬度之單一範圍的使用)時不會招致額外的潛時。 片段(例如,6118)包括片段標頭6140、一或更多範圍(例如,6142、602、6146、6148)及片段註腳6150。 壓縮範圍602包括一或更多範圍標頭,諸如範圍標頭604、第0線子封包群組606、第1線子封包群組608、及(選擇性地)填補資料610。第0線子封包群組606及第1線子封包群組608係定義子封包之群集而因此加諸排序限制於已編碼位元流114中之子封包。然而,子封包群組606及608並未包括任何額外的負擔(例如,標頭語法)。 於框500中需要每行一範圍標頭。範圍標頭604是四個範圍標頭之序列中的第一個並包括示意有關其所屬之行(亦即,最左邊的行),以截斷位準示意可用的行,經由情境及精化語法元件。當一行正使用中時,則範圍標頭之一序列係指示該框中之範圍的向下掃描進程。當多數行正使用中時,此進程順序被延伸於各列範圍內之水平左至右方向,針對位於該框中之既定垂直位置上的行。如此一來,於該框中之既定垂直位置上,範圍標頭被進一步限制於該些行之左至右排序,以一範圍標頭存在於各行。固定大小的範圍標頭之使用(以每行一實例)係避免了當遍歷該位元流時應剖析各範圍標頭之內容的需求。如此避免了應將任何明確示意引入該範圍標頭以識別介於各範圍標頭與各行間之關聯的需求。圖6顯示四個範圍標頭(例如,604),其係相鄰於且位於與該些範圍相關的進一步資料前。各行之範圍中的子頻帶被群集為「線」,具有通常得自二之範圍高度的兩條線,亦即「第0線」及「第1線」。此群集係致能藉由僅解碼「第0線」中所儲存之資料來提取低解析度變體。此群集涵蓋整個框寬度,且與各線內之行相關的範圍標頭被儲存在該線資料之前以協助剖析該線資料。 線資料包括第0線子封包群組606(其包括針對「LL4」、「HL4」、「HL3」、「HL2」、「HL1」、及「HL0」子頻帶之係數資料)及第1線子封包群組608(其包括針對「LH0」、及「HH0」子頻帶之係數資料),如參考圖3所述。 子頻帶群組606及608之各者被進一步劃分為一或更多子封包,依據該框之行配置。例如,使用四行時,子封包群組606被劃分為子封包620、622、624、及626,相應於最左至最右行(亦即,502至508)。針對高通量實施方式,子封包被平行地處理於視訊處理系統100中。如此一來,需要示意以致能已編碼位元流113中之各子封包的開始點之定位而無須該些子封包之內容的依序剖析。已編碼位元流113中之各子封包的開始點可使用範圍標頭中之子封包開始補償表而被定位,其係相對於範圍標頭之位置以編碼該範圍中之各子封包的開始補償。替代地,各子封包群組可包括子封包開始補償表,其係相對於所含有的子封包群組之位置以編碼該子封包群組中之各子封包的開始補償。最後,各子封包可包括子封包標頭(例如,640),其係編碼該子封包之長度,允許遍歷涵蓋該些子封包。 各子封包(例如,620)包括MSB位置區塊642、資料區塊644、及符號區塊646。MSB位置區塊642包括MSB位置區塊長度660、初始MSB位置值662、及運行MSB位置值664。MSB位置區塊長度660係以4位元之單位編碼MSB位置區塊642之長度。初始MSB位置值662係針對不具有預測符之係數群組編碼MSB位置值。例如,當使用水平MSB位置預測時,在行之最左邊係數群組的左邊並沒有係數群組。因此,最左邊係數群組不具有預測符且相關的MSB位置值係使用4位元而被編碼於初始MSB位置值662中,以取代使用差量(符號位元及一元)編碼。接著,針對該子封包中之餘留係數群組的MSB位置值係使用差量值而被編碼。將該子頻帶劃分為多數行(各行具有一子封包群組內所含之相關子頻帶)係隱含潛在地多數初始值之存在(每子頻帶之每行有一個,針對水平預測情況)。將該子頻帶劃分為多數行(各行具有一子封包群組內所含之相關子頻帶)係協助各子封包群組內之子頻帶的平行剖析。接著,資料區塊644係編碼係數群組(例如,412)之位元平面。最後,針對各重要係數,一符號位元被編碼於符號區塊646中。符號區塊646係以4位元對準終止。資料區塊644及符號區塊646亦包括長度欄位,在位於個別區塊之開始處的固定大小標頭中。這些長度(除了MSB位置區塊長度660之外)可被使用以定位該子封包群組(例如,606)中之子封包,而無須履行其中所含之任何熵編碼資料的解碼。特別地,該包含子封包之部分(例如,資料區塊、符號區塊、及MSB位置區塊)各包括一含有長度欄位之標頭。這些長度欄位之存在係致能使用指針迂迴及/或補償操作而遍歷通過各線中之子封包的集合。因為壓縮範圍被緩衝在藉由視訊解碼器134之解碼前(以及在藉由視訊編碼器114之傳輸前),所以此遍歷有可能的而不會冒著參考其尚未(或不再)可得之資料的風險。此性質被已知為用以「遍歷」子封包群組中之子封包的能力。用以遍歷子封包之能力係致能各子封包被識別為其供應至視訊解碼器134中之熵解碼器的分離實例之內容,針對行操作。於視訊編碼器114中,分離的流可使用不同的熵編碼器而被產生,且被組合成單一位元流以運送至通訊頻道120。 針對MSB位置垂直預測,該些預測符可不跨越片段邊界,其係協助平行處理(雖然以較高的潛時)。 圖7為概略方塊圖,其顯示視訊編碼器114之功能性模組。視訊編碼器114可使用通用電腦系統200(如圖2A及2B中所示)而被實施,其中視訊編碼器114之各個功能性模組可藉由電腦系統200內之專屬硬體而被實施。替代地,編碼器114之各個功能性模組可藉由電腦系統200內可執行之軟體而被實施,諸如駐存在硬碟驅動205上之軟體應用程式233的一或更多軟體碼模組,且係藉由處理器205來控制其執行。於另一替代方式中,編碼器114之各個功能性模組可藉由專屬硬體與電腦系統200內可執行之軟體的組合而被實施。視訊編碼器114及所述方法可替代地被實施於專屬硬體中,諸如其履行所述方法之功能或子功能的一或更多積體電路。此專屬硬體可包括圖形處理器、數位信號處理器、特定應用積體電路(ASIC)、場可編程閘極陣列(FPGA)或者一或更多微處理器及相關記憶體。特別地,視訊編碼器114包含模組710-730,其可各被實施為軟體應用程式233之一或更多軟體碼模組、或者FPGA「位元流檔」,其係組態FPGA中之內部邏輯區塊以實現視訊編碼器114。視訊編碼器114提供針對速率配置功能性之減少的複雜度,藉由大致估算候選截斷位準之評估的成本,以致其最差情況估計在評估期間被使用於各候選者。接著,為了編碼,實際編碼成本被導出一次,僅於其被應用於編碼之選定的截斷位準。 雖然圖7之視訊編碼器114為低潛時視訊編碼器之範例,但其他視訊編碼解碼器亦可被使用以履行文中所述之處理級。視訊編碼器114係接收視訊資料113,諸如來自視訊來源112之一連串的框,各框包括一或更多顏色頻道。 變換模組710係從視訊來源112接收未壓縮視訊資料113並使用一組分析過濾器庫以履行階層小波前向(或「分析」)變換。通常,5/3 Le Gall小波被使用,雖然其他小波亦為可能的,諸如Haar小波或Cohen-Daubechies-Feauveau 9/7小波。變換模組710係產生小波係數712。小波係數712係依據小波分解結構而被群集為子頻帶,如參考圖3A及3B所述者。由於超低潛時之需求,分解之階數在垂直上被高度地限制,通常至不超過二階。分解之階數在水平上是相對不受限的,例如,使用五階。考量一階垂直分解之情況,於各子頻帶內為一組係數,其被配置為高度上之一係數及寬度上之n係數的陣列。係數之配置為高度上之一係數及寬度上之n係數的陣列可被視為列表,且相反於編碼解碼器中之典型使用(諸如JPEG2000),其中各子頻帶中之係數通常為方形陣列。各子頻帶內之係數的列表可接著被掃描。然而,首先群集操作被應用,其中各子頻帶被劃分為一組相等大小群組的係數以供熵編碼之目的。雖然各種群組大小可被使用,且群組大小無須橫跨所有子頻帶均為一致的,但針對所有子頻帶之四的固定群組大小係提供編碼器114之良好性能(於多種測試資料之下)。因此,變換模組710產生群集係數712。 其次,各子頻帶中之群集係數被進一步劃分為行。行邊界被對準以致其在五之最深小波分解深度上的係數群組被完全地含入於一行內(亦即,25 ×4=128像素粒度)。如此一來,各係數群組被完全地含入於一行內。 群集係數712被傳遞至最大編碼的線指標(MSB位置)提取器模組714。群集係數712將被編碼為一連串位元平面(或「線」),藉此該群組內之各係數的位元「n」被編碼為四個位元的單元。首先,含有一係數群組內之任何係數的非零位元之高位元平面的位元平面指標被判定。位元平面指標被稱為MSB位置。集體地(亦即,橫跨所有係數群組及子頻帶),該些指標係形成MSB位置716。MSB位置716被傳遞至速率控制模組720。亦顯示於圖7中者為群集係數712,其可選擇性地被遞送至速率控制模組720,如參考圖8所進一步描述者。速率控制模組720係判定(除了別的以外)MSB位置預測模式719及速率控制參數722,各以每行為基來判定。MSB位置716及MSB位置預測模式719被遞送至MSB位置預測模組715,其中MSB位置預測模式719被應用至涵蓋該範圍中之所有子頻帶的MSB位置,具有每行一分離的預測模式。可用的預測模式包括水平、垂直及原始(無預測)。由於MSB位置預測,MSB位置差量值717被產生,其致能稍後係數群組之MSB位置被預測自較早係數群組之MSB位置。不具有預測符之係數群組(例如,用於水平預測之行中的最左邊係數群組)被編碼為「原始」(亦即,使用4位元碼字)。MSB位置預測模式719被編碼於範圍標頭604中之已編碼位元流115中,而MSB位置差量值717被遞送至熵編碼器模組718以供編碼為個別行之MSB位置區塊642中的已編碼位元流115。MSB位置預測模組715亦產生MSB位置編碼成本727,其係指示編碼MSB位置差量值717之位元成本。子頻帶內之係數群組的上述表示為一組位元平面係參考圖4而被進一步描述於下。 針對一範圍之位元預算可被劃分於該範圍的行之間,以各行具有獨立的量化控制,經由速率參數722內之分離的速率參數(例如,情境及精化)。針對一範圍中之各行,速率控制模組720係使用所考量行之位元預算以判定情境及精化。 量化器模組724係使用速率控制參數722(亦即,針對該子頻帶之情境及精化)以將來自各子頻帶之各係數群組的小波係數量化。針對一子頻帶中之係數的截斷位準係由該情境及精化所設定,且亦可被稱為「最大截斷線指標」(GTLI)。在依據最後GTLI以截斷係數前,捨入補償被應用以協助視訊解碼器134中之重建。通常,均勻捨入提供良好的性能於低複雜度。如此一來,捨入補償被定義以致其捨入被偏移朝著向下方向(數值之減少),其防止增加係數之群組的MSB位置之可能性。所述的MSB位置被判定在量化之前,且因此無法依據其發生於選定截斷位準之任何捨入而被更改。最後,已截斷的係數群組726被輸出至位元平面群集器模組730。 位元平面群集器模組730組合4位元字元以致其在係數群組內之四個係數的各者之位置n上的一位元被群集在一起。針對各係數群組,值n從該係數群組之MSB位置向下至可用GTLI,導致4位元字元之序列。所得的4位元字元被遞送至封裝器模組728以寫(或「封裝」)入已編碼位元流115。 熵編碼器模組718係編碼MSB位置差量717及MSB位置預測模式719。所得的可變長度碼729被遞送至封裝器模組728以封裝入已編碼位元流115。針對多行操作,熵編碼器模組718可被複製,以高達每行一實例存在。如此一來,熵編碼器模組718之單獨實例中的依序剖析需求被限制於行位元率。此外,熵編碼器模組718之各實例係產生可變長度碼729之獨立序列,其被緩衝在依序傳遞至封裝器模組115之前,其產生單一位元流給該些範圍之所有行。可變長度碼729之各輪係以4位元對準操作來終止。用以預測MSB位置值之數種模式為可用的,以選定的模式被應用至涵蓋該範圍內之所有子頻帶的所有係數群組。MSB位置預測模式之範例包括水平預測(其中預測器是在子頻帶內之左邊相鄰係數群組)及垂直預測(其中預測器是上方相鄰係數群組,亦即,在來自上述範圍之相應子頻帶中的係數群組)。 「原始」模式亦為可用的,其中針對各係數之MSB位置值被編碼,而不使用預測器。針對不具有預測符之係數群組(諸如當使用水平預測時之一行中的最左邊係數群組),不具有預測符之該係數群組亦為原始編碼的。因為係數群組之數目可從選定的小波分解及範圍維度得知,所以MSB位置716係使用MSB位置差量之一連串一元編碼數值(且包括MSB位置差量之符號的額外位元)而被編碼。所得組的編碼MSB位置差量717係使用各值之一元碼及符號位元而被寫入至已編碼位元流115。 封裝器模組728係封裝資料,包括將從各係數群組被編碼為已編碼位元流115之位元平面。針對各係數群組,從指示的MSB位置向下至經修改的GTLI之位元平面被封裝入已編碼位元流115。針對其中經修改的GTLI已從速率控制參數722被增加超過如由該情境所指示的GTLI之情況,導致了針對係數位元平面資料之減少的編碼成本。速率控制模組720已將減少的編碼成本列入考量,並可能已選擇了用於精化之額外子頻帶、或者選擇了較高的情境,由於位元率節省。同時,封裝器模組728係封裝符號位元,具有每重要係數被封裝入符號區塊646之一位元,具有各範圍之每子封包的一此區塊。符號位元係以如係數資料所被封裝之相同順序被封裝(亦即,針對子封包群組中所含之子頻帶)。最後,在寫入符號位元後,對準至4位元邊界被履行,其係匹配封裝器模組728之操作的粒度。隨著各子封包被寫入,封裝器模組728係維持組成資料區塊之各者的長度之計數,導致編碼成本734之產生。編碼成本734被傳遞至速率控制模組720。編碼成本734亦可被判定在封裝操作之前。例如,熵編碼器718可判定其對於最後編碼成本734之MSB位置編碼成本貢獻。 位元平面群集器730可判定其對於最後編碼成本734之係數資料位元成本貢獻。等化器724可判定各係數之重要性,而因此判定對於最後編碼成本734之符號區塊成本貢獻。此早期導出係減少了對於編碼成本734之判定的時序限制,其可另導致針對欲前進至下個範圍之速率控制模組720所需的輸入中之延遲。最後,各行具有分離的編碼成本734值。 所得的已編碼位元流115係經由傳輸器116、通訊頻道120、及接收器132而被遞送至視訊解碼器134以成為已接收位元流133。所得的已編碼位元流115亦可被儲存於非暫態儲存122中,其可存在除了(或取代、或成為其部分)通訊頻道120之外。 圖8為概略方塊圖,其顯示圖7之視訊編碼器114的速率控制模組720。速率控制模組720係藉由以下方式而被實現以減少的複雜度:使用編碼成本之近似以供選擇各行之速率控制參數,亦即,情境及精化。範圍預算器803係接收先前範圍之編碼成本734以判定目前範圍之容許預算。根據組態的恆定位元率,每範圍預算被建立。然而,將各範圍限制於消耗不多於每範圍預算是過度限制的,其導致不良的視覺品質。另一方面,低潛時操作需求加諸了限制於每範圍預算之不足使用或過度使用的可容許程度。針對各框,維持了於編碼該框時到目前為止所消耗的位元之累積計數,連同針對直到目前範圍之範圍的累積目標位元消耗。從此處,導出了目前範圍之預算。已消耗位元之累積計數係使用編碼成本734而被更新,相反於從速率控制模組720內所導出的成本,藉由數個可用GTLI評估模組804之一。如此一來,GTLI評估模組804得以產生所得編碼成本734之近似,如當選定的速率參數被應用於編碼該範圍時所判定者。 GTLI評估模組804係評估複數速率控制參數,針對各組已評估參數產生候選成本估計。例如,各情境可被評估。各GTLI評估模組係產生估計候選成本(例如,809)。在複數所得的估計候選成本中,與其超過範圍預算之成本相關的所有情境被排除自進一步考量。接著,與最高餘留估計候選成本相關的情境被選擇。接著,複數精化被測試,具有除了選定情境之估計候選成本以外的附加成本。再次地,其將導致超過範圍預算之總估計成本的精化值被排除自進一步考量。在餘留的精化值中,與最高估計成本相關的精化值被選擇(亦即,子頻帶之最大數目使其截斷位準降低一但,相應於額外編碼精化位元)。因此,針對該範圍之速率控制參數722(亦即,情境及精化)被判定。為了產生有效位元流,從選定情境及精化之應用所得的編碼成本734不超過範圍預算。因此,估計候選成本為「最差情況」估計(亦即,編碼成本734係少於或等於估計成本)。 於判定速率控制參數722時使用估計候選成本(例如,809)係致能了速率控制模組720被實現以減少的複雜度,相較於判定所涉及的實際成本。特別地,GTLI評估模組804係以複數情境及精化來判定係數編碼成本。數編碼成本包括MSB位置編碼成本、係數資料成本及符號成本。MSB位置編碼成本可為將MSB位置截斷至該子頻帶之截斷位準的截斷後之成本。特別地,未截斷的MSB位置可包括低於該截斷位準之值。因為並無資料將針對此等係數群組而被編碼,所以無須示意其MSB位置係落下低於該截斷位準至何程度。接著,MSB位置本身可被截斷至該截斷位準,通常係導致並無係數資料位元被編碼之連續係數群組。MSB位置716被輸入至速率控制模組720,且針對各候選GTLI,截斷操作被應用以產生已截斷MSB位置823。隨著截斷位準被升高,更大比例的係數群組不具有待編碼之係數位元平面,而因此連續未編碼係數變為在更高的截斷位準更為普遍。 接著,MSB位置預測模組826針對已截斷MSB位置823選擇MSB位置預測模式827,其為導致最小化的MSB位置編碼成本之MSB位置預測模式。MSB位置編碼成本被遞送至加總模組829。因此,MSB位置之編碼成本係在截斷至其得自情境及精化之截斷位準後被判定。使用已截斷MSB位置823,資料成本模組828係產生係數位元平面之資料成本,其亦被遞送至加總模組829。接著,符號成本模組830係以每編碼係數一符號位元來引入符號成本(無須測試量化於候選截斷位準),做出其各係數均為重要之隱含假設。此代表符號區塊646之最差情況。如此一來,所得的估計候選成本809為編碼成本734之最差情況估計。 為了判定候選截斷位準之各者的編碼成本(例如,734),量化器模組824將是各候選截斷位準所需要的。各量化器模組824將履行如量化器724之相同操作。然而,用以測試各候選截斷位準之模組824與量化器724的功能之重複對於視訊編碼器114加諸了極大的複雜度增加。由於從GTLI評估模組804省略等化器824而減少了複雜度,其後果是情境及精化係根據所得成本之近似(其係少於或等於編碼成本)來決定。從GTLI評估模組804省略等化器824將導致位元之不當的不足消耗,以及所造成的品質退化。然而,範圍預算器803係從封裝器728接收編碼成本734,取代使用來自與選定之情境及精化相關的GTLI評估模組804之成本。接著,目前範圍之未使用位元平面被傳遞至下個範圍,藉由加入編碼成本734至已消耗的位元計數,取代來自GTI評估模組804之相關候選成本809。因此,下個範圍得以選擇較低的截斷位準(與其他情況相較之下)。從估計候選成本809之各者省略已編碼語法元件之某部分的成本應導致對於由速率控制模組720所做出之決定的某些改變。 如上所述,範圍預算器803之速率傳遞行為係導致遍及有關未使用位元之各框整體的少量影響。實驗顯示其所述的方案係導致對於PSNR之極有限的影響,於針對多種受測影像之0.01dB內(以涵蓋3-14 BPP之位元率)。對於PSNR之有限的影響係由於該速率傳遞係導致對於其被配置以編碼小波係數之可用位元幾乎無整體減少。符號位元(當考量附近截斷位準時)係提供對於已消耗位元之相當不變的貢獻。於低截斷位準,許多重要係數存在而因此編碼成本734係接近於估計候選成本(其中各係數被假設為重要的)。於較高的截斷位準,少數重要係數存在而因此於此等位準之估計候選成本係低於編碼成本,以高達每係數一位元。介於相鄰的截斷位準之間,重要係數之數目的改變通常不大。結合速率傳遞行為,速率控制模組720得以做出與其中於GTLI評估模組804之各者中評估出正確成本的情況類似之決定。 圖9為概圖900,其顯示根據圖7之視訊編碼器114中的成本估計之速率傳遞。圖9進一步闡明其參考圖8所討論的行為。圖9顯示一框中之兩個空間上相鄰的範圍,範圍n及範圍n+1。範圍n被配置預算910。速率控制模組720選擇情境及精化,其導致如由圖9中之CostEstimate()所示的速率之消耗。截斷位準之任何進一步降低以及任何額外位元平面之後續編碼係導致超過預算910。當視訊編碼器114依據選定的情境及精化以編碼該範圍時,Cost()位元被寫入至已編碼位元流115。接著,於範圍預算器803中,範圍n+1之預算912係藉由將來自範圍n之未使用速率加至該框之每範圍速率目標而被判定。接著,當編碼範圍n+1時,速率控制模組720得以選擇較低的截斷位準(與其他情況相較之下)。該框之第一範圍可被預期被編碼以稍微減少的品質,相較於該框中之後續範圍,因為該框中之第一範圍並未受惠自來自任何先前範圍之傳遞速率的接收。一種減輕該框中之第一範圍的減少品質之方法是調整每範圍預算以致其該框中之第一範圍被配置比該框中之後續範圍更高的預算。 雖然圖9之範例係描述於一範圍位準之操作,但圖9之範例亦可應用於一範圍之獨立行的各者,使用行配置以利增加的熵編碼通量。 圖10為概略方塊圖,其顯示視訊解碼器134之功能性模組。視訊編碼器134可使用通用電腦系統200(如圖2A及2B中所示)而被實施,其中各個功能性模組可藉由電腦系統200內之專屬硬體而被實施。替代地,解碼器134之各個功能性模組可藉由電腦系統200內可執行之軟體而被實施,諸如駐存在硬碟驅動205上之軟體應用程式233的一或更多軟體碼模組,且係藉由處理器205來控制其執行。於另一替代方式中,解碼器134之各個功能性模組可藉由專屬硬體與電腦系統200內可執行之軟體的組合而被實施。視訊解碼器134及所述方法可替代地被實施於專屬硬體中,諸如其履行所述方法之功能或子功能的一或更多積體電路。此專屬硬體可包括圖形處理器、數位信號處理器、特定應用積體電路(ASIC)、場可編程閘極陣列(FPGA)或者一或更多微處理器及相關記憶體。 解封裝器1022接收該已接收位元流133。首先,框標頭被解碼,其示意包括框維度及已編碼範圍大小之項目。從框維度及已編碼範圍大小,該些範圍被接著解碼。針對各範圍,情境及精化(如由速率控制模組720所判定者)被解碼自已接收位元流133。從所判定的情境及精化,該範圍之餘留的已編碼結構可被判定。 熵解碼器模組1010係解碼來自MSB位置區塊(例如,642)之差量MSB位置值1012以及MSB位置預測模式1013,其被遞送至MSB位置重建器模組1014。MSB位置重建器模組1014係依據該範圍之MSB位置預測模式1013(其亦從已接收位元流133所獲得)以重建MSB位置值1016。利用MSB位置值1016,位元平面去群集器1018係操作以將該範圍中之子頻帶的係數群組之位元平面提取為已量化係數1024,藉由消耗來自解封裝器1022之連續4位元字元並重組已量化係數1024。 去量化器模組1026係履行反量化於已量化係數1024上,以產生小波係數1028。反量化操作涉及應用適當的重建補償,該重建補償係依據該子頻帶之GTLI來判定,依據來自補償表1020之相應補償而針對該子頻帶中之各係數群組來修改。接著,反變換模組1030將合成小波過濾器庫應用至小波係數1028以產生已解碼視訊135。 圖11為概略流程圖,其顯示一種編碼位元流之方法1100,利用針對用以導出速率控制參數722之已編碼範圍成本的成本估計。方法1100導致已編碼位元流115,其具有針對一範圍之已編碼資料的成本之減少,相較於速率控制模組720中所預期的成本。 如以下所述,方法1100係由視訊編碼器114之功能性模組的一或更多者所履行。如上所述,於一配置中,視訊編碼器114之可被實施為諸如駐存在硬碟驅動205上之軟體應用程式233的一或更多軟體碼模組,且係藉由處理器205來控制其執行。使用藉由履行方法1100之估計編碼成本的視訊編碼器114具有減少的複雜度,相較於針對評估下之各截斷位準的正確編碼成本之計算。 方法1100係開始於判定目前範圍預算步驟1102。在該判定目前範圍預算步驟1102,範圍預算器803(於處理器205之控制下)判定該目前範圍之各行的預算。該預算係藉由以下方式來判定:從先前範圍之相應行取得未使用的速率並加入恆定的每行每範圍預算。針對該框之第一範圍,並沒有可供承襲其速率之先前範圍。接著,速率之恆定量可被配置給第一範圍,除了依據視訊編碼器114之組態的每像素位元數所配置之速率的量以外(有可能從速率控制向前看操作衰減)。因為沒有先前資訊可用以設定此恆定速率超過該速率控制向前看操作,所以應使用預定的恆定量。 例如,對於各種測試影像之實驗結果係指示:平均地,小波係數群組之15%係含有其在截斷至針對相對無雜訊視訊資料為典型的位準後仍保持為重要的係數。接著,針對係數群組之85%(參考圖4所述之「未編碼係數群組」),估計成本係包括其將不會被編碼的符號位元。針對4K UHD框中之範圍,於6 bpp,忽略速率控制向前看視窗,則目標壓縮大小為3840(寬度)×2(範圍高度)×6 bpp= 46080位元。接著,針對其假設每一已編碼係數將為重要的(當預期僅係數群組之15%將被編碼時)預算步驟,且於這些之內,係數之25%將在量化後變為不重要的。接著,預算可被增加以3840×2×3(該範圍中之係數的數目,具有三個顏色頻道)×15%×25%=864位元,針對該第一範圍。此增加係根據速率控制模組720假設其無任何符號位元欠缺,當某些將不會由封裝器模組728所編碼時(例如,440)。接著,該預算可被設為46080+864=46944位元。此位準被設定而預期:針對該範圍之最後消耗的位元量將接近於46080位元,由於其將被量化至零的大量已編碼係數(當編碼於選定的截斷位準時),而因此將不具有相關的符號位元。如於此範例中所見,符號位元成本具有對於預算程序之某一程度的影響。特定的統計資料是高度地影像依存的,因此實際上針對額外速率之上述計算(其相當於涵蓋從BPP值及範圍大小所得之預算的約略1.875%增加)可使用其係反映預期將由視訊編碼器114所遭遇的視訊資料之係數統計資料的假設來判定。 計算針對該第一範圍之速率配置中的確實編碼成本是可能的,但接著無任何速率將可用以傳遞至下個範圍,因此缺乏傳遞速率之問題僅被推遲至下個範圍。 如此一來,針對該第一範圍之某額外速率的提供是較佳的。 此外,計算該第一範圍之完整編碼成本(於針對決定程序之每一截斷位準)係以一種不對稱方式(亦即,僅針對該第一範圍)來增加成本。此一增加被調適以:僅針對該第一範圍之額外硬體、或該第一範圍之較緩慢處理(稍後於該框中引入潛時)。兩種解決方式均不恰當,其抵銷了將另被達成之涵蓋所有範圍的恆定複雜度減少之優點。此一恆定減少對於硬體設計是較佳的,因為此亦減少了硬體需永遠防備的「最差情況」。另一方面,當使用速率控制向前看視窗時,該第一範圍之預算被設為正比於該第一範圍(相較於接下來的n範圍)之估計成本,其中n為範圍中之向前看視窗的大小。每範圍預算為每像素位元乘以一範圍中之像素的數目。每範圍預算被進一步劃分於該範圍中的行之間,依據一範圍內各行所佔據之相對比例。於步驟1102所判定的預算可被儲存於記憶體206中。處理器205中之控制接著傳遞至產生截斷位準步驟1104。 在產生截斷位準步驟1104,速率控制模組720內之候選GTLI模組840(於處理器205之控制下)產生複數候選截斷位準842,其可被儲存於記憶體206中。候選截斷位準可被指明為情境。另一方面,給定了情境,則候選截斷位準可被指明為精化(相對於情境)。每一可能的截斷位準可被產生且評估,其致能最佳截斷位準之選擇而無論輸入視訊資料。可能截斷位準之數目係等於其提供給系統100之小波係數的位元之數目,通常為十六(16)位元,導致十六(16)個可能截斷位準。處理器205中之控制接著傳遞至產生成本估計步驟1106。 在產生成本估計步驟1106,GTLI評估模組804(於處理器205之控制下)產生針對候選截斷位準842之各者的一成本估計,導致一組成本估計(例如,809)。該組成本估計可被儲存於記憶體206中。成本估計被導出自MSB位置及截斷位準候選者。如此一來,無任何符號位元被假設為將針對未編碼係數群組而被編碼。然而,針對已編碼係數群組,每一係數被假設為重要的,無論其截斷位準。因此,其將不被編碼之任何符號位元(例如,440)被包括於所產生的成本估計中。處理器205中之控制接著傳遞至削減過量成本估計步驟1108。 在削減過量成本估計步驟1108,各候選估計成本被比較(於處理器205之控制下)且其超過來自步驟1102之預算的成本被丟棄。步驟1108係針對該範圍中之各行而被獨立地履行。處理器205中之控制接著傳遞至選擇餘留成本估計步驟1110。 在選擇餘留成本估計步驟1110,在步驟1108後所餘留之該些成本估計的最高成本估計被選擇,於處理器205之執行下。由於先前步驟1108,在步驟1110所選擇的成本估計是於該預算之下而因此可用於編碼而同時遵循緩衝器限制。由於是最高成本(最低截斷點),於視訊解碼器114所見之品質是針對各行所最大化的。接著,與選定成本估計相關的情境及精化被選擇以用於編碼該範圍。處理器205中之控制接著傳遞至編碼範圍標頭步驟1112。 當使用多數行時,步驟1102至1110被獨立地履行於各行。注意:在步驟1102判定目前範圍時,各行之預算係藉由將整體預算以正比於行寬度比框寬度之分數來配置給該範圍。如此一來,來自範圍之先前列的預算傳遞可用於範圍之目前列中的所有行。 在編碼範圍標頭步驟1112,範圍標頭(例如,604)被儲存於已編碼位元流115中,於處理器205之執行下。當視訊編碼器114被組態成使用多數行時,分離的範圍標頭係針對各行而被儲存。各範圍標頭包括個別行之量化參數。處理器205中之控制接著傳遞至編碼範圍資料步驟1113。 在編碼範圍資料步驟1113,該範圍之各行的係數資料係使用量化器724、位元平面群集器730、熵編碼器718、及封裝器728來編碼,如參考圖7所述。於平行實施方式中,模組724、730、718、及728之分離實例可被使用。結果,編碼成本734係針對該範圍之各行而被產生。編碼成本734僅包括其被編碼於選定截斷位準之符號位元的成本。結果,符號位元440被省略自編碼成本734。另一方面,編碼成本734可被視為指示將各範圍內之所有行編碼的總和。編碼成本734被傳遞回至速率控制模組720,於處理器205之執行下。處理器205中之控制接著傳遞至填補位元流步驟1114。 在填補位元流步驟1114,已編碼位元流113被填補以額外過濾器資料,以避免其用來將資料供應至通訊頻道120之漏桶模型的下溢(underflow)。漏桶模型係協助資料之供應至通訊頻道120,以來自資料產生之可變速率的恆定位元率,隨著各範圍之各行被編碼。即使以極低的截斷位準(以及所致的大量係數資料),假如不足的資料仍由封裝器728所產生的話,則存在著緩衝下溢之潛在可能。潛在的緩衝下溢係藉由填補資料之插入而被避免。每範圍發生一填補插入操作,插入以填補資料之零或更多4位元字元。如此一來,橫跨所有行之填補被聚合為每範圍一填補區塊(假如存在的話)。方法1100係不同於多核心方式,其中視訊編碼器134之數個實例係以填磚方式操作於視訊資料之較大框上。於此等多核心方式中,各實例具有分離的填補,潛在地導致可用位元率之較無效率的使用。填補係由範圍長度欄位所示意,以其超過該範圍之編碼長度的長度值指示填補之存在。方法1100接著在步驟1114之後終止。 於方法1100之一配置中,視訊編碼器114之複雜度係藉由減少其由候選GTLI模組840所產生的候選截斷位準之數目(於步驟1104)而被進一步減少。取代產生每一可能的截斷位準,可能截斷位準之子集被產生。為了確保操作,即使有退化輸入資料(諸如白雜訊),某些極高的截斷位準仍是需要的。此等高截斷位準係導致不良的視覺品質且僅存在以確保有保證的恆定位元率操作。其他截斷位準可根據來自先前範圍之截斷位準。例如,涵蓋先前範圍之選定截斷位準以上及以下的截斷位準之有限集合可被測試。於大部分情況下,選定截斷位準將位於當截斷位準之完整集合被評估時的截斷位準之範圍內,所以極少的編碼效率影響係藉由搜尋截斷位準之減少的集合而被觀察到。該配置(其中可能截斷位準之子集被產生)係藉由減少GTLI評估模組804之需求量而減少了視訊編碼器114之複雜度。 圖12為概略流程圖,其顯示一種解碼一具有配置於多數行中之範圍的已接收位元流133之方法1200。如以下所述,方法1200係由視訊解碼器134之功能性模組的一或更多者所履行。如上所述,於一配置中,視訊解碼器134之可被實施為駐存在硬碟驅動205上之軟體應用程式233的一或更多軟體碼模組,且係藉由處理器205來控制其執行。 方法1200係開始於解碼框標頭步驟1202。在解碼框標頭步驟1202,解封裝器1022(於處理器205之控制下)係藉由解封裝框標頭語法元件以將來自已接收位元流133之框標頭語法元件解碼。框標頭語法元件包括指示每範圍之行數的示意。該示意可為明確的或隱含的。 明確示意包括示意行數及行邊界之語法元件,具有以行邊界之粒度示意的精確度,(例如,一百二十八(128)像素,當使用五(5)水平小波分解位準時)。 隱含示意係仰賴對於各熵解碼器1010之處理能力的先驗限制。例如,一行方式針對以每秒60框之UHD 4K的操作是可能。假如框解析度被指示為8K(於相同的框率),則像素率為4K情況之四倍。接著,行之數目被暗示為四,以各行限制為不超過4K情況下所見的位元率。 處理器205中之控制接著從步驟1202傳遞至解碼範圍標頭步驟1204。 在解碼範圍標頭步驟1204,解封裝器1022(於處理器205之控制下)係藉由解封裝範圍標頭以解碼範圍標頭(例如,604)。範圍標頭包括補償表,其係示意該範圍中之各子封包群組內的各子封包之開始位置。補償表致能各子封包之平行剖析開始。當使用多數行時,解碼範圍標頭步驟1204係解碼該列範圍中之各行的分離範圍標頭。處理器205中之控制接著傳遞至解碼行子封包步驟1206。 在解碼行子封包步驟1206,熵解碼器1010之一或更多者(於處理器205之控制下)個別地解碼其與各行相關的MSB位置區塊(例如,642)。針對各行,相應的MSB位置區塊被解碼。在步驟1206所履行的解碼操作係平行地發生,通常係使用硬體資源,由於高需求的通量。解碼操作需要解封裝器1022從與各行相關的子封包並行地提取各MSB位置區塊。除了MSB位置區塊之平行剖析以外,相關的資料區塊及符號區塊亦可被平行地剖析,且量化的係數被平行地去量化以產生已解碼的小波係數(亦即,1028)。處理器205中之控制接著傳遞至小波合成過濾步驟1208。 在小波合成過濾步驟1208,反變換1030(於處理器205之控制下)對已解碼的小波係數履行小波合成過濾操作以產生已解碼的視訊資料135。方法1200接著在步驟1208之後終止。 於系統100之配置中,三個顏色組件被各指派分離的子封包(例如,620、622、624),以各子封包涵蓋該框之整體。如此一來,分離的速率控制參數可針對各顏色頻道而存在,如由針對各顏色組件之位元率應為獨立可控制以及欲達成各顏色組件之恆定位元率操作的需求所造成。一種其中三個顏色組件被各指派分離子封包之配置通常係使用視訊編碼器114中之三個熵編碼器和三個速率控制模組以及視訊解碼器134中之三個熵解碼器。視訊編碼器114中之三個熵編碼器和三個速率控制模組以及視訊解碼器134中之三個熵解碼器具有至少匹配相關顏色組件之恆定位元率的能力。 於方法1100之另一配置中,速率控制模組720係操作以致其在使用已估計的成本之速率控制參數722(亦即,截斷位準及精化)的選擇後,成本計算僅針對最後選擇的速率控制參數而被再次履行。例如,等化器824被用以協助符號成本830,藉由履行量化於各子頻帶之選定截斷位準。因此,獲得用以編碼該範圍之正確的最後成本。因此,沒有來自封裝器模組728之回饋迴路以將編碼成本734供應回至速率控制模組720(於步驟1113)。該配置留存選擇速率控制參數720之性質,於針對各考慮的截斷位準之成本的最差情況估計。回饋迴路之移除適合於某些實施方式,其中從封裝器模組728至速率控制模組720之回饋迴路可能將延遲引入設計。然而移除回饋迴路之成本為用以履行針對一截斷位準之量化步驟的需求(亦即,使用量化器824之一實例),為了在編碼該些量化係數前判定編碼成本734之目的。 [產業可利用性] 所述之配置可應用於電腦及資料處理產業,而特別是針對低潛時(子框)視訊編碼系統之信號(諸如視訊信號)的編碼及解碼之數位信號處理。 以上僅描述本發明之某些實施例,並可進行修飾及/或改變而不背離本發明之範圍及精神,該些實施例為說明性且非限制性的。 於本說明書之背景下,文字「包含」係表示「基本上但非一定僅包括」或「具有」或「包括」、以及非「僅由...所組成」。文字「包含」之變化(諸如「包含」及「包含」)係具有相應地變化的意義。
100:系統 110:來源裝置 112:視訊來源 113:未壓縮視訊資料 114:視訊編碼器 115:壓縮視訊資料 116:傳輸器 120:通訊頻道 122:儲存裝置 130:目的地裝置 132:接收器 133:已接收視訊資料 134:視訊解碼器 135:已解碼框資料 136:顯示裝置 200:電腦系統 201:電腦模組 202:鍵盤 203:滑鼠指針裝置 204:互連匯流排 205:處理器單元 206:記憶體單元 207:音訊-視訊介面 208:介面 209:儲存裝置 210:硬碟驅動(HDD) 211:局部網路介面 212:光碟驅動 213:I/O介面 214:顯示裝置 215:印表機 216:外部調變器-解調器(數據機)收發器裝置 217:揚聲器 218:連接 219:連接 220:通訊網路 221:連接 222:局部區域通訊網路 223:連接 224:連接 225:光學可讀取碟儲存媒體(例如,CD-ROM) 226:掃描器 227:相機 228,229,230,235,236,237:記憶體位置 231:指令 232:資料 233:軟體應用程式 234:記憶體 239:控制單元 240:算術邏輯單元(ALU) 241:內部匯流排 242:介面 244-246:儲存暫存器 247:暫存器區段 248:記憶體 249:ROM 250:開機自我測試(POST)程式 251:基本輸入輸出系統軟體(BIOS)模組 252:自舉載入器程式 253:作業系統 254:輸入變數 255,256,257:記憶體位置 258:中間變數 259,260:記憶體位置 261:輸出變數 262,263,264:記憶體位置 266,267:記憶體位置 280:麥克風 300:範圍 350:小波分析過濾器庫 352:樣本 354:第0階垂直過濾器庫 356:第0階水平過濾器庫 358:第0階水平過濾器庫 360:第1階水平過濾器庫 362:第2階水平過濾器庫 364:第3階水平過濾器庫 366:第4階水平過濾器庫 370:所得的子頻帶 400:子頻帶 401:符號位元 402:未量化小波係數 403:位元平面 404,406,408:係數群組 410:零值位元 412:係數資料位元 414:截斷位準 416:候選截斷位準之下的位元平面 420,422:MSB位置的改變 440:符號位元 500:框 502~508:行 514:虛線 600:碼流語法 602:壓縮範圍 604:範圍標頭 606:第0線子封包群組 608:第1線子封包群組 610:填補資料 620,622,624,626:子封包 640:子封包標頭 642:MSB位置區塊 644:資料區塊 646:符號區塊 660:MSB位置區塊長度 662:初始MSB位置值 664:運行MSB位置值 710:變換模組 712:小波係數 714:最大編碼的線指標(MSB位置)提取器模組 715:MSB位置預測模組 716:MSB位置 717:MSB位置差量值 718:熵編碼器模組 719:MSB位置預測模式 720:速率控制模組 722:速率控制參數 724:量化器模組 726:已截斷的係數群組 728:封裝器模組 729:可變長度碼 730:位元平面群集器模組 734:編碼成本 803:範圍預算器 804:GTLI評估模組 809:估計候選成本 823:已截斷MSB位置 824:量化器模組 826:MSB位置預測模組 827:MSB位置預測模式 828:資料成本模組 829:加總模組 830:符號成本模組 840:候選GTLI模組 842:候選截斷位準 900:概圖 910,912:預算 1010:熵解碼器模組 1012:差量MSB位置值 1013:MSB位置預測模式 1014:MSB位置重建器模組 1016:MSB位置值 1022:解封裝器 1024:已量化係數 1026:去量化器模組 1028:小波係數 1030:反變換模組 6110:圖片標頭 6114,6118:片段 6140:片段標頭 6142,6146,6148:範圍 6150:片段註腳
現在將參考以下圖形及附錄來描述本發明之至少一實施例,其中: [圖1]為概略方塊圖,其顯示一種子框潛時視訊編碼及解碼系統; [圖2A和2B]係形成一種通用電腦系統之概略方塊圖,於該系統上可實現圖1之視訊編碼及解碼系統的一者或兩者; [圖3A]為概略方塊圖,其顯示針對一範圍之小波子頻帶分解; [圖3B]為概略方塊圖,其顯示圖3A之小波子頻帶分解的小波分析過濾器庫; [圖4]為概略方塊圖,其顯示用於位元流中之表示的子頻帶係數群集,顯示有數個截斷臨限值; [圖5]為概略方塊圖,其顯示將一框劃分為數行; [圖6]為概略方塊圖,其顯示針對具有數行之一範圍的位元流分解; [圖7]為概略方塊圖,其顯示一種視訊編碼器之功能性模組; [圖8]為概略方塊圖,其顯示圖7之視訊編碼器的速率控制模組; [圖9]為概略圖,其顯示根據圖7之視訊編碼器中的成本估計之速率傳遞; [圖10]為概略方塊圖,其顯示一種視訊解碼器之功能性模組; [圖11]為概略流程圖,其顯示一種利用最差情況範圍成本估計以編碼位元流之方法,該最差情況範圍成本估計係用以設定截斷補償;以及 [圖12]為概略流程圖,其顯示一種解碼位元流之方法。

Claims (22)

  1. 一種解碼具有複數範圍之視訊位元流的方法,該方法包含:解碼包括可指明行的數目之資訊的圖片標頭,以將該視訊位元流的影像劃分為該複數範圍,各範圍為用於量化之單元,其中,該範圍的寬度被判定以為二的水平小波分解深度次方之倍數,解碼用於該範圍的範圍標頭,該範圍標頭包括使用以決定被該行所劃分的該範圍的資料的該視訊位元流中的位置之資訊,以及根據已判定位置和該行的數目來解碼該視訊位元流。
  2. 如請求項1之方法,其中該視訊位元流藉由實施包括過濾操作之反變換而被解碼。
  3. 如請求項2之方法,其中該過濾器操作係相關於小波合成變換。
  4. 如請求項1之方法,更包含:基於該已判定位置,判定包括一組高頻係數及一組低頻係數的該範圍的係數。
  5. 如請求項1之方法,其中,該目前範圍的該資料包括對應至一範圍的子封包。
  6. 一種用以解碼具有複數範圍之視訊位元流之設備,該設備包含:第一解碼單元,用以解碼包括可指明行的數目之資訊的圖片標頭,以將該視訊位元流的影像劃分為該複數範 圍,各範圍為用於量化之單元,其中,該範圍的寬度被判定以為二的水平小波分解深度次方之倍數;第二解碼單元,用以解碼用於範圍的範圍標頭,該範圍標頭包括使用以決定被該行所劃分的該範圍的資料的該視訊位元流中的位置之資訊;以及第三解碼單元,用以根據已判定位置和該行的數目來解碼該視訊位元流。
  7. 如請求項6之設備,其中該視訊位元流藉由實施包括過濾操作之反變換而被解碼。
  8. 如請求項7之設備,其中該過濾器操作係相關於小波合成變換。
  9. 如請求項6之設備,更包含:判定單元,基於該已判定位置,組態以判定包括一組高頻係數及一組低頻係數的該範圍的係數。
  10. 如請求項6之設備,其中,該目前範圍的該資料包括對應至一範圍的子封包。
  11. 一種用以解碼視訊位元流之程式,用以使電腦執行根據請求項第1至5項中任一項的方法。
  12. 一種編碼具有複數範圍之視訊位元流的方法,該方法包含:編碼包括可指明行的數目之資訊的圖片標頭,以將該視訊位元流的影像劃分為該複數範圍,各範圍為用於量化之單元,其中,該範圍的寬度被判定以為二的水平小波分解深度次方之倍數, 編碼用於該範圍的範圍標頭,該範圍標頭包括使用以決定被該行所劃分的該範圍的資料的該視訊位元流中的位置之資訊,以及根據已判定位置和該行的數目來編碼該視訊位元流。
  13. 如請求項12之方法,其中該視訊位元流藉由實施包括過濾操作之反變換而被編碼。
  14. 如請求項13之方法,其中該過濾器操作係相關於小波合成變換。
  15. 如請求項12之方法,更包含:基於該已判定位置,判定包括一組高頻係數及一組低頻係數的該範圍的係數。
  16. 如請求項12之方法,其中,該目前範圍的該資料包括對應至一範圍的子封包。
  17. 一種用以編碼具有複數範圍之視訊位元流之設備,該設備包含:第一編碼單元,用以編碼包括可指明行的數目之資訊的圖片標頭,以將該視訊位元流的影像劃分為該複數範圍,各範圍為用於量化之單元,其中,該範圍的寬度被判定以為二的水平小波分解深度次方之倍數;第二編碼單元,用以編碼用於範圍的範圍標頭,該範圍標頭包括使用以決定被該行所劃分的該範圍的資料的該視訊位元流中的位置之資訊;以及第三編碼單元,用以根據已判定位置和該行的數目來編碼該視訊位元流。
  18. 如請求項17之設備,其中該視訊位元流藉由實施包括過濾操作之反變換而被編碼。
  19. 如請求項18之設備,其中該過濾器操作係相關於小波合成變換。
  20. 如請求項17之設備,更包含:判定單元,基於該已判定位置,組態以判定包括一組高頻係數及一組低頻係數的該範圍的係數。
  21. 如請求項17之設備,其中,該目前範圍的該資料包括對應至一範圍的子封包。
  22. 一種用以編碼視訊位元流之程式,用以使電腦執行根據請求項第12至16項中任一項的方法。
TW110122343A 2017-07-07 2018-07-03 用於編碼及解碼視訊資料的方法、設備及系統 TWI811706B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2017204643A AU2017204643B2 (en) 2017-07-07 2017-07-07 Method, apparatus and system for encoding and decoding video data
AU2017204643 2017-07-07

Publications (2)

Publication Number Publication Date
TW202141992A TW202141992A (zh) 2021-11-01
TWI811706B true TWI811706B (zh) 2023-08-11

Family

ID=64949501

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110122343A TWI811706B (zh) 2017-07-07 2018-07-03 用於編碼及解碼視訊資料的方法、設備及系統
TW107122915A TW201918074A (zh) 2017-07-07 2018-07-03 用於編碼及解碼視訊資料的方法、設備及系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW107122915A TW201918074A (zh) 2017-07-07 2018-07-03 用於編碼及解碼視訊資料的方法、設備及系統

Country Status (7)

Country Link
US (1) US11172231B2 (zh)
EP (1) EP3632122A4 (zh)
JP (1) JP6942820B2 (zh)
CN (1) CN110754092B (zh)
AU (2) AU2017204643B2 (zh)
TW (2) TWI811706B (zh)
WO (1) WO2019006488A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018372561B2 (en) 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Image compression for digital reality
US11936859B2 (en) * 2018-07-02 2024-03-19 Telefonaktiebolaget Lm Ericsson (Publ) Bilateral high frequency boost
US11418788B2 (en) * 2019-01-21 2022-08-16 Lg Electronics Inc. Method and apparatus for processing video signal
US11882285B2 (en) * 2019-01-23 2024-01-23 Lg Electronics Inc. Video signal processing method and device
JP7338992B2 (ja) * 2019-03-06 2023-09-05 日本放送協会 送信装置、受信装置、及びプログラム
US11239988B2 (en) * 2019-04-22 2022-02-01 Texas Instruments Incorporated Methods and systems for synchronization of slave device with master device
GB2589066B (en) * 2019-10-24 2023-06-28 Advanced Risc Mach Ltd Encoding data arrays
WO2021077178A1 (en) * 2019-10-25 2021-04-29 Kakadu R & D Pty Ltd Method and apparatus for complexity control in high throughput jpeg 2000 (htj2k) encoding
CN114663774B (zh) * 2022-05-24 2022-12-02 之江实验室 一种轻量级的显著性物体检测系统及方法
WO2024072844A1 (en) * 2022-09-27 2024-04-04 Op Solutions, Llc System and method for adaptive decoder side padding in video region packing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174897A1 (en) * 2002-01-29 2003-09-18 Canon Kabushiki Kaisha Method and device for forming a reduced compressed digital signal
US20040264785A1 (en) * 2003-06-27 2004-12-30 Tooru Suino Image coding apparatus, program, storage medium and image coding method
US20070110163A1 (en) * 2005-11-16 2007-05-17 Taku Kodama Image processing apparatus and image processing method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748786A (en) 1994-09-21 1998-05-05 Ricoh Company, Ltd. Apparatus for compression using reversible embedded wavelets
JP3743384B2 (ja) * 2002-04-19 2006-02-08 ソニー株式会社 画像符号化装置及び方法、並びに画像復号装置及び方法
JP2004005272A (ja) 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
JP4115188B2 (ja) 2002-07-19 2008-07-09 キヤノン株式会社 仮想空間描画表示装置
EP1567972A1 (en) 2002-11-15 2005-08-31 The Arizona Board of Regents on Behalf of the University of Arizona Methods for decoding corrupt jpeg2000 codestreams
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US7882117B1 (en) 2006-12-19 2011-02-01 Sprint Communications Company L.P. First normal form (1NF) data normalizer
JP4662495B2 (ja) 2007-11-30 2011-03-30 株式会社スクウェア・エニックス 画像生成装置、画像生成プログラム、画像生成プログラム記録媒体及び画像生成方法
KR101665034B1 (ko) 2008-08-22 2016-10-24 구글 인코포레이티드 이동 장치 상의 삼차원 환경에서의 네비게이션
JP5201019B2 (ja) * 2009-03-11 2013-06-05 株式会社リコー 画像符号化装置及び画像符号化方法
US8212788B2 (en) 2009-05-07 2012-07-03 Microsoft Corporation Touch input to modulate changeable parameter
KR102350436B1 (ko) 2009-07-07 2022-01-14 인터디지털 브이씨 홀딩스 인코포레이티드 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
US8514188B2 (en) 2009-12-30 2013-08-20 Microsoft Corporation Hand posture mode constraints on touch input
US8964052B1 (en) 2010-07-19 2015-02-24 Lucasfilm Entertainment Company, Ltd. Controlling a virtual camera
US9332258B2 (en) 2013-03-01 2016-05-03 intoPIX SA Method and device for display stream compression
JP6229053B2 (ja) 2013-10-16 2017-11-08 華為技術有限公司Huawei Technologies Co.,Ltd. ビデオコーディングブロックのパーティションのコーナービデオ部を決定する方法
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
PL3556097T3 (pl) * 2016-12-19 2022-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodowanie obrazu z wykorzystaniem adaptacji predykcji zależnej od podpasma do enkodowania entropijnego gcli

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174897A1 (en) * 2002-01-29 2003-09-18 Canon Kabushiki Kaisha Method and device for forming a reduced compressed digital signal
US20040264785A1 (en) * 2003-06-27 2004-12-30 Tooru Suino Image coding apparatus, program, storage medium and image coding method
US20070110163A1 (en) * 2005-11-16 2007-05-17 Taku Kodama Image processing apparatus and image processing method

Also Published As

Publication number Publication date
US11172231B2 (en) 2021-11-09
CN110754092B (zh) 2022-03-29
JP6942820B2 (ja) 2021-09-29
EP3632122A1 (en) 2020-04-08
US20200128274A1 (en) 2020-04-23
JP2020526947A (ja) 2020-08-31
TW201918074A (zh) 2019-05-01
WO2019006488A1 (en) 2019-01-10
AU2017204643B2 (en) 2020-05-14
AU2020210276A1 (en) 2020-08-20
CN110754092A (zh) 2020-02-04
AU2020210276B2 (en) 2022-02-17
AU2017204643A1 (en) 2019-01-24
EP3632122A4 (en) 2020-10-14
TW202141992A (zh) 2021-11-01

Similar Documents

Publication Publication Date Title
TWI811706B (zh) 用於編碼及解碼視訊資料的方法、設備及系統
US10666948B2 (en) Method, apparatus and system for encoding and decoding video data
TWI733986B (zh) 用以編碼和解碼視頻資料之方法、設備及系統
US9838715B2 (en) Image processing apparatus and method
US10574988B2 (en) System and methods for reducing slice boundary visual artifacts in display stream compression (DSC)
EP3748964A1 (en) Image processing device and image processing method
CN118233633A (zh) 基于块的表面的视频编码或解码的量化
US12015801B2 (en) Systems and methods for streaming extensions for video encoding
US12015799B2 (en) Systems and methods for data partitioning in video encoding
AU2016203314A1 (en) Method, apparatus and system for encoding and decoding video data
AU2017201933A1 (en) Method, apparatus and system for encoding and decoding video data
AU2017204642A1 (en) Method, apparatus and system for encoding and decoding video data