TWI621350B - 包括第一層和第二層的多層串流之圖像區塊解碼方法和解碼裝置以及編碼方法和編碼裝置 - Google Patents

包括第一層和第二層的多層串流之圖像區塊解碼方法和解碼裝置以及編碼方法和編碼裝置 Download PDF

Info

Publication number
TWI621350B
TWI621350B TW103105750A TW103105750A TWI621350B TW I621350 B TWI621350 B TW I621350B TW 103105750 A TW103105750 A TW 103105750A TW 103105750 A TW103105750 A TW 103105750A TW I621350 B TWI621350 B TW I621350B
Authority
TW
Taiwan
Prior art keywords
image
layer
reference image
reconstructed
decoder
Prior art date
Application number
TW103105750A
Other languages
English (en)
Other versions
TW201436528A (zh
Inventor
菲利普 波德斯
法蘭克 海隆
皮爾 安德里文
派翠克 羅培茲
菲利普 薩蒙
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201436528A publication Critical patent/TW201436528A/zh
Application granted granted Critical
Publication of TWI621350B publication Critical patent/TWI621350B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency

Abstract

本案揭示一種圖像區塊之解碼方法。解碼方法包括：把至少一串流S_diff解碼(10)成為解碼資料和一資訊，以便在解碼器圖像緩衝器內，識別重建之參考圖像；從識別之重建參考圖像和從解碼資料，重建(12)特殊參考圖像；從至少特殊參考圖像，重建(16)圖像區塊，其中至少特殊參考圖像不顯示。

Description

包括第一層和第二層的多層串流之圖像區塊解碼方法和解碼裝置以及編碼方法和編碼裝置
本案揭示一種從特殊重建參考圖像解碼圖像區塊之方法。進一步揭示寫碼方法，以及相對應編碼和解碼裝置。
於視訊流送之際，可用之帶寬會隨時間改變。因此，流送應用之出外位元率，需即時調節以契合可用帶寬，避免阻塞。致能即時位元率調節之一方式，是使用即時編碼器，但每一委託器需分配一編碼系統，在例如VOD服務有無數委託器情況下，難以接受。致能即時位元率調節之另一方式，是使用可標度之視訊寫碼。在可標度寫碼中，把視訊源編碼成數層。於傳輸之際，為調節出外位元率，伺服器選擇要發送諸層(「推」模態)，或解碼器要求發送諸層(「拉」模態)。此方法適於流送越過累質通道，但可標度視訊寫碼會降解總壓縮效率，較單層視訊寫碼增加編碼器和解碼器二者之計算複雜性。實施位元率調節之單便方法，是編碼複數版本之同樣視訊序列。此等版本有不同的解像度和/或品質水準，因而有不同位元率。於流送之際，需調節出外位元率時，要傳送之串流，可從一版本動態交換至另一版本，以契合帶寬需要或使用者資格，如第1圖所示。此項解決方案稱為「串流交換」。然而，在圖像間(或P或B圖像)寫碼時，串流間直接交換會造成重建參考圖像不匹配，結果是不正確的圖像重建。重建視訊之品質會大為降解。解決問題之一方法是，在位元流(通常為上圖像或IDR圖像或CRA圖像)內，使用隨機存取點(RAP)。IDR是英文“Instantaneous Decoder Refresh”(瞬時解碼器復新)縮寫，而CRA是“Clean Random Access”(淨隨機存取)簡稱。由於僅能在此等RAP發生交換，RAP需經常在位元流內指派，以實現提詞(prompt)串流交換。然而，編碼此等 I/IDR圖像，會引進實質上位元率常務。此外，在使用位於RAP前的重建參考圖像之RAP後面圖像，不是越過就是不正確解碼，因其使用之重建參考圖像，與編碼所用不同，如第2圖所示。在第2圖上，Ic是從重建參考圖像I1和I2所重建，同時從重建參考圖像i1和i2編碼。
在AVC內，設計特殊圖像型(SI/SP)，使來自另一串流之圖像可同樣重建，因而方便串流交換，視訊圖像因此在交換點編碼成SP圖像，取代圖像內寫碼，如第3圖所示。SP圖像之寫碼效率，較圖像內寫碼高，但效率仍較正常P圖像差。所以，若指派許多交換點，總寫碼效率仍然降解。
在Zhou等人題為〈H.264寫碼視訊之有效率位元流交換〉，並發表於SPIE議事錄第5909卷(2005年)之文件中，揭示一種解決方案，可任何時間交換，無實質上位元率常務，只有對IPPP GOP結構提供解決方案。除同樣視訊序列在不同位元率的複數版本外，DIFF圖像為發生交換的現時圖像之重建參考圖像編碼，如第4圖所示。DIFF圖像是現時圖像的重建參考圖像與其他串流內時間上相對應圖像之差異。差異圖像傳送至解碼器，以補正不匹配。由於發生交換時，只傳送DIFF圖像，如該文件第5頁所述，故上述計劃引進的位元率常務小。另方面，解決方案只對單一重建參考圖像預估的P圖像有作用。另外，此解決方案需要編碼順序和顯示順序一致。
本案揭示一種圖像區塊之解碼方法。方法包括：‧把至少一串流S_diff解碼成解碼資料，和在解碼器圖像緩衝器內識別重建參考圖像之一資訊；‧從至少所識別重建參考圖像，和從解碼資料，重建特殊參考圖像；‧從至少特殊參考圖像，重建圖像區塊，其中特殊參考圖像在重建時，不顯示。
所識別之重建參考圖像，從第一層解碼，而其中解碼資料和在解碼器圖像緩衝器內識別重建參考圖像之資訊，是從第一層所依賴的第二層解碼。
按照一特殊特徵，第一層為基層。
按照一特殊具體例，解碼方法又包括解碼一旗誌，指示隨後解碼之第二層圖像不使用任何層間預估。
另揭示圖像區塊之編碼方法。編碼方法又包括：‧從至少一重建參考圖像，編碼圖像區塊；‧從另一重建參考圖像，和在解碼器圖像緩衝器內識別另一重建參考圖像之資訊，編碼至少一重建參考圖像，做為特殊參考圖像，其中特殊參考圖像在重建時不顯示。
識別之重建參考圖像宜在第一層內編碼，而至少重建之參考圖像和在解碼器圖像緩衝器內識別另一重建參考圖像之資訊，是在第一層所依賴的第二層內編碼。
按照一特殊特徵，第一層是基層。
按照一特殊具體例，又包括編碼一旗誌，指示隨後編碼之第二層圖像不使用任何層間預估。
本案揭示一種解碼圖像區塊用之解碼裝置。解碼裝置包括：‧解碼機構，把至少一串流S_diff解碼成解碼資料，和在解碼器圖像緩衝器內識別重建參考圖像之一資訊；‧重建機構，從至少所識別重建參考圖像，和從解碼資料，重建特殊參考圖像；‧重建機構，從至少特殊參考圖像，重建圖像區塊，其中至少特殊參考圖像不顯示。
解碼裝置適於執行解碼方法之步驟。
本案又揭示編碼圖像區塊用之寫碼裝置。寫碼裝置包括：‧編碼機構，從至少一重建參考圖像，編碼圖像區塊；‧編碼機構，從另一重建參考圖像，和在解碼器圖像緩衝器內識別另一重建參考圖像之資訊，編碼至少一重建參考圖像，做為特殊參考圖像，其中特殊參考圖像在重建時不顯示。
寫碼裝置適於執行編碼方法之步驟。
最後，揭示一資料串流。資料串流包括在其中編碼之一資訊，供在解碼器圖像緩衝器內識別重建參考圖像，和容許從所識別之重建參考圖像，重建特殊參考圖像，特殊參考圖像是不顯示之參考圖像。
10‧‧‧把串流S_diff解碼
12‧‧‧重建特殊參考圖像R1'
13‧‧‧把TS解碼
16‧‧‧從R1'重建現時區塊Bc
20‧‧‧從R1編碼Bc
22‧‧‧把Ts編碼
24‧‧‧從R2和INFO編碼R1
Bc‧‧‧現時圖像區塊
S,S0,S1,S_diff‧‧‧串流
R1,R2‧‧‧重建參考圖像
,,‧‧‧重建參考圖像
SRP1,SRP2‧‧‧特殊參考圖像
AU1,AU2,AU3,AU4‧‧‧解碼存取單位
I1,I2,I3,I4‧‧‧圖像
ENC0,ENC1,ENC2‧‧‧編碼器
DEC0,DEC1,DEC2‧‧‧解碼器
R1'‧‧‧特殊參考圖像
b1,b2‧‧‧參考圖像
f13‧‧‧旗誌
e'1,e'2‧‧‧特殊參考圖像
e3,e4,e5,e6‧‧‧參考圖像
第1和2圖表示串流交換之一般原理；第3圖表示使用先前技術SI/SP圖像的串流交換原理；第4圖表示使用先前技術DIFF圖像的串流交換原理；第5圖表示本發明解碼方法之流程圖；第6圖表示本發明編碼方法之流程圖；第7圖表示本發明使用SRP圖像的串流交換原理；第8圖表示本發明解碼方法又一具體例；第9圖表示本發明多層視訊解碼器；第10圖表示本發明多層視訊編碼器；第11圖表示本發明多層串流。
本發明其他特點和優點，由如下參照附圖所示若干具體例之說明，即可明白。
本發明係關於圖元的圖像區塊之解碼方法，和該圖像區快之寫碼方法。圖像區塊屬於圖像序列之圖像。各圖像包括圖元或圖像點，各與至少一項圖像資料關聯。圖像資料項係例如光度資料項或色度資料項。以下即參照圖像區塊，說明寫碼和解碼方法。顯然此等方法可應用於一圖像之若干圖像區塊，和一序列之若干圖像，以便寫碼或解碼一或以上之圖像。圖像區塊是任何形式之圖元集合，可呈方形、長方形。但本發明不限於此等形式。以下使用區塊代替圖像區塊。在HEVC中，區塊指涉寫碼單位(CU)。
「預估符」項指定資料用來預估其他資料。預估器用來預估圖像區塊，預估符或預估區塊，是從屬於其所預估(空間預估或圖像內預估)區塊的同樣圖像之一或以上重建參考樣本，或從重建參考圖像(時間預估或圖像間預估)之一(單向預估)或以上參考區塊(雙向預估或雙預估)所得。參考區塊是利用運動向量，在重建參考圖像內識別。預估亦可加權，說明照明變化模式(a.k.加權預估)。
術語「餘數」意指從原始資料減預估符後所得資料。
術語「重建」指餘數和預估符，合併後所得資料(例如圖元、區塊)。合併通常是預估符和餘數之合計。然而，合併更通常且顯然包括重建樣本之附加後過濾階段和/或於重建樣本添加偏設值之附加步驟。在重建參考圖像時，儲存於DPB(英文“Decoder Picture Buffer”解碼器圖像緩衝器之縮寫)，做好新重建參考圖像。
關於圖像之解碼，「重建」和「解碼」經常用做同義詞。於是，「重建區塊」亦以術語「解碼區塊」稱之。
寫碼一辭採取最廣義。寫碼可包括應用轉換和/或量化資料。亦可僅指熵寫碼。DCT("Discrete Cosine Transform"分立餘弦轉換)為該項轉換之例。同理，解碼除熵解碼外，可包括應用轉換和/或逆量化。應用於解碼器側之轉換，是應用於編碼器側之逆轉換。
串流是位元序列，形成寫碼圖像和形成一或以上寫碼視訊序列的關聯資料之表示法。串流是集體術語，用來指涉NAL單位串流或位元組串流。
NAL(英文“Network Abstraction Layer”網路抽象化層之縮寫)單位是語法結構，含有要遵循的資料型式之指示，以及含資料之位元組。NAL專用於把資料格式化，並具有頭標資料，其方式適於在各種通訊通道或儲存媒體上輸送。全部資料包含在NAL單位內，各含整數位元組。NAL單位特定總稱格式，兼用於封包定向和串流一系統。兼用於封包定向和位元組串流之NAL單位格式一致，惟在位元組串流格式中，各NAL單位可冠以始碼字首和額外整墊位元組。
AU(英文“Access Unit”存取單位之縮寫)是NAL單位之集合，彼此按照特定分類規則關聯，係按解碼順序接續，正好含一寫碼圖像。存取單位之解碼，始終造成解碼圖像。
在第5和6圖中，表示方框純為功能實體，不必然相當於實際分開的實體。凡技術專家均知，本原則要旨可以系統、方法或電腦可讀式媒體具體化。因此，本原則要旨可採取形式為，完全硬體具體例、完全軟體具體例(包含韌體、常駐軟體、微碼等)，或含軟體和硬體要旨之具體例，在此一般稱為「電路」、「模組」或「系統」。此外，本原則之要旨可採取電腦可讀式儲存媒體之形式。一或以上電腦可讀式儲存媒體之任何組合 均可加以利用。
在圖上之流程圖和/或方塊圖，表示本發明諸具體例的系統、方法和電腦程式產品可實施之組態、操作和功能。因此，流程圖或方塊圖內之各方塊可代表模組、段節或部份碼字，包括一或以上可執行指令，以實施特定邏輯函數。又須知在某些另類實施例中，方塊內註明之功能，可脫離圖上註明之順序發生。例如，圖示接續之二方塊，事實上，可實質同時執行，或方塊有時可逆序執行，或可以另類順序執行，視涉及之功能性而定。又須知方塊圖和/或流程圖上之各方塊，以及方塊圖和/或流程圖上之方塊組合，可利用特殊目的之硬體為基本的系統實施，進行特定功能或動作，或兼具特殊目的硬體和電腦指令。雖未明說，本發明可以採用任何組合或副組合。
第5圖繪示特殊且非限制性具體例的解碼方法之流動圖。此方法供解碼在串流S內所編碼之現時圖像區塊Bc。圖像區塊Bc屬於現時圖像Ic之晶片Sc。晶片是圖像之一部份，諸如圖像區塊集合。
在步驟10，至少一串流S_diff解碼成解碼資料(例如餘數和寫碼模態)，和資訊INFO，供識別DPB內儲存之重建參考圖像R2。
在步驟12，從所識別之重建參考圖像R2，並從解碼資料，重建特殊參考圖像R1’(其英文縮寫為SRP)。再將特殊參考圖像置入DPB。此參考圖像R1’之特殊，因從未顯示，只在其他圖像內重建區塊，對於R1’之各圖像區塊，重建SRP R1’包括決定預估符和添加餘數。預估符可由識別之重建參考圖像R2(不是在R2內共位於Bc之區塊，就是在R2內因此以運動向量識別之運動補正區塊)，或由R1’鄰區之重建樣本決定，一如傳統之圖像內預估。若R2內之空間位置與Ic內之Bc空間位置一致，則R2內之區塊共位於Bc。按照變化例，若重建參考圖像R2之規模，與現時圖像Ic之規模不同，則R2為特殊參考圖像之重建再標度，使再標度之R2圖像(可能具有適當整墊)與Ic同具規模。在此情況下，R1’是從F(R2)重建，其中F為再標度過濾器。串流S_diff可為串流S之一部份或獨立於串流S。
舉例而言，串流S_diff把與R2不同的另一重建參考圖像R1和重建參考圖像R2間之差異，逐一圖元編碼。R1是例如重建參考圖像，由此編碼現時圖像區塊Bc。在此情況下，把串流S_diff解碼，包括把差異 圖像DIFF解碼，往往利用熵解碼、逆量化和轉換。轉換係例如逆DCT。差異圖像往往是重建參考圖像R1和重建參考圖像R2間差異之近似值。近似值是由於在編碼之際有損失(例如因為量化之故)。若差異圖像DIFF是無損編碼，則解碼之差異圖像DIFF等於重建參考圖像R1和重建參考圖像R2間之差異。按照變化例，如果R1和R2規模不同，差異圖像是重建參考圖像R1和再標度的重建參考圖像R2間之差異。舉例而言，若R2大於R1，則R2向下標度，若R2小於R1，則R2向上標度。在此情況下，特殊參考圖像R1’等於F(R2)+DIFF，若R2和Ic規模相同，F恒等，或者F為再標度函數。
按照變化例，解碼方向又包括視情形把與差異圖像DIFF關聯之符號解碼。若此等符號被解碼，當符號為正，特殊參考圖像等於F(R2)+DIFF，當符號為負，則等於F(R2)-DIFF。
按照另一變化例，串流S_diff為R1之某些區塊，把此等區塊和R2內共位區塊編碼。R1之其他區塊使用傳統圖像內預估，即從鄰區重建樣本，在S_diff內編碼。
按照另一變化例，串流S_diff為R1之某些區塊，把此等區塊和R2內相對應區塊間之差異編碼。R2內之相對應區塊不是共位區塊，就是運動補正區塊。R1之其他區塊於S_diff內編碼，使用傳統圖像內預估，即由鄰區重建樣本。
解碼資訊INFO即可處置不同的使用情況。舉例而言，若從二重建參考圖像R1和r1編碼現時圖像區塊Bc，則在步驟10，把二特殊參考圖像R1’和r1’和二資訊INFO和info解碼。特殊參考圖像R1’和r1’分別與R2和r2對應，其中R2和r2是二重建參考圖像，儲存於DPB內，由此重建Bc。因此，INFO對解碼器指示R1’待從R2重建，而info指示r1’待從r2重建。
各特殊圖像例如在串流S_diff內，以專用旗誌識別，指示與傳統I,P,B圖像/晶片型不同之圖像/晶片型。此圖像/晶片型指示現時AU含有未顯示之特殊參考圖像。按照變化例，各特殊圖像以晶片頭標內之專用旗誌識別。
按照變化例，圖像晶片型是I,P或B，但晶片頭標內之特殊 旗誌指示出，重建圖像未顯示，而是儲存在DPB內做為參考。
在DPB內識別重建參考圖像R2之資訊INFO，例如為POC(英文“Picture Order Count”圖像順序計數之縮寫)，一如文件ISO/IEC 14496-10(第3.104節)所界定。按照變化例，識別重建參考圖像用之資訊，是重建參考圖像指數。
在步驟16，現時圖像區塊Bc，是由特殊參考圖像R1’重建。往往由於特殊參考圖像靠內容R1比R2更近，因此減少漂移。通常重建一圖像區，包括從串流S解碼一餘數，把餘數加到預估符。以越步模態言，餘數可為零。解碼餘數，包括熵解碼、逆量化，並應用轉換，是應用於編碼器側之逆轉換。此等步驟為視訊壓縮/寫碼之技術專家所熟知，不待贅述。特殊參考圖像R1’內之參考圖像，以從串流S解碼之運動向量識別。參考區塊用做預估符。如為雙預估，在可能為一個同樣重建參考圖像之二重建參考圖像內，識別二參考區塊。預估符為此二參考區塊之加權合計。若Bc是從屬於與寫碼所用重建參考圖像R1和r1不同的二重建參考圖像R2和r2之二參考區塊所雙預估，則二SRPs R1’和r1’均可重建。因此，特殊參考圖像R1’和r1’用做Bc之參考圖像。重建Bc時，若DPB內可得r1，則Bc亦可從一特殊參考圖像R1’和從r1重建。INFO和符號可為各特殊參考圖像(在晶片頭標或晶片節段頭標內)解碼，或為若干特殊參考圖像組成單一頭標。INFO和符號係例如從SEI訊文、VPS(視訊參數集合HEVC)，或從Sc的晶片頭標解碼。
第6圖繪示特殊且非限制性具體例之編碼方法流程圖。此方法用於在串流S內編碼現時圖像區塊Bc。
在步驟20，於從串流S內之至少一個第一重建參考圖像R1，編碼現時圖像區塊Bc。通常編碼現時圖像區塊，包括決定餘數、轉換餘數，把轉換之餘數量化成量化資料。量化資料進一步熵寫碼於串流S內。餘數是從現時圖像區塊Bc減預估符而得。預估符是由第一重建參考圖像R1決定。更準確而言，預估符是在重建參考圖像R1內，利用運動向量決定。若現時區塊是由二參考區塊所雙預估，則預估符是由此二參考區塊平均而得。二參考區塊，不是屬於二個不同的重建參考圖像R1和r1，就是屬一個相同的重建參考圖像。運動向量也編碼在串流S內。此等步驟是視訊 壓縮技術專家所熟知，不進一步贅述。
在步驟24，重建參考圖像R1和資訊INFO，編碼入串流S_diff內。S_diff的解碼是SRP。串流S_diff可為串流S的一部份或獨立於串流S。重建參考圖像R1是從與INFO所識別的R1不同之第二重建參考圖像R2，編碼於S_diff內。
按照變化例，若重建參考圖像R2之規模，與現時圖像Ic規模，亦即R1規模不同，則R2經再標度，供編碼重建參考圖像R1，使再標度之R2圖像(可能帶有適當整墊)與Ic同具規模。在此情況，R1是從F(R2)編碼，其中F是再標度過濾器。
舉例而言，串流S_diff把R1和R2間之差異DIFF，逐一圖元編碼。DIFF是利用轉換(例如使用DCT)、量化和熵寫碼，加以編碼。按照變化例，若R1和R2規模不同，差異圖像是重建參考圖像R1和再標度第二重建參考圖像R2間之差異。舉例而言，若R2大於R1，則R2向下標度，若R2小於R1，則R2向上標度。在此情況下，DIFF=R1-F(R2)，當R2和Ic同具規模，F是恒等函數，否則為再標度函數。
按照變化例，解碼方法又包括視情形解碼與差異圖像關聯之符號。此等符號解碼時，當符號為正，特殊參考圖像R1’等於F(R2)+DIFF，若符號為負，則等於F(R2)-DIFF。
按照另一變化例，串流S_diff為R1的一些區塊解碼，此等區塊與R2內區塊(即與Bc共位區塊，或運動補正區塊)間之差異。R1之其他區塊在S_diff內使用傳統圖像內預估，即從鄰區重建樣本編碼。
把資訊INFO編碼，可以處置不同的使用情況。舉例而言，若現時圖像區塊Bc是由二重建參考圖像R1和r1編碼，則二重建參考圖像是由二其他重建參考圖像R2和r2編碼。INFO對解碼器指示要從R2重建的特殊參考圖像R1’，而info指示要從r2重建的另一特殊參考圖像r1’。各特殊參考圖像是例如在串流S_diff內以專用旗誌識別，指示與傳統I,P,B圖像/晶片型不同之圖像/晶片型。此圖像/晶片型指示現時AU是特殊參考圖像，要用來取代DPB內之圖像。
按照變化例，各特殊圖像，是在晶片頭標內以專用旗誌識別。
按照變化例，圖像晶片型是I,P或B，但晶片頭標內之特殊旗誌指示重建圖像不顯示，而是儲存於DPB內做為參考。
在特殊具體例中，為若干或各可能成對之DPB重建參考圖像，編碼一特殊參考圖像和資訊INFO。因此，任何時間，區塊Bc可由DPB之任何圖像重建，即使不是其所編碼者，同時限制漂移。誠然，當重建Bc時，若R1在DPB內不可得，Bc可由R2改為從特殊參考圖像R1’重建。因此限制漂移，因為R1’的內容比R2更近R1。
識別第二重建參考圖像之資訊，係例如POC。按照變化例，識別第二重建參考圖像之資訊，為重建參考圖像指數。
為解碼方法揭示之所有變化例和選項，均可應用於編碼方法。尤其是，編碼方法包括視情形編碼與差異圖像關聯之符號。
INFO和符號是從SEI訊文、VPS(視訊參數集合HEVC)，或從Sc之晶片頭標解碼。
按照變化例，編碼和解碼方法是用在串流交換之脈絡，如第7圖所示。在此情況，第一序列圖像在串流S0內編碼。第二序列圖像在串流S1內編碼。通常，第二序列圖像和第一序列圖像一致，但以不同位元率編碼，即使用不同的量化步驟。按照變化例，第二序列圖像是第一序列的再標度版本，即不是向上標度，便是向下標度。按照特殊具體例，S0和S1具有同樣GOP結構(即同樣解碼順序和同樣參考圖像，如HEVC標準第8.3.1和8.3.2節所界定)。
除串流S0和S1外，在每一瞬間tn，S1之重建參考圖像進一步在串流S_diff內編碼，正如SRP，來自S0的合時相對應，或時間上對準(例如一致的圖像順序計數)的重建參考圖像，如第7圖所示。重建參考圖像是在S_diff內，以識別相對應重建參考圖像用之資訊info_tn編碼。須知相當於的原始圖像，是在S1內編碼，而相當於的原始圖像是在S0內編碼。
就第5圖所揭示解碼方法，是用來解碼從第一串流S0交換到第二串流S1後的圖像區塊Bc。關於第7圖，圖像是從串流S0解碼和顯示，直到時間t2。交換發生在t2和t2之間。交換後，圖像是從串流S1解碼和顯示。在交換時，DPB0包括若干重建參考圖像，是從S0解碼。DPB0 與S0有關。關於第7圖，DPB0在交換時包括三個重建參考圖像、和。
在步驟10，S_diff1、S_diff2和S_diff3解碼成解碼資料(例如餘數和寫碼模態)和資訊info_t0、info_t1、info_t2，識別儲存於DPB0之重建參考圖像、和。
在步驟12，從相對應解碼資料和相對應重建參考圖像、和，重建三個空間參考圖像SRP_t0、SRP_t1、SRP_t2。重建SRP再儲存於與DPB0不同的DPB1(可能)。DPB1與S1相關。按照第一特殊具體例，S_diff把和可能再標度的合時相對應圖像間之差異，逐一圖元編碼。在此情況，重建SRP是SRP_t0=diff_t0+,SRP_t1=diff_t1+,SRP_t2=diff_t2+，其中diff_t0,diff_t1,diff_t2是從S_diff解碼。必要時，以F再標度，故其規模與現時圖像Ic規模相同。若未發生再標度，則F為恒等函數。按照第二特殊具體例，S_diff使用可能利用F再標度過的，編碼。在此情況，內區塊之預估符，不是圖像內的空間共位區塊，便是內之運動補正區塊，或衍自內空間上鄰區區塊(空間圖像內預估)。以第一特殊具體例情況言，若不必再標度，即第一和第二串流的圖像規模一致，則可用相同的差異圖像diff_t0,diff_t1和diff_t2，從S0交換至S1，或從S1至S0。在先前實施例中，若diff_t0編碼和串流S1內合時相對應圖像間之差異，取代從減去逆diff_t0，而非添加以重建SRP_t0，符號即因此被解碼，以特定重建參考圖究是利用加或減差異圖像加以修飾。
在步驟16，Bc是由DPB1內的重建參考圖像重建。在剛交換後，DPB1包括三個SRP。
本發明顯然不限於三個重建參考圖像之情況。按照本發明特定具體例，就DPB0內全部重建參考圖像，在步驟12重建特殊參考圖像，並儲存於DPB1。按照變化例，SRP僅為在DPB0內之各重建參考圖像內重建，可在交換後用做參考圖像。
按照變化例，旗誌f13編碼(或解碼)於例如VPS或SEI內，指示隨後編碼(或解碼)圖像具有指定層layer_id不用任何層間預估。更準確而言，在旗誌後編碼(或解碼)之圖像，不用任何層間預估。
第8圖表示特殊且非限制性具體例的解碼方法之又一具體例。解碼器接收不同的存取單位。首先接收和解碼存取單位AU1。第一圖像I1是從解碼的AU1重建。然後，接收和解碼第二存取單位AU2。第二圖像I2是由解碼器AU2重建。圖像I1和I2屬於同樣串流S0，若發訊做為參考圖像，即儲存於DPB0。然後，發生交換。可由解碼器要求交換，把要求發送到編碼器，以接收S_diff串流。按照變化例，交換是由編碼器發起。在交換之後，解碼器接收二AU單位S_diff1和S_diff2。把S_diff1和S_diff2(步驟10)解碼，分別使用圖像I1和I2重建(步驟12)SPR1和SPR2。SPR1和SPR2是二特殊參考圖像。再把SRP1和SRP2放入與S1相關之DPB1內。然後，解碼器接收AU3加以解碼。圖像I3是從解碼的AU3重建，也可能從DPB1(時間預估)之至少一圖像，即不論是SRP1或SRP2。I3屬於第二串流S1，也可能儲存於DPB1內，供未來用做重建參考圖像。解碼器再接收AU4，加以解碼。圖像I4是從解碼的AU4，也可能從至少DRB1之至少一圖像(時間預估)重建。圖像I1,I2,I3,I4顯示，而SRP1,SRP2則否。誠然，二時間上對準之圖像中只有一個顯示。SRP1是時間上與I1對準，而SRP2是時間上與I2對準。
按照本發明特殊具體例，第一和第二序列圖像，以及特殊參考圖像，編碼入多層串流內。以特殊實施例言，識別為特殊參考圖像之圖像，做為可標度串流之增強層編碼，無關編碼第一序列圖像之另一層(串流S0)，例如基層。第一層無與第二層無關，如果需要解碼來自此第二層之資訊。增強層容許從S0之重建參考圖像重建，特殊參考圖像要用做參考圖像，在從S0交換至S1後，重建S1之圖像。此增強層係例如順應SVC或SHVC寫碼標準。按照本發明特別具體例，特殊參考圖像以SVC或SHVC提供的編碼工具/模態副集合編碼，供編碼增強層。按照本發明另一具體例，層內運動向量預估(時間預估)，在SVC或SHVC寫碼標準內禁能。反之，從S0層之層內預估則活化。層內圖像預估也活化。按照另一具體例，對寫碼S0和S1之時間mv預估，係例如把HEVC旗誌slice_temporal_mvp_enable_flag設定為假而禁能。意即運動向量預估(MV預估)，是使用來自重建鄰區寫碼單位之MV構造，而非使用原先參考圖像之MV。
在下述第9和10圖中，編碼和解碼模組是指涉編碼器和解 碼器。
第9圖繪示特殊且非限制性具體例之多層編碼器。第一序列圖在S0內編碼，使用第一編碼器ENC0，係單層編碼器，例如MPEG2、H.264或HEVC順應性編碼器。本發明不限於使用單層編碼器。以ENC0編碼之參考圖像，重建成R2，提供做第三編碼器ENC2之輸入。第二編碼器ENC1用來編碼S1內第二序列之圖像。本發明不限於所用編碼器。以合時相當於重建參考圖像R2的ENC1編碼之參考圖像，重建為R1，提供做第三編碼器ENC2之輸入。所以，為ENC0的DPB內之各重建參考圖像R2，重建合時相對應參考圖像R1。因此，編碼器ENC2從可能再標度於串流S_diff內的合時相對應重建參考圖像R2，編碼重建之參考圖像R1。按照特殊具體例，編碼器ENC2包括減法器，從R1減R2(可能再標度)，還有熵寫碼器，可供編碼如此所得可經轉換和量化過之差異圖像。按照變化例，從R1之各區塊減去預估符，其中預估符不是圖像R2(可能再標度)內空間共位區塊，就是R2(可能再標度)內之運動補正區塊，或是衍自R1(空間圖像內預估)內之空間鄰區區塊。因此獲得餘數，於可能轉換和量化後，進一步熵寫碼。在此情況，在S_diff內所編碼，不是R1和R2間之逐圖元差異。識別重建參考圖像R2用來編碼重建參考圖像R1之資訊INFO，亦在S_diff內編碼。編碼器ENC2係例如順應可標度視訊編碼器，諸如SVC或SHVC。本發明不限於所用可標度編碼器。可標度視訊寫解碼器標準，界定layer_id指示符，把屬於一層(BL)之AU與屬於另一增強層分離/分辨。按照特殊具體例，來自ENC0之AU，以與編碼來自ENC2的AU所用layer_id不同之指定layer_id編碼。來自ENC1的Aus和來自ENC2之AU具有同樣layer_id。按照有益之具體例，ENC1和ENC2可為一個相同之編碼模組。
第10圖繪示特殊且非限制性具體例之多層解碼器。第一串流S0的解碼使用第一解碼器DEC0，係單層解碼器，例如MPEG2、H.264或HEVC順應式解碼器。本發明不限於所用單層解碼器。解碼器DEC0重建圖像來自第一串流S0，尤其是儲存在DPB0內之參考圖像R2。第二解碼器DEC1用來重構來自第二串流S1之圖像。本發明不限於所用解碼器。解碼器DEC2從串流S_diff解碼(步驟10)資訊INFO，以識別DPB0內之重 建參考圖像R2。解碼器DEC2係例如順應可標度視訊解碼器，諸如SVC或SHVC。本發明不限於所用可標度解碼器。解碼器DEC2又重建(步驟12)特殊參考圖像R1'，來自可能再標度過的時間上對準之重建參考圖像R2，和來自從S_diff解碼之資料(例如餘數、寫碼模態)。按照特殊具體例，解碼器DEC2包括熵解碼器，從S_diff解碼餘數，和加法器，把餘數添加於預估符，其中預估符係衍自可能標度過的R2內共位或運動補正過區塊，或衍字R1'(層內圖像預估)之重建樣本。然後，把特殊參考圖像R1'放入DPB1。
按照有益具體例，DEC1和DEC2可為同一解碼模組。
第11圖表示特殊且非限制性具體例之多層串流。圖上虛線表示圖像依賴性。接收具有layer_id=Layer_A之AU1和AU2，並加以解碼。參考圖像b1和b2從解碼AU重建，並儲存於Layer_A之DPB_A內。交換時，接收具有layer_id=Layer_A之Aus S_diff1和S_diff2，並加以解碼。解碼器DEC2分別從S_diff1和S_diff2解碼之資料，又從S_diff1和S_diff2解碼的資訊info_1和info_2所識別b1和b2，重建特殊參考圖像e'1和e'2，時間上分別與b1和b2對準的特殊參考圖像e'1和e'2，即儲存於Layer_B之DPB_B內。然後，接收AU3加以解碼。圖像e3是由此解碼AU3，又從特殊參考圖像e'1和e'2重建。重建之圖像e3儲存於DPB_B內，因e3是用來做為e4之重建參考圖像。接收AU4加以解碼。圖像e3從解碼之AU4，又從特殊參考圖像e'2和重建之參考圖像e3重建。接收後續AU5和AU6加以解碼。相對應圖像e5和e6是從解碼之AU5和AU6重建。若使用重建圖像做為參考圖像，添加e5和e6即可更新DPB_B。在編碼e3時，e'1最好是所用重建參考圖像之一e1的近似值。編碼e3和e4時，e'2最好是所用重建參考圖像之一e2的近似值。
有益的是把旗誌f13於VPS或SE1內編碼(或解碼)，指示具有指定layer_id的編碼(或解碼)圖像，不使用任何層間預估。更準確而言，旗誌後所編碼(或解碼)之圖像，不使用任何層間預估。
把第一和第二序列圖像以及特殊參考圖像，編碼於多層串流內，可重建時間上對準之二參考圖像(b1和e'1，或b2和e'2)，例如具有同樣POC。誠然，在多層策略中使用不同的DPBs。尤其是每層使用一DPB。 因此，時間上對準之重建參考圖像，即儲存於不同的DPBs。解碼多層串流傳統上需在解碼N+1階層之前，需解碼N階層，其中N為整數，因為層的依存性之故。此等層間之依存性，與串流交換應用不相容。編碼旗誌f13宜引進層間依存性，因此描繪可標度編碼/解碼，適於串流交換應用。
本發明編碼和解碼方法可實施彈性串流交換，並且在發生交換時，只有小位元率常務。此等方法適於任何GOP結構，任何數量之重建參考圖像，甚至解碼順序與顯示順序不同亦可。
下述是在SHVC寫碼標準架構內，為S_diff串流提供語法實施例。
加slice_type在於識別特殊參考圖像之晶片。
sign_diff_pic等於1指示餘數應加到預估，其他則餘數應減到預估。
pic_order_cnt_diffpic_lsb為此特殊參考圖像，特定圖像順 序計數模組MaxPicOrderCntLsb。然後，層內BL預估會在同樣pic_order_cnt之DPB內，使用參考圖像。pic_order_cnt_lsb語法要長度，是log2_max_pic_order_cnt_lsb_minus4+4位元。pic_order_cnt_diffpic_lsb值應在0至內含MaxPicOrderCntLsb-1之範圍內。當pic_order_cnt_diffpic_lsb不存在時，推定等於0。
delta_poc_msb_diffpic_cycle_lt用來決定DPB內長期重建參考圖像的圖像順序計數值之最重大位元值，用來重建此特殊參考圖像。當delta_poc_msb_cycle_lt不存在時，推論為等於0。
num_layer_id_diffpic_apply指示重建參考圖像之num_layer_id，用來解碼此特殊參考圖像。
語法實施例(vps延伸)
diff_pic_flag_enabled等於1指示inter_layer_pred_for_non_diff_picture_flag被寫碼。
inter_layer_pred_for_non_diff_picture_flag等於1指示I,P或B型之任何隨後圖像，均不用層間預估，但SRP型圖像可用層間預估，惟不用時間上層內預估。
本發明視訊寫碼器和解碼器如第9和10圖所示，可例如以硬體、軟體、韌體、特殊目的處理器，或其組合式等諸形式實施。本原則以硬體和軟體組合實施為佳。此外，軟體以在程式儲存裝置上實體具體化之應用程式實施為佳。應用程式可更新至包括任何適當結構之機器，並由其執行。機器以在具有硬體的電腦平台上實施為佳，諸如一個或以上之中 央處理單位(CPU)、隨機存取記憶器(RAM)、輸出入(I/O)界面。電腦平台亦包含操作系統和微指令碼。於此所述各種製程和功能，可為微指令碼之部份，或經由操作系統執行的應用程式(或其組合)之部份。此外，各種其他週邊裝置均可連接至電腦平台，諸如附加資料儲存裝置和印刷裝置。
按照變化例，本發明寫碼和解碼裝置，係按照純硬體實現方式實施，例如形成專用組件，例如為ASIC(應用特定積體電路)或FPGA(外場可規劃閘陣列)或VLSI(甚大型積體電路)，或積合於裝置內之若干電子組件，或甚至形成硬體元件和軟體元件之混合體。

Claims (18)

  1. 一種從包括第一層和第二層的多層串流把圖像區塊解碼之方法，包括：．從該多層串流中該第一層的解碼器圖像緩衝器之另一參考圖像，和從該多層串流中該第二層解碼之資料，重建參考圖像，並把該重建參考圖像儲存於該第二層的解碼器圖像緩衝器內，其中該重建參考圖像有指示但不予顯示；．把指示第二層隨後解碼圖像之旗誌解碼，不用任何層間預估；．至少從該重建參考圖像，重建該隨後解碼圖像之圖像區塊者。
  2. 如申請專利範圍第1項之方法，又包括：從該第二層解碼，供識別該另一參考圖像之資訊者。
  3. 如申請專利範圍第1至2項任一項之方法，其中該參考圖像與該另一參考圖像，在時間上對齊者。
  4. 一種在包括第一層和第二層的多層串流中把圖像區塊解碼之方法，包括：．在該多層串流中之該第二層，從該多層串流中該第一層的解碼器圖像緩衝器之另一參考圖像，編碼該第二層的解碼器圖像緩衝器之參考圖像，其中該參考圖像有指示但不予顯示；．編碼旗誌，指示該第二層隨後解碼圖像，不用任何層間預估；．至少從該參考圖像，編碼該隨後解碼圖像之圖像區塊者。
  5. 如申請專利範圍第4項之方法，又包括：在該第二層內編碼供識別該另一參考圖像之資訊者。
  6. 如申請專利範圍第4至5項任一項之方法，其中該參考圖像與該另一參考圖像，在時間上對齊者。
  7. 一種解碼器，包括：．重建和儲存機構，從一多層串流中第一層的解碼器圖像緩衝器之另一參考圖像，和從該多層串流中第二層解碼之資料，重建參考圖像，並在該第二層的解碼器圖像緩衝器內，儲存該重建參考圖像，其中該重建參考圖像有指示但不予顯示；．解碼機構，把指示第二層隨後解碼圖像之旗誌解碼，不用任何層間預估；．重建機構，至少從該重建參考圖像，重建該隨後解碼圖像之圖像區塊者。
  8. 如申請專利範圍第7項之解碼器，又包括：解碼機構，從該第二層解碼供識別該另一參考圖像之資訊者。
  9. 如申請專利範圍第7至8項任一項之解碼器，其中該參考圖像與該另一參考圖像，在時間上對齊者。
  10. 一種編碼器，包括：．編碼機構，在多層串流中之第二層，從該多層串流中第一層的解碼器圖像緩衝器之另一參考圖像，編碼該第二層的解碼器圖像緩衝器之參考圖像，其中該參考圖像有指示但不予顯示；．編碼機構，編碼指示該第二層隨後解碼圖像，不用任何層間預估；．編碼機構，至少從該參考圖像，編碼該隨後編碼圖像之圖像區塊者。
  11. 如申請專利範圍第10項之編碼器，又包括：編碼機構，在該第二層內編碼供識別該另一參考圖像之資訊者。
  12. 如申請專利範圍第10至11項任一項之編碼器，其中該參考圖像與該另一參考圖像，在時間上對齊者。
  13. 一種儲存媒體，上面有編碼之多層串流，多層串流包括：．為多層串流中第二層的解碼器圖像緩衝器之參考圖像所編碼資料，該參考圖像係由該多層串流中第一層的解碼器圖像緩衝器之另一參考圖像編碼，其中該參考圖像有指示但不予顯示；．旗誌，指示該第二層之隨後編碼圖像不用任何層間預估；．為該隨後編碼圖像之圖像區塊所編碼資料，該圖像區塊係至少由該參考圖像所編碼者。
  14. 如申請專利範圍13項儲存媒體，又包括在該第二層內指示該另一參考圖像之資訊者。
  15. 如申請專利範圍第13至14項任一項之儲存媒體，其中該參考圖像與該另一參考圖像，在時間上對齊者。
  16. 一種傳送裝置，包括：在多層串流內，該第二層的解碼器圖像緩衝器參考圖像所編碼資料之傳送機構，該參考圖像係由該多層串流中第一層的解碼器圖像緩衝器之另一參考圖像所編碼，其中該參考圖像有指示但不予顯示；．旗誌之傳送機構，該旗誌指示該第二層之隨後編碼圖像，不使用任何層間預估；．該隨後編碼圖像的圖像區塊所編碼資料之傳送機構，該圖像區塊係至少由該參考圖像所編碼者。
  17. 如申請專利範圍第16項之傳送裝置，其中該傳送機構又構成在該第二層內，傳送該另一參考圖像之資訊者。
  18. 如申請專利範疇第16或17項任一項之傳送裝置，其中該參考圖像與該另一參考圖像，在時間上對齊者。
TW103105750A 2013-02-22 2014-02-21 包括第一層和第二層的多層串流之圖像區塊解碼方法和解碼裝置以及編碼方法和編碼裝置 TWI621350B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13305203.5A EP2804375A1 (en) 2013-02-22 2013-02-22 Coding and decoding methods of a picture block, corresponding devices and data stream
??13305203.5 2013-02-22

Publications (2)

Publication Number Publication Date
TW201436528A TW201436528A (zh) 2014-09-16
TWI621350B true TWI621350B (zh) 2018-04-11

Family

ID=47757534

Family Applications (2)

Application Number Title Priority Date Filing Date
TW103105750A TWI621350B (zh) 2013-02-22 2014-02-21 包括第一層和第二層的多層串流之圖像區塊解碼方法和解碼裝置以及編碼方法和編碼裝置
TW103105751A TW201436529A (zh) 2013-02-22 2014-02-21 包括第一層和第二層的多層串流之圖像區塊解碼方法和解碼裝置以及編碼方法和編碼裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103105751A TW201436529A (zh) 2013-02-22 2014-02-21 包括第一層和第二層的多層串流之圖像區塊解碼方法和解碼裝置以及編碼方法和編碼裝置

Country Status (18)

Country Link
US (3) US11558629B2 (zh)
EP (3) EP2804375A1 (zh)
JP (2) JP6259472B2 (zh)
KR (1) KR102114520B1 (zh)
CN (2) CN110087100B (zh)
AU (1) AU2014220852C1 (zh)
BR (1) BR112015020060B1 (zh)
CA (1) CA2899280C (zh)
HK (2) HK1218195A1 (zh)
IL (1) IL240137A0 (zh)
MX (2) MX359389B (zh)
MY (1) MY175386A (zh)
PH (1) PH12015501680B1 (zh)
RU (2) RU2768261C2 (zh)
SG (1) SG11201505696XA (zh)
TW (2) TWI621350B (zh)
WO (2) WO2014128081A1 (zh)
ZA (1) ZA201505086B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2804375A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
EP2804374A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
CN109493304B (zh) * 2017-09-13 2022-11-08 腾讯科技（深圳）有限公司 一种图像数据处理方法以及装置
US11758193B2 (en) * 2019-11-04 2023-09-12 Hfi Innovation Inc. Signaling high-level information in video and image coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014349A1 (en) * 2005-06-03 2007-01-18 Nokia Corporation Residual prediction mode in scalable video coding
CN101094406A (zh) * 2007-07-23 2007-12-26 北京中星微电子有限公司 一种视频数据流的传输方法及装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614952A (en) 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US6480541B1 (en) 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
JP2000059793A (ja) 1998-08-07 2000-02-25 Sony Corp 画像復号装置及び画像復号方法
FR2782437B1 (fr) 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US7017176B1 (en) 1999-06-10 2006-03-21 Cisco Technology, Inc. Data transmission over multiple upstream channels within a cable modem system
US20060093045A1 (en) 1999-06-29 2006-05-04 Roger Anderson Method and apparatus for splicing
US6574273B1 (en) 2000-01-12 2003-06-03 Sony Corporation Method and apparatus for decoding MPEG video signals with continuous data transfer
US6850568B1 (en) 2000-01-12 2005-02-01 Sony Corporation Method and apparatus for decoding mpeg video signals
US6542541B1 (en) 2000-01-12 2003-04-01 Sony Corporation Method and apparatus for decoding MPEG video signals using multiple data transfer units
US6920175B2 (en) 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
US20020122491A1 (en) 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
KR100878812B1 (ko) 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
JP4574444B2 (ja) 2005-05-27 2010-11-04 キヤノン株式会社 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
US8335226B2 (en) 2005-08-03 2012-12-18 Broadcom Corporation Systems and methods to transmit information among a plurality of physical upstream channels
EP1952631A4 (en) * 2005-09-07 2012-11-21 Vidyo Inc SYSTEM AND METHOD FOR SCALABLE AND DECELERATING VIDEO CONFERENCES WITH SCALABLE VIDEO CODING
WO2007042914A1 (en) * 2005-10-11 2007-04-19 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
US8213452B2 (en) 2006-07-18 2012-07-03 Broadcom Corporation Optimized scheduling method using ordered grants from a central controller
US8311102B2 (en) 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
CN101401430B (zh) * 2006-11-17 2012-02-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US20080212673A1 (en) 2007-03-01 2008-09-04 Peisong Chen Systems and Methods for Adaptively Determining I Frames for Acquisition and Base and Enhancement Layer Balancing
US8638852B2 (en) 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
US8126054B2 (en) 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
WO2009136681A1 (en) 2008-05-08 2009-11-12 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for displaying image
US20100118938A1 (en) * 2008-11-12 2010-05-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoder and method for generating a stream of data
US8201207B2 (en) 2008-12-15 2012-06-12 Cisco Technology, Inc. Apparatus and methods for moving cable modems between upstream channels
US20100226437A1 (en) 2009-03-06 2010-09-09 Sony Corporation, A Japanese Corporation Reduced-resolution decoding of avc bit streams for transcoding or display at lower resolution
KR101749897B1 (ko) 2009-09-04 2017-06-22 코닌클리케 필립스 엔.브이. 스케일러블 이미지 코딩 및 디코딩
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US9813738B2 (en) 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
WO2012173440A2 (ko) 2011-06-15 2012-12-20 한국전자통신연구원 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
US9686544B2 (en) * 2011-06-15 2017-06-20 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
EP2727362A4 (en) 2011-06-30 2015-10-21 Vidyo Inc MOTION FORECASTING IN A SCALABLE VIDEO CODING
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
DK2803191T3 (da) 2012-01-13 2021-07-19 Interdigital Madison Patent Holdings Fremgangsmåde og indretning til kodning af en billedblok, tilsvarende fremgangsmåde og afkodningsindretning
EP2804374A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
EP2804375A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
WO2015085575A1 (en) 2013-12-13 2015-06-18 Mediatek Singapore Pte. Ltd. Methods for background residual prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014349A1 (en) * 2005-06-03 2007-01-18 Nokia Corporation Residual prediction mode in scalable video coding
CN101094406A (zh) * 2007-07-23 2007-12-26 北京中星微电子有限公司 一种视频数据流的传输方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M. GHANBARI, "Two-layer coding of video signals for VBR networks", IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS, VOL. 7, NO. 5, 1989/06/30, *
Xiaosong Zhou, "Efficient Bit Stream Switching of H.264 Coded Video",Proc. SPIE 5909, Applications of Digital Image Processing XXVIII, 590911, 2005/09/16 *
Xiaosong Zhou, "Efficient Bit Stream Switching of H.264 Coded Video",Proc. SPIE 5909, Applications of Digital Image Processing XXVIII, 590911, 2005/09/16,

Also Published As

Publication number Publication date
US20160007034A1 (en) 2016-01-07
EP2959689B1 (en) 2022-06-22
HK1218196A1 (zh) 2017-02-03
CN110087100B (zh) 2021-09-07
CN110087100A (zh) 2019-08-02
EP2804375A1 (en) 2014-11-19
US20230156208A1 (en) 2023-05-18
JP2016511592A (ja) 2016-04-14
AU2014220852C1 (en) 2018-02-15
RU2663336C2 (ru) 2018-08-03
ZA201505086B (en) 2018-12-19
RU2768261C2 (ru) 2022-03-23
AU2014220852A1 (en) 2015-09-17
MY175386A (en) 2020-06-23
US20230362396A1 (en) 2023-11-09
IL240137A0 (en) 2015-09-24
RU2018126358A3 (zh) 2022-01-10
RU2015140121A (ru) 2017-03-28
CN105191318B (zh) 2019-05-10
BR112015020060B1 (pt) 2023-04-04
EP2959689A1 (en) 2015-12-30
WO2014128082A1 (en) 2014-08-28
MX359389B (es) 2018-09-27
EP4087250A1 (en) 2022-11-09
CA2899280C (en) 2021-06-08
KR20150120995A (ko) 2015-10-28
JP6259472B2 (ja) 2018-01-10
MX2018011400A (es) 2020-11-06
TW201436528A (zh) 2014-09-16
CA2899280A1 (en) 2014-08-28
JP2018078585A (ja) 2018-05-17
TW201436529A (zh) 2014-09-16
BR112015020060A2 (pt) 2017-07-18
SG11201505696XA (en) 2015-08-28
WO2014128081A1 (en) 2014-08-28
JP6700239B2 (ja) 2020-05-27
MX2015010626A (es) 2016-03-16
PH12015501680A1 (en) 2015-10-19
CN105191318A (zh) 2015-12-23
US11558629B2 (en) 2023-01-17
KR102114520B1 (ko) 2020-05-22
AU2014220852B2 (en) 2017-08-31
RU2018126358A (ru) 2019-03-12
US11750830B2 (en) 2023-09-05
PH12015501680B1 (en) 2015-10-19
HK1218195A1 (zh) 2017-02-03

Similar Documents

Publication Publication Date Title
US9380313B2 (en) Techniques for describing temporal coding structure
US11750830B2 (en) Coding and decoding methods of a picture block, corresponding devices and data stream
EP2959688B1 (en) Coding and decoding of a picture block
DK2946556T3 (en) DECODES AND CODES AND PROCEDURES FOR CODEING A VIDEO SEQUENCE
CN113545066B (zh) 视频码流解码方法和解码器、编码器以及电子设备
KR20200140857A (ko) 미디어 코딩에서의 복수의 적합성 포인트를 위한 기술
CN113491128B (zh) 已解码图片存储器管理的方法和相关装置