TWI499306B - 即時視訊傳輸系統內之同步圖框復原 - Google Patents

即時視訊傳輸系統內之同步圖框復原 Download PDF

Info

Publication number
TWI499306B
TWI499306B TW102120406A TW102120406A TWI499306B TW I499306 B TWI499306 B TW I499306B TW 102120406 A TW102120406 A TW 102120406A TW 102120406 A TW102120406 A TW 102120406A TW I499306 B TWI499306 B TW I499306B
Authority
TW
Taiwan
Prior art keywords
frame
encoded
frames
decoder
encoder
Prior art date
Application number
TW102120406A
Other languages
English (en)
Other versions
TW201408075A (zh
Inventor
Athanasios Leontaris
Haitao Guo
Xiaojin Shi
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201408075A publication Critical patent/TW201408075A/zh
Application granted granted Critical
Publication of TWI499306B publication Critical patent/TWI499306B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

即時視訊傳輸系統內之同步圖框復原 相關申請案之交叉參考
本申請案主張2012年6月8日申請之題為「Sync Frame Recovery in Real Time Video Transmission System」的美國臨時專利申請案第61/657,609號之優先權，該案之揭示內容以全文引用之方式併入本文中。
許多視訊壓縮標準(例如，H.264)已廣泛用於即時視訊傳輸系統中以滿足網路頻寬要求。此等系統中之主要挑戰中的一者係停止錯誤傳播及自傳輸錯誤復原。在典型解決方案中，當偵測到傳輸錯誤時，視訊編碼器將「同步點」嵌入視訊流中。同步點係自編碼器與解碼器之間的已知優良開始點(若存在)抑或從頭開始(例如，瞬時解碼器再新(「IDR」)圖框)來編碼視訊的經編碼圖框。因此，同步圖框停止錯誤傳播。然而，此方法僅在可接收到同步點且可藉由視訊解碼器來恰當地處理該同步點時才起作用，而該同步點並非總是出現在實務通信環境中。存在即使當同步圖框由解碼器恰當地接收且得到編碼器應答時仍不能停止錯誤傳播的各種情況。
在現代壓縮標準中，視訊解碼器通常經由攜載於圖框/切片語法內且用以標記每一參考圖框的圖框索引資訊來使參考圖框彼此區分。 此資訊通常由用以識別圖框之顯示及編碼次序的幾個數字組成。舉例而言，在H.264中，「frame_num」參數(主要地)及圖像次序計數(「POC」)(次要地)係用於此目的之數字。對於當前正由ITU-T及ISO/IEC開發之HEVC標準而言，POC欄位係用於相同目的。為節約位元，編碼器及解碼器約束用以識別此等參考圖框之位元的數目。舉例而言，在H.264中，將8個位元用於frame_num參數允許該參數取0至255中的任何值。一旦索引達到256，其便繞回並取值0。
當發生網路錯誤時，視訊圖框之大的連續段將在網路傳輸層抑或媒體傳送層中被丟棄係可能的。在一種情況中，此可由影響網路傳輸層之嚴重網路錯誤引起。為減小頻寬，編碼協定不需要由傳輸層應答所有經編碼參考圖框且因此，編碼器可能不具有對在接收器側處之參考圖像緩衝器之狀態的精確估計。在另一種情況中，網路錯誤可為適度的，從而導致網路傳輸層中之單一隔離圖框之丟失。然而，在發送器側處，除非編碼器產生一新同步圖框使得錯誤可停止，否則傳輸緩衝器中之按照編碼次序而位於有問題之圖框後面的所有圖框將被連續地丟棄，因為該等圖框引用一錯誤之參考圖框。在一不同情況中，網路錯誤可為適度的且在一丟失之圖框後面之圖框的段到編碼器被通知該錯誤時可能已自發送器發送出(因為發送器係在某一延遲的情況下被通知傳輸錯誤)。然而，在接收器側處，由於先前圖框被標記為丟失，所以接收器可按照編碼次序丟棄所有後面之圖框(即使該等圖框被正確地接收)，因為該等圖框歸因於參考圖框之丟失而不能加以恰當地重新建構。因此，即使當網路錯誤條件適度時，圖框之大段仍可能被丟棄。編碼器繼續進行編碼且更新圖框索引(例如，遞增)(即使此等圖框從未到達接收器側)。取決於在發生網路錯誤的時刻與產生同步點之間而被編碼之圖框的數目，圖框索引可進行再循環。
若編碼器回應於傳輸錯誤來編碼同步圖框，則新同步圖框可具 有與參考圖框中之業已儲存於解碼器參考緩衝器中的一者或一已被接收、未在媒體傳送層處丟棄但尚未解碼的圖框相同的索引。編碼標準未規定如何處置當兩個參考圖框「發生衝突」時的情形，該等參考圖框在解碼器參考緩衝器中具有相同之圖框索引。編碼標準亦未規定當兩個連續接收之圖框具有相同索引時的解碼行為。因此，在此等狀況下之解碼器的行為係不定的及不可預測的。此可導致破壞同步圖框及假定在接收器側處自同步圖框預測的未來圖框。因此，發送同步圖框之目的失敗了。
若視訊編碼器接收到指示同步圖框已被恰當地傳遞至解碼器的應答，則編碼器/發送器可不發送/請求進一步之同步圖框。儘管存在編碼器對解碼器之參考緩衝器狀態的估計不精確的事實，但編碼器仍可再繼續普通編碼程序。因為後續視訊圖框將自同步圖框預測，所以錯誤將傳播遍及接收器側處之視訊會期的剩餘部分，此係因為系統係在不存在錯誤之「假設」下操作。
100‧‧‧編碼器/解碼器系統
110‧‧‧編碼器
111‧‧‧視訊源
112‧‧‧編碼引擎
113‧‧‧參考圖框快取記憶體
114‧‧‧位元串流傳送單元
115‧‧‧網路層處理器
120‧‧‧解碼器
121‧‧‧呈現單元
122‧‧‧解碼引擎
123‧‧‧參考圖框快取記憶體
124‧‧‧位元串流傳送單元
125‧‧‧網路層處理器
130‧‧‧網路
310‧‧‧圖框
312‧‧‧圖框
314‧‧‧新圖框
316‧‧‧新圖框
318‧‧‧新圖框
320‧‧‧新圖框
322‧‧‧新圖框
324‧‧‧圖框
326‧‧‧圖框
600‧‧‧位元串流傳送單元
610‧‧‧控制器
620‧‧‧視訊佇列
630‧‧‧佇列
640‧‧‧佇列
圖1說明根據本發明之一實施例之編碼器/解碼器系統。
圖2說明根據本發明之一實施例之方法。
圖3說明根據本發明之一實施例之經編碼圖框的例示性序列。
圖4說明根據本發明之另一實施例之方法。
圖5說明根據本發明之進一步實施例之方法。
圖6說明根據本發明之一實施例之位元串流傳送單元。
本發明之實施例提供一種錯誤復原方法，該方法可由編碼器參與以復原與解碼器之對準。當在編碼器與解碼器之間偵測到通信錯誤時，可估計存在於解碼器之參考圖像快取記憶體中之未應答參考圖框的數目。其後，可將圖框編碼為數目等於估計存在於解碼器之參考圖 像快取記憶體中之未應答參考圖框之數目的參考圖框。其後，可再繼續普通編碼操作。通常，以錯誤復原模式編碼之最終參考圖框將被編碼為具有高編碼品質之同步圖框。可以低品質來編碼在其之前的經編碼參考圖框(或可編碼為SKIP編碼圖框)。本文中將在前之圖框稱為「同步保護圖框」，因為在接收及解碼時該等圖框可導致解碼器自其參考圖像快取記憶體清空否則可與新同步圖框發生衝突的任何未應答參考圖框。以此方式，可使編碼器與解碼器之間的對準復原。
圖1為根據本發明之一實施例之編碼器/解碼器系統100的簡化方塊圖。系統100可包括經由網路130而互連的編碼器110及解碼器120。編碼器110可產生表示局域俘獲之影像資訊的視訊資料且可編碼其以用於經由網路130傳遞。網路130可將經編碼視訊傳遞至解碼器120。一些編碼協定涉及有損耗編碼技術，在該狀況下，解碼器120可產生表示源視訊之近似的經復原視訊序列。其他編碼協定可為無損耗的，在該狀況下，解碼器120可產生複製源視訊之經復原之視訊序列。在任一狀況下，解碼器120可輸出經復原之視訊序列以用於局域檢視。
在圖1中，編碼器110及解碼器120可提供於多種計算平台內，該等計算平台包括伺服器、個人電腦、膝上型電腦、平板電腦、智慧型電話、媒體播放器及/或專用視訊電話會議設備。網路130表示在編碼器110與解碼器120當中輸送經編碼視訊資料的任何數目之網路，包括(例如)有線及/或無線通信網路。通信網路可在電路交換及/或封包交換通道中交換資料。代表性網路包括電信網路、區域網路、廣域網路及/或網際網路。出於本論述之目的，除非下文作出解釋，否則網路130之架構及拓撲對於本發明之操作係無關緊要的。
編碼器110可包括視訊源111、編碼引擎112、參考圖框快取記憶體113、位元串流傳送單元114及網路層處理器115。視訊源111可產生用於編碼之視訊序列。典型視訊源111包括自局域俘獲之影像資訊產 生視訊的攝影機及其中可儲存有視訊的儲存器件或螢幕緩衝器(未圖示)(例如，用於媒體伺服應用)。編碼引擎112可根據運動補償或框內預測編碼來編碼視訊資料之圖框。參考圖框快取記憶體113可儲存藉由編碼引擎112而自被標記為參考圖框之經編碼圖框獲得的經解碼視訊資料以供在其他圖框之預測性編碼中使用。編碼引擎112可使用在解碼引擎122處被完全複製之程序來產生經解碼視訊資料，從而在無傳輸或系統(媒體傳送)錯誤的情況下產生相同之經解碼視訊資料。因此，編碼器112可包括為解碼器122內之功能性之超集的功能性，因為編碼器112可複製解碼功能。位元串流傳送單元114可儲存經編碼視訊資料(當該經編碼視訊資料由編碼引擎112輸出且等待經由網路130傳輸時)。網路層處理器115可管理視訊資料經由網路通道至解碼器120之傳達。
解碼器120可包括呈現單元121、解碼引擎122、參考圖框快取記憶體123、位元串流傳送單元124及網路層處理器125。此等組件反轉編碼器110之操作。網路層處理器125可管理對經由網路130自編碼器110接收之資料的接收。位元串流傳送單元124可將接收之資料儲存於佇列(未圖示)中、可將資料剖析為分量資料串流且可將經編碼視訊資料轉遞至解碼引擎122。解碼引擎122可反轉由編碼引擎112應用之編碼程序且自其產生經解碼視訊。解碼引擎122可將經復原之視訊資料輸出至呈現單元121以供消耗。呈現單元121可為可輸出有經復原之視訊資料的顯示器、儲存器件或按比例調整器(未圖示)。解碼引擎122可將參考圖框之經復原之視訊資料輸出至參考圖框快取記憶體123，該參考圖框快取記憶體123可儲存經解碼參考圖框以供在稍後之解碼操作中使用。
圖1亦示意性地說明參考圖框快取記憶體113、123之項目。快取記憶體113、123各自可具有足夠容量以儲存預定數目之參考圖框。編 碼器110及解碼器120根據經設計以確保其快取記憶體113、123在通道錯誤不存在的情況下同步操作的共同快取記憶體管理策略而操作。當發生導致丟失經編碼參考圖框之傳輸錯誤時，解碼器之參考圖框快取記憶體123通常將丟失與編碼器之參考圖框快取記憶體113的同步。
系統100可支援兩種不同類型之參考圖框。「已應答圖框」係由解碼器/網路傳輸層120經由發信號而應答且一旦經應答便向編碼器110證實已被恰當地儲存於解碼器120之參考圖框快取記憶體123中的圖框。「未應答圖框」係未由解碼器/網路傳輸層120如此應答且因此未向編碼器110證實已被恰當地儲存於解碼器120之參考圖框快取記憶體123中的圖框。
參考圖框快取記憶體113、123可儲存與每一參考圖框相關聯之識別符。圖框ID通常係得自存在於經編碼視訊資料中且與每一圖框相關聯之識別符。舉例而言，在H.264及即將到來的HEVC(當前尚在起草中)視訊編碼標準中，每一圖框基於該圖框在GOP內之位置而指派有識別符，該識別符可與其顯示或編碼次序相關聯。GOP係可在不對GOP外部之任何圖框作任何參考的情況下解碼的序列之子集。每一GOP中之第一圖框通常重設此等識別符。在第一圖框後面之GOP參考圖框通常將使先前圖框索引遞增。歸因於對寫入至位元串流之圖框ID的限制，此等識別符之值的範圍常常不足以確保用於GOP中之所有圖框的獨特索引。該等索引可再循環。參考圖框快取記憶體可儲存得自圖框之位置識別符之最低有效數位的識別符。因此，其他參考圖框(不管其係來自同一GOP還是其他GOP)在儲存於參考圖框快取記憶體113、123中時可具有相同之圖框ID。其他編碼協定(例如，未來編碼標準)可經由其他程序來得出其圖框ID。
在操作期間，輸入視訊資料之圖框可由編碼引擎112編碼且輸入至位元串流傳送單元114。位元串流傳送單元114可包括用以儲存經編 碼視訊資料直至其將被傳輸的一緩衝器(未圖示)且可包括用以將經編碼視訊資料與其他資料串流(諸如音訊資料及/或後設資料(亦未圖示))一起合併至通道位元串流中以供傳輸的子系統。網路層處理器115可擷取通道位元串流資料、將其格式化以用於經由網路130傳遞且將經格式化資料傳輸至網路130。
網路層處理器115亦可(經由網路130)自網路130及/或解碼器120接收關於可在通道位元串流上出現之傳輸或位元串流傳送層錯誤的指示符。網路層處理器115可將錯誤指示提供至編碼引擎112及/或位元串流傳送單元114。為作出回應，編碼引擎112可參與如本文中所描述之錯誤復原程序。位元串流傳送單元114亦可藉由清除等待傳輸之經編碼資料的位元串流傳送單元114之佇列來回應於錯誤通知，如本文中所描述。
解碼器120之網路層處理器125可管理與網路130之通信。在傳輸錯誤不存在的情況下，網路層處理器125可接收通道位元串流且將位元串流轉遞至局域位元串流傳送單元124。當發生傳輸錯誤時，網路層處理器125可經由網路130向編碼器110報告錯誤指示符。位元串流傳送單元124可將接收之資料儲存於佇列(未圖示)中，將資料剖析成分量資料串流(諸如經編碼視訊流、經編碼音訊流等)。位元串流傳送單元124可將經編碼視訊資料轉遞至解碼引擎122。當解碼引擎122解碼被標記為需要向編碼器110應答的參考圖框時，解碼器120可產生經由位元串流傳送單元124及網路層125而傳輸至編碼器110(圖1中未展示路徑)的應答訊息。
圖2說明根據本發明之一實施例之用於回應於通道錯誤的方法200。根據方法200，當發生通道錯誤時，編碼器可估計很可能被儲存於解碼器處之未應答圖框的數目(方框210)。為作出回應，編碼器編碼若干同步保護圖框且將其標記為參考圖框(方框220)。編碼器可將 同步保護圖框傳輸至解碼器(方框230)。其後，編碼器可將新輸入圖框編碼為同步圖框(方框240)且可將同步圖框傳輸至解碼器(方框250)。其後，編碼器可將同步圖框用作預測之基礎來再繼續正常預測性編碼操作(方框260)。當編碼器執行其編碼操作時，其可受到約束以防止任何同步保護圖框充當其他圖框之預測參考。
圖2之方法適用於在傳輸錯誤可導致解碼器120處之參考圖框快取記憶體123(圖1)丟失與編碼器110處之參考圖框快取記憶體113的同步的情況。在此等情況中，因為參考圖框ID在編碼會期內非為獨特的，所以有可能在不進行補救的情況下解碼器可不恰當地使用預測參考且自不正確之參考圖框擷取資料。
舉例而言，若連續的一組圖框被丟失(包括被標記為參考圖框之圖框)，則解碼器將永不解碼該組圖框且因此將其經重新建構之視訊資料儲存於其參考圖框快取記憶體中。若將丟失之參考圖框用作預測之基礎來編碼新圖框，則有可能解碼器參考圖框快取記憶體將在其適當位置含有一與先前得以成功地解碼之某一其他組圖框不同的參考圖框，其匹配針對新圖框所指示之預測參考。在H.264中，使用不直接依賴圖框ID之參考索引來指示預測參考。因此，即使錯誤及原始參考圖框具有不同圖框ID，仍可使用錯誤參考。在即將到來之HEVC標準中，參考指示直接依賴圖框ID，因此解碼器可偵測錯誤。然而，若圖框ID匹配，則其將仍使用錯誤參考。在任一狀況下，解碼器120將使用某一錯誤參考圖像而自參考圖框快取記憶體擷取資料。此等情況可出現在許多使用狀況中(例如，在具有延長之網路延遲的編碼環境中，或在解碼器處之位元串流傳送單元經歷故障且經編碼資料丟失或破壞的系統中)。
圖2之方法克服此等錯誤條件。當編碼器110(圖1)偵測到已發生通道錯誤或解碼器之參考圖像快取記憶體可相對於編碼器之參考圖像 快取記憶體而未對準時，編碼器110可估計駐留於解碼器之參考圖像快取記憶體中之未應答圖框的數目N(方框210)。編碼器110可藉由檢查其自己的參考圖框快取記憶體113(圖1)且估計位於其中之已應答圖框的數目A來完成此。未應答圖框之數目N可得自參考圖框快取記憶體113之深度D減去儲存於其中之已應答圖框的數目A。藉由編碼並傳輸數個同步保護圖框以匹配儲存於參考圖框快取記憶體113中之未應答圖框的數目(方框220、230)，編碼器110可確保同步保護圖框自解碼器之參考圖框快取記憶體123清空所有未應答圖框。
此方法適於使用解碼器參考快取記憶體、允許參考圖框索引發生衝突(不管是否歸因於網路錯誤)且試圖使用同步圖框來停止錯誤傳播的任何編碼器/解碼器系統。舉例而言，該方法適於根據MPEG-2、MPEG-4、H.264、SVC及HEVC編碼協定來操作的編碼器/解碼器系統。然而，該等標準在將圖框指定為參考之方式上不同。H.264中之參考圖框係用圖框中之旗標指示，而在HEVC中，參考圖框係用臨時層指示旗標及後續圖框之參考圖像組中之圖框的識別符指示以確保其停留於參考圖框快取記憶體中。事實上，在一基於HEVC之實施例中，代替發送同步保護圖框，編碼器可藉由僅在同步圖框及後續圖框之參考圖像組中發信號已應答圖框來實現相同之效應。
或者，編碼器110可將同步保護圖框之數目編碼為比編碼器中之未應答圖框之數目小一(N-1)。當編碼器110先驗知道解碼器120處置參考圖框衝突之方式以及知道已應答圖框之當前數目時，此實施例變得適合。舉例而言，當編碼器110自編碼協定(其在該編碼協定下操作)之慣例抑或自解碼器120所提供之發信號證實解碼器120未將不同圖框與相同之圖框索引組合在一起時，編碼器110可將同步保護圖框之數目編碼為未應答圖框之數目減去1。在此情況中，當由解碼器接收時，同步保護圖框將清空先於傳輸錯誤之所有未應答圖框(除一個 未應答圖框以外)。當編碼器編碼並傳輸同步圖框時，該同步圖框將清空先於傳輸錯誤之未應答圖框中的最後者。
可將同步圖框編碼為瞬時解碼器再新(「IDR」)圖框或I圖框。在一些實施例中，同步圖框可經編碼為P圖框，該P圖框將由解碼器儲存之已應答圖框引用為預測參考。可將同步圖框標記為參考圖框。編碼器110具有將經編碼之同步圖框標記為必須由解碼器120應答之圖框的判斷力。期待在許多應用中經編碼之同步圖框將被標記為必須由解碼器120應答之圖框，因此編碼器110證實錯誤條件已得到補救。
在一實施例中，同步保護圖框可經編碼以具有有限之大小。舉例而言，可在MPEG-2、MPEG-4部分2、H.264及/或HEVC編碼標準下將同步保護圖框編碼為SKIP圖框。SKIP圖框按照慣例僅由解碼器120解譯以重複在前之圖框的影像內容。使用SKIP圖框在回應於此等錯誤條件方面具有兩個優點。首先，SKIP圖框通常每圖框經編碼有數目非常有限的位元，此准許編碼器110及解碼器120以有限之發信號及附加項自錯誤條件復原。
第二，當解碼SKIP圖框時，該等SKIP圖框係參考最近解碼之參考圖框而解碼。當發生導致解碼器120不再輸出圖框的錯誤時，解碼器120處之呈現應用程式(未圖示)通常選擇重複顯示最近解碼之圖框。由於編碼器110不知道在傳輸錯誤出現時正顯示哪一圖框，所以發送具有與所顯示之視訊內容不同之視訊內容的新經編碼視訊可潛在地在解碼器處產生內容不連續性。然而，使用SKIP圖框允許解碼器120複製所顯示之影像並顯示其。因此，不管正顯示之影像內容或解碼器120之狀態，SKIP圖框均可導致解碼器120在錯誤出現前重複顯示最近顯示之圖框。因此，SKIP模式同步保護圖框允許編碼器110及解碼器120以保持連續性(其中影像內容在出現錯誤時顯示於解碼器處)之方式自傳輸錯誤得體地復原。
同步保護圖框未受約束以編碼為SKIP編碼圖框且本發明之其他實施例准許同步保護圖框編碼為I圖框、P圖框或B圖框。當同步保護圖框經編碼為P圖框或B圖框時，編碼器可參考由編碼器之編碼引擎112知道之已應答參考圖框來編碼該等同步保護圖框以保持存在於解碼器之參考圖像快取記憶體123處。然而，在此等實施例中，將同步保護圖框編碼為I圖框、P圖框或B圖框提高了在呈現期間將在螢幕上顯示閃光或其他破壞現象的可能性。然而，即使在短暫之內容閃光的情況下，I、P或B編碼同步保護圖框仍將達到保護將在稍後傳輸之同步圖框的目的。當解碼I、P或B編碼同步保護圖框時，I、P或B編碼同步保護圖框將儲存於解碼器之參考圖像快取記憶體123中且將促成驅逐先前儲存之未應答參考圖框。
在另一實施例中，編碼器可將圖框編碼為框間編碼圖框(例如，P或B圖框)但強加零值運動向量及零值編碼區塊型樣(CBP)從而防止預測殘餘被編碼，而非將同步保護圖框編碼為SKIP編碼圖框。
在另一實施例中，當使用可調式視訊編碼時，編碼器110可使用基礎層及增強層資料(其中零值殘餘位於增強層中)來編碼同步保護圖框。
在進一步實施例中，編碼器110可將同步保護圖框編碼為P或B圖框，其中所有巨集區塊指派有SKIP模式。
另一方法係將長期參考(「LTR」)圖框發送作為同步保護圖框。該等LTR圖框將達到清空解碼器之參考圖像快取記憶體的目的。一旦先前儲存之未應答圖框全部自快取記憶體驅逐且已傳輸同步圖框，編碼器120便可發送記憶體管理控制操作(「MMCO」)命令以自解碼器之參考圖像快取記憶體驅逐LTR圖框。
在另一方法中(其中解碼器操作係在受控制之系統中且可經修改以脫離嚴格標準(亦即，H.264)規格)，可發送SEI訊息以迫使解碼器自 其DPB清空所有短期參考圖框或未應答圖框之清單。
圖3說明根據本發明之一實施例之經編碼圖框的例示性序列，該序列自圖1之例示性參考快取記憶體狀態起作用。如所說明，圖框310、312表示可在錯誤發生之前發生的編碼操作。若圖框310、312所依賴以用於預測的圖框經估計為作為傳輸錯誤之部分而丟失，則圖框310、312之編碼表示可不由網路層處理器來傳輸。
傳輸錯誤被展示為在圖框312之編碼後被偵測到。此時，如圖1中所示，編碼器110可基於快取記憶體之深度D及儲存於快取記憶體中之已應答圖框的數目A來估計儲存於解碼器參考圖框快取記憶體123處之未應答圖框的數目N。在此實例中，N=5。
其後，編碼器110可經由編碼引擎112來編碼新圖框314至322之數目(N=5)且使其標記為參考圖框。此等圖框314至322為同步保護圖框。編碼引擎112可將經編碼之同步保護圖框輸出至位元串流傳送單元114。在一實施例中，編碼引擎112可向位元串流傳送單元114指定同步保護圖框必須由網路層處理器115傳輸(例如，該等同步保護圖框不能自位元串流傳送單元114中之佇列驅逐)。
圖框324表示按照方框240至250(圖2)而被編碼及傳輸的同步圖框。
在圖框326處開始，編碼器可將同步圖框及/或先前儲存之已應答圖框用作預測之基礎來再繼續普通編碼操作。
圖4說明根據本發明之另一實施例之用於回應於通道錯誤的方法400。根據方法400，當通道錯誤發生時，編碼器可估計很可能被儲存於解碼器處之未應答圖框的數目(方框410)。為作出回應，編碼器可編碼一預定數目之新圖框且將其標記為參考圖框(方框420)。此等圖框為同步保護圖框。可使用上文所描述之程序來編碼該等同步保護圖框。編碼器可將同步保護圖框傳輸至解碼器(方框430)。其後，編碼 器可將已應答圖框用作預測之基礎來再繼續正常預測性編碼操作(方框440)。當編碼器執行其編碼操作時，編碼器可受約束以防止同步保護圖框中之任一者充當其他圖框之預測參考。
圖4之方法提供與圖2之方法類似之優點而無需來自同步圖框之編碼及傳輸的任何附加項。在兩種方法中，編碼器可使同步保護沒資格充當其他圖框之預測參考(儘管其在通道位元串流中被指定為參考圖框)。一旦同步保護圖框驅逐可能已儲存於解碼器之參考圖框快取記憶體中的任何未應答圖框且只要同步保護圖框未用於預測其他圖框，編碼器便可另外再繼續正常編碼操作。
圖5說明根據本發明之另一實施例之方法。在此實施例中，方法500可估計已歸因於錯誤事件而丟失之圖框的數目且評估是否可能已發生圖框衝突。若(例如)圖框ID在被丟失之圖框的跨度內未再循環，則同步保護圖框可非為必要的。
如圖5中所說明，當網路錯誤發生時，方法500可將待編碼之當前圖框的識別符與存在於編碼器之參考圖像快取記憶體中之最近已應答參考圖框的對應識別符相比較(方框510)。方法500可判定識別符是否在最近應答之參考圖框與當前圖框之間再循環(方框520)。若未如此，則不存在衝突的危險。該方法可編碼一新的同步圖框(方框530)且傳輸該新的同步圖框(方框540)，接著返回至普通編碼操作(方框550)。若識別符被再循環，則方法500可參與操作以抵消參考圖框識別符之可能之衝突。在圖5中所說明之實例中，方框560至580對應於圖2之方框210至230的操作。或者，方法500可參與圖4之操作。
圖6係根據本發明之一實施例之位元串流傳送單元600的簡化方塊圖。位元串流傳送單元600可包括控制器610及待傳輸至解碼器之不同類型之資料的複數個傳輸佇列。控制器610可自編碼引擎接收經編碼視訊資料且可將經編碼視訊資料儲存於視訊佇列620中。位元串流 傳送單元600亦可自其他源接收資料(諸如音訊資料)，且可將其儲存於各別佇列630、640中。在傳輸期間，控制器610可自各別佇列620至640擷取資料，將其格式化為傳遞單元(本文中稱為「封包」)且將其輸出至網路層。
關於視訊佇列620，位元串流傳送單元600可將經編碼圖框之資料儲存於儲存器中以等待傳輸。雖然圖6中未說明，但不同之經編碼圖框可具有不同位元大小。位元串流傳送單元600可辨識經編碼圖框之間用於儲存及擷取目的的分區。位元串流傳送單元600亦可參與藉由編碼引擎發信號以允許編碼引擎將不同經編碼圖框標記為具有高或低之傳輸優先權，或標記為在傳輸之前可自或不可自佇列620驅逐的組成圖框或標記為表示參考圖框對非參考圖框。在一實施例中，控制器610可很好地解譯來自編碼引擎之經編碼視訊資料以辨識同步圖框及參考圖框，此准許控制器610在無來自編碼引擎之快速發信號的情況下自主地辨識此等圖框。
在一實施例中，當網路層處理器向位元串流傳送單元600報告錯誤時，位元串流傳送單元600可自視訊佇列620驅逐所有圖框。如此做避免了傳輸很可能將丟失之參考圖框引用為預測源的經編碼圖框。
本發明之其他實施例准許編碼引擎及位元串流傳送單元600以協作之方式工作以自傳輸錯誤復原。舉例而言： 在一實施例中，控制器610可將被標記為參考圖框之圖框保持於視訊佇列620中，從而清空非參考圖框。在此實施例中，可將參考圖框傳輸至解碼器。另外，位元串流傳送單元600可向編碼引擎報告在佇列中未決之參考圖框的數目，該編碼引擎可將該等參考圖框視作同步預測圖框以用於達成錯誤復原目的。假設，若編碼器判定編碼五個同步保護圖框以自錯誤復原但位元串流傳送單元600在錯誤發生時儲存兩個參考圖框，則編碼器僅需要編碼三個同步保護圖框以確保解碼 器之參考圖像快取記憶體已被清空。此實施例避免否則可能在編碼完整數目之同步保護圖框的情況下招致的潛時。
在另一實施例中，控制器610可判定視訊佇列620是否儲存可用於傳輸之IDR圖框。在此狀況下，位元串流傳送單元600可將IDR圖框及所有後續編碼之圖框傳輸至解碼器。位元串流傳送單元600可藉由編碼引擎而參與發信號以防止參與錯誤復原程序。IDR自身可重設解碼器之編碼狀態。
以上論述已在編碼器及解碼器之內容脈絡中描述本發明之實施例之操作。通常，視訊編碼器及解碼器經提供為電子器件。該等器件可體現於積體電路(諸如特殊應用積體電路)、場可程式化閘陣列及/或數位信號處理器中。或者，該等器件可體現於執行於個人電腦、筆記型電腦、電腦伺服器或行動器件(諸如智慧型電話及平板電腦)上的電腦程式中。類似地，解碼器可體現於積體電路(諸如特殊應用積體電路)、場可程式化閘陣列及/或數位信號處理器中，或解碼器可體現於執行於個人電腦、筆記型電腦、電腦伺服器或行動器件(諸如智慧型電話及平板電腦)上的電腦程式中。解碼器通常被封裝於消費型電子器件中，諸如遊戲系統、DVD播放器、攜帶型媒體播放器及其類似者且解碼器亦可封裝於消費型軟體應用程式中，諸如視訊遊戲、基於瀏覽器之媒體播放器及其類似者。
此外，單一編碼器/解碼器對可支援僅在一個方向上自編碼器110(圖1)至解碼器120之視訊傳遞。許多器件支援經編碼視訊之雙向傳輸。對於資料之雙向傳輸而言，每一器件可包括編碼器與解碼器兩者。該器件將包括一編碼器以自局域俘獲之視訊產生視訊資料且對其進行編碼以用於傳遞至另一器件。同一器件將包括一解碼器以自其他器件接收經編碼資料、自其解碼視訊且在局域顯示器件處顯示經解碼視訊。此等器件可包括與前述論述一致之編碼器側組件及解碼器側組 件。
本文具體說明及/或描述了本發明之若干實施例。然而，將瞭解，在不脫離本發明之精神及預期範疇的情況下，本發明之修改及改變可由上述教示涵蓋且在所附申請專利範圍之範圍內。

Claims (29)

  1. 一種用於一視訊編碼器之錯誤保護方法，其包含：當在一編碼器與一解碼器之間偵測到一通信錯誤時，估計存在於該解碼器之參考圖像快取記憶體中之未應答參考圖框的一數目，將一數目至少等於未應答參考圖框之該數目的圖框編碼為參考圖框，及其後，再繼續普通編碼操作。
  2. 如請求項1之錯誤保護方法，其中未應答圖框之該估計數目係自一局域參考圖像快取記憶體之一深度減去儲存於其中之已應答參考圖框之一數目取得。
  3. 如請求項1之錯誤保護方法，其中該等經編碼參考圖框中之至少一者被編碼為一SKIP圖框。
  4. 如請求項1之錯誤保護方法，其中當估計未應答參考圖框之一複數數目時，一數目至少等於該估計數目之參考圖框被編碼為SKIP圖框。
  5. 如請求項1之錯誤保護方法，其中當估計未應答參考圖框之一複數數目時，一數目至少等於該估計數目減一的參考圖框被編碼為SKIP圖框且一最終參考圖框係以不同於一SKIP模式編碼圖框之一模式而被編碼。
  6. 如請求項1之錯誤保護方法，其中該等經編碼參考圖框中之至少一者不具有經編碼之影像內容。
  7. 一種用於一視訊編碼器之錯誤保護方法，其包含：當在一編碼器與一解碼器之間偵測到一通信錯誤時，估計存在於該解碼器之參考圖像快取記憶體中之未應答參考圖框的一 數目，估計一新近編碼圖框之一圖像識別符可與一解碼器之參考圖像快取記憶體中之一未應答參考圖框的圖像識別符發生衝突的一機率，若有必要，則基於該所估計之機率而將一數目至少等於未應答參考圖框之該數目的圖框編碼為參考圖框，及其後，再繼續普通編碼操作。
  8. 如請求項7之錯誤保護方法，其中未應答圖框之該估計數目係自一局域參考圖像快取記憶體之一深度減去儲存於其中之已應答參考圖框之一數目取得。
  9. 如請求項7之錯誤保護方法，其中該等經編碼參考圖框中之至少一者被編碼為一SKIP圖框。
  10. 如請求項7之錯誤保護方法，其中當估計未應答參考圖框之一複數數目時，一數目等於該估計數目之參考圖框被編碼為SKIP圖框。
  11. 一種用於一視訊編碼器之錯誤保護方法，其包含：當在一編碼器與一解碼器之間偵測到一通信錯誤時，判定該編碼器是否具有被編碼為一IDR圖框之等待傳輸的一經編碼圖框，若該編碼器具有等待傳輸之一經編碼IDR圖框，則傳輸該經編碼IDR圖框，及其後，相對於在該IDR圖框後面之一圖框而以預測之方式編碼新圖框，若該編碼器不具有一等待傳輸之經編碼IDR圖框，則估計存在於該解碼器之參考圖像快取記憶體中之未應答參考圖框的一數目， 將一數目等於未應答參考圖框之該數目的圖框編碼為參考圖框，及其後，再繼續普通編碼操作。
  12. 一種用於一視訊編碼器之錯誤保護方法，其包含：當在一編碼器與一解碼器之間偵測到一通信錯誤時，清空該編碼器處之一傳輸佇列中的圖框，該等圖框取決於未應答參考圖框，在該傳輸佇列中傳輸取決於已應答參考圖框之任何經編碼圖框，其後，考慮到取決於已應答參考圖框之該等所傳輸之經編碼圖框，估計存在於該解碼器之參考圖像快取記憶體中之已應答參考圖框的一數目，將一數目等於未應答參考圖框之該估計數目減去該佇列中之參考圖框之該數目的圖框編碼為參考圖框，及其後，再繼續普通編碼操作。
  13. 一種用於一視訊編碼器之錯誤保護方法，其包含：當在一編碼器與一解碼器之間偵測到一通信錯誤時，估計存在於該解碼器之參考圖像快取記憶體中之未應答參考圖框的一數目，編碼一數目等於未應答參考圖框之該數目的同步保護圖框，將另一圖框編碼為表示一源視訊序列之內容的一同步圖框，其中該等同步保護圖框及該同步圖框在集合中足以自該解碼器之參考圖像快取記憶體清空該估計數目之未應答參考圖框，及其後，將該同步圖框用作一預測基礎來再繼續普通編碼操作。
  14. 如請求項13之方法，其中該等同步保護圖框經編碼為SKIP模式 編碼圖框。
  15. 如請求項13之方法，其中不具有影像內容之該等同步保護圖框被編碼。
  16. 如請求項13之方法，其中將一已應答參考圖框之資料用作一預測基礎以預測之方式編碼至少一同步保護圖框。
  17. 如請求項13之方法，其中至少一同步保護圖框經編碼為一框內編碼圖框。
  18. 如請求項13之方法，其進一步包含在該編碼器處清空取決於未應答圖框之圖框的一傳輸佇列。
  19. 如請求項13之方法，其進一步包含在該編碼器處清空基於一SEI傳輸之圖框的一傳輸佇列。
  20. 一種視訊編碼器，其包含：一儲存經編碼參考圖框之經解碼資料的參考圖像快取記憶體，該快取記憶體亦儲存區分每一此所儲存之參考圖框是否已得到一解碼器應答的識別符，一編碼引擎，其用以：當在該編碼器與一解碼器之間偵測到一通信錯誤時，估計存在於該解碼器之參考圖像快取記憶體中之未應答參考圖框的一數目，將一數目等於未應答參考圖框之該數目的圖框編碼為參考圖框，及其後，再繼續普通編碼操作。
  21. 如請求項20之編碼器，其中該編碼引擎將該等經編碼參考圖框中之至少一者編碼為一SKIP圖框。
  22. 如請求項20之編碼器，其中，當該編碼引擎之估計識別該解碼器處之未應答參考圖框的一複數數目時，該編碼引擎將一數目 等於該估計數目之參考圖框編碼為SKIP圖框。
  23. 如請求項20之編碼器，其中，當該編碼引擎之估計識別該解碼器處之未應答參考圖框的一複數數目時，該編碼引擎將一數目等於該估計數目減一的參考圖框編碼為SKIP圖框，及以不同於一SKIP模式編碼圖框之一模式來編碼一最終參考圖框。
  24. 一種用於一視訊解碼器之錯誤保護方法，其包含：當偵測到一通信錯誤時，向一解碼器發信號一通信錯誤，其後，自一編碼器接收一包括一或多個經編碼之同步保護圖框及一經編碼之同步圖框的編碼序列，其中集合中之同步保護圖框及同步圖框的數目至少等於該解碼器處之一參考圖像快取記憶體中之未應答參考圖框的一數目，解碼該(等)經編碼之同步保護圖框及該同步圖框，及將表示該(等)經解碼之同步保護圖框及該經解碼之同步圖框的經解碼資料儲存於該參考圖像快取記憶體中，其中在該通信錯誤之前存在於該參考圖像快取記憶體中的所有未應答參考圖框自該參考圖像快取記憶體而被驅逐。
  25. 如請求項24之方法，其中該(等)接收之同步保護圖框經編碼為SKIP模式編碼圖框。
  26. 如請求項24之方法，其中不具有影像內容之該(等)同步保護圖框被編碼。
  27. 如請求項24之方法，其進一步包含將存在於該解碼器之參考圖像快取記憶體中之一已應答參考圖框的資料用作一預測基礎以預測之方式來解碼至少一同步保護圖框。
  28. 如請求項24之方法，其進一步包含將至少一同步保護圖框解碼 為一框內解碼圖框。
  29. 一種視訊解碼器，其包含：一參考圖像快取記憶體，其儲存經編碼參考圖框之經解碼資料，該等經編碼參考圖框中之一些經編碼參考圖框由該解碼器向一編碼器予以應答但該等經編碼參考圖框中之其他經編碼參考圖框則未被應答，一解碼引擎，其用以：自一編碼器接收包括一或多個經編碼之同步保護圖框及一經編碼之同步圖框的一編碼序列，其中集合中之同步保護圖框及同步圖框的數目至少等於或超過該解碼器處之一參考圖像快取記憶體中之未應答參考圖框的一數目，解碼該(等)經編碼之同步保護圖框及該同步圖框，及將表示該(等)經解碼之同步保護圖框及該經解碼之同步圖框的經解碼資料儲存於該參考圖像快取記憶體中，其中在接收該編碼序列之前存在於該參考圖像快取記憶體中的所有未應答參考圖框自該參考圖像快取記憶體而被驅逐。
TW102120406A 2012-06-08 2013-06-07 即時視訊傳輸系統內之同步圖框復原 TWI499306B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261657609P 2012-06-08 2012-06-08
US13/631,719 US9332309B2 (en) 2012-06-08 2012-09-28 Sync frame recovery in real time video transmission system

Publications (2)

Publication Number Publication Date
TW201408075A TW201408075A (zh) 2014-02-16
TWI499306B true TWI499306B (zh) 2015-09-01

Family

ID=48626636

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102120406A TWI499306B (zh) 2012-06-08 2013-06-07 即時視訊傳輸系統內之同步圖框復原

Country Status (3)

Country Link
US (1) US9332309B2 (zh)
TW (1) TWI499306B (zh)
WO (1) WO2013184487A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9553906B2 (en) * 2013-02-27 2017-01-24 Aruba Networks, Inc. Method and system for synchronization of data streams
US9661351B2 (en) * 2013-03-15 2017-05-23 Sony Interactive Entertainment America Llc Client side frame prediction for video streams with skipped frames
US10306239B2 (en) * 2014-05-13 2019-05-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods, source device, target device and analyser for managing video coding
US10057921B2 (en) 2015-11-03 2018-08-21 Qualcomm Incorporated Extended grant for enhanced component carrier
US11445223B2 (en) 2016-09-09 2022-09-13 Microsoft Technology Licensing, Llc Loss detection for encoded video transmission
CN109936746B (zh) * 2016-12-30 2021-07-16 深圳市大疆创新科技有限公司 图像处理方法与设备
US10616587B2 (en) 2017-04-26 2020-04-07 Dts, Inc. Bit rate control over groups of frames
US11178205B2 (en) * 2020-01-20 2021-11-16 Ideaforge Technology Pvt. Ltd. System and method for providing live streaming of video data in a low-bandwidth network

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200426606A (en) * 2003-04-25 2004-12-01 Toshiba Kk Image processing system
US20050031030A1 (en) * 2002-04-16 2005-02-10 Shinya Kadono Picture encoding method and image decoding method
US20090213940A1 (en) * 2008-02-26 2009-08-27 Richwave Technology Corp. Error Resilient Video Transmission Using Instantaneous Receiver Feedback and Channel Quality Adaptive Packet Retransmission
TW201141240A (en) * 2010-01-14 2011-11-16 Sumitomo Electric Industries Video image coded data display method, device, and communications system

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62193383A (ja) 1986-02-20 1987-08-25 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像信号伝送方式
JPH04358486A (ja) 1991-06-04 1992-12-11 Toshiba Corp 高能率符号化信号処理装置
JPH08149416A (ja) 1994-11-17 1996-06-07 Hitachi Ltd 動画像復号化方法並びにその装置
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
AU3573099A (en) 1998-04-24 1999-11-16 Rockwell Science Center, Llc N-bit video coder and method of extending an 8-bit mpeg video coder
US6357028B1 (en) 1999-03-19 2002-03-12 Picturetel Corporation Error correction and concealment during data transmission
US6836514B2 (en) 2001-07-10 2004-12-28 Motorola, Inc. Method for the detection and recovery of errors in the frame overhead of digital video decoding systems
JP3923898B2 (ja) 2002-01-18 2007-06-06 株式会社東芝 画像符号化方法及び装置
US8040949B2 (en) 2003-01-09 2011-10-18 The Regents Of The University Of California Video encoding methods and devices
US20060188025A1 (en) * 2005-02-18 2006-08-24 Nokia Corporation Error concealment
NZ566935A (en) 2005-09-27 2010-02-26 Qualcomm Inc Methods and apparatus for service acquisition
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US8265145B1 (en) 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
EP2129129B1 (en) 2006-11-14 2013-09-18 Qualcomm Incorporated Systems and methods for channel switching
US9357233B2 (en) 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
US8374240B1 (en) 2008-07-10 2013-02-12 Marvell International Ltd. Image frame management
US20100150230A1 (en) * 2008-12-17 2010-06-17 Apple Inc. Video coding system using sub-channels and constrained prediction references to protect against data transmission errors
US20110069756A1 (en) 2009-09-23 2011-03-24 Alcatel-Lucent Usa Inc. Predictive encoding/decoding method and apparatus
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
US20130089152A1 (en) 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US9277230B2 (en) * 2011-11-23 2016-03-01 Qualcomm Incorporated Display mode-based video encoding in wireless display devices
US9432665B2 (en) 2011-12-02 2016-08-30 Qualcomm Incorporated Coding least significant bits of picture order count values identifying long-term reference pictures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031030A1 (en) * 2002-04-16 2005-02-10 Shinya Kadono Picture encoding method and image decoding method
TW200426606A (en) * 2003-04-25 2004-12-01 Toshiba Kk Image processing system
US20090213940A1 (en) * 2008-02-26 2009-08-27 Richwave Technology Corp. Error Resilient Video Transmission Using Instantaneous Receiver Feedback and Channel Quality Adaptive Packet Retransmission
TW201141240A (en) * 2010-01-14 2011-11-16 Sumitomo Electric Industries Video image coded data display method, device, and communications system

Also Published As

Publication number Publication date
WO2013184487A3 (en) 2014-01-30
WO2013184487A2 (en) 2013-12-12
US9332309B2 (en) 2016-05-03
US20130329809A1 (en) 2013-12-12
TW201408075A (zh) 2014-02-16

Similar Documents

Publication Publication Date Title
TWI499306B (zh) 即時視訊傳輸系統內之同步圖框復原
RU2432704C2 (ru) Способ проверки совпадения состояний видеокодера и видеодекодера
US8494049B2 (en) Long term reference frame management with error video feedback for compressed video communication
RU2581566C2 (ru) Сигнализация опорного изображения
US20110249729A1 (en) Error resilient hierarchical long term reference frames
CN108141581B (zh) 视频编码
US9264737B2 (en) Error resilient transmission of random access frames and global coding parameters
US9491487B2 (en) Error resilient management of picture order count in predictive coding systems
US10142644B2 (en) Decoding frames
EP2680587A1 (en) Video encoding device and video decoding device
JPH02162887A (ja) 画像伝送誤り訂正方式
US9774869B2 (en) Resilient signal encoding
US20140119445A1 (en) Method of concealing picture header errors in digital video decoding
US20130101030A1 (en) Transmission of video data
JP5273816B2 (ja) 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置
CA2847028C (en) Resilient signal encoding
EP3550838B1 (en) Resilient signal encoding
MX2008008309A (en) Method for checking of video encoder and decoder state integrity