TWI408967B - 媒體編碼器及解碼器間之回饋及訊框同步 - Google Patents

媒體編碼器及解碼器間之回饋及訊框同步 Download PDF

Info

Publication number
TWI408967B
TWI408967B TW095142119A TW95142119A TWI408967B TW I408967 B TWI408967 B TW I408967B TW 095142119 A TW095142119 A TW 095142119A TW 95142119 A TW95142119 A TW 95142119A TW I408967 B TWI408967 B TW I408967B
Authority
TW
Taiwan
Prior art keywords
frame
decoder
encoder
cache
block
Prior art date
Application number
TW095142119A
Other languages
English (en)
Other versions
TW200731811A (en
Inventor
Warren V Barkley
Regis J Crinon
Chih-Lung Bruce Lin
Tim M Moore
Minghui Jason Xia
Wei Zhong
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW200731811A publication Critical patent/TW200731811A/zh
Application granted granted Critical
Publication of TWI408967B publication Critical patent/TWI408967B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1829—Arrangements specially adapted for the receiver end
    • H04L1/1835—Buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1887—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0023—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling
    • H04L1/0026—Transmission of channel quality indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

媒體編碼器及解碼器間之回饋及訊框同步
本發明係有關於媒體編碼器及解碼器間之回饋及訊框同步。
各種形式之媒體編碼器及解碼器使得可在網路內將媒體進行點至點傳輸。此處，協力之編碼器及解碼器組稱為「編碼解碼器」。此外，此處「coder」(編碼器)及「encoder」(編碼器)二詞為同義詞。
通常，編碼器可和數種解碼器互動或合作。可將這些解碼器全部以相同或不同之方式組態，或可具有相同或不同之處理能力。此外，解碼器通常不會用以提供編碼器如關於特定編碼器之屬性、特徵、或能力之資訊。在此環境中，編碼器可將所有解碼器視為同質實體而傳送資料至解碼器，但解碼器可能並非同質。
網路通常會出現遺失頻道，使得可預期某些經由此種網路傳輸之資料發生完全毀壞、損壞或遺失。已提出各種方法，由此種資料遺失或毀壞中進行復原。這些復原方法中，有些可能涉及重新傳送遺失或損壞資料之完整複本。相對應地，這些復原方法可能不必要地消耗網路頻寬。
描述系統和/或方法(工具)，其能夠在媒體編碼器及解碼器間之回饋及訊框同步化。更明確地說，編碼器能夠編碼以欲傳送至解碼器之來源內容為基礎之訊框。編碼器能夠決定編碼器及解碼器是否應快取訊框。若欲快取訊框，編碼器能夠以具有一或更多種快取控制位元之編碼訊框如此指示。解碼器能夠接收來自解碼器之訊框，且能夠檢查快取控制位元以決定是否快取訊框。解碼器亦能解碼訊框。
發明內容欲以一種簡化之形式選擇性地簡介實施方式中進一步敘述之概念。發明內容之本意不在於確認申請專利範圍標的之主要特徵或重要特徵，其亦不可用以協助決定申請專利範圍標的之範圍。
 概述
下文描述系統(們)和/或方法(們)(工具)，其可用於多種技術及處理。下文敘述描述示範性方法，其中該工具賦能在媒體編碼器及解碼器間之回饋及訊框同步化。此敘述亦描述方式可供工具於其中執行其他技術。
為求方便，將此文件組織成段落，各段落以所選之標題標示，但其不具限制性。首先，描述一說明性作業環境，其可用以在媒體編碼器及解碼器間之回饋及訊框同步化。之後，描述說明性資料結構，之後為說明性資料流。最後，描述說明性處理流程。
在此處為求說明及敘述之便利，利用「封包」及「訊框」等詞彙。為求進一步之便利，可假設所有訊框皆能夠符合一封包之負載，且因而當討論一特定訊框及下一訊框之界線時，封包數目等於訊框數目。
作業環境
在詳細描述本發明之工具前，下文敘述一示範性作業環境，以協助讀者了解可運用本發明之工具的各種態樣之方式。下文所述之環境僅為一實施例，且其本意不在將該工具限制為任一種特定作業環境。可在不悖離申請專利範圍標的之精神及範圍的情形下，利用其他環境。
第1圖闡明一種此類作業環境100。作業環境100可至少包含一工作站102a其具有一或更多種處理器(們)104a及電腦可讀取媒體106a。工作站102a可至少包含一運算裝置，例如一行動電話、桌上型電腦、個人數位助理、伺服器、或與其相似者。處理器104a可用以存取和/或執行電腦可讀取媒體106a。電腦可讀取媒體106a可至少包含或擁有對一編碼器108之存取，其可實作成一模組、應用程式、或能和一網路賦能之實體互動之其他實體。
編碼器108可作業以將來源內容110編碼成複數個相對應訊框112。來源內容110可呈現任何數目之不同形式，例如一即時簡報以強調一演講者或其他表演者。來源內容110可以是一視訊和/或音訊會議。最後，來源內容110可以是預先存在或預先錄製之媒體，例如音訊或視訊媒體。
作業環境100亦能至少包含一網路114及相關伺服器(們)116。網路114賦能工作站102及伺服器(們)116間之通訊，且可至少包含一全域或區域有線或無線網路，例如網際網路或一企業內部網路。可以理解，編碼器108可作業以利用可在網路114中進行傳輸之一適當通訊協定將來源內容110編碼成訊框112。
伺服器(們)116可至少包含一單一伺服器或多重伺服器，例如一伺服器群，雖然伺服器(們)116亦可至少包含額外伺服器或能夠和其他實體通訊或可管理個別伺服器(如，用於平衡負載)之非伺服器實體。以三種個別伺服器116a、116b、及116c來表示伺服器(們)116，其可序列或平行作業，以服務來自例如工作站102之要求。
網路114可作業以將訊框112由工作站102a傳輸至至少一額外工作站102b。可以理解，網路114可能無法將所有訊框112完美地由工作站102a傳輸至工作站102b。相對應地，第1圖之元件符號112表示離開工作站102a之訊框，且元件符號118表示由網路114合併以及提供給工作站102b之訊框。相較於訊框118，某些訊框112在經由網路114傳輸之過程中，可能遺失、失真、或以其他方式毀損。相對應地，若某些訊框112遺失，則可將接收之訊框118視為已傳送訊框112之一子集。同時，若某些訊框112毀損，則可將接收之訊框118視為處於一毀損狀態中之已傳送訊框112。
更詳細地說明工作站102b，可將其以類似上述工作站102a之方式實作。因此，工作站102b可包括處理器(們)104b及電腦可讀取媒體106b。電腦可讀取媒體106b可至少包含或擁有對一解碼器120之存取。
解碼器120可作業以接收並解碼經由網路114由工作站102a接收之訊框118。解碼器120可利用和先前編碼器108用以編碼訊框112之相同通訊協定來解碼訊框118。若解碼器120決定訊框118相對於訊框112並未毀壞、毀壞、或遺失，則解碼器能夠將這些訊框118解碼成解碼內容122。
解碼內容122將來源內容110表示為於工作站102b上再製者。舉例而言，若來源內容110為一即時簡報，解碼內容122可表示經由工作站102b所顯示之簡報。若來源內容110為一口語之會議相關音訊或視訊資料流，解碼內容122可以是另一會議參與者所聞或所見之音訊或視訊資料流。在另一實施例中，若來源內容110為是先存在或預錄之媒體，解碼內容122可表示經由工作站102b所顯示之媒體。
可以理解，在上文敘述中，作業環境100不限於一種單向之本質。反之，工作站102a有時可傳輸某些來源內容110，而工作站102b在其他時候可傳輸其他來源內容110。因此，第1圖及其他圖式中所示之資料流僅為說明性且非限制性。
回到解碼器120之處理，若解碼器120決定在經由網路114之傳輸過程中，某些訊框118已毀壞或毀壞，或某些訊框112已遺失且從未到達工作站102b，解碼器120能夠將之相對應地向編碼器108回報。更明確地說，解碼器120能夠利用一回饋通道124向編碼器108回報。可利用網路114至少部份實作回饋通道124，雖然用以經由回饋通道124編碼和/或傳輸資料之通訊協定可能和用以編碼和/或傳輸訊框112及118之通訊協定相同或不同。以元件符號124a及124b來表示經由網路114通過回饋通道124移動之資料。由於網路中之錯誤或其他因素，資料124a及124b可能有些不同，其原因類似訊框112可能與訊框118不同。
編碼器108已經接收一遺失、毀壞、或其他形式毀壞之訊框112或118之回報後，其能夠將正確或替換之訊框112傳輸至解碼器120。可以理解，可重複此種回報毀壞訊框及傳輸正確或替換訊框112之處理，直到解碼器120擁有適合解碼訊框118之資訊為止，以便在工作站102b上產生解碼內容122。
下文更詳細描述回饋通道124用於回報訊框遺失之其他態樣。然而，回饋通道124亦使得解碼器120能夠將關於其本身之資訊、其組態、或其他相關參數通訊回到編碼器108。擁有此類關於解碼器120之資訊後，編碼器108能夠相對應地調整或最佳化其編碼處理。下文亦詳述回饋通道124用於回報關於解碼器120之資訊的這些態樣。根據上文所述，回饋通道124可提供解碼器(們)120一種頻帶外之通道以便和編碼器108進行通訊。
可以理解，為求說明及閱讀之簡潔與清楚，在第1圖中僅顯示一工作站104b及相關解碼器120，且其並非用於限制作業環境100之可能實作。特別是，應注意可包括任何數目之不同工作站104b及相對應解碼器120，且不同工作站104b及解碼器120具有不同組態、特徵、容量、能力、或其他特性。舉例而言，不同工作站104b可支援不同色深、像素解析度、顯示大小、或處理來源內容110和/或解碼內容122之其他態樣。更可理解，每一工作站104b和/或解碼器120可具有一個別回饋通道124。利用此回饋通道124，工作站104b和/或解碼器120能夠將關於其區域環境之特定區域資訊提供回編碼器108。
資料結構
此處所描述並闡明之工具可利用資料結構作為其實作和/或作業之部份，以在媒體編碼器及解碼器間執行回饋及訊框同步化。此處將描述此資料結構之實施例。
第2圖闡明一資料結構200，其至少部份可用以實作如第1圖所示之訊框112和/或118之各個實例。僅為假設，舉例而言，編碼器108及解碼器120可實作即時傳輸通訊協定(RTP)，針對一指定訊框112和/或118，資料結構200可包括，一欄位205用於RTP標準標頭、及一欄位210其含有可視為訊框112和/或118負載之資料。此外，資料結構200可含有一欄位215用於額外標頭資料。可將欄位215中所含之資料視為編碼器108及解碼器120所用之通訊協定的基礎之一延伸。在第2圖所示之實施例中，通訊協定可以是RTP，雖然可理解，同樣可使用其他通訊協定。
更詳細參照欄位215，第2圖闡明一特定訊框112和/或118之欄位215中可包括之數種資料實施例。一子欄位220可含有一或更多種快取控制位元。這些快取控制位元220使得編碼器108控制和/或管理解碼器120對特定訊框112和/或118之快取。這些位元220能夠支援編碼器108及解碼器120之一者間的訊框復原及同步化作業。下文將進一步詳述此訊框快取作業。
一子欄位222可針對一指定訊框112和/或118指示其為何種類型之訊框。第2圖闡明三種訊框類型，雖然可以理解，可實作其他類型之訊框，且可將所實作之訊框以和此處所述不同之方式命名或標示。
如子欄位222中所述，一I訊框可表示一完整、自足之內容訊框，例如，音訊或視訊。一I訊框為「獨立」訊框，且可由解碼器120在不參考任何其他先前或後續訊框之情形下進行解碼及再製。
一P訊框可表示音訊或視訊之目前狀況和一先前I訊框間之差異。因此，可讓為一P訊框視為參考先前I訊框。因為一P訊框僅含有可表示和此先前I訊框之差異的資料，P訊框通常遠小於I訊框。為了保存網路114中之頻寬，可以盡可能地運用P訊框。當來源內容110在一段時間中具有相對較少之移動，編碼器108可利用一系列P訊框，因為在此種情形下，連續訊框中之差異通常較小且可輕易地以P訊框表示。然而，當來源內容110在一段時間中具有相對較大之移動，或具有大量場景或上下文改變時，編碼器108可利用一或更多種I訊框以設定新場景或上下文。同時，可將發生於工作站102b和/或解碼器120之遺失率向工作站102a和/或編碼器108回報。接著，在決定是否將I訊框或P訊框傳送至解碼器120時，編碼器108可考量解碼器120回報之遺失率。此外，回報之遺失率可作為控制訊框率、位元率、品質、及是否傳送超級P訊框之一因素。
子欄位222亦能支援一額外類型之訊框112和/或118，此處為求簡便但不具限制性，可將之稱為一種超級P訊框。一超級P訊框和一P訊框類似之處在於，其可界定一內容相對於一先前內容狀態之改變。然而，超級P訊框可參考一快取之內容，而非參考於解碼器120上區域維護之一先前訊框。下文將進一步詳述此快取作業。
一子欄位224可含有用於一指定訊框112和/或118之一索引或其他類型之獨一識別碼。舉例而言，子欄位224之內容的形式可以是訊框或封包之一系列編號、一獨一時間戳記、指定訊框112和/或118在來源內容110之上下文脈絡中的一偏置或位置、指定訊框112和/或118相對於來源內容110之開始的一位移、或與其相似者。
當編碼器108在工作站104a將來源內容110編碼成訊框112時，編碼器108可使得子欄位224之內容全滿，不論其形式為何。在工作站104b，當解碼器120將複數個訊框118解碼並組合成解碼內容122時，其可參考一指定訊框118之子欄位224內容。更明確地說，當展示解碼內容122時，子欄位224之內容可使得解碼器120能夠將訊框118組合成一適當順序。此外，解碼器120可利用子欄位224之內容，至少部份，以決定由編碼器108傳送之一或更多種訊框112在經網路114傳輸至工作站104b之過程中是否遺失。
作為上述之實施例，解碼器120可接收一指定序列之訊框118，其具有識別碼224例如A、B、及D。然而，解碼器120可能期待這三種訊框118具有識別碼224如A、B、及C。若解碼器120在一段時間內並未接收接收訊框C，解碼器120可斷定對應於所期望之訊框C的訊框112永遠不會到達，且在網路114中遺失。相對應地，解碼器120可可經由例如回饋通道124向解碼器120回報封包C已遺失。
一子欄位226可含有關於編碼器108執行之一色彩空間轉換的資料，前述轉換係以一特定解碼器120之特徵或組態為基礎。回想上文關於第1圖之敘述，解碼器120之該特定實施例可將和其本機色彩顯示能力或功能之資訊通訊傳播回編碼器108，例如經由回饋通道124。為了回應此種來自特定解碼器120之回饋，編碼器108可特別地修改傳送特定解碼器120之每一者的至訊框112。可將任何關於編碼器108代表一指定解碼器120執行之特定色彩轉換的資料儲存於子欄位226中。舉例而言，可在一種說明性之256色範圍中擷取來源內容110並將之呈現於編碼器108。然而，若一指定解碼器120僅能支援及顯示16色，則將支援256色之訊框112傳輸此指定解碼器120也沒有用處。相對應地，經由包含於子欄位226中之資料，編碼器108可指示解碼器120如何將顯示於訊框112中之色彩轉換成解碼器120支援之色彩。除了上述說明之外或取代上述說明，編碼器108可經由子欄位226中之資料指示編碼器108已利用何種方式針對解碼器120轉換訊框112中之色彩。
一子欄位228可含有關於編碼器108代表一特定解碼器120執行之任何像素解析度轉換之資料。回想上文關於第1圖之敘述，解碼器120之特定實施例可將如其像素解析度等資料通訊傳輸至編碼器108，舉例而言，經由回饋通道124。關於色深，參照上文子欄位226敘述，子欄位228可針對像素解析度進行相似之處理。舉例而言，可以一種相對高像素密度擷取來源內容110並顯示至編碼器108。然而，一或更多種解碼器120可能不支援此種高像素密度，及不同解碼器120可支援不同像素密度。因此，編碼器108可隨著不同解碼器120之能力不同，最佳化傳送至不同解碼器120之不同訊框112的像素密度。相對應地，子欄位228可含有任何關於編碼器108執行之像素解析度中之任何轉換的資訊，或關於解碼器120應於處理訊框118中執行之任何轉換之資訊。
在描述了上述欄位205－215及子欄位220－228之實施例後，可以理解資料結構200之各種實作可包括這些示範性欄位205－215或子欄位220－228之一或更多種、或可含有除了第2圖中所述以外之額外資料、欄位、或子欄位。此外，資料結構200之欄位或子欄位的布局、名稱、及組態僅為說明性，且此處所選用者係基於闡明及描述之便利性，且不致限制資料結構200之可能實作。更可瞭解，指定之資料結構200實施例可和特定訊框112相關聯，但資料結構200之每一實施例不必然如第2圖所示般填滿每一欄位和/或子欄位。
第3圖闡明一資料結構300，其至少部份可用以實作如第1圖所示之回饋通道124之各個實施例。更明確地說，可利用資料結構300至少部分協助由各個示範性解碼器120傳輸至編碼器108之資料。
更詳細探討資料結構300，一欄位305可含有資料以回報一本機訊框或一些解碼器120經歷之封包遺失率。舉例而言，可將此遺失率表示成一特定解碼器120在每單位時間內之訊框遺失數目。給定此資訊，編碼器108可選擇傳輸I訊框或P訊框至解碼器120之頻率。同時，此資訊使得編碼器108能夠決定當和/或多常指引或指示解碼器120快取特定訊框112/118。下文將參照第4－6圖進一步討論這些快取作業。
一欄位310可含有回報一特定訊框112/118之遺失的資料。在回報一訊框遺失時，解碼器120可參考如上述關於第2圖中之子欄位224等資料。回想子欄位224可含有用於特定訊框112/118之識別資訊。舉例而言，若解碼器120懷疑遺失一或更多種訊框112，解碼器120可回報實際接收之一系列訊框118，故編碼器108能夠決定遺失了何種訊框112。在另一種實施例中，解碼器120可估計或決定所懷疑之遺失訊框112的識別資訊。
一欄位315可含有表示一特定解碼器120支援之一本機像素解析度支援的資料。為了回應解碼器120回報之此資料315，編碼器108可變換傳送至解碼器120之訊框112/118的像素解析度、可指示解碼器120如何變換訊框112/118之像素解析度、或可執行其他相關處理。任何上述動作可連同第2圖所示之子欄位228一起執行。
一欄位320可含有表示一特定解碼器120支援之一本機色深支援之資料。為了回應解碼器120回報之此資料315，編碼器108可變換傳送至解碼器120之訊框112/118的色深、可指示解碼器120如何變換訊框112/118之色深、或可執行其他相關處理。任何上述動作可連同第2圖所示之子欄位226一起執行。
在描述了上述欄位305－320之實施例後，可以理解資料結構300之各種實作可包括這些示範性欄位305－320之一或更多種實施例、或可含有除了第3圖中所述以外之額外資料、欄位、或子欄位。此外，資料結構300之欄位的布局、名稱、及組態僅為說明性，且此處所選用者係基於闡明及描述之便利性，且不致限制資料結構300之可能實作。更可瞭解，指定之資料結構300實施例可和由解碼器120傳輸至編碼器108之特定資料實施例相關聯。然而，資料結構300之每一實施例不必然如第.圖所示般填滿每一欄位。
資料流
此處所述之工具可實作用以在媒體編碼器及解碼器間執行回饋及訊框同步化之資料流。下文連同另一種作業環境描述一說明性資料流。
第4圖闡明一作業環境400，其可用以接收訊框118、將一新訊框118和一先前顯示合併以產生一更新之顯示、快取一訊框118、及將一新訊框118和快取之內容合併以產生一更新之顯示。可至少部分以工作站104b和/或解碼器120來實作作業環境400，雖然亦可以其他元件或工具來實作作業環境400之態樣。
假設在一時間(T1 )接收一訊框118a。回想訊框118可和資料結構200之各個實施例相關聯，如上文參照第2圖所述。進一步假設訊框118a之資料結構200的一欄位222指出訊框118a為一I訊框。因為訊框118a為一I訊框，訊框118a可直接顯示於和例如工作站104b相關聯之一顯示402上。為求簡便，在第4圖中，當顯示402正在顯示I訊框118a時將之標示為顯示402a。
回憶第2圖之敘述，訊框112/118之資料結構200可包括快取控制位元220。基於描述作業環境400之目的，假設資料結構200包括二快取控制位元220。可將一第一快取控制位元標示成「快取」、且可將至少一第二快取控制位元標示成「使用快取」。可將這些位元之任一者或二者設定給或可有效用於一指定訊框118。
首先討論「快取」位元，當將此位元設定給一指定訊框112/118時，此位元可導引解碼器120將訊框112/118、和/或來自訊框112/118之顯示儲存於作站104b和/或解碼器120於本機維護之一快取404中。第4圖中所示實施例假設在區塊406中，I訊框118a具有「快取」位元經設定或有效。相對應地，可將I訊框118a顯示成顯示402a並儲存於快取404中。
可預設作業環境400之某些實作，以快取訊框112/118之所有實施例。作業環境400之其他實作僅可快取其「快取」位元經設定或有效之那些I訊框112/118。
假設在時間(T2 )，一訊框118b到達且其訊框類型222指出其為一P訊框。憶及一P訊框可表現來源內容110之目前狀態及某些先前參考訊框間之差異。相對應地，可將訊框118b之內容和先前顯示402a合併，如合併區塊408a所示。合併408a會產生一更新之顯示402b。
在描述P訊框118b之處理後，可以發現，一般而言一P訊框118可使其「快取」位元經設定或有效。在此種情形中，在作業環境400之某些實作中，可將P訊框118之內容本身儲存於快取404中。在其他實作中，可快取由P訊框(如，訊框118b)之合併所產生之顯示(如，顯示402b)。
假設在時間(T3 )，一訊框118c到達，且其訊框類型222指示其為一P訊框。在此種情形中，將訊框118c之內容和先前顯示402b合併，如合併區塊408b所示。合併408b可產生一更新之顯示402c。然而，上文係假設訊框118c實際到達了作業環境400。若訊框118c無法到達作業環境400，則不會有更新之顯示402c。此外，當作業環境400偵測到訊框遺失時，先前顯示402b可能已經失效或以其他形式過期。在此種情形中，可向編碼器108告知一訊框遺失。參見，如，第3圖之區塊310及相關敘述。
為了回應訊框遺失回報310，編碼器108可傳送一替換P訊框118d。假設作業環境400在時間(T4 )接收此替換P訊框。如區塊410所示，用以替換P訊框118d之快取控制位元220可使其「使用快取」位元經設定或有效。這可導引作業環境400將目前P訊框118d和快取404之內容而非先前顯示合併。以合併區塊408c一般表示此種由快取進行合併。
因為此種替換P訊框118d係相對於一塊取之參考訊框來編碼，而非先前I訊框，此處將P訊框118d稱為一超級P訊框，如上所述。編碼器108可根據快取之參考來編碼超級P訊框118d，且因此超級P訊框118d之大小遠小於一替換I訊框118。因此，傳送超級P訊框118d來補償訊框遺失所消耗之網路頻寬小於傳送一替換I訊框118。
在某些實作中，若毀壞之訊框與將到達解碼器120之下一I訊框118e之的距離夠近，編碼器108可能無法傳送超級P訊框118d。在此實作中，解碼器120可等待下一I訊框118e。可利用一或更多種設定來組態解碼器120，以指明欲進行此種處理，該毀壞之訊框相對於下一I訊框118e之距離應為何。
當超級P訊框118d和快取404之內容合併後，可產生顯示402d。第4圖亦闡明在時間(T5 )到達之一新I訊框118e，其可產生一新顯示402e。
應注意，為求闡明及描述之便利，第4圖僅顯示一快取404。編碼器108和/或解碼器120可提供額外之快取404，而使得編碼器108和/或解碼器120可儲存並保有多重參考訊框112/118。當一或更多種快取之訊框112/118可能已經毀壞或遺失時，這些多重參考訊框112/118可能派上用場。當實作多重快取404時，可適當實作額外快取控制位元(如，第2圖中之快取控制位元220)以指述或指明利用何種快取404來編碼一指定替換訊框112/118。
此外，應注意，快取控制位元220提供一種方式使得編碼器108能指導解碼器120如何處理替換訊框112/118之快取及相關同步化。最後，在編碼器108及解碼器120編碼之參考訊框、以及由其編碼之替換訊框112/118提供了一種方法，可用以同步化編碼器108及解碼器120之處理。
處理流程
此處所述之工具可實作各種處理流程以在媒體編碼器及解碼器間執行回饋及訊框同步化。此處將描述此處理流程之實施例。
第5圖闡明一處理流程500，其可用以進行編碼訊框並回應一封包遺失回報。此處連同編碼器108描述處理流程500。然而，可以理解，可將處理流程500實作於編碼器108以外之其他裝置或元件上，而不致悖離本發明之精神及範圍。
區塊502可編碼來自來源內容110之一或更多種訊框。區塊504可評估是否快取目前訊框112以用作可能之稍後參考。若將快取訊框112，區塊506可設定「快取」位元以用於目前訊框112。憶及前述可將「快取」位元實作成第2圖中所示之快取控制位元220的布份。區塊508快取目前訊框112以用於稍後參考。舉例而言，編碼器108可快取目前訊框112。區塊510將目前訊框112傳輸至解碼器120。下文連同第6圖描述在例如解碼器120之說明性訊框112之處理。
回到區塊504，若不會快取目前訊框112，則區塊512可清空用於此訊框112之「快取」位元。在某些實施例中，當樣例化訊框112時，可將「快取」位元初始化至一設定或清空狀態。在此種情形中，若不必須將「快取」位元由其初始化狀態改變至其他狀態，可以不執行區塊512或506。
在區塊512之後，處理流程500如上所述進行到區塊510。在進行區塊510後，處理流程500可回到區塊502以處理下一訊框112而編碼其來源內容110。可以理解，處理流程500可適當地在區塊502－512循環以將來源內容110編碼成適當訊框112。
在區塊502－512之處理過程的任一時間點，區塊514能夠接收一訊框遺失回報310。區塊514可發生於處理流程500中之任一點。亦可在相對於區塊502－512之任一點測試處理流程500並回應接收之訊框遺失回報310。此外處理流程500可將區塊514實作成一中斷，由區塊502－512內之某些點之分支以服務中斷、將區塊516－522(下文所述)執行成一中斷服務常式、並回復到區塊502－512中接收該中斷之點。為求說明之便利，第5圖顯示當接收遺失回報310時，訊框處理流程500分支到區塊514，不論處理流程500位於區塊502－512內之何處。
區塊516可參考先前於區塊508中快取之訊框。區塊518可相對於或參考該快取之訊框編碼一新P訊框。區塊520可設定新P訊框之「使用快取」位元，若此位元尚未經設定。憶及第2圖中顯示並討論之快取控制位元220，其可夠包括一「使用快取」位元，當更新目前顯示402時，其能夠導引，舉例而言，解碼器120參考快取404之內容而非目前顯示402。此處為求便利，將此新P訊框稱為一超級P訊框。區塊522可將超級P訊框傳輸至解碼器120以允許稍後補償區塊514中回報之訊框遺失。
第6圖闡明一處理流程600，其可用以處理例如解碼器120接收之一訊框。雖然此處連同工具例如解碼器120及編碼器108來描述處理流程600，其他處理流程600之實作亦可和其他工具一起實作，而不致悖離本發明之精神與範圍。
區塊602接收一訊框118，如由第5圖中所示之區塊510所傳輸。區塊604可檢測接收之訊框118是否毀壞，或是否期待一不同訊框118。關於訊框毀壞，區塊604能夠藉由例如，評估解碼器120和/或編碼器108實作之一核對和或其他錯誤檢測及校正方式來檢測毀壞。關於訊框遺失，憶及訊框118可和參照上文第2圖所述之資料結構200之各個實施例相關聯。資料結構200可含有一欄位224，用以定序或以其他方式獨一識別訊框118。利用例如此欄位224，區塊604能夠檢測目前訊框118是否為所期待之一先前訊框118的後繼訊框。若否，則所期待之後繼訊框118可能已經遺失。
若目前訊框118為毀壞或並非所期待者，區塊606可回報遺失或毀壞訊框。由區塊606發出之回報可對應於第5圖中所示之區塊514所接收之回報以及第3圖中所示之訊框遺失回報310。
若目前訊框118並未毀壞且為所期待之後繼訊框，則區塊608、610、及612可檢測訊框118為何種訊框類型。憶及資料結構200可含有一子欄位222以指示一訊框類型。區塊608可檢測訊框118是否為一I訊框、區塊610可檢測訊框118是否為為一P訊框、且區塊612可檢測訊框118是否為一超級P訊框。
參照區塊608，若訊框118為一I訊框，則區塊614可直接顯示訊框118，而不需參考目前顯示或任何其他訊框118。在區塊610，若訊框118為一P訊框，則區塊616可將目前顯示和訊框118合併而更新之。區塊614則可顯示該更新之顯示。在區塊612中，若訊框118為一超級P訊框，則區塊618可藉由將該顯示和一快取如第4圖所示之快取404的內容合併而更新之。憶及可由一經設定或有效之「使用快取」位元來指示或偵測一超級P訊框。區塊614則可顯示更新之顯示。
由區塊612出發，若訊框118並非一I訊框、一P訊框、或一超級P訊框，則區塊620能夠處理此種其他類型之訊框。其後，處理流程600可回到區塊602以等待下一訊框118。
由區塊614出發，區塊622可檢測「快取」位元是否經設定可用於訊框118。若為肯定，區塊624將訊框118儲存於一快取中，例如舉例而言第4圖中所示之快取404。區塊602則可等待下一訊框118之到達。回到區塊614，若「快取」位元並未經設定可用於訊框118，可略過區塊624，且區塊602則可等待下一訊框118之到達。
結論
雖然此處以專屬於結構功能和/或方法論動作之語言來描述本發明之系統和/或方法，可以理解，申請專利範圍中所界定之系統及方法不必然限於所述之特定功能或動作。反之，所揭露之特定功能及動作為實作申請專利範圍之系統及方法之示範性形式。
此外，關於所處所描述並闡明之某些流程圖，應注意其中所述之處理及子處理能夠以所示之其他順序來執行，而不致悖離本發明之精神及範圍。
100、400．．．作業環境
102a、102b．．．工作站
104a、104b．．．處理器
106a、106b．．．電腦可讀取媒體
108．．．編碼器
110．．．來源內容
112、118．．．訊框
114．．．網路
116、116a、116b、及116c．．．伺服器
118A、118E．．．I訊框
118B、118C、118D．．．P訊框
120．．．解碼器
122．．．解碼之內容
124a、124b．．．回饋通道
200、300．．．資料結構
205．．．RTP標準標頭
210．．．負載
215．．．額外標頭
220．．．快取控制位元
222．．．訊框類型(I、P、超級P)
224．．．系列編號、時間戳記、偏置等
226．．．色彩空間轉換
228．．．像素解析度轉換
305．．．訊框遺失率
310．．．訊框遺失回報
315．．．像素解析度
320．．．色深能力
402、402A、402B、402C、402D、402E．．．顯示
404．．．快取
406．．．「快取」位元
408A、408B、408C．．．合併
410．．．「使用快取」位元
第1圖為一區塊圖，闡明一作業環境其可用以在媒體編碼器及解碼器間執行回饋及訊框同步化。
第2圖為一區塊圖闡明一資料結構，其至少部份可用以實作如第1圖所示之訊框之各個實例。
第3圖為一區塊圖闡明一資料結構，其至少部份可用以實作如第1圖所示之一回饋通道之各個實例。
第4圖為一區塊圖闡明一作業環境，其可用以接收訊框、將一新訊框和一先前顯示合併以產生一更新之顯示、快取一訊框、並將一新訊框和一快取之內容合併以產生一更新之顯示。
第5圖為一流程圖闡明一處理流程其可用以編碼訊框以回應一訊框遺失回報。
第6圖為一流程圖闡明一處理流程用以處理由例如解碼器接收之一訊框。
本申請書及圖式中，相同元件符號係指相似元件及功能。
100．．．作業環境
102a、102b．．．工作站
104a、104b．．．處理器
106a、106b．．．電腦可讀取媒體
108．．．編碼器
110．．．來源內容
112、118．．．訊框
114．．．網路
116、116a、116b、及116c．．．伺服器
120．．．解碼器
122．．．解碼之內容
124a、124b．．．回饋通道

Claims (20)

  1. 一種用於媒體編碼器及解碼器間之回饋及訊框同步方法，其至少包含以下步驟：根據來源內容編碼至少一訊框；決定是否在一編碼器及至少一解碼器處快取該訊框；以及編碼與該訊框相關聯之至少一快取控制位元以回應該決定。
  2. 如申請專利範圍第1項所述之方法，其更包含在該編碼器處快取該訊框。
  3. 如申請專利範圍第1項所述之方法，其中編碼至少一快取控制位元之步驟包括設定該快取控制位元以指示欲在編碼器及解碼器處快取訊框。
  4. 如申請專利範圍第1項所述之方法，其更包含傳輸該訊框至該至少一解碼器。
  5. 如申請專利範圍第1項所述之方法，其更包含接收一遺失回報以指示至少一額外訊框在從編碼器傳輸之後發生遺失或毀壞。
  6. 如申請專利範圍第5項所述之方法，其更包含因應於接收該遺失回報，而參考至少一已快取之訊框。
  7. 如申請專利範圍第5項所述之方法，其更包含根據至少一已快取之參考訊框以編碼用於該額外訊框之一替換訊框。
  8. 如申請專利範圍第5項所述之方法，其更包含將用於該額外訊框之一替換訊框傳輸，該替換訊框係根據至少一快取之參考訊框而編碼。
  9. 如申請專利範圍第5項所述之方法，其更包含設定與該替換訊框相關聯之至少一額外快取控制位元，其中該額外快取控制位元指示該替換訊框係根據一已快取之參考訊框而編碼。
  10. 如申請專利範圍第1項所述之方法，其更包含接收資料之步驟，該資料代表由該解碼器所支援之一像素解析度。
  11. 如申請專利範圍第10項所述之方法，其中編碼至少一訊框之步驟係根據代表該解碼器之像素解析度的資料所執行。
  12. 如申請專利範圍第1項所述之方法，其更包含接收資料，該資料代表由解碼器所支援之一色深。
  13. 如申請專利範圍第12項所述之方法，其中編碼至少一訊框之步驟係根據該解碼器之色深的資料所執行。
  14. 一種用於媒體編碼器及解碼器間之回饋及訊框同步方法，其至少包含以下步驟：接收來自來源內容之至少一訊框編碼；決定是否快取該訊框；以及解碼該訊框。
  15. 如申請專利範圍第14項所述之方法，其更包含決定該訊框是否毀壞及決定該至少一額外訊框是否遺失兩步驟中之至少一者。
  16. 如申請專利範圍第15項所述之方法，其更包含回報該至少一遺失或毀壞訊框。
  17. 如申請專利範圍第14項所述之方法，其中決定是否快取訊框之步驟包括檢測與該訊框相關聯之至少一快取控制位元。
  18. 如申請專利範圍第14項所述之方法，其更包含快取該訊框之步驟。
  19. 如申請專利範圍第14項所述之方法，其更包含藉由檢測與該訊框相關聯之至少一快取控制位元，以決定該訊框是否根據一已快取之參考訊框來編碼。
  20. 如申請專利範圍第14項所述之方法，其更包含將該訊框和至少一已快取之參考合併。
TW095142119A 2005-12-07 2006-11-14 媒體編碼器及解碼器間之回饋及訊框同步 TWI408967B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/275,071 US7716551B2 (en) 2005-12-07 2005-12-07 Feedback and frame synchronization between media encoders and decoders

Publications (2)

Publication Number Publication Date
TW200731811A TW200731811A (en) 2007-08-16
TWI408967B true TWI408967B (zh) 2013-09-11

Family

ID=38120188

Family Applications (1)

Application Number Title Priority Date Filing Date
TW095142119A TWI408967B (zh) 2005-12-07 2006-11-14 媒體編碼器及解碼器間之回饋及訊框同步

Country Status (9)

Country Link
US (1) US7716551B2 (zh)
EP (1) EP1961232B1 (zh)
JP (1) JP5389449B2 (zh)
KR (1) KR101343234B1 (zh)
CN (1) CN101341754B (zh)
BR (1) BRPI0618719A2 (zh)
RU (1) RU2470481C2 (zh)
TW (1) TWI408967B (zh)
WO (1) WO2007067479A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9061207B2 (en) * 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US9124757B2 (en) * 2010-10-04 2015-09-01 Blue Jeans Networks, Inc. Systems and methods for error resilient scheme for low latency H.264 video coding
US9043818B2 (en) 2012-05-23 2015-05-26 Fur Entertainment, Inc. Adaptive feedback loop based on a sensor for streaming static and interactive media content to animals
TW201501496A (zh) * 2013-06-17 2015-01-01 Quanta Comp Inc 視訊編解碼系統及視訊流傳輸方法
US10516891B2 (en) 2015-11-20 2019-12-24 Intel Corporation Method and system of reference frame caching for video coding
WO2019023488A1 (en) 2017-07-28 2019-01-31 Dolby Laboratories Licensing Corporation METHOD AND SYSTEM FOR PROVIDING MULTIMEDIA CONTENT TO A CUSTOMER

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW373411B (en) * 1997-05-28 1999-11-01 Sarnoff Corp Method and apparatus for information stream frame synchronization
US6115080A (en) * 1998-06-05 2000-09-05 Sarnoff Corporation Channel selection methodology in an ATSC/NTSC television receiver
TW200525553A (en) * 2003-11-14 2005-08-01 Intel Corp Data accumulation between data path and memory device
TW200531555A (en) * 2004-02-13 2005-09-16 Nokia Corp Picture decoding method

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999173A (en) * 1992-04-03 1999-12-07 Adobe Systems Incorporated Method and apparatus for video editing with video clip representations displayed along a time line
US5444489A (en) 1993-02-11 1995-08-22 Georgia Tech Research Corporation Vector quantization video encoder using hierarchical cache memory scheme
CA2156889C (en) * 1994-09-30 1999-11-02 Edward L. Schwartz Method and apparatus for encoding and decoding data
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
JPH09121358A (ja) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
JP3427149B2 (ja) * 1996-01-26 2003-07-14 三菱電機株式会社 符号化信号の復号回路及びその同期制御方法， 同期検出回路及び同期検出方法
JPH1079949A (ja) * 1996-09-04 1998-03-24 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
JP3373130B2 (ja) * 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
DE69736926T2 (de) * 1997-09-12 2007-05-24 Oki Electric Industry Co., Ltd. Videokodierer, -dekodierer und Übertragungssystem
JP4558195B2 (ja) * 1997-10-23 2010-10-06 ソニー エレクトロニクス インク 符号化方法及び装置、復号方法及び装置、デジタル信号処理装置並びに記録媒体
EP0940989A3 (en) * 1998-03-02 2003-10-29 Nippon Telegraph and Telephone Corporation Video communication system and method
US6289054B1 (en) 1998-05-15 2001-09-11 North Carolina University Method and systems for dynamic hybrid packet loss recovery for video transmission over lossy packet-based network
US6269130B1 (en) * 1998-08-04 2001-07-31 Qualcomm Incorporated Cached chainback RAM for serial viterbi decoder
JP3660513B2 (ja) * 1998-12-25 2005-06-15 沖電気工業株式会社 画像通信装置およびローカルデコード処理方法
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6658618B1 (en) * 1999-09-02 2003-12-02 Polycom, Inc. Error recovery method for video compression coding using multiple reference buffers and a message channel
US6580767B1 (en) 1999-10-22 2003-06-17 Motorola, Inc. Cache and caching method for conventional decoders
EP1130921B1 (en) * 2000-03-02 2005-01-12 Matsushita Electric Industrial Co., Ltd. Data transmission in non-reliable networks
US6760749B1 (en) 2000-05-10 2004-07-06 Polycom, Inc. Interactive conference content distribution device and methods of use thereof
JP2002010265A (ja) * 2000-06-20 2002-01-11 Sony Corp 送信装置およびその方法と受信装置およびその方法
US7191242B1 (en) * 2000-06-22 2007-03-13 Apple, Inc. Methods and apparatuses for transferring data
KR100354768B1 (ko) * 2000-07-06 2002-10-05 삼성전자 주식회사 영상 코덱 시스템, 그 시스템과 외부 호스트 시스템과의데이터 처리방법 및 그 시스템에서의 인코딩/디코딩제어방법
US7174561B2 (en) * 2001-04-13 2007-02-06 Emc Corporation MPEG dual-channel decoder data and control protocols for real-time video streaming
US6823489B2 (en) * 2001-04-23 2004-11-23 Koninklijke Philips Electronics N.V. Generation of decision feedback equalizer data using trellis decoder traceback output in an ATSC HDTV receiver
US8923688B2 (en) * 2001-09-12 2014-12-30 Broadcom Corporation Performing personal video recording (PVR) functions on digital video streams
US20040016000A1 (en) * 2002-04-23 2004-01-22 Zhi-Li Zhang Video streaming having controlled quality assurance over best-effort networks
US7606314B2 (en) * 2002-08-29 2009-10-20 Raritan America, Inc. Method and apparatus for caching, compressing and transmitting video signals
US7684483B2 (en) * 2002-08-29 2010-03-23 Raritan Americas, Inc. Method and apparatus for digitizing and compressing remote video signals
US20040125816A1 (en) * 2002-12-13 2004-07-01 Haifeng Xu Method and apparatus for providing a buffer architecture to improve presentation quality of images
JP4329358B2 (ja) * 2003-02-24 2009-09-09 富士通株式会社 ストリーム配信方法、及びストリーム配信システム
US7237061B1 (en) * 2003-04-17 2007-06-26 Realnetworks, Inc. Systems and methods for the efficient reading of data in a server system
JP2005101677A (ja) * 2003-09-22 2005-04-14 Ricoh Co Ltd 画像送信装置、画像処理システム、プログラム、及び、情報記録媒体
GB0323284D0 (en) * 2003-10-04 2003-11-05 Koninkl Philips Electronics Nv Method and apparatus for processing image data
US7627227B2 (en) * 2004-05-17 2009-12-01 Microsoft Corporation Reverse presentation of digital media streams
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
WO2006076589A2 (en) * 2005-01-13 2006-07-20 Silicon Optix Inc. Rapid and smooth selection of compressed video programs
US20070008323A1 (en) * 2005-07-08 2007-01-11 Yaxiong Zhou Reference picture loading cache for motion prediction
US8300701B2 (en) * 2005-12-09 2012-10-30 Avid Technology, Inc. Offspeed playback in a video editing system of video data compressed using long groups of pictures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW373411B (en) * 1997-05-28 1999-11-01 Sarnoff Corp Method and apparatus for information stream frame synchronization
US6115080A (en) * 1998-06-05 2000-09-05 Sarnoff Corporation Channel selection methodology in an ATSC/NTSC television receiver
TW200525553A (en) * 2003-11-14 2005-08-01 Intel Corp Data accumulation between data path and memory device
TW200531555A (en) * 2004-02-13 2005-09-16 Nokia Corp Picture decoding method

Also Published As

Publication number Publication date
EP1961232A1 (en) 2008-08-27
BRPI0618719A2 (pt) 2011-09-06
KR20080080521A (ko) 2008-09-04
US20070130493A1 (en) 2007-06-07
JP5389449B2 (ja) 2014-01-15
EP1961232B1 (en) 2014-06-04
WO2007067479A1 (en) 2007-06-14
RU2470481C2 (ru) 2012-12-20
TW200731811A (en) 2007-08-16
JP2009518956A (ja) 2009-05-07
CN101341754A (zh) 2009-01-07
US7716551B2 (en) 2010-05-11
KR101343234B1 (ko) 2013-12-18
EP1961232A4 (en) 2011-11-30
RU2008122940A (ru) 2009-12-20
CN101341754B (zh) 2010-10-27

Similar Documents

Publication Publication Date Title
TWI408967B (zh) 媒體編碼器及解碼器間之回饋及訊框同步
KR100612003B1 (ko) 통신망에서 비트 스트림 송수신 장치 및 그 방법
US8605779B2 (en) Mechanisms to conceal real time video artifacts caused by frame loss
RU2506715C2 (ru) Передача изменяющегося визуального контента
JP2005503708A (ja) エンコーダ冗長選択システム及び方法
RU2006101400A (ru) Переключение потока на основе постепенного восстановления при декодировании
CN107911332A (zh) 媒体内容流播的系统和方法
KR20010112563A (ko) 무선 데이터 송수신 장치 및 그 방법
HUE025532T2 (en) Procedure and system for determining the quality of video stream
US20010041981A1 (en) Partial redundancy encoding of speech
JP5344541B2 (ja) データ送信装置、送信方法及びプログラム
CN101854224A (zh) 纠错编码方法、装置和系统以及转发控制方法和装置
US7593424B2 (en) Transmitting/receiving system, transmitting apparatus, transmitting method, receiving apparatus, receiving method, recording medium, and program
JP2005051299A (ja) パケット送信装置、パケット受信装置、パケット送信方法及びパケット受信方法
US7827458B1 (en) Packet loss error recovery
KR100840877B1 (ko) 신호 코딩 방법 및 장치, 코딩된 데이터 스트림 코딩 방법 및 장치, 채널 인코딩 방법 및 채널 코더, 채널 디코딩 방법 및 채널 디코더, 및 저장 매체
JP6529299B2 (ja) 送信装置、受信装置、方法及びプログラム
CN1798342A (zh) 一种转换设备中视频图像编码的转换方法
CN101296166B (zh) 基于索引的多媒体数据的测量方法
CN103812824A (zh) 音频多编码传输方法及相应装置
Belda et al. Hybrid FLUTE/DASH video delivery over mobile wireless networks
Foo Siu Cheung Hui et al. Enhancing the quality of low bit‐rate real‐time Internet communication services
US8238431B2 (en) Method and system for rate reduction of video streams
KR100704116B1 (ko) 멀티미디어 서비스를 위한 다중 실시간 인코딩 방법 및 그서버 장치
CN116614479A (zh) 用于确定互联网上实时通信中的视频编解码器性能的系统和方法