TWI459819B - 在無線視訊通訊中用於錯誤回復性演算法之方法與設備 - Google Patents

在無線視訊通訊中用於錯誤回復性演算法之方法與設備 Download PDF

Info

Publication number
TWI459819B
TWI459819B TW096102105A TW96102105A TWI459819B TW I459819 B TWI459819 B TW I459819B TW 096102105 A TW096102105 A TW 096102105A TW 96102105 A TW96102105 A TW 96102105A TW I459819 B TWI459819 B TW I459819B
Authority
TW
Taiwan
Prior art keywords
current frame
frame
level reference
reference counter
macroblock
Prior art date
Application number
TW096102105A
Other languages
English (en)
Other versions
TW200737994A (en
Inventor
Gordon Kent Walker
Sitaraman Ganapathy Subramania
Vijayalakshmi R Raveendran
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW200737994A publication Critical patent/TW200737994A/zh
Application granted granted Critical
Publication of TWI459819B publication Critical patent/TWI459819B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Description

在無線視訊通訊中用於錯誤回復性演算法之方法與設備
本申請案係針對多媒體信號處理，且更特定而言係針對無線視訊通訊。
多媒體處理系統，諸如視訊編碼器，可使用基於國際標準，諸如動畫專業團體(MPEG)－1、－2及－4標準，國際電信聯盟(ITU)－TH.263標準，及ITU－T H.264標準及其對應物，ISO/IEC MPEG－4，第10部分(即，高階視訊編碼(AVC))的編碼方法來對多媒體資料進行編碼。該等編碼方法通常針對於壓縮多媒體資料以進行傳輸及/或儲存。壓縮泛指自資料去除冗餘的過程。
視訊信號可依據圖像的序列進行描述，其包括圖框(整個圖像)或圖場(例如，一交錯視訊流包含一圖像之交替奇數或偶數線的圖場)。如本文所用之術語"圖框"係指圖像、圖框或圖場。視訊編碼方法使用無損壓縮演算法或有損壓縮演算法來壓縮視訊信號以壓縮每一圖框。圖框內編碼(在本文中被稱作框內編碼)係指在對一圖框進行編碼時僅使用該圖框。圖框間編碼(在本文中被稱作框間編碼)係指基於其他"參考"圖框對一圖框進行編碼。舉例而言，視訊信號通常展示時間冗餘，其中在圖框的時間序列中彼此靠近的圖框至少具有彼此匹配或至少部分地匹配的部分。
多媒體處理器，諸如視訊編碼器，可藉由將圖框分成(例如)16×16像素的區塊或"巨集區塊"而對圖框進行編碼。編碼器可進一步將每一巨集區塊分成子區塊。每一子區塊可進一步包含額外的子區塊。舉例而言，巨集區塊的子區塊可包括16×8與8×16個子區塊。8×16個子區塊的子區塊可包括8×8個子區塊，等等。如本文所用之術語"區塊"係指巨集區塊或子區塊。
編碼器可使用基於框間編碼運動補償的演算法來利用此時間冗餘。運動補償演算法決定至少部分匹配一區塊的參考圖框的部分。該區塊可在圖框中相對於參考圖框的匹配部分移位。此移位的特徵在於運動向量。該區塊與參考圖框的部分匹配部分之間的任何不同可依據殘餘來表徵。該編碼器可將圖框編碼成包含該圖框的特定分割的運動向量與殘餘中之一或多者的資料。用於編碼圖框的區塊的特定分割可藉由使(例如)平衡編碼大小與編碼所得內容的失真之價值函數近似地最小而進行選擇。
框間編碼比框內編碼的壓縮效率更高。然而，當參考資料(例如，參考圖框或參考圖場)由於頻道錯誤等丟失時，框間編碼可出現問題。在此等情況下，對經框間編碼之資料的解碼可為不可能的或可導致不當錯誤及錯誤傳播。解碼器可採用隱藏機制，該隱藏機制試圖利用自相鄰區塊或自其他圖框中的資料所得到的資料來隱藏或掩飾出錯的資料。隱藏演算法(concealment algorithm)的改良可提供出錯之視訊資料之隱藏部分品質中之某些改良。然而，由於隱藏演算法嚴重依賴時空資訊，因此對於隱藏影像所展示的品質有多高存在一限制。隱藏的資料之品質可能不高且觀賞體驗可被降級。此外，對信號進行解碼可變成不可能的，且可能需要再同步。藉由重新整理(refresh)視訊的編碼方法，錯誤傳播可受到限制，且可能夠再同步(或初始獲取)。無需參考其他圖框或已知其他圖框，可對經重新整理之視訊信號進行解碼。
可獨立解碼之經框內編碼的圖框為能夠重新整理視訊信號的圖框之最普通的形式。MPEG－x與H.26x標準使用被稱作圖像組(GOP)的圖框，其包含一經框內編碼之圖框(亦被稱作I－圖框)與在時間上經預測之P－圖框或參考GOP內I－圖框及/或其他P及/或B圖框之經雙向預測之B圖框。較長的GOP適於增加壓縮，但較短GOP允許更快的獲取與再同步。增加I－圖框的數目將更頻繁地重新整理視訊信號，藉此進一步限制錯誤傳播並且提供更快的獲取與再同步，但以更低的壓縮為代價。所需的為一種編碼視訊資料的方法，其限制視訊流在解碼器的錯誤傳播同時保留壓縮效率。
本申請案之系統、方法及裝置各具有若干態樣，該等態樣中無單一態樣單獨說明其所要屬性。在不對下文之申請專利範圍所表達之本申請案的範疇產生限制的情況下，現將簡要討論其較突出的特徵。在考慮本討論之後，且尤其在閱讀標題為"實施方式"的部分之後，讀者將理解本申請案的樣本特徵可如何提供某些改良，該等改良包括(例如)改良的解碼視訊品質、改良的錯誤復原、改良的錯誤回復性及/或改良的無線通訊效率。
一種處理包括多個視訊圖框之多媒體資料之方法，其中該方法包括初始化一像素級參考計數器用於當前圖框，參考當前圖框執行對下一圖框的預測並且重新調整當前圖框的巨集區塊頻寬映射。
本文描述一種處理包括多個視訊圖框之多媒體資料之處理器，其中該處理器經組態以初始化一像素級參考計數器用於當前圖框，參考當前圖框執行對下一圖框的預測並且重新調整當前圖框的巨集區塊頻寬映射。
本文展示處理包括多個視訊圖框的多媒體資料的設備，其中該設備包括用於初始化像素級參考計數器用於當前圖框的初始化器，用於參考當前圖框執行下一圖框的預測的執行器，及用於重新調整當前圖框的巨集區塊頻寬映射的重新調整器。
本文展示處理包括多個視訊圖框之多媒體資料之設備，其中該設備包括用於初始化像素級參考計數器用於當前圖框之構件，用於參考當前圖框執行下一圖框的預測之構件，及用於重新調整當前圖框之巨集區塊頻寬映射之構件。
本文描述一種用於處理包括複數個視訊圖框的多媒體資料之機器可讀媒體，其中該機器可讀媒體包括在執行時使機器初始化像素級參考計數器用於當前圖框，參考當前圖框執行下一圖框的預測，及重新調整當前圖框之巨集區塊頻寬映射之指令。
以下詳細說明係針對於本申請案的某些樣本實施例。然而，本申請案可以申請專利範圍所界定與涵蓋的多種不同方式體現。在本描述中，參考以下圖式，其中通篇相同的部件用相同的數字表示。
視訊信號可依據一系列圖像、圖框、圖場或片段來表徵。如本文所用之術語"圖框"為一廣義術語，其可涵蓋漸進式視訊信號的圖框、交錯視訊信號的圖場或任一者之片段。
實施例包括改良多媒體傳輸系統中編碼器中之處理的系統與方法。多媒體資料可包括運動視訊、音訊、靜止影像或任何其他適當類型之視聽資料中一或多者。實施例包括資料(例如，視訊)通訊之設備與方法。
圖1為說明根據一個態樣之一多媒體通訊系統100的方塊圖。系統100包括經由網路140與解碼器裝置150進行通訊之編碼器裝置110，網路140可為(例如)易於出錯的網路，諸如無線網路。在一個實例中，編碼器裝置自外部源102接收多媒體信號且編碼該信號以在網路140上進行傳輸。
在此實例中，編碼器裝置110包含耦接至記憶體114與收發器116之處理器112。處理器112可包括一或多個通用處理器及/或數位信號處理器。記憶體114可包括一或多個固態及/或基於磁碟之儲存設備。處理器112對來自多媒體資料源之資料進行編碼並且將其提供至收發器116用於在網路140上進行通訊。
在此實例中，解碼器裝置150包含耦接至記憶體154與收發器156之處理器152。處理器152可包括一或多個通用處理器及/或數位信號處理器。記憶體154可包括一或多個固態及/或基於磁碟之儲存設備。收發器156經組態以在網路140上接收多媒體資料並且將其提供至處理器152進行解碼。在一實例中，該收發器156包括一無線收發器。網路140可包含有線或無線的通訊系統中之一或多者，包括乙太網、電話(例如，POTS)、電纜、電力線及光纖系統中之一或多者，及/或包含劃碼多向近接(CDMA或CDMA2000)通訊系統、劃頻多向近接(FDMA)系統、正交劃頻多向(OFDM)近接系統、劃時多向近接(TDMA)系統中之一或多者之無線系統，諸如GSM/GPRS(通用封包無線電服務)/EDGE(增強型資料GSM環境)、TETRA(陸上集群無線電)行動電話系統、寬頻劃碼多向近接(WCDMA)系統、高資料速率(1xEV－DO或1xEV－DO黃金多播)系統、IEEE 802.11系統、MediaFLO系統、DMB系統或DVB－H系統。
圖2為說明可在諸如圖1中所說明的系統100中使用之編碼器裝置110之實施例的方塊圖。在此實施例中，編碼器110包含失真值估計器元件202、編碼方法決定器204及多媒體編碼器元件206。失真值估計器202估計被編碼的多媒體資料的部分之失真值。該失真值部分地基於自預測當前部分所用之視訊的其他部分之錯誤傳播及其他部分被錯誤地接收之可能性。失真值亦包括在隱藏視訊資料之該部分時(若其被錯誤地接收)在解碼器處引入之錯誤造成之失真分量。失真值估計器可考慮多種編碼方法並且計算該等編碼方法之中每一者的失真值。
編碼方法決定器204基於所估計之失真值決定一種將對視訊資料之該部分進行編碼的編碼方法。編碼方法決定器204與失真值估計器202可一起工作以計算多種編碼方法(例如多種框間編碼方法)之多個失真值並且選擇產生最小失真之編碼方法。編碼方法決定器可比較失真值與臨限值，且基於該比較，決定需要另一編碼方法。其他編碼方法可為關於重新整理視訊流之編碼方法，諸如框內編碼。其他編碼方法亦可為產生如失真值估計器202所估計之更低失真值的另一形式之框間編碼。編碼方法決定器亦可考慮計算複雜性以及失真值來決定提供可接受之失真且並不超過計算複雜程度之編碼方法。
多媒體編碼器206執行基於失真值所決定之編碼方法。由多媒體編碼器206執行之編碼方法包括框間編碼，其中視訊之部分參考位於其他時間圖框中之視訊資料的其他部分在時間上進行預測(例如，使用運動補償預測)。其他編碼方法包括框內編碼，其中視訊之部分被編碼使得其可被獨立解碼而無需參考其他在時間上定位之視訊資料。在一些實施例中，框內編碼可使用空間預測以利用位於相同時間圖框中其他視訊資料中之冗餘。
在一些實施例中，圖2之編碼器110的一或多個元件可被重新安排及/或組合。該等元件可由硬體、軟體、韌體、中間軟體、微碼或其之任何組合實施。由編碼器110的元件所執行之操作的細節將在下文中參考圖4中所說明之方法進行討論。
圖3為說明可在諸如圖1中所說明之系統100中使用的解碼器裝置150之實施例的方塊圖。在此實施例中，解碼器裝置150包括多媒體解碼器元件302與錯誤隱藏元件304。多媒體解碼器302將諸如使用圖2之編碼器裝置110所編碼的經編碼之多媒體數位流解碼。多媒體解碼器執行對應於用於編碼資料之編碼操作的逆操作。經編碼之資料可為經框間編碼(例如，經時間上預測之資料)及/或經框內編碼之資料。
錯誤隱藏元件304執行各種形式之錯誤隱藏，該等錯誤隱藏用於隱藏或掩飾錯誤地接收或由於其他原因不可解碼(例如，由於同步損失)之視訊的部分。該等隱藏方法可包括空間錯誤隱藏方法、時間錯誤隱藏方法及其他方法。當在圖2之編碼器裝置110的失真值估計器202中估計失真值時，所用的隱藏方法可與模型錯誤隱藏方法相同或類似。雖然本態樣並不要求相同或類似之隱藏方法，但在解碼器裝置150中使用該等與解碼器裝置模型中相同或類似之隱藏方法可得到改良的經解碼之視訊品質。除執行錯誤隱藏之外，錯誤隱藏元件304可執行錯誤復原功能。可在試圖解析出可用(例如，無錯誤)部分時對經決定為出錯的資料區段執行錯誤復原。該等被解析出之部分亦可藉由錯誤隱藏元件304用於錯誤隱藏。
在一些實施例中，圖3之解碼器150的一或多個元件可被重新安排及/或組合。該等元件可由硬體、軟體、韌體、中間軟體、微碼或其之任何組合實施。藉由解碼器150之元件所執行之操作的細節不屬於本討論之範疇。
圖4A為說明在諸如圖1所說明之系統中編碼視訊流的一部分之方法的實例的流程圖。在本實例中，該方法估計被編碼之視訊的一部分之失真值。失真值係基於在解碼器處錯誤地接收的經編碼之部分之機率及由用於隱藏該出錯部分之隱藏方法所造成之錯誤。藉由使失真值基於解碼器隱藏方法，經編碼之視訊流可更抗在解碼器處錯誤傳播之影響，此可改良經解碼之視訊品質。在此實例中之方法亦可基於經估計之失真值決定一編碼方法。可在複數種編碼方法中決定編碼方法以使失真值最小。編碼方法可基於在解碼器處視訊的部分之改良之可復原性來決定。可決定編碼方法以重新整理視訊部分從而限制在解碼器處之錯誤傳播。
參看圖4A，方法400始於區塊402，其中編碼裝置估計多媒體資料之一部分的失真值。多媒體資料之部分可為像素(例如，亮度與色度，或紅、綠及藍等)、一區塊像素或一或多個像素之任何形狀與大小之區域。失真值至少部分基於與可用於隱藏視訊部分(若其被錯誤地接收)之錯誤隱藏方法相關之失真分量。失真值可包括自多種隱藏方法之分量。舉例而言，一個分量可表示由所用第一隱藏方法引入的失真(若僅正經編碼之部分被錯誤地接收)。換言之，解碼器裝置可用於預測經隱藏之部分的所有其他視訊資料(被稱作預測資料)被假設無錯誤地接收。失真值之其他分量可包括由第二或第三隱藏方法所引入之失真，其中若一或多個預測部分被錯誤地接收，則可藉由一解碼器使用此等隱藏方法。該等隱藏方法可包括空間隱藏、時間隱藏及其他形式的隱藏。將在下文中討論估計包括時間隱藏之失真值之方法的細節。圖2中編碼器裝置110之失真值估計器202可執行在區塊402之操作。
在一些實例中，對於資料之圖框中的每一區塊，在區塊402計算失真值。該等區塊可為巨集區塊(例如，16x16像素巨集區塊)或任何大小之子聚集區塊。在圖框中每一區塊之失真值可儲存於一失真映射中。圖5用圖表說明可在區塊402產生之失真映射。失真映射500含有多個失真值變數505(標記為dv1－dv16)，圖框中每一區塊一個失真值變數。先前圖框之失真映射500可用於計算在新圖框中之失真值。以此方式，可易於計算累計失真。若任一區塊被決定為重新整理，例如經框內編碼，則該區塊之失真值可被設定為零，或設為由於量化或某些其他因素所造成之失真值。
在區塊404，編碼器裝置基於所估計之失真值決定一種用於多媒體資料之該部分的編碼方法。在一些實例中，在區塊402計算多種編碼方法之失真值，將其作為用於選擇將使用多種方法中之哪一編碼方法的速率失真計算的一部分。舉例而言，產生最小失真值之編碼方法可被決定(在區塊404)為用於編碼多媒體資料之部分。在其他實例中，失真值可基於第一編碼方法(框間編碼或框內編碼)計算且失真值被用於決定應被框內編碼之區塊，諸如在適應性內重新整理(Adaptive Intra－Refresh；AIR)中所進行。舉例而言，對應於一部分之失真值可繼基於速率失真之決策導致發現最佳運動向量與模式來編碼該部分之後來進行計算。若如此獲得之失真值大於臨限值，則其可決定使用框內編碼模式中之一者(例如，4x4像素框內編碼或16x16像素框內編碼)來對該部分進行框內編碼。以此方式，重新整理多媒體之該部分。除框內編碼模式之外，在某些情況下，亦可基於失真值決定某些框間編碼模式(P8x8、P16x16、P16x8、P8x16等)，儘管其並不得到重新整理之視訊。應注意，方法400之區塊中的某些區塊可被組合、省略、重新安排或其之任何組合。在區塊404決定編碼方法之一些實施例的細節在下文中參看圖4B討論。
現將討論在區塊402估計失真值之實例演算法的細節。在此實例中之失真值係關於使用自兩個其他圖框(例如，先前圖框與隨後圖框)之部分隱藏多媒體之出錯部分之時間隱藏方法。然而，可使用類似的方法表示其他隱藏方法。
實例演算法計算視訊之單向預測部分(諸如在P圖框中)的預期(即，統計期望)失真值之遞迴失真值。其他部分，諸如框內編碼部分與雙向預測部分亦可由相同演算法表示。演算法可部分基於當前MB損失之假設的機率(定義為機率"P")及藉由隱藏方法所使用之預測因子丟失的機率(定義為機率"Q")。隨著假設機率P與Q中至少一者增加，演算法更傾向於得到良好的錯誤回復性/隱藏，同時犧牲壓縮效率。當某人降低機率P與Q中至少一者時發生相反的情況。
演算法計算多媒體資料之一部分的預期失真值。多媒體資料之該部分可為任何數目之像素與任何形狀。將引用16×16像素巨集區塊(MB)之部分討論該實例，但應注意亦可表示其他部分。在一實施例中，使用該演算法來估計圖框之每一MB的預期失真值來形成如上文參看圖5所討論之失真映射。在此實例中之預期失真值以遞迴與運動適應之方式進行計算。儘管此預期失真映射可不精確地為MSE或L1 範式失真量測，但期望其與此等量測合理地良好地相關。
以下符號係用於討論失真值演算法：＝在第"t"圖框中第(i,j)巨集區塊之累計失真值P＝當前MB丟失之機率Q＝藉由相關隱藏方法所用之預測因子丟失之機率
已知此等假設，以等於(1－P)之機率無任何錯誤地接收當前MB。在單向預測中，當前MB參考另一圖框(在本實例中之先前圖框)的MB大小之部分進行編碼。運動向量MV給出當前MB與MB大小參考部分之相對位置或定位。參考部分將通常不與MB邊界對準，但將重疊高達四個MB之四個區域。圖6用圖表說明用於使用運動補償預測方法來估計視訊之一部分的預測區域。運動向量605指向由標記為a1、a2、a3與a4之四個區域部分組成之MB大小預測區域610。此等區域部分a1－a4，分別位於四個MB 615、620、625及630內。MB 615－630之失真值可自先前圖框之失真映射的儲存版本獲得。在此實例中，在預測區域610中之四個區域部分a1－a4之累計失真值被加權平均(例如，基於在每一區域部分中像素之數目)以計算當前MB之失真值。因此，由下式給出由於累計錯誤傳播所造成之當前巨集區塊之經估計之預期失真值： 其中a1 、a2 、a3 、a4 為如圖6所說明之四個區域部分。應注意由式(1)所給出之失真值係藉由用256除16×16像素區域的加權平均值來正規化。
除自先前圖框之預測區域的累計失真外，若當前MB被錯誤地接收，則演算法估計由於當前MB之隱藏所造成之失真值分量。如上文所討論，假設當前MB以P的機率被錯誤地接收。由於隱藏方法藉由當前巨集區塊所導致之失真可近似為隱藏錯誤(由隱藏方法所引入且表示為術語Conceal－Error之錯誤)與自由隱藏方法所使用之預測區域的錯誤傳播所造成之影響的和。如上文所討論，假設預測因子(例如，自當前及/或過去圖框)可以1－Q的機率利用。在此實例中，假設隱藏方法取決於在當前圖框與先前圖框中之資料的可用性。假設預測區域在先前圖框中，如累計失真術語所表示。然而，此僅為一實例，且預測區域可在當前圖框中或任何其他可用的圖框中。因此，由於使用自先前圖框之預測區域的時間錯誤隱藏方法所導致之失真，其中被隱藏的部分出錯的機率為P，且其取決於在當前圖框與先前圖框中之預測資料的可用性(皆以1－Q的機率可利用)，可被計算為：
隱藏錯誤計算在計算上可為複雜的。然而，在某些合理假設下，其可近似為以下SAD(像素值中之累計差的和)中的差值：SADopt ：當使用最佳MV與最佳編碼模式時在原始影像與壓縮影像之間所獲得之SAD。
SADest ：當使用經估計之MV時(藉由時間隱藏演算法估計)在原始影像與隱藏影像之間獲得的SAD
此近似可書寫為如下： 其中a1 '、a2 '、a3 '、a4 '為在先前圖框中之四個區域部分(如在圖6中所說明)，其被用作隱藏部分預測且用於累計失真的加權平均。應注意由式(3)所給出之失真值亦藉由用256除16×16像素區域之加權平均值來正規化。
應注意，當使用式(3)時，在某些情況下可發現SADest 小於SADopt (例如，由於運動補償不準確)，但該差可忽略地小且在彼等情況下，Conceal_Error分量可近似為零。
式(3)表示當當前圖框與先前圖框皆可用時(其中每一者以1－Q的機率發生)對應於所用隱藏方法之失真值分量。然而，若某些或所有當前圖框及/或過去圖框被錯誤地接收，其中每一者以機率Q發生，則可存在不同的隱藏錯誤。可考慮對應於四個不同隱藏估計之失真值分量，其中四個隱藏估計對應於四種情境：1)當前圖框可用且先前圖框可用，2)當前圖框可用但先前圖框出錯，3)當前圖框出錯但先前圖框可用及4)當前圖框與先前圖框皆出錯。關於四個隱藏估計之計算的細節對於理解失真值計算並不是關鍵的，且將不在此討論。包括四個失真值分量的累計失真可如下進行計算： 其中第一隱藏估計得到失真，且第二隱藏估計得到失真，等等。此外，累計失真基於在四個隱藏估計之每一者中使用的預測區域之區域(a ' 、a " 、a ''' 及a '''' )加權平均。隱藏估計可基於不同類型之隱藏方法，諸如空間隱藏、雙向隱藏等。舉例而言，隱藏演算法有時可在時間上隱藏且有時在空間上隱藏，此視決定性/機率性準則而定。執行失真值計算與基於該失真值決定使用哪一編碼方法之編碼器裝置可模型化在解碼器中使用之相同或類似隱藏方法，以當解碼器接收出錯的資料時改良錯誤復原及/或錯誤隱藏效能。
應注意可基於其他預測區域不可利用的機率考慮其他隱藏估計並將其包括於方程式(4)中。方程式(4)可用於圖框中之每一MB以形成如圖5所說明之失真映射。因此，使用方程式(4)計算之失真值包含藉由選擇多個隱藏選項所導致之失真的加權和，其中權重為每一隱藏選項被選擇的機率。
圖4B為更詳細地說明在諸如圖1所說明之系統中編碼視訊流之一部分的方法的實例之流程圖。方法420包括如上文參看圖4A所討論之區塊402與404，圖4A包括在區塊402當估計失真值時可考慮的各種隱藏方法及在區塊404決定編碼方法之各種方法。
在區塊402，可使用與在上文中參考方程式(4)所討論之演算法類似的演算法進行估計。所用精確失真值方程式取決於所表示之隱藏方法的類型。所表示的隱藏方法可包括空間隱藏方法，其中位於相同圖框中之預測部分被用於隱藏錯誤地接收之部分。在圖框內空間隱藏之情況下，使用在當前圖框中之MB的累計失真值而非使用在先前圖框中之失真值。時間隱藏方法可包括如上文所討論且由方程式(4)所表示之單向預測且亦可包括雙向預測，在雙向預測中亦可考慮隨後圖框之可用性。
時間隱藏方法的一個實例為運動向量換算。運動向量換算為一種自其他圖框內插及/或外插運動向量以得到當前圖框中出錯多媒體資料之一部分的運動向量。時間隱藏方法的另一實例為圖框速率轉換。圖框速率轉換可類似於運動向量換算，但涉及整個圖框(一般基於兩個周圍圖框)的組建。時間錯誤隱藏方法之另一實例可基於光流方法。可由在區塊402估計之失真值表示的其他形式之隱藏包括空間與頻率域內插法、最大平滑復原及投影至凸集內。熟習此項技術者將識別當在方法400之區塊402估計失真值時可表示之其他形式的錯誤隱藏。
如上文所討論，編碼器裝置在區塊404基於在區塊402所估計之失真值決定編碼方法。在一些實施例中，將所估計之失真值與臨限值相比較且基於該比較決定該編碼方法。對於多媒體資料之所有部分，該臨限值可為單一值。然而，臨限值亦可根據諸如在方法420的區塊404所列出的方法變化。此等方法將相對於基於超過一臨限值決定一編碼方法來討論，若超過臨限值則所選擇之編碼方法將通常用於重新整理該部分(或至少降低該部分之經估計之失真值)。然而，應注意編碼方法亦可基於小於臨限值之失真值來決定。
在一些實例中，該臨限值隨其中被編碼之多媒體部分所位於的區域的紋理而變化。具有較寬變化紋理之區域(例如，像素之間具有較大變化)可展示可小於具有較小變化紋理之區域的錯誤，且因此可提供更高的臨限值，超過該臨限值，可決定編碼方法以重新整理該部分(例如，使用框內編碼)。然而，具有平滑或略微變化紋理之區域可展示更多的錯誤且因此可被指定一更低的臨限值。
在一些實例中，該臨限值可隨圖框內被編碼之部分的位置或定位變化。舉例而言，邊緣上之部分可被指派比中間部分更高的臨限值。以此方式，其中觀眾更頻繁觀看之區域(例如，圖框的中央)可比觀眾不經常觀看之邊緣部分更頻繁地重新整理。
在一些實例中，臨限值可隨GOP(圖像組)內被編碼之當前圖框或多個圖框之超圖框的位置變化。GOP通常始於框內編碼圖框或包括在一圖框內被框內編碼至少一次之大體上所有MB的一組圖框(被稱作適應性內重新整理或AIR)，且其中在GOP(或超圖框)中之其他圖框並不參考在GOP之外的圖框。為確保MB在GOP開始處具有更高的被框內編碼之機會，靠近GOP開始之圖框中的臨限值可具有比靠近GOP的末端的MB更低之臨限值。
在某些情況下，臨限值可隨圖框內(例如失真映射中)失真值之分佈變化。舉例而言，臨限值可被適應性地設定以確保MB在圖框內的百分比基於失真值之分佈框內編碼。此可用於限制經框內編碼之MB的數目以限制傳輸所需的資料速率。即使對於某些圖框，品質可被降級(由於失真值之高分佈)，資料速率仍可被保持為所要程度。
在一些實例中，該臨限值可隨含有被編碼的部分之圖框的區域內之運動活動率而變化。在特徵為更高運動活動率的視訊的區域中發生之錯誤傾向於比在特徵為小運動之區域中發生的錯誤更不易覺察。在經歷更高運動活動率之區域中設定的臨限值可為比經歷更低運動活動率之區域中更高的值。可以多種方式量測運動活動率。舉例而言，運動向量振幅可被用作運動活動率指示符，其中更高的振幅運動向量表示更高的運動活動率。運動向量方向之變化亦可用作運動活動率指示符。若在一區域中之大部分運動向量大體上指向相同的方向，則此可指示低運動活動率。若在一區域之相鄰區塊中的運動向量指向不同的方向，則此可指示高運動活動率。可使用其他運動補償技術諸如光流獲得類似運動活動率量測。
在一些實例中，臨限值可隨被編碼之視訊的部分之編碼模式變化。舉例而言，視訊之某些部分通常不用作視訊之其他預測部分的參考。舉例而言，B圖框不用作許多系統中之參考圖框。因此在此類型的系統中之B圖框的失真值可被允許更高，因為沒有其他視訊參考B圖框。由於沒有其他視訊參考B圖框，因此錯誤僅持續一個圖框持續時間(例如，在每秒視訊序列30個圖框中之第1/30秒)。因此，對於不被參考的視訊之部分，臨限值可高於可由其他預測部分所參考之視訊的部分。
繼決定編碼方法之後，在區塊404，基於在區塊402估計之失真值，處理420在區塊406繼續，其中被編碼之多媒體資料的部分藉由所決定之編碼方法進行編碼。在區塊406之編碼方法可包括具有或不具有相鄰像素之空間預測的框內編碼。可選擇無相鄰像素之空間預測的框內編碼以減小在區塊402所計算之失真值。在區塊406之編碼方法可包括使用運動補償預測之單向或雙向預測。可選擇不同形式之運動補償預測以減小在區塊402所估計之失真值。運動補償預測可包括區塊匹配，光流及如上文所討論計算運動向量之其他方法。應注意，方法420之區塊中的某些區塊可被組合、省略、重新安排或其之任何組合。
圖7為說明可在諸如圖1中所說明之系統中使用的編碼器裝置110之實例的功能性方塊圖。本態樣包括：估計構件，用於至少部分基於與隱藏第一部分(若第一部分被錯誤地接收)相關之一或多種隱藏方法來估計多媒體資料之第一部分的失真值；及決定構件，用於至少部分基於所估計之失真值來決定第一部分之編碼方法。本態樣之一些實例包括，其中估計構件包含一失真值估計器702，及其中決定構件包含一編碼方法決定器704。
圖8為說明可在諸如圖1中所說明之系統中使用的編碼器裝置110之實例的功能性方塊圖。本態樣包括：估計構件，用於至少部分基於與隱藏第一部分(若第一部分被錯誤地接收)相關的一或多種隱藏方法估計多媒體資料之第一部分的失真值；及決定構件，用於至少部分基於所估計的失真值來決定第一部分之編碼方法。在本態樣的一些實例中，估計構件包含用於估計失真值之模組802，且決定構件包含用於決定編碼方法之模組804。
對應用於易於出錯環境中之視訊傳輸之錯誤回復性策略與演算法進行討論。此等概念應用於現有或未來應用、傳輸層與實體層或其他技術之任何個別者或其之組合。基礎態樣為藉由整合與通訊系統之所要性質(諸如低潛時與高產量)結合之對OSI層中錯誤敏感性質與錯誤保護能力的理解的有效抗錯誤演算法。主要優勢中之一者為自衰減與多徑頻道錯誤的可復原性。儘管描述了視訊通訊系統之實例，但所述錯誤回復性態樣可擴展至易於出錯的環境中之資料通訊。
圖9說明根據一些實施例之無線通訊系統900。該例示性視訊通訊系統通常包括由藉由通訊網路930所連接之視訊編碼器910與視訊解碼器920組成之視訊壓縮系統(未圖示)。網路930可進一步包括RF調變器940、網路頻道950及RF解調變器960。無線網路為一類易於出錯之網路，其中頻道可展示除一般路徑損失之外的運動情境中的對數常態衰減或遮蔽及多徑衰減。為克服頻道錯誤並提供應用層資料之可靠通訊，RF調變器940可包括前向錯誤檢正(FEC)，其可包括交錯與頻道編碼，諸如回旋編碼或渦輪編碼。
一般而言，視訊壓縮可減小源視訊中之冗餘且增加在經編碼之視訊資料的每一位元中承載之資訊量。當即使經編碼之視訊的小部分丟失時此可增加對品質的影響。視訊壓縮系統中內在的空間與時間預測可加重損失且可造成錯誤傳播，導致經重組之視訊中可見的假影。在視訊編碼器處之錯誤回復性演算法與在視訊解碼器處的錯誤復原演算法可增強視訊壓縮系統之抗錯誤性。
一般而言，視訊壓縮系統對於下面的網路而言是不可知的。然而，在易於出錯的網路中，在應用層中之錯誤保護演算法與在鏈結/實體層中之FEC與頻道編碼整合或對準是高度理想的，且此可促進增強整個系統之錯誤效能的效率。MediaFLOTM 為無線視訊通訊系統的一個實例，其中此類型之整合或對準是可能的。
因此，可(例如)使用MediaFLOTM 視訊編碼來實施本揭示內容之一些實施例以使用FLO無線電介面規範傳遞在TM3系統中的即時視訊服務，"Forward Link Only[FLO]Air Interface Specification for Terrestrial Mobile Multimedia Multicast"，出版為Technical Standard TIA－1099，2006年8月，其以全文引用的方式併入本文中用於各種目的。下文所述之態樣、實施例及/或實例係關於演算法與其之間的互通以提供FLO網路中增強的錯誤效能。然而，此等態樣、實施例及/或實例希望通用於所有易於出錯的網路。
如本文所用之片段為可獨立解碼(例如，使用熵解碼)之經編碼之視訊資料。在FLO環境中之片段可與FLO圖框邊界對準。如本文所用之存取單元(AU)為經編碼之視訊FLO圖框。FLO圖框為提供相對較高的時間分集之實體層封包(例如，被稱作TDM囊)的劃時多工(TDM)區塊。FLO超圖框可對應於一個時間單位(例如，1秒)且因此含有多個FLO圖框(例如，每1秒FLO超圖框4個FLO圖框)。此等定義中之每一者對於其他易於出錯之網路類型及甚至在未來FLO網路組態內可且將可能發生改變(例如，FLO超圖框可無關於持續時間併入固定數目之FLO圖框)。
在當前FLO環境內，例如，在時間域中使片段及AU邊界與FLO圖框邊界對準可導致被破壞之資料最有效的分離與定位。舉例而言，在深度衰減期間，在TDM囊中之大部分鄰近衰減資料通常受到錯誤影響。但由於時間分集，其餘TDM囊具有較高的保持完整的機率。因此，可利用未被破壞的資料來自受影響的TDM囊復原並且隱藏丟失的資料。
類似邏輯適用於頻域多工(FDM)，其中經由分離資料符號調變的頻率子載波來獲得頻率子集。類似邏輯亦可用於空間子集(例如，經由在傳輸器與接收器天線中之分離)，以及通常在無線網路中採用的其他形式之子集(及其他易於出錯之網路)。
為使片段及AU與FLO圖框對準，亦應對準外碼(FEC)碼區塊形成與MAC層包裹。圖10展示在片段與AU中經編碼之視訊資料或視訊位元流之組織。經編碼之視訊可在一或多個位元流中組成(例如，基礎層位元流及/或加強層位元流)，其中層化視訊編碼適用於此實例。圖11展示在片段與AU中視訊位元流之組織及其與FLO圖框的映射，其中(a)展示片段邊界與FLO圖框之對準，且(b)展示AU邊界(F1、F2...)與FLO圖框與片段之對準(例如，其中AU與實體層封包對準)。
根據一些實施例，視訊位元流包括AU，且AU包括資料之片段。每一片段開始由起始碼決定且提供網路適應。一般而言，I－圖框或經框內編碼之AU係較大的，之後為P－圖框，或前向預測圖框，之後為B－圖框，或雙向預測圖框。將AU編碼為多個片段可導致在經編碼之位元率方面的額外負擔成本，由於在片段上之空間預測限於類似定位之其他圖框的片段，且多個片段標頭亦造成額外負擔。由於片段邊界通常為再同步之點，因此為片段限制鄰近實體層封包(PLP)可幫助控制錯誤，因此，當PLP被破壞時，錯誤被限於PLP中之片段，然而，若PLP含有多個片段或多個片段之部分，則錯誤可影響到PLP中所有片段或片段之部分。
由於I－圖框通常大於P－或B－圖框通常大約數十千位元，則由於多個片段所造成之額外成本並不占總I－圖框大小或總位元比率之較大比例。又，在I－AU中具有更多的片段致能更好且更頻繁的再同步且更有效的空間錯誤隱藏。又，I－圖框通常承載視訊位元流中最重要的資訊，因為P與B圖框最終自I－圖框預測出。I－圖框亦可用作頻道獲取之隨機存取點。
因此，在一些實施例中，仔細對準I－圖框與FLO圖框邊界，以及具有I－AU之片段與FLO圖框邊界，可能夠實現有效的錯誤控制、錯誤保護(由於若屬於FLO圖框1之一個片段丟失，則屬於FLO圖框2之片段有更高機率為完整的，因為FLO圖框2與FLO圖框1具有顯著的時間分隔)及錯誤復原，經由或例如，再同步與錯誤隱藏。
在P－圖框之情況下，其通常大約為數千位元，由於上文關於I－圖框所討論之類似原因，將P－圖框片段及整數個P－圖框與FLO圖框邊界對準是理想的。此處，通常採用時間錯誤隱藏。或者，分散連續P－圖框使得其到達不同的FLO圖框亦可在P－圖框中提供時間分集，因為時間隱藏係基於運動向量及來自先前重組之I－圖框及/或P－圖框之資料。
在B－圖框之情況下，其可為極其小(例如，數百甚至數十位元)至中等大小(例如，超過數千位元)，由於上文關於P－圖框所討論之同樣原因，將整數個B－圖框與FLO圖框邊界對準是理想的。
在一些實施例中，在經編碼之視訊位元流中之鋯誤回復性可併有預測階層及持久性質。考慮以下基於預測之混合壓縮系統。內圖框無需任何時間預測被獨立編碼。然而，在一片段內空間預測係可能的(即，空間預測通常在片段邊界上受限)。框間編碼在時間上自過去及某些時候未來(在B－圖框的情況下)預測出。
在此系統中，最佳預測因子可經由在參考圖框(或一個以上參考圖框)中的搜尋過程決定，且諸如SAD之失真量測(即，待編碼之區塊的像素與預測因子區塊之像素之間的絕對差之和)可用於識別最佳匹配。當然，可使用其他失真量測且其意謂併入本申請案之範疇內。
當前圖框之預測編碼區域可為變化的大小與形狀之像素區塊(例如，16x16、32x32、8x4、2x2等)或經由(例如)分割被識別為物件之一組像素。時間預測通常在許多圖框上延伸(例如，10至100個圖框)且當圖框被編碼為I－圖框時終止。在此實例中，I－圖框頻率界定圖像組(GOP)。對於最大編碼效率，GOP為一場景(即，GOP邊界與場景邊界對準且場景變化圖框被編碼為I－圖框)。
在低運動序列中，其中背景相對靜止且運動限於前景物件(例如，新聞節目、天氣預報等，其中超過大約30%之觀看最多的內容具有此性質)，預測圖框之大部分預測區域(即，框間編碼)經由中間預測圖框(即，其他P－圖框)回頭參考I－圖框。在圖12中展示此預測階層1200。
如圖12所示，I－圖框1210可包括經框內編碼之區塊1215，經預測之圖框1220之多個經框間編碼之區塊1225可最終基於經框內編碼之區塊1215。在I－圖框1210中之經框內編碼之區塊1215為預測編碼之圖框(或AU)P1－Px 1220中經框間編碼之區塊1225的預測因子。在此實例中，此等區塊之區域為背景的固定部分。因此，經由連續時間預測，經框內編碼之區塊1215對錯誤的敏感性變高，由於其為亦暗示其"重要性"更高之良好的預測因子。此外，經框內編碼之區塊1215，由於此時間預測鏈被稱作其預測鏈，在顯示器中持續更長(即，潛在地持續整個場景之持續時間)。
在一些實施例中，預測階層被定義為基於此"重要性"程度或持久性量測形成之區塊的樹狀結構，其中父項(parent)在頂部(例如，圖12中之區塊1215)且子項(children)在底部。應注意，在圖框P1中之經框間編碼之區塊在該階層之第二層級上，等等。樹狀結構的分葉區為終止預測鏈之彼等區塊(例如，圖12中之圖框Px)。
在一些實施例中，預測階層可被建立以用於與內容類型無關之視訊序列(例如，諸如音樂以及體育，且不僅僅是新聞)且一般可適用於基於預測之視訊(及音訊及資料等)壓縮(即，此可應用於在本申請案中所述的所有態樣)。
在建置預測階層之後，可更有效地應用錯誤回復性演算法諸如適應性內重新整理(AIR)(例如)。
根據一態樣，演算法可基於區塊被用作預測因子之次數來估計重要性量測，其可被稱作持久性度量。此持久性度量亦可藉由阻止預測錯誤傳播來用於改良編碼效率。對於重要性更高之區塊，度量亦可增加位元分配。
通常，視訊編碼譯碼器的目標為以給定的頻寬達到盡可能高之品質。品質通常藉由峰值訊雜比(PSNR)來估計。由於每一圖框之每一巨集區塊的編碼模式(例如，所有可能的框內機制與框間機制)及量化參數(QP)影響品質以及頻寬，因此全域最佳化機制涉及所有此等巨集區塊之模式與QP的聯合決策。然而，已知當前實際處理能力，進行此全域最佳化在數學上是難以處理的。相反，對於基於重組的先前編碼的圖框之當前圖框，實際編碼機制試圖達成良好的速率失真(R－D)決策。因此，根據一些實施例，聯合最佳化問題被歸納為有原因的最佳化問題。
在參考圖框中，某些巨集區塊比在預測鏈中之其他巨集區塊更為重要。舉例而言，前景物件在某些未來圖框中可自身複製(即，仍在多個參考圖框的範圍內)。若此物件被準確地再現，則所有其複製品可被簡單地編碼為運動向量，因此節省位元。相反，消失的物件或覆蓋的背景將不再被未來圖框參考，因此其品質將不影響未來圖框。
在本文中描述在一些實施例中，決定預測鏈且更強調頻繁參考巨集區塊的重要性的兩遍演算法。MB的頻寬映射值可被定義為該映射之經估計之複雜性，其接著被用於決定R－D術語中最佳品質之速率控制中分配的位元的數目與比例。此過程可被說明為(參看圖13)：1.第一遍。初始化像素級參考計數器(1310)，R (i ,j )＝0，其中0 i <W ，0 j <H ，W 為圖框寬度，且H 為圖框高度。
2.參考當前圖框執行下一圖框之16x16運動估計(1320)。無論何時參考當前圖框中位置(i ,j )處的像素，使R (i ,j )再加一。
3.第二遍。重新調整當前圖框之巨集區塊頻寬映射(1330)。對於位於(x ,y )的巨集區塊，吾人按照換算其頻寬映射值，其中C 為由實驗決定之常數。增加頻寬映射值造成更多的位元分配於為良好預測因子之巨集區塊(即，在未來圖框中之更多的未來MB自此等巨集區塊預測出)。
4.利用經更新之巨集區塊頻寬映射來編碼當前圖框(1340)。
應注意藉由強調經常被參考之巨集區塊，演算法使得位元流更抗頻道錯誤。在PSNR中的任何增益歸因於早期中止預測鏈阻止預測錯誤傳播之事實(歸因於殘餘編碼)。此外，若良好的預測因子受錯誤影響，則良好的預測因子藉由框內編碼重新整理越早越好，從而防止錯誤傳播。
根據一些實施例，頻道切換圖框(CSF)被定義為插入於廣播流中各種(例如，適當)位置之隨機存取圖框以幫助更快的頻道獲取及因此之廣播多路傳輸中流之間的較快的頻道改變。關於一個CSF的例示性詳細說明書可見於於2006年9月25日申請的共同讓渡之美國專利申請案第11/527,306號及於2006年9月26日申請的第11/528,303號中，二者皆以全文引用的方式併入本文中用於所有目的。I－圖框或漸近式I－圖框，諸如在H.264中之漸近式解碼器重新整理圖框，通常用作頻道切換之隨機存取點。然而，常用I－圖框(例如，短GOP，至少比場景持續時間更短)可導致壓縮效率的顯著降低。
由於框內編碼區塊可需要錯誤回復性，故隨機存取與錯誤回復性可經由預測階層有效地組合以改良編碼效率同時增加對錯誤的抗性。此組合可至少部分基於以下觀測達成：A.對於低運動序列，預測鏈較長且重組超圖框或場景所需之資訊的重要部分含於在場景開始時發生的I－圖框中。
B.頻道錯誤傾向於叢發且當衰減發生且FEC與頻道編碼失敗時，存在較重的殘餘錯誤，因此隱藏失敗。
C.此對於低運動(及因此之低位元率)序列尤其嚴重，因為經編碼之資料的量顯著不足以提供視訊位元流內良好的時間分集且因為其為可高度壓縮之序列，該等可高度壓縮之序列使得每一位元對於重組更加重要。
D.由於內容的性質，高運動序列更抗錯誤(每一圖框中之更加新的資訊增加經編碼之內區塊的數目，該等經編碼之內區塊可被獨立地解碼且內在地對錯誤更有彈性)。
E.基於預測階層之適應性內重新整理(AIR)對於高運動序列達成高效能且效能改良對於低運動序列並不顯著。
F.因此，對於低運動序列，含有大部分I－圖框之頻道切換圖框為良好的分集源。當超圖框出現錯誤時，在連續圖框中的解碼始於CSF，其復原由於預測丟失之資訊。因此達成錯誤回復性。
G.在高運動序列之情況下，CSF由在超圖框中持續的區塊組成，即，為良好預測因子的彼等區塊。CSF的所有其他區域無需被編碼，因為此等區域為具有較短的預測鏈之區塊，其暗示此等區域以內區塊終止。因此當發生錯誤時，CSF仍用於自由於預測丟失之資訊的復原。
H.基於上文之(f)與(g)：H.1.低運動序列之CSF符合I－圖框的大小(其可經由更重的量化以更低的位元率編碼)，及H.2.高運動序列之CSF比相應I－圖框更小。
I.支援實體層技術中階層調變之可量測性需要以特定頻寬比對視訊位元流進行資料分割。其並非總是最佳可量測性的理想比率(最小額外成本)。
J. FLO，僅舉例而言，需要1：1頻寬比之2層可量測性。因此，對於低運動(位元率)序列，將視訊位元流分割為大小相等之2層係效率較低的。含有所有標頭與元資料資訊之基礎層大於加強層。然而，由於用於低運動序列之CSF更大，因此其很好地符合加強層中之其餘頻寬。因此，基於預測階層之錯誤回復性適於可量測性且達成更有效的層化編碼。
K.對於高運動序列，存在足夠的殘餘資訊使得可以最小額外成本達成1：1的資料分割。此外，用於該等序列之CSF可更小。因此，同樣，基於預測階層之錯誤回復性可適於此情況之可量測性。
L.基於此等演算法之描述，將在(a)至(k)中所討論的概念用於中等動作片段係可能的，其使得易於看到提出的概念一般應用於視訊編碼。
上述系統僅說明多媒體串流系統的一實例，其中至系統之輸入為連續(仍為離散時間事件，但永不結束)的資料流且至系統中之輸出為連續的資料流。
彼等一般熟習此項技術者將瞭解資訊與信號可使用多種不同的技術及技能中任一者來表示。舉例而言，在所有上文之描述中所提及的資料、指令、命令、資訊、信號、位元、符號及碼片可以電壓、電流、電磁波、磁場或磁性粒子、光場或光學粒子、或其之任何組合來表示。
彼等一般熟習此項技術者將進一步瞭解關於本文所揭示之實例描述的各種說明性邏輯區塊、模組及演算法步驟可實施為電子硬體、韌體、電腦軟體、中間軟體、微碼或其之組合。為清楚地說明硬體與軟體之互換性，各種說明性組件、區塊、模組、電路及步驟一般依據其功能在上文中描述。該功能實施為硬體還是軟體取決於特定應用及施加於整個系統上之設計約束。對於每一特定應用，熟習此項技術者可以多種方式實施所述功能，但該實施決策不應被理解為造成偏離所揭示方法之範疇。
關於本文所揭示之實例描述的各種說明性邏輯區塊、組件、模組及電路可以經設計以執行本文所述之功能的通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他可程式化邏輯裝置、離散閘或電晶體邏輯、離散硬體組件或其之任一組合來實施或執行。通用處理器可為微處理器，但可替代地，該處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算裝置之組合，例如DSP與微處理器之組合、複數個微處理器、一或多個微處理器與DSP核心或ASIC核心結合，或任何其他此種組態。
關於本文所揭示之實例描述的方法或演算法之步驟可直接在硬體中，藉由處理器執行之軟體模組中，或二者之組合中實施。軟體模組可駐於RAM記憶體、快閃記憶體、ROM記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、可移磁碟、CD－ROM、光學儲存媒體、或在此項技術中已知的任何其他形式之儲存媒體中。實例儲存媒體耦接至處理器，使得處理器可自該儲存媒體讀取資訊並將資訊寫入至儲存媒體內。或者，儲存媒體可與處理器為一體的。處理器與儲存媒體可駐於特殊應用積體電路(ASIC)中。ASIC可駐於無線數據機中。或者，處理器與儲存媒體可作為離散組件駐於無線數據機中。
提供所揭示實例之前述說明以使得任何一般熟習此項技術者能夠做出或使用所揭示之方法與設備。對於熟習此項技術者而言，對於此等實例的各種修改將顯而易見，且本文所定義的原理可應用於其他實例且可添加額外元件。
因此，本文描述了對多媒體資料執行高效編碼以提供有效解碼品質與錯誤隱藏的方法與設備。
100．．．多媒體通訊系統
102．．．外部源
110．．．編碼器裝置
112．．．處理器
114．．．記憶體
116．．．收發器
140．．．網路
150．．．解碼器裝置
152．．．處理器
154．．．記憶體
156．．．收發器
202．．．失真值估計器元件
204．．．編碼方法決定器
206．．．多媒體編碼器元件
302．．．多媒體解碼器元件
304．．．錯誤隱藏元件
500．．．失真映射
505．．．失真值變數
605．．．運動向量
610．．．預測區域
615．．．MB
620．．．MB
625．．．MB
630．．．MB
702．．．失真值估計器
704．．．編碼方法決定器
802．．．用於估計失真值之模組
804．．．用於決定編碼方法之模組
900．．．無線通訊系統
910．．．視訊編碼器
920．．．視訊解碼器
930．．．通訊網路
940．．．RF調變器
950．．．網路頻道
960．．．RF解調變器
1200．．．預測階層
1210．．．I－圖框
1215．．．經框內編碼之區塊
1220．．．經預測之圖框
1225．．．經框間編碼之區塊
圖1為說明根據一個態樣之多媒體通訊系統之方塊圖。
圖2為說明可在諸如圖1中所說明之系統中使用的編碼器裝置之實施例的方塊圖。
圖3為說明可在諸如圖1中所說明之系統中使用的解碼器裝置之實施例的方塊圖。
圖4A為說明在諸如圖1所說明之系統中編碼視訊流的一部分之方法的實例之流程圖。
圖4B為更詳細地說明在諸如圖1所說明之系統中編碼視訊流的一部分之方法的實例之流程圖。
圖5用圖表說明可藉由圖4A與圖4B之方法產生的失真映射。
圖6用圖表說明用於估計視訊的一部分所使用(諸如在運動壓縮預測方法中所使用)的預測區域。
圖7為說明可在諸如圖1中所說明的系統中使用的編碼器裝置之實施例的功能性方塊圖。
圖8為說明可在諸如圖1中所說明之系統中使用的編碼器裝置之實施例的功能性方塊圖。
圖9說明根據一些實施例之無線通訊系統900。
圖10展示在片段與存取單元(AU)中之經編碼的視訊資料或視訊位元流之組織。
圖11展示在片段與AU中之視訊位元流之組織與其至FLO圖框的映射。
圖12展示根據一些實施例之經預測之圖框編碼的預測階層。
圖13展示根據一些實施例之決定預測鏈且更強調頻繁參考巨集區塊之重要性的兩遍演算法。

Claims (45)

  1. 一種處理包括複數個視訊圖框的多媒體資料之方法，該方法包含：初始化一用於一當前圖框的像素級參考計數器；參考該當前圖框執行一下一圖框的一預測；對於在該下一圖框的該預測的期間參考的該當前圖框之每一像素，累加該像素級參考計數器；及至少部分基於該經累加的像素級參考計數器重新調整該當前圖框的一巨集區塊頻寬映射，其中該巨集區塊頻寬映射指出一用於編碼該當前圖框之一或多個區塊之位元分配。
  2. 如請求項1之方法，其中該像素級參考計數器指出該當前圖框的一寬度與一高度。
  3. 如請求項2之方法，其中該像素級參考計數器係由一第一方程式R(i,j)=0予以提供，其中0i<W，0j<H，W為該當前圖框的該寬度，且H為該當前圖框的該高度。
  4. 如請求項3之方法，其中該下一圖框之該預測包括：執行該下一圖框之區塊的運動估計。
  5. 如請求項1之方法，其中，對於一16x16巨集區塊(x,y)，重新調整該當前圖框之該巨集區塊頻寬映射包括根據一 第二方程式換算該巨集區塊頻寬映射之頻 寬映射值，其中C為一藉由實驗決定之常數，且R(i,j)為該16x16巨集區塊(x,y)之像素級參考計數器。
  6. 如請求項1之方法，其進一步包括對於參考該當前圖框 之複數個下一圖框中之每一下一圖框重複初始化、執行及重新調整的步驟。
  7. 如請求項6之方法，其進一步包括至少部分基於該當前圖框之該重新調整之巨集區塊頻寬映射對該當前圖框進行編碼。
  8. 如請求項1之方法，其中用於編碼該一或多個區塊之該位元分配係基於下述之一或多者：欲被分配至該一或多個區塊以編碼該一或多個區塊之位元數目；及欲被分配至該一或多個區塊以編碼該一或多個區塊之位元比例。
  9. 如請求項8之方法，其中至少部分基於該經累加的像素級參考計數器重新調整該當前圖框的該巨集區塊頻寬映射包括：分配相對更多的位元至該當前圖框之區塊，其包括對應於該像素級參考計數器中之相對更高的計數值之像素；及分配相對更少的位元至該當前圖框之區塊，其包括對應於該像素級參考計數器中之相對更低的計數值之像素。
  10. 一種用於處理包括複數個視訊圖框之多媒體資料的處理器，其經組態以：初始化一用於一當前圖框的像素級參考計數器；參考該當前圖框執行一下一圖框的一預測； 對於在該下一圖框的該預測的期間參考的該當前圖框的每一像素，累加該像素級參考計數器；及至少部分基於該經累加的像素級參考計數器重新調整該當前圖框的一巨集區塊頻寬映射，其中該巨集區塊頻寬映射指出一用於編碼該當前圖框之一或多個區塊之位元分配。
  11. 如請求項10之處理器，其中該像素級參考計數器指出該當前圖框的一寬度與一高度。
  12. 如請求項11之處理器，其中該像素級參考計數器係由一第一方程式R(i,j)=0予以提供，其中0i<W，0j<H，W為該當前圖框的該寬度，且H為該當前圖框的該高度。
  13. 如請求項12之處理器，其中該下一圖框之該預測包括該下一圖框之區塊的一運動估計預測。
  14. 如請求項10之處理器，其進一步經組態以對於一16x16 巨集區塊(x,y)，根據一第二方程式換算 該巨集區塊頻寬映射的頻寬映射值，其中C為一藉由實驗所決定之常數，且R(i,j)為用於該16x16巨集區塊(x,y)的像素級參考計數器。
  15. 如請求項10之處理器，其進一步經組態以對於參考該當前圖框的複數個下一圖框中之每一下一圖框重複初始化、執行及重新調整的功能。
  16. 如請求項15之處理器，其進一步經組態以至少部分基於該當前圖框之該重新調整之巨集區塊頻寬映射對該當前圖框進行編碼。
  17. 如請求項10之處理器，其中用於編碼該一或多個區塊之該位元分配係基於下述之一或多者：欲被分配至該一或多個區塊以編碼該一或多個區塊之位元數目；及欲被分配至該一或多個區塊以編碼該一或多個區塊之位元比例。
  18. 如請求項17之處理器，其中對於至少部分基於該經累加的像素級參考計數器重新調整該當前圖框的該巨集區塊頻寬映射，該處理器係經組態以：分配相對更多的位元至該當前圖框之區塊，其包括對應於該像素級參考計數器中之相對更高的計數值之像素；及分配相對更少的位元至該當前圖框之區塊，其包括對應於該像素級參考計數器中之相對更低的計數值之像素。
  19. 一種用於處理包括複數個視訊圖框之多媒體資料的設備，該設備包含：一初始化器，其用於初始化一用於一當前圖框的像素級參考計數器；一執行器，其用於參考該當前圖框執行一下一圖框的一預測；一累加器，其用於對於在該下一圖框的該預測的期間參考的該當前圖框之每一像素，累加該像素級參考計數器；及 一重新調整器，其用於至少部分基於該經累加的像素級參考計數器重新調整該當前圖框的一巨集區塊頻寬映射，其中該巨集區塊頻寬映射指出一用於編碼該當前圖框之一或多個區塊之位元分配。
  20. 如請求項19之設備，其中該像素級參考計數器指出該當前圖框的一寬度與一高度。
  21. 如請求項20之設備，其中該像素級參考計數器係由一第一方程式R(i,j)=0予以提供，其中0i<W，0j<H，W為該當前圖框的該寬度，且H為該當前圖框的該高度。
  22. 如請求項21之設備，其中該下一圖框之該執行器預測包括該下一圖框的區塊的一運動估計預測。
  23. 如請求項19之設備，其進一步包括一換算器，對於一16x16巨集區塊(x,y)，使用該換算器以根據一第二方程 式換算該巨集區塊頻寬映射之頻寬映射 值，其中C為一藉由實驗所決定之常數，且R(i,j)為用於該16x16巨集區塊(x,y)之該像素級參考計數器。
  24. 如請求項19之設備，其進一步包括一重複器以對參考該當前圖框之複數個下一圖框中之每一下一圖框協調重複該初始化器、該執行器及該重新調整器的功能。
  25. 如請求項24之設備，其進一步包括一編碼器以至少部分基於該當前圖框之該重新調整之巨集區塊頻寬映射對該當前圖框進行編碼。
  26. 如請求項19之設備，其中用於編碼該一或多個區塊之該位元分配係基於下述之一或多者： 欲被分配至該一或多個區塊以編碼該一或多個區塊之位元數目；及欲被分配至該一或多個區塊以編碼該一或多個區塊之位元比例。
  27. 如請求項26之設備，其中對於至少部分基於該經累加的像素級參考計數器重新調整該當前圖框的該巨集區塊頻寬映射，該重新調整器係經組態以：分配相對更多的位元至該當前圖框之區塊，其包括對應於該像素級參考計數器中之相對更高的計數值之像素；及分配相對更少的位元至該當前圖框之區塊，其包括對應於該像素級參考計數器中之相對更低的計數值之像素。
  28. 一種用於處理包括複數個視訊圖框之多媒體資料的設備，該設備包含：用於初始化一用於一當前圖框之像素級參考計數器的構件；用於參考該當前圖框執行一下一圖框的一預測的構件；用於對於在該下一圖框的該預測的期間所參考的該當前圖框之每一像素累加該像素級參考計數器的構件；及用於至少部分基於該經累加的像素級參考計數器重新調整該當前圖框之一巨集區塊頻寬映射的構件，其中該巨集區塊頻寬映射指出一用於編碼該當前圖框之一或多 個區塊之位元分配。
  29. 如請求項28之設備，其中該像素級參考計數器指出該當前圖框的一寬度與一高度。
  30. 如請求項29之設備，其中該像素級參考計數器係由一第一方程式R(i,j)=0予以提供，其中0i<W，0j<H，W為該當前圖框的該寬度，且H為該當前圖框的該高度。
  31. 如請求項30之設備，其中該用於該下一圖框之預測的構件包括：用於執行該下一圖框的區塊的運動估計的構件。
  32. 如請求項28之設備，其中對於一16x16巨集區塊(x,y)，該用於重新調整該當前圖框之該巨集區塊頻寬映射之構 件包括：用於根據一第二方程式換算該巨 集區塊頻寬映射之頻寬映射值的構件，其中C為一藉由實驗決定的常數，且R(i,j)為該16x16巨集區塊(x,y)之該像素級參考計數器。
  33. 如請求項28之設備，其進一步包括用於對於參考該當前圖框之複數個下一圖框中之每一下一圖框重複用於初始化、執行及重新調整之該等構件的構件。
  34. 如請求項33之設備，其進一步包括用於至少部分基於該當前圖框之該重新調整之巨集區塊頻寬映射對該當前圖框進行編碼之構件。
  35. 如請求項28之設備，其中用於編碼該一或多個區塊之該位元分配係基於下述之一或多者：欲被分配至該一或多個區塊以編碼該一或多個區塊之 位元數目；及欲被分配至該一或多個區塊以編碼該一或多個區塊之位元比例。
  36. 如請求項35之設備，其中該用於至少部分基於該經累加的像素級參考計數器重新調整該當前圖框的該巨集區塊頻寬映射的構件包括：用於分配相對更多的位元至包括對應於該像素級參考計數器中之相對更高的計數值之像素之該當前圖框之區塊的構件；及用於分配相對更少的位元至包括對應於該像素級參考計數器中之相對更低的計數值之像素之該當前圖框之區塊的構件。
  37. 一種具有儲存於其上之指令之機器可讀儲存媒體，其用於致使一機器處理包括複數個視訊圖框之多媒體資料，其中該等指令在執行時使該機器進行以下操作：初始化一用於一當前圖框的像素級參考計數器；參考該當前圖框執行一下一圖框的一預測；對於在該下一圖框的該預測的期間參考之該當前圖框的每一像素，累加該像素級參考計數器；及至少部分基於該經累加的像素級參考計數器重新調整該當前圖框的一巨集區塊頻寬映射，其中該巨集區塊頻寬映射指出一用於編碼該當前圖框之一或多個區塊之位元分配。
  38. 如請求項37之機器可讀儲存媒體，其中該像素級參考計 數器指出該當前圖框的一寬度與一高度。
  39. 如請求項38之機器可讀儲存媒體，其中該像素級參考計數器係由一第一方程式R(i,j)=0予以提供，其中0i<W，0j<H，W為該當前圖框的該寬度，且H為該當前圖框的該高度。
  40. 如請求項39之機器可讀儲存媒體，其進一步包含在執行時使該機器執行該下一圖框之區塊的一運動估計預測的指令。
  41. 如請求項37之機器可讀儲存媒體，其進一步經組態以對於一16x16巨集區塊(x,y)，根據一第二方程式 換算該巨集區塊頻寬映射之頻寬映射值， 其中C為一藉由實驗所決定之常數，且R(i,j)為用於該16x16巨集區塊(x,y)之該像素級參考計數器。
  42. 如請求項37之機器可讀儲存媒體，其進一步包含在執行時使該機器對於參考該當前圖框之複數個下一圖框的每一下一圖框重複初始化、執行及重新調整之功能的指令。
  43. 如請求項42之機器可讀儲存媒體，其進一步包含在執行時使該機器至少部分基於該當前圖框之該經重新調整之巨集區塊頻寬映射對該當前圖框進行編碼的指令。
  44. 如請求項37之機器可讀儲存媒體，其中用於編碼該一或多個區塊之該位元分配係基於下述之一或多者：欲被分配至該一或多個區塊以編碼該一或多個區塊之位元數目；及 欲被分配至該一或多個區塊以編碼該一或多個區塊之位元比例。
  45. 如請求項44之機器可讀儲存媒體，其中致使該機器至少部分基於該經累加的像素級參考計數器重新調整該當前圖框的該巨集區塊頻寬映射之指令包括致使該機器作出下述動作之指令：分配相對更多的位元至該當前圖框之區塊，其包括對應於該像素級參考計數器中之相對更高的計數值之像素；及分配相對更少的位元至該當前圖框之區塊，其包括對應於該像素級參考計數器中之相對更低的計數值之像素。
TW096102105A 2006-01-20 2007-01-19 在無線視訊通訊中用於錯誤回復性演算法之方法與設備 TWI459819B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US76075506P 2006-01-20 2006-01-20
US76067806P 2006-01-20 2006-01-20

Publications (2)

Publication Number Publication Date
TW200737994A TW200737994A (en) 2007-10-01
TWI459819B true TWI459819B (zh) 2014-11-01

Family

ID=38170220

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096102105A TWI459819B (zh) 2006-01-20 2007-01-19 在無線視訊通訊中用於錯誤回復性演算法之方法與設備

Country Status (14)

Country Link
US (1) US8861585B2 (zh)
EP (1) EP1994757B1 (zh)
JP (1) JP4927875B2 (zh)
KR (1) KR101032017B1 (zh)
CN (1) CN101375603B (zh)
AR (1) AR059106A1 (zh)
AU (1) AU2007205840C1 (zh)
BR (1) BRPI0707150B1 (zh)
CA (1) CA2636041C (zh)
IL (1) IL192142A0 (zh)
NO (1) NO20083594L (zh)
RU (1) RU2404536C2 (zh)
TW (1) TWI459819B (zh)
WO (1) WO2007085000A2 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9077991B2 (en) * 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
KR20070044455A (ko) 2004-07-20 2007-04-27 콸콤 인코포레이티드 비디오 압축에 대한 인코더 보조-프레임 레이트 업컨버젼(ｅａ-ｆｒｕｃ)을 위한 방법 및 장치
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US8325822B2 (en) * 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US7729463B2 (en) * 2006-12-22 2010-06-01 Newport Media, Inc. Host processor assisted fast re-synchronization techniques for DVB-H systems
JP4834590B2 (ja) * 2007-03-28 2011-12-14 株式会社東芝 動画像復号化装置及び動画像復号化方法
US7903604B2 (en) * 2007-04-18 2011-03-08 Wi-Lan Inc. Method and apparatus for a scheduler for a macro-diversity portion of a transmission
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR20110017719A (ko) 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US8582654B1 (en) * 2009-09-30 2013-11-12 Hewlett-Packard Development Company, L.P. Generating a deblocked version of video frames using motion estimation
TWI412282B (zh) * 2009-11-17 2013-10-11 Univ Nat Cheng Kung 可隱藏傳輸錯誤之視訊解碼裝置與相關方法
US20110249127A1 (en) * 2010-04-07 2011-10-13 Cisco Technology, Inc. Estimating Video Quality Corruption in Lossy Networks
KR102388012B1 (ko) 2010-04-13 2022-04-18 지이 비디오 컴프레션, 엘엘씨 샘플 배열 멀티트리 세부분할에서 계승
BR122020007669B1 (pt) 2010-04-13 2022-07-12 Ge Video Compression, Llc Codificação de uma amostragem espacial de um sinal de informação bidimensional usando subdivisão
PL2559246T3 (pl) 2010-04-13 2017-02-28 Ge Video Compression Llc Łączenie obszarów próbek
KR101874272B1 (ko) 2010-04-13 2018-07-03 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
US9438918B2 (en) 2012-04-23 2016-09-06 Intel Corporation Frame level rate control using motion estimated distortions
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
US10033922B1 (en) * 2012-05-25 2018-07-24 Altia Systems, Inc. Stitching for a multiple imager video system based on a non-linear seam
US10361721B1 (en) * 2014-05-01 2019-07-23 Marvell International Ltd. Methods and network device for uncoded bit protection in 10GBASE-T Ethernet
JP7291478B2 (ja) * 2018-12-25 2023-06-15 日本放送協会 動画像符号化装置およびそのプログラム
US11039149B2 (en) 2019-08-01 2021-06-15 Qualcomm Incorporated Dynamic video insertion based on feedback information
EP3829169B1 (en) * 2019-11-29 2021-10-13 Axis AB Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions
CN111510722A (zh) * 2020-04-27 2020-08-07 王程 一种抗误码性能卓越的视频图像高质量转码方法
US12015799B2 (en) 2021-09-13 2024-06-18 Apple Inc. Systems and methods for data partitioning in video encoding

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613015A (en) * 1992-11-12 1997-03-18 Fuji Xerox Co., Ltd. Image signal analyzing system and coding system
US5627935A (en) * 1994-11-11 1997-05-06 Samsung Electronics Co., Ltd. Error-correction-code coding & decoding procedures for the recording & reproduction of digital video data
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US5793895A (en) * 1996-08-28 1998-08-11 International Business Machines Corporation Intelligent error resilient video encoder
US6037985A (en) * 1996-10-31 2000-03-14 Texas Instruments Incorporated Video compression
JP3223962B2 (ja) 1997-01-24 2001-10-29 松下電器産業株式会社 画像復号化方法
US20010043653A1 (en) * 1997-03-26 2001-11-22 Kazuhusa Hosaka Method and apparatus for image encoding method and appartus for image decoding and recording medium
RU2217882C2 (ru) 1997-08-12 2003-11-27 Томсон Конзьюмер Электроникс, Инк. Устройство для сжатия блоков пикселов в системе обработки изображений
US6025888A (en) * 1997-11-03 2000-02-15 Lucent Technologies Inc. Method and apparatus for improved error recovery in video transmission over wireless channels
DE69815159T2 (de) * 1998-03-20 2004-04-08 Stmicroelectronics Asia Pacific Pte Ltd. Kodierung von bewegten bildern mit globaler konstanter bitrate
US6434196B1 (en) * 1998-04-03 2002-08-13 Sarnoff Corporation Method and apparatus for encoding video information
JPH11331839A (ja) 1998-05-13 1999-11-30 Matsushita Electric Ind Co Ltd 映像伝送再送の装置及び方法
JP3748717B2 (ja) * 1998-08-31 2006-02-22 シャープ株式会社 動画像符号化装置
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
JP3166736B2 (ja) * 1998-11-25 2001-05-14 日本電気株式会社 動画像符号化装置および動画像符号化方法
GB2347038A (en) 1999-02-18 2000-08-23 Nokia Mobile Phones Ltd A video codec using re-transmission
JP2002016913A (ja) 2000-06-28 2002-01-18 Yamaha Corp トランスコーディング方法およびトランスコーディング装置
JP4644939B2 (ja) * 2001-01-17 2011-03-09 日本電気株式会社 動画像符号化装置および動画像符号化方法
AU2002245609A1 (en) * 2001-03-05 2002-09-19 Intervideo, Inc. Systems and methods of error resilience in a video decoder
US6795076B2 (en) * 2001-06-28 2004-09-21 Sun Microsystems, Inc. Graphics system with real-time convolved pixel readback
JP2003032689A (ja) 2001-07-18 2003-01-31 Sharp Corp 画像符号化装置、画像復号化装置及び動画像伝送システム
US20030235249A1 (en) * 2002-06-25 2003-12-25 Chengji Zhao Video encoder and method for encoding video frames
CN1206864C (zh) * 2002-07-22 2005-06-15 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
US7034888B2 (en) * 2003-03-26 2006-04-25 Silicon Integrated Systems Corp. Method for motion pixel detection
GB0314161D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
US7535959B2 (en) * 2003-10-16 2009-05-19 Nvidia Corporation Apparatus, system, and method for video encoder rate control
US7835438B2 (en) 2003-12-22 2010-11-16 Nec Corporation Method and device for encoding moving picture using reference frequency of reference frame
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
US20070030894A1 (en) * 2005-08-03 2007-02-08 Nokia Corporation Method, device, and module for improved encoding mode control in video encoding
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US8325822B2 (en) 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment

Also Published As

Publication number Publication date
CN101375603B (zh) 2011-08-31
CA2636041A1 (en) 2007-07-26
AU2007205840C1 (en) 2010-10-28
AU2007205840B2 (en) 2010-05-27
US8861585B2 (en) 2014-10-14
KR20080099276A (ko) 2008-11-12
EP1994757A2 (en) 2008-11-26
JP2009524365A (ja) 2009-06-25
RU2008134132A (ru) 2010-02-27
AR059106A1 (es) 2008-03-12
KR101032017B1 (ko) 2011-05-02
NO20083594L (no) 2008-10-17
IL192142A0 (en) 2008-12-29
EP1994757B1 (en) 2016-03-09
RU2404536C2 (ru) 2010-11-20
BRPI0707150A2 (pt) 2011-04-19
WO2007085000A3 (en) 2007-09-13
WO2007085000A2 (en) 2007-07-26
AU2007205840A1 (en) 2007-07-26
JP4927875B2 (ja) 2012-05-09
CN101375603A (zh) 2009-02-25
TW200737994A (en) 2007-10-01
CA2636041C (en) 2013-01-29
BRPI0707150B1 (pt) 2019-08-13
US20070177667A1 (en) 2007-08-02

Similar Documents

Publication Publication Date Title
TWI459819B (zh) 在無線視訊通訊中用於錯誤回復性演算法之方法與設備
JP4908522B2 (ja) 誤り隠蔽に関連する歪み値に基づいてエンコード方法を決定する方法および装置
US8612498B2 (en) Channel switch frame
Kumar et al. Error resiliency schemes in H. 264/AVC standard
US20060002466A1 (en) Prediction encoder/decoder and prediction encoding/decoding method
WO2003007495A1 (en) A method and device for suspecting errors and recovering macroblock data in video coding
JP5502798B2 (ja) チャネル交換フレーム
Kaiser et al. Comparison of error concealment techniques for an MPEG-2 video decoder in terrestrial TV-broadcasting
Katsaggelos et al. Error concealment for MPEG-2 video
KR100801155B1 (ko) Ｈ．２６４에서의 저복잡도를 가지는 공간적 에러 은닉방법
MX2008009312A (en) Method and apparatus for error resilience algorithms in wireless video communication
Kolkeri et al. Error concealment techniques in h. 264/avc for wireless video transmission in mobile networks
Apostolopoulos Error-resilient video compression
Kim et al. Hybrid error concealment method for H. 264/AVC
Andrews et al. Test model 11 Purpose: Information
Andrews et al. Test model 12/Appendix II of H. 263 Version 3 Purpose: Information
KR20050099079A (ko) 동영상 복호화 시 에러 은닉 방법