TW201728180A - 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可 讀取媒體 - Google Patents
用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可 讀取媒體 Download PDFInfo
- Publication number
- TW201728180A TW201728180A TW106113582A TW106113582A TW201728180A TW 201728180 A TW201728180 A TW 201728180A TW 106113582 A TW106113582 A TW 106113582A TW 106113582 A TW106113582 A TW 106113582A TW 201728180 A TW201728180 A TW 201728180A
- Authority
- TW
- Taiwan
- Prior art keywords
- frame
- reordering
- delay
- constraint
- syntax elements
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明揭示了一種用於藉由約束由視訊圖框之重新排序造成之延遲,且藉由使用一或更多語法元素來指示對圖框重新排序延遲之約束條件來減少視訊編碼及解碼中之延遲之技術及工具,該一或更多語法元素伴隨用於視訊圖框之經編碼資料。舉例而言,具有視訊編碼器之即時通訊工具設定語法元素,該語法元素指示對圖框重新排序延遲之約束條件,對圖框重新排序延遲之該約束條件與視訊序列之多個圖框之間的圖框間相依性一致,此後,該即時通訊工具輸出該語法元素。具有視訊解碼器之相對應即時通訊工具接收指示對圖框重新排序延遲之約束條件之語法元素,基於該語法元素決定對圖框重新排序延遲之約束條件,並使用對圖框重新排序延遲之約束條件來決定重建之圖框何時準備好供輸出(按輸出次序)。
Description
本發明係關於減少視訊編碼及解碼中之延遲。
工程師使用壓縮(亦稱源編碼或源解碼)來減少數位視訊之位元率。壓縮藉由將資訊轉換為較低位元率形式而減少儲存及傳輸視訊資訊之成本。解壓縮(亦稱解碼)自壓縮形式重建原始資訊之版本。「編解碼器」為編碼器/解碼器系統。
近二十年,已採用各種視訊編解碼器標準,該等標準包括:H.261、H.262(MPEG-2或ISO/IEC 13818-2)、H.263及H.264(AVC或ISO/IEC 14496-10)標準及MPEG-1 (ISO/IEC 11172-2)、MPEG-4 Visual (ISO/IEC 14496-2)及SMPTE 421M標準。近年來,正在開發HEVC標準。當將特定特徵用於編碼及解碼中時,視訊編解碼器標準通常定義用於經編碼之視訊位元串流之語法的選項,從而詳述位元串流中之參數。在許多狀況下,視訊編解碼器標準亦提供關於解碼器應執行以在解碼中達成正確結果之解碼操作之細節。
壓縮之基本目標在於提供良好速率-失真效能。因此,針對特定位元率,編碼器試圖提供最高品質之視訊。或者,針對原始視訊之特定程度之品質/保真度,編碼器試圖提供最低位元率編碼視訊。實務上,取決於使用情況,諸如編碼時間、編碼複雜性、編碼資源、解碼時間、解碼複雜性、解碼資源、總延遲及/或播放中之平滑度之考慮因素亦影響在編碼及解碼期間進行之決策。
舉例而言,考慮諸如自儲存器之視訊播放、自經由網路連接串流傳輸之經編碼資料之視訊播放及視訊轉碼(自一個位元率轉碼至另一位元率,或自一個標準轉碼至另一標準)之使用情況。在編碼器端,此等應用可容許對時間毫不敏感之離線編碼。因此,編碼器可增加編碼時間並增加在編碼期間使用之資源,以發現壓縮視訊之最有效方式,且進而改良速率-失真效能。若少量延遲在解碼器端亦為可接受的,則編碼器可例如藉由自序列中較靠前之圖像利用圖像間相依性而進一步改良速率-失真效能。
另一方面,考慮諸如遠端桌面會議、監控視訊、視訊電話及其他即時通訊情況之使用情況。此等應用為時間敏感的。輸入圖像之記錄與輸出圖像之播放之間的低延遲為效能中之關鍵因素。當將經調適用於非即時通訊之編碼/解碼工具應用於即時通訊情況中時,總延遲常常高得不可接受。此等工具在編碼及解碼期間所引入之延遲可改良常規視訊播放之效能,但該等延遲中斷即時通訊。
總之,詳細描述呈現用於減少視訊編碼及解碼中之延遲之技術及工具。該等技術及工具可減少延遲,以便改良即時通訊中之回應性。舉例而言,該等技術及工具藉由約束由視訊圖框之重新排序造成之延遲,且藉由使用一或更多語法元素指示對圖框重新排序延遲之約束條件來減少總延遲,該一或更多語法元素伴隨用於視訊圖框之經編碼資料。
根據本文所述之技術及工具之一個態樣,諸如視訊編碼器、具有視訊編碼器之即時通訊工具,或其他工具之工具設定一或更多語法元素,該一或更多語法元素指示對延遲之約束條件(例如,對圖框重新排序延遲之約束條件,該對圖框重新排序延遲之約束條件與視訊序列之多個圖框之間的圖框間相依性一致)。該工具輸出一或更多語法元素,進而促進更簡單且更快速地決定就圖框之輸出次序而言重建之圖框何時準備好輸出。
根據本文所述之技術及工具之另一態樣,諸如視訊解碼器、具有視訊解碼器之即時通訊工具,或其他工具之工具接收並剖析一或更多語法元素,該一或更多語法元素指示對延遲之約束條件(例如,對圖框重新排序延遲之約束條件)。該工具亦接收用於視訊序列之多個圖框之經編碼資料。該經編碼資料中之至少一些編碼資料經解碼,以重建圖框中之一者。該工具可基於一或更多語法元素決定對延遲之約束條件,此後使用對延遲之該約束條件來決定重建之圖框何時準備好供輸出(就輸出次序而言)。該工具輸出重建之圖框。
本發明之上述及其他目標、特徵及優點根據參閱附圖進行之以下詳細描述將變得更顯而易見。
詳細描述呈現用於減少視訊編碼及解碼中之延遲之技術及工具。該等技術及工具可幫助減少延遲,以便改良即時通訊中之回應性。
在視訊編碼/解碼情況中,一些延遲在接收輸入視訊圖框之時間與播放該圖框之時間之間係不可避免的。圖框由編碼器編碼,遞送至解碼器並由解碼器解碼,且一些量之延遲係由編碼資源、解碼資源及/或網路頻寬上之實際限制造成。然而,其他延遲係可避免的。舉例而言,可由編碼器及解碼器引入延遲,以改良速率-失真效能(例如,利用自序列中較靠前之圖像之圖框間相依性)。可減少此延遲,然而在速率-失真效能、處理器利用率或播放平滑度方面,可存在損失。
在本文所述之技術及工具之情況下,藉由約束延遲(因此,限制圖框間相依性之時間範圍)及向解碼器指示對延遲之約束條件來減少延遲。舉例而言,對延遲之約束條件為對圖框重新排序延遲之約束條件。或者,對延遲之約束條件為以秒、毫秒或另一時間量測表示之約束條件。此後,解碼器可決定對延遲之約束條件,並在決定哪些圖框準備好供輸出時使用該約束條件。以此方式,可為遠端桌面會議、視訊電話、視訊監控、網路攝影機視訊(web camera video)及其他即時通訊應用減少延遲。
參閱專門針對H.264及/或HEVC標準之語法元素及操作來說明本文所述之新發明中之一些。亦可針對其他標準或格式來實施此等新發明。
更一般化地,本文所述之實例之各種替代物係可能的。可藉由改變流程圖中所示之階段之次序,藉由分裂、重複或省略某些階段等而改變參閱流程圖所述之某些技術。可以組合方式或單獨地使用用於視訊編碼及解碼之延遲減少之各種態樣。不同實施例使用所述技術及工具中之一或更多者。本文所述之技術及工具中之一些者解決先前技術中提及之問題中之一或更多者。通常,給定技術/工具並不解決所有此等問題。I. 示例性計算系統
第1圖圖示適合計算系統(100)之一般化實例,若干所述技術及工具可實施於該計算系統(100)中。計算系統(100)不欲暗示關於使用或功能性之範疇之任何限制,因為技術及工具可實施於各種通用或專用計算系統中。
參閱第1圖,計算系統(100)包括一或更多處理單元(110、115)及記憶體(120、125)。在第1圖中,此最基本配置(130)包括在虛線內。處理單元(110、115)執行電腦可執行指令。處理單元可為通用中央處理單元(central processing unit; CPU)、特殊應用積體電路(application-specific integrated circuit; ASIC)中之處理器或任何其他類型之處理器。在多處理系統中,多個處理單元執行電腦可執行指令,以提高處理能力。舉例而言,第1圖圖示中央處理單元(110)及圖形處理單元或共處理單元(115)。有形記憶體(120、125)可為可由一或更多處理單元存取之揮發性記憶體(例如,暫存器、快取記憶器、隨機存取記憶體(random access memory; RAM))、非揮發性記憶體(例如,唯讀記憶體(read only memory; ROM)、電子可擦可程式唯讀記憶體(electrically erasable programmable read only memory ;EEPROM)、快閃記憶體等)或上述兩者之某一組合。記憶體(120、125)儲存呈適合於由一或更多處理單元執行之電腦可執行指令之形式的軟體(180),該軟體(180)實施用於減少視訊編碼及解碼中之延遲之一或更多新發明。
計算系統可具有額外特徵。舉例而言,計算系統(100)包括儲存器(140)、一或更多輸入裝置(150)、一或更多輸出裝置(160)及一或更多通訊連接(170)。諸如匯流排、控制器或網路之互連機構(未圖示)互連計算系統(100)之組件。通常,作業系統軟體(未圖示)為在計算系統(100)中執行之其他軟體提供操作環境,且協調計算系統(100)之組件之活動。
有形儲存器(140)可為可移或非可移的,且包括磁碟、磁帶或錄影帶、緊密光碟-唯讀記憶體(Compact Disk-Read Only Memory; CD-ROM)、數位多功能碟片(digital versatile disc; DVD)或可用來以非暫時方式儲存資訊且在計算系統(100)內可存取之任何其他媒體。儲存器(140)儲存用於軟體(180)之指令,該軟體(180)實施用於減少視訊編碼及解碼中之延遲之一或更多新發明。
一或更多輸入裝置(150)可為觸控式輸入裝置,諸如鍵盤、滑鼠、手寫筆,或軌跡球、語音輸入裝置、掃描裝置或向計算系統(100)提供輸入之另一裝置。對於視訊編碼而言,一或更多輸入裝置(150)可為攝影機、視訊卡、電視(television; TV)調諧器卡或接受呈類比或數位形式之視訊輸入之類似裝置,或將視訊樣本讀取至計算系統(100)中之CD-ROM或可抹寫光碟(Compact Disc Rewritable; CD-RW)。一或更多輸出裝置(160)可為顯示器、印表機、揚聲器、光碟寫錄機或提供來自計算系統(100)之輸出之另一裝置。
一或更多通訊連接(170)使得能夠藉由通訊媒體傳達至另一計算實體。通訊媒體輸送諸如電腦可執行指令、音訊或視訊輸入或輸出或經調變資料訊號中之其他資料之資訊。經調變資料訊號為使訊號特性中之一或更多者以編碼訊號中之資訊之方式加以設定或改變的訊號。舉例而言(而非限制),通訊媒體可使用電、光學、射頻(radio frequency; RF)或其他載體。
可在電腦可讀媒體之一般上下文中描述技術及工具。電腦可讀媒體為可在計算環境內存取之任何可用有形媒體。舉例而言(而非限制),在計算系統(100)之情況下,電腦可讀媒體包括記憶體(120、125)、儲存器(140)及任何上述裝置之組合。
可在電腦可執行指令(諸如包括在程式模組中之彼等電腦可執行指令)之一般上下文中描述技術及工具,該等電腦可執行指令正在目標真實處理器或虛擬處理器上之計算系統中執行。大體而言,程式模組包括執行特定任務或實施特定抽象資料類型之常式、程式、程式庫、物件、類別、組件、資料結構等。在各種實施例中,必要時可在程式模組之間組合或分裂程式模組之功能性。程式模組之電腦可執行指令可在本端或分散式計算系統內執行。
本文中可互換地使用術語「系統」與「裝置」。除非上下文明確指示,否則兩術語均非蘊涵對計算系統或計算裝置之類型之任何限制。大體而言,計算系統或計算裝置可為本端或分散式的,且可包括專用硬體及/或通用硬體與實施本文所述之功能性之軟體之任何組合。
出於呈現之目的,詳細描述使用類似「決定」及「使用」之術語來描述計算系統中之電腦操作。此等術語為用於由電腦執行之操作之高階抽象,且不應與由人類執行之動作混淆。對應於此等術語之實際電腦操作依實施而變化。II. 示例性網路環境
第2a圖及第2b圖圖示示例性網路環境(201、202),該等示例性網路環境(201、202)包括視訊編碼器(220)及視訊解碼器(270)。編碼器(220)與解碼器(270)使用適當的通訊協定而藉由網路(250)連接。網路(250)可包括網際網路或另一電腦網路。
在第2a圖中所示之網路環境(201)中,每一即時通訊(real-time communication; RTC)工具(210)皆包括編碼器(220)及解碼器(270)兩者以用於雙向通訊。給定編碼器(220)可產生符合SMPTE 421M標準、ISO-IEC 14496-10標準(亦稱H.264或AVC)、HEVC標準、另一標準或專屬格式之輸出,並且相應解碼器(270)自編碼器(220)接受經編碼資料。雙向通訊可為視訊會議、視訊通話或其他兩方通訊情況之部分。儘管第2a圖中之網路環境(201)包括兩個即時通訊工具(210),但是實情為網路環境(201)可包括參與多方通訊之三個或更多個即時通訊工具(210)。
即時通訊工具(210)藉由編碼器(220)來管理編碼。第3圖圖示示例性編碼器系統(300),該編碼器系統(300)可包括於即時通訊工具(210)中。或者,即時通訊工具(210)使用另一編碼器系統。即時通訊工具(210)亦藉由解碼器(270)來管理解碼。第4圖圖示示例性解碼器系統(400),該解碼器系統(400)可包括於即時通訊工具(210)中。或者,即時通訊工具(210)使用另一解碼器系統。
在第2b圖中所示之網路環境(202)中,編碼工具(212)包括編碼器(220),該編碼器(220)編碼視訊以供遞送至多個播放工具(214),該多個播放工具(214)包括解碼器(270)。可為視訊監控系統、網路攝影機監視系統、遠端桌面會議呈現或視訊經編碼並自一個位置發送至一或更多其他位置的其他情況提供單向通訊。儘管第2b圖中之網路環境(202)包括兩個播放工具(214),但是網路環境(202)可包括更多或更少的播放工具(214)。大體而言,播放工具(214)與編碼工具(212)通訊,以決定供播放工具(214)接收之視訊串流。播放工具(214)接收該串流,緩衝收到之經編碼資料達適當時段,並開始解碼及播放。
第3圖圖示示例性編碼器系統(300),該編碼器系統(300)可包括於編碼工具(212)中。或者,編碼工具(212)使用另一編碼器系統。編碼工具(212)亦可包括用於管理與一或更多播放工具(214)之連接之伺服器端控制器邏輯。第4圖圖示示例性解碼器系統(400),該解碼器系統(400)可包括於播放工具(214)中。或者,播放工具(214)使用另一解碼器系統。播放工具(214)亦可包括用於管理與編碼工具(212)之連接之用戶端控制器邏輯。
在一些狀況下,使用語法元素來指示延遲(例如,圖框重新排序延遲)係專門針對特定標準或格式。舉例而言,經編碼資料可含有一或更多語法元素,該一或更多語法元素將對延遲之約束條件指示為根據該標準或格式定義之基本編碼視訊位元串流之語法之部分,或指示為與經編碼資料有關之定義媒體元資料。在此等狀況下,具有減少之延遲之即時通訊工具(210)、編碼工具(212)及/或播放工具(214)可相依於編解碼器,因為該即時通訊工具(210)、該編碼工具(212)及/或該播放工具(214)做出之決策可取決於針對特定標準或格式之位元串流語法。
在其他狀況下,使用語法元素來指示對延遲之約束條件(例如,圖框重新排序延遲)超出特定標準或格式之外。舉例而言,可將指示對延遲之約束條件之一或更多語法元素以訊號表示為媒體傳輸串流、媒體儲存檔案或(更一般化地)媒體系統多工協定或傳送協定之語法之部分。或者,可根據媒體特性協商協定而在即時通訊工具(210)、編碼工具(212)及/或播放工具(214)之間協商指示延遲之一或更多語法元素。在此等狀況下,具有減少之延遲之即時通訊工具(210)、編碼工具(212)及播放工具(214)可獨立於編解碼器,因為該即時通訊工具(210)、該編碼工具(212)及該播放工具(214)可與任何可用視訊編碼器及解碼器一起工作(假設在編碼期間設定對圖框間相依性之控制程度)。III. 示例性編碼器系統
第3圖為示例性編碼器系統(300)之方塊圖,一些所描述之實施例可結合該編碼器系統(300)而實施。編碼器系統(300)可為能夠以多個編碼模式中之任一者操作的通用編碼工具,該多個編碼模式諸如用於即時通訊之低延遲編碼模式、轉碼模式及用於自檔案或串流播放媒體之常規編碼模式,或該編碼器系統(300)可為經調適用於一個此編碼模式之專用編碼工具。可將編碼器系統(300)實施為作業系統模組、實施為應用程式庫之部分或實施為獨立應用程式。總體而言,編碼器系統(300)自視訊源(310)接收源視訊圖框(311)之序列並產生經編碼資料作為至通道(390)之輸出。輸出至通道之經編碼資料可包括一或更多語法元素,該一或更多語法元素指示對延遲之約束條件(例如,圖框重新排序延遲)以促進延遲減少之解碼。
視訊源(310)可為攝影機、調諧器卡、儲存媒體或其他數位視訊源。視訊源(310)以例如每秒30個圖框之圖框率產生視訊圖框之序列。如本文所使用,術語「圖框」通常代表源資料、經編碼資料或重建之影像資料。針對漸進視訊,圖框為漸進視訊圖框。針對交錯視訊,在示例性實施例中,交錯視訊圖框在編碼之前經去交錯。或者,將兩個互補交錯視訊欄位編碼為交錯視訊圖框或單獨欄位。除指示漸進視訊圖框以外,術語「圖框」亦可指示單一非成對視訊欄位、一對互補視訊欄位、表示給定時間之視訊物件之視訊物件平面,或較大影像中之所關心區域。視訊物件平面或區域可為較大影像之部分,該較大影像包括場景之多個物件或區域。
到達之源圖框(311)儲存在源圖框暫時記憶體儲存區域(320)中,該源圖框暫時記憶體儲存區域(320)包括多個圖框緩衝器儲存區域(321、322、…、32n)。圖框緩衝器(321、322等)在源圖框儲存區域(320)中保存一個源圖框。在源圖框(311)中之一或更多者已儲存於圖框緩衝器(321、322等)中之後,圖框選擇器(330)週期性地自源圖框儲存區域(320)選擇個別源圖框。由圖框選擇器(330)選擇圖框以供輸入至編碼器(340)之次序可不同於由視訊源(310)產生圖框之次序(例如,圖框可在次序上提前),以促進時間回溯預測。在編碼器(340)之前,編碼器系統(300)可包括預處理器(未圖示),該預處理器在編碼之前對選定之圖框(331)執行預處理(例如,過濾)。
編碼器(340)編碼選定之圖框(331),以產生經編碼圖框(341),且亦產生記憶體管理控制訊號(342)。若在執行當前圖框之編碼程序時,當前圖框並非已編碼之第一圖框,則編碼器(340)可使用已儲存於經解碼圖框暫時記憶體儲存區域(360)中之一或更多先前經編碼/解碼之圖框(369)。將此等所儲存之經解碼圖框(369)用作用於當前源圖框(331)之內容之圖框間預測之參考圖框。大體而言,編碼器(340)包括多個編碼模組,該多個編碼模組執行編碼任務,諸如運動估計及補償、頻率變換、量化及熵編碼。由編碼器(340)執行之確切操作可依壓縮格式而變化。輸出經編碼資料之格式可為Windows Media Video格式、VC-1格式、MPEG-x格式(例如,MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如,H.261、H.262、H.263、H.264)、HEVC格式或其他格式。
經編碼圖框(341)及記憶體管理控制訊號(342)由解碼程序仿真器(350)處理。解碼程序仿真器(350)實施解碼器之一些功能性(例如,解碼任務)以重建在運動估計及補償中由編碼器(340)使用之參考圖框。解碼程序仿真器(350)使用記憶體管理控制訊號(342)來決定給定編碼圖框(341)是否需要被重建並儲存以供用作待編碼之後續圖框之圖框間預測中之參考圖框。若控制訊號(342)指示需要儲存經編碼圖框(341),則解碼程序仿真器(350)模型化解碼程序,該解碼程序將由接收經編碼圖框(341)並產生相應經解碼圖框(351)之解碼器實施。在此狀況下,當編碼器(340)已使用已儲存於經解碼圖框儲存區域(360)中之一或更多經解碼圖框(369)時,解碼程序仿真器(350)亦將來自儲存區域(360)之一或更多經解碼圖框(369)用作解碼程序之部分。
經解碼圖框暫時記憶體儲存區域(360)包括多個圖框緩衝器儲存區域(361、362、…、36n)。解碼程序仿真器(350)使用記憶體管理控制訊號(342)來管理儲存區域(360)之內容,以便識別具有編碼器(340)不再需要用作參考圖框之圖框的任何圖框緩衝器(361、362等)。在模型化解碼程序之後,解碼程序仿真器(350)將新解碼圖框(351)儲存在已由此方式識別之圖框緩衝器(361、362等)中。
經編碼圖框(341)及記憶體管理控制訊號(342)亦在暫時經編碼資料區域(370)中經緩衝。匯總於經編碼資料區域(370)中之經編碼資料可含有(作為基本編碼視訊位元串流之語法之部分)指示對延遲之約束條件之一或更多語法元素。或者,匯總於經編碼資料區域(370)中之經編碼資料可包括指示對延遲之約束條件之一或更多語法元素,作為與經編碼視訊資料有關之媒體元資料之部分(例如,作為一或更多補充加強資訊(「SEI」)訊息或視訊可用性資訊(「VUI」)訊息中之一或更多參數)。
由通道編碼器(380)來處理來自暫時經編碼資料區域(370)之匯總的資料(371)。通道編碼器(380)可分包匯總之資料以用於作為媒體串流傳輸,在此狀況下,通道編碼器(380)可添加(作為媒體傳輸串流之語法之部分)指示對延遲之約束條件之一或更多語法元素。或者,通道編碼器(380)可組織匯總的資料以用於作為檔案儲存,在此狀況下,通道編碼器(380)可添加(作為媒體儲存檔案之語法之部分)指示對延遲之約束條件之一或更多語法元素。或者,更一般化地,通道編碼器(380)可實施一或更多媒體系統多工協定或傳送協定,在此狀況下,通道編碼器(380)可添加(作為一或更多協定之語法之部分)指示對延遲之約束條件之一或更多語法元素。通道編碼器(380)向通道(390)提供輸出,該通道(390)表示儲存器、通訊連接或用於輸出之另一通道。IV. 示例性解碼器系統
第4圖為示例性解碼器系統(400)之方塊圖,一些所描述之實施例可結合該解碼器系統(400)而實施。解碼器系統(400)可為能夠以多個解碼模式中之任一者操作之通用解碼工具,該多個解碼模式諸如用於即時通訊之低延遲解碼模式及用於自檔案或串流播放媒體之常規解碼模式,或該解碼器系統(400)可為經調適用於一個此解碼模式之專用解碼工具。可將解碼器系統(400)實施為作業系統模組、實施為應用程式庫之部分或實施為獨立應用程式。總體而言,解碼器系統(400)自通道(410)接收經編碼資料,並產生重建圖框作為用於輸出目的地(490)之輸出。經編碼資料可包括一或更多語法元素,該一或更多語法元素指示對延遲之約束條件(例如,圖框重新排序延遲),以促進延遲減少之解碼。
解碼器系統(400)包括通道(410),該通道(410)可表示儲存器、通訊連接或用於作為輸入之經編碼資料之另一通道。通道(410)產生已經通道編碼之經編碼資料。通道解碼器(420)可處理經編碼資料。舉例而言,通道解碼器(420)拆包已經匯總以供作為媒體串流傳輸之資料,在此狀況下,通道解碼器(420)可剖析(作為媒體傳輸串流之語法之部分)指示對延遲之約束條件之一或更多語法元素。或者,通道解碼器(420)分離已匯總用於作為檔案儲存之經編碼視訊資料,在此狀況下,通道解碼器(420)可剖析(作為媒體儲存檔案之語法之部分)指示對延遲之約束條件之一或更多語法元素。或者,更一般化地,通道解碼器(420)可實施一或更多媒體系統解多工協定或傳送協定,在此狀況下,通道解碼器(420)可剖析(作為一或更多協定之語法之部分)指示對延遲之約束條件之一或更多語法元素。
將自通道解碼器(420)輸出之經編碼資料(421)儲存在暫時經編碼資料區域(430)中,直至已接收充分量之此資料為止。經編碼資料(421)包括經編碼圖框(431)及記憶體管理控制訊號(432)。經編碼資料區域(430)中之經編碼資料(421)可含有(作為基本編碼視訊位元串流之語法之部分)指示對延遲之約束條件之一或更多語法元素。或者,經編碼資料區域(430)中之經編碼資料(421)可包括指示對延遲之約束條件之一或更多語法元素,作為與經編碼視訊資料有關之媒體元資料之部分(例如,作為一或更多SEI訊息或VUI訊息中之一或更多參數)。大體而言,經編碼資料區域(430)臨時儲存經編碼資料(421),直至由解碼器(450)使用此經編碼資料(421)為止。此時,將用於經編碼圖框(431)及記憶體管理控制訊號(432)之經編碼資料自經編碼資料區域(430)傳送至解碼器(450)。隨著解碼繼續,將新編碼資料添加至經編碼資料區域(430),且將剩餘在經編碼資料區域(430)中之最老經編碼資料傳送至解碼器(450)。
解碼器(450)週期性地解碼經編碼圖框(431)以產生相應經解碼圖框(451)。若適當,則在執行解碼器(450)之解碼程序時,解碼器(450)可將一或更多先前解碼之圖框(469)用作用於圖框間預測之參考圖框。解碼器(450)自經解碼圖框暫時記憶體儲存區域(460)讀取此等先前解碼之圖框(469)。大體而言,解碼器(450)包括多個解碼模組,該等多個解碼模組執行解碼任務,諸如,熵解碼、反量化、反頻率變換及運動補償。由解碼器(450)執行之確切操作可依壓縮格式而變化。
經解碼圖框暫時記憶體儲存區域(460)包括多個圖框緩衝器儲存區域(461、462、…、46n)。經解碼圖框儲存區域(460)為經解碼圖像緩衝器之實例。解碼器(450)使用記憶體管理控制訊號(432)來識別該解碼器(450)可儲存經解碼圖框(451)之圖框緩衝器(461、462等)。解碼器(450)將經解碼圖框(451)儲存於彼圖框緩衝器中。
輸出定序器(480)使用記憶體管理控制訊號(432)來識別在輸出次序中待產生之下一個圖框在經解碼圖框儲存區域(460)中何時為可用。為減少編碼-編碼系統之延遲,輸出定序器(480)使用指示對延遲之約束條件之語法元素來促進在輸出次序中待產生之圖框之識別。當在輸出次序中待產生之下一個圖框(481)在經解碼圖框儲存區域(460)中可用時,該下一個圖框(481)由輸出定序器(480)讀取,並輸出至輸出目的地(490)(例如,顯示器)。大體而言,由輸出定序器(480)自經解碼圖框儲存區域(460)輸出圖框之次序可不同於由解碼器(450)解碼圖框之次序。V. 促進延遲減少之編碼及解碼之語法元素
在多數視訊編解碼器系統中,編碼次序(亦稱解碼次序或位元串流次序)為在位元串流中的經編碼資料中表示視訊圖框之次序,因此,為在解碼期間處理視訊圖框之次序。編碼次序可不同於在編碼之前由攝影機捕捉(capture)圖框之次序,且不同於在解碼之後顯示、儲存或以其他方式輸出經解碼圖框之次序(輸出次序或顯示次序)。相對於輸出次序,重新排序圖框具有益處(主要在壓縮能力方面),但是該重新排序增加編碼及解碼程序之端對端延遲。
本文所述之技術及工具由於重新排序視訊圖框且藉由向解碼器系統提供關於對重新排序延遲之約束條件之資訊而減少延遲,且亦藉由解碼器系統而促進延遲減少。出於許多目的,此延遲減少為有用的。舉例而言,此延遲減少可用來減少發生於使用視訊會議系統之互動式視訊通訊中之時滯(time lag),以使得遠端參與者之間的交談流及通訊互動性將更快速且自然。A. 輸出時序及輸出排序之方法
根據H.264標準,解碼器可使用兩種方法來決定經解碼圖框何時準備好供輸出。解碼器可使用呈解碼時戳(timestamp)及輸出時戳(例如,當以訊號表示於圖像時序SEI訊息中時)之形式的時序資訊。或者,解碼器可使用以各種語法元素而以訊號表示之緩衝能力限制來決定經解碼圖框何時準備好以供輸出。
時序資訊可與每一經解碼圖框相關聯。解碼器可使用時序資訊來決定何時可輸出經解碼圖框。然而,實務上,此時序資訊對於解碼器或許為不可用的。此外,甚至當時序資訊為可用時,一些解碼器實際上並不使用此資訊(例如,因為解碼器已經設計以無關於時序資訊是否可用而工作)。
緩衝能力限制根據H.264標準(及HEVC標準之草稿版本)以若干語法元素來指示,包括語法元素max_dec_frame_buffering、語法元素num_reorder_frames、相對排序資訊(稱為「圖像次序計數」資訊)及在位元串流中以訊號表示之其他記憶體管理控制資訊。語法元素max_dec_frame_buffering(或指定為MaxDpbFrames之導出變數)指定圖框緩衝器之單元中之經解碼圖像緩衝器(「DPB」)之所需大小。如此,語法元素max_dec_frame_buffering表達用於經編碼視訊序列之頂層記憶體容量,以便使解碼器能夠以正確次序輸出圖像。語法元素num_reorder_frames(或max_num_reorder_frames)指示在編碼次序中可先於任何圖框(或互補欄位對,或非成對欄位)且在輸出次序中在該任何圖框(或互補欄位對,或非成對欄位)之後的圖框(或互補欄位對,或非成對欄位)之最大數目。換言之,num_reorder_frames指定對圖像重新排序所必需之記憶體容量之約束條件。語法元素max_num_ref_frames指定可由解碼程序用於序列中之任何圖像的框間預測之短期及長期參考圖框(或互補參考欄位對,或非成對參考欄位)的最大數目。語法元素max_num_ref_frames亦決定用於經解碼參考圖像標示之滑動視窗之大小。類似於num_reorder_frames,max_num_ref_frames指定對所需之記憶體容量之約束條件。
解碼器使用max_dec_frame_buffering(或MaxDpbFrames)及num_reorder_frames語法元素來決定何時已超過緩衝能力限制。舉例而言,當新解碼圖框需要儲存在DPB中,但是在DPB中不存在剩餘可用空間時,此超過緩衝能力限制情況發生。在此情形中,解碼器使用圖像次序計數資訊來在已解碼之圖像中識別哪一個圖像為輸出次序中最早之圖像。此後輸出輸出次序中最早之圖像。此處理有時稱為「衝撞」,因為圖像係由需要儲存之新圖像之到達而被「衝撞出」DPB。
以max_dec_frame_buffering(或MaxDpbFrames)及num_reorder_frames語法元素指示之資訊足以決定解碼器中需要之記憶體容量。然而,當用來控制用於圖像輸出之「衝撞」處理時,此資訊之使用可非必要地引入延遲。如H.264標準中所定義,max_dec_frame_buffering及num_reorder_frames語法元素並不建立對可應用於任何特定圖像之重新排序量之限制,且因此並不建立對端對端延遲之限制。與此等語法元素之值無關,在輸出特定圖像之前,可將該特定圖像保持在DPB中達任意長的時間,該任意長的時間對應於藉由編碼器預緩衝源圖像而添加之實質延遲。B. 指示對圖框重新排序延遲之約束條件之語法元素
本文所述之技術及工具減少視訊通訊系統中之延遲。編碼工具、即時通訊工具或其他工具設定對可應用於經編碼視訊序列中之任何圖框之重新排序範圍的限制條件。舉例而言,將限制條件表達為可在輸出次序中先於經編碼視訊序列中之任一給定圖框且在編碼次序中在該給定圖框之後的圖框之數目。該限制條件約束允許用於序列中之任何特定圖框之重新排序延遲。換言之,該限制條件約束可應用於任何特定圖框之編碼次序與輸出次序之間的重新排序之時間範圍(以圖框計)。限制重新排序之範圍幫助減少端對端延遲。又,建立此限制條件在用於減少延遲為重要的使用情況之即時系統協商協定或應用規格中可為有用的。
一或更多語法元素指示對圖框重新排序延遲之約束條件。以訊號表示對圖框重新排序延遲之約束條件促進用於互動式即時通訊或其他使用情況之系統級協商。此提供直接表達對圖框重新排序延遲之約束條件及表示媒體串流或會話之性質之特徵的方式。
視訊解碼器可使用所指示的對圖框重新排序延遲之約束條件來賦能經解碼視訊圖框之延遲減少之輸出。詳言之,與圖框「衝撞」處理相比,以訊號表示對圖框重新排序延遲之約束條件使解碼器能夠更簡單且快速地識別DPB中準備好供輸出之圖框。舉例而言,解碼器可藉由計算圖框之編碼次序與輸出次序之間的差來決定DPB中圖框之延遲狀態。藉由將圖框之延遲狀態與對圖框重新排序延遲之約束條件進行比較,解碼器可決定何時已到達對圖框重新排序延遲之約束條件。解碼器可立即輸出已到達此限制之任何圖框。與使用各種語法元素及追蹤結構之「衝撞」處理相比,此可幫助解碼器更快速地識別準備好以供輸出之圖框。以此方式,解碼器可快速地(且較早地)決定何時可輸出經解碼圖框。解碼器可識別何時可輸出圖框愈快速(且愈早),解碼器可愈快地(且愈早地)輸出視訊至顯示器或後續處理階段。
因此,使用對圖框重新排序延遲之約束條件,解碼器可在經解碼圖框儲存區域滿之前開始自經解碼圖框儲存區域輸出圖框,但是仍然提供一致的解碼(亦即,解碼所有圖框,使得該等圖框為使用另一、習知方案解碼之圖框之位元確切匹配項)。當由延遲語法元素指示之延遲(以圖框計)比經解碼圖框儲存區域之大小(以圖框計)小得多時,此顯著減少延遲。
第5a圖至第5e圖圖示具有不同圖框間相依性之圖框串(501至505)。串之特性在於用於以下約束條件之不同值:(1)對圖像重新排序所必需之記憶體容量(亦即,出於重新排序之目的而用來儲存參考圖框之圖框緩衝器之數目)之約束條件,例如,如以語法元素num_reorder_frames指示之約束條件,及(2)對圖框重新排序延遲之約束條件,例如,如由變數MaxLatencyFrames所指定之約束條件。在第5a圖至第5e圖中,對於給定圖框Fj k
,下標j指示圖框在輸出次序中之位置,且上標k指示圖框在編碼次序中之位置。該等圖框係以輸出次序圖示——輸出次序下標值自左至右增加。箭頭說明用於運動補償之圖框間相依性,根據該等圖框間相依性,將編碼次序中之居前圖框用於編碼次序中之後續圖框之預測。為簡單起見,第5a圖至第5e圖圖示在圖框級(且並非在參考圖框可變化之巨集區塊級、區塊級等)之圖框間相依性,且第5a圖至第5e圖圖示至多兩個圖框作為用於給定圖框之參考圖框。實務上,在一些實施中,給定圖框中之不同巨集區塊、區塊等可使用不同參考圖框,且大於兩個參考圖框可用於給定圖框。
在第5a圖中,串(501)包括九個圖框。輸出次序中之最後圖框F8 1
使用第一圖框F0 0
作為參考圖框。串(501)中之其他圖框使用最後圖框F8 1
及第一圖框F0 0
兩者作為參考圖框。此意謂,首先解碼圖框F0 0
,繼之以圖框F8 1
,繼之以圖框F1 2
等。在第5a圖中所示之串(501)中,num_reorder_frames之值為1。在解碼器系統之處理中之任一時刻,在第5a圖中所示之圖框中,僅存在一個圖框(F8 1
)出於重新排序目的而儲存於經解碼圖框儲存區域中。(第一圖框F0 0
亦用作參考圖框且被儲存,但是並不出於重新排序目的而儲存。因為用於第一圖框F0 0
之輸出次序小於中間圖框之輸出次序,所以對於num_reorder_frames之目的並不對第一圖框F0 0
計數。)儘管用於num_reorder_frames之值低,但是串(501)具有相對高的延遲——MaxLatencyFrames之值為7。在編碼第一圖框F0 0
之後,編碼器在編碼輸出次序中之下一個圖框F1 2
之前等待,直至該編碼器已緩衝另外八個源圖框為止,因為下一個圖框F1 2
取決於串(501)中之最後圖框F8 1
。MaxLatencyFrames之值在效果上為用於任何特定編碼圖框之下標值與上標值之間的最大允許差。
在第5b圖中,串(502)包括九個圖框,如在第5a圖之串(501)中,但是圖框間相依性不同。圖框之時間重新排序發生在短範圍上。因此,串(502)具有低得多的延遲—MaxLatencyFrames之值為1。num_reorder_frames之值仍為1。
在第5c圖中,串(503)包括十個圖框。最長圖框間相依性比第5a圖中之最長圖框間相依性短(在時間範圍中),但是比第5b圖中之最長圖框間相依性長。串(503)具有用於num_reorder_frames之相同的低值1,且該串(503)具有用於MaxLatencyFrames之相對低的值2。因此,串(503)允許比第5a圖之串(501)低的端對端延遲,但不如第5b圖之串(502)之可允許延遲低。
在第5d圖中,串(504)包括根據圖框間相依性組織為具有三個時間層之時間階層之圖框。最低時間解析度層包括第一圖框F0 0
及最後圖框F8 1
。下一個時間解析度層添加圖框F4 2
,該F4 2
取決於第一圖框F0 0
及最後圖框F8 1
。最高時間解析度層添加剩餘圖框。由於用於最後圖框F8 1
之編碼次序與輸出次序之間的差,至少針對最高時間解析度層,第5d圖中所示之串(504)具有用於num_reorder_frames之相對低的值2,但是具有用於MaxLatencyFrames之相對高的值7。若僅解碼中間時間解析度層或最低時間解析度層,則可將對圖框重新排序延遲之約束條件減少至1(對於中間層)或0(對於最低層)。為促進在各種時間解析度下延遲減少之解碼,語法元素可指示對於時間階層中之不同層之對圖框重新排序延遲之約束條件。
在第5e圖中,串(505)包括根據不同圖框間相依性組織為具有三個時間層之時間階層之圖框。最低時間解析度層包括第一圖框F0 0
、中間圖框F4 1
及最後圖框F8 5
。下一個時間解析度層添加圖框F2 2
(該F2 2
取決於第一圖框F00及中間圖框F4 1
)及F6 6
(該F6 6
取決於中間圖框F4 1
及最後圖框F8 5
)。最高時間解析度層添加剩餘圖框。與第5d圖之串(504)相比,由於用於中間圖框F4 1
及最後圖框F8 5
之編碼次序與輸出次序之間的差,至少針對最高時間解析度層,第5e圖之串(505)仍具有用於num_reorder_frames之相對低的值2,但是具有用於MaxLatencyFrames之較低值3。若僅解碼中間時間解析度層或最低時間解析度層,則可將對圖框重新排序延遲之約束條件減少至1(對於中間層)或0(對於最低層)。
在第5a圖至第5e圖中所示之實例中,若MaxLatencyFrames之值已知,則解碼器可將某些圖框識別為在收到輸出次序中之居前圖框之後即準備好立即輸出。針對給定圖框,圖框之輸出次序值減去圖框之編碼次序值可等於MaxLatencyFrames之值。在此狀況下,一經接收輸出次序中先於給定圖框之圖框,該給定圖框立即準備好以供輸出。(相比之下,不可單獨使用num_reorder_frames將此等圖框識別為準備好供輸出,直至接收到額外圖框或到達序列之末端為止。)詳言之,解碼器可使用MaxLatencyFrames之值來賦能以下圖框之較早輸出: •在第5a圖之串(501)中,圖框F8 1
。 •在第5b圖之串(502)中,圖框F2 1
、F4 3
、F6 5
及F8 7
。 •在第5c圖之串(503)中,圖框F3 1
、F6 4
及F9 7
。 •在第5d圖之串(504)中,圖框F8 1
。 •在第5e圖之串(505)中,圖框F4 1
及F8 5
。
另外,MaxLatencyFrames之值在系統級之宣告或協商可以不能藉由重新排序儲存容量之量測及使用num_reorder_frames對此容量之指示來賦能的方式提供位元串流或會話之延遲特性之概略表達。C. 示例性實施
可取決於實施而以多種方式以訊號表示指示對圖框重新排序延遲之約束條件之語法元素。可將語法元素以訊號表示為序列參數集(「SPS」)、圖像參數集(「PPS」)或位元串流之其他元素之部分,以訊號表示為SEI訊息、VUI訊息或其他元資料之部分,或以一些其他方式以訊號表示。在任何實施中,可使用無正負號指數哥倫布(exponential-Golomb)編碼、一些其他形式之熵編碼或固定長度編碼來編碼指示約束條件值之語法元素,此後以訊號發送該語法元素。解碼器在接收到語法元素之後執行相應解碼。
在第一實施中,以訊號發送旗標max_latency_limitation_flag。若旗標具有第一二進位值(例如,0),則並未外加對圖框重新排序延遲之約束條件。在此狀況下,不以訊號發送max_latency_frames語法元素之值或忽略該max_latency_frames語法元素之值。否則(旗標具有第二二進位值,諸如1),以訊號發送max_latency_frames語法元素之值,以指示對圖框重新排序延遲之約束條件。舉例而言,在此狀況下,針對max_latency_frames語法元素而以訊號發送之值可為任何非負整數值。
在第二實施中,以訊號發送語法元素max_latency_frames_plusl,以指示對圖框重新排序延遲之約束條件。若max_latency_frames_plusl具有第一值(例如,0),則並未外加對圖框重新排序延遲之約束條件。針對其他值(例如,非零值),將對圖框重新排序延遲之約束條件之值設定為max_latency_frames_plusl-1。舉例而言,max_latency_frames_plusl之值在0至232
-2之範圍內,包括0及232
-2。
類似地,在第三實施中,以訊號發送語法元素max_latency_frames,以指示對圖框重新排序延遲之約束條件。若max_latency_frames具有第一值(例如,最大值),則並未外加對圖框重新排序延遲之約束條件。針對其他值(例如,小於最大值之值),將對圖框重新排序延遲之約束條件之值設定為max_latency_frames。
在第四實施中,相對於圖框記憶體之最大大小來指示對圖框重新排序延遲之約束條件。舉例而言,將延遲約束條件以訊號表示為相對於num_reorder_frames語法元素之增加。通常,對圖框重新排序延遲(以圖框計)之約束條件大於等於num_reorder_frames。為在以訊號發送延遲約束條件時節省位元,編碼(例如,使用無正負號指數哥倫布編碼、一些其他形式之熵編碼)延遲約束條件與num_reorder_frames之間的差,然後以訊號發送。以訊號發送語法元素max_latency_increase_plusl,以指示對圖框重新排序延遲之約束條件。若max_latency_increase_plusl具有第一值(例如,0),則並未外加對圖框重新排序延遲之約束條件。針對其他值(例如,非零值),將對圖框重新排序延遲之約束之值設定為num_reorder_frames+max_latency_increase_plusl-1。舉例而言,max_latency_increase_plusl之值在0至232
-2之範圍內,包括0及232
-2。
或者,以某一其他方式以訊號發送指示對圖框重新排序延遲之約束條件之一或更多語法元素。D. 指示對延遲之約束條件之其他方式
在許多先前實例中,對延遲之約束條件為以圖框計數表達之對圖框重新排序延遲之約束條件。更一般化地,對延遲之約束條件為可以圖框計數表達或以秒、毫秒或另一時間量測表達之對延遲之約束條件。舉例而言,可將對延遲之約束條件表達為絕對時間量測,諸如1秒或0.5秒。編碼器可將此時間量測轉換為圖框之計數(慮及視訊之圖框率),此後編碼視訊,使得視訊序列之多個圖框之間的圖框間相依性與圖框計數一致。或者,與圖框重新排序及圖框間相依性無關,編碼器可使用時間量測來限制使用延遲來消除經編碼視訊之位元率、編碼複雜性、網路頻寬等中之短期波動之範圍。解碼器可使用時間量測來決定何時可自經解碼圖像緩衝器輸出圖框。
可在傳輸器端與接收器端之間協商對延遲之約束條件,以便權衡回應性(無延遲)與消除經編碼視訊之位元率中之短期波動之能力、消除編碼複雜性中之短期波動之能力、消除網路頻寬中之短期波動之能力及/或受益於增加之延遲之另一因素。在此等協商中,可幫助以獨立於圖框率之方式建立對延遲之約束條件並表示延遲之約束條件之特性。此後,在編碼及解碼期間可慮及視訊之圖框率而應用該約束條件。或者,在編碼及解碼期間與視訊之圖框率無關地應用該約束條件。E. 用於設定及輸出語法元素之一般化技術
第6圖圖示用於設定及輸出語法元素之示例性技術(600),該等語法元素促進延遲減少之解碼。舉例而言,參閱第2a圖及第2b圖描述之即時通訊工具或編碼工具執行技術(600)。或者,另一工具執行技術(600)。
一開始,工具設定(610)指示對延遲(例如,圖框重新排序延遲、以時間量測計之延遲)之約束條件之一或更多語法元素,該對延遲之約束條件與視訊序列之多個圖框之間的圖框間相依性一致。當該工具包括視訊編碼器時,相同工具亦可接收圖框,編碼圖框以產生經編碼資料(使用與對圖框重新排序延遲之約束條件一致的圖框間相依性),並輸出經編碼資料以供儲存或傳輸。
通常,對圖框重新排序延遲之約束條件為對於視訊序列中之任何圖框所允許之重新排序延遲。然而,可以各種方式表達約束條件,且該約束條件可具有各種其他意義。舉例而言,能以可在輸出次序中先於給定圖框但是在編碼次序中在該給定圖框之後的圖框之最大計數來表達約束條件。或者,可將約束表達為用於視訊序列中任何圖框之編碼次序與輸出次序之間的最大差。或者,關注個別圖框,可將約束條件表達為與視訊序列中之給定特定圖框相關聯之重新排序延遲。或者,關注一組圖框,可將約束條件表達為與視訊序列中之該組圖框相關聯之重新排序延遲。或者,可以一些其他方式來表達約束條件。
接下來,工具輸出(620)一或更多語法元素。此促進決定重建之圖框就多個圖框之輸出次序而言何時準備好輸出。可將一或更多語法元素輸出為基本編碼視訊位元串流中之序列參數集或圖像參數集之部分,輸出為用於媒體儲存檔案或媒體傳輸串流之語法之部分(該媒體儲存檔案或媒體傳輸串流亦包括用於圖框之經編碼資料),輸出為媒體性質協商協定之部分(例如,在系統級協商中之串流或會話參數值之交換期間),輸出為與用於圖框之經編碼資料多工(multiplex)之媒體系統資訊之部分,或輸出為與用於圖框之經編碼資料有關之媒體元資料之部分(例如,在SEI訊息或VUI訊息中)。可輸出不同語法元素,以指示記憶體容量要求。舉例而言,緩衝器大小語法元素(諸如,max_dec_frame_buffering)可指示DPB之最大大小,且圖框記憶體語法元素(諸如,num_reorder_frames)可指示用於重新排序之圖框記憶體之最大大小。
可以各種方式來表示對延遲之約束條件之值,如在節V.C中所述。舉例而言,工具輸出指示一或更多語法元素之存在或不存在之旗標。若旗標指示一或更多語法元素不存在,則對延遲之約束條件未定義或具有預設值。否則,一或更多語法元素遵循並指示對延遲之約束條件。或者,一或更多語法元素之一個值指示對延遲之約束條件未定義或具有預設值,而一或更多語法元素之其他可能值指示用於對延遲之約束條件之整數計數。或者,對於對延遲之約束條件為對圖框重新排序延遲之約束條件之狀況而言,一或更多語法元素之給定值指示相對於用於重新排序之圖框記憶體之最大大小的用於對圖框重新排序延遲之約束條件的整數計數,該用於重新排序之圖框記憶體之最大大小係使用諸如num_reorder_frames之不同語法元素指示。或者,以某一其他方式表示對延遲之約束條件。
在一些實施例中,根據時間階層組織視訊序列之圖框。在此狀況下,不同語法元素可指示對於時間階層之不同時間層的對圖框重新排序延遲之不同約束條件。F. 用於接收及使用語法元素之一般化技術
第7圖圖示用於接收及使用語法元素之示例性技術(700),該等語法元素促進延遲減少之解碼。舉例而言,參閱第2a圖及第2b圖描述之即時通訊工具或播放工具執行技術(700)。或者,另一工具執行技術(700)。
一開始,工具接收並剖析(710)指示對延遲之約束條件(例如,圖框重新排序延遲,以時間量測計之延遲)之一或更多語法元素。舉例而言,剖析包括自位元串流讀取指示對延遲之約束條件之一或更多語法元素。工具亦接收(720)用於視訊序列之多個圖框之經編碼資料。工具可剖析一或更多語法元素,並基於一或更多語法元素來決定對延遲之約束條件。通常,對圖框重新排序延遲之約束條件為對於視訊序列中之任何圖框所允許之重新排序延遲。然而,可以各種方式表達約束條件,且該約束條件可具有各種其他意義,如前一節中所述。可將一或更多語法元素以訊號表示為基本編碼視訊位元串流中之序列參數集或圖像參數集之部分,以訊號表示為用於媒體儲存檔案或媒體傳輸串流之語法之部分,以訊號表示為媒體性質協商協定之部分,以訊號表示為與經編碼資料多工之媒體系統資訊之部分,或以訊號表示為與經編碼資料有關之媒體元資料之部分。工具可接收並剖析不同語法元素,該等不同語法元素指示記憶體容量要求,例如,諸如max_dec_frame_buffering之緩衝器大小語法元素及諸如num_reorder_frames之圖框記憶體語法元素。
可以各種方式來表示對延遲之約束條件之值,如在節V.C中所述。舉例而言,工具接收指示一或更多語法元素之存在或不存在之旗標。若旗標指示一或更多語法元素不存在,則對延遲之約束條件未定義或具有預設值。否則,一或更多語法元素遵循並指示對延遲之約束條件。或者,一或更多語法元素之一個值指示對延遲之約束條件未定義或具有預設值,而一或更多語法元素之其他可能值指示用於對延遲之約束條件之整數計數。或者,對於對延遲之約束條件為對圖框重新排序延遲之約束條件之狀況而言,一或更多語法元素之給定值指示相對於用於重新排序之圖框記憶體之最大大小的用於對圖框重新排序延遲之約束的整數計數,該用於重新排序之圖框記憶體之最大大小係使用諸如num_reorder_frames之不同語法元素指示。或者,以一些其他方式來以訊號表示對延遲之約束條件。
返回至第7圖,工具解碼(730)經編碼資料中之至少一些以重建圖框中之一者。工具輸出(740)重建之圖框。在進行此操作時,工具可使用對延遲之約束條件來決定(例如)就視訊序列之圖框之輸出次序而言重建之圖框何時準備好輸出。
在一些實施中,根據時間階層來組織視訊序列之圖框。在此狀況下,不同語法元素可指示對於時間階層之不同時間層的對圖框重新排序延遲之不同約束條件。工具可取決於輸出之時間解析度而選擇對圖框重新排序延遲之不同約束中之一者。
鑒於本發明之原理可應用到的許多可能實施例,應認識到,所說明之實施例僅為本發明之較佳實例,且不應將該等所說明之實施例視為限制本發明之範疇。實情為,本發明之範疇係由以下申請專利範圍定義。因此,吾人主張,本發明完全在此申請專利範圍之範疇及精神之範圍內。
32n‧‧‧圖框緩衝器儲存區域
36n‧‧‧圖框緩衝器儲存區域
46n‧‧‧圖框緩衝器儲存區域
100‧‧‧計算系統
110‧‧‧處理單元/中央處理單元
115‧‧‧處理單元/圖形處理單元/共處理單元
120‧‧‧記憶體/有形記憶體
125‧‧‧記憶體/有形記憶體
130‧‧‧最基本配置
140‧‧‧儲存器/有形儲存器
150‧‧‧一或更多輸入裝置
160‧‧‧一或更多輸出裝置
170‧‧‧一或更多通訊連接
201‧‧‧網路環境
202‧‧‧網路環境
210‧‧‧即時通訊(RTC)工具
212‧‧‧編碼工具
214‧‧‧播放工具
220‧‧‧視訊編碼器
250‧‧‧網路
270‧‧‧視訊解碼器
300‧‧‧編碼器系統
310‧‧‧視訊源
311‧‧‧源視訊圖框
320‧‧‧源圖框暫時記憶體儲存區域/源圖框儲存區域
321‧‧‧圖框緩衝器儲存區域/圖框緩衝器
322‧‧‧圖框緩衝器儲存區域
330‧‧‧圖框選擇器
331‧‧‧當前源圖框
340‧‧‧編碼器
341‧‧‧經編碼圖框
342‧‧‧記憶體管理控制訊號
350‧‧‧解碼程序仿真器
351‧‧‧新解碼圖框
360‧‧‧經解碼圖框暫時記憶體儲存區域/經解碼圖框儲存區域
361‧‧‧圖框緩衝器儲存區域/圖框緩衝器
362‧‧‧圖框緩衝器儲存區域
369‧‧‧經解碼圖框
370‧‧‧暫時經編碼資料區域/經編碼資料區域
371‧‧‧經編碼資料
380‧‧‧通道編碼器
390‧‧‧通道
400‧‧‧解碼器系統
410‧‧‧通道
420‧‧‧通道解碼器
421‧‧‧經編碼資料
430‧‧‧暫時經編碼資料區域/經編碼資料區域
431‧‧‧經編碼圖框
432‧‧‧記憶體管理控制訊號
450‧‧‧解碼器
451‧‧‧經解碼圖框
460‧‧‧經解碼圖框暫時記憶體儲存區域/經解碼圖框儲存區域
461‧‧‧圖框緩衝器儲存區域/圖框緩衝器
462‧‧‧圖框緩衝器儲存區域/圖框緩衝器
469‧‧‧先前解碼之圖框
480‧‧‧輸出定序器
481‧‧‧下一個圖框
490‧‧‧輸出目的地
501‧‧‧串
502‧‧‧串
503‧‧‧串
504‧‧‧串
505‧‧‧串
600‧‧‧技術
610‧‧‧設定
620‧‧‧輸出
700‧‧‧技術
710‧‧‧接收並剖析
720‧‧‧接收
730‧‧‧解碼
740‧‧‧輸出
36n‧‧‧圖框緩衝器儲存區域
46n‧‧‧圖框緩衝器儲存區域
100‧‧‧計算系統
110‧‧‧處理單元/中央處理單元
115‧‧‧處理單元/圖形處理單元/共處理單元
120‧‧‧記憶體/有形記憶體
125‧‧‧記憶體/有形記憶體
130‧‧‧最基本配置
140‧‧‧儲存器/有形儲存器
150‧‧‧一或更多輸入裝置
160‧‧‧一或更多輸出裝置
170‧‧‧一或更多通訊連接
201‧‧‧網路環境
202‧‧‧網路環境
210‧‧‧即時通訊(RTC)工具
212‧‧‧編碼工具
214‧‧‧播放工具
220‧‧‧視訊編碼器
250‧‧‧網路
270‧‧‧視訊解碼器
300‧‧‧編碼器系統
310‧‧‧視訊源
311‧‧‧源視訊圖框
320‧‧‧源圖框暫時記憶體儲存區域/源圖框儲存區域
321‧‧‧圖框緩衝器儲存區域/圖框緩衝器
322‧‧‧圖框緩衝器儲存區域
330‧‧‧圖框選擇器
331‧‧‧當前源圖框
340‧‧‧編碼器
341‧‧‧經編碼圖框
342‧‧‧記憶體管理控制訊號
350‧‧‧解碼程序仿真器
351‧‧‧新解碼圖框
360‧‧‧經解碼圖框暫時記憶體儲存區域/經解碼圖框儲存區域
361‧‧‧圖框緩衝器儲存區域/圖框緩衝器
362‧‧‧圖框緩衝器儲存區域
369‧‧‧經解碼圖框
370‧‧‧暫時經編碼資料區域/經編碼資料區域
371‧‧‧經編碼資料
380‧‧‧通道編碼器
390‧‧‧通道
400‧‧‧解碼器系統
410‧‧‧通道
420‧‧‧通道解碼器
421‧‧‧經編碼資料
430‧‧‧暫時經編碼資料區域/經編碼資料區域
431‧‧‧經編碼圖框
432‧‧‧記憶體管理控制訊號
450‧‧‧解碼器
451‧‧‧經解碼圖框
460‧‧‧經解碼圖框暫時記憶體儲存區域/經解碼圖框儲存區域
461‧‧‧圖框緩衝器儲存區域/圖框緩衝器
462‧‧‧圖框緩衝器儲存區域/圖框緩衝器
469‧‧‧先前解碼之圖框
480‧‧‧輸出定序器
481‧‧‧下一個圖框
490‧‧‧輸出目的地
501‧‧‧串
502‧‧‧串
503‧‧‧串
504‧‧‧串
505‧‧‧串
600‧‧‧技術
610‧‧‧設定
620‧‧‧輸出
700‧‧‧技術
710‧‧‧接收並剖析
720‧‧‧接收
730‧‧‧解碼
740‧‧‧輸出
第1圖為示例性計算系統之圖,一些所描述之實施例可實施於該計算系統中。
第2a圖及第2b圖為示例性網路環境之圖,一些所描述之實施例可實施於該等網路環境中。
第3圖為示例性編碼器系統之圖,一些所描述之實施例可結合該編碼器系統而實施。
第4圖為示例性解碼器系統之圖,一些所描述之實施例可結合該解碼器系統而實施。
第5a圖至第5e圖為圖示用於若干示例性串中之圖框之編碼次序及輸出次序的圖。
第6圖為圖示用於設定及輸出一或更多語法元素之示例性技術之流程圖,該一或更多語法元素指示對延遲之約束條件。
第7圖為圖示用於延遲減少之解碼之示例性技術之流程圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
100‧‧‧計算系統
110‧‧‧處理單元/中央處理單元
115‧‧‧處理單元/圖形處理單元/共處理單元
120‧‧‧記憶體/有形記憶體
125‧‧‧記憶體/有形記憶體
130‧‧‧最基本配置
140‧‧‧儲存器/有形儲存器
150‧‧‧一或更多輸入裝置
160‧‧‧一或更多輸出裝置
170‧‧‧一或更多通訊連接
180‧‧‧軟體
Claims (20)
- 一種儲存電腦可執行指令的電腦可讀取媒體,該等電腦可執行指令用於致使一計算系統在被程式編寫有該等電腦可執行指令時進行操作,該電腦可讀取媒體僅選自非揮發性記憶體及儲存裝置所組成之群組,該等操作包含: 接收及剖析一或更多個語法元素,該一或更多個不同語法元素指示了對圖框重新排序延遲的一約束條件,其中對圖框重新排序延遲的該約束條件是就可在輸出次序中先於一視訊序列中的任一圖框、但在編碼次序中是在該任一圖框之後的最大圖框計數來表示的; 根據該一或更多個語法元素來決定對圖框重新排序延遲的該約束條件; 接收用於該視訊序列之複數個圖框之經編碼資料; 使用該視訊解碼器,解碼該經編碼資料中之至少一些,以重建該複數個圖框中之一圖框;以及 輸出該經重建圖框,其中該約束條件被用來決定該經重建圖框何時準備好輸出。
- 如請求項1所述之電腦可讀取媒體,其中該視訊序列之該複數個圖框是根據一時間階層來組織的,其中該一或更多個語法元素中之不同語法元素指示對於該時間階層之不同時間層的對圖框重新排序延遲之不同約束條件,該等操作進一步包含:取決於輸出之時間解析度而選擇對圖框重新排序延遲之該等不同約束條件中之一約束條件。
- 如請求項1所述之電腦可讀取媒體,其中該等操作進一步包含: 接收及剖析指示了用於重新排序之圖框記憶體的一最大大小的一或更多個語法元素,其中用於重新排序之圖框記憶體的該最大大小是就可在編碼次序中先於該視訊序列中的任一圖框、但在輸出次序中是在該任一圖框之後的最大圖框計數來表示的。
- 如請求項1所述之電腦可讀取媒體,其中將該一或更多個語法元素及該經編碼資料被當作用於一經編碼視訊位元串流之語法之部分而經傳訊,該等操作進一步包含: 接收及剖析一緩衝器大小語法元素,該緩衝器大小語法元素指示一經解碼圖像緩衝器之最大大小,其中該緩衝器大小語法元素不同於指示出對圖框重新排序延遲之該約束條件的該一或更多個語法元素。
- 如請求項1所述之電腦可讀取媒體,其中該一或更多個語法元素可被表示為以下各者之部分來傳訊:一序列參數集;一圖像參數集;用於一媒體儲存檔案之語法,該媒體儲存檔案亦包括該經編碼資料;用於一媒體傳輸串流之語法,該媒體傳輸串流亦包括該經編碼資料;一媒體性質協商協定;與該經編碼資料多工(multiplexed)之媒體系統資訊或與該經編碼資料有關之媒體元資料。
- 如請求項1所述之電腦可讀取媒體,其中該一或更多個語法元素中之一可能值指示出對圖框重新排序延遲之該約束條件為未定義或具有一預設值,且其中該一或更多個語法元素中之其他可能值指示出用於對圖框重新排序延遲之該約束條件之一整數計數。
- 如請求項1所述之電腦可讀取媒體,其中該一或更多個語法元素之一值指示出相對於用於重新排序之圖框記憶體之一最大大小的用於對圖框重新排序延遲之該約束條件之一整數計數,用於重新排序之圖框記憶體的該最大大小係以一不同語法元素表示。
- 如請求項7所述之電腦可讀取媒體,其中對圖框重新排序延遲的該約束條件能被決定為用於重新排序之圖框記憶體的該最大大小加上用於對圖框重新排序延遲之該約束條件之該整數計數減去1的一最大計數。
- 一種儲存由操作所產生之經編碼資料的電腦可讀取媒體,該電腦可讀取媒體僅選自非揮發性記憶體及儲存裝置所組成之群組,該等操作包含: 設定一或更多個語法元素,該一或更多個不同語法元素指示出對圖框重新排序延遲之一約束條件,對圖框重新排序延遲之該約束條件與一視訊序列之複數個圖框之間的圖框間相依性一致,其中對圖框重新排序延遲的該約束條件是就可在輸出次序中先於該視訊序列中的任一圖框、但在編碼次序中是在該任一圖框之後的最大圖框計數來表示的; 使用一視訊編碼器,編碼該複數個圖框以產生該經編碼資料中至少一些,其中該編碼步驟使用該等圖框間相依性,該等圖框間相依性與對圖框重新排序延遲之該約束條件一致;以及 將該一或更多個語法元素輸出成該經編碼資料之部分,進而促進決定就該複數個圖框之輸出次序而言,經重建圖框何時準備好輸出。
- 如請求項9所述之電腦可讀取媒體,其中該等操作進一步包含: 在該編碼步驟前,接收該視訊序列的該複數個圖框;及 在該編碼步驟後,輸出該經編碼資料。
- 如請求項9所述之電腦可讀取媒體,其中該等操作進一步包含: 設定指示了用於重新排序之圖框記憶體的一最大大小的一或更多個語法元素,其中用於重新排序之圖框記憶體的該最大大小是就可在編碼次序中先於該視訊序列中的任一圖框、但在輸出次序中是在該任一圖框之後的最大圖框計數來表示的; 將指示用於重新排序之圖框記憶體的該最大大小的該一或更多語法元素,作為該經編碼資料的部分輸出。
- 如請求項9所述之電腦可讀取媒體,其中將該一或更多個語法元素及該經編碼資料被當作用於一經編碼視訊位元串流之語法之部分而經輸出,且其中該等操作進一步包含: 輸出一緩衝器大小語法元素,該緩衝器大小語法元素指示一經解碼圖像緩衝器之最大大小,其中該緩衝器大小語法元素不同於指示出對圖框重新排序延遲之該約束條件的該一或更多個語法元素。
- 如請求項9所述之電腦可讀取媒體,其中該一或更多個語法元素可被表示為以下各者之部分來輸出:一序列參數集;一圖像參數集;或與該經編碼資料有關之媒體元資料。
- 如請求項9所述之電腦可讀取媒體,其中該一或更多個語法元素之一個可能值指示出對圖框重新排序延遲之該約束條件為未定義或具有一預設值,且其中該一或更多個語法元素之其他可能值指示出用於對圖框重新排序延遲之該約束條件之一整數計數。
- 如請求項9所述之電腦可讀取媒體,其中該一或更多個語法元素之一值指示出相對於用於重新排序之圖框記憶體之一最大大小的用於對圖框重新排序延遲之該約束條件之一整數計數,用於重新排序之圖框記憶體的該最大大小係以一不同語法元素表示。
- 如請求項15所述之電腦可讀取媒體,其中對圖框重新排序延遲的該約束條件能被決定為用於重新排序之圖框記憶體之該最大大小加上用於對圖框重新排序延遲之該約束條件之該整數計數減去1的一最大計數。
- 一種儲存經編碼資料的電腦可讀取媒體,該電腦可讀取媒體僅選自非揮發性記憶體及儲存裝置所組成之群組,其中該經編碼資料經整理以促進操作之處理,該等操作包含: 接收及剖析作為該經編碼資料之部分的一或更多個語法元素,該一或更多個語法元素指示出對圖框重新排序延遲之一約束條件,其中對圖框重新排序延遲的該約束條件是就可在輸出次序中先於一視訊序列中的任一圖框、但在編碼次序中是在該任一圖框之後的最大圖框計數來表示的; 根據該一或更多個語法元素來決定對圖框重新排序延遲之該約束條件; 接收用於該視訊序列的複數個圖框的該經編碼資料中之至少一些; 利用一視訊解碼器來解碼該經編碼資料中之該至少一些,以重建該複數個圖框中之一圖框;及 輸出該經重建圖框,其中該約束條件被用來決定該經重建圖框何時準備好輸出。
- 如請求項17所述之電腦可讀取媒體,其中該等操作進一步包含: 接收及剖析指示了用於重新排序之圖框記憶體的一最大大小的一或更多個語法元素,其中用於重新排序之圖框記憶體的該最大大小是就可在編碼次序中先於該視訊序列中的任一圖框、但在輸出次序中是在該任一圖框之後的最大圖框計數來表示的。
- 如請求項17所述之電腦可讀取媒體,其中該一或更多個語法元素之一值指示出相對於用於重新排序之圖框記憶體的一最大大小而言對圖框重新排序延遲之該約束條件的一整數計數,用於重新排序之圖框記憶體的該最大大小係以一不同語法元素表示。
- 如請求項19所述之電腦可讀取媒體,其中對圖框重新排序延遲的該約束條件能被決定為用於重新排序之圖框記憶體的該最大大小加上用於對圖框重新排序延遲之該約束條件之該整數計數減去1的一最大計數。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161571553P | 2011-06-30 | 2011-06-30 | |
US13/270,969 US8837600B2 (en) | 2011-06-30 | 2011-10-11 | Reducing latency in video encoding and decoding |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201728180A true TW201728180A (zh) | 2017-08-01 |
TWI606722B TWI606722B (zh) | 2017-11-21 |
Family
ID=47390681
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105103519A TWI587693B (zh) | 2011-06-30 | 2011-10-11 | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 |
TW106113582A TWI606722B (zh) | 2011-06-30 | 2011-10-11 | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 |
TW100136771A TWI533677B (zh) | 2011-06-30 | 2011-10-11 | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105103519A TWI587693B (zh) | 2011-06-30 | 2011-10-11 | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100136771A TWI533677B (zh) | 2011-06-30 | 2011-10-11 | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 |
Country Status (28)
Country | Link |
---|---|
US (17) | US8837600B2 (zh) |
EP (4) | EP4246967A3 (zh) |
JP (1) | JP6059219B2 (zh) |
KR (1) | KR101944565B1 (zh) |
CN (2) | CN103621085B (zh) |
AU (1) | AU2011371809B2 (zh) |
BR (1) | BR112013033552B1 (zh) |
CA (1) | CA2840427C (zh) |
CL (1) | CL2013003736A1 (zh) |
CO (1) | CO6862115A2 (zh) |
DK (1) | DK3691268T3 (zh) |
ES (1) | ES2958967T3 (zh) |
HK (2) | HK1195430A1 (zh) |
HR (1) | HRP20231180T1 (zh) |
HU (1) | HUE063498T2 (zh) |
IL (2) | IL230189A (zh) |
LT (1) | LT3691268T (zh) |
MX (1) | MX2013015154A (zh) |
MY (1) | MY189650A (zh) |
NZ (1) | NZ619406A (zh) |
PL (1) | PL3691268T3 (zh) |
PT (1) | PT3691268T (zh) |
RS (1) | RS64742B1 (zh) |
RU (1) | RU2587467C2 (zh) |
SG (1) | SG10201408609SA (zh) |
TW (3) | TWI587693B (zh) |
WO (1) | WO2013002818A1 (zh) |
ZA (1) | ZA201308553B (zh) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI587693B (zh) | 2011-06-30 | 2017-06-11 | 微軟技術授權有限責任公司 | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 |
KR20130058584A (ko) * | 2011-11-25 | 2013-06-04 | 삼성전자주식회사 | 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치 |
CN107257490B (zh) | 2012-01-27 | 2019-12-17 | 太阳专利托管公司 | 图像编码方法及图像编码装置 |
FR2994785A1 (fr) * | 2012-08-23 | 2014-02-28 | France Telecom | Procede de traitement d'un flux multimedia, terminal de communication, serveur et produit programme d'ordinateur correspondant. |
US9161039B2 (en) | 2012-09-24 | 2015-10-13 | Qualcomm Incorporated | Bitstream properties in video coding |
ES2627741T3 (es) | 2012-09-28 | 2017-07-31 | Telefonaktiebolaget Lm Ericsson (Publ) | Decodificación y codificación de imágenes de una secuencia de video |
US9374585B2 (en) | 2012-12-19 | 2016-06-21 | Qualcomm Incorporated | Low-delay buffering model in video coding |
JP5811106B2 (ja) * | 2013-01-11 | 2015-11-11 | セイコーエプソン株式会社 | 映像処理装置、表示装置および映像処理方法 |
JP5680807B1 (ja) * | 2013-06-05 | 2015-03-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 動画像符号化方法、動画像符号化装置、送信装置及びプログラム |
EP3015819B1 (en) * | 2013-06-27 | 2019-10-23 | Panasonic Intellectual Property Corporation of America | Motion sensor device having plurality of light sources |
US10313599B2 (en) * | 2013-07-01 | 2019-06-04 | Panasonic Intellectual Property Corporation Of America | Motion sensor device having plurality of light sources |
CN105379273B (zh) * | 2013-07-14 | 2019-03-15 | 夏普株式会社 | 对来自比特流的视频进行解码的方法和设备 |
US9674257B2 (en) * | 2013-12-31 | 2017-06-06 | Echostar Technologies L.L.C. | Placeshifting live encoded video faster than real time |
JP5866499B2 (ja) * | 2014-02-24 | 2016-02-17 | パナソニックIpマネジメント株式会社 | 監視カメラシステム及び監視カメラシステムの制御方法 |
US10419703B2 (en) * | 2014-06-20 | 2019-09-17 | Qualcomm Incorporated | Automatic multiple depth cameras synchronization using time sharing |
DE102014214750B3 (de) * | 2014-07-28 | 2015-06-11 | Reimar Lenz | Bildaufnahmesystem mit schnell vibrierendem Global-Shutter-CMOS-Sensor |
TWI500904B (zh) * | 2014-09-18 | 2015-09-21 | Vivotek Inc | 立體攝影機及用來測量立體攝影機與基準面之距離的自動測距方法 |
US10283091B2 (en) * | 2014-10-13 | 2019-05-07 | Microsoft Technology Licensing, Llc | Buffer optimization |
US10075692B2 (en) * | 2015-01-28 | 2018-09-11 | Hfi Innovation Inc. | Method of simple intra mode for video coding |
US10638140B2 (en) | 2015-05-29 | 2020-04-28 | Qualcomm Incorporated | Slice level intra block copy and other video coding improvements |
US10003813B2 (en) * | 2015-06-25 | 2018-06-19 | Samsung Electronics Co., Ltd. | Method and system for decoding by enabling optimal picture buffer management |
CN106358042B (zh) | 2015-07-17 | 2020-10-09 | 恩智浦美国有限公司 | 使用视频图像的帧间预测的并行解码器 |
US11051026B2 (en) | 2015-08-31 | 2021-06-29 | Intel Corporation | Method and system of frame re-ordering for video coding |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
TWI632814B (zh) | 2016-11-11 | 2018-08-11 | 財團法人工業技術研究院 | 視訊畫幀產生方法及其系統 |
FR3058858A1 (fr) * | 2016-11-15 | 2018-05-18 | Orange | Procede et dispositif de codage et de decodage d'une sequence multi-vues |
KR102342051B1 (ko) | 2017-08-08 | 2021-12-22 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 영상 디스플레이 시스템 |
US10412383B2 (en) | 2017-08-15 | 2019-09-10 | Google Llc | Compressing groups of video frames using reversed ordering |
US10748844B2 (en) * | 2017-12-30 | 2020-08-18 | Intel Corporation | Stress isolation for silicon photonic applications |
CN108833932B (zh) * | 2018-07-19 | 2021-01-05 | 湖南君瀚信息技术有限公司 | 一种实现高清视频超低延迟编解码及传输的方法及系统 |
CA3104090A1 (en) * | 2018-08-21 | 2020-02-27 | Rovi Guides, Inc. | Systems and methods for real-time adaptive bitrate transcoding and transmission of transcoded media |
US10911791B2 (en) * | 2019-01-09 | 2021-02-02 | Netflix, Inc. | Optimizing encoding operations when generating a buffer-constrained version of a media title |
KR102662448B1 (ko) | 2019-02-02 | 2024-05-02 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 인트라 블록 복사를 위한 버퍼내 데이터 저장 |
WO2020156545A1 (en) | 2019-02-02 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Prediction using intra-buffer samples for intra block copy in video coding |
US10992960B2 (en) | 2019-02-06 | 2021-04-27 | Jared Michael Cohn | Accelerated video exportation to multiple destinations |
JP7405861B2 (ja) * | 2019-03-01 | 2023-12-26 | 北京字節跳動網絡技術有限公司 | 映像符号化におけるイントラブロックコピーのための方向に基づく予測 |
EP3915252A4 (en) | 2019-03-04 | 2022-03-23 | Beijing Bytedance Network Technology Co., Ltd. | IMPLEMENTATION OF ASPECTS IN AN INTRA BLOCK COPY IN VIDEO ENCODING |
MX2022000102A (es) | 2019-07-06 | 2022-02-03 | Beijing Bytedance Network Tech Co Ltd | Bufer de prediccion virtual para la copia intra-bloque en codificacion de video. |
JP7359934B2 (ja) | 2019-07-10 | 2023-10-11 | 北京字節跳動網絡技術有限公司 | 映像符号化におけるイントラブロックコピーのためのサンプル識別 |
CN117579816A (zh) | 2019-07-11 | 2024-02-20 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的比特流一致性约束 |
US11064194B2 (en) | 2019-10-31 | 2021-07-13 | Western Digital Technologies, Inc. | Encoding digital videos using controllers of data storage devices |
CN113497932B (zh) * | 2020-04-07 | 2022-10-18 | 上海交通大学 | 测量视频传输时延的方法、系统及介质 |
WO2021243044A1 (en) * | 2020-05-27 | 2021-12-02 | Let's Jam, Llc | Methods and systems for synchronizing multimedia |
US20230224484A1 (en) * | 2020-06-09 | 2023-07-13 | Lg Electronics Inc. | Dpb operation-based image or video coding |
CN112351285B (zh) * | 2020-11-04 | 2024-04-05 | 北京金山云网络技术有限公司 | 视频编码、解码方法和装置、电子设备和存储介质 |
CN112468875B (zh) * | 2020-11-30 | 2022-03-29 | 展讯通信(天津)有限公司 | 视频解码帧的显示输出控制方法及装置、存储介质、终端 |
WO2023075563A1 (ko) * | 2021-11-01 | 2023-05-04 | 엘지전자 주식회사 | 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
US11425423B1 (en) | 2022-03-10 | 2022-08-23 | Yendo Hu | Memory storage for motion estimation and visual artifact redcution |
Family Cites Families (111)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4309754A (en) | 1979-07-30 | 1982-01-05 | International Business Machines Corp. | Data interface mechanism for interfacing bit-parallel data buses of different bit width |
US4642756A (en) | 1985-03-15 | 1987-02-10 | S & H Computer Systems, Inc. | Method and apparatus for scheduling the execution of multiple processing tasks in a computer system |
DE69227664T2 (de) | 1991-10-15 | 1999-04-22 | Hewlett Packard Co | Hardwarekonfiguriertes Betriebssystemkern für einen Multitaskprozessor |
US6002801A (en) | 1995-04-18 | 1999-12-14 | Advanced Micro Devices, Inc. | Method and apparatus for improved video decompression by selection of IDCT method based on image characteristics |
DE19530483A1 (de) | 1995-08-18 | 1997-02-20 | Siemens Ag | Einrichtung und Verfahren zur Echtzeit-Verarbeitung einer Mehrzahl von Tasks |
US5861920A (en) | 1996-11-08 | 1999-01-19 | Hughes Electronics Corporation | Hierarchical low latency video compression |
JPH10229420A (ja) | 1997-02-17 | 1998-08-25 | Matsushita Electric Ind Co Ltd | 通信システム |
US5909559A (en) | 1997-04-04 | 1999-06-01 | Texas Instruments Incorporated | Bus bridge device including data bus of first width for a first processor, memory controller, arbiter circuit and second processor having a different second data width |
US6006303A (en) | 1997-08-28 | 1999-12-21 | Oki Electric Industry Co., Inc. | Priority encoding and decoding for memory architecture |
EP0909094A1 (en) | 1997-10-07 | 1999-04-14 | CANAL+ Société Anonyme | Multithread data processor |
CN1199471C (zh) | 1997-11-28 | 2005-04-27 | 松下电器产业株式会社 | 提高了处理效率的图象声音处理装置 |
JP3935252B2 (ja) | 1997-12-26 | 2007-06-20 | キヤノン株式会社 | 画像形成装置及びジョブ処理方法 |
US6823016B1 (en) | 1998-02-20 | 2004-11-23 | Intel Corporation | Method and system for data management in a video decoder |
JPH11252552A (ja) | 1998-03-05 | 1999-09-17 | Sony Corp | ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置 |
US6298166B1 (en) | 1998-03-30 | 2001-10-02 | Seiko Epson Corporation | Image transformations in the compressed domain |
US6859496B1 (en) | 1998-05-29 | 2005-02-22 | International Business Machines Corporation | Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel |
JP4146950B2 (ja) | 1998-11-04 | 2008-09-10 | キヤノン株式会社 | 画像形成装置、画像形成装置における表示制御方法及び記憶媒体 |
US6768774B1 (en) | 1998-11-09 | 2004-07-27 | Broadcom Corporation | Video and graphics system with video scaling |
US6637031B1 (en) | 1998-12-04 | 2003-10-21 | Microsoft Corporation | Multimedia presentation latency minimization |
US6249288B1 (en) | 1998-12-14 | 2001-06-19 | Ati International Srl | Multi thread display controller |
US7370325B1 (en) | 1999-02-19 | 2008-05-06 | Lucent Technologies Inc. | Eager evaluation of tasks in a workflow system |
US6771824B1 (en) | 1999-12-28 | 2004-08-03 | Lucent Technologies Inc. | Adaptive variable length decoding method |
US6574279B1 (en) | 2000-02-02 | 2003-06-03 | Mitsubishi Electric Research Laboratories, Inc. | Video transcoding using syntactic and semantic clues |
JP2002010216A (ja) | 2000-04-20 | 2002-01-11 | Canon Inc | 復号化装置及びその制御方法並びに記憶媒体 |
US7206016B2 (en) | 2000-05-01 | 2007-04-17 | Polycom, Inc. | Filtering artifacts from multi-threaded video |
EP1156674A1 (en) | 2000-05-19 | 2001-11-21 | THOMSON multimedia | Method and device for decoding a video data stream in special reproduction modes |
US6963347B1 (en) | 2000-08-04 | 2005-11-08 | Ati International, Srl | Vertex data processing with multiple threads of execution |
GB2366464A (en) | 2000-08-14 | 2002-03-06 | Nokia Mobile Phones Ltd | Video coding using intra and inter coding on the same data |
US20040117427A1 (en) | 2001-03-16 | 2004-06-17 | Anystream, Inc. | System and method for distributing streaming media |
US7366236B1 (en) | 2001-06-04 | 2008-04-29 | Cisco Sytems Canada Co. | Source adaptive system and method for 2D iDCT |
AU2002367381A1 (en) * | 2001-12-31 | 2003-07-24 | Bae Systems Information And Electronic Systems Integration Inc. | System for peak detection among multiple signals |
US7034897B2 (en) | 2002-04-01 | 2006-04-25 | Broadcom Corporation | Method of operating a video decoding system |
US6963613B2 (en) | 2002-04-01 | 2005-11-08 | Broadcom Corporation | Method of communicating between modules in a decoding system |
US7920624B2 (en) | 2002-04-01 | 2011-04-05 | Broadcom Corporation | Inverse quantizer supporting multiple decoding processes |
US20040146109A1 (en) | 2002-04-19 | 2004-07-29 | Satoshi Kondo | Method for calculation motion vector |
JP2004088736A (ja) * | 2002-06-28 | 2004-03-18 | Matsushita Electric Ind Co Ltd | 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム |
US7787539B2 (en) * | 2002-07-17 | 2010-08-31 | Broadcom Corporation | Decoding and presentation time stamps for MPEG-4 advanced video coding |
JP3534742B1 (ja) * | 2002-10-03 | 2004-06-07 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像復号方法、動画像復号装置、及び動画像復号プログラム |
MY134659A (en) | 2002-11-06 | 2007-12-31 | Nokia Corp | Picture buffering for prediction references and display |
EP2557786B1 (en) | 2002-11-29 | 2016-02-24 | Sony Corporation | Delay controlled decoding apparatus and method |
US7099389B1 (en) | 2002-12-10 | 2006-08-29 | Tut Systems, Inc. | Rate control with picture-based lookahead window |
MXPA05008404A (es) | 2003-02-18 | 2005-10-05 | Nokia Corp | Metodo de codificacion de imagen. |
JP4750350B2 (ja) | 2003-03-13 | 2011-08-17 | パナソニック株式会社 | タスク切換装置、方法及びプログラム |
US7646817B2 (en) | 2003-03-28 | 2010-01-12 | Microsoft Corporation | Accelerating video decoding using a graphics processing unit |
US7627039B2 (en) | 2003-09-05 | 2009-12-01 | Realnetworks, Inc. | Parallel video decoding |
US7869503B2 (en) | 2004-02-06 | 2011-01-11 | Apple Inc. | Rate and quality controller for H.264/AVC video coder and scene analyzer therefor |
JP4095559B2 (ja) | 2004-02-13 | 2008-06-04 | 株式会社東芝 | H.264コーデックic、dvd再生装置、h.264コーデック方法 |
CN1922657B (zh) | 2004-02-19 | 2012-04-25 | Nxp股份有限公司 | 用于可变块尺寸信号的解码方案 |
ATE515883T1 (de) | 2004-04-28 | 2011-07-15 | Panasonic Corp | Stream-erzeugungsvorrichtung, stream- erzeugungsverfahren, codierungsvorrichtung, codierungsverfahren, aufzeichnungsmedium und programm dafür |
US20060002479A1 (en) | 2004-06-22 | 2006-01-05 | Fernandes Felix C A | Decoder for H.264/AVC video |
US20050289505A1 (en) | 2004-06-25 | 2005-12-29 | Williams Stanley N | Method and system for improving performance and scalability of applications that utilize a flow-based-programming methodology |
WO2006031925A2 (en) | 2004-09-15 | 2006-03-23 | Nokia Corporation | Providing zapping streams to broadcast receivers |
JP4867235B2 (ja) | 2004-10-26 | 2012-02-01 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
JP4375305B2 (ja) | 2004-10-26 | 2009-12-02 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
US20060114995A1 (en) | 2004-12-01 | 2006-06-01 | Joshua Robey | Method and system for high speed video encoding using parallel encoders |
US20060126744A1 (en) | 2004-12-10 | 2006-06-15 | Liang Peng | Two pass architecture for H.264 CABAC decoding process |
US7430238B2 (en) | 2004-12-10 | 2008-09-30 | Micronas Usa, Inc. | Shared pipeline architecture for motion vector prediction and residual decoding |
US20060126726A1 (en) | 2004-12-10 | 2006-06-15 | Lin Teng C | Digital signal processing structure for decoding multiple video standards |
US7817723B2 (en) | 2004-12-14 | 2010-10-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. | Apparatus and method of optimizing motion estimation parameters for encoding a video signal |
EP1675402A1 (en) | 2004-12-22 | 2006-06-28 | Thomson Licensing | Optimisation of a quantisation matrix for image and video coding |
US9219917B2 (en) | 2005-01-19 | 2015-12-22 | Thomson Licensing | Method and apparatus for real time parallel encoding |
US7565021B2 (en) | 2005-03-01 | 2009-07-21 | Microsoft Corporation | Efficient implementation of block-based transform on graphics processing unit |
WO2006096612A2 (en) | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
US20060215754A1 (en) | 2005-03-24 | 2006-09-28 | Intel Corporation | Method and apparatus for performing video decoding in a multi-thread environment |
JP4261508B2 (ja) | 2005-04-11 | 2009-04-30 | 株式会社東芝 | 動画像復号装置 |
JP4374548B2 (ja) | 2005-04-15 | 2009-12-02 | ソニー株式会社 | 復号装置および方法、記録媒体、並びに、プログラム |
US7920633B2 (en) | 2005-04-22 | 2011-04-05 | Broadcom Corporation | Method and system for parallel processing video data |
US8902989B2 (en) | 2005-04-27 | 2014-12-02 | Broadcom Corporation | Decoder system for decoding multi-standard encoded video |
EP1773063A1 (en) | 2005-06-14 | 2007-04-11 | Thomson Licensing | Method and apparatus for encoding video data, and method and apparatus for decoding video data |
US7119723B1 (en) | 2005-07-28 | 2006-10-10 | Texas Instruments Incorporated | Decoding variable length codes while using optimal resources |
KR100770704B1 (ko) | 2005-08-04 | 2007-10-29 | 삼성전자주식회사 | 픽쳐 스킵 방법 및 장치 |
US8306112B2 (en) | 2005-09-20 | 2012-11-06 | Mitsubishi Electric Corporation | Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium |
EP1932361A1 (en) | 2005-10-03 | 2008-06-18 | Nokia Corporation | Adaptive variable length codes for independent variables |
KR101329167B1 (ko) | 2005-10-12 | 2013-11-14 | 톰슨 라이센싱 | 관심 구역의 h.264 스케일러블 비디오 코딩 |
US8767836B2 (en) | 2006-03-27 | 2014-07-01 | Nokia Corporation | Picture delimiter in scalable video coding |
EP1841072B1 (de) | 2006-03-30 | 2016-06-01 | Unify GmbH & Co. KG | Verfahren und Einrichtung zum Dekodieren von schichtkodierten Daten |
US7694102B2 (en) | 2006-03-30 | 2010-04-06 | International Business Machines Corporation | Systems and methods for self-tuning memory |
US7626518B2 (en) | 2006-06-08 | 2009-12-01 | Via Technologies, Inc. | Decoding systems and methods in computational core of programmable graphics processing unit |
US8369419B2 (en) | 2006-06-16 | 2013-02-05 | Via Technologies, Inc. | Systems and methods of video compression deblocking |
US7586425B2 (en) | 2006-07-11 | 2009-09-08 | Nokia Corporation | Scalable video coding and decoding |
US8699583B2 (en) | 2006-07-11 | 2014-04-15 | Nokia Corporation | Scalable video coding and decoding |
CN1960472A (zh) | 2006-08-14 | 2007-05-09 | 中兴通讯股份有限公司 | 一种多媒体移动终端及其接收多媒体数据的处理方法 |
US8218640B2 (en) | 2006-10-31 | 2012-07-10 | Sony Computer Entertainment Inc. | Picture decoding using same-picture reference for pixel reconstruction |
US8121196B2 (en) | 2006-11-02 | 2012-02-21 | Corel Corporation | Method and apparatus for multi-threaded video decoding |
US7573407B2 (en) | 2006-11-14 | 2009-08-11 | Qualcomm Incorporated | Memory efficient adaptive block coding |
EP2092748A4 (en) | 2006-12-14 | 2011-01-05 | Thomson Licensing | METHOD AND DEVICE FOR CODING AND / OR DECODING VIDEO DATA USING EXPANSION LAYER RESTRICTION FOR SOFTENCE SCALINGABILITY |
WO2008079041A1 (en) | 2006-12-27 | 2008-07-03 | Intel Corporation | Methods and apparatus to decode and encode video information |
JP5535646B2 (ja) | 2007-01-05 | 2014-07-02 | トムソン ライセンシング | スケーラブル映像符号化用の仮想リファレンスデコーダ |
CN102984544A (zh) * | 2007-01-08 | 2013-03-20 | 汤姆森特许公司 | 用于视频流拼接的方法及装置 |
US8411734B2 (en) | 2007-02-06 | 2013-04-02 | Microsoft Corporation | Scalable multi-thread video decoding |
AU2007350974B2 (en) * | 2007-04-13 | 2013-07-18 | Nokia Technologies Oy | A video coder |
CN101543037B (zh) | 2007-05-17 | 2012-05-30 | 索尼株式会社 | 信息处理设备和方法 |
US8396082B2 (en) | 2007-06-05 | 2013-03-12 | Core Wireless Licensing S.A.R.L. | Time-interleaved simulcast for tune-in reduction |
US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
US8265144B2 (en) | 2007-06-30 | 2012-09-11 | Microsoft Corporation | Innovations in video decoder implementations |
US9648325B2 (en) | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
EP2198620A2 (en) * | 2007-10-05 | 2010-06-23 | Thomson Licensing | Methods and apparatus for incorporating video usability information (vui) within a multi-view video (mvc) coding system |
US20090109988A1 (en) | 2007-10-26 | 2009-04-30 | Chowdhary Musunuri | Video Decoder with an Adjustable Video Clock |
US8121187B2 (en) | 2007-12-05 | 2012-02-21 | Alcatel Lucent | Method and apparatus for performing multiple bit rate video encoding and video stream switching |
WO2010057027A1 (en) * | 2008-11-14 | 2010-05-20 | Transvideo, Inc. | Method and apparatus for splicing in a compressed video bitstream |
EP2392138A4 (en) | 2009-01-28 | 2012-08-29 | Nokia Corp | METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING |
US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
US20110002376A1 (en) * | 2009-07-01 | 2011-01-06 | Wham! Inc. | Latency Minimization Via Pipelining of Processing Blocks |
JP5604825B2 (ja) | 2009-08-19 | 2014-10-15 | ソニー株式会社 | 画像処理装置および方法 |
US9237387B2 (en) | 2009-10-06 | 2016-01-12 | Microsoft Technology Licensing, Llc | Low latency cacheable media streaming |
JP5746190B2 (ja) | 2009-10-06 | 2015-07-08 | ダウ グローバル テクノロジーズ エルエルシー | 広いコモノマー含量分布を有する押出ポリスチレンフォーム |
US8918533B2 (en) * | 2010-07-13 | 2014-12-23 | Qualcomm Incorporated | Video switching for streaming video data |
CN101938341B (zh) * | 2010-09-17 | 2012-12-05 | 东华大学 | 一种跨节点控制的在线视频流选择性重传方法 |
US8885729B2 (en) | 2010-12-13 | 2014-11-11 | Microsoft Corporation | Low-latency video decoding |
TWI587693B (zh) | 2011-06-30 | 2017-06-11 | 微軟技術授權有限責任公司 | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 |
KR20130058584A (ko) * | 2011-11-25 | 2013-06-04 | 삼성전자주식회사 | 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치 |
-
2011
- 2011-10-11 TW TW105103519A patent/TWI587693B/zh not_active IP Right Cessation
- 2011-10-11 MX MX2013015154A patent/MX2013015154A/es active IP Right Grant
- 2011-10-11 CN CN201180071993.6A patent/CN103621085B/zh active Active
- 2011-10-11 BR BR112013033552-1A patent/BR112013033552B1/pt active IP Right Grant
- 2011-10-11 DK DK20162441.8T patent/DK3691268T3/da active
- 2011-10-11 EP EP23190874.0A patent/EP4246967A3/en active Pending
- 2011-10-11 HU HUE20162441A patent/HUE063498T2/hu unknown
- 2011-10-11 CN CN201610092615.0A patent/CN105721880B/zh active Active
- 2011-10-11 PT PT201624418T patent/PT3691268T/pt unknown
- 2011-10-11 TW TW106113582A patent/TWI606722B/zh not_active IP Right Cessation
- 2011-10-11 EP EP11868856.3A patent/EP2727341B1/en active Active
- 2011-10-11 NZ NZ619406A patent/NZ619406A/en unknown
- 2011-10-11 WO PCT/US2011/055835 patent/WO2013002818A1/en active Application Filing
- 2011-10-11 EP EP20162441.8A patent/EP3691268B1/en active Active
- 2011-10-11 SG SG10201408609SA patent/SG10201408609SA/en unknown
- 2011-10-11 MY MYPI2013702507A patent/MY189650A/en unknown
- 2011-10-11 TW TW100136771A patent/TWI533677B/zh not_active IP Right Cessation
- 2011-10-11 JP JP2014518537A patent/JP6059219B2/ja active Active
- 2011-10-11 AU AU2011371809A patent/AU2011371809B2/en active Active
- 2011-10-11 US US13/270,969 patent/US8837600B2/en active Active
- 2011-10-11 KR KR1020137034813A patent/KR101944565B1/ko active IP Right Grant
- 2011-10-11 RS RS20230857A patent/RS64742B1/sr unknown
- 2011-10-11 HR HRP20231180TT patent/HRP20231180T1/hr unknown
- 2011-10-11 PL PL20162441.8T patent/PL3691268T3/pl unknown
- 2011-10-11 RU RU2013158832/07A patent/RU2587467C2/ru active
- 2011-10-11 LT LTEP20162441.8T patent/LT3691268T/lt unknown
- 2011-10-11 ES ES20162441T patent/ES2958967T3/es active Active
- 2011-10-11 EP EP23190880.7A patent/EP4246968A3/en active Pending
- 2011-10-11 CA CA2840427A patent/CA2840427C/en active Active
-
2013
- 2013-11-13 ZA ZA2013/08553A patent/ZA201308553B/en unknown
- 2013-12-26 IL IL230189A patent/IL230189A/en active IP Right Grant
- 2013-12-27 CL CL2013003736A patent/CL2013003736A1/es unknown
-
2014
- 2014-01-30 CO CO14019170A patent/CO6862115A2/es unknown
- 2014-08-13 US US14/458,997 patent/US9426495B2/en active Active
- 2014-09-02 HK HK14108880.0A patent/HK1195430A1/zh unknown
-
2016
- 2016-07-01 US US15/201,160 patent/US9729898B2/en active Active
- 2016-08-08 IL IL247175A patent/IL247175A/en active IP Right Grant
- 2016-12-13 US US15/377,831 patent/US9743114B2/en active Active
- 2016-12-23 HK HK16114638A patent/HK1226567A1/zh unknown
-
2017
- 2017-07-12 US US15/647,962 patent/US10003824B2/en active Active
-
2018
- 2018-04-26 US US15/963,899 patent/US10805640B2/en active Active
-
2020
- 2020-09-02 US US17/009,918 patent/US10924766B2/en active Active
-
2021
- 2021-01-07 US US17/143,782 patent/US11451830B2/en active Active
-
2022
- 2022-08-18 US US17/890,398 patent/US11601681B2/en active Active
- 2022-09-20 US US17/948,949 patent/US11641485B2/en active Active
- 2022-09-20 US US17/948,849 patent/US11601682B2/en active Active
- 2022-09-20 US US17/949,049 patent/US11601684B1/en active Active
- 2022-09-20 US US17/948,903 patent/US11601683B2/en active Active
- 2022-09-20 US US17/948,982 patent/US11641486B2/en active Active
- 2022-09-20 US US17/949,025 patent/US11641487B2/en active Active
-
2023
- 2023-03-21 US US18/124,517 patent/US11871040B2/en active Active
- 2023-11-02 US US18/386,524 patent/US20240080485A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11601682B2 (en) | Reducing latency in video encoding and decoding | |
AU2011371809A1 (en) | Reducing latency in video encoding and decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |