TWI280059B - Picture coding method - Google Patents

Picture coding method Download PDF

Info

Publication number
TWI280059B
TWI280059B TW093111682A TW93111682A TWI280059B TW I280059 B TWI280059 B TW I280059B TW 093111682 A TW093111682 A TW 093111682A TW 93111682 A TW93111682 A TW 93111682A TW I280059 B TWI280059 B TW I280059B
Authority
TW
Taiwan
Prior art keywords
value
image
order
parameter
decoding
Prior art date
Application number
TW093111682A
Other languages
English (en)
Other versions
TW200427333A (en
Inventor
Miska Hannuksela
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of TW200427333A publication Critical patent/TW200427333A/zh
Application granted granted Critical
Publication of TWI280059B publication Critical patent/TWI280059B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

1280059 玖、發明說明： 【發明所屬之技術領域】 .本發明係關於一種圖像之編碼及解碼之方法，包括： 指定一個第1值，其用於解碼步驟中編排解碼之編碼圖 像，及指定一個第2值，其表示第1值之期望值。本發明 也涉及系統，傳送裝置，接收裝置，編碼器，解碼器，電 子裝置，軟體程式，儲存媒體及訊號。 【先前技與】 已出版之視訊編碼標準包括：ITU-TH.261，ITU_T H.263，ISO/IEC MPEG-1，ISO/IEC MPEG-2，及 ISOAEC MPEG-4 Part 2.該等標準在本文中稱作習用視訊編碼標 準。 視訊通訊系統 視訊通訊系統可分為交談式與非交談式系統。交談式 系統包括視訊會議及視訊電話。該系統之實例包括ITU-T 建議文件H.320，H.323，及H.324具體說明視訊會議/電 話系統各別在ISDN，IP，及PSTN網路系統中之操作。交 談式系統之特徵在於意圖減少端點至端點之延遲（從音訊 /視訊接收端至遠方之音訊/視訊顯示端）以改善用戶之 體驗。非交談式系統包括儲存内容之播放，例如多樣化數 位光碟（DVDs)或儲存於播放裝置、數位電視、及串流 (streaming)之大容量記憶體内之視訊檔案。以下是此技術 領域中最重要的一些標準之簡短檢視。 今曰在數位視訊消費電器技術中具支配性之標準為 1280059 MPEG-2，其包括視訊壓縮，音訊壓縮，儲存及傳送之技術 說明書。編碼視訊的儲存及傳送是基於基本資料流 (elementary stream)的概念。基本資料流是由單一來源（例如 視訊）之編碼資料，以及該資訊來源之同步、確認、歸類所 須之輔助性資料所組成。基本資料流被封包化成固定長度 或可變長度之封包以形成一個封包化基本資料流 (Packetized Elementary Stream (PES))。每個 PES 封包括一 個標頭（header)，及跟隨其後之資料流稱為有效負載 (payload)。來自不同基本資料流之PES封包合併形成一個 程式流（Program Stream(PS))或傳送流（Transport Stream (TS))。PS之目的在於具可忽略傳送錯誤之應用，例如儲存 並播放型態之應用。TS之目的在於對傳送錯誤敏感之應 用。無論如何，TS假設網路傳送率是保證穩定的。 標準化之努力正進行於ITU-T及ISO/IEC共同組成之 聯合視訊組（Joint Video Team (JVT))。JVT的工作是基於較 早的ITU-T之標準化計晝稱作H.26L。JVT的標準化目標 是發行如同ITU-T建議文件H.264及ISO/IEC國際標準 14496-10 (MPEG-4部分10)之標準正文。草案標準在本文 中稱作JVT編碼標準，而依據此草案標準之編解碼器（codec) 稱作JVT編解碼器。 以下，將一些與視訊相關之術語定義清楚。一個像框 (frame)包含一個亮度（luma)取樣陣列，及兩個相應之彩度 (chroma)取樣陣列。一個像框由兩個場（fields)組成：一個 上部場及一個下部場。一個場是一個像框之交錯列之組 1280059 合。一個圖像（picture)係指一個像框或一個場。一個編碼圖 像係指一個編碼場或一個編碼像框。在JVT編碼標準中， 一個編碼圖像包含一或多個片段（slices)。一個片段包含一 整數個巨集區塊（macroblocks)，且一個編碼巨集區塊對應 一個16x16之亮度取樣區塊及兩個相應之彩度取樣區塊。 在JVT編碼標準中，一個片段係根據以下編碼類型其中之 一編碼：1(内部），P(預料），B(雙向預測），si(轉換内部）， 及SP(#換預測）。一編碼圖像可包括不同類型之片段。所 有圖像之類型皆可作為P，B，及SP片段之參考圖像。瞬 時解碼器更新（instantaneous decoder refresh (IDR))圖像是 一種特別之圖像，其僅包括I或SI類型之片段。沒有接續 圖像可參考於圖像，其於解碼次序中早於IDR圖像。某些 視訊編碼彳示準中’ ***編碼視訊序列是 >—實體（entity)，其包 括位元流内所有位於序列記號終點之前的所有圖像。在 JVT編碼標準中，一編碼視訊序列是一實體，其包括於解 碼次序中，從一個IDR圖像（含括在内）至下一個idr圖像 (不含括在内）之間的所有圖像。換言之，一依據JVT編碼 標準之編碼視訊序列對應於一依據MPEG-2視訊之封閉圖 像組（group of picture (G0P))。 編解碼器說明書本身在概念上區分為視訊編碼層 (video coding layer (VCL))及網路提取層（netw〇rk abstraction layer* (NAL·))。VCL包括編解碼器之訊號處理功 能，例如轉換，量化，動態搜尋/補償，以及迴路過濾。 VCL依照大部分今日視訊編解碼器的_般概念，即基於巨 1280059 集區塊（macroblock-based)之編碼器’其利用具動態補償 (motion compensation)，及殘餘訊號（residual signal)編碼轉 換的中間圖像預測（inter picture prediction)。VCL編碼器之 輸出是片段（slices): —位元串包括整數個巨集區塊的巨集 區塊資料，及片段標頭之資訊（包括片段内第一個巨集區塊 的空間位址，起始量化參數，及諸如此類）。使用所謂的彈 性巨集區塊排序法（Flexible Macroblock Ordering syntax)， 巨集區塊在片段内是以掃瞄次序連續地排列，除非指定不 同的巨集區塊配置。圖像内預測（in-picture prediction)，例 如内部預測（intra prediction)及動態向量預測（motion vector prediction)，僅被使用於片段内。 NAL將VCL的輸出片段封裝於網路提取層單元 (Network Abstraction Layer Units (NAL 單元或 NALUs))， 其適用於封包網路傳送或使用於封包導向之多工環境。 JVT之附件B定義封裝處理步驟以傳送NALUs於位元組流 導向之網路。 H.263之可選擇的參考圖像選擇模式與mpeg-4部分2 之NEWPRED編碼工具能夠為每個圖像區段（segment)(例 如於H.263之每個片段）之動態補償選擇參考像框。此外， H.263之可選擇的加強參考圖像選擇模式與JVT編碼標準 使得為每個巨集區塊各別地選擇參考像框成為可能。 參數組概念 JVT編解碼器之一個非常基本的設計概念是產生自足 式封包，以使得某些機制，例如標頭複製，沒有需要。達 1280059 成上述之方法在於將片段之外的相關資訊從媒體流中分 離。較高階層之元資訊（meta information)應被可靠地、不 同時地、且居先地由包含片段封包之RTP封包流傳送出。 在應用系統中，沒有適用之頻段外（out-0f-band)傳送頻道之 情沉下’此資訊也可以頻段内（in-band)傳送。較高階層來 數之結合稱為參數組。參數組之資訊包括例如：圖像大小， 顯示視窗，選擇的編碼模式，巨集區塊配置圖，及其他。 為了能夠改變圖像參數（例如圖像大小），而不須傳送參 數組以同步更新片段封包流，編碼器與解碼器可維持一個 包括一個以上之參數組的表。每一個片段標頭包括一個碼 字（codeword)用以表示被使用之參數組。 此機制允許參數組之傳送分離於封包流，且利用外在 之方法傳送它們，例如能力資訊互換（exchange capaMi七) 之副效應，或經由（可靠或ψ可靠的）控制協定。其甚至不 須經由傳送而是藉應用設計說明書決定。 八 傳送次序 在習用的視訊編碼標準中，除了 B圖像之外，圖像之 解碼次序與顯示次序相同。習用的B圖像區塊可被雙向預 測於時間轴上之兩個參考圖像，其中，於顯示次序中，一 個參考圖像位於時間之前且另―個參考圖像位於時間之 卜解Γ序中之最近參考圖像可接續W像於顯 …人序⑷卜.在H.263中的交錯編碼，其中 之兩個圖像可於解碼次序中置於B圖像 像不能作為時間預測之參考圖像，因此一個習== 1280059 可被丟棄而不影響任何其他圖像之解碼。 相較於較早之標準，jVT編碼標準具以下新的技術特 徵： -圖像之解碼次序與顯示次序是分開的。句法單元 frame一num之值表示解碼次序，及圖像次序計數表示顯示 次序。 - B圖像内區塊的參考圖像可以位於圖像b顯示次序之前 或之後。因此，圖像B代表雙預測性（bi_predictive)圖像而 非雙向（bi-directional)圖像。 -不用作為參考圖像之圖像被明確地標示。任何一種型式 之圖像（内部、中間、B等等）可為參考圖像或非參考圖像。 (如此，B圖像可作為其他圖像之時間預測的參考圖像。） -圖像可包括以不同編碼型式編碼之片段。例如，一編碼 圖像可包括一内部編碼片段與B編碼片段。 解碼次序與顯示次序分開從壓縮效率及錯誤復原力 (error resiiience)之觀點是有好處的。 一預測結構能夠改進壓縮效率之例子揭示於圖丨。方格 表不圖像，方格内之英文字母表示編碼型式，方格内之數 字表不依據jvt編碼標準之像框編號。注意圖像B17是圖 像B18之參考圖像。相較於習用之編碼，壓縮效率可獲得 改進，因為相較於具PBBp或pBBBp編碼圖像類型之習用 編碼，圖像B18之參考圖像在時間上較接近。相較於習用 之PBP編碼圖像類型，壓縮效率可獲得改進，因為部分參 考圖像是雙向預測的。 10 1280059 圖2表示一個内部圖像延遲法的例子，其可用以改進 錯誤復原力。習用上，内部圖像即刻編碼於一場景截止後 或回應過期内部圖像更新（refresh)時。例如，在内部圖像延 遲法中，内部圖像不即刻編碼於一内部圖像編碼之需求發 生時，而是選擇一個時間序列上之圖像作為内部圖像。每 一個介於該編碼内部圖像及内部圖像慣用位置間之圖像是 預測於下一個時間序列之圖像。如圖2，内部延遲法產生 兩個獨立,内部圖像預測鏈，然而習用編碼法產生一個獨立 内部圖像鏈。明顯地，雙鏈方式比單鏈方式能更加有效地 預防删除之錯誤。如果一個鏈遭受封包遺失，另一個鏈或 仍可正確地接收。在習用的編碼中，一個封包遺失常造成 錯誤傳播至内部圖像鏈之其餘部份。 兩種排序及計時之資訊習用上與數位視訊結合··即解 碼及顯示次序。以下詳述相關之技術。 解碼時間標記（decoding timestamp (DST))表示相對參 考時鐘，編碼資料單元應被解碼之時間。若DST被編碼及 傳送，其有兩個目的：第一，若圖像之解碼次序不同於其 輸出次序，則DST明確指示解碼次序。第二，DST保證一 定的前解碼器緩衝作用（pre-decoder buffering)，若接收率 接近於傳送率於任何時刻。在端點至端點之等待時間 (latency)改變時，上述DST之第二個用途將少有或無作 用。相反地，接收資料將儘快被解碼，若於後解碼器緩衝 (post-decoder buffer)存有足夠空間給予未壓縮圖像。 DST之輸送依所使用之傳送系統及視訊編碼標準而 11 1280059 定。在MPEG-2系統中，DST可選擇地當作在PES封包之 標頭内之項目被傳送。在JVT編碼標準中，DST可選擇地 當作補助加強資料（Supplemental Enhancement Information (SEI))之一部分被傳送，且其被用於選擇性假設參考解碼器 (Hypothetical Reference Decoder)之操作中。在 ISO 基本媒 體檔案格式（ISO Base Media File Format)中，DTS是專用於 盒類型，即解碼時間對樣本盒（Decoding Time to Sample Box)。在許多系統中，例如基於RTP之資料流系統，DST 不被輸送，因為解碼次序被假設與傳送次序相同且正確解 碼時間不扮演重要角色。 H.263選擇附件U及附件W.6.12指定一圖像號碼，其 相對於解碼次序之前的參考圖像增加1。在JVT編碼標準 中，像框編號編碼元素之指定方式如同H.263之圖像編號。 依據JVT編碼標準，像框編號重新設定為〇於IDR圖像。 Η·263圖像編號可用於恢復參考圖像之次序。同樣的， JVT像框編號可用於恢復解碼次序中介於一個IDR圖像（包 括在内）及下一個IDR圖像（不包括在内）之間的像框解碼次 序。然而，因為互補之參考場成對（fieldpairs)(連績圖像被 編碼成具不同奇偶的場）共用相同的像框編號，其解碼次序 無法由像框編號重建。 非參考圖像之H.263圖像編號或jVt像框編號被指定 等於解碼次序中前一個參考圖像之圖像或像框號碼加i。 如果數個非參考圖像在解碼次序中是連續的，它們將使用 同一個圖像或像框號碼。連續非參考圖像之解碼次序可以 12 1280059 藉使用在Η·263之時間參考（Temporal Reference (TR))編碼 元素或JVT編碼標準之圖像次序計數（picture 〇rder Count (POC))概念得以恢復。 圖像或像框號碼有一固定最大值。最大值之後的下一 個增值將使圖像或像框號碼等於0。典型地，圖像或像框 號碼被編碼及傳送以N位元無符號整數，因此，圖像或像 框號碼之最大值等於2N -1。 顯示時間標記（presentation timestamp (PTS))表示當圖 像展現時，與參考時鐘相關之時間。顯示時間標記也稱作 展現時間標記、輸出時間標記、或複合時間標記。 PTS之輸送依所使用之傳送系統及視訊編碼標準而 定。在MPEG-2系統中，PTS可選擇地當作PES封包之標 頭内之項目被傳送。在JVT編碼標準中，DST可選擇地當 作補助加強資料（SEI)之一部分被傳送，且其被用於選擇性 假設參考解碼器之操作中。在1so基本媒體檔案格式中， PTS是專用於盒類形，即解碼時間對樣本盒，其中顯示時 間標記編碼與對應之解碼時間標記相關。在RTP中，RTP 封包標頭之RTP時間標記相當於pts。 習用之視訊編碼標準具有時間參考（TR)編碼元素，此 與RTP在許多方面是相似的。TR值之形成在於將其在時間 軸上之前的參考圖像標頭内之值增加1，並加上自上一個 傳送圖像後，於圖像時鐘頻率時刻，略過或非參考圖像之 數目。TR典型地被編碼成固定長度（N位元）無符號整數， 因此，模數(modulo) 2^^算法被用於計算TR。有些習用之視 13 1280059 訊編碼標準，例如MPEG-2視訊，TR重新設定為0於圖像 組（Group of Picture (GOP))之起始處。 在JVT編碼標準中，於視訊編碼層中沒有時間之概 念。圖像次序計數被定義為一變數，其值隨圖像於輸出次 序位置之增加而增加，該輸出次序位置乃相對於解碼次序 中之前的IDR圖像，或相對於之前之圖像，其包括有記憶 管理控制操作，可將所有參考圖像標示為”不用作為參考圖 像”。每一個像框或場可推導得一個圖像次序計數。在JVT 編碼標準中，圖像次序計數用於決定在B片段解碼中之參 考圖像的最初圖像次序，以及於時間方向模式之動態向量 推導，於B片段中之内在模式比重預測，及於解碼器輸出 次序確認核對時，表示介於像框或場之間的圖像次序差 值。許多解碼器設定圖像次序計數與圖像取樣時間成比例。 多媒體流之傳送 多媒體串流系統包括一串流（streaming)伺服器及數個 播放器，播放器經由網路與伺服器連接。此種網路是典型 的封包導向，並提供稍許或全無質量保證。播放器從伺服 器擷取預存或現場轉播之多媒體内容，且即時播放於内容 下載時。此種通訊類型可以是點對點（point-to-point)或多址 傳送（multicast)。在點對點串流中，伺服器為每個播放器提 供各別之連接。在多址傳送中，伺服器傳送單一資料流至 數個播放器，且網路元件祇有在必要時才複製該資料流。 當一播放器設立至伺服器的連接且要求一個多媒體 流，伺服器開始傳送要求的資料流。播放器不立即開始播 14 1280059 放此資料流，而是將輸入之資料緩衝數秒鐘。此緩衝作用 耩作起始緩衝。起始緩衝幫助維持無暫停播放，因為，假 設有時發生傳送延遲或網路傳送率降低時，播放器將可解 碼並播放緩衝的資料。 傳送錯誤 傳送錯誤有兩種主要的形式，稱為位元錯誤及封包錯 誤。位元錯誤通常與電路轉換頻道有關聯，例如行動通訊 中之無線接取網路連接，錯誤之發生在於實體頻道之不 良。如此之不良性造成傳送資料之位元反轉、位元插入、 及位元刪除。封包錯誤通常由封包轉換網路内之元件所造 成。例如，封包路由器可能阻塞，即可能於輸入得到太多 封包，而無法以同等速率將其輸出。在此狀況下，其緩衝 溢流，且有些封包遺失。封包重複或封包與傳送之次序不 同也可能發生，但通常被認，為不若封包遺失那麼平常。封 包錯誤也可能由使用傳送協定堆疊（transport protocol stack) 所造成。例如某些協定使用檢驗和（checksums)，其被計算 於傳送器中，且與原始碼資料一起封裝。若資料有一位元 反轉之錯誤，接收器不能得到相同的檢驗和結果，則將棄 擲接收到之封包。 第2(2G)及第3代（3G)行動網路，包括GpRS、UMTS、 及CDMA-2000，提供兩個無線電連線之基本型態：告知型 與非告知型。告知型無線電連線架構之完整性是由接收端 (行動站（Mobile Station (MS))或基站次系統（Base staticm
Subsystem (BSS))檢查，且若有傳送錯誤，再傳送之要求發 15 1280059 送至無線電連線之另一端。因為連線層再傳送，發送端必 須緩衝無線電連線架構直至收穫正面之告知。在嚴厲的無 線電狀況下，緩衝器可能溢流而導致資料流失。僅管如此， 上述揭示了告知型無線電連線協定模式之好處。非告知連 接則通常將錯誤的無線電連線架構丟棄。 大部份視訊壓縮計算法產生時間預測INTER或卩圖 像。結果，一個圖像之資料遺失造成明顯地品質降級發生 於接續圖相，接續圖像係時間預測於該不良圖像所產生。 視訊通訊系統可於影像顯示時將遺失隱藏，或凍結最近改 正圖像至銀幕直至一像框，其獨立於不良的像框，被接收 到。 於習用的視訊編碼標準中，解碼次序與輸出次序結 合。換言之，I或P圖像之解碼次序與其輸出次序相同，而 B圖像之解碼次序緊跟隨B.圖像之最近參考圖像之解碼次 序於輸出次序中。因此，基於所知之輸出次序恢復解碼次 序是可能的。輸出次序典型地被傳送於基本視訊位元流之 時間參考（TR)攔，且也於系統多工層，例如RTP標頭中。 因此，於習用的視訊編碼標準中，傳送次序不同於解碼次 序之問題並不存在。 緩衝作用 串流用戶通常具有一個接收器緩衝，其能夠儲存相當 大之資料。最初，當一個串流通信期（session)成立時，用 戶不須立即開始播放資料流，而是通常緩衝到達的資料數 秒鐘。緩衝作用幫助維持連續播放，因為，如果有時增加 16 1280059 的傳送延遲或網路速率下降，用戶可解碼及播放緩衝的資 料。否則，若沒有起始缓衝作用，用戶必須凍結顯示、停 止解碼、及等待資料到達。緩衝作用對於任何協定階層之 自動或選擇性再傳送也是須要的。若圖像之任何一部份遺 失，再傳送機制可用於重新傳送遺失之資料。若再傳送之 資料於預定解碼或播放時間之前接收到，遺失部分將可完 全恢復。 【發明内容】 本發明能使與時間參考及/或圖像次序計數相關之資 訊以數量減小之方式傳送。在本發明中，一個表示期望增 值與實際增值之差的參數被計算，該計算之參數被編成可 變長度編碼，例如，Huffman編碼，算術編碼，或其他形 式之熵編碼（entropy coding)，及一個VLC編碼參數被傳 送，該VLC編碼參數使用於解碼器，用於將解碼圖像編排 成正確的顯示次序。 ’ 本發明中，序列階層示訊的定義是依據圖像號碼或像 框號碼之增值，表示期望時間參考或圖像次序計數差值。 時間參考及圖像次序計數再依據為每個圖像計算之期望時 間參考或圖像次序來編碼。然後，期望圖像次序計數與實 際圖像次序計數之差指定給每個圖像並以位元流傳送至接 收器。若可能地，差值於傳送前被編作可變長度編碼以進 一步減小被傳送資訊的數量。 以下，藉基於編解碼器之系統揭示本發明，但顯然地， 本發明也可實行於視訊訊號儲存之系統。儲存之視訊訊號 17 1280059 可以是編碼前之未編碼訊號，或編碼後之編碼訊號，或經 編碼、解碼過程後之解碼訊號。例如，編碼器產生解碼次 序之位元流。檔案系統接收音訊及/或視訊位元流，例如以 解碼次序，被封裝並儲存為檔案。 根據本發明之編碼方法之主要特徵是計算至少一個參 數，其表示第一值與第二值之差；並將該參數編碼成位元 流。根據本發明之解碼方法之主要特徵是形成一個第一 值，其表示次序值之期望值；將位元流之該參數解碼以得 到第二值，該至少一個解碼參數表示次序值與第一值之 差；利用第一值與第二值以得到次序值。根據本發明之系 統之主要特徵是包括：計算裝置用以計算一個表示第一值 與第二值之差的參數；一編碼器用以將該至少一個參數編 碼成位元流；一裝置用以將位元流之至少一個參數解碼以 得到第二值，該至少一個參數表示介於次序值與第一值之 差；以及一裝置用以利用第一值與第二值得到次序值。根 據本發明之傳送裝置之主要特徵是包括：計算裝置用以計 算一個表示第一值與第二值之差的參數；一編碼器用以將 該至少一個參數編碼成位元流。根據本發明之接收裝置之 主要特徵是包括：一裝置用以將位元流之至少一個參數解 碼以得到第二值，該至少一個參數表示介於次序值與第一 值之差；以及一裝置用以利用第一值與第二值得到次序 值。根據本發明之軟體程式之主要特徵是計算至少一個參 數，其表示第一值與第二值之差；並將該參數編成位元流。 根據本發明之儲存媒體之主要特徵是包括：包含機械執行 18 1280059 步驟之軟體程式，用以將位元流之至少一個參數解碼以得 到第一值，該至少一個參數表示介於次序值與第一值之 差；以及利用第一值與第二值得到次序值。根據本發明之 載波（carrier wave)之主要特徵是包括：至少一個參數表示 第值與第一值之差；並將該參數編成位元流。藉使用本 發明可能進一步縮減傳送資訊之數量。如此可導致更快之 多媒體資訊傳送率。 【實施A式】 以下參考圖3之系統，圖4之編碼器丨，及圖5之解碼 益2將本發明做更詳細之說明。被編瑪之圖像是例如來自 於視訊源3之視訊流圖像’例如攝像機，視訊錄影機，等 等。視訊流圖像（像框）可分割成較小之部分，例如片段。 片段可在再分割成區塊。在編碼^ i +，視訊流藉編碼以 減少傳送至頻道4或至儲存媒體（未圖示於此）之資訊。視 況"IL圖像傳送至編碼器J。編碼器有一編碼緩衝器^ (圖 4)用以暫_存—些將編碼之圖像。編碼器！還包括一個 記憶體1.3及處理器h2可應用於編碼作業。記憶體13及 處理，1.2可共用於傳送裝置6，或傳送袭置6可有另外之 處理器及/或5己憶體（未圖示於此）用於傳送裝置6之其他 功能、編碼器i執行動態估計（m〇u〇n estimati〇n)及/或一 =他作業以壓縮視訊流。在動態估計中，圖像之間相似 „(目前圖像)且搜尋之前及，或之後之圖像。若有 IS ’被比較之圖像或其-部分可作為被編碼圖像之參 4在JVT中’圖像之顯示次序與編碼次序無須相同， 19 1280059 其中參考圖像必須儲存於緩衝器（例如於編碼緩衝器M)， 紙要其作為參考圖像。編碼器1也將圖像之顯示次序插入 傳送流中。 編碼過程中’已編碼圖像被移至編碼緩衝器5 · 2於必要 時。編碼圖像由編碼器1經傳送頻道4傳至解碼器2。在解 碼器2中，編碼圖像被解碼以形成非壓縮圖像，並盡可能 對應至編碼圖像。每一個解碼圖像被緩衝於解碼器2之解 碼圖像緩衝器（DPB)2.1中，除非其於解碼後，立即顯示或 不須作為參考圖像。若可能的話，參考圖像之緩衝作用與 顯示圖像之緩衝作用是合併的，且使用同一個解碼圖像緩 衝器2·1。如此消除了儲存相同圖像於兩個不同地方之需 要’因此減少解碼器2之記憶體之需求量。 解碼器2也包括一記憶體2·3及處理器2·2可應用於解 碼作業。圮憶體2.3及處理器2.2可共同與傳送裝置8 一 起，或傳送裝置8可有另外之處理器及/或記憶體（未圖示 於此）具傳送裝置8之其他功能。 編碼 以下將詳述編解碼過程。視訊源3之圖像進入編碼器 1 ’且儲存於前編碼緩衝器丨卜#第—_像進入編瑪器 :灸’編碼，不須立即開始，而是等待一定數量之圖像於 =%緩衝H 1.1’然後編碼器丨試圖尋找適宜圖像作為參考 4框編碼$ 1然後執行編碼以形成編㈣像。編碼圖像 二以為預測圖像(P)’雙預測圖像(B)’及/或内部編碼圖像 。内部編碼圖像可被解碼，而不彡胃使用其他圖像，但其 20 1280059 他圖像型式至少須要一個參考圖像於解碼前。上述任何圖 像型式皆可作為參考圖像使用。 .以下，術語時間參考（TR)被使用，但明顯地，術語圖 像次序計數（POC)也可替代被使用。時間參考指示顯示時間 標記，其關於目前視訊序列之開始。時間參考之正確及編 碼模式是序列階層之議題。它們祇可被改變於IDR圖像。 本發明之有效實施例存有不同之時間參考模式，例 如，”不存在"、”變量”、及”獨立"模式。”不存在”模式表示 在片段沒有時間參考。n變量’’模式表示時間參考相對於像 框號碼被編碼。"獨立”模式表示相似於H.263，時間參考獨 立於像框號碼被編碼。以下，祇將"變量”模式作更細節之 考量。 在JVT標準中，像框號碼於IDR圖像重設為0。同時， 時間參考典型地於序列或GOP開始時重設為0，且圖像次 序計數依據JVT標準於IDR圖像重設為0。IDR圖像使編 碼器與解碼器之參考圖像緩衝器被清空。清空參考圖像緩 衝器及重設圖像次序計數也可藉使用一個特殊之指令 (memory—management_control_operation 等於 5，於 JVT 標 準中）。非參考圖像之像框號碼被指定等於在解碼次序中之 前一個參考圖像之號碼加1。若數個非參考圖像連續於解 碼次序中，則它們共用一個像框號碼。非參考圖像之像框 號碼也與解碼次序中之下一個參考圖像之像框號碼相同 (除非解碼次序中之下一個參考圖像是IDR圖像）。現在考 慮以下之編碼模型：IBBPBBP。令像框依下列編碼模型編 21 1280059 碼· 10 B2 B2 PI B3 B3 P2…’其中之數字表示像框號碼。 同時假設在此之B像框（B2，B3)是雙向地從兩個解碼框預 測。由此編碼模型可知每個像框之時間參考之期望差遞增 3。當編碼器於第一個圖像（10)編碼時，將時間參考設定為 〇。然後，編碼器將第2個參考圖像編碼，在此案例中是指 P1。圖像P1之時間參考是3，其計算方式是將像框號碼（i) 乘以期望差值（3)。現在，編碼器於記憶體内有兩個參考像 框10及P1，用以預測兩者之間的B圖像。第〖個B2像框 之時間參考可計算如下：像框號碼（2)乘以期望差值班（3) 等於6，該值成為第i個B2像框之時間參考值。然而，第 1個B2像框之正確次序號碼是丨。所以，實際與期望值之 差為-5。該差值（或誤差）將傳送至接收器，此將於下文中說 明。對於下一個B2像框，其介於期望與實際時間參考值之 誤差可以用類似方式計算之。如此，期望值等於像框號碼* 期望時間參考值：2*3=6。時間參考預測誤差則是等於實際 值-預測時間參考值：，2-6=-4。 編碼器將下一個第3參考像框P2編碼。期望與實際時 間參考值是2*3=6。於P2像框編碼後，介於第2ρι與第3 P2參考像框之B3像框也可被編碼。誤差值之計算與上述 類似。第1個B3像框之誤差值等於4-3*3 =-5，及另一個 B3像框之誤差值等於5_3*3 = _4。 另一個有效實施例中，非儲存圖像之時間參考值與其 像框號碼減—個間距有關。該間距以1或2為宜。如此， 若圖像是非儲存圖像，則時間參考值之計算如下： 22 1280059 (frame一num — offset) * expectedDeltaPN + TRPredictionError 其中， frame—num = frame number (允許值不受限）， offset =如上述 expectedDeltaPN =期望時間參考值差 TRPredictionError =時間參考預測誤差. 若圖像是儲存圖像，則時間參考值之計算如下： framejnum * expectedDeltaPN + TRPredictionError 時間參 考預測誤4差 在此實施例中，時間參考預測誤差將如表1所示，假 設像框之編碼如上例所示：10 B2 B2 PI B3 B3 P2…
Frame 時間參考預測誤差 時間參考值 10 0 TR=0 B2 1 TR=(2-〇)*3-5=l B2 2 TR=(2-〇)*3-4=2 P1 0 TR=1*3=3 B3 1 TR=(3-〇)*3-5=4 B3 2 TR=(3-0)*3-4=5 P2 0 TR=2*3=6 表1 根據本發明，被傳送之資訊不是期望或實際時間參考 值，而是誤差值。誤差值宜先VCL編碼於傳送之前。誤差 值可被VCL編碼，然後VCL編碼值被傳送。也有可能是 誤差之絕對值被VCL編碼，然後該VCL編碼與誤差值之 符號一起被傳送。本實施例尚有一優點是不須傳送誤差 23 1280059 值，若該值等於ο，則傳送一個旗號（例如1個位元之資訊） 表示誤差值等於0。 某些系統，例如基於RTP的系統，不須明確示訊有一 顯示時間標記於視訊封包流中，因為該訊息是内含於傳送 協定中。解碼時間標記用於控制前解碼器緩衝（pre-decoder buffer)之操作。交談式應用可不須解碼時間標記，因為其 典型地儘快解碼。因此，系統應有某些自由於決定傳送之 時間標記。某些系統中，期望時間參考差及時間參考預測 誤差傳訊至解碼器2。每一個預測像框之誤差值被傳訊。 每一圖像組之期望時間參考差被傳訊，除非接續之圖像組 之期望時間參考差沒有改變。傳訊可被實行，例如利用參 數組機制。 以下，揭示片段標頭資訊之例子。標頭包括下列攔位： TRPE :(時間參考預測誤差之絕對值）+ 1， TRPES :時間參考預測誤差值符號， TR ： 時間參考 TRPE是可變化長度碼且包含時間參考預測誤差值。 若TRPE等於0，上述計算之圖像時間參考是有效的。若 TRPE大於0，時間參考之計算如下。TPN表示不回歸之漸 增像框號碼（亦即，沒有最大像框值之限制）。TRPES之出 現祇有在TRPE大於1時。若TRPE=0，沒有進一步之TR 訊息於片段標頭，且TR值等於同圖像之任何其他一個片 段標頭内之TR值。若TRPE=1，則TR=TPN*期望時間參 24 1280059 考誤差。於情況TRPE>1，時間參考預測誤差符號（TRPES) 被檢查。若TRPES=1(正值誤差），TR=TPN*期望時間參考 誤差+TRPE-1。若TRPES=0 (負值誤差），TR=TPN*期望時 間參考誤差-TRPE+1。在此例中，傳訊至解碼器之時間參 考預測誤差等於實際時間參考預測誤差值加1。因此，解 碼器必須將其列入考慮於為每一個像框計算正確之時間參 考值時。 解碼 < 以下，將揭示接收器8之運作方式。接收器8收集所 有屬於一個圖像之封包，將其歸入一個合理之次序。次序 之精確性決定於使用之型式（profile)。接收封包可儲存於接 收緩衝器9.1(前解碼緩衝器）。接收器8丟棄任何無關者， 而將其餘傳遞至解碼器2。 若解碼器2有足夠像框用以開始解碼，解碼器開始將 像框解碼。首先，正確解碼次序必須被確認。此可被實行， 藉檢視例如接收像框之解碼時間標記。如名稱所意指的， 獨立地可解碼像框可被解碼而不顧其他之像框。作為一或 多個預測像框之參考圖像之解碼像框被儲存於參考像框緩 衝器，其可為解碼器之2· 1解碼圖像緩衝器2.1之一部分。 若傳送次序是如此以致任何預測圖框之參考圖像皆傳送於 該預測圖框之前，則解碼器不須儲存預測圖框，而可將之 解碼於瞬時接收之後。解碼像框必須以正確顯示次序排 序。上述之達成可藉使用解碼之時間參考預測誤差資訊， 及期望時間參考差。以下之例子，將揭示排序過程。在此 25 1280059 例中，假設像框被接收之次序如下：I0P1 B2B2P2B3 B3。 同時假設該像框對照之時間參考預測誤差是：〇,〇,-5,-4, 0, -5,-4。解碼器接收期望時間參考誤差之資訊。令該值等於 3於此例中。解碼器2藉使用期望時間參考誤差，像框數， 及參考預測誤差以計算每個像框之時間參考。對於第1像 框（10)，時間參考之計算結果於加上誤差之前是等於 0(=0*3)。誤差等於0，因此時間參考值等於0。同樣地， 其他之時間參考值可被計算出。計算之結果表示於表2。 像框 時間參考預測誤差 時間參考值 10 0 TR=0 P1 0 TR=l*3+0=3 B2 -5 TR=2*3-5 = 1 B2 -4 TR=2*3-4=2 P2 0 TR=2*3+0=6 B3 -5 TR=3*3-5=4 B3 -4 . TR=3*3-4=5 表2 像框此時可顯示以正碟之次序。 一個像框由兩個場組成。圖像次序計數號碼可指定給 整體像框或兩個分開之場。如同像框之另一個場之圖像次 序計數號碼，一個像框之一個場之圖像次序計數號碼可使 用另一個方案編碼。例如’像框之另一個場之圖像次序計 數值可相對於像框之第一個場編碼。 明顯地，本發明不受限於單純上述之實施例，而可於 下述之申請專利範圍内進行修改。 26 1280059 【圖式簡單說明】 圖1 ·表示預測結構可能改進壓縮效率之例子， 圖2·可用於改進錯誤復原力之内部圖像延遲法， 圖3 ·依據本發明之系統之有效實施例， 圖4.依據本發明之編碼器之有效實施例， 圖5·依據本發明之解碼器之有效實施例。 【符號說明】 1 編碼器 2 解碼器 3 視訊源 4 頻道 6 傳送裝置 7 傳送器 8 接收裝置 9 接收器 10 顯示器 1.1 月1j編碼緩衝器 1.2 處理器 1.3 唯讀記憶體 1.4 程式碼 5.2 圖像緩衝器 2.1 解碼圖像緩衝器； 2.2 處理器 2·3記憶體 2.4 程式碼 RAM 隨機存取記憶體 ROM 唯讀記憶體 27

Claims (1)

  1. 第93111682號專利申請案 補充、修正後無劃線之說明書替換頁一式三份 拾、申請專利範圍： 1·一種將圖像編碼成位元流之方法，包括： 定義一個第1值，用於解碼階段以編排解碼之編碼圖 像； 疋義一個第2值，表示第1值之期望值； "十鼻至少一個參數值，表示介於第1值與第2值之差； 以及 將該至少一個參數編碼成位元流。 2·如申請專利範圍帛1項之方法，更包括：將-或多 個獨立可解碼圖像、-或多個參考圖像、以及_或多個預 測圖像編碼成位元流。 、如申明專利範圍第1項之方法，更包括一傳送步驟， 用乂傳送該編碼圖像至解碼器。 來二如申請專利陶1項之方法，更包括：計算所得 參數值之VLC編碼，及VLC編焉參數之傳送。 ’其特徵在於形成一 5·一種將位元流圖像解碼之方法 個人序值以表示圖像之次序，包括： 28 形成一個第1值， 將位元流之至少一 至少一個解碼參數表示 表示該次序值之期望值； 個參數解碼以得到一個第2值，該 介於該次序值與該第1值之差；以 使用該第 1值與該帛2值以得耻序值。 項之方法，更包括使用次序值 6.如申請專利範圍第 以編排解碼之編碼圖像。 7·如申請專利範圍第 ^ ^ 步項之方法，更包括··一解碼步 驟’用於編碼圖像之解碼以# 私胛馬以形成解石馬圖像，以及使用次序 值，將解碼之編碼圖像編排成顯示次序。 5項之方法，更包括使用次序值 8·如申請專利範圍第 於動態補償。 =如申請專利範圍第5項之方法，更包括：該期望值 乃藉像框號碼乘以第2值得到。 一種編碼器，用於將圖像編碼成位元流，包括： 個第1值，用於解碼階段以編排解碼之編碼圖像； 個第2值’表示第1值之期望值； > 一計算裝置，用於計算至少一個參數值，其表示介於 第1值與第2值之差；以及 29 Μ μ·2 5Γί|,年 h! 一個編碼器，用於將該至少一個參數編碼成位元流。 11·如申請專利範圍第1〇項之編碼器，包括一裝置用 以包3該第2值於序列參數組中。 、1^·如申請專利範圍第1〇項之編碼器，其中該計算裝 置被安排通知關於像框號碼增值之第1值之期望值。 、13.如申請專利範圍第1〇項之編碼器，包括一裝置用 以包含該至少一個參數於片段標頭中。 i兮·如曱請專利範圍第 - VLC編碼器’用於計算之參數之vlc料，以及更€ 括一傳送器，用於傳送VLC編碼參數。 15 · 一種包括將圖像編碼成位元流 置，包括： 之編碼器之傳送裝 一個第1值， 一個第2值， 一計算裝置，用於計算至少 第1值與第2值之差；以及 一個編碼器，用於將該至少 用於解碼階段以編#解竭之編碼圖像； 表示第1值之期望值； 一個參數值，其表示介於 一個參數編碼成位元流。 16七申請專利範圍第15 項之傳送裝置，包括一裝置 1280059 第93111682號專利申請案I、f曰修替 補充、修正後無劃線之說明書~' 換
    用以包含該第2值於序列參數組中。 ^如申請專利範圍第15項之傳送裝置，其中 裝置被安排通知關於像框號碼增值之第丨值之期望# A如申請專利範圍第15項之傳送裝置，包括 用以包含該至少一個參數於片段標頭中。 、 二9:申請專利範圍第15項之傳送裝置，該編碼器包 括· VLC編碼器，用於計算之參數之VLC編碼，以及更 包括一傳送器，用於傳送VLC編碼參數。 2〇· —種解碼器，用於位元流圖像之解碼，其特徵在於 形成一個次序值以表示圖像之次序，此解碼器/包括：、 一個第1值，表示該次序值之期望值； 一裝置用以將位元流之至少一個參數解碼以得到一個 第2值，該至少一個解碼參數表示介於該次序值與該第丄 值之差；以及 一裝置使用該第1值與該第2值以得到次序值。 21·如申請專利範圍第2〇項之解碼器，更包括使用次 序值以編排解碼之編碼圖像一裝置。 22·如申請專利範圍第20項之解碼器，更包括··用於 31 1280059 Γ^ιτγτγ I年月 )正替.換頁丨 $ 93111682號專利申請案 補充、修正後無劃線之說明書替換頁一式三份 編碼圖像之解碼以形成解碼圖像之―裝^，以纟使用次序 值，將解碼之編碼圖像編排成顯示次序之一裝置。 23.如申請專利範圍第2〇項之解碼器，更包括使用次 序值於動態補償之一裝置。 24·如申睛專㈣圍第2G項之解碼器，更包括··用以 藉由像框號碼乘以第2值標示該期望值之一裝置。 一解2上一種ί收裝置，含有用以解碼來自位元流之圖像之 二〃特徵在於形成_個次序值以表示 序，該解碼器包括： 豕义大 一個第1值，表示該次序值之期望值； -裝置用以將位元流之至少一個 第2值，該至少一個解踽夂叙主- 鮮馬以侍到一個 個解碼參數表不該次序值I 差；以及 沮/、这第1值之 -裝置使用該第1值與該第2值以得到次序值。 26· 一種通訊系統，包括： 編碼器包括： 一第 一第 此 (a)-編碼器(enc〇der)，用以將圖像 器包括： 々成位兀流， 第 計算裝置，用以計算至少一個參數值，其表示 32 I®麵， 年 _ a. 考93_ltt682號專利申請案 補充、修正後無劃線之說明書替換頁一式三份 值與第2值之差；及 —編碼Holder)’用以將該至少—個參數編碼成位元 流； (b) —傳送器 (c) 一接收器 (d) —解碼器 像次序之次序值 用以傳送位元流至傳送頻道； 用以接收來自傳送頻道之位元流； 用以解碼位元流圖像以形成一個表示圖 此解碼器包括： 第1值，表示該次序值之期望值； 一裝置，用以將位元流之至少—個參數解瑪以得到一 =2值’該至少―個解瑪參數表示該次序值與 之差；及 # 一裝置，使用該第1值與該第2值以得到次序值。 將ml7·—種紀錄有電腦程式之電腦可讀取紀錄媒體，包含 圖像編碼成位元流之機械可執行步驟： 圖像；定義—個第1值，用以在解碼階段編排解碼後之編碼 -定義-個第2值，用以表示該第i值之期望值； j异至少一個表示第1值及第2值之差之參數；.及 將該至少一個參數編碼成位元流。 機械可勃,種紀錄有電腦程式之電腦可讀取紀錄媒體，包含 之次序，解碼步驟’其中形成—個次序值以表示圖像 33
    682號專利申請案 補充、修正後無劃線之說明書替換頁一式三份 -形成一個表示該次序值之期望值之第丨值； _將位元流之至少一個參數解碼，獲得一個第2值，而 該至少一個解碼之參數表示該次序值及第丨值之差；及 -使用該第1值及第2值，獲得該次序值。 29.—種儲存媒體，用以儲存包括解碼機械執行步驟之 軟體程式，其特徵在於形成一個次序值以表示圖像之次 序’包括： 形成一個第1值，表示該次序值之期望值； 將位元流之至少一個參數解碼以得到一個第2值，該 至少一個解碼參數表示介於該次序值與該第丨值之差；以 及 一裝置使用該第1值與該第2值以得到次序值。 3〇·—種在傳送裝置中處理媒體資料所用之處理機，包 括： 一個第1值，用於解碼階段以編排解碼之編碼圖像； 一個第2值，表示第1值之期望值； 一計算裝置，用於計算至少一個參數值，其表示介於 第1值與第2值之差；以及 一個編碼器，用於將該至少一個參數編碼成位元流。 31·如申請專利範圍第30項之處理機，包括一裝置用 以包含該第2值於序列參數組中。 34 tsmmwi 7 f Ο A ·1 j r、, 32·如申睛專利範圍第30項之處理機，其中該叶算裝 置被安排通知關於像框號碼增值之第1值之期望 33·如申請專利範圍第3〇項之處理機，包括一裝置用 以包含該至少一個參數於片段標頭中。 34·如申請專利範圍第3〇項之處理機，該編碼器包括·· 一 VLC編碼器’用於計算之參數之νιχ編碼，以及更包 括一傳送器，用於傳送VLC編碼參數。 35·—種在接收裝置中處理媒體資料所用之處理機，> 碼來自位元流之圖像之—解碼器，其特徵在心 成個久序值以表示圖像之次序， · 一個第1值’表示該次序值之期望值〜括· y裝置用以將位元流之至少—個參數解碼以得到— =值.，該至少-個解碼參數表示介㈣次序值與該第 -裝置使用該第！值與該第2值以得到次序值。 序值專利範圍第35項之處理機，更包括使用攻 序值以編排解碼之編碼圖像一裝置。 37·如申請專利範圍第
    35項之處理機，更包括··用於 35
    編碼圖像之解碼以形成解碼圖像之一装裏，以及使用-人序 值’將解碼之編碼圖像編排成顯示次序之裝置 38如申請專利範圍第35項之處理機，更包括使用次序 值於動態補償之一裝置。 39如申請專利範圍第35項之處理機，更包括：用以 由像框號碼乘以第2值標示該期望值之一裝置。
    36
TW093111682A 2003-04-30 2004-04-27 Picture coding method TWI280059B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/427,714 US7403660B2 (en) 2003-04-30 2003-04-30 Encoding picture arrangement parameter in picture bitstream

Publications (2)

Publication Number Publication Date
TW200427333A TW200427333A (en) 2004-12-01
TWI280059B true TWI280059B (en) 2007-04-21

Family

ID=33310236

Family Applications (1)

Application Number Title Priority Date Filing Date
TW093111682A TWI280059B (en) 2003-04-30 2004-04-27 Picture coding method

Country Status (11)

Country Link
US (1) US7403660B2 (zh)
EP (1) EP1618746A1 (zh)
JP (1) JP2006524948A (zh)
KR (1) KR100772139B1 (zh)
CN (1) CN1781313A (zh)
AU (1) AU2004234896B2 (zh)
CA (1) CA2524219A1 (zh)
MY (1) MY140227A (zh)
NO (1) NO20055043L (zh)
TW (1) TWI280059B (zh)
WO (1) WO2004098195A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030623A1 (en) * 2001-07-19 2008-02-07 Kumar Ramaswamy Robust reception of digital broadcast transmission
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
KR101006851B1 (ko) 2003-01-28 2011-01-12 톰슨 라이센싱 강력한 모드의 스태거캐스팅
US7810124B2 (en) * 2003-01-28 2010-10-05 Thomson Licensing Robust mode staggercasting fast channel change
US8027381B2 (en) * 2003-01-28 2011-09-27 Thomson Licensing Robust mode staggercasting user controlled switching modes
US8194751B2 (en) * 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
US8615038B2 (en) * 2004-12-06 2013-12-24 Nokia Corporation Video coding, decoding and hypothetical reference decoder
EP1867079A4 (en) * 2005-04-07 2009-12-09 Nokia Corp BUFFER STORAGE DURING CONTINUOUS DISTRIBUTION
FR2888424A1 (fr) 2005-07-07 2007-01-12 Thomson Licensing Sas Dispositif et procede de codage et de decodage de donnees video et train de donnees
MX2008001155A (es) * 2005-07-25 2008-03-13 Thomson Licensing Metodo y aparato para la ocultacion de cuadros de video faltantes.
US7747921B2 (en) 2005-08-05 2010-06-29 Sony Corporation Systems and methods for transmitting data over lossy networks
NZ566935A (en) * 2005-09-27 2010-02-26 Qualcomm Inc Methods and apparatus for service acquisition
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
CN104125464A (zh) * 2005-12-08 2014-10-29 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US8875199B2 (en) * 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
JP5378227B2 (ja) * 2006-11-14 2013-12-25 クゥアルコム・インコーポレイテッド チャネルスイッチングのためのシステムと方法
WO2008061211A2 (en) * 2006-11-15 2008-05-22 Qualcomm Incorporated Systems and methods for applications using channel switch frames
WO2008086423A2 (en) 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
WO2008087602A1 (en) 2007-01-18 2008-07-24 Nokia Corporation Carriage of sei messages in rtp payload format
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
CN102210147B (zh) 2008-11-12 2014-07-02 思科技术公司 处理具有[aar]单个视频信号的多个处理后的表示的视频[aar]节目以用于重建和输出
WO2010096767A1 (en) 2009-02-20 2010-08-26 Cisco Technology, Inc. Signalling of decodable sub-sequences
US20100246683A1 (en) * 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
CN102422577A (zh) 2009-04-24 2012-04-18 德耳塔维德约股份有限公司 用于数字视频分配系统中的瞬时多频道视频内容浏览的系统、方法和计算机可读介质
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
EP2446623A4 (en) * 2009-06-24 2014-08-20 Vidyo Inc SYSTEM AND METHOD FOR ACTIVE VIDEO ELECTRONIC PROGRAMMING GUIDE
WO2011017469A1 (en) * 2009-08-06 2011-02-10 Telegent Systems, Inc. Circuitry and techniques to asynchronously process, output and/or display digital video data of a broadcast
US20110173300A1 (en) * 2009-11-25 2011-07-14 Isaac Levy IPTV Presence And Interaction Protocol
KR101322948B1 (ko) * 2009-12-04 2013-10-29 한국전자통신연구원 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법
US8934530B2 (en) 2011-02-01 2015-01-13 Vidyo, Inc. Spatial scalability using redundant pictures and slice groups
US20120230409A1 (en) * 2011-03-07 2012-09-13 Qualcomm Incorporated Decoded picture buffer management
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US8787688B2 (en) * 2011-10-13 2014-07-22 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8855433B2 (en) * 2011-10-13 2014-10-07 Sharp Kabushiki Kaisha Tracking a reference picture based on a designated picture on an electronic device
US10440389B2 (en) * 2011-11-11 2019-10-08 Lg Electronics Inc. Method and device for transmitting image information, and decoding method and device using same
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US10205954B2 (en) * 2013-10-23 2019-02-12 Qualcomm Incorporated Carriage of video coding standard extension bitstream data using MPEG-2 systems
KR102539009B1 (ko) * 2015-06-08 2023-05-31 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드
CN105898371A (zh) * 2015-12-07 2016-08-24 乐视云计算有限公司 实时转码的实时控制方法及装置
WO2020156547A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer resetting for intra block copy in video coding
CN117395439A (zh) 2019-03-01 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于方向的预测
CN113545068B (zh) 2019-03-01 2023-09-15 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于顺序的更新
KR20240132530A (ko) 2019-03-04 2024-09-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사의 구현 형태
GB2617304B (en) * 2019-03-20 2024-04-03 V Nova Int Ltd Residual filtering in signal enhancement coding
CN114175633B (zh) 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
CN114930825A (zh) 2019-12-26 2022-08-19 字节跳动有限公司 用于在编解码图片中实现解码顺序的技术
US20220279204A1 (en) * 2021-02-26 2022-09-01 Qualcomm Incorporated Efficient video encoder architecture
US11689598B1 (en) * 2021-03-17 2023-06-27 Amazon Technologies, Inc. Synchronized out-of-order live video encoding for reduced latency

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2521145B2 (ja) * 1989-02-20 1996-07-31 日本ビクター株式会社 動き補償予測符号化復号化方式
JPH02288695A (ja) * 1989-04-28 1990-11-28 Canon Inc 画像符号化及び復号化装置
EP0424026B1 (en) * 1989-10-14 1997-07-23 Sony Corporation Video signal transmitting system and method
JP2835187B2 (ja) * 1991-01-07 1998-12-14 株式会社東芝 符号化／復号化器および符号化／復号化方法
JP2855861B2 (ja) * 1991-01-16 1999-02-10 日本ビクター株式会社 フレーム間・フィールド間予測符号化装置及びその方法
US5267035A (en) * 1991-08-08 1993-11-30 Samsung Electronics Co., Ltd. Motion detection for video including that obtained from film
US5510840A (en) * 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
CA2133459A1 (en) * 1992-04-01 1993-10-14 Michael Keith Method and apparatus for compressing and decompressing a sequence of digital video images using sync frames
EP0710028A3 (en) * 1994-10-28 2000-01-19 Kabushiki Kaisha Toshiba Image decoding apparatus
JP3058028B2 (ja) * 1994-10-31 2000-07-04 三菱電機株式会社 画像符号化データ再符号化装置
US5784494A (en) * 1995-04-18 1998-07-21 Advanced Micro Devices, Inc. Method and apparatus for prestoring dequantization information for DCT VLC decoding
US5684714A (en) * 1995-05-08 1997-11-04 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of a previously encoded video sequence
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
ES2545066T3 (es) * 1997-06-09 2015-09-08 Hitachi, Ltd. Medio de grabación de información de imágenes
CA2265089C (en) 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
EP1075762A1 (en) * 1998-04-02 2001-02-14 Sarnoff Corporation Bursty data transmission of compressed video data
US6519287B1 (en) * 1998-07-13 2003-02-11 Motorola, Inc. Method and apparatus for encoding and decoding video signals by using storage and retrieval of motion vectors
US6310915B1 (en) * 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
US6888894B2 (en) * 2000-04-17 2005-05-03 Pts Corporation Segmenting encoding system with image segmentation performed at a decoder and encoding scheme for generating encoded data relying on decoder segmentation
US6763067B2 (en) 2000-10-10 2004-07-13 Sarnoff Corporation Rate control for bitstream re-encoding
GB2372657B (en) * 2001-02-21 2005-09-21 Sony Uk Ltd Signal processing
JP2002271797A (ja) * 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd 画像符号化装置、及び画像符号化方法，フレームレート変換装置
US7113646B2 (en) * 2001-06-29 2006-09-26 Equator Technologies, Inc. Decoding of predicted AC coefficient without division

Also Published As

Publication number Publication date
CN1781313A (zh) 2006-05-31
US20040218816A1 (en) 2004-11-04
WO2004098195A1 (en) 2004-11-11
US7403660B2 (en) 2008-07-22
CA2524219A1 (en) 2004-11-11
MY140227A (en) 2009-12-31
EP1618746A1 (en) 2006-01-25
NO20055043D0 (no) 2005-10-31
AU2004234896A1 (en) 2004-11-11
JP2006524948A (ja) 2006-11-02
KR100772139B1 (ko) 2007-10-31
KR20060009879A (ko) 2006-02-01
TW200427333A (en) 2004-12-01
NO20055043L (no) 2006-01-30
AU2004234896B2 (en) 2009-03-05

Similar Documents

Publication Publication Date Title
TWI280059B (en) Picture coding method
KR100711635B1 (ko) 화상 부호화 방법
JP5341629B2 (ja) ピクチャ復号化方法
TWI396445B (zh) 媒體資料的傳送/接收方法、編碼器、解碼器、儲存媒體、用於編碼/解碼圖像之系統、電子設備及傳送裝置、以及用於解碼圖像之接收裝置
RU2297729C2 (ru) Группирование кадров изображения на видеокодировании
US9124907B2 (en) Picture buffering method
US20040218669A1 (en) Picture coding method

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees