TWI253868B - Picture coding method - Google Patents

Picture coding method Download PDF

Info

Publication number
TWI253868B
TWI253868B TW093111683A TW93111683A TWI253868B TW I253868 B TWI253868 B TW I253868B TW 093111683 A TW093111683 A TW 093111683A TW 93111683 A TW93111683 A TW 93111683A TW I253868 B TWI253868 B TW I253868B
Authority
TW
Taiwan
Prior art keywords
image
coded
additional
encoded
main
Prior art date
Application number
TW093111683A
Other languages
English (en)
Other versions
TW200427335A (en
Inventor
Miska Hannuksela
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of TW200427335A publication Critical patent/TW200427335A/zh
Application granted granted Critical
Publication of TWI253868B publication Critical patent/TWI253868B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Description

1253868 玖、發明說明: 【發明所屬之技術領域】 本發明係關於一種圖像編碼之方法,其特徵在於形成主 要編碼圖像及主要編碼圖像之額外編碼圖像。本發明也涉 及系統,編碼器,解碼器,傳送裝置,接收裝置,軟體程 式,儲存媒體及位元流。 【先前技術】 已出版之視訊編碼標準包括:ITU-TH.261,ITU-T H.263,ISO/IEC MPEG-1,ISO/IEC MPEG-2,及 ISO/IEC MPEG-4 Part 2.該等標準在本文中稱作習用視訊編碼標準。 視訊通訊系統 視訊通訊系統可分為交談式與非交談式系統。交談式 系統包括視訊會議及視訊電話。該系統之實例包括ITU-T 建議文件H.320,H_323,及H.324具體說明視訊會議/ 電話系統各別在ISDN,IP,及PSTN網路系統中之操作。 交談式系統之特徵在於意圖減少端點至端點之延遲(從音 訊/視訊接收端至遠方之音訊/視訊顯示端)以改善用戶 之體驗。 非交談式系統包括儲存内容之播放,例如多樣化數位 光碟(DVDs)或儲存於播放裝置、數位電視、及串流 (streaming)之大容量記憶體内之視訊檔案。 標準化之努力正進行於ITU-T及ISO/IEC共同組成之 聯合視訊組(Joint Video Team (JVT))。JVT的工作是基於較 早的ITU-T之標準化計晝稱作H.26L。JVT的標準化目標 1253868 是發行如同ITU-T建議文件H.264及ISO/IEC國際標準 14496-10(MPEG-4部分10)之標準正文。草案標準在本文中 稱作JVT編碼標準’而依據此草案標準之編解碼器(c〇dec) 稱作JVT編解碼器。 編解碼器說明書本身在概念上區分為視訊編碼層 (video coding layer (VCL))及網路提取層(netw〇rk abstraction layer (NAL))。VCL包括編解碼器之訊號處理功 能,例如轉換,量化,動態搜尋/補償,以及迴路過濾。 VCL依照大部分今日視訊編解碼器的一般概念,即基於巨 集區塊(macroblock-based)之編碼器,其利用具動態補償 (motion compensation),及殘餘訊號(residualsignal)編碼轉 換的中間圖像預測(inter picture prediction)。VCL編碼器之 輸出是片段(slices): —位元串包括整數個巨集區塊的巨集 區塊資料,及片段標頭之資訊(包括片段内第一個巨集區塊 的空間位址,起始量化參數,及諸如此類)。使用所謂的彈 性巨集區塊排序法(Flexible Macroblock Ordering syntax), 巨集區塊在片段内是以掃瞄次序連續地排列,除非指定不 同的巨集區塊配置。圖像内預測(in-picture prediction),例 如内部預測(intra prediction)及動態向量預測(motion vector prediction),僅被使用於片段内。 NAL將VCL的輸出片段封裝於網路提取層單元 (Network Abstraction Layer Units (NAL 單元或 NALUs)), 其適用於封包網路傳送或使用於封包導向之多工環境。 JVT之附件B定義封裝處理步驟以傳送NALUs於位元組流 1253868 導向之網路。 Η. 2 63之可選擇的參考圖像選擇模式與mpeg—4部分2 之NEWPRED編碼工具能夠為每個圖像區段(例 如於H.263之每個片段)之動態補償選擇參考像框。此外, H-263之可選擇的加強參考圖像選擇模式與jvt編碼標準 使得為每個巨集區塊各別地選擇參考像框成為可能。 圖8表示一般視訊通訊系統8〇〇之方塊圖。因為未壓 縮視訊須極大之頻寬,視訊輸入801藉使用一傳送裝置8〇2 内之視訊源編碼器803將之壓縮成適宜之位元率。該訊源 編碼803可分成兩個元件:波形編碼器(
Coder)803.1 與熵編碼器(Entr〇py c〇der)803.2。波形編碼器 803.1 實行失真視訊壓縮(1〇ssyvide〇signalc〇mpressi〇n), 反之’熵編碼器無失真地轉換波形編碼器803.1之輸出成 為位元組序列。傳送編碼器804依據使用之傳送協定將該 壓縮訊號封裝。該壓縮訊號也可以不同之方式處理,例如, 父錯並调整該資料。然後,資料可經由傳送頻道805傳送 至接收端;該傳送頻道可包括伺服器8〇6,閘道器(gateways) (未圖示)專專。接收器8 〇 7實行包括一個傳送解碼器$ q $, 及一個資源解碼器8〇9。傳送解碼器808依據使用之傳送 協定將來自傳送頻道805之壓縮視訊輸入解封裝。資源解 碼器809也包括兩個構件:一個是熵解碼器(entr〇py和⑺心幻 8〇9·1,及一個波形解碼器(wavef〇rmdec〇der)8〇92。熵解 碼器809.1轉換來自傳送解碼器808之位元組序列成為波 幵> 並將之輸入至波形解碼器809· 1。波形解碼器809.1實行 1253868 視訊解壓縮並輸出視訊810。接收器8〇7也可能回饋至傳 送器。例如,接收器可傳訊表示傳送單元之成功接收率。 參數組概念 、JVT編解碼器之-個非常基本的設計概念是產生自足 式封包,其使得某些機制沒有需要,例如標頭複製。達成 上述之方法在於將片段之外的相關資訊從媒體流中分離。 較高階層之元資訊(meta information)應被可靠地、不同時 地:且居先地由包含片段封包之RTP封包流傳送出。在應 用系統:,沒有適用之頻段外(out_of_band)傳送頻道之情況 下,此貝訊也可以頻段内(in_band)傳送。較高階層參數之 結合稱為參數組。參數組之資訊包括:例如,®像大小, 顯不視窗’選擇的編碼模式,巨集區塊配置圖,及盆他。 ,為了能夠改變圖像參數(例如圖像大小),而不須同步 傳达參數組更新至片段封包流,編碼器與解碼器可維持一 表Ά括個以上之翏數組。每—個片段標頭包括一 個碼字(codeword)用以表示被使用之參數組。 多敛組之傳送分離於封包流,且利用外在 :_送它們,例如能力資訊互換(㈣hange capability) =效應’或經由(可靠或非可靠的)控 須經由傳送而是藉應用設計說明書決定。 甚至不 傳送次序 在習用的視訊編碼標準巾昤 解碼次庠盥箱一 k 圖像之外,圖像之 :馬_人序與顯不次序招同。習用的B圖像區塊可被雙向預 測於時間軸上之兩個灸者同诒.^ 兀』趿又向預 蒼亏圖像,其中,於顯示次序中,一 1253868 個芩考圖像位於時間之前且另一個參考圖像位於時間之 後。祇有在解碼:欠序中之最近參考圖像可接續B圖像於顯 不人序(例外.在H.263中的父錯編碼’其中時間參考像框 之兩個圖像可於解碼次序中置於B圖像之前)。習用的B圖 像不能作為時間預測之參考圖像,因此―個習用的B圖像 可被丟莱而不影響任何其他圖像之解碼。 相車乂於車乂早之標準,JVT編碼標準具以下新的技術特 -圖像之解碼次序與顯示次序是分開的。句法單元 fr讀e__之值表稍碼:欠序,及圖像:欠序計數表示顯示 二灸痒。 -B圖像内區塊的參考圖像可以位於圖㈣顯示次序之前 或之後。因此’圖像B代表雙制性⑻·㈣⑴如ve)圖像而 非雙向(bi-directional)圖像。 -不用作為參考圖像之圖像被明確地標示。任何一種型式 之圖像(内部、巾間、B等等)可為參考圖像或非參考圖像。 (如此,B圖像可作為其他圖像之時間預測的參考圖像。) -圖像可包括以不同編碼型式編碼之片段。例如,一編碼 圖像可包括一内部編碼片段與B編碼片段。 解碼次序與顯示次序分開從I縮效率及錯誤復原力 (error resilience)之觀點是有好處的。 -能夠改進壓縮效率之預測結構之例子揭示於圖3。 方格表示圖像’方格内之英文字母表示編碼型式,方格内 之數字表示依據TVT編碼標準之像框編號。請注意圖像B17 1253868 是圖像B18之会1 獲得改進,® ^ ^像。相較W狀編碼,壓縮效率可 習用編碼,θ t相較於具酬P《腦即、編碼圖像類型之 習用之咖//18之參相像在時間域接近。相較於 分參考圖像^像類型,壓縮效率可獲得改進,因為部 1豕疋雙向預測的。 圖4夺一 錯誤復原Γ:個内部圖像延遲法的例子’其可用以改進 或回應過期“部圖像即刻編碼於—場景截止後 遲法中,心H像更新(refresh)時。例如,在内部圖像延 生時,而是2 卩刻編碼於—内部圖像編碼之需求發 -個介於;個時間序列上之圖像作為内部圖像。每 ^則於下—個時間序列之圖像。如圖2,内部延遲 兩個獨立内部圖像預測鏈,鈇而習用編碼、4 内邱图心 只機…、、而白用編碼法產生一個獨立 口圖像鏈。明顯地’雙鍵方式比單鍵方式能更加有效地 刪除之錯誤。如果_個鏈遭受封包遺失,另—個鍵或 。在習用的編碼中,一個封包遺失常造成 在曰决傳播至内部圖像鏈之其餘部份。 多媒體流之傳送 嫉说夕媒體串*系統包括一串流(streaming)飼服器及數個 插放器、’播放ϋ經由網路與舰器連接。此種網路是典型 =封包導向,並提供稍許或全無f量保證。播放器從伺服 裔操取預存或現場轉播之多媒體内容,且即時播放於内容 下载時。此種it訊類型可以是點對點咖_咖叫或多址 傳达(mulueast)。在點對點串流中’伺服器為每個播放器提 10 1253868 供各別之連接。在多址傳送中,伺服器傳送單一資料产 數個::器,且網路元件祇有在必要時才複製該資料:。 當一播放器設立至飼服器的連接且要求一個 送要求的資料流。播放器不立即開_ 貝瓜,而疋將輸入之資料緩衝數秒鐘。此緩衝作用 起始緩衝幫助維持無暫停播放,因為,假 生傳送延遲或網路傳送率降低時,播放 衝之貧料解碼並播放。 硬 用可無止盡的傳送延遲,通常於資料流系統中不採 :’Η專达協定。相反地,系統較偏向 :疋 ^如卿(UserDatag職 PrG_,用= 遺具:較物傳送延遲,但另-方面也遭 RTP及RTCP協定可用於⑽ 訊。咖提供_傳^^^即日讀 之正確次序、以m失之方法、^組接收端封包 八j用於流量控制之目的。 傳送錯誤 傳送錯铁有兩種主尊 誤。位元錯誤通當Μ 形式’稱為位元錯誤及封包錯 中之益繞技w /、電路轉換頻道有關聯,例如行動通訊 良。;:此之不傳錯誤之發生在於實體頻道之不 及位元刪除。封包錯元反轉、位元插入、 ^吊由封包轉換網路内之元件所造 !253868 成例如,封包路由器可能阻塞,即可能於輸入得到太多 /、匕、而热法以同等速率將其輸出。在此狀況下,發生緩 ^/凰有些封包遺失。封包重複或封包與傳送之次序不 同也可能發生’但通常被認為不若封包遺失那麼平常。封 包錯誤也可能由使㈣送協定堆疊_卿。印灿⑶丨灿⑻ 所造成y列如某些協定使用檢驗和(checks_),其被計算 Γ =达1,並與原始碼資料―起封裝。若#料有一位元 之錯决,接收器不能得到相同的檢驗和結果,則將棄 擲接收到之封包。 ’、 第2代㈣及第3代⑽行動網路,包括gprs、umts ,CDMA_2_,提供兩個無線電連線之基本型態:告知型 告知型無線電連線架構之完整性是由接收端 ^丁動站(Moblle Station (MS))或基站次系统⑺咖 SUbSyStem(BSS))檢查4若有傳送錯誤,再傳送之要求發 达至無線電連狀另-端。因騎線層再傳送,發送端必 須緩衝無線電連線架構直至收獲正面生 ' 線電狀況下,緩衝器可能溢流而導心4的無 — 貝枓流失。僅管如此, 上述揭示了告知型無線電連線協定模式之 接則通常將錯誤的無線電連線架構丢棄。 。 封包遺失可被改正或隱藏。改正意指恢復 整如初之能力。隱藏意指隱藏傳送遺、 ^ 建之視訊次序中不被察覺。 退失之,-響,使其於重 當播放器彳貞測到一個封包遺失,复 送。因為起始緩衝作用之緣故,再傳3要求封包之再傳 k之封包可能被接收 12 1253868 時間之前。一些商業網際網路串流系統使用專 要求機傳送之要求。卿正進行將選擇性再傳送 尺钺制軚準化,使之成為RTCP之一部份。 址傳:些再傳送要求協定的共同特徵是不適宜用於多 因= 以的播放器,因為網路交通將巨幅增加。 失控制了址傳达串流應用必須依賴非交互作用式的封包遺 技術點Γ=統也可能受益於非交互作用式錯誤控制 第其争選擇沒有來自播放器之回饋以簡化系統。 於;封包再傳送及其他交互作用式錯誤控制,相較 大式的錯誤控制’典型地佔據傳送資料速率的 留服11必彡祕證交互式錯誤㈣方法不須保 c網路通量的大部分。實際上,飼服器可能須要節 又互式錯純制賴作數量三 伺服器盥播放哭少„沾山 丹k之遲了肊限制 之所古1 作用次數,因為特定資料取樣 樣播放之前。 A作應进可⑥地完成於該資料取 後續2遺失控制機制可歸類為預先錯誤控制及 資料φ °預先錯誤控㈣傳送器增加額外傳送
接收器可恢復部分之傳送資料,若傳送遺J 二二後續處理遺失隱藏係完全接收器導向的。該方法‘ 圖估计錯誤接收資料的正確表示。 大部份視訊壓縮計管、、土太丄+ f #法產生時間預測INTER或P圖 13 1253868 象。結果,-個圖像之資料遺失造成接續圖像之明顯品質 降級,該接續圖像係時間預測於不良圖像所產生。視訊通 訊系統可於影像顯示時將遺失隱藏,或暫停最近改正圖像 至銀幕,直至-獨立於不良像框之像框被接收到。 主要及額外圖像 主要編碼圖像是圖像之主要編碼表示。解碼之主要編 碼圖像含蓋整個圖像範圍,亦即,包括圖像之所有片段及 巨木區塊。頜外編碼圖像是表示圖像或部份圖像之額外編 碼1不使用於解碼,除非主要編碼圖像遺失或損壞時。 -解碼之額外編碼目像本f ±與解碼之主要編碼圖像包括 相同之圖像資訊。然而’解碼之額外編碼圖像内之取樣值 不須要與對應之解碼之主要編碼圖像内之同位(㈤隐㈣ 取樣值相同。每個主要編碼圖像之額外編碼圖像之數目範 圍可從0至一個在編碼標準内之有限特定值(例如127,依 據JVT編碼標準)。額外編碼圖像可使用與相狀主要編碼 圖像不同的參考圖I。因A,假如主要編碼圖像之其中一 個參考圖像遺失或損壞,而一額外編碼圖像之所有參考圖 像皆被正確地解碼時,則從圖像品質之觀點看來,額外編 碼圖像之解碼圖像將優於主要編碼圖像之解碼圖像。 大邛为之習用視訊編碼標準包括一個,,非編碼,,或,,略 過’’區塊之概念。該區塊之解碼過程包括一空間上對應之區 塊於參考圖像中。 依據MPEG-4 Visual之物件基礎編碼 MPEG-4 Visual包括選擇的物件基礎(〇bject_based)編 14 I253868 =:开具狀:4視訊物件可以是任何形狀,甚至-個物 2 : 一小、及位置可從一個像框至下-個像框產生 艾。就-般顯示而言,一個視訊物件由3個色彩元件(γ = 件組成”lpha元件以—個接—個影像為準 B."疋、々件之形狀。2位元物件形成最簡單之物件類 別(class)。它們以—床万丨十9 乂 - 、 之位兀alPha映像(maps)表示, α 2_D衫像’其中每個像素(Pixel)不是黑色既白色。 PEG-4提供一個單純2位元形狀模式,其用 f縮1缩處理方法是僅以2位元形狀編碼器,將alp^ :像之序列編碼。除以2位元以咖映像序列表示物件形狀 外’顯示還包括物件形狀内部之所有像素顏色。MPEG * 使用2位元形狀編碼器’及内部影像紋理編碼㈣⑽ C〇dlng)之動態補償離散餘弦轉換(Discrete Cosine Transf_; DCT)為基礎之演算法將該等物件編碼。最後, 灰色階層形狀表示紋理化物件。對於物件, 像疋:有256個可能次層之灰色階層圖像。該灰色階声 ΓΓΛ訊被使用於指定一個物件之透明度特性於視訊曰组 刪G-4將該等物件編碼係❹2位元形狀編碼 持alpha映像,以及動態補償離散餘弦轉換為基礎 之肩异法將alpha映像及内部影像紋理編碼。 緩衝作用 串流用戶通常具有一個接收器缓衝,其能夠储存相者 :之貧料。最初,當一個争流通信期(sessi〇n)成立時,用田 戶不須立即開始播放資料流’而是通常緩衝到達的資料數 15 1253868 :二= = : =續:放’因為,如果有時增加 停止解碼及等:!:始緩衝作用,用戶必須,東結顯示、 之自動或選擇性“2父緩衝作用對於任何協定階層 遺失,再傳送機制可圖像之任何-部份 之資斜^ & 、重新傳达边失之貧料。若再傳送 完全恢復。、&碼或播放時間之前接㈣,遺失部分將可 分級編:::依列之主_之重要性予以 地最不重要,因習用的b圖像’是主觀 …、乏匕們並不影響任何其他圖像之解 也可基於資料分區或片段組。主觀最重二 區可傳送早於既定之解碼次序。然而, 十欠序。1ΓΓ馬片段及資料分區可傳送晚於既定之解 要= 較於最不重要之片段及資料分區,最重 =㈣片段及資料分區的任何再傳送部分通常被接受早 於所Μ疋的解碼或播放時間。 額外圖像之確認 由於JVT編碼句法φ、、/7古固 圖像標頭,片段標頭句法必 从仏方法損測圖像邊界’以使解碼器能夠處理圖像。若 :遵從;VT編碼標準之解碼器接收—個無錯誤位元流,直 ,括主要及額外兩種編碼圖像,則解碼器必 及 要求重建取樣值。此夕h若編碼完全依標準之 卜右額外圖像經由頻道傳送,例如 16 1253868 RTP/UDP/IP ’則它們之每一個可能被封裝於多於一個以上 之IP封包内。因為UDp無連接之性質,封包可能不同於 ,送久序被接收。如此,接收器必須追溯那一個編碼片段 是屬於額外編碼圖I,以及那一個編碼片段是屬於主要編 碼圖像,並且那一個額外編碼圖像是對應到某一個主要編 碼圖像。若純器不如此做,則彼此重疊之片段可能造成 不必要之解碼。 【發明内容】 圖像之額外編碼顯示可於易造成錯誤(elTG1>_prone)之 視訊傳送中提供不等效錯誤保護(unequal⑽r protection )。若圖像之主要編碼顯示沒有被接收到,則可使用圖像之 額外編碼㈣。若主要編碼圖像之參相像之—遺失或損 壞,而對應之額外編碼圖像之所有參考圖像皆被正綠的解 T ’則可將額外編碼圖解碼。許多時候,—個圖像之不同 4刀之主觀重要性可能不同。本發明可以傳送非完全額外 編碼圖像,即不包含蓋所有圖像部位n本Μ可以 僅保護選擇圖像之主觀最重要之部分。如此,相較於之前 的標準’可改進壓縮效率且允許專注於不等效錯誤保護。 以下’藉使用基於編解碼器之系統揭示本發明,但明 t明也可實行於視訊儲存系統。儲存之視訊可以 之未編碼减,編錢之編碼訊號,或經編解碼 匕%後之解碼訊號,例如編碼器產生之解碼次序位元流。 T案系統接收影減/或視訊位元流,其·崎碼^ 被封裝並儲存於檔案中。此外,編石馬器及檔案系統可產生 17 1253868 元資料(metadata),由此得知圖像及NAL單元之主觀重要 性,及包括次序列之資訊。檔案可儲存於資料庫,並有一 個直接播放伺服器可從該處讀取NAL單元及封裝於RTp 封包。依據選擇性元資料及使用資料之連接,直接播放伺 服器可修改封包之傳送次序不同於解碼次序,以及決定傳 送何種SEI訊息,等等。在接收端,RTp封包被接收與緩 衝。通常,NAL單元首先被重新排列成正確次序,然後傳 送至解碼器。 ' 有些視訊通訊之網路或中間網路及/或使用於該等網 路之通訊協定可被構成如下:一個次網路是易造成錯誤的 (err〇r_prone),而另一個次網路是無錯誤的 接。例如,若一個行動終端機(m〇bileterminal)連接至一個 屬於公開之ip導向網路之串流伺服器,貝,!可靠的鏈接層協 定可用於無線電鏈接,且私用之行動操作器核心網路可能 供過於求,使得由行動操作器控制之次網路基本上是無錯 誤鏈接的。然而,公開之1 P導向網路(例如網際網路)則^ 供一種易造成錯誤之竭力模式(best eff〇rt)服務。因此,保 護防止傳送錯誤應該使用於易造成錯誤之次網路,反之 應用階層錯誤保護是無用於無錯誤之次網路。在此情況 下,使用一閘道器元件連接易造成錯誤之次網路與無錯莩 之次網路是有益處的。閘道器分析位元流,將i由易 錯誤之次網路之終端機傳送至無錯誤鏈接之次網路之心 若沒有錯誤發生於位元流之某—部份,則閘道器移: 相應之應用階層錯誤控制額外資訊。此操作可減少無錯誤 18 1253868 網路之流動量,且將節省之流量用於其它之目的。 依據本發明之編碼方法之主要特徵在於··每個主要編 馬圖像契相對之額外編碼圖像基本上包括相同之圖像資 訊,且該等額外編碼圖像中至少有一個圖像,其所包含之 圖像貧訊衹對應於相對之主要編碼圖像之圖像資訊之一部 分。依據本發明之解碼方法之主要特徵在於:主要編碼圖 像與相對之額外編碼圖像基本上由相$之圖冑資訊構成, 且額外編碼圖像中至少有—個圖冑,其所包含之圖像資訊 祇2應於相對之主要編碼圖像之圖像資訊之一部分;在位 一 L·之债測中,參數表示編碼圖像資訊屬於某一額外編 碼圖像;使㈣參數控㈣於L卜編碼圖像之編碼圖 像資訊之解碼,其巾,該額外編碼®像資訊祇對應於相對 之主要編碼®像之®像資訊之—部分。依據本發明之系統 之主要特徵在於:編碼器包括編碼裝置,其用以形成主要 編碼圖像及主要編碼圖像之額外圖像,每—個主要編碼圖 像〃相對之額外編碼圖像基本上包括相同之圖像資訊,且 額外編碼圖像巾至少有—㈣像,其所包含之®像資訊祇 對應於相對之主要編碼圖像之圖像資訊之一部分;解碼器 包括偵測裝置,其用則貞測位元流内表示編碼圖像資訊屬 於某一額外編碼圖像之參數;以及控制裝置,其使用該彖 數控制屬於某一額外編碼圖像之編碼圖像資訊之解碼,其 中,=額外編碼圖像資訊祇對應於相對之主要編碼圖像^ 圖像貧訊之一部分。依據本發明之編碼器之主要特徵在 於:編碼器包括編碼t置,纟用以形成主要編碼圖像及主 19 1253868 要編碼圖像之額外圖像,每一個主要編碼圖像與相對之額 外編碼圖像基本上包括相同之圖像資訊,且額外編碼圖像 中至少有一個圖像,其所包含之圖像資訊祇對應於相對之 主要編碼圖像之圖像資訊之—部分。依據本發明之解碼器 之主要特徵在於··解碼器包括偵測裝置’其用以偵測位元 肌内表示編碼圖像資訊屬於某一額外編碼圖像之參數;以 及控制裝置’其使用該參數控制屬於某—額外編瑪圖像之 編碼圖像資訊之解碼,#中,該額外編碼圖像資訊祇對應 於相對之主要編碼圖像之圖„訊之—料。依據本發明 之編碼軟體程式之主要特徵在於:包括圖像編碼之機械執 行步驟,其用以形成主要編碼圖像及主要編碼圖像之額外 圖像,每一個主要編碼圖像與相對之額外編碼圖像基本上 包括相同之圖像資訊,且額外編碼圖像中至少有一個圖 像其所包含之圖像資訊只對應於相對之主要編碼圖像之 圖像資訊之一部分。依據本發明之解碼軟體程式之主要特 徵在於··包括圖像解碼之機械執行步驟,其用以偵測位元 流内表示編碼圖像資訊屬於某一額外編碼圖像之參數;以 及控制裝置,其使用該參數控制屬於某—額外編碼圖像之 編石馬圖像資訊之解碼,其中,該額外編碼圖像f訊祇對應 於相對之主要編·像之圖像資訊之—料。依據本發^ 之储存媒體,其用以儲存包括編碼圖像機械執行步驟之軟 體程式’其主要特徵在於:主要編碼圖像及主要編碼圖像 之頜外圖像;每個主要編碼圖像與相對之額外編碼圖像美 本上包括相同之圖像資訊’且該等額外編碼圖像中至少^ 20 1253868 -個圖像’其所包含之圖像資訊祇對應於相 圖像之圖像資訊之一部分。依據本發明之傳送裝置= 特徵在於:包括一個圖像編碼之編碼器,該編碼器 碼裝置,其用以形成主要編碼圖像及主要編碼圖像之額外 編碼圖像’每個主要編碼圖像與相對之額外編碼圖像基 上包括相同之圖像資訊,且該等額外編碼圖像中至少有一 個圖像,麵包含之圖像資訊祇對應於相對之主要編碼圖 像之圖像貧訊之-料。依據本發明之接收裝置之主要特 徵在於:包括-解碼器’該解碼器包括—解碼裝置,用以 在位元流内偵測一表示該編碼圖像資訊屬於某一額外編碼 圖像之參數;以及一控制裝置,使用該參數控制屬於某一 額外編碼圖像之編碼圖像資訊之解碼,其中,該額外編碼 圖像貧訊祇對應於相對之主要編碼圖像之圖像資訊之一部 分。依據本發明之位元流之主要特徵在於:主要編碼圖像 及主要編碼圖像之額外編碼圖像;每個主要編碼圖像與相 對之額外編碼圖像基本上包括相同之圖像資訊,且該等額 外編碼圖像中至少有一個圖像,其所包含之圖像資訊祇對 應於相對之主要編碼圖像之圖像資訊之一部分。 本發明能使解碼器偵測介於主要及額外編碼圖像之邊 界以避免不必要之額外編碼圖像解碼,若主要編碼圖像可 被正確地解碼。 本發明改良編碼系統之可靠性。藉使用本發明,圖像 之正確解碼次序,相較於先前技術,能更可靠地決定,即 使某些視訊流封包無法於解碼器中得到。 21 1253868 為求一致性及清楚無誤,以下關於主要編碼及額外編 碼片段之定義將使用於本發明: 片段資料分區是基於每個語法元素之類型,將片段之 語法單元劃分成片段資料分區語法結構之方法。在JVT編 碼標準中,有3種片段資料分區語法結構:片段資料分區 A,B及C。片段資料分區A包括:除了介於預測取樣值及 解碼取樣值之差之編碼之語法元素以外,所有片段標頭内 及片段資料語法結構之語法元素。片段資料分區B包括: 在内部巨集區塊類型(I與SI巨集區塊)内,介於預測取樣值 及解碼取樣值之差之編碼之語法元素。片段資料分區c包 括:在預測間(mter_predicted)巨集區塊類型(p,sp與B巨 集區塊)内,介於預測取樣值及解碼取樣值之差之編碼之語 法元素。 主要編碼資料分區乃屬於一個主要編碼圖像之資料分 區。 主要編碼圖像乃一個圖像之主要編碼顯示。 主要編碼片段乃屬於一個主要編碼圖像之片段。 額外編碼資料分區乃屬於一個額外編碼圖像之資料分 “名員外編碼圖像乃一個圖像之額外編碼顯示,其只使用 於當^要編碼或解碼圖像損壞時。解碼額外編碼圖像可以 不含蓋整個圖像範圍。解碼主要圖像與任何解碼額外片段 之間在共同區位上不應有顯著之差 二 勹紅私士上 只外竭碼圖像不須 已枯所有在主要編碼圖像之巨集區塊。 22 !253868 額外編碼片段乃屬於一個額外編碼圖像之片段。 有兩個主要區別介於,,非編碼,,巨集區塊與不包括在額 外、為碼圖像之巨集區塊之間··第一,不包括在額外編碼圖 像之巨集區塊是不傳訊的,然而,”非編碼,,巨集區塊是位 元流編碼(基本上,每一巨集區塊使用一個位元)。 第一,解碼器不可將不包括在額外編碼圖像之區位解 碼。右任何巨集區塊不包括在接收之主要編碼圖像或相應 名員外、扁碼圖像内,解碼器應以任何專用之錯誤隱藏方法 將該等遺失之巨集區塊隱藏。相對於此,也有一特定之標 準解碼步驟使用於”非編碼”巨集區塊。 【實施方式】 以下,參考圖5之系統,圖6之編碼器丨及選擇性假 設參考解碼器(HDR)5,以及圖7之解碼器2,將本發明做 更詳盡敘述。被編碼之圖像可以舉例是來自於視訊源3之 視訊流圖像,譬如相機、視訊錄影機、等等。視訊流圖像(像 框)可分成更小之片段。片段還可細分成更小之區塊。在編 碼杰1中,視訊流被編碼以減少經由傳送頻道4輸送,或 儲存至媒體(未圖示於此)之資訊。視訊流圖像是輸入至編 碼器1。編碼器有一個編碼緩衝器hl(圖6),其用以暫存 某些將被編碼之圖像。編碼器丨還包括可應用於編碼作業 之記憶體1.3及處理器丨.2。記憶體13及處理器12可共 用於傳送I置6,或傳送裝置6可有另外之處理器及/或 圮憶體(未圖示於此),其用於傳送裝置6之其他功能。編 馬口。1執行動悲估汁(motion estimation)及/或一些其他作 23 1253868 業以壓縮視訊流。名私能# (目前*在動 十中,圖像之間相似處被編碼 =二Γ/前及〜後之圖像。若有相似處^ 在JVT中=部分可作為被編碼圖像之參考圖像。 考Hm 顯示次序與編碼次序無須相同,其中參 号圖像必須儲存於键输哭 作為參考圖像。碼緩衝器L1),抵要其 ⑽、.扁碼益!也將圖像之顯 二:貫際上,或計時資訊SEI訊息,亦或jvt句上 間軲5己(例如RTP時間標記)可被使用。 5·2^- 二,扁:圖:由編碼器i經傳送頻道4傳至解碼器 應至二;圖像; 圖像緩衝器_)2.:;解 須作為泉者 ^ 矛、h、於解碼後,立即顯示或不 干0像之结I。右可能的話,參考圖像之緩衝作用盘顯 器2.卜如此消除τ性六4 使用同一個解碼圖像緩衝 田㈣,/ 存相同圖像於兩個不同地方之需要, 因此減少解碼器2之記憶體之需求量。 万之而要’ 解碼器2也包括可座田士人Α77 理器…_ 二業之記憶體2.3及處 起,或傳送裝置8可有另;^2:^_送裝置8 一 另力外之處理器及/或 於此),其用於傳送裝置8之其他功能。…體(未圖示 編碼 以下將詳述編解碼過程。視 1 ’且儲存於前編碼緩衝器1Ί。有 入編碼器 另陶個储存圖像之主要理 24 1253868 第 跟Ik於個編碼圖像後之圖像以位元率控制 算法解析’使得該等圖像之品質沒有顯著之差異。第:運 圖像編碼次序(及解瑪次序)不同於圖像之接收次序。此種 女排從壓縮效率(例如,-PBBBP像框序列,其中介 間的,是其他兩個b框之參考像框)及/或錯誤 4 ,、a之嬈點(内部圖像之延遲)是有效的。 當第-個圖像進人編碼器後’編碼過程不須立即開 始’而是等待—絲量之圖像於編碼 f1試圖尋找適宜圖像作為參考像框。編碼器]然;= :::形成編碼圖像。編碼圖像可以為預測圖像⑺,雙預 碼=)/及/或内部編碼圖像⑴。内部編碼圖像可被解 :考Η 用其他圖像’但其他圖像型式至少須要-個 =圖像於解碼前。上述任何圖像型式皆可作為參考圖像 ,及!^馬,賦予圖像兩個時間標記:解碼時間標記(DST) 解碼:出= 記沒有須要傳送至解“ = 間標 分區::力:二編碼圖像或圖像之額外編碼資料 其不包括所有解碼所須之資訊,而僅包括其中 /、刀。、編碼111也可為同一圖像形成多於一個以卜 ,其中,不同之額外編儀 末自至)部分不同之圖像區域之資訊。最小之額外編碼 25 1253868 Θ像匕括一個片段。該片段包括一或數個巨集區塊。 編碼器1決定甚麼圖像應包括被額外地編碼之區域。 選定之標準可依不同之實施例及不同之情況而改變。例 為·i杰1可檢查是否有可能場景改變介於連續圖像之 門或口為某些理由,是否有很多改變介於連續圖像之間。 個別地,編碼器1可檢查是否圖像之某些部分存在改變以 決定圖像之某些部分應該額外編碼。為決定上述,編碼器 1叮以,例如,檢查動態向量以發現重要區域及/或對傳送/ 解碼錯誤特別敏感之區域並形成該區域之編碼資料分區。 六在傳送流中,應有某些指示表示是否存有額外片段在 名机中。该指示適宜插入在每個片段之片段標頭及/或圖像 麥數組中。一個有效實施例是使用兩個句法元素於額外片 段:第一個句法元素“redundant—slice—flag,,存於圖像參數組 中,以及另一個句法元素“redundant—pic一cnt,,存於片段標頭 中。redundant一pic_cnt”是選擇性的,且其只有當圖像參數 、、且中之redundant_slice—flag”設定為1時,才包括在片段標 頭中。 兩個句法元素之意義如下:參照圖像參數組, redundant—slice—flag 指示所有片段標頭内,redundant— pic—cnt參數之存在。圖像參數組可被一個以上之片段共 用,若所有參數對該等片段皆相等。若redundant_ slice—flag 之值為真,則該等參照該圖像參數組之片段之片段標頭包 括第二個句法元素(redundant_pic_cnt)。 對於屬於圖像主要顯示之編碼片段及資料分區, 26 1253868 redUndant—pic—cnt之值等於〇。對於包含圖像額外編碼顯示 之編碼片段及資料分區,redundant—pic—cnt之值大於〇。解 碼之圖像主要顯示與任何解碼之額外片段在同一區位上不 應有顯著之差別。具相同redundant—pic—cnt值之額外片段 及資料分區乃屬於相同之額外圖像。具相同redundant_pic_ cnt值之解碼片段不應重疊。具redundant—值大於〇 之解碼片4又可旎非含盍整個圖像範圍。圖像可具有一稱 nal—storage—idc之參數。若在主要圖像之nai—st〇ragejdc 值等於Ο,則相應之額外圖像之nal一st〇rage—idc值等於〇。 右在主要圖像之nal一storage—idc值等於非〇,則相應之額 外圖像之nal_storage一idc值等於非〇。 當資料分區不應用於額外片段時,上述句法設計是可 行的。但疋,當使用資料分區時,亦即,每一個額外片段 有3個資料分區:DPA,DPB,及Dpc,則還須要機制以 告知解碼器現在處理的是何種額外片段。為達上述目的, 應將redundant一pic一cnt包括於不僅DpA之片段標頭内,也 在DPB與DPC兩者之片段標頭内。若使用片段資料分區, 片段資料分區B與C必須與相對之片段資料分區a聯合, 以使片段能夠被解碼。片段資料分區A包括一 slic、id句 法元素,其值特別標示編碼圖像内之片段。片段資料分區 B與C包括redundant—pic—cnt句法元素,若其也存在於片 段貧料分區A之片段標頭(此乃依參照之圖像參數組之 “redundant—slice一flag”值而定)。redundant—pic—cnt 句法元 素值用於結合片段資料分區B,C與一特定之主要或額外 27 1253868 片段資料分區B與 資料分區與同一編 編碼圖像。除了 redundant一pic—cnt 外, C還包括slice—id句法元素,其用於結合 碼圖像之相對的資料分區A。 傳送 編碼圖像(及選擇的虛擬解碼)之傳送及/或儲存可立 於第^個編碼圖像備妥時。此圖像不須是解碼次序 中之^自,因為解碼次序與輸出次序可能是不相同的。 “見訊流之第i個圖像編碼後 rr生地儲存於編碼圖一。傳二 後,例如,於一特定視訊流部分被編碼後。 在某些傳送糸統中,傳送之链冰 之情況,例如輸送量,益線=:像數目決定於網路 …、踝罨鏈接之位TL錯誤率,等等。 換$之,所有額外圖像是不須傳送的。 、 解碼 有屬於-個圖像之封包二广接μ 8收集所 之正確性決定於使用:型:(=個合理之次序。次序 收緩衝器9_1(解碼前緩衝二U #收封包可儲存於接 而將其餘傳遞至解碼Γ/小接㈣8丢棄任何無關者, 若圖像之主要顯示或其中一 則解碼器❹某4% _ 失或有錯誤存在, 可傳送片段id : 岡圖像解碼。解碼器2 石馬器2有全部户斤須之片他;;不圖像之資訊至編碼器!。當解 況可能發生二=/可開始圖像解碼。有種情 “吏用額外編碼資料分區,解碼器2可 28 1253868 此無法得到某些片段。在此情況下,解碼器2 借用宜故 ^式圖’众!/如, 便用某些錯誤復原方法以減小錯誤對圖像品 ^ 0 衫冬,或 ”、、的2可丟棄錯誤圖像,而使用某些先前的圖像替 本發明可應用於許多系統及裝置。傳妒奘二 。 碼器i,選擇性之HDR5,刀值、矣始£寻^衣置6包括編 之傳二擇之5及傳运編碼圖像至傳送頻道4 3运益7。接收裝置8包括-用以接收編碼圖像之接收 為曰9’解碼器2,及—顯示解碼圖像之顯示器。傳送頻道可 =是’例如’地面線路(landlane)通訊頻道及,或無線通訊 傳送裒置及接收裝置包括丨或多個處理器1.2、2之, 其可依據本發明執行控制視訊流編/解碼處理之必須牛 驟。因此’該方法可主要用於實行處理器之機械執行步驟。 圖像之緩衝作用實行於裝置中之記憶體13、2 3。編碼器 之程式碼1.4可儲存於記憶體13。解碼器之程式碼2 4可 儲存於記憶體2.3。 29 ^253868 【圖式簡單說明】 圖1遞迴式時間延展性方案之例子, 圖2視訊額外編碼 或更多交料’其巾—圖像相被分成 又,日Φ式之獨立編碼線程, :3表示預測結構可能改進i縮效率之例子, ΠΓ改進錯誤復原力之内部圖像延遲法, 明之系統之有效實施例, ΐ::ί發明之編竭器之有效實施例, 【:據本發明之解碼器之有效實施例, 【符視訊通訊系統之方塊圖。 1 編碼器 3 視訊源 6 傳送裝置 8 接收裝置 10 顯示器 I·2處理器 I.4程式碼 5 · 2編碼緩衝哭 2·2處理器 2.4程式碼 8 01視訊輪入 803視訊源編碼器 8 0 3 _ 2熵編碼器 2 解碼器 4 頻道 7 傳送器 9 接收器 ι·ι 别編碼緩衝器 1·3 唯讀記憶體 5 假設參考解碼器 2Λ 解碼緩衝器 2·3 記憶體 800 視訊通訊系統 8〇2 傳送裝置 803.1波形編碼器 8〇4 傳送編碼器 30 1253868 805傳送頻道 806 伺服器 807接收器 808 傳送解碼器 809資源解碼器 809.1 熵解碼器 809.2波形解碼器 810 視訊輸出 31

Claims (1)

1253868 拾、申請專利範圍: 像及1 主瑪,方法,其特徵在於形成主要編碼圖 rrr額外編碼圖像本質上包含相同之圖像資:2 外編碼圖像’其所包含之圖像資訊僅對應於相 對之主要編碼圖像之—部分圖像資訊。 、,2.如中請專利範圍第β之方法,更進_步包括 达步驟’其至少傳送該主要編碼圖像至—解碼器。 :广申請專利範圍第1之方法,其中被編碼圖像包 括片&,而該額外編碼圖像包括主要編碼圖像之部分片段。 心2申請專利範圍第1項之方法,其中僅包括部分相 =主要編碼圖像之該額外編碼圖像係形成額外編碼資料 項之方法’其中至少為該等圖 ,形成-翏數組’及為每一片段形成一片段標頭,並特徵 :於有-表示是否傳送流包括額外編碼資料分區之片段之 ^標插入參數組,及將一 redund气pi,參數插入額外 、、扁碼貧料分區之每個片段標頭中。 主要編碼 6_—種位元流圖像解碼之方法,其特徵在於 32 1253868 圖像及主要編碼圖像之額外編碼圖像包含在位元流中,每 一個主要編碼圖像與相對之額外編碼圖像本質上由相同之 圖像資訊形成,且至少有一個額外編碼圖像,其所包含之 圖像資訊僅對應於相對之主要編碼圖像之一部分圖像資 訊;一位元流中之參數標示屬於某一額外編碼圖像之編碼 圖像貢訊;使用該參數控制屬於某一額外編碼圖像之編碼 圖像之解碼,其中之額外編碼圖像資訊僅對應於一部份用 於形成相對之主要編碼圖像之圖像資訊。 7·如申請專利範圍第6項之方法,更進一步包括一接 收步驟,其用以至少接收該等主要編碼圖像。 …8.如申明專利範圍帛7項之方法,更進一步包括接收 該等額外編碼圖像。 9·如中請專利範圍第8項之方法包括決定是否一主 =碼圖像含有無法解碼之區域,其特徵在於檢查是否額 區诚碼圖像之可解碼資訊包括了主要編碼圖像之無法解碼 °° 3並基於檢查結果將額外編碼圖像解碼。 請專利範圍第9項之方法其中至少為該等圖 在於有—:數,’及騎—片段形成—片段標頭,其特徵 指標插:二:否包括額外編碼資料分區之片段之 、 有一 redundant—pic__cnt參數插入額外 33 12038&8 替換wi ,该指標與redundant 像與額外編碼圖像。 編碼資料分區之每個片段標頭中 pic—cnt參數用於分辨主要編碼圖 團像編碼之編碼器,其包括形成主要編碼 圖像與主要編碼圖像之額外編碼圖像之編碼裝置固 ^ =碼圖像與相對之額外編碼圖像本質上包含相同^ 1至)有—個額外編碼圖像,其所包含之圖像資 則堇對應於相對之主要編碼目像之_部分圖像資訊。、 12·如申請專利範圍帛u項之編碼器,進 傳送器,以供將至少該主要編碼圖像傳送至—解碼器。 像包請專利範圍第11項之編碼器,其中被編碼圖 ::括“,而該額外編碼圖像包括主要編碼圖像之部分 ^如申請專利範圍第U項之編碼器,其中該編% 匕括—裝置,用以形成僅含部分相對之主要編碼圖像之額 外編碼圖像作為額外編碼資料部分。 貝 …v 丁明开们乳固术^ $心蜗碼器,包括—裝置 用以形成該圖像之至少一參數組及每一片段之片段二 而該編碼器更含有一裝置,用以將至少為該等圖像幵^ 苓數組,及為每一片段形成一片段標頭,其特徵在於有 34 !253868 ί::否::流包括額外編碼資料分區之片段之指標插入 分區之每二: 16.-種用於將位元流之圖像解碼之解碼器該位元流 ·主要編碼圖像及主要編碼圖像之額外編碼圖像,主 ^編碼圖像與相對之額外編碼圖像本質上由相同之圖像資 ^ 成且至^有一個額外編碼圖像,其所包含之圖像資 ,僅對f於相對之主要編碼圖像之一部分圖像資訊;解碼 器之特彳政在於包括··一偵測裝置用以偵測位元流内之一參 數,5亥參數用以標示屬於某一額外編碼圖像之編碼圖像資 汛,以及一控制裝置,使用該參數控制屬於某一額外編碼 圖像之編碼圖像之解碼,其中之額外編碼圖像資訊僅對應 於部份用於形成相對之主要編碼圖像之圖像資訊。 17·如申请專利範圍第16項之解碼器,進一步含有一 接收器,用以接收至少該主要編碼圖像。 18·如申請專利範圍第17項之解碼器,其中該接收器 係適於接收該額外編碼圖像。 19·如申請專利範圍第18項之解碼器,包括一裝置, 用以決定主要編碼圖像是否含有無法解碼之區域,其中該 解碼器含有一裝置用以檢查該額外編碼圖像是否含有可解 35 1253868 94. 7, ~5 碼之$訊在無法被解碼之該主要編碼圖像之區域上,及一 解碼A,用卩基於檢查結果將額外編碼圖像解碼。 20.如申請專利範圍第19項之解碼器,包括一裝置, 用以形成該圖像之至少-參數組及每—片段之片段標頭, ,該解碼器更含有一裝置’用以將_表示是否傳送流包括 頟外編碼資料分區之片段之指標插入參數組,及將一 二dUndant_pic_cnt參數插入額外編碼資料分區之每個片段 ,頭中;及一裝置’用以使用該指標及redund«加 多數區分主要編碼圖像及額外編碼圖像。 21·種包括圖像編碼之編碼器之傳送裝置,其包括形 〇主要編碼圖像與主要編碼圖像之額外編碼圖狀編碼裝 $,母一個主要編碼圖像與相對之額外編碼圖像本質上包 ^目同之®像資訊’且至少有—個額外編碼圖像,其所包 ^之圖像資訊僅㈣於相對之主要編碼圖像之—部分圖像 杠22.如申請專利範圍第2丨項之傳送裝置,更進一步包 —傳送器,其至少傳送該主要編碼圖像至一解碼器。 23·如申請專利範圍第21項之傳送裝置, =像包括片段,而該等額外編碼圖像包括主要編碼^ 之部分片段。 像 36 1253868 .口申請專利範圍第21項之傳送裝置,包括: 置至少為該等圖傻形士、 展 段標頭一裝置將數組’及為每-片段形成-片 區之片段之指標插入4:否傳送流包括額外編碼資料分 “ > 數、、且,以及將一 redundant__pic cnt茶數插人額外編碼資料分區之每個片段標頭中―。~ μ·種、包括位元流之圖像解碼之解碼器之接收裝 編碼70 w包括··主要編碼圖像及主要編碼圖像之額外 1 圖像’主要編碼®像與相狀額外編碼ϋ像本質上由 勺目:之圖像資訊形成’且至少有一個額外編碼圖像,、其所 =之圖像身訊僅對應於相對之主要編碼圖像之一部分圖 像:訊;解碼器之特徵在於包括:,裝置用則貞測位 -參數’該參數標示屬於某一額外編碼圖像之編 =圖像貧訊;以及-控制裝置,使用該參數控制屬於某一 額外編碼圖像之編碼圖像之解碼,其中之額外編碼圖像資 =僅對應至一部份用於形成相對之主要編碼圖像之圖像資 26·—種通訊系統,包括·· -用於圖像編碼之編碼器,其包括形成主要編碼圖像 一主要編碼圖像之額外編碼圖像之編碼裝置,每一個主要 編碼圖像與相對之額外編碼圖像本質上包含相同之圖像資 祗,且至少有一個額外編碼圖像,其所包含之圖像資訊僅 37 1253 獅 f, ^修涓工 ‘’’τ'* 對應於相對之主要編碼圖像之一部分圖像資訊; 一傳送器用以至少傳送該主要編碼圖像至_解碼器; 該解碼器包括:-偵測裝置用以偵測位元流内之一參 數’該參數標示屬於L卜編碼圖像之編碼圖像資訊; 以及控制裝置’使用該參數控制屬於某—額外編碼圖像 之編碼圖像之解碼,其巾之額外編碼圖像資訊僅對應於一 部份用於形成相對之主要編碼圖像之圖像資訊。 27·—種附載於電腦可讀取之媒體上之電腦程式產 口口,該程式包括圖像編碼之機械執行步驟,用以形成:主 要編碼圖像與主要編碼圖像之額外編碼圖像,每一個主要 編碼圖像與相對之額外編碼圖像本質上包含相同之圖像資 訊,且至少有一個額外編碼圖像,其所包含之圖像資訊僅 對應於相對之主要編碼圖像之一部分圖像資訊。 28·—種附載於電腦可讀取之媒體上之電腦程式產 品’該程式包括位元流圖像解碼之機械執行步驟,而該位 元流含有:主要編碼圖像及主要編碼圖像之額外編碼圖 像,主要編碼圖像與相對之額外編碼圖像本質上由相同之 圖像資訊形成,且至少有一個額外編碼圖像,其所包含之 圖像資訊僅對應於相對之主要編碼圖像之一部分圖像資 訊;該機械執行步驟之軟體程式係用於偵測位元流内之一 參數,該參數標示屬於某一額外編碼圖像之編碼圖像資 訊;以及使用該參數控制屬於某一額外編碼圖像之編碼圖 38 1253868 ’其中之額外編碼圖像資訊僅對應於-部份 、乂成相對之主要編碼圖像之圖像資訊。 及一種儲存媒體,用以錯存包括位元流圖像編碼 械執仃步驟之軟體程式,該機械 / ]機 、:碼圖像及主要編碼圖像之額外編碼圖像 :圖=*之額外編碼圖像本質上包含相同= 二f 個額外編碼圖像,其所包含之圖像資訊僅 對應於相對之主要編碼圖像之—部分圖像資訊。胃則堇 ㈣半種儲存媒體,用以館存包括位元流圖像解碼之機 :订V驟之軟體程式,而該位元流含有主要編碼圖像及 要編碼圖像之額外編碼圖像,主要編碼圖像與相對 編碼圖像本質上由相同之圖像資訊形成,且至少有—個 領外編碼圖像,其所包含之圖㈣訊僅對應於㈣之 ,碼圖像之-部分圖像資訊;該機械執行步驟 係用則貞測位4内之—參數,該參數標示屬於某一^ 編碼圖像之編碼圖像資訊;以及使用該參數控制屬於某一 領外編碼圖像之編像之解碼,其巾之額外編碼圖像 訊僅對應於-部份用於形成相對之主要編碼圖像之圖像資 訊。 、 31· 一種記錄有位元流之載體,該位元流含有主要編碼 圖像及主要編碼圖像之額外編㈣像,每—個主要編碼圖 39 1253868 像與相對之額外編碼圖像 至少有-個額外編碼圖像,相同之圖像資訊,且 相對/、所包含之圖像資訊僅對應於 對之主要編碼圖像之—部分圖像資訊。 32·-種傳送裝置所用之處理機 之編碼器,豆句括你# 栝用於圖像、,扁碼 外編' 要編碼圖像與主要編碼圖像之額 „ 母一個主要編碼圖像與相對之額 :=本:上包含相同之圖像資訊,且至少有 、=像:所包含之圖像資訊僅對應於相對 馬圖像之一部分圖像資訊。 33.如申請專利範圍帛32項之處理機,進一步包括— 傳送器’用以將至少該主要編碼圖像傳送至—解碼器。 八片P 又 w亥額外編碼圖像包括主要編碼圖像之部 包括3-5 =請專利範圍第3 2項之處理機,其中該編瑪器 、’用以形成僅含部分相對之主要編碼圖 外編碼圖像作為額外編碼資料部分。頸 36·如申請專利範圍第35項之處理機,包括一穿 用以形成該圖像之至少-參數組及每-片段之片段標頭’, 40 I25786F 而該解碼器更含有一裝置,用以將至少為該等圖像形成一 ί數組,及為母一片段形成一片段標頭,其特徵在於有一 表示疋否傳送流包括額外編碼資料分區之片段之指標插入 參數組,及將一 redimdarn—pic—cnt參數插入額外編碼資料 分區之每個片段標頭中。 、 37·—種接收裝置所用之處理機,包括一解碼器,用以 解碼位元流之圖像,該位元流包括·· 主要編碼圖像及主要編碼圖像之額外編碼圖像,主要 編碼圖像與相對之額外編碼圖像本質上由相同之圖像資訊 形成’且至少有一個額外編碼圖$,其戶斤包含之圖像資訊 僅對應於相對之主要編碼圖像之一部分圖像資訊; 其中該解碼器包括: 偵測裝置,用以偵测位元流内 該編碼圖像資訊屬於額外編碼圖像;及 :制裝置,用以使用該參數控制屬於某一額外編碼圖 資訊之解碼,其中之額外編碼圖像資訊僅對 …a用於形成相對之主要編碼圖像之圖像資訊。 如甲晴專利範圍第37項之處理機 接收器,用以接收至少該主要編碼圖像。 其中該接收器 ^ 39.如申請專利範圍第%項之處理機 係適於接收該額外編碼圖像。 41 I2RE?r n
40·如申請專利範圍第39項之處理機,包括一裝置, 主要編碼圖像是否含有無法解碼之區域,其中該 77碼=^有一裝置用以檢查該額外編碼圖像是否含有可解 碼之資訊在無法被解碼之該主要編碼圖像之區域上,及一 解碼為,用以基於檢查結果將額外編碼圖像解碼。 41 ·如申請專利範圍第40項之處理機,包括一裝置, 用以形成該圖像之至少一參數組及每一片段之片段標頭, 而該解碼器更含有一裝置,用以將一表示是否傳送流包括 額外編碼資料分區之片段之指標插入參數組,及將一 redundant_pic_cnt參數插入額外編碼資料分區之每個片段 標頭中;及一裝置,用以使用該指標及redundant_pic_cnt 參數區分主要編碼圖像及額外編碼圖像。 42
TW093111683A 2003-04-30 2004-04-27 Picture coding method TWI253868B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/427,737 US20040218669A1 (en) 2003-04-30 2003-04-30 Picture coding method

Publications (2)

Publication Number Publication Date
TW200427335A TW200427335A (en) 2004-12-01
TWI253868B true TWI253868B (en) 2006-04-21

Family

ID=33310239

Family Applications (1)

Application Number Title Priority Date Filing Date
TW093111683A TWI253868B (en) 2003-04-30 2004-04-27 Picture coding method

Country Status (11)

Country Link
US (1) US20040218669A1 (zh)
EP (1) EP1618747A1 (zh)
JP (1) JP2006526908A (zh)
KR (1) KR20050122281A (zh)
CN (1) CN1781314A (zh)
AR (1) AR044118A1 (zh)
BR (1) BRPI0409491A (zh)
MX (1) MXPA05011533A (zh)
MY (1) MY137090A (zh)
TW (1) TWI253868B (zh)
WO (1) WO2004098196A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826238B2 (en) 2011-06-30 2017-11-21 Qualcomm Incorporated Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8321907B2 (en) * 2004-02-09 2012-11-27 Panasonic Corporation Broadcast receiving apparatus, broadcast receiving method, broadcast receiving program, and broadcast receiving circuit
JP4564350B2 (ja) * 2004-12-27 2010-10-20 株式会社東芝 信号処理装置
KR20070114308A (ko) * 2005-04-07 2007-11-30 노키아 코포레이션 스트리밍 배달의 버퍼링
US7933294B2 (en) 2005-07-20 2011-04-26 Vidyo, Inc. System and method for low-delay, interactive communication using multiple TCP connections and scalable coding
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
EP1952631A4 (en) * 2005-09-07 2012-11-21 Vidyo Inc SYSTEM AND METHOD FOR SCALABLE AND DECELERATING VIDEO CONFERENCES WITH SCALABLE VIDEO CODING
FR2894739A1 (fr) * 2005-12-12 2007-06-15 Thomson Licensing Sa Procede de codage, procede de decodage, dispositif de codage et dispositif de decodage de donnees video
US7827467B2 (en) * 2006-01-04 2010-11-02 Nokia Corporation Method for checking of video encoder and decoder state integrity
WO2007081150A1 (en) * 2006-01-09 2007-07-19 Electronics And Telecommunications Research Institute Method defining nal unit type and system of transmission bitstream and redundant slice coding
KR101378079B1 (ko) * 2006-04-20 2014-03-28 톰슨 라이센싱 중복 비디오 코딩을 위한 방법 및 장치
US8520733B2 (en) 2006-06-30 2013-08-27 Core Wireless Licensing S.A.R.L Video coding
US7584495B2 (en) * 2006-06-30 2009-09-01 Nokia Corporation Redundant stream alignment in IP datacasting over DVB-H
CN101513068B (zh) * 2006-09-28 2013-10-09 汤姆森许可贸易公司 一种冗余编码方法、产生编码的设备和方法及接收编码的方法
US9872045B2 (en) 2006-10-16 2018-01-16 Conversant Wireless Licensing S.A R.L. Method, electronic device, system, computer program product and circuit assembly for reducing error in video coding
SG179403A1 (en) * 2007-02-23 2012-04-27 Nokia Corp Backward-compatible characterization of aggregated media data units
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
FR2932036B1 (fr) * 2008-06-03 2011-01-07 Thales Sa Procede et systeme permettant de proteger un flux video compresse contre les erreurs survenant lors d'une transmission
US20100027614A1 (en) * 2008-08-04 2010-02-04 Legend Silicon Corp. Error awareness and means for remedying same in video decoding
JP5100572B2 (ja) * 2008-08-25 2012-12-19 キヤノン株式会社 符号化装置
US8934530B2 (en) * 2011-02-01 2015-01-13 Vidyo, Inc. Spatial scalability using redundant pictures and slice groups
AU2012225513B2 (en) 2011-03-10 2016-06-23 Vidyo, Inc. Dependency parameter set for scalable video coding
CN102438150B (zh) * 2011-09-29 2013-10-30 华中科技大学 一种抗信道误码的图像无损压缩检纠错编解码方法
MX341068B (es) * 2012-04-23 2016-08-05 Panasonic Ip Corp America Método de codificacion de imágenes, método de decodificacion de imágenes, aparato de codificacion de imágenes, aparato de decodificacion de imágenes y aparato de codificacion y decoficación de imágenes.
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
WO2014158049A1 (en) * 2013-03-28 2014-10-02 Huawei Technologies Co., Ltd Method for protecting a video frame sequence against packet loss
CN104754341B (zh) * 2013-12-31 2019-02-26 华为技术有限公司 一种视频数据编码、解码的方法和装置
EP3420726B1 (en) * 2016-02-26 2021-05-19 Versitech Limited Shape-adaptive model-based codec for lossy and lossless compression of images
CN108668170B (zh) * 2018-06-01 2021-07-02 北京市商汤科技开发有限公司 图像信息处理方法及装置、存储介质
CN108668169B (zh) * 2018-06-01 2021-10-29 北京市商汤科技开发有限公司 图像信息处理方法及装置、存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
US5557331A (en) * 1993-03-11 1996-09-17 Matsushita Electric Industrial Co., Ltd. Image encoding method, an image encoding circuit, an image encoding apparatus, and an optical disk
JP3629728B2 (ja) * 1994-08-31 2005-03-16 ソニー株式会社 動画像信号符号化方法、動画像信号符号化装置及び動画像信号記録媒体
US5734443A (en) * 1995-12-28 1998-03-31 Philips Electronics North America Corporation Method and device for performing source transitions in a video system which performs entropy encoding
GB2352350B (en) * 1999-07-19 2003-11-05 Nokia Mobile Phones Ltd Video coding
US7110452B2 (en) * 2001-03-05 2006-09-19 Intervideo, Inc. Systems and methods for detecting scene changes in a video data stream

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826238B2 (en) 2011-06-30 2017-11-21 Qualcomm Incorporated Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit

Also Published As

Publication number Publication date
KR20050122281A (ko) 2005-12-28
JP2006526908A (ja) 2006-11-24
MXPA05011533A (es) 2005-12-12
AR044118A1 (es) 2005-08-24
CN1781314A (zh) 2006-05-31
EP1618747A1 (en) 2006-01-25
US20040218669A1 (en) 2004-11-04
TW200427335A (en) 2004-12-01
WO2004098196A1 (en) 2004-11-11
MY137090A (en) 2008-12-31
BRPI0409491A (pt) 2006-05-02

Similar Documents

Publication Publication Date Title
TWI253868B (en) Picture coding method
JP3931595B2 (ja) データ修正装置及びデータ修正方法
JP4982024B2 (ja) ビデオ符号化方法
TWI396445B (zh) 媒體資料的傳送/接收方法、編碼器、解碼器、儲存媒體、用於編碼/解碼圖像之系統、電子設備及傳送裝置、以及用於解碼圖像之接收裝置
US8532194B2 (en) Picture decoding method
JP5007012B2 (ja) ビデオ符号化方法
TWI280059B (en) Picture coding method
TW200904194A (en) Feedback based scalable video coding
WO2006111087A1 (en) H.264-based error eliminating method for compressed video transmission
CN114554198B (zh) 基于纠删码的视频关键帧冗余传输方法和系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees