TW201419871A - 用於編碼標準可縮放性之層間參考圖像處理技術 - Google Patents

用於編碼標準可縮放性之層間參考圖像處理技術 Download PDF

Info

Publication number
TW201419871A
TW201419871A TW102134746A TW102134746A TW201419871A TW 201419871 A TW201419871 A TW 201419871A TW 102134746 A TW102134746 A TW 102134746A TW 102134746 A TW102134746 A TW 102134746A TW 201419871 A TW201419871 A TW 201419871A
Authority
TW
Taiwan
Prior art keywords
rpu
signal
encoding
standard
stream
Prior art date
Application number
TW102134746A
Other languages
English (en)
Other versions
TWI581613B (zh
Inventor
Peng Yin
Tao-Ran Lu
Tao Chen
Original Assignee
Dolby Lab Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Lab Licensing Corp filed Critical Dolby Lab Licensing Corp
Publication of TW201419871A publication Critical patent/TW201419871A/zh
Application granted granted Critical
Publication of TWI581613B publication Critical patent/TWI581613B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

視訊資料係於一編碼標準分層位元串流中編碼。給定一基本層(BL)信號及一或多個加強層(EL)信號，該BL信號係使用遵照一第一編碼標準的一BL編碼器編碼成一編碼BL串流。應答該BL信號及該EL信號，一參考處理單元(RPU)決定RPU處理參數。應答該等RPU處理參數及該BL信號，該RPU產生一層間參考信號。使用遵照一第二編碼標準的一EL編碼器，該EL信號係編碼成一編碼EL串流，於該處該EL信號的編碼係至少部分根據該層間參考信號。具有遵照該第一及該第二編碼標準的一RPU及視訊解碼器的接收器可解碼該BL及該EL編碼串流。

Description

用於編碼標準可縮放性之層間參考圖像處理技術 參考相關申請案
本案請求美國臨時專利申請案第61/706,480號之優先權，申請日2012年9月27日，爰引於此並融入本說明書之揭示。
發明領域
本發明大致上係有關於影像。更明確言之，本發明之實施例係有關於用於編碼標準可縮放性的層間參考圖像處理。
發明背景
音訊及視訊壓縮乃多媒體內容的發展、儲存、配銷、及消費上的關鍵成分。壓縮方法的選擇涉及編碼效率、編碼複雜度、與延遲間的折衷。隨著處理功率對運算成本之比的增高，許可發展出更複雜的壓縮技術允許更有效的壓縮。舉例言之，於視訊壓縮中，得自國際標準組織(ISO)的動畫專家群(MPEG)仍持續基於原先MPEG-1視訊標準改良，發行MPEG-2、MPEG-4(部分2)、及H.264/AVC(或MPEG-4，部分10)編碼標準。
儘管H.264的壓縮效率及成功，目前正在發展新一代視訊壓縮技術，稱作為高效率視訊編碼(HEVC)。HEVC的草稿可得自「高效率視訊編碼(HEVC)文字規格稿本8」，ITU-T/ISO/IEC視訊編碼聯合協作團隊(JCT-VC)文件JCTVC-J1003，2012年7月，作者B.Bross,W.-J.Han,G.J.Sullivan,J.-R.Ohm,及T.Wiegand，爰引於此並融入本說明書之揭示預期可提供優於既有H.264(又稱AVC)標準的改良壓縮能力，後述標準公開為「針對通用影音服務的進階視訊編碼」，ITU T Rec.H.264及ISO/IEC 14496-10，全文爰引於此並融入本說明書之揭示。如此處發明人瞭解，預期隨後數年期間H.264將仍為全球數位視訊配銷上的主要視訊編碼標準。進一步須瞭解更新穎標準諸如HEVC須許可與既有標準的回溯可相容性。
如此處使用，「編碼標準」一詞表示可為以標準為基礎的開放來源或專有壓縮(編碼)及解壓縮(解碼)演算法，諸如MPEG標準、視窗媒體視訊(WMV)、快閃視訊、VP8等。
本章節描述的辦法係為可依循之辦法，但非必要為先前已經構想或依循的辦法。因此除非另行指示否則不應推定本章節描述的任何辦法只因含括於本章節即認為屬先前技術。同理，除非另行指示否則就一或多個辦法所識別的議題不應基於本章節即視為任何先前技術的辦法。
依據本發明之一實施例，係特地提出一種編碼於 一編碼標準分層串流中之輸入資料之方法包含：使用一基本層(BL)編碼器將一BL信號編碼成一編碼BL串流，該BL編碼器係遵照一第一編碼標準；應答於該BL信號及一加強層(EL)信號，使用一參考處理單元(RPU)決定RPU處理參數；應答於該RPU處理參數及該BL信號，使用該RPU產生一層間參考信號；及使用一EL編碼器將該EL信號編碼成一編碼EL串流，該EL編碼器係遵照一第二編碼標準，該EL信號的編碼係為至少部分根據該層間參考信號。
102‧‧‧基本層(BL)信號
104‧‧‧加強層(EL)信號
110‧‧‧BL編碼器、H.264編碼器
112‧‧‧編碼BL串流
115、530-3‧‧‧參考處理單元(RPU)
117‧‧‧RPU資料
120‧‧‧EL編碼器、HEVC編碼器
122、134‧‧‧編碼EL串流
125‧‧‧MUX
127‧‧‧可縮放位元串流
130‧‧‧DEMUX
132‧‧‧解碼BL
135‧‧‧解碼RPU
136‧‧‧RPU層串流
140‧‧‧BL解碼器
142‧‧‧BL輸出信號
144‧‧‧EL輸出信號
150‧‧‧EL解碼器
502‧‧‧4K 120p輸入信號
510‧‧‧空間及時間向下取樣
512‧‧‧1080 60p漸進式信號
515‧‧‧EL1編碼器
517‧‧‧第二加強層串流
520‧‧‧漸進式介面
522-1‧‧‧交插信號BL
522-2‧‧‧交插信號EL0
530‧‧‧編碼器
530-1‧‧‧BL編碼器
530-2‧‧‧EL0編碼器
532‧‧‧1080 30i BL串流
535‧‧‧RPU(向上取樣)
537‧‧‧第一加強層串流
705-750、805-850、910-960‧‧‧步驟
BL‧‧‧基本層
EL0‧‧‧第一加強層
EL1‧‧‧第二加強層
本發明之實施例係於附圖圖式中藉舉例說明但非限制性，及其中類似的元件符號係指相似的元件，及附圖中：圖1描繪依據本發明之一實施例支援編碼標準可縮放性的一編碼系統之一具體實施例；圖2A及圖2B描繪依據本發明之一實施例支援AVC/H.264及HEVC編碼譯碼可縮放性的一編碼系統之一具體實施例；圖3描繪依據本發明之一實施例使用一裁切窗的分層編碼之一實施例；圖4描繪依據本發明之一實施例針對交插式圖像的層間處理之一實施例；圖5A及圖5B描繪依據本發明之一實施例支援編碼標準可縮放性的層間處理之實施例；圖6描繪依據本發明之一實施例針對信號編碼模 型可縮放性的RPU處理之一實施例；圖7描繪依據本發明之一實施例編碼處理之一實施例；圖8描繪依據本發明之一實施例解碼處理之一實施例；及圖9描繪依據本發明之一實施例解碼RPU處理之一實施例。
較佳實施例之詳細說明
此處描述用於編碼標準可縮放性之層間參考圖像處理技術。給定一基本層信號，該基本層信號係藉一基本層(BL)編碼器遵照一第一編碼標準(例如H.264)編碼，一參考處理單元(RPU)處理程序根據在該基本層及一或多個加強層中的輸入信號之特性而產生參考圖像及RPU參數。此等層間參考圖框可由加強層(EL)編碼器使用，該EL編碼器係遵照一第二編碼標準(例如HEVC)以壓縮(編碼)一或多個加強層信號，及將該等加強層信號與該基本層組合以形成一可縮放性位元串流。於一接收器中，在使用遵照第一編碼標準的一BL解碼器解碼一BL串流後，一解碼器RPU可施用所接收的RPU參數以從該已解碼BL串流產生層間參考圖框。此等參考圖框可由遵照第二編碼標準的一EL解碼器使用以解碼該已編碼EL串流。
於後文詳細說明部分中，為了解說目的，陳述無數特定細節以供徹底瞭解本發明。但顯然須瞭解可無此等 特定細節而具現本發明。於其它情況下，非以全面詳盡細節敘述眾所周知的結構及裝置，以免不必要地遮掩本發明。
綜論
此處描述的具體實施例係有關於用於編碼標準可縮放性之層間參考圖像處理技術。於一個實施例中，視訊資料係以編碼標準分層位元串流編碼。給定基本層(BL)信號及加強層(EL)信號，該BL信號係運用遵照第一編碼標準的BL編碼器而編碼成一BL串流。應答該BL信號及該EL信號，一參考處理單元(RPU)決定RPU處理參數。應答該等RPU處理參數及該BL信號，該RPU產生一層間參考信號。運用遵照第二編碼標準的一EL編碼器，該EL信號被編碼成一編碼EL串流，於該處該EL信號的編碼係至少部分根據該層間參考信號。
於另一實施例中，一接收器解碼一所接收的可縮放性位元串流以產生一編碼BL串流、一編碼EL串流、及一RPU資料串流。遵照第一編碼標準的一BL解碼器解碼該已編碼BL串流而產生一已解碼BL串流。具有一RPU的接收器也可解碼該RPU資料串流以決定RPU處理參數。應答該等RPU處理參數及該BL信號，該RPU可產生一層間參考信號。遵照第二編碼標準的一EL解碼器可解碼該已編碼EL串流以產生一解碼EL信號，於該處該編碼EL信號的解碼係至少部分根據該層間參考信號。
以分層為基礎的編碼標準可縮放性
壓縮標準諸如MPEG-2、MPEG-4(部分2)、 H.264、快閃(flash)等標準係全球用以輸送數位內容通過多種媒體，諸如DVD碟或藍光碟，或用以透過空中、有線、或寬頻廣播。當發展出新穎視訊編碼標準諸如HEVC時，若該等新穎標準支援與既有標準的若干後向可相容性，則可增加該等新穎標準的適應性。
圖1描繪支援編碼標準可縮放性的一系統之具現實施例。該編碼器包含一基本層(BL)編碼器(110)及一加強層(EL)編碼器(120)。於一實施例中，BL編碼器110為舊式編碼器，諸如MPEG-2或H.264編碼器，及EL編碼器120為新穎標準編碼器，諸如HEVC編碼器。但此種系統適用於已知編碼器或未來編碼器的任一項組合，無論該等編碼器係以標準為基礎或為專有編碼器皆係如此。該系統也可擴延以支援多於兩個編碼標準或編碼演算法。
依據圖1，一輸入信號可包含二或多個信號，例如基本層(BL)信號102及一或多個加強層(EL)信號，例如EL 104。信號BL 102係運用BL編碼器110壓縮(或編碼)以產生一編碼BL串流112。信號EL 104係藉EL編碼器120壓縮以產生編碼EL串流122。該等二串流係經多工化(例如藉MUX 125)以產生一編碼可縮放性位元串流127。於一接收器中，一解多工器(DEMUX 130)可分開二編碼位元串流。一舊式解碼器(例如BL解碼器140)可只解碼基本層132以產生一BL輸出信號142。但支援新穎編碼方法的一解碼器(EL編碼器120)也可解碼由該編碼EL串流134所提供的額外資訊，以產生EL輸出信號144。BL解碼器140(例如MPEG-2或H.264解 碼器)係相對應於BL編碼器110。EL解碼器150(例如HEVC解碼器)係相對應於EL編碼器120。
此種可縮放系統比較藉適當地探索層間預測的一聯播系統能夠更改良編碼效率，該聯播系統換言之，係藉將得自較低層(例如102)的資訊列入考慮而編碼該加強層信號(例如104)。由於BL編碼器及EL編碼器遵照不同的編碼標準，故於一實施例中，編碼標準可縮放性可透過一分開處理單元亦即編碼參考處理單元(RPU)115達成。
RPU 115可視為下述RPU設計的擴延，該RPU設計係描述於PCT申請案PCT/US2010/040545，「用於格式可相容性3D視訊傳輸的編碼及解碼架構」，申請人A.Tourapis等人，申請日2010年6月30日，公告為WO 2011/005624，該案係爰引於此並融入本說明書之揭示用於全部目的。除非另行相反載明，否則後文RPU之描述係適用於編碼器的RPU及適用於解碼器的RPU二者。熟諳視訊編碼相關技藝界人士當研讀本文揭示時將瞭解其間的差異，且將能夠區別編碼器專一性、解碼器專一性、及通用性RPU描述、功能及方法。於如圖1描繪的視訊編碼系統之脈絡中，根據選擇不同RPU濾波器及方法的一法則集合，RPU(115)基於得自BL編碼器110的已解碼影像而產生層間參考圖框。
RPU 115許可該項處理在區域層面具有適應性，於該處該圖像/序列的各區域係根據該區域的特性處理。RPU 115能夠使用水平、垂直、或二維(2D)濾波器、邊緣適應性或以頻率為基礎的區域相依性濾波器、及/或像素 複製濾波器或其它方法或手段以交插、解交插、過濾、向上取樣、及其它影像處理。
一編碼器可選擇RPU處理程序及輸出區域處理信號，其係提供給一解碼器RPU(例如135)作為輸入資料。該發訊(例如117)可以每區為基礎載明該處理方法。舉例言之，與區域屬性諸如，數目、大小、形狀及其它特性相關的參數可載明於RPU-資料相關聯資料標頭。該等濾波器之一部分可包含固定濾波係數，於該種情況下，該等濾波係數無需由該RPU明確地發訊。其它處理模式可包含明確模式，其中處理參數諸如係數值係明確地發訊。RPU方法也可根據各個分色載明。
RPU資訊發訊117可嵌置於編碼位元串流內(例如127)，或分開傳送給解碼器。RPU資料可連同其上進行RPU處理的該層發訊。此外或另外，全部各層的RPU資料可在一個RPU資料封包內部發訊，該資料係嵌入該位元串流中位在嵌入EL編碼資料之前或之後。針對一給定層而言，RPU資料的提供可為選擇性。於無法取得RPU資料之情況下，如此可使用一內設方案以進行該層的向上轉換。同理，一加強層編碼位元串流的提供也是選擇性的。
一實施例許可在一RPU內部選擇處理步驟的多項可能方法。多項標準可分開地或結合用以決定RPU處理。RPU選擇標準可包括基本層位元串流之解碼品質、加強層位元串流之解碼品質、各層編碼包括RPU資料所要求的位元率、及/或資料的解碼及RPU處理的複雜度。
該RPU 115可用作為一預處理階段，在利用得自BL編碼器110的資訊作為在EL編碼器120中的加強層的潛在預測器之前，該RPU 115可處理該資訊。與RPU處理有關的資訊可使用一RPU層串流136，通訊(例如作為母資料)給一解碼器，如圖1描繪。RPU處理可包含多種影像處理操作，諸如：色彩空間變換、非線性量化、色度及彩度向上取樣、及濾波。於一典型具現中，EL 122、BL 112、及RPU資料117信號係經多工化成為一單一編碼位元串流(127)。
解碼器RPU 135係相對應於編碼器RPU 115，且利用來自RPU資料輸入136的指導，藉由執行與由該編碼器RPU 115所執行的操作之相對應操作而可輔助該EL層134的解碼。
圖1描繪的實施例容易擴延至支援多於二層。此外，可擴延至支援額外可縮放性特徵包括：時間上、空間上、SNR、彩度、位元深度、及多視角可縮放性。
H.264及HEVC編碼標準可縮放性
於一具體實施例中，圖2A及圖2B描繪以層為基礎的編碼標準可縮放性當其應用至HEVC及H.264標準時的一具體實施例。沒有喪失通用性，圖2A及圖2B只描繪兩層；但該等方法容易地擴延至支援多個加強層的系統。
如圖2A描繪，H.264編碼器110及HEVC編碼器120二者包含內預測、間預測、正向變換與量化(FT)、反向變換與量化(IFT)、熵編碼(EC)、解塊濾波器(DF)、及解碼圖像緩衝器(DPB)。此外，一HEVC編碼器也包括一樣本適 應偏移(SAO)塊。於一實施例中，容後詳述，RPU 115可在解塊濾波器(DF)之前或從該DPB存取BL資料。同理，於多標準解碼器(參考圖2B)中，解碼器RPU 135也可在解塊濾波器(DF)之前或從該DPB存取BL資料。
於可縮放性視訊編碼中，「多回路解決方案」表示一分層解碼器，於該處於一加強層中的圖像係根據藉同一層及其它次層擷取的參考圖像解碼。基本/參考層的圖像經重建及儲存於解碼圖像緩衝器(DPB)。此等基本層圖像，稱作層間參考圖像，可於解碼加強層中作為額外參考圖像。然後加強層具有選項以使用時間參考圖像或層間參考圖像。一般而言，層間預測輔助於可縮放性系統改良EL編碼效率。因AVC及HEVC乃兩個不同編碼標準，及其使用不同編碼方法，可能需要額外層間處理以保證AVC編碼圖像被視為有效HEVC參考圖像。於一實施例中，此種處理可藉RPU 115執行，原因在於其次將對各個關注案例解說。用於編碼標準可縮放性，RPU 115的使用有助於解決源自於使用兩種不同標準，包括高語法層面及編碼工具層面的差異或衝突。
圖像排序號碼(POC)
HEVC及AVC在高階語法具有若干差異。此外，相同語法在各項標準可具有不同意義。RPU可在基本層與加強層間作為高階語法「轉譯器」。其中一個實施例為與圖像排序號碼(POC)相關語法。於層間預測中，要緊地須將得自基本層的層間參考圖像與編碼於加強層的圖像同步化。當基本層及加強層使用不同圖像編碼結構時，此種同步化 甚至更為要緊。對AVC及HEVC標準二者，該術語圖像排序號碼(POC)係用以指示編碼圖像的顯示順序。但於AVC中，有三種方法來發訊POC資訊(以變數pic_order_cnt_type指示)，而於HEVC中只許可一種方法，係與AVC案例的pic_order_cnt_type==0相同。於一實施例中，當在AVC位元串流中pic_order_cnt_type係不等於0時，然後RPU(135)將須轉譯成符合HEVC語法的POC值。於一實施例中，編碼器RPU(115)可藉使用新穎pic_order_cnt_lsb變數的額外POC相關資料，如表1所示。於另一實施例中，編碼器RPU可單純迫使基本層AVC編碼器只使用pic_order_cnt_type==0。
於表1中，pic_order_cnt_lsb針對目前層間參考圖像載明圖像排序號碼模MaxPicOrderCntLsb。pic_order_cnt_lsb語法元素的長度為log2_max_pic_order_cnt_lsb_minus4+4位元。pic_order_cnt_lsb之值須在0至MaxPicOrderCntLsb-1(含)之範圍。當pic_order_cnt_lsb為不存在時，推論pic_order_cnt_lsb等於0。
裁切窗
於AVC編碼中，圖像解析度須為16的倍數。於HEVC編碼中，圖像解析度可為8的倍數。當處理該RPU中的層間參考圖像時，須使用一裁切窗以去除AVC中的填補 像素。若基本層及加強層具有不同的空間解析度(例如基本層為1920x1080及加強層為4K)，或若圖像縱橫比(PAR)為不同(亦即加強層為16：9 PAR及基本層為4：3 PAR)，則該影像須經裁切及可據此調整大小。裁切窗相關RPU語法之一實施例係顯示於表2。
於表2中，pic_cropping_flag等於1指示圖像裁切偏差參數接在其次。若pic_cropping_flag=0，則圖像裁切偏差參數不存在，及不要求裁切。
就載明於RPU輸入的圖像座標中的矩形區域而言，pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、及pic_crop_bottom_offset載明於輸入RPU解碼過程的編碼視訊序列的圖像中之樣本數。
注意因RPU方法係針對各個層間參考執行，裁切窗參數可根據逐一圖框基礎改變。如此，以適應性關注區為基礎的視訊重新靶定係使用搖攝(變焦)-掃描法支援。
圖3描繪分層編碼之一實施例，於該處HD(例如 1920x1080)基本層係使用H.264編碼，及提供可藉全部舊式HD解碼器解碼的一圖像。較低解析度(例如640x480)加強層可用以提供對「變焦」特徵的選擇性支援。EL層具有比BL更低的解析度，但可以HEVC編碼以減低總位元率。如此處描述的層間編碼可進一步改良此一EL層的編碼效率。
回路內解塊濾波器
AVC及HEVC二者於編碼及解碼製程中採用解塊濾波器(DF)。因基於區塊編碼故，解塊濾波器意圖減少區塊缺陷。但於各項標準的設計相當不同。於AVC中，解塊濾波器係以4x4樣本網格基礎施用，但於HEVC中，解塊濾波器係只施用至排齊8x8樣本網格的邊緣。於HEVC中，類似AVC，解塊濾波器的強度係只藉數個語法元素值控制，但AVC支援五個強度，而HEVC只支援三個強度。於HEVC中，比較AVC有較少濾波案例。舉例言之，針對亮度，選用三個情況中之一者：無濾波、強濾波、及弱濾波。針對彩度，只有兩個情況：無濾波及正常濾波。為了對齊基本層參考圖像與得自加強層的時間參考圖像間之解塊濾波器操作，適用數種辦法。
於一個實施例中，無AVC解塊的參考圖像可藉RPU直接存取，而未經進一步後處理。於另一實施例中，RPU可施用HEVC解塊濾波器(DF)至層間參考圖像。於HEVC的濾波決策係基於數個語法元素值，諸如變換係數、參考指數、及移動向量。若RPU須分析全部資訊以做濾波決策則實際變複雜。取而代之，可根據8x8區塊層面、編碼 單元(CU)層面、最大編碼單元或編碼樹單元(LCU/CTU)層面、LCU倍數層面、截割片層面或圖像層面明確地發訊該濾波器指數。可分開地發訊亮度及彩度濾波器指數，或可共用相同語法。表3顯示解塊濾波器決策如可指示為RPU資料串流的部分的一實施例。
於表3中，filter_idx載明亮度及彩度成分的濾波器指數。針對亮度，filter_idx等於0載明無濾波。filter_idx等於1載明弱濾波。filter_idx等於2載明強濾波。針對彩度，filter_idx等於0或1載明無濾波及filter_idx等於2載明正常濾波。
樣本適應偏移(SAO)
SAO為在解塊濾波器(DF)之後透過詢查表修正樣本的方法。如圖2A及圖2B之描繪，SAO只是HEVC標準的一部分。SAO的目的係藉使用一詢查表而更佳地重建原先信號幅值，詢查表係藉數個額外參數描述，該等參數可藉在編碼器端的直方圖分析決定。於一個實施例中，RPU可運用如HEVC描述的確切SAO方法，處理得自AVC基本層的解塊/非解塊層間參考圖像。發訊可以區域為基礎，藉CTU(LCU)層面、LCU層面的倍數、截割片層面、或圖像層面調適。表4顯示用以通訊SAO參數的語法實施例。於表4中，標記語法係與HEVC規格中描述者相同。
適應回路濾波器(ALF)
在HEVC的發展期間，也評估適應回路濾波器(ALF)作為在SAO之後的一處理方塊；但ALF並非HEVC第一版本的一部分。因ALF處理能夠改進層間編碼，故若藉一未來編碼器具現，則ALF也是可藉RPU具現的另一個處理步驟。ALF的適應可為以區域為基礎，藉CTU(LCU)層面、LCU層面的倍數、截割片層面、或圖像層面調適。ALF參數之一實施例係藉alf_picture_info()描述，參考「高效率視訊編碼(HEVC)文字規格草稿7」，作者B.Bross,W.-J.Han,G.J.Sullivan,J.-R.Ohm,及T.Wiegand,ITU-T/ISO/IEC視訊編碼聯合協作團隊(JCT-VC)文件JCTVC-I1003，2012年5月，該揭示全文係爰引於此並融入本說明書之揭示。
交插式及漸進式掃描
AVC支援漸進式及交插式內容二者的編碼工具。針對交插順序，其許可圖框編碼及欄位編碼二者。於HEVC中，不存在有明確編碼工具以支援交插式掃描的使用。HEVC只提供母資料語法(欄位指示SEI訊息語法及VUI)以許可一編碼器指示如何編碼交插式內容。考慮下列景況。
景況1：基本層及加強層二者為交插
用於此種景況，可考慮數種方法。於一第一實施例中，該編碼器可限於只根據每個序列基礎而改變於一圖框或欄位模式中的基本層編碼。加強層將遵照得自該基本層的編碼決策。換言之，若AVC基本層在一個序列中使用欄位編碼，則HEVC加強層將也在該相對應序列使用欄位編 碼。同理，若AVC基本層在一個序列中使用圖框編碼，則HEVC加強層將也在該相對應序列使用圖框編碼。須注意針對欄位編碼，於AVC語法中發訊的垂直解析度為該圖框高度；但於HEVC中，在該語法中發訊的垂直解析度為該欄位高度。在該位元串流中通訊此項資訊時須特別小心，尤其若使用一裁切窗時尤為如此。
於另一實施例中，該AVC編碼器可使用圖像層面適應圖框或欄位編碼，而HEVC編碼器執行序列層面適應圖框或欄位編碼。於二情況下，RPU可以下列方式中之一者處理層間參考圖像：a)該RPU可將該層間參考圖像當作欄位處理，而與於AVC基本層中的圖框或欄位編碼決策無關；或b)該RPU可根據於AVC基本層中的圖框/欄位編碼而適應該等層間參考圖像的處理。換言之，若AVC基本層係為圖框編碼，則該RPU可將該層間參考圖像當作一圖框處理，否則將該層間參考圖像當作欄位處理。
圖4描繪景況1之實施例。標記法Di或Dp標示圖框率及該格式是否為交插式或漸進式。如此，Di標示每秒D交插式圖框(或2D欄位/秒)及Dp標示每秒D漸進式圖框。於本實施例中，基本層包含標準傳真度(SD)720x480，30i序列，使用AVC編碼。加強層為高傳真度(HD)1920x1080，60i序列，使用HEVC編碼。本實施例結合編碼譯碼可縮放性、時間可縮放性、及空間可縮放性。時間可縮放性係使用階層結構，只有時間預測(本模式由單層內的HEVC支援)，藉加強層HEVC解碼器處理。空間可縮放性係藉RPU 處理，其調整且同步化層間參考欄位/圖框的截割片與在加強層中的其相對應欄位/圖框的截割片。
景況2：基本層為交插式及加強層為漸進式
於本景況中，AVC基本層為交插式序列，及HEVC加強層為漸進式序列。圖5A描繪一具體實施例，其中輸入4K 120p信號(502)係編碼為三層：1080 30i BL串流(532)、編碼為108060p的一第一加強層(EL0)串流(537)，及編碼為4K 120p的一第二加強層(EL1)串流(517)。BL信號及EL0信號係使用H.264/AVC編碼器編碼，而EL1信號可使用HEVC編碼。在該編碼器上，始於高解析度高圖框4K，120p信號(502)，該編碼器施加時間及空間向下取樣(510)以產生漸進式1080 60p信號512。利用互補漸進至解交插技術(520)，編碼器也可產生兩個互補1080 30i交插信號BL 522-1及EL0 522-2。如此處使用，「互補漸進至解交插技術」表示一種方案從相同漸進式輸入產生兩個交插信號，於該處兩個交插信號皆具有相同解析度，但一個交插信號包括得自漸進式信號的欄位而非屬該第二交插信號的一部分。舉例言之，若於時間Ti，i=0,1,...,n的輸入信號係被劃分成頂及底交插欄位(頂Ti，底Ti)，則第一交插信號可使用(頂T0，底T1)，(頂T2，底T3)，等組成，而第二交插信號可使用其餘欄位組成，亦即：(頂T1，底T0)，(頂T3，底T2)，等。
於本實施例中，BL信號522-1乃能夠藉舊式解碼器編碼的反向可相容交插信號，而EL0信號522-2表示得自原先漸進式信號的互補樣本。針對完整圖框率的終圖像組 成，從該BL信號重建的每個欄位圖像須與在相同接取單元內部但具有相反欄位奇偶性的一欄位圖像組合。編碼器530可為AVC編碼器，包含兩個AVC編碼器(530-1及530-2)及RPU處理器530-3。編碼器530可運用得自BL信號及EL0信號二者的參考圖框，使用層間處理以壓縮信號EL0。RPU 530-3可用以製備由530-2編碼器所使用的BL參考圖框。也可用以產生漸進式信號537以由EL1編碼器515用於EL1信號502的細碼。
於一實施例中，於該RPU(535)中的向上取樣處理係用以將由RPU 530-3的1080 60p輸出(537)轉換成4K 60p信號欲由HEVC編碼器515於層間預測期間使用。EL1信號502可使用時間及空間可縮放性編碼以產生一壓縮4K 120p串流517。解碼器可施用類似處理以解碼一1080 30i信號、一1080 60p信號、或一4K 120p信號。
圖5B描繪依據一實施例，交插/漸進系統的另一具體實施例。此乃兩層系統，於該處1080 30i基本層信號(522)係使用AVC編碼器(540)編碼以產生一編碼BL串流542，及4K 120p加強層信號(502)係使用HEVC編碼器(515)編碼以產生編碼EL串流552。此二串流可經多工化以形成一編碼可縮放性位元串流572。
如圖5B之描繪，RPU 560可包含兩項處理：一解交插處理，其將BL 522轉換成1080 60p信號；及一向上取樣處理，其將1080 60p信號轉回4K 60p信號，故於編碼器515中的層間預測期間，該RPU的輸出可用作為一參考信號。
景況3：基本層為漸進式及加強層為交插式
於一個實施例中，於本景況中，RPU可將漸進式層間參考圖像轉換成交插圖像。此等交插圖像可藉該RPU處理作為a)經常性為欄位，而與HEVC編碼器使用以序列為基礎的圖框編碼或欄位編碼獨立無關；或作為b)欄位或圖框，取決於由HEVC編碼器所使用的模式。表5描繪可用以指導解碼器RPU有關該編碼器處理程序的一語法實施例。
於表5中，base_field_seq_flag等於1，指示基本層編碼視訊序列傳遞表示欄位的圖像。base_field_seq_flag等於0，指示基本層編碼視訊序列傳遞表示圖框的圖像。
enh_field_seq_flag等於1，指示加強層編碼視訊序列傳遞表示欄位的圖像。enh_field_seq_flag等於0，指示加強層編碼視訊序列傳遞表示圖框的圖像。
表6顯示一RPU如何根據base_field_seq_flag或enh_field_seq_flag旗標而處理參考圖像。
信號編碼模型可縮放性
γ-編碼可謂最廣為人使用的信號編碼模型，由於其用以表示標準動態範圍(SDR)影像的效率。晚近針對高動態範圍(HDR)成像之研究中，發現對若干類型的影像，其它信號編碼模型更能有效地表示資料，諸如知覺量化器(PQ)述於「UHDTV的參數值」，由Craig Todd提交給SG6 WP 6C，WP6C/USA002，或美國臨時專利申請案序號61/674,503，申請日2012年7月23日，及名稱「橫跨不同顯示能力以知覺亮度非線性度為基礎的影像資料交換」，申請人Jon S.Miller等人，二文全文皆係爰引於此並融入本說明書之揭示。因此，可能可縮放系統可具有一層γ-編碼的SDR內容，及另一層使用其它信號編碼模型編碼的高動態範圍內容。
圖6描繪一實施例於該處RPU 610(例如圖1中的RPU 115)可經設定以調整基本層的信號量化器。給定一BL信號102(例如8-位元SDR視訊信號，γ編碼於4：2：0 Rec.709)，及一EL信號104(例如12-位元HDR視訊信號，PQ編碼於4：4：4於P3色彩空間)，於RPU 610中的處理可包含：γ-解碼，其它反向對映(例如色彩空間轉換、位元深度轉換、彩度取樣等)，及SDR對HDR知覺量化(PQ)。信號解碼及編碼方法(例如γ及PQ)及相關參數可為連同編碼位元串流一起傳輸的母資料之一部分，或可為一未來HEVC語法的一部分。此種RPU處理可組合與其它型別的可縮放性相關的其它RPU處理，諸如位元深度、彩度格式、及色彩空間可縮 放性。如圖1描繪，相似的RPU處理也可於可縮放位元串流127的解碼期間藉一解碼器RPU執行。
可縮放性擴延可包括若干其它類別，諸如：空間或SNR可縮放性、時間可縮放性、位元深度可縮放性、及彩度解析度可縮放性。因此，RPU可經組配以在多種編碼景況下處理層間參考圖像。為了更佳的編碼器-解碼器可相容性，編碼器可結合特定RPU相關位元串流語法以指導相對應RPU解碼器。該語法可於多個編碼層面更新，包括：截割片層面、圖像層面、GOP層面、景物層面、或序列層面。也可含括於多個輔助資料，諸如：NAL單元標頭、序列參數集(SPS)及其擴延、次SPS、圖像參數集(PPS)、截割器標頭、SEI訊息、或新穎NAL單元標頭。由於可有大量RPU相關的處理工具，於一個實施例中，為了獲得具現上的最大彈性及容易度，發明人提示針對RPU保有新穎NAL單元型別來使其變成一分開位元串流。在此種具現下，一分開RPU模組添加至編碼器及解碼器模組以與該基本層及該等一或多個加強層交互作用。表7顯示於一新穎NAL單元中RPU資料語法的一實施例，其包括rpu_header_data()(顯示於表8)及rpu_payload_data()(顯示於表9)。於本實施例中，多重區劃許可以區域為基礎的解塊及SAO決策。
於表8中，rpu_type載明針對該RPU信號的預測型別目的。其可用以載明不同種可縮放性。舉例言之，rpu_type等於0可載明空間可縮放性，及rpu_type等於1可載明位元深度可縮放性。為了組合不同的可縮放性模式，也可使用一遮罩變數，諸如rpu_mask。例如，rpu_mask=0x01(二進制00000001)可表示只有空間可縮放性被作動。rpu_mask=0x02(二進制00000010)可表示只有位元深度可縮放性被作動。rpu_mask=0x03(二進制00000011)可表示空間及位元深度可縮放性二者皆被作動。
deblocking_present_flag等於1指示與解塊濾波器相關的語法係存在於該RPU資料。
sao_present_flag等於1指示與SAO相關的語法係存在於該RPU資料。
alf_present_flag等於1指示與ALF濾波器相關的語法係存在於該RPU資料。
num_x_partitions_minus1表示用以細分在RPU中於水平維度的已處理圖像之區劃數目。
num_y_partitions_minus1表示用以細分在RPU中於垂直維度的已處理圖像之區劃數目。
於另一實施例中，替代使用POC以同步化基本層及加強層圖像，RPU語法係於圖像層面發訊，故多個圖像可重複使用相同RPU語法，結果導致減低位元額外負擔，於若干具現中可能減輕處理額外負擔。於本具現之下，rpu_id將加入RPU語法。於slice_header()中，將經常性地使 用rpu_id以同步化RPU語法與目前截割片，於該處rpu_id變數識別於截割片標頭中述及的rpu_data()。
圖7描繪依據一實施例編碼方法之一實施例。給定一系列圖像(或圖框)，編碼器使用BL編碼器利用第一壓縮標準(例如AVC)編碼一基本層(715)。其次(720、725)，如圖2A及2B之描繪，RPU處理程序115可在解塊濾波器(DF)之前或之後存取基本層圖像。可根據速率失真(RD)最佳化或RPU執行的處理做出決策。舉例言之，若RPU執行向上取樣，也可用在解塊該等區塊邊界，則該RPU可恰在該解塊濾波器(DF)之前使用已解碼的基本層，及該向上取樣處理可保有更多細節。RPU 115可根據BL及EL編碼參數決定該等RPU處理參數。若有所需，該RPU處理也可從EL輸入存取資料。然後，於步驟730，RPU根據所決定的該等RPU處理參數而處理層間參考圖像。所產生的層間圖像(735)現在由EL編碼器利用第二壓縮標準(例如HEVC編碼器)以壓縮加強層信號。
圖8描繪依據一實施例解碼方法之一實施例。首先(810)，解碼器剖析輸入位元串流的高階語法以擷取序列參數及RPU相關資訊。其次(820)，使用BL解碼器利用第一壓縮標準(例如AVC解碼器)解碼基本層。在解碼RPU處理相關參數(825)後，RPU處理根據此等參數而產生層間參考圖像(步驟830及835)。最後，解碼器使用遵照利用第二壓縮標準(例如HEVC解碼器)的EL解碼器以解碼加強層(840)。
給定表1-9界定的RPU參數實施例，圖9描繪依據 一實施例解碼RPU處理方法之一實施例。首先(910)，解碼器從位元串流語法擷取高階RPU相關資料，諸如RPU型別(例如表8的rpu_type)、POC()、及pic_cropping()。「RPU型別」係指須被考慮的RPU相關次方法，諸如：編碼標準可縮放性、空間可縮放性、位元深度可縮放性等，如前文討論。給定一BL圖框，可首先處理裁切及ALF相關操作(例如915、925)。其次，在擷取所要求的交插或解交插模式之後(930)，針對各個區劃，RPU執行解塊及SAO相關操作(例如935、940)。若須執行額外RPU處理(945)，則RPU解碼合宜參數(950)，及然後依據此等參數執行操作。在本處理結束時，一序列層間圖框可由EL解碼器用以解碼EL串流。
電腦系統具現實施例
本發明之實施例可使用一電腦系統、以電子電路及組件組配的系統、一積體電路(IC)裝置諸如微控制器、可現場程式規劃閘陣列(FPGA)、或其它可組配或可規劃邏輯裝置(PLD)、離散時間或數位信號處理器(DSP)、特定應用積體電路(ASIC)、及/或包括此等系統、裝置或組件中之一或多者的設備具現。電腦及/或IC可從事、控制或執行與RPU處理相關的指令，諸如前文描述者。電腦及/或IC可運算與如此處描述的RPU處理相關的多個參數及數值中之任一者。RPU相關實施例可於硬體、軟體、韌體及其各項組合具現。
某些本發明之實施例包含電腦處理器，其執行軟體指令使得處理器執行本發明之方法。舉例言之，於顯示 器、編碼器、機上盒、轉碼器等中的一或多個處理器可藉於處理器可存取的程式記憶體內執行軟體指令而具現如前文描述的RPU處理方法。本發明也可以程式產品形式提供。該程式產品可包含任何媒體，載有包含指令的一集合電腦可讀取信號，該指令當由一資料處理器執行時使得該資料處理器執行本發明之方法。依據本發明之程式產品可呈多種形式中之任一種。該程式產品例如可包含實體媒體諸如磁性資料儲存媒體包括軟碟、硬碟機、光學資料儲存媒體包括CD ROM、DVD、電子資料儲存媒體包括ROM、快閃RAM等。程式產品上的電腦可讀取信號可選擇性地經壓縮或加密。
當於前文述及一組件(例如軟體模組、處理器、總成、裝置、電路等)時，除非另行指示否則係指該組件(包括述及一「構件」)須解譯為包括執行所述組件的功能(例如功能上相當的)任何組件作為該組件之任何相當物，包括並非結構上相當於所揭示結構但在本發明示例說明之具體實施例中執行功能的該等組件。
相當例、擴延例、替代例及其它
如此，已經描述與RPU處理及以標準為基礎的編碼譯碼器可縮放性之具體實施例。於前文說明書中，已經參照依各個具現而異的多個特定細節描述本發明之實施例。如此，本發明之唯一及排它的指標及由申請人意圖以本版本的特定形式含任何隨後的訂正涵蓋於本發明者係列舉於本案的申請專利範圍各項。針對此等申請專利範圍各 項中之術語明確地陳述的任何定義將包括如申請專利範圍各項使用的此等術語的定義。因此，申請專利範圍各項中未明確地引述的限制、元件、性質、特徵、優點、或屬性絕非限制此等申請專利範圍各項之範圍。據此，本說明書及附圖須視為示例說明性而非限制性意義。
502‧‧‧4K 120p輸入信號
510‧‧‧空間及時間向下取樣
512‧‧‧1080 60p漸進式信號
515‧‧‧EL1編碼器
517‧‧‧第二加強層串流
520‧‧‧漸進式介面
522-1‧‧‧交插信號BL
522-2‧‧‧交插信號EL0
530‧‧‧編碼器
530-1‧‧‧BL編碼器
530-2‧‧‧EL0編碼器
530-3‧‧‧參考處理單元(RPU)
532‧‧‧1080 30i BL串流
535‧‧‧RPU(向上取樣)
537‧‧‧第一加強層串流
BL‧‧‧基本層
EL0‧‧‧第一加強層
EL1‧‧‧第二加強層

Claims (18)

  1. 一種編碼於一編碼標準分層串流中之輸入資料之方法，該方法係包含：使用一基本層(BL)編碼器將一BL信號編碼成一編碼BL串流，該BL編碼器係遵照一第一編碼標準；應答於該BL信號及一加強層(EL)信號，使用一參考處理單元(RPU)決定RPU處理參數；應答於該RPU處理參數及該BL信號，使用該RPU產生一層間參考信號；使用一EL編碼器將該EL信號編碼成一編碼EL串流，該EL編碼器係遵照一第二編碼標準，該EL信號的編碼係為至少部分根據該層間參考信號。
  2. 如請求項1之方法，其中該第一編碼標準係包含根據H.264標準編碼及該第二編碼標準係包含根據HEVC標準編碼。
  3. 如請求項1之方法，其中決定該等RPU處理參數係進一步包含使用該RPU解析該第一與該第二編碼標準間之一或多個差異，其中該差異係與高階語法或編碼工具有關。
  4. 如請求項3之方法，其中該等RPU處理參數係包含與圖像排序號碼(POC)、裁切窗、回路內解塊濾波器、樣本適應偏移(SAO)、適應回路濾波器(ALF)、交插及漸進掃描、或信號編碼模型相關的一或多個參數。
  5. 如請求項4之方法，其中與裁切窗相關的該等RPU處理參數係包含指示接續其次的一或多個圖像裁切偏移參 數的一變數，接著為該等一或多個圖像裁切偏移參數。
  6. 如請求項4之方法，其中與回路內解塊濾波器相關的該等RPU處理參數係包含一變數指示是否執行無濾波、弱濾波、或強濾波。
  7. 如請求項3之方法，其中該RPU係解析於一圖像排序號碼(POC)變數的該語法中之差異及將該POC變數的該語法從於該編碼BL串流中定義的一第一值轉譯成遵照該第二編碼標準的一第二值。
  8. 如請求項3之方法，其中該RPU係解析於與編碼交插及漸進圖像相關的該等編碼工具中的差異。
  9. 如請求項8之方法，其中與編碼交插及漸進圖像相關的該等RPU處理參數係包含指示該基本層信號是否為一一交插及漸進信號的一第一變數及指示該EL信號是否為一一交插及漸進信號的一第二變數。
  10. 如請求項3之方法，其中該RPU係解析與回路內解塊濾波器相關的該等編碼工具之差異。
  11. 一種解碼一編碼標準分層串流之方法，該方法係包含：接收一編碼BL串流、一編碼EL串流、及一RPU資料串流；使用一BL解碼器解碼該編碼BL串流以產生一解碼BL信號，該BL解碼器係遵照一第一編碼標準；以一RPU解碼該RPU資料串流以決定RPU處理參數；應答於該等RPU處理參數及該BL信號，使用該RPU產生一層間參考信號；使用一EL解碼器解碼該編碼EL串流以產生一解碼 EL信號，該EL解碼器係遵照一第二編碼標準，該EL信號的解碼係至少部分根據該層間參考信號。
  12. 如請求項11之方法，其中該第一編碼標準係包含根據H.264標準解碼及該第二編碼標準係包含根據HEVC標準解碼。
  13. 如請求項11之方法，其中該等RPU處理參數係包含與圖像排序號碼(POC)、裁切窗、回路內解塊濾波器、樣本適應偏移(SAO)、適應回路濾波器(ALF)、交插及漸進掃描、或信號編碼模型相關的一或多個參數。
  14. 如請求項11之方法，其中與裁切窗相關的該等RPU處理參數係包含指示接續其次的一或多個圖像裁切偏移參數的一變數，接著為該等一或多個圖像裁切偏移參數。
  15. 如請求項11之方法，其中與回路內解塊濾波器相關的該等RPU處理參數係包含一變數指示是否執行無濾波、弱濾波、或強濾波。
  16. 如請求項11之方法，其中與編碼交插及漸進圖像相關的該等RPU處理參數係包含指示該基本層信號是否為一一交插及漸進信號的一第一變數及指示該EL信號是否為一一交插及漸進信號的一第二變數。
  17. 一種設備，其係包含一處理器及其係經組配以執行如請求項1或11之方法中之任一者。
  18. 一種非過渡電腦可讀取儲存媒體，其上儲存有用以執行如請求項1或11之方法的電腦可讀取指令。
TW102134746A 2012-09-27 2013-09-26 用於編碼標準可縮放性之層間參考圖像處理技術 TWI581613B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261706480P 2012-09-27 2012-09-27

Publications (2)

Publication Number Publication Date
TW201419871A true TW201419871A (zh) 2014-05-16
TWI581613B TWI581613B (zh) 2017-05-01

Family

ID=49305195

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102134746A TWI581613B (zh) 2012-09-27 2013-09-26 用於編碼標準可縮放性之層間參考圖像處理技術

Country Status (18)

Country Link
US (3) US20150326865A1 (zh)
EP (3) EP3255890B1 (zh)
JP (1) JP6152421B2 (zh)
KR (1) KR101806101B1 (zh)
CN (2) CN104685879A (zh)
AU (1) AU2013323836B2 (zh)
BR (1) BR112015006551B1 (zh)
CA (1) CA2884500C (zh)
HK (1) HK1205838A1 (zh)
IL (1) IL237562A (zh)
IN (1) IN2015DN02130A (zh)
MX (1) MX346164B (zh)
MY (2) MY201898A (zh)
RU (1) RU2595966C1 (zh)
SG (1) SG11201502435XA (zh)
TW (1) TWI581613B (zh)
UA (1) UA111797C2 (zh)
WO (1) WO2014052292A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014000168A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Cross-layer cross-channel residual prediction
KR20210129266A (ko) * 2012-07-09 2021-10-27 브이아이디 스케일, 인크. 멀티 레이어 비디오 코딩용 코덱 아키텍처
CN110087091B (zh) 2012-08-06 2021-11-12 Vid拓展公司 多层视频编码中用于空间层的采样栅格信息
EP2904804A1 (en) * 2012-10-04 2015-08-12 VID SCALE, Inc. Reference picture set mapping for standard scalable video coding
EP2928198A4 (en) * 2012-11-27 2016-06-22 Lg Electronics Inc SIGNAL TRANSMISSION DEVICE AND SIGNAL TRANSMISSION METHOD
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
JP6560230B2 (ja) * 2014-01-02 2019-08-14 ヴィド スケール インコーポレイテッド インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム
US20150195549A1 (en) * 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
US10244242B2 (en) 2014-06-25 2019-03-26 Qualcomm Incorporated Multi-layer video coding
EP3010231A1 (en) 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
US20160234522A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Video Decoding
WO2017019704A2 (en) 2015-07-28 2017-02-02 Dolby Laboratories Licensing Corporation Sdr bit depth enhancement via codeword range amplification in a codec with inverse display management
US11405611B2 (en) 2016-02-15 2022-08-02 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
US10178394B2 (en) * 2016-06-10 2019-01-08 Apple Inc. Transcoding techniques for alternate displays
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
GB2570324A (en) * 2018-01-19 2019-07-24 V Nova Int Ltd Multi-codec processing and rate control
US11284075B2 (en) * 2018-09-12 2022-03-22 Qualcomm Incorporated Prediction of adaptive loop filter parameters with reduced memory consumption for video coding
JP7374137B2 (ja) * 2019-03-01 2023-11-06 アリババ・グループ・ホールディング・リミテッド 適応解像度ビデオコーディング
EP3942818A1 (en) * 2019-03-20 2022-01-26 V-Nova International Ltd Residual filtering in signal enhancement coding
US11336894B2 (en) 2019-09-20 2022-05-17 Tencent America LLC Signaling of reference picture resampling with resampling picture size indication in video bitstream
US11140402B2 (en) * 2019-09-20 2021-10-05 Tencent America LLC Signaling of reference picture resampling with constant window size indication in video bitstream
US10848166B1 (en) 2019-12-06 2020-11-24 Analog Devices International Unlimited Company Dual mode data converter
EP4062319A4 (en) 2019-12-26 2023-01-11 ByteDance Inc. REPORTING DECODED FRAME BUFFER PARAMETERS IN LAYERED VIDEO
WO2021134015A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Profile, tier and layer indication in video coding
EP4066499A4 (en) 2019-12-27 2023-01-11 ByteDance Inc. SYNTAX FOR SIGNALING VIDEO IMAGES
CN115004669A (zh) 2020-01-09 2022-09-02 字节跳动有限公司 不同sei消息的解码顺序
RU2742871C1 (ru) * 2020-02-19 2021-02-11 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Способ двумерной дискретной фильтрации объектов заданного размера
CN112702604B (zh) * 2021-03-25 2021-06-29 北京达佳互联信息技术有限公司 用于分层视频的编码方法和装置以及解码方法和装置
EP4324198A1 (en) * 2021-04-14 2024-02-21 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement in cross-component sample adaptive offset
CN116939218A (zh) * 2022-04-08 2023-10-24 华为技术有限公司 区域增强层的编解码方法和装置
GB2619096A (en) * 2022-05-27 2023-11-29 V Nova Int Ltd Enhancement interlacing

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005507590A (ja) * 2001-10-26 2005-03-17 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
ES2536680T3 (es) * 2003-04-28 2015-05-27 Panasonic Corporation Aparato de reproducción, método de reproducción, medio de grabación, aparato de grabación, método de grabación para grabar un flujo de vídeo y gráficos que tienen indicación de tiempo de descodificación con información de ventana sobre visualización de gráficos
KR101117586B1 (ko) * 2003-12-03 2012-02-27 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1880553A4 (en) * 2005-04-13 2011-03-02 Lg Electronics Inc METHOD AND DEVICE FOR DECODING A VIDEO SIGNAL USING REFERENCE PICTURES
US7777812B2 (en) * 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling
KR20070074452A (ko) * 2006-01-09 2007-07-12 엘지전자 주식회사 영상신호의 엔코딩/디코딩시의 레이어간 예측 방법
US8451899B2 (en) * 2006-01-09 2013-05-28 Lg Electronics Inc. Inter-layer prediction method for video signal
CN100584026C (zh) * 2006-03-27 2010-01-20 华为技术有限公司 交织模式下的视频分层编码方法
KR100896291B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
TWI392368B (zh) * 2006-11-17 2013-04-01 Lg Electronics Inc 視訊訊號之解碼方法、解碼裝置及其電腦可讀取媒介
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
US8155184B2 (en) * 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
WO2011005624A1 (en) * 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
BR112012005588A2 (pt) * 2009-09-16 2019-09-24 Koninl Philips Electronics Nv dispositivo para processar dados de imagem tridimensional (3d) para exibição em um monitor 3d para um espectador em uma configuração de visualização espacial alvo, método para processar dados de imagem tridimensional (3d) para exibição em um monitor 3d para um espectador em uma configuração de visualização espacial alvo, sinal de imagem 3d para trnsferir dados de magem tridimensional (3d) para exibição em um monitor 3d para um espectador em uma configuração de visualização espacial alvo, portadora de registro e produto de programa de computador para processar dados de imagem tridimensional (3d) para exibição em um monitor 3d para um espectador
JP2011217272A (ja) * 2010-04-01 2011-10-27 Canon Inc 映像処理装置及びその制御方法
FR2966680A1 (fr) * 2010-10-25 2012-04-27 France Telecom Procedes et dispositifs de codage et de decodage d'au moins une image a partir d'un epitome hierarchique, signal et programme d'ordinateur correspondants
US20130016776A1 (en) * 2011-07-12 2013-01-17 Vidyo Inc. Scalable Video Coding Using Multiple Coding Technologies

Also Published As

Publication number Publication date
AU2013323836A1 (en) 2015-03-19
US20170264905A1 (en) 2017-09-14
US20160286225A1 (en) 2016-09-29
RU2595966C1 (ru) 2016-08-27
SG11201502435XA (en) 2015-05-28
EP3255890A2 (en) 2017-12-13
BR112015006551A2 (pt) 2017-07-04
HK1205838A1 (zh) 2015-12-24
KR20150060736A (ko) 2015-06-03
CN104685879A (zh) 2015-06-03
US20150326865A1 (en) 2015-11-12
CN110460846B (zh) 2021-12-31
MX2015003865A (es) 2015-07-17
MY172388A (en) 2019-11-22
IN2015DN02130A (zh) 2015-08-14
BR112015006551B1 (pt) 2022-12-06
CA2884500C (en) 2017-09-05
MX346164B (es) 2017-03-08
EP3748969A1 (en) 2020-12-09
EP3255890B1 (en) 2020-08-19
JP2015537409A (ja) 2015-12-24
JP6152421B2 (ja) 2017-06-21
EP3255890A3 (en) 2018-02-28
CN110460846A (zh) 2019-11-15
IL237562A0 (en) 2015-04-30
CA2884500A1 (en) 2014-04-03
EP3748969B1 (en) 2024-01-03
UA111797C2 (uk) 2016-06-10
AU2013323836B2 (en) 2017-12-07
TWI581613B (zh) 2017-05-01
EP2901689A1 (en) 2015-08-05
KR101806101B1 (ko) 2017-12-07
MY201898A (en) 2024-03-22
WO2014052292A1 (en) 2014-04-03
IL237562A (en) 2017-12-31

Similar Documents

Publication Publication Date Title
TWI581613B (zh) 用於編碼標準可縮放性之層間參考圖像處理技術
US10237565B2 (en) Coding parameter sets for various dimensions in video coding
JP5063684B2 (ja) ビデオ信号のデコーディング／エンコーディング方法及び装置
JP5519654B2 (ja) 低減ビット深度更新モードおよび低減色度サンプリング更新モードを用いるビデオコーディングおよびデコーディングのための方法および装置
TW202046739A (zh) 用於適應性迴圈濾波器變數之適應變數集合
US20160316215A1 (en) Scalable video coding system with parameter signaling
JP2009540666A (ja) ビデオ信号のデコーディング／エンコーディング方法及び装置
TWI811651B (zh) 用於視頻編碼及解碼的高階語法
TWI827919B (zh) 用於視頻編碼及解碼的高階語法
JP2023542227A (ja) 補助情報のシグナリング
EP3272124B1 (en) Scalable video coding system with parameter signaling