TW201436531A - 多層視訊編碼適應性升取樣 - Google Patents

多層視訊編碼適應性升取樣 Download PDF

Info

Publication number
TW201436531A
TW201436531A TW102135024A TW102135024A TW201436531A TW 201436531 A TW201436531 A TW 201436531A TW 102135024 A TW102135024 A TW 102135024A TW 102135024 A TW102135024 A TW 102135024A TW 201436531 A TW201436531 A TW 201436531A
Authority
TW
Taiwan
Prior art keywords
filter
upsampling
video sequence
video
filters
Prior art date
Application number
TW102135024A
Other languages
English (en)
Inventor
Jie Dong
En-Ming Luo
yu-wen He
Yan Ye
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of TW201436531A publication Critical patent/TW201436531A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

揭露了用於多層視訊編碼的適應性升取樣的系統、方法和手段。傳遞視訊資料的方法可包括將升取樣濾波器應用於視訊序列以產生編碼後的增強層圖像。該升取樣濾波器可應用在視訊序列的序列級以產生增強層位元流。可例如藉由確定是否存在與視訊序列相關的類別資訊和選擇針對與視訊序列相關的類別所設計的候選升取樣濾波器以從多個候選升取樣濾波器中選擇該升取樣濾波器。可編碼升取樣濾波器資訊。編碼後的升取樣濾波器資訊可包括該升取樣濾波器的多個係數。可在輸出視訊位元流中發送編碼後的升取樣濾波器資訊和編碼後的增強層圖像。該方法可例如經由編碼器來執行。

Description

多層視訊編碼適應性升取樣
相關申請案的交叉引用
本申請案要求2012年9月28日提出的美國臨時專利申請案No.61/706,941和2013年1月10日提出的美國臨時專利申請案No.61/750,883的權益，所述申請案的內容以引用的方式結合於此。
[01]
視訊編碼系統用來壓縮數位視訊信號以降低該信號的儲存需求及/或傳輸頻寬。視訊編碼系統可以包含基於區塊的系統、基於小波的系統、基於物件的系統等。可以使用並部署基於區塊的混合視訊編碼系統。基於區塊的視訊編碼系統的示例包含但不限於例如MPEG1/2/4部分2、H.264/MPEG-4部分10 AVC和VC-1標準的國際視訊編碼標準。      [02]
隨著智慧手機和平板電腦在解析度和計算能力兩方面的增長，例如視訊聊天、行動視訊記錄和分享及視訊流之類的額外視訊應用可在異質環境中傳送視訊資料。如考慮多種消費裝置（如個人電腦、智慧手機、平板電腦、電視等）的3螢幕和N螢幕的場景可適應在計算能力、記憶體/儲存大小、顯示解析度、顯示畫面播放速率等方面具有很大能力差異的裝置上的視訊消費。網路和傳輸頻道可能在封包丟失率、可用頻道頻寬、叢發錯誤率等方面具有很大的特性差異。可經由有線網路和無線網路的組合來傳輸視訊資料，這會使得底層（underlying）傳輸頻道的特徵更加複雜。      [03]
可縮放（scalable）視訊編碼可提供解決方案以改善經由異質網路對在具有不同能力的裝置上運行的視訊應用的體驗品質。可縮放視訊編碼可以用最高表示（representation）（如時間解析度、空間解析度、品質等）對信號進行一次編碼並且能夠依據由在客戶裝置上運行的應用所採用的具體速率和表示從視訊流的子集進行解碼。相較於不可縮放視訊編碼，可縮放視訊編碼可以節省頻寬和儲存空間。例如但不限於MPEG-2視訊、H.263、MPEG4視件和H.264的視訊標準可具有支援一些可縮放性模式的工具及/或設定檔。      [04]
[05]
揭露了用於多層視訊編碼的適應性升取樣的系統、方法和工具。傳遞視訊資料的方法可包括對視訊序列應用升取樣濾波器以產生編碼後的增強層圖像。可對升取樣濾波器資訊進行編碼。編碼後的升取樣資訊可包括升取樣濾波器的多個係數。可以在輸出視訊位元流中發送編碼後的升取樣濾波器資訊和編碼後的增強層圖像。可由例如編碼器來執行該方法。      [06]
傳遞視訊資料的方法可以包含接收輸入位元流，該輸入位元流包括編碼後的增強層圖像及/或升取樣濾波器資訊，該升取樣濾波器資訊屬於用來建立編碼後的增強層圖像的升取樣濾波器。可對升取樣濾波器資訊解碼以建構升取樣濾波器。可至少部分地將升取樣濾波器應用於對基礎層（base layer）圖像進行升取樣。例如，升取樣濾波器可被應用在序列級（sequence level）以解碼視訊序列的增強層圖像。升取樣濾波器可被用於視訊序列的圖像級（picture level）、視訊序列的片段級（slice level）、及/或視訊序列的區塊級（block level）。升取樣後的基礎層圖像可用於對編碼後的增強層圖像進行解碼。可以從輸入位元流中的第一升取樣濾波器資訊來建構第一升取樣濾波器。可以從輸入位元流中的第二升取樣濾波器資訊來建構第二升取樣濾波器。可應用第一升取樣濾波器對基礎層圖像中的第一像素集進行升取樣。可應用第二升取樣濾波器以對基礎層圖像中的第二像素集進行升取樣。第一像素集和第二像素集表示基礎層圖像中的不同像素。可例如藉由解碼器執行該方法。
用信號發送升取樣濾波器資訊的方法可包括將多個升取樣濾波器中的每一個濾波器分類為固定濾波器或定製濾波器、並且確定多個升取樣濾波器中的哪些濾波器與對視訊序列中的一部分進行編碼相關。相關濾波器的確定可基於視訊序列中的運動的量、視訊序列中的邊緣資訊的量及/或視訊序列中的邊緣的方向性。可對對應於相關的固定濾波器的索引進行編碼。可對對應於相關定製濾波器的濾波器係數進行編碼。可在視訊流中一起傳送編碼索引和編碼濾波器係數。可由例如編碼器執行該方法。
第1圖是示出基於區塊的混合視訊編碼系統示例的圖。可逐區塊地處理輸入視訊訊號102。視訊區塊單元可包括16x16個像素。區塊單元可稱為巨集區塊或MB。在高效視訊編碼（HEVC）中，擴展的區塊大小（例如，可稱為編碼單元或CU）可用於壓縮高解析度（例如，1080p或更高）的視訊訊號。在HEVC中，CU可高達64x64像素。CU還可被分割為預測單元（PU），可對預測單元應用單獨的預測實施。對於輸入視訊區塊（例如，MB或CU），可執行空間預測160及/或時間預測162。空間預測（例如，內預測（intra prediction））可使用來自同一視訊圖像/片段中的已編碼相鄰區塊中的像素對目前視訊區塊進行預測。空間預測可降低視訊訊號中固有的空間冗餘。時間預測（可稱為例如間預測（inter prediction）或運動補償預測）可使用已編碼視訊圖像中的像素對目前視訊區塊進行預測。時間預測可降低視訊訊號中固有的時間冗餘。如果使用了多個參考圖像，則給定視訊區塊的時間預測信號可包括一個或多個運動向量和一個或多個參考圖像索引（例如，可用於識別時間預測信號來自參考圖像儲存庫164中的哪些參考圖像）。      [17]
在空間預測及/或時間預測之後，編碼器中的模式決策區塊180可選擇預測模式，例如，基於例如速率失真最佳化示例的最佳預測模式。在116中，可從目前視訊區塊中減去預測區塊。預測殘差可在104中被變換並在106中被量化。被量化的殘差係數可在110中被逆量化並在112中被逆變換，以形成重建殘差，在126中重建殘差可被添加到預測區塊中以形成重建視訊區塊。進一步的，在重建視訊區塊被放入參考圖像儲存庫164中及/或被用於編碼將來的視訊區塊之前，例如但不限於去塊化（deblocking）濾波器和適應性迴路濾波器之類的內迴路濾波166可被應用在重建視訊區塊上。為形成輸出視訊位元流120，可將編碼模式（例如，間（inter）編碼或內（intra）編碼）、預測模式資訊、運動資訊及/或量化後殘差係數發送至熵編碼單元108，以進行壓縮和縮緊(packed)以形成位元流120。      [18]
第2圖是示出基於區塊的視訊解碼器示例的圖。第2圖中的基於區塊的視訊解碼器可對應於第1圖中的基於區塊的視訊轉碼器。可在熵解碼單元208中對視訊位元流202進行拆包並進行熵解碼。編碼模式和預測資訊可被發送至空間預測單元260（例如，如果被內編碼）及/或時間預測單元262（例如，如果被間編碼）以形成預測區塊。殘差變換係數可被發送至逆量化單元210及/或逆變換單元212以重建殘差區塊。在226中可將預測區塊和殘差區塊相加。在重建區塊被儲存在參考圖像儲存庫264前，重建區塊可經歷內迴路（in-loop）濾波。參考圖像儲存庫中的重建視訊可被發送以驅動顯示裝置及/或被用於預測隨後的視訊區塊。      [19]
第3圖是示出可縮放視訊編碼系統示例的圖。在第3圖中，可示出具有一個基礎層和一個增強層的兩層可縮放編碼系統。這兩個層之間的空間解析度可能不同（例如，可應用空間可縮放性）。例如，如第1圖所示，基礎層編碼器（例如，可以是第3圖中示出的HEVC編碼器）可逐區塊地編碼基礎層視訊輸入流、並產生基礎層位元流。例如，如第1圖所示，增強層編碼器可逐區塊地編碼增強層視訊輸入流、並產生增強層位元流。      [20]
為改善可縮放系統的編碼效率，當對增強層視訊進行編碼時，來自基礎層重建視訊的信號相關性可用於改善其預測準確度。例如，如第3圖所示，可對基礎層重建視訊進行處理，並且處理後的基礎層圖像中的一者或多者可被插入到增強層解碼圖像緩衝（DPB）中並用以預測增強層視訊輸入。基礎層視訊和增強層視訊可以是以不同空間解析度表示的本質上相同的視訊源。如第3圖所示，經由降取樣過程，基礎層視訊和增強層視訊可以相互對應。例如，（例如，如第3圖所示的）由層間處理和管理單元所執行的ILP處理步驟可以是用以將基礎層重建的空間解析度與增強層視訊的空間解析度進行對準的升取樣操作。除基礎層編碼器產生的基礎層位元流和增強層編碼器產生的增強層位元流之外，層間預測（ILP）處理和管理單元可產生ILP資訊。例如，ILP資訊可包括但不限於可被應用的層間處理的類型、在處理（例如，可使用的任何升取樣濾波）中使用的參數，一個或多個處理後的基礎層圖像的ILP資訊可被插入到增強層DPB等中。例如，可經由多工器來一起多工基礎層位元流、增強層位元流和ILP資訊以形成可縮放位元流。      [21]
第4圖是示出兩層可縮放視訊解碼器示例的圖。第4圖中的兩層可縮放視訊解碼器可對應於第3圖中的可縮放編碼器。該解碼器可執行與編碼器相反的操作。例如，在解多工器中將可縮放位元流解多工成基礎層位元流、增強層位元流和ILP資訊。基礎層解碼器可解碼基礎層位元流。基礎層解碼器可產生基礎層重建。ILP處理和管理單元可接收ILP資訊。ILP處理和管理單元可對基礎層重建進行處理。這可根據接收到的ILP資訊來完成。ILP處理和管理單元可以選擇性地將處理後的基礎層圖像中的一者或多者插入到增強層DPB中。這可根據接收到的ILP資訊來完成。增強層解碼器可對如具有時間參考圖像和層間參考圖像（例如，處理後的基礎層圖像）的組合的增強層位元流進行解碼，以重建增強層視訊。      [22]
術語“層間參考圖像”和“處理後的基礎層圖像”可交換使用。      [23]
如第3圖和第4圖所示，在可縮放系統中執行圖像級ILP可提供簡化的實施複雜度。這是因為基礎層和增強層的編碼器和解碼器邏輯可以不用改變而在區塊級再次使用。可使用包括將處理後的基礎層圖像中的一者或多者插入到增強層DPB中的高階（例如，圖像級/片段級）配置。在可縮放系統中可允許區塊級改變以便於除圖像級層間預測外的區塊級層間預測。      [24]
針對基礎層圖像的一個或多個升取樣濾波器的設計及/或應用可能對層間參考圖像的品質和增強層的編碼效率有影響。一個升取樣濾波器可用於不同種類的視訊內容和位元速率。使用一個升取樣濾波器可能不足以充分地利用各種空間特性。一個或多個升取樣濾波器可以是2-D可分離的，2-D可分離可用於表明可藉由連續地對行和列進行升取樣來完成對圖像的升取樣。這種類型的濾波器不會保留沿著非水平或非垂直方向的邊緣細節，但與2-D不可分離的濾波器相比會具有更低的複雜度。可使用依賴於模式的方向性升取樣（例如，可以是一種適應性的升取樣）對基礎層圖像中的內區塊進行升取樣。依賴於模式的方向性升取樣可採用一個或多個升取樣濾波器，可根據一個或多個內預測模式將這一個或多個升取樣濾波器應用在基礎層視訊區塊中。這種升取樣示例可在無需使用額外的位元表明哪個濾波器被選擇的情況下使升取樣濾波器適應區塊級，及/或可改善使用內預測模式編碼的升取樣後的基礎層區塊的品質。      [25]
此處描述了當對增強層圖像進行編碼時與層間預測和層間參考圖像的品質相關的示例。多個升取樣濾波器可被設計並且適應性地用在序列級、圖像級/片段級及/或區塊級。可至少部分地經由先前知識及/或計算複雜度的均衡、附加位元的大小及/或編碼效率來確定適應的等級。此處描述的示例可包括被設計為處理任意邊緣方向和其他空間特性的多個升取樣濾波器、可以可選擇地用在序列級、圖像級/片段級及/或區塊級的多個升取樣濾波器及/或由編碼器預先定義或定製的多個升取樣濾波器。      [26]
可使用兩層的、空間可縮放的視訊編碼系統來舉例說明所揭露的主題。可使用HEVC編碼器/解碼器作為示例來描述基礎單層編碼器/解碼器。所揭露的主題可應用於其他可縮放系統（例如，多於兩層、其他類型的可縮放性、及/或其他基礎單層編碼器/解碼器）。      [27]
此處可描述適應性升取樣示例。可例如利用使用訓練資料集的最小平方（LS）法來設計、訓練升取樣濾波器，該訓練資料集可包括將被編碼的一個或多個增強層原始輸入圖像及/或一個或多個基礎層重建圖像。升取樣濾波器可降低或最小化在一個或多個經升取樣的基礎層重建圖像與一個或多個增強層原始輸入圖像間的均方誤差（MSE）。為訓練一個或多個升取樣濾波器，可建構一個或多個訓練資料集。訓練資料集可包括給定視訊序列中的一個或多個增強層原始輸入圖像及/或一個或多個基礎層重建圖像。經訓練的升取樣濾波器對於那個訓練視訊序列而言可以是有效的。可將視訊序列分類為一個或多個類別（例如，平穩性、高移動性、邊緣豐富性、同類性等）。可根據用於對應的升取樣濾波器的訓練資料集將一個或多個基礎層重建圖像及/或一個或多個增強層原始輸入圖像分類至視訊序列類別。經訓練的升取樣濾波器對於視訊序列中的一定類別是有效的。      [28]
可藉由確保濾波器的頻率回應佔據期望的方向性來創建升取樣濾波器。例如，可由經視窗函數剪切的2-d Sinc函數(例如，如等式（1）中所示的函數)來表示不具有方向性的2-D升取樣濾波器：f(x,y)=Sinc(ax)Sinc(by)w(x,y)                  等式（1）其中a和b是用於控制頻域中在水平和垂直方向上的截止頻率的兩個參數。為了保留沿著一定方向（例如，可假定該方向與水平方向之間的角度為θ）的邊緣細節，可藉由將原始座標逆時針旋轉角度θ來獲得期望的定向升取樣濾波器，例如，如等式（2）中所示：
基於等式（1）和等式（2），可得到具有期望方向性的升取樣濾波器，例如，如等式（3）中所示：
經由訓練實現方式及/或經由理論推導實現方式所獲得的升取樣濾波器可具有實數值。當在軟體及/或硬體中實現時，可經由諸如具有一定精確度的整數之類的值來近似該實數值。更低的精確度可導致更低的實施複雜度，但也會降低升取樣濾波器的性能。更高的精確度可使得升取樣濾波器的性能提高，但也會導致更高的實施複雜度。例如，精確度可以是8位元，這可表明濾波器係數的值可被量化在256個步長內。當將具有8位元精確度（例如，從0到255）的升取樣濾波器應用於像素時，像素值和濾波器係數這兩個乘數可產生8位元的精確度，並且乘積可不超出16位元的動態範圍。      [31]
在升取樣濾波器中的一者或多者到位後，編碼器可在編碼過程期間適應性地應用升取樣濾波器中的一者或多者（例如，任一升取樣濾波器）。可藉由不同的方式及/或在不同的編碼級（例如，序列級、圖像級/片段級、及/或區塊級）處來選擇升取樣濾波器。      [32]
如果編碼器具有關於視訊序列的內容的先前資訊並且存在著被設計用於視訊序列或該視訊序列所屬的類別的升取樣濾波器，則該編碼器可在編碼處理開始時選擇升取樣濾波器。貫穿編碼過程，該編碼器可維持，例如不改變升取樣濾波器。這可稱為序列級適應性。貫穿視訊序列的編碼過程，編碼器可使用經訓練的升取樣濾波器。確定視訊序列的內容及/或類別的先前知識可指代確定與視訊序列相關（例如，與視訊序列中的一個或多個屬性相關）的內容及/或類別。一旦確定了與視訊序列相關的內容及/或類別，編碼器就可基於該內容及/或類別（例如，從多個候選升取樣濾波器中）來選擇升取樣濾波器。      [33]
如果編碼器不具有關於視訊序列的先前知識或具有不可靠的知識，編碼器可將經訓練的升取樣濾波器中的一者或多者（例如，全部或子集）用作針對編碼處理的候選升取樣濾波器。該編碼器可以用圖像為基礎來選擇候選升取樣濾波器中的一者。這可稱為圖像級/片段級適應性。該編碼器可以用區塊為基礎來選擇候選升取樣濾波器中的一者。這可稱為區塊級適應性。      [34]
此處可描述與選擇一個或多個升取樣濾波器和所選擇的一個或多個升取樣濾波器的適應性等級相關的示例。例如，此處可描述視訊序列級適應性、圖像級/片段級適應性和區塊級適應性。      [35]
編碼器可使用升取樣濾波器集（例如，候選升取樣濾波器）中的一個或多個升取樣濾波器（例如，子集）對目前視訊序列進行編碼。可以在如序列參數集（SPS）的序列標頭中表明該一個或多個升取樣濾波器。如果在SPS中表明一個升取樣濾波器，則圖像級/片段級或區塊級適應性可被禁用，例如，可不被賦能。這是因為視訊序列級適應性被賦能。如果在SPS中表明多於一個升取樣濾波器，則圖像級/片段級及/或區塊級適應性可被賦能。      [36]
可描述圖像級/片段級適應性。用於對視訊序列進行編碼的候選升取樣濾波器的數目可用N來表示。第5圖是示出基於多階段編碼進行圖像級/片段級濾波器選擇的示例的流程圖。在第n（1≤n≤N）個編碼階段(pass)中，編碼器可使用由第n個升取樣濾波器所處理的處理後基礎層圖像來對目前增強層圖像進行編碼。在N階段編碼後，編碼器可使用預先定義的標準來選擇N個編碼階段中的候選升取樣濾波器。例如，編碼器可選擇其編碼階段具有最小率失真成本的升取樣濾波器。編碼器可使用所選擇的升取樣濾波器對目前增強層圖像進行編碼。      [37]
執行多階段編碼對於一些應用（例如，使用即時編碼的應用）可能是費時且昂貴的。對於可使用即時編碼的應用，可使用快速編碼器決策機制。第6圖是示出基於適應性升取樣編碼決策進行快速圖像級/片段級濾波器選擇示例的圖。如第6圖中所示，可根據第3圖執行第一編碼階段。在這一編碼階段中，處理後的基礎層重建可用以提供層間預測。可藉由應用表示為filter_dflt的預設升取樣濾波器來獲得處理後的基礎層圖像。預設升取樣濾波器可以是N個升取樣濾波器候選中的一者。預設升取樣濾波器可以是具有通常設計和低複雜度的2-D可分離濾波器。為決定用於增強層區塊的最佳濾波器（其在第一編碼階段期間使用處理後的基礎層圖像），可收集和累積使用預設濾波器的區塊失真和使用其他候選升取樣濾波器中的一者或多者的區塊失真。例如，可藉由使用不同的候選升取樣濾波器並藉由收集對這些候選升取樣濾波器的區塊失真測量來逐區塊地對曾被選擇用於藉由使用預設升取樣濾波器在第一編碼階段中進行目前EL訊框的ILR預測的區塊進行重新編碼。      [38]
可選擇具有最小的總累計失真的濾波器作為最佳濾波器（filter_opt）。如果filter_opt與filter_dflt相同，則第二編碼階段可被忽略，例如，不被執行。否則，可使用filter_opt再次處理基礎層重建，並且可使用最新處理後的基礎層圖像執行第二編碼階段（例如，根據第3圖）。此快速編碼演算法可降低編碼階段的數目，特別地如果初始濾波器（filter_dflt）被合適地設定的話。例如，目前圖像編碼可根據之前的編碼統計得到預設升取樣濾波器。      [39]
可例如經由考慮編碼時間和性能二者間的均衡來合併使用多階段編碼和快速編碼器決策機構的示例。例如，在N個升取樣濾波器中，A（A小於N）個升取樣濾波器的子集對於將被編碼的給定視訊序列可以是有效的。A個升取樣濾波器可以和多階段編碼一起使用，並且其餘的B（N=A+B）個升取樣濾波器可以和快速編碼器決策機構一起使用。      [40]
此處可描述使用針對區塊級的濾波器或升取樣濾波器的示例。升取樣濾波器，例如M個升取樣濾波器候選中的最佳升取樣濾波器，可對基礎層區塊（例如，每一個基礎層區塊）進行升取樣。升取樣後的區塊可用作對對應的增強層區塊進行編碼的預測。用於圖像級/片段級適應性和區塊級適應性的升取樣濾波器候選集可以是不同的。M可以不同於N。例如，因為每一ILP區塊傳輸一次邊資訊（side information）（例如，這用於表明可使用哪個升取樣濾波器）會導致位元負荷（其可能是顯著的），所以M可能小於N。例如，如果M是2，則一個位元可用以用信號通知被用於區塊的升取樣濾波器。如果M是5，則3個位元可用以用信號通知被用於區塊的升取樣濾波器。如果M太大，傳訊負荷會超過為區塊選擇最佳適應性升取樣濾波器可實現的增益。對於圖像級/片段級適應性，對於每一圖像及/或每一片段而言可對邊資訊進行一次編碼，且所使用的位元在總位元流中的百分比中可以是可忽略的。      [41]
對於區塊級適應性，可經由不同的方式來建構大小為M的升取樣濾波器候選池。例如，M個候選升取樣濾波器可被預先定義並在SRS中用信號發送。例如，用於區塊級適應性的M個升取樣濾波器可以是用於圖像級/片段級適應性的N個升取樣濾波器的子集，並且可被動態地建構。當對圖像進行編碼時，可執行多階段編碼（例如，如第5圖中所示）及/或快速編碼演算法（例如，如第6圖中所示）、並且該M個最佳升取樣濾波器可形成用於區塊級適應性的該M個升取樣濾波器池。例如，在該M個升取樣濾波器候選中，K個濾波器可被預先定義（例如，在序列級）而L個濾波器可被動態地選擇（例如，在圖像級/片段級），其中M=K+L。      [42]
與圖像級/片段級適應性類似，在區塊級，可經由不同的方法來確定M個升取樣濾波器候選中的一個或多個（例如，最佳的升取樣濾波器）。例如，可選擇使區塊的率失真成本最小化的升取樣濾波器。當選擇最佳區塊級濾波器時，可考慮升取樣後的基礎層區塊和對應的增強層原始區塊間的失真。考慮失真而非位元成本可能更快速。當對視訊序列進行編碼時，可使用圖像級/片段級適應性升取樣對圖像中的一者或多者進行編碼，然而可使用區塊級適應性升取樣對其他圖像中的一者或多者進行編碼。      [43]
在可縮放系統中執行圖像級升取樣（例如，如第3圖和第4圖中所示）以及將升取樣後的圖像用作參考圖像中的一者可降低實施複雜度。例如，可在很大程度上重複使用區塊級處的基礎層和增強層編碼器和解碼器邏輯而無需改變。可使用包括將處理後的基礎層圖像中的一者或多者插入到增強層DPB中的高階（例如，圖像級/片段級）配置。使用區塊級升取樣可經由多個參考圖像實現，其可省略對單層編碼器/解碼器的區塊級改變。例如，當對增強層圖像進行編碼時，分別使用M個升取樣濾波器升取樣後的M個基礎層重建圖像可用作附加的M個參考圖像。雖然這可能增加參考圖像列表的大小並且可能增加區塊級處參考索引傳訊的成本（例如，包括時間參考圖像的參考索引傳訊負荷），但可降低實施複雜度。      [44]
可預先定義多個升取樣濾波器，並且可將濾波器的係數儲存在編碼器及/或解碼器中。可選擇預先定義的升取樣濾波器的數目以滿足計算資源限制，例如，與濾波器係數相關的記憶體限制。升取樣濾波器可對視訊中的一個類別進行編碼，例如，平穩性、高移動性、邊緣豐富性及/或同類性。可使用例如VPS（視訊參數集）及/或SPS（序列參數集）之類的高階參數集中的一個或多個旗標或指示符來用信號發送預先定義的升取樣濾波器的使用。一個或多個預先定義升取樣旗標的一個或多個值可設定為真，其可意味著該預先定義升取樣濾波器可被使用。在位元流中，升取樣濾波器的數目可跟隨在一個或多個旗標之後。      [45]
可為將被編碼的視訊序列定製多個升取樣濾波器。編碼器可將濾波器係數編碼到位元流中並將其進行傳送。在解碼器側，濾波器係數可被接收並用於解碼視訊序列。可使用如VPS及/或SPS的高階參數集中的一個或多個旗標來用信號發送升取樣濾波器的定製使用。一個或多個定製升取樣旗標的一個或多個值可設定為真，其可意味著該定製升取樣濾波器可被使用。在位元流中，升取樣濾波器的數目和升取樣濾波器的係數可跟隨在一個或多個旗標之後。濾波器和係數可依序地跟在一個或多個旗標之後。      [46]
預先定義的和定製的升取樣可在使用時被組合，這可能意味著用於對目前視訊序列進行編碼的多個升取樣濾波器可包括預先定義的和定製的濾波器和係數。      [47]
表1示出了在用信號發送序列參數集（SPS）中的預先定義適應性升取樣濾波器和定製升取樣濾波器的使用時使用的旗標及/或值的示例集。      [48]
作為示例，具有值0的旗標sps_predefined_upsampling_enabled_flag（sps_預先定義的_升取樣_賦能的_旗標）可用於表明預先定義的升取樣濾波器可不用於對目前視訊序列進行編碼。例如，如果旗標sps_predefined_upsampling_enabled_flag具有值1，該旗標可用於表明預先定義的升取樣濾波器可用於目前視訊序列的編碼中。      [49]
作為另一示例，具有值0的旗標sps_customized_upsampling_enabled_flag（sps_定製的_升取樣_賦能的_旗標）可用於表明定製的升取樣濾波器可不用於對目前視訊進行編碼。例如，如果sps_customized_upsampling_enabled_flag具有值1，該旗標可用於表明定製的升取樣濾波器可用於目前視訊序列的編碼中。      [50]
例如，值num_predefined_upsampling_filters_minus_1（數目_預先定義的_升取樣_濾波器_減去_1）加1可用於表明對目前視訊序列進行編碼時使用的預先定義升取樣濾波器的數目。例如，值num_customized_upsampling_filters_minus_1（數目_定製的_升取樣_濾波器_減去_1）加1可用於表明對目前視訊序列進行編碼時使用的定製升取樣濾波器的數目。例如，值num_coeff_per_minus_1（數目_係數_每個_減去_1）加1可用於表明一個定製升取樣濾波器中的濾波器係數的數目。      [51]
例如，值num_coeff_hori_minus_1[j]（數目_係數_水平_減去_1[j]）加1可用於表明第j個定製升取樣濾波器的水平方向上的係數的數目。例如，值num_coeff_vert_minus_1[j]（數目_係數_垂直_減去_1[j]）加1用於表明第j個定製升取樣濾波器的垂直方向上的係數的數目。      [52]
可用值num_coeff_hori_minus_1[j]乘以num_coeff_vert_minus_1[j]來表明濾波器的維度，並且濾波器的總係數數目可由是例如num_coeff_hori_minus_1[j]和num_coeff_vert_minus_1[j]的乘積。值upsampling_filter_coeff[j][i]（升取樣_濾波器_係數[j][i]）可為第j個定製升取樣濾波器的第i個濾波器參數。
表1.在SPS中用信號發送預先定義適應性升取樣濾波器和定製升取樣濾波器的使用
第7A圖是在其中可以實施一個或多個揭露的實施方式的示例通訊系統700的圖。通訊系統700可以是向多個無線使用者提供內容（例如，語音、資料、視訊、訊息發送、廣播等）的多重存取系統。通訊系統700可以使多個無線使用者能夠經由系統資源（包括無線頻寬）的共享來存取這些內容。例如，通訊系統700可以使用一種或多種頻道存取方法，例如分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA）、正交FDMA（OFDMA）、單載波FMDA（SC-FDMA）等。      [54]
如第7A圖所示，通訊系統700可以包括無線傳輸/接收單元（WTRU） 702a、702b、702c、702d、無線電存取網路（RAN）703/704/705、核心網路706/707/709、公共交換電話網路（PSTN）708、網際網路710和其他網路712。不過應該理解的是，揭露的實施方式考慮到了任何數量的WTRU、基地台、網路及/或網路元件。WTRU 702a、702b、702c、702d的每一個可以是被配置為在無線環境中進行操作及/或通訊的任何類型的裝置。作為示例，WTRU 702a、702b、702c、702d可以被配置為傳送及/或接收無線信號、並可以包括使用者設備（UE）、行動站、固定或者行動用戶單元、呼叫器、行動電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、隨身型易網機、個人電腦、無線感測器和消費電子產品、或能接收和處理所壓縮視訊通訊的任何其他終端。      [55]
通訊系統700還可以包括基地台714a和基地台714b。基地台714a、714b的每一個都可以是被配置為與WTRU 702a、702b、702c、702d中的至少一個無線介接以便於存取一個或者多個通訊網路（例如，核心網路706/707/709、網際網路710及/或網路712）的任何類型的裝置。作為示例，基地台714a、714b可以是基地台收發站（BTS）、節點B、e節點B、家用節點B、家用e節點B、網站控制器、存取點（AP）、無線路由器等等。雖然基地台714a、714b的每一個被描述為單一元件，但是應該理解的是，基地台714a、714b可以包括任何數量的互連基地台及/或網路元件。      [56]
基地台714a可以是RAN 703/704/705的一部分，該RAN 703/704/705還可以包括其他基地台及/或網路元件（未顯示），例如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點等。基地台714a及/或基地台714b可以被配置為在特定地理區域內傳送及/或接收無線信號，該特定地理區域可以被稱為胞元（未顯示）。胞元還可以被劃分為胞元扇區。例如，與基地台714a關聯的胞元可以劃分為三個扇區。因此，在一種實施方式中，基地台714a可以包括三個收發器，即胞元的一個扇區使用一個收發器。在另一種實施方式中，基地台714a可以使用多輸入多輸出（MIMO）技術，因此胞元的每一個扇區可以使用多個收發器。      [57]
基地台714a、714b可以經由空中介面715/716/717以與WTRU 702a、702b、702c、702d中的一個或者多個進行通訊，該空中介面715/716/717可以是任何合適的無線通訊鏈路（例如，射頻（RF）、微波、紅外光（IR）、紫外光（UV）、可見光等）。可以使用任何合適的無線電存取技術（RAT）來建立空中介面715/716/717。      [58]
更具體地，如上所述，通訊系統700可以是多重存取系統、並可以使用一種或者多種頻道存取方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 703/704/705中的基地台714a和WTRU 702a、702b、702c可以實施例如通用行動電信系統（UMTS）陸地無線電存取（UTRA）的無線電技術，其可以使用寬頻CDMA（WCDMA）來建立空中介面715/716/717。WCDMA可以包括例如高速封包存取（HSPA）及/或演進型HSPA（HSPA+）的通訊協定。HSPA可以包括高速下鏈封包存取（HSDPA）及/或高速上鏈封包存取（HSUPA）。      [59]
基地台714a和WTRU 702a、702b、702c可以實施例如演進型UMTS陸地無線電存取（E-UTRA）的無線電技術，其可以使用長期演進（LTE）及/或高級LTE（LTE-A）來建立空中介面715/716/717。      [60]
基地台714a和WTRU 702a、702b、702c可以實施例如IEEE 802.16（即，全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫行標準2000（IS-2000）、暫行標準95（IS-95）、暫行標準856（IS-856）、全球行動通訊系統（GSM）、用於GSM演進的增強型資料速率（EDGE）、GSM EDGE（GERAN）等等的無線電技術。      [61]
第7A圖中的基地台714b可以是例如無線路由器、家用節點B、家用e節點B或者存取點、並且可以使用任何適當的RAT以便於局部區域例如商業場所、住宅、車輛、校園等中的無線連接。基地台714b和WTRU 702c、702d可以實施例如IEEE 802.11的無線電技術來建立無線區域網路（WLAN）。基地台714b和WTRU 702c、702d可以實施例如IEEE 802.15的無線電技術來建立無線個人區域網路（WPAN）。基地台714b和WTRU 702c、702d可以使用基於蜂巢的RAT（例如，WCDMA、CDMA2000、GSM、LTE、LTE-A等）來建立微微胞元或毫微微胞元。如第7A圖所示，基地台714b可以具有到網際網路710的直接連接。因此，基地台714b可以不需要經由核心網路706/707/709而存取網際網路710。      [62]
RAN 703/704/705可以與核心網路706通訊，所述核心網路706可以是被配置為向WTRU 702a、702b、702c、702d中的一個或多個提供語音、資料、應用及/或網際網路協定語音（VoIP）服務等的任何類型的網路。例如，核心網路706/707/709可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分發等、及/或執行高階安全功能，例如用戶認證。雖然第7A圖中未示出，應該理解的是，RAN 703/704/705及/或核心網路706/707/709可以與使用和RAN 703/704/705相同的RAT或不同RAT的其他RAN進行直接或間接的通訊。例如，除了連接到正在使用E-UTRA無線電技術的RAN 703/704/705之外，核心網路706/707/709也可以與使用GSM無線電技術的另一RAN（未示出）通訊。      [63]
核心網路706/707/709還可以充當WTRU 702a、702b、702c、702d存取PSTN 708、網際網路710及/或其他網路712的閘道。PSTN 708可以包括提供普通老式電話服務（POTS）的電路交換電話網路。網際網路710可以包括使用公共通訊協定的全球互連電腦網路和裝置系統，該協定例如有TCP/IP網際網路協定組中的傳輸控制協定（TCP）、使用者資料包通訊協定（UDP）和網際協定（IP）。網路712可以包括被其他服務提供者擁有及/或操作的有線或無線通訊網路。例如，網路712可以包括連接到一個或多個RAN的另一核心網路，該RAN可以使用和RAN 703/704/705相同的RAT或不同的RAT。      [64]
通訊系統700中的WTRU 702a、702b、702c、702d的某些或全部可以包括多模式能力，即WTRU 702a、702b、702c、702d可以包括用於在不同無線鏈路上與不同無線網路進行通訊的多個收發器。例如，第7A圖中示出的WTRU 702c可被配置為與可以使用基於蜂巢的無線電技術的基地台714a通訊、以及與可以使用IEEE 802無線電技術的基地台714b通訊。      [65]
第7B圖是示例WTRU 702的系統圖。如第7B圖所示，WTRU 702可以包括處理器718、收發器720、傳輸/接收元件722、揚聲器/麥克風724、鍵盤726、顯示器/觸控板728、不可移式記憶體730、可移式記憶體732、電源734、全球定位系統（GPS）晶片組736和其他週邊裝置738。應該理解的是，在保持與實施例一致時，WTRU 702可以包括前述元件的任何子組合。而且，基地台714a和714b及/或基地台714a和714b可以表示的節點（諸如但不限於收發站（BTS）、節點B、網站控制器、存取點（AP）、家用節點B、演進型家用節點B（e節點B）、家用演進型節點B（HeNB）、家用演進型節點B閘道和代理節點等），可以包括第7B圖所描述的和這裡描述的元件中的一些或每個。      [66]
處理器718可以是通用處理器、專用處理器、常規處理器、數位訊號處理器（DSP）、圖形處理單元（GPU）、多個微處理器、與DSP核相關聯的一或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可編程閘陣列（FPGA）電路、任何其他類型的積體電路（IC）、狀態機等等。處理器718可執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或使WTRU 702能夠於無線環境中操作的任何其他功能。處理器718可以耦合到收發器720，該收發器720可耦合到傳輸/接收元件722。雖然第7B圖描述了處理器718和收發器720是單獨的元件，但是應該理解的是，處理器718和收發器720可以一起被集成在電子封裝或晶片中。      [67]
傳輸/接收元件722可以被配置為經由空中介面715/716/717將信號傳送到基地台（例如，基地台714a）、或從基地台（例如，基地台714a）接收信號。例如，傳輸/接收元件722可以是被配置為傳送及/或接收RF信號的天線。在另一種實施方式中，傳輸/接收元件722可以是被配置為傳送及/或接收例如IR、UV或可見光信號的發射器/偵測器。傳輸/接收元件722可以被配置為傳送和接收RF和光信號兩者。應當理解，傳輸/接收元件722可以被配置為傳送及/或接收無線信號的任何組合。      [68]
另外，雖然傳輸/接收元件722在第7B圖中被描述為單一元件，但是WTRU 702可以包括任何數量的傳輸/接收元件722。更具體的，WTRU 702可以使用MIMO技術。因此，在一種實施方式中，WTRU 702可以包括用於經由空中介面715/716/717傳送和接收無線信號的兩個或更多個傳輸/接收元件122（例如，多個天線）。      [69]
收發器720可以被配置為調變要由傳輸/接收元件722傳送的信號及/或解調由傳輸/接收元件722接收的信號。如上面提到的，WTRU 702可以具有多模式能力。因此收發器720可以包括用於使得WTRU 702能夠經由多個RAT（例如UTRA和IEEE 802.71）通訊的多個收發器。      [70]
WTRU 702的處理器718可以耦合到下述裝置、並且可以從下述裝置中接收使用者輸入資料：揚聲器/麥克風724、鍵盤726及/或顯示器/觸控板728（例如，液晶顯示器（LCD）顯示單元或有機發光二極體（OLED）顯示單元）。處理器718還可以輸出使用者資料到揚聲器/麥克風724、鍵盤726及/或顯示器/觸控板728。另外，處理器718可以從任何類型的適當的記憶體存取資訊、並且可以儲存資料到任何類型的適當的記憶體中，該記憶體例如不可移式記憶體730及/或可移式記憶體732。不可移式記憶體730可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟或任何其他類型的記憶體儲存裝置。可移式記憶體732可以包括用戶身份模組（SIM）卡、記憶條、安全數位（SD）記憶卡等等。處理器718可以從在實體上沒有位於WTRU 702上（例如，位於伺服器或家用電腦（未示出）上）的記憶體存取資訊、並且可以將資料儲存在該記憶體中。      [71]
處理器718可以從電源734接收電力、並且可以被配置為分發及/或控制到WTRU 702中的其他元件的電力。電源734可以是給WTRU 702供電的任何適當的裝置。例如，電源734可以包括一個或更多個乾電池（例如，鎳鎘（NiCd）、鎳鋅（NiZn）、鎳氫（NiMH）、鋰離子（Li-ion）等等）、太陽能電池、燃料電池等等。      [72]
處理器718也可以耦合到GPS晶片組736，該GPS晶片組736可以被配置為提供關於WTRU 702的目前位置的位置資訊（例如，經度和緯度）。作為來自GPS晶片組736的資訊的補充或作為其替代，WTRU 702可以經由空中介面715/716/717從基地台（例如，基地台714a、714b）接收位置資訊、及/或基於從兩個或更多個鄰近基地台接收的信號的時序來確定其位置。應當理解，在保持實施例的一致性時，WTRU 702可以用任何適當的位置確定方法來獲得位置資訊。      [73]
處理器718還可以耦合到其他週邊裝置738，該週邊裝置738可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如，週邊裝置738可以包括加速計、電子羅盤、衛星收發器、數位相機（用於照片或視訊）、通用序列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍芽R模組、調頻（FM）無線電單元、數位音樂播放機、媒體播放機、視訊遊戲機模組、網際網路瀏覽器等等。      [74]
第7C圖是根據實施方式的RAN 703和核心網路706的系統圖。如上所述，RAN 703可使用UTRA無線電技術以經由空中介面715以與WTRU 702a、702b、702c通訊。RAN 704還可以與核心網路706通訊。如第7C圖所示，RAN 703可以包括節點B 740a、740b、740c，該節點B 740a、740b、740c的每一個可以包括一個或多個用於經由空中介面715以與WTRU 702a、702b、702c通訊的收發器。節點B 740a、740b、740c的每一個可以與RAN 703內的特定胞元（未顯示）關聯。RAN 703還可以包括RNC 742a、742b。應當理解的是，在保持實施例的一致性時，RAN 703可以包括任意數量的節點B和RNC。      [75]
如第7C圖所示，節點B 740a、740b可以與RNC 742a通訊。此外，節點B 740c可以與RNC 742b通訊。節點B 740a、740b、740c可以經由Iub介面與各自的RNC 742a、742b通訊。RNC 742a、742b可以經由Iur介面相互通訊。RNC 742a、742b的每一個可以被配置為控制與其連接的各自的節點B 740a、740b、740c。另外，RNC 742a、742b的每一個可以被配置為執行或支援其他功能，例如外環功率控制、負載控制、允許控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。      [76]
第7C圖中所示的核心網路706可以包括媒體閘道（MGW）744、行動交換中心（MSC）746、服務GPRS支援節點（SGSN）748、及/或閘道GPRS支持節點（GGSN）750。儘管前述元件的每一個被描述為核心網路706的一部分，應當理解的是，這些元件中的任何一個可以被除核心網路操作者以外的實體擁有及/或操作。      [77]
RAN 703中的RNC 742a可以經由IuCS介面而連接至核心網路706中的MSC 746。MSC 746可以連接至MGW 744。MSC 746和MGW 744可以向WTRU 702a、702b、702c提供到電路切換式網路（例如PSTN 708）的存取，以便於WTRU 702a、702b、702c與傳統陸線通訊裝置之間的通訊。      [78]
RAN 703中的RNC 742a也可以經由IuPS介面而連接至核心網路706中的SGSN 748。SGSN 7148可以連接至GGSN 750。SGSN 748和GGSN 750可以向WTRU 702a、702b、702c提供到封包交換網路（例如，網際網路710）的存取，以便於WTRU 702a、702b、702c與IP賦能裝置之間的通訊。      [79]
如上所述，核心網路706也可以連接至網路712，該網路712可以包括由其他服務提供者擁有及/或操作的其他有線或無線網路。      [80]
第7D圖是根據另一實施方式的RAN 704和核心網路707的系統圖。如上所述，RAN 704可使用E-UTRA無線電技術以經由空中介面716以與WTRU 702a、702b、702c通訊。RAN 704還可以與核心網路707通訊。      [81]
RAN 704可包括e節點B 760a、760b、760c，但可以理解的是，在保持與各種實施方式的一致性的同時，RAN 704可以包括任何數量的e節點B。e節點B 760a、760b、760c的每一個可包括一個或多個用於經由空中介面716以與WTRU 702a、702b、702c通訊的收發器。e節點B 760a、760b、760c可以實施MIMO技術。因此，e節點B 760a例如可以使用多個天線來向WTRU 702a傳送無線信號、以及從該WTRU 702a接收無線信號。      [82]
e節點B 760a、760b、760c的每一個可以與特定胞元關聯（未顯示）、並可以被配置為處理無線電資源管理決策、切換決策、在上鏈及/或下鏈中的用戶排程等等。如第7D圖所示，e節點B 160a、160b、760c可以經由X2介面相互通訊。      [83]
第7D圖中所示的核心網路707可以包括移動性管理閘道（MME）762、服務閘道764及/或封包資料網路（PDN）閘道766。雖然前述元件的每一個被描述為核心網路707的一部分，應當理解的是，這些元件中的任一個可以由除了核心網路操作者之外的實體擁有及/或操作。      [84]
MME 762可以經由S1介面而連接到RAN 704中的e節點B 760a、760b、760c的每一個、並可以作為控制節點。例如，MME 162可以負責認證WTRU 702a、702b、702c的用戶、承載啟動/停用、在WTRU 702a、702b、702c的初始連結期間選擇特定服務閘道等等。MME 762還可以提供控制平面功能，以用於在RAN 704與使用例如GSM或者WCDMA的其他無線電技術的其他RAN（未顯示）之間切換。      [85]
服務閘道764可以經由S1介面連接到RAN 704中的eNB 760a、760b、760c的每一個。服務閘道764通常可以路由和轉發使用者資料封包至WTRU 702a、702b、702c/路由和轉發來自WTRU 702a、702b、702c的使用者資料封包。服務閘道764也可以執行其他功能，例如在e節點B間切換期間錨定用戶平面、當下鏈資料對於WTRU 702a、702b、702c可用時觸發傳呼、管理和儲存WTRU 702a、702b、702c的上下文等等。      [86]
服務閘道764也可以連接到PDN閘道766，該PDN閘道766可以向WTRU 702a、702b、702c提供到例如網際網路710的封包交換網路的存取，以便於WTRU 702a、702b、702c與IP賦能裝置之間的通訊。      [87]
核心網路707可以便於與其他網路的通訊。例如，核心網路707可以向WTRU 702a、702b、702c提供到例如PSTN 708的電路切換式網路的存取，以便於WTRU 702a、702b、702c與傳統陸線通訊裝置之間的通訊。例如，核心網路707可以包括IP閘道（例如，IP多媒體子系統（IMS）伺服器）、或者與之通訊，該IP閘道作為核心網路707與PSTN 708之間的介面。另外，核心網路707可以向WTRU 702a、702b、702c提供到網路712的存取，該網路712可以包括被其他服務提供者擁有及/或操作的其他有線或無線網路。      [88]
第7E圖是根據另一實施例的RAN 705和核心網路709的系統圖。RAN 705可以是使用IEEE 802.16無線電技術以經由空中介面717來與WTRU 702a、702b、702c進行通訊的存取服務網路（ASN）。如下面進一步討論的，WTRU 702a、702b、702c，RAN 705和核心網路709的不同功能實體之間的通訊鏈路可以被定義為參考點。      [89]
如第7E圖所示，RAN 705可以包括基地台780a、780b、780c和ASN閘道782，但應當理解的是，在保持與實施例的一致性的同時，RAN 705可以包括任何數量的基地台和ASN閘道。基地台780a、780b、780c的每一個可以與RAN 705中特定胞元（未示出）關聯、並可以包括一個或多個用於經由空中介面717以與WTRU 702a、702b、702c通訊的收發器。基地台780a、780b、780c可以實施MIMO技術。因此，基地台780a例如可以使用多個天線來向WTRU 702a傳送無線信號、以及從其接收無線信號。基地台780a、780b、780c還可以提供移動性管理功能，例如切換（handoff）觸發、隧道建立、無線電資源管理，訊務分類、服務品質策略執行等等。ASN閘道782可以充當訊務聚合點、並且可以負責傳呼、用戶設定檔（profile）的快取、到核心網路709的路由等等。      [90]
WTRU 702a、702b、702c與RAN 705之間的空中介面717可以被定義為實施802.16規範的R1參考點。另外，WTRU 702a、702b、702c的每一個可以與核心網路709建立邏輯介面（未顯示）。WTRU 702a、702b、702c與核心網路709之間的邏輯介面可以被定義為R2參考點，其可以用於認證、授權、IP主機（host）配置管理及/或移動性管理。      [91]
基地台780a、780b、780c的每一個之間的通訊鏈路可以被定義為包括便於WTRU切換和基地台間資料轉移的協定的R8參考點。基地台780a、780b、780c與ASN閘道782之間的通訊鏈路可以被定義為R6參考點。R6參考點可以包括用於便於基於與WTRU 702a、702b、702c的每一個關聯的移動性事件的移動性管理的協定。      [92]
如第7E圖所示，RAN 705可以連接至核心網路709。RAN 705與核心網路709之間的通訊鏈路可以被定義為包括例如便於資料轉移和移動性管理能力的協定的R3參考點。核心網路709可以包括行動IP本地代理（MIP-HA）784、認證、授權、計費（AAA）伺服器786和閘道788。儘管前述的每個元件被描述為核心網路709的一部分，應當理解的是，這些元件中的任一個可以由除了核心網路操作者以外的實體擁有及/或操作。      [93]
MIP-HA 784可以負責IP位址管理、並可以使得WTRU 702a、702b、702c能夠在不同ASN及/或不同核心網路之間漫遊。MIP-HA 784可以向WTRU 702a、702b、702c提供對封包交換網路（例如，網際網路710）的存取，以便於WTRU 702a、702b、702c與IP賦能裝置之間的通訊。AAA伺服器186可以負責使用者認證和支援使用者服務。閘道188可便於與其他網路互通。例如，閘道188可以向WTRU 702a、702b、702c提供對電路切換式網路（例如，PSTN 708）的存取，以便於WTRU 702a、702b、702c與傳統陸線通訊裝置之間的通訊。此外，閘道188可以向WTRU 702a、702b、702c提供對網路712的存取，該網路712可以包括由其他服務提供者擁有及/或操作的其他有線或無線網路。      [94]
儘管未在第7E圖中顯示，應當理解的是，RAN 705可以連接至其他ASN，並且核心網路709可以連接至其他核心網路。RAN 705與其他ASN之間的通訊鏈路可以被定義為R4參考點，該R4參考點可以包括用於協調RAN 705與其他ASN之間的WTRU 702a、702b、702c的移動性的協定。核心網路709與其他核心網路之間的通訊鏈路可以被定義為R5參考，該R5參考可以包括便於本地核心網路與被訪問核心網路之間的互通的協定。
此處描述的過程可以在引入到電腦可讀媒體中並供電腦或處理器運行的電腦程式、軟體或韌體中實施。電腦可讀媒體的示例包括但不限於電信號（經由有線或無線連接傳送）和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括但不限於唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體存放裝置、例如但不限於內部硬碟和可移式磁片的磁性媒體、磁光媒體和例如CD-ROM磁片及/或數位多功能光碟（DVD）的光學媒體。與軟體關聯的處理器可以被用於實施在WTRU、WTRU、終端、基地台、RNC或任何主機電腦中使用的射頻收發器。
102．．．輸入視訊訊號
104．．．變換
106．．．量化
108、208．．．熵編碼單元
110、210．．．逆量化
112、212．．．逆變換
120、202．．．位元流
160、260．．．空間預測
162、262．．．時間預測
164、264．．．參考圖像儲存庫
166、266．．．內迴路濾波
180．．．模式決策區塊
220．．．重建視訊輸出
700．．．通訊系統
702、702a、702b、702c、702d．．．無線傳輸/接收單元(WTRU)
703/704/705．．．無線電存取網路(RAN)
706/707/709．．．核心網路
708．．．公共交換電話網路(PSTN)
710．．．網際網路
712．．．其他網路
714a、714b、780a、780b、780c．．．基地台
715/716/717．．．空中介面
718．．．處理器
720．．．收發器
722．．．傳輸/接收元件
724．．．揚聲器/麥克風
726．．．鍵盤
728．．．顯示器/觸控板
730．．．不可移式記憶體
732．．．可移式記憶體
734．．．電源
736．．．全球定位系統(GPS)晶片組
738．．．週邊裝置
740a、740b、740c．．．節點B
742a、742b．．．無線電網路控制器(RNC)
744．．．媒體閘道(MGW)
746．．．行動交換中心(MSC)
748．．．服務GPRS支援節點(SGSN)
750．．．閘道GPRS支持節點(GGSN)
760a、760b、760c．．．演進型家用節點B
762．．．移動性管理閘道(MME)
764．．．服務閘道
766．．．封包資料網路(PDN)閘道
782．．．存取服務網路(ASN)閘道
784．．．行動IP本地代理(MIP-HA)
786．．．認證、授權、計費(AAA)伺服器
788．．．閘道
BL．．．基礎層
DPB．．．解碼圖像緩衝
EL．．．增強層
HEVC．．．高效視訊編碼
ILP．．．層閘預測
Iub、IuCS、IuPS、iur、S1、X2．．．介面
R1、R3、R6、R8．．．參考點
SHEVC．．．可縮放高效視訊編碼
[07]
第1圖是示出基於區塊的混合視訊編碼系統示例的圖。      [08]第2圖是示出基於區塊的視訊解碼器示例的圖。      [09]第3圖是示出兩層可縮放視訊編碼系統示例的圖。      [10]第4圖是示出兩層可縮放視訊解碼器示例的圖。      [11]第5圖是示出基於多階段編碼進行圖像級/片段級濾波器選擇示例的流程圖。      [12]第6圖是示出基於適應性升取樣編碼決策進行快速圖像級/片段級濾波器選擇的示例的流程圖。      [13]第7A圖是可以在其中實施一個或多個揭露的實施方式的示例通訊系統的系統圖。      [14]第7B圖是可以在第7A圖所示的通訊系統中使用的示例無線傳輸/接收單元（WTRU）的系統圖。      [15]第7C圖是可以在第7A圖所示的通訊系統中使用的示例無線電存取網路和示例核心網路的系統圖。      [16]第7D圖是可以在第7A圖所示的通訊系統中使用的另一示例無線電存取網路和另一示例核心網路的系統圖。第7E圖是可以在第7A圖所示的通訊系統中使用的另一示例無線電存取網路和另一示例核心網路的系統圖。
無。

Claims (24)

  1. 一種用於傳遞視訊資料的方法，該方法包括：將一升取樣濾波器應用於一視訊序列以產生多個編碼後的增強層圖像；對一升取樣濾波器資訊進行編碼，其中該編碼後的升取樣濾波器資訊包括該升取樣濾波器的多個係數；以及在一輸出視訊位元流中發送該編碼後的升取樣濾波器資訊和該多個編碼後的增強層圖像。
  2. 如申請專利範圍第1項所述的方法，其中該升取樣濾波器被應用於該視訊序列的一序列級以產生增強層位元流。
  3. 如申請專利範圍第2項所述的方法，更包括藉由下列以從多個候選升取樣濾波器中選擇該升取樣濾波器：確定是否存在關於該視訊序列的一內容的一知識；以及一旦確定存在關於該視訊序列的該內容的知識，選擇針對該視訊序列的該內容所設計的一候選升取樣濾波器。
  4. 如申請專利範圍第2項所述的方法，更包括藉由下列以從多個候選升取樣濾波器中選擇該升取樣濾波器：確定是否存在與該視訊序列相關的一類別的知識；以及一旦確定存在與該視訊序列相關的該類別的知識，選擇針對與該視訊序列相關的該類別所設計的一候選升取樣濾波器。
  5. 如申請專利範圍第1項所述的方法，其中該升取樣濾波器被應用於該視訊序列的一圖像級或一片段級。
  6. 如申請專利範圍第5項所述的方法，更包括藉由下列以從多個候選升取樣濾波器中選擇該升取樣濾波器：使用該多個候選升取樣濾波器在該視訊序列的一增強層圖像上執行多階段編碼；以及基於該升取樣濾波器在該多階段編碼期間的性能來從該多個候選升取樣濾波器中選擇該升取樣濾波器。
  7. 如申請專利範圍第6項所述的方法，其中使用一率失真成本對該升取樣濾波器的該性能進行估計。
  8. 如申請專利範圍第5項所述的方法，更包括藉由下列以從多個候選升取樣濾波器中選擇該升取樣濾波器：使用該多個候選升取樣濾波器中的一者來對該視訊序列的一增強層圖像進行編碼；計算與其他候選升取樣濾波器相關的多個區塊失真測量；以及基於對該多個區塊失真測量的一比較來選擇該升取樣濾波器。
  9. 如申請專利範圍第5項所述的方法，更包括藉由下列來選擇該升取樣濾波器：使用一第一複數個候選升取樣濾波器以在該視訊序列的一增強層圖像上執行多階段編碼；根據一標準對該第一複數個候選升取樣濾波器進行估計；使用一第二複數個候選升取樣濾波器中的一候選升取樣濾波器以在該增強層圖像上執行一編碼階段；根據使用多個區塊失真測量的一快速編碼器演算法對該第二複數個候選升取樣濾波器進行估計；以及從該第一複數個候選升取樣濾波器和該第二複數個候選升取樣濾波器中選擇該升取樣濾波器。
  10. 如申請專利範圍第1項所述的方法，其中該升取樣濾波器被應用於該視訊序列的一區塊級。
  11. 如申請專利範圍第1項所述的方法，更包括：針對一之前接收到的視訊序列，產生一訓練資料集，該訓練資料集包括一重建基礎層圖像以及該之前接收到的視訊序列的一原始增強層輸入圖像；以及使用一最小平方法來訓練該升取樣濾波器，該最小平方法使用該之前收到的視訊序列的該訓練序列集。
  12. 如申請專利範圍第11項所述的方法，更包括：將該之前收到的視訊序列分類為一類別；以及將該訓練後的升取樣濾波器與該類別相關聯。
  13. 如申請專利範圍第1項所述的方法，其中，該升取樣濾波器資訊包括該升取樣濾波器的一大小。
  14. 如申請專利範圍第1項所述的方法，更包括：應用一第一升取樣濾波器以對該視訊序列的一基礎層圖像中的一第一像素集進行升取樣；以及應用一第二升取樣濾波器以對該視訊序列的一基礎層圖像中的一第二像素集進行升取樣，其中該第一像素集和該第二像素集表示該基礎層圖像中的不同像素。
  15. 一種用於傳輸資料的方法，該方法包括：接收一輸入位元流，該輸入位元流包括一編碼後的增強層圖像和關於一升取樣濾波器的一升取樣濾波器資訊，該升取樣濾波器被用於產生該編碼後的增強層圖像；解碼該升取樣濾波器資訊以建構該升取樣濾波器；至少部分地應用該升取樣濾波器以對一基礎層圖像進行升取樣；以及使用該升取樣後的基礎層圖像來解碼該編碼後的增強層圖像。
  16. 如申請專利範圍第15項所述的方法，其中該升取樣濾波器被應用於一序列級以解碼一視訊序列的該增強層圖像。
  17. 如申請專利範圍第15項所述的方法，其中該升取樣濾波器被應用於一視訊序列的一圖像級或一片段級。
  18. 如申請專利範圍第15項所述的方法，其中該升取樣濾波器被應用於一視訊序列的一區塊級。
  19. 如申請專利範圍第15項所述的方法，更包括：從該輸入位元流中的一第一升取樣濾波器資訊來建構一第一升取樣濾波器；從該輸入位元流中的一第二升取樣濾波器資訊來建構一第二升取樣濾波器；應用該第一升取樣濾波器以對該基礎層圖像中的一第一像素集進行升取樣；以及應用該第二升取樣濾波器以對該基礎層圖像中的一第二像素集進行升取樣，其中該第一像素集和該第二像素集表示該基礎層圖像中的不同像素。
  20. 一種用信號發送一升取樣濾波器資訊的方法，該方法包括：將多個升取樣濾波器中的每一個升取樣濾波器歸類為一固定濾波器或一定製濾波器；確定該多個升取樣濾波器中的哪些濾波器與對一視訊序列中的一部分進行編碼相關；編碼與該相關的固定濾波器對應的多個索引；編碼與該相關的定製濾波器對應的一濾波器係數；以及在一視訊位元流中一起傳送該編碼後的索引和該編碼後的濾波器係數。
  21. 如申請專利範圍第20項所述的方法，更包括：對與該相關的定製濾波器對應的一水平和垂直濾波器大小資訊進行編碼；以及在該視訊位元流中傳送該水平和垂直濾波器大小資訊。
  22. 如申請專利範圍第20項所述的方法，其中對相關濾波器的確定是基於該視訊序列中的一運動量。
  23. 如申請專利範圍第20項所述的方法，其中對相關濾波器的確定是基於該視訊序列中的一邊緣資訊量。
  24. 如申請專利範圍第20項所述的方法，其中對相關濾波器的確定是基於該視訊序列中的一邊緣方向性。
TW102135024A 2012-09-28 2013-09-27 多層視訊編碼適應性升取樣 TW201436531A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261706941P 2012-09-28 2012-09-28
US201361750883P 2013-01-10 2013-01-10

Publications (1)

Publication Number Publication Date
TW201436531A true TW201436531A (zh) 2014-09-16

Family

ID=49305224

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102135024A TW201436531A (zh) 2012-09-28 2013-09-27 多層視訊編碼適應性升取樣

Country Status (7)

Country Link
US (1) US10218971B2 (zh)
EP (1) EP2901683A1 (zh)
JP (2) JP6141988B2 (zh)
KR (2) KR101774675B1 (zh)
CN (2) CN104685877B (zh)
TW (1) TW201436531A (zh)
WO (1) WO2014052740A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716798B (zh) * 2018-01-18 2021-01-21 美商威訊媒體公司 機器於迴路、圖像至視訊之電腦視覺自助抽樣的方法、非暫態電腦可讀取儲存媒介及計算裝置

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
US20160044340A1 (en) * 2014-08-07 2016-02-11 PathPartner Technology Consulting Pvt. Ltd. Method and System for Real-Time Video Encoding Using Pre-Analysis Based Preliminary Mode Decision
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
GB2539845B (en) 2015-02-19 2017-07-12 Magic Pony Tech Ltd Offline training of hierarchical algorithms
WO2016145243A1 (en) * 2015-03-10 2016-09-15 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
FR3042936A1 (fr) * 2015-10-23 2017-04-28 Sagemcom Broadband Sas Procede de codage et procede de decodage d'au moins une image
WO2017178808A1 (en) 2016-04-12 2017-10-19 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
GB2553556B (en) 2016-09-08 2022-06-29 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US10572342B2 (en) * 2016-10-24 2020-02-25 SK Hynix Inc. Memory system with LDPC decoder and operating method thereof
US10701394B1 (en) 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
EP3411223B1 (en) 2017-03-15 2019-12-18 Novelis Inc. Corrugated heat protection tube and methods of making the same
US11190784B2 (en) 2017-07-06 2021-11-30 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
US10986356B2 (en) 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
WO2019009447A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
EP3729812A1 (en) * 2017-12-19 2020-10-28 VID SCALE, Inc. Face discontinuity filtering for 360-degree video coding
WO2020080698A1 (ko) * 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
KR20200044662A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법
US11720997B2 (en) * 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
KR102525578B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
WO2020080623A1 (ko) 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
KR102525577B1 (ko) * 2018-10-19 2023-04-26 삼성전자주식회사 데이터 스트리밍 방법 및 장치
JP7336427B2 (ja) * 2018-12-28 2023-08-31 株式会社ドワンゴ 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置
CN117336469A (zh) 2019-04-12 2024-01-02 北京字节跳动网络技术有限公司 根据基于矩阵的帧内预测的变换编码
KR20220011127A (ko) * 2019-05-22 2022-01-27 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업샘플링을 이용한 행렬 기반 인트라 예측
CN114051735A (zh) 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
CN117768652A (zh) 2019-06-05 2024-03-26 北京字节跳动网络技术有限公司 视频处理方法、装置、介质、以及存储比特流的方法
KR102287947B1 (ko) 2019-10-28 2021-08-09 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR102436512B1 (ko) 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20210056179A (ko) 2019-11-08 2021-05-18 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
US20220046237A1 (en) * 2020-08-07 2022-02-10 Tencent America LLC Methods of parameter set selection in cloud gaming system
US20230031886A1 (en) * 2021-08-02 2023-02-02 Tencent America LLC Adaptive up-sampling filter for luma and chroma with reference picture resampling (rpr)
US11889200B2 (en) 2021-12-07 2024-01-30 Thales Defense & Security, Inc. Methods and systems for generating a high-rate video for a camera in motion

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR0304545A (pt) * 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR20070090245A (ko) 2004-12-13 2007-09-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 스케일러블 화상 인코딩
JP4295236B2 (ja) 2005-03-29 2009-07-15 日本電信電話株式会社 階層間予測符号化方法，装置，階層間予測復号方法，装置，階層間予測符号化プログラム，階層間予測復号プログラムおよびそれらのプログラム記録媒体
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8208564B2 (en) 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
FR2889778A1 (fr) * 2005-08-12 2007-02-16 Thomson Licensing Sas Procede de codage et de decodage d'images video avec echelonnabilite spatiale
US7205914B1 (en) * 2005-10-28 2007-04-17 Motorola, Inc. System and method for efficient upsampled signal processing
WO2007080477A2 (en) 2006-01-10 2007-07-19 Nokia Corporation Switched filter up-sampling mechanism for scalable video coding
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
JP2010081368A (ja) 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
WO2012044487A1 (en) * 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
WO2010123855A1 (en) * 2009-04-20 2010-10-28 Dolby Laboratories Licensing Corporation Filter selection for video pre-processing in video applications
CN105791861B (zh) 2009-04-20 2018-12-04 杜比实验室特许公司 定向内插和数据后处理
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
FR2965444B1 (fr) * 2010-09-24 2012-10-05 St Microelectronics Grenoble 2 Transmission de video 3d sur une infrastructure de transport historique
EP2792146A4 (en) * 2011-12-17 2015-12-09 Dolby Lab Licensing Corp ENHANCED RESOLUTION VIDEO DISTRIBUTION COMPATIBLE WITH A FRAME, INTERLACED, MULTILAYER
JP5905610B2 (ja) * 2012-03-12 2016-04-20 ドルビー ラボラトリーズ ライセンシング コーポレイション ３ｄ視覚的ダイナミックレンジ符号化
US9660913B2 (en) * 2014-03-14 2017-05-23 Network Critical Solutions Limited Network packet broker
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716798B (zh) * 2018-01-18 2021-01-21 美商威訊媒體公司 機器於迴路、圖像至視訊之電腦視覺自助抽樣的方法、非暫態電腦可讀取儲存媒介及計算裝置

Also Published As

Publication number Publication date
KR20170100045A (ko) 2017-09-01
KR101774675B1 (ko) 2017-09-04
JP6141988B2 (ja) 2017-06-07
CN109982081A (zh) 2019-07-05
WO2014052740A1 (en) 2014-04-03
CN104685877B (zh) 2019-03-29
KR102008078B1 (ko) 2019-08-06
CN104685877A (zh) 2015-06-03
JP2017153145A (ja) 2017-08-31
CN109982081B (zh) 2022-03-11
US10218971B2 (en) 2019-02-26
US20150256828A1 (en) 2015-09-10
JP2015534781A (ja) 2015-12-03
EP2901683A1 (en) 2015-08-05
KR20150060906A (ko) 2015-06-03
JP6954763B2 (ja) 2021-10-27

Similar Documents

Publication Publication Date Title
JP6954763B2 (ja) マルチレイヤビデオコーディングの適応型アップサンプリング
JP7433019B2 (ja) ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP6421224B2 (ja) マルチレイヤビデオコーディングにおける空間レイヤのためのサンプリンググリッド情報
JP7012048B2 (ja) マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
TWI722996B (zh) 視訊編碼裝置及方法
JP2023166011A (ja) 複数レイヤビデオ符号化のためのコーデックアーキテクチャ
JP6242793B2 (ja) 空間的予測のためのシステムおよび方法
JP6397902B2 (ja) スケーラブルビデオ符号化のためのレイヤ間予測
TW201427426A (zh) 視訊編碼邊緣導向處理方法及裝置
TW201444342A (zh) 功率感知視訊串流複雜性感知視訊編碼