TW202406346A - 具有翻轉的幀內模板匹配 - Google Patents

具有翻轉的幀內模板匹配 Download PDF

Info

Publication number
TW202406346A
TW202406346A TW112123833A TW112123833A TW202406346A TW 202406346 A TW202406346 A TW 202406346A TW 112123833 A TW112123833 A TW 112123833A TW 112123833 A TW112123833 A TW 112123833A TW 202406346 A TW202406346 A TW 202406346A
Authority
TW
Taiwan
Prior art keywords
template
orientation
difference
block
current block
Prior art date
Application number
TW112123833A
Other languages
English (en)
Inventor
卡拉姆 納澤
丹吉 普瓦里耶
法蘭克 加爾平
安托萬 羅伯特
Original Assignee
法商內數位Ce專利控股公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 法商內數位Ce專利控股公司 filed Critical 法商內數位Ce專利控股公司
Publication of TW202406346A publication Critical patent/TW202406346A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

於本文中揭示用於視訊編碼及解碼之領域的系統、方法、及工具。在實例中,一種視訊解碼器或編碼器可判定一基於模板的預測經賦能用於一目前區塊。該目前區塊的一預測區塊及一模板定向可基於模板匹配判定。該解碼器或編碼器可基於該預測區塊及該模板定向解碼或編碼該目前區塊。在實例中,該預測區塊可基於該經判定模板定向調整(例如,水平翻轉、垂直翻轉、對角翻轉、及/或旋轉),且該目前區塊可基於該經調整(例如,經重定向)預測區塊解碼或編碼。

Description

具有翻轉的幀內模板匹配
相關申請案之交互參照
本申請案主張於2022年7月1日申請之歐洲專利申請案第22305985.8號之優先權,其揭露以全文引用方式併入本文中。
視訊編解碼系統可用以壓縮數位視訊信號,例如,以降低此類信號所需的儲存及/或傳輸頻寬。視訊編解碼系統可包括,例如,基於區塊、基於小波、及/或基於物體的系統。
於本文中揭示用於視訊編碼及解碼之領域的系統、方法、及工具。
在實例中,視訊裝置(諸如視訊解碼器或視訊編碼器)可判定一基於模板的預測經賦能用於一目前區塊。該目前區塊的一預測區塊及一模板定向可基於模板匹配判定。一視訊解碼器可基於該預測區塊及該模板定向解碼該目前區塊。一視訊編碼器可基於該預測區塊及該模板定向編碼該目前區塊。該預測區塊可基於經判定之該模板定向調整(例如,水平翻轉、垂直翻轉、對角翻轉、或旋轉),且該目前區塊可基於經調整(例如,經重定向)之該預測區塊解碼及/或編碼。
例如,可獲得複數個模板定向,且該模板定向可選自該複數個模板定向。模板匹配搜尋可基於不同的模板定向執行,且可比較對應於不同定向的模板差。一模板定向可基於該比較而選擇。在實例中,該視訊裝置可在一第一模板定向及一第二模板定向上執行模板匹配搜尋。該視訊裝置可計算該目前區塊的模板與在該第一模板定向上的一第一預測區塊的模板之間的模板差,及該目前區塊的該模板與在該第二模板定向上的一第二預測區塊的模板之間的模板差。該目前區塊的該預測區塊及該模板定向可基於該等模板差的較小模板差判定。
該視訊裝置可在多個模板定向上執行一精細化搜尋。在實例中,該視訊裝置可基於與一直立模板定向關聯的一第一模板匹配搜尋判定一匹配區塊。一精細化搜尋區域可基於用於執行一第二模板匹配搜尋(例如,在多個模板定向上的精細化搜尋)的匹配區塊判定。該目前區塊的該預測區塊及該模板定向可基於在該精細化搜尋區域內執行的該第二模板匹配搜尋判定。
此等實例可藉由具有一處理器的一視訊處理裝置執行。該裝置可係一編碼器或一解碼器。此等實例可藉由儲存在一非暫時性電腦可讀媒體上且包括程式碼指令的一電腦程式產品執行。此等實例可藉由包含程式碼指令的一電腦程式執行。此等實例可藉由包含表示該模板匹配預測模式之資訊的一位元流執行。
本文描述的系統、方法、及工具可涉及一解碼器。在一些實例中,本文描述的系統、方法、及工具可涉及一編碼器。在一些實例中,本文描述的系統、方法、及工具可涉及一信號(例如,來自一編碼器及/或由一解碼器接收)。一電腦可讀媒體可包括用於導致一或多個處理器執行本文描述之方法的指令。一電腦程式產品可包括指令,當該程式由一或多個處理器執行時,可導致該一或多個處理器實行本文描述的方法。
更詳細的瞭解可藉由與附圖結合以舉實例的方式給出而從以下描述得到。
圖1A係繪示一或多個經揭示實施例可實施於其中之實例通訊系統100的圖。通訊系統100可係提供內容(諸如語音、資料、視訊、通信報、廣播等)至多個無線使用者的多重存取系統。通訊系統100可賦能多個無線使用者以透過系統資源(包括無線頻寬)的共用而存取此類內容。例如,通訊系統100可採用一或多個通道存取方法,諸如分碼多重存取(code division multiple access, CDMA)、分時多重存取(time division multiple access, TDMA)、分頻多重存取(frequency division multiple access, FDMA)、正交FDMA (orthogonal FDMA, OFDMA)、單載波FDMA (single-carrier FDMA, SC-FDMA)、零尾唯一字DFT擴展OFDM (zero-tail unique-word DFT-Spread OFDM, ZT UW DTS-s OFDM)、唯一字OFDM (unique word OFDM, UW-OFDM)、資源區塊濾波OFDM、濾波器組多載波(filter bank multicarrier, FBMC)、及類似者。
如圖1A所示,通訊系統100可包括無線傳輸/接收單元(WTRU) 102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交換電話網路(public switched telephone network, PSTN) 108、網際網路110、及其他網路112,雖然將理解所揭示的實施例設想任何數目的WTRU、基地台、網路、及/或網路元件。WTRU 102a、102b、102c、102d之各者可係經組態以在無線環境中操作及/或通訊的任何類型的裝置。舉實例而言,WTRU 102a、102b、102c、102d(其任一者可稱為「站台(station)」及/或「STA」)可經組態以傳輸及/或接收無線信號,並可包括使用者設備(user equipment, UE)、行動電台、固定或行動訂戶單元、基於訂閱的單元、呼叫器、蜂巢式電話、個人數位助理(personal digital assistant, PDA)、智慧型手機、膝上型電腦、輕省筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網(Internet of Things, IoT)裝置、手錶或其他可穿戴式、頭戴式顯示器(head-mounted display, HMD)、車輛、無人機、醫療裝置及應用(例如,遠端手術)、工業裝置及應用(例如,在工業及/或自動化處理鏈背景中操作的機器人及/或其他無線裝置)、消費性電子裝置、在商業及/或工業無線網路上操作的裝置、及類似者。WTRU 102a、102b、102c、及102d的任一者可互換地稱為UE。
通訊系統100亦可包括基地台114a及/或基地台114b。基地台114a、114b之各者可係經組態以與WTRU 102a、102b、102c、102d中之至少一者無線地介接的任何類型的裝置,以促進存取一或多個通訊網路(諸如CN 106/115、網際網路110、及/或其他網路112)。舉實例而言,基地台114a、114b可係基地收發站(base transceiver station, BTS)、節點B、e節點B、本地節點B、本地e節點B、gNB、NR節點B、站台控制器、存取點(access point, AP)、無線路由器、及類似者。雖然將基地台114a、114b各描繪成單一元件,將理解基地台114a、114b可包括任何數目的互連基地台及/或網路元件。
基地台114a可係RAN 104/113的部分,該RAN亦可包括其他基地台及/或網路元件(未圖示),諸如基地台控制器(base station controller, BSC)、無線電網路控制器(radio network controller, RNC)、中繼節點等。基地台114a及/或基地台114b可經組態以在一或多個載波頻率上傳輸及/或接收無線信號,該等基地台可稱為胞元(cell)(未圖示)。此等頻率可在授權頻譜、非授權頻譜、或授權頻譜及非授權頻譜的組合中。胞元可對可係相對固定或可隨時間變化的特定地理區域提供無線服務覆蓋。胞元可進一步劃分成胞元扇區(cell sector)。例如,與基地台114a關聯的胞元可劃分成三個扇區。因此,在一個實施例中,基地台114a可包括三個收發器,亦即,一個收發器用於胞元的一個扇區。在一實施例中,基地台114a可採用多輸入多輸出(multiple-input multiple output, MIMO)技術,且可將多個收發器用於胞元的各扇區。例如,波束成形可用以在所欲空間方向上傳輸及/或接收信號。
基地台114a、114b可透過空中介面116與WTRU 102a、102b、102c、102d的一或多者通訊,該空中介面可係任何合適的無線通訊鏈路(例如,射頻(radio frequency, RF)、微波、厘米波、微米波、紅外線(infrared, IR)、紫外線(ultraviolet, UV)、可見光等)。空中介面116可使用任何合適的無線電存取技術(radio access technology, RAT)建立。
更具體地說,如上文提到的,通訊系統100可係多重存取系統且可採用一或多個通道存取方案,諸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA、及類似者。例如,RAN 104/113中的基地台114a及WTRU 102a、102b、102c可實施無線電技術,諸如可使用寬頻CDMA (wideband CDMA, WCDMA)建立空中介面115/116/117的通用行動電信系統(Universal Mobile Telecommunications System, UMTS)地面無線電存取(UTRA)。WCDMA可包括通訊協定,諸如高速封包存取(High-Speed Packet Access, HSPA)及/或演進HSPA (HSPA+)。HSPA可包括高速下行鏈路(DL)封包存取(High-Speed Downlink Packet Access, HSDPA)及/或高速UL封包存取(High-Speed Uplink Packet Access, HSUPA)。
在一實施例中,基地台114a及WTRU 102a、102b、102c可實施無線電技術,諸如可使用長期演進技術(Long Term Evolution, LTE)及/或進階LTE (LTE-Advanced, LTE-A)及/或進階LTE加強版(LTE-Advanced Pro, LTE-A Pro)建立空中介面116的演進UMTS地面無線電存取(Evolved UMTS Terrestrial Radio Access, E-UTRA)。
在一實施例中,基地台114a及WTRU 102a、102b、102c可實施無線電技術,諸如可使用新無線電(New Radio, NR)建立空中介面116的NR無線電存取。
在一實施例中,基地台114a及WTRU 102a、102b、102c可實施多個無線電存取技術。例如,基地台114a及WTRU 102a、102b、102c可一起實施LTE無線電存取及NR無線電存取,例如,使用雙連接性(dual connectivity, DC)原理。因此,由WTRU 102a、102b、102c利用的空中介面可藉由多種類型的無線電存取技術及/或發送至/自多種類型之基地台(例如,eNB及gNB)的傳輸特徵化。
在其他實施例中,基地台114a及WTRU 102a、102b、102c可實施無線電技術,諸如IEEE 802.11(亦即,無線保真度(Wireless Fidelity, WiFi)、IEEE 802.16(亦即,全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫時性標準2000 (IS-2000)、暫時性標準95 (IS-95)、暫時性標準856 (IS-856)、全球行動通訊系統(GSM)、GSM演進增強型資料速率(EDGE)、GSM EDGE (GERAN)、及類似者。
圖1A中的基地台114b可係無線路由器、本地節點B、本地e節點B、或存取點,例如,且可利用任何合適的RAT以用於促進局部化區域(諸如營業場所、家庭、車輛、校園、工業設施、空中走廊(例如,用於由無人機使用)、道路、及類似者)中的無線連接性。在一個實施例中,基地台114b及WTRU 102c、102d可實施無線電技術,諸如IEEE 802.11以建立無線區域網路(wireless local area network, WLAN)。在一實施例中,基地台114b及WTRU 102c、102d可實施無線電技術,諸如IEEE 802.15以建立無線個人區域網路(wireless personal area network, WPAN)。在又另一實施例中,基地台114b及WTRU 102c、102d可利用基於蜂巢式的RAT(例如,WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)以建立微微型胞元或毫微微型胞元。如圖1A所示,基地台114b可具有至網際網路110的直接連接。因此,基地台114b可能不需要經由CN 106/115存取網際網路110。
RAN 104/113可與CN 106/115通訊,其可係經組態以提供語音、資料、應用、及/或網際網路協定上的語音(voice over internet protocol, VoIP)服務至WTRU 102a、102b、102c、102d的一或多者的任何類型的網路。資料可具有不同的服務品質(quality of service, QoS)需求,諸如不同的通量需求、延遲需求、容錯需求、可靠性需求、資料通量需求、行動需求、及類似者。CN 106/115可提供呼叫控制、帳單服務、基於行動定位的服務、預付電話、網際網路連接性、視訊分布等、及/或執行高階安全功能,諸如使用者認證。雖然未顯示於圖1A中,將理解RAN 104/113及/或CN 106/115可與採用與RAN 104/113相同的RAT或採用不同RAT的其他RAN直接或間接通訊。例如,除了連接至RAN 104/113(其可利用NR無線電技術)外,CN 106/115亦可與採用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA、或WiFi無線電技術的另一RAN(未圖示)通訊。
CN 106/115亦可作用為WTRU 102a、102b、102c、102d的閘道,以存取PSTN 108、網際網路110、及/或其他網路112。PSTN 108可包括提供簡易老式電話服務(plain old telephone service, POTS)的電路交換電話網路。網際網路110可包括使用共同通訊協定的互連電腦網路及裝置的全球系統,諸如TCP/IP網際網路協定套組中的傳輸控制協定(transmission control protocol, TCP)、使用者資料包協定(user datagram protocol, UDP)、及/或網際網路協定(internet protocol, IP)。網路112可包括由其他服務供應商所擁有及/或操作的有線及/或無線通訊網路。例如,網路112可包括連接至一或多個RAN的另一CN,該一或多個RAN可採用與RAN 104/113相同的RAT或不同的RAT。
通訊系統100中的WTRU 102a、102b、102c、102d的一些或全部可包括多模式能力(例如,WTRU 102a、102b、102c、102d可包括用於透過不同的無線鏈路與不同的無線網路通訊的多個收發器)。例如,顯示於圖1A中的WTRU 102c可經組態以與可採用以基於蜂巢式的無線電技術的基地台114a,且與可採用IEEE 802無線電技術的基地台114b通訊。
圖1B係繪示實例WTRU 102的系統圖。如圖1B所示,WTRU 102可尤其包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移除式記憶體130、可移除式記憶體132、電源134、全球定位系統(global positioning system, GPS)晶片組136、及/或其他週邊設備138等。將理解WTRU 102可包括上述元件的任何次組合,同時仍與實施例保持一致。
處理器118可係一般用途處理器、特殊用途處理器、習知處理器、數位信號處理器(digital signal processor, DSP)、複數個微處理器、與DSP核心關聯的一或多個微處理器、控制器、微控制器、特殊應用積體電路(Application Specific Integrated Circuit, ASIC)、現場可程式化閘陣列(Field Programmable Gate Array, FPGA)電路、任何其他類型的積體電路(integrated circuit, IC)、狀態機、及類似者。如上文建議的,處理器118可包括複數個處理器。處理器118可執行信號編解碼、資料處理、電力控制、輸入/輸出處理、及/或使WTRU 102能在無線環境中操作的任何其他功能性。處理器118可耦接至收發器120,該收發器可耦接至傳輸/接收元件122。雖然圖1B將處理器118及收發器120描繪成分開的組件,將理解處理器118及收發器120可在電子封裝或晶片中整合在一起。
傳輸/接收元件122可經組態以透過空中介面116傳輸信號至基地台(例如,基地台114a)或自該基地台接收信號。例如,在一個實施例中,傳輸/接收元件122可係經組態以傳輸及/或接收RF信號的天線。在一實施例中,例如,傳輸/接收元件122可係經組態以傳輸及/或接收IR、UV、或可見光信號的發射器/偵測器。在又另一實施例中,傳輸/接收元件122可經組態以傳輸及/或接收RF及光信號二者。應理解傳輸/接收元件122可經組態以傳輸及/或接收無線信號的任何組合。
雖然在圖1B中將傳輸/接收元件122描繪成單一元件,WTRU 102可包括任何數目的傳輸/接收元件122。更具體地說,WTRU 102可採用MIMO技術。因此,在一個實施例中,WTRU 102可包括二或更多個傳輸/接收元件122(例如,多個天線)以用於透過空中介面116傳輸及接收無線信號。
收發器120可經組態以調變待藉由傳輸/接收元件122傳輸的信號及解調變藉由傳輸/接收元件122接收的信號。如上文提到的,WTRU 102可具有多模式能力。因此,例如,收發器120可包括用於使WTRU 102能經由多個RAT(諸如,NR及IEEE 802.11)通訊的多個收發器。
WTRU 102的處理器118可耦接至揚聲器/麥克風124、小鍵盤126、及/或顯示器/觸控板128(例如,液晶顯示器(liquid crystal display, LCD)顯示器單元或有機發光二極體(organic light-emitting diode, OLED)顯示器單元)並可接收來自其等的使用者輸入資料。處理器118亦可將使用者資料輸出至揚聲器/麥克風124、小鍵盤126、及/或顯示器/觸控板128。額外地,處理器118可存取來自任何類型的合適記憶體(諸如非可移除式記憶體130及/或可移除式記憶體132)的資訊及將資料儲存在任何類型的合適記憶體中。非可移除式記憶體130可包括隨機存取記憶體(random-access memory, RAM)、唯讀記憶體(read-only memory, ROM)、硬碟、或任何其他類型的記憶體儲存裝置。可移除式記憶體132可包括用戶身份模組(subscriber identity module, SIM)卡、記憶棒、安全數位(secure digital, SD)記憶卡、及類似者。在其他實施例中,處理器118可存取來自未實體位於WTRU 102上(諸如在伺服器或家用電腦(未圖示)上)之記憶體的資訊及將資料儲存在該記憶體中。
處理器118可接收來自電源134的電力,並可經組態以分布及/或控制至WTRU 102中之其他組件的電力。電源134可係用於對WTRU 102供電的任何合適裝置。例如,電源134可包括一或多個乾電池電池組(例如,鎳-鎘(NiCd)、鎳-鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-離子)等)、太陽能電池、燃料電池、及類似者。
處理器118亦可耦接至GPS晶片組136,該GPS晶片組可經組態以提供關於WTRU 102之目前位置的位置資訊(例如,經度和緯度)。除了(或替代)來自GPS晶片組136的資訊外,WTRU 102可透過空中介面116接收來自基地台(例如,基地台114a、114b)的位置資訊,及/或基於從二或更多個附近基地台接收之信號的時序判定其位置。將理解WTRU 102可藉由任何合適的位置判定方法獲得位置資訊,同時仍與實施例保持一致。
處理器118可進一步耦接至其他週邊設備138,該等週邊設備可包括提供額外特徵、功能性、及/或有線或無線連接性的一或多個軟體及/或硬體模組。例如,週邊設備138可包括加速度計、電子羅盤、衛星收發器、數位相機(用於相片及/或視訊)、通用串列匯流排(universal serial bus, USB)埠、振動裝置、電視機收發器、免持式頭戴裝置、Bluetooth®模組、調頻(frequency modulated, FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器、虛擬實境及/或擴增實境(virtual reality and/or augmented reality, VR/AR)裝置、活動追蹤器、及類似者。週邊設備138可包括一或多個感測器,該等感測器可係陀螺儀、加速度計、霍爾效應感測器、磁力計、定向感測器、近接感測器、溫度感測器、時間感測器;地理位置感測器;高度計、光感測器、觸控感測器、磁力計、氣壓計、手勢感測器、生物特徵感測器、及/或濕度感測器的一或多者。
WTRU 102可包括一些或所有信號(例如,與用於UL(例如,用於傳輸)及下行鏈路(例如,用於接收)二者的特定子訊框關聯)針對其的傳輸及接收可係並行及/或同時的全雙工無線電。全雙工無線電可包括干擾管理單元,以經由硬體(例如,扼流器)或經由處理器(例如,分開的處理器(未圖示)或經由處理器118)的信號處理的其中一者降低及或實質消除自干擾。在一實施例中,WRTU 102可包括一些或所有信號(例如,與用於UL(例如,用於傳輸)或下行鏈路(例如,用於接收)其中一者的特定子訊框關聯)針對其傳輸及接收的半雙工無線電。
圖1C係根據一實施例繪示RAN 104及CN 106的系統圖。如上文提到的,RAN 104可採用E-UTRA無線電技術以透過空中介面116與WTRU 102a、102b、102c通訊。RAN 104亦可與CN 106通訊。
RAN 104可包括e節點B 160a、160b、160c,雖然應理解RAN 104可包括任何數目的e節點B,同時仍與實施例保持一致。e節點B 160a、160b、160c各可包括一或多個收發器以用於透過空中介面116與WTRU 102a、102b、102c通訊。在一個實施例中,e節點B 160a、160b、160c可實施MIMO技術。因此,e節點B 160a,例如,可使用多個天線以傳輸無線信號至WTRU 102a,及/或接收來自該WTRU的無線信號。
e節點B 160a、160b、160c之各者可與特定胞元(未圖示)關聯,並可經組態以處理無線電資源管理決策、交遞決策、UL及/或DL中之使用者的排程、及類似者。如圖1C所示,e節點B 160a、160b、160c可透過X2介面彼此通訊。
顯示於圖1C中的CN 106可包括行動管理實體(mobility management entity, MME) 162、服務閘道(serving gateway, SGW) 164、及封包資料網路(packet data network, PDN)閘道(或PGW)166。雖然將上述元件之各者描繪成CN 106的部分,將理解此等元件的任一者可由CN操作者之外的實體擁有及/或操作。
MME 162可經由S1介面連接至RAN 104中的e節點B 162a、162b、162c之各者,並可作用為控制節點。例如,MME 162可負責在WTRU 102a、102b、102c、及類似者的最初附接期間認證WTRU 102a、102b、102c的使用者、承載啟動/停用、選擇特定的服務閘道。MME 162可提供控制平面功能以用於在RAN 104與採用其他無線電技術(諸如GSM及/或WCDMA)的其他RAN(未圖示)之間切換。
SGW 164可經由S1介面連接至RAN 104中的e節點B 160a、160b、160c的各者。SGW 164通常可將使用者資料封包路由及轉發至WTRU 102a、102b、102c/路由及轉發來自該等WTRU的使用者資料封包。SGW 164可執行其他功能,諸如在e節點B間交遞期間錨定使用者平面、在DL資料可用於WTRU 102a、102b、102c時觸發呼叫、管理及儲存WTRU 102a、102b、102c的背景、及類似者。
SGW 164可連接至PGW 166,該PGW可將對封包交換網路(諸如網際網路110)的存取提供給WTRU 102a、102b、102c,以促進WTRU 102a、102b、102c與IP賦能裝置之間的通訊。
CN 106可促進與其他網路的通訊。例如,CN 106可將對電路交換網路(諸如PSTN 108)的存取提供給WTRU 102a、102b、102c,以促進WTRU 102a、102b、102c與傳統陸地線路通訊裝置之間的通訊。例如,CN 106可包括作用為CN 106與PSTN 108之間的介面的IP閘道器(例如,IP多媒體子系統(IP multimedia subsystem, IMS)伺服器)或可與該IP閘道器通訊。額外地,CN 106可將對其他網路112的存取提供給WTRU 102a、102b、102c,該等其他網路可包括由其他服務供應商擁有及/或操作的其他有線及/或無線網路。
雖然在圖1A至圖1D中將WTRU描述為無線終端,預計在某些代表性實施例中,此一終端可與通訊網路一起使用(例如,暫時地或永久地)有線通訊介面。
在代表性實施例中,其他網路112可係WLAN。
在基礎設施基本服務集(Basic Service Set, BSS)模式中的WLAN可具有用於BSS的存取點(AP)及與AP關聯的一或多個站台(STA)。AP可具有對分配系統(Distribution System, DS)或將訊務載入及/或載出BSS之另一類型的有線/無線網路的存取或介面。源自BSS外側之至STA的訊務可透過AP到達並遞送至STA。可將源自STA至BSS外側之目的地的訊務發送至AP以遞送至各別目的地。在BSS內的STA之間的訊務可透過AP發送,例如,其中來源STA可將訊務發送至AP且AP可將訊務遞送至目的地STA。可將BSS內的STA之間的訊務視為及/或稱為同級間訊務。同級間訊務可使用直接鏈路設置(direct link setup, DLS)在來源STA與目的地STA之間(例如,直接於其間)發送。在某些代表性實施例中,DLS可使用802.11e DLS或802.11z隧道式DLS (tunneled DLS, TDLS)。使用獨立BSS (Independent BSS, IBSS)模式的WLAN可不具有AP,且在IBSS內或使用該IBSS的STA(例如,所有的STA)可彼此直接通訊。IBSS通訊模式在本文中有時可稱為「特設(ad-hoc)」通訊模式。
當使用802.11ac基礎設施操作模式或類似操作模式時,AP可在固定通道(諸如主通道)上傳輸信標。主通道可係固定寬度的(例如,20 MHz寬的頻寬)或經由傳訊動態地設定寬度。主通道可係BSS的操作通道並可由STA使用以建立與AP的連接。在某些代表性實施例中,可將具有碰撞避免的載波感測多重存取(Carrier Sense Multiple Access with Collision Avoidance, CSMA/CA)實施在例如802.11系統中。對於CSMA/CA,包括AP的STA(例如,每一個STA)可感測主通道。若主通道由特定STA感測/偵測及/或判定成忙碌,該特定STA可退出。一個STA(例如,僅一個站台)可在給定BSS中的任何給定時間傳輸。
高通量(High Throughput, HT) STA可使用40 MHz寬的通道以用於通訊,例如經由20 MHz主通道與相鄰或不相鄰的20 MHz通道的組合以形成40 MHz寬的通道。
非常高通量(Very High Throughput, VHT) STA可支援20 MHz、40 MHz、80 MHz、及/或160 MHz寬的通道。40 MHz及/或80 MHz通道可藉由組合連續的20 MHz通道形成。160 MHz通道可藉由組合8個連續的20 MHz通道,或藉由組合二個非連續的80 MHz通道(其可稱為80+80組態)形成。對於80+80組態,在通道編碼後,可將資料傳過可將資料分成二個串流的區段剖析器。快速傅立葉逆變換(Inverse Fast Fourier Transform, IFFT)處理及時域處理可在各串流上分開完成。可將串流映射至二個80 MHz通道上,且資料可藉由傳輸STA傳輸。在接收STA的接收器處,用於80+80組態的上述操作可反轉,並可將經組合資料發送至媒體存取控制(MAC)。
次1 GHz操作模式是由802.11af及802.11ah所支援。通道操作頻寬及載波在802.11af及802.11ah中相對於使用在802.11n及802.11ac中的通道操作頻寬及載波係降低的。802.11af在電視空白頻段(TV White Space, TVWS)頻譜中支援5 MHz、10 MHz、及20 MHz頻寬,且802.11ah使用非TVWS頻譜支援1 MHz、2 MHz、4 MHz、8 MHz、及16 MHz頻寬。根據代表性實施例,802.11ah可支援儀表類型控制/機器類型通訊,諸如在巨型涵蓋區中的MTC裝置。MTC裝置可具有某些能力,例如,包括支援(例如,僅支援)某些及/或有限頻寬的有限能力。MTC裝置可包括具有高於臨限之電池組壽命的電池組(例如,以維持非常長的電池組壽命)。
可支援多個通道及通道頻寬(諸如802.11n、802.11ac、802.11af、及802.11ah)的WLAN系統包括可指定成主通道的通道。主通道可具有等於由BSS中的所有STA支援的最大共同操作頻寬的頻寬。主通道的頻寬可由在BSS中操作的所有STA之中的支援最小頻寬操作模式的STA設定及/或限制。在802.11ah的實例中,即使AP(及BSS中的其他STA)支援2 MHz、4 MHz、8 MHz、16 MHz、及/或其他通道頻寬操作模式,主通道對於支援(例如,僅支援)1 MHz模式的STA(例如,MTC類型裝置)可係1 MHz寬。載波感測及/或網路配置向量(Network Allocation Vector, NAV)設定可取決於主通道的狀態。例如,若主通道例如導因於STA(其僅支援1 MHz操作模式)傳輸至AP而係忙碌的,即使大部分的頻帶維持閒置且可係可用的,可將整個可用頻帶視為係忙碌的。
在美國,可用頻帶(其可由802.11ah使用)係從902 MHz至928 MHz。在韓國,可用頻帶係從917.5 MHz至923.5 MHz。在日本,可用頻帶係從916.5 MHz至927.5 MHz。取決於國碼,可用於802.11ah的總頻寬係6 MHz至26 MHz。
圖1D係根據一實施例繪示RAN 113及CN 115的系統圖。如上文提到的,RAN 113可採用NR無線電技術以透過空中介面116與WTRU 102a、102b、102c通訊。RAN 113亦可與CN 115通訊。
RAN 113可包括gNB 180a、180b、180c,雖然應理解RAN 113可包括任何數目的gNB,同時仍與實施例保持一致。gNB 180a、180b、180c各可包括一或多個收發器以用於透過空中介面116與WTRU 102a、102b、102c通訊。在一個實施例中,gNB 180a、180b、180c可實施MIMO技術。例如,gNB 180a、108b可利用波束成形以傳輸信號至gNB 180a、180b、180c及/或接收來自該等gNB的信號。因此,gNB 180a例如可使用多個天線以傳輸無線信號至WTRU 102a及/或接收來自該WTRU的無線信號。在一實施例中,gNB 180a、180b、180c可實施載波聚合技術。例如,gNB 180a可將多個組成載波傳輸至WTRU 102a(未圖示)。此等組成載波的子集可在非授權頻譜上,而其餘的組成載波可在授權頻譜上。在一實施例中,gNB 180a、180b、180c可實施協調多點(Coordinated Multi-Point, CoMP)技術。例如,WTRU 102a可接收來自gNB 180a及gNB 180b(及/或gNB 180c)的經協調傳輸。
WTRU 102a、102b、102c可使用與可擴縮參數集(numerology)關聯的傳輸與gNB 180a、180b、180c通訊。例如,OFDM符號間距及/或OFDM副載波間距可針對不同傳輸、不同胞元、及/或無線傳輸頻譜的不同部分變化。WTRU 102a、102b、102c可使用子訊框或各種長度或可擴縮長度的傳輸時間間隔(transmission time interval, TTI)(例如,含有變化數目的OFDM符號及/或持續變化的絕對時間長度)與gNB 180a、180b、180c通訊。
gNB 180a、180b、180c可經組態以與採獨立組態及/或非獨立組態的WTRU 102a、102b、102c通訊。在獨立組態中,WTRU 102a、102b、102c可與gNB 180a、180b、180c通訊而無需亦存取其他RAN(例如,諸如e節點B 160a、160b、160c)。在獨立組態中,WTRU 102a、102b、102c可將gNB 180a、180b、180c的一或多者使用為行動錨點。在獨立組態中,WTRU 102a、102b、102c可使用在非授權頻帶中的信號與gNB 180a、180b、180c通訊。在非獨立組態中,WTRU 102a、102b、102c可與gNB 180a、180b、180c通訊/連接至該等gNB,同時亦與另一RAN(諸如e節點B 160a、160b、160c)通訊/連接至該另一RAN。例如,WTRU 102a、102b、102c可實施DC原理以實質同時地與一或多個gNB 180a、180b、180c及一或多個e節點B 160a、160b、160c通訊。在非獨立組態中,e節點B 160a、160b、160c可作用為WTRU 102a、102b、102c的行動錨點,且gNB 180a、180b、180c可提供用於服務WTRU 102a、102b、102c的額外覆蓋及/或通量。
gNB 180a、180b、180c之各者可與特定胞元(未圖示)關聯,並可經組態以處理無線電資源管理決策、交遞決策、UL及/或DL中之使用者的排程、網路切片的支援、雙連接性、NR與E-UTRA之間的交互工作、使用者平面資料朝向使用者平面功能(User Plane Function, UPF) 184a、184b的路由、控制平面資訊朝向存取及行動性管理功能(Access and Mobility Management Function, AMF) 182a、182b的路由、及類似者。如圖1D所示,gNB 180a、180b、180c可透過Xn介面彼此通訊。
顯示於圖1D中的CN 115可包括至少一個AMF 182a、182b、至少一個UPF 184a、184b、至少一個對話管理功能(Session Management Function, SMF) 183a、183b、並可能包括資料網路(Data Network, DN) 185a、185b。雖然將上述元件之各者描繪成CN 115的部分,將理解此等元件的任一者可由CN操作者之外的實體擁有及/或操作。
AMF 182a、182b可經由N2介面連接至RAN 113中的gNB 180a、180b、180c的一或多者,並可作用為控制節點。例如,AMF 182a、182b可負責認證WTRU 102a、102b、102c的使用者、支援網路切片(例如,具有不同需求之不同PDU對話的處理)、選擇特定的SMF 183a、183b、登錄區的管理、NAS傳訊的終止、行動管理、及類似者。網路切片可由AMF 182a、182b使用,以基於正使用之WTRU 102a、102b、102c之服務的類型將用於WTRU 102a、102b、102c的CN支援客製化。例如,不同網路切片可針對不同的使用情形建立,諸如依賴超可靠低延遲(ultra-reliable low latency, URLLC)存取的服務、依賴增強大量行動寬頻(enhanced massive mobile broadband, eMBB)存取的服務、用於機器類型通訊(machine type communication, MTC)存取的服務、及/或類似者。AMF 162可提供用於在RAN 113與其他RAN(未圖示)之間切換的控制平面功能,該等其他RAN採用其他無線電技術(諸如LTE、LTE-A、LTE-A Pro、及/或非3GPP存取技術(諸如WiFi))。
SMF 183a、183b可經由N11介面連接至CN 115中的AMF 182a、182b。SMF 183a、183b亦可經由N4介面連接至CN 115中的UPF 184a、184b。SMF 183a、183b可選擇及控制UPF 184a、184b並組態透過UPF 184a、184b之訊務的路由。SMF 183a、183b可執行其他功能,諸如管理及分配UE IP位址、管理PDU對話、控制政策執行及QoS、提供下行鏈路資料通知、及類似者。PDU對話類型可係基於IP的、非基於IP的、基於乙太網路的、及類似者。
UPF 184a、184b可經由N3介面連接至RAN 113中的gNB 180a、180b、180c的一或多者,該介面可將對封包交換網路(諸如網際網路110)的存取提供給WTRU 102a、102b、102c,以促進WTRU 102a、102b、102c與IP賦能裝置之間的通訊。UPF 184、184b可執行其他功能,諸如路由及轉發封包、執行使用者平面政策、支援多連接(multi-homed) PDU對話、處理使用者平面QoS、緩衝下行鏈路封包、提供行動錨定、及類似者。
CN 115可促進與其他網路的通訊。例如,CN 115可包括作用為CN 115與PSTN 108之間的介面的IP閘道器(例如,IP多媒體子系統(IP multimedia subsystem, IMS)伺服器)或可與該IP閘道器通訊。額外地,CN 115可將對其他網路112的存取提供給WTRU 102a、102b、102c,該等其他網路可包括由其他服務供應商擁有及/或操作的其他有線及/或無線網路。在一個實施例中,WTRU 102a、102b、102c可經由至UPF 184a、184b的N3介面及UPF 184a、184b與區域資料網路(DN) 185a、185b之間的N6介面透過UPF 184a、184b連接至DN 185a、185b。
鑑於圖1A至圖1D及圖1A至圖1D的對應描述,關於下列一或多者於本文描述之功能的一或多者或全部可藉由一或多個仿真裝置(未圖示)執行:可藉由一或多個仿真裝置(未圖示)執行WTRU 102a至102d、基地台114a至114b、e節點B 160a至160c、MME 162、SGW 164、PGW 166、gNB 180a至180c、AMF 182a至182b、UPF 184a至184b、SMF 183a至183b、DN 185a至185b、及/或本文描述的任何其他(多個)裝置。仿真裝置可係經組態以仿真本文描述之功能的一或多者或全部的一或多個裝置。例如,仿真裝置可用以測試其他裝置及/或模擬網路及/或WTRU功能。
仿真裝置可經設計以在實驗室環境及/或操作者網路環境中實施其他裝置的一或多個測試。例如,一或多個仿真裝置可在完全或部分地實施及/或部署為有線及/或無線通訊網路的部分的同時執行一或多個或全部的功能以測試通訊網路內的其他裝置。一或多個仿真裝置可在暫時地實施/部署成有線及/或無線通訊網路的部分的同時執行一或多個或全部的功能。仿真裝置可針對測試目的而直接耦接至另一裝置及/或可使用空中無線通訊執行測試。
一或多個仿真裝置可在未實施/部署成有線及/或無線通訊網路的部分的同時執行一或多個(包括全部)功能。例如,仿真裝置可使用在測試實驗室及/或非部署(例如,測試)的有線及/或無線通訊網路中的測試場景中,以實施一或多個組件的測試。一或多個仿真裝置可係測試儀器。直接RF耦合及/或經由RF電路系統(例如,其可包括一或多個天線)的無線通訊可由仿真裝置使用以傳輸及/或接收資料。
本申請案描述多種態樣,包括工具、特徵、實例、模型、方法等。此等態樣的許多態樣係以特定性描述(以至少顯示個別特性),且常以聽起來可係限定的方式描述。然而,此係出於描述清楚性的目的,且並不限制此等態樣的應用或範圍。實際上,所有的不同態樣皆可組合及互換以提供進一步態樣。此外,該等態樣亦可與描述於先前申請案中的態樣組合及互換。
於此申請案中描述及設想的態樣可以許多不同形式實施。本文描述的圖5至圖10可提供一些實例,但亦設想其他實例。圖5至圖10的討論不限制實施方案的廣泛性。該等態樣中之至少一者大致上係關於視訊編碼及解碼,且至少一個其他態樣大致上係關於傳輸經產生或經編碼的位元流。可將此等及其他態樣實施為方法、設備、具有儲存於其上之用於根據所描述之方法的任一者編碼或解碼視訊資料之指令的電腦可讀儲存媒體、及/或具有儲存於其上之根據所描述之方法的任一者產生之位元流的電腦可讀儲存媒體。
在本申請案中,用語「經重建(reconstructed)」及「經解碼(decoded)」可互換地使用、用語「像素(pixel)」及「樣本(sample)」可互換地使用、用語「影像(image)」、「圖像(picture)」、及「訊框(frame)」可互換地使用。
於本文中描述各種方法,且該等方法之各者包含用於實現所描述之方法的一或多個步驟或動作。除非方法的適當操作需要特定順序的步驟或動作,可修改或組合特定步驟及/或動作的順序及/或用途。額外地,諸如「第一(first)」、「第二(second)」等的用語可使用在各種實例中,以修飾元件、組件、步驟、操作等,諸如例如,「第一解碼(first decoding)」及「第二解碼(second decoding)」。除非具體要求,此類用語的使用並不意味對經修飾操作的排序。所以在此實例中,第一解碼不需要在第二解碼之前執行,並可例如在第二解碼之前、期間、或與其重疊的時間期間中發生。
描述於本申請案中的各種方法及其他態樣可用以修改如圖2及圖3所示的視訊編碼器200及解碼器300的模組(例如,解碼模組)。此外,本文揭示的標的可施用至例如任何類型、格式、或版本的視訊編碼(無論是在標準或建議中描述、無論是預先存在或未來發展的、及任何此類標準及建議的延伸)。除非以其他方式指示或在技術上排除,描述於本申請案中的態樣可個別或組合地使用。
各種數值使用在本申請案描述的實例中,諸如位元、位元深度等。此等及其他特定值用於描述實例的目的,且所描述的態樣不限於此等特定值。
圖2係顯示實例視訊編碼器的圖。設想實例編碼器200的變化,但編碼器200於下文的描述係出於清楚的目的而未描述所有的預期變化。
在編碼前,視訊序列可經歷預編碼處理(201),例如,將顏色轉換施加至輸入顏色圖像(例如,從RGB 4:4:4轉換成YCbCr 4:2:0),或執行輸入圖像分量的重映射以得到對壓縮更有彈性的信號分布(例如,使用顏色分量的一者的直方圖等化)。後設資料可與預處理關聯,並附加至位元流。
在編碼器200中,圖像係藉由如下文描述的編碼器元件編碼。待編碼圖像係以例如編解碼單元(coding unit, CU)為單位分割(202)及處理。各單元係使用例如幀內或幀間模式任一者編碼。當單元以幀內模式編碼時,其執行幀內預測(260)。在幀間模式中,執行運動評估(275)及補償(270)。編碼器決定(205)將幀內或幀間模式的哪一者用於編碼該單元,並藉由例如預測模式旗標指示幀內/幀間決策。預測殘量係例如藉由從原始影像區塊減去(210)經預測區塊而計算。
接著轉換(225)及量化(230)預測殘量。將量化轉換係數以及運動向量及其他語法元素熵編解碼(245)以輸出位元流。編碼器可跳過轉換,並將量化直接施加至未轉換的殘餘信號。編碼器可略過轉換及量化二者,亦即殘量係在未應用轉換或量化程序的狀況下直接編解碼。
編碼器解碼經編碼區塊以提供用於進一步預測的參考。將量化轉換係數解量化(240)及逆轉換(250)以解碼預測殘量。組合(255)經解碼預測殘量及預測區塊,重建影像區塊。將迴路內濾波器(in-loop filter) (265)施用至重建圖像,以執行例如解塊/SAO(樣本適應性偏移(Sample Adaptive Offset))濾波以降低編碼假影。將經濾波影像儲存在參考圖像緩衝器(280)處。
圖3係顯示視訊解碼器的一實例的圖。在實例解碼器300中,位元流係藉由如下文描述的解碼器元件解碼。視訊解碼器300大致執行與圖2中所描述之編碼階段互逆的解碼階段。編碼器200通常亦執行視訊解碼作為編碼視訊資料的部分。
具體而言,解碼器的輸入包括可由視訊編碼器200產生的視訊位元流。位元流首先經熵解碼(330)以獲得轉換係數、運動向量、及其他經編解碼資訊。圖像分割資訊指示該圖像係如何分割的。解碼器因此可根據經解碼圖像分割資訊劃分(335)圖像。將轉換係數解量化(340)及逆轉換(350)以解碼預測殘量。組合(355)經解碼預測殘量及預測區塊,重建影像區塊。經預測區塊可從幀內預測(360)或運動補償預測(亦即,幀間預測)(375)獲得(370)。將迴路內濾波器(365)施用至經重建影像。將經濾波影像儲存在參考圖像緩衝器(380)處。
經解碼圖像可進一步完成後解碼處理(385),例如顏色逆轉換(例如,從YCbCr 4:2:0至RGB 4:4:4的轉換)或執行在預編碼處理(201)中執行之重新映射處理之相反的逆重新映射。後解碼處理可使用在預編碼處理中衍生並在位元流中傳訊的後設資料。在一實例中,可將經解碼影像(例如,在施用迴路內濾波器(365)之後及/或若使用後解碼處理,在後解碼處理(385)之後)發送至顯示裝置以用於演現給使用者。
圖4係顯示本文描述的各種態樣及實例可實施於其中之系統的一實例的圖。系統400可體現為包括下文描述的各種組件,並經組態以執行描述於本文件中之態樣的一或多者的裝置。此類裝置的實例包括,但不限於,各種電子裝置,諸如個人電腦、膝上型電腦、智慧型手機、平板電腦、數位多媒體機上盒、數位電視接收器、個人視訊記錄系統、連接式家用電器、及伺服器。系統400的元件可單一地或組合地體現在單一積體電路(IC)、多個IC、及/或離散組件中。例如,在至少一個實例中,系統400的處理及編碼器/解碼器元件跨多個IC及/或離散組件分布。在各種實例中,系統400經由例如通訊匯流排或透過專用輸入埠及/或輸出埠通訊地耦接至一或多個其他系統或其他電子裝置。在各種實例中,系統400經組態以實施描述於本文件中之態樣的一或多者。
系統400包括至少一個處理器410,該處理器經組態以執行載入至其中之用於實施例如描述於本文件中的各種態樣的指令。處理器410可包括嵌入式記憶體、輸入輸出介面、及所屬技術領域中已知的各種其他電路系統。系統400包括至少一個記憶體420(例如,揮發性記憶體裝置及/或非揮發性記憶體裝置)。系統400包括儲存裝置440,該儲存裝置可包括非揮發性記憶體及/或揮發性記憶體,包括但不限於電可抹除可程式化唯讀記憶體(Electrically Erasable Programmable Read-Only Memory, EEPROM)、唯讀記憶體(ROM)、可程式化唯讀記憶體(Programmable Read-Only Memory, PROM)、隨機存取記憶體(RAM)、動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)、靜態隨機存取記憶體(Static Random Access Memory, SRAM)、快閃記憶體、磁碟驅動機、及/或光碟驅動機。作為非限制性實例,儲存裝置440可包括內部儲存裝置、附接儲存裝置(包括可拆離及不可拆離儲存裝置)、及/或網路可存取儲存裝置。
系統400包括編碼器/解碼器模組430,該編碼器/解碼器模組經組態以例如處理資料以提供經編碼視訊或經解碼視訊,且編碼器/解碼器模組430可包括其自有的處理器及記憶體。編碼器/解碼器模組430表示可包括在裝置中以執行編碼及/或解碼功能的(多個)模組。如已知的,裝置可包括編碼及解碼模組的一或二者。額外地,如所屬技術領域中具有通常知識者已知的,可將編碼器/解碼器模組430實施為系統400的分開元件,或可併入處理器410內作為硬體與軟體的組合。
待載入至處理器410或編碼器/解碼器430上以執行描述於本文件中的各種態樣的程式碼可儲存在儲存裝置440中,且隨後載入至記憶體420上以用於由處理器410執行。根據各種實例,處理器410、記憶體420、儲存裝置440、及編碼器/解碼器模組430的一或多者可在描述於本文件中的程序的執行期間儲存各種項目的一或多者。此類經儲存項目可包括但不限於來自方程式、公式、操作、及操作邏輯之處理的輸入視訊、經解碼視訊或經解碼視訊的部分、位元流、矩陣、變數、及中間或最終結果。
在一些實例中,處理器410及/或編碼器/解碼器模組430內側的記憶體係用以儲存指令,並為編碼或解碼期間所需的處理提供工作記憶體。然而,在其他實例中,處理裝置(例如,處理裝置可係處理器410或編碼器/解碼器模組430的任一者)外部的記憶體係用於此等功能的一或多者。外部記憶體可係記憶體420及/或儲存裝置440,例如動態揮發性記憶體及/或非揮發性快閃記憶體。在數個實例中,外部非揮發性快閃記憶體係用以儲存例如電視機的作業系統。在至少一個實例中,快速外部動態揮發性記憶體(諸如RAM)係使用為用於視訊編碼及解碼操作的工作記憶體。
至系統400之元件的輸入可透過如方塊445中所指示的各種輸入裝置提供。此類輸入裝置包括但不限於(i)射頻(RF)部分,其接收例如由廣播器透過空氣傳輸的RF信號、(ii)分量(COMP)輸入端子(或一組COMP輸入端子)、(iii)通用串列匯流排(Universal Serial Bus, USB)輸入端子、及/或(iv)高畫質多媒體介面(High Definition Multimedia Interface, HDMI)輸入端子。其他實例(未顯示於圖4中)包括複合視訊。
在各種實例中,方塊445的輸入裝置具有如所屬技術領域中已知的關聯各別輸入處理元件。例如,RF部分可與適用於(i)選擇所欲頻率(亦稱為選擇信號或將信號頻帶限制至頻帶)、(ii)降頻轉換經選擇信號、(iii)再次頻帶限制至更窄的頻帶以選擇(例如)在某些實例中可稱為通道的信號頻帶、(iv)解調變經降頻轉換及經頻帶限制的信號、(v)執行錯誤校正、及(vi)解多工以選擇所欲的資料封包串流的元件關聯。各種實例的RF部分包括一或多個元件以執行此等功能,例如頻率選擇器、信號選擇器、頻帶限制器、通道選擇器、濾波器、降頻轉換器、解調變器、錯誤校正器、及解多工器。RF部分可包括執行各種此等功能(包括例如將經接收信號降頻轉換至較低頻率(例如,中間頻率或近基帶頻率)或至基帶)的調諧器。在一個機上盒實例中,RF部分及其關聯輸入處理元件接收透過有線(例如,纜線)媒體傳輸的RF信號,並藉由濾波、降頻轉換、及再次濾波至所欲頻帶而執行頻率選擇。各種實例重配置上述(及其他)元件的順序、移除此等元件的一些、及/或加入執行類似或不同功能的其他元件。加入元件可包括將元件插入在現有元件之間,諸如例如插入放大器及類比轉數位轉換器。在各種實例中,RF部分包括天線。
USB及/或HDMI端子可包括用於跨USB及/或HDMI連接將系統400連接至其他電子裝置的各別介面處理器。應理解輸入處理的各種態樣(例如,里德-所羅門(Reed-Solomon)錯誤校正)可依需要實施在例如分開的輸入處理IC內或在處理器410內。類似地,USB或HDMI介面處理的態樣可依需要實施在分開的介面IC內或在處理器410內。經解調、錯誤校正、及解多工物流係提供至各種處理元件,包括例如處理器410,及編碼器/解碼器430,其與記憶體及儲存元件組合操作以處理用於呈現在一輸出裝置上所需的資料流。
系統400的各種元件可提供在整合外殼內,在整合外殼內,各種元件可使用合適的連接配置425(例如,如所屬技術領域中已知的內部匯流排,包括IC間(Inter-IC, I2C)匯流排、布線、及印刷電路板)於其間互連及傳輸資料。
系統400包括通訊介面450,該通訊介面實現經由通訊通道460與其他裝置的通訊。通訊介面450可包括但不限於經組態以透過通訊通道460傳輸及接收資料的收發器。通訊介面450可包括但不限於數據機或網路卡,且通訊通道460可實施在例如有線及/或無線媒體內。
在各種實例中,使用無線網路(諸如Wi-Fi網路,例如IEEE 802.11(IEEE係指美國電機電子工程師學會))將資料串流或以其他方式提供至系統400。此等實例的Wi-Fi信號係透過經調適用於Wi-Fi通訊的通訊通道460及通訊介面450接收。此等實例的通訊通道460一般連接至提供對外部網路(包括網際網路)之存取以用於允許串流應用及其他過頂(over-the-top)通訊的存取點或路由器。其他實例使用透過輸入方塊445的HDMI連接遞送資料的機上盒將經串流資料提供至系統400。又其他實例使用輸入方塊445的RF連接將經串流資料提供至系統400。如上文所指示的,各種實例以非串流方式提供資料。額外地,各種實例使用Wi-Fi以外的無線網路,例如,蜂巢式網路或Bluetooth®網路。
系統400可將輸出信號提供至各種輸出裝置,包括顯示器475、揚聲器485、及其他週邊裝置495。各種實例的顯示器475包括例如觸控螢幕顯示器、有機發光二極體(OLED)顯示器、曲面顯示器、及/或可摺疊顯示器的一或多者。顯示器475可用於電視機、平板電腦、膝上型電腦、蜂巢式電話(行動電話)、或其他裝置。顯示器475亦可與其他組件整合(例如,如智慧型手機中),或係分開的(例如,膝上型電腦的外部監視器)。在各種實例中,其他週邊裝置495包括獨立數位視訊光碟(或數位多功能光碟)(DVD,針對二種用語)、光碟機、立體聲系統、及/或照明系統的一或多者。各種實例使用基於系統400的輸出提供功能的一或多個週邊裝置495。例如,光碟機執行播放系統400之輸出的功能。
在各種實例中,控制信號使用傳訊(諸如AV.Link、消費性電子控制(Consumer Electronics Control, CEC)、或以需要或不需要使用者介入的方式實現裝置對裝置控制的其他通訊協定)在系統400與顯示器475、揚聲器485、或其他週邊裝置495之間傳達。輸出裝置可經由透過各別介面470、480、及490的專用連接通訊地耦接至系統400。替代地,輸出裝置可經由通訊介面450使用通訊通道460連接至系統400。顯示器475及揚聲器485可與電子裝置(諸如例如電視機)中的系統400的其他組件整合在單一單元中。在各種實例中,顯示器介面470包括顯示器驅動器,諸如例如時序控制器(T Con)晶片。
例如,若輸入445的RF部分係分開的機上盒的部件,顯示器475及揚聲器485可替代地與其他組件的一或多者分開。在顯示器475及揚聲器485係外部組件的各種實例中,輸出信號可經由專用輸出連接(包括例如HDMI埠、USB埠、或COMP輸出)提供。
實例可藉由由處理器410實施的電腦軟體或藉由硬體、或藉由硬體及軟體的組合實行。作為非限制性實例,實例可藉由一或多個積體電路實施。作為非限制性實例,記憶體420可係對技術環境適當的任何類型的,且可使用任何適當的資料儲存技術實施,諸如光學記憶體裝置、磁性記憶體裝置、基於半導體的記憶體裝置、固定式記憶體、及可移除式記憶體。作為非限制性實例,處理器410可係對技術環境適當的任何類型的,並可涵蓋微處理器、通用電腦、特殊用途電腦、及基於多核心架構之處理器的一或多者。
各種實施方案涉及解碼。如本申請案中所使用的,「解碼(decoding)」可涵蓋例如在經接收經編碼序列上執行以產生適合顯示器的最終輸出之程序的全部或部分。在各種實例中,此類程序包括一般藉由解碼器執行之程序(例如,熵解碼、逆量化、逆轉換、及差分解碼)的一或多者。在各種實例中,此類程序亦或替代地包括藉由描述在本申請案中的各種實施方案的解碼器執行的程序,例如,判定該基於模板的預測經賦能用於一目前區塊;基於模板匹配判定該目前區塊的一預測區塊及一模板定向;及基於該預測區塊及該模板定向解碼該目前區塊等。
作為進一步實例,在一實例中,「解碼」僅指熵解碼,在另一實例中,「解碼」僅指差分解碼,且在另一實例中,「解碼」係指熵解碼與差分解碼的組合。不論片語「解碼程序」是否意圖具體地係指操作的子集或大致係指更廣泛者,解碼程序將基於特定描述的上下文而係清楚的並據信可係所屬技術領域中具有通常知識者良好地理解的。
各種實施方案涉及編碼。以類似於上述關於「解碼」的討論之方式,在本申請案中所使用的「編碼」可涵蓋例如在輸入視訊序列上執行以產生經編碼位元流的程序之全部或部分。在各種實例中,此類程序包括一般藉由編碼器執行之程序(例如,分割、差分編碼、轉換、量化、及熵編碼)的一或多者。在各種實例中,此類程序亦或替代地包括藉由描述在本申請案中的各種實施方案的編碼器執行的程序,例如,判定該基於模板的預測經賦能用於一目前區塊;基於模板匹配判定該目前區塊的一預測區塊及一模板定向;及基於該預測區塊及該模板定向編碼該目前區塊等。
作為進一步實例,在一實例中,「編碼」僅指熵編碼,在另一實例中,「編碼」僅指差分編碼,且在另一實例中,「編碼」係指熵編碼與差分編碼的組合。不論片語「編碼程序」是否意圖具體地指稱操作的子集或大致係指更廣泛者,編碼程序將基於特定描述的上下文而係清楚的並據信可係所屬技術領域中具有通常知識者良好地理解的。
當將圖式表示成流程圖時,應瞭解其亦提供對應設備的方塊圖。類似地,當將圖式表示成方塊圖時,應瞭解其亦提供對應方法/程序的流程圖。
描述於本文中的實施方案及態樣可以例如方法或程序、設備、軟體程式、資料流、或信號實施。即使僅在單一形式的實施方案的上下文中討論(例如,僅作為方法討論),所討論之特徵的實施方案亦可以其他形式實施(例如,設備或程式)。設備可以例如適當硬體、軟體、及韌體實施。方法可在例如處理器中實施,該處理器通常指處理裝置,包括例如電腦、微處理器、積體電路、或可程式化邏輯裝置。處理器亦包括通訊裝置,諸如例如電腦、蜂巢式電話、可攜式/個人數位助理(「PDA」)、及促進終端使用者之間的資訊的通訊的其他裝置。
對「一個實例(one example)」或「一實例(an example)」或「一個實施方案(one implementation)」、或「一實施方案(an implementation)」以及其等的其他變化的參考意指相關於該實例陳述的特定特徵、結構、特性等包括在至少一個實例中。因此,片語「在一個實例中(in one example)」或「在一實例中(in an example)」或「在一個實施方案中(in one implementation)」、或「在一實施方案中(in an implementation)」的出現,以及在遍及本申請案各處出現的任何其他變化不必全部參考至相同實例。
額外地,此申請案可與「判定」各項資訊相關。判定資訊可包括例如評估資訊、計算資訊、預測資訊、或從記憶體檢索資訊的一或多者。獲得可包括接收、檢索、建構、產生、及/或判定。
進一步地,此申請案可與「存取」各項資訊相關。存取資訊可包括例如接收資訊、檢索資訊(例如,從記憶體)、儲存資訊、移動資訊、複製資訊、計算資訊、判定資訊、預測資訊、或評估資訊的一或多者。
額外地,此申請案可與「接收」各項資訊相關。意圖使接收與「存取(accessing)」般成為廣泛用語。接收資訊可包括例如存取資訊或檢索資訊(例如,從記憶體)的一或多者。進一步地,在操作期間(諸如例如儲存資訊、處理資訊、傳輸資訊、移動資訊、複製資訊、抹除資訊、計算資訊、判定資訊、預測資訊、或評估資訊)一般以某種方式或另一者涉及「接收(receiving)」。
應理解下列「/」、「及/或(and/or)」、及「中之至少一者(at least one of)」在例如「A/B」、「A及/或B (A and/or B)」、及「A及B中之至少一者(at least one of A and B)」之情形中的使用意圖涵蓋僅選擇第一列出選項(A)、或僅選擇第二列出選項(B)、或選擇二個選項(A及B)。作為進一步實例,在「A、B、及/或C (A, B, and/or C)」及「A、B、及C中之至少一者(at least one of A, B, and C)」的情形中,此類片語意圖涵蓋僅選擇第一列出選項(A)、或僅選擇第二列出選項(B)、或僅選擇第三列出選項(C)、或僅選擇第一及第二列出選項(A及B)、或僅選擇第一及第三列出選項(A及C)、或僅選擇第二及第三列出選項(B及C)、或選擇所有三個選項(A及B及C)。此可對與所列項目一樣多的項目延伸,如對所屬及相關技術領域中具有通常知識者係明顯的。
再者,如本文中所使用的,用詞「傳訊(signal)」尤其係指將某物指示給對應解碼器。以此方式,在一實例中,相同參數在編碼器側及解碼器側兩者使用。因此,舉例來說,一編碼器可傳輸(明確傳訊)一特定參數至解碼器,使得解碼器可使用相同的特定參數。相反地,若解碼器已具有該特定參數以及其他參數,則可使用傳訊而不傳輸(隱式傳訊),以僅允許解碼器知道並選擇特定參數。藉由避免傳輸任何實際功能,在各種實例中實現位元節省。應理解傳訊可以各種方式達成。例如,在各種實例中,使用一或多個語法元素、旗標等以將資訊傳訊至對應解碼器。雖然前文係關於詞「傳訊(signal)」的動詞形式,但詞「信號(signal)」在本文中可(例如亦可)使用為名詞。
如所屬技術領域中具有通常知識者所將顯而易見的,實施方案可產生經格式化以運載可例如儲存或傳輸之資訊的各種信號。該資訊可包括例如用於執行方法的指令、或由所描述的實施方案的一者產生的資料。例如,可將信號格式化以運載所描述實例的位元流。此一信號可格式化成例如電磁波(例如,使用光譜的射頻部分)或基頻信號。格式化可包括例如編碼資料流及調變具有經編碼資料流的載波。該信號所運載的資訊可係例如類比或數位資訊。如已知的,該信號可透過各種不同的有線或無線鏈路傳輸。信號可儲存在處理器可讀媒體上,或可自其存取或接收。
許多實例於本文中描述。實例的特徵可單獨或採任何組合跨各種請求項類別及類型提供。進一步地,實例可包括單獨或採任何組合跨各種請求項類別及類型於本文中描述的特徵、裝置、或態樣的一或多者。例如,本文描述的特徵可實施在包括如本文所描述地產生之資訊的位元流或信號中。資訊可根據所描述之實施例之任一者允許解碼器解碼位元流、編碼器、位元流、及/或解碼器。例如,本文描述的特徵可藉由建立及/或傳輸及/或接收及/或解碼位元流或信號而實施。例如,本文描述的特徵可實施方法、程序、設備、儲存指令的媒體、儲存資料的媒體、或信號。例如,本文描述的特徵可藉由TV、機上盒、蜂巢式電話、平板電腦、或執行解碼的其他電子裝置實施。TV、機上盒、蜂巢式電話、平板電腦、或其他電子裝置可顯示(例如,使用監視器、螢幕、或其他類型的顯示器)所得影像(例如,來自視訊位元流之殘量重建的影像)。TV、機上盒、蜂巢式電話、平板電腦、或其他電子裝置可接收包括經編碼影像的信號並執行解碼。
語法元素值可從其圍繞先前經編解碼區塊之像素(例如,L形像素)匹配目前區塊模板的該等區塊預測。本文描述的實例可增加編解碼增益及/或降低語法元素的傳訊。
例如,編碼器可判定是否將基於模板的編解碼模式用於目前區塊。基於將基於模板的編解碼模式用於目前區塊的判定,編碼器可略過目前區塊的至少一個語法元素的傳訊。目前區塊可基於基於模板的編解碼模式編碼。基於基於模板的編解碼模式不用於目前區塊的判定,可將目前區塊的至少一個語法元素包括在位元流中。
此等實例可藉由具有至少一個處理器的裝置執行。該裝置可係一編碼器或一解碼器。此等實例可藉由儲存在一非暫時性電腦可讀媒體上且包括程式碼指令的一電腦程式產品執行。此等實例可藉由包含程式碼指令的一電腦程式執行。此等實例可藉由包含表示模板匹配預測模式之資訊的一位元流執行。
本文提供幀內模板匹配預測(幀內TMP)的實例。幀內TMP係可自目前訊框的經重建部分複製其L形模板匹配目前模板的最佳預測區塊的幀內預測模式。對於預定義搜尋範圍,編碼器可在目前訊框的經重建部分中搜尋與目前模板最類似的模板,且可將對應區塊使用為預測區塊。編碼器可傳訊此模式的使用,且相同預測操作可在解碼器側執行。
圖5繪示幀內模板匹配搜尋區域的實例。預測信號可藉由使目前區塊的L形因果相鄰者與圖5中的預定義搜尋區域中的另一區塊匹配而產生,該圖包括: R1:目前CTU R2:左上方CTU R3:上方CTU R4:左方CTU
絕對差的總和(SAD)可使用為成本函數。在區域內(例如,在各區域內),解碼器可搜尋相關於目前區塊具有最少SAD的模板,且可將其對應區塊使用為預測區塊。區域的尺寸(SearchRange_w, SearchRange_h)可設定成與區塊尺寸(BlkW, BlkH)成比例,以每像素具有固定數目的SAD比較。亦即: SearchRange_w = a * BlkW SearchRange_h = a * BlkH 其中「 」可係控制增益/複雜度權衡的常數。例如,「 」可等於5。
幀內模板匹配工具可經賦能用於在寬度及高度上具有小於或等於64之大小的CU。幀內模板匹配的此最大CU大小可係可組態的。幀內模板匹配預測模式可透過幀內模板匹配預測指示在CU層級傳訊。若解碼器側幀內模式衍生(decoder side intra mode derivation, DIMD)未賦能(例如,DIMD = 0),幀內模板匹配預測模式可透過模板匹配預測指示在CU層級賦能。雖然幀內模板匹配實例係於本文中描述,本文的實例亦可施用於幀間模板匹配。
圖6繪示螢幕內容圖像中的對稱性的實例。在實例中,幀內區塊複製(intra block copy, IBC)模式可使用翻轉操作延伸。編碼器可選擇翻轉(例如,水平地、垂直地、或對角地翻轉)由IBC獲得的預測區塊並傳訊指示翻轉方向的語法元素。此可允許一些圖案以反向空間排序重複(例如,如圖6所示)。
在實例中,幀內模板匹配程序可允許翻轉(例如,水平、垂直、及對角翻轉)、旋轉、及/或其他重定向。此可允許一些圖案以反向或其他經調整空間順序重複。當幀內模板匹配搜尋可產生翻轉方向時,此可涉及較少傳訊。
圖7繪示使用不同模板定向(例如,翻轉方向及/或旋轉)擴增之模板匹配的實例。為執行具有不同模板定向的模板匹配,可執行下列: Set BestDist to Max Set BestFlip to NoFlip Set BestPos = (0,0) Loop over all possible flips (including no flip) Set CurFlip to the current flip direction For each position inside the search range Set CurPos to the current position Constructed a template according to the flip direction Measure the current distance (CurDist) with respect to the current block template If (CurDist < BestDist) BestDist = CurDist BestFlip = CurFlip BestPos = CurPos End End End Copy the prediction block from BestPos Flip prediction block according to BestFlip
在實例中,解碼器或編碼器可判定基於模板的預測經賦能用於目前區塊。目前區塊的預測區塊及模板定向可基於模板匹配針對目前區塊判定。目前區塊可基於預測區塊及模板定向解碼或編碼。模板匹配預測(TMP)可藉由匹配在經重建區域內側的特定範圍內的預測區塊的模板而執行。模板可由在上方及左方方向上圍繞預測區塊的L形像素(例如,模板樣本值)組成(例如,如圖7所示)。在實例中,可調整模板(例如,如圖7所示)。經調整模板可水平地翻轉、垂直地翻轉、對角地翻轉、旋轉、或以其他方式調整。
為使用給定定向(例如,無翻轉、水平地翻轉、垂直地翻轉、對角地翻轉、旋轉、或其他定向調整)尋找目前區塊的預測區塊,解碼器或編碼器可獲得若干個模板定向,並從該若干個模板定向判定目前區塊的模板定向。在實例中,可重複TMP搜尋以尋找最佳模板定向。為尋找具有最佳模板定向的最佳預測區塊,可計算目前區塊的模板與預測區塊的在給定模板定向(例如,無翻轉、水平地翻轉、垂直地翻轉、對角地翻轉、旋轉、或其他定向調整)的若干個模板的各者之間的若干個模板差。
具有最佳模板定向的最佳預測區塊可係經計算的該若干個模板差的最小者。經計算模板差可指示目前區塊的模板中的樣本與預測區塊的在給定模板定向的模板中的樣本的各者之間的樣本值差。在實例中,第一模板差可在目前區塊的模板與在第一模板定向上的第一預測區塊的模板之間計算。第二模板差可在目前區塊的模板與在第二模板定向上的第二預測區塊的模板之間計算。具有目前區塊之最佳模板定向的最佳預測可係第一模板差及第二模板差的較小模板差。
在預測區塊(例如,最佳預測區塊)的定向改變時(例如,在翻轉時),可獲得該預測區塊(例如,複製)。預測區塊可基於經判定模板定向(例如,最佳模板定向)調整。目前區塊可基於經調整預測區塊解碼或編碼。在實例中,經判定模板定向可係水平翻轉模板定向、垂直翻轉模板定向、對角翻轉模板定向、或旋轉模板定向。預測區塊可基於經判定模板定向重定向。目前區塊可基於經重定向區塊解碼或編碼。
使用以精細化減少之範圍的模板匹配的實例可由解碼器及/或編碼器執行。在實例中,幀內模板匹配的複雜度可乘以所測試的翻轉方向的數目(例如,此係由於搜尋操作可重複與經允許翻轉一樣多的數目)。可施加二個模板匹配搜尋。在實例中,匹配區塊可使用第一模板匹配搜尋(例如,使用與直立模板定向關聯的常規TMP)發現。用於執行第二模板匹配搜尋的經精細化搜尋區域可基於匹配區塊判定。在實例中,最佳模板定向(例如,最佳翻轉)可在匹配區塊的位置周圍找到。在匹配區塊的位置周圍的區域可係經精細化搜尋區域。目前區塊的預測區塊及模板定向可基於在經精細化搜尋區域內執行的第二模板匹配搜尋判定。此可對尋找模板定向(例如,最佳翻轉)提供較少搜尋,因為可將其限制至匹配區塊周圍的小範圍。目前區塊可基於在經精細化搜尋區域內發現的預測區塊及模板定向而解碼及/或編碼。
圖8繪示搜尋模板共用的實例。可執行多個(例如,二個)模板匹配搜尋。匹配區塊可基於第一模板匹配搜尋而識別。模板差可在目前區塊的模板與匹配區塊的模板之間計算。用於第二模板匹配搜尋的候選模板定向可基於經計算模板差。解碼器及/或編碼器可基於經判定候選模板定向執行第二模板匹配搜尋。經計算模板差可指示目前區塊的模板中的樣本與匹配區塊的在給定模板定向的模板中的樣本的各者之間的樣本值差。
在實例中,第一模板差可基於目前區塊的頂部模板(例如,如圖8中所示的A)及匹配區塊的頂部模板計算,第二模板差可基於目前區塊的左方模板(例如,如圖8中所示的B)及匹配區塊的左方模板計算,且第三模板差可基於目前區塊的頂部模板及左方模板兩者及匹配區塊的頂部模板及左方模板兩者計算。
基於第一模板差係第一、第二、及第三模板差之中的最小差,可將垂直翻轉模板定向判定成用於第二模板匹配搜尋的候選模板定向(例如,頂部區塊的垂直翻轉版本,如圖8中所示的A+D)。在實例中,亦可使用頂部區塊的對角翻轉版本(例如,如圖8中所示之A+C)。基於第二模板差係第一、第二、及第三模板差之中的最小差,可將水平翻轉模板定向判定成用於第二模板匹配搜尋的候選模板定向(例如,左方區塊的水平翻轉版本,如圖8中所示的B+F)。在實例中,亦可使用左方區塊的對角翻轉版本(例如,如圖8中所示之B+E)。基於第三模板差係第一、第二、及第三模板差之中的最小差,可將目前區塊的直立模板定向判定成用於第二模板匹配搜尋的候選模板定向(例如,如圖8中所示的A+B)。
在使用搜尋模板共用的實例中,頂部區塊及/或左方區塊的經翻轉版本可僅在必要時檢查。在實例中,若模板大小係1(例如,匹配區塊及目前區塊的模板大小相等),可使用搜尋模板共用實例。在實例中,頂部區塊及/或左方的經翻轉版本可僅檢查至多若干次。
在實例中,候選模板定向可基於第一、第二、及第三模板差中的二者之中的最小模板差。在實例中,第二模板匹配搜尋可基於僅將頂部區塊的經翻轉版本(例如,垂直或對角)使用為候選定向、將左方區塊的經翻轉版本(例如,水平或對角)使用為候選定向、或將目前區塊的直立版本使用為候選定向而執行。此可僅需要將一或二個額外計算加在TMP計算之上。
編碼器可將指示是否執行多模板定向搜尋(例如,針對編解碼區塊)的指示包括在視訊資料中。編碼器可判定是否將在多個模板定向上執行模板匹配搜尋,且可將判定指示在視訊資料中。解碼器可接收是否對第二編解碼區塊執行多模板定向搜尋的指示。基於多模板定向搜尋指示,解碼器可判定是否執行多模板定向搜尋。基於指示賦能多模板定向搜尋的指示,解碼器可獲得複數個模板定向。編解碼區塊的模板定向可從複數個模板定向判定(例如,如本文中所描述的)。基於指示停用編解碼區塊的多模板定向搜尋的指示,解碼器可基於預設模板定向(例如,直立定向)執行模板匹配搜尋。
多模板定向搜尋指示(例如,旗標)或關聯指示可在CU層級傳訊。在一些實例中,較高層級指示可用以指示是否允許翻轉用於目前切片(例如,切片指示)、目前圖像(例如,圖像標頭指示)、或整個序列(例如,SPS指示)。
圖9繪示具有在不同模板定向上的模板匹配搜尋的實例解碼程序。如圖9所示,可判定基於模板的預測經賦能用於目前區塊。目前區塊的預測區塊及模板定向可基於模板匹配(例如,基於賦能基於模板之預測的判定)判定。目前區塊可基於預測區塊及模板定向解碼。
圖10繪示具有在不同模板定向上的模板匹配搜尋的實例編碼程序。如圖10所示,可判定基於模板的預測經賦能用於目前區塊。目前區塊的預測區塊及模板定向可基於模板匹配(例如,基於賦能基於模板之預測的判定)判定。目前區塊可基於預測區塊及模板定向編碼。
雖然於上文描述採特定組合的特徵及元件,所屬技術領域中具有通常知識者將理解各特徵或元件可單獨使用或與其他特徵及元件組合使用。額外地,本文描述的方法可以併入電腦可讀媒體中之用於由電腦或處理器執行的電腦程式、軟體、或韌體實施。電腦可讀媒體的實例包括電子信號(透過有線或無線連接傳輸)及電腦可讀儲存媒體。電腦可讀儲存媒體的實例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶體裝置、磁性媒體(諸如內接硬碟及可移除式磁碟)、磁光媒體、及光學媒體(諸如,CD-RAM光碟、及數位多功能光碟(digital versatile disk, DVD))。與軟體關聯的處理器可用以實施用於在WTRU、UE、終端機、基地台、RNC、或任何主機電腦中使用的射頻收發器。
100:通訊系統 102:WTRU 102a:無線傳輸/接收單元(WTRU) 102b:無線傳輸/接收單元(WTRU) 102c:無線傳輸/接收單元(WTRU) 102d:無線傳輸/接收單元(WTRU) 104:無線電存取網路(RAN) 106:核心網路(CN) 108:公用交換電話網路(PSTN) 110:網際網路 112:網路 113:RAN 114a:基地台 114b:基地台 115:CN 116:空中介面 118:處理器 120:收發器 122:傳輸/接收元件 124:揚聲器/麥克風 126:小鍵盤 128:顯示器/觸控板 130:非可移除式記憶體 132:可移除式記憶體 134:電源 136:全球定位系統(GPS)晶片組 138:週邊設備 160a:e節點B 160b:e節點B 160c:e節點B 162:行動管理閘道(MME) 162a:e節點B 162b:e節點B 162c:e節點B 164:服務閘道(SGW) 166:封包資料網路閘道(PGW) 180a:gNB 180b:gNB 180c:gNB 182a:存取及行動性管理功能(AMF) 182b:存取及行動性管理功能(AMF) 183a:對話管理功能(SMF) 183b:對話管理功能(SMF) 184a:使用者平面功能(UPF) 184b:使用者平面功能(UPF) 185a:資料網路(DN) 185b:資料網路(DN) 200:視訊編碼器;編碼器 201:預編碼處理 202:分割 205:決定 210:減去 225:轉換 230:量化 240:解量化 245:熵編解碼 250:逆轉換 255:組合 260:幀內預測 265:迴路內濾波器 270:補償 275:運動評估 280:參考圖像緩衝器 300:視訊解碼器;解碼器 330:熵解碼 335:劃分 340:解量化 350:逆轉換 355:組合 360:幀內預測 365:迴路內濾波器 370:獲得 375:運動補償預測 380:參考圖像緩衝器 385:後解碼處理 400:系統 410:處理器 420:記憶體 425:連接配置 430:編碼器/解碼器;編碼器/解碼器模組 440:儲存裝置 445:方塊;輸入方塊;輸入 450:通訊介面 460:通訊通道 470:介面;顯示器介面 475:顯示器 480:介面 485:揚聲器 490:介面 495:週邊裝置 A:頂部模板 B:左方模板 N2:介面 N3:介面 N4:介面 N6:介面 N11:介面 R1:目前CTU R2:左上方CTU R3:上方CTU R4:左方CTU S1:介面 X2:介面 Xn:介面
〔圖1A〕係繪示一或多個經揭示實施例可實施於其中之實例通訊系統的系統圖。 〔圖1B〕係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的實例無線傳輸/接收單元(wireless transmit/receive unit, WTRU)的系統圖。 〔圖1C〕係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的實例無線電存取網路(radio access network, RAN)及實例核心網路(core network, CN)的系統圖。 〔圖1D〕係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的進一步實例RAN及進一步實例CN的系統圖。 〔圖2〕繪示實例視訊編碼器。 〔圖3〕繪示實例視訊解碼器。 〔圖4〕繪示各種態樣及實例可實施於其中之系統的實例。 〔圖5〕繪示幀內模板匹配搜尋區域的實例。 〔圖6〕繪示螢幕內容圖像中的對稱性的實例。 〔圖7〕繪示具有翻轉方向的模板匹配的實例。 〔圖8〕繪示搜尋模板共用的實例。 〔圖9〕繪示具有在不同模板定向上的模板匹配搜尋的實例解碼程序。 〔圖10〕繪示具有在不同模板定向上的模板匹配搜尋的實例編碼程序。

Claims (35)

  1. 一種用於視訊解碼之方法,該方法包含: 判定基於模板的預測經賦能用於一目前區塊; 基於模板匹配判定該目前區塊的一預測區塊及一模板定向;及 基於該預測區塊及該模板定向解碼該目前區塊。
  2. 如請求項1之方法,其進一步包含: 獲得複數個模板定向;及 從該複數個模板定向判定該模板定向。
  3. 如請求項1之方法,其進一步包含: 計算該目前區塊的一模板與在一第一模板定向上的一第一預測區塊的一模板之間的一第一模板差; 計算該目前區塊的該模板與在一第二模板定向上的一第二預測區塊的一模板之間的一第二模板差;及 基於該第一模板差與該第二模板差的一較小模板差判定該目前區塊的該預測區塊及該模板定向。
  4. 如請求項1之方法,其中該模板匹配係一第二模板匹配搜尋,且該方法進一步包含: 基於與一直立模板定向關聯的一第一模板匹配搜尋判定一匹配區塊;及 基於該匹配區塊判定用於執行該第二模板匹配搜尋的一經精細化搜尋區域,其中該目前區塊的該預測區塊及該模板定向係基於在該經精細化搜尋區域內執行的該第二模板匹配搜尋判定。
  5. 如請求項1之方法,其進一步包含: 基於經判定之該模板定向調整該預測區塊,其中該目前區塊基於經調整之該預測區塊解碼。
  6. 如請求項1之方法,其中經判定之該模板定向係一水平翻轉模板定向、一垂直翻轉模板定向、一對角翻轉模板定向、或一經旋轉模板定向,該方法進一步包含: 基於經判定之該模板定向重定向該預測區塊,其中該目前區塊基於經重定向之該預測區塊解碼。
  7. 如請求項1之方法,其進一步包含: 基於一第一模板匹配搜尋判定一匹配區塊; 基於該目前區塊的一頂部模板及該匹配區塊的一頂部模板計算一第一模板差,基於該目前區塊的一左方模板及該匹配區塊的一左方模板計算一第二模板差,且基於該目前區塊的該頂部模板及該左方模板及該匹配區塊的該頂部模板及該左方模板計算一第三模板差;及 基於該第一模板差、該第二模板差、及該第三模板差判定用於一第二模板匹配搜尋的一候選模板定向,其中: 基於該第一模板差係該第一模板差、該第二模板差、及該第三模板差之中的最小差,將一垂直翻轉模板定向判定成用於該第二模板匹配搜尋的該候選模板定向,且 基於該第二模板差係該第一模板差、該第二模板差、及該第三模板差之中的最小差,將一水平翻轉模板定向判定成用於該第二模板匹配搜尋的該候選模板定向;及 基於經判定之該候選模板定向執行該第二模板匹配搜尋。
  8. 如請求項1之方法,其進一步包含: 接收指示是否對一第二編解碼區塊執行一多模板定向搜尋的一指示; 基於指示執行該多模板定向搜尋的該指示,獲得複數個模板定向並從該複數個模板定向判定該第二編解碼區塊的該模板定向;及 基於指示停用用於該第二編解碼區塊的該多模板定向搜尋的該指示,判定該模板定向係直立的。
  9. 一種用於視訊解碼之裝置,該裝置包含: 一處理器,其經組態以: 判定基於模板的預測經賦能用於一目前區塊; 基於模板匹配判定該目前區塊的一預測區塊及一模板定向;及 基於該預測區塊及該模板定向解碼該目前區塊。
  10. 如請求項9之裝置,其中該處理器進一步經組態以: 獲得複數個模板定向;及 從該複數個模板定向判定該模板定向。
  11. 如請求項9之裝置,其中該處理器進一步經組態以: 計算該目前區塊的一模板與在一第一模板定向上的一第一預測區塊的一模板之間的一第一模板差; 計算該目前區塊的該模板與在一第二模板定向上的一第二預測區塊的一模板之間的一第二模板差;及 基於該第一模板差與該第二模板差的一較小模板差判定該目前區塊的該預測區塊及該模板定向。
  12. 如請求項9之裝置,其中該模板匹配係一第二模板匹配搜尋,且其中該處理器進一步經組態以: 基於與一直立模板定向關聯的一第一模板匹配搜尋判定一匹配區塊;及 基於該匹配區塊判定用於執行該第二模板匹配搜尋的一經精細化搜尋區域,其中該目前區塊的該預測區塊及該模板定向係基於在該經精細化搜尋區域內執行的該第二模板匹配搜尋判定。
  13. 如請求項9之裝置,其中該處理器進一步經組態以: 基於經判定之該模板定向調整該預測區塊,其中該目前區塊基於經調整之該預測區塊解碼。
  14. 如請求項9之裝置,其中經判定之該模板定向係一水平翻轉模板定向、一垂直翻轉模板定向、一對角翻轉模板定向、或一經旋轉模板定向,其中該處理器進一步經組態以: 基於經判定之該模板定向重定向該預測區塊,其中該目前區塊基於經重定向之該預測區塊解碼。
  15. 如請求項9之裝置,其中該處理器進一步經組態以: 基於一第一模板匹配搜尋判定一匹配區塊; 基於該目前區塊的一頂部模板及一經匹配區塊的一頂部模板計算一第一模板差,基於該目前區塊的一左方模板及該匹配區塊的一左方模板計算一第二模板差,且基於該目前區塊的該頂部模板及該左方模板及該經匹配區塊的該頂部模板及該左方模板計算一第三模板差;及 基於該第一模板差、該第二模板差、及該第三模板差判定用於一第二模板匹配搜尋的一候選模板定向,其中: 基於該第一模板差係該第一模板差、該第二模板差、及該第三模板差之中的最小差,將一垂直翻轉模板定向判定成用於該第二模板匹配搜尋的該候選模板定向,且 基於該第二模板差係該第一模板差、該第二模板差、及該第三模板差之中的最小差,將一水平翻轉模板定向判定成用於該第二模板匹配搜尋的該候選模板定向;及 基於經判定之該候選模板定向執行該第二模板匹配搜尋。
  16. 如請求項9之裝置,其中該處理器進一步經組態以: 接收指示是否對一第二編解碼區塊執行一多模板定向搜尋的一指示; 基於指示執行該多模板定向搜尋的該指示,獲得複數個模板定向並從該複數個模板定向判定該第二編解碼區塊的該模板定向;及 基於指示停用用於該第二編解碼區塊的該多模板定向搜尋的該指示,判定該模板定向係直立的。
  17. 一種用於視訊編碼之方法,該方法包含: 判定基於模板的預測經賦能用於一目前區塊; 基於模板匹配判定該目前區塊的一預測區塊及一模板定向;及 基於該預測區塊及該模板定向編碼該目前區塊。
  18. 如請求項17之方法,其進一步包含: 獲得複數個模板定向;及 從該複數個模板定向判定該模板定向。
  19. 如請求項17之方法,其進一步包含: 計算該目前區塊的一模板與在一第一模板定向上的一第一預測區塊的一模板之間的一第一模板差; 計算該目前區塊的該模板與在一第二模板定向上的一第二預測區塊的一模板之間的一第二模板差;及 基於該第一模板差與該第二模板差的一較小模板差判定該目前區塊的該預測區塊及該模板定向。
  20. 如請求項17之方法,其中該模板匹配係一第二模板匹配搜尋,且該方法進一步包含: 基於與一直立模板定向關聯的一第一模板匹配搜尋判定一匹配區塊;及 基於該匹配區塊判定用於執行該第二模板匹配搜尋的一經精細化搜尋區域,其中該目前區塊的該預測區塊及該模板定向係基於在該經精細化搜尋區域內執行的該第二模板匹配搜尋判定。
  21. 如請求項17之方法,其進一步包含: 基於經判定之該模板定向調整該預測區塊,其中該目前區塊基於經調整之該預測區塊編碼。
  22. 如請求項17之方法,其中經判定之該模板定向係一水平翻轉模板定向、一垂直翻轉模板定向、一對角翻轉模板定向、或一經旋轉模板定向,該方法進一步包含: 基於經判定之該模板定向重定向該預測區塊,其中該目前區塊基於經重定向之該預測區塊編碼。
  23. 如請求項17之方法,其進一步包含: 基於一第一模板匹配搜尋判定一匹配區塊; 基於該目前區塊的一頂部模板及一經匹配區塊的一頂部模板計算一第一模板差,基於該目前區塊的一左方模板及該匹配區塊的一左方模板計算一第二模板差,且基於該目前區塊的該頂部模板及該左方模板及該經匹配區塊的該頂部模板及該左方模板計算一第三模板差;及 基於該第一模板差、該第二模板差、及該第三模板差判定用於一第二模板匹配搜尋的一候選模板定向,其中: 基於該第一模板差係該第一模板差、該第二模板差、及該第三模板差之中的最小差,將一垂直翻轉模板定向判定成用於該第二模板匹配搜尋的該候選模板定向,且 基於該第二模板差係該第一模板差、該第二模板差、及該第三模板差之中的最小差,將一水平翻轉模板定向判定成用於該第二模板匹配搜尋的該候選模板定向;及 基於經判定之該候選模板定向執行該第二模板匹配搜尋。
  24. 如請求項17之方法,其進一步包含: 傳訊指示是否對一第二編解碼區塊執行一多模板定向搜尋的一指示; 基於指示執行該多模板定向搜尋的該指示,獲得複數個模板定向並從該複數個模板定向判定該第二編解碼區塊的該模板定向;及 基於指示停用用於該第二編解碼區塊的該多模板定向搜尋的該指示,判定該模板定向係直立的。
  25. 一種用於視訊編碼之裝置,該裝置包含: 一處理器,其經組態以: 判定基於模板的預測經賦能用於一目前區塊; 基於模板匹配判定該目前區塊的一預測區塊及一模板定向;及 基於該預測區塊及該模板定向編碼該目前區塊。
  26. 如請求項25之裝置,其中該處理器進一步經組態以: 獲得複數個模板定向;及 從該複數個模板定向判定該模板定向。
  27. 如請求項25之裝置,其中該處理器進一步經組態以: 計算該目前區塊的一模板與在一第一模板定向上的一第一預測區塊的一模板之間的一第一模板差; 計算該目前區塊的該模板與在一第二模板定向上的一第二預測區塊的一模板之間的一第二模板差;及 基於該第一模板差與該第二模板差的一較小模板差判定該目前區塊的該預測區塊及該模板定向。
  28. 如請求項25之裝置,其中該模板匹配係一第二模板匹配搜尋,且其中該處理器進一步經組態以: 基於與一直立模板定向關聯的一第一模板匹配搜尋判定一匹配區塊;及 基於該匹配區塊判定用於執行該第二模板匹配搜尋的一經精細化搜尋區域,其中該目前區塊的該預測區塊及該模板定向係基於在該經精細化搜尋區域內執行的該第二模板匹配搜尋判定。
  29. 如請求項25之裝置,其中該處理器進一步經組態以: 基於經判定之該模板定向調整該預測區塊,其中該目前區塊基於經調整之該預測區塊編碼。
  30. 如請求項25之裝置,其中經判定之該模板定向係一水平翻轉模板定向、一垂直翻轉模板定向、一對角翻轉模板定向、或一經旋轉模板定向,其中該處理器進一步經組態以: 基於經判定之該模板定向重定向該預測區塊,其中該目前區塊基於經重定向之該預測區塊編碼。
  31. 如請求項25之裝置,其中該處理器進一步經組態以: 基於一第一模板匹配搜尋判定一匹配區塊; 基於該目前區塊的一頂部模板及一經匹配區塊的一頂部模板計算一第一模板差,基於該目前區塊的一左方模板及該匹配區塊的一左方模板計算一第二模板差,且基於該目前區塊的該頂部模板及該左方模板及該經匹配區塊的該頂部模板及該左方模板計算一第三模板差;及 基於該第一模板差、該第二模板差、及該第三模板差判定用於一第二模板匹配搜尋的一候選模板定向,其中: 基於該第一模板差係該第一模板差、該第二模板差、及該第三模板差之中的最小差,將一垂直翻轉模板定向判定成用於該第二模板匹配搜尋的該候選模板定向,且 基於該第二模板差係該第一模板差、該第二模板差、及該第三模板差之中的最小差,將一水平翻轉模板定向判定成用於該第二模板匹配搜尋的該候選模板定向;及 基於經判定之該候選模板定向執行該第二模板匹配搜尋。
  32. 如請求項25之裝置,其中該處理器進一步經組態以: 傳訊指示是否對一第二編解碼區塊執行一多模板定向搜尋的一指示; 基於指示執行該多模板定向搜尋的該指示,獲得複數個模板定向並從該複數個模板定向判定該第二編解碼區塊的該模板定向;及 基於指示停用用於該第二編解碼區塊的該多模板定向搜尋的該指示,判定該模板定向係直立的。
  33. 一種電腦程式產品,其儲存在一非暫時性電腦可讀媒體上,且包含當由至少一個處理器執行時用於實施如請求項1至8及請求項17至24中至少一項之方法的該等步驟的程式碼指令。
  34. 一種電腦可讀媒體,其包含當由一處理器執行時用於實施如請求項1至8及請求項17至24中至少一項之方法的該等步驟的程式碼指令。
  35. 一種視訊資料,其包含表示根據如請求項17至24中任一項之方法的一者產生的經編碼輸出的資訊。
TW112123833A 2022-07-01 2023-06-27 具有翻轉的幀內模板匹配 TW202406346A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22305985.8 2022-07-01
EP22305985 2022-07-01

Publications (1)

Publication Number Publication Date
TW202406346A true TW202406346A (zh) 2024-02-01

Family

ID=82748361

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112123833A TW202406346A (zh) 2022-07-01 2023-06-27 具有翻轉的幀內模板匹配

Country Status (2)

Country Link
TW (1) TW202406346A (zh)
WO (1) WO2024002947A1 (zh)

Also Published As

Publication number Publication date
WO2024002947A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
US20220377344A1 (en) Systems and methods for versatile video coding
US20220394298A1 (en) Transform coding for inter-predicted video data
TW202143732A (zh) 合併模式、適應性運動向量精密度及轉換跨越語法
US20240196007A1 (en) Overlapped block motion compensation
TW202406346A (zh) 具有翻轉的幀內模板匹配
TW202404357A (zh) 色度多重轉換選擇
TW202404365A (zh) 利用次取樣之模板匹配預測
WO2024133053A1 (en) Combination of intra template prediction and intra block copy with other coding tools
WO2024133762A1 (en) Extension of spatial geometric prediction mode
WO2023046955A1 (en) Template-based syntax element prediction
TW202404367A (zh) 空間幾何分割模式
WO2023194193A1 (en) Sign and direction prediction in transform skip and bdpcm
WO2023118048A1 (en) Most probable mode list generation with template-based intra mode derivation and decoder-side intra mode derivation
TW202416715A (zh) 非幀內預測編碼區塊的等效幀內模式
WO2024079193A1 (en) Extended angular prediction modes with decoder side refinement
WO2024133058A1 (en) Gradual decoding refresh padding
WO2023194604A1 (en) Template based cclm/mmlm slope adjustment
KR20240087725A (ko) 템플릿 기반 신택스 요소 예측
WO2023194558A1 (en) Improved subblock-based motion vector prediction (sbtmvp)
WO2023118280A1 (en) Gdr interaction with template based tools in intra slice
WO2023118259A1 (en) Video block partitioning based on depth or motion information
WO2023057500A1 (en) Depth motion based multi-type tree splitting
WO2023194138A1 (en) Transform index determination
WO2023194568A1 (en) Template based most probable mode list reordering
WO2023194395A1 (en) Chroma direct mode