TW202029755A - 視訊編碼雙預測 - Google Patents

視訊編碼雙預測 Download PDF

Info

Publication number
TW202029755A
TW202029755A TW108134563A TW108134563A TW202029755A TW 202029755 A TW202029755 A TW 202029755A TW 108134563 A TW108134563 A TW 108134563A TW 108134563 A TW108134563 A TW 108134563A TW 202029755 A TW202029755 A TW 202029755A
Authority
TW
Taiwan
Prior art keywords
weight
prediction
current
bdof
weights
Prior art date
Application number
TW108134563A
Other languages
English (en)
Inventor
賀玉文
羅健聰
修曉宇
言 葉
Original Assignee
美商Ｖｉｄ衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Ｖｉｄ衡器股份有限公司 filed Critical 美商Ｖｉｄ衡器股份有限公司
Publication of TW202029755A publication Critical patent/TW202029755A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

可提供用於在雙向光流(BDOF)與具有寫碼單元(CU)權重的雙預測(例如，廣義雙預測(GBi))組合使用時確定是否繞過BDOF的系統、方法和工具。寫碼系統可組合寫碼模式、寫碼技術和/或寫碼工具。該寫碼系統可以包括無線傳輸/接收單元(WTRU)。例如，該寫碼系統可以將BDOF與具有CU權重的雙預測組合。BDOF可包含至少部分基於與目前CU中的位置相關聯的梯度來細化與該目前CU相關聯的運動向量。該寫碼系統可確定BDOF被賦能，和/或針對該目前CU賦能了具有CU權重的雙預測。該寫碼系統的關於賦能了具有CU權重的雙預測和/或賦能了BDOF的確定可基於一個或一個以上指示。

Description

視訊編碼雙預測
相關申請案的交叉引用
本申請要求2018年9月26日遞交的美國臨時專利申請No. 62/736,790以及2018年12月31日遞交的美國臨時專利申請的No. 62/786,641的權益，其內容藉由引用整體而被併入本文。
視訊寫碼系統可以用於壓縮數位視訊信號，例如，以減少用於這種信號的儲存和/或傳輸頻寬。視訊寫碼系統可以包括基於塊的系統、基於小波的系統和/或基於物件的系統。該系統採用視訊寫碼技術，例如雙向運動補償預測(MCP)，其可以藉由利用圖片之間的時間相關性來去除時間冗餘。一些技術可能增加在編碼和/或解碼期間執行的計算的複雜度。
可提供用於在雙向光流(BDOF)與具有解碼單元(CU)權重的雙預測(bi-prediction) (例如，廣義雙預測(GBi))組合使用時確定是否繞過BDOF的系統、方法和工具。解碼系統可組合解碼模式、解碼技術和/或解碼工具。該解碼系統可以包括無線傳輸/接收單元(WTRU)。例如，該解碼系統可以將BDOF與具有CU權重的雙預測(BCW)組合。BDOF可包含至少部分基於與目前CU中的位置相關聯的梯度(gradient)來細化(refine)與目前CU相關聯的運動向量。該解碼系統可確定BDOF被賦能，和/或針對目前CU賦能了具有CU權重的雙預測。該解碼系統的關於賦能具有CU權重的雙預測和/或賦能BDOF的確定可基於一個或一個以上指示。
該寫碼系統可基於具有CU權重的雙預測的權重來確定是執行還是繞過BDOF。在一範例中，該寫碼系統可識別針對目前CU的具有CU權重的雙預測的權重指示。該權重指示可指示在具有CU權重的雙預測中將用於該目前CU的權重。該寫碼系統可至少部分基於針對該目前CU的具有CU權重的雙預測的該權重指示而確定是否繞過用於該目前CU的BDOF。如果該權重指示指示了在具有CU權重的雙預測中將針對目前CU使用不等的權重，那麼寫碼系統可確定繞過用於該目前CU的BDOF。為了重建該目前CU，該寫碼系統可基於繞過BDOF的該確定而在沒有BDOF的情況下執行具有CU權重的雙預測。如果該權重指示指示了在具有CU權重的雙預測中將相等權重用於目前CU，那麼該寫碼系統可確定是否執行用於目前CU的BDOF。
在一範例中，該權重指示可指示在具有CU權重的雙預測中將針對目前CU使用不相等的權重。該寫碼系統可導出預測CU權重。舉例來說，該寫碼系統可基於具有CU權重的雙預測的該權重指示，確定第一預測CU權重。該寫碼系統可基於該第一預測CU權重和與具有CU權重的雙預測相關聯的約束，導出第二預測CU權重。該寫碼系統可基於該第一預測CU權重和該第二預測CU權重而執行具有CU權重的雙預測。具有CU權重的雙預測的該權重指示可包含索引值。該索引值可以對應於預定權重。不同的索引值可以指示不同的預定權重。
圖1A是示出了可以實施一個或複數所揭露的範例的例示通信系統100的示圖。該通信系統100可以是為複數無線使用者提供語音、資料、視訊、消息傳遞、廣播等內容的多重存取系統。該通信系統100可以藉由共用包括無線頻寬在內的系統資源而使複數無線使用者能夠存取此類內容。舉例來說，通信系統100可以使用一種或多種通道存取方法，例如分碼多重(CDMA)、分時多重(TDMA)、分頻多重(FDMA)、正交FDMA(OFDMA)、單載波FDMA(SC-FDMA)、零尾唯一字DFT擴展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、資源塊過濾OFDM以及濾波器組多載波(FBMC)等等。
如圖1A所示，通信系統100可以包括無線傳輸/接收單元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交換電話網路(PSTN)108、網際網路110以及其他網路112，然而應該瞭解，所揭露的範例設想了任意數量的WTRU、基地台、網路和/或網路元件。每一個WTRU 102a、102b、102c、102d可以是被配置成在無線環境中操作和/或通信的任何類型的裝置。舉例來說，任一WTRU 102a、102b、102c、102d都可被稱為“站”和/或“STA”，其可以被配置成傳輸和/或接收無線信號，並且可以包括使用者設備(UE)、行動站、固定或行動用戶單元、基於簽約的單元、呼叫器、行動電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、小筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網(IoT)裝置、手錶或其他可穿戴裝置、頭戴顯示器(HMD)、車輛、無人機、醫療裝置和應用(例如遠端手術)、工業裝置和應用(例如機器人和/或在工業和/或自動處理鏈環境中操作的其他無線裝置)、消費類電子裝置、以及在商業和/或工業無線網路上操作的裝置等等。WTRU 102a、102b、102c、102d中的任意者可被可交換地稱為UE。
該通信系統100還可以包括基地台114a和/或基地台114b。每一個基地台114a、114b可以是被配置成藉由以無線方式與WTRU 102a、102b、102c、102d中的至少一個無線有介面來促進存取一個或複數通信網路(例如CN 106/115、網際網路110、和/或其他網路112)的任何類型的裝置。舉例來說，基地台114a、114b可以是基地收發台(BTS)、節點B、e節點B、本地節點B、本地e節點 B、gNB、NR節點B、網站控制器、存取點(AP)、以及無線路由器等等。雖然每一個基地台114a、114b都被描述成了單個元件，然而應該瞭解。基地台114a、114b可以包括任何數量的互連基地台和/或網路元件。
基地台114a可以是RAN 104/113的一部分，並且該RAN還可以包括其他基地台和/或網路元件(未顯示)，例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等等。基地台114a和/或基地台114b可被配置成在名為胞元(未顯示)的一個或複數載波頻率上傳輸和/或接收無線信號。這些頻率可以處於授權頻譜、無授權頻譜或是授權與無授權頻譜的組合之中。胞元可以為相對固定或者有可能隨時間變化的特定地理區域提供無線服務覆蓋。胞元可被進一步分成胞元扇區。例如，與基地台114a相關聯的胞元可被分為三個扇區。由此，在範例中，基地台114a可以包括三個收發器，也就是說，每一個收發器都對應於胞元的一個扇區。在範例中，基地台114a可以使用多輸入多輸出(MIMO)技術，並且可以為胞元的每一個扇區使用複數收發器。舉例來說，藉由使用波束成形，可以在期望的空間方向上傳輸和/或接收信號。
基地台114a、114b可以藉由空中介面116來與WTRU 102a、102b、102c、102d中的一者或多者進行通信，其中該空中介面可以是任何適當的無線通訊鏈路(例如射頻(RF)、微波、釐米波、微米波、紅外線(IR)、紫外線(UV)、可見光等等)。空中介面116可以使用任何適當的無線電存取技術(RAT)來建立。
更具體地說，如上所述，通信系統100可以是多重存取系統，並且可以使用一種或多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基地台114a與WTRU 102a、102b、102c可以實施某種無線電技術，例如通用行動電信系統(UMTS)陸地無線電存取(UTRA)，其中該技術可以使用寬頻CDMA(WCDMA)來建立空中介面115/116/117。WCDMA可以包括如高速封包存取(HSPA)和/或演進型HSPA(HSPA+)之類的通信協議。HSPA可以包括高速下鏈(DL)封包存取(HSDPA)和/或高速UL封包存取(HSUPA)。
在範例中，基地台114a和WTRU 102a、102b、102c可以實施無線電技術，例如演進型UMTS陸地無線電存取(E-UTRA)，其可以使用長期演進(LTE)和/或先進LTE(LTE-A)和/或先進LTA Pro(LTE-A Pro)來建立空中介面116。
在範例中，基地台114a和WTRU 102a、102b、102c可以實施無線電技術，例如NR無線電存取，其可以使用新型無線電(NR)來建立空中介面116。
在範例中，基地台114a和WTRU 102a、102b、102c可以實施多種無線電存取技術。舉例來說，基地台114a和WTRU 102a、102b、102c可以共同實施LTE無線電存取和NR無線電存取(例如使用雙連接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中介面可以多種類型的無線電存取技術和/或向/從多種類型的基地台(例如eNB和gNB)發送的傳輸為特徵。
在範例中，基地台114a和WTRU 102a、102b、102c可以實施無線電技術，例如IEEE 802.11(即，無線保真度(WiFi))、IEEE 802.16(即，全球微波互通存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000(IS-2000)、臨時標準95(IS-95)、臨時標準856(IS-856)、全球行動通信系統(GSM)、用於GSM演進的增強資料速率(EDGE)以及GSM EDGE(GERAN)等等。
圖1A中的基地台114b可以是無線路由器、本地節點B、本地e節點B或存取點，並且可以使用任何適當的RAT來促成局部區域中的無線連接，例如營業場所、住宅、車輛、校園、工業設施、空中走廊(例如供無人機使用)以及道路等等。在範例中，基地台114b與WTRU 102c、102d可以藉由實施IEEE 802.11之類的無線電技術來建立無線區域網路(WLAN)。在範例中，基地台114b與WTRU 102c、102d可以藉由實施IEEE 802.15之類的無線電技術來建立無線個人區域網路(WPAN)。在範例中，基地台114b和WTRU 102c、102d可藉由使用基於蜂巢的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)來建立微微胞元或毫微微胞元。如圖1A所示，基地台114b可以直連到網際網路110。由此，基地台114b不需要經由CN 106/115來存取網際網路110。
RAN 104/113可以與CN 106/115進行通信，其可以是被配置成向一個或複數WTRU 102a、102b、102c、102d提供語音、資料、應用和/或網際網路協定語音(VoIP)服務的任何類型的網路。該資料可以具有不同的服務品質(QoS)需求，例如不同的輸送量需求、潛時需求、容錯需求、可靠性需求、資料輸送量需求、以及移動性需求等等。CN 106/115可以提供呼叫控制、記帳服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分發等等，和/或可以執行使用者驗證之類的高級安全功能。雖然在圖1A中沒有顯示，然而應該瞭解，RAN 104/113和/或CN 106/115可以直接或間接地和其他那些與RAN 104/113使用相同RAT或不同RAT的RAN進行通信。例如，除了與使用NR無線電技術的RAN 104/113相連之外，CN 106/115還可以與使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi無線電技術的別的RAN(未顯示)通信。
CN 106/115還可以充當供WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110和/或其他網路112的閘道。PSTN 108可以包括提供簡易老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用了共同通信協定(例如TCP/IP網際網路協定族中的傳輸控制協定(TCP)、使用者資料報協定(UDP)和/或網際網路協定(IP))的全球性互聯電腦網路及裝置之系統。網路112可以包括由其他服務供應商擁有和/或操作的有線和/或無線通訊網路。例如，網路112可以包括與一個或複數RAN相連的另一個CN，其中該一個或複數RAN可以與RAN 104/113使用相同RAT或不同RAT。
該通信系統100中一些或所有WTRU 102a、102b、102c、102d可以包括多模式能力(例如，WTRU 102a、102b、102c、102d可以包括在不同無線鏈路上與不同無線網路通信的複數收發器)。例如，圖1A所示的WTRU 102c可被配置成與可以使用基於蜂巢的無線電技術的基地台114a通信，以及與可以使用IEEE 802無線電技術的基地台114b通信。
圖1B是示出了例示WTRU 102的系統圖式。如圖1B所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移記憶體130、可移記憶體132、電源134、全球定位系統(GPS)晶片組136以及其他週邊設備138。應該瞭解的是，在保持符合範例的同時，WTRU 102還可以包括前述元件的任何子組合。
處理器118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、複數微處理器、與DSP核心關聯的一個或複數微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)電路、其他任何類型的積體電路(IC)以及狀態機等等。處理器118可以執行信號編碼、資料處理、功率控制、輸入/輸出處理、和/或其他任何能使WTRU 102在無線環境中操作的功能。處理器118可以耦合至收發器120，收發器120可以耦合至傳輸/接收元件122。雖然圖1B將處理器118和收發器120描述成各別組件，然而應該瞭解，處理器118和收發器120也可以整合在一個電子封裝或晶片中。
傳輸/接收元件122可被配置成經由空中介面116來傳輸或接收往或來自基地台(例如基地台114a)的信號。舉個例子，在一個範例中，傳輸/接收元件122可以是被配置成傳輸和/或接收RF信號的天線。作為範例，在範例中，傳輸/接收元件122可以是被配置成傳輸和/或接收IR、UV或可見光信號的放射器/偵測器。在範例中，傳輸/接收元件122可被配置成傳輸和/或接收RF和光信號。應該瞭解的是，傳輸/接收元件122可以被配置成傳輸和/或接收無線信號的任何組合。
雖然在圖1B中將傳輸/接收元件122描述成是單個元件，但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體地說，WTRU 102可以使用MIMO技術。由此，在範例中，WTRU 102可以包括兩個或複數藉由空中介面116來傳輸和接收無線電信號的傳輸/接收元件122(例如複數天線)。
收發器120可被配置成對傳輸/接收元件122所要傳送的信號進行調變，以及對傳輸/接收元件122接收的信號進行解調。如上所述，WTRU 102可以具有多模式能力。因此，收發器120可以包括使WTRU 102能經由多種RAT(例如NR和IEEE 802.11)來進行通信的複數收發器。
WTRU 102的處理器118可以耦合到揚聲器/麥克風124、小小鍵盤126和/或顯示器/觸控板128(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)，並且可以接收來自揚聲器/麥克風124、小小鍵盤126和/或顯示器/觸控板128(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)的使用者輸入資料。處理器118還可以向揚聲器/麥克風124、小小鍵盤126和/或顯示器/觸控板128輸出使用者資料。此外，處理器118可以從諸如非可移記憶體130和/或可移記憶體132之類的任何適當的記憶體中存取資訊，以及將資料存入這些記憶體。非可移記憶體130可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或是其他任何類型的記憶存放裝置。可移記憶體132可以包括用戶身份模組(SIM)卡、記憶條、安全數位(SD)記憶卡等等。在範例中，處理器118可以從那些並非實體位於WTRU 102的記憶體存取資訊，以及將資料存入該記憶體，作為範例，該記憶體可以位於伺服器或家用電腦(未顯示)。
處理器118可以接收來自電源134的電力，並且可被配置分發和/或控制用於WTRU 102中的其他組件的電力。電源134可以是為WTRU 102供電的任何適當裝置。例如，電源134可以包括一個或複數乾電池組(如鎳鎘(NiCd)、鎳鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-ion)等等)、太陽能電池以及燃料電池等等。
處理器118還可以耦合到GPS晶片組136，該晶片組可被配置成提供與WTRU 102的目前位置相關的位置資訊(例如經度和緯度)。WTRU 102可以經由空中介面116接收來自基地台(例如基地台114a、114b)的加上或取代GPS晶片組136資訊之位置資訊，和/或根據從兩個或更複數附近基地台接收的信號時序來確定其位置。應該瞭解的是，在保持符合範例的同時，WTRU 102可以藉任何適當的定位方法來獲取位置資訊。
處理器118還可以耦合到其他週邊設備138，其中該週邊設備可以包括提供附加特徵、功能和/或有線或無線連接的一個或複數軟體和/或硬體模組。例如，週邊設備138可以包括加速度計、電子指南針、衛星收發器、數位相機(用於照片和/或視訊)、通用序列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、Bluetooth®模組、調頻(FM)無線電單元、數位音樂播放機、媒體播放機、視訊遊戲機模組、網際網路瀏覽器、虛擬實境和/或增強實境(VR/AR)裝置、以及活動追蹤器等等。週邊設備138可以包括一個或複數感測器，該感測器可以是以下的一個或複數：陀螺儀、加速度計、霍爾效應感測器、磁力計、方位感測器、鄰近感測器、溫度感測器、時間感測器、地理位置感測器、高度計、光感測器、觸控感測器、磁力計、氣壓計、手勢感測器、生物測定感測器和/或濕度感測器。
WTRU 102可以包括全雙工無線電裝置，其中對於該無線電裝置來說，一些或所有信號(例如與用於UL(例如對傳輸而言)和下鏈(例如對接收而言)的特別子訊框相關聯)的接收或傳輸可以是並行和/或同時的。全雙工無線電裝置可以包括經由硬體(例如扼流圈)或是憑藉處理器(例如各別的處理器(未顯示)或是憑藉處理器118)的信號處理來減小和/或實質消除自干擾的干擾管理單元139。在範例中，WTRU 102可以包括傳送和接收一些或所有信號(例如與用於UL(例如對傳輸而言)或下鏈(例如對接收而言)的特別子訊框相關聯)的半雙工無線電裝置。
圖1C是示出了範例RAN 104和CN 106的系統圖式。如上所述，RAN 104可以在空中介面116上使用E-UTRA無線電技術來與WTRU 102a、102b、102c進行通信。該RAN 104還可以與CN 106進行通信。
RAN 104可以包括e節點B 160a、160b、160c，然而應該瞭解，RAN 104可以包括任何數量的e節點B。每一個e節點B 160a、160b、160c都可以包括在空中介面116上與WTRU 102a、102b、102c通信的一個或複數收發器。在範例中，e節點B 160a、160b、160c可以實施MIMO技術。由此，舉例來說，e節點B 160a可以使用複數天線來向WTRU 102a傳輸無線信號，和/或以及接收來自WTRU 102a的無線信號。
每一個e節點B 160a、160b、160c都可以關聯於一個特別胞元(未顯示)，並且可被配置成處理無線電資源管理決定、交接決定、UL和/或DL中的使用者排程等等。如圖1C所示，e節點B 160a、160b、160c彼此可以藉由X2介面進行通信。
圖1C所示的CN 106可以包括移動性管理實體(MME)162、服務閘道(SGW)164以及封包資料網路(PDN)閘道(或PGW)166。雖然前述的每一個元件都被描述成是CN 106的一部分，然而應該瞭解，這其中的任一元件都可以由CN操作者之外的實體擁有和/或操作。
MME 162可以經由S1介面連接到RAN 104中的每一個e節點B 162a、162b、162c，並且可以充當控制節點。例如，MME 142可以負責驗證WTRU 102a、102b、102c的使用者，承載啟動/去啟動，以及在WTRU 102a、102b、102c的初始附著過程中選擇特別的服務閘道等等。MME 162還可以提供一個用於在RAN 104與使用其他無線電技術(例如GSM和/或WCDMA)的其他RAN(未顯示)之間進行切換的控制平面功能。
SGW 164可以經由S1介面連接到RAN 104中的每一個e節點B 160a、160b、160c。SGW 164通常可以路由和轉發往/來自WTRU 102a、102b、102c的使用者資料封包。SGW 164可以執行其他功能，例如在eNB間的交接過程中錨定使用者平面，在DL資料可供WTRU 102a、102b、102c使用時觸發傳呼處理，以及管理並儲存WTRU 102a、102b、102c的上下文等等。
SGW 164可以連接到PGW 166，該PGW可以為WTRU 102a、102b、102c提供封包交換網路(例如網際網路110)存取，以便促成WTRU 102a、102b、102c與賦能IP的裝置之間的通信。
CN 106可以促成與其他網路的通信。例如，CN 106可以為WTRU 102a、102b、102c提供電路切換式網路(例如PSTN 108)存取，以便促成WTRU 102a、102b、102c與傳統的陸線通信裝置之間的通信。例如，CN 106可以包括一個IP閘道(例如IP多媒體子系統(IMS)伺服器)或與之進行通信，並且該IP閘道可以充當CN 106與PSTN 108之間的介面。此外，CN 106可以為WTRU 102a、102b、102c提供針對其他網路112的存取，其中該其他網路112可以包括其他服務供應商擁有和/或操作的其他有線和/或無線網路。
雖然在圖1A至圖1D中將WTRU描述成了無線終端，然而應該想到的是，在某些範例中，此類終端與通信網路可以使用(例如臨時或永久性)有線通信介面。
在一些範例中，該其他網路112可以是WLAN。
採用基礎架構基本服務集(BSS)模式的WLAN可以具有用於該BSS的存取點(AP)以及與該AP相關聯的一個或複數站(STA)。該AP可以存取或是有介面到分散式系統(DS)或是將訊務送入和/或送出BSS的別的類型的有線/無線網路。源於BSS外部往STA的訊務可以藉由AP到達並被遞送至STA。源自STA往BSS外部的目的地的訊務可被發送至AP，以便遞送到分別的目的地。處於BSS內部的STA之間的訊務可以藉由AP來發送，例如源STA可以向AP發送訊務並且AP可以將訊務遞送至目的地STA。處於BSS內部的STA之間的訊務可被認為和/或稱為點到點訊務。該點到點訊務可以在源與目的地STA之間(例如在其間直接)用直接鏈路建立(DLS)來發送。在一些範例中，DLS可以使用802.11e DLS或802.11z隧道化DLS(TDLS)。使用獨立BSS(IBSS)模式的WLAN可不具有AP，並且處於該IBSS內部或是使用該IBSS的STA(例如所有STA)彼此可以直接通信。在這裡，IBSS通信模式有時可被稱為“特定(ad-hoc)”通信模式。
在使用802.11ac基礎設施操作模式或類似的操作模式時，AP可以在固定通道(例如主通道)上傳送信標。該主通道可以具有固定寬度(例如20MHz的頻寬)或是經由傳訊動態設置的寬度。主通道可以是BSS的操作通道，並且可被STA用來與AP建立連接。在一些範例中，所實施的可以是具有衝突避免的載波感測多重存取(CSMA/CA)(例如在802.11系統中)。對於CSMA/CA來說，包括AP在內的STA(例如每一個STA)可以感測主通道。如果特別STA感測到/偵測到和/或確定主通道繁忙，那麼該特別STA可以回退。在指定的BSS中，在任何指定時間可有一個STA(例如只有一個站)進行傳輸。
高輸送量(HT)STA可以使用寬度為40MHz的通道來進行通信(例如經由將寬度為20MHz的主通道與寬度為20MHz的相鄰或不相鄰通道相結合來形成寬度為40MHz的通道)。
超高輸送量(VHT)STA可以支援寬度為20MHz、40MHz、80MHz和/或160MHz的通道。40MHz和/或80MHz通道可以藉由組合連續的20MHz通道來形成。160MHz通道可以藉由組合8個連續的20MHz通道或者藉由組合兩個不連續的80MHz通道(這種組合可被稱為80+80配置)來形成。對於80+80配置來說，在通道編碼之後，資料可被傳遞並經過一個分段解析器，該分段解析器可以將資料非成兩個流。在每一個流上可以各別執行反向快速傅立葉變換(IFFT)處理以及時域處理。該流可被映射在兩個80MHz通道上，並且資料可以由執行傳輸的STA來傳送。在執行接收的STA的接收器上，用於80+80配置的上述操作可以是相反的，並且組合資料可被發送至媒體存取控制(MAC)。
802.11af和802.11ah支持1GHz以下的操作模式。相對802.11n和802.11ac中使用的，在802.11af和802.11ah中通道操作頻寬和載波有所縮減。802.11af在TV白空間(TVWS)頻譜中支援5MHz、10MHz和20MHz頻寬，並且802.11ah支援使用非TVWS頻譜的1MHz、2MHz、4MHz、8MHz和16MHz頻寬。根據範例，802.11ah可以支援儀錶類型控制/機器類型通信(例如巨集覆蓋區域中的MTC裝置)。MTC可以具有某種能力，例如包含了支援(例如只支持)某些和/或有限頻寬在內的受限能力。MTC裝置可以包括電池，並且該電池的電池壽命高於臨界值(例如用於保持很長的電池壽命)。
可以支援複數通道和通道頻寬的WLAN系統(例如，802.11n、802.11ac、802.11af以及802.11ah)包括一個可被指定成主通道的通道。該主通道的頻寬可以等於BSS中的所有STA所支援的最大共同操作頻寬。主通道的頻寬可以由STA設置和/或限制，其中該STA源自在支援最小頻寬操作模式的BSS中操作的所有STA。在關於802.11ah的範例中，即使BSS中的AP和其他STA支持2 MHz、4 MHz、8 MHz、16 MHz和/或其他通道頻寬操作模式，但對支援(例如只支援)1MHz模式的STA(例如MTC類型的裝置)來說，主通道的寬度可以是1MHz。載波感測和/或網路分配向量(NAV)設置可以取決於主通道的狀態。如果主通道繁忙(例如因為STA(其只支援1MHz操作模式)對AP進行傳輸)，那麼即使大多數的頻帶保持空閒並且可供使用，也可以認為整個可用頻帶繁忙。
在美國，可供802.11ah使用的可用頻帶是902 MHz到928 MHz。在韓國，可用頻帶是917.5MHz到923.5MHz。在日本，可用頻帶是916.5MHz到927.5MHz。依照國家碼，可用於802.11ah的總頻寬是6MHz到26MHz。
圖1D是示出了範例RAN 113和CN 115的系統圖式。如上所述，RAN 113可以在空中介面116上使用NR無線電技術來與WTRU 102a、102b、102c進行通信。RAN 113還可以與CN 115進行通信。
RAN 113可以包括gNB 180a、180b、180c，但是應該瞭解，RAN 113可以包括任何數量的gNB。每一個gNB 180a、180b、180c都可以包括一個或複數收發器，以便藉由空中介面116來與WTRU 102a、102b、102c通信。在範例中，gNB 180a、180b、180c可以實施MIMO技術。例如，gNB 180a、180b可以使用波束成形處理來向和/或從gNB 180a、180b、180c傳輸和/或接收信號。由此，舉例來說，gNB 180a可以使用複數天線來向WTRU 102a傳輸無線信號，和/或接收來自WTRU 102a的無線信號。在範例中，gNB 180a、180b、180c可以實施載波聚合技術。例如，gNB 180a可以向WTRU 102a傳送複數分量載波(未顯示)。這些分量載波的一個子集可以處於無授權頻譜上，而剩餘分量載波則可以處於授權頻譜上。在範例中，gNB 180a、180b、180c可以實施協作多點(CoMP)技術。例如，WTRU 102a可以接收來自gNB 180a和gNB 180b(和/或gNB 180c)的協作傳輸。
WTRU 102a、102b、102c可以使用與可縮放參數配置相關聯的傳輸來與gNB 180a、180b、180c進行通信。例如，對於不同的傳輸、不同的胞元和/或不同的無線傳輸頻譜部分來說，OFDM符號間距和/或OFDM子載波間距可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可縮放長度的子訊框或傳輸時間間隔(TTI)(例如包含了不同數量的OFDM符號和/或持續變化的絕對時間長度)來與gNB 180a、180b、180c進行通信。
gNB 180a、180b、180c可被配置成與採用分立配置和/或非分立配置的WTRU 102a、102b、102c進行通信。在分立配置中，WTRU 102a、102b、102c可以在不存取其他RAN(例如e節點B 160a、160b、160c)的情況下與gNB 180a、180b、180c進行通信。在分立配置中，WTRU 102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作為行動錨點。在分立配置中，WTRU 102a、102b、102c可以使用無授權頻帶中的信號來與gNB 180a、180b、180c進行通信。在非分立配置中，WTRU 102a、102b、102c會在與別的RAN(例如e節點B 160a、160b、160c)進行通信/相連的同時與gNB 180a、180b、180c進行通信/相連。舉例來說，WTRU 102a、102b、102c可以藉由實施DC原理而以基本同時的方式與一個或複數gNB 180a、180b、180c以及一個或複數e節點B 160a、160b、160c進行通信。在非分立配置中，e節點B 160a、160b、160c可以充當WTRU 102a、102b、102c的行動錨點，並且gNB 180a、180b、180c可以提供附加的覆蓋和/或輸送量，以便為WTRU 102a、102b、102c提供服務。
每一個gNB 180a、180b、180c都可以關聯於特別胞元(未顯示)，並且可以被配置成處理無線電資源管理決定、交接決定、UL和/或DL中的使用者排程、支援網路截割、實施雙連線性、實施NR與E-UTRA之間的交互工作、路由往使用者平面功能(UPF)184a、184b的使用者平面資料、以及路由往存取和移動性管理功能(AMF)182a、182b的控制平面資訊等等。如圖1D所示，gNB 180a、180b、180c彼此可以藉由Xn介面通信。
圖1D所示的CN 115可以包括至少一個AMF 182a、182b，至少一個UPF 184a、184b，至少一個對話管理功能(SMF)183a、183b，並且有可能包括資料網路(DN)185a、185b。雖然每一個前述元件都被描述成CN 115的一部分，但是應該瞭解，這其中的任一元件都可以被CN操作者之外的其他實體擁有和/或操作。
AMF 182a、182b可以經由N2介面連接到RAN 113中的一者或多者gNB 180a、180b、180c，並且可以充當控制節點。例如，AMF 182a、182b可以負責驗證WTRU 102a、102b、102c的使用者，支援網路截割(例如處理具有不同需求的不同PDU對話)，選擇特別的SMF 183a、183b、管理註冊區域、終止NAS傳訊，以及移動性管理等等。AMF 182a、1823b可以使用網路截割處理，以便基於WTRU 102a、102b、102c使用的服務類型來定制為WTRU 102a、102b、102c提供的CN支援。舉例來說，針對不同的使用情況，可以建立不同的網路截割，該使用情況例如為依賴於超可靠低潛時(URLLC)存取的服務、依賴於增強型大規模行動寬頻(eMBB)存取的服務、和/或用於機器類型通信(MTC)存取的服務等等。AMF 162可以提供用於在RAN 113與使用其他無線電技術(例如LTE、LTE-A、LTE-A Pro和/或諸如WiFi之類的非3GPP存取技術)的其他RAN(未顯示)之間切換的控制平面功能。
SMF 183a、183b可以經由N11介面連接到CN 115中的AMF 182a、182b。SMF 183a、183b還可以經由N4介面連接到CN 115中的UPF 184a、184b。SMF 183a、183b可以選擇和控制UPF 184a、184b，並且可以藉由UPF 184a、184b來配置訊務路由。SMF 183a、183b可以執行其他功能，例如管理和分配UE IP位址，管理PDU對話，控制策略實施和QoS，以及提供下鏈資料通知等等。PDU對話類型可以是基於IP的、不基於IP的，以及基於乙太網路的等等。
UPF 184a、184b可以經由N3介面連接到RAN 113中gNB 180a、180b、180c的其中之一或更多，這可以為WTRU 102a、102b、102c提供對封包交換網路(例如網際網路110)的存取，以便促成WTRU 102a、102b、102c與賦能IP的裝置之間的通信。UPF 184、184b可以執行其他功能，例如路由和轉發封包、實施使用者平面策略、支援多連接(multi-homed)PDU對話、處理使用者平面QoS、緩衝下鏈封包、以及提供移動性錨定處理等等。
CN 115可以促成與其他網路的通信。例如，CN 115可以包括或者可以與充當CN 115與PSTN 108之間的介面的IP閘道(例如IP多媒體子系統(IMS)伺服器)進行通信。此外，CN 115可以為WTRU 102a、102b、102c提供針對其他網路112的存取，其可以包括其他服務供應商擁有和/或操作的其他有線和/或無線網路。在範例中，WTRU 102a、102b、102c可以經由到UPF 184a、184b的N3介面以及介於UPF 184a、184b與DN 185a、185b之間的N6介面並藉由UPF 184a、184b連接到本地資料網路(DN)185a、185b。
有鑒於圖1A至圖1D以及關於圖1A至圖1D的相應描述，在這裡對照以下的一項或多項描述的一個或複數或所有功能可以由一個或複數模擬裝置(未顯示)來執行：WTRU 102a-d、基地台114a-b、e節點B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN 185 a-b和/或這裡描述的其他任何裝置(一個或複數)。這些模擬裝置可以是被配置成模擬這裡一個或複數或所有功能的一個或複數裝置。舉例來說，這些模擬裝置可用於測試其他裝置和/或模擬網路和/或WTRU功能。
該模擬裝置可被設計成在實驗室環境和/或操作者網路環境中實施關於其他裝置的一項或多項測試。例如，該一個或複數模擬裝置可以在被完全或部分作為有線和/或無線通訊網路一部分實施和/或部署的同時執行一個或複數或所有功能，以便測試通信網路內部的其他裝置。該一個或複數模擬裝置可以在被臨時作為有線和/或無線通訊網路的一部分實施/部署的同時執行一個或複數或所有功能。該模擬裝置可以直接耦合到別的裝置以用於測試之目的，和/或可以使用空中無線通訊來執行測試。
該一個或複數模擬裝置可以在未被作為有線和/或無線通訊網路一部分實施/部署的同時執行包括所有功能在內的一個或複數功能。例如，該模擬裝置可以在測試實驗室和/或未被部署(例如測試)的有線和/或無線通訊網路的測試場景中使用，以便實施關於一個或複數組件的測試。該一個或複數模擬裝置可以是測試設備。該模擬裝置可以使用直接的RF耦合和/或經由RF電路(作為範例，該電路可以包括一個或複數天線)的無線通訊來傳輸和/或接收資料。
視訊寫碼系統可以用於壓縮數位視訊信號，這可以減少視訊訊號的儲存需求和/或傳輸頻寬。視訊寫碼系統可包括基於塊的系統、基於小波的系統和/或基於物件的系統。基於塊的視訊寫碼系統可包括MPEG-1/2/4部分2、H.264/MPEG-4部分10 AVC、VC-1、高效視訊寫碼(HEVC)和/或通用視訊寫碼(VVC)。
基於塊的視訊寫碼系統可包括基於塊的混合視訊寫碼框架。圖2示出了用於編碼器的範例性的基於塊的混合視訊編碼框架。WTRU可以包括編碼器。輸入視訊訊號202可以被逐塊處理。塊大小(例如，經擴展的塊大小，例如寫碼單元(CU))可壓縮高解析度(例如，1080p及以上)視訊訊號。例如，CU可包括64×64像素或更多。CU可被分割成預測單元(PU)，和/或可使用各別的預測。對於輸入視訊塊(例如，巨集塊(MB)和/或CU)，可執行空間預測260和/或時間預測262。空間預測260 (例如，訊框內預測)可使用來自視訊圖片/截割中的經寫碼相鄰塊的樣本(例如，參考樣本)的像素來預測目前視訊塊。該空間預測260可以減少例如視訊訊號中固有的空間冗餘。運動預測262 (例如，訊框間預測和/或時間預測)可使用例如來自經寫碼視訊圖片的經重建像素來預測目前視訊塊。該運動預測262可以減少時間冗餘，例如，其可以是視訊訊號中固有的。視訊塊的運動預測信號可藉由一個或一個以上運動向量用信號發送，和/或可指示目前塊和/或該目前塊的參考塊之間的運動量和/或運動方向。如果支援用於一(例如，每一)視訊塊的複數參考圖片，那麼可發送該視訊塊的參考圖片索引。該參考圖片索引可以用於識別運動預測信號可以從參考圖片儲存裝置264中的哪個參考圖片導出。
在該空間預測260和/或運動預測262之後，編碼器中的模式決定塊280可(例如)基於速率失真最佳化來確定預測模式(例如，最佳預測模式)。可從目前視訊塊中減去預測塊216，和/或可使用變換204和/或量化206對預測殘差進行去相關，以實現位元速率，例如目標位元速率。經量化的殘差係數可(例如)在量化210處被逆量化和/或在變換212處被逆變換以形成經重建的殘差，該經重建的殘差可(例如)添加到該預測塊226以形成經重建的視訊塊。在經重建的視訊塊可被放入參考圖片儲存裝置264中和/或用於對視訊塊(例如，未來視訊塊)進行寫碼(code)之前，可在環路濾波器266處對經重建視訊塊應用環路內濾波(例如，解塊濾波器和/或調適環路濾波器)。為了形成輸出視訊位元流220，寫碼模式(例如，訊框間或訊框內)、預測模式資訊、運動資訊和/或量化的殘差係數可以被發送(例如，可以全部被發送)到熵寫碼模組208，例如，以被壓縮和/或打包以形成位元流。
圖3示出了用於解碼器的範例性的基於塊的視訊解碼框架的框圖。WTRU可以包括解碼器。視訊位元流302 (例如，圖2中的視訊位元流220)可以在熵解碼模組308處被解開(例如，首先被解開)和/或熵解碼。該寫碼模式和預測資訊可以被發送到空間預測模組360 (例如，如果被訊框內寫碼)和/或運動補償預測模組362 (例如，如果被訊框間寫碼和/或時間寫碼)以形成預測塊。可將殘差變換係數發送到逆量化模組310和/或逆變換模組312，例如以重建該殘差塊。可在326處將預測塊和/或殘差塊加在一起。重建塊可在例如該重建塊被儲存在參考圖片儲存裝置364中之前在環路濾波器366處經歷環路內濾波。該參考圖片儲存裝置364中的重建視訊320可被發送以驅動顯示裝置和/或用於預測視訊塊(例如，未來的視訊塊)。
在視訊編解碼器中使用雙向運動補償預測(MCP)可以藉由利用圖片之間的時間相關性來去除時間冗餘。雙預測信號可以藉由使用權重值(例如，0.5)組合兩個單向預測(uni-prediction)信號來形成。在某些視訊中，照度特性可從一個參考圖片到另一參考圖片而快速改變。因此，預測技術可藉由將全域或局部權重和偏移值應用於參考圖片中的一或複數樣本值來補償照度隨時間的變化(例如，衰落轉變)。
一個或複數寫碼工具可以用於補償照度隨時間的變化(例如，衰落轉變)。例如，如果執行運動補償，則該一個或複數寫碼工具可以用於補償照度隨時間的變化。該一個或複數寫碼工具可以包括例如加權預測(WP)。作為WP的範例，可在截割層級用信號發送一組權重和/或偏移。該組權重可以包括乘法權重(一個或複數)。該組偏移可以包括加法偏移(一個或複數)。在一範例中，對於每一參考圖片清單(L0及L1)中的每一參考圖片，可用信號發出一組乘法權重及加法偏移(例如，在截割層級)。例如，當可以使用對應的參考圖片時，可以在MCP期間應用該(一個或複數)權重和/或(一個或複數)偏移中的一個或複數。在一範例中，如果當照度從圖片到圖片線性地改變時，那麼可採用WP。如果例如在圖片/截割級別，照明的變化是全域的，則可以採用WP。
可使用CU權重來執行雙預測模式中的MCP。作為範例，可以使用具有CU權重的雙預測來執行MCP。具有CU權重的雙預測(BCW)的範例可以包括廣義雙預測(GBi)。可基於權重(一個或複數)、和/或對應於與參考圖片清單(一個或複數)相關聯的運動向量的運動補償預測信號(一個或複數)等中的一者或多者來計算雙預測信號。在一範例中，可使用公式1來計算雙預測模式中的樣本x處的預測信號(如所給出)。
Figure 02_image001
P [x]可以表示位於圖片位置x 的樣本x的結果預測信號。Pi [x +v i ]可以表示使用第i個列表(例如，列表0、列表1等)的運動向量(MV)v i 的x的運動補償預測信號。w 0 和w 1 可表示應用於針對塊和/或CU的預測信號(一個或複數)上的兩個權重值。作為一範例，w 0 和w 1 可表示跨越塊和/或CU中的樣本共用的兩個權重值。藉由調整該權重值(一個或複數)，可以獲得各種預測信號。如公式1所示，藉由調整權重值w 0 和w 1 ，可以獲得各種預測信號。
權重值w 0 和w 1 的一些配置可以指示預測，諸如單向預測和/或雙預測。例如，(w 0 ,w 1 ) = (1, 0)可以與利用參考列表L0的單向預測相關聯地使用。(w 0 ,w 1 ) = (0, 1)可以與利用參考列表L1的單向預測相關聯地使用。(w 0 ,w 1 ) = (0.5, 0.5)可以與利用兩個參考列表(例如，L1和L2)的雙預測相關聯地使用。
可在CU層級用信號發送權重(一個或複數)。在一範例中，可在每一CU用信號發送權重值w 0 和w 1 。該雙預測可使用該CU權重。可以將對權重的約束應用於一對權重。該約束可以是預配置的。例如，對權重的約束可包括w 0 +w 1 =1。可以用信號發送權重。用信號發送的權重可以用於確定另一權重。舉例來說，在CU權重的約束下，可用信號發送僅一個權重。可以減少傳訊負擔。權重對的範例可包括{(4/8, 4/8), (3/8, 5/8), (5/8, 3/8), (-2/8, 10/8), (10/8, -2/8)}。
例如，當要使用不相等的權重時，可以基於對權重的約束來導出權重。WTRU可以接收權重指示並基於該權重指示確定第一權重。WTRU可以基於所確定的第一權重和對權重的該約束來導出第二權重。
可使用公式2。在一個範例中，公式2可以基於公式1以及約束w 0 +w 1 =1而產生。
Figure 02_image003
權重值(例如，w 1 和/或w 0 )可以被離散化。可以減少權重傳訊負擔。在一個範例中，可以對雙預測CU權重值w 1 進行離散化。離散化的權重值w 1 可以包括例如-2/8、2/8、3/8、4/8、5/8、6/8、10/8等中的一個或複數。權重指示可用於指示將用於CU (例如，用於雙預測)的權重。該權重指示的範例可以包括權重索引。在一個範例中，每個權重值可以由索引值指示。
圖4示出了支持BCW (例如GBi)的範例視訊編碼器的框圖。WTRU可以包括如圖4所示的範例中描述的編碼器，該編碼器可以包括模式決定模組404、空間預測模組406、運動預測模組408、變換模組410、量化模組412、逆量化模組416、逆變換模組418、環路濾波器420、參考圖片儲存裝置422和熵寫碼模組414。在實施例中。編碼器的一些或所有模組或組件(例如，空間預測模組406)可以與結合圖2描述的那些相同或相似。另外，空間預測模組406和運動預測模組408可以是像素域預測模組。因此，輸入視訊位元流402可以以與輸入視訊位元流202類似的方式被處理。運動預測模組408可進一步包含支援具有CU權重的雙預測。因此，運動預測模組408可以加權平均方式組合兩個各別的預測信號。此外，可以在輸入視訊位元流402中用信號發送所選擇的權重索引。
圖5是用於編碼器的支援具有CU權重的雙預測的範例性模組的示圖。圖5示出了估計模組500的框圖。該估計模組500可用於編碼器的運動預測模組中，例如運動預測模組408。該估計模組500可與BCW (例如GBi)結合使用。該估計模組500可包括權重值估計模組502和運動估計模組504。該估計模組500可以利用兩步過程來生成訊框間預測信號，諸如最終訊框間預測信號。該運動估計模組504可使用從參考圖片儲存裝置506接收的參考圖片(一個或複數)並藉由搜尋指向(例如，兩個)參考塊的兩個最佳運動向量(MV)來執行運動估計。該權重值估算模組502可搜尋最佳權重索引以最小化目前視訊塊與雙預測之間的加權雙預測誤差。該廣義雙預測的預測信號可被計算為兩個預測塊的加權平均。
圖6是支援具有CU權重的雙預測的範例性基於塊的視訊解碼器的示圖。圖6示出了可以對來自編碼器的位元流進行解碼的範例視訊解碼器的框圖。該編碼器可以支援BCW和/或與結合圖4描述的編碼器共有一些相似性。WTRU可以包括如圖6所示的範例中描述的解碼器。如圖6所示，該解碼器可以包括熵解碼器604、空間預測模組606、運動預測模組608、參考圖片儲存裝置610、逆量化模組612、逆變換模組614和環路濾波器模組618。該解碼器的一些或全部模組可以與結合圖3描述的那些相同或相似。該運動預測模組608還可以包括對BCW的支持。該寫碼模式和/或預測資訊可用於使用空間預測或支援BCW的MCP來導出預測信號。對於BCW，可接收塊運動資訊和/或權重值(例如，以指示權重值的索引的形式)且對該塊運動資訊和/或權重值進行解碼以產生預測塊。
圖7是用於解碼器的支援具有CU權重的雙預測的範例性模組的示圖。圖7示出了預測模組700的框圖。該預測模組700可用於解碼器的運動預測模組中，例如運動預測模組608。該預測模組700可以與BCW結合使用。該預測模組700可包含加權平均模組702和運動補償模組704，其可從參考圖片儲存裝置706接收一或複數參考圖片。該預測模組700可使用塊運動資訊和權重值來將BCW的預測信號計算為(例如，兩個)經運動補償的預測塊的加權平均。
在特別視訊內可以有各種類型的運動，諸如放大/縮小、旋轉、透視運動和其他不規則運動。平移運動模型和/或仿射運動模型可應用於MCP。該仿射運動模型可以是四參數和/或六參數的。可用信號發送用於(例如，每一)經訊框間寫碼U的第一標誌，以指示是該平移運動模型還是該仿射運動模型被應用於訊框間預測。如果應用該仿射運動模型，那麼可發送第二標誌以指示該模型是四參數的還是六參數的。
該四參數仿射運動模型可包含用於水平方向和垂直方向上的平移行動的兩個參數、用於水平方向和垂直方向上的縮放運動的一個參數和/或用於水平方向和垂直方向上的旋轉運動的一個參數。水平縮放參數可以等於垂直縮放參數。水平旋轉參數可等於垂直旋轉參數。可使用在(例如，目前) CU的左上角和右上角處界定的兩個控制點位置處的兩個運動向量來寫碼該四參數仿射運動模型。
圖8是範例性四參數仿射模式的示圖。圖8說明了塊的範例仿射運動場。如圖8所示，該塊可以由兩個控制點運動向量(V0 , V1 )描述。基於控制點運動，可以在公式3中描述一個仿射寫碼塊的運動場(vx , vy )。
Figure 02_image005
在公式3中，(v0x , v0y )可以是左上角控制點的運動向量。(v1x , v1y ) 可以是右上角控制點的運動向量。w 可為CU的寬度。仿射寫碼CU的運動場可在4×4塊級別處導出。例如，可以針對目前CU內的4×4塊中的每一個4×4塊，導出(vx , vy )，並將(vx , vy )應用到相應的4×4塊。
可以迭代地地估計這四個參數。在步驟k的運動向量對可被表示為{
Figure 02_image007
,
Figure 02_image009
，原始照度信號可被表示為
Figure 02_image011
，以及預測照度信號可被表示為
Figure 02_image013
。空間梯度
Figure 02_image015
和
Figure 02_image017
可以使用分別在水平和垂直方向上應用於預測信號
Figure 02_image013
的Sobel濾波器來導出。公式1的導數可被表示為公式4：
Figure 02_image019
在公式4中，(a, b)可以是步驟k處的差量平移參數，(c, d)可以是步驟k處的差量縮放和旋轉參數。控制點處的差量MV可以用其座標來導出，如公式5和公式6所示。例如，(0, 0), (w , 0)可以分別是左上控制點和右上控制點的座標。
Figure 02_image021
基於光流方程，照度變化與空間梯度和時間行動之間的關係可以被公式化為公式7。
Figure 02_image023
藉由用公式4替代
Figure 02_image025
和
Figure 02_image027
，可以產生針對參數(a, b, c, d)的公式8。
Figure 02_image029
如果CU中的樣本滿足公式8，可以使用例如最小平方計算來導出參數集(a, b, c, d)。在步驟(k +1)中，可以利用公式5和6導出兩個控制點處的運動向量{
Figure 02_image031
,
Figure 02_image033
，並且它們可以被捨入到特定精度(例如1/4像素)。藉由使用迭代，可以細化兩個控制點處的運動向量，直到當參數(a, b, c, d)可以是零或者迭代次數滿足預定限制時其收斂。
該六參數仿射運動模型可包含用於水平方向和垂直方向上的平移行動的兩個參數、用於縮放運動的一個參數、用於水平方向上的旋轉運動的一個參數、用於縮放運動的一個參數和/或用於垂直方向上的旋轉運動的一個參數。可在三個控制點處用三個運動向量對該六參數仿射運動模型進行寫碼。圖9是範例性六參數仿射模式的示圖。如圖9中所示，可在CU的左上角、右上角和/或左下角界定用於六參數仿射寫碼CU的三個控制點。左上控制點處的運動可以與平移運動相關。右上控制點處的運動可以與水平方向上的旋轉和縮放運動相關。左下控制點處的運動可以與垂直方向上的旋轉和縮放運動相關。在該六參數仿射運動模型中，水平方向上的旋轉運動和縮放運動可與垂直方向上的那些運動不同。在一個範例中，每個子塊的運動向量(vx , vy )可以從公式9和10使用三個運動向量作為控制點而被導出：
Figure 02_image035
在公式9和10，(v2x , v2y ) 可以是左下控制點的運動向量。(x ,y )可以是子塊的中心位置。w 和h 可以是CU的寬度和高度。
可(例如)以類似方式估計該六參數仿射模型的六個參數。例如，公式11可以基於公式4來產生。
Figure 02_image037
在公式11，對於步驟k，(a, b)可以是差量平移參數。(c, d)可以是水平方向的差量縮放和旋轉參數。(e, f)可以是針對垂直方向的差量縮放和旋轉參數。例如，公式12可以基於公式8來產生。
Figure 02_image039
可藉由考慮CU內的樣本使用最小平方計算來導出參數集(a, b, c, d, e, f)。左上控制點的運動向量
Figure 02_image031
可以使用公式5來計算。右上控制點的運動向量
Figure 02_image041
可以使用公式13來計算。右上控制點的運動向量
Figure 02_image043
可以使用公式14來計算。
Figure 02_image045
可以利用平移運動模型的調適精度。對於被寫碼為非合併和非仿射訊框間模式的CU，目前CU的運動向量與其預測符(predictor)之間的運動向量差(MVD)可以以不同精度被寫碼，例如1/4像素(-pel)、1像素或4像素精度。1/4像素可以是分數精度。1像素和4像素都可以屬於整數精度。在範例中，可用針對每一CU的複數(例如，兩個)標誌用信號發送該精度以指示MVD精度。第一標誌可指示該精度是否為分數精度，例如1/4像素。如果精度不是分數精度(例如1/4像素)，那麼可用信號發送第二標誌以指示精度是否為整數精度，例如1像素或4像素精度。在運動估計中，可圍繞初始運動向量搜尋差量運動向量，該初始運動向量可被視為起始位置。該起始位置可以從其空間和時間預測符而被選擇。舉例來說，可將起始運動向量捨入到用於MVD傳訊的精度，以促進實施。可搜尋具有所確定(例如，所需)精度的MVD候選。
該運動向量預測符可被捨入到該MVD精度。編碼器可檢查不同MVD精度的速率失真RD成本和/或選擇MVD精度。在一個範例中，所選MVD精度可以是具有最小RD成本的最佳精度。該RD成本可以藉由樣本值失真和寫碼率的加權和來計算。該RD成本可以是寫碼性能的測量。具有較低RD成本的寫碼模式可以表現出較好的整體寫碼性能。當MVD分量中的至少一者(例如，L0或L1運動向量的水平或垂直分量)不為零時，可用信號發送MVD精度相關標誌。可以減少傳訊負擔。如果用信號發送的MVD分量為零，則可推斷該MVD精度為1/4像素精度。
階層預測結構可以用於隨機存取配置中以提供(例如，有效率的)時間預測。圖10是具有時間層(TL)的範例階層預測結構的示圖。圖10示出了使用四個時間層(TL) (例如TL-0、TL-1、TL-2和TL-3)的範例階層預測，其中該四個時間層與具有圖片順序計數(POC)的圖片(例如，圖片0-8)有關。圖10中的箭頭描述了目前圖片與其參考圖片(一個或複數)之間的預測關係。從參考圖片(一個或複數)開始的箭頭可以引向一正被預測的目前圖片。在階層預測中，較高TL的圖片可以從時間距離上更近的參考圖片而被預測。例如，TL-3中的圖片(例如，圖片3)可以從時間上相鄰的圖片(例如，TL-2中的圖片2)預測。較低的TL圖片可以具有距它們的參考圖片的較大時間距離。如圖10所示，TL-0中的圖片8可以與TL-0中的其參考圖片0相距8個圖片。最高TL (例如圖10中的TL-3)中的圖片(一個或複數)可以不用作參考圖片。它們可以被稱為非參考圖片。雖然圖10示出了具有四個TL的範例，但是可以採用任何合適數量的TL (例如，五個或更多)來實現期望的(例如，更深的)階層。
在階層預測中，例如，可以根據目前圖片所處的TL來調適圖片/截割級量化參數(QP)值。例如，QP0可以用於TL0中的圖片，而QP0+ delta (TLx)可以用於TLx中的圖片。delta ()可以是基於TL的函數。Delta ()可以是零或正整數。在一個範例中，delta ()可以被設置為TLx。
視訊寫碼中的雙預測可基於複數(例如，兩個)時間預測塊和/或CU的組合。該時間預測塊(和/或CU)可被組合。在範例中，可使用平均來組合從經重建的參考圖片獲得的兩個時間預測塊。雙預測可以根據基於塊的運動補償。在雙預測中，在(例如，兩個)預測塊之間可觀察到相對較小的運動。
雙向光流(BDOF)可用於(例如)補償在預測塊之間觀察到的相對小的運動。BDOF可被應用以對塊內的樣本的這種運動進行補償。在一個範例中，BDOF可以補償塊內的個別樣本的這種運動。這可以提高運動補償預測的效率。
BDOF可包含細化與塊和/或CU相關聯的運動向量(一個或複數)。在範例中，在使用雙預測時，BDOF可包含按照樣本(sample-wise)的運動細化，其在基於塊的運動補償預測的頂部被執行。BDOF可以包括導出樣本的(一個或複數)細化運動向量(一個或複數)。作為BDOF的範例，可基於光流模型來導出塊中的個別樣本的細化運動向量。
BDOF可包含基於以下各項中的一或多者來細化與塊和/或CU相關聯的運動向量：塊和/或CU的位置；與該塊和/或CU的位置相關聯的梯度(例如，水平、垂直和/或類似者)；與該位置的對應參考圖片清單相關聯的樣本值；和/或類似者。公式14B可用於導出樣本的細化運動向量。如公式14B所示，
Figure 02_image047
可表示從參考圖片清單k (k = 0, 1 )導出的預測塊的座標(x, y) 處的樣本值。
Figure 02_image049
和
Figure 02_image051
可以是該樣本的水平梯度和垂直梯度。可以使用公式14B來導出(x, y) 處的運動細化
Figure 02_image053
。公式14B可以基於光流模型有效的假設。
Figure 02_image055
BDOF預測可以基於光流模型和/或沿著運動軌跡的預測塊的內插。公式14C可展示使用光流模型(例如，在公式14B中展示)與沿著運動軌跡的預測塊的內插的組合以用於BDOF預測的範例。
Figure 02_image057
和
Figure 02_image059
可表示從參考圖片到該目前圖片的時間距離。
Figure 02_image061
在範例性編碼器/解碼器(例如，圖4所示的範例性編碼器和圖6所示的範例性解碼器)中，可以一起使用多種寫碼技術。在一個範例中，WP和BCW (例如GBi)可在範例性編碼器/解碼器中一起使用。當BCW和WP被一起使用時，WP可以被賦能。舉例來說，可用WP參數(例如，權重及偏移)用信號發送參考圖片。在寫碼塊級，如果參考圖片是用雙預測被寫碼的，那麼可用信號發送BCW權重。該WP參數可與全域照度變化相關聯。BCW的該參數可以與用於該寫碼塊的局部照度變化相關聯。
該WP參數和BCW的參數可以一起被應用。例如，該WP參數和BCW的參數可作為兩步過程的一部分而被應用。作為兩步過程的範例，該WP參數可首先被應用，接著是BCW的參數。公式15可示出應用WP參數和BCW的參數的範例。如公式15所示，可以利用來自兩個參考圖片清單的參考圖片r0 和r1 對寫碼塊B進行雙預測。P(r0 ) 和P(r1 ) 可代表來自r0 和r1 的兩個預測符。用於r0 和r1 的WP參數可包括(W0 ,O0 )和(W1 ,O1 )。對於r0 和r1 ，具有CU權重的雙預測的加權參數可包括((1-WGBi ), WGBi )。
Figure 02_image063
作為定點實施方式的範例，WP和BCW (例如GBi)可包括用於縮放的一個或複數位元，諸如用於縮放的位元數NGBi , NWP 。公式15可以被寫為如公式16中所示的範例。
Figure 02_image065
在公式16中，SGBi 可以等於(1>> NGBi )。W’GBi 可以是WGBi 的定點表示，其由SGBi 縮放。(W’0 ,O’0 )和(W’1 ,O’1 )可以是WP參數的定點表示，其由(1>> NWP )縮放。捨入值可以等於(1>>(NGBi + NWP -1))，並且可以用於捨入。
在範例中，當WP不被用於以雙預測寫碼的解碼塊時，可使用BCW。當WP被用於使用雙預測寫碼的寫碼塊時，可以不使用GBi。舉例來說，對於一些參考圖片，可不用信號發送該WP參數。對於一些參考圖片，權重可為1且偏移可為0。如果目前塊不使用WP用於兩個參考圖片，那麼可用信號發送BCW的參數(一個或複數)。如果目前寫碼塊在任一參考圖片清單中使用WP，則可以不用信號發送BCW的參數(一個或複數)。可以減少與BCW相關聯的傳訊負擔。
在範例中，如果寫碼塊使用WP，則可以用信號發送BCW的參數(一個或複數)。當CU權重不等於某值(例如，0.5)時，可以藉由使用針對BCW的CU權重(一個或複數)和WP的偏移參數來生成雙預測信號。在一個範例中，可以基於公式15產生公式17。
Figure 02_image067
如果CU權重等於某一值(例如，0.5)，則可應用未修改的WP。在範例中，在編碼器側，WP偏移可在給定權重(例如，不等於0.5)的雙預測運動估計中被考慮。全域照度的改變可由該WP偏移補償，且局部照度的改變可由該CU權重補償。
BCW (例如GBi)可以基於一個或複數權重。可以用信號發送BCW權重。在一範例中，五個權重(例如，-2/8、3/8、4/8、5/8和10/8)可用於低延遲圖片，且三個權重(例如，3/8、4/8、5/8)可用於非低延遲圖片。如果使用雙預測模式來寫碼CU，那麼可用信號發送用於該CU的BCW權重。例如，權重指示可以用於指示在BCW中要用於目前CU的BCW權重。如表1所示，該權重指示可以包括與預定BCW權重(例如，-2/8、3/8、4/8、5/8和10/8)相對應的索引值。不同的預定BCW權重可具有不同的對應索引值。
在一範例中，如果使用雙預測模式來寫碼CU，那麼可基於截斷一元寫碼來用信號發送BCW權重。表1可以示出了用於低延遲圖片的範例截斷一元寫碼方案。表2可以示出了用於非低延遲圖片的範例截斷一元寫碼方案。 表1.低延遲圖片(一個或複數)的BCW權重指數(例如，針對GBi)的二值化
權重索引(例如，針對GBi) w1 的權重值 權重索引的二值化
0 -2/8 0000
1 3/8 001
2 4/8 1
3 5/8 01
4 10/8 0001
表2.非低延遲圖片(一個或複數)的BCW權重索引(例如，針對GBi)的二值化
權重索引(例如，針對GBi) w1 的權重值 權重索引的二值化
0 3/8 00
1 4/8 1
2 5/8 01
某一權重可以被認為是最頻繁使用的權重。例如，可以認為權重4/8是最頻繁使用的權重。可以使用比用於用信號發送其它權重的位元數量更少的位元數量來用信號發送被認為是最頻繁使用的權重的權重。可以用最少的位元數來發送被認為是最頻繁使用的權重的權重。在一個範例中，可以用1位元來用信號發送被認為是最頻繁使用的權重的權重。如果沒有用信號發送權重，則該最頻繁使用的權重可以是預設權重。
CU的權重可(例如)基於相鄰CU(一個或複數)的權重而被導出。在一範例中，CU的權重可與相鄰CU(一個或複數)的權重相同，這可能由於例如空間相關等因素而發生。CU的權重可基於空間相關性而被導出。可以減少傳訊負擔。
在一範例中，可從相鄰CU(一個或複數)導出目前CU的最可能權重。舉例來說，目前CU的最可能權重可設定為五個空間相鄰CU的最常使用的權重。該五個空間相鄰CU可以包括(例如，在合併模式中)左、上、左下、右上和左上相鄰者。如果不使用雙預測或不使用合併模式對相鄰CU進行寫碼，那麼可將相鄰CU的權重視為某一值(例如，4/8)。
可用信號發出指示(例如，標誌)以指示目前CU的權重是否等於最可能的權重。如果目前CU的權重不同於最可能的權重，那麼可用信號發送該權重。在本文的範例中，對於低延遲圖片，可以有四個剩餘權重，而對於非低延遲圖片，可以有兩個剩餘權重。該剩餘的權重可以用可變長度寫碼(例如，在二值化(binarization)之後)和/或用固定長度寫碼來用信號發送。如果使用該固定長度寫碼，那麼可使用每權重值兩個位元來用信號發送四個權重，且可使用每權重值一個位元來用信號發送兩個權重。
BCW (例如，GBi)可應用於一個或一個以上運動模型，這其中包含平移模型、四參數仿射運動模型、六參數仿射運動模型和/或類似模型中的一者或多者。一個或複數權重可用於具有CU權重的雙預測。作為本文中的範例，五個權重(例如，-2/8、3/8、4/8、5/8、10/8)可以用於低延遲圖片，和/或三個權重(例如，3/8、4/8、5/8)可以用於非低延遲圖片。可針對不同MVD精度(例如，1/4像素、1像素、4像素和/或類似者)的雙預測訊框間寫碼模式選擇權重。在一範例中，對於具有不同MVD精度的每一雙預測訊框間寫碼模式，可基於RD成本選擇權重。RD成本計算(例如，針對GBi)可以包括針對雙預測和/或熵寫碼的運動估計。在某些情況下可禁用仿射運動估計。
可基於BCW權重來跳過與運動模型和/或MVD精度相關聯的某些運動估計。在一範例中，可較早終止針對不同權重的仿射運動估計。可繞過與MVD精度相關聯的某些權重候選選擇。可以繞過針對某些MVD精度的某些權重候選選擇。在一範例中，對於某些運動模型和/或某些MVD精度，可跳過對於不是最可能權重的一些權重的運動估計。
可禁用或繞過與某些權重相關聯的仿射運動估計。仿射運動估計可以是迭代過程。仿射運動估計(例如，針對每一迭代)可包含以下一者或多者：應用運動補償以產生預測信號；使用該預測信號計算水平梯度和/或垂直梯度；計算相關矩陣；基於該最小平方計算而導出該仿射運動模型參數；和/或類似者。一次迭代的計算水平可能相對較高。可執行與一個或一個以上權重相關聯的運動估計。舉例來說，如果賦能具有CU權重的雙預測，那麼可測試或嘗試與寫碼塊或CU的參考圖片清單相關聯的可能權重。對於權重，編碼器可執行四參數仿射運動估計和/或六參數仿射運動估計。如果該權重等於或不等於特定值，則可以較早地終止仿射運動估計。在一範例中，如果該權重不等於4/8，則可禁用或繞過仿射運動估計。
仿射運動估計可在權重等於某個值(例如4/8)的條件下被執行，且不對其它權重執行。因此，分別權重(例如，4/8)可適用於仿射寫碼模式。舉例來說，可在指示或用信號發送用於訊框間寫碼CU的權重之前，指示或用信號發送該仿射模式。如果該寫碼塊是仿射模式，則可以推斷該權重。如果該解碼塊是仿射模式，則可以不用信號發送該權重。可減少仿射寫碼CU的傳訊負擔。
與某權重(一個或複數)相關聯的寫碼結果可以用於確定是禁用還是繞過與其他權重相關聯的仿射運動估計。在一範例中，與權重4/8相關聯的運動估計的RD成本可用於確定是否繞過與其它權重相關聯的仿射運動估計。編碼器可以以某順序評估權重的RD成本。例如，編碼器可以首先評估權重4/8，隨後評估權重2/8、10/8、3/8和5/8。編碼器可以使用權重4/8的寫碼結果來確定是否繞過與其他權重相關聯的仿射運動估計。舉例來說，如果當權重為4/8時，仿射模型的運動估計成本大於平移模型的運動估計成本乘以臨界值(例如，1.05)，那麼對於例如-2/8、10/8、3/8和/或5/8的一個或一個以上其它權重，可跳過仿射運動估計。
該編碼器可基於目前模式，確定是否繞過針對一或複數其它權重的仿射運動估計。圖11是用於確定是否跳過對某些MVD精度和/或權重的仿射的範例的示圖。在圖11(a)所示的範例中，可針對像素1/4檢查所有權重和仿射模式，在圖11(b)所示的範例中，編碼器可在用權重4/8寫碼之後檢查(例如，最佳)寫碼模式。BCW權重可包括WBCW ，如公式17所示。例如，每個列表的權重的總和可以是1。WBCW 可以用於列表1，並且列表0的權重可以是(1-WBCW )。如果具有權重4/8的仿射模式被選擇為目前(例如，最佳)模式，則可執行針對其它權重的仿射運動估計。在這種情況下，可以執行或不執行針對平移模型的運動估計。如果具有權重4/8的仿射模式未被選擇作為目前(例如，最佳)模式，那麼對於例如-2/8、10/8、3/8和/或5/8之一個或一個以上其它權重，可跳過仿射運動估計。與仿射模式相關聯的權重可針對一個列表，且可基於兩個權重的和為1而導出另一列表的權重。例如，藉由使用該約束，如果4/8是針對一個列表的，則針對另一列表的權重可以是4/8，指示相等的權重。
權重候選選擇可以在不同的MVD精度間較早地終止。可以繞過與某些MVD精度相關聯的某些權重候選選擇。寫碼系統可支援MVD的一個或一個以上精度(例如，1/4像素、1像素、4像素)。編碼器可以計算該一個或複數精度(例如，三個)的RD成本，和/或基於所計算的RD成本選擇最佳精度。該編碼器可以比較該一個或複數精度的RD成本。該最佳精度可以是具有相對低(例如，最低) RD成本的精度。該編碼器可以按順序計算該一個或複數精度的RD成本。在一個範例中，當賦能具有CU權重的雙預測時(例如GBi)時，可對每個MVD精度測試不同的權重。在一些情況下，可針對每一權重執行雙預測搜尋。
可以繞過與某些MVD精度相關聯的某些權重的RD計算。當MVD精度是某值(例如，1/4像素)時，寫碼裝置(例如，編碼器和/或解碼器)可記錄不同權重的RD成本。該寫碼裝置可基於權重(除某權重值以外的權重)的RD成本，以升序或降序對該權重中的一些或全部權重進行排序。在一個範例中，該寫碼裝置可根據權重4/8之外的權重的RD成本，以升序或降序對與記錄的RD成本關聯的權重排序。針對1像素和/或4像素精度，該寫碼裝置可不測試所有權重。在一個範例中，可以選擇排序的權重間的前幾個權重和/或4/8權重，以測試1像素和4像素精度。可以減少針對1像素精度和4像素MVD精度測試的權重的數量。
可以跳過對一個以上參考圖片清單中的同一參考圖片的某一雙預測(例如，GBi)搜尋。舉例來說，對於階層預測結構中的較低TL處的一些圖片，相同圖片可出現在複數參考圖片清單(例如，清單0和列表1)中。表3可以包括用於第一圖片組(GOP)的參考圖片結構。如表3所示，該GOP大小可以是16。POC可為目前圖片的圖片順序計數。TL可以是目前圖片所屬的時間等級。L0和L1可識別參考圖片的POC值，其由兩個參考圖片清單中的相應參考圖片清單用於目前圖片寫碼。 表3. 針對範例性GOP的參考圖片結構 POC: 16,      TL:0,        [L0: 0]                          [L1: 0] POC:  8,       TL:1,        [L0: 0 16]                     [L1: 16 0] POC:  4,       TL:2,        [L0: 0 8]                       [L1: 8 16] POC:  2,       TL:3,        [L0: 0 4]                       [L1: 4  8] POC:  1,       TL:4,        [L0: 0 2]                       [L1: 2  4] POC:  3,       TL:4,        [L0: 2 0]                       [L1: 4  8] POC:  6,       TL:3,        [L0: 4 0]                       [L1: 8  16] POC:  5,       TL:4,        [L0: 4 0]                       [L1: 6  8] POC:  7,       TL:4,        [L0: 6 4]                       [L1: 8  16] POC: 12,      TL:2,        [L0: 8 0]                       [L1: 16  8] POC: 10,      TL:3,        [L0: 8 0]                       [L1: 12 16] POC: 9,        TL:4,        [L0: 8 0]                       [L1: 10 12] POC: 11,      TL:4,        [L0: 10 8]                     [L1: 12 16] POC: 14,      TL:3,        [L0: 12 8]                     [L1: 12 16] POC: 13,      TL:4,        [L0: 12 8]                     [L1: 14 16] POC: 15,      TL:4,        [L0: 14 12]                   [L1: 16 14]
如表3所示，POC 16、8、4、2、1、12、14及15可在兩個列表中具有相同的參考圖片。舉例來說，POC 16可具有L0及L1中的參考圖片0，且POC 8可具有L0及L1中的參考圖片16。對於雙預測，可以選擇用於L0和L1的相同參考圖片。如果雙預測中的兩個參考圖片相同，那麼寫碼裝置(例如，編碼器)可跳過某雙預測運動估計。在一範例中，舉例來說，如果雙預測中的兩個參考圖片相同，那麼寫碼裝置(例如，編碼器)可針對權重4/8執行雙預測運動估計，且針對其它權重，跳過雙預測運動估計。在一範例中，當MVD精度為某一值(例如，1像素、4像素)時，寫碼裝置可跳過針對其它權重的雙預測運動估計。當仿射模型是四參數或六參數模型時，寫碼裝置可跳過針對其它權重的仿射雙預測運動估計。可以減少寫碼損失。
在與目前圖片的TL相關的條件下，可以繞過某雙預測運動估計。例如，當TL大於預定義臨界值(例如，一)時，寫碼裝置可跳過針對其它權重的雙預測運動估計。
可組合本文中用於跳過雙預測搜尋(例如，針對除4/8以外的權重)的條件中的任一者。例如，這裡跳過一些權重的條件可以被實施為用於加速編碼的編碼器方法。
這裡跳過一些權重的條件可以以規範的方式被實施。在一個範例中，當MVD精度是1/4像素時，和/或當不使用仿射四參數模式時，可以允許具有非預設權重的BCW。當MVD精度是1像素或4像素時，可以禁用BCW索引傳訊。當使用仿射四參數模式時，可以禁用BCW索引傳訊。可以減少傳訊負擔。
可以針對一些圖片禁用BCW(例如GBi)，例如，這可取決於他們的TL和/或用於編碼這些圖片所使用的的QP。在範例中，BCW對於低QP值到中QP值可能更有效。BCW對於中品質到高品質的編碼可能更有效。如果用於編碼目前圖片的QP高於臨界值，那麼可禁用BCW。對於非參考圖片(例如，最高TL處的圖片)，可以禁用BCW。非參考圖片可不被其它圖片用作參考圖片。
BCW可與BDOF組合，例如，以用於目前塊或CU。在範例中，寫碼系統可以接收關於BCW和/或BDOF被賦能的一個或複數指示。該寫碼系統可以包括WTRU。WTRU可以基於該一個或複數指示來使用BCW和BDOF的組合。可在塊和/或圖片/截割層級處用信號發送該一個或複數指示。例如，WTRU可以確定對於目前CU，BCW被賦能。WTRU可以識別用於目前CU的BCW的權重指示。該權重指示可指範例如在BCW中將用於目前CU的權重。該權重指示的範例可以包括權重索引。WTRU可以確定BDOF對於該目前CU是賦能的。
以下特徵中的一個或複數可以應用於具有CU權重的雙預測和BDOF之間的交互作用。BDOF可包含：至少部分基於與該目前CU中的位置相關聯的梯度來細化與該目前CU相關聯的運動向量。
如果在具有CU權重的雙預測中將相等權重(例如，4/8或0.5)用於目前CU，那麼可執行BDOF。在一範例中，如果將相等權重用於目前CU且滿足至少另一條件，那麼可針對目前CU執行BDOF。另一條件(一個或複數)可包括：例如將相等的權重應用於L0和L1預測和/或目前CU是雙預測的。在一範例中，如果該權重指示指示了相等權重將在具有CU權重的雙預測中被用於目前CU，那麼該WTRU可進一步基於一個或一個以上其它條件來確定是否執行用於目前CU的BDOF。
關於是否應用BDOF以進一步細化雙預測信號的決定可取決於所應用的權重。WTRU可以識別用於目前CU的BCW的權重指示。該權重指示可以指示要在BCW中用於目前CU的權重。圖12是用於確定是否繞過BDOF的範例的示圖。在一個範例中，是否繞過針對目前CU的BDOF可以至少部分地基於目前CU的BCW的權重指示來確定。如圖12所示，可以在1204執行運動補償。在1206，可以確定BCW是否被賦能用於目前CU以及BDOF是否被允許。如果確定BCW不針對目前CU被賦能或BDOF不被允許，那麼可跳過檢查具有CU權重的雙預測的權重且可不執行BDOF。如果確定BCW對於目前CU是被賦能的並且BDOF是允許的，則可以檢查BCW的權重，並且可以在1208處確定是否應用相等的權重。如果應用相等的權重，則可以在1210處執行BDOF。作為一範例，如果該權重指示指示了將相等權重用於BCW中的目前CU，那麼可針對目前CU執行BDOF。在應用不相等權重的情況下，可以繞過BDOF。作為一個範例，如果該權重指示指示了將為BCW中的目前CU使用不相等的權重，則WTRU可以確定為目前CU繞過BDOF。該權重指示可以包括與預定權重對應的索引值。
可基於是否繞過BDOF的該確定來重建該目前CU。WTRU可以被配置成基於繞過BDOF的確定來在沒有BDOF的情況下執行BCW。舉例來說，可基於該權重指示確定第一預測CU權重。可基於該第一預測CU權重和BCW權重的約束來導出第二預測CU權重。可基於該第一預測CU權重和該第二預測CU權重對該目前CU執行BCW。如圖12所示，訊框間預測可以在1212處結束。
在一範例中，可賦能BDOF而不管針對雙預測的CU應用相等權重還是不相等權重。基於該光流模型，目前CU中的樣本(例如，每一樣本)的經細化的運動向量的導出可保持與如本文所描述的BDOF導出相同。例如，在應用BDOF之前，可以應用BCW的原始L0和L1預測信號的加權組合。BDOF之後獲得的預測信號可以如公式18的範例中所示來計算。
Figure 02_image069
在本文所述的一個或複數範例中，BCW的權重可應用於該原始L0和L1預測信號，而導出的運動細化可保持與原始BDOF設計相同。應用於運動細化(例如，
Figure 02_image071
和
Figure 02_image073
)的對應權重可能與應用於原始預測信號的權重不一致。
用於具有CU權重的雙預測的相同權重可應用於原始雙預測和/或在L0和L1中導出的運動細化。該運動細化(例如，
Figure 02_image071
和
Figure 02_image073
)推導可與本文中描述的相同。在範例中，可以如公式19所示這樣來計算BDOF之後獲得的預測信號。
Figure 02_image075
儘管上述按照特定組合描述了特徵和元件，但是本領域技術人員將理解的是每個特徵或元件可以被單獨使用或以與其它特徵和元素的任何組合來使用。此外，於此描述的方法可以在嵌入在電腦可讀媒體中由電腦或處理器執行的電腦程式、軟體或韌體中實施。電腦可讀媒體包括電子信號(藉由有線或無線連接發送)和電腦可讀儲存媒體。電腦可讀儲存媒體的範例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶裝置、諸如內部硬碟和可移磁片之類的磁媒體、磁光媒體、以及諸如CD-ROM碟片和數位多用途碟片(DVD)之類的光媒體。與軟體相關聯的處理器可以用於實施在WTRU、UE、終端、基地台、RNC或任意主機電腦中使用的射頻收發器。
BCW:雙預測 BDOF:雙向光流 CU:寫碼單元 GOP:第一圖片組 MVD:運動向量差 N2、N3、S1、X2、Xn:介面 TL:時間層 100:通信系統 102、102a、102b、102c、102d:無線傳輸/接收單元(WTRU) 104、113:無線電存取網路(RAN) 106、115:核心網路(CN) 108:公共交換電話網路(PSTN) 110:網際網路 112:其他網路 114a、114b:基地台 116:空中介面 118:處理器 120:收發器 122:傳輸/接收元件 124:揚聲器/麥克風 126:小鍵盤 128:顯示器/觸控板 130:非可移記憶體 132:可移記憶體 134:電源 136:全球定位系統(GPS)晶片組 138:週邊設備 160a、160b、160c:e節點B 162:移動性管理實體(MME) 164:服務閘道(SGW) 166:封包資料網路(PDN)閘道(或PGW) 180a、180b、180c:gNB 182a、182b:存取和移動性管理功能(AMF) 183a、183b:對話管理功能(SMF) 184a、184b:使用者平面功能(UPF) 185a、185b:資料網路(DN) 202:輸入視訊訊號 204:變換 206:量化 208、414:熵寫碼模組 216、226:預測塊 220、302、402:視訊位元流 260:空間預測 262:運動預測 264、364、422、506、610、706:參考圖片儲存裝置 266、366、420:環路濾波器 280:模式決定塊 308:熵解碼模組 310、416、612:逆量化模組 312、418、614:逆變換模組 320:重建視訊 360、406、606:空間預測模組 362:運動補償預測模組 404:模式決定模組 408、608:運動預測模組 410:變換模組 412:量化模組 500:估計模組 502:權重值估計模組 504:運動估計模組 604:熵解碼器 618:環路濾波器模組 700:預測模組 702:加權平均模組 704:運動補償模組 1204、1206、1208、1210、1212:流程
圖1A是示出了可以實施一個或複數揭露的實施例所在的範例性通信系統的系統圖。 圖1B是示出了可在圖1A中所示的通信系統內使用的範例性無線傳輸/接收單元(WTRU)的系統圖。 圖1C是示出了可在圖1A中所示的通信系統內使用的範例性無線電存取網路(RAN)和範例性核心網路(CN)的系統圖。 圖1D是示出了可在圖1A中所示的通信系統內使用的另一範例性RAN和另一範例性CN的系統圖。 圖2是範例性基於塊的視訊編碼器的示圖。 圖3是範例性視訊解碼器的示圖。 圖4是支援具有CU權重的雙預測的範例性基於塊的視訊編碼器的示圖。 圖5是用於編碼器的支援具有CU權重的雙預測的範例性模組的示圖。 圖6是支援具有CU權重的雙預測的範例性基於塊的視訊解碼器的示圖。 圖7是用於解碼器的支援具有CU權重的雙預測的範例性模組的示圖。 圖8是範例性四參數仿射(affine)模式的示圖。 圖9是範例性六參數仿射模式的示圖。 圖10是具有時間層(TL)的範例性階層預測結構的示圖。 圖11是用於確定是否跳過針對某些MVD精度和/或權重的仿射的範例的示圖。 圖12是用於確定是否繞過BDOF的範例的示圖。
BCW:雙預測
BDOF:雙向光流
CU:寫碼單元
1204、1206、1208、1210、1212:流程

Claims (12)

  1. 一種無線傳輸/接收單元(WTRU)，該WTRU包括： 一處理器，其被配置為： 確定雙向光流(BDOF)被賦能； 確定針對一目前寫碼單元(CU)賦能了具有CU權重的雙預測； 識別針對該目前CU的具有CU權重的雙預測的一權重指示，其中該權重指示指示了在具有CU權重的雙預測中將用於該目前CU的權重； 至少部分基於針對該目前CU的具有CU權重的雙預測的該權重指示而確定是否繞過用於該目前CU的BDOF，其中在該權重指示指示了在具有CU權重的雙預測中將針對該目前CU使用不相等權重的條件下，確定繞過用於該目前CU的BDOF；以及 基於是否繞過BDOF的該確定，重建該目前CU。
  2. 如請求項1所述的WTRU，其中該處理器還被配置成在該權重指示指示了在具有CU權重的雙預測中將相等的權重用於該目前CU的條件下，基於至少另一條件來確定是否執行用於該目前CU的BDOF。
  3. 如請求項1所述的WTRU，其中針對該目前CU的具有CU權重的雙預測的該權重指示包括對應於一預定權重的一索引值。
  4. 如請求項1所述的WTRU，其中該權重指示指示了在具有CU權重的雙預測中將不相等的權重用於該目前CU，並且該處理器還被配置成： 基於該權重指示，確定一第一預測CU權重； 基於該第一預測CU權重和約束，導出一第二預測CU權重；以及 基於該第一預測CU權重和該第二預測CU權重，對該目前CU執行具有CU權重的雙預測。
  5. 如請求項1所述的WTRU，其中BDOF包括至少部分地基於與該目前CU中的一位置相關聯的梯度來細化與該目前CU相關聯的一運動向量。
  6. 如請求項1所述的WTRU，其中該處理器還被配置成基於繞過BDOF的該確定，在沒有BDOF的情況下執行具有CU權重的雙預測，以重建該目前CU。
  7. 一種由一無線傳輸/接收單元(WTRU)執行的方法，該方法包括： 確定雙向光流(BDOF)被賦能； 確定針對一目前CU賦能具有寫碼單元(CU)權重的雙預測； 識別針對該目前CU的具有CU權重的雙預測的一權重指示，其中該權重指示指示了在具有CU權重的雙預測中將用於該目前CU的權重； 至少部分基於針對該目前CU的具有CU權重的雙預測的該權重指示，確定是否繞過用於該目前CU的BDOF，其中在該權重指示指示了在具有CU權重的雙預測中將針對該目前CU使用不相等權重的條件下，該方法包括確定繞過用於該目前CU的BDOF；以及 基於是否繞過BDOF的該確定，重建該目前CU。
  8. 如請求項7所述的方法，其進一步包括在該權重指示指示了在有CU權重的雙預測中將相等權重用於該目前CU的條件下，基於至少另一條件確定是否針對該目前CU執行BDOF。
  9. 如請求項7所述的方法，其中針對該目前CU的具有CU權重的雙預測的該權重指示包括對應於一預定權重一的索引值。
  10. 如請求項7所述的方法，其中該權重指示指示了在具有CU權重的雙預測中將針對該目前CU使用不相等的權重，該方法進一步包括： 基於該權重指示，確定一第一預測CU權重； 基於該第一預測CU權重和一約束，導出一第二預測CU權重；以及 基於該第一預測CU權重和該第二預測CU權重，對該目前CU執行具有CU權重的雙預測。
  11. 如請求項7所述的方法，其中BDOF包括至少部分基於與該目前CU中的一位置相關聯的梯度來細化與該目前CU相關聯的一運動向量。
  12. 如請求項7所述的方法，其中重建該目前CU進一步包括基於繞過BDOF的該確定而在沒有BDOF的情況下執行具有CU權重的雙預測。
TW108134563A 2018-09-26 2019-09-25 視訊編碼雙預測 TW202029755A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862736790P 2018-09-26 2018-09-26
US62/736790 2018-09-26
US201862786641P 2018-12-31 2018-12-31
US62/786641 2018-12-31

Publications (1)

Publication Number Publication Date
TW202029755A true TW202029755A (zh) 2020-08-01

Family

ID=69950792

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108134563A TW202029755A (zh) 2018-09-26 2019-09-25 視訊編碼雙預測

Country Status (10)

Country Link
US (2) US11553206B2 (zh)
EP (2) EP4294009A3 (zh)
JP (2) JP7398442B2 (zh)
KR (1) KR20210077671A (zh)
CN (1) CN112806005B (zh)
CA (1) CA3114103A1 (zh)
SG (1) SG11202103016RA (zh)
TW (1) TW202029755A (zh)
WO (1) WO2020069076A1 (zh)
ZA (1) ZA202101992B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11729417B2 (en) * 2018-10-02 2023-08-15 Interdigital Vc Holdings, Inc. Generalized bi-prediction and weighted prediction
CN112913249B (zh) * 2018-10-22 2022-11-08 北京字节跳动网络技术有限公司 广义双向预测索引的简化编解码
US20220109871A1 (en) * 2019-01-14 2022-04-07 InterDigitai VC Holdings, Inc. Method and apparatus for video encoding and decoding with bi-directional optical flow adapted to weighted prediction
US11190797B2 (en) * 2019-03-01 2021-11-30 Qualcomm Incorporated Constraints on decoder-side motion vector refinement based on weights for bi-predicted prediction
WO2020228659A1 (en) 2019-05-11 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Coding tools with reference picture resampling
WO2020236719A2 (en) 2019-05-19 2020-11-26 Bytedance Inc. Transform design for large blocks in video coding
WO2020233662A1 (en) 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling for optical-flow based inter coding
WO2021018031A1 (en) 2019-07-27 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Restrictions of usage of tools according to reference picture types
CN114556916B (zh) 2019-10-12 2023-11-17 北京字节跳动网络技术有限公司 视频编解码工具的高级语法
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS
CN115443653A (zh) * 2020-04-07 2022-12-06 抖音视界有限公司 高级别语法中的帧间预测的信令通知
WO2021204251A1 (en) 2020-04-10 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
CN115868159A (zh) 2020-04-17 2023-03-28 抖音视界有限公司 自适应参数集单元的存在
WO2021222036A1 (en) 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of video coding syntax elements
US11863774B2 (en) * 2021-01-15 2024-01-02 Tencent America LLC Method and apparatus for video coding
US20230171405A1 (en) * 2021-11-30 2023-06-01 Tencent America LLC Scene transition detection based encoding methods for bcw

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
TWI750637B (zh) * 2015-06-08 2021-12-21 美商Ｖｉｄ衡器股份有限公司 螢幕內容編碼區塊內複製模式
EP3273692A4 (en) * 2015-06-10 2018-04-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding image using syntax signaling for adaptive weight prediction
US10271064B2 (en) * 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
CN106331703B (zh) * 2015-07-03 2020-09-08 华为技术有限公司 视频编码和解码方法、视频编码和解码装置
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
US20170150176A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
CN114793279A (zh) * 2016-02-03 2022-07-26 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
US11363253B2 (en) * 2016-05-13 2022-06-14 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
US20180060562A1 (en) * 2016-09-01 2018-03-01 Lenovo (Singapore) Pte. Ltd. Systems and methods to permit an attempt at authentication using one or more forms of authentication
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US20180184101A1 (en) * 2016-12-23 2018-06-28 Apple Inc. Coding Mode Selection For Predictive Video Coder/Decoder Systems In Low-Latency Communication Environments
US10931969B2 (en) 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
WO2018173895A1 (ja) 2017-03-21 2018-09-27 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
WO2019223746A1 (en) * 2018-05-23 2019-11-28 Mediatek Inc. Method and apparatus of video coding using bi-directional cu weight
WO2019234578A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges

Also Published As

Publication number Publication date
JP2022502924A (ja) 2022-01-11
CA3114103A1 (en) 2020-04-02
SG11202103016RA (en) 2021-04-29
CN112806005B (zh) 2024-04-23
EP4294009A3 (en) 2024-02-28
EP3857886A1 (en) 2021-08-04
KR20210077671A (ko) 2021-06-25
US11553206B2 (en) 2023-01-10
US20230179795A1 (en) 2023-06-08
EP4294009A2 (en) 2023-12-20
ZA202101992B (en) 2023-10-25
WO2020069076A1 (en) 2020-04-02
JP2024023521A (ja) 2024-02-21
US20220007048A1 (en) 2022-01-06
JP7398442B2 (ja) 2023-12-14
EP3857886B1 (en) 2024-04-03
CN112806005A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
JP7398442B2 (ja) ビデオコーディングのための双予測
JP7125486B2 (ja) 局所照明補償に基づいた動き補償双予測
JP7168593B2 (ja) 双方向オプティカルフローに基づいた動き補償予測
CN111345041B (zh) 解码、编码视频数据的方法和设备
JP7382332B2 (ja) マージモード用のサブブロック動き導出およびデコーダサイド動きベクトル精緻化
US11546604B2 (en) Symmetric motion vector difference coding
JP7307184B2 (ja) オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
CN111316649A (zh) 重叠块运动补偿
TW202038607A (zh) 結合的間和內預測
CN112335247A (zh) 用于基于仿射运动模型的视频译码的自适应控制点选择
JP2021502019A (ja) マルチタイプツリーコーディング
TW202032986A (zh) 基於歷史之運動向量預測
US11943467B2 (en) Affine motion estimation for affine model-based video coding
TWI835958B (zh) 對稱運動向量差寫碼的裝置及方法
JP2024059911A (ja) 局所照明補償に基づいた動き補償双予測