TW202015412A - 降低解碼器側運動精化的寫碼潛時的方法及裝置 - Google Patents

降低解碼器側運動精化的寫碼潛時的方法及裝置 Download PDF

Info

Publication number
TW202015412A
TW202015412A TW108122003A TW108122003A TW202015412A TW 202015412 A TW202015412 A TW 202015412A TW 108122003 A TW108122003 A TW 108122003A TW 108122003 A TW108122003 A TW 108122003A TW 202015412 A TW202015412 A TW 202015412A
Authority
TW
Taiwan
Prior art keywords
motion vector
block
unrefined
motion
prediction
Prior art date
Application number
TW108122003A
Other languages
English (en)
Other versions
TWI805788B (zh
Inventor
修曉宇
何玉文
言 葉
Original Assignee
美商Ｖｉｄ衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Ｖｉｄ衡器股份有限公司 filed Critical 美商Ｖｉｄ衡器股份有限公司
Publication of TW202015412A publication Critical patent/TW202015412A/zh
Application granted granted Critical
Publication of TWI805788B publication Critical patent/TWI805788B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

描述了用於降低解碼器側運動向量精化（DMVR）帶來的寫碼潛時的視訊寫碼系統及方法的實施方式。在一個範例中，針對使用雙向預測的樣本的第一塊（例如第一寫碼單元）的寫碼識別兩個未精化的運動向量。未精化的運動向量的一者或兩者用於預測樣本的第二塊（例如第二寫碼單元）的運動資訊。使用DMVR精化兩個未精化的運動向量，以及精化的運動向量用於產生樣本的第一塊的預測信號。這樣的實施方式允許樣本的第二塊基本與第一塊被平行地寫碼，而不用等待第一塊上的DMVR完成。在另外的實施方式中，針對運動向量精化描述基於光流的技術。

Description

降低解碼器側運動精化的寫碼潛時的方法及裝置
相關申請案的交叉引用
本申請案是名稱為“降低解碼器側運動精化的寫碼潛時的方法及裝置”的美國臨時專利申請序號62/690,507（2018年6月27日申請）的正式申請案並根據35 U.S.C. §119（e）要求該申請案的權益，其全部內容藉由引用的方式合併於此。
視訊寫碼系統廣泛用於壓縮數位視訊信號以降低這些信號的儲存需求及/或傳輸頻寬。在多種類型的視訊寫碼系統（例如基於塊的、基於小波的、以及基於物件的系統）中，目前基於塊的混合視訊解碼系統是最為廣泛使用以及部署的。基於塊的視訊寫碼系統的範例包括國際視訊寫碼標準，例如MPEG1/2/4 部分2、H.264/MPEG-4部分10 AVC、VC-1、以及稱為高效視訊寫碼（HEVC）的最近的視訊寫碼標準，該標準由ITU-T/SG16/Q.6/VCEG以及ISO/IEC/MPEG的JCT-VC（視訊寫碼聯合小組）開發。
第一版本的HEVC標準在2013年10月完成且與前代視訊寫碼標準H.264/MPEG AVC相比提供大約50%位元速率節省或等同感知的品質。雖然HEVC標準比其前任提供明顯的寫碼改善，但是有證據表明，用另外的寫碼工具能夠比HEVC實現更優越的寫碼效率。基於此，VCEG以及MPEG為未來視訊寫碼標準化開始新寫碼技術的開發工作。由ITU-T VECG以及ISO/IEC MPEG於2015年10月成立的聯合視訊探索小組（JVET）開始對先進技術的重要研究，其能夠實現寫碼效率的實質增強。JVET藉由在HEVC測試模型（HM）上整合一些另外的寫碼工具，維護了稱為聯合探索模型（JEM）的參考軟體。
在2017年10月，ITU-T以及ISO/IEC發佈了對HEVC之外能力的視訊壓縮的聯合徵求提案（CfP）。在2018年4月，收到23份CfP回應並在第十次JVET會議上評估，證明壓縮效率增益超過HEVC大約40%。基於這種評估結果，JVET啟動了新的計畫來開發稱為多功能視訊寫碼（VCC）的新一代視訊寫碼標準。同月，為證明VVC標準的參考實施建立了稱為VVC測試模型（VTM）的參考軟體代碼庫。針對初始的VTM-1.0，除了在VTM中使用基於多類型樹的塊分區結構，大多數寫碼模組（包括訊框內預測、訊框間預測、變換/逆變換以及量化/解量化以及迴路內濾波器）遵循現有的HEVC設計。同時，為了促進新寫碼工具的評估，也產生了稱為基準集合（BMS）的另一參考軟體庫。在BMS代碼庫中，在VTM上還包括了提供更高寫碼效率以及適度實施複雜性的從JEM繼承的一系列寫碼工具，並在VVC標準化進程期間評估類似寫碼技術時被用作基準。整合在BMS-1.0中的JEM寫碼工具包括65個角度訊框內預測方向、修改的係數寫碼、高級多重變換（AMT）+4x4不可分離二次變換（NSST）、仿射運動模型、廣義適應性迴路濾波器（GALF）、高級時間運動向量預測（ATMVP）、適應性運動向量預測、解碼器側運動向量精化（DMVR）以及LM色度模式。
一些實施方式包括在視訊編碼（encoding）以及解碼（decoding）（統稱為“寫碼”）中使用的方法。在基於塊的視訊寫碼方法的一些實施方式中，包括：在第一塊，精化（refine）第一未精化的運動向量以及第二未精化的運動向量以產生第一精化的運動向量以及第二精化的運動向量；使用第一未精化的運動向量以及第二未精化的運動向量中的一者或兩者，預測第二塊的運動資訊，第二塊是第一塊的空間相鄰者；以及使用第一精化的運動向量以及第二精化的運動向量以利用雙向預測來預測第一塊。
在視訊寫碼方法的範例中，識別與第一塊相關聯的第一未精化的運動向量以及第二未精化的運動向量。使用第一未精化的運動向量以及第二未精化的運動向量中的一者或兩者來預測與第一塊相鄰的第二塊的運動資訊。例如使用解碼器側運動向量精化（DMVR）來精化第一未精化的運動向量以及第二未精化的運動向量。精化的運動向量用於產生第一精化的運動向量以及第二精化的運動向量，其可以用於第一塊的雙向預測。可以使用一種或多種技術以及使用一個或多個未精化的運動向量作為空間合併候選來執行使用一個或多個未精化的運動向量以預測第二塊的運動資訊，該技術例如是空間高級運動向量預測（AMVP）、時間運動向量預測（TMVP）、高級時間運動向量預測（TMVP）。在空間預測的情況中，第二塊可以是第一塊的空間相鄰者；在時間預測的情況中，第二塊可以是在後續被寫碼的圖像中的共位塊。在一些實施方式中，至少部分基於第一未精化的運動向量以及第二未精化的運動向量來確定第一塊的解塊濾波器強度。
在視訊寫碼方法的另一範例中，識別與第一塊相關聯的第一未精化的運動向量以及第二未精化的運動向量。例如使用DMVR，精化第一未精化的運動向量以及第二未精化的運動向量以產生第一精化的運動向量以及第二精化的運動向量。使用空間運動預測或時間運動預測來預測第二塊的運動資訊，其中（i）如果使用空間運動預測，第一未精化的運動向量以及第二未精化的運動向量中的一者或兩者被用於預測運動資訊，以及（ii）如果使用時間運動預測，第一精化的運動向量以及第二精化的運動向量中的一者或兩者被用於預測運動資訊。
在視訊寫碼方法的另一範例中，至少一個預測器被選擇用於預測目前塊的運動資訊。從可用預測器集合中進行選擇，其中可用預測器包括（i）來自目前塊的空間相鄰塊的至少一個未精化的運動向量以及（ii）來自目前塊的共位塊的至少一個精化的運動向量。
在視訊寫碼方法的另一範例中，確定切片（slice）中至少兩個不重疊區域。識別在第一個區域中與第一塊相關聯的第一未精化的運動向量以及第二未精化的運動向量。第一未精化的運動向量以及第二未精化的運動向量被精化以產生第一精化的運動向量以及第二精化的運動向量。回應於確定使用第一塊的運動資訊預測與第一塊相鄰的第二塊的運動資訊，使用以下來預測第二塊的運動資訊：（i）如果第一塊沒有在第一區域的底部邊緣或右邊緣則使用第一未精化的運動向量以及第二未精化的運動向量中的一者或兩者，以及（ii）如果第一塊在第一區域的底部邊緣或右邊緣，則使用第一精化的運動向量以及第二精化的運動向量中的一者或兩者。
在視訊寫碼方法的另一範例中，確定切片中的至少兩個不重疊區域。在第一區域中識別與第一塊相關聯的第一未精化的運動向量以及第二未精化的運動向量。第一未精化的運動向量以及第二未精化的運動向量被精化以產生第一精化的運動向量以及第二精化的運動向量。回應於確定使用第一塊的運動資訊預測與第一塊相鄰的第二塊的運動資訊，使用以下來預測第二塊的運動資訊：（i）如果第二塊在第一區域中，則使用第一未精化的運動向量以及第二未精化的運動向量中的一者或兩者，以及（ii）如果第二塊不在第一區域中，則使用第一精化的運動向量以及第二精化的運動向量中的一者或兩者。
在視訊寫碼方法的另一範例中，確定切片中的至少兩個不重疊區域。識別在第一區域中與第一塊相關聯的第一未精化的運動向量以及第二未精化的運動向量。第一未精化的運動向量以及第二未精化的運動向量被精化以產生第一精化的運動向量以及第二精化的運動向量。使用空間運動預測或時間運動預測來預測第二塊的運動資訊，其中（i）如果第一塊沒有在第一區域的底部邊緣或右邊緣，且如果使用空間運動預測，則使用第一未精化的運動向量以及第二未精化的運動向量中的一者或兩者來預測運動資訊，以及（ii）如果第一塊在第一區域的底部邊緣或右邊緣，或如果使用時間運動預測，則使用第一精化的運動向量以及第二精化的運動向量中的一者或兩者來預測運動資訊。
在視訊寫碼方法的另一範例中，在切片中定義至少兩個不重疊區域。可用預測器集合被確定以用於預測第一區域中的目前塊的運動資訊，其中可用預測器集合被限制為不包括不同於第一區域的第二區域中的任一塊的運動資訊。
一些實施方式涉及用於精化的運動向量的方法。在一個範例中，針對目前塊確定第一未精化的運動向量以及第二未精化的運動向量。使用第一未精化的運動向量產生第一預測
Figure 02_image001
，以及使用第二未精化的運動向量產生第二預測
Figure 02_image003
。光流模型用於確定目前塊的運動精化
Figure 02_image005
。使用運動精化來精化第一未精化的運動向量以及第二未精化的運動向量以產生第一精化的運動向量以及第二精化的運動向量。使用第一精化的運動向量以及第二精化的運動向量，用雙向預測來預測目前塊。
在視訊寫碼方法的另一範例中，針對目前塊確定第一未精化的運動向量以及第二未精化的運動向量。使用第一未精化的運動向量產生第一預測
Figure 02_image001
，以及使用第二未精化的運動向量產生第二預測
Figure 02_image003
。針對目前塊確定運動精化
Figure 02_image007
Figure 02_image009
其中
Figure 02_image011
是目前塊內所有樣本的座標集合，且其中
Figure 02_image013
。 使用運動精化來精化第一未精化的運動向量以及第二未精化的運動向量以產生第一精化的運動向量以及第二精化的運動向量。使用第一精化的運動向量以及第二精化的運動向量，用雙向預測來預測目前塊。
在視訊寫碼方法的另一範例中，針對目前塊確定第一運動向量以及第二運動向量。藉由疊代地執行步驟來精化第一運動向量以及第二運動向量，步驟包括以下： (a)使用第一運動向量產生第一預測
Figure 02_image015
，以及使用第二運動向量產生第二預測
Figure 02_image017
； (b)藉由對第一預測
Figure 02_image015
以及第二預測
Figure 02_image017
進行平均來產生雙向預測模板信號
Figure 02_image019
； (c)基於模板信號
Figure 02_image019
以使用光流模型來確定針對第一運動向量的第一運動精化
Figure 02_image021
以及針對第二運動向量的第二運動精化
Figure 02_image023
；以及 (d)使用第一運動精化
Figure 02_image021
來精化第一運動向量以及使用第二運動精化
Figure 02_image023
來精化第二運動向量。
另外的實施方式包括編碼器以及解碼器（統稱為“編解碼器”）系統，被配置為執行這裡描述的方法。該系統可以包括處理器以及儲存指令的非暫態電腦儲存媒體，該指令在處理器上被執行時可操作用於執行這裡描述的方法。另外的實施方式包括儲存使用這裡描述的方法編碼的視訊的非暫態電腦可讀媒體。
實施方式的範例性網路
第1A圖是示出了可以實施所揭露的一個或多個實施方式的範例性通信系統100的圖式。該通信系統100可以是為多個無線使用者提供例如語音、資料、視訊、訊息傳遞、廣播等內容的多重存取系統。該通信系統100可以經由共用包括無線頻寬的系統資源而使多個無線使用者能夠存取此類內容。舉例來說，通信系統100可以使用一種或多種通道存取方法，例如分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA）、正交FDMA（OFDMA）、單載波FDMA（SC-FDMA）、零尾唯一字DFT擴展OFDM（ZT UW DTS-s OFDM）、唯一字OFDM（UW-OFDM）、資源塊過濾OFDM以及濾波器組多載波（FBMC）等等。
如第1A圖所示，通信系統100可以包括無線傳輸/接收單元（WTRU）102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交換電話網路（PSTN）108、網際網路110以及其他網路112，然而應該瞭解，所揭露的實施方式設想了任意數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d每一者可以是被配置為在無線環境中操作及/或通信的任何類型的裝置。舉例來說，WTRU 102a、102b、102c、102d（其任一者都可被稱為“站”及/或“STA”）可以被配置為傳輸及/或接收無線信號、並且可以包括使用者設備（UE）、行動站、固定或行動用戶單元、基於訂用的單元、呼叫器、行動電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、小筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網（IoT）裝置、手錶或其他可穿戴裝置、頭戴顯示器（HMD）、車輛、無人機、醫療設備及應用（例如遠端手術）、工業設備及應用（例如機器人及/或在工業及/或自動處理鏈環境中操作的其他無線裝置）、消費類電子裝置、以及在商業及/或工業無線網路上操作的裝置等等。WTRU 102a、102b、102c、102d中的任意者可被可交換地稱為UE。
通信系統100還可以包括基地台114a及/或基地台114b。基地台114a、114b每一者可以是被配置為與WTRU 102a、102b、102c、102d中的至少一者無線地介接以促進存取一個或多個通信網路（例如CN 106/115、網際網路110、及/或其他網路112）的任何類型的裝置。舉例來說，基地台114a、114b可以是基地收發站（BTS）、節點B、e節點B、本地節點B、本地e節點 B、gNB、NR節點B、站點控制器、存取點（AP）、以及無線路由器等等。雖然基地台114a、114b每一者都被描述為單一元件，然而應該瞭解，基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 104/113的一部分，並且該RAN還可以包括其他基地台及/或網路元件（未顯示），例如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點等等。基地台114a及/或基地台114b可被配置為在稱為胞元（未顯示）的一個或多個載波頻率上傳輸及/或接收無線信號。這些頻率可以處於授權頻譜、無授權頻譜或是授權與無授權頻譜的組合中。胞元可以為相對固定或者有可能隨時間變化的特定地理區域提供無線服務覆蓋。胞元可被進一步分成胞元扇區。例如，與基地台114a相關聯的胞元可被分為三個扇區。由此，在一個實施方式中，基地台114a可以包括三個收發器，也就是說，一個收發器都用於胞元的每一個扇區。在實施方式中，基地台114a可以使用多輸入多輸出（MIMO）技術、並且可以為胞元的每一個扇區使用多個收發器。舉例來說，波束成形可以用於在期望的空間方向上傳輸及/或接收信號。
基地台114a、114b可以經由空中介面116以與WTRU 102a、102b、102c、102d中的一者或多者進行通信，其中該空中介面可以是任何適當的無線通訊鏈路（例如射頻（RF）、微波、釐米波、微米波、紅外線（IR）、紫外線（UV）、可見光等等）。空中介面116可以用任何適當的無線電存取技術（RAT）來建立。
更具體地，如上所述，通信系統100可以是多重存取系統、並且可以使用一種或多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基地台114a與WTRU 102a、102b、102c可以實施例如通用行動電信系統（UMTS）地面無線電存取（UTRA）之類的無線電技術，其中該技術可以使用寬頻CDMA（WCDMA）來建立空中介面116。WCDMA可以包括如高速封包存取（HSPA）及/或演進型HSPA（HSPA+）之類的通信協定。HSPA可以包括高速下鏈（DL）封包存取（HSDPA）及/或高速UL封包存取（HSUPA）。
在實施方式中，基地台114a以及WTRU 102a、102b、102c可以實施例如演進型UMTS地面無線電存取（E-UTRA）之類的無線電技術，其中該技術可以使用長期演進（LTE）及/或先進LTE（LTE-A）及/或先進LTA Pro（LTE-A Pro）來建立空中介面116。
在實施方式中，基地台114a以及WTRU 102a、102b、102c可以實施例如NR無線電存取之類的無線電技術，其中該無線電技術可以使用新型無線電（NR）來建立空中介面116。
在實施方式中，基地台114a以及WTRU 102a、102b、102c可以實施多種無線電存取技術。舉例來說，基地台114a以及WTRU 102a、102b、102c可以一起實施LTE無線電存取以及NR無線電存取（例如使用雙連接（DC）原理）。因此，WTRU 102a、102b、102c使用的空中介面可以經由多種類型的無線電存取技術、及/或向/從多種類型的基地台（例如eNB以及gNB）發送的傳輸來表徵。
在其他實施方式中，基地台114a以及WTRU 102a、102b、102c可以實施以下的無線電技術，例如IEEE 802.11（即無線高保真（WiFi））、IEEE 802.16（全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫時標準2000（IS-2000）、暫時標準95（IS-95）、暫時標準856（IS-856）、全球行動通信系統（GSM）、用於GSM演進的增強資料速率（EDGE）以及GSM EDGE（GERAN）等等。
第1A圖中的基地台114b可以是無線路由器、本地節點B、本地e節點B或存取點、並且可以使用任何適當的RAT來促進例如營業場所、住宅、車輛、校園、工業設施、空中走廊（例如供無人機使用）以及道路等等的局部區域中的無線連接。在一個實施方式中，基地台114b與WTRU 102c、102d可以實施IEEE 802.11之類的無線電技術來建立無線區域網路（WLAN）。在實施方式中，基地台114b與WTRU 102c、102d可以實施IEEE 802.15之類的無線電技術來建立無線個人區域網路（WPAN）。在再一個實施方式中，基地台114b以及WTRU 102c、102d可使用基於蜂巢的RAT（例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等）來建立微微胞元或毫微微胞元。如第1A圖所示，基地台114b可以直連到網際網路110。因此，基地台114b不需要經由CN 106/115來存取網際網路110。
RAN 104/113可以與CN 106/115進行通信，其中該CN可以是被配置為向WTRU 102a、102b、102c、102d的一者或多者提供語音、資料、應用及/或網際網路協定語音（VoIP）服務的任何類型的網路。該資料可以具有不同的服務品質（QoS）需求，例如不同的流通量需求、潛時需求、容錯需求、可靠性需求、資料流通量需求、以及移動性需求等等。CN 106/115可以提供呼叫控制、記帳服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分發等等、及/或可以執行使用者驗證之類的高階安全功能。雖然在第1A圖中沒有顯示，然而應該瞭解，RAN 104/113及/或CN 106/115可以直接或間接地與其他RAN進行通信，該其他RAN使用了與RAN 104/113相同的RAT、或不同RAT。例如，除了與使用NR無線電技術的RAN 104/113連接之外，CN 106/115還可以與使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi無線電技術的另一RAN（未顯示）通信。
CN 106/115還可以充當供WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供簡易老式電話服務（POTS）的電路交換電話網路。網際網路110可以包括使用了公共通信協定（例如傳輸控制協定/網際網路協定（TCP/IP）網際網路協定族中的TCP、使用者資料報協定（UDP）及/或IP）的全球性互連電腦網路裝置系統。網路112可以包括由其他服務提供者擁有及/或操作的有線及/或無線通訊網路。例如，網路112可以包括與一個或多個RAN連接的另一個CN，其中該一個或多個RAN可以與RAN 104/113使用相同RAT或不同RAT。
通信系統100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力（例如，WTRU 102a、102b、102c、102d可以包括經由不同無線鏈路以與不同無線網路通信的多個收發器）。例如，第1A圖所示的WTRU 102c可被配置為與可以使用基於蜂巢的無線電技術的基地台114a通信、以及與可以使用IEEE 802無線電技術的基地台114b通信。
第1B圖是示出了範例性WTRU 102的系統圖。如第1B圖所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移記憶體130、可移記憶體132、電源134、全球定位系統（GPS）晶片組136以及其他週邊設備138。應該瞭解的是，在保持符合實施方式的同時，WTRU 102還可以包括前述元件的任何子組合。
處理器118可以是通用處理器、專用處理器、常規處理器、數位信號處理器（DSP）、多個微處理器、與DSP核心關聯的一個或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）電路、其他任何類型的積體電路（IC）以及狀態機等等。處理器118可以執行信號解碼、資料處理、功率控制、輸入/輸出處理、及/或任何能使WTRU 102在無線環境中操作的其他功能。處理器118可以耦合至收發器120，收發器120可以耦合至傳輸/接收元件122。雖然第1B圖將處理器118以及收發器120描述為單獨元件，然而應該瞭解，處理器118以及收發器120也可以一起集成在電子元件或晶片中。
傳輸/接收元件122可被配置為經由空中介面116以傳輸信號至基地台（例如基地台114a）或從基地台（例如基地台114a）接收信號。舉個例子，在一個實施方式中，傳輸/接收元件122可以是被配置為傳輸及/或接收RF信號的天線。例如，在實施方式中，傳輸/接收元件122可以是被配置為傳輸及/或接收IR、UV或可見光信號的放射器/偵測器。在再一個實施方式中，傳輸/接收元件122可被配置為傳輸及/或接收RF以及光信號。應該瞭解的是，傳輸/接收元件122可以被配置為傳輸及/或接收無線信號的任何組合。
雖然在第1B圖中將傳輸/接收元件122描述為是單一元件，但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體地說，WTRU 102可以使用MIMO技術。因此，在一個實施方式中，WTRU 102可以包括經由空中介面116以傳輸以及接收無線電信號的兩個或更多個傳輸/接收元件122（例如多個天線）。
收發器120可被配置為對傳輸/接收元件122要傳送的信號進行調變、以及對傳輸/接收元件122接收的信號進行解調。如上所述，WTRU 102可以具有多模能力。因此，收發器120可以包括使WTRU 102能經由多種RAT（例如NR以及IEEE 802.11）來進行通信的多個收發器。
WTRU 102的處理器118可以耦合到揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128（例如液晶顯示器（LCD）顯示單元或有機發光二極體（OLED）顯示單元）、並且可以接收來自這些元件的使用者輸入資料。處理器118還可以向揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128輸出使用者資料。此外，處理器118可以從例如非可移記憶體130及/或可移記憶體132之類的任何適當的記憶體中存取資訊、以及將資料儲存至這些記憶體。非可移記憶體130可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟或是其他任何類型的記憶體儲存裝置。可移記憶體132可以包括用戶身份模組（SIM）卡、記憶條、安全數位（SD）記憶卡等等。在其他實施方式中，處理器118可以從那些並非實際位於WTRU 102的記憶體存取資訊、以及將資料儲存至這些記憶體，例如，此類記憶體可以位於伺服器或家用電腦（未顯示）。
處理器118可以接收來自電源134的電力、並且可被配置分發及/或控制用於WTRU 102中的其他元件的電力。電源134可以是為WTRU 102供電的任何適當裝置。例如，電源134可以包括一個或多個乾電池組（如鎳鎘（NiCd）、鎳鋅（NiZn）、鎳氫（NiMH）、鋰離子（Li-ion）等等）、太陽能電池以及燃料電池等等。
處理器118還可以耦合到GPS晶片組136，該晶片組可被配置為提供與WTRU 102的目前位置相關的位置資訊（例如經度以及緯度）。作為來自GPS晶片組136的資訊的補充或替代，WTRU 102可以經由空中介面116接收來自基地台（例如基地台114a、114b）的位置資訊、及/或根據從兩個或更多個附近基地台接收的信號時序來確定其位置。應該瞭解的是，在保持符合實施方式的同時，WTRU 102可以用任何適當的定位方法來獲取位置資訊。
處理器118還可以耦合到其他週邊設備138，其中該週邊設備可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如，週邊設備138可以包括加速度計、電子指南針、衛星收發器、數位相機（用於照片及/或視訊）、通用序列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍牙®模組、調頻（FM）無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器、虛擬實境及/或增強現實（VR/AR）裝置、以及活動追蹤器等等。週邊設備138可以包括一個或多個感測器，該感測器可以是以下的一者或多者：陀螺儀、加速度計、霍爾效應感測器、磁強計、方位感測器、鄰近感測器、溫度感測器、時間感測器、地理位置感測器、高度計、光感測器、觸摸感測器、磁力計、氣壓計、手勢感測器、生物測定感測器及/或濕度感測器。
WTRU 102可以包括全雙工無線電裝置，其中對於該無線電設備，一些或所有信號（例如與用於UL（例如對傳輸而言）以及下鏈（例如對接收而言）的特定子訊框相關聯）的接收以及傳輸可以是並行及/或同時的。全雙工無線電裝置可以包括經由硬體（例如扼流圈）或是經由處理器（例如單獨的處理器（未顯示）或是經由處理器118）的信號處理來降低及/或基本消除自干擾的干擾管理單元。在實施方式中，WTRU 102可以包括傳送以及接收一些或所有信號（例如與用於UL（例如對傳輸而言）或下鏈（例如對接收而言）的特定子訊框相關聯）的半雙工無線電裝置。
雖然在第1A圖至第1B圖中將WTRU描述為無線終端，然而應該想到的是，在某些典型實施方式中，此類終端可以使用（例如暫時或永久性）與通信網路的有線通信介面。
在典型的實施方式中，該其他網路112可以是WLAN。
鑒於第1A圖至第1B圖以及對應的描述，這裡描述的一個或多個或全部的功能可以由一個或多個仿真裝置（未示出）來執行。這些仿真裝置可以是被配置為仿真這裡描述的一個或多個或所有功能的一個或多個裝置。舉例來說，這些仿真裝置可用於測試其他裝置及/或模擬網路及/或WTRU功能。
仿真裝置可被設計為在實驗室環境及/或操作者網路環境中實施其他裝置的一項或多項測試。例如，該一個或多個仿真裝置可以在被完全或部分作為有線及/或無線通訊網路一部分實施及/或部署的同時執行一個或多個或所有功能，以測試通信網路內的其他裝置。該一個或多個仿真裝置可以在被暫時作為有線及/或無線通訊網路的一部分實施/部署的同時執行一個或多個或所有功能。該仿真裝置可以直接耦合到另一裝置以執行測試、及/或可以使用空中無線通訊來執行測試。
該一個或多個仿真裝置可以在未被作為有線及/或無線通訊網路一部分實施/部署的同時執行一個或多個功能（包括所有功能）。例如，該仿真裝置可以在測試實驗室及/或未被部署（例如測試）的有線及/或無線通訊網路的測試場景中使用，以實施一個或多個元件的測試。該一個或多個仿真裝置可以是測試裝置。該仿真裝置可以使用直接的RF耦合及/或借助了RF電路（例如，該電路可以包括一個或多個天線）的無線通訊來傳輸及/或接收資料。實施方式 基於塊的視訊寫碼
如同HEVC，VVC被建構在基於塊的混合視訊寫碼框架上。第2圖是基於塊的混合視訊編碼系統的範例的功能方塊圖。逐塊處理輸入視訊信號103。塊可以稱為寫碼單元（CU）。在VTM-1.0中，CU能夠多達128x128像素。然而，與僅基於四元樹分割塊的HEVC相比，在VTM-1.0中，寫碼樹單元（CTU）可以基於四元/二元/三元樹被分裂為多個CU以適應變化的局部特性。此外，可以去除HEVC中多分割單元類型的概念，使得在VVC中不使用CU、預測單元（PU）以及變換單元（TU）的分離；而是，每個CU可以被用作用於預測以及變換的基礎單元，而不進一步分割。在多類型樹結構中，CTU首先藉由四元樹結構被分割。然後，每個四元樹葉節點能夠進一步被二元樹以及三元樹結構分割。如第3A圖至第3E圖所示，可以有五種分裂類型：四元分割、水平二元分割、垂直二元分割、水平三元分割以及垂直三元分割。
在第2圖中，可以執行空間預測（161）及/或時間預測（163）。空間預測（或“訊框內預測”）使用來自相同視訊圖像/切片中的已經寫碼的相鄰塊的樣本（稱為參考樣本）的像素來預測目前視訊塊。空間預測降低視訊信號中固有的空間冗餘。時間預測（也稱為“訊框間預測”或“運動補償預測”）使用來自已經寫碼的視訊圖像的重建像素來預測目前視訊塊。時間預測降低視訊信號中固有的時間冗餘。針對給定CU的時間預測信號通常藉由表明目前CU與其時間參考之間的運動量以及方向的一個或多個運動向量（MV）而被傳訊。此外，如果支援多個參考圖像，還發送參考圖像索引，這用於識別時間預測信號來自參考圖像儲存器（165）中的哪個參考圖像。
在空間及/或時間預測之後，編碼器中的模式決定塊（181）例如基於速率失真最佳化方法來選擇最佳預測模式。然後從目前視訊塊減掉預測塊（117），且使用變換（105）以及量化（107）來對預測殘差進行去相關。量化的殘差係數被逆量化（111）以及逆變換（113）以形成重建殘差，其然後被添加回預測塊（127）以形成CU的重建信號。此外，可以在重建CU被放入參考圖像儲存器（165）且用於編碼未來的視訊塊之前，可以對重建CU應用（167）環內濾波，例如解塊濾波器。為了形成輸出視訊位元流121，寫碼模式（間或內）、預測模式資訊、運動資訊以及量化的殘差係數都被發送到熵寫碼單元（109）以進一步被壓縮並緊縮，以形成位元流。
第4圖是基於塊的視訊解碼器的功能方塊圖。在熵解碼單元208處解緊縮並熵解碼視訊位元流202。寫碼模式以及預測資訊被發送到空間預測單元260（如果是內寫碼的）或時間預測單元262（如果是間寫碼的）以形成預測塊。殘差變換係數被發送到逆量化單元210以及逆變換單元212以重建殘差塊。在226，預測塊以及殘差塊然後被添加在一起。重建塊在其被儲存到參考圖像儲存器264之前可以進一步經過環內濾波。參考圖像儲存器中的重建視訊然後被發送出去以驅動顯示裝置、以及用於預測未來的視訊塊。
如之前所述，BMS-1.0遵循如第2圖以及第4圖中所示的VTM-1.0的相同的編碼/解碼工作流。但是，一些寫碼模組，尤其是與時間預測相關聯的模組，被進一步擴展以及增強。在下面描述中，簡要描述在BMS-1.0或在前的JEM中包括的一些間工具。運動向量預測
如同HEVC，為了降低傳訊運動資訊的開銷，VTM以及BMS均包括兩種模式以寫碼每個CU的運動資訊，稱為合併模式以及非合併模式。在合併模式中，目前CU的運動資訊直接從空間以及時間相鄰塊得到，且基於競爭的方案被應用以從所有可用候選中選出最佳的相鄰塊；相應地，僅發送最佳候選的索引以用於在解碼器重建CU的運動資訊。如果在非合併模式中間寫碼PU被寫碼，則使用從高級運動向量預測（AMVP）技術導出的MV預測器來區別地寫碼MV。與合併模式一樣，AMVP從空間以及時間相鄰候選導出MV預測器。然後，MV預測器與實際MV之間的差、以及預測器的索引被傳輸至解碼器。
第5圖示出了空間MV預測的範例。在要被解碼的目前圖像（CurrPic）中，方形CurrCU是目前CU，其在參考圖像（CurrRefPic）中具有最佳匹配塊CurrRefCU。CurrCU的MV（即MV2）要被預測。目前CU的空間鄰域可以是目前CU的上面、左邊、左上、左下、右上的相鄰CU。在第5圖中，相鄰CU被示出為上面相鄰者NeighbCU。因為NeighbCU在CurrCU之前已經被寫碼，NeighbCU的參考圖像（NeighbRefPic）以及MV（MV1）都是已知的。
第6圖示出了時間MV預測（TMVP）的範例。第6圖中示出了四個圖像（ColRefPic、CurrRefPic、ColPic、CurrPic）。在要被解碼的目前圖像（CurrPic）中方形CurrCU是目前CU，其在參考圖像（CurrRefPic）中具有最佳匹配塊（CurrRefCU）。CurrCU的MV（即MV2）要被預測。目前CU的時間鄰域被指定為相鄰圖像（ColPic）中的共位CU（ColCU）。因為ColPic在CurrPic之前已經被寫碼，ColCU的參考圖像（ColRefPic）以及MV（MV1）均是已知的。
針對空間以及時間運動向量預測，給定有限時間以及空間，不同塊之間的MV被視為具有均勻速度的平移。在第5圖以及第6圖的範例中，CurrPic與CurrRefPic之間的時間距離是TB，以及第5圖中CurrPic與NeighbRefPic之間的時間距離、或第6圖中ColPic與ColRefPic之間的時間距離是TD。縮放MV預測器可以被計算為
Figure 108122003-A0304-0001
在VTM-1.0中，每個合併塊針對每個預測方向L0以及L1具有最多一個運動參數集合（一個運動向量以及一個參考圖像索引）。相比之下，在BMS-1.0中包括基於高級時間運動向量預測（ATMVP）的另外的合併候選以能夠在子塊級得到運動資訊。使用這種模式，藉由允許CU以導出CU中子塊的多個MV，可以改善時間運動向量預測。一般來說，如第7圖所示，ATMVP以兩步導出目前CU的運動資訊。第一步是識別時間參考圖像中目前塊的對應塊（稱為共位塊）。選擇的時間參考圖像稱為共位圖像。第二步是將目前塊分裂為多個子塊、並從共位圖像中的對應小塊導出每個子塊的運動資訊。
在第一步中，藉由目前塊的空間相鄰塊的運動資訊來識別共位塊以及共位圖像。在目前設計中，考慮合併候選列表中首先可用的候選。第7圖示出了這種過程。具體地，在第7圖的範例中，基於合併候選列表的掃描順序，塊A被識別為目前塊的首先可用的合併候選。然後，塊A的對應運動向量（MVA）以及其參考索引用於識別共位圖像以及共位塊。共位圖像中的共位塊的位置是藉由將塊A的運動向量（MVA）加到目前塊的座標來確定。
在第二步中，針對目前塊中的每個子塊，共位塊中的其對應小塊（如第7圖中小箭頭表明的）的運動資訊用於導出子塊的運動資訊。具體地，在識別出共位塊中的每個小塊的運動資訊之後，運動資訊以與TMVP相同的方式被轉換為目前塊中對應子塊的運動向量以及參考索引。解碼器側運動向量精化（ DMVR ）
針對VTM中的合併模式，當選擇的合併候選被雙向預測時，藉由使用與候選的參考列表L0以及L1相關聯的兩個MV對兩個預測塊進行平均來形成目前CU的預測信號。但是，合併候選的運動資訊（其從目前CU的空間或時間相鄰者得到）可能不夠精確以代表目前CU的真實運動且因此可能危害訊框間預測效率。為了進一步改善合併模式的寫碼性能，在BMS-1.0中應用解碼器側運動向量精化（DMVR）方法以精化合併模式的MV。具體地，當選擇的合併候選被雙向預測時，雙向預測模板首先被產生為分別基於來自參考列表L0以及L1的MV的兩個預測信號的平均。然後，使用雙向預測模板作為目標圍繞初始MV局部執行基於塊匹配的運動精化，下面將進行解釋。
第8A圖示出了在DMVR中應用的運動精化過程。一般來說，DMVR藉由以下兩個步驟以精化合併候選的MV。如第8A圖所示，在第一步驟中，藉由對使用合併候選的L0 以及L1 中的初始MV（即，MV0 以及MV1 ）的兩個預測塊進行平均來產生雙向預測模板。然後，針對每個參考列表（即，L0或L1），在圍繞初始MV的局部區域中執行基於塊匹配的運動搜尋。針對每個MV，即該列表中圍繞初始MV的對應參考列表的MV0 或MV1 ，雙向預測模板與使用該運動向量的對應預測塊之間的成本值（例如，絕對差的總和（SAD））被測量。針對兩個預測方向中的每一個預測方向，在該預測方向中最小化模板成本的MV被認為是合併候選的參考列表中的最終MV。在目前BMS-1.0中，針對每個預測方向，在運動精化過程期間，圍繞初始MV的八個相鄰MV（具有一個整數樣本偏移）被考慮。最後，兩個精化的MV（如第8A圖中所示的MV0 ’ 以及MV1 ’ ）用於產生目前CU的最終雙向預測信號。此外，在傳統的DMVR中，為了進一步改善寫碼效率，DMVR塊的精化MV用於預測其空間以及時間相鄰塊的運動資訊（例如，基於空間AMVP、空間合併候選、TMVP以及ATMVP）、以及計算被應用於目前CU的解塊濾波器的邊界強度值。第8B圖是DMVR過程的範例的流程圖，其中“空間AMVP”以及“空間合併候選”涉及在目前圖像中且按照CU寫碼順序在目前CU之後被寫碼的空間相鄰CU的空間MV預測過程；“TMVP”以及“ATMVP”涉及在之後的圖像（基於圖像寫碼順序在目前圖像之後被寫碼的圖像）中的未來CU的時間MV預測過程；以及“解塊”涉及目前塊以及其空間相鄰塊的解塊濾波過程。
在第8B圖示出的方法中，在802，產生雙向預測模板。在804，針對L0運動向量執行運動精化，以及在806，針對L1運動向量執行運動精化。在808，使用精化的L0以及L1運動向量產生最終雙向預測。在第8B圖的方法中，精化的運動向量用於預測接著被寫碼的塊的運動。例如，精化的運動向量用於空間AMVP（810）、TMVP（814）以及ATMVP（816）。精化的運動向量還用作空間合併候選（812）以及計算被應用於目前CU（818）的解塊濾波器的邊界強度值。雙向光流
VTM/BMS-1.0中的雙向預測是從已經使用平均而被重建的參考圖像得到的兩個時間預測塊的組合。然而，由於基於塊的運動補償的限制，在兩個預測塊之間能夠觀察到剩餘的小運動，因此降低運動補償預測的效率。為了解決這個問題，過去在JEM中使用雙向光流（BIO）來補償塊內的每個樣本的這種運動。具體地，BIO是在使用雙向預測時在基於塊的運動補償預測之外還執行的樣本類運動精化。一個塊中每個樣本的精化的運動向量的導出是基於典型光流模型。令
Figure 02_image027
是在從參考圖像列表k (k = 0, 1)導出的預測塊的座標(x, y)處的樣本值，以及
Figure 02_image029
以及
Figure 02_image031
是樣本的水平以及垂直梯度。藉由BIO的修改後的雙向信號得到為：
Figure 02_image033
(2) 其中
Figure 02_image035
以及
Figure 02_image037
是與
Figure 02_image001
以及
Figure 02_image003
相關聯的參考圖像Ref0以及Ref1到目前圖像的時間距離。此外，藉由最小化在運動精化補償之後的樣本的值之間的差
Figure 02_image039
來計算在樣本位置(x, y)的運動精化
Figure 02_image041
，如示出為
Figure 108122003-A0304-0002
此外，為了提供所導出的運動精化的規則性，假定運動精化在以(x, y) 為中心的局部圍繞區域內是一致的；因此，藉由最小化在(x, y) 的目前樣本周圍的5x5視窗
Figure 02_image043
內的光流誤差度量
Figure 02_image039
來導出
Figure 02_image041
的值，如下
Figure 108122003-A0304-0003
應當提及的是，不同於DMVR，藉由BIO導出的運動精化
Figure 02_image041
僅被應用於增強雙向預測信號但是不修改目前CU的運動資訊。換言之，用於預測空間以及時間相鄰塊的MV並用於決定目前CU的解塊邊界強度的MV仍然是原始MV（即，用於在BIO被應用之前產生CU的基於塊的運動補償信號
Figure 02_image047
以及
Figure 02_image049
的MV）。DMVR 寫碼潛時
像HEVC以及其前任一樣，VTM-1.0使用運動補償預測（MCP）以有效地降低圖像之間的時間冗餘，從而實現高的間寫碼效率。由於用於產生一個CU的預測信號的MV在位元流中被傳訊或者繼承自其空間/時間相鄰者，因此在空間相鄰CU的MCP之間沒有依賴性。因此，相同圖像/切片中的所有間塊的MCP過程彼此獨立。因此，針對VTM-1.0以及針對HEVC，可以平行完成多個間塊的解碼過程，例如其被分配給不同的執行緒以利用平行性。
如上所述，在BMS-1.0中應用DMVR工具。為了避免帶來額外傳訊開銷，使用與CU的原始L0以及L1 MV相關聯的兩個預測信號來導出運動精化。因此，當從CU的空間相鄰者（例如藉由AMVP以及合併模式）中的一者（由DMVR寫碼）預測CU的運動資訊時，其解碼過程等到DMVR完全重建相鄰塊的MV。這會明顯使得管線設計複雜，尤其在解碼器側，從而導致對硬體實施的複雜性顯著增加。
為了示出DMVR導致的寫碼潛時，第9圖以及第10圖示出了比較VTM-1.0以及BMS-1.0的解碼過程的範例。為了便於解釋，描述了有塊尺寸相等的四個CU且所有這四個CU由DMVR寫碼、每個由分開的解碼執行緒解碼的情況；每個單獨的解碼模組（例如，MCP、DMVR、解量化以及逆變換）的解碼複雜性被認為對於四個CU來說是相同的。如第9圖所示，由於能夠平行解碼這四個CU，因此VTM-1.0的總解碼時間等於一個CU的解碼時間，即
Figure 02_image051
。由於DMVR帶來的依賴性，對於BMS-1.0的解碼過程（如第10圖所示）來說，每個單獨寫碼塊的解碼不能夠被調用，直到其空間相鄰塊的DMVR完全完成。因此，針對BMS-1.0的四個CU的總解碼時間等於
Figure 02_image053
。可以看出，DMVR使用預測樣本來精化運動資訊帶來相鄰間塊之間的依賴性，由此明顯增加編碼以及解碼過程的潛時。潛時降低方法概述
本揭露中提出的方法用於消除或降低DMVR的編碼/解碼潛時同時保持其主要的寫碼性能。具體地，本揭露的各種實施方式包括以下方面的一者或多者。
與BMS-1.0中的目前DMVR方法不同，其中一個塊的精化的DMVR運動總是用於預測其空間/時間相鄰塊的運動以及導出解塊濾波器強度，在一些實施方式中提出完全或部分使用DMVR塊的未精化的MV（用於產生原始雙向預測信號的MV）以用於MV預測以及解塊過程。給定原始MV能夠在沒有DMVR下從解析以及運動向量重建（運動向量預測期加上解析運動向量差）直接得到，在相鄰塊之間沒有依賴性，且能夠平行完成多個間CU的解碼過程。
由於未精化的MV比精化的MV較不精確，這可能導致一些寫碼性能降級。為了降低這種損失，在一些實施方式中提出將圖像/切片分成多個區域。此外，在一些實施方式中提出另外的限制，使得相同區域內的多個CU或來自不同區域的多個CU的解碼能夠獨立被執行。
在一些實施方式中，提出基於光流的運動導出方法以用於取代基於塊匹配的運動搜尋來計算每個DMVR CU的運動精化。與在小的局部窗中執行運動搜尋的基於塊匹配的方法相比，一些實施方式基於空間以及時間樣本導出直接計算運動精化。這不僅可以降低計算複雜性還可以增加運動精化精確度，因為導出的精化的運動的值不限於搜尋窗。用於 DMVR 潛時降低的未精化的運動向量的使用
如上提出的，使用一個DMVR塊的精化的MV作為其相鄰塊的MV預測器對針對實際編解碼器設計的平行編碼/解碼是不友好的，因為相鄰塊的編碼/解碼不被執行，直到經由DMVR完全重建目前塊的精化的MV。基於這種分析，在此部分中提出用於移除DMVR造成的寫碼潛時的方法。在一些實施方式中，DMVR的核心設計（例如基於塊匹配的運動精化）保持與現有設計相同。然而，用於執行MV預測（例如，AMVP、合併、TMVP以及ATMVP）以及解塊的DMVR塊的MV被修改，使得可以移除由DMVR造成的相鄰塊之間的依賴性。用於空間以及時間運動預測的未精化的運動向量的使用
在一些實施方式中，不是使用精化的運動，而是提出了總是使用DMVR塊的未精化的運動執行MV預測以及解塊。第11圖示出了在應用這種方法之後的修改的DMVR過程。如第11圖所示，不是使用精化的MV，而是使用未精化的MV（DMVR之前的原始MV）以導出MV預測器並確定解塊濾波器的邊界強度。精化的MV僅用於產生塊的最終雙向預測信號。由於目前塊的精化的MV以及其相鄰塊的解碼之間的依賴性不存在，因此這種實施方式可以用於去除DMVR的編碼/解碼潛時。用於空間運動預測的未精化的運動向量的使用
在第11圖的範例中，DMVR塊的未精化的MV用於經由TMVP以及ATMVP以導出未來圖像中共位塊的時間運動預測器、以及計算目前塊與其空間相鄰者之間的解塊濾波器的邊界強度。由於未精化的MV相較於精化的MV可能是較不精確的，這可能導致一些寫碼性能損失。另一方面，時間運動預測（TMVP以及ATMVP）使用先前解碼的圖像（具體地，共位圖像）來預測目前圖像中的MV。因此，在執行目前圖像的時間運動預測之前，已經重建了共位圖像中的DMVR CU的精化的MV。類似的情況也適用於解塊濾波器過程：由於解塊濾波器被應用到重建樣本，其僅在目前塊的樣本經由MC（包括DMVR）、解量化以及逆變換完全被重建之後才能被調用。因此，在解塊被應用到DMVR塊之前，精化的MV已經是可用的。
在第11圖示出的方法中，在1100，識別用於第一塊的未精化的運動向量。可以使用各種可用MV傳訊技術中的任一種針對第一塊已傳訊未精化的運動向量。在1102，未精化的運動向量用於產生雙向預測模板。在1104，針對L0運動向量執行運動精化，以及在1106，針對L1運動向量執行運動精化。在1108，使用精化的L0以及L1運動向量來產生第一塊的最終雙向預測。在第11圖的方法中，未精化的運動向量用於預測被後續寫碼的塊（例如第二塊）的運動。例如，針對空間AMVP（1110）、TMVP（1114）以及ATMVP（1116）使用未精化的運動向量。未精化的運動向量還用作空間合併候選（1112）以及計算解塊濾波器（1118）的邊界強度值。
在另一實施方式中，為了解決這些問題並實現更好的寫碼性能，提出了使用DMVR塊的不同MV（未精化的MV以及精化的MV）以用於空間運動預測、時間運動預測以及解塊濾波器。具體地，在此實施方式中，未精化的MV僅用於導出用於空間運動預測的MV預測器（例如，空間AMVP以及空間合併候選），而精化的MV用於不僅導出塊的最終預測並且也產生用於時間運動預測的MV預測器（TMVP以及ATMVP）並計算解塊濾波器的邊界強度參數。第12圖示出了根據此第二實施方式的DMVR過程。
在第12圖示出的方法中，在1200，識別用於第一塊的未精化的運動向量。使用各種可用MV傳訊技術的任一種針對第一塊已傳訊未精化的運動向量。在1202，未精化的運動向量用於產生雙向預測模板。在1204，針對L0運動向量執行運動精化，以及在1206，針對L1運動向量執行運動精化。在1208，使用精化的L0以及L1運動向量來產生第一塊的最終雙向預測。在第12圖的方法中，未精化的運動向量用於預測在與第一塊相同的圖像內的被後續寫碼的塊（例如第二塊）的運動。例如，未精化的運動向量用於空間AMVP（1110）以及用作空間合併候選（1212）。精化的運動向量用於例如使用TMVP（1214）或ATMVP（1216）來預測其他圖像中的被後續寫碼的塊（例如第三塊）的運動。精化的運動向量還用於計算解塊濾波器（1218）的邊界強度值。用於空間運動預測以及解塊的未精化的運動向量的使用
在第12圖的範例中，DMVR塊的不同MV用於空間運動預測以及解塊濾波器。另一方面，不同於用於時間運動預測的MV（其儲存在外部記憶體中），用於空間運動預測以及解塊的MV通常使用針對實際編解碼器設計的晶載記憶體而被儲存以提高資料存取速度。因此，第12圖的方法的一些實施需要兩個不同的晶載記憶體來儲存針對每個DMVR塊的未精化的MV以及精化的MV。這會使用於快取MV的線緩衝器尺寸加倍，這對於硬體實施是不期望的。為了保持MV儲存的總晶載記憶體尺寸與VTM-1.0的相同，在進一步實施方式中提出使用DMVR塊的未精化的MV用於解塊過程。第13圖示出了根據此實施方式的DMVR過程的範例。具體地，與第12圖的方法一樣，除了產生最終雙向預測信號之外，精化的DMVR MV還用於經由TMVP及ATMVP產生時間運動預測器。然而，在第13圖的實施方式中，未精化的MV用於不僅導出空間運動預測器（空間AMVP以及空間合併）而且也用於確定目前塊的解塊濾波器的邊界強度。
在第13圖示出的方法中，在1300，識別用於第一塊的未精化的運動向量。可以使用各種可用MV傳訊技術的任一種以針對第一塊已傳訊未精化的運動向量。在1302，未精化的運動向量用於產生雙向預測模板。在1304，針對L0運動向量執行運動精化，以及在1306，針對L1運動向量執行運動精化。在1308，使用精化的L0以及L1運動向量來產生第一塊的最終雙向預測。在第13圖的方法中，未精化的運動向量用於預測在與第一塊相同的圖像內的被後續寫碼的塊（例如第二塊）的運動。例如，未精化的運動向量用於空間AMVP（1310）以及用作空間合併候選（1312）。未精化的運動向量還用於計算解塊濾波器的邊界強度值（1314）。精化的運動向量用於例如使用TMVP（1316）或ATMVP（1318）來預測在其他圖像中的被後續寫碼的塊（例如第三塊）的運動。
鑒於在這些實施方式中不存在一個塊的解碼對其相鄰DMVR塊的精化的MV的重建的依賴性，第11圖至第13圖的實施方式可以降低或去除由DMVR造成的編碼/解碼潛時。基於第10圖中相同的範例，第14圖示出了在應用第11圖至第13圖的方法之一時的平行解碼過程的範例。如第14圖所示，由於能夠平行執行多個DMVR塊的解碼，因此在相鄰塊之間沒有解碼潛時。相應地，總解碼時間可以等於一個塊的解碼，其可以被表示為
Figure 02_image055
。DMVR 潛時降低的基於片段的方法
如上提出的，DMVR的編碼/解碼潛時的一個原因是DMVR塊的精化的MV的重建與其相鄰塊的解碼之間的依賴性，這是由空間運動預測（例如，空間AMVP以及空間合併模式）導致的。雖然例如第11圖至第13圖的方法之類的方法能夠去除或降低DMVR的寫碼潛時，由於較不精確的未精化的MV用於空間運動預測，這種降低的潛時以解碼效率降級為代價。另一方面，如第10圖所示，DMVR導致的最差情況的編碼/解碼潛時直接與由DMVR模式寫碼的連續塊的最大數有關。為了解決這些問題，在一些實施方式中，基於區域的方法用於降低編碼/解碼潛時，同時降低使用用於空間運動預測的未精化的MV導致的寫碼損失。
具體地，在一些實施方式中，圖像被分成多個不重疊的片段，以及片段中的每個DMVR塊的未精化的MV被用作預測器來預測相同片段中的其相鄰塊的MV。但是，當DMVR塊位於片段的右或底部邊界時，將不會使用其未精化的MV；而是，該塊的精化的MV被用作預測器來預測來自相鄰片段的塊的MV，以為了更好的空間運動預測效率。
第15圖示出了根據一個實施方式的DMVR過程的範例，以及第16圖示出了範例，其中空白塊代表針對空間運動預測、空間合併以及解塊使用未精化的MV的DMVR塊，以及有圖案的塊代表針對空間運動預測、空間合併以及解塊使用精化的MV的DMVR塊。在第16圖的範例中，相同片段內的不同間塊的編碼/解碼能夠彼此獨立地被執行，而來自不同片段的塊的解碼仍然是依賴的。例如，由於片段#2的左邊界上的塊可以使用片段#1中的相鄰DMVR塊的精化的MV作為空間MV預測器，因此其解碼過程不會開始，直到片段#1中的這些相鄰塊的DMVR全部完成。此外，如第15圖所示，與第13圖的方法類似，一個DMVR塊的相同MV用於空間運動預測以及解塊濾波器，以避免增加用於儲存MV的晶載記憶體。在另一實施方式中，提出針對解塊過程總是使用精化的MV。
在第15圖示出的方法中，在1502，識別用於第一塊的未精化的運動向量。使用各種可用MV傳訊技術的任一種以針對第一塊已傳訊未精化的運動向量。在1504，未精化的運動向量用於產生雙向預測模板。在1506，針對L0運動向量執行運動精化，以及在1508，針對L1運動向量執行運動精化。在1510，使用精化的L0以及L1運動向量產生第一塊的最終雙向預測。
在1512，確定第一塊是否位於右邊或底部片段邊界。如果第一塊沒有位於右邊或底部片段邊界，則未精化的運動向量用於預測在與第一塊相同的圖像內的被後續寫碼的塊（例如第二塊）的運動。例如，未精化的運動向量用於空間AMVP（1514）且用作空間合併候選（1516）。未精化的運動向量還用於計算解塊濾波器（1518）的邊界強度值。另一方面，如果第一塊位於右邊或底部片段邊界，則精化的運動向量用於預測在與第一塊相同的圖像內的被後續寫碼的塊（例如第二塊）的運動（例如使用AMVP 1514以及空間合併候選1516），以及精化的運動向量還用於計算解塊濾波器（1518）的邊界強度值。不管在1512的確定的結果如何，精化的運動向量用於例如使用TMVP（1520）或ATMVP（1522）來預測其他圖像中的被後續寫碼的塊（例如第三塊）的運動。
在第16圖的實施方式中，僅針對位於一個圖像內的片段的左邊/頂部邊界的塊的空間運動預測才賦能精化的MV。然而，依據片段尺寸，能夠針對空間運動預測應用精化的MV的塊的總百分比可能相對小。結果可能仍然是對於空間運動預測的不可忽略的性能下降。為了進一步改善性能，在一些實施方式中提出了允許一個片段內的DMVR塊的精化的MV預測相同片段內的相鄰塊的MV。然而，結果是一個片段內的多個塊的解碼不能夠被平行完成。為了改善編碼/解碼平行性，在此方法中，還提出了禁止目前塊使用來自另一片段的相鄰塊的MV（未精化的MV或精化的MV）作為用於空間運動預測（例如空間AMVP以及空間合併）的預測器。具體地，藉由這種方式，如果相鄰塊來自與目前塊不同的片段，其將被視為對於空間運動向量預測是不可用的。
在第17圖中示出了這樣的一個實施方式。在第17圖中，空白塊代表被允許使用相鄰MV（如果相鄰塊是一個DMVR塊，則相鄰MV可以是精化的MV，若否，則是未精化的MV）用於空間運動預測的CU；帶圖案的塊代表被禁止使用來自不同片段的其相鄰塊的MV用於空間運動預測的CU。根據第17圖的實施方式允許片段間的間塊的平行解碼，但是不允許一個片段內的平行解碼。
一般來說，僅針對具有前向以及後向預測信號的雙向預測的CU才賦能DMVR。具體地，DMVR需要使用兩個參考圖像：一個具有較小圖像順序計數（POC）以及另一個具有比目前圖像的POC更大的POC。相比之下，從顯示順序先於目前圖像的參考圖像預測低延遲（LD）圖像，L0以及L1中的所有參考圖像的POC比目前圖像的POC小。因此，DMVR不能被應用於LD圖像，且DMVR導致的寫碼潛時在LD圖像中不存在。基於這種分析，在一些實施方式中，當應用DMVR時，提出僅將上述DMVR平行性限制（禁用跨片段邊界的空間運動預測）應用於非LD圖像。針對LD圖像，不應用限制，且仍然允許基於目前塊的來自另一片段的空間相鄰者的MV來預測目前塊的MV。在進一步實施方式中，編碼器/解碼器基於在沒有另外傳訊下檢查L0以及L1中的所有參考圖像的POC來確定是否應用限制。在另一實施方式中，提出添加圖像/切片級旗標來表明DMVR平行性限制是否被應用於目前圖像/切片。
在一些實施方式中，圖像/切片內的片段數以及每個片段的位置是由編碼器選擇、以及被傳訊至解碼器。可以與HEVC以及JEM中的其他平行性工具（例如，切片、圖塊（tile）以及波前平行處理（WPP））類似地執行該傳訊。不同的選擇可能導致寫碼性能與編碼/解碼平行性之間不同的折衷。在一個實施方式中，提出將每個片段的尺寸設定為等於一個CTU的尺寸。在傳訊方面，語法元素可以在序列及/或圖像級被添加。例如，每個片段中的CTU的數量可以在序列參數集合（SPS）及/或圖像參數集合（PPS）中被傳訊、或可以在切片標頭中被傳訊。語法元素的其他變化可以被使用，例如CTU列數可以被使用，或每個圖像/切片中的片段數量可以被使用，以及其他的替代方式。運動精化方法範例
這裡描述的另外的實施方式操作以替代用於計算DMVR運動精化的塊匹配運動搜尋。與在小局部窗中執行運動搜尋的基於塊匹配的方法相比，範例性實施方式基於空間以及時間樣本導出而直接計算運動精化。這樣的實施方式降低計算複雜性並可以增加運動精化精確度，因為導出的精化運動的值不限於搜尋窗。使用塊級 BIO 的運動精化
如上所論述，BIO先前在JEM中用於在塊被雙向預測時除了基於塊的運動補償預測還提供樣本類運動精化。基於目前設計，BIO僅增強作為精化結果的運動補償預測樣本，而沒有更新儲存在MV緩衝器且用於空間以及時間運動預測以及解塊濾波器的MV。這意味著，與目前DMVR相反，BIO在相鄰塊之間不會帶來任何編碼/解碼潛時。但是，在目前BIO設計中，在最小單元（例如4x4）上導出運動精化。這可能導致不可忽視的計算複雜性，尤其是在解碼器側。這對於硬體編解碼器實施來說是不期望的。因此，為了解決DMVR的潛時同時維持可接受的寫碼複雜性，在一些實施方式中提出使用基於塊的BIO來計算用於由DMVR寫碼的視訊塊的局部運動精化。具體地，在提出的實施方式中，BIO核心設計（例如精化的運動向量以及梯度的計算）保持與計算運動精化的現有設計相同。然而，為了降低複雜性，基於CU級以導出運動精化量，單一值是針對CU內的所有樣本而被聚合、並被用於計算單一運動精化；以及目前CU內的所有樣本將共用相同的運動精化。基於以上關於BIO使用的相同註釋，提出的塊級BIO運動精化的範例得出如下：
Figure 108122003-A0304-0004
 其中，
Figure 02_image059
是目前CU內的樣本的座標集合，以及其中
Figure 02_image061
是以上等式3中提出的光流誤差度量。
如上所表明的，BIO的動機是基於在目前塊內的每個樣本位置的局部梯度資訊改善預測樣本的精確度。針對包含許多樣本的大視訊塊，可能的是在不同樣本位置的局部梯度可以顯現非常變化的特性。在這種情況中，以上基於塊的BIO導出可能不可以提供對目前塊的可靠運動精化，因此導致寫碼性能損失。基於這種考慮，在一些實施方式中，提出僅在DMVR塊的塊尺寸小（例如不大於一個給定臨界值）時賦能基於CU的BIO運動導出。否則，禁用基於CU的BIO運動導出；而是，現有的基於塊匹配的運動精化（使用在一些實施方式中應用的上述的提出的DMVR潛時去除/降低方法）將用於導出用於目前塊的局部運動精化。使用光流的運動精化
如上所述，BIO基於以下假定而估計局部運動精化：在每個樣本位置導出的L0以及L1運動精化是關於目前圖像對稱的，即，
Figure 02_image063
以及
Figure 02_image065
，其中
Figure 02_image067
以及
Figure 02_image069
是與預測列表L0以及L1相關聯的水平以及垂直運動精化。然而，這種假定對於由DMVR寫碼的塊可能不是為真。例如，在現有的DMVR（如第8A圖所示）中，針對L0以及L1執行兩個分開的基於塊匹配的運動搜尋，使得最小化L0以及L1預測信號的模板成本的MV可以是不同的。由於這種對稱的運動限制，BIO導出的運動精化可能不是一直足夠精確以增強針對DMVR的預測品質（有時可能甚至降級預測品質）。
在一些實施方式中，改善的運動導出方法用於計算針對DMVR的運動精化。描述圖像的亮度的經典光流模型隨時間變化保持固定，表示如下，
Figure 108122003-A0304-0005
 其中
Figure 02_image073
以及
Figure 02_image075
代表空間座標以及
Figure 02_image077
代表時間。等式的右側能夠藉由關於
Figure 02_image079
的泰勒級數展開。之後，光流等式變為一階，
Figure 108122003-A0304-0006
使用相機的擷取時間作為基礎時間單元（例如，設定
Figure 02_image083
），等式（7）能夠藉由將光流函數從連續域改變到離散域而被離散化。令
Figure 02_image085
是從相機擷取的樣本值，則等式（7）變為
Figure 108122003-A0304-0007
在各種實施方式中，可以基於等式（9）中左邊運算式不等於零的程度來定義一個或多個誤差度量。運動精化可以用於基本最小化誤差度量。
在一些實施方式中，提出使用離散光流模式來估計L0以及L1中的局部運動精化。具體地，藉由對使用合併候選的初始L0以及L1 MV的兩個預測塊進行平均來產生雙向預測模板。然而，不是在局部區域中執行塊匹配運動搜尋，等式（8）中的光流模型在一些提出的實施方式中用於直接得出針對每個參考列表L0/L1的精化的MV，描述如下：
Figure 108122003-A0304-0008
 其中，
Figure 02_image015
以及
Figure 02_image017
是分別使用針對參考列表L0以及L1的原始MV產生的預測信號，
Figure 02_image019
是雙向預測模板信號；
Figure 02_image091
/
Figure 02_image093
以及
Figure 02_image095
/
Figure 02_image097
是預測信號
Figure 02_image015
以及
Figure 02_image017
的水平/垂直梯度，其能夠基於不同的梯度濾波器（例如BIO使用的索貝爾（Sobel）濾波器或2D可分離梯度濾波器）而被計算，如在以下中所描述的：J. Chen，E. Alshina，G. J. Sullivan，J. R. Ohm，J. Boyce，“聯合探測測試模型的演算法描述6（Algorithm description of joint exploration test model 6）”，JVET-G1001，2017年7月，都靈（Torino），義大利。等式（9）代表一組等式：一個等式針對預測信號
Figure 02_image099
中的每個樣本，對此能夠計算一個單獨的
Figure 02_image101
,
Figure 02_image103
以及
Figure 02_image105
。具有兩個未知的參數
Figure 02_image107
以及
Figure 02_image109
，藉由將等式9的平方差的和最小化為
Figure 108122003-A0304-0009
 ，能夠解決多因素決定的問題，其中
Figure 02_image113
是L0/L1預測信號以及雙向預測模板信號之間的時間差，以及
Figure 02_image059
是解碼塊內的座標集合。藉由解決等式（10）中的線性最小均方差（LLMSE）問題，我們能夠得到
Figure 02_image115
的解析式為
Figure 108122003-A0304-0010
基於等式（11），在一些實施方式中，為了改善導出的MV的精確度，這樣的方法可以用遞迴方式選擇運動精化（即，
Figure 02_image115
）。這樣的實施方式可以藉由以下方式來操作：使用目前塊的原始L0以及L1 MV產生初始雙向預測模板信號並基於等式（11）計算對應的增量運動
Figure 02_image115
；精化的MV然後用作用於產生新L0以及L1預測樣本以及雙向預測模板樣本的運動，其然後用於更新局部精化
Figure 02_image115
的值。此過程可以被重複，直到MV不被更新或達到最大疊代次數。這樣的過程的一個範例被歸納為以下程序，如第18圖所示。
在1802，計數器
Figure 02_image123
被初始化為
Figure 02_image123
= 0。在1804，使用塊的原始MV
Figure 02_image125
以及
Figure 02_image127
產生初始L0以及L1預測信號
Figure 02_image129
以及
Figure 02_image131
以及初始雙向預測模板信號
Figure 02_image133
。在1806以及1808，基於等式（11）的局部L0以及L1運動精化
Figure 02_image135
以及
Figure 02_image137
，以及塊的MV被更新為
Figure 02_image139
以及
Figure 02_image141
。
如果
Figure 02_image135
以及
Figure 02_image137
是零（在1810確定）、或如果
Figure 02_image143
（在1812確定），則在1814，使用精化的運動向量產生最終雙向預測。否則，在1816，計數器
Figure 02_image123
遞增，且該過程被疊代，其中使用MV
Figure 02_image145
以及
Figure 02_image147
更新（在1806、1808）L0以及L1預測信號
Figure 02_image149
以及
Figure 02_image151
以及雙向預測模板信號
Figure 02_image153
。
第18圖示出了使用範例性基於光流的運動導出方法來計算DMVR塊的運動精化的DMVR過程的範例。如第18圖所示，藉由基於光流模型疊代地修改原始MV來識別一個DMVR塊的光MV。雖然這樣的方法能夠提供好的運動估計精確度，其還帶來大量的複雜性增加。為了降低導出複雜性，在揭露的一個實施方式中，提出僅對使用提出的運動導出方法導出運動精化應用一次疊代，例如僅應用1804至1808示出的過程來導出DMVR塊的修改的MV。
由於小塊內樣本特性間的高一致性，基於光流的運動導出模型用於小CU比用於大CU更有效率。在一些實施方式中，提出當DMVR塊的塊尺寸小（例如不大於給定臨界值）時實現用於DMVR塊的基於光流的運動導出。否則，已有的基於塊匹配的運動精化將用於導出用於目前塊的局部運動精化（例如與這裡描述的提出的DMVR潛時去除/降低方法一起）。
注意，所描述的一個或多個實施方式的各種硬體元件稱為“模組”，其實施（例如執行、進行等）與各自模組有關的本文中描述的各種功能。這裡使用的模組包括本領域中具有通常知識者認為適合給定實施的硬體（例如，一個或多個處理器、一個或多個微處理器、一個或多個微控制器、一個或多個微晶片、一個或多個專用積體電路（ASIC）、一個或多個場可程式閘陣列（FPGA）、一個或多個記憶體裝置）。每個描述的模組還可以包括可執行用於在各自模組執行時執行所描述的一個或多個功能的指令，且注意這些指令可以採用硬體（即硬線）指令、韌體指令、及/或軟體指令等的形式或包括這些，且可以被儲存在任何合適的非暫態電腦可讀媒體或媒介，例如一般稱為RAM、ROM等。
雖然以特定組合描述了上述的特徵以及元素，但是本領域中具有通常知識者理解每個特徵或元素能夠單獨被使用或與其他特徵以及元素以任何組合形式被使用。此外，本申請案描述的方法可以在結合在電腦可讀媒體中的電腦程式、軟體及/或韌體中實現，以由電腦及/或處理器執行。電腦可讀媒體的範例包括但不限於電子信號（經由有線及/或無線連接傳輸）及/或電腦可讀儲存媒體。電腦可讀儲存媒體的範例包括但不限於唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體記憶體裝置、磁性媒體（例如但不限於內部硬碟以及可移磁片）、磁光媒體及/或光學媒體（例如CD-ROM光碟及/或數位多功能光碟（DVD））。與軟體相關聯的處理器可用於實現用於WTRU、UE、基地台、RNC及/或任何主機電腦的射頻收發器。
100:通信系統 102、102a、102b、102c、102d:無線傳輸/接收單元（WTRU） 103:輸入視訊信號 104、113:RAN 105:變換 106、115:核心網路（CN） 107:量化 108:公共交換電話網路（PSTN） 110:網際網路 111、210:逆量化 112:其他網路 113、212:逆變換 114a、114b:基地台 116:空中介面 117、127:預測塊 118:處理器 120:收發器 121、202:位元流 122:傳輸/接收元件 124:揚聲器/麥克風 126:小鍵盤 128:顯示器/觸控板 130:非可移記憶體 132:可移記憶體 134:電源 136:全球定位系統（GPS）晶片組 138:週邊設備 161:空間預測 163:時間預測 165、264:參考圖像儲存器 167、266:環路濾波器 181:模式決定塊 208:熵解碼單元 260:空間預測單元 262:時間預測單元 810、1110、1210、1310:空間AMVP 812、1112、1212、1312:空間合併候選 814、1114、1214、1316、TMVP:時間MV預測 816、1116、1216、1318、ATMVP:高級時間運動向量預測 AMVP:高級運動向量預測 DMVR:解碼器側運動向量精化 MCP:運動補償預測 MV:運動向量
第1A圖是示出可以實施一個或多個揭露的實施方式的範例性通信系統的系統圖； 第1B圖是示出根據實施方式的可以在第1A圖示出的通信系統內使用的範例性無線傳輸/接收單元（WTRU）的系統圖； 第2圖是基於塊的視訊編碼器（例如用於VCC的編碼器）的功能方塊圖； 第3A圖至第3E圖示出多類型樹結構的塊分割：四元分割（第3A圖）；垂直二元分割（第3B圖）；水平二元分割（第3C圖）；垂直三元分割（第3D圖）；水平三元分割（第3E圖）； 第4圖是基於塊的視訊解碼器（例如用於VVC的解碼器）的功能方塊圖； 第5圖示出了空間運動向量預測的範例； 第6圖示出了時間運動向量預測（TMVP）的範例； 第7圖示出了高級時間運動向量預測（ATMVP）的範例； 第8A圖至第8B圖示出了解碼器側運動向量精化（DMVR）的範例； 第9圖示出了針對VTM-1.0的平行解碼； 第10圖示出了DMVR導致的解碼潛時； 第11圖示出了來自DMVR的精化的MV僅被用於產生雙向預測信號的實施方式； 第12圖示出了來自DMVR的精化的MV被用於時間運動預測以及解塊、以及未精化的MV被用於空間運動預測的實施方式； 第13圖示出了來自DMVR的精化的MV被用於時間運動預測、以及未精化的MV被用於空間運動預測以及解塊的實施方式； 第14圖示出了根據一些實施方式在應用針對DMVR的潛時去除方法之後的平行解碼； 第15圖示出了使用圖像片段內的DMVR塊的未精化的MV以用於空間運動預測以及解塊的實施方式； 第16圖示出了目前圖像被分成多個片段且針對每個片段內的塊降低寫碼潛時的實施方式； 第17圖示出了目前圖像被分成多個片段且針對來自不同片段的塊降低寫碼潛時的實施方式； 第18圖是根據一些實施方式的使用光流的運動精化過程的流程圖。
AMVP:高級運動向量預測
ATMVP:高級時間運動向量預測
MV:運動向量
TMVP:時間MV預測

Claims (15)

  1. 一種基於塊的視訊寫碼方法，包括： 在一第一塊，精化一第一未精化的運動向量以及一第二未精化的運動向量以產生一第一精化的運動向量以及一第二精化的運動向量； 使用該第一未精化的運動向量以及該第二未精化的運動向量中的一者或兩者，預測一第二塊的一運動資訊，該第二塊是該第一塊的一空間相鄰者；以及 使用該第一精化的運動向量以及該第二精化的運動向量，用雙向預測來預測該第一塊。
  2. 如申請專利範圍第1項所述的方法，其中對該第一未精化的運動向量以及該第二未精化的運動向量的精化是使用解碼器側運動向量精化（DMVR）而被執行。
  3. 如申請專利範圍第1項所述的方法，其中精化該第一未精化的運動向量以及該第二未精化的運動向量包括選擇該第一精化的運動向量以及該第二精化的運動向量以實質上最小化一誤差度量。
  4. 如申請專利範圍第3項所述的方法，其中該誤差度量是一模板成本，以及其中精化該第一未精化的運動向量以及該第二未精化的運動向量包括選擇該第一精化的運動向量以及該第二精化的運動向量以就使用該第一未精化的運動向量以及該第二未精化的運動向量、藉由雙向預測產生的模板信號而實質上最小化該模板成本。
  5. 如申請專利範圍第4項所述的方法，其中該模板成本是絕對差的一總和。
  6. 如申請專利範圍第3項所述的方法，其中該誤差度量是一光流誤差度量。
  7. 如申請專利範圍第1項至第6項中任一項所述的方法，更包括使用該第一精化的運動向量以及該第二精化的運動向量中的至少一者來預測一第三塊的一運動資訊，其中該第三塊以及該第一塊是不同圖像中的共位塊。
  8. 如申請專利範圍第7項所述的方法，其中預測該第三塊的一運動資訊是使用高級時間運動向量預測（ATMVP）而被執行。
  9. 如申請專利範圍第1項至第8項中任一項所述的方法，其中預測該第二塊的一運動資訊包括使用空間高級運動向量預測（AMVP）。
  10. 如申請專利範圍第1項至第8項中任一項所述的方法，其中預測該第二塊的一運動資訊包括使用該第一未精化的運動向量以及該第二未精化的運動向量中的至少一者作為一空間合併候選。
  11. 如申請專利範圍第1項至第8項中任一項所述的方法，其中預測該第二塊的該運動資訊包括接收識別該第一未精化的運動向量或該第二未精化的運動向量的至少一個索引。
  12. 如申請專利範圍第1項至第8項中任一項所述的方法，更包括： 將一運動向量差添加到該第一未精化的運動向量以及該第二未精化的運動向量中的至少一者以產生至少一個重建運動向量；以及 以該至少一個重建運動向量產生該第二塊的一訊框間預測。
  13. 如申請專利範圍第1項至第11項中任一項所述的方法，更包括使用該第一未精化的運動向量以及該第二未精化的運動向量中的至少一者來產生該第二塊的一訊框間預測。
  14. 如申請專利範圍第1項至第13項中任一項所述的方法，更包括至少部分基於該第一未精化的運動向量以及該第二未精化的運動向量來確定用於該第一塊的一解塊濾波器強度。
  15. 一種視訊寫碼系統，包括一處理器以及一非暫態電腦可讀媒體，該非暫態電腦可讀媒體儲存多個指令，該多個指令可操作用於執行包括一視訊寫碼方法的功能，該視訊寫碼方法包括： 在一第一塊，精化一第一未精化的運動向量以及一第二未精化的運動向量以產生一第一精化的運動向量以及一第二精化的運動向量； 使用該第一未精化的運動向量以及該第二未精化的運動向量中的一者或兩者，預測一第二塊的一運動資訊，該第二塊是該第一塊的一空間相鄰者；以及 使用該第一精化的運動向量以及該第二精化的運動向量，用雙向預測來預測該第一塊。
TW108122003A 2018-06-27 2019-06-24 降低解碼器側運動精化的寫碼潛時的方法及裝置 TWI805788B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862690507P 2018-06-27 2018-06-27
US62/690,507 2018-06-27

Publications (2)

Publication Number Publication Date
TW202015412A true TW202015412A (zh) 2020-04-16
TWI805788B TWI805788B (zh) 2023-06-21

Family

ID=67185748

Family Applications (2)

Application Number Title Priority Date Filing Date
TW112118968A TW202345596A (zh) 2018-06-27 2019-06-24 降低解碼器側運動精化的寫碼潛時的方法及裝置
TW108122003A TWI805788B (zh) 2018-06-27 2019-06-24 降低解碼器側運動精化的寫碼潛時的方法及裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW112118968A TW202345596A (zh) 2018-06-27 2019-06-24 降低解碼器側運動精化的寫碼潛時的方法及裝置

Country Status (9)

Country Link
US (2) US11546628B2 (zh)
EP (1) EP3815374A1 (zh)
JP (2) JP7414742B2 (zh)
KR (1) KR20210029160A (zh)
CN (1) CN112369032A (zh)
AU (2) AU2019295574B2 (zh)
MX (1) MX2021000129A (zh)
TW (2) TW202345596A (zh)
WO (1) WO2020005719A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084474A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Gradient computation in bi-directional optical flow
WO2020098647A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for affine prediction
CN113170097B (zh) 2018-11-20 2024-04-09 北京字节跳动网络技术有限公司 视频编解码模式的编解码和解码
CN113056914B (zh) 2018-11-20 2024-03-01 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN112514384A (zh) 2019-01-28 2021-03-16 株式会社 Xris 视频信号编码/解码方法及其装置
JP7072088B2 (ja) * 2019-02-08 2022-05-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
JP7307192B2 (ja) 2019-04-02 2023-07-11 北京字節跳動網絡技術有限公司 デコーダ側の動きベクトルの導出
WO2020233662A1 (en) 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling for optical-flow based inter coding
EP3991432A1 (en) * 2019-07-01 2022-05-04 InterDigital VC Holdings France, SAS Bi-directional optical flow refinement of affine motion compensation
CN114175654A (zh) * 2019-08-08 2022-03-11 鸿颖创新有限公司 用于对视频数据编码的设备和方法
EP4018659A4 (en) 2019-09-19 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SCALE WINDOW IN VIDEO CODING
JP7391199B2 (ja) 2019-10-05 2023-12-04 北京字節跳動網絡技術有限公司 映像コーディングツールのレベルベースシグナリング
WO2021068956A1 (en) * 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Prediction type signaling in video coding
KR20220073740A (ko) 2019-10-13 2022-06-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 레퍼런스 픽처 리샘플링 및 비디오 코딩 툴 사이의 상호 작용
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS
JP2023011955A (ja) * 2019-12-03 2023-01-25 シャープ株式会社 動画像符号化装置、動画像復号装置
KR20220113379A (ko) 2019-12-27 2022-08-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 픽처 헤더의 슬라이스 유형의 시그널링
US11917176B2 (en) 2021-09-28 2024-02-27 Avago Technologies International Sales Pte. Limited Low-latency and high-throughput motion vector refinement with template matching

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10536701B2 (en) * 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
WO2018016823A1 (ko) * 2016-07-18 2018-01-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
EP4351139A3 (en) * 2017-06-09 2024-05-15 Electronics and Telecommunications Research Institute Video encoding/decoding method and device, and recording medium storing bit stream
KR20190108506A (ko) * 2018-03-14 2019-09-24 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
EP3815374A1 (en) 2021-05-05
WO2020005719A1 (en) 2020-01-02
JP2021528921A (ja) 2021-10-21
JP2024029161A (ja) 2024-03-05
KR20210029160A (ko) 2021-03-15
US20210274213A1 (en) 2021-09-02
MX2021000129A (es) 2021-03-25
US11546628B2 (en) 2023-01-03
US11973974B2 (en) 2024-04-30
AU2023202182A1 (en) 2023-05-04
JP7414742B2 (ja) 2024-01-16
US20230120362A1 (en) 2023-04-20
CN112369032A (zh) 2021-02-12
TWI805788B (zh) 2023-06-21
AU2019295574B2 (en) 2023-01-12
TW202345596A (zh) 2023-11-16
AU2019295574A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
TWI805788B (zh) 降低解碼器側運動精化的寫碼潛時的方法及裝置
US11582458B2 (en) Adaptive motion vector precision for affine motion model based video coding
JP7311589B2 (ja) 双方向オプティカルフローのための複雑性低減およびビット幅制御
CN112106367A (zh) 基于编码和解码时延减少的基于模板的帧间预测技术
JP7307184B2 (ja) オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
US20240107024A1 (en) Affine motion model derivation method
EP3987778B1 (en) Precision refinement for motion compensation with optical flow
RU2803479C2 (ru) Адаптивная точность вектора движения для кодирования видеосигналов на основе аффинной модели движения
RU2811563C2 (ru) Системы, устройства и способы для уточнения интерпрогнозирования с помощью оптического потока
US20220132136A1 (en) Inter prediction bandwidth reduction method with optical flow compensation