TWI572196B - 用於次世代視訊編碼之投射式內插預測產生之技術 - Google Patents

用於次世代視訊編碼之投射式內插預測產生之技術 Download PDF

Info

Publication number
TWI572196B
TWI572196B TW103141231A TW103141231A TWI572196B TW I572196 B TWI572196 B TW I572196B TW 103141231 A TW103141231 A TW 103141231A TW 103141231 A TW103141231 A TW 103141231A TW I572196 B TWI572196 B TW I572196B
Authority
TW
Taiwan
Prior art keywords
motion
frame
projected
projection
motion vector
Prior art date
Application number
TW103141231A
Other languages
English (en)
Other versions
TW201545545A (zh
Inventor
阿圖 普里
尼雷許Ｎ 戈克雷
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2013/078114 external-priority patent/WO2014120374A1/en
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201545545A publication Critical patent/TW201545545A/zh
Application granted granted Critical
Publication of TWI572196B publication Critical patent/TWI572196B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Description

用於次世代視訊編碼之投射式內插預測產生之技術
本發明係有關於用於次世代視訊編碼之投射式內插預測產生之技術。
發明背景
視訊編碼器壓縮視訊資訊，使得可經由給定頻寬發送更多資訊。經壓縮信號可接著經傳輸至具有在顯示前解碼或解壓縮信號之一解碼器的接收器。
高效率視訊編碼(HEVC)為最新視訊壓縮標準，其正由由ISO/IEC動畫專業團體(MPEG)與ITU-T視訊編碼專家團體(VCEG)形成的關於視訊編碼之聯合合作小組(JCT-VC)開發。正回應於先前H.264/AVC(進階視訊編碼)標準不提供用於演進的較高解析度視訊應用之足夠壓縮而開發HEVC。類似於先前視訊編碼標準，HEVC包括基本功能模組，諸如，框內/框間預測、變換、量化、迴路內濾波及熵編碼。
正在進行中的HEVC標準可試圖改良H.264/AVC 標準之限制，諸如，對於允許之預測分割區及編碼分割區的有限選擇、有限的允許之多個參考及預測產生、有限的變換區塊大小及實際變換、用於減少編碼假影之有限機構及低效熵編碼技術。然而，進行中的HEVC標準可使用反覆方法來解決此等問題。
在次世代視訊(NGV)編碼解碼器項目的上下文 內展開之本描述解決了設計使可達成之壓縮效率最大化同時保持對於在器件上實施足夠實際的進階式視訊編碼解碼器之一般問題。舉例而言，隨著不斷增加之視訊解析度及歸因於良好顯示器之可用性的高視訊品質之期望，使用現有視訊編碼標準(諸如，較早MPEG標準及甚至更最近以來的H.264/AVC標準)需要之對應的位元速率/頻寬相對高。前述標準使用傳統方法之擴大形式來隱含地解決不足壓縮/品質問題，但結果常受到限制。
依據本發明之一實施例，係特地提出一種用於視 訊編碼之電腦實施方法，其包含：接收兩個或兩個以上輸入圖框；接收與該等輸入圖框相關聯之輸入運動向量資料；產生一個輸出投射式內插圖框之至少部分，包括：至少部分基於該接收之兩個或兩個以上輸入圖框以及該輸入運動向量資料產生一投射式運動向量場，包括：至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數按比例調整及平移輸入運動向量場；至少部分基於該經按比例調整及平移輸入運動向量場計算一投射式內插圖 框中之一投射位置；以及在該計算之投射位置處插入該計算之經按比例調整及平移運動向量中之至少兩者；以及至少部分基於該投射式運動向量場至少部分基於對該等輸入圖框中之至少兩者之一運動補償之加權摻合來產生一個投射式內插圖框之該至少部分。
100、300a‧‧‧次世代視訊編碼器/編碼器/編碼器系統
101‧‧‧輸入視訊
102‧‧‧內容預分析器模組/內容預分析器
103‧‧‧編碼控制器
104‧‧‧自適應圖像結構組織器模組
105‧‧‧預測分割區產生器
106‧‧‧差異器/加法器
107‧‧‧編碼分割區產生器模組
107a、107b、114a、114b、205a、205b‧‧‧開關
108‧‧‧自適應變換模組
109‧‧‧自適應量化模組
110‧‧‧自適應熵編碼器模組
111‧‧‧輸出位元串流
112、203‧‧‧自適應反量化模組
113、204‧‧‧自適應反變換模組
114、205‧‧‧編碼分割區組譯器
115、206‧‧‧加法器
116、207‧‧‧預測分割區組譯器
117‧‧‧方塊效應分析器及解區塊濾波產生器
118‧‧‧重建構品質分析器及品質恢復濾波產生器
119、210‧‧‧經解碼圖像緩衝器
120‧‧‧變形分析器及經變形圖像產生及緩衝器
121‧‧‧合成分析器及合成之圖像產生及緩衝器
122‧‧‧運動估計器模組
123、213‧‧‧特性及運動補償濾波預測器模組
124‧‧‧框內方向預測分析器及預測產生模組
125‧‧‧預測模式及參考類型分析器
126‧‧‧預測分析器及預測融合濾波模組
200、300b‧‧‧次世代視訊解碼器/解碼器/解碼器子系統/解碼器系統
201‧‧‧輸入位元串流
202‧‧‧自適應熵解碼器模組/自適應熵解碼器
208‧‧‧解區塊濾波模組
209‧‧‧品質恢復濾波模組
211‧‧‧經變形圖像產生及緩衝器 模組
212‧‧‧合成之圖像產生及緩衝器模組
214‧‧‧框內方向預測產生模組
215‧‧‧預測模式選擇器模組
216‧‧‧預測融合濾波模組
217‧‧‧自適應圖像重組器
218‧‧‧內容後恢復器模組
219‧‧‧顯示視訊
310a‧‧‧預分析器子系統
320a‧‧‧分割器子系統
330a‧‧‧預測編碼子系統
330b‧‧‧預測解碼器子系統
340a‧‧‧變換編碼器子系統
350a‧‧‧濾波編碼子系統
350b‧‧‧濾波解碼器子系統
360a‧‧‧熵編碼器系統/熵編碼器子系統
360b‧‧‧熵解碼器子系統
370a、370b‧‧‧變換解碼器子系統
380a‧‧‧解分割器子系統
380b‧‧‧解分割器子系統/解分割器子系統
390b‧‧‧後恢復器子系統
400‧‧‧經修改預測參考圖像
410‧‧‧當前圖像
412‧‧‧先前圖框R0
414‧‧‧先前圖框R1
416‧‧‧先前圖框R2
418‧‧‧先前圖框R3
420‧‧‧用於模糊之改變的參數
422‧‧‧用於增益之改變的參數
424‧‧‧用於對齊之改變的參數
426‧‧‧用於主運動之改變的參數
428‧‧‧經模糊補償之經變形參考圖框
430、432‧‧‧經增益補償之經變形參考圖框
434、438‧‧‧經對齊補償之經變形參考圖框
436‧‧‧經主運動補償之經變形參考圖框
440‧‧‧超解析度(SR)圖像
442‧‧‧投射式內插(PI)圖像
444‧‧‧經變形對齊補償之超解析度(SR)圖像
446‧‧‧經變形對齊補償之投射式 內插(PI)圖像
500‧‧‧編碼器
510‧‧‧變形類型分析器(MTA)及經變形圖像產生器(MPG)
520、620‧‧‧經變形預測參考(MPR)緩衝器
530‧‧‧合成類型分析器(STA)及合成之圖像產生器
540、640‧‧‧合成之預測參考(SPR)緩衝器
600‧‧‧解碼器
601‧‧‧解碼器預測子系統
610‧‧‧經變形圖像產生器(MPG)
630‧‧‧合成之圖像產生器
701‧‧‧過去圖框
702、703、704‧‧‧中間圖框
705‧‧‧未來圖框
706、707‧‧‧中間運動向量
708‧‧‧運動向量
709‧‧‧過去區塊
710‧‧‧中間區塊
711‧‧‧未來區塊
800‧‧‧時間加權元件
900‧‧‧編碼器預測子系統
904‧‧‧PI參考圖像子系統
906‧‧‧投射軌跡分析器模組
908‧‧‧投射圖框產生器模組
910‧‧‧PI圖框選擇器
912、1012‧‧‧PI圖框緩衝器模組
926‧‧‧參考圖像運動模式儲存器
927、1027‧‧‧運動投射器模組
928、1028‧‧‧投射擴張模組
929、1029‧‧‧運動再投射器模組
930、1030‧‧‧經時間加權運動補償器模組
1000‧‧‧解碼器預測子系統
1004‧‧‧PI參考圖像子系統
1008‧‧‧投射圖框產生器模組
1100‧‧‧演算法
1100A-1100E‧‧‧步驟說明
1102‧‧‧投射式圖框
1103‧‧‧具有運動之未來圖框
1151、1152‧‧‧前景目標
1153、1154‧‧‧背景運動向量
1155‧‧‧目標運動向量
1156‧‧‧經框內編碼背景
1157、1158‧‧‧開口
1159‧‧‧閉塞
1160、1161‧‧‧經填充開口
1162‧‧‧固定閉塞
1163‧‧‧經填充開口區域
1164‧‧‧過去運動補償
1165‧‧‧未來運動補償
1166、1167‧‧‧摻合運動補償
1200、1400‧‧‧過程
1202-1229、1402-1434、1902-1906、2002-2014、2101-2114、2202-2224、2302-2318、2402-2420‧‧‧操作
1300‧‧‧位元串流
1500‧‧‧視訊編碼過程
1501-1580‧‧‧動作/操作
1600‧‧‧視訊編碼系統
1601‧‧‧成像器件
1602‧‧‧天線
1603、1710‧‧‧處理器
1604‧‧‧記憶體儲存區
1605‧‧‧顯示器件
1620‧‧‧處理單元
1650‧‧‧邏輯電路
1700、1800‧‧‧系統
1702‧‧‧平台
1705‧‧‧晶片組
1712‧‧‧記憶體
1713、1808‧‧‧天線
1714‧‧‧儲存器
1715‧‧‧圖形子系統
1716‧‧‧應用程式
1718‧‧‧無線電
1720、1804‧‧‧顯示器
1722、1810‧‧‧使用者介面
1730‧‧‧內容服務器件
1740‧‧‧內容傳遞器件
1750‧‧‧導覽控制器
1760‧‧‧網路
1802‧‧‧外殼
1806‧‧‧輸入/輸出(I/O)器件
1812‧‧‧導覽特徵
1900、2000‧‧‧編碼過程/過程
2100‧‧‧解碼過程/過程
2200‧‧‧運動投射器編碼過程/過程
2300‧‧‧投射擴張編碼過程/過程
2400‧‧‧運動再投射器編碼過程
在隨附圖式中作為實例而非限制說明本文中所描述之材料。為簡單及清晰說明起見，圖中所說明之元件未必係按比例繪製。舉例而言，為了清楚起見，可相對於其他元件誇大一些元件之尺寸。另外，在認為適當時，已在圖當中重複參考標籤以指示對應或類似元件。在圖中：圖1為一實例次世代視訊編碼器之例示性圖；圖2為一實例次世代視訊解碼器之例示性圖；圖3(a)為一實例次世代視訊編碼器及子系統之例示性圖；圖3(b)為一實例次世代視訊解碼器及子系統之例示性圖；圖4為經修改之預測參考圖像之例示性圖；圖5為一實例編碼器子系統之例示性圖；圖6為是實例解碼器子系統之例示性圖；圖7為過去、未來及投射式內插圖框之例示性圖；圖8為一實例時間加權元件之例示性圖；圖9a為用於投射式內插圖框的一實例編碼器合成分析器及合成之圖像產生及緩衝器子系統之例示性圖； 圖9b為用於投射式內插圖框的一實例編碼器子系統之例示性圖；圖10a為用於投射式內插圖框的一實例解碼器合成之圖像產生及緩衝器子系統之例示性圖；圖10b為用於投射式內插圖框的一實例解碼器子系統之例示性圖；圖11為用於投射式內插圖框的一實例演算法之操作之例示性圖；圖12為說明一實例編碼過程之流程圖；圖13說明一實例位元串流；圖14為說明一實例解碼過程之流程圖；圖15(A)、圖15(B)及圖15(C)提供在操作中的一實例視訊編碼系統及視訊編碼過程之例示性圖；圖16為一實例視訊編碼系統之例示性圖；圖17為一實例系統之例示性圖；圖18說明一實例器件；圖19為說明一實例編碼過程之流程圖；圖20為說明一實例編碼過程之流程圖；圖21為說明一實例解碼過程之流程圖；圖22為說明一實例運動投射器編碼過程之流程圖；圖23為說明一實例投射擴張編碼子過程之流程圖；及圖24為說明皆根據本發明之至少一些實施配置的一實例運動再投射器編碼子過程之流程圖。
較佳實施例之詳細說明
現參看附圖描述一或多個實施例或實施。雖然論述具體組配及配置，但應理解，僅為達成說明之目的而進行此論述。熟習相關技術者將認識到，可在不脫離描述之精神及範疇的情況下，利用其他組配及配置。熟習相關技術者將顯而易見，亦可在不同於本文中所描述之內容的多種其他系統及應用中利用本文中所描述之技術及/或配置。
雖然以下描述闡述可出現於諸如系統單晶片(SoC)架構之架構中的各種實施，但舉例而言，本文中所描述之技術及/或配置的實施並不限於特定架構及/或計算系統，且出於類似目的，可由任何架構及/或計算系統實施。舉例而言，利用(例如)多個積體電路(IC)晶片及/或封裝之各種架構，及/或各種計算器件及/或消費型電子(CE)器件(諸如，機上盒、智慧型手機等)可實施本文中所描述之技術及/或配置。另外，雖然以下描述可闡述諸如邏輯實施、系統組件之類型及相互關係、邏輯分割/整合選擇等之眾多具體細節，但可無需此等具體細節實踐所主張之標的物。在其他情況下，可並不詳細展示一些材料(諸如，控制結構及全部軟體指令序列)，以便並不混淆本文中所揭示之材料。
可以硬體、韌體、軟體或其任何組合實施本文中所揭示之材料。本文中所揭示之材料亦可實施為儲存於機器可讀媒體上之指令，該等指令可由一或多個處理器讀取並執行。機器可讀媒體可包括用於儲存或傳輸呈可由機器(例如，計算器件)讀取之形式之資訊的任何媒體及/或機 構。舉例而言，機器可讀媒體可包括：唯讀記憶體(ROM)；隨機存取記憶體(RAM)；磁碟儲存媒體；光學儲存媒體；快閃記憶體器件；電學、光學、聲學或其他形式之傳播信號(例如，載波、紅外線信號、數位信號等)；及其他者。
本說明書中對「一個實施」、「一實施」、「一實例 實施」等之提及指示所描述之實施可包括一特定特徵、結構或特性，但每一實施例可未必包括該特定特徵、結構或特性。此外，此等片語未必指同一實施。另外，當結合一實施例描述特定特徵、結構或特性時，認為無論本文中是否明確描述，結合其他實施實現此特徵、結構或特性為屬於熟習此項技術者所瞭解。
以下描述與用於視訊編碼之投射式內插預測產生有關的系統、裝置、物品及方法。
如上文所論述，H.264/AVC編碼標準在其表示相較於過去MPEG標準之改良時，其歸因於以下原因在預測之選擇上仍然非常有限：對於允許之預測分割區的選擇非常有限；對於預測分割區的預測之準確性有限；及允許之多個參考預測非常有限，此係因為其基於過去解碼之圖框而離散，而非許多圖框的解析度之聚集。諸如H.264之目前先進技術標準的前述限制由在HEVC中的進行中之工作認識到，該工作使用反覆方法來修復此等限制。
另外，當前正藉由將過去及/或未來的多個經解碼參考用於在視訊之框間編碼中的運動補償之預測以特用方式解決改良之預測的問題。進行此係寄希望於在過去或 未來圖框中，可能存在一些與在過去圖框(對於P圖像/切片)或在過去及未來圖框(對於B圖像/切片)中之區域相比，與正預測之當前圖框之區域更類似的區域。最低附加項預測亦通常非常簡單(具有運動向量之固定按比例調整的過去及未來區域之摻合預測)，且產生較差預測(較大預測誤差)。
舉例來說，H.264/AVC編碼標準雖然代表著相較 於過去MPEG標準之改良，但其歸因於以下原因而在預測之選擇上仍然非常有限：對於允許之預測分割區的選擇非常有限；對於預測分割區的預測之準確性有限；及/或允許之預測非常有限，此係因為其基於過去解碼之圖框而離散，而非在圖框之間智慧地合成預測。諸如H.264之目前先進技術標準的前述限制由HEVC中的進行中之工作體認到，與創新方法(諸如，本發明所描述之用於由NGV視訊編碼系統使用的改良之預測之方法)相比，該工作使用反覆方法來解決此等限制。
如下文將更詳細地描述，一些形式之預測(諸 如，本發明之投射式內插預測程序)可能不由現有標準支援。本發明係在次世代視訊(NGV)編碼解碼器專案之上下文內開發，以解決設計使壓縮效率最大化同時對於在器件上實施仍有實用性之新視訊編碼方案的問題。具體言之，本文中介紹一種類型之稱作投射式內插預測的預測，其自兩個圖框合成同置型圖框(其以較低位元成本提供改良之預測，此又減少了預測誤差及傳訊之成本)，從而改良總視訊編碼效率。
更具體來說，本文中描述之技術可不同於基於標 準之方法，此係因為其在視訊編碼過程中自然地併有顯著的基於內容之自適應性以達成較高壓縮。藉由比較，基於標準之視訊編碼方法通常傾向於藉由對舊版方法之調適及微調而壓榨出較高增益。舉例而言，所有基於標準之方法嚴重依賴於對運動補償框間編碼之調適及進一步調校，作為減小預測差異之主要方式來達成增益。另一方面，除了利用歸因於運動之框間差異之外，本文中揭示之一些視訊編碼實施亦利用自然地存在於典型視訊場景中的其他類型之框間差異(增益、模糊、對齊)，以及僅自過去解碼之圖框或自過去與未來解碼之圖框的組合合成的圖框之預測益處。在本文中揭示之一些視訊編碼實施中，用於預測的合成之圖框包括主運動補償(DMC)圖框、超解析度(SR)圖框及PI(投射式內插)圖框。除了利用除運動之外的其他框間差異源之問題外，本文中揭示之一些視訊編碼實施亦以其他方式不同於標準。
總之，與理論圖框內插方法相比，以及與常由標 準使用之簡單直接多個參考預測方法相比，由本發明描述的投射式內插系統中之一些可在可達成之增益與複合度之間達成良好的權衡。
雖然本發明論述具體類型之PI圖框的產生及其 在編碼中之使用，但首先論述NGV編碼器及解碼器之主要建構嵌段以及諸如預測結構、預測模式及參考類型之功能區塊的操作可為適用的。以此方式，本發明將首先論述編 碼/解碼之一些實施可將各種類型之預測(包括自PI圖框導出之預測)用於編碼而不自一開始即陷於PI產生過程之細節中的方式。
如本文中所使用，術語「編碼器」可指編碼器及 /或解碼器。類似地，如本文中所使用，術語「編碼」可指經由編碼器執行視訊編碼及/或經由解碼器執行視訊解碼。舉例而言，視訊編碼器及視訊解碼器可皆為能夠編碼視訊資料的編碼器之實例。此外，如本文中所使用，術語「編碼解碼器」可指任何過程、程式或操作集合，諸如，可實施編碼器及/或解碼器的軟體、韌體及/或硬體之任何組合。另外，如本文中所使用，片語「視訊資料」可指與視訊編碼相關聯的任何類型資料，諸如，視訊圖框、影像資料、經編碼位元串流資料或類似者。
圖1為根據本發明之至少一些實施配置的一實例 次世代視訊編碼器100之例示性圖。如所示，編碼器100可接收輸入視訊101。輸入視訊101可包括用於編碼之任何合適輸入視訊，諸如，視訊序列之輸入圖框。如所示，可經由內容預分析器模組102接收輸入視訊101。內容預分析器模組102可經組配以執行輸入視訊101之視訊圖框之內容的分析以判定用於改良視訊編碼效率及速度效能的各種類型之參數。舉例而言，內容預分析器模組102可判定水平及垂直梯度資訊(例如，Rs、Cs)、差異、每個圖像之空間複合度、每個圖像之時間複合度、場景改變偵測、運動範圍估計、增益偵測、預測距離估計、目標估計之數目、區邊界 偵測、空間複合度映射計算、焦點估計、軟片粒估計或類似者。由內容預分析器模組102產生之參數可由編碼器100使用(例如，經由編碼控制器103)及/或經量化且傳達至解碼器。如所示，可將視訊圖框及/或其他資料自內容預分析器模組102傳輸至自適應圖像組織器模組104，自適應圖像組織器模組104可判定每一視訊圖框之圖像類型(例如，I、P或F/B圖像)且按需要重排序視訊圖框。在一些實例中，自適應圖像組織器模組104可包括經組配以產生圖框部分之一圖框部分產生器。在一些實例中，可將內容預分析器模組102與自適應圖像組織器模組104一起考慮為編碼器100之預分析器子系統。
如所示，可將視訊圖框及/或其他資料自自適應 圖像組織器模組104傳輸至預測分割區產生器模組105。在一些實例中，預測分割區產生器模組105可將圖框或圖像劃分成影像塊或超片段或類似者。在一些實例中，可提供一額外模組(例如，在模組104與105之間)，用於將圖框或圖像劃分成影像塊或超片段。預測分割區產生器模組105可將每一影像塊或超片段劃分成潛在預測分割或分割區。在一些實例中，可使用諸如k-d樹分割技術、雙樹分割技術或類似者之分割技術來判定潛在預測分割，可基於個別視訊圖框之圖像類型(例如，I、P或F/B圖像)、正經分割的圖框部分之特性或類似者來判定分割技術。在一些實例中，判定之潛在預測分割可為用於預測(例如，框間或框內預測)之分割區，且可被描述為預測分割區或預測區塊或類似者。
在一些實例中，可自潛在預測分割判定選定預測 分割(例如，預測分割區)。舉例而言，選定預測分割可基於使用基於特性及運動之多參考預測或框內預測針對每一潛在預測分割判定預測，及判定預測參數。對於每一潛在預測分割，可藉由使原始像素與預測像素有差異來判定潛在預測誤差，且選定預測分割可為具有最小預測誤差之潛在預測分割。在其他實例中，可基於速率失真最佳化來判定選定預測分割，速率失真最佳化包括基於用於編碼分割的位之數目之加權計分及與預測分割相關聯之預測誤差。
如所示，選定預測分割(例如，當前圖框之預測 分割區)之原始像素可在差異器106處與預測之分割區(例如，基於一或多個參考圖框及諸如框間或框內預測資料之其他預測性資料的當前圖框之預測分割區之預測)差異化。預測分割區之判定將在下文進一步描述，且可包括一解碼迴路，如在圖1中所示。來自差異化之任何殘餘或殘餘資料(例如，分割區預測誤差資料)可傳輸至編碼分割區產生器模組107。在一些實例中，諸如，對於在任何圖像類型(I、F/B或P圖像)中的預測分割區之框內預測，可經由開關107a及107b繞過編碼分割區產生器模組107。在此等實例中，可執行僅單一級別之分割。可將此分割描述為預測分割(如所論述)或編碼分割或兩者。在各種實例中，此分割可經由預測分割區產生器模組105執行(如所論述)，或如在本文中進一步論述，可經由k-d樹框內預測/編碼分割器模組或雙樹框內預測/編碼分割器模組(經由編碼分割區產生器模組107實 施)執行此分割。
在一些實例中，分割區預測誤差資料(若存在)可 能並不重要地足以保證編碼。在其他實例中，當可能需要編碼分割區預測誤差資料且分割區預測誤差資料與框間預測或類似者相關聯時，編碼分割區產生器模組107可判定預測分割區之編碼分割區。在一些實例中，編碼分割區產生器模組107可能並不需要，此係因為可在無編碼分割之情況下編碼分割區(例如，如經由經由開關107a及107b可利用之旁路所展示)。藉由或不藉由編碼分割，在殘餘或殘餘資料需要編碼之情況下，可將分割區預測誤差資料(無論如何，可隨後將其描述為編碼分割區)傳輸至自適應變換模組108。在一些實例中，預測分割區產生器模組105及編碼分割區產生器模組107可一起被考慮為編碼器100之分割器子系統。在各種實例中，編碼分割區產生器模組107可對分割區預測誤差資料、原始像素資料、殘餘資料或小波資料操作。
編碼分割區產生器模組107可使用雙樹及/或k-d 樹分割技術或類似者產生(例如)分割區預測誤差資料之潛在編碼分割(例如，編碼分割區)在一些實例中，可使用經由自適應變換模組108藉由各種區塊大小之自適應或固定變換來變換潛在編碼分割區，且可基於速率失真最佳化或其他基礎判定選定編碼分割及選定變換(例如，自適應或固定)。在一些實例中，可基於基於編碼分割區大小或類似者之預定選擇方法判定選定編碼分割及/或選定變換。
舉例而言，自適應變換模組108可包括用於執行 參數變換以允許小至中等大小區塊之局部最佳變換編碼的第一部分或組件，及用於使用諸如離散餘弦變換(DCT)之固定變換或來自包括參數變換之多種變換的基於圖像之變換執行全域穩定、低附加項變換編碼的第二部分或組件，或任何其他組配，如本文中進一步論述。在一些實例中，對於局部最佳變換編碼，可執行參數哈爾變換(PHT)，如本文中進一步論述。在一些實例中，可對在約4×4像素與64×64像素之間的矩形大小之2D區塊執行變換，其中實際大小取決於諸如以下之許多因素：經變換資料為亮度或是色度，或框間或是框內，或使用的判定之變換為PHT或是DCT，或類似者。
如所示，所得變換係數可傳輸至自適應量化模組 109。自適應量化模組109可量化所得變換係數。另外，可按需要將與參數變換相關聯之任何資料傳輸至自適應量化模組109(若需要量化)或自適應熵編碼器模組110。亦如在圖1中所示，經量化係數可經掃描且傳輸至自適應熵編碼器模組110。自適應熵編碼器模組110可熵編碼經量化係數且將其包括於輸出位元串流111中。在一些實例中，自適應變換模組108及自適應量化模組109可一起被考慮為編碼器100之變換編碼器子系統。
亦如圖1中所示，編碼器100包括一局部解碼迴 路。局部解碼迴路可開始於自適應反量化模組112。自適應反量化模組112可經組配以執行自適應量化模組109之相反 操作，使得可執行反掃描，且可按比例縮小經量化係數以判定變換係數。舉例而言，此自適應量化操作可有損耗。 如所示，可將變換係數傳輸至自適應反變換模組113。自適應反變換模組113可執行如由自適應變換模組108執行之變換的反變換，例如，以產生與編碼分割區相關聯之殘餘或殘餘值或分割區預測誤差資料(或原始資料或小波資料，如所論述)。在一些實例中，自適應反量化模組112及自適應反變換模組113可一起被考慮為編碼器100之變換解碼器子系統。
如所示，可將分割區預測誤差資料(或類似者)傳 輸至可選編碼分割區組譯器114。編碼分割區組譯器114可按需要將編碼分割區組譯成經解碼預測分割區(如所示，在一些實例中，可經由開關114a及114b跳過編碼分割區組譯器114，使得經解碼預測分割區可已在自適應反變換模組113處產生)以產生預測誤差資料之預測分割區或經解碼殘餘預測分割區或類似者。
如所示，可在加法器115處將經解碼殘餘預測分 割區添加至預測之分割區(例如，預測像素資料)以產生經重建構預測分割區。經重建構預測分割區可傳輸至預測分割區組譯器116。預測分割區組譯器116可組譯經重建構預測分割區以產生經重建構影像塊或超片段。在一些實例中，編碼分割區組譯器模組114及預測分割區組譯器模組116可一起被考慮為編碼器100之解分割器子系統。
經重建構影像塊或超片段可傳輸至方塊效應分 析器及解區塊濾波模組117。方塊效應分析器及解區塊濾波模組117可解區塊及抖動經重建構影像塊或超片段(或影像塊或超片段之預測分割區)。可將產生之解區塊及抖動濾波器參數用於當前濾波器操作及/或在輸出位元串流111中編碼用於由(例如)解碼器使用。方塊效應分析器及解區塊濾波模組117之輸出可傳輸至品質分析器及品質恢復濾波模組118。品質分析器及品質恢復濾波模組118可判定QR濾波參數(例如，用於QR分解)，且將判定之參數用於濾波。亦可將QR濾波參數在輸出位元串流111中編碼，用於由解碼器使用。如所示，品質分析器及品質恢復濾波模組118之輸出可傳輸至經解碼圖像緩衝器119。在一些實例中，品質分析器及品質恢復濾波模組118之輸出可為可用於針對編碼其他圖框之預測的最終經重建構圖框(例如，最終經重建構圖框可為參考圖框或類似者)。在一些實例中，方塊效應分析器及解區塊濾波模組117與品質分析器及品質恢復濾波模組118可一起被考慮為編碼器100之濾波子系統。
在編碼器100中，預測操作可包括框間及/或框內 預測。如在圖1(a)中所示，框間預測可由包括變形分析器及經變形圖像產生模組120、合成分析器及產生模組121及特性及運動濾波預測器模組123之一或多個模組執行。變形分析器及經變形圖像產生模組120可分析當前圖像以判定用於相關於參考圖框或其可編碼所藉之圖框的增益之改變、主運動之改變、對齊之改變及模糊之改變的參數。判定之變形參數可經量化/去量化及用(例如，由變形分析器及經變 形圖像產生模組120)以產生經變形參考圖框，經變形參考圖框可由運動估計器模組122用於計算用於當前圖框之高效運動(及特性)補償之預測之運動向量。合成分析器及產生模組121可產生用於運動之超解析度(SR)及投射式內插(PI)圖像或類似者，用於判定用於此等圖框中的高效運動補償之預測之運動向量。
運動估計器模組122可基於經變形參考圖框及/ 或超解析度(SR)圖像及投射式內插(PI)圖像連同當前圖框產生運動向量資料。在一些實例中，運動估計器模組122可被考慮為框間預測模組。舉例而言，運動向量資料可用於框間預測。若應用框間預測，則特性及運動補償濾波預測器模組123可應用運動補償，作為如所論述的局部解碼迴路之部分。
框內預測可由框內方向預測分析器及預測產生 模組124執行。框內方向預測分析器及預測產生模組124可經組配以執行空間方向預測，且可使用經解碼相鄰分割區。在一些實例中，預測之方向及產生的判定皆可由框內方向預測分析器及預測產生模組124執行。在一些實例中，框內方向預測分析器及預測產生模組124可被考慮為框內預測模組。
如圖1中所示，預測模式及參考類型分析器模組 125可允許自「跳過」、「自動」、「框間」、「分裂」、「多」、及「框內」當中選擇用於影像塊(或超片段)之每一預測分割區的預測模式，所有預測模式皆可適用於P及F/B圖像。除 了預測模式之外，其亦允許選擇可取決於「框間」或「多」模式以及對於P及F/B圖像不同的參考類型。在預測模式及參考類型分析器模組125之輸出端處的預測信號可由預測分析器及預測融合濾波模組126濾波。預測分析器及預測融合濾波模組126可判定用於濾波之參數(例如，濾波係數、頻率、附加項)，且可執行該濾波。在一些實例中，濾波預測信號可融合表示不同模式(例如，框內、框間、多、分裂、跳過及自動)的不同類型之信號。在一些實例中，框內預測信號可不同於所有其他類型之框間預測信號，使得恰當濾波可大大增強編碼效率。在一些實例中，可在輸出位元串流111中編碼濾波參數用於由解碼器使用。濾波預測信號可將第二輸入(例如，預測分割區)提供至差異器106(如上文所論述)，差異器106可判定較早論述的用於編碼之預測差異信號(例如，分割區預測誤差)。另外，同一經濾波預測信號可將第二輸入提供至加法器115，亦如上文所論述。如所論述，輸出位元串流111可提供高效編碼之位元串流，用於由解碼器用於視訊之呈現。
圖1說明與視訊編碼器100之操作相關聯的實例 控制信號，其中以下縮寫可表示相關聯之資訊：
可能需要發送至解碼器的各種信號及資料項(例 如，pgst、ptyp、prp、pptn、cptn、modes、reftype、ethp、xmtyp、xmdir、xmmod、idir、mv、qs、mop、syp、ddi、qri、api、fii、量係數及其他)可接著由自適應熵編碼器110熵編碼，自適應熵編碼器110可包括共同地被稱作熵編碼器子系統之不同熵編碼器。同時將此等控制信號說明為與圖1中編碼器100之具體實例功能模組相關聯，但其他實施可包括控制信號在編碼器300之功能模組當中的不同分佈。本發明就此而言不受限制，且在各種實例中，本文中的控制信號之實施可包括進行所展示的具體實例控制信號之僅一子集、額外控制信號，及/或呈與所說明不同的配置。
圖2為根據本發明之至少一些實施配置的一實例 次世代視訊解碼器200之例示性圖。如所示，解碼器200可接收輸入位元串流201。在一些實例中，輸入位元串流201可經由編碼器100及/或經由本文中論述之編碼技術編碼。 如所示，輸入位元串流201可由自適應熵解碼器模組202接收。自適應熵解碼器模組202可解碼各種類型之經編碼資料(例如，附加項、運動向量、變換係數等)。在一些實例中，自適應熵解碼器202可使用可變長度解碼技術。在一些實例中，自適應熵解碼器202可執行上文論述的自適應熵編碼器模組110之反操作。
可將經解碼資料傳輸至自適應反量化模組203。 自適應反量化模組203可經組配以反掃描及按比例縮小經量化係數以判定變換係數。舉例而言，此自適應量化操作可有損耗。在一些實例中，自適應反量化模組203可經組配以執行自適應量化模組109之相反操作(例如，實質上與自適應反量化模組112相同的操作)。如所示，可將變換係數(及在一些實例中，用於在參數變換中使用之變換資料)傳輸至自適應反變換模組204。自適應反變換模組204可對變換係數執行反變換以產生與編碼分割區相關聯之殘餘或殘餘值或分割區預測誤差資料(或原始資料或小波資料)。在一些實例中，自適應反變換模組204可經組配以執行自適應變換模組108之相反操作(例如，實質上與自適應反變換模組113相同的操作)。在一些實例中，自適應反變換模組204可基於其他先前經解碼資料(諸如，經解碼相鄰分割區)執行反變換。在一些實例中，自適應反量化模組203及自適應反變換模組204可一起被考慮為解碼器200之變換解碼器子系統。
如所示，可將殘餘或殘餘值或分割區預測誤差資 料傳輸至編碼分割區組譯器205。編碼分割區組譯器205可按需要將編碼分割區組譯成經解碼預測分割區(如所示，在一些實例中，可經由開關205a及205b跳過編碼分割區組譯器205，使得經解碼預測分割區可已在自適應反變換模組204處產生)。可在加法器206處將預測誤差資料之經解碼預測分割區(例如，預測分割區殘餘)添加至預測之分割區(例如，預測像素資料)以產生經重建構預測分割區。可將經重建構預測分割區傳輸至預測分割區組譯器207。預測分割區 組譯器207可組譯經重建構預測分割區以產生經重建構影像塊或超片段。在一些實例中，編碼分割區組譯器模組205及預測分割區組譯器模組207可一起被考慮為解碼器200之解分割器子系統。
可將經重建構影像塊或超片段傳輸至解區塊濾 波模組208。解區塊濾波模組208可解區塊及抖動經重建構影像塊或超片段(或影像塊或超片段之預測分割區)。舉例而言，可自輸入位元串流201判定產生之解區塊及抖動濾波器參數。可將解區塊濾波模組208之輸出傳輸至品質恢復濾波模組209。品質恢復濾波模組209可基於QR參數(例如，其可自輸入位元串流201判定)應用品質濾波。如圖2中所示，品質恢復濾波模組209之輸出可傳輸至經解碼圖像緩衝器210。在一些實例中，品質恢復濾波模組209之輸出可為可用於針對編碼其他圖框之預測的最終經重建構圖框(例如，最終經重建構圖框可為參考圖框或類似者)。在一些實例中，解區塊濾波模組208與品質恢復濾波模組209可一起被考慮為解碼器200之濾波子系統。
如所論述，歸因於預測操作之補償可包括框間及 /或框內預測補償。如所示，框間預測補償可由包括變形產生模組211、合成產生模組212及特性及運動補償濾波預測器模組213之一或多個模組執行。變形產生模組211可使用經去量化變形參數(例如，自輸入位元串流201判定)產生經變形參考圖框。合成產生模組212可基於自輸入位元串流201判定之參數產生超解析度(SR)圖像及投射式內插(PI)圖 像或類似者。若應用框間預測，則特性及運動補償濾波預測器模組213可基於輸入位元串流201中的接收之圖框及運動向量資料或類似者應用運動補償。
框內預測補償可由框內方向預測產生模組214執 行。框內方向預測產生模組214可經組配以執行空間方向預測，且可根據輸入位元串流201中之框內預測資料使用經解碼相鄰分割區。
如圖2中所示，預測模式選擇器模組215可基於輸 入位元串流201中之模式選擇資料，針對影像塊之每一預測分割區，自「跳過」、「自動」、「框間」、「多」及「框內」當中判定預測模式選擇，所有預測模式可適用於P及F/B圖像。除了預測模式之外，其亦允許選擇可取決於「框間」或「多」模式以及針對P及F/B圖像不同之參考類型。在預測模式選擇器模組215之輸出端處的預測信號可由預測融合濾波模組216濾波。預測融合濾波模組216可基於經由輸入位元串流201判定之參數(例如，濾波係數、頻率、附加項)執行濾波。在一些實例中，濾波預測信號可融合表示不同模式(例如，框內、框間、多、跳過及自動)的不同類型之信號。在一些實例中，框內預測信號可不同於所有其他類型之框間預測信號，使得恰當濾波可大大增強編碼效率。 經濾波預測信號可將第二輸入(例如，預測分割區)提供至差異器206，如上文所論述。
如所論述，品質恢復濾波模組209之輸出可為最終經重建構圖框。可將最終經重建構圖框傳輸至自適應圖 像重組器217，自適應圖像重組器217可基於輸入位元串流201中之排序參數按需要重新排序或重新組織圖框。經重新排序圖框可傳輸至內容後恢復器模組218。內容後恢復器模組218可為經組配以執行經解碼視訊之感知品質之進一步改良的可選模組。可回應於輸入位元串流201中之品質改良參數執行改良處理，或可將其作為獨立操作執行。在一些實例中，內容後恢復器模組218可應用參數以改良諸如軟片粒雜訊之估計或殘餘方塊效應減少之品質(例如，甚至在關於解區塊濾波模組208論述之解區塊操作後)。如所示，解碼器200可提供顯示視訊219，顯示視訊219可經組配用於經由顯示器件(未圖示)顯示。
圖2說明與視訊解碼器200之操作相關聯的實例 控制信號，其中指示之縮寫可表示如關於以上圖1論述之類似資訊。同時將此等控制信號說明為與圖2中解碼器200之具體實例功能模組相關聯，但其他實施可包括控制信號在編碼器100之功能模組當中的不同分佈。本發明就此而言不受限制，且在各種實例中，本文中的控制信號之實施可包括進行所展示的具體實例控制信號之僅一子集、額外控制信號，及/或呈與所說明不同的配置。
雖然圖1至圖2說明特定編碼及解碼模組，但亦可 根據本發明利用未描繪之其他編碼模組或組件。另外，本發明不限於圖1及圖2中說明之特定組件，及/或不限於配置各種組件之方式。本文中描述的系統之各種組件可以軟體、韌體及/或硬體及/或其任何組合實施。舉例而言，編碼 器100及/或解碼器200之各種組件可至少部分由諸如可在諸如行動電話之計算系統中發現的計算系統單晶片(SoC)提供。
另外，可認識到，編碼器100可與包括(例如)視 訊內容伺服器系統之內容提供商系統相關聯及/或由內容提供商系統提供，且輸出位元串流111可由各種通訊組件及/或系統(諸如，收發器、天線、網路系統及未在圖1及圖2中描繪之類似者)傳輸或傳送至解碼器(諸如，解碼器200)。 亦可認識到，解碼器200可與遠離編碼器100且經由各種通訊組件及/或系統(諸如，收發器、天線、網路系統及未在圖1及圖2中描繪之類似者)接收輸入位元串流201的諸如計算器件(例如，桌上型電腦、膝上型電腦、平板電腦、可轉換之膝上型電腦、行動電話或類似者)之用戶端系統相關聯。 因此，在各種實施中，編碼器100與解碼器子系統200可一起或相互獨立地實施。
圖3(a)為根據本發明之至少一些實施配置的一 實例次世代視訊編碼器300a之例示性圖。圖3(a)呈現與圖1(a)及圖1(b)中展示之編碼器類似的編碼器，且出於簡潔起見，將不重述類似元件。如在圖3(a)中所示，編碼器300a可包括預分析器子系統310a、分割器子系統320a、預測編碼子系統330a、變換編碼器子系統340a、濾波編碼子系統350a、熵編碼器系統360a、變換解碼器子系統370a及/或解分割器子系統380a。預分析器子系統310a可包括內容預分析器模組102及/或自適應圖像組織器模組104。分割器子系 統320a可包括預測分割區產生器模組105，及/或編碼分割區產生器107。預測編碼子系統330a可包括運動估計器模組122、特性及運動補償濾波預測器模組123及/或框內方向預測分析器及預測產生模組124。變換編碼器子系統340a可包括自適應變換模組108及/或自適應量化模組109。濾波編碼子系統350a可包括方塊效應分析器及解區塊濾波模組117、品質分析器及品質恢復濾波模組118、運動估計器模組122、特性及運動補償濾波預測器模組123及/或預測分析器及預測融合濾波模組126。熵編碼子系統360a可包括自適應熵編碼器模組110。變換解碼器子系統370a可包括自適應反量化模組112及/或自適應反變換模組113。解分割器子系統380a可包括編碼分割區組譯器114及/或預測分割區組譯器116。
編碼器300a之分割器子系統320a可包括兩個分 割子系統：可針對預測執行分析及分割之預測分割區產生器模組105，及可針對編碼執行分析及分割之編碼分割區產生器模組107。另一分割方法可包括自適應圖像組織器104，其可將圖像分段成區或切片，亦可視情況被考慮為此分割器之部分。
編碼器300a之預測編碼器子系統330a可包括可 執行「框間」信號之分析及預測的運動估計器122及特性及運動補償濾波預測器123，及可執行「框內」信號之分析及預測的框內方向預測分析器及預測產生模組124。運動估計器122及特性及運動補償濾波預測器123可允許藉由首先補 償其他差異源(諸如，增益、全域運動、對齊)、接著為實際運動補償來增大可預測性。其亦可允許使用資料模型化建立可允許較好預測之合成圖框(超解析度及投射)，接著使用此等圖框中之實際運動補償。
編碼器300a之變換編碼器子系統340a可執行分 析以選擇變換之類型及大小，且可包括兩個主要類型之組件。第一類型之組件可允許使用參數變換以允許小至中等大小區塊之局部最佳變換編碼：然而，此編碼可需要一些附加項。第二類型之組件可允許使用一般/固定變換(諸如，DCT)或來自包括參數變換之少量變換之選擇的基於圖像之變換的全域穩定、低附加項編碼。針對局部自適應變換編碼，可使用PHT(參數哈爾變換)。可對在約4×4與64×64之間的矩形大小之2D區塊執行變換，其中實際大小取決於諸如以下之許多因素：經變換資料為亮度或是色度，框間或是框內，及使用之變換為PHT或是DCT。可量化、掃描及熵編碼所得變換係數。
編碼器300a之熵編碼器子系統360a可包括許多 高效但低複合度組件，每一者具有高效編碼具體類型之資料(各種類型之附加項、運動向量或變換係數)的目標。此子系統之組件可屬於一般類別之低複合度可變長度編碼技術，然而，為了高效編碼，每一組件可經針對最高效率定製最佳化。舉例而言，可針對「經編碼/未經編碼」資料設計定製解決方案，針對「模式及參考類型」資料設計另一定製解決方案，針對「運動向量」資料設計又一定製解決 方案，且針對「預測及編碼分割區」資料設計又一定製解決方案。最後，因為待熵編碼的資料之非常大的部分為「變換係數」資料，所以可使用用於具體區塊大小之高效處置的多個方法，以及可在多個表之間調適之演算法。
編碼器300a之濾波編碼器子系統350a可執行參 數之分析以及基於此等參數的經重建構圖像之多個濾波，且可包括若干子系統。舉例而言，第一子系統-方塊效應分析器及解區塊濾波模組117，可解區塊及抖動以減少或遮蔽任何潛在區塊編碼假影。第二實例子系統-品質分析器及品質恢復濾波模組118，可執行一般品質恢復以減少歸因於任何視訊編碼中之量化操作的假影。可包括運動估計器122及特性及運動補償濾波預測器模組123之第三實例子系統可藉由使用適宜於內容之運動特性(運動速度/模糊程度)的濾波器改良來自運動補償之結果。第四實例子系統-預測融合分析器及濾波器產生模組126，可允許預測信號之自適應濾波(其可減少常來自框內預測的預測中之假影)，藉此減小需要編碼之預測誤差。
編碼器300a之編碼控制器模組103可負責在給定 資源及所要的編碼速度之約束下的總體視訊品質。舉例而言，在不使用任何捷徑的基於完全RDO(速率失真最佳化)之編碼中，用於軟體編碼之編碼速度可僅為計算資源(處理器之速度、處理器之數目、超執行緒、DDR3記憶體等)可用性之結果。在此情況下，可對編碼控制器模組103輸入預測分割區與編碼分割區之每一單一組合，且藉由實際編碼 輸入，且可針對每一情況與經重建構誤差一起計算位元速率，且基於拉格朗日(lagrangian)最佳化方程，可針對正編碼的每一圖框之每一影像塊發送預測與編碼分割區之最佳集合。基於完全RDO之模式可導致最佳壓縮效率，且亦可為最慢編碼模式。藉由使用來自內容預分析器模組102之內容分析參數，且使用其使RDO簡化(不測試所有可能情況)，或經由完全RDO，僅某一百分比之區塊合格，可進行品質對速度權衡，從而允許更快速之編碼。至此，吾人已描述基於可變位元速率(VBR)之編碼器操作。編碼控制器模組103亦可包括一速率控制器，其可在恆定位元速率(CBR)控制之編碼的情況下加以調用。
最後，編碼器300a之預分析器子系統310a可執行 內容之分析以計算適用於改良視訊編碼效率及速度效能的各種類型之參數。舉例而言，其可計算水平及垂直梯度資訊(Rs、Cs)、差異、每個圖像之空間複合度、每個圖像之時間複合度、場景改變偵測、運動範圍估計、增益偵測、預測距離估計、目標估計之數目、區邊界偵測、空間複合度映射計算、焦點估計、軟片粒估計等。由預分析器子系統310a產生之參數可由編碼器消耗或經量化且傳達至解碼器200。
雖然將子系統310a至380a說明為與圖3(a)中的編 碼器300a之具體實例功能模組相關聯，但本文中的編碼器300a之其他實施可包括編碼器300a之功能模組在子系統310a至380a當中的不同分佈。本發明就此而言不受限制， 且在各種實例中，本文中的實例子系統310a至380a之實施可包括進行所展示的編碼器300a之具體實例功能模組之僅一子集、額外功能模組，及/或呈與所說明不同的配置。
圖3(b)為根據本發明之至少一些實施配置的一 實例次世代視訊解碼器300b之例示性圖。圖3(b)呈現與圖2中展示之解碼器類似的解碼器，且出於簡潔起見，將不重述類似元件。如在圖3(b)中所示，解碼器300b可包括預測解碼器子系統330b、濾波解碼器子系統350b、熵解碼器子系統360b、變換解碼器子系統370b、unpartitioner_2子系統380b、unpartitioner_1子系統351b、濾波解碼器子系統350b及/或後恢復器子系統390b。預測解碼器子系統330b可包括特性及運動補償濾波預測器模組213及/或框內方向預測產生模組214。濾波解碼器子系統350b可包括解區塊濾波模組208、品質恢復濾波模組209、特性及運動補償濾波預測器模組213及/或預測融合濾波模組216。熵解碼器子系統360b可包括自適應熵解碼器模組202。變換解碼器子系統370b可包括自適應反量化模組203及/或自適應反變換模組204。Unpartitioner_2子系統380b可包括編碼分割區組譯器205。Unpartitioner_1子系統351b可包括預測分割區組譯器207。後恢復器子系統790可包括內容後恢復器模組218及/或自適應圖像重組器217。
解碼器300b之熵解碼子系統360b可執行編碼器300a之熵編碼器子系統360a的反操作，亦即，其可寬鬆地使用一類被稱作可變長度解碼之技術解碼由熵編碼器子系 統360a編碼之各種資料(附加項之類型、運動向量、變換係數)。具體言之，待解碼的各種類型之資料可包括「經編碼/未經編碼」資料、「模式及參考類型」資料、「運動向量」資料、「預測及編碼分割區」資料及「變換係數」資料。
解碼器300b之變換解碼器子系統370b可執行編 碼器300a之變換編碼器子系統340a之操作的反操作。變換解碼器子系統370b可包括兩個類型之組件。第一類型之實例組件可支援使用小至中等區塊大小之參數反PHT變換，而其它類型之實例組件可支援針對所有區塊大小之反DCT變換。用於一區塊之PHT變換可取決於相鄰區塊之經解碼資料的分析。輸出位元串流111及/或輸入位元串流201可載運關於用於PHT變換之分割區/區塊大小以及在待反變換的2D區塊之哪一方向上可使用PHT(另一方向使用DCT)的資訊。對於純粹藉由編碼之區塊，分割區/區塊大小資訊亦可自輸出位元串流111及/或輸入位元串流201擷取，且用以應用適當大小之反DCT。
解碼器300b之解分割器子系統380b可執行編碼 器300a之分割器子系統320a之操作的反操作，且可包括兩個解分割子系統-可執行經編碼資料之解分割的編碼分割區組譯器模組205及可執行用於預測之解分割的預測分割區組譯器模組207。另外，若可選自適應圖像組織器模組104在編碼器300a處用於區分段或切片，則在解碼器處可能需要自適應圖像重組器模組217。
解碼器300b之預測解碼器子系統330b可包括可 執行「框間」信號之預測的特性及運動補償濾波預測器模組213及可執行「框內」信號之預測的框內方向預測產生模組214。特性及運動補償濾波預測器模組213可允許藉由首先補償其他差異源(諸如，增益、全域運動、對齊)或建立合成之圖框(超解析度及投射)，接著為實際運動補償來增大可預測性。
解碼器300b之濾波解碼器子系統350b可基於由 編碼器300a發送之參數執行經重建構圖像之多個濾波，且可包括若干子系統。第一實例子系統-解區塊濾波模組208，可解區塊及抖動以減少或遮蔽任何潛在區塊編碼假影。第二實例子系統一品質恢復濾波模組209，可執行一般品質恢復以減少歸因於任何視訊編碼中之量化操作的假影。第三實例子系統-特性及運動補償濾波預測器模組213，可藉由使用可適宜於內容之運動特性(運動速度/模糊之程度)的濾波器來改良來自運動補償之結果。第四實例子系統--預測融合濾波模組216，可允許預測信號之自適應濾波(其可減少常來自框內預測的預測中之假影)，藉此減小可能需要編碼之預測誤差。
解碼器300b之後恢復器子系統390b為可執行經 解碼視訊之感知品質之進一步改良的可選區塊。可回應於由編碼器100發送之品質改良參數進行此處理，或其可為在後恢復器子系統390b處進行之獨立決策。就可用以在後恢復器子系統390b處改良品質的在編碼器100處計算之具體參數而言，可為在編碼器100處的軟片粒雜訊及殘餘方塊效 應之估計(甚至在解區塊後)。關於軟片粒雜訊，若參數可經計算，且經由輸出位元串流111及/或輸入位元串流201發送至解碼器200，則此等參數可用以合成軟片粒雜訊。同樣，對於在編碼器100處之任何殘餘區塊假影，若其可經量測且可經由輸出位元串流111及/或位元串流201發送參數，則後恢復器子系統390b可解碼此等參數，且可使用其在顯示前視情況執行額外解區塊。此外，編碼器100亦可能能夠存取可幫助後恢復器子系統390b中之品質恢復的場景改變、空間複合度、時間複合度、運動範圍及預測距離資訊。
雖然將子系統330b至390b說明為與圖3(b)中的 解碼器300b之具體實例功能模組相關聯，但本文中的解碼器300b之其他實施可包括解碼器300b之功能模組在子系統330b至390b當中的不同分佈。就此而言，本發明不受限制，且在本發明就此而言不受限制，且在各種實例中，本文中的實例子系統330b至390b之實施可包括進行所展示的解碼器300b之具體實例功能模組之僅一子集、額外功能模組，及/或呈與所說明不同的配置。
圖4為根據本發明之至少一些實施配置的經修改 預測參考圖像400之例示性圖。如所示，品質分析器及品質恢復濾波之輸出可為可用於用於編碼其他圖框之預測的最終經重建構圖框(例如，最終經重建構圖框可為參考圖框或類似者)。
NGV編碼器(例如，編碼器100及/或解碼器200) 之所提議的實施可使用經變形預測參考428至438(MR0至 MR3)及/或合成之預測參考412及440至446(S0至S3、MR4至MR7)的組合實施P圖像編碼。NGV編碼涉及使用3個圖像類型，被稱作I圖像、P圖像及F/B圖像。在所說明之實例中，待編碼之當前圖像(P圖像，但其可應用於F/B圖像)展示於時間t=4處。在編碼期間，NGV編碼器(例如，編碼器100及/或解碼器200)之所提議的實施可使用4個先前經解碼參考R0 412、R1 414、R2 416及R3 418中之一或多者。不同於可僅將此等參考直接用於預測之其他解決方案，NGV編碼器(例如，編碼器100及/或解碼器200)之所提議的實施可自此等先前解碼之參考產生經修改(經變形或合成)參考，且接著使用至少部分基於此等產生的經修改(經變形或合成)參考之運動補償編碼。
如下文將更詳細地描述，在一些實例中，NGV 編碼器(例如，編碼器100及/或解碼器200)之所提議的實施可併有許多組件及由此等組件在高效視訊編碼演算法中產生之組合預測。舉例而言，NGV編碼器之所提議的實施可包括以下特徵中之一或多者：1.增益補償(例如，針對場景中之增益/亮度之改變的明確補償)；2.模糊補償：例如，針對場景中之模糊/清晰度之改變的明確補償；3.主/全域運動補償(例如，針對場景中之主運動的明確補償)；4.對齊補償(例如，針對場景中之對齊失配的明確補償)；5.超解析度(例如，針對場景中之解析度精確度之改變的明確模型)；6.投射(例如，針對場景中之軌跡軌跡之改變的明確模型)；類似者，及/或其組合。
在所說明之實例中，若應用框間預測，則特性及 運動濾波預測器模組可將運動補償應用至當前圖像410(例如，在該圖中標註為P-pic(curr))，作為局部解碼迴路之部分。在一些情況下，此運動補償可至少部分基於未來圖框(未圖示)及/或先前圖框R0 412(例如，在該圖中標註為R0)、先前圖框R1 414(例如，在該圖中標註為R1)、先前圖框R2 416(例如，在該圖中標註為R2)及/或先前圖框R3 418(例如，在該圖中標註為R3)。
舉例而言，在一些實施中，預測操作可包括框間 及/或框內預測。框間預測可由包括變形分析器及產生模組及/或合成分析器及產生模組之一或多個模組執行。此變形分析器及產生模組可分析當前圖像以關於其將編碼所藉之參考圖框或圖框判定用於模糊之改變的參數420(例如，在該圖中標註為Blur par)、用於增益之改變的參數422(例如，在該圖中標註為Gain par)、用於對齊之改變的參數424(例如，在該圖中標註為Reg par)及用於主運動之改變的參數426(例如，在該圖中標註為Dom par)或用於類似者之參數。
判定之變形參數420、422、424及/或426可用以 產生經變形參考圖框。此等產生之經變形參考圖框可經儲存，且可用於計算用於當前圖框之高效運動(及特性)補償之預測的運動向量。在所說明之實例中，判定之變形參數420、422、424及/或426可用以產生經變形參考圖框，諸如，經模糊補償之經變形參考圖框428(例如，在該圖中標註為MR3b)、經增益補償之經變形參考圖框430(例如，在該圖中 標註為MR2g)、經增益補償之經變形參考圖框432(例如，在該圖中標註為MR1g)、經對齊補償之經變形參考圖框434(例如，在該圖中標註為MR1r)、經主運動補償之經變形參考圖框436(例如，在該圖中標註為MR0d)及/或經對齊補償之經變形參考圖框438(例如，在該圖中標註為MR0r)、類似者或其組合。
類似地，合成分析器及產生模組可產生超解析度 (SR)圖像440(例如，在該圖中標註為S0(其等於先前圖框R0 412)、S1、S2、S3)及投射式內插(PI)圖像442(例如，在該圖中標註為PE)或類似者，用於判定用於此等圖框中之高效運動補償之預測的運動向量。此等產生之合成之參考圖框可經儲存，且可用於計算用於當前圖框之高效運動(及特性)補償之預測的運動向量。
另外或替代地，判定之變形參數420、422、424 及/或426可用以變形產生之合成參考圖框超解析度(SR)圖像440及/或投射式內插(PI)圖像442。舉例而言，合成分析器及產生模組可自判定之對齊變形參數424產生經變形對齊補償之超解析度(SR)圖像444(例如，在該圖中標註為MR4r、MR5r及MR6r)及/或經變形對齊補償之投射式內插(PI)圖像446(例如，在該圖中標註為MR7r)或類似者。此等產生之經變形及合成參考圖框可經儲存且可用於計算用於當前圖框之高效運動(及特性)補償之預測的運動向量。
在一些實施中，可明確地計算一組特性(諸如，增益、模糊、主運動、對齊、解析度精確度、運動軌跡類 似者或其組合)之改變。除了局部運動之外，亦可計算此一組特性。在一些情況下，可適當地利用先前及接下來圖像/切片；然而，在其他情況下，此一組特性可自先前圖像/切片將預測做得更好。另外，由於在任何估計程序中可存在誤差(例如，來自多個過去或多個過去及未來圖像/切片)，可選擇產生最佳估計的與該組特性(諸如，增益、模糊、主運動、對齊、解析度精確度、運動軌跡類似者或其組合)相關聯之經修改參考圖框。因此，利用與該組特性(諸如，增益、模糊、主運動、對齊、解析度精確度、運動軌跡類似者或其組合)相關聯之經修改參考圖框之所提議的方法可明確補償此等特性之差異。所提議的實施可解決如何改良預測信號之問題，此又允許達成視訊編碼中之高壓縮效率。
增益補償
藉由一個詳細實例，常在視訊場景中，不僅歸因於目標之移動，且亦歸因於增益/亮度之改變，造成圖框間差異。有時，歸因於諸如淡入、淡出之編輯效應或歸因於交叉衰減，亮度之此等改變可為全域的。然而，在許多情況下，亮度之此等改變可為局部的，例如，歸因於閃光燈、相機閃光、爆炸、在戲劇或音樂表演中之彩色頻閃燈等。
亮度之框間改變(不管全域或是局部)的補償可潛在地改良視訊編碼中之壓縮效率。然而，將亮度改變參數(增益及偏移)應用於視訊編碼器及解碼器兩者處，使得兩者應經由位元串流按低位元成本自編碼器至解碼器高效地通訊，且應使針對解碼器之處理複合度最小化。在過去， 僅用於全域亮度改變之技術已得以揭示，但尚未成功解決亮度改變之局部補償。
以下等式使在圖框「t」中之(i,j)位置處的像素 s t (i,j)之亮度與在先前圖框「t-1」中之相位位置(i,j)處的像素之亮度有關，其中「a」及「b」為增益及偏移因數。假定運動小，且僅將亮度改變模型化。
s t (i,j)=a×s t-1 (i,j)+b (1)
選取s t (i,j)及(s t 2 (i,j))之期望值，且接著為等化當前圖框與先前圖框之第一及第二矩之方法，接著可將增益「a」及偏移「b」之值計算為：
b=E(s t (i,j))-a×E(s t-1 (i,j)) (3)
一旦按照等式(2)計算「a」及「b」，則其經量化(用於高效傳輸)、編碼且發送至解碼器。在解碼器處，將「a」及「b」之經解碼的經解量化之值置回至等式(1)內，且使用先前圖框中的像素之經解碼值，計算先前參考圖框之經增益補償的經修改型式，其誤差比原始先前圖框低，且接著將其用於產生(經增益補償)運動補償之預測。將來自經修改之先前參考圖框的對應預測添加至(經反變換及經解量化)經解碼預測誤差區塊，以產生最終經解碼圖框(或圖框之區塊)。
為了局部運動補償，替代單一一組(a,b)參數，多組參數經計算且連同圖框之哪一部分對應於哪些參數的 映射傳輸至解碼器，且用於如所描述之增益補償。
模糊/對齊補償
藉由一個詳細實例，以下描述用於對齊及模糊之補償的方法，但可互換地使用該等術語。
對齊補償： 對場景成像之靜止視訊攝影機仍可導致在圖框間不同之搖晃或不穩定視訊，其歸因於環境因素(諸如，風)、來自附近物件之振動、搖晃著的手或抖動之捕獲過程，而非場景之全域移動或場景中的大目標之運動。此導致圖框間對齊差異，其補償(除了諸如增益、全域/主運動及局部運動補償的其他形式之補償之外)亦可導致視訊編碼之壓縮效率的改良。
為了計算當前圖框與先前參考圖框之間的對齊參數，可使用維納(Wiener)濾波。令x(n)為輸入信號，y(n)為輸出，且h(n)表示濾波器係數。
誤差信號：e(n)=d(n)-y(n) (5)
在矩陣記法中，h為濾波器係數之向量。交叉相關列向量(在源圖框與參考圖框之間)：R dx =E[d(n)x(n) T ] (6)
自相關矩陣(基於區塊資料)：R xx =E[x(n)x(n) T ] (7)
解出h的維納Hopf等式接著如下。維納Hopf等式 判定均方誤差中的最適宜濾波器係數，且將所得濾波器叫作「維納」濾波器。
模糊補償： 歸因於電荷整合，場景之快速相機橫搖可導致模糊影像。另外，即使相機為靜止的或在運動中，但若場景涉及快速移動目標(例如，在足球比賽中之足球播放器)，則目標可顯得模糊，此係因為成像之時間解析度不夠。在前述兩個情況下，在其他形式之補償前或與其他形式之補償一起，模糊之補償可改良視訊編碼之壓縮效率。
對於運動模糊估計，可使用Lucy-Richardson方法。其為用於自源圖框Y使用模糊運算子B(使用估計之模糊向量的模糊圖框)及伴隨運算子B*按迭代i連續計算減小之模糊圖框(X)的迭代演算法。運算子B*可粗略地被認為與B相同，此係因為B*可由B替換，從而導致粗略地相同視覺品質。
全域/主運動補償
藉由一個詳細實例，由於基於預測，視訊中之全域運動可對區塊呈現挑戰(歸因於自平移運動模型產生之較大預測，及大量運動向量附加項)，因此開發出一替代性方法，其直接估計/補償全域運動，此係歸因於其能夠較好地適宜於非平移/複合運動之潛能，且按需要(諸如，每個圖 像一次)，運動參數之較緊湊表示現在可用。在用於全域運動的運動模擬之選擇當中，提供顯著益處之兩個模型為仿射模型及透視模型。仿射模型使用6個參數，且能夠定址大範圍之複合動作，而透視模型更複合且更靈活，但可使用高達8個參數。對於許多情況，仿射模型可足夠，且可允許針對諸如平移、變焦、剪切及旋轉的類型之運動之全域補償。
在數學上，仿射變換過程藉由以下等式描述，該等式使用仿射參數a、b、c、d、e、f將先前圖框中之一組點(x,y)映射至一組修改之點(x',y')。
x i '=a.x i +b.y i +c (10)
y i '=d.x i +e.y i +f (11)
為了將全域運動參數高效傳輸至解碼器，將模型作為3個運動軌跡傳輸，一個運動軌跡用於圖像之左上角，一個用於圖像之右上角，且一個用於圖像之左下角。針對假定具有最接近2之冪的數(其大於經編碼圖像)之寬度及高度的虛擬圖像，計算仿射參數(固定點算術)。此移除在解碼器處需要之劃分。
假定給出對應於運動軌跡mt0、mt1及mt2之三個頂點(x0,y0)、(x1,y1)、(x2,y2)，且該三個頂點可表示為(dx0,dy0)、(dx1,dy1)及(dx2,dy2)，比方說，在1/8像素單元中。接著可將仿射參數A、B、C、D、E及F計算如下。
C=dx0 (12)
F=dy0 (13)
A=W'*((x1+dx1)-(x0+dx0))/W (14)
B=W'*((x2+dx2)-(x0+dx0))/W (15)
D=H'*(((y1+dy1)-(y0+dy0))/H) (16)
E=H'*(((y2+dy2)-(y0+dy0))/H) (17)
雖然基於仿射模型之全域運動估計/補償(GME/C)的使用較之基於區塊之平移運動的使用，為針對具有全域運動的場景之顯著改良，但實際上，為了最佳編碼效率結果，組合基於區塊之局部及全域運動兩者。另外，亦可將仿射模型應用於場景中的非重疊影像塊或區/目標之運動補償。此導致多個全域運動參數集，且該過程被稱作執行主運動補償(DC)。
舉例而言，隨著待壓縮的視訊之不斷增大之解析度及對高視訊品質之期望，對於使用現有視訊編碼標準(諸如，H.264)或甚至演進型標準(諸如，H.265/HEVC)編碼所需要之對應的位元速率/頻寬相對高。前述標準使用傳統方法之擴大形式以隱含地解決不足壓縮/品質問題，但結果常受到限制。
所提議的實施藉由改良框間預測來改良視訊壓縮效率，其又減小了需要編碼的框間預測差異(誤差信號)。待編碼的框間預測差異之量愈少，則對於編碼所需要的位元之量愈少，其有效地改良壓縮效率，此係因為其現在採用較少位元來儲存或傳輸經編碼預測差異信號。替代僅限於運動預測，除了運動補償外或替代運動補償，所提議的NGV編碼解碼器亦可藉由使用明確補償內容之特性之改變 的方法來高度適應於內容之改變特性(諸如，增益、模糊、主運動、對齊、解析度精確度、運動軌跡、類似者或其組合)。因此，藉由明確解決問題之根本原因，NGV編碼解碼器可定址基於標準之編碼解碼器的侷限性之關鍵來源，藉此達成較高壓縮效率。
歸因於所提議的NGV編碼解碼器補償針對視訊 內容之改變的廣泛範圍原因之能力，可達成框間預測輸出之此改變。歸因於許多局部及全域改變(在本文中被稱作特性)，典型視訊場景在圖框間可變化。除了局部運動外，亦存在藉由當前解決方案不夠解決之許多其他特性，其可由所提議的實施解決。
在一些實例中，除了局部運動之外，NGV編碼器 亦可明確地計算一組特性(諸如，增益、模糊、主運動、對齊、解析度精確度、運動軌跡、類似者或其組合)之改變，且因此可自先前圖像/切片比僅使用自先前及接下來圖像/切片之局部運動預測將預測做得更好。另外，由於在任何估計程序中可存在誤差，因此自多個過去或多個過去及未來圖像/切片，NGV編碼器可藉由明確補償各種特性之差異來選擇產生最佳之圖框。
在一些實例中，NGV編碼器可包括以下特徵：i. 對場景中的增益/亮度之改變之明確補償；ii.對場景中的模糊/清晰度之改變之明確補償；iii.對場景中的主運動之明確補償；iv.對場景中的對齊失配之明確補償；v.對場景中的解析度精確度之改變之明確模型；及/或vi.對場景中的運動軌 跡之改變之明確模型。
以下展示之表1及表2說明碼簿項之一個實例。項之全部碼簿可提供所有可能項及其編碼之全部或實質上全部列出。在一些實例中，碼簿可考量如以上所描述之約束。在一些實例中，用於預測模式及/或參考類型的與碼簿相關聯之資料可在位元串流中編碼，用於在如本文中所論述之解碼器處使用。
在操作中，NGV編碼器(例如，編碼器100及/或解碼器200)之所提議的實施可操作，使得可使用符號行程編碼或碼簿或類似者定義預測模式及/或參考類型資料。在各種實例中，可使用內容自適應或離散變換產生變換係數 來變換編碼預測模式及/或參考類型資料。亦如所論述，與分割區相關聯之資料(例如，變換係數或經量化變換係數)、附加項資料(例如，如本文中針對變換類型、自適應變換方向及/或變換模式所論述之指標)及/或定義分割區之資料等等可經編碼(例如，經由熵編碼器)至位元串流內。可將位元串流傳達至解碼器，解碼器可使用經編碼位元串流解碼視訊圖框，以用於顯示。基於局部(諸如，在巨集區塊或影像塊內之逐個區塊，或在影像塊或預測單元內之逐個分割區，或超片段或區內之片段)，例如，可至少部分基於速率失真最佳化(RDO)或至少部分基於視訊之預分析來選擇最佳模式，且可在位元串流內編碼用於模式及所需參考之識別符，用於由解碼器使用。
在操作中，除了關於經解碼過去及/或未來圖像/ 切片之通常局部運動補償外，NGV編碼器(例如，編碼器100及/或解碼器200)之所提議的實施亦可使用以上組件中之一或多者。因而，該實施並未批准(例如)用於任何特性補償之參考圖框產生的具體解決方案。
圖5為根據本發明之至少一些實施配置的用於執 行特性及運動補償之預測的一實例編碼器預測子系統330之例示性圖。如所說明，編碼器500之編碼器預測子系統330可包括經解碼圖像緩衝器119、變形分析器及產生模組120、合成分析器及產生模組121、運動估計器模組122及/或特性及運動補償之精確度自適應濾波預測器模組123。
如所示，品質分析器及品質恢復濾波之輸出可傳 輸至經解碼圖像緩衝器119。在一些實例中，品質分析器及品質恢復濾波之輸出可為可用於針對編碼其他圖框之預測的最終經重建構圖框(例如，最終經重建構圖框可為參考圖框或類似者)。在編碼器500中，預測操作可包括框間及/或框內預測。如圖5中所示，框間預測可由包括變形分析器及產生模組120、合成分析器及產生模組121及/或特性及運動補償之精確度自適應濾波預測器模組123之一或多個模組執行。
變形分析器及產生模組120可包括一變形類型分 析器(MTA)及經變形圖像產生器(MPG)510以及一經變形預測參考(MPR)緩衝器520。變形類型分析器(MTA)及經變形圖像產生器(MPG)510可分析當前圖像以判定關於其將編碼所藉之參考圖框或圖框的用於增益之改變、主運動之改變、對齊之改變及模糊之改變的參數。判定之變形參數可經量化/去量化，且用(例如，由變形分析器及產生模組120)以產生經變形參考圖框。此等產生之經變形參考圖框可儲存於經變形預測參考(MPR)緩衝器520中，且可由運動估計器模組122用於計算用於當前圖框之高效運動(及特性)補償之預測的運動向量。
合成分析器及產生模組121可包括一合成類型分 析器(STA)及合成之圖像產生器530以及一合成之預測參考(SPR)緩衝器540。合成類型分析器(STA)及合成之圖像產生器530可產生超解析度(SR)圖像及投射式內插(PI)圖像或類似者，用於判定用於此等圖框中的高效運動補償之預測之 運動向量。此等產生之合成之參考圖框可儲存於合成之預測參考(SPR)緩衝器540中，且可由運動估計器模組122用於計算用於當前圖框之高效運動(及特性)補償之預測的運動向量。
運動估計器模組122可至少部分基於經變形參考 圖框及/或超解析度(SR)圖像及投射式內插(PI)圖像連同該當前圖框產生運動向量資料。在一些實例中，運動估計器模組122可被考慮為框間預測模組。舉例而言，運動向量資料可用於框間預測。若應用框間預測，則特性及運動濾波預測器模組123可應用運動補償，作為如所論述的局部解碼迴路之部分。
圖6為根據本發明之至少一些實施配置的用於執 行特性及運動補償之預測的一實例解碼器預測子系統601之例示性圖。如所說明，解碼器600之解碼器預測子系統601可包括經解碼圖像緩衝器210、變形產生模組211、合成產生模組212及/或特性及運動補償之精確度自適應濾波預測器模組213。
如所示，品質恢復濾波模組之輸出可傳輸至經解 碼圖像緩衝器210。在一些實例中，品質恢復濾波模組之輸出可為可用於針對編碼其他圖框之預測的最終經重建構圖框(例如，最終經重建構圖框可為參考圖框或類似者)。如所論述，歸因於預測操作之補償可包括框間及/或框內預測補償。如所示，框間預測補償可由包括變形產生模組211、合成產生模組212及/或特性及運動補償之精確度自適應濾波 預測器模組213之一或多個模組執行。
變形產生模組211可包括一經變形圖像產生器 (MPG)610以及一經變形預測參考(MPR)緩衝器620。經變形圖像產生器(MPG)610可使用經去量化變形參數(例如，自輸入位元串流判定)以產生經變形參考圖框。此等產生之經變形參考圖框可儲存於經變形預測參考(MPR)緩衝器620中，且可由特性及運動補償之精確度自適應濾波預測器模組213使用。
合成產生模組212可包括一合成之圖像產生器 630以及一合成之預測參考(MPR)緩衝器640。合成之圖像產生器630可經組配以至少部分基於自輸入位元串流201判定之參數產生一或多個類型之合成之預測參考圖像(諸如，超解析度(SR)圖像及投射式內插(PI)圖像或類似者)。此等產生之合成之參考圖框可儲存於合成之預測參考(SPR)緩衝器640中，且可由運動補償之濾波預測器模組213使用。
若應用框間預測，則特性及運動補償濾波預測器 模組213可至少部分基於經變形參考圖框及/或超解析度(SR)圖像及投射式內插(PI)圖像連同該當前圖框應用運動補償。
圖7為根據本發明之至少一些實施配置的過去、 未來及投射式內插圖框之例示性圖。如所示，過去圖框701及未來圖框705可充當用於(重新)建構中間圖框702、703及/或704之參考圖框。過去圖框701可包括過去區塊709，且對應地，未來圖框705可包括未來區塊711，且中間圖框703可 包括中間區塊710。運動向量708可提供用於過去圖框701之過去區塊709過渡至未來圖框705之未來區塊711的資料。在本發明之一些實施中，中間運動向量706可提供用於過去圖框701之過去區塊709過渡至中間圖框703之中間區塊710的資料，及/或中間運動向量707可提供用於中間圖框703之中間區塊710過渡至未來圖框705之未來區塊711的資料。
投射式內插預測技術可用以使用在下一個圖框 中可用之所有經編碼資料(運動、模式、分割區等)及兩個圖框之經解碼像素在兩個參考(先前參考(I、P或F)圖框與下一個(I、P或F)參考圖框)之間產生圖框(PI圖框)。圖框之目標可為在不實際上編碼圖像之情況下提供中間圖像之最佳重建構。編碼附加項資訊之次要比例因數可用以引導產生變為最佳品質(與未引導之技術相比)。PI圖框可建構於編碼器及/或解碼器處。先前圖框通常可為在時間上過去之經編碼圖框，且下一個圖框通常可關於待內插之圖框在時間上在未來。通常藉由此配置來展示說明及演算法，且可互換使用術語，以用於解釋。然而，在複合圖框排序結構中，如在角錐形編碼之情況下，參考圖框可為任何2個先前經編碼圖框，且如本文中所使用之「先前圖框」不限於在時間上過去之經編碼圖框。PI圖框可在時間上在2個先前經編碼參考圖框之間。然而，在涉及複合圖框排序結構之實施中，PI圖框可不具有與2個先前經編碼參考圖框之預設定時間關係。當多個此參考對存在於參考緩衝器中時，可建構多個PI圖框。可選擇最佳參考圖框對，且可將對資訊傳輸至 解碼器。
不幸地，經典時間圖框內插技術通常為非引導的，且編碼解碼器察覺不到。此等技術可使用運動估計演算法且使用僅像素資料。對於典型解碼器而言，運動估計之複合度通常非常高，且不能夠發送導引資訊常導致較低品質。如MPEG-4、H264及HEVC之編碼解碼器可僅使用來自固定相對位置(例如，同置型區塊)之時間運動資料預測當前資料。
相反地，本文中論述的PI圖框技術中之一些可藉由使用先前經解碼運動資料來改良經典時間圖框內插技術之複合度。本文中論述之此等PI圖框技術可藉由使用合成之預測參數(投射比例因數)改良經典時間圖框內插技術之品質。本文中論述之此等PI圖框技術可藉由在編碼迴路中使用此內插之圖框來改良視訊編碼解碼器壓縮效率。
舉例而言，在NGV F圖框中，可將投射式內插預測用作經跳過區塊重建構。亦可將投射式內插用作合成之參考圖框(PI圖框)，且編碼器可將校正運動向量傳輸至圖框內，及/或每一區塊摻合PI圖框運動補償之(MC)預測與其他參考圖框的運動補償之(MC)預測。NGV編碼器可在使用PI預測及/或PI圖框MC預測校正其之後傳輸殘餘編碼資訊。NGV編碼器亦可將PI圖框用作針對未編碼圖像之規範性圖框重建構。
在一些實施中，本文中論述之PI圖框技術可針對各種使用一般化。舉例而言，本文中論述之PI圖框技術可 針對圖框速率上取樣而一般化，在文獻中常叫作FRU/FRC。可在視訊型實施之顯示或播放中進行此圖框速率上取樣。在此實施中，輸入圖框可僅為視訊之兩個連續圖像。可估計在視訊之此等兩個連續圖像之間的輸入運動場。若本文中論述之PI圖框技術以FRC/FRU實施，則可在視訊之此等兩個連續圖像之間產生許多中間圖像，且較高圖框速率之顯示可達成。在此情況下，在PI之時間位置處可不存在當前圖像或原始圖像或當前經編碼圖像，此係由於並不知曉其且本身可不將PI實施為參考圖像系統。
在再一實例中，本文中論述之PI圖框技術可針對另一編碼解碼器(例如，非NGV具體編碼解碼器)一般化。在此情況下，PI可使用經解碼圖像。運動向量場可為用於經解碼圖像中之一者的傳輸之運動向量。在此情況下，在PI之時間位置處可能不存在當前圖像或原始圖像或當前經編碼圖像。在此實施中，本文中論述之PI圖框技術可用於圖框速率上取樣、丟失之圖框或未經編碼圖框之產生，在此實例中，本文中論述之PI圖框技術本身可產生參考圖像。
在另一實例中，本文中論述之PI圖框技術可針對在以類似於本文中描述之NGV編碼解碼器的方式整合之另一編碼解碼器中使用而一般化。在此情況下，輸入圖像可為來自經解碼圖像緩衝器(例如，DPB)之經解碼參考圖像。類似地，輸入運動向量可來自參考圖像運動緩衝器。在此實施中，可存在當前經編碼圖像。無論如何，此編碼解碼 器可使用本文中論述之PI圖框技術的所有或部分。在此實例中，如本文中所論述之PI圖框不必為編碼解碼器中之參考圖像。舉例而言，PI圖框或PI圖框之部分可為此編碼解碼器中之非參考圖像。
在再一實例中，本文中論述之PI圖框技術可針對一NGV具體編碼解碼器一般化。在此實例中，本文中論述之PI圖框技術可使用來自經解碼圖像緩衝器(例如，DPB)之經解碼參考圖像。本文中論述之PI圖框技術可使用來自參考圖像運動緩衝器之運動向量場。在此實例中，在編碼器處可存在用於PI軌跡分析器及PI選擇器決策之當前圖像。可將PI圖框用作用於經編碼之當前圖像的參考圖像。
圖9a為根據本發明之至少一些實施配置的用於執行投射式內插預測的一實例編碼器預測子系統900之例示性圖。如所說明，編碼器預測子系統900可包括經解碼圖像緩衝器119、變形分析器及產生模組120、合成分析器及產生模組121。在所說明之實施中，合成分析器及產生模組121可包括一PI參考圖像子系統904。舉例而言，PI參考圖像子系統904可包括投射軌跡分析器模組906、合成類型分析器(STA)及合成之圖像產生器530的投射圖框產生器模組908、PI圖框選擇器910及/或合成之預測參考(SPR)緩衝器540的PI圖框緩衝器模組912。
在所說明之實施中，PI參考圖像子系統904可經組配以產生投射式內插(PI)圖像或類似者，用於判定用於此等圖框中之高效運動補償之預測的運動向量。此等產生之 投射式內插(PI)參考圖框可儲存於合成之預測參考(SPR)緩衝器540中，且可由運動估計器模組122(例如，見圖1)用於計算用於當前圖框之高效運動(及/或特性)補償之預測的運動向量。
舉例而言，在所說明之實施中，PI參考圖像子系 統904之投射軌跡分析器模組906部分可經組配以藉由分析輸入圖框及過去及未來經解碼預測參考圖框(dec pic)來判定運動比例因數及平移因數。
在所說明之實施中，PI參考圖像子系統904之投 射圖框產生器模組908可經組配以建立投射式運動場及投射遮罩，且可建立多個候選PI圖框。舉例而言，投射圖框產生器模組908可藉由摻合藉由經由第一摻合因數(例如，BlendFactor1)加權的運動補償之過去圖框與藉由經由第二摻合因數(例如，BlendFactor2)加權的另一運動補償之未來圖框、求和且按比例調整來建立複數個候選PI圖框。
在所說明之實施中，PI參考圖像子系統904之PI 圖框選擇器910可經組配以自候選者選擇最佳PI圖框，且產生對應於所選擇的按比例調整因數之信號(例如，syp信號)。
在所說明之實施中，PI參考圖像子系統904之PI 圖框緩衝器模組912可經組配以儲存選定最佳PI圖框。舉例而言，選定最佳PI圖框可接著由運動估計器122(例如，見圖1)用作參考圖像，作為在隨後圖像之編碼期間的輸入。
參看圖1及圖9a兩者，將在圖1之次世代視訊編碼 器100之上下文內論述用於執行投射式內插預測的圖9a之實例編碼器預測子系統900之操作。如上文所論述，在操作中，可將待壓縮之視訊輸入至內容預分析器102內，且接著至自適應圖像結構組織器104內。內容預分析器102可執行正經編碼的場景之分析，從而在其輸出端處提供關於場景改變之資訊(scnchg)、關於時間複合度之資訊(tpcpx)、關於空間複合度之資訊(spcpx)、關於時間預測距離之資訊(pdist)及其他。另外，在內容預分析器102之輸出處的原始視訊圖框可輸入至自適應圖像結構組織器104內，自適應圖像結構組織器104可輸出指示圖像群組結構(pgst)及相應地群組中的每一圖像之圖像類型(ptyp)以及按需要之編碼次序中的經重排序之圖像之控制信號。為了參考，NGV編碼使用3個圖像類型-I(框內)、P(預測性)及F(功能)圖像。F圖像可為無關聯的，且需要圖框之重排序，以用於在編碼器處之編碼(及在解碼器處之顯示)。
可將待編碼之圖框劃分成叫作影像塊之處理單 元。可利用兩個影像塊大小-32×32及64×64，其中64×64大小用於針對所有圖像類型(I、P或F)之編碼及針對所有大小之I及F圖像之編碼的所有標準定義及較高大小視訊，而32×32大小可用於較低解析度序列之P圖像。
若正經編碼之圖像可為I圖像，則可在預測分割 區產生器105中將每一影像塊進一步劃分成基於KdTree之分割區，基於KdTree之分割區可一次將一維中之空間(直至可達到最小大小)劃分成無進一步劃分、成兩個相等半部分 之劃分、成空間之兩個部分1/4及3/4之劃分或成可為空間之3/4及1/4之兩個發之劃分。因此，在將64×64用作最大大小(且允許最小大小4×4)之I圖像的情況下，若不可強加其他約束，則可產生影像塊之非常大的數目個分割。舉例而言，可置於64×64影像塊之約束可為，已預先決定第一對切割將每一維度中之空間一分為二。此等於開始於64×64且將其劃分成32×32大小子影像塊，且接著藉由KdTree分割將每一32×32再分割；其他限制亦可為可能的，以減少組合之數目。 I圖像影像塊之此等分割區可被稱作預測分割區，此係因為每一影像塊分割可用於空間預測(方向角預測或其他類型之預測)及預測差異之編碼。同樣地，P圖像影像塊亦可以此方式分割以用於預測。在P圖像之情況下的警告可為，對於較低分辨率，P圖像分割區開始於32×32影像塊，且可不使用基於KdTree之分割區，而相反地，可使用較簡單的B樹分割。雙樹分割在兩個維度之間交替地、一次一個維度地將空間劃分成僅2個相等部分。
另外P圖像分割區可主要使用運動(具有一或多 個參考)而非空間預測來預測，但一些子分割區可使用框內空間預測，亦可經支援以處理(例如)未覆蓋之背景。對於至較高圖像大小之標準定義，P圖像開始於僅64×64影像塊大小。最後，F圖像亦使用雙樹分割，使用64×64影像塊大小用於產生主要使用運動(具有一或多個分割區)之預測分割區，但一些子分割區亦可使用空間預測(用於框內編碼)。在NGV編碼中，對於框間預測之產生，可比僅使用運動向量 產生預測存在更多，且可在其他處論述。在P及F圖像編碼中，可藉由包括一預測模式(跳過、自動、框間、多及框內)來識別每一子分割區之預測。預測分割區產生器105之輸出可不誇張地為影像塊之數百個潛在分割(或多或少，取決於所置之限制)。可將此等分割標索引為1...m，且可將其提供至編碼控制器103以選擇最佳可能預測分割。
分割之原始區塊可由(例如)差異106與區塊(預測 區塊之產生之細節可在稍後論述)差異化，以判定是否可存在值得編碼之任何殘餘信號。因此，實際上並不需要編碼(使用變換編碼)影像塊之所有子分割區，此係因為對於某些子分割區，預測可已足夠。
不能由預測單獨補償之分割區需要進一步子分 割成較小分割區以用於變換編碼。用於P及F圖像，用於編碼之此子分割可使用編碼分割區產生器107來實現，編碼分割區產生器107將雙樹分割用於需要進一步劃分的預測差異分割區之編碼，其他者可僅藉由運動補償來編碼。在P或F圖像中，僅在一些情況下(非常簡單內容及/或大量化器步驟大小)，編碼分割區可等於整個影像塊之大小-由預測分割區在此等情況下使用之相同大小。因此，一些P及F圖像影像塊可不含有編碼分割、含有一個編碼分割或多個編碼分割。可將此等分割標索引為1...n，且可將其提供至編碼控制器103以自給定選擇項選擇預測與編碼分割之最佳可能組合。關於I圖像影像塊，可存在僅預測分割，接著為實際變換編碼，本身無進一步編碼分割，或換言之，可跳 過編碼分割。
編碼控制器103之執行量化器調適的接下來兩個 區塊(自適應變換108及自適應量化109)及部分在圖3(a)中共同地被稱作變換編碼器子系統340a，且可接下來加以描述。
分割(在針對I圖像之預測分割區及針對P及F圖 像之編碼分割區後)經歷自適應變換108單元中之變換編碼，自適應變換108單元對矩形區塊執行轉遞混合PHT變換或轉遞DCT變換。對於HPHT變換，可支援小至中等區塊大小，而對於DCT變換，可支援大量區塊大小。分割區/區塊大小以及使用之變換(HPHT對DCT)的選擇可取決於RDO分析之結果。對於HPHT變換，可能需要一些附加項來識別在正交方向上應用PHT時可應用DCT之方向(水平或垂直)，以及模式(至少針對框內編碼，其中模式可基於經解碼像素或預測差異像素)。用於變換特定區塊之實際PHT變換基礎可為內容自適應性，此係因為其取決於經解碼相鄰像素。由於編碼器及解碼器皆需要同一基礎矩陣之計算，因此可藉由允許吾人可選自的有限數目個已知(為編碼器及解碼器已知)良好變換來將計算之複合度保持得低。關於編碼控制器103中之量化器配接器，其執行內容之分析以提出可接著由多層映射表示之局部自適應量化參數，多層映射可經高效編碼且包括於位元串流中。計算之量化器集合(qs，及應用於係數區塊之矩陣)可由自適應量化109單元用以執行係數之按比例調整。
需要發送至解碼器之各種信號及資料項(亦即， pgst、ptyp、prp、pptn、cptn、模式、reftype、ethp、xmtyp、xmdir、xmmod、idir、mv、qs、mop、syp、ddi、qri、api、fii、定量係數及其他)可接著由內容及上下文自適應熵編碼器110熵編碼，內容及上下文自適應熵編碼器110實際上包括七個不同熵編碼器，其在圖1中共同地被稱作熵編碼器。
圖1之編碼器可包括在編碼器中之一局部解碼迴 路。然而，需要進行一重要的觀測，取決於RDO可正操作之方式，可能不需要充分編碼影像塊之數百或更多個分割中之所有者(有時，位元計數之查詢可為足夠的)。然而在可判定影像塊之最佳分割後，當然在彼情況下，充分編碼可為必要的。解碼迴路中之首先兩個單元可為自適應反量化112及自適應反變換113(共同地被稱作變換解碼器子系統370a)。自適應反量化112之操作可與自適應量化器109單元相反，且基本上其將按比例調整之變換係數(有損過程)去調整。另外的自適應反變換113反轉經解量化變換係數區塊以產生經重建構預測差異像素之區塊。對於P及F圖像，經解碼像素差異區塊可由編碼分割區組譯器114按正確的次序重新組譯。對於I圖像影像塊分割，可跳過編碼分割區重新組譯過程。接下來，在編碼器中之局部解碼迴路中，可使用加法器115將預測信號(框間或框內)添加至經解碼分割區，且在加法器之輸出端處的經重建構分割區可由預測分割區組譯器116組譯。
接下來的幾個操作通常涉及濾波，且混合有濾波 及預測產生。具體言之，經重建構分割區可由重建構方塊效應分析器及DD濾波產生器117解區塊及抖動；用於分析之參數ddi可用於濾波操作，且亦可經編碼且經由位元串流發送至解碼器。經解區塊之重建構輸出可接著移交至品質改良濾波器(此處被稱作重建構品質分析器及QR濾波產生器118)，該品質改良濾波器計算QR濾波參數且將其用於濾波。此等參數亦可經編碼且經由位元串流發送至解碼器。 經QR濾波之輸出可為最終經重建構圖框，其亦可被用作用於編碼未來圖框之預測。
預測過程可包括兩個主要類型之預測：框間預測 及框內預測。圖1中之框間預測可對應於一堆組件，諸如，特性及運動AP濾波器分析器及1/4及1/8像素補償之預測器、運動估計器4×4區塊至1/4及1/8 pelAcc 122、變形產生器及LocBuf、合成產生器及圖像緩衝器、變形分析器及產生器120及合成分析器及產生器121。NGV編碼解碼器使用若干類型之變形產生允許補償增益、主運動、對齊、模糊(在運動補償之預測前)以及若干類型之合成之圖框(其中有SR(超解析度)圖像、PI(投射式內插)圖像)的局部緩衝器/預測圖像，其中運動補償之預測可導致甚至更高增益。變形分析器及產生器120藉由計算關於其可經編碼所藉之參考圖框的用於增益之改變、主運動之改變、對齊之改變及模糊之改變的參數來執行當前圖像之分析之任務。計算之mop參數可經量化/經解量化且用以產生經變形參考圖框，經變形參考圖框可由運動估計器用於計算用於當前圖框之高效運動(及 特性)補償之預測的運動向量。同樣，合成分析器及產生器121執行分析之任務，用於產生用於運動之SR圖像及PI圖像(例如，經由PI參考圖像子系統904)，用於由運動估計器用於計算用於此等圖框中的高效運動補償之預測之運動向量。
如上文所論述，在操作中，運動估計器122可對 區塊(其接著用以形成分割區)執行運動估計，從而導致分割區之運動向量，分割區之運動向量可接著提供至特性及運動補償之濾波預測器123以產生關於PI圖框的運動補償之分割區預測(例如，如經由PI參考圖像子系統904產生)，且可輸入至預測模式及參考類型分析器125以基於分割區自PI選擇項以及其他合成之預測及經變形預測選擇項以及框內預測選擇項選擇最佳預測。預測模式及參考類型分析器125之輸出可不僅包括最佳預測，且亦包括需要編碼且發送至解碼器之對應的運動向量。運動向量、模式及參考資訊亦可經編碼且包括於位元串流中。產生之預測可由NGV編碼器用以與原始信號有差異，接著為變換編碼及熵編碼，接著為變換解碼，且將預測添加回以產生經解碼圖像，因此使編碼迴路完整。
框內預測可藉由經由空間方向預測來執行，且使 用經解碼相鄰分割區，且由於此處發生方向之分析及預測之實際產生兩者，因此其可在此處被稱作框內方向預測分析器及預測產生器124。
預測模式及參考類型分析器125允許自「跳過」、 「自動」、「框間」、「多」及「框間」當中針對影像塊之每一分割區選擇預測模式，所有預測模式皆適用於P及F圖像；此可展示於表11中。除預測模式外，其亦允許選擇可取決於「框間」或「多」模式而不同以及用於P及F圖像之參考類型；參考類型之詳細清單可展示於表12(a)及12(b)(針對P圖像)及表13(a)、13(b)、13(c)及13(d)(針對F圖像)中。
表13(a) 用於F圖像中之影像塊之具有「框間」模式的分割區之參考類型
在預測模式及參考類型分析器及選擇器125之輸 出端處的預測信號可由單元預測融合分析器及FI濾波產生器126濾波，單元預測融合分析器及FI濾波產生器126首先 分析以判定用於此濾波之參數(濾波係數、頻率、附加項)且接著實際上執行此濾波。濾波預測信號之目的可為融合表示不同模式(亦即，框內、框間、多、跳過及自動)的不同類型之信號。由於通常框內預測信號看起來非常不同於所有其他類型之框間信號，因此恰當濾波可為對編碼效率之大貢獻者。濾波參數fii可在位元串流111中編碼，用於由解碼器使用。經濾波預測形成至差異115之第二輸入，差異器115計算較早論述的用於編碼之預測差異信號。又，同一經濾波預測信號形成至加法器106之第二輸入，加法器106之第一輸入可為經量化/經解量化之經解碼差異信號。
最後，上下文及內容自適應熵編碼器110可用以 編碼各種類型之控制資料/信號、參數、模式及參考類型、運動向量及變換係數。其可基於叫作自適應可變長度編碼器(vlc)之一般類別之低複合度熵編碼器。待熵編碼之資料可劃分成若干個種類(在吾人之情況下，7個)，且自一般vlc編碼器開始，可針對每一種類開發專業化編碼器。
圖9b為根據本發明之至少一些實施配置的用於 執行投射式內插預測的一實例編碼器預測子系統900之例示性圖。如所說明，編碼器預測子系統900可包括經解碼圖像緩衝器119、參考圖像運動模式儲存器926及/或PI參考圖像子系統904。
如所示，品質分析器及品質恢復濾波之輸出可傳 輸至經解碼圖像緩衝器119。在一些實例中，品質分析器及品質恢復濾波之輸出可為可用於針對編碼其他圖框之預測 的最終經重建構圖框(例如，最終經重建構圖框可為參考圖框或類似者)。
如上文所論述，PI參考圖像子系統904可包括投 射軌跡分析器模組906、投射圖框產生器模組908及/或PI圖框選擇器910。
在所說明之實例中，投射圖框產生器模組908可 包括運動投射器模組927、投射擴張模組928、運動再投射器模組929及/或經時間加權運動補償器模組930。
在操作中，經解碼圖像(dec pic)可輸入至經解碼 圖像緩衝器119且可由包括投射軌跡分析器模組906、投射圖框產生器模組908及PI圖框緩衝器模組912之PI參考圖像子系統904使用。投射軌跡分析器模組906可經組配以藉由分析輸入之過去及未來參考圖框來判定運動比例因數及平移因數。舉例而言，投射軌跡分析器模組906可經組配以至少部分基於來自經解碼圖像緩衝器119之經解碼預測參考圖像產生投射比例因數候選。
在操作中，投射圖框產生器908可經組配以至少 部分基於個別投射比例因數候選產生一或多個PI圖框。舉例而言，投射圖框產生器908之運動投射器模組927可經組配以至少部分基於投射與個別投射比例因數候選相關聯之接下來參考運動向量來產生投射式運動場及投射遮罩。投射圖框產生器908之投射擴張模組928可經組配以閉合投射式運動場中之潛在開口。此潛在開口將在下文關於圖11更詳細地論述。投射圖框產生器908之運動再投射器模組929 可經組配以修正投射式運動場中之潛在閉塞。下文將關於圖11更詳細地論述此等潛在閉塞。投射圖框產生器908之經時間加權運動補償器模組930可經組配以經由經時間加權運動補償產生一或多個PI圖框。舉例而言，投射圖框產生器908之經時間加權運動補償器模組930可藉由摻合藉由按BlendFactor1對其加權的運動補償之過去圖框與藉由按BlendFactor2對其加權的另一運動補償之未來圖框、求和且按比例調整來建立運動場及PI圖框。
在操作中，PI圖框選擇器910可經組配以自該一 或多個PI圖框選擇最佳PI圖框。舉例而言，PI圖框選擇器910可經組配以計算候選PI圖框與輸入圖框之間的誤差(例如，mse、sad及/或類似者等)以選擇具有最低誤差之最佳PI圖框。
最佳PI圖框可接著由運動估計器(例如，見圖1之 項122)用作參考圖像，在運動估計器之另一輸入端的為待編碼之下一個圖像。另外，與最佳PI圖框相關聯之比例因數可傳輸至解碼器。
在一些實施中，編碼器預測子系統900可被考慮為根據以下演算法操作：投射式內插圖框編碼器演算法
1. 使用投射軌跡分析器(例如，見補充1，下文更詳細地描述)產生投射比例因數候選
2. 針對每一候選投射圖框產生器產生PI圖框使用
a. 藉由使用運動投射器(例如，見補充2，下文更詳細 地描述)投射接下來參考運動向量來產生投射式運動場及投射遮罩
b. 使用投射擴張(例如，見補充3，下文更詳細地描述)閉合投射式運動場中之開口
c. 使用運動再投射器(例如，見補充4，下文更詳細地描述)修復投射式運動場中之閉塞
d. 藉由使用經時間加權運動補償器(例如，見補充5，下文更詳細地描述)之運動補償及摻合來產生PI圖框
3. 使用PI圖框選擇器選擇最佳PI圖框。
a. 計算候選PI圖框與輸入圖框之間的誤差(mse、sad等)以選擇具有最低誤差之PI圖框。
b. 將比例因數傳輸至解碼器。
圖10a為根據本發明之至少一些實施配置的用於 執行投射式內插預測的一實例解碼器預測子系統1000之例示性圖。如所說明，解碼器預測子系統1000可包括經解碼圖像緩衝器模組210、變形分析器及產生模組211、合成分析器及產生模組212及/或PI參考圖像產生器及緩衝器模組1004。在所說明之實施中，合成分析器及產生模組221可包括一PI參考圖像子系統1004。舉例而言，PI參考圖像子系統1004可包括合成之圖像產生器630的投射圖框產生器模組1008，及/或合成之預測參考(SPR)緩衝器540的PI圖框緩衝器模組1012。
如所示，品質恢復濾波模組(例如，見圖2之項209) 之輸出可傳輸至經解碼圖像緩衝器210。在一些實例中，品 質恢復濾波模組之輸出可為可用於針對編碼其他圖框之預測的最終經重建構圖框(例如，最終經重建構圖框可為參考圖框或類似者)。如所論述，歸因於預測操作之補償可包括框間及/或框內預測補償。如所示，框間預測補償可由包括變形產生模組211及/或合成產生模組212之一或多個模組執行。
變形產生模組211可包括一經變形圖像產生器 (MPG)610以及一經變形預測參考(MPR)緩衝器620。經變形圖像產生器(MPG)610可使用經去量化變形參數(例如，自輸入位元串流判定)以產生經變形參考圖框。此等產生之經變形參考圖框可儲存於經變形預測參考(MPR)緩衝器620中，且可由特性及運動補償之精確度自適應濾波預測器模組213使用。
合成產生模組212可包括一合成之圖像產生器 630以及一合成之預測參考(SPR)緩衝器640。合成之圖像產生器630可經組配以至少部分基於自輸入位元串流(例如，見圖2之項201)判定之參數產生一或多個類型之合成之預測參考圖像，諸如，超解析度(SR)圖像及投射式內插(PI)圖像或類似者。此等產生的合成之參考圖框可儲存於合成之預測參考(SPR)緩衝器640中。
PI參考圖像產生器及緩衝器模組1004可包括合 成之圖像產生器630的投射圖框產生器模組1008及合成之預測參考(SPR)緩衝器640的PI圖框緩衝器模組1012。
在操作中，若應用框間預測，則特性及運動補償 濾波預測器模組213可至少部分基於經變形參考圖框及/或超解析度(SR)圖像及投射式內插(PI)圖像連同當前圖框應用運動補償。經解碼圖像(dec pic)可輸入至經解碼圖像緩衝器119，且由包括一投射圖框產生器模組1008及PI圖框緩衝器模組1012之PI參考圖像子系統1004使用。投射圖框產生器模組1008可使用接收之比例因素參數(syp)將未來運動場按比例調整，修復閉塞及開口，且可產生對應於過去圖像及未來圖像之運動場。可藉由將過去運動補償之圖像按BlendFactor1加權、按BlendFactor2加權運動補償之未來圖框、求和且按比例調整來摻合過去運動補償之圖像。經摻合圖框可儲存至PI圖框緩衝器模組1012內，且接著由特性及運動補償濾波預測器(例如，見圖2之項213)用作參考圖像。
在此實施之解碼器側上，解碼器可不包括運動估 計器或模式分析，而取而代之，使用由編碼器發送之運動向量連同其他資訊(諸如，指示由圖框之每一分割區使用的預測模式及參考之模式及參考資訊以及預測差異之經編碼對應的變換)。產生之預測由NGV解碼器用以添加至經解碼預測差異信號，因此使解碼迴路完整。
圖10b為根據本發明之至少一些實施配置的用於 執行投射式內插預測的一實例解碼器預測子系統1000之例示性圖。如所說明，解碼器預測子系統1000可包括經解碼圖像緩衝器模組210及/或PI參考圖像產生器及緩衝器模組1004。PI參考圖像產生器及緩衝器模組1004可包括投射圖框產生器模組1008。投射圖框產生器模組1008可包括運動 投射器模組1027、投射擴張模組1028、運動再投射器模組1029及/或經時間加權運動補償器模組1030。
在所說明之實例中，解碼器側投射圖框產生器模 組1008(以及相關聯之運動投射器模組1027、投射擴張模組1028、運動再投射器模組1029及/或經時間加權運動補償器模組1030)可以與編碼器側投射圖框產生器模組908(例如，見以上圖9a及圖9b)相同或類似之方式操作。
在一些實施中，解碼器預測子系統1000可被考慮為根據以下演算法操作：投射式內插圖框解碼器演算法
1. 自位元串流讀取投射比例因數
2. 使用投射圖框產生器產生PI圖框
a. 藉由使用運動投射器(例如，見補充2，下文更詳細地描述)投射接下來參考運動向量來產生投射式運動場及投射遮罩
b. 使用投射擴張(例如，見補充3，下文更詳細地描述)閉合投射式運動場中之開口
c. 使用運動再投射器(例如，見補充4，下文更詳細地描述)修復投射式運動場中之閉塞
d. 使用經時間加權運動補償器(例如，見補充5，下文更詳細地描述)產生PI圖框運動補償及摻合
圖11為用於投射式內插圖框的一實例演算法1100之操作之例示性圖。在操作中，實例演算法可包括步驟說明1100A至1100E。在圖11中的步驟說明1100A至1100E 中之每一者中，相同地標註相似元件。舉例而言，因而在圖11之步驟說明1100A至1100E中之每一者中識別過去圖框1101。
步驟說明1100A可包括過去圖框1101、投射式圖 框1102及具有運動之未來圖框1103。過去圖框1101可包括一前景目標1151。具有運動之未來圖框1103可包括一前景目標1152、背景運動向量1153、背景運動向量1154、目標運動向量1155及經框內編碼背景1156。步驟說明1100A可表示用於投射式內插預測之初始條件。
步驟說明1100B可包括來自步驟說明1100A之元 件，出於簡潔起見，此處不重述。步驟說明1100B亦可包括投射式圖框1102之開口1157、開口1158及/或閉塞1159。步驟說明1100B可展示用於投射式內插預測的運動向量之投射。
步驟說明1100C可包括來自步驟說明1100A至 1100B之元件，出於簡潔起見，此處不重述。步驟說明1100C亦可包括投射式圖框1102之經填充開口1160及/或經填充開口1161。步驟說明1100C可展示在用於投射式內插預測之投射式運動場中的開口之閉合。
步驟說明1100D可包括來自步驟說明1100A至 1100C之元件，出於簡潔起見，此處不重述。步驟說明1100D亦可包括固定閉塞1162及/或經填充開口區域1163之有效未來運動之再投射。步驟說明1100D可展示在用於投射式內插預測之投射式運動場中的閉塞之修復。
步驟說明1100E可包括來自步驟說明1100A至 1100D之元件，出於簡潔起見，此處不重述。步驟說明1100E亦可包括僅過去運動補償1164、僅未來運動補償1165、摻合運動補償1166及/或摻合運動補償1167。步驟說明1100E可展示用於投射式內插預測之運動補償及摻合。
圖11之實例演算法亦可被考慮為進行以下程序：(補充1)使用投射軌跡分析器產生投射比例因數
1. 判定用於投射至當前圖框之經傳輸運動向量的比例因數(xSF,ySF)、(xSP,ySP)及平移因數(xTF,yTF)、(xTP,yTP)候選。
￮ 使用運動估計器關於參考對尋找用於當前圖框之真實運動
￮ 使用使真實運動與接下來參考運動場之間的誤差最小化之最小平方估計來產生比例因數候選。
￮ 使用TR_ProjwrtTR_Futr及TR_Past之線性按比例調整產生比例因數候選。
圖19為說明根據本發明之至少一些實施配置的 一實例編碼過程1900之流程圖。過程1900可包括一或多個操作、功能或如由一或多個操作說明之動作。過程1900可形成次世代視訊編碼過程之至少部分。作為非限制性實例，過程1900可形成如由圖1之編碼器系統100及/或本文中描述之任何其他編碼器系統或子系統進行的次世代視訊編碼過程之至少部分。
過程1900可開始於操作1902，「經由合成分析器 及合成之圖像產生及緩衝器模組產生複數個基於投射式內插之參考圖像」，其中可產生複數個基於投射式內插之參考圖像。舉例而言，合成分析器及合成之圖像產生及緩衝器模組可產生複數個基於投射式內插之參考圖像。
過程可在操作1900處繼續，「產生與當前圖像之 預測分割區相關聯的運動資料」，其中可產生與當前圖像之預測分割區相關聯的運動資料。舉例而言，可至少部分基於複數個基於投射式內插之參考圖像中之一或多者經由運動估計器模組產生與當前圖像之預測分割區相關聯的運動資料。
過程1900可在操作1906處繼續，「執行運動補償」， 其中可執行運動補償。舉例而言，可至少部分基於運動資料及投射式內插預測參考圖像經由特性及運動補償濾波預測器模組執行運動補償，以產生用於預測分割區的預測之分割區資料。
圖20為說明根據本發明之至少一些實施配置的 一實例編碼過程2000之流程圖。過程2000可包括一或多個操作、功能或如由一或多個操作說明之動作。過程1900可形成次世代視訊編碼過程之至少部分。作為非限制性實例，過程1900可形成如由圖1之編碼器系統100及/或本文中描述之任何其他編碼器系統或子系統進行的次世代視訊編碼過程之至少部分。
過程2000可開始於操作2002，「接收兩個或兩個 以上輸入圖框」，其中可接收兩個或兩個以上輸入圖框。舉例而言，投射式內插參考圖像子系統可自經解碼圖像緩衝器接收兩個或兩個以上輸入圖框。在一些實施中，該兩個或兩個以上輸入圖框可包括先前及隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，先前及隨後輸入圖框確實具有關於候選投射式內插參考圖框的預設定之各別過去及未來預設定時間關係。在其他實施中，該兩個或兩個以上輸入圖框可包括當經由複合圖框排序結構處理編碼時不具有與候選投射式內插參考圖框之預設定各別過去及未來時間關係的先前及隨後輸入圖框。
過程2000可在操作2004處繼續，「接收與輸入圖 框相關聯之輸入運動向量資料」，其中可接收與輸入圖框相關聯之輸入運動向量資料。舉例而言，可經由投射式內插參考圖像子系統接收與輸入圖框相關聯之輸入運動向量資料。另外，除了接收之運動向量資料外，亦可接收與輸入圖框相關聯之參考預測模式資料，其中參考預測模式資料可包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內、類似者或其組合。
過程2000可在操作2006處繼續，「產生一個輸出 投射式內插圖框之至少部分」，其中可產生一個輸出投射式內插圖框之至少部分。舉例而言，可藉由至少部分基於接收之兩個或兩個以上輸入圖框以及輸入運動向量資料產生投射式運動向量場來產生一個輸出投射式內插圖框之至少部分。
操作2006可包括如下所述之若干操作，包括操作 2008、操作2010及/或操作2012。舉例而言，可經由投射式內插參考圖像子系統之投射圖框產生器模組執行一個輸出投射式內插圖框之至少部分之產生。一個輸出投射式內插圖框之至少部分的此產生可包括除了至少部分基於接收之兩個或兩個以上輸入圖框外，亦至少部分基於判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框。
過程2000可在操作2008處繼續，「按比例調整及 平移輸入運動向量場」，其中可按比例調整及平移輸入運動向量場。舉例而言，可至少部分基於輸入運動向量資料以及判定之運動比例因數及平移因數按比例調整及平移輸入運動向量場。
舉例而言，輸入運動向量場之按比例調整及平移 可至少部分基於輸入運動向量資料以及判定之運動比例因數及平移因數。此按比例調整及平移可包括至少部分基於個別運動比例因數及平移因數候選計算一或多個未來候選按比例調整之投射運動向量。
過程2000可在操作2010處繼續，「計算投射式內 插圖框中之投射位置」，其中可計算投射式內插圖框中之投射位置。舉例而言，可至少部分基於經按比例調整及平移輸入運動向量場計算投射式內插圖框中之投射位置。
舉例而言，投射式內插圖框中的投射位置之計算可至少部分基於經按比例調整及平移輸入運動向量場。投 射位置之此計算可包括至少部分基於當前投射式內插參考圖框中的計算之個別未來候選經按比例調整投射運動向量計算當前投射式內插參考圖框中之個別投射位置。
過程2000可在操作2012處繼續，「插入計算之經 按比例調整及平移運動向量中的至少兩者」，其中可插入計算之經按比例調整及平移運動向量中的至少兩者。舉例而言，可在計算之投射位置處插入計算之經按比例調整及平移運動向量中的至少兩者。
舉例而言，在計算之投射位置處的計算之經按比 例調整及平移運動向量中的至少兩者之插入可包括當計算之個別投射位置空時插入計算之過去及未來候選經按比例調整投射運動向量。
過程2000可在操作2014處繼續，「執行運動補償 之加權摻合」，其中可執行運動補償之加權摻合。舉例而言，可至少部分基於投射式運動向量場至少部分基於對輸入圖框中之至少兩者之運動補償之加權摻合來產生一個投射式內插圖框之至少部分。
在一些實施中，可經由投射圖框產生器模組之經 時間加權運動補償器模組進行一個投射式內插圖框之至少部分的產生，以至少部分基於與在摻合過程中使用之一或多個摻合因數相關聯的一或多個加權因數產生該一或多個候選投射式內插參考圖框之個別區塊。此摻合過程可組合輸入圖框之先前運動補償之區塊、輸入圖框之隨後運動補償之區塊或輸入圖框之一對先前與隨後區塊之經時間加權 運動摻合。在此等實施中，先前及隨後運動補償之區塊可具有當經由複合圖框排序結構處理編碼時關於候選投射式內插參考圖框之預設定各別過去及未來預設定時間關係。 在其他實施中，當經由複合圖框排序結構處理編碼時，先前及隨後運動補償之區塊可不具有與候選投射式內插參考圖框之預設定各別過去及未來時間關係。
此等摻合因數可包括以下參數中之一或多者：作 為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數。如下文將更詳細地描述，此經時間加權運動補償可包括用該一或多個摻合因數中之第一摻合因數加權該等輸入圖框之先前運動補償之區塊；用該一或多個摻合因數中之第二摻合因數加權該等輸入圖框之未來運動補償之區塊；及/或藉由求和及按比例調整來摻合加權過去與未來運動補償之區塊。
在操作中，在一些編碼器實施中，過程2000可進 一步包含至少部分基於接收之兩個或兩個以上輸入圖框，經由投射式內插參考圖像子系統之投射軌跡分析器模組部分判定一或多個運動比例因數及平移因數，用於在投射至當前候選投射式內插參考圖框之輸入運動向量資料過程中使用；其中經由投射圖框產生器模組產生該一或多個候選投射式內插參考圖框可至少部分基於個別投射運動比例因數及平移因數候選(例如，包括：經由運動估計器模組判定關於接收之兩個或兩個以上輸入圖框編碼的當前圖框之真 實運動；至少部分基於使關於接收之輸入圖框的當前圖框之真實運動與相關聯於接收之兩個或兩個以上輸入圖框的輸入運動向量資料之間的誤差最小化之最小平方估計產生該一或多個運動比例因數及平移因數候選之至少一部分；及至少部分基於關於接收之兩個或兩個以上輸入圖框的當前圖框之時間位置之線性按比例調整來產生該一或多個運動比例因數及平移因數候選之至少一部分。
另外，在過程2000之一些編碼器實施中，投射式 運動向量場之產生可經由投射圖框產生器模組之運動投射器模組部分執行。舉例而言，投射式運動向量場之產生可包括：至少部分基於投射與個別運動比例因數及平移因數候選相關聯之輸入運動向量資料來除了投射式運動向量場之外亦產生投射遮罩；經由投射圖框產生器之投射擴張模組閉合產生之投射式運動向量場中之潛在開口；及藉由重新插入有效運動向量以修復潛在閉塞來經由投射圖框產生器之運動再投射器模組修復投射式運動向量場中之潛在閉塞。投射遮罩之產生可包括若干操作(例如，包括，其中至少部分基於輸入運動向量資料以及判定之運動比例因數及平移因數按比例調整及平移輸入運動向量場包括：至少部分基於個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於經按比例調整及平移輸入運動向量場計算投射式內插圖框中之投射位置包括：至少部分基於當前投射式內插參考圖框中的計算之個別未來候選經按比例調整投射運動向量計算 當前投射式內插參考圖框中之個別投射位置；至少部分基於個別運動比例因數及平移因數候選及基於計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在計算之投射位置處插入計算之經按比例調整及平移運動向量中之至少兩者包括：當計算之個別投射位置為空時，插入計算之過去及未來候選經按比例調整投射運動向量；當計算之個別投射位置具有預先存在之不同相關聯之運動向量時，將計算之個別投射位置標記為閉塞包括：當計算之過去及未來候選經按比例調整投射運動向量小於閉塞的預先存在之不同相關聯之運動向量時，插入計算之過去及未來候選經按比例調整投射運動向量；至少部分基於過去候選經按比例調整投射運動向量計算與接收之兩個或兩個以上輸入圖框之先前輸入圖框相關聯的預測位置；及將與先前輸入圖框相關聯的計算之預測位置標記為參考)。 產生之投射式運動向量場中的潛在開口之閉合可包括若干操作(例如，包括選擇一附近有效運動向量用於複製以閉合潛在開口，其中附近有效運動向量係至少部分基於相鄰擴張候選之無關聯排序清單選自當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立平滑填充)。該投射式運動向量場中的該等潛在閉塞之該修復可包括若干操作(例如，包括其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；其中當已判定該未來預測 位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；及其中當已判定該未來預測位置具有一有效傳輸時，該投射式運動向量場中的該開口之該投射將自過去預測)。
另外或替代地，在過程2000之一些編碼器實施中， 如下文將更詳細地描述，投射式內插參考圖像子系統之投射式內插圖框選擇器部分可自該一或多個候選投射式內插參考圖框選擇最佳輸出投射式內插參考圖框，其中最佳輸出投射式內插參考圖框之選擇包括在候選投射式內插參考圖框與當前圖框之間的誤差之計算。投射式內插參考圖像子系統之投射式內插圖框緩衝器模組部分可儲存選定最佳輸出投射式內插參考圖框中之一或多者，其中選定最佳輸出投射式內插參考圖框以及選定最佳運動比例因數及平移因數中之一或多者的儲存至少部分基於與選定最佳輸出投射式內插參考圖框相關聯的一或多個運動比例因數及平移因數候選。運動估計器模組可至少部分基於選定最佳輸出投射式內插參考圖框以及基於待編碼之當前圖框執行運動估計。運動估計器模組可至少部分基於基於投射式內插之參考圖框中的一或多者產生與當前圖框之預測分割區相關聯的運動資料。運動補償之濾波預測器模組可至少部分基於運動資料及基於投射式內插之參考圖框中之一或多者執行運動補償以產生用於預測分割區的預測之分割區資料。 差異可使預測之分割區資料與相關聯於預測分割區之原始 像素資料有差異以產生預測誤差資料分割區。編碼分割區產生器可分割預測誤差資料分割區以產生複數個編碼分割區。自適應變換模組可對複數個編碼分割區執行正向變換以產生與複數個編碼分割區相關聯之變換係數。自適應量化模組可量化變換係數以產生經量化變換係數。自適應熵編碼器可將與當前經解碼圖框之預測分割區相關聯的選定最佳運動比例因數及平移因數、經量化變換係數、模式、運動資料及參考資料熵編碼至位元串流內，其中模式及參考資料包括指示框內區塊、跳過區塊、第一及第二框間區塊及參考圖框之指示符。可傳輸位元串流。
圖21為說明根據本發明之至少一些實施配置的 一實例解碼過程2100之流程圖。過程2100可包括一或多個操作、功能或如由一或多個操作說明之動作。過程2100可形成次世代視訊編碼過程之至少部分。作為非限制性實例，過程2100可形成如由圖2之解碼器系統200及/或本文中描述之任何其他解碼器系統或子系統進行的次世代視訊編碼過程之至少部分。
過程2100可開始於操作2101，「接收與選定最佳 投射式內插參考圖框相關聯之選定最佳運動比例因數及平移因數」，其中可接收與選定最佳投射式內插參考圖框相關聯之選定最佳運動比例因數及平移因數。舉例而言，與選定最佳投射式內插參考圖框相關聯之選定最佳運動比例因數及平移因數可經由解碼器自編碼器接收。
過程2100可在操作2102處繼續，「接收兩個或兩 個以上輸入圖框」，其中可接收兩個或兩個以上輸入圖框。舉例而言，解碼操作2102可以與以上關於編碼操作所描述之操作2002類似的方式操作。
過程2100可在操作2104處繼續，「接收與輸入圖框相關聯之輸入運動向量資料」，其中可接收與輸入圖框相關聯之輸入運動向量資料。舉例而言，解碼操作2104可以與以上關於編碼操作所描述之操作2004類似的方式操作。
過程2100可在操作2106處繼續，「產生一個輸出投射式內插圖框之至少部分」，其中可產生一個輸出投射式內插圖框之至少部分。舉例而言，解碼操作2106可以與以上關於編碼操作所描述之操作2006類似的方式操作。操作2106可包括如下所述之若干操作，包括操作2108、操作2110及/或操作2112。
過程2100可在操作2108處繼續，「按比例調整及平移輸入運動向量場」，其中可按比例調整及平移輸入運動向量場。舉例而言，解碼操作2108可以與以上關於編碼操作所描述之操作2008類似的方式操作。
過程2100在操作2110處繼續，「計算投射式內插圖框中之投射位置」，其中可計算投射式內插圖框中之投射位置。舉例而言，解碼操作2110可以與以上關於編碼操作所描述之操作2010類似的方式操作。
過程2100可在操作2112處繼續，「插入計算之經按比例調整及平移運動向量中的至少兩者」，其中可插入計算之經按比例調整及平移運動向量中的至少兩者。舉例而 言，解碼操作2112可以與以上關於編碼操作所描述之操作2012類似的方式操作。
過程2100可在操作2114處繼續，「執行運動補償 之加權摻合」，其中可執行運動補償之加權摻合。舉例而言，解碼操作2114可以與以上關於編碼操作所描述之操作2014類似的方式操作。
在操作中，在一些解碼器實施中，過程2100可進 一步包括經由解碼器自編碼器接收與選定最佳投射式內插參考圖框相關聯之選定最佳運動比例因數及平移因數。兩個或兩個以上輸入圖框之接收可自經解碼圖像緩衝器經由投射式內插參考圖像子系統進行。該兩個或兩個以上輸入圖框之此接收可包括自經解碼圖像緩衝器接收兩個或兩個以上輸入圖框。舉例而言，該兩個或兩個以上輸入圖框可包括先前及隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，先前及隨後輸入圖框可具有關於候選投射式內插參考圖框之預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，先前及隨後輸入圖框可不具有與候選投射式內插參考圖框之預設定各別過去及未來時間關係。與輸入圖框相關聯的輸入運動向量資料之接收可經由投射式內插參考圖像子系統進行。除了接收之運動向量資料之外，輸入運動向量資料之此接收亦可包括接收與輸入圖框相關聯之參考預測模式資料，其中參考預測模式資料可包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內、類似者及/或其組合。 可經由投射式內插參考圖像子系統之投射圖框產生器模組進行一個輸出投射式內插圖框之至少部分之產生，包括：除了至少部分基於接收之兩個或兩個以上輸入圖框之外，亦至少部分基於判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框。一或多個候選投射式內插參考圖框之此產生可包括若干操作(例如，包括：除了投射式運動向量場之外，投射式運動向量場以及投射遮罩之產生亦可至少部分基於經由投射圖框產生器模組之運動投射器模組部分投射與個別運動比例因數及平移因數候選相關聯的輸入運動向量資料；經由投射圖框產生器之投射擴張模組閉合產生之投射式運動向量場中的潛在開口；藉由重新插入有效運動向量以修復潛在閉塞，經由投射圖框產生器之運動再投射器模組修復投射式運動向量場中之潛在閉塞)。舉例而言，投射式運動向量場以及投射遮罩之產生可包括若干操作(例如，包括：其中至少部分基於輸入運動向量資料以及判定之運動比例因數及平移因數按比例調整及平移輸入運動向量場包括：至少部分基於個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於經按比例調整及平移輸入運動向量場計算投射式內插圖框中的投射位置包括：至少部分基於當前投射式內插參考圖框中的計算之個別未來候選經按比例調整投射運動向量計算當前投射式內插參考圖框中之個別投射位置；至少部分基於個別運動比例因數及平移因數候選及基於計算之個別投射位置計算一或多 個過去候選經按比例調整投射運動向量；其中在計算之投射位置處的計算之經按比例調整及平移運動向量中之至少兩者的插入包括：當計算之個別投射位置為空時，插入計算之過去及未來候選經按比例調整投射運動向量；當計算之個別投射位置具有與運動向量相關聯之預先存在差異時將計算之個別投射位置標記為閉塞包括：當計算之過去及未來候選經按比例調整投射運動向量小於與該閉塞之運動向量相關聯的預先存在差異時，插入計算之過去及未來候選經按比例調整投射運動向量；至少部分基於過去候選經按比例調整投射運動向量計算與接收之兩個或兩個以上輸入圖框之先前輸入圖框相關聯的預測位置；及將與先前輸入圖框相關聯的計算之預測位置標記為參考)。舉例而言，潛在開口之該閉合可包括選擇一附近有效運動向量用於複製，以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充。舉例而言，投射式運動向量場中的潛在閉塞之修復可包括若干操作(例如，包括：其中當已判定未來預測位置具有有效傳輸運動且自該位置的運動向量之投射位置為閉塞區域時，有效運動向量係選自與投射式運動向量場中的開口之位置對應的未來預測位置；其中當已判定未來預測位置不具有有效傳輸運動且將開口之過去預測位置標記為參考時，投射式運動向量場中的開口之投射遮罩經設定為自未來預測；及其中當已判定未來預測位置具有有 效傳輸運動時，投射式運動向量場中的開口之投射將自過去預測)。至少部分基於輸入圖框中之至少兩者的運動補償之加權摻合的一個投射式內插之至少部分之產生可經由投射圖框產生器模組之經時間加權運動補償器模組進行。舉例而言，一個投射式內插圖框之至少部分之產生可包括至少部分基於與在摻合過程中用以組合輸入圖框之先前運動補償之區塊、輸入圖框之隨後運動補償之區塊或輸入圖框之一對先前與隨後區塊之經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數產生一或多個候選投射式內插參考圖框之個別區塊。當經由複合圖框排序結構處理編碼時，先前及隨後運動補償之區塊確實具有關於候選投射式內插參考圖框的預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，先前及隨後運動補償之區塊不具有與候選投射式內插參考圖框之預設定各別過去及未來時間關係。此等摻合因數可包括以下參數中之一或多者：作為個別區塊與閉塞區域或是開放區域相關聯之指示的投射遮罩參數，及/或作為在輸入圖框內/外的指標之指示的運動向量參數。經時間加權運動補償可包括若干操作(例如，包括：藉由該一或多個摻合因數中之第一摻合因數加權輸入圖框之先前運動補償之區塊；藉由該一或多個摻合因數中之第二摻合因數加權輸入圖框之未來運動補償之區塊；及藉由求和及按比例調整來摻合加權過去與未來運動補償之區塊。投射式內插參考圖像子系統之投射式內插圖框緩衝器模組部分可儲存輸出投射式 內插圖框中之一或多者。
圖22為說明根據本發明之至少一些實施配置的一實例運動投射器編碼過程2200之流程圖。過程2200可包括一或多個操作、功能或如由一或多個操作說明之動作。過程2200可形成次世代視訊編碼過程之至少部分。作為非限制性實例，過程2200可形成如由圖1之編碼器系統100、圖2之解碼器系統200及/或本文中描述之任何其他編碼器或解碼器系統或子系統進行的次世代視訊編碼過程之至少部分。
過程2200可開始於操作2202，「將整個投射遮罩設定為開放」，其中可將整個投射遮罩設定至開放。
過程2200可在操作2204處繼續，「將整個過去遮罩設定為不參考」，其中可將整個過去遮罩設定為不參考(0)。
過程2200可在操作2206處繼續，「對於參考運動場(RMVX,RMVY)中之每一MV位置(XFUTR,YFUTR)」，其中參考運動場中之每一運動向量位置可獨立地繼續進行至進一步操作。
過程2200可在操作2208處繼續，「計算投射向量(MVX PROJ,MVY PROJ)」，其中可使用給定比例因數計算投射向量。
過程2200可在操作2210處繼續，「計算投射位置(XPROJ,YPROJ)」，其中可使用投射向量計算投射式圖框中之投射位置。
過程2200可在操作2212處繼續，「計算投射位置 之經按比例調整過去及未來MV」，其中可計算投射位置之過去及未來運動向量。
過程2200可在操作2214處繼續，「投射式運動場 在投射位置處是否為空？」，其中可進行關於投射式運動場在投射位置處是否為空之判定。若投射式運動場在投射位置處為空，則過程2200可在以下操作2220處繼續。
過程2200可在操作2216處繼續，「當前經按比例 調整MV是否小於投射位置處之MV？」，其中可進行關於當前經按比例調整運動向量是否小於投射位置處之運動向量的判定。若當前經按比例調整運動向量不小於投射位置處之運動向量，則過程2200可在以下操作2219處繼續。
過程2200可在操作2218處繼續，「填充在投射位 置處之投射運動場中的經按比例調整過去及未來MV」，經按比例調整過去及未來運動向量可填充於在投射位置處之投射運動場中。
過程2200可在操作2219處繼續，「將在投射位置 處之投射遮罩設定至OCCL」，其中可將在投射位置處之投射遮罩設定至閉塞。過程2200可接著在以下操作2224處繼續。
若在操作2214處，投射式運動場在投射位置處為 空，則過程2200可在操作2220處繼續，「填充在投射位置處之投射運動場中的經按比例調整過去及未來MV」，其中經按比例調整過去及未來運動向量可填充於投射位置處之投射運動場中。
過程2200可在操作2222處繼續，「將投射位置處 之投射遮罩設定至PROJ」，其中可將投射位置處之投射遮罩設定為有效投射式位置(例如，並非空、開放或閉塞位置)。
過程2200可在操作2224處繼續，「計算過去預測 位置。將過去遮罩設定為作為參考之過去預測位置」，其中可計算過去預測位置，且可將過去遮罩設定為作為參考之過去預測位置。
在操作2224後，在「xFutr,yProj」處，過程2200 可在操作2206處繼續，直至每一運動向量位置已進行操作2208至2224，接著過程2200可終止。
如以上所描述之圖22亦可被考慮為類似於以下演算法：(補充2)
輸入：參考運動場(rMVx,rMVy)，比例因數(xSF,ySF,xTF,yTF)(xSP,ySP,xTP,yTP)
輸出：投射式運動場(pMVx_past,pMVy_past,pMVx_futr,pMVy_futr)，投射遮罩(mask)，過去遮罩(past_mask)
1. 填充投射遮罩(mask)，作為開放
2. 填充過去遮罩(past_mask)，作為非參考(0)
3. 對於參考運動場(rMVx,rMVy)中之每一運動向量位置(xFutr,yFutr)
3.1. 使用給定比例因數計算投射向量(MVx_proj, MVy_proj)。
￮ MVx_proj=rMVx[yfutr][xFutr]*xSF+xTF
￮ MVy_proj=rMVy[yFutr][xFutr]*ySF+yTF
3.2. 使用投射向量計算投射式圖框中之投射位置。
￮ xProj=xFutr+MVx_proj
￮ yProj=yFutr+MVy_proj
3.3. 計算投射位置之經按比例調整過去運動向量
￮ MVx_past=rMVx[yfutr][xFutr]*xSP+xTP
￮ MVy_past=rMVy[yFutr][xFutr]*ySP+yTP
3.4. 若為空，在投射位置處插入經按比例調整過去及未來運動向量。
￮ pMVx_past[yProj][xProj]=MVx_past
￮ pMVy_past[yProj][xProj]=MVy_past
￮ pMVx_futr[yProj][xProj]=-1*MVx_proj
￮ pMVy_futr[yProj][xProj]=-1*MVy_proj
￮ mask[yProj][xProj]=PROJ
3.5 若投射位置已具有不同運動向量，則將其標記為閉塞。
3.5.1. 若當前經按比例調整MV小於先前插入當前mv
￮ pMVx_past[yProj][xProj]=MVx_past
￮ pMVy_past[yProj][xProj]=MVy_past
￮ pMVx_futr[yProj][xProj]=-1*MVx_proj
￮ pMVy_futr[yProj][xProj]=-1*MVy_proj
3.5.2. 將投射遮罩設定為閉塞
￮ mask[yProj][xProj]=OCCL
3.6. 針對經傳輸運動向量計算先前圖框預測位置。
￮ xPast=xFutr+rMVx[yfutr][xFutr]
￮ yPast=yFutr+rMVy[yFutr][xFutr]
3.7. 將過去遮罩設定為作為參考之過去預測位置
3.7.1. past_mask[xPast][yPast]=1
4. 返回
在操作中，運動投射器編碼過程2200可操作以至少部分基於投射與個別投射比例因數候選相關聯之接下來的參考運動向量產生一投射式運動場及一投射遮罩。
圖23為說明根據本發明之至少一些實施配置的一實例投射擴張編碼過程2300之流程圖。過程2300可包括一或多個操作、功能或如由一或多個操作說明之動作。過程2300可形成次世代視訊編碼過程之至少部分。作為非限制性實例，過程2300可形成如由圖1之編碼器系統100、圖2之解碼器系統200及/或本文中描述之任何其他編碼器或解碼器系統或子系統進行的次世代視訊編碼過程之至少部分。
過程2300可開始於操作2302，「將ITERCOUNT設定至0。將ITER設定至1」，其中可將一迭代變數設定至零且將一迭代計數器設定至一。
過程2300可在操作2304處繼續，「在投射式運動場(PMV)具有空位置時」，其中在投射式運動場具有空位置時，可進行進一步操作。
過程2300可在操作2306處繼續，「對於投射式運 動場中之每一空位置(XPROJ,YPROJ)」，其中投射式運動場中之每一空位置可獨立地繼續進行至進一步操作。
過程2300可在操作2308處繼續，「是否發現具有 用於當前迭代之有效MV的擴張候選？」，其中可進行關於是否可發現具有用於當前迭代之有效運動向量和擴張候選之判定。若發現具有用於當前迭代之有效運動向量的擴張候選，則過程2300可在以下操作2312處繼續。
若可能發現不了具有用於當前迭代之有效運動 向量的擴張候選，則過程2300可在操作2310處繼續，「ITER=MAX_ITER？」，其中可進行關於迭代計數器是否等於最大迭代數目之判定。若迭代計數器不等於最大迭代數目，則過程2300可在以下操作2318處繼續。
若在操作2308處可發現具有用於當前迭代之有 效運動向量的擴張候選，則過程2300可在操作2312處繼續，「將當前位置處之ITERCOUNT設定至ITER。將第一有效候選MV複製至投射式運動場中之當前位置」，其中可將迭代變數設定至迭代計數器，且可將第一有效候選運動向量複製至投射式運動場中之當前位置。過程2300可接著在以下操作2316處繼續。
若在操作2310處迭代計數器等於最大迭代數目， 過程2300可在操作2314處繼續，「將當前位置處之ITERCOUNT設定至ITER。設定投射式運動場中之當前位置處的零MV」，其中可將迭代變數設定至迭代計數器，且可設定在投射式運動場中之當前位置處的零運動向量。
在操作2310、2312及/或2314後，在「xProj,yProj」處，若已處理每一xProj,yProj，則過程可繼續至2318，或若尚未處理每一xProj,yProj，則返回至2306。
過程2300可在操作2318處繼續，「增大ITER」，其中可增大迭代計數器。
在操作2318後，在「pMv」處，若投射式運動場pMV具有任何空位置，則過程可返回至2304，或若投射式運動場pMV不具有空位置，則過程可終止。
如以上所描述之圖23亦可被考慮為遵循以下演算法：(補充3)
輸入：投射式運動場(pMVx_past,pMVy_past,pMVx_futr,pMVy_futr)，投射遮罩(mask)
輸出：投射式運動場(pMVx_past,pMVy_past,pMVx_futr,pMVy_futr)，投射遮罩(mask)
1. 將IterCount陣列設定至0
2. 將Iter設定至1
3. 當投射式運動場具有空位置時
3.1. 對於每一投射式運動場中之空位置xProj,yProj
3.1.1. FoundValid=0
3.1.2. 對於擴張偏移(xDC[8],yDC[8])中之每一擴張候選(n)
3.1.2.1. 若(IterCount[[yProj+yDC[n]][xProj+xDC[n]]<Iter或Iter==MAX_ITER)
且(yProj+yDC[n],[xProj+xDC[n])處之投射式運動場不為空
3.1.2.1.1. pMVx_past[yProj][xProj]=pMVx_past[yProj+yDC[n]][xProj+xDC[n]]
3.1.2.1.2. pMVx_futr[yProj][xProj]=pMVx_futr[yProj+yDC[n]][xProj+xDC[n]]
3.1.2.1.3. FoundValid=1
3.1.2.1.4. IterCount[[yProj][xProj]=Iter
3.1.2.1.5. 打破擴張候選循環
3.1.3. 若Iter==MAX_ITER且FoundValid==0
3.1.3.1. pMVx_past[yProj][xProj]=0
3.1.3.2. pMVx_futr[yProj][xProj]=0
3.1.3.3. IterCount[[yProj][xProj]=Iter
3.2 增大Iter
4. 返回
舉例而言，投射擴張編碼過程2300可經組配以使用相鄰擴張候選之無關聯排序清單複製附近有效運動向量。使用之特定候選次序可用以幫助建立平滑填充。將「有效運動向量」定義為運動場中之非空運動向量，若迭代小於允許之最大值，則在當前迭代中不填充該運動場。舉例而言，術語「擴張偏移」可指以下偏移，或類似者：擴張偏移：xDC[8]={1,0,-1,0,1,-1,-1,1}
yDC[8]={0,-1,0,1,-1,-1,1,1}
舉例而言，可藉由遍歷排序擴張偏移候選選擇用 於位置X之有效運動向量。具有(x,y)偏移值(1,0)之第一候選xDC[0],yDC[0]可指相對於當前位置X之位置1。若位置1具有有效運動向量，則可將其運動向量複製至位置X且可終止遍歷。若位置1為空，則可檢查具有(x,y)偏移值(0,-1)之下一個候選xDC[1],yDC[1]或位置2。當按次序測試所有擴張偏移或8個位置時，遍歷可終止。
術語「MAX_ITER」可指允許之最大迭代數目， 且在NGV中，可設定至(例如)50，但可使用其他值。在最後迭代，可使用來自運動場中之候選的第一非空MV。在最後迭代，所有仍空之位置可填充有零運動向量。
在操作中，投射擴張編碼過程2300可操作以閉合 投射式運動場中之潛在開口。
圖24為說明根據本發明之至少一些實施配置的 一實例運動再投射器編碼過程2400之流程圖。過程2400可包括一或多個操作、功能或如由一或多個操作說明之動作。 過程2400可次世代視訊編碼過程之至少部分。作為非限制性實例，過程2400可形成如由圖1之編碼器系統100、圖2之解碼器系統200及/或本文中描述之任何其他編碼器或解碼器系統或子系統進行的次世代視訊編碼過程之至少部分。
過程2400可開始於操作2402，「對於投射式遮罩 中之每一開放位置(XPROJ,VPROJ)」，其中投射式遮罩中之每一開放位置可獨立地繼續進行進一步操作。
過程2400可在操作2404處繼續，「計算未來預測 位置(XFUTR,YFUTR)」，其中可計算未來預測位置。
過程2400可在操作2406處繼續，「未來預測位置 是否具有有效傳輸運動？」，其中可進行關於未來預測位置是否具有有效傳輸運動之判定。若未來預測位置不具有有效傳輸運動，則過程2400可在以下操作2418處繼續。
過程2400可在操作2408處繼續，「計算投射式圖 框(XOCC,YOCC)中之閉塞投射位置」，其中可計算投射式圖框中之閉塞投射位置。
過程2400可在操作2410處繼續，「在閉塞投射位 置處之投射遮罩是否經標記為閉塞(OCCL)？」，其中可進行關於在閉塞投射位置處之投射遮罩是否經標記為閉塞之判定。若在閉塞投射位置處之投射遮罩未標記為閉塞，則過程2400可在以下操作2414處繼續。
過程2400可在操作2412處繼續，「在閉塞投射位 置處重新插入經按比例調整運動向量。在閉塞投射位置(XOCC,YOCC)處將投射遮罩設定至PROJ」，其中可在閉塞投射位置處重新插入經按比例調整運動向量，且可將在閉塞投射位置處之投射遮罩設定至PROJ。
過程2400可在操作2414處繼續，「將當前開放位 置(XPROJ,YPROJ)設定至自過去預測(OPEN_PAST)」，其中可將當前開放位置設定至自過去預測。
過程2400可針對投射式遮罩中之每一開放位置 在以上操作2402處繼續，或終止。
若在操作2406處未來預測位置不具有有效傳輸 運動，過程2400可在操作2418處繼續，「PAST_MASK中之過去預測位置是否設定為參考？」，其中可進行關於past_mask中之過去預測位置是否設定為參考之判定。
若在操作2418處past_mask中之過去預測位置經 設定為參考，則過程2400可在操作2420處繼續，「將當前位置(XPROJ,YPROJ)設定至自未來預測(OPEN_FUTR)」，其中可將當前位置設定至自未來預測。
在操作2414、2418及/或2420後，在「xProj,yProj」 處，過程2400可針對投射式遮罩中之每一開放位置在以上操作2402處繼續，或終止。
如以上所描述之圖24亦可被考慮為遵循以下演算法：(補充4)
輸入：參考運動場(rMVx,rMVy)，比例因數(xSF,ySF,xTF,yTF)及(xSP,ySP,xTP,yTP)
投射式運動場(pMVx_past,pMVy_past,pMVx_futr,pMVy_futr)，投射遮罩(mask)，過去遮罩(past_mask)
輸出：投射式運動場(pMVx_past,pMVy_past,pMVx_futr,pMVy_futr)，投射遮罩(mask)
1. 對於投射遮罩(mask)中之每一位置(xProj,yProj)，使得mask[xProj[yProj]==OPEN
1.1 xFutr=xProj+pMVx_futr[yProj][xProj]
1.2 yFutr=yProj+pMVy_futr[yProj][xProj]
1.3 若未來預測位置(xFutr,yFutr)具有有效傳輸運動(rMVx,rMVy)
1.3.1. MVx_occ=rMVx[yfutr][xFutr]*xSF+xTF
1.3.2. MVy_occ=rMVy[yFutr][xFutr]*ySF+yTF
1.3.3. xOcc=xFutr+MVx_occ
1.3.4. yOcc=yFutr+MVy_occ
1.3.5. 若mask[xOcc][yOcc]==OCCL
1.3.5.1. MVx_past=rMVx[yfutr][xFutr]*xSP+xTP
1.3.5.2. MVy_past=rMVy[yFutr][xFutr]*ySP+yTP
1.3.5.3. pMVx_past[yOcc][xOcc]=MVx_past
1.3.5.4. pMVy_past[yOcc][xOcc]=MVy_past
1.3.5.5. pMVx_futr[yOcc][xOcc]=-1*MVx_occ
1.3.5.6. pMVy_futr[yOcc][xOcc]=-1*MVy_occ
1.3.5.7. mask[yOcc][xOcc]=PROJ
1.3.6. mask[yProj][xProj]=OPEN_PAST
1.4 否則，若past_mask[xProj+pMVx_past[yProj][xProj],yProj+pMVy_past[yProj][xProj]]==1
1.4.1. mask[yProj][xProj]=OPEN_FUTR
2. 返回
在固定點運算中，可針對運動按比例調整演算法之整數運算，計算在固定位元深度處之比例因數(例如，xSF、ySF)。在一些實例中，所選擇之位元深度為6(PISHIFT)，但可利用其他值。按運動向量解析度表示比例常數(例如， xTF、yTF)或平移因數。在NGV中，運動向量解析度為1/8像素。一個此實例固定點按比例調整等式在以下給出：Fix_xSF=(int)(xSF * (1<<PISHIFT)+0.5)
Fix_ySF=(int)(ySF * (1<<PISHIFT)+0.5)
MVx_proj=(pMVx[yfutr][xFutr]*Fix_xSF+(1<<(PISHIFT-1)))>>PISHIFT+xTF
MVy_proj=(pMVy[yFutr][xFutr]*Fix_ySF+(1<<(PISHIFT-1)))>>PISHIFT+yTF
在操作中，運動再投射器編碼過程2400可操作以修正投射式運動場中之潛在閉塞。
圖8為根據本發明之至少一些實施配置的一實例時間加權元件800之例示性圖。如所說明，時間加權元件800可包括兩個輸入，按一像素區塊採用之第一者，及用另一像素區塊採用之另一者。第一組像素中之每一者可藉由加權因數BlendFactor1按比例調整，而第二組像素中之每一者可藉由加權因數BlendFactor2=((1<PISHIFT)-BlendFactor1)按比例調整，該加權因數BlendFactor2可經添加及標準化以產生每一者同樣大小之新區塊，其包括來自原始兩個區塊的像素之加權組合。方塊圖展示4×4像素之b1區塊與4×4像素之b2區塊經組合(例如)以產生遵循展示Pi[i][j]之產生的以上等式的加權區塊。
舉例而言，區塊運動補償可使用投射式運動場產生未來運動補償之區塊(例如，未來MC區塊)及過去運動補償之區塊(例如，過去MC區塊)。可基於遮罩設定及測試運 動向量是否指向參考圖框邊界內部，將PI圖框區塊重建構為過去運動補償之區塊、未來運動補償之區塊或過去與未來運動補償之區塊的摻合。舉例而言，可基於以下實例表重建構PI圖框區塊：
在操作中，時間加權元件800可利用可基於在位 元串流中傳輸之時間參考(TR)計算之摻合因數。可針對摻合之整數運算，計算在固定位元深度處之摻合因數(PISHIFT)。舉例而言，對於8位元視訊，PISHIFT為6允許摻合之16位元操作。以下給出一個此實例摻合因數等式：
摻合等式：Pi[i][j]=(BlendFactorPast*mc_past[i][j]+BlendFactorFutr*mc_futr[i][j]+(1<<(PISHIFT-1)))>>PISHIFT
在操作中，時間加權元件800可操作以經由經時間加權運動補償產生一或多個PI圖框。舉例而言，時間加權元件800(在本文中亦被稱作經時間加權運動補償器模組930)可藉由摻合藉由按BlendFactor1對其加權的運動補償之 過去圖框與藉由按BlendFactor2對其加權的另一運動補償之未來圖框、求和且按比例調整來建立運動場及PI圖框。
圖12為說明根據本發明之至少一些實施配置的 一實例過程1200之流程圖。過程1200可包括一或多個操作、功能或如由一或多個操作說明之動作。過程1200可形成次世代視訊編碼過程之至少部分。作為非限制性實例，過程1200可形成如由圖1之編碼器系統100及/或本文中描述之任何其他編碼器系統或子系統進行的次世代視訊編碼過程之至少部分。
過程1200可開始於操作1202，「接收一視訊序列 之輸入視訊圖框」，其中可經由(例如)編碼器100接收一視訊序列之輸入視訊圖框。
過程1200可在操作1204處繼續，「使一圖像類型 與每一視訊圖框相關聯」，其中可經由(例如)內容預分析器模組102使一圖像類型與一圖像群組中之每一視訊圖框相關聯。舉例而言，圖像類型可為F/B圖像、P圖像或I圖像或類似者。在一些實例中，視訊序列可包括圖像及可對一圖像群組中之圖框或圖像執行的本文中描述之處理之群組，且可針對一群組之所有圖框或圖像重複該處理，且接著針對一視訊序列中的圖像之所有群組重複該處理。
過程1200可在操作1206處繼續，「將圖像劃分成 影像塊及/或超片段及潛在預測分割」，其中可經由(例如)預測分割區產生器105將圖像劃分成影像塊或超片段及潛在預測分割區。
過程1200可在操作1210處繼續，「對於潛在預測 分割，判定潛在預測誤差」，其中對於每一潛在預測分割，可判定潛在預測誤差。舉例而言，對於每一預測分割(及相關聯之預測分割區、預測及預測參數)，可判定預測誤差。 舉例而言，判定潛在預測誤差可包括使原始像素(例如，預測分割區之原始像素資料)與預測像素有差異。在一些實例中，可儲存相關聯之預測參數。如所論述，在一些實例中，預測誤差資料分割區可包括至少部分基於使用變形技術或合成技術中之至少一者產生的先前經解碼圖框產生之預測誤差資料。
過程1200可在操作1212處繼續，「選擇預測分割 及預測類型且保存參數」，其中可選擇預測分割及預測類型且可保存相關聯之參數。在一些實例中，可選擇具有最小預測誤差之潛在預測分割。在一些實例中，可基於速率失真最佳化(RDO)選擇潛在預測分割。
過程1200可在操作1214處繼續，「對潛在編碼分 割執行變換」，其中可對分割區預測誤差資料之各種潛在編碼分割執行具有各種區塊大小之固定或內容自適應變換。 舉例而言，分割區預測誤差資料可經分割以產生複數個編碼分割區。舉例而言，分割區預測誤差資料可由如本文中所論述的編碼分割區產生器模組107之雙樹編碼分割器模組或k-d樹編碼分割器模組分割。在一些實例中，與F/B或P圖像相關聯之分割區預測誤差資料可由雙樹編碼分割器模組分割。在一些實例中，與I圖像(例如，在一些實例中，影 像塊或超片段)相關聯之視訊資料可由k-d樹編碼分割器模組分割。在一些實例中，可經由一或多個開關挑選或選擇編碼分割器模組。舉例而言，分割區可由編碼分割區產生器模組107產生。
過程1200可在操作1216處繼續，「判定最佳編碼 分割、變換區塊大小及實際變換」，其中可判定最佳編碼分割、變換區塊大小及實際變換。舉例而言，可基於RDO或另一基礎評估各種編碼分割(例如，具有各種編碼分割區)，以判定選定編碼分割(當編碼分割區不匹配如所論述之變換區塊大小時，其亦可包括編碼分割區至變換區塊之進一步劃分)。舉例而言，實際變換(或選定變換)可包括對如本文中所描述之編碼分割區或區塊大小執行的任何內容自適應變換或固定變換。
過程1200可在操作1218處繼續，「量化及掃描變 換係數」，其中可在準備熵編碼中量化及掃描與編碼分割區(及/或變換區塊)相關聯之變換係數。
過程1200可在操作1222處繼續，「熵編碼與每一 影像塊或超片段解碼相關聯之資料，諸如，編碼分割區指示符、區塊大小資料、變換類型資料、量化器(Qp)及經量化變換係數、運動向量及參考類型資料、特性參數(例如，mop、syp)」，其中可熵編碼資料。舉例而言，經熵編碼資料可包括編碼分割區指示符、區塊大小資料、變換類型資料、量化器(Qp)、經量化變換係數、運動向量及參考類型資料、特性參數(例如，mop、syp)、類似者及/或其組合。 另外或替代地，經熵編碼資料可包括預測分割、預測參數、選定編碼分割、選定特性資料、運動向量資料、經量化變換係數、濾波器參數、選擇資料(諸如，模式選擇資料)及原告。
過程1200可在操作1223處繼續，「應用DD/DB濾 波器，重建構像素資料，組譯成圖像」，其中可應用解區塊濾波(例如，DD或DB濾波器)，像素資料可經重建構且組譯成圖像。舉例而言，在局部解碼迴路(例如，包括反掃描、反變換及組譯編碼分割區)後，可產生預測誤差資料分割區。 可將預測誤差資料分割區與預測分割區相加以產生經重建構預測分割區，其可組譯成影像塊或超片段。經組譯影像塊或超片段可視情況經由解區塊濾波及/或品質恢復濾波處理，且經組譯以產生圖像。
過程1200可在操作1224處繼續，「應用QR/LF濾 波器，保存在參考圖像緩衝器中」，其中可應用品質恢復濾波(例如，QR或LF濾波)，且可將經組譯圖像保存在參考圖像緩衝器中。舉例而言，除了DD/DB濾波之外或替代DD/DB濾波，經組譯影像塊或超片段可視情況經由品質恢復濾波處理且經組譯以產生圖像。圖像可保存於經解碼圖像緩衝器119中，作為用於其他(例如，接下來的)圖像之預測的參考圖像。
過程1200可在操作1225處繼續，「應用AP/AM濾 波器，判定用於產生經變形或合成之預測參考的修改(例如，變形或合成)特性參數，及執行預測」，其中可執行修改(例 如，變形或合成)特性參數及預測，且可應用自適應運動濾波或自適應精確度濾波(例如，AP/AM濾波器)。舉例而言，可產生用於產生經變形或合成之預測參考的修改(例如，變形或合成)特性參數，且可執行預測。另外，在該過程中，在此點，可應用自適應運動濾波或自適應精確度濾波。
如所論述，在一些實例中，可執行框間預測。在 一些實例中，可使用高達4個經解碼過去及/或未來圖像及若干變形/合成預測以產生大量參考類型(例如，參考圖像)。 舉例而言，在「框間」模式中，在P圖像中可支援高達九個參考類型，且對於F/B圖像，可支援高達十個參考類型。另外，「多」模式可提供框間預測模式之類型，在框間預測模式之類型中，替代1個參考圖像，可使用2個參考圖像，且P及F/B圖像分別可允許3個且至多8個參考類型。舉例而言，預測可基於使用變形技術或合成技術中之至少一者產生的先前經解碼圖框。在此等實例中，且位元串流(下文關於操作2012所論述)可包括與預測分割區相關聯之圖框參考、變形參數或合成參數。
過程1200可在操作1229處繼續，「視情況應用EP 濾波器及/或視情況應用FI/FP濾波器」，其中可視情況應用增強型預測分割區(例如，EP濾波)或FI/FP濾波(例如，融合濾波或融合改良濾波)。在一些實例中，可作出關於是否利用某一形式或FI/FP濾波器(融合改良濾波/融合濾波)或不使用FI/FP濾波的決策。當待將某一形式或FI/FP濾波器(例如，融合濾波或融合改良濾波)應用於選定預測分割區時， 可將該選定預測分割區與第二選定預測分割區組譯以產生經組譯圖像之至少一部分。可應用FI/FP濾波以濾波經組譯圖像之部分。與FI/FP濾波相關聯之FI/FP濾波參數(例如，濾波參數或融合改良濾波參數)可經產生且發送至熵編碼器子系統。
在EP濾波或FI/FP濾波皆可用之實施中，可產生 對解碼器系統指示將增強型預測分割區(例如，EP濾波)或是預測之分割區資料作為選定預測分割區用於預測分割區之指示符。
操作1202至1229可提供視訊編碼及位元串流傳 輸技術，該等技術可由如本文中所論述之編碼器系統使用。
圖13說明根據本發明之至少一些實施配置的一 實例位元串流1300。在一些實例中，位元串流1300可對應於如圖1中所示之輸出位元串流111及/或如圖2中所示之輸出位元串流201。雖然為了陳述之清晰起見未在圖13中展示，但在一些實例中，位元串流1300可包括標頭部分及資料部分。在各種實例中，位元串流1300可包括與編碼如本文中所論述之視訊圖框相關聯的資料、指示符、索引值、模式選擇資料或類似者。
如所論述，位元串流1300可由諸如編碼器100之 編碼器產生，及/或由解碼器200接收以用於解碼，使得可經由顯示器件呈現經解碼視訊圖框。
圖14為說明根據本發明之至少一些實施配置的 一實例過程1400之流程圖。過程1400可包括一或多個操作、功能或如由一或多個操作說明之動作。過程1400可形成次世代視訊編碼過程之至少部分。作為非限制性實例，過程1400可形成如由解碼器系統200及/或本文中描述之任何其他解碼器系統或子系統進行的次世代視訊解碼過程之至少部分。
過程1400可開始於操作1402，「接收經編碼位元 串流」，其中可接收位元串流。舉例而言，可在視訊解碼器處接收如本文中所論述而編碼之位元串流。在一些實例中，可經由解碼器200接收位元串流1300。
過程1400可在操作1404處繼續，「解碼經熵編碼 位元串流以判定編碼分割區指示符、區塊大小資料、變換類型資料、量化器(Qp)、經量化變換係數、運動向量及參考類型資料、特性參數(例如，mop、syp)」，其中可解碼位元串流以判定編碼分割區指示符、區塊大小資料、變換類型資料、量化器(Qp)、經量化變換係數、運動向量及參考類型資料、特性參數(例如，mop、syp)、類似者及/或其組合。另外或替代地，經熵編碼資料可包括預測分割、預測參數、選定編碼分割、選定特性資料、運動向量資料、經量化變換係數、濾波器參數、選擇資料(諸如，模式選擇資料)及原告。
過程1400可在操作1406處繼續，「對經量化係數 應用量化器(Qp)以產生經反量化變換係數」，其中可將量化器(Qp)應用至經量化變換係數以產生經反量化變換係數。 舉例而言，可經由自適應反量化模組203應用操作1406。
過程1400可在操作1408處繼續，「對編碼(或經框 內預測)分割區中的係數之每一經解碼區塊執行基於變換類型及區塊大小資料之反變換以產生經解碼預測誤差分割區」，其中對編碼(或經框內預測)分割區中的變換係數之每一經解碼區塊，可執行基於變換類型及區塊大小資料之反變換以產生經解碼預測誤差分割區。在一些實例中，該反變換可包括反固定變換。在一些實例中，該反變換可包括反內容自適應變換。在此等實例中，執行反內容自適應變換可包括如本文中所論述的基於經解碼視訊資料之相鄰區塊判定與反內容自適應變換相關聯的基底函數。用於如本文中所論述之編碼的任何正向變換可用於使用相關聯之反變換解碼。在一些實例中，反變換可由自適應反變換模組204執行。在一些實例中，產生經解碼預測誤差分割區亦可包括經由編碼分割區組譯器205組譯編碼分割區。
過程1400可在操作1423處繼續，「應用DD/DB濾 波器，重建構像素資料，組譯成圖像」，其中可應用解區塊濾波(例如，DD或DB濾波器)，像素資料可經重建構且組譯成圖像。舉例而言，在反掃描、反變換及組譯編碼分割區後，可將預測誤差資料分割區與預測分割區相加以產生經重建構預測分割區，可將經重建構預測分割區組譯成影像塊或超片段。可視情況經由解區塊濾波處理經組譯影像塊或超片段。
過程1400可在操作1424處繼續，「應用QR/LF濾 波器，保存在參考圖像緩衝器中」，其中可應用品質恢復濾波(例如，QR或LF濾波)，且可將經組譯圖像保存在參考圖像緩衝器中。舉例而言，除了DD/DB濾波之外或替代DD/DB濾波，經組譯影像塊或超片段可視情況經由品質恢復濾波處理且經組譯以產生圖像。圖像可保存於經解碼圖像緩衝器119中，作為用於其他(例如，接下來的)圖像之預測的參考圖像。
過程1400可在操作1425處繼續，「應用AP/AM濾 波器，使用經解碼修改特性(例如，mop、syp)產生用於預測之經修改參考，及使用運動向量及參考資訊、預測之分割區資訊及經修改參考產生預測之分割區」，其中可產生用於預測之經修改參考，且亦可產生預測之分割區，且其中可應用自適應運動濾波或自適應精確度濾波(例如，AP/AM濾波器)。舉例而言，其中可至少部分基於經解碼修改特性(例如，mop、syp)產生用於預測之經修改參考，且可至少部分基於運動向量及參考資訊、預測之分割區資訊及經修改參考產生預測之分割區。另外，在該過程中，在此點，可應用自適應運動濾波或自適應精確度濾波。
過程1400可在操作1429處繼續，「視情況應用EP 濾波器及/或視情況應用FI/FP濾波器」，其中可視情況應用增強型預測分割區(例如，EP濾波)或FI/FP濾波(例如，融合濾波或融合改良濾波)。在一些實例中，可作出關於是否利用某一形式或FI/FP濾波器(融合改良濾波/融合濾波)或不使用FI/FP濾波的決策。當待將某一形式或FI/FP濾波器(例 如，融合濾波或融合改良濾波)應用於選定預測分割區時，可將該選定預測分割區與第二選定預測分割區組譯以產生經組譯圖像之至少一部分。可應用FI/FP濾波以濾波經組譯圖像之部分。與FI/FP濾波相關聯之FI/FP濾波參數(例如，濾波參數或融合改良濾波參數)可經產生且發送至熵編碼器子系統。
在EP濾波或FI/FP濾波皆可用之實施中，可自編 碼器系統接收對解碼器系統指示將增強型預測分割區(例如，EP濾波)或是預測之分割區資料作為選定預測分割區用於預測分割區之指示符。
過程1400可在操作1430處繼續，「將預測分割區 添加至經解碼預測誤差資料分割區以產生經重建構分割區」，其中可將預測分割區添加至經解碼預測誤差資料分割區以產生經重建構分割區。舉例而言，可經由加法器206將經解碼預測誤差資料分割區添加至相關聯之預測分割區。
過程1400可在操作1432處繼續，「組譯經重建構 分割區以產生影像塊或超片段」，其中可組譯經重建構預測分割區以產生影像塊或超片段。舉例而言，可經由預測分割區組譯器模組207組譯經重建構預測分割區以產生影像塊或超片段。
過程1400可在操作1434處繼續，「組譯圖像之影 像塊或超片段以產生經充分解碼圖像」，其中可組譯圖像之影像塊或超片段以產生經充分解碼圖像。舉例而言，在可選解區塊濾波及/或品質恢復濾波後，可組譯影像塊或超片 段以產生經充分解碼圖像，在經由自適應圖像重組器模組217及內容後恢復器模組218處理後，經充分解碼圖像可經由經解碼圖像緩衝器210儲存，及/或可經傳輸用於經由顯示器件呈現。
本文中描述的系統之各種組件可以軟體、韌體及 /或硬體及/或其任何組合實施。舉例而言，系統300之各種組件可至少部分由諸如可在諸如智慧型手機之計算系統中發現之計算系統單晶片(SoC)之硬體提供。熟習此項技術者可認識到，本文中描述之系統可包括尚未在對應的圖中描繪之額外組件。舉例而言，本文中論述之系統可包括為了清晰起見尚未描繪之額外組件，諸如，位元串流多工器或解多工器模組及類似者。
雖然本文中的實例過程之實施可包括進行按所 說明之次序展示的所有操作，但本發明在此方面不受限制，且在各種實例中，本文中的實例過程之實施可包括進行所展示及/或呈與所說明不同之次序的操作之僅一子集。
與過程1200、1400及本文中論述之其他過程有關 的一些額外及/或替代性細節可說明於本文中(且詳言之，以下關於圖15)論述的實施之一或多個實例中。
圖15(A)、圖15(B)及圖15(C)提供根據本發明之至 少一些實施配置的在操作中之一實例視訊編碼系統1600及視訊編碼過程1500之例示性圖。在所說明之實施中，過程1500可包括一或多個操作、功能或如由動作1501至1580中之一或多者說明之動作。作為非限制性實例，本文中將參 照包括圖1之編碼器100及圖2之解碼器200的實例視訊編碼系統1600描述過程1500，如本文中在以下關於圖16進一步論述。在各種實例中，過程1500可由包括編碼器及解碼器兩者之系統或由具有一個使用一編碼器(及視情況，一解碼器)之系統及另一使用解碼器(及視情況，一編碼器)之系統的分開系統進行。如上文所論述，亦應注意，編碼器可包括使用局部解碼器作為編碼器系統之一部分的一局部解碼迴路。
在所說明之實施中，視訊編碼系統1600可包括邏 輯電路1650、類似者及/或其組合。舉例而言，邏輯電路1650可包括圖1之編碼器系統100及/或圖2之解碼器系統200，且可包括如關於本文中描述之編碼器系統或子系統及/或本文中描述之解碼器系統或子系統中之任一者論述的任何模組。雖然如圖15(A)至圖15(C)中所示之視訊編碼系統1600可包括與特定模組相關聯的區塊或動作之一特定集合，但此等區塊或動作可與不同於此處說明之特定模組的模組相關聯。雖然如所說明之過程1500係有關編碼及解碼，但描述之概念及/或操作可分開來應用於編碼及/或解碼，且更一般而言，可應用於視訊編碼。
過程1500可開始於操作1501，「接收一視訊序列 之輸入視訊圖框」，其中可經由(例如)編碼器100接收一視訊序列之輸入視訊圖框。
過程1500可在操作1502處繼續，「使一圖像類型 與一圖像群組中之每一視訊圖框相關聯」，其中可經由(例 如)內容預分析器模組102使一圖像類型與一圖像群組中之每一視訊圖框相關聯。舉例而言，圖像類型可為F/B圖像、P圖像或I圖像或類似者。在一些實例中，視訊序列可包括圖像之群組，且可對圖像群組之一圖框或圖像執行本文中描述之處理(例如，操作1503至1511)，且處理可針對群組之所有圖框或圖像重複，且接著針對視訊序列中的圖像之所有群組重複。
過程1500可在操作1503處繼續，「將圖像劃分成 影像塊及/或超片段及潛在預測分割」，其中可經由(例如)預測分割區產生器105將圖像劃分成影像塊或超片段及潛在預測分割區。
過程1500可在操作1504處繼續，「對於每一潛在 預測分割，執行預測且判定預測參數」，其中對於每一潛在預測分割，可執行預測且可判定預測參數。舉例而言，可產生一系列潛在預測分割(各具有各種預測分割區)，且可判定相關聯之預測及預測參數。舉例而言，預測可包括使用基於特性及運動之多參考預測或框內預測的預測。
如所論述，在一些實例中，可執行框間預測。在 一些實例中，可使用高達4個經解碼過去及/或未來圖像及若干變形/合成預測以產生大量參考類型(例如，參考圖像)。 舉例而言，在「框間」模式中，在P圖像中可支援高達9個參考類型，且對於F/B圖像，可支援高達10個參考類型。另外，「多」模式可提供框間預測模式之類型，在框間預測模式之類型中，替代1個參考圖像，可使用2個參考圖像，且P 及F/B圖像分別可允許3個且至多8個參考類型。舉例而言，預測可基於使用變形技術或合成技術中之至少一者產生的先前經解碼圖框。在此等實例中，且位元串流(下文關於操作1512所論述)可包括與預測分割區相關聯之圖框參考、變形參數或合成參數。
過程1500可在操作1505處繼續，「對於潛在預測 分割，判定潛在預測誤差」，其中對於每一潛在預測分割，可判定潛在預測誤差。舉例而言，對於每一預測分割(及相關聯之預測分割區、預測及預測參數)，可判定預測誤差。 舉例而言，判定潛在預測誤差可包括使原始像素(例如，預測分割區之原始像素資料)與預測像素有差異。在一些實例中，可儲存相關聯之預測參數。如所論述，在一些實例中，預測誤差資料分割區可包括至少部分基於使用變形技術或合成技術中之至少一者產生的先前經解碼圖框產生之預測誤差資料。
過程1500可在操作1506處繼續，「選擇預測分割 及預測類型且保存參數」，其中可選擇預測分割及預測類型且可保存相關聯之參數。在一些實例中，可選擇具有最小預測誤差之潛在預測分割。在一些實例中，可基於速率失真最佳化(RDO)選擇潛在預測分割。
過程1500可在操作1507處繼續，「對分割區預測 誤差資料之各種潛在編碼分割執行具有各種區塊大小之固定或內容自適應變換」，其中可對分割區預測誤差資料之各種潛在編碼分割執行具有各種區塊大小之固定或內容自適 應變換。舉例而言，分割區預測誤差資料可經分割以產生複數個編碼分割區。舉例而言，分割區預測誤差資料可由如本文中所論述的編碼分割區產生器模組107之雙樹編碼分割器模組或k-d樹編碼分割器模組分割。在一些實例中，與F/B或P圖像相關聯之分割區預測誤差資料可由雙樹編碼分割器模組分割。在一些實例中，與I圖像(例如，在一些實例中，影像塊或超片段)相關聯之視訊資料可由k-d樹編碼分割器模組分割。在一些實例中，可經由一或多個開關挑選或選擇編碼分割器模組。舉例而言，分割區可由編碼分割區產生器模組107產生。
過程1500可在操作1508處繼續，「判定最佳編碼 分割、變換區塊大小及實際變換」，其中可判定最佳編碼分割、變換區塊大小及實際變換。舉例而言，可基於RDO或另一基礎評估各種編碼分割(例如，具有各種編碼分割區)，以判定選定編碼分割(當編碼分割區不匹配如所論述之變換區塊大小時，其亦可包括編碼分割區至變換區塊之進一步劃分)。舉例而言，實際變換(或選定變換)可包括對如本文中所描述之編碼分割區或區塊大小執行的任何內容自適應變換或固定變換。
過程1500可在操作1509處繼續，「量化及掃描變 換係數」，其中可在準備熵編碼中量化及掃描與編碼分割區(及/或變換區塊)相關聯之變換係數。
過程1500可在操作1511處繼續，「熵編碼與每一 影像塊或超片段相關聯之資料」，其中可熵編碼與每一影像 塊或超片段相關聯之資料。舉例而言，可熵編碼與每一視訊序列之每一圖像群組中之每一圖像之每一影像塊或超片段相關聯的資料。經熵編碼資料可包括預測分割、預測參數、選定編碼分割、選定特性資料、運動向量資料、經量化變換係數、濾波器參數、選擇資料(諸如，模式選擇資料)及原告。
過程1500可在操作1512處繼續，「產生位元串流」， 其中可基於經熵編碼資料產生位元串流。如所論述，在一些實例中，位元串流可包括與預測分割區相關聯之圖框或圖像參考、變形參數或合成參數。
過程1500可在操作1513處繼續，「傳輸位元串流」， 其中可傳輸位元串流。舉例而言，視訊編碼系統1600可經由天線1602(請參看圖16)傳輸輸出位元串流111、位元串流1300或類似者。
過程1500可在操作1520處繼續，「重建構像素資 料，組譯成圖像，且保存在參考圖像緩衝器中」，其中像素資料可經重建構、組譯成圖像且保存在參考圖像緩衝器中。 舉例而言，在局部解碼迴路(例如，包括反掃描、反變換及組譯編碼分割區)後，可產生預測誤差資料分割區。可將預測誤差資料分割區與預測分割區相加以產生經重建構預測分割區，其可組譯成影像塊或超片段。經組譯影像塊或超片段可視情況經由解區塊濾波及/或品質恢復濾波處理，且經組譯以產生圖像。圖像可保存於經解碼圖像緩衝器119中，作為用於其他(例如，接下來的)圖像之預測的參考圖像。
過程1500可在操作1523處繼續，「應用DD/DB濾 波器，重建構像素資料，組譯成圖像」，其中可應用解區塊濾波(例如，DD或DB濾波器)，像素資料可經重建構且組譯成圖像。舉例而言，在局部解碼迴路(例如，包括反掃描、反變換及組譯編碼分割區)後，可產生預測誤差資料分割區。 可將預測誤差資料分割區與預測分割區相加以產生經重建構預測分割區，其可組譯成影像塊或超片段。經組譯影像塊或超片段可視情況經由解區塊濾波及/或品質恢復濾波處理，且經組譯以產生圖像。
過程1500可在操作1524處繼續，「應用QR/LF濾 波器，保存在參考圖像緩衝器中」，其中可應用品質恢復濾波(例如，QR或LF濾波)，且可將經組譯圖像保存在參考圖像緩衝器中。舉例而言，除了DD/DB濾波之外或替代DD/DB濾波，經組譯影像塊或超片段可視情況經由品質恢復濾波處理且經組譯以產生圖像。圖像可保存於經解碼圖像緩衝器119中，作為用於其他(例如，接下來的)圖像之預測的參考圖像。
過程1500可在操作1525處繼續，「產生修改特性 參數」，其中可產生經修改特性參數。舉例而言，可至少部分基於第二經解碼預測參考圖像產生與第二經修改預測參考圖像相關聯之第二經修改預測參考圖像及第二修改特性參數，其中第二經修改參考圖像可屬於與第一經修改參考圖像不同的類型。
過程1500可在操作1526處繼續，「產生經修改預 測參考圖像」，其中可產生經修改預測參考圖像，例如，可至少部分基於第一經解碼預測參考圖像產生與第一經修改預測參考圖像相關聯之第一經修改預測參考圖像及第一修改特性參數。
過程1500可在操作1527處繼續，「產生運動資料」， 其中可產生運動估計資料。舉例而言，可至少部分基於第一經修改預測參考圖像或第二經修改預測參考圖像中之一者產生與當前圖像之預測分割區相關聯的運動資料。
過程1500可在操作1528處繼續，「應用AP/AM濾 波器，執行運動補償」，其中可執行運動補償。舉例而言，可至少部分基於運動資料及第一經修改預測參考圖像或第二經修改預測參考圖像中之至少一者執行運動補償以產生用於預測分割區之預測分割區資料，且可應用自適應運動濾波或自適應精確度濾波(例如，AP/AM濾波器)。過程1500可將此資訊回饋至操作1504，其中可將每一經解碼預測誤差分割區(例如，包括零預測誤差分割區)添加至對應的預測分割區以產生經重建構預測分割區。另外，在該過程中，在此點，可應用自適應運動濾波或自適應精確度濾波。
過程1500可在操作1529處繼續，「視情況，應用EP」，其中可視情況應用增強型預測分割區(例如，EP濾波)。在在EP濾波或FI/FP濾波皆可用之一些實例中，可產生對解碼器系統指示將增強型預測分割區(例如，EP濾波)或是預測之分割區資料作為選定預測分割區用於預測分割區之指示符。
過程1500可在操作1530處繼續，「視情況，應用 FI/FP濾波器」，其中可視情況應用FI/FP濾波(例如，融合濾波或融合改良濾波)。在一些實例中，可作出關於是否利用某一形式或FI/FP濾波器(融合改良濾波/融合濾波)或不使用FI/FP濾波的決策。當待將某一形式或FI/FP濾波器(例如，融合濾波或融合改良濾波)應用於選定預測分割區時，可將該選定預測分割區與第二選定預測分割區組譯以產生經組譯圖像之至少一部分。可應用FI/FP濾波以濾波經組譯圖像之部分。與FI/FP濾波相關聯之FI/FP濾波參數(例如，濾波參數或融合改良濾波參數)可經產生且發送至熵編碼器子系統。
操作1501至1540可提供視訊編碼及位元串流傳 輸技術，該等技術可由如本文中所論述之編碼器系統使用。 以下操作-操作1554至1568可提供視訊解碼及視訊顯示技術，該等技術可由如本文中所論述之解碼器系統使用。
過程1500可在操作1554處繼續，「接收位元串流」， 其中可接收位元串流。舉例而言，可經由解碼器200接收輸入位元串流201、位元串流1300或類似者。在一些實例中，位元串流可包括如上文所論述的與編碼分割區相關聯之資料、一或多個指示符及/或定義編碼分割區之資料。在一些實例中，位元串流可包括預測分割、預測參數、選定編碼分割、選定特性資料、運動向量資料、經量化變換係數、濾波器參數、選擇資料(諸如，模式選擇資料)及原告。
過程1500可在操作1555處繼續，「解碼位元串流」， 其中可經由(例如)自適應熵解碼器模組202解碼接收之位元串流。舉例而言，接收之位元串流可經熵解碼以判定預測分割、預測參數、選定編碼分割、選定特性資料、運動向量資料、經量化變換係數、濾波器參數、選擇資料(諸如，模式選擇資料)及原告。
過程1500可在操作1556處繼續，「對每一編碼分 割區之每一區塊執行反掃描及反量化」，其中對於正經處理之預測分割區，可對每一編碼分割區之每一區塊執行反掃描及反量化。舉例而言，可經由自適應反量化模組203執行反掃描及反量化。
過程1500可在操作1557處繼續，「執行固定或內 容自適應反變換以解碼變換係數以判定經解碼預測誤差資料分割區」，其中可執行固定或內容自適應反變換以解碼變換係數以判定經解碼預測誤差資料分割區。舉例而言，反變換可包括反內容自適應變換(諸如，混合參數哈爾反變換)，使得該混合參數哈爾反變換可包括在參數變換方向之方向上的參數哈爾反變換及在與參數變換方向正交之方向上的離散餘弦反變換。在一些實例中，固定反變換可包括離散餘弦反變換或離散餘弦反變換估計器。舉例而言，可經由自適應反變換模組204執行固定或內容自適應變換。如所論述，內容自適應反變換可基於先前經解碼資料，諸如，經解碼相鄰分割區或區塊。在一些實例中，產生經解碼預測誤差資料分割區可包括經由編碼分割區組譯器模組205組譯經解碼編碼分割區。
過程1500可在操作1558處繼續，「產生用於每一 預測分割區之預測像素資料」，其中可針對每一預測分割區產生預測像素資料。舉例而言，可使用選定預測類型(例如，基於特性及運動或框內或其他類型)及相關聯之預測參數產生預測像素資料。
過程1500可在操作1559處繼續，「將對應的預測 分割區添加至每一經解碼預測誤差分割區以產生經重建構預測分割區」，其中可將每一經解碼預測誤差分割區(例如，包括零預測誤差分割區)添加至對應的預測分割區以產生經重建構預測分割區。舉例而言，可經由圖2中說明之解碼迴路產生預測分割區，且可經由加法器206將其添加至經解碼預測誤差分割區。
過程1500可在操作1560處繼續，「組譯經重建構 預測分割區以產生經解碼影像塊或超片段」，其中可組譯經重建構預測分割區以產生經解碼影像塊或超片段。舉例而言，可經由預測分割區組譯器模組207組譯預測分割區以產生經解碼影像塊或超片段。
過程1500可在操作1561處繼續，「應用解區塊濾 波及/或QR濾波以產生最終經解碼影像塊或超片段」，其中可將可選解區塊濾波及/或品質恢復濾波應用至經解碼影像塊或超片段以產生最終經解碼影像塊或超片段。舉例而言，可經由解區塊濾波模組208應用可選解區塊濾波及/或可經由品質恢復濾波模組209應用可選品質恢復濾波。
過程1500可在操作1562處繼續，「組譯經解碼影 像塊或超片段以產生經解碼視訊圖像，且保存在參考圖像緩衝器中」，其中經解碼(或最終經解碼)影像塊或超片段可經組譯以產生經解碼視訊圖像，且可將經解碼視訊圖像保存在參考圖像緩衝器(例如，經解碼圖像緩衝器210)中，用於在未來預測中使用。
過程1500可在操作1563處繼續，「傳輸經解碼視 訊圖框用於經由顯示器件呈現」，其中可傳輸經解碼視訊圖框用於經由顯示器件呈現。舉例而言，經解碼視訊圖像可進一步經由自適應圖像重組器217及內容後恢復器模組218處理，且作為顯示視訊219之視訊圖框傳輸至顯示器件，用於對使用者呈現。舉例而言，可將視訊圖框傳輸至顯示器件1605(如圖16中所示)用於呈現。
過程1500可在操作1573處繼續，「應用DD/DB濾 波器，重建構像素資料，組譯成圖像」，其中可應用解區塊濾波(例如，DD或DB濾波器)，像素資料可經重建構且組譯成圖像。舉例而言，在反掃描、反變換及組譯編碼分割區後，可將預測誤差資料分割區與預測分割區相加以產生經重建構預測分割區，可將經重建構預測分割區組譯成影像塊或超片段。可視情況經由解區塊濾波處理經組譯影像塊或超片段。
過程1500可在操作1574處繼續，「應用QR/LF濾 波器，保存在參考圖像緩衝器中」，其中可應用品質恢復濾波(例如，QR或LF濾波)，且可將經組譯圖像保存在參考圖像緩衝器中。舉例而言，除了DD/DB濾波之外或替代DD/DB 濾波，經組譯影像塊或超片段可視情況經由品質恢復濾波處理且經組譯以產生圖像。圖像可保存於圖像緩衝器中，作為用於其他(例如，接下來的)圖像之預測的參考圖像。
過程1500可在操作1576處繼續，「產生經修改預 測參考圖像」，其中可產生經修改預測參考圖像，例如，可至少部分基於第三修改特性參數產生第三經修改預測參考圖像之至少一部分。類似地，可至少部分基於相關聯之第二修改特性參數產生第四經修改預測參考圖像之至少一部分。
過程1500可在操作1577處繼續，「產生運動資料」， 其中可產生運動估計資料。舉例而言，可至少部分基於第三經修改預測參考圖像或第三經修改預測參考圖像中之一者產生與當前圖像之預測分割區相關聯的運動資料。
過程1500可在操作1578處繼續，「應用AP/AM濾 波器且執行運動補償」，其中可執行運動補償，且其中可應用自適應運動濾波或自適應精確度濾波(例如，AP/AM濾波器)。舉例而言，可至少部分基於運動資料及第三經修改預測參考圖像或第四經修改預測參考圖像中之至少一者執行運動補償以產生用於預測分割區之預測分割區資料。過程1500可將此資訊回饋至操作1559，其中可將每一經解碼預測誤差分割區(例如，包括零預測誤差分割區)添加至對應的預測分割區以產生經重建構預測分割區。另外，在該過程中，在此點，可應用自適應運動濾波或自適應精確度濾波。
過程1500可在操作1579處繼續，「視情況，應用 EP濾波器」，其中可視情況應用增強型預測分割區(例如，EP濾波)。在EP濾波或FI/FP濾波皆可用之一些實例中，可自編碼器系統接收對解碼器系統指示將增強型預測分割區(例如，EP濾波)或是預測之分割區資料作為選定預測分割區用於預測分割區之指示符。
過程1500可在操作1580處繼續，「視情況，應用 F1/FP濾波器」，其中可視情況應用FI/FP濾波(例如，融合濾波或融合改良濾波)。在一些實例中，可作出關於是否利用某一形式或FI/FP濾波器(融合改良濾波/融合濾波)或不使用FI/FP濾波的決策。當待將某一形式或FI/FP濾波器(例如，融合濾波或融合改良濾波)應用於選定預測分割區時，可將該選定預測分割區與第二選定預測分割區組譯以產生經組譯圖像之至少一部分。可應用FI/FP濾波以濾波經組譯圖像之部分。與FI/FP濾波相關聯之FI/FP濾波參數(例如，濾波參數或融合改良濾波參數)可經產生且發送至熵編碼器子系統。
可經由如本文中所論述的編碼器系統中之任何 者實施過程1500。另外，可串行或並列地對視訊資料之任何數目個執行個體(諸如，預測誤差資料分割區、原始資料分割區或小波資料或類似者)重複過程1500。
圖16為根據本發明之至少一些實施配置的一實 例視訊編碼系統1600之例示性圖。在所說明之實施中，視訊編碼系統1600可包括成像器件1601、視訊編碼器100、視訊解碼器200(及/或經由處理單元1620之邏輯電路1650實施 之視訊編碼器)、天線1602、一或多個處理器1603、一或多個記憶體儲存區1604及/或顯示器件1605。
如所說明，成像器件1601、天線1602、處理單元 1620、邏輯電路1650、視訊編碼器100、視訊解碼器200、處理器1603、記憶體儲存區1604及/或顯示器件1605可能能夠相互通訊。如所論述，雖然藉由視訊編碼器100及視訊解碼器200兩者說明，但在各種實例中，視訊編碼系統1600可包括僅視訊編碼器100或僅視訊解碼器200。
如所示，在一些實例中，視訊編碼系統1600可包 括天線1602。舉例而言，天線1602可經組配以傳輸或接收視訊資料之經編碼位元串流。另外，在一些實例中，視訊編碼系統1600可包括顯示器件1605。顯示器件1605可經組配以呈現視訊資料。如所示，在一些實例中，邏輯電路1650可經由處理單元1620實施。處理單元1620可包括特殊應用積體電路(ASIC)邏輯、圖形處理器、通用處理器或類似者。 視訊編碼系統1600亦可包括可選處理器1603，其可類似地包括特殊應用積體電路(ASIC)邏輯、圖形處理器、通用處理器或類似者。在一些實例中，邏輯電路1650可經由硬體、視訊編碼專用硬體或類似者實施，且處理器1603可以通用軟體、作業系統或類似者實施。此外，記憶體儲存區1604可為任一類型之記憶體，諸如，依電性記憶體(例如，靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)等)或非依電性記憶體(例如，快閃記憶體等)等等。在非限制性實例中，記憶體儲存區1604可由快取記憶體實施。在一些 實例中，邏輯電路1650可存取記憶體儲存區1604(例如，用於影像緩衝器之實施)。在其他實例中，邏輯電路1650及/或處理單元1620可包括記憶體儲存區(例如，快取記憶體或類似者)，用於影像緩衝器或類似者之實施。
在一些實例中，經由邏輯電路實施之視訊編碼器 100可包括一影像緩衝器(例如，經由處理單元1620或記憶體儲存區1604)及一圖形處理單元(例如，經由處理單元1620)。圖形處理單元可通訊耦接至影像緩衝器。圖形處理單元可包括如經由邏輯電路1650實施之視訊編碼器100，以體現如關於圖1所論述之各種模組及/或本文中描述之任一其他編碼器系統或子系統。舉例而言，圖形處理單元可包括編碼分割區產生器邏輯電路、自適應變換邏輯電路、內容預分析器、編碼控制器邏輯電路、自適應熵編碼器邏輯電路等等。邏輯電路可經組配以執行如本文中所論述之各種操作。
舉例而言，視訊編碼器100可包括一投射式內插 參考圖像子系統，其經組配以接收來自經解碼圖像緩衝器之兩個或兩個以上輸入圖框以及與輸入圖框相關聯之輸入運動向量資料，該投射式內插參考圖像子系統。該投射式內插參考圖像子系統可包括一投射圖框產生器模組，其經組配以產生一個輸出投射式內插圖框之至少部分。該投射圖框產生器模組可包括一運動投射器模組。投射圖框產生器模組之運動投射器模組部分-運動投射器模組經組配以至少部分基於接收之兩個或兩個以上輸入圖框以及輸入運 動向量資料產生投射式運動向量場。運動投射器模組可經組配以藉由經組配以至少部分基於輸入運動向量資料以及判定之運動比例因數及平移因數按比例調整及平移輸入運動向量場來產生投射式運動向量場；至少部分基於經按比例調整及平移輸入運動向量場計算投射式內插圖框中之投射位置；及在計算之投射位置處插入計算之經按比例調整及平移運動向量中之至少兩者。該投射圖框產生器模組可包括一經時間加權運動補償器模組。該經時間加權運動補償器模組可經組配以至少部分基於投射式運動向量場至少部分基於對輸入圖框中之至少兩者之運動補償之加權摻合產生一個投射式內插之至少部分。
可以如經由邏輯電路1650所實施類似之方式實 施視訊解碼器200，以體現如關於圖2之解碼器200所論述之各種模組及/或本文中描述之任一其他編碼器系統或子系統。
在一些實例中，視訊編碼系統1600之天線1602 可經組配以接收視訊資料之經編碼位元串流。如所論述，經編碼位元串流可包括與編碼相關聯之資料，諸如，編碼分割區(例如，變換係數或經量化變換係數、可選指示符(如所論述)及/或定義編碼分割區(例如，與使用符號執行編碼或碼簿技術或類似者定義雙樹分割區或k-d樹分割區相關聯之資料)之資料)等等。視訊編碼系統1600亦可包括耦接至天線1602且經組配以解碼經編碼位元串流之視訊解碼器200。
舉例而言，視訊解碼器200可包括一投射式內插 參考圖像子系統，其經組配以接收來自經解碼圖像緩衝器之兩個或兩個以上輸入圖框以及與輸入圖框相關聯之輸入運動向量資料，該投射式內插參考圖像子系統。投射式內插參考圖像子系統之投射圖框產生器模組可經組配以產生一個輸出投射式內插圖框之至少部分。投射圖框產生器模組之運動投射器模組部分可經組配以至少部分基於接收之兩個或兩個以上輸入圖框以及輸入運動向量資料產生投射式運動向量場。該運動投射器模組可執行若干功能(例如，包括經組配以：至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數按比例調整及平移輸入運動向量場；至少部分基於該等經按比例調整及平移輸入運動向量場計算一投射式內插圖框中之一投射位置；在該計算之投射位置處插入該計算之經按比例調整及平移運動向量中之至少兩者)。投射圖框產生器模組之經時間加權運動補償器模組可經組配以至少部分基於投射式運動向量場至少部分基於對輸入圖框中之至少兩者之運動補償之加權摻合產生一個投射式內插之至少部分。
在一些實施例中，可回應於由一或多個電腦程式 產品提供之指令進行本文中描述之特徵。此等程式產品可包括提供當由(例如)處理器執行時可提供本文中所描述之功能性的指令之信號承載媒體。可以任何形式之一或多個機器可讀媒體提供電腦程式產品。因此，舉例而言，包括一或多個處理器核心之處理器可回應於由一或多個機器可 讀媒體傳送至處理器的程式碼及/或指令或指令集進行本文中描述之一或多個特徵。一般而言，機器可讀媒體可傳送呈可使本文中描述的器件及/或系統中之任一者實施本文中描述的特徵之至少部分之程式碼及/或指令或指令集之形式的軟體。
圖17為根據本發明之至少一些實施配置的一實 例系統1700之例示性圖。在各種實施中，系統1700可為媒體系統，但系統1700並不限於此情境。舉例而言，系統1700可併入至以下各者內：個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控板、攜帶型電腦、手持型電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合蜂巢式電話/PDA、電視、智慧型器件(例如，智慧型手機、智慧型平板電腦或智慧型電視)、行動網際網路器件(MID)、訊息傳遞器件、資料通訊器件、相機(例如，隨拍相機、超變焦相機、數位單一鏡頭反射(DSLR)攝影機)等等。
在各種實施中，系統1700包括耦接至顯示器1720 之一平台1702。平台1702可自諸如內容服務器件1730或內容傳遞器件1740或其他類似內容源之內容器件接收內容。 導覽控制器1750包括可用以與(例如)平台1702及/或顯示器1720互動之一或多個巡覽特徵。以下更詳細地描述此等組件中之每一者。
在各種實施中，平台1702可包括晶片組1705、處 理器1710、記憶體1712、天線1713、儲存器1714、圖形子系統1715、應用程式1716及/或無線電1718之任何組合。晶 片組1705可提供在處理器1710、記憶體1712、儲存器1714、圖形子系統1715、應用程式1716及/或無線電1718間的互通訊。舉例而言，晶片組1705可包括能夠提供與儲存器1714之互通訊的一儲存配接器(未描繪)。
處理器1710可實施為複合指令集電腦(CISC)或 精簡指令集電腦(RISC)處理器、x86指令集相容處理器、多核心或任何其他微處理器或中央處理單元(CPU)。在各種實施中，處理器1710可為雙核心處理器、雙核心行動處理器等等。
記憶體1712可實施為依電性記憶體器件，諸如 (但不限於)，隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)或靜態RAM(SRAM)。
儲存器1714可實施為非依電性儲存器件，諸如 (但不限於)，磁碟機、光碟機、磁帶驅動機、內部儲存器件、附接式儲存器件、快閃記憶體、電池備用式SDRAM(同步DRAM)及/或網路可存取儲存器件。在各種實施中，儲存器1714可包括當(例如)包括多個硬碟機時增加對有價值之數位媒體的儲存效能增強型保護的技術。
圖形子系統1715可對諸如用於顯示之靜態或視 訊影像執行處理。舉例而言，圖形子系統1715可為圖形處理單元(GPU)或視覺處理單元(VPU)。類比或數位介面可用以通訊耦接圖形子系統1715與顯示器1720。舉例而言，介面可為高清晰度多媒體介面、顯示埠、無線HDMI及/或無線HD相符技術中之任一者。圖形子系統1715可整合至處理 器1710或晶片組1705內。在一些實施中，圖形子系統1715可為通訊耦接至晶片組1705之單獨器件。
本文中所描述之圖形及/或視訊處理技術可實施 於各種硬體架構中。舉例而言，圖形及/或視訊功能性可整合至晶片組內。替代性地，可使用離散之圖形及/或視訊處理器。作為再一實施，可由通用處理器(包括多核心處理器)提供圖形及/或視訊功能。在另外實施例中，可在消費型電子器件中實施該等功能。
無線電1718可包括能夠使用各種合適無線通訊 技術傳輸及接收信號之一或多個無線電。此等技術可涉及跨一或多個無線網路之通訊。實例無線網路包括(但不限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會網路(WMAN)、蜂巢式網路及衛星網路。在跨此等網路之通訊時，無線電1718可根據任何版本的一或多個適用標準操作。
在各種實施中，顯示器1720可包括任一電視類型 監視器或顯示器。顯示器1720可包括(例如)電腦顯示幕、觸控螢幕顯示器、視訊監視器、電視狀器件及/或電視。顯示器1720可為數位及/或類比的。在各種實施中，顯示器1720可為全像顯示器。又，顯示器1720可為可接收視覺投影之透明表面。此等投影可傳送各種形式之資訊、影像及/或物件。舉例而言，此等投影可為用於行動擴增實境(MAR)應用之視覺覆疊。在一或多個軟體應用程式1716之控制下，平台1702可在顯示器1720上顯示使用者介面1722。
在各種實施中，內容服務器件1730可由任何國家、 國際及/或獨立之服務代管，且因此可由平台1702(例如)經由網際網路存取。內容服務器件1730可耦接至平台1702及/或顯示器1720。平台1702及/或內容服務器件1730可耦接至網路1760，以將媒體資訊傳達(例如，發送及/或接收)至網路1760及自網路1760傳達媒體資訊。內容傳遞器件1740亦可耦接至平台1702及/或至顯示器1720。
在各種實施中，(若干)內容服務器件1730可包括 有線電視盒、個人電腦、網路、電話、具備網際網路能力之器件或能夠傳遞數位資訊及/或內容之器具，及能夠在內容提供者與平台1702及/顯示器1720之間經由網路1760或直接地單向或雙向傳達內容的任何其他類似器件。將瞭解，可經由網路1760，將內容單向及/或雙向地傳達至系統1700中之組件中的任一者及內容提供商，並自該系統中之組件中的任一者及內容提供商單向及/或雙向地傳達內容。內容之實例可包括任何媒體資訊，包括(例如)視訊、音樂、醫療及遊戲資訊等等。
內容服務器件1730可接收諸如有線電視程式設 計之內容，包括媒體資訊、數位資訊及/或其他內容。內容提供商之實例可包括任何纜線或衛星電視或無線電或網際網路內容提供商。所提供實例並不意欲以任何方式限制根據本發明之實施。
在各種實施中，平台1702可自具有一或多個導覽 特徵之導覽控制器1750接收控制信號。舉例而言，控制器 1750之巡覽特徵可用以與使用者介面1722互動。在各種實施例中，巡覽控制器1750可為指標器件，其可為允許使用者將空間(例如，連續及多維)資料輸入至電腦內的電腦硬體組件(具體言之，人介面器件)。諸如圖形使用者介面(GUI)及電視及監視器之許多系統允許使用者使用實體示意動作對電腦或電視進行控制，及將資料提供至電腦或電視中。
藉由移動指標、游標、聚焦環或顯示於顯示器上 的其他視覺指示符，可在顯示器(例如，顯示器1720)上複製控制器1750之導覽特徵的移動。舉例而言，在軟體應用程式1716之控制下，位於導覽控制器1750上之導覽特徵可映射至在使用者介面1722上顯示之虛擬導覽特徵。在各種實施例中，控制器1750可不為分開組件，而可整合至平台1702及/或顯示1720內。然而，本發明不限於本文中所展示或所描述之元件或上下文中。
在各種實施中，驅動器(未展示)可包括用以使得 使用者能夠藉由在初始開機之後(例如，在啟用時)觸碰按鈕而即刻地接通及切斷類似電視之平台1702的技術。程式邏輯可允許平台1702甚至在該平台「切斷」時將內容串流至媒體配接器或其他內容服務器件1730或內容傳遞器件1740。 另外，晶片組1705可包括對於(例如)5.1環繞聲音訊及/或高清晰度(7.1)環繞聲音訊之硬體及/或軟體支援。驅動器可包括用於整合之圖形平台的一圖形驅動器。在各種實施例中，圖形驅動器可包含一周邊組件互連(PCI)高速圖形卡。
在各種實施中，可整合系統1700中所展示之組件 中的任何一或多者。舉例來說，可整合平台1702及內容服務器件1730，或可整合平台1702及內容傳遞器件1740，或可整合平台1702、內容服務器件1730與內容傳遞器件1740。 在各種實施例中，平台1702及顯示器1720可為整合式單元。 舉例而言，可整合顯示器1720與內容服務器件1730，或可整合顯示器1720與內容傳遞器件1740。此等實例並不意欲限制本發明。
在各種實施例中，系統1700可實施為無線系統、 有線系統或兩者之組合。當實施為無線系統時，系統1700可包括適於經由無線共用媒體而通訊之組件及介面，諸如，一或多個天線、傳輸器、接收器、收發器、放大器、濾波器、控制邏輯等等。無線共用媒體之實例可包括無線頻譜之部分，諸如，RF頻譜等等。當實施為有線系統時，系統1700可包括適於經由有線通訊媒體而通訊之組件及介面，諸如，輸入/輸出(I/O)配接器、將I/O配接器與對應有線通訊媒體連接之實體連接器、網路介面卡(NIC)、光碟控制器、視訊控制器、音訊控制器及類似者。有線通訊媒體之實例可包括電線、纜線、金屬引線、印刷電路板(PCB)、底板、交換網狀架構、半導體材料、雙絞線、同軸纜線、光纖等等。
平台1702可建立一或多個邏輯或實體頻道以傳 達資訊。資訊可包括媒體資訊及控制資訊。媒體資訊可指表示意謂用於使用者之內容的任何資料。內容之實例可包括(例如)來自語音會話、視訊會議、串流視訊、電子郵件 (「email」)訊息、語音郵件訊息、文數字符號、圖形、影像、視訊、文字等等之資料。來自話音會話之資料可為(例如)話語資訊、無聲週期、背景雜訊、舒適雜訊、音調等等。 控制資訊可指表示意謂用於自動化系統之命令、指令或控制字的任何資料。舉例來說，控制資訊可用以經由系統而導引媒體資訊，或指示節點以預定方式來處理媒體資訊。 然而，實施例並不限於圖17中所展示或所描述之元件或上下文中。
如上文所描述，可以變化之實體樣式或外觀尺寸 來體現系統1700。圖18說明可體現系統1800的小外觀尺寸器件1800之實施。在各種實施例中，舉例而言，器件1800可實施為具有無線能力之行動計算器件。行動計算器件可指具有一處理系統及一行動電源或電力供應器(諸如，一或多個電池)之任何器件。
如上所述，行動計算器件之實例可包括個人電腦 (PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控板、攜帶型電腦、手持型電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合蜂巢式電話/PDA、電視、智慧型器件(例如，智慧型手機、智慧型平板電腦或智慧型電視)、行動網際網路器件(MID)、訊息傳遞器件、資料通訊器件、相機(例如，隨拍相機、超變焦相機、數位單一鏡頭反射(DSLR)攝影機)等等。
行動計算器件之實例亦可包括經配置以由個人 佩戴之電腦，諸如，腕式電腦、手指式電腦、環式電腦、 鏡片式電腦、帶夾式電腦、臂帶式電腦、鞋式電腦、服裝式電腦及其他可佩帶式電腦。在各種實施例中，舉例來說，行動計算器件可實施為能夠執行電腦應用程式以及語音通訊及/或資料通訊之智慧型手機。儘管作為實例，可藉由實施為智慧型手機之行動計算器件來描述一些實施例，但可瞭解，亦可使用其他無線行動計算器件實施其他實施例。 實施例並不限於此上下文中。
如圖18中所示，器件1800可包括一外殼1802、可 包括一使用者介面1810之一顯示器1804、一輸入/輸出(I/O)器件1806及一天線1808。器件1800亦可包括導覽特徵1812。 顯示器1804可包括用於顯示適合於行動計算器件之資訊的任一合適顯示單元。I/O器件1806可包括用於將資訊鍵入至行動計算器件內之任一合適I/O器件。用於I/O器件1806之實例可包括文數字鍵盤、數字小鍵盤、觸控板、輸入鍵、按鈕、開關、搖臂開關、麥克風、揚聲器、語音辨識器件及軟體等等。亦可藉由麥克風(未圖示)而將資訊鍵入至器件1800內。此資訊可由語音辨識器件(未圖示)數位化。實施例並不限於此上下文中。
雖然本文中的實例過程之實施可包括進行按所 說明之次序展示的所有操作，但本發明在此方面不受限制，且在各種實例中，本文中的實例過程之實施可包括進行所展示及/或呈與所說明不同之次序的操作之僅一子集。
此外，可回應於由一或多個電腦程式產品提供之 指令進行本文中論述的操作中之任何一或多者。此等程式 產品可包括提供當由(例如)處理器執行時可提供本文中所描述之功能性的指令之信號承載媒體。可以任何形式之一或多個機器可讀媒體提供電腦程式產品。因此，舉例而言，包括一或多個處理器核心之處理器可回應於由一或多個機器可讀媒體傳送至處理器的程式碼及/或指令或指令集進行本文中的實例過程之操作中之一或多者。一般而言，機器可讀媒體可傳送呈可使本文中描述的器件及/或系統中之任一者實施如本文中所論述的視訊系統之至少部分之程式碼及/或指令或指令集之形式的軟體。
如在本文中所描述之任何實施中所使用，術語「模組」指經組配以提供本文中所描述之功能性的軟體邏輯、韌體邏輯及/或硬體邏輯之任何組合。軟體可體現為套裝軟體、程式碼及/或指令集或指令，且如在本文中所描述之任何實施中所使用，「硬體」可單獨地或以任何組合包括(例如)固線式電路、可程式化電路、狀態機電路及/或儲存由可程式化電路執行之指令的韌體。模組可共同地或個別地體現為形成較大系統(例如，積體電路(IC)、系統單晶片(SoC)等等)之部分的電路。舉例而言，模組體現於邏輯電路中，用於經由本文中論述的編碼系統之軟體、韌體或硬體實施。
可使用硬體元件、軟體元件或兩者之組合來實施各種實施例。硬體元件之實例可包括處理器、微處理器、電路、電路元件(例如，電晶體、電阻器、電容器、電感器等)、積體電路、特殊應用積體電路(ASIC)、可程式化邏輯器件(PLD)、數位信號處理器(DSP)、場可程式化閘陣列 (FPGA)、邏輯閘、暫存器、半導體器件、晶片、微晶片、晶片組等。軟體之實例可包括軟體組件、程式、應用程式、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中間軟體、韌體、軟體模組、常式、次常式、函式、方法、程序、軟體介面、應用程式介面(API)、指令集、計算程式碼、電腦程式碼、碼段、電腦碼段、字、值、符號或其任何組合。判定是否使用硬體元件及/或軟體元件來實施實施例可根據諸如以下各者之任何數目個因素而變化：所要的計算速率、功率位準、耐熱性、處理循環預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度及其他設計或效能約束。
可藉由儲存於機器可讀媒體上的表示處理器內 之各種邏輯的代表性指令實施至少一實施例之一或多個態樣，該等代表性指令在由機器讀取時使該機器製造執行本文中所描述之技術的邏輯。可將被稱為「IP核心」之此等表示儲存於有形機器可讀媒體上，並將其供應至各種消費者或製造設施，以將其載入至實際上製造邏輯或處理器之製造機器中。
雖然已參考各種實施描述本文中所闡述之某些 特徵，但此描述並不意欲以限制意義來解釋。因此，應將熟習關於本發明所屬之此項技術者顯而易見的對本文中所描述之實施以及其他實施的各種修改認為在本發明之精神及範疇內。
以下實例係關於另外實施例。
在一個實例中，一種用於視訊編碼之電腦實施方 法可包括接收兩個或兩個以上輸入圖框。可接收與該等輸入圖框相關聯之輸入運動向量資料。可產生一個輸出投射式內插圖框之至少部分，包括：至少部分基於該接收之兩個或兩個以上輸入圖框以及該輸入運動向量資料產生一投射式運動向量場(例如，其可包括：至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數按比例調整及平移輸入運動向量場；至少部分基於該經按比例調整及平移輸入運動向量場計算一投射式內插圖框中之一投射位置；及在該計算之投射位置處插入該計算之經按比例調整及平移運動向量中之至少兩者)。可至少部分基於該投射式運動向量場至少部分基於對該等輸入圖框中之至少兩者之一運動補償之加權摻合來產生一個投射式內插圖框之至少部分。
在一些編碼器實施中，用於視訊編碼之該實例電 腦實施方法可進一步包括自一經解碼圖像緩衝器經由一投射式內插參考圖像子系統執行該兩個或兩個以上輸入圖框之該接收(例如，包括：自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該兩個或兩個以上輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框不具有與該等候選投射式內 插參考圖框之一預設定各別過去及未來時間關係)。與該等輸入圖框相關聯的該輸入運動向量之該接收可經由該投射式內插參考圖像子系統進行(例如，包括：除了該接收之運動向量資料外，亦接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內)。可至少部分基於該接收之兩個或兩個以上輸入圖框經由該投射式內插參考圖像子系統之一投射軌跡分析器模組部分進行一或多個運動比例因數及平移因數候選之一判定，用於在將該輸入運動向量資料投射至一當前候選投射式內插參考圖框過程中使用；其中該一或多個候選投射式內插參考圖框經由該投射圖框產生器模組之該產生可至少部分基於個別投射運動比例因數及平移因數候選(例如，包括：經由一運動估計器模組判定待關於該接收之兩個或兩個以上輸入圖框編碼的一當前圖框之一真實運動；至少部分基於使關於接收之輸入圖框的該當前圖框之該真實運動與相關聯於該接收之兩個或兩個以上輸入圖框的該輸入運動向量資料之間的誤差最小化之一最小平方估計產生該一或多個運動比例因數及平移因數候選之至少一部分；及至少部分基於關於該接收之兩個或兩個以上輸入圖框的該當前圖框之時間位置之一線性按比例調整產生該一或多個運動比例因數及平移因數候選之至少一部分)。一個輸出投射式內插圖框之該至少部分之該產生係經由該投射式內插參考圖像子系統之一投射圖框產生器模組進行，可包括除了至少部分基 於該接收之兩個或兩個以上輸入圖框之外，亦至少部分基於該判定之運動比例因數及平移因數產生一或多個候選投射式內插參考圖框(例如，其中該投射式運動向量場之該產生係經由該投射圖框產生器模組之一運動投射器模組部分進行，包括：除了該投射式運動向量場之外，至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料亦產生一投射遮罩；經由該投射圖框產生器之一投射擴張模組閉合該產生之投射式運動向量場中之潛在開口；及藉由重新插入有效運動向量以修復潛在閉塞來經由該投射圖框產生器之一運動再投射器模組修復該投射式運動向量場中之該等潛在閉塞)。該投射遮罩之該產生可包括若干操作(例如，包括，其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之 該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；及將與該先前輸入圖框相關聯的該計算之預測位置標記為參考)。該產生之投射式運動向量場中的該等潛在開口之該閉合可包括若干操作(例如，包括選擇一附近有效運動向量用於複製以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充)。該投射式運動向量場中的該等潛在閉塞之該修復可包括若干操作(例如，包括其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；及其中當已判定該未來預測 位置具有一有效傳輸時，該投射式運動向量場中的該開口之該投射將自過去預測)。一個投射式內插圖框之該至少部分之該產生可經由該投射圖框產生器模組之一經時間加權運動補償器模組進行以至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數產生該一或多個候選投射式內插參考圖框之個別區塊。在此等實施中，當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係。此等摻合因數可包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數；其中該經時間加權運動補償(例如，包括：藉由該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；藉由該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；及藉由求和及按比例調整來摻合該等加權過去與未來運動補償之區塊。該投射式內插參考圖像子系統之一投射式內插圖框選擇器部分可自該一或多個候選 投射式內插參考圖框選擇一最佳輸出投射式內插參考圖框，其中該最佳輸出投射式內插參考圖框之該選擇包括候選投射式內插參考圖框與當前圖框之間的誤差之一計算。該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分可儲存該等選定最佳輸出投射式內插參考圖框中之一或多者，其中該選定最佳輸出投射式內插參考圖框以及一選定最佳運動比例因數及平移因數中之該一或多者的該儲存至少部分基於與該選定最佳輸出投射式內插參考圖框相關聯的該一或多個運動比例因數及平移因數候選。一運動估計器模組可至少部分基於該選定最佳輸出投射式內插參考圖框以及基於待編碼之一當前圖框執行運動估計。該運動估計器模組可至少部分基於該等基於投射式內插之參考圖框中的一或多者產生與一當前圖框之一預測分割區相關聯的運動資料。該運動補償之濾波預測器模組可至少部分基於運動資料及該等基於投射式內插之參考圖框中之該一或多者執行運動補償以產生用於該預測分割區的預測之分割區資料。一差異可使該預測之分割區資料與相關聯於該預測分割區之原始像素資料有差異以產生一預測誤差資料分割區。一編碼分割區產生器可分割該預測誤差資料分割區以產生複數個編碼分割區。一自適應變換模組可對該複數個編碼分割區執行一正向變換以產生與該複數個編碼分割區相關聯之變換係數。一自適應量化模組可量化該等變換係數以產生經量化變換係數。一自適應熵編碼器可將與當前經解碼圖框之該預測分割區相關聯的該等選定最佳運 動比例因數及平移因數、該等經量化變換係數、模式、運動資料及參考資料熵編碼至一位元串流內，其中該模式及該參考資料包括指示該框內區塊、該跳過區塊、該第一及該第二框間區塊及該參考圖框之指示符。可傳輸該位元串流。
在一些解碼器實施中，用於視訊編碼之該實例電 腦實施方法可進一步包括經由一解碼器自一編碼器接收與一選定最佳投射式內插參考圖框相關聯之一選定最佳運動比例因數及平移因數。該兩個或兩個以上輸入圖框之該接收可自一經解碼圖像緩衝器經由一投射式內插參考圖像子系統進行。該兩個或兩個以上輸入圖框之此接收可包括自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框。舉例而言，該兩個或兩個以上輸入圖框可包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框可具有關於該等候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框可不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係。與該等輸入圖框相關聯的該輸入運動向量資料之該接收可經由該投射式內插參考圖像子系統進行。除了該接收之運動向量資料之外，該輸入運動向量資料之此接收亦可包括接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料可包括以下預測模式類型中之一或多者：跳過、自動、框間、 多及/或框內、類似者及/或其組合。可經由該投射式內插參考圖像子系統之一投射圖框產生器模組進行一個輸出投射式內插圖框之該至少部分之該產生，包括：除了至少部分基於該接收之兩個或兩個以上輸入圖框之外，亦至少部分基於該等判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框。一或多個候選投射式內插參考圖框之此產生可包括若干操作(例如，包括：除了該投射式運動向量場之外，該投射式運動向量場以及一投射遮罩之該產生亦可至少部分基於經由該投射圖框產生器模組之一運動投射器模組部分投射與該個別運動比例因數及平移因數候選相關聯的輸入運動向量資料；經由該投射圖框產生器之一投射擴張模組閉合該產生之投射式運動向量場中的潛在開口；藉由重新插入有效運動向量以修復該等潛在閉塞，經由該投射圖框產生器之一運動再投射器模組修復該投射式運動向量場中之潛在閉塞)。舉例而言，該投射式運動向量場以及一投射遮罩之該產生可包括若干操作(例如，包括：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的一投射式內插圖框中的該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該計算之個別未來候選經按比例調整投射運動向量計算該 當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者的該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有與運動向量相關聯之一預先存在差異時將該計算之個別投射位置標記為一閉塞包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於與該閉塞之運動向量相關聯的該預先存在差異時，插入該等計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；及將與該先前輸入圖框相關聯的該計算之預測位置標記為參考)。舉例而言，潛在開口之該閉合可包括選擇一附近有效運動向量用於複製，以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充。舉例而言，該投射式運動向量場中的該等潛在閉塞之該修復可包括若干操作(例如，包括：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開 口之一位置對應的該未來預測位置；其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且其中當已判定該未來預測位置具有一有效傳輸運動時，該投射式運動向量場中的該開口之該投射將自過去預測)。至少部分基於對該等輸入圖框中之至少兩者的該運動補償之加權摻合的一個投射式內插圖框之該至少部分之該產生可經由該投射圖框產生器模組之一經時間加權運動補償器模組進行。舉例而言，一個投射式內插圖框之該至少部分之該產生可包括至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數產生該一或多個候選投射式內插參考圖框之個別區塊。當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係。此等摻合因數可包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數。該經時間加權運動補償可包 括若干操作(例如，包括：用該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；用該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；及/或藉由求和及按比例調整來摻合該等加權過去及未來運動補償之區塊)。該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分可儲存該等輸出投射式內插圖框中之一或多者。
在另一實例中，視訊編碼器可包括一投射式內插 參考圖像子系統，其經組配以接收來自一經解碼圖像緩衝器之兩個或兩個以上輸入圖框以及與該等輸入圖框相關聯之輸入運動向量資料，該投射式內插參考圖像子系統。該投射式內插參考圖像子系統可包括一投射圖框產生器模組，其經組配以產生一個輸出投射式內插圖框之至少部分。該投射圖框產生器模組可包括一運動投射器模組。該投射圖框產生器模組之該運動投射器模組部分--該運動投射器模組，經組配以至少部分基於該接收之兩個或兩個以上輸入圖框以及該輸入運動向量資料產生一投射式運動向量場。 該運動投射器模組可經組配以藉由經組配以至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數按比例調整及平移輸入運動向量場來產生一投射式運動向量場；至少部分基於該等經按比例調整及平移輸入運動向量場計算一投射式內插圖框中之一投射位置；及在該計算之投射位置處插入該等計算之經按比例調整及平移運動向量中之至少兩者。該投射圖框產生器模組可包括一經時間 加權運動補償器模組。該經時間加權運動補償器模組可經組配以至少部分基於該投射式運動向量場至少部分基於對該等輸入圖框中之至少兩者之一運動補償之加權摻合產生一個投射式內插圖框之該至少部分。
在一些編碼器實施中，該實例視訊編碼器可進一 步包括能夠接收該兩個或兩個以上輸入圖框之該投射式內插參考圖像子系統。該投射式內插參考圖像子系統可經組配以自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該兩個或兩個以上輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係。該投射式內插參考圖像子系統可經組配以接收與該等輸入圖框相關聯之該輸入運動向量資料。舉例而言，除了該接收之運動向量資料外，該投射式內插參考圖像子系統可經組配以亦接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多、及/或框內、類似者及/或其組合。該投射式內插參考圖像子系統之一投射軌跡分析器模組部分可經組配以至少部分基於該接收之兩個或兩個以上輸入圖框判定一或多個運動比例因數及平移因數候選，用於在將該輸入運動向 量資料投射至一當前候選投射式內插參考圖框過程中使用；其中該一或多個候選投射式內插參考圖框的經由該投射圖框產生器模組之該產生至少部分基於個別投射運動比例因數及平移因數候選。舉例而言，該投射軌跡分析器可經組配以執行若干功能(例如，包括經組配以：經由一運動估計器模組判定待關於該接收之兩個或兩個以上輸入圖框編碼的一當前圖框之一真實運動；至少部分基於使關於接收之輸入圖框的該當前圖框之該真實運動與相關聯於該接收之兩個或兩個以上輸入圖框的該輸入運動向量資料之間的誤差最小化之一最小平方估計產生該一或多個運動比例因數及平移因數候選之至少一部分；及至少部分基於關於該接收之兩個或兩個以上輸入圖框的該當前圖框之時間位置之一線性按比例調整產生該一或多個運動比例因數及平移因數候選之至少一部分)。該投射式內插參考圖像子系統之該投射圖框產生器模組可經進一步組配以除了至少部分基於該接收之兩個或兩個以上輸入圖框外亦至少部分基於一判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框。舉例而言，該運動投射器模組可經進一步組配以至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料，除了該投射式運動向量場外，亦產生一投射遮罩。舉例而言，該運動投射器模組可經組配以執行若干功能(例如，包括經組配以：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該等輸入運動向量場之該按比例調整及 平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的一投射式內插圖框中的該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者的該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有與運動向量相關聯之一預先存在差異時將該計算之個別投射位置標記為一閉塞包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於與該閉塞之運動向量相關聯的該預先存在差異時，插入該等計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；及將與該先前輸入圖框相關聯的該計算之預測位置標記為參考)。該投射圖框產生器之一投射擴張模組可經組配以閉合該產生之投射式運動向量場中的潛在開口。舉例而言，該投射擴張模組可經組配以選擇一附近有效運動向量用於複 製，以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充。該投射圖框產生器之一運動再投射器模組可經組配以藉由重新插入有效運動向量以修復該等潛在閉塞來修復該投射式運動向量場中之潛在閉塞。舉例而言，該運動再投射器模組可執行若干功能(例如，包括經組配以：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且其中當已判定該未來預測位置具有一有效傳輸運動時，該投射式運動向量場中的該開口之該投射將自過去預測)。該投射圖框產生器模組之該經時間加權運動補償器模組可經進一步組配以至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數產生該一或多個候選投射式內插參考圖框之個別區塊。舉例而言，對於此經時間加權運動補償器，當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射 式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係。此等摻合因數可包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數。舉例而言，該經時間加權運動補償可執行若干功能(例如，包括經組配以：用該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；用該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；及/或藉由求和及按比例調整來摻合該等加權過去及未來運動補償之區塊)。該投射式內插參考圖像子系統之一投射式內插圖框選擇器部分可經組配以自該一或多個候選投射式內插參考圖框選擇一最佳輸出投射式內插參考圖框，其中該最佳輸出投射式內插參考圖框之該選擇可包括候選投射式內插參考圖框與當前圖框之間的誤差之一計算。該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分可經組配以儲存該等選定最佳輸出投射式內插參考圖框中之一或多者，其中該選定最佳輸出投射式內插參考圖框以及一選定最佳運動比例因數及平移因數中之該一或多者的該儲存可至少部分基於與該選定最佳輸出投射式內插參考圖框相關聯的該一或多個運動比例因數及平移因數候選。一運動估計器模組經組配以 至少部分基於該選定最佳輸出投射式內插參考圖框以及基於待編碼之一當前圖框執行運動估計。該運動估計器模組可經進一步組配以至少部分基於該等基於投射式內插之參考圖框中之一或多者產生與一當前圖框之一預測分割區相關聯的運動資料。該運動補償之濾波預測器模組可經進一步組配以至少部分基於運動資料及該等基於投射式內插之參考圖框中之該一或多者執行運動補償以產生用於該預測分割區的預測之分割區資料。一差異器可經組配以使該預測之分割區資料與相關聯於該預測分割區之原始像素資料有差異以產生一預測誤差資料分割區。一編碼分割區產生器可經組配以分割該預測誤差資料分割區以產生複數個編碼分割區。一自適應變換模組可經組配以對該複數個編碼分割區執行一正向變換以產生與該複數個編碼分割區相關聯之變換係數。一自適應量化模組可經組配以量化該等變換係數以產生經量化變換係數。一自適應熵編碼器可經組配以將與當前經解碼圖框之該預測分割區相關聯的該等選定最佳運動比例因數及平移因數、該等經量化變換係數、模式、運動資料及參考資料熵編碼至一位元串流內，其中該模式及該參考資料包括指示該框內區塊、該跳過區塊、該第一及該第二框間區塊及該參考圖框之指示符。
在再一實例中，一種解碼器系統可包括一投射式 內插參考圖像子系統，其經組配以接收來自一經解碼圖像緩衝器之兩個或兩個以上輸入圖框以及與該等輸入圖框相關聯之輸入運動向量資料，該投射式內插參考圖像子系統。 該投射式內插參考圖像子系統之一投射圖框產生器模組可經組配以產生一個輸出投射式內插圖框之至少部分。該投射圖框產生器模組之一運動投射器模組部分可經組配以至少部分基於該接收之兩個或兩個以上輸入圖框以及該輸入運動向量資料產生一投射式運動向量場。該運動投射器模組可執行若干功能(例如，包括經組配以：至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數按比例調整及平移輸入運動向量場；至少部分基於該等經按比例調整及平移輸入運動向量場計算一投射式內插圖框中之一投射位置；在該計算之投射位置處插入該計算之經按比例調整及平移運動向量中之至少兩者)。該投射圖框產生器模組之一經時間加權運動補償器模組可經組配以至少部分基於該投射式運動向量場至少部分基於對該等輸入圖框中之至少兩者之一運動補償之加權摻合產生一個投射式內插圖框之該至少部分。
在一些解碼器實施中，該實例解碼器系統可進一 步包括一解碼器模組，其可經組配以自一編碼器接收與一選定最佳投射式內插參考圖框相關聯之一選定最佳運動比例因數及平移因數。該投射式內插參考圖像子系統可經進一步組配以自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框。舉例而言，該投射式內插參考圖像子系統可經進一步組配以自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該兩個或兩個以上輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編 碼時，該先前及該隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係。除了該接收之運動向量資料之外，該投射式內插參考圖像子系統可經進一步組配以接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內、類似者及/或其組合。該投射式內插參考圖像子系統之該投射圖框產生器模組可經進一步組配以除了至少部分基於該接收之兩個或兩個以上輸入圖框外亦至少部分基於該等判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框。 舉例而言，該運動投射器模組可經進一步組配以至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料，除了該投射式運動向量場外，亦產生一投射遮罩。舉例而言，該運動投射器模組可執行若干功能(例如，包括經組配以：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該等輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的一投射式內插圖框中的該投射位置之該計算包括：至少部分基於該當前投射式 內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者的該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有與運動向量相關聯之一預先存在差異時將該計算之個別投射位置標記為一閉塞包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於與該閉塞之運動向量相關聯的該預先存在差異時，插入該等計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；及將與該先前輸入圖框相關聯的該計算之預測位置標記為參考)。該投射圖框產生器之一投射擴張模組可經組配以閉合該產生之投射式運動向量場中的潛在開口。舉例而言，該投射擴張模組可經組配以選擇一附近有效運動向量用於複製，以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充。該投射圖框產生器之一運動再投射器模組可經組配以藉由重新插入有效 運動向量以修復潛在閉塞來修復該投射式運動向量場中之該等潛在閉塞。舉例而言，該運動再投射器模組可執行若干功能(例如，包括經組配以：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且其中當已判定該未來預測位置具有一有效傳輸運動時，該投射式運動向量場中的該開口之該投射將自過去預測)。該經時間加權運動補償器模組可經進一步組配以至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數產生該一或多個候選投射式內插參考圖框之個別區塊。當經由複合圖框排序結構處理編碼時，此等先前及隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係。此等摻合因數包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的 投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數。舉例而言，該經時間加權運動補償可執行若干功能(例如，包括經組配以：用該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；用該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；及/或藉由求和及按比例調整來摻合該等加權過去及未來運動補償之區塊)。 該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分可經組配以儲存該輸出投射式內插圖框中之一或多者。一天線可經組配以接收視訊資料之一經編碼位元串流。一顯示器件可經組配以呈現視訊圖框。
在再一實例中，至少一機器可讀媒體可包括複數個指令，回應於在一計算器件上執行，該複數個指令使該計算器件執行根據以上實例中之任一者的方法。
在又一實例中，一種裝置可包括用於執行根據以上實例中之任一者的方法之構件。
以上實例可包括特徵之具體組合。然而，此等以上實例就此而言不受限制，且在各種實施中，以上實例可包括進行此等特徵之僅一子集、進行此等特徵之不同次序、進行此等特徵之不同組合及/或進行不同於明確地列出之彼等特徵的額外特徵。舉例而言，可關於實例裝置、實例系統及/或實例物品實施關於實例方法所描述之所有特徵，且反之亦然。
100‧‧‧視訊編碼器
101‧‧‧輸入視訊
102‧‧‧內容預分析器模組/內容預分析器
103‧‧‧編碼控制器
104‧‧‧自適應圖像結構組織器模組
105‧‧‧預測分割區產生器
106‧‧‧差異器/加法器
107‧‧‧編碼分割區產生器模組
107a、107b、114a、114b‧‧‧開關
108‧‧‧自適應變換模組
109‧‧‧自適應量化模組
110‧‧‧自適應熵編碼器模組
111‧‧‧輸出位元串流
112‧‧‧自適應反量化模組
113‧‧‧自適應反變換模組
114‧‧‧編碼分割區組譯器
115‧‧‧加法器
116‧‧‧預測分割區組譯器
117‧‧‧方塊效應分析器及解區塊濾波產生器
118‧‧‧重建構品質分析器及品質恢復濾波產生器
119‧‧‧經解碼圖像緩衝器
120‧‧‧變形分析器及經變形圖像產生模組
121‧‧‧合成分析器及合成之圖像產生模組
122‧‧‧運動估計器模組
123‧‧‧特性及運動補償濾波預測器模組
124‧‧‧框內方向預測分析器及預測產生模組
125‧‧‧預測模式及參考類型分析器
126‧‧‧預測分析器及預測融合濾波模組

Claims (31)

  1. 一種用於視訊編碼之電腦實施的方法，其包含下列步驟：接收兩個或兩個以上的輸入圖框；接收與該等輸入圖框相關聯之輸入運動向量資料；產生一個輸出投射式內插圖框之至少部分，此步驟包括：至少部分基於該等接收之兩個或兩個以上的輸入圖框以及該輸入運動向量資料來產生一投射式運動向量場，此步驟包括：至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數來按比例調整及平移輸入運動向量場；至少部分基於該等經按比例調整及平移的輸入運動向量場來計算一投射式內插圖框中之一投射位置；以及在該計算之投射位置處插入該等計算之經按比例調整及平移的運動向量中之至少兩者；以及至少部分基於對該等輸入圖框中之至少兩者之一運動補償之加權摻合來產生該一個投射式內插圖框之該至少部分，對該等輸入圖框中之至少兩者之該運動補償之加權摻合係至少部分基於該投射式運動向量場。
  2. 如請求項1之方法，其進一步包含：其中該等兩個或兩個以上的輸入圖框之該接收係來自一經解碼圖像緩衝器經由一投射式內插參考圖像子系統；其中與該等輸入圖框相關聯的該輸入運動向量資料之接收係經由該投射式內插參考圖像子系統； 其中該一個輸出投射式內插圖框之該至少部分之產生係經由該投射式內插參考圖像子系統之一投射圖框產生器模組，包括：其中該投射式運動向量場之產生係經由該投射圖框產生器模組之一運動投射器模組部分；且其中至少部分基於對該等輸入圖框中之至少兩者的該運動補償之加權摻合的該一個投射式內插圖框之該至少部分之產生係經由該投射圖框產生器模組之一經時間加權運動補償器模組。
  3. 如請求項1之方法，其進一步包含：其中該等兩個或兩個以上的輸入圖框之接收係來自一經解碼圖像緩衝器經由一投射式內插參考圖像子系統，包括：自一經解碼圖像緩衝器接收該等兩個或兩個以上的輸入圖框，其中該等兩個或兩個以上的輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構來處理編碼時，該等先前及隨後輸入圖框確實具有關於候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構來處理編碼時，該等先前及隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係；且其中與該等輸入圖框相關聯的該輸入運動向量資料之接收係經由該投射式內插參考圖像子系統，包括：除了該接收之運動向量資料之外，亦接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內。
  4. 如請求項1之方法，其進一步包含：至少部分基於該接收之兩個或兩個以上輸入圖框，經由該投射式內插參考圖像子系統之一投射軌跡分析器模組部分來判定一或多個運動比例因數及平移因數候選，以用於在將該輸入運動向量資料投射至一當前候選投射式內插參考圖框中使用；其中經由該投射圖框產生器模組之該一或多個候選投射式內插參考圖框之產生係至少部分基於個別投射運動比例因數及平移因數候選，且包含：經由一運動估計器模組來判定將關於該等接收之兩個或兩個以上的輸入圖框來編碼的一當前圖框之一真實運動；至少部分基於一最小平方估計來產生該一或多個運動比例因數及平移因數候選之至少一部分，該最小平方估計使得關於接收之輸入圖框的該當前圖框之該真實運動與相關聯於該等接收之兩個或兩個以上的輸入圖框的該輸入運動向量資料之間的誤差最小化；以及至少部分基於關於該接收之兩個或兩個以上輸入圖框的該當前圖框之時間位置之一線性按比例調整來產生該一或多個運動比例因數及平移因數候選之至少一部分。
  5. 如請求項1之方法，其進一步包含：其中該一個輸出投射式內插圖框之該至少部分之產生係經由該投射式內插參考圖像子系統之一投射圖框產生器模組，包括：除了至少部分基於該等接收之兩個或兩個以上的輸入圖框外，亦至少部分基於一判定之運動比例因數及平移因數候選來產生一或多個候選投射式內插參考圖框，包括： 其中該投射式運動向量場之產生係經由該投射圖框產生器模組之一運動投射器模組部分，包括：除了該投射式運動向量場之外，至少部分基於與該等個別運動比例因數及平移因數候選相關聯之投射輸入運動向量資料來產生一投射遮罩；經由該投射圖框產生器之一投射擴張模組來閉合該產生之投射式運動向量場中之潛在開口；藉由重新插入有效運動向量以修復潛在閉塞以經由該投射圖框產生器之一運動再投射器模組來修復該投射式運動向量場中之該等潛在閉塞；且其中至少部分基於對該等輸入圖框中之至少兩者的該運動補償之加權摻合的該一個投射式內插圖框之該至少部分之產生係經由該投射圖框產生器模組之一經時間加權運動補償器模組。
  6. 如請求項1之方法，其進一步包含：其中該一個輸出投射式內插圖框之該至少部分之產生係經由該投射式內插參考圖像子系統之一投射圖框產生器模組，包括：除了至少部分基於該等接收之兩個或兩個以上的輸入圖框外，至少部分基於一判定之運動比例因數及平移因數候選來產生一或多個候選投射式內插參考圖框，包括：其中該投射式運動向量場之產生係經由該投射圖框產生器模組之一運動投射器模組部分，包括：除了該投射式運動向量場之外，至少部分基於與該等個別運動比例因數及平移因數候選相關聯之投射輸入運動向量資料產生一投射遮罩，包括：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向 量場之按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選來計算一或多個未來候選經按比例調整之投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之計算包括：至少部分基於該當前投射式內插參考圖框中該等計算之個別未來候選經按比例調整之投射運動向量來計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置來計算一或多個過去候選經按比例調整之投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移的運動向量中之該至少兩者之插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整之投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整之投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整之投射運動向量；至少部分基於該等過去候選經按比例調整之投射運動向量計算與該等接收之兩個或兩個以上的輸入圖框之該先前輸入圖框相關聯的一預測位置；以及 將與該先前輸入圖框相關聯的該計算之預測位置標記作為參考；經由該投射圖框產生器之一投射擴張模組來閉合該產生之投射式運動向量場中之潛在開口，包括：選擇一附近有效運動向量用於複製以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單而選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充；藉由重新插入有效運動向量以修復潛在閉塞以經由該投射圖框產生器之一運動再投射器模組來修復該投射式運動向量場中之該等潛在閉塞，包括：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；且其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩係設定為從未來來預測；且其中當已判定該未來預測位置具有一有效傳輸運動時，該投射式運動向量場中的該開口之該投射將從過去來預測；其中至少部分基於對該等輸入圖框中之至少兩者的該運動補償之加權摻合的該一個投射式內插圖框之該至少部分之產生係經由該投射圖框產生器模組之一經時間加權運動補償器模組，包括： 至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數，經由該投射圖框產生器之該經時間加權運動補償器模組，產生該一或多個候選投射式內插參考圖框之個別區塊，包括：其中當經由複合圖框排序結構來處理編碼時，該等先前及隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構來處理編碼時，該等先前及隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係，其中此等摻合因數包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數；其中該經時間加權運動補償包括：藉由該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；藉由該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；以及藉由求和及按比例調整來摻合該等加權的過去及未來運動補償之區塊。
  7. 如請求項1之方法，其進一步包含： 經由該投射式內插參考圖像子系統之一投射式內插圖框選擇器部分自該一或多個候選投射式內插參考圖框選擇一最佳輸出投射式內插參考圖框，其中該最佳輸出投射式內插參考圖框之該選擇包括候選投射式內插參考圖框與當前圖框之間的誤差的計算；以及經由該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分來儲存該等選定最佳輸出投射式內插參考圖框中之一或多者，其中該選定最佳輸出投射式內插參考圖框以及一選定最佳運動比例因數及平移因數中之該一或多者的該儲存至少部分基於與該選定最佳輸出投射式內插參考圖框相關聯的該一或多個運動比例因數及平移因數候選；熵編碼該等選定最佳運動比例因數及平移因數；以及傳輸該位元串流。
  8. 如請求項1之方法，其進一步包含：經由該投射式內插參考圖像子系統之一投射式內插圖框選擇器部分自該一或多個候選投射式內插參考圖框選擇一最佳輸出投射式內插參考圖框，其中該最佳輸出投射式內插參考圖框之該選擇包括候選投射式內插參考圖框與當前圖框之間的誤差的計算；至少部分基於該選定最佳輸出投射式內插參考圖框以及基於待編碼之一當前圖框，經由一運動估計器模組來執行運動估計；至少部分基於該等基於投射式內插之參考圖框中的一或多者，經由該運動估計器模組來產生與一當前圖框之一預測分割區相關聯的運動資料；至少部分基於運動資料及該等基於投射式內插之參考圖框中之該一或多者，經由該運動補償之濾波預測 器模組來執行運動補償以產生用於該預測分割區的預測之分割區資料，經由一差異器使該預測之分割區資料與相關聯於該預測分割區之原始像素資料有差異以產生一預測誤差資料分割區；經由一編碼分割區產生器分割該預測誤差資料分割區以產生複數個編碼分割區；經由一自適應變換模組對該複數個編碼分割區來執行一正向變換以產生與該複數個編碼分割區相關聯之變換係數；經由一自適應量化模組來量化該等變換係數以產生經量化變換係數；經由一自適應熵編碼器將與當前經解碼圖框之該預測分割區相關聯的該等選定最佳運動比例因數及平移因數、該等經量化變換係數、模式、運動資料及參考資料熵編碼至一位元串流內，其中該模式及該參考資料包含指示框內區塊、跳過區塊、第一及第二框間區塊及該參考圖框之指示符；以及傳輸該位元串流。
  9. 如請求項1之方法，其進一步包含：其中該等兩個或兩個以上的輸入圖框之該接收係自一經解碼圖像緩衝器經由一投射式內插參考圖像子系統進行，包括：自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該等兩個或兩個以上的輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構來處理編碼時，該等先前及隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設定各 別過去及未來預設定時間關係，且其中當經由複合圖框排序結構來處理編碼時，該等先前及隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係；其中與該等輸入圖框相關聯的該輸入運動向量資料之該接收係經由該投射式內插參考圖像子系統進行，包括：除了該接收之運動向量資料外，亦接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內；至少部分基於該等接收之兩個或兩個以上輸入圖框，經由該投射式內插參考圖像子系統之一投射軌跡分析器模組部分來判定一或多個運動比例因數及平移因數候選，用於在將該輸入運動向量資料投射至一當前候選投射式內插參考圖框過程中使用；其中該一或多個候選投射式內插參考圖框的經由該投射圖框產生器模組之該產生至少部分基於個別投射運動比例因數及平移因數候選，且包含：經由一運動估計器模組來判定待關於該接收之兩個或兩個以上輸入圖框編碼的一當前圖框之一真實運動；至少部分基於一最小平方估計來’產生該一或多個運動比例因數及平移因數候選之至少一部分，該最小平方估計使關於接收之輸入圖框的該當前圖框之該真實運動與相關聯於該接收之兩個或兩個以上輸入圖框的該輸入運動向量資料之間的誤差最小化；以及至少部分基於關於該接收之兩個或兩個以上輸入圖框的該當前圖框之該時間位置之一線性按比例 調整產生該一或多個運動比例因數及平移因數候選之至少一部分；其中一個輸出投射式內插圖框之該至少部分之該產生係經由該投射式內插參考圖像子系統之一投射圖框產生器模組進行，包括：除了至少部分基於該接收之兩個或兩個以上輸入圖框外，亦至少部分基於該等判定之運動比例因數及平移因數候選來產生一或多個候選投射式內插參考圖框，包括：其中該投射式運動向量場之該產生係經由該投射圖框產生器模組之一運動投射器模組部分進行，包括：除了該投射式運動向量場之外，亦至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料產生一投射遮罩，包括：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選來計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整的投射運動向量來計算該當前投射式內插參考圖框中之一個 別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；以及將與該先前輸入圖框相關聯的該計算之預測位置標記為參考；經由該投射圖框產生器之一投射擴張模組閉合該產生之投射式運動向量場中之潛在開口，包括：選擇一附近有效運動向量用於複製，以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序 清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充；藉由重新插入有效運動向量以修復潛在閉塞來經由該投射圖框產生器之一運動再投射器模組修復該投射式運動向量場中之該等潛在閉塞，包括：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；且其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且其中當已判定該未來預測位置具有一有效傳輸時，該投射式運動向量場中的該開口之該投射將自過去預測；其中至少部分基於對該等輸入圖框中之至少兩者的該運動補償之加權摻合的一個投射式內插圖框之該至少部分之該產生係經由該投射圖框產生器模組之一經時間加權運動補償器模組進行，包括：至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數，經由該投射圖框產生器之該經時間加權運動補償器模組，產生該一或多個候選投射式內插 參考圖框之個別區塊，包括：其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係，其中此等摻合因數包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數；其中該經時間加權運動補償包括：藉由該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；藉由該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；以及藉由求和及按比例調整來摻合該等加權過去及未來運動補償之區塊；經由該投射式內插參考圖像子系統之一投射式內插圖框選擇器部分自該一或多個候選投射式內插參考圖框選擇一最佳輸出投射式內插參考圖框，其中該最佳輸出投射式內插參考圖框之該選擇包括候選投射式內插參考圖框與當前圖框之間的誤差之一計算；經由該投射式內插參考圖像子系統之一投射式內 插圖框緩衝器模組部分儲存該等選定最佳輸出投射式內插參考圖框中之一或多者，其中該選定最佳輸出投射式內插參考圖框以及一選定最佳運動比例因數及平移因數中之該一或多者的該儲存至少部分基於與該選定最佳輸出投射式內插參考圖框相關聯的該一或多個運動比例因數及平移因數候選；至少部分基於該選定最佳輸出投射式內插參考圖框以及基於待編碼之一當前圖框，經由一運動估計器模組，執行運動估計；至少部分基於該等基於投射式內插之參考圖框中的一或多者，經由該運動估計器模組，產生與一當前圖框之一預測分割區相關聯的運動資料；至少部分基於運動資料及該等基於投射式內插之參考圖框中之該一或多者，經由該運動補償之濾波預測器模組，執行運動補償以產生用於該預測分割區的預測之分割區資料，經由一差異器使該預測之分割區資料與相關聯於該預測分割區之原始像素資料有差異以產生一預測誤差資料分割區；經由一編碼分割區產生器分割該預測誤差資料分割區以產生複數個編碼分割區；經由一自適應變換模組對該複數個編碼分割區執行一正向變換以產生與該複數個編碼分割區相關聯之變換係數；經由一自適應量化模組量化該等變換係數以產生經量化變換係數；經由一自適應熵編碼器將與當前經解碼圖框之該預測分割區相關聯的該等選定最佳運動比例因數及平 移因數、該等經量化變換係數、模式、運動資料及參考資料熵編碼至一位元串流內，其中該模式及該參考資料包含指示該框內區塊、該跳過區塊、該第一及該第二框間區塊及該參考圖框之指示符；以及傳輸該位元串流。
  10. 如請求項1之方法，其進一步包含：經由一解碼器自一編碼器接收與一選定最佳投射式內插參考圖框相關聯之一選定最佳運動比例因數及平移因數；其中該兩個或兩個以上輸入圖框之該接收係自一經解碼圖像緩衝器經由一投射式內插參考圖像子系統進行，包括：自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該兩個或兩個以上輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係；其中與該等輸入圖框相關聯的該輸入運動向量資料之該接收係經由該投射式內插參考圖像子系統進行，包括：除了該接收之運動向量資料外，亦接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內； 其中一個輸出投射式內插圖框之該至少部分之該產生係經由該投射式內插參考圖像子系統之一投射圖框產生器模組進行，包括：除了至少部分基於該接收之兩個或兩個以上輸入圖框外，亦至少部分基於該等判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框，包括：其中該投射式運動向量場之該產生係經由該投射圖框產生器模組之一運動投射器模組部分進行，包括：除了該投射式運動向量場之外，亦至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料產生一投射遮罩，包括：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射 運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；以及將與該先前輸入圖框相關聯的該計算之預測位置標記為參考；經由該投射圖框產生器之一投射擴張模組閉合該產生之投射式運動向量場中之潛在開口，包括：選擇一附近有效運動向量用於複製，以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充；藉由重新插入有效運動向量以修復潛在閉塞來經由該投射圖框產生器之一運動再投射器模組修復 該投射式運動向量場中之該等潛在閉塞，包括：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；且其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且其中當已判定該未來預測位置具有一有效傳輸運動時，該投射式運動向量場中的該開口之該投射將自過去預測；其中至少部分基於對該等輸入圖框中之至少兩者的該運動補償之加權摻合的一個投射式內插圖框之該至少部分之該產生係經由該投射圖框產生器模組之一經時間加權運動補償器模組進行，包括：至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數，經由該投射圖框產生器之該經時間加權運動補償器模組，產生該一或多個候選投射式內插參考圖框之個別區塊，包括：其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設 定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係，其中此等摻合因數包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數；其中該經時間加權運動補償包括：藉由該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；藉由該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；以及藉由求和及按比例調整來摻合該等加權過去及未來運動補償之區塊；經由該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分儲存該等輸出投射式內插圖框中之一或多者。
  11. 一種視訊編碼器，其包含：一投射式內插參考圖像子系統，其經組配以接收來自一經解碼圖像緩衝器的兩個或兩個以上輸入圖框以及與該等輸入圖框相關聯之輸入運動向量資料，該投射式內插參考圖像子系統包含：該投射式內插參考圖像子系統的一投射圖框產生器模組，該投射圖框產生器模組經組配以產生一個 輸出投射式內插圖框之至少部分，包括：該投射圖框產生器模組的一運動投射器模組部分，該運動投射器模組經組配以至少部分基於該接收之兩個或兩個以上輸入圖框以及該輸入運動向量資料產生一投射式運動向量場，包括：至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數來按比例調整及平移輸入運動向量場；至少部分基於該經按比例調整及平移的輸入運動向量場來計算一投射式內插圖框中之一投射位置；以及在該計算之投射位置處插入該計算之經按比例調整及平移的運動向量中之至少兩者；以及該投射圖框產生器模組的一經時間加權運動補償器模組，該經時間加權運動補償器模組經組配以至少部分基於對該等輸入圖框中之至少兩者之一運動補償之加權摻合來產生一個投射式內插圖框之該至少部分，對該等輸入圖框中之至少兩者之該運動補償之加權摻合係至少部分基於該投射式運動向量場。
  12. 如請求項11之視訊編碼器，其進一步包含：其中該投射式內插參考圖像子系統能夠接收該兩個或兩個以上輸入圖框，包括經組配以：自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該兩個或兩個以上輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設 定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係；且其中該投射式內插參考圖像子系統經組配以接收與該等輸入圖框相關聯之該輸入運動向量資料，包括經組配以：除了該接收之運動向量資料外，亦接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內。
  13. 如請求項11之視訊編碼器，其進一步包含：該投射式內插參考圖像子系統之一投射軌跡分析器模組部分，該投射軌跡分析器模組經組配以至少部分基於該接收之兩個或兩個以上輸入圖框判定一或多個運動比例因數及平移因數候選，用於在將該輸入運動向量資料投射至一當前候選投射式內插參考圖框過程中使用；其中該一或多個候選投射式內插參考圖框的經由該投射圖框產生器模組之該產生至少部分基於個別投射運動比例因數及平移因數候選，且包括經組配以：經由一運動估計器模組判定待關於該接收之兩個或兩個以上輸入圖框編碼的一當前圖框之一真實運動；至少部分基於一最小平方估計產生該一或多個運動比例因數及平移因數候選之至少一部分，該最小平方估計使關於接收之輸入圖框的該當前圖框之該真實運動與相關聯於該接收之兩個或兩個以上輸入圖框的該輸入運動向量資料之間的誤差最小化；以及 至少部分基於關於該接收之兩個或兩個以上輸入圖框的該當前圖框之時間位置之一線性按比例調整產生該一或多個運動比例因數及平移因數候選之至少一部分。
  14. 如請求項11之視訊編碼器，其進一步包含：其中該投射式內插參考圖像子系統之該投射圖框產生器模組包括經進一步組配以：除了至少部分基於該接收之兩個或兩個以上輸入圖框外，亦至少部分基於一判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框，包括：該運動投射器模組經進一步組配以除了該投射式運動向量場外，亦至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料產生一投射遮罩，包括經組配以：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一 或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；以及至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；以及將與該先前輸入圖框相關聯之該計算之預測位置標記為參考。
  15. 如請求項11之視訊編碼器，其進一步包含：其中該投射式內插參考圖像子系統之該投射圖框產生器模組進一步包括：該投射圖框產生器之一投射擴張模組，該投射擴張模組經組配以閉合一產生之投射式運動向量場中的潛在開口；以及該投射圖框產生器之一運動再投射器模組，該運動再投射器模組經組配以藉由重新插入有效運動向量以修復潛在閉塞來修復該投射式運動向量場中之該等潛在閉塞。
  16. 如請求項11之視訊編碼器，其進一步包含：其中該投射式內插參考圖像子系統之該投射圖框產生器模組包括經進一步組配以：除了至少部分基於該接收之兩個或兩個以上輸入圖框外，亦至少部分基於一判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框，包括：該運動投射器模組經進一步組配以除了該投射式運動向量場外，亦至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料產生一投射遮罩，包括經組配以：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入 該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；以及將與該先前輸入圖框相關聯之該計算之預測位置標記為參考；該投射圖框產生器之一投射擴張模組，該投射擴張模組經組配以閉合該產生之投射式運動向量場中的潛在開口，包括經組配以：選擇一附近有效運動向量用於複製，以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充；該投射圖框產生器之一運動再投射器模組，該運動再投射器模組經組配以藉由重新插入有效運動向量以修復潛在閉塞來修復該投射式運動向量場中之該等潛在閉塞，包括經組配以：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運 動向量場中的開口之一位置對應的該未來預測位置；其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且其中當已判定該未來預測位置具有一有效傳輸運動時，該投射式運動向量場中的該開口之該投射將自過去預測。
  17. 如請求項11之視訊編碼器，其進一步包含：該投射圖框產生器模組之該經時間加權運動補償器模組，包括經進一步組配以：至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數產生該一或多個候選投射式內插參考圖框之個別區塊，包括經進一步組配以：其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係，其中此等摻合因數包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域 相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數；其中該經時間加權運動補償包括經進一步組配以：藉由該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；藉由該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；以及藉由求和及按比例調整來摻合該等加權過去及未來運動補償之區塊。
  18. 如請求項11之視訊編碼器，其進一步包含：該投射式內插參考圖像子系統之一投射式內插圖框選擇器部分，該投射式內插圖框選擇器經組配以自該一或多個候選投射式內插參考圖框選擇一最佳輸出投射式內插參考圖框，其中該最佳輸出投射式內插參考圖框之該選擇包括候選投射式內插參考圖框與當前圖框之間的誤差之一計算；以及該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分，該投射式內插圖框緩衝器模組經組配以儲存該等選定最佳輸出投射式內插參考圖框中之一或多者，其中該選定最佳輸出投射式內插參考圖框以及一選定最佳運動比例因數及平移因數中之該一或多者的該儲存至少部分基於與該選定最佳輸出投射式內插參考圖框相關聯的該一或多個運動比例因數及平移因數候選。
  19. 如請求項11之視訊編碼器，其進一步包含：該投射式內插參考圖像子系統之一投射式內插圖 框選擇器部分，該投射式內插圖框選擇器經組配以自該一或多個候選投射式內插參考圖框選擇一最佳輸出投射式內插參考圖框，其中該最佳輸出投射式內插參考圖框之該選擇包括候選投射式內插參考圖框與當前圖框之間的誤差之一計算；一運動估計器模組，其經組配以至少部分基於該選定最佳輸出投射式內插參考圖框以及基於待編碼之一當前圖框執行運動估計；其中該運動估計器模組經進一步組配以至少部分基於該等基於投射式內插之參考圖框中之一或多者產生與一當前圖框之一預測分割區相關聯的運動資料；其中該運動補償之濾波預測器模組經進一步組配以至少部分基於運動資料及該等基於投射式內插之參考圖框中之該一或多者執行運動補償以產生用於該預測分割區的預測之分割區資料，一差異，其經組配以使該預測之分割區資料與相關聯於該預測分割區之原始像素資料有差異以產生一預測誤差資料分割區；一編碼分割區產生器，其經組配以分割該預測誤差資料分割區以產生複數個編碼分割區；一自適應變換模組，其經組配以對該複數個編碼分割區執行一正向變換以產生與該複數個編碼分割區相關聯之變換係數；一自適應量化模組，其經組配以量化該等變換係數以產生經量化變換係數；以及一自適應熵編碼器，其經組配以將與當前經解碼圖框之該預測分割區相關聯的該等選定最佳運動比例因數及平移因數、該等經量化變換係數、模式、運動資料 及參考資料熵編碼至一位元串流內，其中該模式及該參考資料包含指示框內區塊、跳過區塊、第一及第二框間區塊及該參考圖框之指示符。
  20. 如請求項11之視訊編碼器，其進一步包含：其中該投射式內插參考圖像子系統能夠接收該兩個或兩個以上輸入圖框，包括經組配以：自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該兩個或兩個以上輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係；且其中該投射式內插參考圖像子系統經組配以接收與該等輸入圖框相關聯之該輸入運動向量資料，包括經組配以：除了該接收之運動向量資料外，亦接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內；該投射式內插參考圖像子系統之一投射軌跡分析器模組部分，該投射軌跡分析器模組經組配以至少部分基於該接收之兩個或兩個以上輸入圖框判定一或多個運動比例因數及平移因數候選，用於在將該輸入運動向量資料投射至一當前候選投射式內插參考圖框過程中使用；其中該一或多個候選投射式內插參考圖框的經由 該投射圖框產生器模組之該產生至少部分基於個別投射運動比例因數及平移因數候選，且包括經組配以：經由一運動估計器模組判定待關於該接收之兩個或兩個以上輸入圖框編碼的一當前圖框之一真實運動；至少部分基於一最小平方估計產生該一或多個運動比例因數及平移因數候選之至少一部分，該最小平方估計使關於接收之輸入圖框的該當前圖框之該真實運動與相關聯於該接收之兩個或兩個以上輸入圖框的該輸入運動向量資料之間的誤差最小化；以及至少部分基於關於該接收之兩個或兩個以上輸入圖框的該當前圖框之該時間位置之一線性按比例調整產生該一或多個運動比例因數及平移因數候選之至少一部分；其中該投射式內插參考圖像子系統之該投射圖框產生器模組包括經進一步組配以：除了至少部分基於該接收之兩個或兩個以上輸入圖框外，亦至少部分基於一判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框，包括：該運動投射器模組經進一步組配以除了該投射式運動向量場外，亦至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料產生一投射遮罩，包括經組配以：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分 基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位 置；以及將與該先前輸入圖框相關聯之該計算之預測位置標記為參考；該投射圖框產生器之一投射擴張模組，該投射擴張模組經組配以閉合該產生之投射式運動向量場中的潛在開口，包括經組配以：選擇一附近有效運動向量用於複製，以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充；該投射圖框產生器之一運動再投射器模組，該運動再投射器模組經組配以藉由重新插入有效運動向量以修復潛在閉塞來修復該投射式運動向量場中之該等潛在閉塞，包括經組配以：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且其中當已判定該未來預測位置具有一有效傳輸運動時，該投射式運動向量場中的該開口之該投射將自過去預測；該投射圖框產生器模組之該經時間加權運動補 償器模組，包括經進一步組配以：至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數產生該一或多個候選投射式內插參考圖框之個別區塊，包括經進一步組配以：其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係，其中此等摻合因數包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數；其中該經時間加權運動補償包括經進一步組配以：藉由該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；藉由該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；以及藉由求和及按比例調整來摻合該等加權 過去及未來運動補償之區塊；該投射式內插參考圖像子系統之一投射式內插圖框選擇器部分，該投射式內插圖框選擇器經組配以自該一或多個候選投射式內插參考圖框選擇一最佳輸出投射式內插參考圖框，其中該最佳輸出投射式內插參考圖框之該選擇包括候選投射式內插參考圖框與當前圖框之間的誤差之一計算；該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分，該投射式內插圖框緩衝器模組經組配以儲存該等選定最佳輸出投射式內插參考圖框中之一或多者，其中該選定最佳輸出投射式內插參考圖框以及一選定最佳運動比例因數及平移因數中之該一或多者的該儲存至少部分基於與該選定最佳輸出投射式內插參考圖框相關聯的該一或多個運動比例因數及平移因數候選；一運動估計器模組，其經組配以至少部分基於該選定最佳輸出投射式內插參考圖框以及基於待編碼之一當前圖框執行運動估計；其中該運動估計器模組經進一步組配以至少部分基於該等基於投射式內插之參考圖框中之一或多者產生與一當前圖框之一預測分割區相關聯的運動資料；其中該運動補償之濾波預測器模組經進一步組配以至少部分基於運動資料及該等基於投射式內插之參考圖框中之該一或多者執行運動補償以產生用於該預測分割區的預測之分割區資料，一差異，其經組配以使該預測之分割區資料與相關聯於該預測分割區之原始像素資料有差異以產生一預測誤差資料分割區； 一編碼分割區產生器，其經組配以分割該預測誤差資料分割區以產生複數個編碼分割區；一自適應變換模組，其經組配以對該複數個編碼分割區執行一正向變換以產生與該複數個編碼分割區相關聯之變換係數；一自適應量化模組，其經組配以量化該等變換係數以產生經量化變換係數；以及一自適應熵編碼器，其經組配以將與當前經解碼圖框之該預測分割區相關聯的該等選定最佳運動比例因數及平移因數、該等經量化變換係數、模式、運動資料及參考資料熵編碼至一位元串流內，其中該模式及該參考資料包含指示該框內區塊、該跳過區塊、該第一及該第二框間區塊及該參考圖框之指示符。
  21. 一種解碼器系統，其包含：一投射式內插參考圖像子系統，其經組配以接收來自一經解碼圖像緩衝器之兩個或兩個以上輸入圖框以及與該等輸入圖框相關聯之輸入運動向量資料，該投射式內插參考圖像子系統包含：該投射式內插參考圖像子系統的一投射圖框產生器模組，該投射圖框產生器模組經組配以產生一個輸出投射式內插圖框之至少部分，包括：該投射圖框產生器模組的一運動投射器模組部分，該運動投射器模組經組配以至少部分基於該接收之兩個或兩個以上輸入圖框以及該輸入運動向量資料來產生一投射式運動向量場，包括：至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數來按比例調整及平移輸入運動向量場； 至少部分基於該經按比例調整及平移輸入運動向量場來計算一投射式內插圖框中之一投射位置；以及在該計算之投射位置處插入該計算之經按比例調整及平移運動向量中之至少兩者；以及該投射圖框產生器模組之一經時間加權運動補償器模組，該經時間加權運動補償器模組經組配以至少部分基於對該等輸入圖框中之至少兩者之一運動補償之加權摻合來產生一個投射式內插圖框之該至少部分，對該等輸入圖框中之至少兩者之一運動補償之加權摻合係至少部分基於該投射式運動向量場。
  22. 如請求項21之解碼器系統，其進一步包含：一解碼器模組，其經組配以自一編碼器接收與一選定最佳投射式內插參考圖框相關聯之一選定最佳運動比例因數及平移因數；其中該投射式內插參考圖像子系統經進一步組配以自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，包括經進一步組配以：自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該兩個或兩個以上輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係； 其中該投射式內插參考圖像子系統包括經進一步組配以：除了該接收之運動向量資料外，亦接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內。
  23. 如請求項21之解碼器系統，其進一步包含：該運動投射器模組經進一步組配以除了該投射式運動向量場外，亦至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料產生一投射遮罩，包括經組配以：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入該等計 算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；以及將與該先前輸入圖框相關聯之該計算之預測位置標記為參考。
  24. 如請求項21之解碼器系統，其進一步包含：其中該投射式內插參考圖像子系統之該投射圖框產生器模組進一步包含：該投射圖框產生器之一投射擴張模組，該投射擴張模組經組配以閉合產生之投射式運動向量場中的潛在開口；以及該投射圖框產生器之一運動再投射器模組，該運動再投射器模組經組配以藉由重新插入有效運動向量以修復潛在閉塞來修復投射式運動向量場中之該等潛在閉塞。
  25. 如請求項21之解碼器系統，其進一步包含：其中該投射式內插參考圖像子系統之該投射圖框產生器模組經進一步組配以：除了至少部分基於該接收之兩個或兩個以上輸入圖框外，亦至少部分基於該等判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框，包 括：該運動投射器模組經進一步組配以除了該投射式運動向量場外，亦至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料產生一投射遮罩，包括經組配以：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該 預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；以及將與該先前輸入圖框相關聯之該計算之預測位置標記為參考；該投射圖框產生器之一投射擴張模組，該投射擴張模組經組配以閉合該產生之投射式運動向量場中的潛在開口，包括經組配以：選擇一附近有效運動向量用於複製，以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充；該投射圖框產生器之一運動再投射器模組，該運動再投射器模組經組配以藉由重新插入有效運動向量以修復潛在閉塞來修復該投射式運動向量場中之該等潛在閉塞，包括：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且 其中當已判定該未來預測位置具有一有效傳輸運動時，該投射式運動向量場中的該開口之該投射將自過去預測。
  26. 如請求項21之解碼器系統，其進一步包含：該經時間加權運動補償器模組，進一步包含：其中該投射圖框產生器之該經時間加權運動補償器模組經進一步組配以至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數產生該一或多個候選投射式內插參考圖框之個別區塊，包括：其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係，其中此等摻合因數包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數；其中該經時間加權運動補償包括經組配以：藉由該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償 之區塊；藉由該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；以及藉由求和及按比例調整來摻合該等加權過去及未來運動補償之區塊。
  27. 如請求項21之解碼器系統，其進一步包含：一天線，其經組配以接收視訊資料之一經編碼位元串流；以及一顯示器件，其經組配以呈現視訊圖框。
  28. 如請求項21之解碼器系統，其進一步包含：一解碼器模組，其經組配以自一編碼器接收與一選定最佳投射式內插參考圖框相關聯之一選定最佳運動比例因數及平移因數；其中該投射式內插參考圖像子系統經進一步組配以自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，包括經進一步組配以：自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該兩個或兩個以上輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係；其中該投射式內插參考圖像子系統包括經進一步組配以： 除了該接收之運動向量資料外，亦接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內；該投射式內插參考圖像子系統之該投射圖框產生器模組經進一步組配以：除了至少部分基於該接收之兩個或兩個以上輸入圖框外，亦至少部分基於該等判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框，包括：該運動投射器模組經進一步組配以除了該投射式運動向量場外，亦至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料產生一投射遮罩，包括經組配以：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一 或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；以及將與該先前輸入圖框相關聯之該計算之預測位置標記為參考；該投射圖框產生器之一投射擴張模組，該投射擴張模組經組配以閉合該產生之投射式運動向量場中的潛在開口，包括經組配以：選擇一附近有效運動向量用於複製，以閉合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充；該投射圖框產生器之一運動再投射器模組，該運 動再投射器模組經組配以藉由重新插入有效運動向量以修復潛在閉塞來修復該投射式運動向量場中之該等潛在閉塞，包括：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且其中當已判定該未來預測位置具有一有效傳輸運動時，該投射式運動向量場中的該開口之該投射將自過去預測；該經時間加權運動補償器模組，進一步包含：其中該投射圖框產生器之該經時間加權運動補償器模組經進一步組配以至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權因數產生該一或多個候選投射式內插參考圖框之個別區塊，包括：其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複 合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係，其中此等摻合因數包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數；其中該經時間加權運動補償包括經組配以：藉由該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；藉由該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；以及藉由求和及按比例調整來摻合該等加權過去及未來運動補償之區塊；該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分，該投射式內插圖框緩衝器經組配以儲存該輸出投射式內插圖框中之一或多者；一天線，其經組配以接收視訊資料之一經編碼位元串流；以及一顯示器件，其經組配以呈現視訊圖框。
  29. 一種機器可讀媒體，該至少一機器可讀媒體包含複數個指令，回應於在一計算器件上執行，該複數個指令使該計算器件：接收兩個或兩個以上輸入圖框；接收與該等輸入圖框相關聯之輸入運動向量資料； 產生一個輸出投射式內插圖框之至少部分，包括：至少部分基於該接收之兩個或兩個以上輸入圖框以及該輸入運動向量資料產生一投射式運動向量場，包括：至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數按比例調整及平移輸入運動向量場；至少部分基於該經按比例調整及平移輸入運動向量場計算一投射式內插圖框中之一投射位置；以及在該計算之投射位置處插入該計算之經按比例調整及平移運動向量中之至少兩者；以及至少部分基於對該等輸入圖框中之至少兩者之一運動補償之加權摻合來產生一個投射式內插圖框之該至少部分，對該等輸入圖框中之至少兩者之一運動補償之加權摻合係至少部分基於該投射式運動向量場。
  30. 如請求項29之機器可讀媒體，其進一步包含回應於在該計算器件上執行使該計算器件進行以下操作之指令：其中該兩個或兩個以上輸入圖框之該接收係自一經解碼圖像緩衝器經由一投射式內插參考圖像子系統進行，包括：自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該兩個或兩個以上輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序 結構處理編碼時，該先前及該隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係；其中與該等輸入圖框相關聯的該輸入運動向量資料之該接收係經由該投射式內插參考圖像子系統進行，包括：除了該接收之運動向量資料外，亦接收與該等輸入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內；至少部分基於該接收之兩個或兩個以上輸入圖框，經由該投射式內插參考圖像子系統之一投射軌跡分析器模組部分，判定一或多個運動比例因數及平移因數候選，用於在將該輸入運動向量資料投射至一當前候選投射式內插參考圖框過程中使用；其中該一或多個候選投射式內插參考圖框的經由該投射圖框產生器模組之該產生至少部分基於個別投射運動比例因數及平移因數候選，且包含：經由一運動估計器模組判定待關於該接收之兩個或兩個以上輸入圖框編碼的一當前圖框之一真實運動；至少部分基於一最小平方估計產生該一或多個運動比例因數及平移因數候選之至少一部分，該最小平方估計使關於接收之輸入圖框的該當前圖框之該真實運動與相關聯於該接收之兩個或兩個以上輸入圖框的該輸入運動向量資料之間的誤差最小化；以及至少部分基於關於該接收之兩個或兩個以上輸入圖框的該當前圖框之該時間位置之一線性按比例 調整產生該一或多個運動比例因數及平移因數候選之至少一部分；其中一個輸出投射式內插圖框之該至少部分之該產生係經由該投射式內插參考圖像子系統之一投射圖框產生器模組進行，包括：除了至少部分基於該接收之兩個或兩個以上輸入圖框外，亦至少部分基於該等判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框，包括：其中該投射式運動向量場之該產生係經由該投射圖框產生器模組之一運動投射器模組部分進行，包括：除了該投射式運動向量場之外，亦至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料產生一投射遮罩，包括：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計算該當前投射式內插參考圖框中之一個別投 射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；以及將與該先前輸入圖框相關聯之該計算之預測位置標記為參考；經由該投射圖框產生器之一投射擴張模組閉合該產生之投射式運動向量場中之潛在開口，包括：選擇一附近有效運動向量用於複製，以閉合該等潛在開口，其中該附近有效運動向量係 至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充；藉由重新插入有效運動向量以修復潛在閉塞來經由該投射圖框產生器之一運動再投射器模組修復該投射式運動向量場中之該等潛在閉塞，包括：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；且其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且其中當已判定該未來預測位置具有一有效傳輸時，該投射式運動向量場中的該開口之該投射將自過去預測；其中至少部分基於對該等輸入圖框中之至少兩者的該運動補償之加權摻合的一個投射式內插圖框之該至少部分之該產生係經由該投射圖框產生器模組之一經時間加權運動補償器模組進行，包括：至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻合的一或多個摻合因數相關聯之一或多個加權 因數，經由該投射圖框產生器之該經時間加權運動補償器模組，產生該一或多個候選投射式內插參考圖框之個別區塊，包括：其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係，其中此等摻合因數包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數；其中該經時間加權運動補償包括：藉由該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；藉由該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；以及藉由求和及按比例調整來摻合該等加權過去及未來運動補償之區塊；經由該投射式內插參考圖像子系統之一投射式內插圖框選擇器部分自該一或多個候選投射式內插參考圖框選擇一最佳輸出投射式內插參考圖框，其中該最佳輸出投射式內插參考圖框之該選擇包括候選投射式內 插參考圖框與當前圖框之間的誤差之一計算；經由該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分儲存該等選定最佳輸出投射式內插參考圖框中之一或多者，其中該選定最佳輸出投射式內插參考圖框以及一選定最佳運動比例因數及平移因數中之該一或多者的該儲存至少部分基於與該選定最佳輸出投射式內插參考圖框相關聯的該一或多個運動比例因數及平移因數候選；至少部分基於該選定最佳輸出投射式內插參考圖框以及基於待編碼之一當前圖框，經由一運動估計器模組，執行運動估計；至少部分基於該等基於投射式內插之參考圖框中的一或多者，經由該運動估計器模組，產生與一當前圖框之一預測分割區相關聯的運動資料；至少部分基於運動資料及該等基於投射式內插之參考圖框中之該一或多者，經由該運動補償之濾波預測器模組，執行運動補償以產生用於該預測分割區的預測之分割區資料，經由一差異器使該預測之分割區資料與相關聯於該預測分割區之原始像素資料有差異以產生一預測誤差資料分割區；經由一編碼分割區產生器分割該預測誤差資料分割區以產生複數個編碼分割區；經由一自適應變換模組對該複數個編碼分割區執行一正向變換以產生與該複數個編碼分割區相關聯之變換係數；經由一自適應量化模組量化該等變換係數以產生經量化變換係數； 經由一自適應熵編碼器將與當前經解碼圖框之該預測分割區相關聯的該等選定最佳運動比例因數及平移因數、該等經量化變換係數、模式、運動資料及參考資料熵編碼至一位元串流內，其中該模式及該參考資料包含指示框內區塊、跳過區塊、第一及第二框間區塊及該參考圖框之指示符；以及傳輸該位元串流。
  31. 如請求項29之機器可讀媒體，其進一步包含回應於在該計算器件上執行使該計算器件進行以下操作之指令：經由一解碼器自一編碼器接收與一選定最佳投射式內插參考圖框相關聯之一選定最佳運動比例因數及平移因數；其中該兩個或兩個以上輸入圖框之該接收係自一經解碼圖像緩衝器經由一投射式內插參考圖像子系統進行，包括：自一經解碼圖像緩衝器接收該兩個或兩個以上輸入圖框，其中該兩個或兩個以上輸入圖框包括一先前及一隨後輸入圖框，其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框確實具有關於該等候選投射式內插參考圖框之一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後輸入圖框不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係；其中與該等輸入圖框相關聯的該輸入運動向量資料之該接收係經由該投射式內插參考圖像子系統進行，包括：除了該接收之運動向量資料外，亦接收與該等輸 入圖框相關聯之參考預測模式資料，其中該參考預測模式資料包括以下預測模式類型中之一或多者：跳過、自動、框間、多及/或框內；其中一個輸出投射式內插圖框之該至少部分之該產生係經由該投射式內插參考圖像子系統之一投射圖框產生器模組進行，包括：除了至少部分基於該接收之兩個或兩個以上輸入圖框外，亦至少部分基於該等判定之運動比例因數及平移因數候選產生一或多個候選投射式內插參考圖框，包括：其中該投射式運動向量場之該產生係經由該投射圖框產生器模組之一運動投射器模組部分進行，包括：除了該投射式運動向量場之外，亦至少部分基於投射與該等個別運動比例因數及平移因數候選相關聯之輸入運動向量資料產生一投射遮罩，包括：其中至少部分基於該輸入運動向量資料以及判定之運動比例因數及平移因數的該輸入運動向量場之該按比例調整及平移包括：至少部分基於該等個別運動比例因數及平移因數候選計算一或多個未來候選經按比例調整投射運動向量；其中至少部分基於該等經按比例調整及平移輸入運動向量場的在一投射式內插圖框中之該投射位置之該計算包括：至少部分基於該當前投射式內插參考圖框中的該等計算之個別未來候選經按比例調整投射運動向量計 算該當前投射式內插參考圖框中之一個別投射位置；至少部分基於該等個別運動比例因數及平移因數候選及基於該等計算之個別投射位置計算一或多個過去候選經按比例調整投射運動向量；其中在該計算之投射位置處的該等計算之經按比例調整及平移運動向量中之該至少兩者之該插入包括：當該計算之個別投射位置為空時，插入該等計算之過去及未來候選經按比例調整投射運動向量；當該計算之個別投射位置具有一預先存在之不同相關聯之運動向量時，將該計算之個別投射位置標記為一閉塞，包括：當該等計算之過去及未來候選經按比例調整投射運動向量小於該閉塞的該預先存在之不同相關聯之運動向量時，插入該計算之過去及未來候選經按比例調整投射運動向量；至少部分基於該等過去候選經按比例調整投射運動向量計算與該接收之兩個或兩個以上輸入圖框之該先前輸入圖框相關聯的一預測位置；以及將與該先前輸入圖框相關聯之該計算之預測位置標記為參考；經由該投射圖框產生器之一投射擴張模組閉合該產生之投射式運動向量場中之潛在開口，包括：選擇一附近有效運動向量用於複製，以閉 合該等潛在開口，其中該附近有效運動向量係至少部分基於相鄰擴張候選之一無關聯排序清單選自該當前投射式內插參考圖框中之複數個相鄰擴張候選以幫助建立一平滑填充；藉由重新插入有效運動向量以修復潛在閉塞來經由該投射圖框產生器之一運動再投射器模組修復該投射式運動向量場中之該等潛在閉塞，包括：其中當已判定該未來預測位置具有一有效傳輸運動且自該位置的運動向量之該投射位置為一閉塞區域時，該有效運動向量係選自與該投射式運動向量場中的開口之一位置對應的該未來預測位置；且其中當已判定該未來預測位置不具有一有效傳輸運動且將該開口之過去預測位置標記為參考時，該投射式運動向量場中的開口之該投射遮罩經設定為自未來預測；且其中當已判定該未來預測位置具有一有效傳輸運動時，該投射式運動向量場中的該開口之該投射將自過去預測；其中至少部分基於對該等輸入圖框中之至少兩者的該運動補償之加權摻合的一個投射式內插圖框之該至少部分之該產生係經由該投射圖框產生器模組之一經時間加權運動補償器模組進行，包括：至少部分基於與在摻合過程中用以組合該等輸入圖框之一先前運動補償之區塊、該等輸入圖框之一隨後運動補償之區塊或該等輸入圖框之一對先前與隨後區塊之一經時間加權運動摻 合的一或多個摻合因數相關聯之一或多個加權因數，經由該投射圖框產生器之該經時間加權運動補償器模組，產生該一或多個候選投射式內插參考圖框之個別區塊，包括：其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊確實具有關於該等候選投射式內插參考圖框的一預設定各別過去及未來預設定時間關係，且其中當經由複合圖框排序結構處理編碼時，該先前及該隨後運動補償之區塊不具有與該等候選投射式內插參考圖框之一預設定各別過去及未來時間關係，其中此等摻合因數包括以下參數中之一或多者：作為該個別區塊與一閉塞區域或是一開放區域相關聯之一指示的投射遮罩參數，及/或作為指向該等輸入圖框內/外之一指示的運動向量參數；其中該經時間加權運動補償包括：藉由該一或多個摻合因數中之一第一摻合因數加權該等輸入圖框之該先前運動補償之區塊；藉由該一或多個摻合因數中之一第二摻合因數加權該等輸入圖框之該未來運動補償之區塊；以及藉由求和及按比例調整來摻合該等加權過去及未來運動補償之區塊；經由該投射式內插參考圖像子系統之一投射式內插圖框緩衝器模組部分儲存該等輸出投射式內插圖框中之一或多者。
TW103141231A 2012-11-13 2014-11-27 用於次世代視訊編碼之投射式內插預測產生之技術 TWI572196B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261725576P 2012-11-13 2012-11-13
US201361758314P 2013-01-30 2013-01-30
PCT/US2013/078114 WO2014120374A1 (en) 2013-01-30 2013-12-27 Content adaptive predictive and functionally predictive pictures with modified references for next generation video coding
PCT/US2014/034007 WO2015099823A1 (en) 2012-11-13 2014-04-14 Projected interpolation prediction generation for next generation video coding

Publications (2)

Publication Number Publication Date
TW201545545A TW201545545A (zh) 2015-12-01
TWI572196B true TWI572196B (zh) 2017-02-21

Family

ID=50731602

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103141231A TWI572196B (zh) 2012-11-13 2014-11-27 用於次世代視訊編碼之投射式內插預測產生之技術

Country Status (7)

Country Link
US (9) US9819965B2 (zh)
EP (2) EP2920962A4 (zh)
JP (1) JP6120390B2 (zh)
KR (1) KR20150056811A (zh)
CN (2) CN104704827B (zh)
TW (1) TWI572196B (zh)
WO (4) WO2014078068A1 (zh)

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2636947T3 (es) * 2002-08-08 2017-10-10 Godo Kaisha Ip Bridge 1 Procedimiento de descodificación de imágenes en movimiento
US9253508B2 (en) * 2011-11-04 2016-02-02 Futurewei Technologies, Inc. Differential pulse code modulation intra prediction for high efficiency video coding
KR102134367B1 (ko) * 2012-09-10 2020-07-15 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치, 및 화상 부호화 복호화 장치
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
CN104737542B (zh) 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
CN106233745B (zh) 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
US20160249050A1 (en) * 2013-10-22 2016-08-25 Nec Corporation Block structure decision circuit and block structure decision method
GB2525208B (en) * 2014-04-15 2020-04-08 Advanced Risc Mach Ltd Method of and apparatus for generating an encoded frame
EP3162075B1 (en) 2014-06-27 2020-04-08 Koninklijke KPN N.V. Hevc-tiled video streaming
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
US10080028B2 (en) 2014-11-26 2018-09-18 Samsung Display Co., Ltd. System and method of compensating for image compression errors
US10382795B2 (en) 2014-12-10 2019-08-13 Mediatek Singapore Pte. Ltd. Method of video coding using binary tree block partitioning
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US11330284B2 (en) 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
CN106303543B (zh) * 2015-05-15 2018-10-30 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding
WO2016190690A1 (ko) * 2015-05-26 2016-12-01 엘지전자(주) 적응적인 분리가능한 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
RU2597462C1 (ru) * 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
CN108141606B (zh) * 2015-07-31 2022-03-01 港大科桥有限公司 用于全局运动估计和补偿的方法和系统
EP3334157B1 (en) * 2015-08-04 2020-09-02 LG Electronics Inc. Inter prediction method and device in video coding system
EP3334158A4 (en) * 2015-08-07 2019-03-20 LG Electronics Inc. METHOD AND DEVICE FOR INTERPRETING IN A VIDEO CODING SYSTEM
US10715843B2 (en) * 2015-08-20 2020-07-14 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
CN108600749B (zh) 2015-08-29 2021-12-28 华为技术有限公司 图像预测的方法及设备
EP3345396A4 (en) * 2015-09-01 2019-03-27 Telefonaktiebolaget LM Ericsson (publ) SPATIAL IMPROVEMENT OF TRANSFORMER BLOCKS
US10277905B2 (en) * 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
WO2017052250A1 (ko) * 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2017054194A1 (en) 2015-09-30 2017-04-06 Realnetworks, Inc. Layered deblocking filtering in video processing systems and methods
US10674185B2 (en) 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
US10404996B1 (en) * 2015-10-13 2019-09-03 Marvell International Ltd. Systems and methods for using multiple frames to adjust local and global motion in an image
KR20180069789A (ko) * 2015-10-16 2018-06-25 엘지전자 주식회사 영상 코딩 시스템에서 예측 향상을 위한 필터링 방법 및 장치
CN106658019B (zh) * 2015-10-31 2019-11-12 华为技术有限公司 参考帧编解码的方法与装置
WO2017075804A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
MY201173A (en) 2015-11-17 2024-02-08 Huawei Tech Co Ltd Method and apparatus of adaptive filtering of samples for video coding
CN105516726B (zh) * 2015-11-27 2019-04-09 传线网络科技（上海）有限公司 视频编码的运动补偿匹配方法和系统
US20170155905A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Efficient intra video/image coding using wavelets and variable size transform coding
US9955176B2 (en) 2015-11-30 2018-04-24 Intel Corporation Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding
US10602187B2 (en) 2015-11-30 2020-03-24 Intel Corporation Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding
US20180359494A1 (en) * 2015-12-31 2018-12-13 Mediatek Inc. Method and apparatus of prediction binary tree structure for video and image coding
US10560702B2 (en) * 2016-01-22 2020-02-11 Intel Corporation Transform unit size determination for video coding
US10306258B2 (en) 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
US10469841B2 (en) 2016-01-29 2019-11-05 Google Llc Motion vector prediction using prior frame residual
ES2737841B1 (es) * 2016-02-25 2021-07-27 Kt Corp Método y aparato para procesar señales de vídeo
US10694184B2 (en) 2016-03-11 2020-06-23 Digitalinsights Inc. Video coding method and apparatus
MX2018011412A (es) * 2016-03-24 2019-01-10 Lg Electronics Inc Metodo y aparato para inter-prediccion en sistema de codificacion de video.
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
KR20230143623A (ko) 2016-03-28 2023-10-12 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN113411580B (zh) * 2016-05-13 2024-01-30 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
WO2017205700A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary, ternary and quad tree partitioning for jvet coding of video data
KR102445668B1 (ko) * 2016-06-01 2022-09-21 삼성전자주식회사 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10880548B2 (en) 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
US20170353737A1 (en) * 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
CN116506596A (zh) 2016-08-03 2023-07-28 株式会社Kt 视频解码方法、视频编码方法和视频数据的传送方法
US10715818B2 (en) * 2016-08-04 2020-07-14 Intel Corporation Techniques for hardware video encoding
US10026153B2 (en) * 2016-09-15 2018-07-17 Intel Corporation Varying image quality rendering in a sort middle architecture
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
CN116489393A (zh) 2016-10-14 2023-07-25 世宗大学校产学协力团 影像解码/编码方法、传送比特流的方法及记录介质
KR102480350B1 (ko) * 2016-10-14 2022-12-23 세종대학교산학협력단 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
CN109937570B (zh) 2016-10-14 2023-06-06 世宗大学校产学协力团 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
CN107959855B (zh) * 2016-10-16 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
KR20180043151A (ko) 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화를 위한 장치 및 방법
KR20180045530A (ko) 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
GB2557622A (en) * 2016-12-12 2018-06-27 V Nova Int Ltd Motion compensation techniques for video
AU2017377490B2 (en) 2016-12-16 2022-04-21 FG Innovation Company Limited Image decoding device and image coding device
EP3340624B1 (en) 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
CN115733973A (zh) * 2016-12-23 2023-03-03 华为技术有限公司 一种用于矩形视频编码块的编码方法、装置及计算机可读存储介质
US10873744B2 (en) 2017-01-03 2020-12-22 Lg Electronics Inc. Method and device for processing video signal by means of affine prediction
US10277897B1 (en) 2017-01-03 2019-04-30 Google Llc Signaling in-loop restoration filters for video coding
US10554974B2 (en) * 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
US10225573B1 (en) * 2017-01-31 2019-03-05 Google Llc Video coding using parameterized motion models
CN110249628B (zh) 2017-02-06 2021-08-20 华为技术有限公司 用于预测分区的视频编码器和解码器
US11259046B2 (en) * 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11150943B2 (en) * 2017-04-10 2021-10-19 Intel Corporation Enabling a single context hardware system to operate as a multi-context system
US10567788B2 (en) 2017-04-21 2020-02-18 Zenimax Media Inc. Systems and methods for game-generated motion vectors
EP3613210A4 (en) 2017-04-21 2021-02-24 Zenimax Media Inc. SYSTEMS AND PROCEDURES FOR DELAYED POST-PROCESSING IN VIDEO ENCODING
CN117014631A (zh) * 2017-04-27 2023-11-07 松下电器（美国）知识产权公司 解码装置、编码装置以及非暂时性记录介质
JP6770192B2 (ja) * 2017-06-01 2020-10-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、符号化方法、復号装置及び復号方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11272207B2 (en) 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
CN109151468B (zh) * 2017-06-28 2020-12-08 华为技术有限公司 一种图像数据的编码、解码方法及装置
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10547839B2 (en) * 2017-07-17 2020-01-28 Intel Corporation Block level rate distortion optimized quantization
CN114554221B (zh) 2017-07-19 2023-08-01 三星电子株式会社 编码方法及用于其的设备、解码方法及用于其的设备
US10762691B2 (en) 2017-09-08 2020-09-01 Microsoft Technology Licensing, Llc Techniques for compensating variable display device latency in image display
US10623744B2 (en) * 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
US10582212B2 (en) * 2017-10-07 2020-03-03 Google Llc Warped reference motion vectors for video compression
US11877001B2 (en) * 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US20190116359A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Guided filter for video coding and processing
WO2019089864A1 (en) * 2017-11-01 2019-05-09 Vid Scale, Inc. Overlapped block motion compensation
US10681374B2 (en) * 2017-11-16 2020-06-09 Google Llc Diversified motion using multiple global motion models
CN111615828B (zh) 2017-11-29 2023-01-10 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
US20190313107A1 (en) * 2018-03-15 2019-10-10 University-Industry Cooperation Group Of Kyung Hee University Image encoding/decoding method and apparatus
WO2019192491A1 (en) * 2018-04-02 2019-10-10 Mediatek Inc. Video processing methods and apparatuses for sub-block motion compensation in video coding systems
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
US10491897B2 (en) * 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
CN108600759B (zh) * 2018-04-16 2021-11-12 北京工业大学 基于非均衡四叉树的3d-hevc快速转码方法
CN112166607A (zh) * 2018-05-29 2021-01-01 交互数字Vc控股公司 利用部分共用亮度和色度编码树的视频编码和解码的方法和装置
US10880554B2 (en) * 2018-06-06 2020-12-29 Alibaba Group Holding Limited Bit stream management in video communication
US11051025B2 (en) * 2018-07-13 2021-06-29 Tencent America LLC Method and apparatus for video coding
US10674151B2 (en) * 2018-07-30 2020-06-02 Intel Corporation Adaptive in-loop filtering for video coding
TWI695326B (zh) * 2018-08-07 2020-06-01 晶睿通訊股份有限公司 物件屬性分析方法及其相關物件屬性分析裝置
EP3611468A1 (en) * 2018-08-17 2020-02-19 Ordnance Survey Limited Vector tile pyramiding
US11218694B2 (en) * 2018-09-24 2022-01-04 Qualcomm Incorporated Adaptive multiple transform coding
US11763467B2 (en) 2018-09-28 2023-09-19 Intel Corporation Multi-cam ball location method and apparatus
CN113170170A (zh) * 2018-11-22 2021-07-23 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的混合方法
CN118042171A (zh) * 2018-12-13 2024-05-14 Sk电信有限公司 滤波方法、视频解码设备和发送方法
KR20200073124A (ko) * 2018-12-13 2020-06-23 에스케이텔레콤 주식회사 필터링 방법 및 영상 복호화 장치
GB2580084B (en) 2018-12-20 2022-12-28 Canon Kk Video coding and decoding
WO2020142095A1 (en) * 2019-01-02 2020-07-09 Realnetworks, Inc. Systems, methods, and articles for adaptive lossy decoding
US10887262B1 (en) * 2019-01-25 2021-01-05 Twitter, Inc. Visibility filtering
CN113545041A (zh) * 2019-03-07 2021-10-22 数字洞察力有限公司 图像编码/解码方法和设备
EP3935835A4 (en) * 2019-03-08 2022-12-14 Telefonaktiebolaget Lm Ericsson (Publ) METHODS OF PROVIDING DEPENDENT/INDEPENDENT SCORE ENCODING/DECODING AND ASSOCIATED DEVICES
WO2020182213A1 (en) * 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Sub-block transform in transform skip mode
CN110113603A (zh) * 2019-04-22 2019-08-09 屠晓 高清视频处理终端
EP3959889A4 (en) * 2019-04-25 2022-07-20 OP Solutions, LLC CANDIDATES FOR ADAPTIVE PREDICTION OF MOTION VECTORS IN FRAMES WITH GLOBAL MOTION
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
CN110234013B (zh) * 2019-06-20 2022-04-26 电子科技大学 一种帧级运动矢量精度比特分配的优化方法
KR20220090493A (ko) 2019-08-06 2022-06-29 오피 솔루션즈, 엘엘씨 블록-기반 적응적 해상도 관리
WO2021026363A1 (en) * 2019-08-06 2021-02-11 Op Solutions, Llc Implicit signaling of adaptive resolution management based on frame type
EP4011084A4 (en) 2019-08-06 2023-08-09 OP Solutions PRESCALE ADAPTIVE RESOLUTION MANAGEMENT
BR112022002154A2 (pt) 2019-08-06 2022-04-19 Op Solutions Llc Sinalização implícita de gerenciamento de resolução adaptativa com base no tipo de quadro
KR20210020387A (ko) 2019-08-14 2021-02-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US11095901B2 (en) * 2019-09-23 2021-08-17 International Business Machines Corporation Object manipulation video conference compression
US11356707B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorporated Signaling filters for video processing
JP2021061501A (ja) * 2019-10-04 2021-04-15 シャープ株式会社 動画像変換装置及び方法
BR112022008918A2 (pt) 2019-11-08 2022-08-02 Op Solutions Llc Métodos e sistemas para corte adaptável
WO2022173440A1 (en) * 2021-02-12 2022-08-18 Google Llc Parameterized noise synthesis for graphical artifact removal
CN113382237B (zh) * 2021-06-08 2022-11-04 北京杰瑞创通科技有限公司 实时视频传输的自适应动态抗网络丢包智能信源解码方法
US20240022709A1 (en) * 2022-07-13 2024-01-18 Tencent America LLC Improvements on model storage for warp extend and warp delta modes
CN115361582B (zh) * 2022-07-19 2023-04-25 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质
US20240048730A1 (en) * 2022-07-26 2024-02-08 Tencent America LLC Method and apparatus for improved warp delta signaling
CN116193189A (zh) * 2022-10-25 2023-05-30 展讯半导体(成都)有限公司 丢帧率测试方法、装置、系统、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675386A (en) * 1994-11-30 1997-10-07 Samsung Electronics Co., Ltd. Method for encoding motion image and apparatus therefor
US20070291849A1 (en) * 2002-04-23 2007-12-20 Jani Lainema Method and device for indicating quantizer parameters in a video coding system
US20100002775A1 (en) * 2008-07-03 2010-01-07 Huang Shih-Chia Low-Complexity And High-Quality Error Concealment Techniques For Video Sequence Transmissions

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US45305A (en) * 1864-11-29 Improvement in water-wheels
US4736448A (en) * 1984-03-31 1988-04-05 Kabushiki Kaisha Toshiba Spatial filter
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
US5729691A (en) 1995-09-29 1998-03-17 Intel Corporation Two-stage transform for video signals
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
EP0799550B1 (en) 1995-10-25 2000-08-09 Koninklijke Philips Electronics N.V. Segmented picture coding method and system, and corresponding decoding method and system
US6895051B2 (en) 1998-10-15 2005-05-17 Nokia Mobile Phones Limited Video data encoder and decoder
US6643387B1 (en) 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
GB9916819D0 (en) * 1999-07-20 1999-09-22 Telemedia Systems Ltd Method of and apparatus for digital data storage
TW589870B (en) * 2000-12-19 2004-06-01 Pts Corp Adaptive transforms
US20020122491A1 (en) 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
CN100505878C (zh) 2001-11-06 2009-06-24 松下电器产业株式会社 运动画面编码方法及运动画面解码方法
JP2007049741A (ja) 2001-11-30 2007-02-22 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US8175159B2 (en) * 2002-01-24 2012-05-08 Hitachi, Ltd. Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7940845B2 (en) 2002-04-19 2011-05-10 Panasonic Corporation Motion vector calculating method
US7609767B2 (en) * 2002-05-03 2009-10-27 Microsoft Corporation Signaling for fading compensation
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US20050094729A1 (en) 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
JP2005223631A (ja) * 2004-02-05 2005-08-18 Sony Corp データ処理装置およびその方法と符号化装置および復号装置
EP1605403A1 (en) * 2004-06-08 2005-12-14 STMicroelectronics S.r.l. Filtering of noisy images
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
EP1675402A1 (en) 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
US7675573B2 (en) * 2005-02-18 2010-03-09 Genesis Microchip Inc. Global motion adaptive system with motion values correction with respect to luminance level
US8948246B2 (en) * 2005-04-11 2015-02-03 Broadcom Corporation Method and system for spatial prediction in a video encoder
US7397933B2 (en) * 2005-05-27 2008-07-08 Microsoft Corporation Collusion resistant desynchronization for digital video fingerprinting
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
WO2007011851A2 (en) 2005-07-15 2007-01-25 Texas Instruments Incorporated Filtered and warped motion compensation
CN101263513A (zh) * 2005-07-15 2008-09-10 德克萨斯仪器股份有限公司 过滤和扭曲的运动补偿
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
AU2006320064B2 (en) 2005-11-30 2010-09-09 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
JP4820191B2 (ja) * 2006-03-15 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
CN101449585A (zh) 2006-03-30 2009-06-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
JP5474546B2 (ja) 2006-08-25 2014-04-16 トムソン ライセンシング 低減された解像度の分割の方法及び装置
TWI375469B (en) 2006-08-25 2012-10-21 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
US20100040146A1 (en) 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
US9319700B2 (en) * 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US9277243B2 (en) 2006-11-08 2016-03-01 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US7460725B2 (en) 2006-11-09 2008-12-02 Calista Technologies, Inc. System and method for effectively encoding and decoding electronic information
EP1926321A1 (en) 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
KR101366242B1 (ko) * 2007-03-29 2014-02-20 삼성전자주식회사 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
GB0716158D0 (en) 2007-08-17 2007-09-26 Imagination Tech Ltd Data compression
RU2461978C2 (ru) * 2007-10-25 2012-09-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ масштабируемого кодирования и способ масштабируемого декодирования видеоинформации, устройства для них, программы для них и носитель записи, на котором записаны программы
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
JP4309453B2 (ja) * 2007-12-26 2009-08-05 株式会社東芝 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
US20090167775A1 (en) 2007-12-30 2009-07-02 Ning Lu Motion estimation compatible with multiple standards
US8126054B2 (en) 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8254469B2 (en) * 2008-05-07 2012-08-28 Kiu Sha Management Liability Company Error concealment for frame loss in multiple description coding
US8625681B2 (en) 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US9237327B2 (en) * 2008-09-23 2016-01-12 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
US20100086048A1 (en) * 2008-10-03 2010-04-08 Faisal Ishtiaq System and Method for Video Image Processing
KR101441903B1 (ko) 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP4427600B1 (ja) 2008-11-28 2010-03-10 株式会社東芝 映像解析装置およびプログラム
ES2395363T3 (es) * 2008-12-25 2013-02-12 Dolby Laboratories Licensing Corporation Reconstrucción de vistas desentrelazadas, utilizando interpolación adaptativa basada en disparidades entre las vistas para un muestro ascendente
TWI498003B (zh) 2009-02-02 2015-08-21 Thomson Licensing 代表一序列圖像的碼式資料連流之解碼方法和一序列圖像之寫碼方法及碼式圖像資料結構
TWI440363B (zh) * 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
WO2010128420A2 (en) * 2009-05-04 2010-11-11 Novelsat Ltd Front-end for satellite communication
JP5263967B2 (ja) * 2009-06-10 2013-08-14 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 動画ストリーム処理装置及び動画ストリーム処理プログラム
US8409038B2 (en) * 2009-07-17 2013-04-02 Macdougall & Sons Bat Company, Llc Baseball bat
EP2464016A4 (en) 2009-08-06 2012-07-18 Panasonic Corp ENCODING METHOD, DECODING METHOD, ENCODING DEVICE, AND DECODING DEVICE
CN102474568B (zh) * 2009-08-12 2015-07-29 英特尔公司 基于共同处理元件执行视频稳定化和检测视频镜头边界的技术
WO2011039931A1 (ja) 2009-09-30 2011-04-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2011050998A1 (en) 2009-10-29 2011-05-05 Thomas Sikora Method and device for processing a video sequence
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US8559511B2 (en) * 2010-03-30 2013-10-15 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for video coding by ABT-based just noticeable difference model
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
KR20110112168A (ko) 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
KR101847072B1 (ko) * 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP2011223319A (ja) * 2010-04-09 2011-11-04 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8665959B2 (en) * 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
CN106358045B (zh) 2010-04-13 2019-07-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
EP2559238B1 (en) 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
JP2011237998A (ja) * 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2011150109A1 (en) 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
KR20110135787A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
WO2011158225A1 (en) 2010-06-17 2011-12-22 Mirtemis Ltd. System and method for enhancing images
US20120008686A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
JP5524762B2 (ja) * 2010-08-12 2014-06-18 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
WO2012042884A1 (ja) * 2010-09-29 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US9462280B2 (en) * 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
KR20120080548A (ko) 2011-01-07 2012-07-17 삼성전자주식회사 양방향 예측 및 단일방향 예측이 가능한 비디오 예측 방법 및 그 장치, 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2012094751A1 (en) * 2011-01-14 2012-07-19 Ebrisk Video Inc. Adaptive loop filtering using tables of filter sets for video coding
US9602819B2 (en) 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
US8989261B2 (en) * 2011-02-23 2015-03-24 Qualcomm Incorporated Multi-metric filtering
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US8861593B2 (en) * 2011-03-15 2014-10-14 Sony Corporation Context adaptation within video coding modules
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
WO2012144876A2 (ko) 2011-04-21 2012-10-26 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
JP5552093B2 (ja) * 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5649523B2 (ja) * 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
NO335667B1 (no) 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
US10536701B2 (en) * 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution
US8964833B2 (en) * 2011-07-19 2015-02-24 Qualcomm Incorporated Deblocking of non-square blocks for video coding
KR101606131B1 (ko) * 2011-08-08 2016-03-25 구글 테크놀로지 홀딩스 엘엘씨 변환 유닛 분할의 잔여 트리 구조
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US9344743B2 (en) * 2011-08-24 2016-05-17 Texas Instruments Incorporated Flexible region based sample adaptive offset (SAO) and adaptive loop filter (ALF)
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
KR101362696B1 (ko) * 2011-10-19 2014-02-17 전북대학교산학협력단 하이브리드 아키텍쳐가 적용된 신호 변환 장치, 신호 변환 방법 및 기록매체
US9462298B2 (en) * 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
KR20130045425A (ko) 2011-10-25 2013-05-06 (주)케이테크 소셜 온톨로지 기반 지식 전문가 추천방법
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US10452743B2 (en) * 2011-11-07 2019-10-22 Vid Scale, Inc. Video and data processing using even-odd integer transforms
JP6055555B2 (ja) * 2012-11-13 2016-12-27 インテル コーポレイション 次世代ビデオのためのビデオコーデックアーキテクチャ
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US10334259B2 (en) * 2012-12-07 2019-06-25 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
CN104737542B (zh) 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
US20150365703A1 (en) * 2014-06-13 2015-12-17 Atul Puri System and method for highly content adaptive quality restoration filtering for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675386A (en) * 1994-11-30 1997-10-07 Samsung Electronics Co., Ltd. Method for encoding motion image and apparatus therefor
US20070291849A1 (en) * 2002-04-23 2007-12-20 Jani Lainema Method and device for indicating quantizer parameters in a video coding system
US20100002775A1 (en) * 2008-07-03 2010-01-07 Huang Shih-Chia Low-Complexity And High-Quality Error Concealment Techniques For Video Sequence Transmissions

Also Published As

Publication number Publication date
EP2920962A4 (en) 2016-07-20
JP2016502332A (ja) 2016-01-21
US20170013279A1 (en) 2017-01-12
CN104854866A (zh) 2015-08-19
CN104704827B (zh) 2019-04-12
EP2920968A4 (en) 2016-07-20
US9819965B2 (en) 2017-11-14
US20140328387A1 (en) 2014-11-06
US20140328414A1 (en) 2014-11-06
EP2920962A1 (en) 2015-09-23
CN104854866B (zh) 2019-05-31
US20150281716A1 (en) 2015-10-01
JP6120390B2 (ja) 2017-04-26
US9912958B2 (en) 2018-03-06
US9762929B2 (en) 2017-09-12
WO2014078068A1 (en) 2014-05-22
US10182245B2 (en) 2019-01-15
US20140328400A1 (en) 2014-11-06
US9800899B2 (en) 2017-10-24
WO2014078422A1 (en) 2014-05-22
US20140362911A1 (en) 2014-12-11
EP2920968A1 (en) 2015-09-23
WO2015099816A1 (en) 2015-07-02
US9942572B2 (en) 2018-04-10
KR20150056811A (ko) 2015-05-27
US9894372B2 (en) 2018-02-13
US20150010048A1 (en) 2015-01-08
TW201545545A (zh) 2015-12-01
WO2015099823A1 (en) 2015-07-02
US9716893B2 (en) 2017-07-25
US20180205968A1 (en) 2018-07-19
CN104704827A (zh) 2015-06-10
US20140362921A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
TWI572196B (zh) 用於次世代視訊編碼之投射式內插預測產生之技術
US10284853B2 (en) Projected interpolation prediction generation for next generation video coding
EP3087744B1 (en) Projected interpolation prediction generation for next generation video coding
KR101677406B1 (ko) 차세대 비디오용 비디오 코덱 아키텍처
CN110741640A (zh) 用于视频代码化中的运动补偿预测的光流估计
CN107071481A (zh) 一种视频编码解码方法及装置
JP6071618B2 (ja) 画像処理装置及びプログラム