TWI234402B - Motion estimation with weighting prediction - Google Patents
Motion estimation with weighting prediction Download PDFInfo
- Publication number
- TWI234402B TWI234402B TW092119266A TW92119266A TWI234402B TW I234402 B TWI234402 B TW I234402B TW 092119266 A TW092119266 A TW 092119266A TW 92119266 A TW92119266 A TW 92119266A TW I234402 B TWI234402 B TW I234402B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- reference image
- weighted
- weighting factor
- motion
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 115
- 238000004891 communication Methods 0.000 claims abstract description 68
- 239000013598 vector Substances 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims description 69
- 230000009471 action Effects 0.000 claims description 36
- 238000012360 testing method Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 7
- 241001122767 Theaceae Species 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 206010011469 Crying Diseases 0.000 claims description 4
- 241000406668 Loxodonta cyclotis Species 0.000 claims 1
- 230000006870 function Effects 0.000 description 45
- 238000005259 measurement Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000282376 Panthera tigris Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
1234402 坎、發明說明: 【發明所屬之技術領域】 二二係關於視訊編碼器及解碼器,具體而言,係關於視 及解❹内具有加權重預測之整合動作估計。 【先珂技術】 碼器及:料,以位70流形式處理及傳送。典型視訊壓縮編 夫考旦1碼""(CC)DEC」)藉由形成需要編碼的—影像之一 像制獲得錢縮效率,並編碼當前景彡像及預測之間 因^。預測與當前影像相關越近,廢縮影像所需位元越少, 預測。 ^以μ可能參考影像 許多視訊㈣標準中,包括動畫專家組(「刪卜 MPEG-2及MPEG-4,先前失去旦/你 ^ y 4考衫像之動作補償版本用作當前 ,像之預測’且僅編碼當前影像及預測之間的差異。當使用 早,v像預測(P」影像)時,參考影像不在動作補償預測 形成時縮放。當使用雙向影像預測(「B」影像)時,中間預 測從兩個不同影像形成’接著兩個中間預測使用各自的相等 加權重因數(1/2,1/2)-起進行平均,形成-單-平均預測。 這些標準中,兩個參考影像總是各來自前向 影像。 【發明内容】 先月J技術中的k些及其他缺陷及缺點藉由用於視訊編碼 器及解碼器内具有加權f苑、日丨 > 姑人4 · ’刀權重預測之整合動作估計的系統 法提出。 86678-940I20.doc 1234402 本發明提供之視訊編碼器 ^ ^ , 叹鮮碼态係編碼及解碼用於一 圖像區塊及預測該圖像區塊之、 口右-欠+丨 ^ r 可〜像索引的視訊信 唬貝枓,其中該編碼器包括一 〃 ^心像加桔重因數選擇器, :具有-輸出,表示對應該特定參考影像索引之 ^-乘法H,其與提供該參考影像之_加㈣版本的該參 _ 擇益仏唬通#,以及一動作估計器,其 人提供對應該參考影像之該加^ ^ ^ ^ ^ ^ ^ ^ 厥不 < 勁作向量的該乘 ,器信號通信而該對應解碼器包括—參考影像加權重因數 早兀’其具有—輸出’用以決定對應該特定參考影像索引之 一加權重因數。 編碼用於®像區塊之視訊信號的對應方法包括接收實質 上未麼縮之圖像區塊,為對應特定參考圖像之圖像區塊指定 力:權重因數,藉由加權重因數加權重參考圖像,計算動作向 量’其對應圖像區塊及加權重參考影像之間的差異,根據動 作向量動作補償加權重參考影像,根據動作補償加權重來考 影像精細化加權重因數選擇,根據動作向量動作補償初始未 加權重參考影像,以指定加權重因數乘以動作補償初始參考 影像,形成加權重動作補償參考影像,從實質上未壓縮的圖 像區塊減去加權重動作補償參考影像,以及編碼信號,其表 不貫質上未壓縮的圖像區塊及加權重動作補償參考影像間 的差異。 θ 從結合附圖理解的以下示範性具體實施例說明,本發明之 這些及其他方面、特徵及優點將變得顯而易見。 【實施方式】 86678-940 丨 20. doc 1234402 性Π!Γ 一種有效方法,用於整合動作向量估計及適應 =像加權重因數選擇。一疊代方法用於估計初始加權 作=處,並用於動作估計方法内。加權重因數估計根據動 汁方法結果精細化。當加權重因數用於編碼時,一視訊 :::決定加權重因數及動作向量,不過每一個的最佳選擇 二另—個。通常動作估計係數位元視訊壓縮編碼器計算 上袁密集的部分。 ⑽序中’尤其是衰減的那些,編碼的當前影像或 圖像區塊與藉由加權重 而非盥〜… 像更強烈地相關, 考衫像本身。無加權重因數之視訊codec應用於參 考衫像編碼衰減順序的效率極低。 徊!1已提出的聯合視訊小組(「jvt」)視訊壓縮標準中,每 影像可使用多個參考影像以形成影像之預測不過每個 早動作區塊或巨集塊8 x8區域僅為預測使用—單一來 向量編碼及傳送外,為每個動作區塊或W區: 哭像索引,指示❹哪個參考影像。編碼器及解碼 ^儲存-有限組可能參考影像,並傳送容許參考影像之數 &準中’對於雙預測影像(亦稱為厂B」影像),每個 動作區塊或8 X 8區域开:# + 7 來 成形成兩個預測器,其中每個可來自分離 哭。:於•兩個預測器一起進行平均,形成-單-平均預測 口口 對於雙預測編石i說Μ pΑ Λ±Α , ^ 馬動作£塊,苓考影像可皆來自前向,皆 本自後向’或A , _ 保持兩個列表。兩個二:向。用於預測的可用參考影像 多考衫像稱為列表0及列表1預測器。每 86678-940120. d( 1234402 個參考影像之索引編碼及傳送,ref—idx一 10及ref一idx—Il,分 別用於列表0及列表1參考影像。雙預測聯合視訊小組 (「JVT」)或「B」影像應提供兩個預測之間的適應性加權重, 即
Pred = [(P0) * (PredO)] + [(PI) * (Predl)] + D ^ 其中P0及PI係加權重因數,Pred0& 1>代(11係分別用於列表〇 及列表1的參考影像預測,D為偏移。 兩種指示加權重因數之方法已提出。首先,加權重因數藉 由用於參考影像之方向來決定。此方法中,若ref一 1(^一1〇小 於或等於ref—idx—II,則使用(1/2,1/2)加權重因數,否則使 用(2 ’ -1)因數。 第二種方法中,加權重因數之數量為每個片斷傳送。接著 為每個動作區塊或使用雙向預測之巨集塊8 χ8區域傳送加權 重因數索引。解碼器使用接收加權重因數索引,從傳送組選 擇適當的加權重因數,以便當解碼動作區塊或8χ8區域時使 用。例如,若三個加權重因數在片斷層傳送,其分別對應加 權重因數索引〇、1或2。 以下所述僅說明本發明之原理。因此應明瞭,熟悉技術人 =可設計出各種各樣的配置以具體化本發明之原理,雖然該 等配置並未在本文中得到明確描述或顯示,但係包括在本發 明之精神和範封。而且,此中提及的所有範例和狀況性語 句主要係旨在僅用於教導目的並幫助瞭解本發明之原理及 發明者為推進技術所提出的概念,因此應理解本發明並不褐 限於所提及的具體範例及狀況。此外,此中所有提及原理、 86678-940120.doc 1234402 :及,明之具體實施例的語句,及其中的具體範例,係 曰在涵蓋所有在結構和功能上的等效者。另外,該等等效者 :僅包括目前既有者’亦包含未來開發之等效者,即不論其 、、、。構,但執行相同功能的任何開發元件。 因此’例如,熟習技術人士應明瞭本文方塊圖代表具體化 :明原理的說明性電路之概念觀點。同樣,應明瞭任何流 、流程圖、狀態轉換圖、虛擬碼等等代表各種實質上可 7腦可讀媒體内代表並藉由電腦或處理器執行的方法 §曲此類電腦或處理器是否明確顯示。 體::二吏:專屬硬體以及可執行與適當軟體相關連的軟 夢由顯不各種元件之功能。#由處理器提供時,可 曰由早—專屬處心、單—共用處理器或複數個個別處理器 共用)提供功能。此外,術語「處理器」或「控 -」不應限為專指可執行軟體之 限於數位信號處理器(「DSP」)硬體、儲=接包括但不 體Grom 、 ^ 儲存軟體之唯讀記憶 (_」)、隨機存取記憶體(「_」 體的亦可包括其他傳統及/或自訂硬體。同樣,圖式中= ::任何開關僅為概念。其功能可藉由程式邏由 專屬邏輯、藉由程式邏輯及專屬 ’、,由 施,牿索妯十1 、科又互動甚或手動來實 何可由從本文更詳細瞭解之實施者選擇。 本文之申請專利範圍中,任何表 旨在涵蓋任何執行該功能的方: 電路元件之包括a)執行該功能的 碼等等式的軟體’因此其包㈣體、微 ……的電路組合’用以執行該軟體,執行該功 86678-940l20.doc 1234402 月匕。由此類申言奢專利範圍定義之發明係基於該事冑:各種提 及的構件所提供的功能性以申請專利範圍要求的方式組合 並-起實施。因此中請者將任何提供該等功能性的構件視為 等同於本文所示的那些。 如圖1所示,標準視訊編碼器通常由參考數字1〇〇表示。編 I 1 00之輸入以彳5號通信方式連接求和接合點11 〇之非反 轉輸入。求和接合點110之輸出以信號通信方式連接區塊變 換函數120。變換12〇以信號通信方式連接量化器13〇。量化 器130之輸出以㈣通信方式連接可變長度編碼器㈣|备 length coder; VLC)140,其中VLC 14〇 之輸出係編碼器 ι〇〇 之外部可用輸出。 量化器130之輸出以信號通信方式進一步連接反轉量化器 150。反轉量化器15〇以信號通信方式連接反轉區塊變換器 160,其依次以信號通信方式連接參考影像儲存器170。參考 影像儲存器170之第一輸出以信號通信方式連接動作估計器 180之第一輪入。編碼器100之輸入以信號通信方式進一步連 接動作估汁器180之第二輸入。動作估計器18〇之輸出以信號 通信方式連接動作補償器刚之第—輸人。參考影像儲存器 170之第二輪出以信號通信方式連接動作補償器l9〇之第二 輸入動作補償器190之輸出以信號通信方式連接求和接合 點110之反轉輪入。 蒼考圖2 ’具有參考影像加權重之視訊編碼器通常由參考 數子200表示。編碼器200之輸入以信號通信方式連接求和接 ^ 0之非反轉輸入。求和接合點2丨〇之輸出以信號通信方 86678-940120.doc 1234402 式連接區塊變換器2 2 0。變換器2 2 〇以信號通信方式連接量化 即23 0里化态230之輸出以信號通信方式連接,其 中VLC 240之輪出係編碼器2〇〇之外部可用輸出。 里化态230之輸出以信號通信方式進一步連接反轉量化器 250。反轉里化裔25〇以信f虎通信方式連接反轉區塊變換器 60 /、依人以^號通^方式連接參考影像儲存器27〇。參考 影像儲存H 270H出以信號通信方式連接參考影像加 權重因數指定器272之第-輸人。編碼器2⑻之輸人以信號通 信方式進一步連接參考影像加權重因數指定器272之第二輸 入。參考影像加權重因數指定器272之輸出,其表示_加權 重因數,以信號通信方式連接動作估計器28〇之第一輸入。 參考影像儲存器270之第二輸出以信號通信方式連接動作估 計器280之第二輸入。 編碼器200之輸入以信號通信方式進一步連接動作估計器 280之第三輸入。動作估計器28〇之輸出,其表示動作向量, 以信號通信方式連接動作補償器29〇之第一輸入。參考影像 儲存器270之第三輸出以信號通信方式連接動作補償器29〇 之第二輸入。動作補償器29〇之輸出,其表示動作補償參考 影像,以信號通信方式連接乘法器292之第一輸入。參考影 像加權重因數指定器272之輪出,其表示一加權重因數,= 信號通信方式連接乘法器292之第二輸入。乘法器292之輸出 以信號通信方式連接求和接合點21〇之反轉輸入。 現在參考圖3,具有整合動作估計及加權重預測之視訊編 碼器通常以參考數字300表示。編碼器3〇〇之輸入以信號通信 86678-940120.doc -12- 1234402 方式連接求和接合點310之非反轉輸入。求和接合點31〇之輸 f以信號通信方式連接區&變換器32〇。變㉟器32〇以信號通 仏方式連# 1化器330。量化器33〇之輸出以信號通信方式連 接VLC 340,其中VLC 340之輪出係編碼器则之外部可用輸 出0 量化器330之輸出以信號通信方式進一步連接反轉量化器 35〇。反轉量化器35〇以信號通信方式連接反轉區塊變換器 360,其依次以信號通信方式連接參考影像儲存器37〇。表考 影像儲存H37G之第-輸出以信號通信方式連接參考影像加 健因數選擇議之第一輸入,碼器3〇〇之輸入以信號通 仏方式進一步連接參考影像加權重因數選擇器π]之第二輸 入。參考影像加權重因數選擇器372之輸出,其表示一加權 重因數,則s號通信方式連接乘法器374之第—輸人。乘法 11 374之第二輸人以信號通信方式連接參考影像儲存器⑽ 之參考影像輸出。應注意儘管所顯示簡單地係乘法哭⑺, 熟習技術人士自會明白除乘法器之外的其他類型加權重因 數益具亦可構成’其全部視為本發明之精神及料内。 之輸出以信號通信方式連接加權重參考影像儲 !°π加榷重翏考影像儲存器3 7 6之輸出以信號通信方式 ^妾動作料器38〇之I輸人,其係提供加權重參考影像。 作估计器380之輪出以信號通信方式連接第 儲^器作補償器州之第—輸人。加權重參考影像 一輪出以信號通信方式連接第一動作補償器 86678-940120 doc -13- 1234402 382之第二輸入。 与第一動作補償器382之輸出,其表示加權重動作補償參考 〜像,以信號通信方式連接絕對差產生器3料之第一輸入。 、、馬扣300之輸入,其係當前影像,以信號通信方式進一步 :。邑對差產生态384之第二輸入。絕對差函數384之輸出以 么5虎通L方式連接參考影像加權重因數選擇器W之第三輸 入0 麥考影像儲存器370之第三輸出以信號通信方式連接第二 一補饧™ 390之第二輸入。第二動作補償器39〇之輸出,並 2動作補償參考影像,以信號通信方式連接乘法器392: “輸入。筝考影像加權重因數選擇372之輸出,其表示一 力:權:因數,以信號通信方式連接乘法器392之第二輸入。 "Γ之輸出以仏唬通信方式連接求和接合點310之反 轉輸入。 ▲圖所7Γ才不準視訊解碼器通常由參考數字柳表示。視 Λ解碼400包括可變具许絲 〇 、、 文長度解碼态(「VLE)」)410,其以信號 方式連接反轉置化器420。反轉量化器420以信號通信方 工、連接反轉變換器430。反轉變換器43〇以信號通信方式連接 加:器或求和接合點440之第一輸入端子,其中求和接合點 440之輸出提供視哥缺 . ° 馬σσ 400之輸出。求和接合點440之輸 出以^號通信方式連接失去旦 接 > 考衫像儲存器450。參考影像儲存 為4 5 0以#號通信方式遠接 連接動作補侦器460,其以信號通信方 式連接求和接合點440之第二輪入端子。 參考圖5,具有適應性雙預測之視訊解碼器通常以參考數 86678-940120.doc -14- 1234402 、表不視汛解碼器500包括VLD 510,其以信號通信方 式連接反轉里化器52〇。反轉量化器52〇以信號通信方式連接 2轉變換器530。反轉變換器53。以信號通信方式連接求和接 合點540之第一輸入端子,其中求和接合點54〇之輸出提供視 汛解碼态500之輸出。求和接合點54〇之輸出以信號通信方式 連接麥考影像儲存器55〇。參考影像儲存器55〇以信號通信方 f連接動作補償11 56G,其則言號通信方式連接乘法器570之 第一輸入。 VLD 510以㈣通信方式進一步連接參考影像加權重因數 查找580,其係提供適應性雙預測(adaptive bi-predicti〇n ; )係數索引至查找58〇。查找58〇之第一輸出係提供加權重 口數’並以k就通信方式連接至乘法器57〇之第二輸入。乘 —70之輸出以4號通信方式連接求和接合點$之第一 輸入查找58G之第二輸出係提供偏移,並以信號通信方式 連接至长牙接口點590之第二輸入。求和接合點59〇之輸出以 k號通信方式連接求和接合點54〇之第二輸入端子。 現在參考圖6’動作向量及加權重因數決定方法通常以參 考數字600表示。此處,函數方塊61〇藉由計算加權重因數〜」 =W(CUr)/aVg(ref)找到用於當前影像或圖像區塊(「咖」) 及茶考影像(「ref」)的初始加權重因數估計。方塊㈣將控 制傳送至決定方塊612,其決定加權重因數评是否大於限定值 η及小於限定值T2。若w係在t1h2之間,控制傳送至返回 方塊614,W=1用作初始加權重因數。若w不在丁丨及”之間, 控制傳送至函數方塊616,其將加權重因數w應用於參考日影 86678-940120.doc -15- 1234402 像,形成加權重參考影像wref。方塊616將控制傳送至函數 方塊618,藉由使用加權重參考影像找到動作向量 (「MV」)執行動作估計。方塊618將控制傳送至函數方塊^別, 其藉由將]VIV應用於wref,形成動作補償加權重參考影像, mcwref。方塊62〇將控制傳送至函數方塊622,其計算差異測 里,diff,其中diff等於cur及wmcref間像素差異總和的絕對 值。 方塊622將控制傳送至決定方塊624,其決定diff是否大於 先w最佳diff。若diff大於先前最佳diff,控制傳送至返回方 塊626,其使用先前最佳diff。若diff不大於先前最佳diff,控 制傳送至決定方塊628,其決定diff是否小於限定值τ。若以汀 J、於限疋值τ ’則控制傳送至返回方塊634,其使用當前估計。 右diff不小於限定值τ,則控制傳送至函數方塊63〇,其藉由 將MV應用於ref,形成動作補償參考影像,。方塊 將控制傳送至函數方塊632,其藉由將w設置為等於π以⑶r)/ avg(mcref)精細化加權重因數估計。方塊將控制傳送回至 函數方塊616,以便進一步處理。因此,進一步精細化加權 重因數之決定係基於比較差異測量與限定值或容限。 現在苓考圖7,解碼用於圖像區塊之視訊信號資料的示範 ^生方去通#以苓考數字7〇〇表示。該方法包括開始方塊71 〇, 其將控制傳送至輸入方塊712。輸入方塊712接收圖像區塊壓 縮資料,並將控制傳送至輸入方塊714。輸入方塊714接收至 ^個具有用於圖像區塊之資料的參考影像索引,每個參考 衫像索引對應一特定參考影像。輸入方塊714將控制傳送至 86678-940120.doc -16- 1234402 函數方塊716,其決定對應每個接收參考影像索引之加權重 因數,並將控制傳送至選擇性函數方塊717。選擇性函數方 塊717決定對應每個接收參考影像索引之偏移,並將控制傳 送至函數方塊71 8。函數方塊71 8取回對應每個接收參考影像 索引之參考影像,並將控制傳送至函數方塊72〇。函數方塊 720依次動作補償取回的參考影像,並將控制傳送至函數方 塊722。函數方塊722以對應加權重因數乘以動作補償參考影 像’並將控制傳送至選擇性函數方塊723。選擇性函數方塊 3將動作補&翏考影像加人對應偏移,並將控制傳送至函 方鬼724函數方塊724依次形成加權重動作補償來考管 像,並將控制傳送至結束方塊726。 /… 本不乾性具體實施例中,對於每個編碼影像或片斷,加權 者〃田月』〜像可根據其編碼的每個容許參考影像相關 田、4媽或解碼當前影㈣個別區塊時,對應其參考影像 口:的峨因數及偏移應用於㈣ = 同參考影像編碼的片斷 重因數應用於參考影像預測。 順==斷是重可在影像參數組或 加權重的片斷或示。對於每個使用適應性 許參考影像傳送力:】重:數用於編碼此片斷或影像的容 頭内傳送。例如, 各許參考影像之數量在片斷標 傳送高至右可使用二個參考影像編碼當前片斷,則 關連。權重因數’其與具有相同“的參考影像相 86678-940120.doc -17- 1234402 ^傳$加權重因數,則使用預設加權重。在本發明一項 體只轭例中,當不傳送加權重因數時使用預設加權重(1/2, ) 權重因數可使用固定或可變長度編碼傳送。 與典型系統不同,使用每個片斷、區塊或影像的每個加權 重因數對應特定參考影像索引。在以前,使用每個片斷或影 像的任何組加推重因數未與任何特定參考影像相關連。相 反二適應性雙預測加權重索引係為每個動作區塊或8x8區域 傳k ^擇哪個來自傳送組的加權重因數將應用於該特定動 作區塊或8x8區域。 本發明之本具體實施例中, Τ用於母個動作區塊或8 χ8區域 之加權重因數索引未明確傳送。 得I相反,使用與傳送參考影像 :引相關連之加權重因數。此顯著減少傳輸位元流内額外負 擔的數量’提供參考影像之適應性加權重。 、 ?匕系統及技術可應用於預測Γρ」影像,其使用單一預測 杰編碼,或雙預測「B 影像,1 」P像其使用兩個預測器編碼。以 下說明P及B影像情形之解碼方 ,,^ 所$万法,其存在於編碼器及解碼器 中。或者,此技術亦可應用於#
用與卜B&P影像概念相同 之編碼系統。 J 相同的加權重因數可用於3影 内雔6箱、目丨水沖^ 、像内早一方向預測及β影像 =預一用於ρ影像内巨集塊❹影像内單 二方向預測時,為區塊傳送-單-參考影像索引。當動作補 償解碼方法步驟產生一預測下補 頂利益後加權重因數應用於 态。接著加權重預測器加入編 “ 』A呀、’在總和上執恭 形成解碼影像。為用於僅使用 丁截J,
琪而之P影像内區塊或B 86678-940120.doc -18- 1234402 景》像内區塊’加權重預測器如下形成:
Pred = WO * PredO + DO ^ 〇) 其中wo係與列表〇參考影像相關連之加權重因數,D〇係與 列表θ參考影像相關連之偏移,Pred0係來自列表〇參考影 之動作補償預測區塊。 ' 為用於僅使用列表〇預測之B影像内區塊,加權重預測器 下形成: “ σ 口
Pred = W1 * Predl + Dl (2) 其中W1係與列表1參考影像相關連之加權重因數,D1係愈 列表!參考影像相關連之偏移,predl係來自列表工參考影傻 之動作補償預測區塊。 ^ 加權重預測器可截割以確保結果值係在像素值容許範圍 ’通常係0至255。加權重公式内乘法精確度可限於解 位7L之任何預定數量。 又 雙預測情形中,為兩個預測哭 預測杰之母一個傳送參考影俊+ 引。動作補償係執行以形成兩個— % m旦… /成兩個預測為。每個預測器使用與 茶考衫像索引相關連之加權重 μ 因數’形成兩個加權重預測 态。兩個加權重預測器接著一 、 哭,盆妙⑨者起進仃平均,形成一平均預測 口口 其然後加入編碼殘餘。 為用於使用列表〇及列表1預 、、丨^ 、衫像内區塊,加權重預 測态如下形成·· 催里頂
Pred - (p〇 * Pred〇 + DO + pj % p ^ ,^ Predl + Dl ) / 2 (3) 加推重預測器計算中截割可 1 ^ 谈文 j 了應用於加權重預測或任何中 間值,確保結果值係在像素值 17中 今夺靶圍内,通常係〇至255。 86678-940l20.doc -19- 1234402 碼:此,加1重因數應用於使用多個參考影像之視訊壓縮編 區。及解碼☆的參考影像預測。加權重因數根據用於該動作 =之參考影像“丨調適影像内個㈣作區塊。由於參考影 象“已在1_訊位元流内傳送,在動作區塊基礎上調適 力口榷重因數之額外倉插 入立 員擔颂者減;。根據相同參考影像編碼之 ^㈣區塊將相同加權重因數應用於參考影像預測。 ㈣估計技術已廣泛研究。對於編碼的影像之每個動作區 尹\ 4擇之動作向量係代表從參考影像的動作區塊位移。搜 品或π Uh方法中’測試相對於動作區塊位置之偏
移預定範圍内的每個位移。測試包括計算絕對差之J SAD」),或具有參考影像内移位動作區塊之當前影像内 ^乍區塊内的每個像素之最小均方誤差(「刪」)。最低嶋 s SE偏移選擇作為動作向量。對此技術已提出大量變化, :如三步驟搜尋及速率失真最佳化動作估計,其全部包括計 异具有茶考影像内移位動作區塊之當前動作區塊的SAD或 MSE之步驟。 决疋動作向篁及適應性參考影像加權重因數之計算成本 可藉由使用一疊代方法減少’同時仍然選擇動作向量及能夠 實現高壓縮係數之加權重因數。說明的示範性具體實施例動 作向量及加權重因數決定方法係假定單一加權重因數應用 於整個*考影像’儘f本發明原理之應用並不限於此情來。 該方法亦可應用於影像之較小區域,例如片斷。此外,儘管 本U員7F範性具體實施例僅使用一單一參考影像說明, 本發明亦可應用於多個參考影像預測及雙預測影像/ 86678-940120.doc -20- 1234402 用於動作區塊之動作向量計 遇㊉最佳係在使用如描壬 因數已知時完成。一示範性具 iy 貫知例中,加權重因數任斗 係使用參考影像及當前影像像 U數估什 豕像索值形成。加權重因數 解析度位元數量。若加權重因數 ^ 作估計方法中考慮加權重因數,正= 妾近卜則不需要在動 於1之加權重因數完成。否則,力::乍”可使用假定等 衫像。接者使用任何計算SAD或 ^ E之方法執行動作估外 不過SAD或MSE計算係在參 卞估汁 号像加權重版本内當前影像 動作區塊及位移動作區塊之間 執仃’而非未加權重參考影 像。選擇動作向量後,可視需 可〜 兄而要精細化加權重因數之估計。 虽則動作向量應用於加權重參 ^ A ^ ^ ^ ^ „ 〃可〜像,形成加榷重動作補 4貝多考衫像。汁鼻加權重動作舖 Α ,、 軔作補仏參考影像及當前影像之間 的差異測量。若差異測量低一 ' 限疋值,或低於先前最佳差 異測量’則該方法完成,接受者前 田月J候遠動作向I及加權重因 數0 若差異測量高於某限定值,可精細化加權重因數。此情形 中’動作補償但未加權4參考影像根據當前候選動作向量形 成權重口數估δ十使用動作補償參考影像及當前影像精細 化’而非❹未補償參考影像’與形成加權重因數初始估計 所元成的一樣。 ^擇方法進订重複’將重新精細化加權重因數應用於參考 影像,形成加權重參考影像。疊代方法繼續,直至差異測量 :於或高於先前最佳差異測量,或低於-限定值,或者直至 疋義週期數!已完成。若當前疊代之差異測量高於最佳先前 86678-940120.doc -21 - 1234402 $代,則使用用於最佳先前疊代之加權重因數及動作向量。 若當前疊代之差異測量低於一限定值,則使用當前加權重因 數及動作向量。若疊代週期最大數量已完成,則使用來自具 有最佳差異測量之先前疊代的加權重因數及動作向量。 一項具體實施例中,加權重因數之初始估計w係當前影像 cur*内像素平均值除以參考影像ref内像素平均值的比率,其 中: /、 (4) 動作補償參考影像 W = avg(cur)/avg(ref) 精細估計係當前影像内像素平均值及 内像素平均值mcref之間的比率,其中: (5) 影像 w = avg(cur)/avg(mcref) 差異測量·係當前影像cur及加權重動作補償來考 wmcref之間像素差異平均值的絕對值,其中: diff= IZcur-wmcref | (6) 像内及加權重動作 另一具體實施例中,差異測量係當前影 補償參考影像内像素絕對差之總和,其中 diff=S Icur-wmcref | 當執行以區塊為基礎的動作估 τ时,參考影像内相同樣 用於大量SAD計算。在動作估計 τ 床過転中的示範性呈 鈿例中,一旦加權重因數已 :、- ^ . Al /亏衫像内一像素,除 吊像素外,加權重像素亦儲存。 個影像完成。 為衫像-區域或為 加權重參考影像值可截 之位元儲存,例如8位元 J使用與未加權重參考相同數量 或使用更多位元儲存。若為記憶 86678-940120.doc -22- 1234402 體更有效之動作 於實際選擇動作向量貝之:::截割,加權重因數再應用於用 在差異後執行截h =解差純用額外位元計算, 在應用加權。解碼器不匹配,若解碼器未 田夕個苓考影像用於編石馬一旦”各 ^生 算分離加權重因數。你”、、的,則可為每個參考影像計 動作向量及參考影像^補償過程中,為每個動作區塊選擇 參考影像找到加權重因數。。對於該方法内每個疊代,為每個 車乂佳具體實施例中, 作區塊之最佳參考影 、、:過程中,決定用於給定動 離完成,只有使用Μ I測夏計算係為每個參考影像分 精細化用於給定參考影 W用於汁异中。 參考影像編碼的 0翟重因數估計亦僅使用以該 數及動作向量可^料區塊。對於雙預測編碼,加權重因 行芈广為兩個預測的每-個分離決定,其將一起進 仃+均,形成平均預測。 /、將起進 本發明之原理可肩用於i夕 當使用階層式… 夕不同類型的動作估計演算法。 代可使用任^位^’加㈣因數選擇及動作向量選擇之疊 整數=:動作估計階層。例如,疊代方法可使用
Pel」)動作估計。使用提供的疊代演曾法找 數及整數動作向量後,可—重= 之另一豐代即找到子pe〗動作向量。 :據本讀導熟習技術人士可容易地確定本發明的這些 及優點。應瞭解本發明之原理可以各種形式的硬 -、权體、韌體、特殊用途處理器或其組合實施。 86678-940120.doc -23- 1234402 本發明之原理最好係以硬體及軟體之組合實施。此外,軟 體較佳係以可在程式儲存單元上有形具體化之應用程式實 施。應用程式可上载至包括任何適當結構之機器並由其執 行。較佳的係該機器在一電腦平臺上實施,其具有硬體,例 如「一個或多個中央處理單元(「CPU」)、隨機存取記憶體 (RAM」)及輸入/輸出(ΓΙ/〇」)介面。電腦平臺亦可包括 作業系統及微指令編碼。本文說明之各種方法及功能可為微 指令編碼之部分或應用程式之部分,或係其組合,其可由 CPU執行。此外,各種其他周邊單元可連接至電腦平臺,例 如額外資料儲存器單元及列印單元。 、應進:步瞭解由於附圖中描述的—些組成S統組件及方 会較{土係以軟體實& ’系統組件或方法函數方塊之間的連接 可不同’取決於本發明程式化之方式。根據本文所教導,熟 習技,人士能夠採S本發明的這些及相似實施或組態。 儘管本文已參考附圖說明了說明性具體實施例,應瞭解本 發明並不限於這些精確具體實施例,熟習技術人士可實現各 種變更及修改,而不致背離本發明之料或精神。所有這些 變更及修改皆包括在如所附申請專利範圍中所提出的本發 明之範疇内。 【圖式簡單說明] 本發明根據下列示銘从固4 α 、 乾丨生圖式並入視訊編碼器及解碼器内 具有加權重預測之整合動作估計,其中·· 圖1係標準視訊編碼器之方塊圖; 圖2係具有參考影像加。 隹里Λ、、扁碼态的方塊圖,· 86678-940120.doc -24- 1234402 圖3係根據本發明之届目古敏人 <原理具有t a動作估計及加權重預測 之視訊編碼器的方塊圖; 圖4係標準視訊解碼器之方塊圖; 圖5係具有適應性雙預測之視訊解碼器的方塊圖; 圖6係根據本發明之原理的編碼方法流程圖;以及 圖7係根據本發明之原理的解碼方法流糕圖。 【圖式代表符號說明】 100 編碼器 110 求和接合點 120 區塊變換函數 130 量化器 140 可變長度編碼器 150 反轉量化器 160 反轉區塊變換器 170 參考影像儲存器 180 動作估計器 190 動作補償器 200 、編碼器 210 求和接合點 220 區塊變換器 230 量化器 240 可變長度編碼器 250 反轉量化器 86678-940l20.doc
-25- 反轉區塊變換器 參考影像儲存器 參考影像加權重因數指定器 動作估計器 動作補償器 乘法器 編碼器 求和接合點 區塊變換器 量化器 可變長度編碼器 反轉量化器 反轉區塊變換器 參考影像儲存器 參考影像加權重因數選擇器 乘法器 加權重參考影像儲存器 動作估計器 動作補償器 絕對差產生器 動作補償器 乘法器 -26- 視訊解碼器 可變長度解碼器 反轉量化器 反轉變換器 求和接合點 參考影像儲存器 動作補償器 視訊解碼器 可變長度解碼器 反轉量化器 反轉變換器 求和接合點 參考影像儲存器 動作補償器 乘法器 參考影像加權重因數查找 求和接合點 動作向量及加權重因數決定方法 方塊 決定方塊 返回方塊 方塊 -27- 函數方塊 函數方塊 函數方塊 決定方塊 返回方塊 決定方塊 函數方塊 函數方塊 返回方塊 示範性方法 開始方塊 輸入方塊 輸入方塊 函數方塊 選擇性函數方塊 函數方塊 函數方塊 函數方塊 選擇性函數方塊 函數方塊 結束方塊 -28-
Claims (1)
1234402 拾、申請專利範圍: 1 · 一種視訊編碼器,其係編碼用於相對於至少一個特定泉考 影像之一圖像區塊的視訊信號資料,該編碼器包括: -參考影像加權重因數選擇器,其具有一輸出,表 應該至少一個特定參考影像之一加權重因數; 、、 一-加權重因數器具,其與該參考影像加權重因 哭 信號通信,用於提供該至少一個特定參考影像之 : 版本;以及 權重 動作估計器,其盘一类法哭产咕> ^ ^ 不去為“唬通信,用於提供對座 吕亥至少一個特定參考影像 .心 哼'“象之5亥加推重版本的動作向量。 如申料利範圍^項之視訊編碼器,其進 考影像儲存器,其與該參考影像加權重因數選 信,用於提供該至少-個特定參考影像及 影像索引。 訂n寻疋麥考 3. 如申β月專利範圍第2項之視訊編碼器 變長度編碼器,其與該參考影像儲存哭(;;包^可 索引。 寺疋 > 考衫像之該特定參考影像 4. 如申請專利範、 權重參考影像、’見i編碼器’其進-步包括-加 信號通信=Γ其與該參考影像加權重因數選擇器 5. 如申請專利1=參考影像之一加權重版本。 作補償器’其與 …、進-步包括-動 用於提供對兮失去 推重因數選擇器信號通信, _考影像加權重因數選擇器作出反應的動 86678-940I20.doc 1234402 作補償參考影像。 士申叫專利範圍第5項之視訊編碼器,苴進一 =與該動作補償器及該參考影像:權二= 像。 用於將—加榷重因數應用於—動作補償參考影 7.如申請專利範圍第(項之視訊編碼器 作:償器,其與該動作估計器信號通信,用於::對:: 考影像加權重因數選擇器及該動作反庫 權重動作補償參考影像。 十益作出反應的加 •如申m專利範圍第7項之視訊編碼器,可 測器使用,兮〜 ”雙預測衫像預 邊、·扁碼器進-步包括預測構件,用於形成來 兩個不同參考影像之第一及第二預測器。❿成末自 士申。月專利砘圍第8項之視訊編碼器,1 參考寻^德比 /、甲该4兩個不同 '“象白來自對應該圖像區塊之該相同方向。 •-種編碼用於一圖像區塊之視 法包括: l琥貝枓的方法,該方 接收一實質上未壓縮之圖像區塊; 為對應一特定參考影像之該圖 數; 口彳冢£塊指定一加權重因 藉由忒加權重因數加權重該參考影像· 計算對應該圖像區塊及該加權 之動作向量; 可心像間的s亥差異 動作補償對應該動作向量之該加 ^ Λ 催5茶考影像;以及 精、、、田化該加權重因數選擇用於 T 4動作補償加權重參 86678-940120.doc 1234402 芩圓像作出反應。 π ·如申請專利範圍第丨0 ^二、 之方法,其進一步包括: 動作補償對應該動作向 像; 之"亥原始未加權重參考影 以该指定加權重因餐悉 开^ m 數:以该動作補償原始參考影像, 形成一加柘重動作補償參考影像,· 從該實質上未壓縮之圖像 參考影像;以及 。龙減去該加權重動作補償 ㈣’其表㈣實f上未㈣之圖像 加袓重動作補償參考影像間的該差里。 12·如申/專利範圍第ig項之方法,其中計算動作向量包含. 區==域内測試每個位移,其係在相對於該圖像 L鬼之偏移的一預定範圍内; 計算該絕對差之該總和及具有―動作補償 該圖像區塊内的每個像素之該均方誤差的至象之 及 1口,以 k擇具有4絕對差之該最低總和及該均方誤差 移作為該動作向量。 茨偏 13.如申請專利範圍第1〇項之方法,其中使用雙預測影像預 測器,該方法進一步包括·· 貝 為對應一第二特定參考影像之該圖像區塊指定— 加權重因數,· 藉由該第二加權重因數加權重該第二參考影像,· 計算對應該圖像區塊及該第二加權重參考影像間的$ 86678-940120.doc 1234402 差異之弟二動作向量; 為對應該第 像;以及 動作向塁動作補償該第二加權重參考影
為該第二動作補償加權重 二加權重因數選擇。 參考影像作出反應精細化該 ’其中使用雙預測影像預 之該圖像區塊指定一第二 14β如申請專利範圍第11項之方法 測器,該方法進一步包括: 為對應一第二特定參考影像 加權重因數; 藉由該第二加權重因數力 十 里u数加榷重該第二參考影像; 计异對應該圖像區塊及贫笛_ 兄汉°亥弟一加權重蒼考影像間的該 差異之第二動作向量; 對應該第二動作向量動作補償該第二加權重參考影 為該第二動作補償加權重參考影像作出反應精細化該 第二加權重因數選擇; 對應该第二動作向量動作補償該原始未加權重第二參 考影像; / 以該指定第二加權重因數乘以該動作補償原始第二參 考影像,形成一第二加權重動作補償參考影像,· 從該實質上未壓縮之圖像區塊減去該第二加權重動作 補償參考影像;以及 編碼一^號,其表示該實質上未壓縮之圖像區塊及該 第二加權重動作補償參考影像間的該差異。 86678-940120.doc 1234402
區塊之偏移的一 13項之方法’其中該等第一及第二特 相對於該圖像區塊之該相同方向。 13項之方法,其中計算動作向量包含·· 測試每個位移’其係在相對於該圖像 一預定範圍内; 算該絕對差之該總和及具有對應該第—預測器的一 弟一動作補償參考影像之該圖像區塊内的每個像素之縿 均方誤差的至少一個; 、 選擇具有該絕對差之該最低總和及該均方 ^ . )乃祆差的一偏 乍為用於該第一預測器的該動作向量; 計算該絕對差之該總和及具有對應該第二預測器的一 第二動作補償參考影像之該圖像區塊内的每個像素之炫 均方誤差的至少一個;以及 選擇具有該絕對差之該最低總和及該均方誤差的一 移作為用於該第二預測器的該動作向量。 Π.如申請專利範圍第1〇項之方法,其中藉由該加權 加權重該參考影像包含: 決定該加權重因數是否接近於大約1 ;以及 若該加權重因數接近於大約丨則使用該原始參 作為該加權重參考影像。 像 18.如申請專利範圍第1〇項之方法,其中對該動作補償力# 重茶考影像作出反應精細化該加權重因數選擇包含· 叶异該圖像區塊及該動作補償加權重參考影像、 差異; 〜0的- 86678-940120.doc 1234402 比較該計算差異與一預定容限;以及 若該計算差異超出該預定容限則進一步精細化該加權 重因數。 86678-940120.doc
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US39584302P | 2002-07-15 | 2002-07-15 | |
US39587402P | 2002-07-15 | 2002-07-15 | |
US10/410,479 US7376186B2 (en) | 2002-07-15 | 2003-04-09 | Motion estimation with weighting prediction |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200412799A TW200412799A (en) | 2004-07-16 |
TWI234402B true TWI234402B (en) | 2005-06-11 |
Family
ID=30119144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW092119266A TWI234402B (en) | 2002-07-15 | 2003-07-15 | Motion estimation with weighting prediction |
Country Status (12)
Country | Link |
---|---|
US (1) | US7376186B2 (zh) |
EP (1) | EP1540824B1 (zh) |
JP (1) | JP4533841B2 (zh) |
CN (1) | CN100450185C (zh) |
AU (1) | AU2003259110A1 (zh) |
BR (2) | BRPI0305517B1 (zh) |
DE (1) | DE60319239T2 (zh) |
ES (1) | ES2301828T3 (zh) |
MX (1) | MXPA05000672A (zh) |
MY (1) | MY137057A (zh) |
TW (1) | TWI234402B (zh) |
WO (1) | WO2004008642A2 (zh) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8255989B2 (en) * | 2001-09-26 | 2012-08-28 | General Instrument Corporation | Access control and key management system for streaming media |
JP4015934B2 (ja) * | 2002-04-18 | 2007-11-28 | 株式会社東芝 | 動画像符号化方法及び装置 |
US8406301B2 (en) | 2002-07-15 | 2013-03-26 | Thomson Licensing | Adaptive weighting of reference pictures in video encoding |
CN101188762B (zh) * | 2002-10-01 | 2010-06-09 | 松下电器产业株式会社 | 图像编码装置、图像解码装置及它们的方法 |
US7801217B2 (en) * | 2002-10-01 | 2010-09-21 | Thomson Licensing | Implicit weighting of reference pictures in a video encoder |
JP2004179687A (ja) * | 2002-11-22 | 2004-06-24 | Toshiba Corp | 動画像符号化/復号化方法及び装置 |
WO2004054225A2 (en) * | 2002-12-04 | 2004-06-24 | Thomson Licensing S.A. | Encoding of video cross-fades using weighted prediction |
US7809059B2 (en) * | 2003-06-25 | 2010-10-05 | Thomson Licensing | Method and apparatus for weighted prediction estimation using a displaced frame differential |
CA2542266C (en) * | 2004-04-28 | 2012-07-17 | Matsushita Electric Industrial Co. Ltd. | Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus |
US8731054B2 (en) * | 2004-05-04 | 2014-05-20 | Qualcomm Incorporated | Method and apparatus for weighted prediction in predictive frames |
KR100813958B1 (ko) * | 2004-06-07 | 2008-03-14 | 세종대학교산학협력단 | 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치 |
US8462850B2 (en) * | 2004-07-02 | 2013-06-11 | Qualcomm Incorporated | Motion estimation in video compression systems |
US8284837B2 (en) | 2004-09-16 | 2012-10-09 | Thomson Licensing | Video codec with weighted prediction utilizing local brightness variation |
US20060146932A1 (en) * | 2004-12-30 | 2006-07-06 | Krit Panusopone | Method and apparatus for providing motion estimation with weight prediction |
KR100703770B1 (ko) | 2005-03-25 | 2007-04-06 | 삼성전자주식회사 | 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치 |
KR100763182B1 (ko) * | 2005-05-02 | 2007-10-05 | 삼성전자주식회사 | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 |
MX2008000906A (es) * | 2005-07-21 | 2008-03-18 | Thomson Licensing | Metodo y aparato para la prediccion ponderada para la codificacion escalable de video. |
US8239766B2 (en) * | 2005-09-27 | 2012-08-07 | Qualcomm Incorporated | Multimedia coding techniques for transitional effects |
US20070092007A1 (en) * | 2005-10-24 | 2007-04-26 | Mediatek Inc. | Methods and systems for video data processing employing frame/field region predictions in motion estimation |
US9215475B2 (en) * | 2006-02-02 | 2015-12-15 | Thomson Licensing | Method and apparatus for motion estimation using combined reference bi-prediction |
CN101379829B (zh) * | 2006-02-02 | 2016-05-18 | 汤姆逊许可公司 | 用于运动补偿预测的自适应加权选择的方法和设备 |
WO2007091779A1 (en) | 2006-02-10 | 2007-08-16 | Lg Electronics Inc. | Digital broadcasting receiver and method of processing data |
WO2007126196A1 (en) * | 2006-04-29 | 2007-11-08 | Lg Electronics Inc. | Digital broadcasting system and method of processing data |
WO2007136166A1 (en) | 2006-05-23 | 2007-11-29 | Lg Electronics Inc. | Digital broadcasting system and method of processing data |
US7873104B2 (en) | 2006-10-12 | 2011-01-18 | Lg Electronics Inc. | Digital television transmitting system and receiving system and method of processing broadcasting data |
KR101566557B1 (ko) * | 2006-10-18 | 2015-11-05 | 톰슨 라이센싱 | 예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치 |
JP2008219100A (ja) * | 2007-02-28 | 2008-09-18 | Oki Electric Ind Co Ltd | 予測画像生成装置、方法及びプログラム、並びに、画像符号化装置、方法及びプログラム |
KR101253185B1 (ko) | 2007-03-26 | 2013-04-10 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
KR101285887B1 (ko) | 2007-03-26 | 2013-07-11 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
KR101285888B1 (ko) | 2007-03-30 | 2013-07-11 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
CN104023242B (zh) * | 2007-04-09 | 2017-07-07 | 株式会社Ntt都科摩 | 图像预测编码装置及方法、图像预测解码装置及方法 |
US8433973B2 (en) | 2007-07-04 | 2013-04-30 | Lg Electronics Inc. | Digital broadcasting system and method of processing data |
WO2009005326A2 (en) | 2007-07-04 | 2009-01-08 | Lg Electronics Inc. | Digital broadcasting system and method of processing data |
US7982776B2 (en) * | 2007-07-13 | 2011-07-19 | Ethicon Endo-Surgery, Inc. | SBI motion artifact removal apparatus and method |
KR20090012180A (ko) * | 2007-07-28 | 2009-02-02 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
CN101836448A (zh) | 2007-08-24 | 2010-09-15 | Lg电子株式会社 | 数字广播系统和在数字广播系统中处理数据的方法 |
WO2009041215A1 (ja) * | 2007-09-25 | 2009-04-02 | Sharp Kabushiki Kaisha | 動画像符号化装置及び動画像復号装置 |
US8467451B2 (en) * | 2007-11-07 | 2013-06-18 | Industrial Technology Research Institute | Methods for selecting a prediction mode |
US8320455B2 (en) * | 2009-03-05 | 2012-11-27 | Qualcomm Incorporated | System and method to process motion vectors of video data |
US20120230405A1 (en) * | 2009-10-28 | 2012-09-13 | Media Tek Singapore Pte. Ltd. | Video coding methods and video encoders and decoders with localized weighted prediction |
JP2011147049A (ja) * | 2010-01-18 | 2011-07-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
EP2466580A1 (en) * | 2010-12-14 | 2012-06-20 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Encoder and method for predictively encoding, decoder and method for decoding, system and method for predictively encoding and decoding and predictively encoded information signal |
US8837582B2 (en) | 2011-06-22 | 2014-09-16 | Blackberry Limited | Compressing image data |
US8768082B2 (en) | 2011-06-22 | 2014-07-01 | Blackberry Limited | Compressing image data |
US9083983B2 (en) | 2011-10-04 | 2015-07-14 | Qualcomm Incorporated | Motion vector predictor candidate clipping removal for video coding |
US20140286433A1 (en) * | 2011-10-21 | 2014-09-25 | Dolby Laboratories Licensing Corporation | Hierarchical motion estimation for video compression and motion analysis |
US20140321551A1 (en) * | 2011-10-21 | 2014-10-30 | Dolby Laboratories Licensing Corporation | Weighted predictions based on motion information |
WO2014047885A1 (en) * | 2012-09-28 | 2014-04-03 | Intel Corporation | Enhanced reference region utilization for scalable video coding |
KR102414518B1 (ko) | 2012-09-28 | 2022-06-29 | 엘지전자 주식회사 | 영상 복호화 방법 및 이를 이용하는 장치 |
CN103024390B (zh) * | 2012-12-21 | 2015-09-09 | 天津大学 | 用于视频编码中的运动估计的自适应搜索方法 |
CN116760977A (zh) * | 2015-08-20 | 2023-09-15 | 日本放送协会 | 图像编码装置、图像解码装置、和其程序 |
EP3456049B1 (en) | 2016-05-13 | 2022-05-04 | VID SCALE, Inc. | Systems and methods for generalized multi-hypothesis prediction for video coding |
WO2020179713A1 (en) * | 2019-03-06 | 2020-09-10 | Sharp Kabushiki Kaisha | Systems and methods for signaling tile group information in video coding |
CN114450965A (zh) | 2019-09-20 | 2022-05-06 | 交互数字Vc控股公司 | 基于长范围端对端深度学习的视频压缩 |
US11533498B2 (en) * | 2019-11-21 | 2022-12-20 | Tencent America LLC | Geometric partitioning mode in video coding |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4985768A (en) * | 1989-01-20 | 1991-01-15 | Victor Company Of Japan, Ltd. | Inter-frame predictive encoding system with encoded and transmitted prediction error |
US5488482A (en) | 1992-01-29 | 1996-01-30 | Mitsubishi Denki Kabushiki Kaisha | High-efficiency encoder and video information recording/reproducing apparatus |
US6104439A (en) * | 1992-02-08 | 2000-08-15 | Samsung Electronics Co., Ltd. | Method and apparatus for motion estimation |
US5436665A (en) | 1992-03-03 | 1995-07-25 | Kabushiki Kaisha Toshiba | Motion picture coding apparatus |
US5592228A (en) | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
JP3468856B2 (ja) | 1994-07-28 | 2003-11-17 | 株式会社東芝 | 動きベクトル検出方法及び装置 |
US5781788A (en) | 1995-05-08 | 1998-07-14 | Avc Technology, Inc. | Full duplex single clip video codec |
JPH09121358A (ja) | 1995-10-25 | 1997-05-06 | Matsushita Electric Ind Co Ltd | 画像符号化及び復号化装置と方法 |
US6049362A (en) * | 1996-02-14 | 2000-04-11 | International Business Machines Corporation | Dual prime motion estimation system and method |
JP4034380B2 (ja) | 1996-10-31 | 2008-01-16 | 株式会社東芝 | 画像符号化/復号化方法及び装置 |
US6175592B1 (en) | 1997-03-12 | 2001-01-16 | Matsushita Electric Industrial Co., Ltd. | Frequency domain filtering for down conversion of a DCT encoded picture |
US6151075A (en) | 1997-06-11 | 2000-11-21 | Lg Electronics Inc. | Device and method for converting frame rate |
US6310919B1 (en) * | 1998-05-07 | 2001-10-30 | Sarnoff Corporation | Method and apparatus for adaptively scaling motion vector information in an information stream decoder |
-
2003
- 2003-04-09 US US10/410,479 patent/US7376186B2/en active Active
- 2003-07-11 BR BRPI0305517-5A patent/BRPI0305517B1/pt unknown
- 2003-07-11 MX MXPA05000672A patent/MXPA05000672A/es active IP Right Grant
- 2003-07-11 WO PCT/US2003/021653 patent/WO2004008642A2/en active IP Right Grant
- 2003-07-11 ES ES03764471T patent/ES2301828T3/es not_active Expired - Lifetime
- 2003-07-11 CN CNB038170329A patent/CN100450185C/zh not_active Expired - Lifetime
- 2003-07-11 DE DE60319239T patent/DE60319239T2/de not_active Expired - Lifetime
- 2003-07-11 JP JP2005505118A patent/JP4533841B2/ja not_active Expired - Fee Related
- 2003-07-11 BR BR0305517-5A patent/BR0305517A/pt active IP Right Grant
- 2003-07-11 AU AU2003259110A patent/AU2003259110A1/en not_active Abandoned
- 2003-07-11 EP EP03764471A patent/EP1540824B1/en not_active Expired - Lifetime
- 2003-07-14 MY MYPI20032623A patent/MY137057A/en unknown
- 2003-07-15 TW TW092119266A patent/TWI234402B/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
WO2004008642A2 (en) | 2004-01-22 |
EP1540824A4 (en) | 2005-08-24 |
JP2005533464A (ja) | 2005-11-04 |
TW200412799A (en) | 2004-07-16 |
US7376186B2 (en) | 2008-05-20 |
WO2004008642A3 (en) | 2004-04-08 |
DE60319239T2 (de) | 2009-02-26 |
US20040008782A1 (en) | 2004-01-15 |
ES2301828T3 (es) | 2008-07-01 |
MY137057A (en) | 2008-12-31 |
BRPI0305517B1 (pt) | 2018-04-17 |
DE60319239D1 (de) | 2008-04-03 |
AU2003259110A8 (en) | 2004-02-02 |
BR0305517A (pt) | 2004-12-28 |
AU2003259110A1 (en) | 2004-02-02 |
JP4533841B2 (ja) | 2010-09-01 |
EP1540824B1 (en) | 2008-02-20 |
CN1669330A (zh) | 2005-09-14 |
MXPA05000672A (es) | 2005-03-31 |
CN100450185C (zh) | 2009-01-07 |
EP1540824A2 (en) | 2005-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI234402B (en) | Motion estimation with weighting prediction | |
KR100958504B1 (ko) | 가중치 예측을 사용한 움직임 추정 | |
AU2010202556B2 (en) | Adaptive weighting of reference pictures in video decoding | |
JP4756573B2 (ja) | 重み付け予測を用いたビデオ・クロス・フェードの符号器および符号化方法 | |
MXPA05003464A (es) | Ponderacion implicita de imagenes de referencia en un codificador de video. | |
JP3308990B2 (ja) | 動画像の予測符号化方法及び予測符号化装置 | |
JP4670085B2 (ja) | 直接符号化モードでの参照画像ブロックの確定方法 | |
JP4642033B2 (ja) | 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法 | |
AU2008201158C1 (en) | Adaptive weighting of reference pictures in video encoding | |
ZA200500416B (en) | Adaptive weighting of reference pictures in video encoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MK4A | Expiration of patent term of an invention patent |