TWI475890B - 用於需要善用電量之多媒體裝置的高效率區塊比對的大型積體電路架構及方法 - Google Patents

用於需要善用電量之多媒體裝置的高效率區塊比對的大型積體電路架構及方法 Download PDF

Info

Publication number
TWI475890B
TWI475890B TW097139373A TW97139373A TWI475890B TW I475890 B TWI475890 B TW I475890B TW 097139373 A TW097139373 A TW 097139373A TW 97139373 A TW97139373 A TW 97139373A TW I475890 B TWI475890 B TW I475890B
Authority
TW
Taiwan
Prior art keywords
block
current block
current
predicted
search
Prior art date
Application number
TW097139373A
Other languages
English (en)
Other versions
TW201016018A (en
Inventor
Sy Yen Kuo
Shih Chia Huang
Original Assignee
Univ Nat Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan filed Critical Univ Nat Taiwan
Priority to TW097139373A priority Critical patent/TWI475890B/zh
Priority to US12/344,521 priority patent/US8787461B2/en
Publication of TW201016018A publication Critical patent/TW201016018A/zh
Application granted granted Critical
Publication of TWI475890B publication Critical patent/TWI475890B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

用於需要善用電量之多媒體裝置的高效率區塊比對的大型積體 電路架構及方法
本發明涉及一種視訊編碼技術，尤其是加速移動預測操作的區塊比對方法。
為了減少儲存影像資料的儲存媒體空間以及降低傳輸像資料的頻寬，原始影像資料需經過壓縮處理以產生壓縮影像資料，並在需顯示出影像資料時，以解壓縮方式將壓縮影像資料回復成可被顯示的影像資料，而該壓縮處理被稱作編碼，解壓縮處理則稱為解碼。
視訊編碼標準H.264/AVC係目前廣泛使用的編碼方式，應用於消費性電子產品的影像壓縮以及網路影像傳輸所需的壓縮方式中。視訊編碼標準H.264/AVC的影像資料編碼系統包括移動預測、移動補償、圖塊編碼以及可變長度編碼，藉以產生P圖框位元串流，亦即壓縮資料，其中移動預測需花費相當多的系統資源，包括記憶體空間、運算時間以及功率消耗。一般而言，移動預測會佔據整體編碼資料中76%的記憶體存取，77%的記憶體頻寬以及78%的運算時間，因此需提高移動預測的效率以改善整體編碼效率。
移動預測的方式係針對目前圖框中的目前區塊，在參考圖框內選取出搜尋區，利用最佳匹配演算法(Best Matching Algorithm，BMA)由該搜尋區的所有參考區塊中找出最佳匹配圖塊，並求得相對應的移動向量，以供後續 的可變長度編碼使用。BMA一般是使用如以下方程式所示的絕對值差異總合(Sum of Absolute Differences，SAD)值來判斷具最小SAD值的最佳匹配區塊：
其中X(m,n)為目前區塊在座標(m,n)的影像資料，Y(m＋I,n＋j)為參考區塊在座標(m＋I,n＋j)的影像資料，i水平座標參數為，j為垂直座標參數，且i與j為整數。
參閱第一圖，習用技術之視訊編碼硬體系統的示意圖。如第一圖所示，影像資料編碼系統1包括編碼器10，用以找到參考圖框內搜尋區中的最佳匹配區塊，其中編碼器10經由外部匯流排19，藉記憶體介面16載入外部記憶體17所儲存的資料，而外部記憶體84所儲存的資料即是搜尋區內參考區塊的資料。編碼器10包括編碼引擎11、內部記憶體12以及運算引擎13，其中內部記憶體12會儲存由外部記憶體17所載入的資料，運算引擎11進行邏輯運算以求出SAD值，編碼引擎11從運算引擎13所得到的SAD值中，找出具最小SAD值的最佳匹配區塊。
參閱第二圖，習用技術之最佳匹配演算法搜尋區的示意圖。如第二圖所示，搜尋區50的寬度為SRH ＋N－1，高度為SRV ＋N－1，SRH 為水平搜尋區範圍，SRV 為垂直搜尋區範圍，位於搜尋區50的中心點的參考區塊61大小為NxN，其中各個數值是以像素為單位，而且SRH ＝2PH ，SRV ＝2PV 。
視訊編碼標準H.264/AVC具有特有的多參考圖框模式 之快速移動預測設計，以提供進一步壓縮影像資料的標準操作。
參閱第三圖，習用技術之多參考圖框模式的示意圖。如第三圖所示，針對目前圖框20的目前區塊30，依據BMA，分別在第一參考圖框41、第二參考圖框42、第三參考圖框43以及第四參考圖框44的第一搜尋區51、第二搜尋區52、第三搜尋區53以及第四搜尋區54中找出相對應的最佳匹配區塊，其中目前區塊30在時間t、第一搜尋區51在時間t－T、第二搜尋區52在時間t－2T、第三搜尋區53在時間t－3T、第四搜尋區54在時間t－4T，T為圖框時間間距，亦即二連續圖框的間隔時間，而時間t－4T是在時間t－3T之前且相隔圖框時間間距T。
參閱第四圖，習用技術之多參考圖框模式的流程圖。如第四圖所示，首先在步驟S10中，載入目前區塊，進入步驟S12。在步驟S12中，載入參考圖框之搜尋區，進入步驟S14。在步驟S14中，藉BMA找出搜尋區的最佳匹配區塊，進入步驟S16。在步驟S16中，如果未完成所有參考圖框的搜尋區之最佳匹配區塊，則進入步驟S18，如果完成所有參考圖框，則進入步驟S20。在步驟S18中，載入下一參考圖框之搜尋區，回到步驟S14。在步驟S20中，結束操作。
要注意的是，步驟S12與步驟S18中載入參考圖框之搜尋區是指從外部記憶體84中將代表搜尋區的全部資料載入內部記憶體74，而步驟S14係藉BMA找出最佳匹配區塊，因此第四圖的流程可完成目前區塊的移動預測操作，整個移動預測操作係針對目前圖框內的所有目前區塊重複上述 的操作步驟。步驟S12與步驟S18會增加外部匯流排90的資料傳輸頻寬，尤其在本實例中，為完成單一目前區塊的移動預測操作便需要下載第一搜尋區51、第二搜尋區52、第三搜尋區53以及第四搜尋區54，使得外部匯流排90的資料傳輸更加頻繁，加重編碼系統的功率消耗，對於使用電池為電力來源的電子產品來說，會大幅縮短電池的供電時間，嚴重影響產品的性能。
因此，需要一種高效率區塊比對之大型積體電路架構，具低記憶體頻寬需求，高資料再利用率以及低資料傳輸頻寬，以解決習用技術的缺點。
本發明之主要目的在提供一種高效率區塊比對之大型積體電路架構，具低記憶體頻寬需求，用於需要善用電量的大型積體電路之多媒體裝置，係利用複數個目前圖框中相同空間位址的複數個目前區塊，共用相同的預測搜尋路徑而在參考圖框中的搜尋區內找出相對應的最佳匹配區塊，藉以求得該等目前區塊與相對應最佳匹配區塊之間的移動向量，進而完成視訊編碼中的移動預測操作，同時大幅減少下載搜尋區資料的頻率，降低資料頻寬，加快整體移動預測操作。
本發明之另一目的在提供一種區塊比對方法，由視訊編碼標準H.264相關資訊中，取得目前區塊之相鄰區塊的移動向量、自適性搜尋範圍以及搜尋路徑，藉以預測出目前區塊的預測移動向量以及預測自適性搜尋範圍，依據目 前區塊的預測移動向量、預測自適性搜尋範圍、目前搜尋圖案以及相鄰區塊的搜尋路徑以預測目前區塊的預測搜尋路徑，將預測搜尋路徑所指定的資料由外部記憶體載入內部記憶體中，並在BMA比對過程中更新預測搜尋路徑，使其它的目前區塊共用該預測搜尋路徑，以大幅減少記憶體頻寬以及所需的內部記憶體容量。
因此，藉由本發明所提供的區塊比對之大型積體電路架構與區塊比對方法，可解決上述習知技術的所有缺點，降低資料頻寬，加快移動預測操作，提升整體視訊編碼的效率。
參閱第五圖，本發明之高效率區塊比對之大型積體電路架構的示意圖。如第五圖所示，本發明之區塊比對電路架構70包括外部記憶體71、資料匯流排73以及移動預測處理器80，其中外部記憶體71儲存參考圖框以及複數個目前圖框的資料，而資料匯流排73連接外部記憶體71與移動預測處理器80。移動預測處理器80包括內部記憶體82、記憶體處理方塊84、位址選定處理方塊86、預測搜尋路徑處理方塊88、BMA處理方塊90以及移動預測結果處理方塊92，其中記憶體處理方塊84係控制內部記憶體82與外部記憶體71之間的資料存取操作。位址選定處理方塊86係選定目前區塊在目前圖框中的位址。預測搜尋路徑處理方塊88係依據位址選定處理方塊86所選取的位址，針對所指定的目前區塊進行預測搜尋路徑處理，藉以 預測出該目前區塊在搜尋區的相對應搜尋路徑。BMA處理方塊90依據預測搜尋路徑處理方塊88所預測出的預測搜尋路徑，由外部記憶體71，將該相對應的搜尋區資料下載到內部記憶體82，利用BMA以找出最佳匹配區塊，藉以完成單一目前區塊的移動預測操作，獲得該目前區塊與最佳匹配區塊的移動向量，而由移動預測結果處理方塊92記錄該移動向。
此外，記憶體處理方塊84載入具相同位址的另一目前圖框的目前區塊，其中目前圖框的係儲存於外部記憶體71，並藉預測搜尋路徑處理方塊88更新預測搜尋路徑，並由BMA處理方塊90找出最佳匹配區塊以及移動向量，同時由移動預測結果處理方塊92記錄該移動向量，直到完成相同位址的所有目前區塊的移動預測操作為止。因此，同一搜尋區的資料可供複數個目前區塊共用，提高資料載利用率，減少量資料匯流排73的資料頻寬。
移動預測結果處理方塊92再次啟動位址選定處理方塊86以選取另一位址，並藉記憶體處理方塊84以及預測搜尋路徑處理方塊88更新預測搜尋路徑，由BMA處理方塊90找出最佳匹配區塊以及移動向量，同時由移動預測結果處理方塊92記錄該移動向量。因此，本發明的區塊比對電路架構70可實現視訊編碼標準H.264/AVC的移動預測操作。
參閱第六圖，本發明之高效率區塊比對之大型積體電路架構的區塊比對示意圖。如第六圖所示，時間t－4T的參考圖框40的搜尋區50係提供給時間t－3T的第一目前 圖框21的第一目前區塊31、時間t－2T的第二目前圖框22的第二目前區塊32、時間t－T的第三目前圖框23的第三目前區塊33以及時間t的第四目前圖框24的第四目前區塊34，以進行移動預測操作找出相對應最佳匹配區塊，其中第一目前區塊31、第二目前區塊32、第三目前區塊33以及第四目前區塊34是位於不同目前圖框的相同空間位址，因此第一目前區塊31、第二目前區塊32、第三目前區塊33以及第四目前區塊34在時間軸上具有強烈的時間相關性。
比較第六圖的本發明與第三圖的習用技術可知，習用技術需載入四搜尋區以及一目前區塊的資料以進行移動預測操作，本發明只需載入一搜尋區以及四目前區塊的資料，而搜尋區的資料量遠大於目前區塊的資料量，因此本發明可大幅降低資料傳輸頻寬。以搜尋區的資料量為3x3倍於目前區塊為例，習用技術的資料量為37倍的目前區塊，因9x4＋1＝37，而本發明的資料量為13倍的目前區塊，9＋1x4＝13，因此資料傳輸頻寬可降低至13/37，約為35%，亦即可節省約65%的資料傳輸頻寬，進而加快移動預測的操作速度，並降低對電池的電力消耗，可延長電池的使用時間。
要注意的是，本實施例僅係以示範性方式選取四個目前圖框以共用相同的搜尋區，然而本發明的範圍並應不以此為限，亦即本發明可使用N個目前圖框以共用相同的搜尋區，其中N為一正整數。
參閱第七圖，本發明之高效率區塊比對之大型積體電 路架構的流程圖。如第七圖所示，首先在步驟S100中，開始移動預測操作，參考圖框的搜尋區以及目前區塊儲存於外部記憶體中，進入步驟S110。在步驟S110中，選定目前圖框中的一位址，接著進入步驟S120。在步驟S120中，載入該位址之目前區塊資料至內部記憶體，進入步驟S140。在步驟S140中，找出預測搜尋路徑，進入步驟S160。在步驟S160中，將預測搜尋路徑所指定的資料由外部記憶體84載入內部記憶體74中，進入步驟S180。在步驟S180中，進行BMA比對操作以找出最佳匹配區塊，接著進入步驟S200。在步驟S200中，判斷是否完成相同位址的所有目前區塊的BMA比對操作，如果未完成則進入步驟220，如果完成則進入步驟S240。在步驟S220中，載入相同位址的另一目前區塊，並回到步驟S140，重複步驟S160至步驟S200的操作。在步驟S240中，結合相同位址的BMA比對操作結果，藉以完成相同空間位址的目前區塊的移動預測操作，進入步驟S260。在步驟S260中，判斷是否完成所有位址的目前區塊的BMA比對操作，如果未完成則進入步驟280，如果完成則進入步驟S300。在步驟S280中，選定另一位址，並回到步驟S120，重複步驟S140至步驟S260的操作。在步驟S300中，產生移動預測結果，並進入步驟S320，結束移動預測操作。
因此，在BMA的比對操作之前，本發明會隨著下一目前區塊的載入而找到更適合的預測搜尋路徑，亦即會更新預測搜尋路程。
參閱第八圖，本發明之高效率區塊比對之大型積體電路架構的預測搜尋路徑之流程圖。第八圖的預測搜尋路徑的操作流程係第七圖的步驟S140的詳細步驟，首先在步驟S142中，由視訊編碼標準H.264/AVC取得目前區塊之相鄰區塊的移動向量、自適性搜尋範圍以及搜尋路徑，接著進入步驟S144。在步驟S144中，預測出目前區塊的預測移動向量以及預測自適性搜尋範圍，進入步驟S146。在步驟S144中，依據目前區塊的預測移動向量、預測自適性搜尋範圍、目前搜尋圖案以及相鄰區塊的搜尋路徑以預測目前區塊在搜尋區內的預測搜尋路徑。
進一步參閱第九圖，本發明之高效率區塊比對之大型積體電路架構的預測移動向量之示意圖，以配合第八圖進一步詳細說明步驟S144與步驟S146的操作。如第九圖所示，選取目前區塊30的第一相鄰區塊30A、第二相鄰區塊30B、第三相鄰區塊30C，分別位於該目前區塊30的正左方、左上方以及正上方，並具有移動向量MV1、MV2以及MV3。可取用移動向量MV1、MV2以及MV3的平均值當作目前區塊30的預測移動向量MVP，或是由移動向量MV1、MV2以及MV3所建立的移動向量平面中，以外插法取出目前區塊30的預測移動向量MVP。要注意的是，本發明的範圍並受限於預測移動向量MVP的取得方式，因此所有這些預測移動向量MVP的取得方式都在本發明的範圍內。
該預測自適性搜尋範圍可為該等相鄰區塊之自適性搜尋範圍中的最大值，或該等相鄰區塊之自適性搜尋範圍的平均值。
參閱第十圖，本發明之高效率區塊比對之大型積體電路架構的另一流程圖。第十圖係以另一方式表示本發明大型積體電路架構的操作流程，配合第六圖以更加方便了解第七圖之步驟S120至步驟S240的本發明特點。
如第十圖所示，在步驟S500中，載入時間t－4T的參考圖框的搜尋路徑，接著進入步驟S510，載入時間t－3T的第一目前圖框的第一目前區塊，進入步驟S512，更新搜尋路徑，亦即第七圖之步驟S140，找出預測搜尋路徑，接著進入步驟S514，找出第一最佳匹配區塊，接著進入步驟S520。在步驟S520中，載入時間t－2T的第二目前圖框的第二目前區塊，進入步驟S522，更新搜尋路徑，亦即第七圖之步驟S140，找出預測搜尋路徑，接著進入步驟S524，找出第二最佳匹配區塊，接著進入步驟S530。在步驟S530中，載入時間t－T的第三目前圖框的第三目前區塊，進入步驟S532，更新搜尋路徑，亦即第七圖之步驟S140，找出預測搜尋路徑，接著進入步驟S534，找出第三最佳匹配區塊，接著進入步驟S540。在步驟S540中，載入時間t的第四目前圖框的第四目前區塊，進入步驟S542，更新搜尋路徑，亦即第七圖之步驟S140，找出預測搜尋路徑，接著進入步驟S544，找出第四最佳匹配區塊，接著進入步驟S550。在步驟S550中，結合第一最佳匹配區塊、第二最佳匹配區塊、第三最佳匹配區塊以及第四最佳匹配區塊。因此，在下載的搜尋區資料中，找出相同位址之四個目前區塊的相對應最佳匹配區塊以及相對應的移動向量，藉以提高資料的再利用率，同時大幅減少下載搜尋區資料的頻 率，降低資料頻寬，減低整體移動預測操作的功耗，並加快操作速度以及性能。
以上所述者僅為用以解釋本發明之較佳實施例，並非企圖據以對本發明做任何形式上之限制，是以，凡有在相同之發明精神下所作有關本發明之任何修飾或變更，皆仍應包括在本發明意圖保護之範疇。
10‧‧‧編碼器
11‧‧‧編碼引擎
12‧‧‧內部記憶體
13‧‧‧運算引擎
16‧‧‧記憶體介面
17‧‧‧外部記憶體
19‧‧‧外部匯流排
20‧‧‧目前圖框
21‧‧‧第一目前圖框
22‧‧‧第二目前圖框
23‧‧‧第三目前圖框
24‧‧‧第四目前圖框
30‧‧‧目前區塊
30A‧‧‧第一相鄰區塊
30B‧‧‧第二相鄰區塊
30C‧‧‧第三相鄰區塊
31‧‧‧第一目前區塊
32‧‧‧第二目前區塊
33‧‧‧第三目前區塊
34‧‧‧第四目前區塊
40‧‧‧參考圖框
41‧‧‧第一參考圖框
42‧‧‧第二參考圖框
43‧‧‧第三參考圖框
44‧‧‧第四參考圖框
50‧‧‧搜尋區
51‧‧‧第一搜尋區
52‧‧‧第二搜尋區
53‧‧‧第三搜尋區
54‧‧‧第四搜尋區
61‧‧‧參考圖塊
70‧‧‧區塊比對電路架構
71‧‧‧外部記憶體
73‧‧‧資料匯流排
80‧‧‧移動預測處理器
82‧‧‧內部記憶體
84‧‧‧記憶體處理方塊
86‧‧‧位址選定處理方塊
88‧‧‧預測搜尋路徑處理方塊
90‧‧‧移動預測結果處理方塊
92‧‧‧BMA處理方塊
MV1、MV2、MV3‧‧‧移動向量
MVP‧‧‧預測移動向量
t‧‧‧時間
T‧‧‧圖框時間間距
第一圖為習用技術之視訊編碼硬體系統的示意圖。
第二圖為習用技術之最佳匹配演算法搜尋區的示意圖。
第三圖為習用技術之多參考圖框模式的示意圖。
第四圖為習用技術之多參考圖框模式的流程圖。
第五圖為本發明之高效率區塊比對之大型積體電路架構的示意圖。
第六圖為本發明之高效率區塊比對之大型積體電路架構的區塊比對示意圖。
第七圖為本發明之高效率區塊比對之大型積體電路架構的流程圖。
第八圖為本發明之高效率區塊比對之大型積體電路架構的預測搜尋路徑之流程圖。
第九圖為本發明之高效率區塊比對之大型積體電路架構的預測移動向量之示意圖。
第十圖為本發明之高效率區塊比對之大型積體電路架構的另一流程圖。
21‧‧‧第一目前圖框
22‧‧‧第二目前圖框
23‧‧‧第三目前圖框
24‧‧‧第四目前圖框
31‧‧‧第一目前區塊
32‧‧‧第二目前區塊
33‧‧‧第三目前區塊
34‧‧‧第四目前區塊
40‧‧‧參考圖框
50‧‧‧搜尋區
t‧‧‧時間
T‧‧‧圖框時間間距

Claims (11)

  1. 一種高效率區塊比對之大型積體電路架構，進行一編碼操作中的一移動預測操作，用於需要善用電量且具低記憶體頻寬需求的一多媒體裝置，該大型積體電路架構包括：一外部記憶體，用以儲存一參考圖框的一搜尋區之資料；一移動預測處理器，用以藉一最佳匹配演算法，在該搜尋區中找出複數個目前區塊中具一目前區塊位址的複數個目前區塊的複數個相對應最佳匹配區塊以及複數個相對應移動向量，其中該些目前區塊共用相同的預測搜尋路徑；以及一資料匯流排，連接該外部記憶體以及該移動預測處理器，用以傳輸資料；其中該移動預測處理器包括一內部記憶體、一記憶體處理方塊、一位址選定處理方塊、一預測搜尋路徑處理方塊、一最佳匹配演算法處理方塊以及一移動預測結果處理方塊，該記憶體處理方塊控制該內部記憶體與該外部記憶體之間的資料存取操作，該位址選定處理方塊選定該目前區塊在該目前圖框中的該目前區塊位址，該預測搜尋路徑處理方塊係依據該位址選定處理方塊所選取的該目前區塊位址，對所指定的該等目前區塊進行一預測搜尋路徑處理，藉以預測出該等目前區塊在該搜尋區的相對應搜尋路徑，該最佳匹配演算法處理方塊依據該預測搜尋路徑處理方塊所預測出的該預測搜尋路 徑，由該外部記憶體將該相對應的部分搜尋區資料下載到該內部記憶體中，並利用該最佳匹配演算法找出該等最佳匹配區塊以及該等移動向量，該移動預測結果處理方塊記錄該等移動向量。
  2. 依據申請專利範圍第1項所述之高效率區塊比對之大型積體電路架構，其中該最佳匹配演算法為滿足最小絕對值差異總合(Sum of Absolute Differences，SAD)值，該SAD值以下列方程式表示： X(m,n)為該目前區塊在一座標(m,n)的一影像資料，Y(m+I,n+j)為該搜尋區之一參考區塊在一座標(m+I,n+j)的一影像資料，而i為水平座標參數，j為垂直座標參數，且m、n、i與j為整數。
  3. 依據申請專利範圍第1項所述之高效率區塊比對之大型積體電路架構，其中該等移動向量的每個移動向量為該目前區塊的一位址至該最佳匹配區塊之位址的一向量。
  4. 一種大型積體電路之高效率區塊比對方法，用於需要善用電量且具低記憶體頻寬需求的一多媒體裝置，以進行一編碼操作中的一移動預測操作，該方法係包括以 下步驟：步驟A，開始該移動預測操作，一參考圖框的一搜尋區之資料以及複數個目前區塊的資料儲存於一外部記憶體中，進入步驟B；步驟B，選定一目前區塊位址，進入步驟C；步驟C，載入該目前區塊位址的一目前區塊的資料至一內部記憶體，進入步驟D；步驟D，找出一預測搜尋路徑，進入步驟E；步驟E，將該預測搜尋路徑所指定的部分搜尋區之資料由該外部記憶體載入該內部記憶體中，進入步驟F；步驟F，藉一最佳匹配演算法進行一最佳匹配演算法比對操作以找出一最佳匹配區塊，進入步驟G；步驟G，判斷是否完成該目前區塊位址的所有目前區塊的最佳匹配演算法比對操作，如果未完成則進入步驟H，如果完成則進入步驟I；步驟H，載入該目前區塊位址的一另一目前區塊，回到步驟F，其中該目前區塊與該另一目前區塊共用相同的預測搜尋路徑；步驟I，結合該目前區塊位址的最佳匹配演算法比對操作之結果，藉以完成該目前區塊位址的該等目前區塊的該移動預測操作，進入步驟J；步驟J，判斷是否完成所有目前區塊位址的該等目前區塊的最佳匹配演算法比對操作，如果未完成則進入步驟K，如果完成則進入步驟L；步驟K，選定一另一目前區塊位址，回到步驟C； 步驟L，產生一移動預測結果，並進入步驟M；以及步驟M，結束該移動預測操作。
  5. 依據申請專利範圍第4項所述之大型積體電路之高效率區塊比對方法，其中該最佳匹配演算法為滿足最小絕對值差異總合(Sum of Absolute Differences，SAD)值，該SAD值以下列方程式表示： X(m,n)為該目前區塊在一座標(m,n)的一影像資料，Y(m+I,n+j)為該搜尋區之一參考區塊在一座標(m+I,n+j)的一影像資料，而i為水平座標參數，j為垂直座標參數，且m、n、i與j為整數。
  6. 依據申請專利範圍第4項所述之大型積體電路之高效率區塊比對方法，其中該等移動向量的每個移動向量為該目前區塊的一位址至該最佳匹配區塊之位址的一向量。
  7. 依據申請專利範圍第4項所述之大型積體電路之高效率區塊比對方法，其中該步驟F包括以下步驟：取得該目前區塊之複數個相鄰區塊的移動向量、自適性搜尋範圍以及搜尋路徑； 預測出該目前區塊的該預測移動向量以及該預測自適性搜尋範圍；以及依據該目前區塊的該預測移動向量、該預測自適性搜尋範圍、該目前搜尋圖案以及該等相鄰區塊的該搜尋路徑以預測該目前區塊在該搜尋區內的該預測搜尋路徑。
  8. 依據申請專利範圍第7項所述之大型積體電路之高效率區塊比對方法，其中該預測自適性搜尋範圍可為該等相鄰區塊之自適性搜尋範圍中的最大值，或該等相鄰區塊之自適性搜尋範圍的一平均值。
  9. 依據申請專利範圍第7項所述之大型積體電路之高效率區塊比對方法，其中該等相鄰區塊為位於該目前區塊正左方的一正左方區塊、位於左上方的一左上方區塊以及位於正上方的一正上方區塊。
  10. 依據申請專利範圍第7項所述之大型積體電路之高效率區塊比對方法，其中該目前區塊的該預測移動向量係位於該等相鄰區塊的移動向量所構成之一移動向量平面上，且該預測移動向量經一外插法而求得。
  11. 依據申請專利範圍第4項所述之大型積體電路之高效率區塊比對方法，其中該目前區塊的該預測移動向量係該等相鄰區塊的移動向量的一平均值。
TW097139373A 2008-10-14 2008-10-14 用於需要善用電量之多媒體裝置的高效率區塊比對的大型積體電路架構及方法 TWI475890B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097139373A TWI475890B (zh) 2008-10-14 2008-10-14 用於需要善用電量之多媒體裝置的高效率區塊比對的大型積體電路架構及方法
US12/344,521 US8787461B2 (en) 2008-10-14 2008-12-28 High-performance block-matching VLSI architecture with low memory bandwidth for power-efficient multimedia devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097139373A TWI475890B (zh) 2008-10-14 2008-10-14 用於需要善用電量之多媒體裝置的高效率區塊比對的大型積體電路架構及方法

Publications (2)

Publication Number Publication Date
TW201016018A TW201016018A (en) 2010-04-16
TWI475890B true TWI475890B (zh) 2015-03-01

Family

ID=42098823

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097139373A TWI475890B (zh) 2008-10-14 2008-10-14 用於需要善用電量之多媒體裝置的高效率區塊比對的大型積體電路架構及方法

Country Status (2)

Country Link
US (1) US8787461B2 (zh)
TW (1) TWI475890B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285068B2 (en) 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
US20100220786A1 (en) * 2009-02-27 2010-09-02 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for multiple reference picture motion estimation
US20100309981A1 (en) * 2009-06-04 2010-12-09 Texas Instruments Incorporated Reuse of a search region in motion estimation of multiple target frames
US8358380B2 (en) * 2009-06-05 2013-01-22 Cisco Technology, Inc. Efficient spatial and temporal transform-based video preprocessing
US8520731B2 (en) * 2009-06-05 2013-08-27 Cisco Technology, Inc. Motion estimation for noisy frames based on block matching of filtered blocks
US8571117B2 (en) * 2009-06-05 2013-10-29 Cisco Technology, Inc. Out of loop frame matching in 3D-based video denoising
US8619881B2 (en) * 2009-06-05 2013-12-31 Cisco Technology, Inc. Estimation of temporal depth of 3D overlapped transforms in video denoising
US8615044B2 (en) 2009-06-05 2013-12-24 Cisco Technology, Inc. Adaptive thresholding of 3D transform coefficients for video denoising
US8638395B2 (en) * 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
US9628674B2 (en) 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US8472725B2 (en) 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
US9635308B2 (en) 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
US8953688B2 (en) * 2010-11-08 2015-02-10 Sony Corporation In loop contrast enhancement for improved motion estimation
JP2012209911A (ja) * 2010-12-20 2012-10-25 Sony Corp 画像処理装置および方法
CN104301703A (zh) * 2013-07-16 2015-01-21 联咏科技股份有限公司 匹配搜寻方法与匹配搜寻系统
FR3029055B1 (fr) * 2014-11-24 2017-01-13 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
US9832351B1 (en) 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms
US11057637B1 (en) * 2020-01-29 2021-07-06 Mellanox Technologies, Ltd. Efficient video motion estimation by reusing a reference search region

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745183A (en) * 1995-08-25 1998-04-28 Thomson Consumer Electronics, Inc. Image motion estimation system which derives candidate block from interpolated motion vectors
TWI272548B (en) * 2005-08-22 2007-02-01 Univ Nat Taiwan Level C+ data reuse scheme for motion estimation
US20080170616A1 (en) * 2003-04-10 2008-07-17 Sk Telecom Co., Ltd. Method and Apparatus for Determining Search Range for Adaptive Motion Vector for Use in Video Encoder

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661849A (en) * 1985-06-03 1987-04-28 Pictel Corporation Method and apparatus for providing motion estimation signals for communicating image sequences
US5134480A (en) * 1990-08-31 1992-07-28 The Trustees Of Columbia University In The City Of New York Time-recursive deinterlace processing for television-type signals
EP1189169A1 (en) * 2000-09-07 2002-03-20 STMicroelectronics S.r.l. A VLSI architecture, particularly for motion estimation applications
US7023923B2 (en) * 2002-04-29 2006-04-04 Koninklijke Philips Electronics N.V. Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
US6914938B2 (en) * 2002-06-18 2005-07-05 Motorola, Inc. Interlaced video motion estimation
US7940844B2 (en) * 2002-06-18 2011-05-10 Qualcomm Incorporated Video encoding and decoding techniques
US7453940B2 (en) * 2003-07-15 2008-11-18 Lsi Corporation High quality, low memory bandwidth motion estimation processor
US20060120455A1 (en) * 2004-12-08 2006-06-08 Park Seong M Apparatus for motion estimation of video data
US7580456B2 (en) * 2005-03-01 2009-08-25 Microsoft Corporation Prediction-based directional fractional pixel motion estimation for video coding
US20080260033A1 (en) * 2007-04-17 2008-10-23 Horizon Semiconductors Ltd. Hybrid hierarchical motion estimation for video streams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745183A (en) * 1995-08-25 1998-04-28 Thomson Consumer Electronics, Inc. Image motion estimation system which derives candidate block from interpolated motion vectors
US20080170616A1 (en) * 2003-04-10 2008-07-17 Sk Telecom Co., Ltd. Method and Apparatus for Determining Search Range for Adaptive Motion Vector for Use in Video Encoder
TWI272548B (en) * 2005-08-22 2007-02-01 Univ Nat Taiwan Level C+ data reuse scheme for motion estimation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Tung-Chien Chen; Yu-Wen Huang; Chuan-Yung Tsai; Chao-Tsung Huang; Liang-Gee Chen; , "Single referen ce frame multiple current macroblocks scheme for multi-frame motion estimation in H.264/AVC," Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium on , vol., no., pp. 1790- 1793 Vol. 2, 23-26 May 2005. Gallant, M.; Kossentini, F.; , "An efficient computation-constrained block-based motion estimation algorithm for low bit rate video coding," Signals, Systems & Computers, 1998. Conference Record of the Thirty-Second Asilomar Conference on , vol.1, no., pp.467-471 vol.1, 1-4 Nov 1998. *

Also Published As

Publication number Publication date
US20100091862A1 (en) 2010-04-15
TW201016018A (en) 2010-04-16
US8787461B2 (en) 2014-07-22

Similar Documents

Publication Publication Date Title
TWI475890B (zh) 用於需要善用電量之多媒體裝置的高效率區塊比對的大型積體電路架構及方法
US8705611B2 (en) Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
CN101573984B (zh) 用于使用多个运动矢量预测因子来估计运动矢量的方法和设备，编码器、解码器和解码方法
US7782951B2 (en) Fast motion-estimation scheme
US10341679B2 (en) Encoding system using motion estimation and encoding method using motion estimation
CN109672894B (zh) 一种帧间预测方法、装置及存储介质
JP3715283B2 (ja) 動画像の画像圧縮符号化方法及び装置
US20080002772A1 (en) Motion vector estimation method
US8532409B2 (en) Adaptive motion search range determining apparatus and method
KR100994773B1 (ko) 계층적 움직임 추정에 있어서 움직임 벡터 생성 방법 및장치
JP2006074474A (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
CN113965753B (zh) 一种基于码率控制的帧间图像运动估计方法与系统
CN102647598A (zh) 基于极大极小mv差值的h.264帧间模式优化方法
TWI401970B (zh) 在多媒體系統晶片設計中的低電量且高效率的快速移動評估超大型積體電路
CN102685506B (zh) 帧内预测的方法和预测装置
JP5566786B2 (ja) 誤差絶対値和の推定システム及び推定方法
JP5807402B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US9077996B2 (en) Predicted motion vectors
US20230199216A1 (en) Method and apparatus for reference area transfer with pre-analysis
TWI590083B (zh) 一種產生影像位移偵測之快速搜尋視窗的方法
JP4957780B2 (ja) 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム
CN115065825A (zh) 一种基于gpu的移动视频编解码系统
Hsieh et al. Algorithm and architecture design of bandwidth-oriented motion estimation for real-time mobile video applications
KR20060109440A (ko) 전력 최적화 콜로케이팅된 움직임 추정 방법
CN113365078B (zh) 帧间编码的运动估计方法、装置及可读存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees