TWI344307B - - Google Patents

Download PDF

Info

Publication number
TWI344307B
TWI344307B TW096119659A TW96119659A TWI344307B TW I344307 B TWI344307 B TW I344307B TW 096119659 A TW096119659 A TW 096119659A TW 96119659 A TW96119659 A TW 96119659A TW I344307 B TWI344307 B TW I344307B
Authority
TW
Taiwan
Prior art keywords
fractional
cost
motion estimation
integer
interpolation
Prior art date
Application number
TW096119659A
Other languages
English (en)
Other versions
TW200850006A (en
Inventor
Jiunin Guo
Chinglung Su
Original Assignee
Nat Univ Chung Cheng
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Chung Cheng filed Critical Nat Univ Chung Cheng
Priority to TW096119659A priority Critical patent/TW200850006A/zh
Priority to US11/812,243 priority patent/US8081681B2/en
Publication of TW200850006A publication Critical patent/TW200850006A/zh
Application granted granted Critical
Publication of TWI344307B publication Critical patent/TWI344307B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

九、發明說明: 【發明所屬之技術領域】 本發明係有關於一種多媒體編碼系統之可調式分 數型移動估測法’尤指一種利用一可調式分數型移動 估測(Scalable Fractional Motion Estimation)演算法 及一區塊形狀趨勢預測之分數型移動估測(Block Size Trend Prediction Fractional Motion Estimation, BSTP-FME )演算法,可根據性能需求貼切地調整運算 時間與晝質’以達到即時影像壓縮編碼,而可獲得一 具有彈性之硬體電路裝置。 【先前技術·】 多媒體視聽娛樂係人們主要休閒享受之一,更好 之畫面品質與聲音品質係感官上最直接之期望,而隨 著網際網路之盛行,要在頻寬有限之環境中傳遞資 料引出了視说編解碼糸統低碼率(Low bit-rate )與 =壓縮比之需求;另一方面,即時編解碼功能乃係欣 員或I作多媒體視聽娛樂時之基本需求,又因行動通 訊時代之來臨’在可搞式多媒體裝置上以即時視訊編 解碼系統,對硬體實現之趨勢自然地浮現出來;同時, /月待I量化之可攜式電池和更長之電池使用時間使得 低功耗(L〇w-power consumption)成為基本設計規格 之一,而分數型移動估測(Fractional Moti〇n Estimati〇n, FME)乃係h.264多媒體視訊編碼系統之關鍵模組,’ 5 1344307 此部分常利用硬體加速之方式以達到即時編碼之要 求,因此如何設計一個能因應不同壓縮畫質之需求而 進行參數化調整’以在運算時間與晝質間得到一最佳 化之權衡之分數型移動估測硬體模組,一直係研究重 點之一。綜觀過去各式各樣被提出之分數型移動估測 硬體模組設計,僅有少數係同時考量到即時編碼及低 功耗等需求,並且兼顧系統整合考量之硬體模組設計。 請參閱『第23圖及第24圖』所示,習用之第 一整體分數型移動估測架構係以4x4區塊為基礎,將 搜尋區域資料内插進入4x4區塊,其内插方式係先將 整數輸入8 1 1至一整數緩衝區8 i 2,對每一列平 行度為3及每一排垂直度為μ之區塊以一《有有限脈 衝響應(FIR) 8 2之内插法運算處理,藉由—水平内 插緩衝區8 1 3及一垂直内插緩衝區8 i 4進行多點 =行及垂直之内插運算,再以一移動向量產生器83 算出相對應於分數像素之移動向量成本(MV c〇st) 後,經過一成本模式產生器8 4傳入一比較器8 5進 行成本之累加與選擇,最後即可得出該巨集區塊之最 佳組合。 此架構雖然係一 &良之分數型動態硬體模組架 構’但需要平行使用四套同樣之設計,以總共使用約 29〇K個之邏輯閘數,方能以100MHz之運算頻率達到 H.264/AVC平灯度為3之運算摞準。·經探討此架構 6 1344307 後,發現此方式何以無法以一套分數型移動估測架構 達到H.264/AVC平行度為3運算之標準,其原因在於 5玄架構係以4x4區塊大小為基礎,導致處理速度無法 突破,因此必須以增加硬體套數之方式來增加運算平 行度。
請參閱『第25圖〜第29圖』所示,習用之第 二整體分數型移動估測架構係將内插法運算單元進行 改良’將原'本因為要求頻寬過大而造成瓶頸之水平 6-Tap FIR Filter ’改變為對角型6_Tap nR印…,並 且也將垂直6-Tap FIR Filter改變為廣播方式(如第2 8八圖〜第2 9圖所示),而原本採用之水平6_了叩服 FiUei快需要6個循環(eyde)(如第27圖所示), 每個循環傳人6個像素(pixels)136個像素才能算 ^之丰點’在採用對角型6_TapFIRFiker架構取代水
广P mFiHer後’藉由資料之省略與管線 (pipeline )之方式,只需6伽 個像素,共6點便可將此半循環傳入1 時間(―叫然:==減低了延遲 地會有信號雜訊比下降之問題產+木構不可避免 故, 之所需。 【發明内容】 一般習用者係無法符 合使用者於實際使用時 利用—可調式分數剞 未發明之主要目的係在於 7 1344307 . 移動估測演算法,能在要求古< ,算,以保證畫面之品質二在二時使用精密之運 較簡單但仍能產生可接受=耗時,使用 ,獲得具有彈性之硬體電路裝】? >,預測之分數型移動估測演算法,乙效I二= * 之使用率及運笪缽門·、,、本 文地知同硬體 *皇且㈣構^ ·曰’ 4到即時影像麼縮編碼,使 …、有.構間早、容易實現及高畫質等優點。 Φ 之目的,本發明係、—種多媒體編碼系統 周式》數型移動估測法,先取-原始碼進行Η 264 ,碼之_,將模擬結果分為三階晝質層級(Qu㈣ bilit}^),進行該可調式分數型移動估測演算法之 預,1i及估算,再執行一區塊形狀趨勢預測之分數型移 動估測演算法’以整數移動向量(⑹啊
Ct(KS’ IMV)為中心,藉搜尋範圍(Search Range) 之刀數像素(Fracti〇nai pixe〖s ),採完全搜尋(fuh _ Se:h)之方式’對25個分數像素進行移動估測,以 . 估昇硬體設計所需之面積與運算平行度,並根據其信 號雜訊比下降(SNR Drop )程度進行取捨。 【實施方式】 。月參閱『第1圖〜第4圖』所示,係分別為本發 明之製作流程示意圖、本發明之畫質層級示意圖、本 發明區塊形狀趨勢預測之分數型移動估測結構示意圖 及本發明之模式處理流程控制器架構示意圖。如圖所 1344307 示.本發明係一種夕媒體編碼系統之可調式分數型 動估測法,其至少包括下列步驟: (A )進行可調式分數型移動估測( Fractional Motion Estimation)演算法工工:取一原始 碼進行H,264編碼之模擬,由模擬數據可知在一個 巨集區塊(Macrob丨ock )經由分數型移動估測運算完 後之最佳組合結果,約有80%之機率係由16χΐ6、 16x8、8x16及8x8四種模式所構成,而對於8χ4、4χ8 及4x4三種模式則佔有另外之2〇%;而在該ΐ6χι6、 16x8、8x16及8x8四種模式尹,又以16χ16模式佔有 最高之比例。因此可根據以上之模擬結果,將原本之 七種模式,分為三階畫質層級(QuaHty ScalabiHty) 2進行該可調式分數型移動估測演算法之預測及估 算1以因應不同之使用層面所要求之不同特性,而該 貝層級係分為下列三種階層: (a )單一模式2丄,該單一模式2 i係僅處理 由整數型移動估測傳入之丨6χ丨6模式之整數移動向 里因所處理之整數移動向量僅一組,故所需運算時 間最短’但相對畫質也較差; 去(b )精簡模式2 2 :該精簡模式2 2係處理由 整數型移動估測傳入之l6xl6、l6x8、8xU及8χ8四 種模式,總共九組之整數移動向量,因所需運算時間 幸父單一模式長,故相對之畫質也較單一模式好;以及 9 1344307 (c)完整模式23:該完整模式23之運算量 最大,係將該整數型移動估測傳入之所有模式,包括 16x16、16x8、8x16、8x8、8x4、4x8 及 4x4 等模式, 共四十一組整數移動向量進行運算。 在劃分為上述三種模式後,依序進行該可調式分 數型移動估測演算法之處理,其先後順序為 Model6xl6_0 、 Model6x8_0 、 Model6x8 1 、
Mode8xl6_0 ' Mode8xl6_l ' Mode8x8_0 ' Mode8x8 1 > Mode8x8_2、Mode8x8_3、Mode8x4—0、Mode8x4 1、 Mode8x4_2、Mode8x4_3、Mode8x4—4、Mode8x4 5、 Mode8x4—6、Mode8x4_7、Mode4x8_0、Mode4x8 1、 Mode4x8_2、Mode4x8_3、Mode4x8_4、Mode4x8 5、 Mode4x8_6、Mode4x8_7、Mode4x4_0、Mode4x4 i、
Mode4x4_2 ' Mode4x4_3 ' Mode4x4_4 ' Mode4x4 5、
Mode4x4_6、Mode4x4一7、Mode4x4_8、Mode4x4 9、 Mode4x4_A、Mode4x4_B、Mode4x4—C、Mode4x4 d、
Mode4x4—E及Mode4x4一F。經由該可調式分數型移動 估測演算法處理後之數據發現’在該完整模式2 3及 精簡模式2 2中,信號雜訊比下降(SNR Drop )之量 均小於0.1分貝(dB )。因此便可在需要較高畫質時’ 並付合即時處理(Real-time Processing)之要求下, 選擇泫完整模式2 3作較高之運作頻率;而在畫面較 小’ h號雜比下降較不易發現時,可選用.該單—模 10 式2 1或精簡模式2 2,只作運算較少之組別,藉由 運算量之減少,使運算時間相對較短,且可在符合即 日丁處理之要求下,使用較低之工作頻率與供應電壓, 而達到低功耗之特點; (B )執行區塊形狀趨勢預測之分數型移動估測 (Block Size Trend Prediction Fractional Motion = nmi〇n,BSTP_FME)演算法i 2 :之後係再配 a以硬體没計為考量之區塊形狀趨勢預測之分數型 移動估測模組。在進行該區塊形狀趨勢預測之分數型 移動估測演算法時,係以一整數移動向量為中心藉 ^種不同大小及形狀之搜尋範圍(SearchRange),^ 算硬體設計所需之面積與運算平行度,並根據其信號 雜訊比下降程度進行取捨,#中,該搜尋範圍係為±2 分數像素(Fractional pixds),並採完全搜尋(Fui| Search)《彳式’ # 25彳@分數像素進行移動估測。 當該區塊形狀趨勢預測之分數型移動估測演算法 於實際運用時…模式處理流程控制$ (Μ_ _ Controller·) 3 1係先接收該整數移動向量並決定其處 理流程之排序方式’然後分別將該排序後之整數移動 向量傳至—移動向量成本運算器(Motion V⑽。r c〇st
Calculator ) 3 2及一雙向旋轉式内插運算單元 (Dual-directional Rotation Interpolation Unit) 33 , 由s亥移動向量成本運q 9 I & e ^ 个建异态J 2异出其相對應於25個 1344307 刀數像素之移動向量成本(MV Cost),再由該雙向旋 轉式内插運算單元3 3算出經過内插法運算後之資 料,之後將内插法運算後之資料送入一絕對轉換差值 和運算裔(SATD Calculator) 3 4,算出相對應於25
個分數像素之絕對轉換差值和(Sum of Absolute TfanSf〇med Differences,SATD) ’ 最後將相對應於 μ 個分數像素之移動向量成本及絕對轉換差值和送入一 成本選擇器(Cost Selector) 3 5進行成本之累加與選 擇’即可得出該巨集區塊之最佳組合。如是,本發明 在以硬=實作時,不但能達到硬體設計上面積與運算 速度之取佳權衡,更能輕易搭配所提出之畫質層級之 特性,而增加其應用上之廣泛性。
钱乐刊用該可調式分數型移動估測演算 且有可=區塊形狀趨勢預測之分數型移動估測演算法 :處理a::可根據性能需求貼切地調整硬體資 外增二=之選擇,而不需額 定,*有_ = = : =雜之設 除此之外,不論在任何一種 ^質等優點, 區塊形狀趙勢預測之二=下進行運算’因為該 體設計所提出之演算法,:、移動估測演算法係針對硬 使用率進行運算,進而能η能以接近ι〇〇%之硬體 高效能之目標。月匕_向使用彈性、低成本及 1344307 請參閱『第5圖〜第8圖』所示,係分別為本發 明之移動向量成本運算器架構示意圖、本發明之候選 點產生器排程示意圖、本發明之移動向量產生 示意圖及第7圖中A之細部示膏圖‘阁私 動向量成本運算器32係包含有一組為有限狀態機 (Finite State Machine)之候選點產生器((:副她
Generator) 3 2 1、及第一〜第三移動向量產生 器(Motion Vector Cost Generator) 3 2 2a、3 22b、 3 2 2 c。該候選點產生器3 2 i係以目前所處理之整 數移動向量為中心,在其周圍產生總共25個候選點 (Candidate point),以符合演算法上±2之搜尋範圍。 又為了避免將資料寫入該成本選擇器3 5時會產生碰 撞之狀況,因此產生移動向量成本之時間必須比產生 絕對轉換差值和之時間早,故一次產生一第一候選點 3 2 1 la、一第二候選點3 2丄lb及一第三候選點 3 2 1 1c之三個候選點,並以該互相平行之第一移 動向量產生器3 2 2a、第二移動向量產生器3 2 2b 及第三移動向量產生器3 2 2c各產生相對應之移動 向量成本。另外,因為該移動向量成本之產生順序需 要與該絕對轉換差值和產生之順序相同,因此在該候 選點產生器3 2 1之流程排序中,會先在狀態ι、2產 生候選點中Y座標為〇之點,即(-2, 〇)、(-1,〇)、(〇, 0)、(1,0)及(2,0)此五點,再由狀態3、4產生Y 座標為-2之點、由狀態5、6產生Y座標為-1之點、 13 產生U‘產生γ座標為2之點、及由狀態9、10 等待虚里、為1 ί點,然後便回到閒置(IDLE)狀態, 生¥ Ί H一個模式其中,該分數移動向量成本產 ”22需由一移動位元表A進行查表以得到移動 位疋(MVBits)資料。 - 言奢參閱『第9圖〜第16圖』所示,係分別為本 P月之雙向旋轉式内插運算單元架構示意圖、本發明 • Ή區塊為基礎進行運算之示意圖、本發明之内插 有效貝料4選器不意圖、本發明之各像素儲存裝置分 配示意圖、本發明之1 2 3, FIR Filter示意圖、本發明 之半點像素儲存裝置架構示意圖、本發明之整數點像 $儲存裝置架構不意圖及本發明之内插控制器流程示 忍圖。如圖所示:一雙向旋轉式内插運算單元3 3主 要係以一内插控制器(Interp〇丨ati〇n c〇ntr〇Uer) 3 3 1 算出位於一超帶寬(Super Wide Band, SWB ) 4 1 • 中之位址貧料,並對該超帶寬4 1發出訊號要求像素 - 資料,此外’亦處理該超帶寬4 1所傳入之資料。為 了避免在對或超帶寬4 1進行存取而在同一個記憶體 中存取不同之位址時,發生存取之資料碰撞之情況進 而減丨笑存取之速度’而本發明之演算法又係以8χ4區 塊為基礎之運算(如第1 〇圖所示),故對每一列處理 2 一次含有6-tap FIR Filter^ 3 2a〜3 3 2i之内插法 3 運算時(如第1 3圖所示),需要在該列之最左邊及最 右邊77別再夕取3個像素資料,達到總共14個像素資 料,以此作為模式8χ8所需要之參考資料 (Reference
Data )’右遇到影像邊緣則使用填補(Padding )之方 • 式進行代換。 ' 综合上述對該超帶寬41進行存取時須考慮之事 項’ &超帶寬4 1係、設為7個區塊(Bank ),每個區塊 之見度為4個像素,每次存取5個區塊,總共個像 素,可解決存取資料發生碰撞之情況,且該20個像素 中必定包含所需要之14個像素,故能解決該超帶寬4 1之問題。而在—内插有效資料篩選器(Interp〇lation
Vahd Data Filter) 3 3 1取得由該超帶寬4 1所傳入 之20個像素後,由於有效資料之起始點不會都在超帶 先4 1之區塊最左邊,故會將有效之14個像素濾出 (如第1 1圖所示)。然後再將該些有效之資料送至總 共9個半點像素儲存裝置(Half Pixel storage Devices) 3331 a〜333li及8個整數點像素儲存裝置 (Integer Pixel Storage Devices) 3332 a 〜333 2 h中(如第1 2圖所示)’再配合該内插控制器3 3 4發出控制内插(Interpolation )動作之訊號,以控制 這總共17組儲存裝置3 3 3進行内插之動作(如第1 4〜1 6圖所示)。 該内插控制器3 3 4對内插法運算動作之排程係 由上彳主下處理8 X 4區塊之排程,每一列為—個循澤 ^44307 (Cycle ),其中第--第六暫存器(Register ) 5 a〜 5 f分別對應於整數點像素儲存裝置3 3 3 2及半點 像素儲存裝置3 3 3 1中之第--第六還原單元 一 .(Restore Unit) 6 a 〜6 f »『Data In』表示該循環 ‘中傳入之像素;『Save into register』決定該循環是否 ' 要將輸入之資料存至暫存器中;『Passtooutput』決定 •是否將輸入資料直接送至d〇Ut_i_Vq ;『Rotation Direction』決定資料傳送方向係由第一暫存器5 3送 鲁至第二暫存器5b或第六暫存器5 f ; 『Positive/Negative』用來指明目前輸出之資料座標γ 之屬性,若為正(P0sitive)表示該資料之γ座標為1 或2,若為負(Negative)表示該資料之γ座標為〇、 -1或-2;『Quarter/Integer』用來指明目前輸出之資料 座仏Y之屬性,若為整數(Integer)表示該資料之γ 座標為〇,若為四分之一(Quarter)表示該資料之γ _ 座標為+1或-1 ;『data—iq一valid』用來指明目前輸出之 dout_i_vq為有效資料;『如仏一匕一vaHd』用來指明目前 輸出之dout_h為有效資料;『d〇ut—i—Vq』為該整數點/ ^數像素儲存裝置之座標為0、-1或+1時輸出之資 料,『dout一h』為該整數點/分數像素儲存裝置之座標為 2或+2時輸出之資料;『dQut—bi—丨』為該整數點像素 儲存裝置用來進行雙線過濾(BiUnear Filtej<)運算所 輸出之資料。其中,第一循環〜第三循環僅有將資料 存至暫存器中;第四循環〜第七循環直接將資料以8x4
區塊為單位輸出,完成搜尋範財Y 插;第八鉍!加兩ϋ之内 1之内〜Η —彳盾環完成搜尋範圍中γ座標為 YWA十二循環〜第十五循環完成搜尋範圍中 = 其巾’又包含以平行之方式進 即第五循環〜第八猶環完成搜尋範圍中γ 尋φ =插,錢第九循環〜第十二㈣完成搜 寸知圍中γ座標為+2之内插。
:參閱『第17圖〜第19圖』所示,係分別為 :之絕對轉換差值和運算器架構示意圖、本發明 处里元件木構不思圖及本發明之有效絕對轉換差值 和產生時序示意圖。如圖所示:絕對轉換差值和運算 ^ 3 4-^^^ (Processing Elements,
)3 4 1,每i〇個負責處理一個4χ4區塊之絕對轉 ,差值和(SATD),故能符合以8χ4區塊為基礎之運 异,其中以pe 一0開頭之處理元件係處理8χ4區塊左半 Ϊ 4X4之絕對轉換差值和,以PCJ開頭之處理元件則 外理8x4區塊右半邊4χ4之絕對轉換差值和,而其中 pe_〇 Jq或pe—1 —lq為開頭之處理元件係處理由該雙 向旋轉式内插運算單元:^中傳入之^〜資 料,即位置為整數及正負四分之一之像素;〇—h 或Pe—l_h為開頭之處理元件係處理由該雙向旋轉式 内插運算單元3 3令傳入之”d〇lu—i_h,,資料,即位置為 正負二分之一之像素;而每個處理元件3 4丄中所標 17 1344307 ,q,ι pq’ph分別表示為搜尋範圍中χ座標為 % V二ΐ2,候選點;又每一個處理元件於每4個 、曰有一筆有效絕對轉換差值和3 4 2出現,因 月t*、γ座‘之嘴序及+ 1得到該_區塊 _個候選點之絕對轉換差值和並送人該成本選擇
『第2〇圖〜第22圖』所示,係分別為 么明之成本選擇器架構示意圊、本發明之成本儲存 裝置不意圖及本發明之比較器架構示意圖。如圖所 不:一成本選擇器3 5係分別依照之 Y座標順序接受來自該移動向量成本運算n 3 2之移 動向量成本及來自該絕對轉換差值和運算器3 4之絕 對轉換差值和’每—次資料的有效接收均會接收5個 候選點之成本,並將之存入相對應之第一〜第五成本 儲存裝置(C〇stSt〇rageDevicesnh〜ph) 3 5 丄卜 3
5 1 e ’其中nh、nq、i、pq及ph分別對應於_2、·卜 、+1及+2之候選點X座標(如第2工圖所示)。由 第三儲存區(st0ragei)3 5 i lc、第—儲存區(敵age 二h) 3 5 1 1 a、第二儲存區(st〇rage 叫)3 5 i i b、 第五儲存區(St〇rage ph) 3 5 1 le及第四儲存區 borage pq) 3 5 1 Id分別對應於候選點γ座標之 〇、-2、-卜+2糾,以儲存各點之成本。冑各模式之 移動向量成本及絕對轉換差值和均累加完後,便會開 1344307 始將資料同樣地依照〇、_2、_丨、+2及+ 1之候選點γ 座標順序送入第一〜第五比較器(c〇mparat〇r) 3 5 2 1〜3 5 2 e選出該模式中最佳之候選點,再將之與 目刖最佳組合之結果由該第五比較器3 2 e再一次 進行k擇其中,首先將16x16、16x8及8x16分為一 組,選擇出其令最小之成本,為上層成本(Up — C〇St)。再將巨集區塊(Macroblock)劃分為左上、右 上、左下及右下四個大小為8χ8之區塊,各區塊再從 8x8、8x4、4x8及4x4四種模式中選擇出最佳之情況, 待該左上、右上、左下及右下四個模式依序完成後, 便可將四個部分之成本相加,而得由8χ8、8χ4、4χ8、 4x4四個模式所構成之最佳組合,其中,最小之成本 為下層成本(D_ Layer Cost)。最後再比較該上層 成本與下層成本’若較佳則將其成本取代舊有之^ m得出使此巨集區塊達到最佳分數精確度 嶋iDeeis—之組合’否則繼續進行下一個 吴式之運异,直到該巨集區塊運算結束為止,1中, ==器之流程係尚有-累加計數器7紀錄其比較 =所述’本發明係一種多媒體編碼系統之可調 式刀數型移動估測法,可有效改盖習 利用可調式分數型移動估測演算法,能在要卜二 時使用精密之運算,以保證畫面之品質;又能:二 19 1344307
更符合使用者之所須,確已符合發明專利申請之要 件,菱依法提出專利申請。 可接受畫質之運算 體電路裝置,再結 ί古測演算法,可有 ,以達到即時影像 、更實用、 惟以上所述者,僅為本發明之較佳實施例而已, 當不能以此限定本發明實施之範圍;故,凡依本發明 申請專利範圍及發明說明書内容所作之簡單的等效變 化與修飾,皆應仍屬本發明專利涵蓋之範圍内。 20 1344307 【圖式簡單說明】 第1圖,係本發明之製作流程示意圖。 第2圖,係本發明之晝質層級示意圖。 第3圖’係本發明區塊形狀趨勢預測之分數型移動估 測結構示意圖。 第4圖係發明之模式處理流程控制器架構示意 圖0 第5圖係本發明之移動向量成本運算器架構示音 圖。 心 第6圖’係本發明之候選點產生器排程示意圖。 第7圖’係本發明之移動向量產生器架構示意圖。 第8圖,係第7圖中A之細部示意圖。 第9圖’係本發明之雙向旋轉式内插運算單元架構示 意圖。 〇圖係本發明以8χ4區塊為基礎進行運算之示 意圖。 第1 1圓,係本發明之内插有效資料篩選器示意圖。 第12圖’係本發明之各像素儲存裝置分配示意圖。 第1 3圖’係本發明之6,服、示意圖。 幻4圖,係本發明之半點像棄儲存裝置架構示意 圖0 圖圖係本發明之整數點像素錯存裝置架構示意 16圖係、本發明之内插法控制器流程示意圖。 17圖4本發明之、絕對轉換差值和運算器架構示 第18圖’係本發明之處理元件架構示意圖。 第1 9圖,係本發明之有效絕對轉換差值和產生時序 示意圓。 第2 0圖,係本發明之成本選擇器架構示意圖。 第2 1圖,係本發明之成本儲存裝置示意圖。 第2 2圖,係本發明之比較器架構示意圖。 第2 3圖,係習用之第一整體分數型移動估測架構示 意圖。 第2 4圖,係習用之分數型移動估測内插架構示意 圖.。 第2 5圖,係習用之第二整體分數型移動估測架構示 思圖。 第2 6圖’係習用之内插法運算單元架構示意圖。 第2 7圖’係習用之水平6-Tap FIR Filter架構示咅 圖。 第2 8 A圖,係習用之對角型6-Tap FIR Filter架構示 22 1344307 意圖。 第28B圖,係習用之對角型6-Tap FIR Filter示意 圖。 第2 9圖,係習用之廣播式6-Tap FIR Filter架構示意 圖。 【主要元件符號說明】 (本發明部分) • 步驟1 1、1 2 畫質層級2 單一模式2 1 精簡模式2 2 完整模式2 3 模式處理流程控制器3 1 Φ 移動向量成本運算器3 2 . 候選點產生器3 2 1 . 第—候選點3 2 1 1 a 第二候選點3 2 1 1 b 第三候選點3 2 1 1 c 移動向量產生器322a〜322c 第一移動向量產生器3 2 2a 第二移動向量產生器3 2 2b 23 1344307 第三移動向量產生器3 2 2c 雙向旋轉式内插運算單元3 3 内插有效資料篩選器3 3 1 6-tap FIR Filter3 3 2 a〜3 3 2 i 儲存裝置3 3 3 半點像素儲存裝置3 3 3 1 a〜3 3 3 1 i 整數點像素儲存裝置3 3 3 2 a〜3 3 3 lh 内插控制器3 3 4 絕對轉換差值和運算器3 4 内插控制器3 3 4 絕對轉換差值和運算器3 4 處理元件3 4 1 絕對轉換差值和3 4 2 成本選擇器3 5 第--第五成本儲存裝置3 5 la〜3 5 le 第一〜第五儲存區351 la〜351 le 第--第五比較器3 5 2 a〜3 5 2 e 超帶寬4 1 第--第六暫存器5 a〜5 f 第一〜第六還原單元6 a〜6f 24 1344307 累加計數器7 (習用部分) 步驟 8 1 1、8 1 2 有限脈衝響應8 2 水平内插緩衝區8 1 3 垂直内插緩衝區814 移動向量產生器8 3 成本模式產生器8 4 比較器8 5 25

Claims (1)

1344307 r 199. 12.D9 ' • 年月日修正替換頁 十、申請專利範圍: • 1 · 一種多媒體編碼系統之可調式分數型移動估測法, 至少包括下列步驟: . (A )取一原始碼進行H.264編碼之模擬,將 - 模擬結果分為三階晝質層級 (Quality Scalability ),以進行一可調式分數型移動估測演算 法(Scalable Fractional Motion Estimation)之預測 φ 及估算;以及 (Β )執行一區塊形狀趨勢預測之分數型移動 估測(Block Size Trend Prediction Fractional Motion Estimation,BSTP-FME)演算法,以整數移動向量 (Integer Motion Vectors, IMV )為中心,藉各種不 同大小及形狀之搜尋範圍(Search Range ),估算硬 體設計所需之面積與運算平行度,並根據其信號雜 訊比下降(SNR Drop )程度進行取捨。 2 ·依申請專利範圍第1項所述之多媒體編碼系統之可 調式分數型移動估測法,其中,該畫質層級係因應 不同之使用層面所要求之不同特性,將該分數型移 動估測之運算分為下列三種階層: (a )單一模式,係僅處理一組整數移動向 量,其運算時間最短而畫質較差; (b)精簡模式,係處理多組整數移動向量, 26 且晝質也較該單一模式 運算時間較該單一模式長並 好;以及 C ) 7C整模式,係對所有模式進行運算, 運算量最大者。 3.依申請專利範圍第1項所述之多媒體編碼系統之可 »周^刀數型移動估測法,其♦ ’該搜尋範圍係為土 2 之为數像素(FfaetiGna丨Pixels ),並採完全搜尋㈤1 arch )之方式’對25個分數像素進行移動估測。 4依申π月專利範圍第丄項所述之多媒體編碼系統之 可調式刀數型移動估測法,其中,該區塊形狀趨勢 預測之分數型移動估測演算法係具一分數型移動 估測模組,該模組係包括: 一模式處理流裎控制器(Mode Flow Controller) ’係用以接收整數移動向量並決定其 處理之流程; 〃 一移動向量成本運算器(Mot丨on Vect〇r cost Calculator ) ’係用以接收該模式處理流程控制器處 理後之整數移動向量’並對相對狀分數像素進行 移動姑測;- 一雙向旋轉式内插運算單元(D —丨 —Interp。丨ati〇nUnit),係將該模式處理流程 埤制器虑理拷之螫數移動向量,以内插法算出運算 27 1344307 資料, 一絕對轉換差值和運算器(SATD Calculator),係用以接收該雙向旋轉式内插運算單 • 元之運算資料,並算出相對應於分數像素之絕對轉 .' 換差值和;以及 - 一成本選擇器(Cost Selector),係用以接收該 移動向量成本運算器之移動向量成本、及該絕對轉 鲁 換差值和運异器之絕對轉換差值和作累加與比 較,以得到最佳之硬體處理平行度。 5·依申請專利範圍第4項所述之多媒體編嗎系统之 可:ί分數型移動估測法,其中,該移動向量成本 運算器係含有-候選點產生器(Candidate Point Generator)、及三移動向量產生器(M〇ti〇n Cost Generator) 〇
依申。月專利範圍第5項所述之多媒體編碼系統之 可:周式刀數型移動估測法’其中’該候選點產生器 係為一組有限狀態機(Finite State Machine)。° 7 . 依申請專利範圍第5 可調式分數型移動估 器係由查表獲得移動 項所述之多媒體編碼系統 測法,其中,該移動向量產 位元(MVBits)。 之 生 8 .依申清專利範圍第4 可調式分數沏稃動估 項所述之多媒體編碼+ 測法,其中,該雙向旋轉Ϊ: 28 插運算單元传合古 早70係3有—内插有效資料篩選器 (Interpolation Valid Date d·,、 Uata Filter)、九 6-Tap FIR Filter、九半點相素健存裝置(Haif pixei ^^ Device)八整數點相素儲存裝置([仙抓pixel St〇rage DeWce)及—内插控制器(Interpolation Controller)。 依申明專利範圍第4項所述之多媒體編碼系統之 可調式分數型移動估測法,其中,該絕對轉換差值 和運算器係含有二十組以4x4區塊大小為基礎之 處理元件(Processing Elements,PE)。 〇 .依申請專利範圍第4項所述之多媒體編碼系統之 可調式分數型移動估測法,其中,該成本選擇器係 含有5個成本儲存裝置(cost Storage Device )及5 個比較器(Comparator )。 29
TW096119659A 2007-06-01 2007-06-01 Scalable fractional motion estimation method for multimedia encoding system TW200850006A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW096119659A TW200850006A (en) 2007-06-01 2007-06-01 Scalable fractional motion estimation method for multimedia encoding system
US11/812,243 US8081681B2 (en) 2007-06-01 2007-06-15 Method of scalable fractional motion estimation for multimedia coding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW096119659A TW200850006A (en) 2007-06-01 2007-06-01 Scalable fractional motion estimation method for multimedia encoding system

Publications (2)

Publication Number Publication Date
TW200850006A TW200850006A (en) 2008-12-16
TWI344307B true TWI344307B (zh) 2011-06-21

Family

ID=40088274

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096119659A TW200850006A (en) 2007-06-01 2007-06-01 Scalable fractional motion estimation method for multimedia encoding system

Country Status (2)

Country Link
US (1) US8081681B2 (zh)
TW (1) TW200850006A (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI239474B (en) * 2004-07-28 2005-09-11 Novatek Microelectronics Corp Circuit for counting sum of absolute difference
TWI295540B (en) * 2005-06-15 2008-04-01 Novatek Microelectronics Corp Motion estimation circuit and operating method thereof
US20070217515A1 (en) * 2006-03-15 2007-09-20 Yu-Jen Wang Method for determining a search pattern for motion estimation
KR100763917B1 (ko) * 2006-06-21 2007-10-05 삼성전자주식회사 고속으로 움직임을 추정하는 방법 및 장치
TWI521950B (zh) 2010-07-21 2016-02-11 財團法人工業技術研究院 用於視訊處理之移動估計之方法及裝置
CN104079939B (zh) * 2010-08-10 2017-12-15 财团法人工业技术研究院 用于视频处理的移动估计的方法及装置
CN102377998B (zh) * 2010-08-10 2014-08-20 财团法人工业技术研究院 用于视频处理的移动估计的方法及装置
KR20130082304A (ko) * 2012-01-11 2013-07-19 한국전자통신연구원 고해상도용 상세단위 움직임 추정 장치
KR102133012B1 (ko) * 2014-04-07 2020-07-10 삼성전자주식회사 미디어 스트리밍 방법 및 그 전자 장치
EP3183687B1 (en) 2014-08-21 2020-07-08 IdentiFlight International, LLC Avian detection system and method
US9521830B2 (en) 2014-08-21 2016-12-20 Identiflight, Llc Bird or bat detection and identification for wind turbine risk mitigation
CN109756739B (zh) * 2017-11-07 2022-09-02 华为技术有限公司 图像预测方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
US20070217515A1 (en) * 2006-03-15 2007-09-20 Yu-Jen Wang Method for determining a search pattern for motion estimation

Also Published As

Publication number Publication date
US20080298692A1 (en) 2008-12-04
US8081681B2 (en) 2011-12-20
TW200850006A (en) 2008-12-16

Similar Documents

Publication Publication Date Title
TWI344307B (zh)
Chen et al. Fast algorithm and architecture design of low-power integer motion estimation for H. 264/AVC
Yin et al. A hardware-efficient multi-resolution block matching algorithm and its VLSI architecture for high definition MPEG-like video encoders
JP6903095B2 (ja) ビデオコンテンツ符号化における複数参照ラインのイントラ予測に応用する適応フィルタリング方法、それを用いたビデオ符号化デバイスおよびビデオ復号化デバイス
Chi et al. A QHD-capable parallel H. 264 decoder
WO2013087003A1 (zh) 一种基于非局部性的超分辨率重建方法和设备
CN101917582B (zh) 手持设备同时实现屏幕旋转和去交错功能的方法
Sze et al. A 0.7-v 1.8-mw H. 264/AVC 720p video decoder
CN105323586B (zh) 一种用于多核并行视频编码和解码的共享内存接口
Catthoor et al. System-level transformations for low power data transfer and storage
WO2012142934A1 (zh) 使用空间缩放预测的视频编解码方法
CN1589028B (zh) 基于像素流水的帧内预测装置及预测方法
JP2010119084A (ja) 高速動き探索装置及びその方法
WO2023000695A1 (zh) 视频编码参考块的压缩方法、编码方法和装置
JP5241743B2 (ja) デュアルステージイントラプレディクションビデオエンコーディングシステム及び方法
US20100158105A1 (en) Post-processing encoding system and method
JP3898031B2 (ja) 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体
Seidel et al. Coding-and energy-efficient FME hardware design
Zheng et al. An rram-based neural radiance field processor
CN100576918C (zh) 一种数字音视频编解码技术标准帧间预测像素生成装置
WO2021056215A1 (zh) 运动估计方法、系统和存储介质
Woo et al. A cache-aware motion estimation organization for a hardware-based H. 264 encoder
Ding et al. Parallel architecture of motion estimation for video format conversion with center-biased diamond search
Seo et al. Customizing wide-SIMD architectures for H. 264
US20240054664A1 (en) Video Reconstruction from Videos with Ultra-low Frame-per-second

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees