TW201403489A - 移動補償影像處理裝置與影像處理方法 - Google Patents

移動補償影像處理裝置與影像處理方法 Download PDF

Info

Publication number
TW201403489A
TW201403489A TW101123923A TW101123923A TW201403489A TW 201403489 A TW201403489 A TW 201403489A TW 101123923 A TW101123923 A TW 101123923A TW 101123923 A TW101123923 A TW 101123923A TW 201403489 A TW201403489 A TW 201403489A
Authority
TW
Taiwan
Prior art keywords
image
motion vector
motion compensation
image block
module
Prior art date
Application number
TW101123923A
Other languages
English (en)
Other versions
TWI601075B (zh
Inventor
Wei-Hsiang Hong
Yu-Hsiang Tseng
Tai-Husn Hu
Chia-Chiang Ho
Original Assignee
Mstar Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mstar Semiconductor Inc filed Critical Mstar Semiconductor Inc
Priority to TW101123923A priority Critical patent/TWI601075B/zh
Priority to US13/789,928 priority patent/US20140010303A1/en
Publication of TW201403489A publication Critical patent/TW201403489A/zh
Application granted granted Critical
Publication of TWI601075B publication Critical patent/TWI601075B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Abstract

移動補償影像處理裝置包含外部記憶體、快取記憶體、移動補償模組、判斷模組及擷取模組。外部記憶體係用以儲存與一影像區塊相關之參考畫面。移動補償模組係用以依序針對一前影像區塊及該影像區塊進行移動補償。於該移動補償模組對該前影像區塊進行移動補償程序時,判斷模組判斷該影像區塊相對於參考畫面之移動向量。該移動補償模組對該影像區塊進行移動補償之前,該擷取模組將參考畫面中對應於該移動向量之一參考區域自外部記憶體擷取至快取記憶體。

Description

移動補償影像處理裝置與影像處理方法
本案與影像處理技術相關,並且尤其與管理/使用影像處理系統中之記憶體的技術相關。
移動補償(motion compensation)是一種被廣泛應用在動態影像壓縮領域的機制。以動畫專家組織(moving picture experts group,MPEG)規範所採用的區塊式移動補償為例,待編碼的畫面被分割為多個大小為16畫素16畫素的區塊;針對各個區塊,編碼器會從參考畫面中找出一個最相似的參考區域,並判斷一區塊及其相對應之參考區域間的移動向量。除了移動向量外,編碼器還會判斷一區塊及其相對應之參考區域間的影像內容差異,稱為冗餘量(residual)。一區塊扣除移動向量的因素後,與其參考區域愈相似,冗餘量愈小。在編碼結果中,每個區塊便是以其移動向量和冗餘量表示。
圖一(A)係用以表示現行編碼器在進行移動補償時的工作時序範例。編碼器首先在時間區段T1內判定待編碼畫面中之區塊A最相似的參考區域。由於用以和待編碼畫面比對的參考畫面通常是儲存在編碼器的外部記憶體中,假設在時間區段T1內編碼器判定與待編碼畫面中之區塊A最相似的參考區域係分布於參考畫面中之區塊R1和區塊R2。在產生對應於區塊A的冗餘量時,編碼器必須自外部記憶體擷取區塊R1和區塊R2的影像資料。時間區 段T2代表編碼器送出擷取區塊R1之要求後等待外部記憶體回應的時間。時間區段T3代表自外部記憶體將區塊R1傳遞至編碼器的時間。時間區段T4代表編碼器送出擷取區塊R2之要求後等待外部記憶體回應的時間。時間區段T5代表自外部記憶體將區塊R2傳遞至編碼器的時間。時間區段T6則是代表編碼器根據區塊R1和區塊R2產生對應於區塊A之冗餘量的時間。依此類推,編碼器要為待編碼畫面中之各個區塊產生冗餘量時,都必須耗用T1~T6等六段時間。
圖一(B)係用以表示現行解碼器在進行移動補償時的工作時序範例。相似地,用以和待解碼畫面比對的參考畫面通常是儲存在解碼器的外部記憶體中。欲重建前述區塊A時,解碼器首先於時間區段T1’內根據解碼結果中的移動向量來判斷據以產生此移動向量的參考區域係分布於參考畫面中之區塊R1和區塊R2。因此,解碼器必須自其外部記憶體擷取區塊R1和區塊R2的影像資料。時間區段T2’代表解碼器送出擷取區塊R1之要求後等待外部記憶體回應的時間。時間區段T3’代表自外部記憶體將區塊R1傳遞至解碼器的時間。時間區段T4’代表解碼器送出擷取區塊R2之要求後等待外部記憶體回應的時間。時間區段T5’代表自外部記憶體將區塊R2傳遞至解碼器的時間。時間區段T6’則是代表解碼器根據區塊R1、區塊R2以及冗餘量重建區塊A的時間。依此類推,解碼器要重建待解碼畫面中之各個區塊時,都必須耗用T1’~T6’ 等六段時間。
現今影像系統的發展趨勢之一是不斷增加畫面尺寸和解析度,編碼器和解碼器都因此被要求以更高的運算效率。由以上說明可看出,時間區段T1~T6和T1’~T6’的總長度愈長,編碼器和解碼器的運算效率愈差。
為解決上述問題,本案提出一種移動補償影像處理裝置及移動補償影像處理方法,藉由於對一影像區塊施以移動補償程序時同時為下一個影像區塊預先自外部記憶體將所須參考資料擷取至快取記憶體,達到省時的效果。此外,根據本案之影像處理裝置及影像處理方法可採用不重複擷取快取記憶體中已存有之資料的概念,藉此進一步提升處理效率。
根據本案之一具體實施例為一種移動補償影像處理裝置,其中包含外部記憶體、快取記憶體、移動補償模組、判斷模組及擷取模組。外部記憶體係用以儲存與一影像區塊相關之參考畫面。移動補償模組係用以依序針對一前影像區塊及該影像區塊進行移動補償。於該移動補償模組對該前影像區塊進行移動補償時,判斷模組判斷該影像區塊相對於參考畫面之移動向量。該移動補償模組對該影像區塊進行移動補償之前,該擷取模組將參考畫面中對應於該移動向量之一參考區域自外部記憶體擷取至快取記憶體。
根據本案之另一具體實施例為一種配合一外部記憶體及一快取記憶體運作之移動補償影像處理方法。該外部記憶體儲存與一影像區塊相關之一參考畫面。該方法首先執行一移動補償步驟,對一前影像區塊進行移動補償。在該移動補償步驟結束前,該方法開始執行一判斷步驟,判斷該影像區塊相對於該參考畫面之一移動向量。接著,該方法執行一擷取步驟,將該參考畫面中對應於該移動向量之一參考區域自該外部記憶體擷取至該快取記憶體。隨後,該方法執行另一移動補償步驟,對該影像區塊進行移動補償。
根據本案之另一具體實施例為一種移動補償影像處理裝置,其中包含外部記憶體、快取記憶體、移動補償模組、判斷模組及擷取模組。外部記憶體係用以儲存與一影像區塊相關之一參考畫面。移動補償模組係用以針對該影像區塊進行移動補償。判斷模組判斷該影像區塊相對於該參考畫面之一移動向量。擷取模組自該外部記憶體將對應於該移動向量之一參考區域而未存於該快取記憶體之一剩餘區域擷取至該快取記憶體。
根據本案之另一具體實施例為一種配合一外部記憶體及一快取記憶體運作之移動補償影像處理方法。該外部記憶體係用以儲存與一影像區塊相關之一參考畫面。該方法首先執行一判斷步驟,判斷該影像區塊相對於該參考畫面之一移動向量。接著,該方法執行一擷取步驟,自該外部記憶體將對應於該移動向量之一 參考區域而未存於該快取記憶體之一剩餘區域被自該外部記憶體擷取至該快取記憶體。隨後,該方法執行一移動補償步驟,根據儲存於該快取記憶體之該參考區域針對該影像區塊進行移動補償。
關於本案的優點與精神可以藉由以下發明詳述及所附圖式得到進一步的瞭解。
根據本案之一實施例為圖二所示之編碼器200,其中包含外部記憶體21、快取記憶體(cache)22、移動補償模組23、判斷模組24及擷取模組25。於實際應用中,編碼器200可被整合在各種影像處理系統或影像播放設備中,亦可獨立存在。
外部記憶體21係用以儲存與移動補償模組23將處理或正在處理之一影像區塊所相關的參考畫面。更明確地說,該參考畫面是待編碼畫面之各區塊據以產生移動向量及冗餘量的比對基礎。快取記憶體22係用以暫存較少量且移動補償模組23可能在短時間內需要的資料。實務上,外部記憶體21可利用動態隨機存取記憶器(dynamic random access memory,DRAM)來實現,快取記憶體22可利用靜態隨機存取記憶器(static random access memory,SRAM)來實現。相較於外部記憶體21,快取記憶體22的硬體價格可能較高,但存取資料的速度較快。
如圖二所示,由於待編碼畫面的位元流被分別提供至移動補 償模組23和判斷模組24,使得移動補償模組23和判斷模組24可同時針對不同區塊進行影像處理。詳言之,假設移動補償模組23依序針對待編碼畫面中的兩影像區塊B1、B2(未顯示於圖式)進行移動補償編碼程序,分別產生對應於影像區塊B1、B2的冗餘量和移動向量,做為代表影像區塊B1、B2的編碼後資料。在移動補償模組23對影像區塊B1進行移動補償編碼程序時,判斷模組24已可判斷影像區塊B2相對於參考畫面的移動向量。判斷模組24產生影像區塊B2的移動向量後,擷取模組25便根據此移動向量,將參考畫面中對應於該移動向量之一參考區域自外部記憶體21擷取至快取記憶體22,供移動補償模組23對影像區塊B2進行移動補償編碼程序時使用。
圖三係用以表示編碼器200的工作時序。時間區段T1代表移動補償模組23對影像區塊B1進行移動補償編碼程序的時間。時間區段T2代表判斷模組24用於產生影像區塊B2之移動向量的時間。假設判斷模組24產生的移動向量指出對應於影像區塊B2的參考區域係分布於參考畫面中之區塊R1和區塊R2。時間區段T3代表擷取模組25送出擷取區塊R1之要求後等待外部記憶體21回應的時間。時間區段T4代表自外部記憶體21將區塊R1傳遞至快取記憶體22的時間。時間區段T5代表擷取模組25送出擷取區塊R2之要求後等待外部記憶體21回應的時間。時間區段T6代表自外部記憶體21將區塊R2傳遞至快取記憶體22的時間。時間區 段T7和T8分別代表移動補償模組23自快取記憶體22讀取區塊R1和R2的時間。時間區段T9則代表移動補償模組23對影像區塊B2進行移動補償編碼程序的時間。
如圖三所示,此實施例中的時間區段T2、T3和時間區段T1完全重疊,且時間區段T4亦與時間區段T1部分重疊。雖然圖三中的各時間區段長度皆僅為範例,但相較於圖一(A)所示的傳統情況,由於編碼器200提前了開始自外部記憶體21擷取資料的時間,實際上仍能在較短的時間內完成影像區塊編碼程序。需說明的是,時間區段T2的起始時間可以被提前至與時間區段T1的起始時間相同,甚至是早於時間區段T1的起始時間。
實務上,判斷模組24可藉由直接比較影像區塊B2和該參考畫面來決定影像區塊B2的移動向量,亦可以根據影像區塊B2之至少一相鄰區塊及/或至少一相鄰移動向量產生一預測移動向量做為影像區塊B2的移動向量。舉例而言,假如影像區塊B1、B2彼此相鄰,判斷模組24可根據已產生的影像區塊B1之移動向量來推測影像區塊B2的移動向量。相較於直接比較影像區塊和參考畫面,藉由預測來決定移動向量通常較為省時,可進一步提升編碼器200的效率。一般而言,相鄰的影像區塊常具有相近的移動向量。因此,根據相鄰移動向量做為預測基礎在多數情況下可得到不會與最佳值差距太大的結果。須說明的是,判斷模組24參考的對象不限於影像區塊B1的移動向量,預測影像區塊B2的移動向 量亦由相鄰之多個影像區塊的移動向量之權重後平均。此外,判斷模組24亦可根據影像區塊B2的已知性質(例如是否為圖像中的物體邊界)彈性選擇據以預測其移動向量的資料。
承上所述,影像區塊B2的預測移動向量與一最佳移動向量的差距通常不會太大。因此,移動補償模組23可被設計為不考慮所預測的移動向量與最佳移動向量的差距,也就是無論判斷模組24所預測的移動向量為何,移動補償模組23皆根據此預測移動向量進行移動補償編碼程序。易言之,移動補償模組23可採用影像區塊B2與對應於該預測的移動向量之參考區域間的影像差異做為影像區塊B2的冗餘量,並根據該影像差異及該移動向量產生代表影像區塊B2的編碼後資料。
於另一實施例中,在移動補償模組23對影像區塊B2進行移動補償編碼程序之前,判斷模組24可被設計為會進一步判斷影像區塊B2相對於參考畫面的實際移動向量(也就是前述最佳移動向量),並比較預測的移動向量與實際移動向量。若預測移動向量與實際移動向量之差異大於一預設門檻,擷取模組25進一步自外部記憶體21擷取參考畫面中對應於實際移動向量之一實際參考區域,供移動補償模組23於處理影像區塊B2時使用。相對地,若預測移動向量與實際移動向量之差異小於等於該預設門檻,擷取模組25便不需要再次由外部記憶體21擷取資料,且移動補償模組23會直接根據對應於預測移動向量且已擷取至快取記憶體22 的參考區域為影像區塊B2產生編碼後資料。
須說明的是,擷取模組25可控制該實際參考區域直接自外部記憶體21被擷取至移動補償模組23,不一定要經過快取記憶體22。於實際應用中,只要判斷模組24已產生預測移動向量,擷取模組25便可開始將對應於該預測移動向量的參考區域擷取至快取記憶體22,無須等待實際移動向量產生。此外,由於需要重新自外部記憶體21擷取實際參考區域的機率不大,整體而言,即使偶爾須重新擷取上述實際參考區域,編碼器200的編碼效率還是優於先前技術。
如上所述,相鄰的影像區塊常具有相近的移動向量。因此,相鄰的影像區塊很可能會對應於相鄰的參考區域。圖四為一參考畫面和參考區域的對應關係範例。於此範例中,影像區塊B1的參考區域X1分布於參考畫面中之區塊R1、R2、R4、R5,影像區塊B2的參考區域X2則是分布於參考畫面中之區塊R2、R3、R5、R6。就利用一動態隨機存取記憶器來實現外部記憶體21的情況來說,受限於動態隨機存取記憶器的存取特性,為了讓移動補償模組23可以處理影像區塊B1,擷取模組25很可能必須要將區塊R1、R2、R4、R5全部都完整擷取至快取記憶體22,而不能僅擷取參考區域X1。
於一實施例中,在根據判斷模組24產生的移動向量擷取一參考區域之前,擷取模組25首先判斷快取記憶體22中是否已存有 全部或部分之該參考區域。若快取記憶體22中已存有全部之該參考區域,擷取模組25便不再自外部記憶體21擷取任何資料。若快取記憶體22中已存有部分之該參考區域,擷取模組25則是僅自外部記憶體21將參考區域尚未存於快取記憶體22之一剩餘區域擷取至快取記憶體22,不再重複擷取已存於快取記憶體22中的資料。以圖四所繪示的情況為例,為了處理影像區塊B1,快取記憶體22中已存有區塊R1、R2、R4、R5。若判斷模組24產生的移動向量指出影像區塊B2的參考區域X2係分布於參考畫面中之區塊R2、R3、R5、R6,擷取模組25將僅為影像區塊B2自外部記憶體21擷取區塊R3、R6,而不重複擷取區塊R2、R5。這種不重複擷取資料的做法可進一步節省編碼器200的工作時間以及資料傳輸量。
根據本案之另一實施例為圖五(A)所示之解碼器300,其中包含外部記憶體31、快取記憶體32、移動補償模組33、判斷模組34、擷取模組35及冗餘量產生模組36。於實際應用中,解碼器300可被整合在各種影像處理系統或影像播放設備中,亦可獨立存在。外部記憶體31係用以儲存與移動補償模組33將處理或正在處理之一影像區塊相關的參考畫面。更明確地說,該參考畫面是待解碼畫面之各區塊在編碼端據以產生移動向量及冗餘量的比對基礎。
如圖五(A)所示,待解碼畫面的位元流被分別提供至判斷模組 34和冗餘量產生模組36。冗餘量產生模組36係用以分析該位元流,以得到一影像區塊與編碼端相對應採用之一實際參考區域間的影像差異,也就是該影像區塊的冗餘量。假設移動補償模組33依序針對待解碼畫面中的兩影像區塊B1、B2進行移動補償解碼程序,分別重建出影像區塊B1、B2。在移動補償模組33對影像區塊B1進行移動補償解碼程序時,判斷模組34負責判斷影像區塊B2相對於參考畫面的移動向量。在判斷模組34產生影像區塊B2的移動向量後,擷取模組35便根據此移動向量,將參考畫面中對應於該移動向量之一參考區域自外部記憶體31擷取至快取記憶體32,供移動補償模組33對影像區塊B2進行移動補償解碼程序時使用。移動補償模組33可根據該參考區域及冗餘量產生模組36得出的影像差異重建影像區塊B2。
相似地,判斷模組34可根據影像區塊B2之至少一相鄰區塊及/或至少一相鄰移動向量產生一預測移動向量做為影像區塊B2的移動向量。移動補償模組33可被設計為不考慮預測移動向量與實際移動向量的差距,也就是無論判斷模組34所產生的預測移動向量為何,移動補償模組33皆根據此預測移動向量進行移動補償解碼程序。相較於圖一(B)所示的傳統情況,由於解碼器300提前了開始自外部記憶體31擷取資料的時間,因此能在較短的時間內完成影像區塊解碼程序。
圖五(B)係繪示解碼器300的另一實施例。在此實施例中,圖 五(A)中的冗餘量產生模組36為一分析模組37所取代。分析模組37係用以分析該位元流,以得到一影像區塊相對於編碼端採用之實際參考區域間的影像差異及實際移動向量。值得注意的是,在分析模組37得到該實際移動向量之前,擷取模組35即已開始將該參考區域擷取至快取記憶體32。在分析模組37得到該實際移動向量後,判斷模組34比較該預測移動向量與該實際移動向量。若預測移動向量與實際移動向量之差異大於一預設門檻,擷取模組35會進一步自外部記憶體31擷取該實際參考區域,供移動補償模組33於處理該影像區塊時使用。相對地,若預測移動向量與實際移動向量的差異小於等於預設門檻,移動補償模組33便直接採用已擷取至快取記憶體32的對應於預測移動向量之參考區域來進行移動補償解碼程序。
於實際應用中,先前所述之不重複擷取的概念亦可應用在圖五(A)或圖五(B)所示之解碼器300中。
根據本案之另一實施例為圖六所示之影像處理裝置400,其中包含外部記憶體41、快取記憶體42、移動補償模組43、判斷模組44及擷取模組45。於實際應用中,影像處理裝置400可被整合在各種影像處理系統或影像播放設備中,亦可獨立存在。外部記憶體41係用以儲存與一影像區塊相關之一參考畫面。移動補償模組43係用以針對該影像區塊進行一移動補償程序(例如一移動補償編碼程序或一移動補償解碼程序)。判斷模組44係用以判斷該影 像區塊相對於該參考畫面之一移動向量。擷取模組45係用以確認該參考畫面中對應於該移動向量之一參考區域,並判斷快取記憶體42中是否已存有全部或部分之該參考區域。
若快取記憶體42中未存有該參考區域之任何部分,擷取模組45會將該參考區域整個自外部記憶體41擷取至快取記憶體42。若快取記憶體42中已存有部分之該參考區域,擷取模組45僅自外部記憶體41將該參考區域尚未存於快取記憶體42之一剩餘區域擷取至快取記憶體42,供移動補償模組43於處理該影像區塊時使用。相對地,若快取記憶體42中已存有該參考區域之所有部分,擷取模組45不會再進行擷取。藉由避免重複擷取資料,影像處理裝置400可有效節省工作時間。
根據本案之另一實施例為一種配合一外部記憶體及一快取記憶體運作的影像處理方法,其流程圖如圖七所示。該外部記憶體係用以儲存與一影像區塊相關之一參考畫面。首先,步驟S71為對一前影像區塊進行一移動補償程序。步驟S72為在步驟S71結束前開始判斷該影像區塊相對於該參考畫面之一移動向量。在步驟S72完成後,步驟S73被執行,將該參考畫面中對應於該移動向量之一參考區域自該外部記憶體擷取至該快取記憶體。步驟S74則是對該影像區塊進行該移動補償程序。先前在介紹相位編碼器200、解碼器300時描述的數種電路操作流程變化,亦可應用至圖七所繪示的影像處理方法中,其細節不再贅述。
根據本案之另一實施例為一種配合一外部記憶體及一快取記憶體運作之影像處理方法,其流程圖如圖八所示。該外部記憶體係用以儲存與一影像區塊相關之一參考畫面。首先,步驟S81為判斷該影像區塊相對於該參考畫面之一移動向量。步驟S82則是確認該參考畫面中對應於該移動向量之一參考區域。步驟S83為判斷該快取記憶體中是否已存有全部或部分之該參考區域。若步驟S83的判斷結果指出該快取記憶體中未存有該參考區域之任何部分,步驟S84將被執行,以自該外部記憶體將該參考區域之全部擷取至該快取記憶體。若步驟S83的判斷結果指出該快取記憶體中已存有部分之該參考區域,則步驟S85將被執行,以僅自該外部記憶體將該參考區域尚未存於該快取記憶體之一剩餘區域擷取至該快取記憶體。若步驟S83的判斷結果指出該快取記憶體中已存有該參考區域之所有部分,步驟S86直接被執行,以根據儲存於該快取記憶體之該參考區域針對該影像區塊進行一移動補償程序。步驟S86中的移動補償程序可為一移動補償編碼程序或一移動補償解碼程序。
如上所述,本案上述實施例提出一種影像處理裝置及影像處理方法,藉由於對一影像區塊施以移動補償程序時同時為下一個影像區塊預先自外部記憶體將所須參考資料擷取至快取記憶體,達到省時的效果。此外,根據本案上述實施例之影像處理裝置及影像處理方法可採用不重複擷取快取記憶體中已存有之資料的概 念,藉此進一步提升處理效率。
以上較佳具體實施例之詳述係希望能更加清楚描述本案之特徵與精神,而並非以上述所揭露的較佳具體實施例來對本案之範疇加以限制。相反地,其目的是希望能涵蓋各種改變及具相等性的安排於本案所欲申請之專利範圍的範疇內。
T1~T9、T1’~T6’‧‧‧時間區段
200‧‧‧編碼器
300‧‧‧解碼器
400‧‧‧影像處理裝置
21、31、41‧‧‧外部記憶體
22、32、42‧‧‧快取記憶體
23、33、43‧‧‧移動補償模組
24、34、44‧‧‧判斷模組
25、35、45‧‧‧擷取模組
36‧‧‧冗餘量產生模組
37‧‧‧分析模組37
R1~R6‧‧‧參考畫面中之區塊
X1、X2‧‧‧參考區域
S71~S74、S81~S86‧‧‧流程步驟
圖一(A)係用以表示現行編碼器在進行移動補償時的工作時序範例;圖一(B)係用以表示現行解碼器在進行移動補償時的工作時序範例。
圖二為根據本案之一實施例中的編碼器方塊圖。
圖三係用以表示根據本案之編碼器的工作時序。
圖四為一參考畫面和參考區域的對應關係範例。
圖五(A)和圖五(B)為根據本案之一實施例中的解碼器方塊圖。
圖六為根據本案之一實施例中的影像處理裝置方塊圖。
圖七和圖八為根據本案之實施例中的影像處理方法流程圖。
200‧‧‧編碼器
21‧‧‧外部記憶體
22‧‧‧快取記憶體
23‧‧‧移動補償模組
24‧‧‧判斷模組
25‧‧‧擷取模組

Claims (18)

  1. 一種移動補償影像處理裝置,包含:一外部記憶體,用以儲存與一影像區塊相關之一參考畫面;一快取記憶體;一移動補償模組,用以依序針對一前影像區塊及該影像區塊進行移動補償;一判斷模組,於該移動補償模組對該前影像區塊進行移動補償時判斷該影像區塊相對於該參考畫面之一移動向量;以及一擷取模組,用以於該移動補償模組對該影像區塊進行移動補償前,將該參考畫面中對應於該移動向量之一參考區域自該外部記憶體擷取至該快取記憶體。
  2. 如申請專利範圍第1項所述之影像處理裝置,該判斷模組係根據相鄰該影像區塊之一相鄰區塊的類型資訊或一相鄰移動向量預測該移動向量。
  3. 如申請專利範圍第2項所述之影像處理裝置,其中該移動補償模組判斷該影像區塊與該參考區域間之一影像差異,並根據該影像差異及該移動向量產生代表該影像區塊之一編碼後資料。
  4. 如申請專利範圍第2項所述之影像處理裝置,更包含:一冗餘量產生模組,用以分析對應於該影像區塊之一編碼後資料以得到該影像區塊與一實際參考區域間之一影像差異;其中該移動補償模組根據該參考區域及該影像差異重建該影 像區塊。
  5. 如申請專利範圍第2項所述之影像處理裝置,其中於該移動補償模組對該影像區塊進行移動補償前,該判斷模組更判斷該影像區塊之一實際移動向量,並比較該移動向量與該實際移動向量;在該實際移動向量產生前,該擷取模組即開始將該參考區域擷取至該快取記憶體;若該移動向量與該實際移動向量之差異大於一預設門檻,該擷取模組自該外部記憶體擷取對應於該實際移動向量之一實際參考區域。
  6. 如申請專利範圍第2項所述之影像處理裝置,進一步包含:一分析模組,用以分析對應於該影像區塊之一編碼後資料以得到該影像區塊相對於一實際參考區域之一影像差異及一實際移動向量;其中在該分析模組得到該實際移動向量前,該擷取模組即開始將該參考區域擷取至該快取記憶體;該判斷模組更比較該預測移動向量與該實際移動向量,當該預測移動向量與該實際移動向量之差異大於一預設門檻,該擷取模組自該外部記憶體擷取該實際參考區域。
  7. 如申請專利範圍第1項所述之影像處理裝置,其中該擷取模組自該外部記憶體將該參考區域未存於該快取記憶體之一剩餘區域擷取至該快取記憶體。
  8. 一種配合一外部記憶體及一快取記憶體運作之移動補償影像處理方法,該外部記憶體儲存與一影像區塊相關之一參考畫面,該影像處理方法包含:(a)對一前影像區塊進行移動補償;(b)在步驟(a)結束前,開始判斷該影像區塊相對於該參考畫 面之一移動向量;(c)將該參考畫面中對應於該移動向量之一參考區域自該外部記憶體擷取至該快取記憶體;以及(d)對該影像區塊進行移動補償。
  9. 如申請專利範圍第8項所述之影像處理方法,步驟(b)包括根據相鄰該影像區塊之一相鄰區塊的類型資訊或一相鄰移動向量預測該移動向量。
  10. 如申請專利範圍第9項所述之影像處理方法,步驟(d)包含:判斷該影像區塊與該參考區域間之一影像差異;以及根據該影像差異及該移動向量產生代表該影像區塊之一編碼後資料。
  11. 如申請專利範圍第9項所述之影像處理方法,在步驟(d)之前更包含:分析對應於該影像區塊之一編碼後資料以得到該影像區塊與一實際參考區域間之一影像差異;其中步驟(d)包含根據該參考區域及該影像差異重建該影像區塊。
  12. 如申請專利範圍第9項所述之影像處理方法,該影像處理方法在步驟(d)之前進一步包含:判斷該影像區塊相對於該參考畫面之一實際移動向量;比較該移動向量與該實際移動向量;以及若該移動向量與該實際移動向量之差異大於一預設門檻,自該外部記憶體擷取對應於該實際移動向量之一實際參考區域;其中在該實際移動向量產生前,步驟(c)已開始執行。
  13. 如申請專利範圍第9項所述之影像處理方法,在步驟(d)之前進一步包含:分析對應於該影像區塊之一編碼後資料以得到該影像區塊相對於一實際參考區域之一影像差異及一實際移動向量;比較該預測移動向量與該實際移動向量以產生一比較結果;以及若該比較結果大於一預設門檻,自該外部記憶體擷取對應於該實際移動向量之一實際參考區域;其中在得到該實際移動向量前,步驟(c)已開始執行。
  14. 如申請專利範圍第8項所述之影像處理方法,步驟(c)包含自該外部記憶體將該參考區域未存於該快取記憶體之一剩餘區域擷取至該快取記憶體。
  15. 一種移動補償影像處理裝置,包含:一外部記憶體,用以儲存與一影像區塊相關之一參考畫面;一快取記憶體;一移動補償模組,用以針對該影像區塊進行移動補償;一判斷模組,判斷該影像區塊相對於該參考畫面之一移動向量;以及一擷取模組,用以自該外部記憶體將對應於該移動向量之一參考區域而未存於該快取記憶體之一剩餘區域擷取至該快取記憶體。
  16. 如申請專利範圍第15項所述之影像處理裝置,該移動補償模組進行移動補償編碼或移動補償解碼。
  17. 一種配合一外部記憶體及一快取記憶體運作之移動補償影像處理方法,該外部記憶體係用以儲存與一影像區塊相關之一參考畫面,該影像處理方法包含:判斷該影像區塊相對於該參考畫面之一移動向量;自該外部記憶體將對應於該移動向量之一參考區域而未存於該快取記憶體之一剩餘區域擷取至該快取記憶體;以及根據儲存於該快取記憶體之該參考區域針對該影像區塊進行移動補償。
  18. 如申請專利範圍第17項所述之影像處理方法,其中移動補償為移動補償編碼或移動補償解碼。
TW101123923A 2012-07-03 2012-07-03 移動補償影像處理裝置與影像處理方法 TWI601075B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101123923A TWI601075B (zh) 2012-07-03 2012-07-03 移動補償影像處理裝置與影像處理方法
US13/789,928 US20140010303A1 (en) 2012-07-03 2013-03-08 Motion compensation image processing method and associated apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101123923A TWI601075B (zh) 2012-07-03 2012-07-03 移動補償影像處理裝置與影像處理方法

Publications (2)

Publication Number Publication Date
TW201403489A true TW201403489A (zh) 2014-01-16
TWI601075B TWI601075B (zh) 2017-10-01

Family

ID=49878507

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101123923A TWI601075B (zh) 2012-07-03 2012-07-03 移動補償影像處理裝置與影像處理方法

Country Status (2)

Country Link
US (1) US20140010303A1 (zh)
TW (1) TWI601075B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9192863B2 (en) * 2013-10-29 2015-11-24 Disney Enterprises, Inc. Selective caching of interactive objects
CN110800301A (zh) * 2018-09-30 2020-02-14 深圳市大疆创新科技有限公司 编码设备的控制方法、装置及存储介质
WO2022110131A1 (zh) * 2020-11-30 2022-06-02 深圳市大疆创新科技有限公司 帧间预测方法、装置、编码器、解码器和存储介质
US11875516B2 (en) * 2020-12-28 2024-01-16 Waymo Llc Systems, apparatus, and methods for retrieving image data of image frames

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2016348C (en) * 1989-05-10 2002-02-05 Kenichi Asano Multiprocessor type time varying image encoding system and image processor
US20020080870A1 (en) * 1999-01-07 2002-06-27 Thomas A. Piazza Method and apparatus for performing motion compensation in a texture mapping engine
US8284844B2 (en) * 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
JP4155118B2 (ja) * 2003-06-13 2008-09-24 カシオ計算機株式会社 静止画合成装置、及び動画像からの静止画合成方法
DE602004002455T2 (de) * 2004-04-30 2007-01-11 Matsushita Electric Industrial Co., Ltd., Kadoma Bewegungsvektorschätzung durch adaptive zeitliche Vorhersage
US20060078162A1 (en) * 2004-10-08 2006-04-13 Dynapel, Systems, Inc. System and method for stabilized single moving camera object tracking
US7965773B1 (en) * 2005-06-30 2011-06-21 Advanced Micro Devices, Inc. Macroblock cache
WO2009034486A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
US8411749B1 (en) * 2008-10-07 2013-04-02 Zenverge, Inc. Optimized motion compensation and motion estimation for video coding
US20110194606A1 (en) * 2010-02-09 2011-08-11 Cheng-Yu Hsieh Memory management method and related memory apparatus
KR20120066305A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 비디오 움직임 예측 및 보상용 캐싱 장치 및 방법

Also Published As

Publication number Publication date
US20140010303A1 (en) 2014-01-09
TWI601075B (zh) 2017-10-01

Similar Documents

Publication Publication Date Title
KR100987365B1 (ko) 비디오 프레임들로부터 키 프레임들의 선택
JP5295045B2 (ja) 組み込み機器において高解像度画像を提供するための方法及び装置
US8619862B2 (en) Method and device for generating an image data stream, method and device for reconstructing a current image from an image data stream, image data stream and storage medium carrying an image data stream
US8239766B2 (en) Multimedia coding techniques for transitional effects
US9380314B2 (en) Pixel retrieval for frame reconstruction
US10742989B2 (en) Variable frame rate encoding method and device based on a still area or a motion area
US10070134B2 (en) Analytics assisted encoding
US20060133512A1 (en) Video decoder and associated methods of operation
TWI601075B (zh) 移動補償影像處理裝置與影像處理方法
CN113874916A (zh) Ai辅助的可编程硬件视频编解码器
US7408989B2 (en) Method of video encoding using windows and system thereof
WO2020185433A1 (en) Selectively identifying data based on motion data from a digital video to provide as input to an image processing model
US9471995B2 (en) Codec engine with inline image processing
JP2008154072A (ja) 動画像符号化装置及び動画像符号化方法
Jubran et al. Sequence-level reference frames in video coding
KR100646577B1 (ko) 비디오 codec에 있어서 특정이미지 저장방법
CN111147954A (zh) 一种缩略图抽取方法及装置
WO2022206212A1 (zh) 视频数据存储方法、装置、电子设备和可读存储介质
US9179156B2 (en) Memory controller for video analytics and encoding
US20230060780A1 (en) Shot-change detection using container level information
CN103581504B (zh) 移动补偿影像处理装置与影像处理方法
JP5247210B2 (ja) 動画像符号化装置及び動画像符号化方法
Lee et al. Memory bandwidth reduction using frame pipeline in video codec chips
JP2018019194A (ja) 動画生成方法、動画生成装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees
MM4A Annulment or lapse of patent due to non-payment of fees