TWI404422B - 階層式動作估計的方法與系統 - Google Patents
階層式動作估計的方法與系統 Download PDFInfo
- Publication number
- TWI404422B TWI404422B TW99111578A TW99111578A TWI404422B TW I404422 B TWI404422 B TW I404422B TW 99111578 A TW99111578 A TW 99111578A TW 99111578 A TW99111578 A TW 99111578A TW I404422 B TWI404422 B TW I404422B
- Authority
- TW
- Taiwan
- Prior art keywords
- scan line
- motion vector
- current frame
- frame
- map
- Prior art date
Links
Description
本發明係有關影像處理,特別是關於一種階層式動作估計(hierarchical motion estimation)。
在執行動作估計(motion estimative,ME)以產生動作向量(motion vector,MV)時,需要從外部記憶體裝置擷取參考圖框(例如前一圖框)的像素資料。然而,受限於記憶體裝置的傳輸頻寬,像素資料並無法即時由記憶體裝置(例如雙倍資料速率同步動態隨機存取記憶體(double data rate synchronous dynamic random access memory,DDR SDRAM))直接提取。
為了解決上述之問題,可使用積體電路的內部記憶體(例如快取記憶體),以暫時儲存參考圖框的一部份(例如搜尋範圍)。然而,對於高解析(high-definition,以下簡稱HD)影像(其解析度可為1920x1080)而言,內部記憶體的容量則又產生不足。例如,以HD影像的1/10大小作為搜尋範圍時,需要108(亦即,1080*(1/10))條掃描線的記憶體容量,或相當於1658880(亦即,108*1920*8)位元的容量。
鑑於傳統的動作估計系統或方法並無法有效地適用於較高解析度之影像,因此,亟需提出一種新穎的機制,以適用於解析較高的影像,例如HD影像。
鑑於上述,本發明實施例的目的之一在於提供一種階層式動作估計系統與方法,其可在外部記憶體的限制頻寬下,減少對內部記憶體的需求且不會影響動作估計的精密度。
根據本發明實施例,第一降低取樣單元降低取樣參考圖框,且第二降低取樣單元降低取樣目前圖框,其中降低取樣參考圖框係儲存於粗略線緩衝器。粗略動作向量(MV)估計器根據降低取樣參考圖框與降低取樣目前圖框,以產生粗略動作向量圖。精細線緩衝器擷取且儲存相鄰於中央掃描線的掃描線,其中該中央掃描線對應於降低取樣參考圖框之降低取樣掃描線。精細動作向量估計器根據粗略動作向量(MV)圖、目前圖框與相鄰於中央掃描線之儲存掃描線,以產生精細動作估計(MV)圖。
10‧‧‧第一降低取樣單元
11‧‧‧第二降低取樣單元
12‧‧‧粗略線緩衝器
13‧‧‧粗略動作向量(MV)估計器
14‧‧‧精細線緩衝器
15‧‧‧精細動作向量(MV)估計器
21-25‧‧‧步驟
第一圖之方塊圖顯示本發明實施例之階層式動作估計(ME)系統。
第二圖之流程圖顯示本發明實施例之階層式動作估計方法。
第三圖顯示降低取樣圖框的一部分。
第四圖例示本發明實施例之群組動作估計。
第一圖之方塊圖顯示本發明實施例之階層式動作估計(ME)系統。第二圖之流程圖顯示本發明實施例之階層式動作估計方法。本發明實施例可適用於高
解析影像(例如解析度為1920x1080)的編碼,但並不受限於此。雖然本實施例顯示二階段的階層式動作估計(ME)方法,但是本發明實施例亦可適用於二階段以上的階層式動作估計(ME)。
於本實施例之階層式移動估計(ME)的第一階段,於步驟21,以第一降低取樣單元10對前一圖框(一般為參考圖框)進行降低取樣(或次取樣)。一般而言,使用降低取樣因子N對圖框的高度作降低取樣,且使用降低取樣因子M對圖框的寬度作降低取樣。本實施例則是採用相同降低取樣因子N來取樣圖框的高度與寬度。於一特定實施例中,選擇前一圖框的搜尋範圍作降低取樣。此搜尋範圍為原始圖框的一部分(例如佔原始圖框的1/10)。第三圖顯示使用降低取樣因子4對圖框的一部分作降低取樣。於此例子中,在圖框的搜尋範圍之水平與垂直方向上,每4個像素選取一像素。因此,資料的容量將減少為原始搜尋範圍的1/16(亦即,(1/4)*(1/4),或一般為(1/n)*(1/M))。於同一步驟中,對於即將進行編碼之目前圖框則使用第二降低取樣單元11以進行降低取樣。接下來,於步驟22,將已降低取樣的前一圖框儲存於粗略線緩衝器(coarse line buffer)12。舉例來說,如果高解析圖框的搜尋範圍包含108條掃描線,則可將已降低取樣的前一圖框儲存在具有108*(1/4)*(1/4)容量的粗略線緩衝器12。需注意的是,雖然本實施例所採用之向前(forward)動作估計係使用前一圖框作為參考圖框,但是本實施例亦可應用於向後(backward)動作估計,其係使用後一圖框作為參考圖框。
接下來,在步驟23,粗略(coarse)動作向量(MV)估計器13根據已降低取樣的前一圖框與已降低取樣的目前圖框產生粗略動作向量圖(MV map)。所產生的粗略動作向量圖顯示目前圖框對應於前一圖框(或參考圖框)的動作或位移。其中,對於以區塊為基礎的動作估計而言,在動作向量圖內的每個巨集區塊包含一動
作向量(MV)(包含有動作向量的水平分量,動作向量的垂直分量),以表示目前圖框內的巨集區塊相應於前一圖框內的巨集區塊的動作或位移。可使用傳統的度量,例如(但不限定為)絕對差和(sum of absolute differences,SAD),以產生粗略動作向量。
關於本實施例之階層式動作估計(ME)的第二階段,於步驟24,擷取前一圖框內與已降低取樣掃描線相鄰的掃描線(可由外部記憶體擷取,例如雙倍資料速率同步動態隨機存取記憶體(DDR SDRAM)),並且將擷取出的掃描線儲存在精細線緩衝器(refine line buffer)14。在本實施例中,如果高度之降低取樣因子為N,則擷取已降低取樣掃描線(也稱為中央掃描線)向上與向下各N條掃描線,並連同中央掃描線。換句話說,總共儲存(2*N+1)條掃描線於精細線緩衝器14中。第三圖顯示當N=4時的(2*4+1)條相鄰掃描線。
接下來,於步驟25,精細(refine)動作向量(MV)估計器15根據粗略動作向量(MV)圖、目前圖框與儲存在精細線緩衝器14的掃描線,以產生精細動作向量(MV)圖。藉此,可將粗略動作向量(MV)估計器13所產生的動作向量(MV)之精確度由N像素精細為1像素。可使用傳統的度量,例如(但不限定為)絕對差和(SAD),以產生精細動作向量(MV)。
鑑於目前圖框中,相鄰巨集區塊之動作向量(MV)的垂直分量通常是相異的,使得對應於不同垂直分量之各組相鄰掃描線必須重新載入至精細線緩衝器14,因而造成外部記憶體裝置頻寬的負擔。因此,本實施例對於相鄰巨集區塊並非重新載入各組相鄰掃描線,而是採用群組(group)動作估計方式,使得目前圖框中,對應至精細線緩衝器14之同一中央掃描線(亦即,對應至前一圖框之相同垂直位置)的一群巨集區塊得以同時處理。換句話說,群組內每一巨集區塊之決定係相關於
巨集區塊之垂直MV分量。第四圖例示群組的動作估計。如第四圖所示,目前圖框的三個巨集區塊相關於前一圖框的相同垂直分量(如個別箭號所指),因此將這三個巨集區塊歸於同一群組,根據精細線緩衝器14之同一掃描線組,以同時進行動作估計。當同一群組的所有巨集區塊皆已處理完成,則擷取另一掃描線組並儲存於精細線緩衝器14。於一特定實施例中,僅目前圖框的搜尋範圍(如第四圖所示之搜尋範圍)內之巨集區塊才進行處理,因此得以加速動作的估計。值得注意的是,搜尋範圍的中央位置係由中央掃描線所決定。換句話說,不同的中央掃描線將對應至不同搜尋範圍的中央位置。
根據上述之實施例,線緩衝器(12與14)的容量將減少為SR*(1/N)*(1/M)+(2*N+1),其中SR為搜尋範圍,N為高度的降低取樣因子,M為寬度的降低取樣因子。上述之實施例可使用硬體、軟體或其組合來實施。再者,實施例也可使用管線(pipelining)來實施。例如,第n個圖框之階層式動作估計的第二階段可以和第(n+1)個圖框之階層式動作估計的第一階段同時進行。
以上所述僅為本發明之較佳實施例而已,並非用以限定本發明之申請專利範圍;凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾,均應包含在下述之申請專利範圍內。
10‧‧‧第一降低取樣單元
11‧‧‧第二降低取樣單元
12‧‧‧粗略線緩衝器
13‧‧‧粗略動作向量(MV)估計器
14‧‧‧精細線緩衝器
15‧‧‧精細動作向量(MV)估計器
Claims (14)
- 一種階層式動作估計的方法,包含:降低取樣一參考圖框與一目前圖框;儲存該降低取樣參考圖框;根據該降低取樣參考圖框與該降低取樣目前圖框,以產生一粗略動作向量圖(MV map);擷取且儲存相鄰於一中央掃描線的掃描線,該中央掃描線對應於該降低取樣參考圖框之一降低取樣掃描線;根據該粗略動作向量(MV)圖、該目前圖框與相鄰於該中央掃描線之該儲存掃描線,以產生一精細動作向量(MV)圖;及第n個目前圖框的精細動作向量(MV)圖產生步驟係和第(n+1)個目前圖框的粗略動作向量(MV)圖產生步驟同時執行。
- 如申請專利範圍第1項所述階層式動作估計的方法,其中該參考圖框與該目前圖框之一搜尋範圍受到降低取樣。
- 如申請專利範圍第1項所述階層式動作估計的方法,其中該參考圖框為領先該目前圖框的前一圖框。
- 如申請專利範圍第1項所述階層式動作估計的方法,使用一降低取樣因子N對該參考/目前圖框的高度作降低取樣,使用一降低取樣因子M對該參考/目前圖框的寬度作降低取樣,藉此,於垂直方向上每N個像素選取一像素,於水平方向上每M個像素選取一像素,因此,該參考圖框的大小減少為(1/N)*(1/M)。
- 如申請專利範圍第4所述階層式動作估計的方法,其中相鄰於該中 央掃描線的儲存掃描線包含:位於該中央掃描線之上的N條掃描線;及位於該中央掃描線之下的N條掃描線;藉此,共儲存(2*N+1)條掃描線。
- 如申請專利範圍第1項所述階層式動作估計的方法,於產生該精細動作向量(MV)圖的步驟中,目前圖框中,根據該粗略動作向量(MV)圖以同時處理對應至該中央掃描線的巨集區塊。
- 如申請專利範圍第6項所述階層式動作估計的方法,其中該目前圖框中,處理位於一預設搜尋範圍內的巨集區塊。
- 一種階層式動作估計的系統,包含:一第一降低取樣單元,用以降低取樣一參考圖框;一第二降低取樣單元,用以降低取樣一目前圖框;一粗略線緩衝器,用於儲存該降低取樣參考圖框;一粗略動作向量(MV)估計器,根據該降低取樣參考圖框與該降低取樣目前圖框以產生一粗略動作向量圖;一精細線緩衝器,擷取且儲存相鄰於一中央掃描線的掃描線,該中央掃描線對應於該降低取樣參考圖框之一降低取樣掃描線;一精細動作向量估計器,根據該粗略動作向量(MV)圖、該目前圖框與相鄰於該中央掃描線之該儲存掃描線,以產生一精細動作估計(MV)圖;及該精細動作向量估計器所產生之第n個目前圖框的精細動作向量(MV)圖和該粗略動作向量估計器所產生之第(n+1)個目前圖框的粗略動作向量(MV)圖兩者係同時執行。
- 如申請專利範圍第8項所述階層式動作估計的系統,其中該參考圖框之一搜尋範圍受到該第一降低取樣單元之降低取樣,且該目前圖框之一搜尋範圍受到該第二降低取樣單元之降低取樣。
- 如申請專利範圍第8項所述階層式動作估計的系統,其中該參考圖框為領先該目前圖框的前一圖框。
- 如申請專利範圍第8項所述階層式動作估計的系統,使用一降低取樣因子N對該參考/目前圖框的高度作降低取樣,使用一降低取樣因子M對該參考/目前圖框的寬度作降低取樣,藉此,於垂直方向上每N個像素選取一像素,於水平方向上每M個像素選取一像素,因此,該參考圖框的大小減少為(1/N)*(1/M)。
- 如申請專利範圍第11項所述階層式動作估計的系統,其中相鄰於該中央掃描線的儲存掃描線包含:位於該中央掃描線之上的N條掃描線;及位於該中央掃描線之下的N條掃描線;藉此,共儲存(2*N+1)條掃描線。
- 如申請專利範圍第8項所述階層式動作估計的系統,其中該精細動作向量估計器於目前圖框中,根據該粗略動作向量(MV)圖以同時處理對應至該中央掃描線的巨集區塊。
- 如申請專利範圍第13項所述階層式動作估計的系統,其中該精細動作向量估計器於目前圖框中,處理位於一預設搜尋範圍內的巨集區塊。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW99111578A TWI404422B (zh) | 2010-04-14 | 2010-04-14 | 階層式動作估計的方法與系統 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW99111578A TWI404422B (zh) | 2010-04-14 | 2010-04-14 | 階層式動作估計的方法與系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201136317A TW201136317A (en) | 2011-10-16 |
TWI404422B true TWI404422B (zh) | 2013-08-01 |
Family
ID=46752170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW99111578A TWI404422B (zh) | 2010-04-14 | 2010-04-14 | 階層式動作估計的方法與系統 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI404422B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104169971B (zh) | 2012-03-15 | 2020-08-25 | 英特尔公司 | 使用非线性缩放和自适应源块大小的分层运动估计 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020031179A1 (en) * | 2000-03-28 | 2002-03-14 | Fabrizio Rovati | Coprocessor circuit architecture, for instance for digital encoding applications |
TW200706000A (en) * | 2005-07-20 | 2007-02-01 | Novatek Microelectronics Corp | Method and apparatus for motion estimation |
US20070110160A1 (en) * | 2005-09-22 | 2007-05-17 | Kai Wang | Multi-dimensional neighboring block prediction for video encoding |
TW200727710A (en) * | 2005-12-15 | 2007-07-16 | Analog Devices Inc | Motion estimation using prediction guided decimated search |
-
2010
- 2010-04-14 TW TW99111578A patent/TWI404422B/zh not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020031179A1 (en) * | 2000-03-28 | 2002-03-14 | Fabrizio Rovati | Coprocessor circuit architecture, for instance for digital encoding applications |
TW200706000A (en) * | 2005-07-20 | 2007-02-01 | Novatek Microelectronics Corp | Method and apparatus for motion estimation |
US20070110160A1 (en) * | 2005-09-22 | 2007-05-17 | Kai Wang | Multi-dimensional neighboring block prediction for video encoding |
TW200727710A (en) * | 2005-12-15 | 2007-07-16 | Analog Devices Inc | Motion estimation using prediction guided decimated search |
Non-Patent Citations (1)
Title |
---|
Lu Yu, Yong Zhang and QingDong YAO, "HIERARCHICAL MOTION ESTIMATION ALGORITHMS WITH ESPECIALLY LOW HARDWARE COSTS", IEEE Transactions on Consumer Electronics, Vol. 44, No. 1, PP. 125-129, FEBRUARY 1998 * |
Also Published As
Publication number | Publication date |
---|---|
TW201136317A (en) | 2011-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3131447C (en) | Encoding and decoding method and device, encoder side apparatus and decoder side apparatus | |
JP2000041258A (ja) | 低解像度ビデオ・デコーダで画質を改善するための方法及び装置 | |
JP2000041242A (ja) | ビデオ画像の異なる部分を異なる解像度で復号する方法及び装置 | |
JPH11243543A (ja) | 低解像度ビデオ・デコーダにおいて、予測誤差をもたらすシーン内容を検出し、検出された情報を使用するための方法及び装置 | |
US8615036B2 (en) | Generating interpolated frame of video signal with enhancement filter | |
US8243804B2 (en) | Hierarchical motion estimation for images with varying horizontal and/or vertical dimensions | |
JP2011097572A (ja) | 動画像符号化装置 | |
US8199824B2 (en) | Spatial resolution conversion of image signal based on motion compensation | |
JP5216984B2 (ja) | 動き情報取得装置及び画像処理装置 | |
US8325815B2 (en) | Method and system of hierarchical motion estimation | |
CN111147849B (zh) | 后处理装置和后处理方法 | |
US6243140B1 (en) | Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion | |
JP5533309B2 (ja) | 動きベクトル検出回路、動画像符号化装置及び動きベクトル検出方法 | |
TWI404422B (zh) | 階層式動作估計的方法與系統 | |
US8379146B2 (en) | Deinterlacing method and apparatus for digital motion picture | |
JP2007228093A (ja) | 動き検出装置及び動き検出方法 | |
US8305500B2 (en) | Method of block-based motion estimation | |
CN102238380B (zh) | 分层运动估计的方法与系统 | |
WO2012165428A1 (ja) | 映像符号化装置 | |
JP4235209B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
TWI590663B (zh) | 影像處理裝置及其影像處理方法 | |
US10015513B2 (en) | Image processing apparatus and image processing method thereof | |
JP5299319B2 (ja) | 動きベクトル検出装置 | |
JP2009294273A (ja) | 超解像表示装置 | |
JP4486487B2 (ja) | スミア補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |