TWI493977B - 影像搜尋模組及其方法 - Google Patents

Description

影像搜尋模組及其方法

本發明是有關於一種影像動態補償(Motion Compensation,MC)技術，特別是有關於一種可改善動態估算(Motion Estimation,ME)機制之影像搜尋模組及其方法。

動態估算機制係廣泛地使用於視訊處理系統(Video Processing System)之中，且應用範圍遍及視訊壓縮(Visual Compressing)、取樣率轉換器(Sample Rate Conversion,SRC)及影像過濾(Image Filtering)等等。而目前，許多視訊壓縮的標準，例如，MPEG-1/2/4或ITU-T H.261/262/263/264中，動態估算的運算方式係採用將畫面切割成複數個區塊(Block)後，進行動態規劃(Dynamic Program)，並比對前後兩張影像的區塊內容資料，運算獲得影像的移動向量(Motion Vector)，以內插出一虛擬的中間影像，完成動態補償，使降低動態畫面間的累贅(Temporal Redundancy)現象。

舉例而言，現行動態估算的搜尋機制中，若以六乘六的區塊作為基礎單位，且假設其左上角位置中的像素(Pixel)為初始像素，即為第一個估算像素。以初始像素為中心點，其上下左右各延伸三個像素的長度作為搜尋範圍，則此第一個估算像素需進行四十九次的搜尋比對，以運算獲得此第一個估算像素的向量預測強度值。又，每個六乘六區塊分別具有三十六個像素，因此，每 個六乘六區塊分別具有三十六個向量預測強度值，且每個向量預測強度值係經由四十九次的搜尋比對而運算獲得。由此可知，以區塊作為動態估算的基礎單位，進行畫面全域性的搜尋，依序比較每個像素的影像資料，將使得動態估算作業需耗費較長的搜尋時間，並產生龐大的運算資料量。

有鑑於上述習知技藝之問題，本發明將提出一種影像搜尋模組及其方法，以在不使影像失真的前提下，達到降低搜尋次數與搜尋時間，並減少運算資料量及運算時間。

根據本發明之一目的，提出一種影像搜尋模組，其包含一儲存模組、一設定模組以及一處理模組。儲存模組儲存第一畫面，其第一畫面具有一第一區塊以及一第一像素。設定模組於一第二畫面中設置複數個第一估算區塊，且各第一估算區塊具有一第一估算像素，並以一第一間距為邊長。並且，設定模組以第二畫面中對應於第一像素之同等位置為起始點，並沿一預定方向依序排列第一估算區塊。處理模組連接設定模組，擷取並比對第二畫面之各第一估算區塊中之影像資料與第一畫面之第一區塊中之影像資料，以依序運算各第一估算區塊相對於第一區塊之一第一預測強度值。

其中，設定模組更包含複數個第二估算區塊，且各第二估算區塊具有一第二估算像素，並以一第二間距為邊長。此些第二估算區塊以具有最小第一預測強度值之 第一估算像素為起始點，並沿預定方向依序排列。處理模組分別擷取並比對各第二估算區塊中之影像資料與第一區塊中之影像資料，以依序運算各第二估算區塊相對於第一區塊之一第二預測強度值。

設定模組更包含複數個第三估算區塊，且第三估算區塊具有一第三估算像素，並以一第三間距為邊長。此些第三估算區塊以具有最小第二預測強度值之第二估算像素為起始點，並沿預定方向依序排列。處理模組分別擷取並比對各第三估算區塊中之影像資料與第一區塊中之影像資料，以依序運算各第三估算區塊相對於第一區塊之一第三預測強度值。

其中，第二間距小於第一間距，且第三間距小於第二間距。

處理模組分別比對第一區塊與各第一估算區塊、各第二估算區塊或各第三估算區塊，並依序運算，以獲得複數個絕對差總和值。

其中，各絕對差總和值分別為第一預測強度值、第二預測強度值或第三預測強度值。

此外，本發明更提出一種影像搜尋方法，適用於一動態影像處理系統之動態估算中，係以一影像搜尋模組進行移動向量的搜尋作業，影像搜尋模組包含一儲存模組、一設定模組以及一處理模組，影像搜尋方法包含下列步驟：藉由儲存模組儲存第一畫面，以設置一第一區塊於第一畫面中；以一第一間距為邊長，形成複數個第一估算區塊；以設定模組設置此些第一估算區塊於一第二畫面中；以對應於第一區塊中之第一像素之同等位置 為起始點，並沿一預定方向依序排列各第一估算區塊；以處理模組擷取並比對各第一估算區塊中之影像資料與第一區塊中之影像資料；以及依序運算各第一估算區塊之一第一估算區塊相對於第一區塊之一第一預測強度值。

其中，本發明影像搜尋方法更可包含：以一第二間距為邊長，形成複數個第二估算區塊；以設定模組設置此些第二估算區塊於第二畫面中；以具有最小第一預測強度值之第一像素為起始點，並沿預定方向依序排列各第二估算區塊；以處理模組擷取並比對各第二估算區塊中之影像資料與第一區塊中之影像資料；以及，依序運算各第二估算區塊之一第二估算區塊相對於第一區塊之一第二預測強度值。

本發明影像搜尋方法更可包含：以一第三間距為邊長，形成複數個第三估算區塊；以設定模組設置此些第三估算區塊於第二畫面中；以具有最小第二預測強度值之第二估算像素為起始點，並沿預定方向依序排列各第三估算區塊；以處理模組擷取並比對各第三估算區塊中之影像資料與第一區塊中之影像資料；以及，依序運算各第三估算區塊之一第三估算區塊相對於第一區塊之一第三預測強度值。

其中，處理模組分別比對第一區塊與各第一估算區塊、各第二估算區塊或各第三估算區塊並依序運算，以獲得複數個絕對差總和值。

其中，各絕對差總和值分別為各第一預測強度值、各第二預測強度值或各第三預測強度值。

承上所述，依本發明之一種影像搜尋模組及其方法，其可具有一或多個下述優點：

(1)此影像搜尋模組及其方法可藉由設置不同大小的估算區塊，以在影像不失真的前提下，縮小運算搜尋次數。

(2)此影像搜尋模組及其方法可藉由逐漸收斂的估算區塊範圍，以達到降低運算資料量的功效。

以下將參照相關圖式，說明依本發明之影像搜尋模組及其方法之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。

請參閱第1圖，其係為本發明之影像搜尋模組之第一實施例之方塊圖。如圖所示，影像搜尋模組1係適用於一動態影像處理系統之動態估算中，其包含儲存模組10、設定模組11及處理模組12。儲存模組10可為嵌入式記憶體、外接式記憶卡或其組合，可用以儲存動態影像處理系統所擷取或接收到的時間t-1畫面2與時間t畫面3。設定模組11連接儲存模組10以及處理模組12，且設定模組11可將時間t-1畫面2切割成複數個區塊，以取得欲搜尋的影像區塊中的影像資料。並且，設定模組11於時間t畫面3中設置複數個估算區塊，藉由估算區塊取得區塊範圍中的影像資料。接著，處理模組12可依據時間t畫面3中的區塊影像資料，相互比對估算區塊所取得的影像資料，以運算獲得時間t-1畫面2與時間t畫面3的移動向量。藉此，估測出兩畫面間的移 動關聯性，以產生一虛擬的內插畫面4。接著，處理模組12可將時間t-1畫面2、內插畫面4以及時間t畫面3依序輸出至一外部的顯示模組13，以使影像的動態行為連續。

請參閱第2圖，其係為本發明之影像搜尋方法之示意圖。如圖所示，將動態影像處理系統所擷取或接收到的時間t-1畫面2與時間t畫面3作為前後時間順序的兩張比對影像畫面，每張影像畫面具有複數個像素，並且以區塊為基礎單位切割劃分各影像畫面。時間t-1畫面2中具有一個A字形圖案5，將A字形圖案5的影像資料可被劃分於一第一區塊20之中。並且，在時間t畫面3中，設置複數個第一估算區塊30。各第一估算區塊30可以是一個邊長為八個像素長的四方形區塊，且假設各第一估算區塊30的左上角位置為第一估算像素302。

接著，在時間t畫面3中，以時間t-1畫面2中A字形圖案5的同等位置為起始點。將第一估算像素302置於起始點上，並沿一預定方向，例如順時鐘方向或逆時間方向，螺旋向外，依序排列各第一估算區塊30。透過第一估算區塊30取得區塊範圍中的影像資料。比較及運算，以估測時間t-1畫面2與時間t畫面3中A字形圖案5的移動關聯性。產生一虛擬的內插畫面4，並置入時間t-1畫面2與時間t畫面3中，使影像的動態行為連續。

請一併參閱第3A圖以及第3B圖，第3A圖係為本發明之影像搜尋方法之第一實施例之第一畫面示意圖。第3B圖係為本發明之影像搜尋方法之第一實施例之第 二畫面示意圖。如圖所示，將動態影像處理系統所擷取或接收到的第一畫面與第二畫面，例如，時間t-1畫面2與時間t畫面3，作為前後時間順序的比對影像畫面，每張影像畫面具有複數個像素，並且以區塊為基礎單位切割劃分各影像畫面。時間t-1畫面2中具有一個X字形圖案6，且X字形圖案6的影像資料可被劃分於一第一區塊20之中。將第一區塊20左上角位置的像素設定為第一像素200，以第一像素200作為動態估算的初始像素。

在時間t畫面3中，設置複數個第一估算區塊30。各第一估算區塊30可以第一間距301為邊長，形成一個8x8個像素長的矩形區塊，且假設各第一估算區塊30的左上角位置為第一估算像素302。在時間t畫面3中，以對應X字形圖案6於時間t-1畫面2中的同等位置為起始點。將第一估算像素302置於起始點的位置上，並以一預定方向，例如順時鐘方向或逆時間方向，螺旋向外，依序排列各第一估算區塊30。

在本實施例中，設置第一估算區塊30的起啟點可為0的位置，且第一估算像素302將以逆時間方向依序置放於1、2、3、4、5、6、7及8的位置上，使各第一估算區塊30依序1、2、3、4、5、6、7及8的位置向外擴張。並且，與時間t-1畫面2中相對應的影像資料(即第一區塊20的影像資料)比較及運算，以獲取第一估算區塊30與第一區塊20之差異值之和(Sum of Absolute Difference,SAD)。換句話說，將第一估算區塊30之每一像素之影像資料與第一區塊20之影像資料分別依序 相減後，取其差值的絕對值，再全部相加獲得總和。且所獲得的差異值之和即為第一估算像素302的第一預測強度值。同樣地，依據第一區塊20之中的影像資料，依序比較位於1、2、3、4、5、6、7及8位置的第一估算區塊30，以取得複數個差異值之和。而具有最小差異值之和的第一估算區塊30，其第一估算像素302將具有最高的第一預測強度值，即為X字形圖案6中的第一像素200的移動向量。

以具有最小差異值之和的第一估算區塊30中的第一估算像素302為起始點，以逆時間方向依序設置複數個第二估算區塊31。本實施例中，各第二估算區塊31可以是一個以邊長為四個像素長的第二間距311所形成的四方形區塊，且假設各第二估算區塊31的左上角位置為第二估算像素312。第二估算像素312係用以與初始像素進行估算比較之用途。

本實施例中，位置1的第一估算區塊30具有最小的差異值之和，因此，以位置1為起始點，依序排列各第二估算像素312於9,10,11,12,13,14,15及16位置上，使各第二估算區塊31依序向外擴張，以分別取得影像資料。依據第一區塊20中的影像資料，分別比較位於9,10,11,12,13,14,15及16位置的第二估算區塊31中的影像資料。運算獲取第二估算區塊31與第一區塊20的差異值之和，找出各第二估算像素312的第二預測強度值。其具有最高第二預測強度值的第二估算像素312即為第一像素200的移動向量。

承上，進一步限縮收搜尋範圍，以具有最小第二預 測強度值的第二估算像素312為起始點，以逆時間方向依序設置複數個第三估算區塊32。各第三估算區塊32可以是一個以邊長為二個像素長的第三間距321所形成的四方形區塊，且假設各第三估算區塊32的左上角位置為第三估算像素322，用以與初始像素進行估算比較。由於位置1的第二估算像素312具有最高第二預測強度值，因此，各第三估算像素322將依序置放於17,18,19,20,21,22,23及24位置上，使各第三估算區塊33依序向外擴張，以分別取得影像資料。依據第一區塊20中的影像資料，分別比較位於17,18,19,20,21,22,23及24位置的第三估算區塊32中的影像資料。運算獲取第三估算區塊32與第一區塊20的差異值之和，找出各第三估算像素322的第三預測強度值。其具有最高第三預測強度值的第三估算像素322即為第一像素200的移動向量。

由於位置21的第三估算像素322具有最高第二預測強度值，因此，以位置21的第三估算像素322為起始點，依序設置數個第四估算區塊33。各第四估算區塊33可以是一個以邊長為一個像素長的第四間距331所形成的四方形區塊，且假設各第四估算區塊33的左上角位置為第四估算像素332，用以與初始像素進行估算比較。則各第四估算區塊33將設置於25,26,27,28,29,30,31及32的位置上，以以分別取得影像資料。同樣地，依據第一區塊20中的影像資料，分別比較各第四估算區塊33中的影像資料。運算獲取第四估算區塊33與第一區塊20的差異值之和，找出各第四估算像素332的第四預測強度值。

本實施例中，位於29位置上的第四估算區塊33具有最小差異值之和，因此，此最小差異值之和即為X字形圖案6中的第一像素200的移動向量。而29位置上的第四估算像素332即為X字形圖案6中的第一像素200移動後的位置。

請參閱第4圖，其係為本發明之影像搜尋方法之第一實施例之流程圖。如圖所示，本發明之影像搜尋方法適用於動態影像處理系統之動態估算中，係以影像搜尋模組進行移動向量的搜尋作業。且影像搜尋模組包含一儲存模組、一設定模組以及一處理模組，其中儲存模組可儲存第一畫面。影像搜尋方法包含下列步驟：

於步驟S41中，設置一第一區塊於第一畫面中；

於步驟S42中，以設定模組設置複數個邊長為一第一間距之第一估算區塊於一第二畫面中。

於步驟S43中，於第二畫面中，以對應於第一區塊中之第一像素之同等位置為起始點，並沿一預定方向依序排列各第一估算區塊。

於步驟S44中，以處理模組擷取並比對各第二畫面之各第一估算區塊中的影像資料與第一畫面之各第一區塊中的影像資料。

於步驟S45中，依序運算各第一估算區塊相對於第一區塊之第一預測強度值。

於步驟S46中，以設定模組設置複數個邊長為一第二間距之第二估算區塊於一第二畫面中。

於步驟S47中，以具有最小第一預測強度值之第一 估算像素為起始點，並沿預定方向依序排列各第二估算區塊。

於步驟S48中，以處理模組擷取並比對各第二估算區塊中之影像資料與第一區塊中之影像資料。

於步驟S49中，依序運算各第二估算區塊相對於第一區塊之第二預測強度值。

本發明之影像搜尋方法的詳細說明以及實施方式已於前面敘述本發明之影像搜尋模組時描述過，在此為了簡略說明更不再敘述。

綜上所述，本發明所提出之影像搜尋模組及其方法，可藉由設置估算區塊作搜尋的基礎估算範圍，以擴大每個像素的搜尋範圍。且以區塊作為估算範圍可減少搜尋次數。另外，由於估算區塊的邊長大小不同，可逐步限縮影像搜尋範圍，使動態估算的運算量以及運算時間可大幅地降低。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

1‧‧‧影像搜尋模組

10‧‧‧儲存模組

11‧‧‧設定模組

12‧‧‧處理模組

13‧‧‧顯示模組

2‧‧‧時間t-1畫面

20‧‧‧第一區塊

200‧‧‧第一像素

3‧‧‧時間t畫面

30‧‧‧第一估算區塊

301‧‧‧第一間距

302‧‧‧第一估算像素

31‧‧‧第二估算區塊

311‧‧‧第二間距

312‧‧‧第二估算像素

32‧‧‧第三估算區塊

321‧‧‧第三間距

322‧‧‧第三估算像素

33‧‧‧第四估算區塊

331‧‧‧第四間距

332‧‧‧第四估算像素

4‧‧‧內插畫面

5‧‧‧A字形圖案

6‧‧‧X字形圖案

S41~S49‧‧‧步驟流程

第1圖 係為本發明之影像搜尋模組之第一實施例之方塊圖；第2圖 係為本發明之影像搜尋方法之示意圖；第3A圖 係為本發明之影像搜尋方法之第一實施例之第一畫面示意圖； 第3B圖 係為本發明之影像搜尋方法之第一實施例之第二畫面示意圖；以及第4圖 係為本發明之影像搜尋方法之第一實施例之流程圖。

2‧‧‧時間t-1畫面

20‧‧‧第一區塊

3‧‧‧時間t畫面

30‧‧‧第一估算區塊

302‧‧‧第一估算像素

4‧‧‧內插畫面

5‧‧‧A字形圖案

Claims (14)

1. 一種影像搜尋模組，適用於一動態影像處理系統之動態估算中，其包含：一儲存模組，係儲存一第一畫面，該第一畫面包含一第一區塊，該第一區塊包含一第一像素；一設定模組，係於一第二畫面中設置複數個第一估算區塊，各該第一估算區塊係包含一第一估算像素，且以一第一間距為邊長，該設定模組以該第二畫面中對應於該第一像素之同等位置為起始點，並沿一預定方向依序排列該些第一估算區塊；以及一處理模組，係連接該設定模組，該處理模組擷取並比對該第二畫面之各該第一估算區塊中之影像資料與該第一畫面之該第一區塊中之影像資料，以依序運算各該第一估算區塊相對於該第一區塊之一第一預測強度值，其中該設定模組更包含複數個第二估算區塊，以具有最大之該第一預測強度值之該第一估算像素為起始點，並沿該預定方向依序排列，各該第二估算區塊具有一第二估算像素，且以一第二間距為邊長，該第二間距係小於該第一間距。
2. 如申請專利範圍第1項所述之影像搜尋模組，其中該處理模組擷取並比對各該第二估算區塊中之影像資料與該第一區塊中之影像資料，以依序運算各 該第二估算區塊相對於該第一區塊之一第二預測強度值。
3. 如申請專利範圍第2項所述之影像搜尋模組，其中該設定模組更包含複數個第三估算區塊，各該第三估算區塊具有一第三估算像素，且以一第三間距為邊長，該些第三估算區塊以具有最大之該第二預測強度值之該第二估算像素為起始點，並沿該預定方向依序排列。
4. 如申請專利範圍第3項所述之影像搜尋模組，其中該處理模組擷取並比對各該第三估算區塊中之影像資料與該第一區塊中之影像資料，以依序運算各該第三估算區塊相對於該第一區塊之一第三預測強度值。
5. 如申請專利範圍第3項所述之影像搜尋模組，其中該第三間距係小於該第二間距。
6. 如申請專利範圍第3項所述之影像搜尋模組，其中該處理模組分別擷取並比對該第一區塊中之影像資料與各該第一估算區塊中之影像資料、各該第二估算區塊中之影像資料或各該第三估算區塊中之影像資料，以依序運算獲得複數個絕對差總和值。
7. 如申請專利範圍第6項所述之影像搜尋模組，其中該些絕對差總和值係分別為該第一預測強度值、該第二預測強度值或該第三預測強度值。
8. 一種影像搜尋方法，適用於一動態影像處理系統之 動態估算中，係以一影像搜尋模組進行移動向量的搜尋作業，該影像搜尋模組包含一儲存模組、一設定模組以及一處理模組，該影像搜尋方法包含下列步驟：藉由儲存模組儲存一第一畫面，以設置一第一區塊於該第一畫面中；以該設定模組設置複數個第一估算區塊於一第二畫面中；以一第一間距為邊長，分別形成各該第一估算區塊；以對應於該第一區塊中之一第一像素之同等位置為起始點，並沿一預定方向依序排列各該第一估算區塊；以該處理模組擷取各該第一估算區塊中之影像資料與該第一區塊中之影像資料；以該處理模組比對該第二畫面之各該第一估算區塊中之影像資料與該第一畫面之該第一區塊中之影像資料；依序運算各該第一估算區塊相對於該第一區塊之一第一預測強度值；以該設定模組設置複數個第二估算區塊於該第二畫面中；以一第二間距為邊長，分別形成各該第二估算區 塊，該第二間距係小於該第一間距；以及以具有最大之該第一預測強度值之一第一估算像素為起始點，並沿該預定方向依序排列各該第二估算區塊。
9. 如申請專利範圍第8項所述之影像搜尋方法，更包含下列步驟：以該處理模組擷取並比對各該第二估算區塊中之影像資料與該第一區塊中之影像資料；以及依序運算各該第二估算區塊相對於該第一區塊之一第二預測強度值。
10. 如申請專利範圍第9項所述之影像搜尋方法，更包含下列步驟：以該設定模組設置複數個第三估算區塊於該第二畫面中；以一第三間距為邊長，分別形成各該第三估算區塊；以及以具有最大之該第二預測強度值之一第二估算像素為起始點，並沿該預定方向依序排列各該第三估算區塊。
11. 如申請專利範圍第10項所述之影像搜尋方法，更包含下列步驟：以該處理模組擷取並比對各該第三估算區塊中之影像資料與該第一區塊中之影像資料；以及 依序運算各該第三估算區塊相對於該第一區塊之一第三預測強度值。
12. 如申請專利範圍第10項所述之影像搜尋方法，其中該第三間距係小於該第二間距。
13. 如申請專利範圍第10項所述之影像搜尋方法，更包含下列步驟：以該處理模組分別擷取並比對該第一區塊中之影像資料與各該第一估算區塊中之影像資料、各該第二估算區塊中之影像資料或各該第三估算區塊中之影像資料；以及運算獲得各該第一估算區塊、各該第二估算區塊或各該第三估算區塊之複數個絕對差總和值。
14. 如申請專利範圍第13項所述之影像搜尋方法，其中該些絕對差總和值係分別為該第一預測強度值、該第二預測強度值或該第三預測強度值。