TWI502979B - 影像移動估算方法 - Google Patents

Description

影像移動估算方法

本發明是有關於一種移動估算方法，且特別是有關於一種能有效針對具有重複圖案之影像進行移動估算的方法。

隨著數位時代的來臨，數位相機或數位攝影機等產品的普及率也逐漸升高。相較於利用傳統相機或攝影機取得的影像資料有不易完善保存等缺點，利用數位相機或攝影機所取得的數位化影像資料不但保存容易，更具有便於後續編輯處理，以及能透過網路進行分享等優勢。製造商為了吸引消費者的注意，在數位相機、攝影機等產品的研發上也更加著重在功能的開發與精進，以滿足消費者的各式需求。舉例來說，在時下的數位影像擷取產品中，諸如防手震、雜訊抑制處理，或全景拍攝等已屬於十分常見的功能。

在上述功能中多半需利用移動估算來產生較佳的拍攝結果。例如，防手震及雜訊抑制處理需要可靠的移動估算結果來進行動作補償，而影像移動估算的準確性將是能成功拍攝出穩定之全景影像的關鍵。一般而言，影像之移動估算是利用對區域進行移動估測所得到的所有區域移動向量來估算出全域移動向量。然而此種方式容易得到不可靠的全域移動向量估算結果。特別是在影像中出現許多重複圖案(repeated pattern)時，更不易產生準確的全域移動向量。

有鑑於此，本發明提供一種影像移動估算方法，可降低影像中重複出現的圖案對於移動估算所造成的負面影響。

本發明提出一種影像移動估算方法，此方法包括決定目前影像中的數個核心(kernel)區塊。針對每一核心區塊，在參考影像內定義此核心區塊的搜尋區域，並取得此核心區塊分別與搜尋區域中的第一參考區塊及第二參考區塊之間的第一差異量與第二差異量。根據各核心區塊之第一差異量與第二差異量的比較結果，判斷在所有核心區塊中是否存在至少一可靠核心區塊。若存在至少一可靠核心區塊，則根據上述可靠核心區塊估算目前影像的全域移動向量。

在本發明之一實施例中，其中決定目前影像中的上述核心區塊的步驟包括依據目前影像中的多個預設固定位置來決定核心區塊。

在本發明之一實施例中，其中決定目前影像中的核心區塊的步驟包括對目前影像進行特徵值擷取程序以決定核心區塊。

在本發明之一實施例中，其中針對各核心區塊，在參考影像內定義核心區塊的搜尋區域，並取得核心區塊分別與搜尋區域中的第一參考區塊及第二參考區塊之間的第一差異量與第二差異量的步驟包括計算核心區塊與第一參考區塊中位置對應之像素值的絕對差值總合(Sum of Absolute Difference，SAD)以作為第一差異量，其中第一參考區塊在參考影像中的位置與核心區塊在目前影像中的位置相同。並且，計算核心區塊與第二參考區塊中位置對應之像素值的絕對差值總合以作為第二差異量，其中第二參考區塊是在搜尋區域中與核心區塊最相似的區塊。

在本發明之一實施例中，其中根據各核心區塊之第一差異量與第二差異量的比較結果，判斷在所有核心區塊中是否存在可靠核心區塊的步驟包括針對每一核心區塊，計算此核心區塊之第一差異量與第二差異量的比值及差值。若比值大於或等於第一預設值且差值大於或等於第二預設值，則判定對應的核心區塊屬於可靠核心區塊。

在本發明之一實施例中，此影像移動估算方法更包括針對每一核心區塊，若在搜尋區域中與此核心區塊最相似的區塊在參考影像中的位置與此核心區塊在目前影像中的位置相同，則判定此核心區塊屬於可靠核心區塊。

在本發明之一實施例中，其中根據可靠核心區塊估算目前影像的全域移動向量的步驟包括判斷可靠核心區塊的數量是否大於或等於第三預設值。若是，則利用上述可靠核心區塊個別的區域移動向量估算目前影像的全域移動向量。

在本發明之一實施例中，此影像移動估算方法更包括若可靠核心區塊的數量小於第三預設值，或在所有核心區塊中不存在可靠核心區塊，則以預設移動向量作為目前影像的全域移動向量。

在本發明之一實施例中，其中預設移動向量為零向量。

基於上述，本發明係根據一影像中各區塊與參考影像中位置相同及最相似之區塊之間的差異量，據以決定在估算此影像的全域移動向量時是否要將此區塊的區域移動向量納入考慮。如此一來便能在影像具有重複圖案的情況下提升移動估算的準確性。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本發明之一實施例所繪示之影像移動估算方法的流程圖。本實施例之影像移動估算方法適用於如數位相機或數位攝影機等各式影像擷取裝置，用以針對影像擷取裝置所拍攝的影像進行移動估算，而所估算出的移動向量資訊則適用於影像擷取裝置所提供的多種功能，例如防手震功能、雜訊抑制處理功能，或全景拍攝(sweep panorama)功能等等，並且能提升上述功能的效果。

請參閱圖1，首先如步驟S110所示，在影像擷取裝置所拍攝的目前影像中決定數個核心(kernel)區塊。本實施例是依據目前影像中的多個預設固定位置來決定核心區塊。舉例來說，如圖2所示，本實施例係根據預設於影像中的20個固定位置來定義20個核心區塊(即，核心區塊K1至K20)。亦即，無論影像擷取裝置是針對何種景物拍攝出目前影像，核心區塊的數目以及在目前影像中的位置都會保持固定，此種方式可減少運算複雜度從而提升處理效率。然而本發明並不侷限於此，在另一實施例中，也可以藉由對目前影像進行特徵值擷取程序來決定核心區塊。其中，特徵值擷取程序可以是彎角偵測(corner detection)程序等，在此並不加以限制。透過特徵值擷取程序所決定出的核心區塊位置與數量會隨著目前影像所包括的景物而有所不同，因此可以反應出影像特徵。

接著在步驟S120中，針對每一核心區塊，在一參考影像內定義此核心區塊的搜尋區域，並取得此核心區塊與搜尋區域中的第一參考區塊之間的第一差異量，以及取得此核心區塊與搜尋區域中的第二參考區塊之間的第二差異量。詳細地說，核心區塊與第一及第二參考區塊的大小相同，且第一參考區塊在參考影像中的位置與核心區塊在目前影像中的位置相同，而第二參考區塊則是在搜尋區域中與核心區塊最相似的區塊。

請同時參閱圖3A及圖3B，在本實施例中搜尋區域的大小為預設值(例如，搜尋區域之長寬為m，為大小m×m的像素區塊)。以目前影像300a中的核心區塊K為例，像素位置C是核心區塊K在目前影像300a內的中心點，而在參考影像300b中以像素位置C為中心點所取得的m×m像素區塊即為核心區塊K所對應的搜尋區域SA。由於核心區塊K的大小已知，因此只要取得核心區塊K在目前影像300a中的位置(例如，取得中心點之像素位置C)，便可在參考影像300b的相同位置取得第一參考區塊RB1。此外，可利用如全域搜尋(full search)、鑽石搜尋(diamond-based search)，或六角搜尋(hexagon-based search)等各種搜尋演算法在搜尋區域SA內找出與核心區塊K最相像的區塊來作為第二參考區塊RB2。必須特別說明的是，本發明並不對搜尋演算法的種類加以限制。在本實施例中，第一差異量是核心區塊K與第一參考區塊RB1中位置對應之像素值的絕對差值總合(Sum of Absolute Difference，SAD)，而第二差異量則是核心區塊K與第二參考區塊RB2中位置對應之像素值的絕對差值總合。假設目前影像300a中每一核心區塊的大小為n×n個像素，本實施例例如是以下列算式來計算第一差異量Diff1與第二差異量Diff2：

其中，Kp表示核心區塊K內像素P的像素值、RB1p及RB2p則分別表示第一參考區塊RB1與第二參考區塊RB2內像素P的像素值。由於第二參考區塊RB2是在搜尋區域SA中與核心區塊K最相像的區塊，第二差異量Diff2即為搜尋區域SA中算出的最小差異值，第一參考區塊RB1和第二參考區塊RB2的距離即為核心區塊K的區域移動向量。然而必須說明的是，在其他實施例中亦可採用其他方式來計算核心區塊K分別與第一參考區塊RB1及第二參考區塊RB2之間的差異量。

在計算每一核心區塊所對應的第一差異量與第二差異量後，接下來如步驟S130所示，根據各核心區塊之第一差異量與第二差異量的比較結果，判斷在所有核心區塊中是否存在至少一可靠核心區塊。具體來說，本實施例係針對每一核心區塊去計算核心區塊之第一差異量與第二差異量的比值及差值，倘若比值大於或等於第一預設值且差值大於或等於第二預設值，則判定對應的核心區塊屬於可靠核心區塊。其中，第一預設值與第二預設值可隨影像擷取裝置的種類或後續應用之功能而有不同的設定值。在另一實施例中，倘若一核心區塊在目前影像中的位置和搜尋區域中與此核心區塊最相似的區塊在參考影像中的位置相同，則此核心區塊亦會被直接判定為可靠核心區塊。

倘若在所有的核心區塊中不存在任何可靠核心區塊，則如步驟S140所示，本實施例之影像移動估算方法會將目前影像的移動向量假定為一預設移動向量。舉例來說，預設移動向量例如是零向量，其表示目前影像沒有移動。

然而倘若在所有的核心區塊中存在一個以上的可靠核心區塊，則如步驟S150所示，根據所有可靠核心區塊來估算目前影像的全域移動向量。本實施例係利用每一可靠核心區塊的區域移動向量(即，可靠核心區塊與搜尋區域中最相似的區塊之間的差異量)來估算目前影像的全域移動向量。具體來說，透過一濾波器從所有可靠核心區塊的區域移動向量中產生目前影像的全域移動向量。例如，計算所有可靠核心區塊之區域移動向量的平均值或中間值來作為目前影像的全域移動向量。

如圖1所示，本實施例並不會採用所有核心區塊的區域移動向量來估算目前影像的全域移動向量。取而代之的是先計算各核心區塊和參考影像中兩個參考區塊之間各別的差異量，再利用上述兩個差異量把不適用的區域移動向量剔除。如此一來，即便在目前影像中出現許多重複圖案，透過圖1所示之影像移動估算方法亦能得到較為準確且可靠的全域移動向量。

圖4是依照本發明之另一實施例所繪示之影像移動估算方法的流程圖。在本實施例中，可靠核心區塊的數量會影響目前影像之全域移動向量的估算結果。然而，由於圖4之步驟S410至步驟S430與圖1之步驟S110至步驟S130相同或相似，故在此不再贅述。

請參閱圖4之步驟S430，倘若步驟S430的判斷結果為是(即，在所有的核心區塊中存在一個以上的可靠核心區塊)，接著如步驟S450所示，判斷可靠核心區塊的數量是否大於或等於第三預設值。在本實施例中，第三預設值的大小可根據目前影像之全域移動向量的後續應用而採用不同的設定值。

倘若可靠核心區塊的數量小於第三預設值，則如步驟S440所示，以預設移動向量作為目前影像的全域移動向量。舉例來說，預設移動向量可以是零向量。

然而，倘若可靠核心區塊的數量大於或等於第三預設值，則如步驟S460所示，利用所有可靠核心區塊個別的區域移動向量來估算目前影像的全域移動向量。類似地，本實施例係透過一濾波器從所有可靠核心區塊的區域移動向量中產生目前影像的全域移動向量。

透過圖4所示之各步驟，則能在可靠核心區塊的數量過少時，避免因以數量較少的區域移動向量進行估算而導致誤判全域移動向量的情況。

綜上所述，本發明所示之影像移動估算方法在估算目前影像的全域移動向量時，會根據核心區塊與參考影像中的參考區塊之間的差異量來將不適用的區域移動向量剔除，據此增加估算全域移動向量的準確性。特別是在目前影像具有許多重複圖案的情況下，透過本發明所述之影像移動估算方法亦能產生較可靠的全域移動向量估算結果。此外，本發明所述之影像移動估算方法能以預設的固定位置來決定核心區塊，因而能節省運算時間。更進一步來說，本發明所需使用之核心區塊與參考區塊之間的差異量是原本在決定區域移動向量時就需進行的計算程序，因此不需耗費額外的運算時間，而可降低運算複雜度來提升處理效率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

S110～S150．．．本發明之一實施例所述之影像移動估算方法的各步驟

K1～K20、K．．．核心區塊

300a．．．目前影像

C．．．像素位置

300b．．．參考影像

SA．．．搜尋區域

RB1．．．第一參考區塊

RB2．．．第二參考區塊

m．．．搜尋區域之長寬

S410～S460．．．本發明之另一實施例所述之影像移動估算方法的各步驟

圖1是依照本發明之一實施例所繪示之影像移動估算方法的流程圖。

圖2是依照本發明之一實施例所繪示之目前影像之數個核心區塊的示意圖。

圖3A是依照本發明之一實施例所繪示之目前影像與其中之一核心區塊的示意圖。

圖3B是依照本發明之一實施例所繪示之參考影像與搜尋區域的示意圖。

圖4是依照本發明之另一實施例所繪示之影像移動估算方法的流程圖。

S110～S150．．．本發明之一實施例所述之影像移動估算方法的各步驟

Claims (9)

1. 一種影像移動估算方法，該方法包括：決定一目前影像中的多個核心(kernel)區塊；針對各該些核心區塊，在一參考影像內定義該核心區塊的一搜尋區域，並取得該核心區塊分別與該搜尋區域中一第一參考區塊及一第二參考區塊之間的一第一差異量與一第二差異量，其中該第一參考區塊在該參考影像中的位置與該核心區塊在該目前影像中的位置相同，該第二參考區塊是在該搜尋區域中與該核心區塊最相似的區塊；根據各該些核心區塊之該第一差異量與該第二差異量的一比較結果，判斷在該些核心區塊中是否存在至少一可靠核心區塊；以及若是，則根據該至少一可靠核心區塊估算該目前影像的一全域移動向量。
2. 如申請專利範圍第1項所述之影像移動估算方法，其中決定該目前影像中的該些核心區塊的步驟包括：依據該目前影像中的多個預設固定位置來決定該些核心區塊。
3. 如申請專利範圍第1項所述之影像移動估算方法，其中決定該目前影像中的該些核心區塊的步驟包括：對該目前影像進行一特徵值擷取程序以決定該些核心區塊。
4. 如申請專利範圍第1項所述之影像移動估算方法，其中針對各該些核心區塊，在該參考影像內定義該核 心區塊的該搜尋區域，並取得該核心區塊分別與該搜尋區域中該第一參考區塊及該第二參考區塊之間的該第一差異量與該第二差異量的步驟包括：計算該核心區塊與該第一參考區塊中位置對應之像素值的一絕對差值總合(Sum of Absolute Difference，SAD)以作為該第一差異量；以及計算該核心區塊與該第二參考區塊中位置對應之像素值的該絕對差值總合以作為該第二差異量。
5. 如申請專利範圍第1項所述之影像移動估算方法，其中根據各該些核心區塊之該第一差異量與該第二差異量的該比較結果，判斷在該些核心區塊中是否存在該至少一可靠核心區塊的步驟包括：針對各該些核心區塊，計算該核心區塊之該第一差異量與該第二差異量的一比值及一差值；以及若該比值大於或等於一第一預設值且該差值大於或等於一第二預設值，則判定該核心區塊屬於可靠核心區塊。
6. 如申請專利範圍第1項所述之影像移動估算方法，更包括：針對各該些核心區塊，若在該搜尋區域中與該核心區塊最相似的區塊在該參考影像中的位置，與該核心區塊在該目前影像中的位置相同，則判定該核心區塊屬於可靠核心區塊。
7. 如申請專利範圍第1項所述之影像移動估算方法，其中根據該至少一可靠核心區塊估算該目前影像的該 全域移動向量的步驟包括：判斷該至少一可靠核心區塊的數量是否大於或等於一第三預設值；以及若是，則利用該至少一可靠核心區塊個別的一區域移動向量估算該目前影像的該全域移動向量。
8. 如申請專利範圍第7項所述之影像移動估算方法，更包括若該至少一可靠核心區塊的數量小於該第三預設值或在該些核心區塊中不存在可靠核心區塊，則以一預設移動向量作為該目前影像的該全域移動向量。
9. 如申請專利範圍第8項所述之影像移動估算方法，其中該預設移動向量為零向量。