TWI410895B - 運動向量校正裝置及其方法 - Google Patents

運動向量校正裝置及其方法 Download PDF

Info

Publication number
TWI410895B
TWI410895B TW099102217A TW99102217A TWI410895B TW I410895 B TWI410895 B TW I410895B TW 099102217 A TW099102217 A TW 099102217A TW 99102217 A TW99102217 A TW 99102217A TW I410895 B TWI410895 B TW I410895B
Authority
TW
Taiwan
Prior art keywords
motion vector
frame
motion
estimated
field
Prior art date
Application number
TW099102217A
Other languages
English (en)
Other versions
TW201108159A (en
Inventor
Siou Shen Lin
Te Hao Chang
Chin Chuan Liang
Original Assignee
Mediatek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mediatek Inc filed Critical Mediatek Inc
Publication of TW201108159A publication Critical patent/TW201108159A/zh
Application granted granted Critical
Publication of TWI410895B publication Critical patent/TWI410895B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Description

運動向量校正裝置及其方法
本發明涉及視訊處理，尤其涉及運動向量校正裝置及其方法。
通常地，訊框速率轉換用於視訊標準轉換。舉例來說，需要將以24訊框每秒(即24Hz)的訊框速率記錄的視訊信號進行轉換以於更高的顯示訊框速率(例如PAL標準下的50Hz電視信號)顯示。另外，當PAL標準下的50Hz電視信號以NTSC標準下的60Hz電視信號進行重播時，需要電視信號的一個轉換以將顯示訊框速率從50Hz轉換為60Hz。
在這種情況下，通常利用訊框重複方法(例如下拉轉換)通過重複訊框以執行訊框速率向上轉換。然而，當訊框的目標或背景運動時，訊框重複可能會產生不需要的振動假影，因而導致視訊品質的下降。
為了消除訊框中目標運動引起的訊框速率轉換的缺陷，提出一種包含運動估測/運動補償(ME/MC)的運動振動消除(Motion Judder Cancellation,MJC)的技術。運動振動消除根據運動向量資訊通過內插來自兩個或多個連續訊框的目標位置產生中間訊框，以降低振動假影。因為運動向量資訊描述目標的運動，所以多數沿著目標運動的中間訊框的像素可以很好的沿著相應目標向量內插。然而，運動中目標的邊緣處可能出現內插誤差，尤其是在加速或減速過程中。如果從運動估測得到的不正確邊緣資訊不能匹配真正運動目標的邊緣時，則會在中間訊框中的運動目標的銳邊(sharp edge)的附近形成鋸齒輪廓或模糊線條，即形成不自然的環狀假影或所謂的「光環」。
因此，執行訊框速率轉換的運動向量校正以消除中間訊框中的運動目標的邊緣上的可見假影是非常重要的。
有鑒於此，本發明提供運動向量校正裝置及其方法。
一種運動向量校正方法，用於校正一像素的一已估測運動向量，所述像素位於一視訊序列的一第一訊框與一第二訊框之間的一已內插訊框，所述運動向量校正方法包括：估測一先前運動向量場與一後續運動向量場，其中，基於所述第一訊框、所述第二訊框以及所述第二訊框之前的一第三訊框估測所述先前運動向量場，基於所述第一訊框、所述第二訊框以及所述第一訊框之後的一第四訊框估測所述後續運動向量場；決定相關於所述第一訊框與所述第二訊框的一參考運動向量組用於所述像素的位置，其中所述參考運動向量組包括一第一運動向量與一相應的運動向量對，並且設定所述第一運動向量為已估測運動向量，所述相應的運動向量對分別來自所述先前運動向量場與所述後續運動向量場；在所述相應的運動向量對之間獲得一一致性程度；根據所述一致性程度採用多個加權因數，其中所述多個加權因數分別相關於所述參考運動向量組；以及根據採用的所述多個加權因數與所述參考運動向量組校正所述已估測運動向量。
一種運動向量校正裝置，用於校正一像素的一已估測運動向量，所述像素位於一視訊序列的一第一訊框與一第二訊框之間的一已內插訊框，所述運動向量校正裝置包括：一三訊框運動估測單元，用於估測一先前運動向量場與一後續運動向量場，其中，基於所述第一訊框、所述第二訊框以及所述第二訊框之前的一第三訊框估測所述先前運動向量場，基於所述第一訊框、所述第二訊框以及所述第一訊框之後的一第四訊框估測所述後續運動向量場；一運動向量選擇單元，耦接於所述三訊框運動估測單元，並且用於決定相關於所述第一訊框與所述第二訊框的一參考運動向量組用於所述像素的位置，其中所述參考運動向量組包括一第一運動向量與相應的運動向量對，其中設定所述第一運動向量為所述已估測運動向量，並且所述相應的運動向量對分別來自所述先前運動向量場與所述後續運動向量場；以及一運動向量校正單元，耦接於所述運動向量選擇單元，所述運動向量校正單元用於在所述相應的運動向量對之間獲得一一致性程度，並且根據所述一致性程度採用分別相關於所述參考運動向量組的多個加權因數，以及根據採用的所述多個加權因數與所述參考運動向量組校正所述已估測運動向量。
本發明所提供的運動向量校正裝置及其方法的效果之一在於，可以執行訊框速率轉換的運動向量校正以消除中間訊框中的運動目標的邊緣上的可見假影。
以下係根據多個圖式對本發明之較佳實施例進行詳細描述，本領域習知技藝者閱讀後應可明確了解本發明之目的。
為了讓本發明之目的、特徵、及優點能更明顯易懂，下文特舉較佳實施例做詳細之說明。實施例是為說明本發明之用，並非用以限制本發明。本發明的保護範圍以所附申請專利範圍為準。
第1圖為根據本發明一實施例的運動向量校正裝置10的方塊示意圖。如第1圖所示，運動向量校正裝置10包括雙訊框運動估測單元102、三訊框運動估測單元104、運動向量選擇單元106以及運動向量校正單元108。運動向量校正裝置10用於校正定位於視訊序列110的兩個訊框之間的已內插訊框的位置的像素的已估測運動向量。
請參考第1圖，雙訊框運動估測單元102與三訊框運動估測單元104從視訊序列110中獲取多個訊框。具體的，雙訊框運動估測單元102用於基於來自訊框序列110的第一訊框與第二訊框估測中間運動向量場122。
根據一實施例，可根據中間運動向量場122決定所述第一訊框與所述第二訊框之間的已內插訊框。操作過程中，當運動目標加速時，在快速運動目標與靜止背景中間形成非重疊堵塞，如第2圖所示。
第2圖為由兩個訊框之間的前景目標與背景的運動描述的已覆蓋區域與未覆蓋區域的示意圖。
如第2圖所示，相應於時間t1與時間t2的第一訊框與第二訊框分別由frm n 與frm n-1 表示，其中，t1落後於t2。接著，產生指定兩個訊框frm n 與frm n-1 之間的時間相關的將被內插的訊框frm n+α ，其中，-1≦α≦0。目標206以特定速度在背景上運動並且方向向上(圖中以UP標示方向)。因此，目標206的運動可由已估測運動向量MVobject 表示。類似的，背景的運動可由運動向量MVbackground 表示。另外，目標206與背景的運動可能導致產生一些堵塞區域。舉例來說，當目標206在背景上運動時，在目標206與背景之間形成兩個堵塞區域，其中，所述兩個堵塞區域分別為已覆蓋區域202與未覆蓋區域204。因為已覆蓋區域202與未覆蓋區域204中的像素僅在一個訊框中出現，所以運動估測在這兩個訊框frm n 與frm n-1 中不會找到匹配區塊。因此，並不能充分確定包含已覆蓋區域202與未覆蓋區域204的運動向量的估測。如上所述，錯誤估測的運動向量可能於已內插訊框中的運動變化過程中，在邊緣上導致失真或拖曳假影(dragging artifact)。在第1圖所述實施例中，三訊框運動估測單元104進一步用來校正錯誤運動向量。
在操作過程中，三訊框運動估測單元104用來估測先前運動向量場124與後續運動向量場126，其中，先前運動向量場124與後續運動向量場126有關於中間運動向量場122。在此實施例中，校正第2圖所示的具有兩個堵塞區域的錯誤運動向量的過程將在下面通過參考第3圖至第5圖進行詳細描述。
第3圖為根據本發明一實施例的運動向量校正的三個運動向量場的示意圖。如第3圖所示，三個運動向量場用於為已內插訊框frm n+α 取得正確的運動向量。根據此實施例，中間運動向量場122(如第1圖中所示)定義如下：
MF2 frm (MV,n+α)=F(frm n-1 ,frm n ),　(1)
其中，中間運動向量場122為兩個訊框frm n-1 與frm n 中間的雙訊框運動估測量。
另外，先前運動向量場124定義如下：
MF3 frm (MV,n-1)=F(frm n-2 ,frm n-1 ,frm n ),　(2)
其中，先前運動向量場124為估測於訊框frm n-1 、frm n 以及frm n-2 之間的三訊框運動估測量，且訊框frm n-2 先於訊框frm n-1 。
另外，後續運動向量場126定義如下：
MF3 frm (MV,n)=F(frm n-1 ,frm n ,frm n+1 ),　(3)
其中，後續運動向量場126為估測於訊框frm n-1 、frm n 以及frm n+1 之間的三訊框運動估測量，且frm n+1 在第一訊框frm n 之後。
如第3圖所示，因為運動目標206與運動向量場MF3 frm (MV,n)中相應區域重疊，所以不能正確估測運動向量場MF2 frm (MV,n+α)中與位於運動目標206之上的已覆蓋區域202相關的運動向量。類似的，因為沒有從運動向量場MF3 frm (MV,n-1)得到相應區域的運動資訊，所以不能正確估測運動向量場MF2 frm (MV,n+α)中與位於運動目標206之下的未覆蓋區域204相關的運動向量。因此，錯誤的運動向量(例如第3圖中MVcover 與MVuncover )導致運動目標206的邊界不平滑並且滯後。
根據一實施例，第1圖所示視訊序列110中的訊框frm n-2 、frm n-1 、frm n 以及frm n+1 可為連續訊框。在其他實施例中，視訊序列110中的訊框frm n-2 、frm n-1 、frm n 以及frm n+1 可為按時間順序的離散訊框。
第4圖為根據第3圖的實施例校正定位於已覆蓋區域202中的運動向量的操作示意圖。
請參考第1圖、第2圖以及第4圖，運動向量選擇單元106耦接於雙訊框運動估測單元102以及三訊框運動估測單元104，用於決定一組參考運動向量以校正第2圖中所示已內插訊框frm n+α 的已估測運動向量。假設指定了定位於已內插訊框frm n+α 的位置的像素的已估測運動向量，則接著根據像素的位置決定相關於兩個訊框frm n-1 與frm n 的參考運動向量組。根據一實施例，將從中間運動向量場122選擇的候選運動向量設定為已內插訊框frm n+α 的將被校正的已估測運動向量。請注意，中間運動向量場122中的候選運動向量的位置相應於已內插訊框frm n+α 中的像素的位置。舉例來說，運動向量選擇單元106檢測已覆蓋區域202並且選擇相應的運動向量，例如第4圖中的運動向量MV2 。另外，根據已選擇的運動向量MV2 ，運動向量選擇單元106同樣決定相應的運動向量對(例如第4圖中的運動向量MV3a 與MV3b )，其中，所述相應的運動向量對中的運動向量分別來自先前運動向量場124與後續運動向量場126。在這種情況下，決定相應的運動向量對MV3a 與MV3b 的方向為運動向量MV2 的方向。隨後，三個運動向量MV2 、MV3a 以及MV3b 通過運動向量校正單元108。
在操作過程中，耦接於運動向量選擇單元106的運動向量校正單元108獲得相應的運動向量對MV3a 與MV3b 之間的一致性程度(measure of consistency)。也就是說，將由運動向量選擇單元106獲得的運動向量對MV3a 與MV3b 進行檢查以決定它們是否一致。檢查運動向量對MV3a 與MV3b 之間的運動一致性的操作可確保用於校正運動向量MV2 的估測的可靠性。舉例來說，可通過應用預設閥值(predetermined threshold)來檢查運動向量對MV3a 與MV3b 的一致性。具體來說，將預設閥值與運動向量對MV3a 與MV3b 之差的絕對值進行比較以決定一致性程度。當絕對值超過預設閥值時，決定運動向量對MV3a 與MV3b 為不一致並且不確定的。相反，則決定運動向量對MV3a 與MV3b 為一致並且可靠的。
檢查完運動向量對MV3a 與MV3b 的運動一致性之後，運動向量校正單元108接著採用多個加權因數，所述多個加權因數分別分配至運動向量MV2 、MV3a 以及MV3b 。更具體的，請參考第4圖，當運動向量對MV3a 與MV3b 一致時，它們作為校正運動向量的可靠參考MV2 。在這種情況下，運動向量校正單元108使得分配至運動向量MV2 的加權因數的值比分配至運動向量對MV3a 與MV3b 的其他加權因數的值小很多。舉例來說，運動向量MV2加權為零的加權因數，適合於運動向量對MV3a 與MV3b 的加權因數可為相同值並且為1/2。因此，運動向量校正單元108通過運動向量對MV3a 與MV3b 的加權和將已覆蓋區域202的運動向量MV2 校正為新的運動向量MVCRCT ，其中，運動向量對MV3a 與MV3b 的加權因數可為相同值並且為1/2。
根據另一實施例，可分配至運動向量對MV3a 與MV3b 不同的加權因數。這樣，運動向量MV2 可被運動向量MV3a 或MV3b 直接替換或填補，其中，運動向量MV3a 與MV3b 的加權因數不相等，其中一個加權因數大於另一個加權因數。
需要注意的是，除了上述提到的分配以及填補方法，根據需要也可應用其他加權因數規則。
另一方面，當運動向量對MV3a 與MV3b 不一致的情況發生時，運動不一致性可能導致產生相對高的運動向量校正失敗危險。因此，運動向量校正單元108指示分配至運動向量MV2 的加權因數的值大於分配至運動向量對MV3a 與MV3b 的加權因數的值，以消除來自運動向量對MV3a 與MV3b 的額外變化。舉例來說，運動向量對MV3a 與MV3b 加權為零的加權因數，並且加權為具有1的加權因數的運動向量MV2 保持相同，沒有進一步的運動向量校正。
第5圖為根據第3圖的實施例的校正定位於未覆蓋區域204中的運動向量的操作的示意圖。類似的，將從中間運動向量場122選擇的候選運動向量設定為已內插訊框frm n+ a 的將被校正的已估測運動向量。需要注意的是，中間運動向量場122中的候選運動向量的位置相應於已內插訊框frm n+ a 中的像素的位置。
請參考第5圖，當未覆蓋區域204中的運動向量MV2 被選擇時，決定兩個相應運動向量(運動向量對)MV3a 與MV3b 的方向為運動向量MV2 的方向。接著，運動向量校正單元108計算運動向量對MV3a 與MV3b 之間的差的絕對值。接著，運動向量校正單元108將所計算的差的絕對值與預設閥值進行比較，以決定運動向量對MV3a 與MV3b 是否一致。
當運動向量對MV3a 與MV3b 之間的差的絕對值等於或小於預設閥值時，則決定運動向量對MV3a 與MV3b 為一致的。運動向量對MV3a 與MV3b 之間的運動一致性可確保用於校正運動向量MV2 的估測的可靠性。舉例來說，將相等的加權因數分配至運動向量對MV3a 與MV3b 以通過具有相同加權因數的運動向量對MV3a 與MV3b 的加權和獲得新的運動向量MVCRCT 。
否則，當運動向量對MV3a 與MV3b 之間的差的絕對值大於預設閥值時，則決定運動向量對MV3a 與MV3b 不一致。不一致的運動向量對MV3a 與MV3b 可導致校正運動向量MV2 的估測不確定。因此，分配至運動向量MV2 的加權因數為自校正(self-correction)的領先參考(leading reference)。舉例來說，將更大的加權因數分配至運動向量MV2 ，而將兩個更小的加權因數分配至運動向量對MV3a 與MV3b 。因此，通過分別具有各自加權因數的運動向量MV2 、MV3a 以及MV3b 的加權和獲得新的運動向量MVCRCT 。
根據一實施例，假設第5圖中目標206處於運動向量MV2 (例如運動向量MV2 為-6)之內的加速或加速運動狀態。根據運動向量MV2 選擇兩個相應運動向量MV3a (例如運動向量MV3a 為4)與(例如運動向量MV3b 為8)。並且，設定預設閥值為6。在所述實施例中，因為運動向量對MV3a 與MV3b 之間的差的絕對值小於預設閥值6，因此運動向量對MV3a 與MV3b 是一致的，其中，運動向量對MV3a 與MV3b 之間的差的絕對值為abs(MV3a -MV3b )=abs(4-8)=4。也就是說，一致的運動向量對MV3a 與MV3b 指示在4與8之間而不是-6來校正運動向量場MF2 frm (MV,n+α)的運動向量MV2 會更好。在一個實施例中，將運動向量MV2 、MV3a 以及MV3b 的加權因數分別設定為0、1/2以及1/2。因此相應的通過運動向量MV2 、MV3a 以及MV3b 的加權和獲得已校正運動向量MVCRCT ，其中，運動向量MV2 、MV3a 以及MV3b 的加權和可為(MV2 x0+MV3a x0.5+MV3b x0.5)=(0+4x0.5+8x0.5)=6。
另外，利用已校正運動向量MVCRCT 以指示運動補償單元相應於運動向量場MF2 frm (MV,n+α)產生第2圖中所示已內插訊框frm n+α ，借此消除或降低運動的振動影響。
第6圖為根據本發明另一實施例的運動向量校正裝置60的方塊示意圖。如第6圖所示，運動向量校正裝置60包括三訊框運動估測單元604、運動向量選擇單元606以及運動向量校正單元608。
在此實施例中，通過僅從三訊框運動估測單元604得到的參考運動向量組校正第2圖中所示已內插訊框frm n+α 的已估測運動向量，使得不需要利用兩個訊框frm n-1 與frm n 中間的雙訊框運動估測量，即來自第1圖的雙訊框運動估測單元102的中間運動向量場122。更具體的，三訊框運動估測單元604根據前述函數(2)與(3)估測先前運動向量場624與後續運動向量場626，其中，先前運動向量場624可為MF3 frm (MV,n-1)，後續運動向量場626可為MF3 frm (MV,n)。通過參考第7圖與第8圖將對校正定位於未覆蓋區域與已覆蓋區域中的錯誤運動向量的過程進行更詳細的描述。
第7圖為根據第6圖實施例的校正定位於已覆蓋區域702中的運動向量的操作的示意圖。
第8圖為根據第6圖實施例的校正定位於未覆蓋區域804中的運動向量的操作的示意圖。
如第7圖與第8圖所示，目標206以特定速度在背景上運動並且方向向上(圖中以UP標示方向)。
在操作過程中，當指定已內插訊框frm n+α 的已估測運動向量將被校正時，則通過根據已指定運動向量的已定位位置從運動向量場624與626選擇多個運動向量決定參考運動向量組。
如第7圖所示，根據一實施例，假設像素的將被校正的運動向量定位於已內插訊框frm n+α 的位置P1。這樣，運動向量選擇單元606可從運動向量場MF3 frm (MV,n-1)或MF3 frm (MV,n)選擇候選運動向量，其中，所述候選運動向量定位於相應於位置P1的位置。請參考第7圖，由於位置P1定位於已覆蓋區域702中，因此從運動向量場MF3 frm (MV,n)選擇運動向量MV3z 並且設定運動向量MV3z 為將被校正的運動向量。相應的，運動向量選擇單元606決定相應的運動向量對MV3a 與MV3b 的方向為運動向量MV3z 的方向。
如第8圖所示，根據另一實施例，當像素的將被校正的運動向量定位於未覆蓋區域804中的位置P2時，隨後從運動向量場MF3 frm (MV,n-1)選擇另一運動向量MV3z 並且設定運動向量MV3z 為將被校正的運動向量。因此，運動向量選擇單元606決定相應的運動向量對MV3a 與MV3b 的方向為另一運動向量MV3z 的方向。
接著，三個運動向量MV3z 、MV3a 以及MV3b 通過運動向量校正單元608。結果，運動向量校正單元608根據三個運動向量MV3z 、MV3a 以及MV3b 將已覆蓋區域702或未覆蓋區域804的運動向量MV3z 校正為新的運動向量MVCRCT 。因為運動向量校正單元608的操作與第1圖中運動向量校正單元108的操作相同，因此為簡略不再描述。
進一步需要注意的是，當指定已內插訊框frm n+α 的已估測運動向量將被校正時，第6圖中運動向量選擇單元606也可根據已指定的運動向量分別從運動向量場624與626選擇兩個候選運動向量。也就是說，兩個候選運動向量分別定位於相應於已指定的運動向量的位置的位置。之後，內插兩個候選運動向量以產生運動向量MV3z 用於進一步校正。
第9圖為根據本發明一實施例的運動向量校正方法的流程圖。
請參考第1圖、第6圖以及第9圖，接收到視訊序列110後，三訊框運動估測單元104或604基於視訊序列110估測先前運動向量場MF3 frm (MV,n-1)與後續運動向量場MF3 frm (MV,n)(步驟S902)。如第2圖所示，利用兩個運動向量場MF3 frm (MV,n-1)與MF3 frm (MV,n)協助兩個按時間順序的訊框frm n-1 與frm n 之間的已內插訊框frm n+α 的估測。
根據函數(2)，基於第一訊框frm n 、第二訊框frm n-1 以及超前於第二訊框frm n-1 的第三訊框frm n-2 決定運動向量場MF3 frm (MV,n-1)。另外，根據函數(3)，基於第一訊框frm n 、第二訊框frm n-1 以及第一訊框frm n 之後的第四訊框frm n+1 決定運動向量場MF3 frm (MV,n)。上面的描述中，四個訊框frm n-2 、frm n-1 、frm n 以及frm n+1 可代表視訊序列110中的連續訊框或具有一定時間間隔的離散訊框。
接著，當指定了定位於已內插訊框frm n+α 的位置的像素的已估測運動向量將被校正，則根據像素的位置決定相關於兩個按時間順序的訊框frm n-1 與frm n 的參考運動向量組(步驟S904)。
根據一實施例，可通過基於像素的位置從中間運動向量場122(例如函數(1)中的運動向量場MF2 frm (MV,n+α))選擇候選運動向量來決定參考運動向量組。也就是說，候選運動向量定位於相應於像素的位置的位置。設定候選運動向量(例如第4圖的已覆蓋區域202中的運動向量MV2 )為已估測運動向量用於進一步校正。
根據另一實施例，可通過兩個三訊框運動估測量MF3 frm (MV,n-1)與MF3 frm (MV,n)而不需要任何雙訊框運動估測量(例如雙訊框運動估測量MF2 frm (MV,n+α))來決定參考運動向量組。在一種情況下，可從運動向量場MF3 frm (MV,n-1)與MF3 frm (MV,n)其中之一選擇候選運動向量。同樣，候選運動向量定位於相應於像素的位置的位置。設定候選運動向量(例如定位於第7圖中所示已覆蓋區域702中的位置P1的運動向量MV3z )為已估測運動向量用於進一步校正。在另一種情況下，也可將分別來自運動向量場MF3 frm (MV,n-1)與MF3 frm (MV,n)的兩個候選運動向量進行內插以產生運動向量，並設定運動向量為已估測運動向量用於進一步校正。
當設定將被校正的已估測運動向量(例如第4圖中的運動向量MV2 )之後，通過分別從運動向量場MF3 frm (MV,n-1)與MF3 frm (MV,n)選擇相應的運動向量對來決定參考運動向量組。如前所述，決定相應的運動向量對的方向為運動向量MV2 的方向。在第4圖所述例子中，基於沿著運動向量MV2 的方向擴展的一條線，隨即從運動向量場MF3 frm (MV,n-1)與MF3 frm (MV,n)決定相應的運動向量對MV3a 與MV3b 。
接下來，第1圖中運動向量校正單元108在相應的運動向量對MV3a 與MV3b 之間獲得一致性程度(步驟S906)。舉例來說，運動向量校正單元108根據預設閥值決定運動向量MV3a 與MV3b 是否一致。請注意，由於一致性的檢查操作已經於前述實施例中提及，因此為省略不再贅述。
根據運動向量MV3a 與MV3b 之間的運動一致性程度，分別採用相關於參考運動向量的多個加權因數用於校正已內插訊框frm n+α 的已估測運動向量(步驟S908)。如第4圖實施例所述，分別分配多個加權因數至運動向量MV2 、MV3a 以及MV3b 用於校正運動向量MV2 。更具體的，當運動向量MV3a 與運動向量MV3b 不一致時，則將運動向量MV3a 與運動向量MV3b 都通過相對低的加權因數或值為零的加權因數進行加權。另一方面，當運動向量MV3a 與運動向量MV3b 一致時，則運動向量MV3a 與運動向量MV3b 作為可靠參考以校正運動向量MV2 。
最後，根據具有各自加權因數的參考運動向量組(例如第4圖中參考向量MV2 、MV3a 以及MV3b )校正已估測運動向量(例如第4圖的已覆蓋區域202中的運動向量MV2 )(步驟S910)。接著根據已校正運動向量(例如第4圖中運動向量MVCRCT )執行訊框frm n 與frm n-1 的運動補償內插以產生已內插訊框frm n+α 而在快速運動目標的邊緣處不會出現或出現很少的光環假影。
上述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之範疇。任何習知技藝者可依據本發明之精神輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利範圍應以申請專利範圍為準。
10、60．．．運動向量校正裝置
102．．．雙訊框運動估測單元
104、604．．．三訊框運動估測單元
106、606．．．運動向量選擇單元
108、608．．．運動向量校正單元
110．．．視訊序列
122．．．中間運動向量場
124、624．．．先前運動向量場
126、626．．．後續運動向量場
202、702．．．已覆蓋區域
204、804．．．未覆蓋區域
206．．．運動目標
S902~S910．．．步驟
第1圖為根據本發明一實施例的運動向量校正裝置的方塊示意圖。
第2圖為由兩個訊框之間的前景目標與背景的運動描述的已覆蓋區域與未覆蓋區域的示意圖。
第3圖為根據本發明一實施例的運動向量校正的三個運動向量場的示意圖。
第4圖為根據第3圖的實施例校正定位於已覆蓋區域中的運動向量的操作示意圖。
第5圖為根據第3圖的實施例的校正定位於未覆蓋區域中的運動向量的操作的示意圖。
第6圖為根據本發明另一實施例的運動向量校正裝置的方塊示意圖。
第7圖為根據第6圖實施例的校正定位於已覆蓋區域中的運動向量的操作的示意圖。
第8圖為根據第6圖實施例的校正定位於未覆蓋區域中的運動向量的操作的示意圖。
第9圖為根據本發明一實施例的運動向量校正方法的流程圖。
10．．．運動向量校正裝置
102．．．雙訊框運動估測單元
104．．．三訊框運動估測單元
106．．．運動向量選擇單元
108．．．運動向量校正單元
110．．．視訊序列
122．．．中間運動向量場
124．．．先前運動向量場
126．．．後續運動向量場

Claims (22)

  1. 一種運動向量校正方法，用於校正一像素的一已估測運動向量，所述像素位於一視訊序列的一第一訊框與一第二訊框之間的一已內插訊框，所述運動向量校正方法包括：估測一先前運動向量場與一後續運動向量場，其中，基於所述第一訊框、所述第二訊框以及所述第二訊框之前的一第三訊框估測所述先前運動向量場，基於所述第一訊框、所述第二訊框以及所述第一訊框之後的一第四訊框估測所述後續運動向量場；決定相關於所述第一訊框與所述第二訊框的一參考運動向量組用於所述像素的位置，其中所述參考運動向量組包括一第一運動向量與一相應的運動向量對，並且設定所述第一運動向量為已估測運動向量，所述相應的運動向量對分別來自所述先前運動向量場與所述後續運動向量場；在所述相應的運動向量對之間獲得一一致性程度；根據所述一致性程度採用多個加權因數，其中所述多個加權因數分別相關於所述參考運動向量組；以及根據採用的所述多個加權因數與所述參考運動向量組校正所述已估測運動向量。
  2. 如申請專利範圍第1項所述之運動向量校正方法，其中，通過從所述先前運動向量場或所述後續運動向量場選擇一候選運動向量來決定設定為所述已估測運動向量的所述第一運動向量，並且所述候選運動向量定位於相應於所述像素的位置的一位置。
  3. 如申請專利範圍第1項所述之運動向量校正方法，其中通過從所述先前運動向量場與所述後續運動向量場內插兩個候選運動向量來決定設定為所述已估測運動向量的所述第一運動向量，並且所述兩個候選運動向量定位於分別相應於所述像素的位置的位置。
  4. 如申請專利範圍第1項所述之運動向量校正方法，其中根據一候選運動向量決定設定為所述已估測運動向量的所述第一運動向量，並且所述候選運動向量定位於相應於所述像素的位置的一位置，其中所述候選運動向量來自於基於所述第一訊框與所述第二訊框而進行估測的一中間運動向量場。
  5. 如申請專利範圍第1項所述之運動向量校正方法，其中獲得所述一致性程度的步驟包括：根據一預設閥值決定所述相應的運動向量對是否一致。
  6. 如申請專利範圍第5項所述之運動向量校正方法，其中採用所述多個加權因數的步驟包括：當所述相應的運動向量對一致時，使得所述第一運動向量的加權因數小於所述相應的運動向量對的加權因數。
  7. 如申請專利範圍第5項所述之運動向量校正方法，其中採用所述多個加權因數的步驟包括：當所述相應的運動向量對不一致時，使得所述第一運動向量的加權因數大於所述相應的運動向量對的加權因數。
  8. 如申請專利範圍第1項所述之運動向量校正方法，其中，通過所述第一運動向量與具有各自的加權因數的所述相應的運動向量對的一加權和來矯正所述已估測運動向量。
  9. 如申請專利範圍第1項所述之運動向量校正方法，其中由所述相應的運動向量對中具有更大加權因數的運動向量替代所述已估測運動向量。
  10. 如申請專利範圍第5項所述之運動向量校正方法，其中，通過將所述預設閥值與所述相應的運動向量對之間的差的一絕對值進行比較來決定所述相應的運動向量對是否一致。
  11. 如申請專利範圍第1項所述之運動向量校正方法，其中所述第一訊框、所述第二訊框、所述第三訊框以及所述第四訊框為所述視訊序列中的連續訊框。
  12. 如申請專利範圍第1項所述之運動向量校正方法，其中所述第一訊框、所述第二訊框、所述第三訊框以及所述第四訊框為所述視訊序列中的按時間順序的離散訊框。
  13. 一種運動向量校正裝置，用於校正一像素的一已估測運動向量，所述像素位於一視訊序列的一第一訊框與一第二訊框之間的一已內插訊框，所述運動向量校正裝置包括：一三訊框運動估測單元，用於估測一先前運動向量場與一後續運動向量場，其中，基於所述第一訊框、所述第二訊框以及所述第二訊框之前的一第三訊框估測所述先前運動向量場，基於所述第一訊框、所述第二訊框以及所述第一訊框之後的一第四訊框估測所述後續運動向量場；一運動向量選擇單元，耦接於所述三訊框運動估測單元，並且用於決定相關於所述第一訊框與所述第二訊框的一參考運動向量組用於所述像素的位置，其中所述參考運動向量組包括一第一運動向量與相應的運動向量對，其中設定所述第一運動向量為所述已估測運動向量，並且所述相應的運動向量對分別來自所述先前運動向量場與所述後續運動向量場；以及一運動向量校正單元，耦接於所述運動向量選擇單元，所述運動向量校正單元用於在所述相應的運動向量對之間獲得一一致性程度，並且根據所述一致性程度採用分別相關於所述參考運動向量組的多個加權因數，以及根據採用的所述多個加權因數與所述參考運動向量組校正所述已估測運動向量。
  14. 如申請專利範圍第13項所述之運動向量校正裝置，其中，所述運動向量選擇單元通過從所述先前運動向量場或所述後續運動向量場選擇一候選運動向量來決定設定為所述已估測運動向量的所述第一運動向量，並且所述候選運動向量定位於相應於所述像素的位置的一位置。
  15. 如申請專利範圍第13項所述之運動向量校正裝置，其中，所述運動向量選擇單元通過將來自所述先前運動向量場與所述後續運動向量場的兩個候選運動向量進行內插來決定設定為所述已估測運動向量的所述第一運動向量，並且所述兩個候選運動向量分別定位於相應於所述像素的位置的位置。
  16. 如申請專利範圍第13項所述之運動向量校正裝置，進一步包括：一雙訊框運動估測單元，用於基於所述第一訊框與所述第二訊框估測一中間運動向量場；其中所述運動向量選擇單元根據來自所述中間運動向量場的一候選運動向量決定設定為所述已估測運動向量的所述第一運動向量，並且所述候選運動向量定位於相應於所述像素的位置的一位置。
  17. 如申請專利範圍第13項所述之運動向量校正裝置，其中，所述運動向量校正單元通過根據一預設閥值決定所述相應的運動向量對是否一致來獲得所述一致性程度。
  18. 如申請專利範圍第17項所述之運動向量校正裝置，其中，當所述相應的運動向量對一致時所述運動向量校正單元使得所述第一運動向量的加權因數小於所述相應的運動向量對的加權因數。
  19. 如申請專利範圍第17項所述之運動向量校正裝置，其中，當所述相應的運動向量對不一致時所述運動向量校正單元使得所述第一運動向量的加權因數大於所述相應的運動向量對的加權因數。
  20. 如申請專利範圍第13項所述之運動向量校正裝置，其中，通過所述第一運動向量與利用各自的加權因數的所述相應的運動向量對的一加權和來矯正所述已估測運動向量。
  21. 如申請專利範圍第13項所述之運動向量校正裝置，其中，由所述相應的運動向量對中具有更大加權因數的運動向量替代所述已估測運動向量。
  22. 如申請專利範圍第17項所述之運動向量校正裝置，其中，通過將所述預設閥值與所述相應的運動向量對之間的差的一絕對值進行比較來決定所述相應的運動向量對是否一致。
TW099102217A 2009-05-08 2010-01-27 運動向量校正裝置及其方法 TWI410895B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/437,693 US8254439B2 (en) 2009-05-08 2009-05-08 Apparatus and methods for motion vector correction

Publications (2)

Publication Number Publication Date
TW201108159A TW201108159A (en) 2011-03-01
TWI410895B true TWI410895B (zh) 2013-10-01

Family

ID=43055152

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099102217A TWI410895B (zh) 2009-05-08 2010-01-27 運動向量校正裝置及其方法

Country Status (3)

Country Link
US (1) US8254439B2 (zh)
CN (1) CN101883278B (zh)
TW (1) TWI410895B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011061273A (ja) * 2009-09-07 2011-03-24 Sony Corp 動きベクトル算出装置、動きベクトル算出方法およびプログラム
JP5863273B2 (ja) * 2011-05-02 2016-02-16 キヤノン株式会社 画像処理装置、制御方法及びプログラム
JP5995522B2 (ja) * 2011-05-31 2016-09-21 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP2012253492A (ja) * 2011-06-01 2012-12-20 Sony Corp 画像処理装置、画像処理方法、及びプログラム
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
US9148622B2 (en) * 2011-12-29 2015-09-29 Hong Kong Applied Science and Technology Research Institute Company, Limited Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
EP2826021A4 (en) * 2012-03-15 2016-04-27 Intel Corp HIERARCHICAL MOTION ESTIMATION EMPLOYING NON-LINEAR SCALING AND AN ADAPTIVE SOURCE BLOCK SIZE
KR101908388B1 (ko) * 2012-07-19 2018-10-17 삼성전자 주식회사 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법
KR101977802B1 (ko) * 2012-10-10 2019-05-13 삼성전자주식회사 영상 시스템에서 움직임 추정 장치 및 방법
GB2521491B (en) * 2014-06-17 2016-10-19 Imagination Tech Ltd Motion estimation
CN104811723B (zh) * 2015-04-24 2018-03-16 宏祐图像科技(上海)有限公司 Memc技术中局部运动矢量修正方法
US10880550B2 (en) 2018-04-06 2020-12-29 Comcast Cable Communications, Llc Systems and methods for compressing video
US11025947B2 (en) * 2018-11-29 2021-06-01 Mediatek Inc. Method and apparatus for generating motion field motion vectors for blocks of current frame in on-the-fly manner
CN110062243B (zh) * 2019-04-23 2020-12-11 清华大学深圳研究生院 一种基于近邻优化的光场视频运动估计方法
US20220038654A1 (en) * 2020-07-30 2022-02-03 Nvidia Corporation Techniques to generate interpolated video frames
WO2024020825A1 (en) * 2022-07-27 2024-02-01 Qualcomm Incorporated Block searching procedure for motion estimation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5936671A (en) * 1996-07-02 1999-08-10 Sharp Laboratories Of America, Inc. Object-based video processing using forward-tracking 2-D mesh layers
TW421965B (en) * 1999-03-26 2001-02-11 Ind Tech Res Inst Motion vector correction system and method of video transform encoding
US20040218828A1 (en) * 2003-01-23 2004-11-04 Seiji Aiso Image generating device, image generating method, and image generating program
US20060268988A1 (en) * 2001-09-14 2006-11-30 Shijun Sun Adaptive filtering based upon boundary strength
US20070092111A1 (en) * 2003-09-17 2007-04-26 Wittebrood Rimmert B Motion vector field re-timing

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135454B1 (ko) 2003-09-02 2012-04-13 엔엑스피 비 브이 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5936671A (en) * 1996-07-02 1999-08-10 Sharp Laboratories Of America, Inc. Object-based video processing using forward-tracking 2-D mesh layers
TW421965B (en) * 1999-03-26 2001-02-11 Ind Tech Res Inst Motion vector correction system and method of video transform encoding
US20060268988A1 (en) * 2001-09-14 2006-11-30 Shijun Sun Adaptive filtering based upon boundary strength
US20040218828A1 (en) * 2003-01-23 2004-11-04 Seiji Aiso Image generating device, image generating method, and image generating program
US20070092111A1 (en) * 2003-09-17 2007-04-26 Wittebrood Rimmert B Motion vector field re-timing

Also Published As

Publication number Publication date
US8254439B2 (en) 2012-08-28
CN101883278B (zh) 2015-01-21
US20100284627A1 (en) 2010-11-11
TW201108159A (en) 2011-03-01
CN101883278A (zh) 2010-11-10

Similar Documents

Publication Publication Date Title
TWI410895B (zh) 運動向量校正裝置及其方法
US20060291561A1 (en) Motion error detector, motion error compensator comprising the same, and method for detecting and compensating motion error using the motion error compensator
US20090278991A1 (en) Method for interpolating a previous and subsequent image of an input image sequence
KR100955444B1 (ko) 상태 머신에 기초한 역 텔레시네 알고리즘을 이용한 복수의 비디오 프레임 처리 방법, 장치, 머신 판독가능 매체, 및 비디오 인코딩 프로세서
US20080204592A1 (en) Motion compensated frame rate conversion system and method
EP2564588B1 (en) Method and device for motion compensated video interpoltation
JP2003163894A (ja) 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
JP2006504175A (ja) フォールバックを用いる画像処理装置
EP2224740A1 (en) Detecting occlusion
JP2005318586A (ja) 改良された動きベクトル選択を備える動きベクトル検出
WO2008152951A1 (en) Method of and apparatus for frame rate conversion
WO2009052430A1 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
US20100253835A1 (en) Fade in/fade-out fallback in frame rate conversion and motion judder cancellation
JP4197434B2 (ja) 動き推定の容易化
JP2004537112A (ja) 動き推定のための装置及び方法並びに斯かる動き推定装置が備えられた画像処理装置
EP1849300B1 (en) Conversion of video data from interlaced to non-interlaced format
US7518655B2 (en) Conversion of video data from interlaced to non-interlaced format
JPH08163573A (ja) 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置
US8743959B2 (en) Motion estimation
EP1592256B1 (en) Image status information correction
JPH09233435A (ja) 動きを評価する方法
Pelagotti et al. Scalable motion compensated scan-rate upconversion

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees