TWI419569B - 在數位視訊序列進行瞬時移動向量過濾的方法 - Google Patents

在數位視訊序列進行瞬時移動向量過濾的方法 Download PDF

Info

Publication number
TWI419569B
TWI419569B TW093136777A TW93136777A TWI419569B TW I419569 B TWI419569 B TW I419569B TW 093136777 A TW093136777 A TW 093136777A TW 93136777 A TW93136777 A TW 93136777A TW I419569 B TWI419569 B TW I419569B
Authority
TW
Taiwan
Prior art keywords
vector
vectors
cluster
image
pixel
Prior art date
Application number
TW093136777A
Other languages
English (en)
Other versions
TW200534716A (en
Inventor
Hari N Nair
Original Assignee
Tamiras Per Pte Ltd Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tamiras Per Pte Ltd Llc filed Critical Tamiras Per Pte Ltd Llc
Publication of TW200534716A publication Critical patent/TW200534716A/zh
Application granted granted Critical
Publication of TWI419569B publication Critical patent/TWI419569B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation

Description

在數位視訊序列進行瞬時移動向量過濾的方法
本發明關於增進視訊和圖形處理。
在進步的數位顯示裝置的低顯示更新率(例如，交錯視訊材料的50欄位/秒，膜發源材料的24圖框/秒，會發生稱為”區域閃爍”的顯示問題。因對人類視覺周邊區之閃爍的高靈敏度之故，區域閃爍隨顯示器尺寸增加而變更顯著。降低區域閃爍的簡單方式是以較高速率(例如，交錯視訊的100欄位/秒)重複輸入欄位或圖框來增加顯示更新率。這解決靜態場景的區域閃爍問題。但因肉眼會追蹤移動物體的軌跡之故，重複將新問題引入移動的場景，稱為“移動顫抖”或“移動污跡”，特別是在高對比的區域。因此，移動補償圖框內插較好，在局部移動軌跡之中點的內插圖框或欄位計算像素，因而眼睛追蹤的預期影像移動與顯示影像移動之間無差異。移動向量描繪從一欄位或圖框至下一個的局部影像移動軌跡。
可在空間解析度的不同位準計算移動向量，諸如像素位準、影像修補位準、或物體位準。對每一像素獨立計算移動向量理論上會導致理想資料組，但因所需的大量計算而不可行。對每一影像修補計算移動向量降低計算數目，但會導致在影像修補內的移動向量不連續。以物體為基礎計算移動向量理論上可導致高解析度和較低計算需求，但 物體分段是具挑戰的問題。
因此須有效和準確決定移動向量，使得在數位視訊的預期影像移動與顯示影像移動之間無差異存在。
本發明提供有效和準確決定移動向量的方法和裝置，使得在數位視訊之眼睛追蹤的預期影像移動與顯示影像移動之間無差異存在。
大體上，本發明提供包含電腦程式產品的方法和裝置，實施和使用在數位視訊序列進行瞬時移動向量過濾的技術。接收幾個向量，向量代表包含一個以上的物體和背景之影像修補的潛在移動向量。向量分割成二個以上的向量叢集。對每一向量叢集決定代表向量。測試每一代表向量，決定哪個代表向量最準確反映數位視訊之第一圖框和第二圖框之間的影像修補位移。最準確反映影像修補位移的代表向量選為移動向量。
有利的實施可包含一個以上的下列特性。分割可包含：在向量中識別最分開的二向量來決定第一叢集的第一種子向量和第二叢集的第二種子向量，對每一其他向量，若向量最接近第一種子向量，則將向量置入第一叢集，若向量最接近第二種子向量，則將向量置入第二叢集。決定代表向量可包含：對每一叢集，決定叢集的哪個向量具有與叢集之所有其他向量的最小總距離。每一叢集可代表數位視訊的物體或背景。每一影像修補可包含幾個 像素。一向量可代表發源在第一像素和結束在第二像素的舊移動向量，其他向量發源在第一像素，結束在水平方向或垂直方向不同於第二像素的像素。每一影像修補的尺寸可為8×8像素。
測試每一代表向量可包含：對每一代表向量：定第一窗之中心於一像素而形成該代表向量的起始點；定第二窗之中心於一像素而形成該代表向量的終點；對第一窗的像素和在第二窗之對應位置的像素決定亮度值絕對差總和；選擇具有絕對差最小總和的代表向量做為最準確反映影像修補位移的代表向量。第一和第二窗的尺寸可與影像修補尺寸相同。
本發明之一個以上的實施例的細節見附圖和下文。從說明、圖式、申請專利範圍會明瞭本發明的其他特性、目標、優點。
不同圖式中的類似參考符號表示類似的元件。
本發明提供有效和準確決定移動向量的方法和裝置，使得數位視訊之眼睛追蹤的預期影像移動與顯示影像移動之間無差異存在。使用包含臨時向量分割機制的回歸階層措施以決定移動向量來達成。
通常，為使移動補償措施良好工作，包含本文的回歸階層措施，對物體移動性質做二基本假設：1)移動物體有慣性，2)移動物體大。慣性假設暗示移動向量只隨臨時向量取樣間隔(亦即，數位視訊的圖框率)逐漸改變。 大物體假設暗示移動向量只隨空間向量取樣間隔逐漸改變，亦即，向量欄位平滑且只有極少邊界移動不連續。
回歸階層方法的目標是找出移動向量如下：將來源相關窗用於第一影像圖框，目標相關窗用於隨後影像圖框，放置目標相關窗，而得到與來源相關窗的最佳匹配，亦即，來源相關窗和目標相關窗的內容盡量相似。同時，在來源相關窗和目標相關窗之間進行匹配所需的計算數目須盡量低，而仍尋找整體向量空間限制。為達成這些目的，回歸階層方法使用影像圖框的多重解析度位準。將最高解析度位準的先前最佳移動向量投射至最低解析度位準，測試它和一個以上的更新，先對最低解析度位準決定最佳移動向量。然後此最佳移動向量傳播到較高解析度位準，其中做一些調整並決定新最佳移動向量。新最佳移動向量傳播到另一較高解析度位準，其中做更多調整並決定另一新最佳移動向量。重複此處理，直到到達最高原來解析度位準且對原來解析度位準識別最佳移動向量。
圖1顯示回歸階層處理(100)的一實施例。假設已產生影像圖框的多重解析度位準。如圖1，決定移動向量的回歸階層處理(100)開始將移動向量從先前影像圖框投射至最低解析度位準(步驟102)。一組更新向量產生並測試以找出此最低解析度位準的最佳移動向量(步驟104)。一實施例中，該測試藉由比較以下視窗的對應位置的像素來進行：以移動向量的起始點為中心的來源相關窗，以及以每一更新向量的終點為中心的目標相關窗。比 較可從各別目標窗的對應像素減去來源窗每一像素的亮度值來進行。在此情形，找出來源相關窗和目標相關窗對之絕對差(SAD)的最小總和來界定最佳匹配，最佳移動向量是配合此來源相關窗和目標相關窗對的向量。
在找出最小SAD後，選擇最佳向量(步驟106)。然後處理(100)檢查是否有任何較高解析度位準(步驟108)。若有較高解析度位準，則處理傳播最佳向量至下一較高解析度位準(步驟110)並重複步驟104至108。若無較高解析度位準，則處理前進到步驟112，其中最佳向量選為移動向量並用於移動補償，完成目前圖框的處理。
此措施的優點是在較低位準，像素更新相當於下一較高位準之二個以上的像素的更新，取決於二位準的解析度差。若有例如三解析度位準(1：1、1：2、1：4)和每一位準之+/-1像素的更新，則收斂延遲可能降低四的因數。解析度階層用來加速臨時回歸收斂。此導致重大增進，特別是對含有以高速移動之小物體的圖框。
以1：1、1：2、1：4解析度的三位準之回歸階層機制和4x4像素的影像修補柵為例來詳述本發明，參考圖1-4。圖2-4的向量只代表此實例，解析度位準數目和每一解析度位準之向量的數目和/或類型可隨各種因素而變，諸如計算成本、品質、處理速度等。
圖4顯示影像修補柵(400)，分成4x4像素的影像修補(405)，其中每一像素顯示為圓形(410)。暗像素 (415)代表對像素每一4x4影像修補計算移動向量的位置。如圖4，對像素每一4x4影像修補計算一移動向量，移動向量原點之每一4x4影像修補內的位置相同。圖3顯示圖4之原來像素柵之一半解析度的相同像素柵(400)。圖2顯示最低解析度的相同像素柵(400)，本實例是圖3的一半解析度，或圖4的四分之一解析度。
如圖1和圖2，將移動向量(205)從先前影像投射至最低解析度位準來決定移動向量的回歸階層處理開始(步驟102)，本實例是原來解析度的1：4，顯示於圖2。一實施例中，舊移動向量(205)在投射前過濾，主要處理鄰域含有造成向量不連續之物體背景邊界的情形。一實施例中，去向量鄰域並找出該組鄰域向量的向量中值或進行臨時分割程序來進行過濾。在二情形，過濾的輸出是1：1位準的新基本向量，隨後投射至1：4位準。一序列的第一圖框中，亦即，沒有先前影像時，處理(100)開始零向量做為舊移動向量。一實施例中，視訊中有場景破裂時，亦即，二圖框之間不連續時，也使用零向量。
圖5A顯示臨時向量分割處理(500)的一實施例。如上述，臨時向量分割處理(500)的目的是較佳估計要投射至最低解析度位準的舊移動向量(205)，如圖2。因此，不是僅投射單一移動向量，而是檢查包含多重向量的鄰域(550)，如圖5B。再者，假設向量鄰域(550)包含物體/背景邊界。在選擇最佳移動向量前，臨時向量分割處理(500)試圖分離配合物體的移動向量與配合背景 的移動向量，進一步增進選擇處理。
如圖5A，處理(500)開始從先前影像圖框得到一組鄰域向量(550)。圖5B的組(550)包含九個向量，分別指向影像修補(560)。本實例中，九個相鄰影像修補(560)用來界定鄰域向量，但只有五個(V1至V5，排成X形圖案)用來計算。但可選擇任何數目的向量，鄰域可具有許多不同形狀。一組五個鄰域向量和方形組的影像修補(560)只用於例示目的。
然後處理將該組鄰域向量(550)分割成二叢集(步驟504)。一實施例中，判定哪二向量彼此最遠離並使用這二向量做為二叢集的種子來進行分割。在判定叢集的二種子向量後，根據哪個叢集種子向量最接近，每一其餘向量分到二叢集之一。
接著，處理判定每一叢集的代表向量(步驟506)。判定代表向量的目的是找出各別叢集之最佳代表的現有向量。一實施例中，代表向量判定為在各別叢集與所有其他向量具有最小距離的向量。判定從叢集的每一向量至相同叢集之所有其他向量的距離並將距離相加，可計算最小距離。最小總距離的向量選為代表向量。
當找出二代表向量時，處理判定當影像修補移動各別代表向量所界定的距離和方向時哪個代表向量提供最佳匹配(步驟508)。這可使用二相關窗來完成，定其中一相關窗的中心於向量的起始點，定另一相關窗的中心於向量的終點，判定二相關窗之像素之絕對差(SAD)的最小總 和。以下詳述這如何完成，但為圖5A的目的，重要結果是對二代表向量之一找出最佳匹配。然後處理選擇具有最佳匹配的代表向量做為候選向量(步驟510)。選擇向量隨後投射至最低解析度位準，處理結束。最佳匹配向量代表物體向量，另一向量代表背景向量。
上述分割幫助解決較小邊界細部旁的物體/背景向量不連續，諸如移動車子上的引擎蓋裝飾。由於大部分向量在一叢集而另一叢集只含一個或幾個”脫離”向量，故分割也良好處理不含任何物體邊界的鄰域。
回到圖1和2，在過濾向量投射至最低解析度位準後，一組更新向量(210a-210f)產生並測試，從舊投射移動向量找出+/-1像素或+/-2像素的最小SAD(步驟104)。圖2中，顯示六更新向量(210a-210f)，由於水平運動通常大於垂直運動，故有水平方向的二個+/-1像素和二個+/-2像素，和垂直方向的二個+/-1像素。但對投射向量(205)可在任何水平和/或垂直位置產生和測試任何數目的更新向量。一實施例中，預測的相機向量也投射至1：4位準。相機向量詳述如下。
一實施例中，令影像修補的候選向量(都發自來源圖框的相同影像修補位置)指向目標圖框的不同像素位置來計算SAD。對每一候選向量，定矩形窗的中心於各別候選向量所指之像素上的目標圖框。定對應矩形窗的中心於候選向量發源之像素上的來源圖框。然後計算二窗之對應亮度像素(亦即，在二窗內有相同相對位置的像素)的一對 絕對差。所有絕對差總和是SAD值。SAD隨窗匹配變好而減少，當像素相同時，理想上是零。實際上，當然，因雜訊和其他因素之故，最佳向量有非零SAD，但在該組候選向量具有向量的最小SAD。
在最小SAD找出最佳向量後，亦即，選擇最小SAD(210f)的向量並儲存於記憶體(步驟106)。然後處理檢查是否有任何較高解析度位準(步驟108)。如上述，此實例中，有二較高解析度位準，所以最佳向量(210f)投射至圖3的1：2解析度位準(步驟110)。在投射至1：2位準後，一組更新向量(305a-305d)產生在最佳向量(210f)旁(步驟104)。在此位準，第二組更新向量(310a-310d)也產生在投射至1：2解析度位準的舊1：1過濾向量(205)旁。在所有更新向量中計算最小SAD來找出新最佳向量(305a)，如同在1：4解析度位準。然後選擇最佳更新向量並儲存於記憶體(步驟106)。
然後處理再度檢查是否有任何較高解析度位準(步驟108)。此時，有一較高解析度位準留在解析度角錐，所以處理再度回到步驟104，其中圖3之1：2解析度位準的最佳向量(305a)過濾並投射至圖4的最高1：1解析度位準。一組更新向量(405a-405d)產生在投射和過濾的最佳向量(305a)旁(步驟104)。在此位準，第二組更新向量(410a-410d)也產生在舊1：1過濾向量旁。第三組更新向量(420a-420d)產生在相機向量(415)旁。
相機向量描繪圖框內容全域運動，相較於在完全獨立 計算之每一影像修補位置的局部向量，因此可用來協助找出較佳真移動向量。幾個共同發生情況中，導自在圖框每一位置之相機運動的移動向量能以簡單模型容易預測。例如，若相機鏡頭拍攝橫越遠方風景，則所有移動向量相同並相當於相機速度。另一情況是當相機鏡頭變焦於平坦表面上的物體，諸如牆上的照片。然後所有移動向量具有徑向，從影像中心的零增加至影像周邊的最大值。
一實施例中，處理嘗試將數學模型用於移動向量，使用最小平方方法來計算。相機移動向量和數學模型之間的好配合代表上述其中一情況可能存在，然後相機模型預測向量可做為下一回歸階層向量估計步驟的另外候選向量。考慮相機向量，回歸階層尋找的回歸部分是局部尋找措施，可收斂成假局部最小而非真最小。相機預測向量候選可能幫助避免測到假局部最小，將處理引導向真最小。
然後找出新最佳向量(405d)，如同1：4和1：2解析度位準(步驟106)，儲存於記憶體。然後處理再度檢查是否有任何較高解析度位準(步驟108)。此時無較高解析度位準，所以處理前進到步驟112，其中選擇最佳向量並用於移動補償，完成目前圖框的處理。
對圖框之像素的所有4x4影像修補進行上述處理，根據判定移動向量，來源圖框和目標圖框之間可做圖框內插，因而在眼睛追蹤之預期影像移動和顯示影像移動之間無差異。
從上述可知，本發明提供平滑和準確向量欄位，只公 平使用少量計算。再者，因解析度的多重位準而降低收斂延遲。相較於傳統措施，可使用較少解析度位準，較低位準的向量誤差因較高解析度位準的解析度改變而不放大。在對先前影像對所判定的移動向量過濾中進行臨時向量分割可幫助解決較小邊界細部旁的物體-背景向量不連續，例如，移動車子上的引擎蓋裝飾，或類似類型的細部。同時，臨時向量分割不會不利影響不含物體邊界的影像區。脫離向量(亦即不正確向量)脫離好的向量，所以程序仍有利。
本發明可實施在數位電子電路、或電腦硬體、韌體、軟體、或其組合。本發明的裝置可實施在機讀儲存裝置的電腦程式產品而由可程式處理器來執行；本發明的方法步驟可由執行指令程式的程式處理器來進行，運算輸入資料和產生輸出來進行本發明的功能。本發明可實施在一個以上的電腦程式，可在包含至少一可程式處理器的可程式系統上執行，接收和傳輸資料和指令到資料儲存系統、至少一輸入裝置、至少一輸出裝置。每一電腦程式可實施在高位準程序或物件導向程式語言、或組合或機器語言；在任何情形，語言可為編譯或解譯語言。適當處理器包含一般和特殊用途微處理器。通常，處理器從唯讀記憶體和/或隨機存取記憶體接收指令和資料。通常，電腦包含一個以上的大量儲存裝置以儲存資料檔案；此裝置包含諸如內部磁碟和可抽取磁碟的磁碟；磁光碟；光碟。適於實施電腦程式指令和資料的儲存裝置包含所有形式的非揮發性記憶 體，包含諸如EPROM、EEPROM、快閃記憶體裝置的半導體記憶體裝置；諸如內部磁碟和可抽取磁碟的磁碟；磁光碟；CD-ROM光碟。都可併入ASIC(特殊應用積體電路)。
圖6顯示用來實施本發明的電腦系統600。電腦系統600只是可實施本發明之圖形系統的實例。電腦系統600包含中央處理單元(CPU)(610)、隨機存取記憶體(RAM)(620)，唯讀記憶體(ROM)(625)、一個以上的周邊(630)、圖形控制器(660)、主要儲存裝置(640和650)、數位顯示單元(670)。ROM用來單向轉移資料和指令至CPU(610)，而RAM(620)通常用來以雙向方式轉移資料和指令。CPU(610)通常可包含任何數目的處理器。二主要儲存裝置(640和650)可包含任何適當電腦可讀媒體。通常是大量記憶體裝置的次要儲存媒體(680)也雙向耦合到CPU(610)，提供額外資料儲存能力。大量記憶體裝置(680)是電腦可讀媒體，可用來儲存包含電腦碼、資料之類的程式。通常，大量記憶體裝置(680)是諸如硬碟或磁帶的儲存媒體，通常比主要儲存裝置(640，650)慢。大量記憶體儲存裝置(680)可為讀卡機或一些其他已知裝置的形式。在適當情形，保持在大量記憶體裝置(680)內的資訊可併入為RAM(620)的部分做為虛擬記憶體。
CPU(610)也耦合到一個以上的輸入/輸出裝置(690)，可包含但不限於諸如視訊裝置的監視器、軌跡 球、滑鼠、鍵盤、麥克風、觸控顯示器、讀卡機、讀帶機、平板電腦、聲音或手寫辨識器、或諸如其他電腦的其他已知輸入裝置。最後，CPU(610)可選擇性耦合到電腦或通訊網路，例如，網際網路或內部網路，使用網路連接如(695)。以此網路連接，CPU(610)可從網路接收資訊，或在進行上述方法步驟的過程可輸出資訊到網路。通訊表示成要使用CPU(610)來執行之指令序列的此資訊，可接收自和輸出到網路，例如，以載波之電腦資料信號的形式。熟習電腦硬體和軟體技藝的人熟悉上述裝置和材料。
圖形控制器(660)產生影像資料和對應參考信號，提供二者給數位顯示單元(670)。影像資料可根據接收自CPU(610)或外部編碼(未顯示)的像素資料產生。一實施例中，影像資料為RGB格式，參考信號包含VSYNC和HSYNC信號。但本發明能以其他格式的資料和/或參考信號來實施。
本發明得由熟悉技藝之人任施匠思而為諸般修飾，然皆不脫如申請專利範圍所欲保護者。例如，除了中間層的階層和臨時向量，相機模型產生的向量也可做為SAD計算的候選。再者，產生如上的移動向量可用於圖框率轉換之外的其他目的，諸如去交錯、雜訊降低等。
400‧‧‧柵
205‧‧‧移動向量
210a‧‧‧更新向量
210b‧‧‧更新向量
210c‧‧‧更新向量
210d‧‧‧更新向量
210e‧‧‧更新向量
210f‧‧‧更新向量
305a‧‧‧更新向量
305b‧‧‧更新向量
305c‧‧‧更新向量
305d‧‧‧更新向量
310a‧‧‧更新向量
310b‧‧‧更新向量
310c‧‧‧更新向量
310d‧‧‧更新向量
405‧‧‧影像修補
410‧‧‧圓形
415‧‧‧暗像素
405a‧‧‧更新向量
405b‧‧‧更新向量
405c‧‧‧更新向量
405d‧‧‧更新向量
410a‧‧‧更新向量
410b‧‧‧更新向量
410c‧‧‧更新向量
410d‧‧‧更新向量
420a‧‧‧更新向量
420b‧‧‧更新向量
420c‧‧‧更新向量
420d‧‧‧更新向量
600‧‧‧電腦系統
610‧‧‧中央處理單元
620‧‧‧隨機存取記憶體
625‧‧‧唯讀記憶體
630‧‧‧周邊
660‧‧‧圖形控制器
640‧‧‧主要儲存裝置
650‧‧‧主要儲存裝置
670‧‧‧數位顯示單元
680‧‧‧次要儲存裝置
690‧‧‧輸入/輸出裝置
695‧‧‧網路
圖1顯示判定移動向量之回歸階層處理的流程圖。
圖2顯示以視訊圖框原來解析度之1：4解析度判定 最佳移動向量的向量實例。
圖3顯示以視訊圖框原來解析度之1：2解析度判定最佳移動向量的向量實例。
圖4顯示以視訊圖框原來解析度判定最佳移動向量的向量實例。
圖5A顯示進行臨時向量分割之處理的流程圖。
圖5B顯示可用於臨時向量分割處理的一組鄰域向量。
圖6顯示用來實施本發明的電腦系統。

Claims (11)

  1. 一種在數位視訊序列進行瞬時移動向量過濾的方法，包括：接收複數個向量，該等向量代表包含一個以上的物體和背景移動向量之影像修補的潛在移動向量；於該影像修補之內，將複數個向量分割成二個以上的向量叢集；於該影像修補之內，對每一向量叢集判定代表向量；測試每一代表向量：定第一窗的中心於一像素而形成該代表向量的起始點；定第二窗的中心於一像素而形成該代表向量的終點；對第一窗的像素和在第二窗之對應位置的像素決定亮度值絕對差總和；從中選擇具有絕對差最小總和的代表向量做為最準確反映影像修補位移的代表向量，亦即判定哪個代表向量最準確反映數位視訊之第一圖框和第二圖框之間的影像修補位移；以及選擇該最準確反映影像修補位移的代表向量做為移動向量。
  2. 如申請專利範圍第1項的方法，其中分割包含：在複數個向量中識別最分開的二向量來判定第一叢集的第一種子向量和第二叢集的第二種子向量； 對複數個向量的每一其他向量：若向量最接近第一種子向量，則將向量置入第一叢集；若向量最接近第二種子向量，則將向量置入第二叢集。
  3. 如申請專利範圍第1項的方法，其中判定代表向量包含：對每一叢集，判定叢集的哪個向量具有與叢集之所有其他向量的最小總距離。
  4. 如申請專利範圍第1項的方法，其中每一叢集代表數位視訊的物體或背景。
  5. 如申請專利範圍第1項的方法，其中每一影像修補包含複數個像素。
  6. 如申請專利範圍第1項的方法，其中複數個向量的一向量代表發源在第一像素和結束在第二像素的舊移動向量，且複數個向量的其他向量發源在第一像素，結束在水平方向或垂直方向不同於第二像素的像素。
  7. 如申請專利範圍第1項的方法，其中每一影像修補的尺寸是8×8像素。
  8. 如申請專利範圍第1項的方法，其中第一和第二窗的尺寸與影像修補尺寸相同。
  9. 如申請專利範圍第1項的方法，進一步包含傳播該所判定之代表向量到較高解析度位準。
  10. 如申請專利範圍第9項的方法，進一步包含產生 一組更新向量。
  11. 如申請專利範圍第10項的方法，進一步包含根據由該更新向量所需要之調整，從舊的代表向量判定一新的代表向量。
TW093136777A 2003-12-23 2004-11-29 在數位視訊序列進行瞬時移動向量過濾的方法 TWI419569B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US53243503P 2003-12-23 2003-12-23
US10/833,198 US7480334B2 (en) 2003-12-23 2004-04-26 Temporal motion vector filtering

Publications (2)

Publication Number Publication Date
TW200534716A TW200534716A (en) 2005-10-16
TWI419569B true TWI419569B (zh) 2013-12-11

Family

ID=34556583

Family Applications (1)

Application Number Title Priority Date Filing Date
TW093136777A TWI419569B (zh) 2003-12-23 2004-11-29 在數位視訊序列進行瞬時移動向量過濾的方法

Country Status (6)

Country Link
US (3) US7480334B2 (zh)
EP (1) EP1548647A3 (zh)
JP (1) JP4991101B2 (zh)
KR (1) KR101130060B1 (zh)
SG (1) SG112932A1 (zh)
TW (1) TWI419569B (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499494B2 (en) * 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
US7457438B2 (en) 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
EP1592248B1 (en) * 2004-04-30 2006-09-20 Matsushita Electric Industrial Co., Ltd. Motion vector estimation employing adaptive temporal prediction
DE602004030993D1 (de) * 2004-04-30 2011-02-24 Panasonic Corp Bewegungsschätzung unter Verwendung von adaptiven räumlichen Verfeinerungsvektoren
US8195659B2 (en) 2005-08-23 2012-06-05 Ricoh Co. Ltd. Integration and use of mixed media documents
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US8086038B2 (en) 2007-07-11 2011-12-27 Ricoh Co., Ltd. Invisible junction features for patch recognition
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8144921B2 (en) * 2007-07-11 2012-03-27 Ricoh Co., Ltd. Information retrieval using invisible junctions and geometric constraints
US8856108B2 (en) * 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US9373029B2 (en) * 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US8276088B2 (en) * 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8868555B2 (en) * 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US7970171B2 (en) * 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US7812986B2 (en) * 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US8005831B2 (en) 2005-08-23 2011-08-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment with geographic location information
US8156427B2 (en) 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8184155B2 (en) * 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US8156115B1 (en) 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US8332401B2 (en) 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US7991778B2 (en) 2005-08-23 2011-08-02 Ricoh Co., Ltd. Triggering actions with captured input in a mixed media environment
US8369655B2 (en) * 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
GB0500332D0 (en) * 2005-01-08 2005-02-16 Univ Bristol Enhanced error concealment
US20060262860A1 (en) * 2005-02-23 2006-11-23 Chou Jim C Macroblock adaptive frame/field coding architecture for scalable coding
US7620108B2 (en) * 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction
US7596243B2 (en) * 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US7894527B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US7957466B2 (en) * 2005-09-16 2011-06-07 Sony Corporation Adaptive area of influence filter for moving object boundaries
US20070064805A1 (en) * 2005-09-16 2007-03-22 Sony Corporation Motion vector selection
US7885335B2 (en) * 2005-09-16 2011-02-08 Sont Corporation Variable shape motion estimation in video sequence
US8059719B2 (en) * 2005-09-16 2011-11-15 Sony Corporation Adaptive area of influence filter
US8165205B2 (en) * 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
KR20070069615A (ko) 2005-12-28 2007-07-03 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
US7916791B2 (en) * 2006-06-16 2011-03-29 International Business Machines Corporation Method and system for non-linear motion estimation
US20070296855A1 (en) * 2006-06-22 2007-12-27 Yunwei Jia Video processing using region-based statistical measurements
US8489987B2 (en) * 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US8073263B2 (en) 2006-07-31 2011-12-06 Ricoh Co., Ltd. Multi-classifier selection and monitoring for MMR-based image recognition
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9176984B2 (en) * 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US8201076B2 (en) * 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US8676810B2 (en) * 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
KR100855976B1 (ko) * 2007-02-02 2008-09-02 삼성전자주식회사 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
US8208551B2 (en) * 2007-10-31 2012-06-26 Broadcom Corporation Method and system for hierarchically layered adaptive median motion vector smoothing
CN101878486B (zh) * 2007-11-30 2016-10-26 杜比实验室特许公司 处理运动图像序列的方法和设备
US8559518B2 (en) * 2008-06-30 2013-10-15 Samsung Electronics Co., Ltd. System and method for motion estimation of digital video using multiple recursion rules
JP2010020594A (ja) * 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
WO2011074121A1 (ja) * 2009-12-18 2011-06-23 株式会社 東芝 動きベクトル検出装置及び方法
CN101727243B (zh) * 2010-02-02 2014-04-30 中兴通讯股份有限公司 一种触摸屏校准参数的获取方法及装置
US20120113326A1 (en) * 2010-11-04 2012-05-10 Stmicroelectronics, Inc. System and method for detecting motion vectors in a recursive hierarchical motion estimation system using a non-rasterized scan
TWI424377B (zh) * 2011-04-01 2014-01-21 Altek Corp 多畫面中物體的移動分析方法
CN102760296B (zh) * 2011-04-29 2014-12-10 华晶科技股份有限公司 多画面中物体的移动分析方法
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9438910B1 (en) 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding
US10134110B1 (en) * 2015-04-01 2018-11-20 Pixelworks, Inc. Temporal stability for single frame super resolution
US10136155B2 (en) 2016-07-27 2018-11-20 Cisco Technology, Inc. Motion compensation using a patchwork motion field
CN106454347B (zh) * 2016-09-09 2019-04-12 上海兆芯集成电路有限公司 帧分辨率决定方法以及使用该方法的装置
US11546199B2 (en) 2018-02-13 2023-01-03 Hitachi Energy Switzerland Ag Packet detection and timing synchronization for high performance wireless communications in substation automation
US11315256B2 (en) * 2018-12-06 2022-04-26 Microsoft Technology Licensing, Llc Detecting motion in video using motion vectors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583580A (en) * 1994-10-08 1996-12-10 Daewoo Electronics Co., Ltd. Method and apparatus for detecting motion vectors based on hierarchical motion estimation
CA2762054A1 (en) * 2002-01-09 2003-07-24 Panasonic Corporation Motion vector coding method and motion vector decoding method
WO2003090473A1 (fr) * 2002-04-19 2003-10-30 Matsushita Electric Industrial Co., Ltd. Procede de calcul de vecteurs de mouvement

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4125856A (en) 1977-08-19 1978-11-14 Bell Telephone Laboratories, Incorporated Digital encoding and decoding of color video signals
US4652907A (en) 1985-03-25 1987-03-24 Rca Corporation Apparatus for adaptively controlling a video signal recursive filter
US4651211A (en) 1986-01-17 1987-03-17 Rca Corporation Video signal motion detecting apparatus
DE3685589T2 (de) 1986-03-19 1993-02-04 British Broadcasting Corp Videosignal-verarbeitung fuer bandbreitenverringerung.
JPS63123293A (ja) * 1986-11-12 1988-05-27 Matsushita Electric Ind Co Ltd 動き検出回路
DE3850709T2 (de) 1987-06-09 1994-11-24 Sony Corp Reduzierung der Bewegungsvektoren in Fernsehbildern.
JP2737146B2 (ja) 1988-04-08 1998-04-08 ソニー株式会社 カラー映像信号の動き検出回路
JP2942261B2 (ja) 1988-04-28 1999-08-30 三菱電機株式会社 動き検出回路
JPH01318491A (ja) 1988-06-20 1989-12-22 Hitachi Ltd 動き検出回路及びエッジ検出回路
FR2633468B1 (fr) 1988-06-24 1990-11-09 France Etat Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees
US5032914A (en) 1988-12-28 1991-07-16 Nec Home Electronics Ltd. Movement detection and y/c separation circuit for detecting a movement in a television display picture
JPH07105949B2 (ja) * 1989-03-20 1995-11-13 松下電器産業株式会社 画像の動きベクトル検出装置および揺れ補正装置
JP3231309B2 (ja) 1990-01-26 2001-11-19 株式会社日立製作所 動き情報信号検出回路
KR940002196B1 (ko) 1990-03-27 1994-03-18 미쯔비시덴끼 가부시끼가이샤 움직임 적응형 휘도신호 색신호 분리 필터
DE69029999T2 (de) 1990-07-20 1997-08-14 Philips Electronics Nv Vorrichtung zur Verarbeitung von Bewegungsvektoren
US6246827B1 (en) 1990-08-17 2001-06-12 Samsung Electronics Co., Ltd. Deemphasis and subsequent reemphasis of high-energy reversed-spectrum components of a folded video signal
JP3344957B2 (ja) 1990-09-07 2002-11-18 株式会社リコー 画像処理方法
JPH04248722A (ja) * 1991-02-05 1992-09-04 Seiko Epson Corp データ符号化方法
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5799111A (en) 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
JP3242948B2 (ja) 1991-07-19 2001-12-25 株式会社東芝 動き検出回路
US5259040A (en) 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
JP3177543B2 (ja) 1992-07-22 2001-06-18 トウシバビデオプロダクツ プライベート リミテッド 映像信号のノイズ低減装置
US5596659A (en) 1992-09-01 1997-01-21 Apple Computer, Inc. Preprocessing and postprocessing for vector quantization
US5539663A (en) 1993-11-24 1996-07-23 Intel Corporation Process, apparatus and system for encoding and decoding video signals using temporal filtering
GB2286740B (en) 1994-02-21 1998-04-01 Sony Uk Ltd Coding and decoding of video signals
US5519438A (en) 1994-06-30 1996-05-21 Intel Corporation Computer with a video subsystem that contains timers which are used to create calibration tables correlating time intervals with the decoding and converting of video input signals
EP0700205A3 (en) 1994-08-31 1997-04-02 Toshiba Kk Multimedia television receiver and initialization process therefor
JPH0879760A (ja) * 1994-09-05 1996-03-22 Oki Electric Ind Co Ltd 動きベクトル検出回路
US6178265B1 (en) 1994-09-22 2001-01-23 Intel Corporation Method and apparatus for motion vector compression
JPH08163583A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd ３次元輝度信号色信号分離装置
JPH08191447A (ja) * 1995-01-06 1996-07-23 Olympus Optical Co Ltd 動き補償フレーム間符号化方式の動きベクトル検出装置
CN1127906A (zh) 1995-01-26 1996-07-31 大宇电子株式会社 运动矢量检测设备
JP3916661B2 (ja) * 1995-03-14 2007-05-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号の動き補償内挿方法、そのための装置及び画像信号表示装置
JP3480477B2 (ja) 1995-07-26 2003-12-22 ソニー株式会社 動き検出回路および動き検出方法、並びに輝度・色信号分離装置
JP2001224036A (ja) * 1995-10-18 2001-08-17 Sharp Corp 動画像符号化装置
US5819035A (en) 1995-10-20 1998-10-06 Matsushita Electric Industrial Co., Ltd. Post-filter for removing ringing artifacts of DCT coding
EP0772365A3 (en) 1995-11-02 1999-05-12 Matsushita Electric Industrial Co., Ltd. Method and device for filtering a picture signal, and encoding/decoding using the same
US6041145A (en) 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
GB2311183A (en) 1996-03-13 1997-09-17 Innovision Plc Gradient based motion estimation
KR100202565B1 (ko) 1996-03-23 1999-06-15 구자홍 복합영상신호의 3차원 휘도/색신호 분리 장치
US5764803A (en) 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
EP0840982B1 (en) * 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
US6101276A (en) 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US5844623A (en) 1996-09-27 1998-12-01 Sony Corporation Television with integrated receiver decoder
US5943445A (en) 1996-12-19 1999-08-24 Digital Equipment Corporation Dynamic sprites for encoding video data
JP3502525B2 (ja) 1997-02-20 2004-03-02 日本電信電話株式会社 カメラパラメータ推定方法
US5987164A (en) 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6236763B1 (en) 1997-09-19 2001-05-22 Texas Instruments Incorporated Method and apparatus for removing noise artifacts in decompressed video signals
US6014182A (en) 1997-10-10 2000-01-11 Faroudja Laboratories, Inc. Film source video detection
US6178205B1 (en) 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6128047A (en) 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
US6034733A (en) 1998-07-29 2000-03-07 S3 Incorporated Timing and control for deinterlacing and enhancement of non-deterministically arriving interlaced video data
EP1048173A1 (en) 1998-11-17 2000-11-02 Koninklijke Philips Electronics N.V. Method of transcoding coded video signals and corresponding transcoder with motion vector selection
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
KR20010041862A (ko) 1999-01-12 2001-05-25 요트.게.아. 롤페즈 카메라 움직임 파라미터 추정방법
US6658059B1 (en) 1999-01-15 2003-12-02 Digital Video Express, L.P. Motion field modeling and estimation using motion transform
AU3528900A (en) 1999-03-12 2000-09-28 Fortel Dtv, Inc. Composite video decoder
US6462790B1 (en) 1999-03-12 2002-10-08 Fortel Dtv, Inc. Digital comb filter for decoding composite video signals
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
US6909469B2 (en) 1999-08-11 2005-06-21 Silicon Image, Inc. Interlace motion artifact detection using vertical frequency detection and analysis
US6809758B1 (en) 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
JP2001224040A (ja) 2000-02-08 2001-08-17 Oki Electric Ind Co Ltd 輝度及び色差分離回路
US6359658B1 (en) 2000-03-06 2002-03-19 Philips Electronics North America Corporation Subjective noise measurement on active video signal
DE10037491A1 (de) 2000-08-01 2002-02-14 Stryker Leibinger Gmbh & Co Kg Verfahren zum dreidimensionalen Visualisieren von Strukturen im Körperinneren
US7113545B2 (en) 2000-08-28 2006-09-26 Thomson Licensing Method and apparatus for motion compensated temporal interpolation of video sequences
JP2002165109A (ja) * 2000-11-24 2002-06-07 Matsushita Electric Ind Co Ltd 動きベクトル検出装置および動きベクトル検出方法
US7027102B2 (en) 2001-02-08 2006-04-11 Frank Sacca Software decoding of composite video without a phase-locked loop
US6738099B2 (en) 2001-02-16 2004-05-18 Tektronix, Inc. Robust camera motion estimation for video sequences
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
US6909750B2 (en) 2001-05-01 2005-06-21 Koninklijke Philips Electronics N.V. Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
KR100393066B1 (ko) 2001-06-11 2003-07-31 삼성전자주식회사 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
WO2002102086A2 (en) 2001-06-12 2002-12-19 Miranda Technologies Inc. Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
US7003173B2 (en) 2001-06-12 2006-02-21 Sharp Laboratories Of America, Inc. Filter for combined de-ringing and edge sharpening
US6774954B1 (en) 2001-06-28 2004-08-10 Ndsp Corporation Apparatus and method for adaptive three dimensional television Y/C separation comb filter bank
KR100913846B1 (ko) 2001-07-10 2009-08-26 엔엑스피 비 브이 모션 추정의 방법과 유닛 및 그러한 모션 추정 유닛에제공되는 이미지 처리 장치
US8275047B2 (en) 2001-09-20 2012-09-25 Xilinx, Inc. Method and device for block-based conditional motion compensation
US7227896B2 (en) 2001-10-04 2007-06-05 Sharp Laboratories Of America, Inc. Method and apparatus for global motion estimation
KR100396558B1 (ko) 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7408988B2 (en) 2002-12-20 2008-08-05 Lsi Corporation Motion estimation engine with parallel interpolation and search hardware
KR20040062257A (ko) 2003-01-02 2004-07-07 삼성전자주식회사 움직임 보상에 기반한 개선된 노이즈 예측 방법 및 그장치와 이를 사용한 동영상 부호화 방법 및 그 장치
WO2004066624A1 (en) * 2003-01-23 2004-08-05 Koninklijke Philips Electronics N.V. Background motion vector detection
US7046306B2 (en) 2003-03-31 2006-05-16 Texas Instruments Incorporated Processing a video signal using motion estimation to separate luminance information from chrominance information in the video signal
US7142601B2 (en) 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
WO2005013623A1 (en) * 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Multi-view image generation
US20070092111A1 (en) 2003-09-17 2007-04-26 Wittebrood Rimmert B Motion vector field re-timing
US7203237B2 (en) 2003-09-17 2007-04-10 Texas Instruments Incorporated Transcoders and methods
KR100564592B1 (ko) 2003-12-11 2006-03-28 삼성전자주식회사 동영상 데이터 잡음제거방법
US7346226B2 (en) 2003-12-16 2008-03-18 Genesis Microchip Inc. Method and apparatus for MPEG artifacts reduction
TWI229556B (en) 2003-12-22 2005-03-11 Sunplus Technology Co Ltd Method of motion detection for 3D comb filter video decoder
US7346109B2 (en) 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7457438B2 (en) 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7324163B2 (en) 2003-12-23 2008-01-29 Genesis Microchip Inc. Sub-carrier detection (SCD) for motion threshold logic
US7499494B2 (en) 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7535515B2 (en) 2003-12-23 2009-05-19 Ravi Ananthapur Bacche Motion detection in video signals
US7397515B2 (en) 2004-01-30 2008-07-08 Broadcom Corporation Method and system for cross-chrominance removal using motion detection
JP2005304005A (ja) 2004-04-13 2005-10-27 Samsung Electronics Co Ltd ビデオフレームに対する動き推定方法及びビデオエンコーダ
US20060077306A1 (en) 2004-10-13 2006-04-13 Genesis Microchip Inc. Frequency content motion detection
US7349033B2 (en) 2005-05-23 2008-03-25 Texas Instruments Incorporated Systems and methods for correcting color phase error in video systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583580A (en) * 1994-10-08 1996-12-10 Daewoo Electronics Co., Ltd. Method and apparatus for detecting motion vectors based on hierarchical motion estimation
CA2762054A1 (en) * 2002-01-09 2003-07-24 Panasonic Corporation Motion vector coding method and motion vector decoding method
WO2003090473A1 (fr) * 2002-04-19 2003-10-30 Matsushita Electric Industrial Co., Ltd. Procede de calcul de vecteurs de mouvement

Also Published As

Publication number Publication date
EP1548647A3 (en) 2006-05-31
US20090116557A1 (en) 2009-05-07
US20140056358A1 (en) 2014-02-27
KR20050065297A (ko) 2005-06-29
JP2005182829A (ja) 2005-07-07
TW200534716A (en) 2005-10-16
KR101130060B1 (ko) 2012-03-28
US8588306B2 (en) 2013-11-19
US7480334B2 (en) 2009-01-20
SG112932A1 (en) 2005-07-28
EP1548647A2 (en) 2005-06-29
US20050135483A1 (en) 2005-06-23
JP4991101B2 (ja) 2012-08-01

Similar Documents

Publication Publication Date Title
TWI419569B (zh) 在數位視訊序列進行瞬時移動向量過濾的方法
TWI352937B (en) Motion compensated frame rate conversion
US10782688B2 (en) Method, control apparatus, and system for tracking and shooting target
TWI241536B (en) Method and apparatus for estimating motion of image region
US9277129B2 (en) Robust image feature based video stabilization and smoothing
TWI359387B (en) Robust camera pan vector estimation using iterativ
US8335257B2 (en) Vector selection decision for pixel interpolation
JP2008118555A (ja) 画像処理装置、撮像装置、及び画像処理方法
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和系统
US20110037895A1 (en) System And Method For Global Inter-Frame Motion Detection In Video Sequences
WO2003041015A1 (en) A method for computing optical flow under the epipolar constraint
Kristan et al. A local-motion-based probabilistic model for visual tracking
JP4496595B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
Buchanan et al. Combining local and global motion models for feature point tracking
Lin et al. Enhanced multi-view dancing videos synchronisation
JP2007287006A (ja) 移動物体追跡装置及びプログラム
WO2022102236A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN108492314B (zh) 基于颜色特性和结构特征的车辆跟踪方法
JP7113193B2 (ja) 選手状態特定方法および選手状態特定装置
JP2009100017A (ja) 画像処理装置及び方法、並びにプログラム
Chang et al. Video Inpainting Based on Multi-Layer Approach