TW200529103A - Motion compensated frame rate conversion - Google Patents

Motion compensated frame rate conversion Download PDF

Info

Publication number
TW200529103A
TW200529103A TW093136776A TW93136776A TW200529103A TW 200529103 A TW200529103 A TW 200529103A TW 093136776 A TW093136776 A TW 093136776A TW 93136776 A TW93136776 A TW 93136776A TW 200529103 A TW200529103 A TW 200529103A
Authority
TW
Taiwan
Prior art keywords
vector
image
motion vector
resolution
image frame
Prior art date
Application number
TW093136776A
Other languages
English (en)
Other versions
TWI352937B (en
Inventor
Hari N Nair
Gordon Petrides
Original Assignee
Genesis Microchip Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34681689&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TW200529103(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Genesis Microchip Inc filed Critical Genesis Microchip Inc
Publication of TW200529103A publication Critical patent/TW200529103A/zh
Application granted granted Critical
Publication of TWI352937B publication Critical patent/TWI352937B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Description

200529103 (1) 九、發明說明 【發明所屬之技術領域】 本發明關於增進視訊和圖形處理。 【先前技術】 在進步的數位顯示裝置的低顯示更新率(例如,交錯 視訊材料的5 0圖場/秒,膜發源材料的2 4圖框/秒)會發 生稱爲’’區域閃爍’’的顯示問題。因對人類視覺周邊區對 閃爍的局靈敏度之故,區域閃爍隨顯示器尺寸增加而變更 顯著。降低區域閃爍的簡單方式是以較高速率(例如,交 錯視訊的1 00圖場/秒)重複輸入圖場或圖框來增加顯示 更新率。這解決靜態場景的區域閃爍問題。但因肉眼會追 蹤移動物體的軌跡之故,重複將新問題引入移動的場景, 稱爲’’移動顫抖”或’’移動污跡”,特別是在高對比的區 域。因此,移動補償圖框內插較好,在局部移動軌跡之中 點的內插圖框或圖場計算像素,因而眼睛追蹤的預期影像 移動與顯示影像移動之間無差異。移動向量描繪從一圖場 或圖框至下一個的局部影像移動軌跡。 可在空間解析度的不同位準計算移動向量,諸如像素 位準、影像修補位準、或物體位準。對每一像素獨立計算 移動向量理論上會導致理想資料組,但因所需的大量計算 而不可行。對每一影像修補計算移動向量降低計算數目, 但會導致在影像修補內的移動向量不連續。以物體爲基礎 計算移動向量理論上可導致高解析度和較低計算需求,但 -4- 200529103 (2) 物體分段是具挑戰的問題。 因此須有效和準確判定移動向量,使得在數位視訊中 由於眼睛追蹤的預期影像移動與顯示影像移動之間無差異 存在。 【發明內容】 本發明提供有效和準確判定移動向量的方法和裝置, 使得在數位視訊之眼睛追蹤的預期影像移動與顯示影像移 動之間無差異存在。 大體上,本發明提供包含電腦程式產品的方法和裝置 ,實施和使用在數位視訊序列計算移動向量的技術。以第 一解析度接收第一影像圖框。第一影像圖框包含幾個各有 各別第一位置的影像修補。以第一解析度接收第二影像圖 框。第二影像圖框包含對應於第一影像圖框之影像修補的 一個或以上的影像修補,每一影像修補具有各別第二位置 。對具有第二影像圖框之對應影像修補之第一影像圖框的 每一影像修補判定移動向量。判定包含產生第一和第二影 像圖框各二個或以上的拷貝,每一拷貝具有低於第一解析 度的不同解析度,並以每一解析度在複數個向量中選擇最 佳移動向量。判定的移動向量用來建立第一和第二圖框之 間之內插圖框之影像修補的中間位置。 有利的實施可包含一個以上的下列特性。判定可包含 :a )以最低解析度選擇第一影像圖框的拷貝;b )選擇對 前一'對影像圖框所判疋的移動向重,c )將選擇移動向量 -5- 200529103 (3) 投射到第一影像圖框的選擇拷貝;d )在第一影像圖框的 選擇拷貝產生一個以上的更新向量;e )在投射向量和更 新向量中選擇新最佳移動向量;f)以較高解析度位準選 擇第一影像圖框的新拷貝;g )重複步驟c )至f),直到 到達第一解析度;h )使用第一解析度位準的選擇最佳移 動向量做爲判定的移動向量。每一影像修補可包含複數個 像素,可爲8 X 8。 產生二個以上的拷貝可包含產生第一和第二影像圖框 各二拷貝,每一拷貝具有低於第一解析度的不同解析度。 選擇移動向量可包含:若該對影像圖框之間不存在連續性 ,或若先前影像圖框不存在,則選擇零向量爲移動向量。 選擇移動向量可包含過濾從前對影像圖框判定的移動向量 〇 過濾可包含對前對影像圖框在一組二個以上的移動向 量判定向量中値。過濾可包含對前對影像圖框在一組二個 以上的移動向量進行臨時分割程序。產生一個以上的更新 向量可包含產生原點與選擇移動向量相同的一個以上的向 量,從選擇移動向量結束的像素結束在水平方向或垂直方 向的不同像素。更新向量可從選擇移動向量在水平和/或 垂直方向結束的像素結束在一或二像素所分離的像素。 選擇新最佳移動向量可包含對每一選擇移動向量和更 新向量:將第一窗定心於形成向量原點之第一影像圖框的 像素;將第二窗定心於形成向量終點之第二影像圖框的像 素’第二窗的尺寸與第一窗相同;對第一窗的像素和在第 -6- 200529103 (4) 二窗之對應位置的像素判定亮度値絕對差總和;選擇具有 絕對差最小總和的向量做爲新最佳移動向量。第一和第二 窗的尺寸可與影像修補尺寸相同。判定可進一步包含··將 相機向量投射到第一影像圖框的選擇拷貝,相機向量描繪 第一和第二影像圖框之間的全域移動;在投射向量、更新 向量、相機向量中選擇新最佳移動向量。 本發明之一個以上的實施例的細節見附圖和下文。從 說明、圖式、申請專利範圍會明瞭本發明的其他特性、目 標、優點。 , 動完 置移來 裝像施 和影措 法示層 方顯階 的與歸 量動回 向移的 動像量 移影向 定期動 判預移 確的定 準蹤判 和追用 效睛使 有眼。 供之在 I提訊存 式明視異 方發位差 施本數無 實 得間。 ί 使之成 通吊,爲使移動補償措施良好工作,包含本文的回歸 階層措施,對物體移動性質做二基本假設:1 )移動物體 有慣性,2 )移動物體大。慣性假設暗示移動向量只隨臨 時向量取樣間隔(亦即,數位視訊的圖框率)逐漸改變。 大物體假設暗示移動向量只隨空間向量取樣間隔逐漸改變 ,亦即,向量圖場平滑且只有極少邊界移動不連續。 回歸階層方法的目標是找出移動向量如下:將來源相 關窗用於第一影像圖框,目標相關窗用於隨後影像圖框, 放置目標相關窗,而得到與來源相關窗的最佳匹配,亦即 200529103 (5) ,來源相關窗和目標相關窗的內容盡量相似。同時,在來 源相關窗和目標相關窗之間進行匹配所需的計算數目須盡 量低,而仍尋找整體向量空間限制。爲達成這些目的,回 歸階層方法使用影像圖框的多重解析度位準。將最高解析 度位準的先前最佳移動向量投射至最低解析度位準,測試 它和一個以上的更新,先對最低解析度位準判定最佳移動 向量。然後此最佳移動向量傳播到較高解析度位準,其中 做一些調整並判定新最佳移動向量。新最佳移動向量傳播 到另一較高解析度位準,其中做更多調整並判定另一新最 佳移動向量。重複此處理,直到到達最高原來解析度位準 且識別最佳移動向量。 圖1顯示回歸階層處理(1 00 )的一實施例。假設已 產生影像圖框的多重解析度位準。如圖1,判定移動向量 的回歸階層處理(1 00 )開始將移動向量從先前影像圖框 投射至最低解析度位準(步驟1 0 2 )。一組更新向量產生 並測§式以找出此最低解析度位準的最佳移動向量(步驟 104)。一實施例中,比較定心於移動向量原點之來源相 關窗和定心於每一各別更新向量終點之目標相關窗之對應 位置的像素,來進行此測試。比較可從各別目標窗的對應 像素減去來源窗每一像素的亮度値來進行。在此情形,找 出來源相關窗和目標相關窗對之絕對差(S AD )的最小總 和來界疋最佳匹配,最佳移動向量是配合此來源相關窗和 目標相關窗對的向量。 在找出最小SAD後,選擇最佳向量(步驟106 )。然 200529103 (6) 後處理(1 0 0 )檢查是否有任何較高解析度位準(步驟1 0 8 )。若有較高解析度位準,則處理傳播最佳向量至下一較 高解析度位準(步驟1 1 0 )並重複步驟104至1 08。若無 較高解析度位準,則處理前進到步驟1 1 2,其中最佳向量 選爲移動向量並用於移動補償,完成目前圖框的處理。 此措施的優點是在較低位準,像素更新相當於下一較 胃 高位準之二個以上的像素的更新,取決於二位準的解析度 - 差。若有例如三解析度位準(1 : 1、1 : 2、1 : 4 )和每一 · 位準之+/-1像素的更新,則收斂延遲可能降低四的因數。 解析度階層用來加速臨時回歸收斂。此導致重大增進,特 別是對含有以高速移動之小物體的圖框。 以1 : 1、1 : 2、1 : 4解析度的三位準之回歸階層機 制和4x4像素的影像修補柵爲例來詳述本發明,參考圖i _ 4。圖2-4的向量只代表此實例,解析度位準數目和每一 解析度位準之向量的數目和/或類型可隨各種因素而變, 諸如計算成本、品質、處理速度等。 · 圖4顯示影像修補柵(400 ),分成4x4像素的影像 修補(405 ),其中每一像素顯示爲圓形(410 )。暗像素 (4 1 5 )代表對像素每一 4x4影像修補計算移動向量的位 置。如圖4,對像素每一 4x4影像修補計算一移動向量, ’ 移動向量原點之每一 4x4影像修補內的位置相同。圖3顯 示圖4之原來像素柵之一半解析度的相同像素柵(4〇〇 ) 。圖2顯示最低解析度的相同像素柵(400 ),本實例是 圖3的一半解析度,或圖4的四分之一解析度。 -9- 200529103 (7) 如圖1和圖2,將移動向量(2 0 5 )從先前影像投射至 最低解析度位準來判定移動向量的回歸階層處理開始(步 驟1 0 2 ),本實例是原來解析度的1 : 4,顯示於圖2。一 實施例中,舊移動向量(205 )在投射前過濾,主要處理 鄰域含有造成向量不連續之物體背景邊界的情形。一實施 例中,去向量鄰域並找出該組鄰域向量的向量中値或進行 臨時分割程序來進行過濾。在二情形,過濾的輸出是1 : 1 位準的新基本向量,隨後投射至1 : 4位準。一序列的第 一圖框中,亦即,沒有先前影像時,處理(1 0 0 )開始零 向量做爲舊移動向量。一實施例中,視訊中有場景破裂時 ,亦即,二圖框之間不連續時,也使用零向量。 一組更新向量(210a-210f)被產生並測試,以此最低 解析度位準從舊投射移動向量找出 +/-1像素或 +/_2像 素的最小SAD (步驟104)。圖2中,顯示六更新向量( 2 10a-2 1 Of),由於水平運動通常大於垂直運動,故有水平 方向的二個+/-1像素和二個+/-2像素,和垂直方向的二個 + /-1像素。但對投射向量(205 )可在任何水平和/或垂直 位置產生和測試任何數目的更新向量。一實施例中,預測 的相機向量也投射至1 : 4位準。相機向量詳述如下。 一實施例中,令影像修補的候選向量(都發自來源圖 框的相同影像修補位置)指向目標圖框的不同像素位置來 計算SAD。對每一候選向量,矩形窗定心於各別候選向量 所指之像素上的目標圖框。對應矩形窗定心於候選向量發 源之像素上的來源圖框。然後計算二窗之對應亮度像素( -10- 200529103 (8) 亦即,在二窗內有相同相對位置的像素)的一對絕對差。 所有絕對差總和是SAD値。SAD隨窗匹配變好而減少, 當像素相同時,理想上是零。實際上,當然,因雜訊和其 他因素之故,最佳向量有非零SAD,但在該組候選向量具 有向量的最小SAD。 在最小SAD找出最佳向量後,亦即,選擇最小SAD (21 Of )的向量並儲存於記憶體(步驟106 )。然後處理 檢查是否有任何較高解析度位準(步驟1 〇 8 )。如上述, 此實例中,有二較高解析度位準,所以最佳向量(2 1 Of ) 投射至圖3的1 : 2解析度位準(步驟1 1 0 )。在投射至1 :2位準後,一組更新向量(3 0 5 a-3 05 d )產生在最佳向量 (210f)旁(步驟1〇4 )。在此位準,第二組更新向量( 3 10a-3 10d)也產生在投射至1 : 2解析度位準的舊1 : 1 過濾向量(205 )旁。在所有更新向量中計算最小SAD來 找出新最佳向量(3 05 a),如同在1 : 4解析度位準。然 後選擇最佳更新向量並儲存於記憶體(步驟1 06 )。 然後處理再度檢查是否有任何較高解析度位準(步驟 1〇8)。此時,有一較高解析度位準留在解析度角錐,所 以處理再度回到步驟1 04,其中圖3之1 : 2解析度位準的 最佳向量(3 05 a)過濾並投射至圖4的最高1 ·· 1解析度 位準。一組更新向量(405 a-405 d )產生在投射和過濾的 最佳向量(3 0 5 a )旁(步驟1 04 )。在此位準,第二組更 新向量(410a-4 10d)也產生在舊1: 1過濾向量旁。第 二組更新向量(420a- 420d)產生在相機向量(415)旁。 -11 - 200529103 (9) 相機向量描繪圖框內容全域運動,相較於在完全獨立 計算之每一影像修補位置的局部向量,因此可用來協助找 出較佳真移動向量。幾個共同發生情況中,導自在圖框每 一位置之相機運動的移動向量能以簡單模型容易預測。例 如,若相機鏡頭拍攝橫越遠方風景,則所有移動向量相同 並相當於相機速度。另一情況是當相機鏡頭變焦於平坦表 面上的物體,諸如牆上的照片。然後所有移動向量具有徑 向,從影像中心的零增加至影像周邊的最大値。 一實施例中,處理嘗試將數學模型用於移動向量,使 用最小平方方法來計算。相機移動向量和數學模型之間的 好配合代表上述其中一情況可能存在,然後相機模型預測 向量可做爲下一回歸階層向量估計步驟的另外候選向量。 考慮相機向量,回歸階層尋找的回歸部分是局部尋找措施 ,可收斂成假局部最小而非真最小。相機預測向量候選可 能幫助避免測到假局部最小,將處理引導向真最小。 然後找出新最佳向量(405d), 如同1 : 4和1 : 2 解析度位準(步驟106),儲存於記憶體。然後處理再度 檢查是否有任何較高解析度位準(步驟1 〇 8 )。此時無較 高解析度位準,所以處理前進到步驟1 1 2,其中選擇最佳 向量並用於移動補償,完成目前圖框的處理。 對圖框之像素的所有4x4影像修補進行上述處理,根 據判定移動向量,來源圖框和目標圖框之間可做圖框內插 ’因而在眼睛追蹤之預期影像移動和顯示影像移動之間無 差異。 -12- 200529103 (10) 從上述可知,本發明提供平滑和準確向量圖場,只公 平使用少量計算。再者,因解析度的多重位準而降低收斂 延遲。相較於傳統措施,可使用較少解析度位準,較低位 準的向量誤差因較高解析度位準的解析度改變而不放大。 本發明可實施在數位電子電路、或電腦硬體、韌體、 軟體、或其組合。本發明的裝置可實施在機讀儲存裝置的 電腦程式產品而由可程式處理器來執行;本發明的方法步 驟可由執行指令程式的程式處理器來進行,運算輸入資料 和產生輸出來進行本發明的功能。本發明可實施在一個以 上的電腦程式,可在包含至少一可程式處理器的可程式系 統上執行,接收和傳輸資料和指令到資料儲存系統、至少 一輸入裝置、至少一輸出裝置。每一電腦程式可實施在高 位準程序或物件導向程式語言、或組合或機器語言;在任 何情形,語言可爲編譯或解譯語言。適當處理器包含一般 和特殊用途微處理器。通常,處理器從唯讀記憶體和/或 隨機存取記憶體接收指令和資料。通常,電腦包含一個以 上的大量儲存裝置以儲存資料檔案;此裝置包含諸如內部 磁碟和可抽取磁碟的磁碟;磁光碟;光碟。適於實施電腦 程式指令和資料的儲存裝置包含所有形式的非揮發性記憶 體,包含諸如EPROM、EEPROM、快閃記憶體裝置的半導 體記憶體裝置;諸如內部磁碟和可抽取磁碟的磁碟;磁光 碟;CD-ROM光碟。都可倂入ASIC (特殊應用積體電路 )° 圖5顯示用來實施本發明的電腦系統5 00。電腦系統 -13- 200529103 (11) 5 0 0只是可實施本發明之圖形系統的實例。電腦系統5 0 0 包含中央處理單元(CPU ) ( 510 )、隨機存取記憶體( RAM) ( 520 ),唯讀記憶體(ROM ) ( 5 2 5 )、一個以上 的周邊(5 3 0 )、圖形控制器(5 60 )、主要儲存裝置( 540和550)、數位顯示單元(570) 。ROM用來單向轉移 資料和指令至 CPU(510),而RAM(520)通常用來以 雙向方式轉移資料和指令。cpu ( 5 1 0 )通常可包含任何 數目的處理器。二主要儲存裝置(540和550)可包含任 何適當電腦可讀媒體。通常是大量記憶體裝置的次要儲存 媒體(5 80 )也雙向耦合到CPU ( 510 )’提供額外資料儲 存能力。大量記憶體裝置(5 8 0 )是電腦可讀媒體,可用 來儲存包含電腦碼、資料之類的程式。通常’大量記憶體 裝置(580)是諸如硬碟或磁帶的儲存媒體’通常比主要 儲存裝置(5 4 0,5 5 0 )慢。大量記憶體儲存裝置(5 8 0 ) 可爲讀卡機或一些其他已知裝置的形式。在適當情形,保 持在大量記憶體裝置(5 8 0 )內的資訊可倂入爲RAM ( 520 )的部分做爲虛擬記憶體。 CPU (510)也耦合到一個以上的輸入/輸出裝置(590 ),可包含但不限於諸如視訊裝置的監視器、軌跡球、滑 鼠、鍵盤、麥克風、觸控顯示器、讀卡機、讀帶機、平板 電腦、聲音或手寫辨識器、或諸如其他電腦的其他已知輸 入裝置。最後,C P U ( 5 1 0 )可選擇性耦合到電腦或通訊 網路,例如,網際網路或內部網路’使用網路連接如( 5 9 5 )。以此網路連接,CPU ( 510 )可從網路接收資訊, -14- 200529103 (12) 或在進行上述方法步驟的過程可輸出資訊到網路。通訊表 不成要使用C P U ( 5 1 0 )來執彳了之指令序列的此畜訊,可 接收自和輸出到網路,例如,以載波之電腦資料信號的形 式。熟習電腦硬體和軟體技藝的人熟悉上述裝置和材料。 圖形控制器(5 60 )產生影像資料和對應參考信號, 提供二者給數位顯示單元(5 7 0 )。影像資料可根據接收 自CPU ( 5 1 0 )或外部編碼(未顯示)的像素資料產生。 一貫施例中,影像資料爲 RGB格式,參考信號包含 VSYNC和HSYNC信號。但本發明能以其他格式的資料 和/或參考信號來實施。 本發明得由熟悉技藝之人任施匠思而爲諸般修飾,然 皆不脫如申請專利範圍所欲保護者。例如,除了中間層的 階層和臨時向量,相機模型產生的向量也可做爲SAD計 算的候選。再者,產生如上的移動向量可用於圖框率轉換 之外的其他目的,諸如去交錯、雜訊降低等。 【圖式簡單說明】 圖1顯示判定移動向量之回歸階層處理的流程圖 。 圖2顯示以視訊圖框原來解析度之1 : 4解析度判定 最佳移動向量的向量實例。 圖3顯示以視訊圖框原來解析度之1 : 2解析度判定 最佳移動向量的向量實例。 圖4顯示以視訊圖框原來解析度判定最佳移動向量的 向量實例。 -15- 200529103 (13) 圖5顯示用來實施本發明的電腦系統。 【主要元 件符號 :說 ;明 ] 400 柵 205 移 動 向 量 2 10a 更 新 向 量 2 1 Ob 更 新 向 量 2 10c 更 新 向 量 2 1 0d 更 新 向 量 2 1 Oe 更 m 向 量 2 1 Of 更 新 向 量 3 05 a 更 新 向 量 3 05b 更 frr" m 向 量 3 05 c 更 新 向 量 3 0 5 d 更 新 向 量 3 10a 更 新 向 量 3 1 Ob 更 新 向 量 3 10c 更 新 向 量 3 1 Od 更 新 向 量 405 影 像 修 補 4 10 圓 形 4 15 暗 像 素 405a 更 新 向 量 405 b 更 新 向 量 -16- 200529103 (14) 405 c 更 新 向 量 405 d 更 新 向 量 4 10a 更 新 向 量 4 10b 更 新 向 量 4 10c 更 新 向 量 4 1 Od 更 新 向 里 420a 更 新 向 量 420b 更 新 向 量 420c 更 新 向 量 420d 更 新 向 量 500 電 腦 系 統 5 10 中 央 處 理 單 元 520 隨 機 存 取 記 憶體 525 唯 讀 記 憶 體 530 周 邊 560 圖 形 控 制 器 540 主 要 儲 存 裝 置 550 主 要 儲 存 裝 置 570 數 位 顯 示 單 元 580 次 要 儲 存 裝 置 590 輸 入 /輸 f出 丨裝 ξ置 595 網 路
-17-

Claims (1)

  1. 200529103 (1) 十、申請專利範圍 1 · 一種計算數位視訊序列中之移動向量的方法,包括 以第一解析度接收第一影像圖框,該第一影像圖框包 含複數個影像修補,其中每一影像修補具有各別的第一位 置; 以第一解析度接收第二影像圖框,該第二影像圖框包 含對應於該第一影像圖框之影像修補的一個或以上的影像 修補,其中每一影像修補具有各別的第二位置; 對具有第二影像圖框之對應影像修補之第一影像圖框 的每一影像修補: 判定影像修補的移動向量,該判定包含產生第一和第 二影像圖框各二個或以上的拷貝,每一拷貝具有與第一解 析度不同、較低的解析度,並以每一解析度在複數個向量 中選擇一最佳移動向量; 使用該判定的移動向量來建立第一和第二圖框之間之 內插圖框中之影像修補的中間位置。 2 .如申請專利範圍第1項的方法,其中該判定進一步 包含: a )以最低解析度選擇該第一影像圖框的拷貝; b )選擇對前一對影像圖框所判定的移動向量; c )將該選擇的移動向量投射到該第一影像圖框的該 被選擇的拷貝; d )在第一影像圖框的該被選擇的拷貝產生一個或以 -18- 200529103 (2) 上的更新向量; e )在該被投射的向量和被更新的向量中選擇一新的 最佳移動向量; f )以較高解析度位準選擇該第一影像圖框的新拷貝 1 g )重複步驟C )至 f ),直到到達該第一解析度;以 及 h)使用在第一解析度位準下被選擇的最佳移動向量 做爲判定的移動向量。 3 ·如申請專利範圍第〗項的方法,其中每一影像修補 包含複數個像素。 4·如申請專利範圍第3項的方法,其中每一影像修補 的尺寸是8x8像素。 5 ·如申請專利範圍第2項的方法,其中產生二個以上 的拷貝包含: 產生第一和第二影像圖框各二拷貝,每一拷貝具有低 於第一解析度的不同解析度。 6 ·如申請專利範圍第2項的方法,其中選擇對前一對 影像圖框所判定的移動向量包含: 若前對影像圖框和該第一影像圖框之間不存在連續性 ,或若前對影像圖框不存在,則選擇零向量爲移動向量。 7 ·如申請專利範圍第2項的方法,其中選擇對前一對 影像圖框所判定的移動向量包含: 過濾從前對影像圖框判定的移動向量。 -19- 200529103 (3) 8 .如申請專利範圍第7項的方法,其中過濾包含: 對前對影像圖框在一組二個或以上的移動向量中判定 一向量中値。 9·如申請專利範圍第7項的方法,其中過濾包含: 對前對影像圖框在一組二個或以上的移動向量中進行 臨時分割程序。 1 0 ·如申請專利範圍第2項的方法,其中產生一個或 以上的更新向量包含: 產生一或多個向量,該等向量具有與該被選擇的移動 向量相同的原點,且結束於水平方向或垂直方向與該被選 擇的移動向量結束處的像素不同的像素。 1 1 .如申請專利範圍第1 0項的方法,其中該更新向量 從選擇移動向量在水平和/或垂直方向結束的像素結束在 一或二像素所分離的像素。 1 2.如申請專利範圍第2項的方法,其中選擇新最佳 移動向量包含: 對每一該被選擇的移動向量和該等更新向量: 將第一窗定心於形成向量原點之第一影像圖框的像素 將第二窗定心於形成向量終點之第二影像圖框的像素 ,該第二窗的尺寸與該第一窗相同; 對該第一窗的像素和在該第二窗之對應位置的像素判 定亮度値絕對差總和;以及 選擇具有絕對差最小總和的向量做爲新的最佳移動向 -20- 200529103 (4) 其中該第一和該 其中判定進一步 13.如申請專利範圍第l2 〜 項的方法, 第二窗的尺寸與影像修補尺寸相^j ^ 1 4 ·如申請專利範圍第1項的方法, 包含: 將相機向量投射到該第一影像圖框該被選擇的拷貝, 該相機向量描繪第一和第二影像圖框之間的全域移動, 在該被投射的向量、該更新向量、以及該相機向A 選擇新的最佳移動向量。
    -21 -
TW093136776A 2003-12-23 2004-11-29 Motion compensated frame rate conversion TWI352937B (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US53242703P 2003-12-23 2003-12-23
US10/832,838 US7346109B2 (en) 2003-12-23 2004-04-26 Motion vector computation for video sequences

Publications (2)

Publication Number Publication Date
TW200529103A true TW200529103A (en) 2005-09-01
TWI352937B TWI352937B (en) 2011-11-21

Family

ID=34681689

Family Applications (1)

Application Number Title Priority Date Filing Date
TW093136776A TWI352937B (en) 2003-12-23 2004-11-29 Motion compensated frame rate conversion

Country Status (7)

Country Link
US (2) US7346109B2 (zh)
EP (1) EP1549054A3 (zh)
JP (1) JP2005210697A (zh)
KR (1) KR20050065298A (zh)
CN (1) CN1681291B (zh)
SG (1) SG112931A1 (zh)
TW (1) TWI352937B (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092584B2 (en) * 2002-01-04 2006-08-15 Time Warner Entertainment Company Lp Registration of separations
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7499494B2 (en) * 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
US7457438B2 (en) 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
KR100633143B1 (ko) * 2004-08-26 2006-10-11 삼성전자주식회사 배드에딧 검출이 가능한 필름모드 판별장치 및 그 방법
KR100574503B1 (ko) * 2004-08-26 2006-04-27 삼성전자주식회사 필름모드 판별장치 및 그 방법
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
JP4359223B2 (ja) 2004-10-29 2009-11-04 株式会社 日立ディスプレイズ 映像補間装置とこれを用いたフレームレート変換装置,映像表示装置
US9225994B2 (en) * 2005-03-14 2015-12-29 British Telecommunications Public Limited Company Global motion estimation using reduced frame lines
KR100870115B1 (ko) * 2005-12-21 2008-12-10 주식회사 메디슨 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
CN101375315B (zh) 2006-01-27 2015-03-18 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
EP2033164B1 (en) 2006-06-23 2015-10-07 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8115863B2 (en) * 2007-04-04 2012-02-14 Freescale Semiconductor, Inc. Video de-interlacer using pixel trajectory
US8861591B2 (en) * 2007-05-11 2014-10-14 Advanced Micro Devices, Inc. Software video encoder with GPU acceleration
GB2449929A (en) * 2007-06-08 2008-12-10 Snell & Wilcox Ltd Hierarchical spatial resolution building processes to fill holes in an interpolated image
US8325271B2 (en) * 2007-06-12 2012-12-04 Himax Technologies Limited Method of frame interpolation for frame rate up-conversion
US8184704B2 (en) * 2007-12-05 2012-05-22 Advanced Micro Devices, Inc. Spatial filtering of differential motion vectors
WO2009085205A1 (en) * 2007-12-20 2009-07-09 Integrated Device Technology, Inc. Image interpolation with halo reduction
KR20090089060A (ko) * 2008-02-18 2009-08-21 엘지전자 주식회사 Pip 화면을 구현하는 방송 수신기의 영상 처리 방법 및그 방법을 채용한 방송 수신기
US8175160B1 (en) * 2008-06-09 2012-05-08 Nvidia Corporation System, method, and computer program product for refining motion vectors
US20100026897A1 (en) 2008-07-30 2010-02-04 Cinnafilm, Inc. Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution
US8462852B2 (en) 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US8917769B2 (en) * 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
KR101594113B1 (ko) * 2009-10-09 2016-02-16 삼성전자주식회사 스케일을 고려한 이미지 패치 추적 장치 및 방법
US8520975B2 (en) * 2009-10-30 2013-08-27 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using optical flow assisted gaussholding
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US8537283B2 (en) * 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
JP5603676B2 (ja) * 2010-06-29 2014-10-08 オリンパス株式会社 画像処理装置及びプログラム
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
US9674543B2 (en) 2012-11-14 2017-06-06 Samsung Electronics Co., Ltd. Method for selecting a matching block
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9241128B2 (en) 2013-02-14 2016-01-19 Warner Bros. Entertainment Inc. Video conversion technology
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9300906B2 (en) 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
CN103345763B (zh) * 2013-06-25 2016-06-01 西安理工大学 一种基于多尺度可变块的运动注意力计算方法
WO2015050795A1 (en) * 2013-10-04 2015-04-09 Reald Inc. Image mastering systems and methods
US9635257B2 (en) 2014-05-12 2017-04-25 Gopro, Inc. Dual-microphone camera
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9153017B1 (en) 2014-08-15 2015-10-06 Google Inc. System and method for optimized chroma subsampling
US10282831B2 (en) * 2015-12-28 2019-05-07 Novatek Microelectronics Corp. Method and apparatus for motion compensated noise reduction
CN106454347B (zh) * 2016-09-09 2019-04-12 上海兆芯集成电路有限公司 帧分辨率决定方法以及使用该方法的装置
US10356417B2 (en) * 2016-09-30 2019-07-16 Intel Corporation Method and system of video coding using projected motion vectors
US10417857B2 (en) 2017-09-22 2019-09-17 Interblock D.D. Electronic-field communication for gaming environment amplification
KR102615156B1 (ko) * 2018-12-18 2023-12-19 삼성전자주식회사 감소된 개수의 후보 블록들에 기초하여 모션 추정을 수행하는 전자 회로 및 전자 장치
KR102681958B1 (ko) * 2018-12-18 2024-07-08 삼성전자주식회사 계층 탐색을 통해 모션 추정을 수행하는 전자 회로 및 전자 장치
EP3989530A1 (en) 2020-10-23 2022-04-27 Axis AB Generating substitute image frames based on camera motion
CN114347020B (zh) * 2021-12-22 2024-02-13 深圳市优必选科技股份有限公司 一种运动控制方法、运动控制装置及机器人
US11836844B2 (en) 2022-03-03 2023-12-05 Nvidia Corporation Motion vector optimization for multiple refractive and reflective interfaces
CN116112664B (zh) * 2023-01-28 2026-01-23 北京达佳互联信息技术有限公司 运动信息获取方法、装置、电子设备和存储介质

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4651211A (en) 1986-01-17 1987-03-17 Rca Corporation Video signal motion detecting apparatus
JPH01500236A (ja) 1986-03-19 1989-01-26 ブリティッシュ・ブロードキャスティング・コーポレーション 帯域巾圧縮ビデオ信号の受信再生装置
DE3850709T2 (de) 1987-06-09 1994-11-24 Sony Corp Reduzierung der Bewegungsvektoren in Fernsehbildern.
FR2633468B1 (fr) 1988-06-24 1990-11-09 France Etat Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees
EP0376330B1 (en) 1988-12-28 1996-03-06 Nec Home Electronics, Ltd. Movement detection and Y/C separation circuit and method for detecting a movement in a television display picture
DE69029999T2 (de) 1990-07-20 1997-08-14 Philips Electronics Nv Vorrichtung zur Verarbeitung von Bewegungsvektoren
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5259040A (en) 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
US5596659A (en) 1992-09-01 1997-01-21 Apple Computer, Inc. Preprocessing and postprocessing for vector quantization
GB2286740B (en) 1994-02-21 1998-04-01 Sony Uk Ltd Coding and decoding of video signals
TW321748B (zh) * 1994-02-23 1997-12-01 Rca Thomson Licensing Corp
DE69524235T2 (de) * 1994-09-02 2002-07-18 Sarnoff Corp., Princeton Verfahren und vorrichtung zur global-zu-lokal-block-bewegungsschätzung
KR0178231B1 (ko) * 1995-08-10 1999-05-01 배순훈 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치
CN1127906A (zh) 1995-01-26 1996-07-31 大宇电子株式会社 运动矢量检测设备
EP0765573B1 (en) * 1995-03-14 1999-06-09 Koninklijke Philips Electronics N.V. Motion-compensated interpolation
JP3480477B2 (ja) 1995-07-26 2003-12-22 ソニー株式会社 動き検出回路および動き検出方法、並びに輝度・色信号分離装置
EP0772365A3 (en) 1995-11-02 1999-05-12 Matsushita Electric Industrial Co., Ltd. Method and device for filtering a picture signal, and encoding/decoding using the same
GB2311183A (en) 1996-03-13 1997-09-17 Innovision Plc Gradient based motion estimation
US5764803A (en) * 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
EP0840982B1 (en) 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US5943445A (en) 1996-12-19 1999-08-24 Digital Equipment Corporation Dynamic sprites for encoding video data
US5987164A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6236763B1 (en) * 1997-09-19 2001-05-22 Texas Instruments Incorporated Method and apparatus for removing noise artifacts in decompressed video signals
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6128047A (en) 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
WO2000030359A1 (en) 1998-11-17 2000-05-25 Koninklijke Philips Electronics N.V. Method of transcoding coded video signals and corresponding transcoder with motion vector selection
WO2000042771A1 (en) 1999-01-12 2000-07-20 Koninklijke Philips Electronics N.V. Camera motion parameters estimation method
US6658059B1 (en) 1999-01-15 2003-12-02 Digital Video Express, L.P. Motion field modeling and estimation using motion transform
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
US6809758B1 (en) 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
DE10037491A1 (de) 2000-08-01 2002-02-14 Stryker Leibinger Gmbh & Co Kg Verfahren zum dreidimensionalen Visualisieren von Strukturen im Körperinneren
AU2001285270A1 (en) 2000-08-28 2002-03-13 Thomson Licensing S.A. Method and apparatus for motion compensated temporal interpolation of video sequences
US6738099B2 (en) 2001-02-16 2004-05-18 Tektronix, Inc. Robust camera motion estimation for video sequences
US6782054B2 (en) 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
US6909750B2 (en) 2001-05-01 2005-06-21 Koninklijke Philips Electronics N.V. Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
KR100393066B1 (ko) 2001-06-11 2003-07-31 삼성전자주식회사 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
WO2003007618A2 (en) 2001-07-10 2003-01-23 Koninklijke Philips Electronics N.V. Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit
US8275047B2 (en) * 2001-09-20 2012-09-25 Xilinx, Inc. Method and device for block-based conditional motion compensation
US7227896B2 (en) 2001-10-04 2007-06-05 Sharp Laboratories Of America, Inc. Method and apparatus for global motion estimation
KR100396558B1 (ko) 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7408988B2 (en) * 2002-12-20 2008-08-05 Lsi Corporation Motion estimation engine with parallel interpolation and search hardware
AU2003285682A1 (en) * 2003-01-23 2004-08-13 Koninklijke Philips Electronics N.V. Background motion vector detection
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
KR101038452B1 (ko) * 2003-08-05 2011-06-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티뷰 이미지 생성
KR20060083978A (ko) * 2003-09-17 2006-07-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 벡터 필드 리-타이밍
US7203237B2 (en) * 2003-09-17 2007-04-10 Texas Instruments Incorporated Transcoders and methods
JP2005304005A (ja) 2004-04-13 2005-10-27 Samsung Electronics Co Ltd ビデオフレームに対する動き推定方法及びビデオエンコーダ

Also Published As

Publication number Publication date
US8494054B2 (en) 2013-07-23
CN1681291A (zh) 2005-10-12
TWI352937B (en) 2011-11-21
CN1681291B (zh) 2013-09-25
SG112931A1 (en) 2005-07-28
KR20050065298A (ko) 2005-06-29
JP2005210697A (ja) 2005-08-04
EP1549054A2 (en) 2005-06-29
US20050135482A1 (en) 2005-06-23
US20080043850A1 (en) 2008-02-21
EP1549054A3 (en) 2006-02-22
US7346109B2 (en) 2008-03-18

Similar Documents

Publication Publication Date Title
TW200529103A (en) Motion compensated frame rate conversion
TWI419569B (zh) 在數位視訊序列進行瞬時移動向量過濾的方法
US8335257B2 (en) Vector selection decision for pixel interpolation
Sun et al. Improving RGB-D SLAM in dynamic environments: A motion removal approach
US9661228B1 (en) Robust image feature based video stabilization and smoothing
JP6522595B2 (ja) トラッカ補助画像キャプチャ
TWI359387B (en) Robust camera pan vector estimation using iterativ
TW200913687A (en) Moving body image extraction apparatus and program
EP1287492A2 (en) Motion estimator for reduced halos in motion compensated picture rate up-conversion
JP4781233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP4496595B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
US6553069B1 (en) Digital image segmenting method and device
CN101296377B (zh) 时间运动矢量滤波
JPH10336506A (ja) 画像処理システム、追尾システム,追尾方法,記憶媒体
KR20100118811A (ko) 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어
CN117876427A (zh) 文本跟踪方法、装置、电子设备及可读存储介质
CN112565791A (zh) 一种运动估计方法及设备
Shinde et al. A Review on Spatiao-temoparally Continuous Video Inpainting
JP2003309821A (ja) 動きベクトル検出装置及び方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees