TW550953B - Method of performing motion estimation - Google Patents

Method of performing motion estimation Download PDF

Info

Publication number
TW550953B
TW550953B TW090109436A TW90109436A TW550953B TW 550953 B TW550953 B TW 550953B TW 090109436 A TW090109436 A TW 090109436A TW 90109436 A TW90109436 A TW 90109436A TW 550953 B TW550953 B TW 550953B
Authority
TW
Taiwan
Prior art keywords
patent application
motion vector
item
midpoint
scope
Prior art date
Application number
TW090109436A
Other languages
English (en)
Inventor
Hyun M Kim
Tinku Acharya
Ping-Sing Tsai
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Application granted granted Critical
Publication of TW550953B publication Critical patent/TW550953B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

550953 A7 B7 五、發明説明(1 ) 發明背景 本發明係關於實施動作評估,且,詳言之,係關於視訊 編碼,諸如,例如,低位元視訊編碼之實施動作評估。 如大家所熟知,動作評估是視訊編碼的一種常見態樣或 成分。有實施視訊編碼的種種技術,其中一些技術是與標 準有關且另一些則否。流行的標準包括:ITU-Τ’’低位元率 通信之視訊編碼’’、1995年11月ITU-T推薦H.263,版本1 及1998年6月版本2 動畫及相關音覺資訊之積極編碼:視 訊"ISO/IEC 13818-2 :國際標準1995 ;及"音視覺物件之 編碼-第二部分:視覺修正;視覺擴大"ISO/IEC 14496-2 : 2000年1月6日起草;此後這些分別被稱為H.263、 H.263+、MPEG-2及MPEG-4。這些是解碼/解壓縮標準的 範例。典型地,這些標準或標準之規格提供一些或沒有可 能使用關於壓縮方法論之引導,包含與動作評估有關。 經濟部中央標準局員工消費合作社印製 (請先閱讀背面之注意事項再填寫本頁) 動作評估被使用於移除視訊框中的時間冗餘,以致於被 使用於傳送訊框之通訊通道的頻寬可以更有效率地使用。 完成動作評估典型地是使用區塊搜尋技術。一種’’完整動作 ”搜尋技術,其中所有的像素位置實質上是在一搜尋視窗中 被搜尋,典型地非常複雜的計算,且有時候在即時的應用 中可能會被禁止。在完整搜尋動作評估的狀況下,其中利 用E塊,一個32 X 32視窗的搜尋點數量是1,024。 為了減少此計算的複雜性,已經提出一些不同的方法。 一種廣為流傳的方法是根據或被稱為一對數搜尋。在此方 法中,代替搜尋每個搜尋點或在一搜尋視窗内的像素位 -4- 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) 550953 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明(2 ) 置,九個初始點,其利用四分之一搜尋視窗將其隔開,被 檢查或搜尋。在發現一搜尋點或來自這九個初始點其提供 最小絕對差異總和(SAD)値或來自九個另外的誤差測量 法,類似均方根誤差(MSE)之最小値,此搜尋在八個附加 的點被繼續,這些點在此點周圍是有圓心的利用減少搜尋 點之間的距離一半。這樣持續直到兩個搜尋點之間的距離 爲一個像素的距離。在此方法中,33>個搜尋點產生一結 果,對照一完整動作搜尋之1,〇24個搜尋點。値得注意的是 各附加點增加了額外的計算。 雖然一對數搜尋會降低搜尋點的數目,但是此方法依然 具有一些缺點。例如,由此動作評估所產生影像的品質相 對於一完整動作搜尋通常是會降低的。此外,具有33個搜 尋點,在某些例子中,此方法還是不適用於即時的應用。 因此,一種新方法或新技術之需求是存在的,此方法或技 術在影像品質及低計算複雜性上是可以相比較於或勝過對 數搜尋法。 圖式摘要説明 本發明的主題在説明書的最後部分特別被指出且清楚地 提出申請專利範圍。然而,本發明同時關於組織及操作方 法,。連同目的、功能及優點可以透過參考下列詳述配合附 圖將得到最佳的暸解,附圖中: 圖1是説明使用於根據本發明動作向量預測技術之實施例 而與巨塊有關之動作向量之概要圖; 圖2是説明應用根據本發明動作評估之一實施例之模擬結 -5- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297 &釐) -------------------^---------線 (請先閱讀背面之注意事項再填寫本頁) 550953 A7 B7 五、發明說明(3 ) 果表; (請先閱讀背面之注意事項再填寫本頁) 圖3是説明完整像素動作評估之一實施例之概要圖; 圖4是説明根據本發明之一實施例之應用至包含動作向量 之例子之座標圖;及 圖5是説明應用根據本發明之另一實施例至動作評估之模 擬結果表。 詳細説明 ^ 在下列詳細説明中,提出許多的特殊細節是爲了提供大 家能通盤瞭解本發明。然而,那些精通此技藝者將瞭解本 發明可以被實行而不需要這些特殊的細節。在另一實例 中’眾所周知的方法、程序、構成要素及電路不需要被详 細説明,以免模糊了本發明。 經濟部智慧財產局員工消費合作社印製 如先前所表明,動作評估被使用於視訊編碼中。MPEG-2 及MPEG-4及其他視訊標準是將它應用於視訊編碼的例 子。然而,這些方法論典型地沒有詳細指明使用壓縮技 術,尤其是與動作評估有關。如指示,動作評估典型地被 使用於當傳送視訊框時移除暫時冗餘,爲的是例如使得可 用於將視訊框從一位置傳送至另一位置之有限帶寬總數更 有效率的使用。當然,視訊編碼及解碼亦被使用於其他情 況,諸如儲存設備,且本發明不受限於這些技術之特殊應 用0 其中一種動作評估技術被稱爲完整動作搜尋。然而,此 方法計算非常複雜且典型地禁用於即時應用。在完整搜尋 動作評估的事例中,在一 32 X 32視窗中的搜尋點數目爲 -6 - 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 550953 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明說明(4 ) 1024,其可以與一巨塊有關地被使用。名稱巨塊是很有名 且很熟悉的,所以將不做任何細節的解釋;然而,鑒於它 典型地與包含發光性像素方陣之視訊框一部分有關連,該 方陣具有16 X 16的尺寸,及兩個對應的色度像素方陣’各 方陣具有8 X 8的尺寸,在此上下文中,它所談論的是發光 性陣列而不是色度陣列。這是應用此特殊實施例之傳統手 法,因爲典型地,色度動作向量源自於那些發光性陣列; 然而,當然,本發明在此方面不受限於此範圍中。 爲了降低計算的複雜性,各種不同的技術已經被提出。 如先前所表述的,一種受歡迎的方法是根據一對數搜尋。 在此方法中,如先前所描述,代替搜尋一搜尋視窗内所有 的搜尋點,最初的點被搜尋,其以搜尋視窗尺寸之四分之 一被彼此隔開。在發現九個點中之一點或像素位置,其產 生最小絕對差異(SAD)値總和或一些其他分量之後,此方 法考量或檢查以該點爲中心距離縮減與原搜尋點之間一半 而環繞該點的另外八個附加點。此方法持續直到兩個搜尋 點之間的距離變爲一個像素間隔。因此,與1,〇24個完整動 作搜尋相比,要檢查33個搜尋點。値得注意的是這裡只有 發光像素信號資料被使用。如先前所描述,雖然此方法與 完聱動作搜尋相比降低了複雜性,但它依然不適合某些即 時應用,且更可能產生較差品質之視訊影像或視訊框。 對照之下,根據本發明實施動作評估之一實施例降低了 計算的複雜性且增加了壓縮效能,當與對數搜尋法比較起 來同時在影像品質及壓縮效率上,此方法都更勝一籌。在 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -----------裝--------訂---------線"1^^· (請先閱讀背面之注意事項再填寫本頁) 550953 A7 B7 五、發明說明(5 ) (請先閱讀背面之注意事項再填寫本頁) 此特殊的實施例中,在通信通道的傳輸側上,一實施動作 評估之方法包含下列步驟。中間動作向量分量是由一組包 含動作向量之鄰近巨塊所決定。當然,値得注意的是同時 此特殊實施例使用巨塊,本發明在此方面不受限在此範圍 中。例如,除了 一巨塊之外的訊框其他部分可以被使用。 巨塊被使用於此實施例中,然而,因爲巨塊是眾所週知 的,因此,提供便利性,但本發明決不受限在一特殊數目 之像素或一特別形狀或配置之像素,至此根據本發明之一 實施例可以被應用。 然後,以預先決定尺寸或形狀環繞一與既定中間動作向 量分量有關之像素位置之視窗被搜尋。更特別地,中間動 作向量分量被應用至巨大區塊,在此特殊實施例中,產生 一像素位置且此像素位置是該搜尋視窗之中心。除了搜尋 一預先決定尺寸及形狀之視窗外,一與一它的所有分量都 具有零値之動作向量有關之像素位置亦被搜尋或檢查。因 此,該視窗之像素位置及一與一零動作向量有關連之像素 位置被檢查或搜尋以決定這些之中哪些像素位置產生最接 近匹配已經應用此技術之特殊巨大區塊。 經濟部智慧財產局員工消費合作社印製 當然,如先前已經被指示,本發明不受限在此一特殊實 施例之範圍中且許多變化是可能的。例如,零値動作向量 可以自一替代實施例中搜尋被省略。同樣地,當搜尋像素 位置時之最接近相配者可以在特殊巨大區塊與一以被搜尋 或檢查像素位置爲中心之巨大區塊之間應用絕對差異總和 (SAD)而被決定,雖然本發明的範圍在此方面不受限制。 -8- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 550953 A7 B7 五、發明說明(6 ) (請先閱讀背面之注意事項再填寫本頁) 然而,另一種選擇是,最小均方誤差(MSE)法可以被使 用,或一些其他可能用於測量誤差或差異方法中的任何其 中之一可以被使用。同樣地,此特殊實施例中之中點動作 向量分量是決定自一組鄰近巨大區塊,且,如圖1中所説 明,在此實施例中,具體地是三個。同樣地,再次説明, 本發明之範圍不受限於任何關於鄰近巨大區塊之特殊方法 及許多特徵爲可能使用該組鄰近巨大區塊任何其中之一種 方法。例如,更少巨大區塊或更多巨大區塊被使用。同樣 地,在替代實施例中,不需要使用連續的巨大區塊。 經濟部智慧財產局員工消費合作社印製 此外,在此特殊實施例中,雖然本發明之範圍在此方面 再次不受限,爲了要決定最接近相配者,如先前所指示, 發光像素信號値被使用。然而,那裡的發光像素信號値不 是有效的,如同其中之一替代實施例,含有最大發光信號 資訊總數之訊框分量可以被使用。同樣地,光度可以替代 地不被使用,且作爲替代,色度信號値或其色度分量佔優 勢之信號値可以被使用。再一次,本發明之範圍不受限在 一特殊的方法。例如,其訊框以紅綠藍(RGB)色間隔格式 被提供,典型地,綠色像素信號値將被使用,雖然,再一 次,本發明之範圍在此方面並不受限制。 缚然本發明之範圍在此方面並不受限制,但用於MPEG-4 及H.263,當内部訊框編碼被使用,動作向量被編碼且被傳 送。一壓縮視訊資料流,當被傳送時,典型地包含由動作 評估所產生動作向量之编碼及誤差視訊之編碼。在這樣的 情況下,且在此特殊實施例中,一動作向量,MV,可以以 -9- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 550953 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明(7 ) 兩分量(MVx,MVy)表示,其中MVx及MVy分別是水平及 垂直方向之分量。典型地,一動作向量可以被計算如下 參看圖3 : SAD .=〇 其中 (x〇,y〇) 目前巨大區塊之左上角座標 C[x,y] 目前巨大區塊光度樣本 R[x,y] 重新建構先前訊框光度樣本 S 搜尋範圍{(x,y) : -16 幺 x,y < 16} (MVx,MVy)導致上述最小總和之動作向量 在此特殊實施例中,爲了要減少被使用於動作向量編碼 之位元數目,動作向量分量,在此實施例中之水平及垂 直,使用三個巨大區塊之一空間鄰近地區依差別而定編 碼,這些巨大區塊具有一動作向量,如圖丨中所説明。注意 .在此實施例中此鄰近地區信號資訊先前已經被傳送。在此 實施例中,這二個動作向量是現在被編碼動作向量之差別 編碼之候選預測者。當然,我們將瞭解,如先前所指示, 本發明在範圍上並不限制於使用三個先前的巨大區塊,或 更特別地,來自三個先前的巨大區塊之動作向量。許多先 岫巨大區塊中的任何一個被使用且巨大區塊不需要是連續 的,如先前對此特殊實施例所指示。 在此實施例中’動作向量編碼獨立地被執行成水平及垂 -10- 本紙張尺度適用中國國家標準(CN‘4規格(21〇 x 297公爱) --- -----—t---------^ (請先閱讀背面之注意事項再填寫本頁) 550953 A7 B7 五、發明説明(8 ) 直分量。對各分量而言,在此實施例中,一分量的三個候 選中點值的計算如下··
Px = Median(MVlxy MV2x, MV3x)
Py = Medicin(MV\y,MV2y,MV3y) 例如,如果MV1等於(-2,3),MV2等於(2,5),且MV3等於 (-1,8),則中點動作向量分量,此標示為P χ及P γ ’分別是-1及5。如下列方程式所指示: MVDx = MVx — Px MVDy = MVy - Py 經濟部中央標準局員工消費合作社印製 (請先閱讀背面之注意事項再填寫本頁) 此方法的一方面是典型地空間關係被呈現在鄰近巨大區 塊之間的觀察。所以,一種有效率的搜尋方法可以包含使 用一中心為Px及Ργ之間較小的搜尋視窗。而且,在此,利 用個別計算各向量分量之中點值,出現附加資訊的機會。 詳言之,如果中點動作向量分量是來自於相同的巨大區 塊,則這可以象徵動作向量範圍是相對地’’平滑”,意味, 在此上下文中,位置相對空間接近之動作向量之間具有相 對小的變化。因此,就此實施例而言,搜尋視窗被限制在 以Ρ X,Ρ γ為中心而環繞其周圍之九個點。然而,另一種選 擇是,如果中點動作向量分量,在此分別是水平及垂直, 是來自於不同的巨大區塊,則此可以指示動作範圍更複雜 且囱此搜尋視窗增加至25個點,雖然,再次,以Ρχ,Ργ為 中心。而且,在此實施例中,同時用於兩分量之零動作向 量亦被搜尋,雖然,如先前所指示,本發明之範圍在此方 面不受限制。使用零動作向量的一個理由是因為它提供一 -11 - 本紙張尺度適用中國國家標準(CNS ) Α4規格(210X 297公釐) 550953 經濟部中央標準局員工消費合作社印製 A7 B7 五、發明説明(9 ) 以誤差為字眼之可接受的相配者,諸如SAD,它節省頻 寬,其在一些情況下可以特別地令人滿意。如先前所指 示,在此特別的實施例中,一絕對差異之總和(SAD)被使 用,雖然本發明的範圍在此方面不受限制。 利用假碼,此根據本發明之特別技術或實施例的特徵如 下’: 如果Px二MVlx,則 i=l 其它如果Px=MV2x,則i = 2 否則i = 3 如果Py=MVly,則j = l 其它如果Py=MV2y,則j = 2 否則j = 3-如果i=j,則 使用以(Px,Py)為中心之3χ3搜尋視窗來實施動作評 估; 否則 使用以(Px,Py)為中心之5x5搜尋視窗來實施動作評 估; 如果是則結束。 圖2是此特殊實施例與一完整動作搜尋及一對數搜尋比較 時的效率比較表。在一完整搜尋中,搜尋範圍為(-16,15), 以致搜尋點的數目為1024,如先前所指示。同樣地,如先 前所指示,對數搜尋包含33個搜尋點。當然,此特別的實 施例之搜尋點數目部份是依據視訊序列或多個序列而定。 -12- 本纸張尺度適用中國國家標準(CNS )八4胁(210X297公羞)
f請先閱讀背面之注意事項再填寫本頁』
經濟部智慧財產局員工消費合作社印製 550953 A7 B7 五、發明說明(10 ) 在實施此實施例之此特定組序列中,一較小的搜尋視窗被 應用節省69%的時間以致搜尋點的數目是26及10的加權平 均,於此範例,提供15個搜尋點。利用具有四分之一通用 中間格式(QCIF)尺寸影像之影像序列於134個訊框得到這 些結果。在此所應用之訊框比率是每秒10個訊框。 圖2表中的結果顯示根據本發明動作評估被實施在此實施 例具有較低的複雜性。這是一種令人滿意的結果,因爲典 型地動作評估包含一視訊編碼器計算負擔之顯著部份。此 特別實施例之搜尋點數目只是於一完整搜尋所使用之搜尋 點數目的1.5%,在計算負擔上有一明顯的減少。同樣地, 當與完整搜尋比較時,此特別實施例之位元比率下降超過 4.5%,雖然信號雜訊比下降到大約只有.45至.65分貝。同 理,如表説明,此特別實施例所得到峰値信號雜訊比 (PSNR)値優於對數搜尋所得到的,且較不複雜及一較小的 ”位元預算’’。 如先前的討論説明,此根據本發明之實施例在動作評估 及編碼的技藝方法之狀態上具有許多優點。如先前所指 出,這些優點包含一種在計算負擔上的減少、一種改良的 壓縮比例、一種在用於動作向量之位元上之減少及一種相 對於對數搜尋之改良峰値信號雜訊比。而且,雖然本發明 之範圍在此方面並不受限制,但此特別實施例是同時與 MPEG-4及H.263相容於非常低位元率編碼。同理,本實施 例可以以硬體、軟體、韌體或以上任何組合體如説明實 現0 -13- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -------------------訂---------線 (請先閱讀背面之注意事項再填寫本頁) 550953 A7 B7 五、發明説明(11 ) 根據本發明另一實施例以下列假碼說明,其中Rx及Ry的 計算如下:
Rx=MAX(MV1xtMV2x,MV3x)-MIN(MV1x,MV2x,MV3x)
Ry=MAX(MV1y,MV2y,MV3y)-MIN(MV1yfMV2y,MV3y) 如果Px二MVlx,貝丨Ji=l 否貝1j i口 |Px=MV2x貝1j i = 2 否則i = 3 一 如果Py=MVly,貝llj = l 否則如果Py=MV2y,則j = 2 否貝1Jj = 3 如果(i = =j) { 使用x_arm x y_arm以(Px,Py)為中心的搜尋視窗實施動 作評估,其中x__arm==3iy_arm=3 ; } ( 否則{ 設定x_arm = 5 且 y_arm=5 ; 經濟部中央標準局員工消費合作社印装 (請先閲讀背面之注意事項再填寫本頁) 如果(Rx<=3)設定 x—arm =3 ; 如果(Ry<=3)設定 y—arm =3 ; } 此特別實施例提供一種較先前實施例低複雜性或負擔之優 點,雖然,可能在結果的影像品質上是一犧牲。此實施例 -14- 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) 經濟部智慧財產局員工消費合作社印製 550953 A7 " --------___ 五、發明說明(12 ) 類似先前所描述之實施例,其中中點値被計算且被使用於 決定或推論有關動作向量範圍之特性。如先前所述,如果 同時用於各候選者之中點値是來自相同的巨大區塊,則在 此實施例中,此搜尋被限制在9個點。然而,如果候選者之 中點値是來自不同的巨大區塊,則搜尋點的數目可能會或 不會被增加。勝過簡單搜尋在此情況中一個25個點之視 窗,如在先前實施例中,取代,在不同方向之範圍被計算 且孩資訊被使用於作成有關搜尋視窗之決定。 該範園値,RX&Ry ,提供一關於動作向量領域如何在這 些方向可以被改變之指示。因此,如果改變是相對大的, 則在此方向較大的視窗被搜尋;然而,如果改變是相對小 的’則在此方向較小的視窗被搜尋。這樣與先前實施例相 比降低了複雜性,因爲在一些事例中,一9個點或15個點的 搜尋將被使用於稍後的實施例中,鑑於一25個點之搜尋應 該已經被使用於之前的實施例中。 此特殊實施例之應用藉由圖4之範例特別被説明。這些動 .作向量爲(4,2)、(9,3)及(5,4)。因此,如果應用先前所描 述之實施例,一個以(5,3)爲中心之3x5長方形被搜尋。 同理,圖5是説明應用此實施例至先前實施例所求値序列 結果之表。圖5提供此實施例結果與完整搜尋、對數搜尋及 先前實施例結果之比較。 當然,本發明之範圍並不受限於一特別實施例或履行 中’如先前所指示。例如,前述之方法,如根據本發明方 法之其中一個例子,可以以硬體、軟體、韌體及/或以上組 -15- 本紙張尺度適用中國國家標準(CNS)A4規格(21G X 297公釐) ' --- #裝--------訂---------線 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 550953 A7 B7 五、發明說明(13 ) 合實現。再次,僅僅預期的如不限制本發明之範圍的範 例,一實施例可以包含一含有硬體之影像器,諸如積體電 路晶片,其實現前文所提及的。另一種選擇是,該影像器 可以結合一計算平台,其具有實現先前所述之軟體能力。 同理,例如,一種結合桌上型電腦之數位攝影機可以完成 一實施例。此外,當然,這些以硬體及軟體之完成可脱離 先前所述但依然在本發明的範圍内。> 對於至少以軟體完成實施例而言,諸如,例如,先前所 述之實施例,該軟體可以存在於一儲存媒體上,例如,諸 如隨機存取記憶體、一光碟片(CD ROM)、一軟式磁碟片 或一硬式磁碟機,以致指令被儲存,當被執行時,諸如被 計算平台,諸如一 PC或其他計算裝置,以致系統能夠執行 指令發生動作評估。同理,該軟體亦可能存在於韌體中, 諸如快閃記憶體或電子式可清除程式化唯讀記憶體 (EEPROM)中。 然而本發明之某種功能在此已經被説明及描述,許多修 改、替換、改變及相等物對於精通此技藝者現在將會發 生。因此,吾人應該瞭解所提出申請專利範圍預期將涵蓋 當落入本發明眞正精神内之所有該修改及改變。 -16- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -----------裝--------訂---------^ AW (請先閱讀背面之注意事項再填寫本頁)

Claims (1)

  1. 550953 第090109436號專利申請案 中文申請專利範圍替換本(92年5月) A B c D
    正充 申請專利範圍 1. 一種實施視訊編碼動作評估之方法,包含: 自一組含有動作向量之鄰近巨大區塊決定中點動作向 量分量;且 搜尋一預先決定尺寸環繞一像素位置之視窗,其應用 一既定中點動作向量分量於定位一產生最接近相配者之 像素位置有關。 2. 如申請專利範圍第1項之方法,搜尋包括搜尋一與具有 零值分量之一動作向量有關之像素位置。 3. 如申請專利範圍第2項之方法,其中動作向量評估被應 用至一視訊框之一預先決定部分。 4. 如申請專利範圍第3項之方法,其中一視訊框之預先決 定部分包含一特別的巨大區塊; 且尚包含: 將至少一部份以中點動作向量分量與自可能的像素位 置產生最接近相配者之像素位置之間的差異為根據之特 別巨大區塊之一動作向量編碼。 5. 如申請專利範圍第2項之方法,其中中點動作向量分量 包含一水平動作向量分量及一垂直動作向量分量。 6. 如申請專利範圍第2項之方法,其中該組相鄰的巨大區 塊包含三個先前編碼巨大區塊。 7. 如申請專利範圍第6項之方法,其中三個先前編碼巨大 區塊包含三個緊接之前所編碼之巨大區塊。 8. 如申請專利範圍第2項之方法,其中產生最接近相配者 之像素位置是應用絕對差異總和至有可能像素位置之各 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 550953
    六、申請專利範圍 "" '~ -- 像素位置所決定。 9·如申請專利範圍第8項之方法,其中最接近相配者包含 光度像素信號值之最接近相配者。 1〇·如申請專利範圍第2項之方法,其中產生最接近相配者 之像素位置是應用均方誤差(MSE)至有可能像素位置之 各像素位置所決定。 11 ·如申凊專利範圍第丨項之方法,其中中點動作向量分量 分別自該組與其他分量獨立之相鄭巨大區塊所決定。 12·如申請專利範圍第丨丨項之方法,其中如果中點動作向量 刀里分別來自在該組相鄰巨大區塊中之不同巨大區塊, 則视窗包含一長5個像素寬5個像素之視窗。 Π·如申請專利範圍第⑴頁之方法,其中如果中點動作向量 刀量分別來自在該組相鄰巨大區塊中之不同巨大區塊, 則動作向量分量的範圍被計算。 14·如申請專利範圍第13項之方法,其中如果一特別分量之 範圍等於或低於一預先決定值,則視窗搜尋在此特別分 量方向是三個像素長,且其他則為五個像素長。 15·如申請專利範圍第u項之方法,其中該預先決定值是三 個像素。 16·如中請專利範圍第13項之方法,其中如果_特別分量之 ^圍低於一預先決定值,則視窗搜尋在此特別分量方向 是一預先決定的整數值X,且其他則為一預先決定的整 數值Y,其中γ大於X。 17’如中請專利範圍第丨丨項之方法,其中如果中點動作向量 本紙 -2- 々、申請專利範圍 分量分別來自在該組相鄰巨大區塊中之相同巨大區塊, 則視窗包含一長三個像素寬三個像素之視窗。 18. —種電腦可讀取之裝置,包含:一儲存媒體,已經被儲 存在其上,能夠被一計算平台執行之指令,當該指令被 該平台執行時,造成: 自一組包含動作向量之相鄰巨大區塊決定中點動作向 量分量;且 搜尋一預先決定尺寸環繞一像素位置而與應用既定中 點動作向量分量以定位產生最接近相配者之像素位置之 視窗。 19. 如申請專利範圍第18項之電腦可讀取之裝置,其中搜尋 包含搜尋一與具有零值分量之動作向量有關之像素位 置。 20. 如申請專利範圍第19項之電腦可讀取之裝置,其中該指 令,當執行時,導致一特別巨大區塊之一動作向量根 據,至少一部份,自有可能的像素位置中產生最接近相 配者之像素位置被評估; 且尚導致: 以至少一部份中點動作向量分量與自可能像素位置產 生最接近相配者之像素位置之間的差異為基礎將特殊巨 大區塊之動作向量編碼。 21. 如申請專利範圍第20項之電腦可讀取之裝置,其中產生 最接近相配者之像素位置藉由應用絕對差異總和至可能 像素位置之各像素位置所決定。 -3- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 09 5 5
    2 2 •如申請專利範圍第21項之電腦可讀取之裝置,其中最接 t相配者包含光度像素信號值之最接近相配者。 23 .如申請專利範圍第18項之電腦可讀取之裝置,其中中點 動作向量分量分別自該組與其他分量獨立之相鄰巨大區 塊所決定。 Λ 如申叫專利範圍第2 3項之電腦可讀取之裝置,其中如果 中點動作向量分量分別來自在該組相鄰巨大區塊中之不 同巨大區塊,則視窗包含一長五個像素寬五個像素之視 · 窗。 25·如申請專利範圍第23項之電腦可讀取之裝置,其中如果 ; 中點動作向量分量分別來自在該組相鄰巨大區塊中之不 同巨大區塊,則動作向量分量的範圍被計算。 26·如申請專利範圍第25項之電腦可讀取之裝置,其中如果 特別分量之範圍等於或低於一預先決定值,則視窗搜 尋在此特別分量方向是三個像素長,且其他則為五個像 素長。 27.如申請專利範圍第25項之電腦可讀取之裝置,其中如果 一特別分量之範圍低於一預先決定值,則視窗搜尋在此 ; 特別分量方向是一預先決定的整數值X,且其他則為一 ·| 預先決定的整數值Y,其中γ大於X。 i 2 8 ·如申请專利範圍第2 3項之電腦可讀取之裝置,其中如果 卜 中點動作向量分量分別來自在該組相鄰巨大區塊中之相 | 同巨大區塊,則視窗包含一長三個像素寬三個像素之視 丨 窗。 : 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 550953
    29. 一種實施動作評估之系統,包含·· 一計算平台; Μ计平口適用於自一組包含動作向量之相鄭巨大區 塊產生中點動作向量分量且尚適用於搜尋一預先決定尺 寸環繞-像素位置而與中點動作向量分量有關之視窗以 產生一動作評估。 3〇· ^申請專利範圍第29項之系統,其中該平台尚適用於搜 寻-與具有零值分量之動作向量有關之像素位置。 A如申請專利範圍第30項之系統,其中該平台尚適用於至 裝 少一部份根據中點動作向量分量與評估動作向量之間差 異將特別巨大區塊之動作向量編碼。 32·如申請專利範圍第31項之系統,其中該平台適用於自該 組獨立於其他分量之相鄰巨大區塊決定各個中點動作向 量分量。 33.如申請專利範圍第32項之系統,其中如果中點動作向量 分量分別來自在該組相鄰巨大區塊中之不同巨大區塊, 則該平台適用於搜尋一長5個像素寬5個像素之視窗。 3(如申請專利範圍第32項之系統,其中如果中點動作向量 刀量分別來自在該組相鄰巨大區塊中之不同巨大區塊, 則該平台適用於計算動作向量分量的範圍。 35.如申請專利範圍第34項之系統,其中如果一特別分量之 範圍等於或低於一預先決定值,則該平台適用於搜尋在 此特別分量方向是三個像素長,且其他則為五個像素長 之視窗。 -5- A BCD
    550953 々、申請專利範圍 3 6.如申請專利範圍第34項之系統,其中如果一特別分量之 範圍低於一預先決定值,則該平台適用於搜尋大小在此 特別分量方向是一預先決定的整數值X,且其他則為一 預先決定的整數值Y,其中Y大於X之視窗。 37.如申請專利範圍第32項之系統,其中如果中點動作向量 分量分別來自在該組相鄰巨大區塊中之相同巨大區塊, 則該平台適用於具有一尺寸長三個像素寬三個像素之視 窗0 本紙張尺度適用中國國家標準(CNS) A4規格(210 x 297公釐) 550953 Q9 1 I ;1 t力 V J > 年,h 修正補充 第090109436號專利申請案 中文圖式替換頁(92年1月) 得jj最低之最相里區魂 >—(x〇+x,y〇^y) 尋祝窗 (xO+15,yO+15) βζΜΜΜΜΜ.
    (x0-16,y0-16)· • Γ (x〇,y〇)'
    550953 第090109436號專利申請案 中文圖式替換頁(92年1月)
    550953 iJ- 年月 第090109436號專利申請案 中文圖式替換頁(91年12月) 模擬結果 —完整搜尋 對數搜尋 中點搜尋 :替献麵 (6574/9576- 69%) 搜尋芩 1024 33 26(31%) + 10(69%)= 15 10.69 (參看下方Η 一一 —♦— -- 位以訊辉 643 8 6475 6456 6435 PSNR一Y 32.15 31.27 31.60 31.57 , PSNRJJ 37.15 36.65 36.89 36.86 PSKR_V 37.99 37.25 37.62 37.63 > 註· MVx及MVy來自相同區塊:6512(3X3視窗) MVx及MVy來自不同區塊:3064 3X5 : 239 5X3 : 175 3X3 :2395 所以它將是趨近 10 X (6512+2395)/(6512+3064)+ 16 X (239+176) / (6512+3064)+26 X 255 / (6512+3064) = 10.69
TW090109436A 2000-06-16 2001-04-19 Method of performing motion estimation TW550953B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US59612700A 2000-06-16 2000-06-16

Publications (1)

Publication Number Publication Date
TW550953B true TW550953B (en) 2003-09-01

Family

ID=24386080

Family Applications (1)

Application Number Title Priority Date Filing Date
TW090109436A TW550953B (en) 2000-06-16 2001-04-19 Method of performing motion estimation

Country Status (8)

Country Link
EP (1) EP1295483B1 (zh)
JP (1) JP4914555B2 (zh)
KR (1) KR100549543B1 (zh)
AT (1) ATE476829T1 (zh)
AU (1) AU2001265349A1 (zh)
DE (1) DE60142739D1 (zh)
TW (1) TW550953B (zh)
WO (1) WO2001099437A2 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100455119B1 (ko) * 2002-01-26 2004-11-06 엘지전자 주식회사 움직임 벡터 영역의 적응적 결정 방법
NO318167B1 (no) 2002-11-27 2005-02-14 Tandberg Telecom As Vektorprediksjon
US7400680B2 (en) * 2003-09-30 2008-07-15 Intel Corporation Rectangular-shape motion search
US20060120612A1 (en) * 2004-12-08 2006-06-08 Sharath Manjunath Motion estimation techniques for video encoding
US8761259B2 (en) 2005-09-22 2014-06-24 Qualcomm Incorporated Multi-dimensional neighboring block prediction for video encoding
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
JP2018014064A (ja) * 2016-07-19 2018-01-25 Gft株式会社 室内用自走式ロボットの位置測定システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04150284A (ja) * 1990-10-09 1992-05-22 Olympus Optical Co Ltd 動ベクトル検出方法およびその装置
JPH05328333A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JPH06209466A (ja) * 1992-10-07 1994-07-26 Canon Inc 動ベクトル検出装置
JP4142180B2 (ja) * 1998-10-29 2008-08-27 富士通株式会社 動きベクトル符号化装置および復号装置
US6418166B1 (en) * 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern

Also Published As

Publication number Publication date
AU2001265349A1 (en) 2002-01-02
JP4914555B2 (ja) 2012-04-11
DE60142739D1 (de) 2010-09-16
EP1295483B1 (en) 2010-08-04
WO2001099437A2 (en) 2001-12-27
ATE476829T1 (de) 2010-08-15
JP2004501582A (ja) 2004-01-15
WO2001099437A3 (en) 2002-08-08
KR100549543B1 (ko) 2006-02-03
EP1295483A2 (en) 2003-03-26
KR20030065314A (ko) 2003-08-06

Similar Documents

Publication Publication Date Title
CN114424542B (zh) 具有非规范平滑的基于视频的点云压缩
KR101131756B1 (ko) 도메인 변환을 이용한 메시 기반 비디오 압축
CN110291790B (zh) 视频编码中的运动矢量(mv)约束和变换约束
WO2017005146A1 (zh) 视频编码和解码方法、视频编码和解码装置
JP5089608B2 (ja) 視覚信号の補外または補間のためのシステムおよび方法
Jeong et al. Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization
JP5575908B2 (ja) 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法
US8837591B2 (en) Image block classification
US20190045193A1 (en) Region-based motion estimation and modeling for accurate region-based motion compensation for efficient video processing or coding
CN111133476A (zh) 点云压缩
WO2017005128A1 (zh) 图像预测方法和相关设备
US8781253B2 (en) Method and apparatus for video object segmentation
EP2614490B1 (en) Concept for determining a measure for a distortion change in a synthesized view due to depth map modifications
CN113597764B (zh) 视频解码方法、系统和存储介质
CN110312130B (zh) 基于三角模式的帧间预测、视频编码方法及设备
Gao et al. Encoder-driven inpainting strategy in multiview video compression
WO2019242408A1 (zh) 视频编码方法、视频解码方法、装置、计算机设备和存储介质
TW550953B (en) Method of performing motion estimation
TW201937924A (zh) 用於改進獲得線性分量樣本預測參數的方法以及裝置
KR20150045819A (ko) 움직임 보상을 수행하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
Amado Assuncao et al. Spatial error concealment for intra-coded depth maps in multiview video-plus-depth
US8787444B2 (en) Differential coding of intra directions (DCIC)
CN115004703A (zh) 图像和视频压缩的帧内预测
Takacs et al. Feature tracking for mobile augmented reality using video coder motion vectors
WO2021134666A1 (zh) 视频处理的方法与装置

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent
MM4A Annulment or lapse of patent due to non-payment of fees