TW550953B - Method of performing motion estimation - Google Patents
Method of performing motion estimation Download PDFInfo
- Publication number
- TW550953B TW550953B TW090109436A TW90109436A TW550953B TW 550953 B TW550953 B TW 550953B TW 090109436 A TW090109436 A TW 090109436A TW 90109436 A TW90109436 A TW 90109436A TW 550953 B TW550953 B TW 550953B
- Authority
- TW
- Taiwan
- Prior art keywords
- patent application
- motion vector
- item
- midpoint
- scope
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000013598 vector Substances 0.000 claims abstract description 78
- 238000011156 evaluation Methods 0.000 claims description 30
- 230000009471 action Effects 0.000 claims description 29
- 238000004088 simulation Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000002079 cooperative effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
550953 A7 B7 五、發明説明(1 ) 發明背景 本發明係關於實施動作評估,且,詳言之,係關於視訊 編碼,諸如,例如,低位元視訊編碼之實施動作評估。 如大家所熟知,動作評估是視訊編碼的一種常見態樣或 成分。有實施視訊編碼的種種技術,其中一些技術是與標 準有關且另一些則否。流行的標準包括:ITU-Τ’’低位元率 通信之視訊編碼’’、1995年11月ITU-T推薦H.263,版本1 及1998年6月版本2 動畫及相關音覺資訊之積極編碼:視 訊"ISO/IEC 13818-2 :國際標準1995 ;及"音視覺物件之 編碼-第二部分:視覺修正;視覺擴大"ISO/IEC 14496-2 : 2000年1月6日起草;此後這些分別被稱為H.263、 H.263+、MPEG-2及MPEG-4。這些是解碼/解壓縮標準的 範例。典型地,這些標準或標準之規格提供一些或沒有可 能使用關於壓縮方法論之引導,包含與動作評估有關。 經濟部中央標準局員工消費合作社印製 (請先閱讀背面之注意事項再填寫本頁) 動作評估被使用於移除視訊框中的時間冗餘,以致於被 使用於傳送訊框之通訊通道的頻寬可以更有效率地使用。 完成動作評估典型地是使用區塊搜尋技術。一種’’完整動作 ”搜尋技術,其中所有的像素位置實質上是在一搜尋視窗中 被搜尋,典型地非常複雜的計算,且有時候在即時的應用 中可能會被禁止。在完整搜尋動作評估的狀況下,其中利 用E塊,一個32 X 32視窗的搜尋點數量是1,024。 為了減少此計算的複雜性,已經提出一些不同的方法。 一種廣為流傳的方法是根據或被稱為一對數搜尋。在此方 法中,代替搜尋每個搜尋點或在一搜尋視窗内的像素位 -4- 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) 550953 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明(2 ) 置,九個初始點,其利用四分之一搜尋視窗將其隔開,被 檢查或搜尋。在發現一搜尋點或來自這九個初始點其提供 最小絕對差異總和(SAD)値或來自九個另外的誤差測量 法,類似均方根誤差(MSE)之最小値,此搜尋在八個附加 的點被繼續,這些點在此點周圍是有圓心的利用減少搜尋 點之間的距離一半。這樣持續直到兩個搜尋點之間的距離 爲一個像素的距離。在此方法中,33>個搜尋點產生一結 果,對照一完整動作搜尋之1,〇24個搜尋點。値得注意的是 各附加點增加了額外的計算。 雖然一對數搜尋會降低搜尋點的數目,但是此方法依然 具有一些缺點。例如,由此動作評估所產生影像的品質相 對於一完整動作搜尋通常是會降低的。此外,具有33個搜 尋點,在某些例子中,此方法還是不適用於即時的應用。 因此,一種新方法或新技術之需求是存在的,此方法或技 術在影像品質及低計算複雜性上是可以相比較於或勝過對 數搜尋法。 圖式摘要説明 本發明的主題在説明書的最後部分特別被指出且清楚地 提出申請專利範圍。然而,本發明同時關於組織及操作方 法,。連同目的、功能及優點可以透過參考下列詳述配合附 圖將得到最佳的暸解,附圖中: 圖1是説明使用於根據本發明動作向量預測技術之實施例 而與巨塊有關之動作向量之概要圖; 圖2是説明應用根據本發明動作評估之一實施例之模擬結 -5- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297 &釐) -------------------^---------線 (請先閱讀背面之注意事項再填寫本頁) 550953 A7 B7 五、發明說明(3 ) 果表; (請先閱讀背面之注意事項再填寫本頁) 圖3是説明完整像素動作評估之一實施例之概要圖; 圖4是説明根據本發明之一實施例之應用至包含動作向量 之例子之座標圖;及 圖5是説明應用根據本發明之另一實施例至動作評估之模 擬結果表。 詳細説明 ^ 在下列詳細説明中,提出許多的特殊細節是爲了提供大 家能通盤瞭解本發明。然而,那些精通此技藝者將瞭解本 發明可以被實行而不需要這些特殊的細節。在另一實例 中’眾所周知的方法、程序、構成要素及電路不需要被详 細説明,以免模糊了本發明。 經濟部智慧財產局員工消費合作社印製 如先前所表明,動作評估被使用於視訊編碼中。MPEG-2 及MPEG-4及其他視訊標準是將它應用於視訊編碼的例 子。然而,這些方法論典型地沒有詳細指明使用壓縮技 術,尤其是與動作評估有關。如指示,動作評估典型地被 使用於當傳送視訊框時移除暫時冗餘,爲的是例如使得可 用於將視訊框從一位置傳送至另一位置之有限帶寬總數更 有效率的使用。當然,視訊編碼及解碼亦被使用於其他情 況,諸如儲存設備,且本發明不受限於這些技術之特殊應 用0 其中一種動作評估技術被稱爲完整動作搜尋。然而,此 方法計算非常複雜且典型地禁用於即時應用。在完整搜尋 動作評估的事例中,在一 32 X 32視窗中的搜尋點數目爲 -6 - 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 550953 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明說明(4 ) 1024,其可以與一巨塊有關地被使用。名稱巨塊是很有名 且很熟悉的,所以將不做任何細節的解釋;然而,鑒於它 典型地與包含發光性像素方陣之視訊框一部分有關連,該 方陣具有16 X 16的尺寸,及兩個對應的色度像素方陣’各 方陣具有8 X 8的尺寸,在此上下文中,它所談論的是發光 性陣列而不是色度陣列。這是應用此特殊實施例之傳統手 法,因爲典型地,色度動作向量源自於那些發光性陣列; 然而,當然,本發明在此方面不受限於此範圍中。 爲了降低計算的複雜性,各種不同的技術已經被提出。 如先前所表述的,一種受歡迎的方法是根據一對數搜尋。 在此方法中,如先前所描述,代替搜尋一搜尋視窗内所有 的搜尋點,最初的點被搜尋,其以搜尋視窗尺寸之四分之 一被彼此隔開。在發現九個點中之一點或像素位置,其產 生最小絕對差異(SAD)値總和或一些其他分量之後,此方 法考量或檢查以該點爲中心距離縮減與原搜尋點之間一半 而環繞該點的另外八個附加點。此方法持續直到兩個搜尋 點之間的距離變爲一個像素間隔。因此,與1,〇24個完整動 作搜尋相比,要檢查33個搜尋點。値得注意的是這裡只有 發光像素信號資料被使用。如先前所描述,雖然此方法與 完聱動作搜尋相比降低了複雜性,但它依然不適合某些即 時應用,且更可能產生較差品質之視訊影像或視訊框。 對照之下,根據本發明實施動作評估之一實施例降低了 計算的複雜性且增加了壓縮效能,當與對數搜尋法比較起 來同時在影像品質及壓縮效率上,此方法都更勝一籌。在 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -----------裝--------訂---------線"1^^· (請先閱讀背面之注意事項再填寫本頁) 550953 A7 B7 五、發明說明(5 ) (請先閱讀背面之注意事項再填寫本頁) 此特殊的實施例中,在通信通道的傳輸側上,一實施動作 評估之方法包含下列步驟。中間動作向量分量是由一組包 含動作向量之鄰近巨塊所決定。當然,値得注意的是同時 此特殊實施例使用巨塊,本發明在此方面不受限在此範圍 中。例如,除了 一巨塊之外的訊框其他部分可以被使用。 巨塊被使用於此實施例中,然而,因爲巨塊是眾所週知 的,因此,提供便利性,但本發明決不受限在一特殊數目 之像素或一特別形狀或配置之像素,至此根據本發明之一 實施例可以被應用。 然後,以預先決定尺寸或形狀環繞一與既定中間動作向 量分量有關之像素位置之視窗被搜尋。更特別地,中間動 作向量分量被應用至巨大區塊,在此特殊實施例中,產生 一像素位置且此像素位置是該搜尋視窗之中心。除了搜尋 一預先決定尺寸及形狀之視窗外,一與一它的所有分量都 具有零値之動作向量有關之像素位置亦被搜尋或檢查。因 此,該視窗之像素位置及一與一零動作向量有關連之像素 位置被檢查或搜尋以決定這些之中哪些像素位置產生最接 近匹配已經應用此技術之特殊巨大區塊。 經濟部智慧財產局員工消費合作社印製 當然,如先前已經被指示,本發明不受限在此一特殊實 施例之範圍中且許多變化是可能的。例如,零値動作向量 可以自一替代實施例中搜尋被省略。同樣地,當搜尋像素 位置時之最接近相配者可以在特殊巨大區塊與一以被搜尋 或檢查像素位置爲中心之巨大區塊之間應用絕對差異總和 (SAD)而被決定,雖然本發明的範圍在此方面不受限制。 -8- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 550953 A7 B7 五、發明說明(6 ) (請先閱讀背面之注意事項再填寫本頁) 然而,另一種選擇是,最小均方誤差(MSE)法可以被使 用,或一些其他可能用於測量誤差或差異方法中的任何其 中之一可以被使用。同樣地,此特殊實施例中之中點動作 向量分量是決定自一組鄰近巨大區塊,且,如圖1中所説 明,在此實施例中,具體地是三個。同樣地,再次説明, 本發明之範圍不受限於任何關於鄰近巨大區塊之特殊方法 及許多特徵爲可能使用該組鄰近巨大區塊任何其中之一種 方法。例如,更少巨大區塊或更多巨大區塊被使用。同樣 地,在替代實施例中,不需要使用連續的巨大區塊。 經濟部智慧財產局員工消費合作社印製 此外,在此特殊實施例中,雖然本發明之範圍在此方面 再次不受限,爲了要決定最接近相配者,如先前所指示, 發光像素信號値被使用。然而,那裡的發光像素信號値不 是有效的,如同其中之一替代實施例,含有最大發光信號 資訊總數之訊框分量可以被使用。同樣地,光度可以替代 地不被使用,且作爲替代,色度信號値或其色度分量佔優 勢之信號値可以被使用。再一次,本發明之範圍不受限在 一特殊的方法。例如,其訊框以紅綠藍(RGB)色間隔格式 被提供,典型地,綠色像素信號値將被使用,雖然,再一 次,本發明之範圍在此方面並不受限制。 缚然本發明之範圍在此方面並不受限制,但用於MPEG-4 及H.263,當内部訊框編碼被使用,動作向量被編碼且被傳 送。一壓縮視訊資料流,當被傳送時,典型地包含由動作 評估所產生動作向量之编碼及誤差視訊之編碼。在這樣的 情況下,且在此特殊實施例中,一動作向量,MV,可以以 -9- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 550953 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明(7 ) 兩分量(MVx,MVy)表示,其中MVx及MVy分別是水平及 垂直方向之分量。典型地,一動作向量可以被計算如下 參看圖3 : SAD .=〇 其中 (x〇,y〇) 目前巨大區塊之左上角座標 C[x,y] 目前巨大區塊光度樣本 R[x,y] 重新建構先前訊框光度樣本 S 搜尋範圍{(x,y) : -16 幺 x,y < 16} (MVx,MVy)導致上述最小總和之動作向量 在此特殊實施例中,爲了要減少被使用於動作向量編碼 之位元數目,動作向量分量,在此實施例中之水平及垂 直,使用三個巨大區塊之一空間鄰近地區依差別而定編 碼,這些巨大區塊具有一動作向量,如圖丨中所説明。注意 .在此實施例中此鄰近地區信號資訊先前已經被傳送。在此 實施例中,這二個動作向量是現在被編碼動作向量之差別 編碼之候選預測者。當然,我們將瞭解,如先前所指示, 本發明在範圍上並不限制於使用三個先前的巨大區塊,或 更特別地,來自三個先前的巨大區塊之動作向量。許多先 岫巨大區塊中的任何一個被使用且巨大區塊不需要是連續 的,如先前對此特殊實施例所指示。 在此實施例中’動作向量編碼獨立地被執行成水平及垂 -10- 本紙張尺度適用中國國家標準(CN‘4規格(21〇 x 297公爱) --- -----—t---------^ (請先閱讀背面之注意事項再填寫本頁) 550953 A7 B7 五、發明説明(8 ) 直分量。對各分量而言,在此實施例中,一分量的三個候 選中點值的計算如下··
Px = Median(MVlxy MV2x, MV3x)
Py = Medicin(MV\y,MV2y,MV3y) 例如,如果MV1等於(-2,3),MV2等於(2,5),且MV3等於 (-1,8),則中點動作向量分量,此標示為P χ及P γ ’分別是-1及5。如下列方程式所指示: MVDx = MVx — Px MVDy = MVy - Py 經濟部中央標準局員工消費合作社印製 (請先閱讀背面之注意事項再填寫本頁) 此方法的一方面是典型地空間關係被呈現在鄰近巨大區 塊之間的觀察。所以,一種有效率的搜尋方法可以包含使 用一中心為Px及Ργ之間較小的搜尋視窗。而且,在此,利 用個別計算各向量分量之中點值,出現附加資訊的機會。 詳言之,如果中點動作向量分量是來自於相同的巨大區 塊,則這可以象徵動作向量範圍是相對地’’平滑”,意味, 在此上下文中,位置相對空間接近之動作向量之間具有相 對小的變化。因此,就此實施例而言,搜尋視窗被限制在 以Ρ X,Ρ γ為中心而環繞其周圍之九個點。然而,另一種選 擇是,如果中點動作向量分量,在此分別是水平及垂直, 是來自於不同的巨大區塊,則此可以指示動作範圍更複雜 且囱此搜尋視窗增加至25個點,雖然,再次,以Ρχ,Ργ為 中心。而且,在此實施例中,同時用於兩分量之零動作向 量亦被搜尋,雖然,如先前所指示,本發明之範圍在此方 面不受限制。使用零動作向量的一個理由是因為它提供一 -11 - 本紙張尺度適用中國國家標準(CNS ) Α4規格(210X 297公釐) 550953 經濟部中央標準局員工消費合作社印製 A7 B7 五、發明説明(9 ) 以誤差為字眼之可接受的相配者,諸如SAD,它節省頻 寬,其在一些情況下可以特別地令人滿意。如先前所指 示,在此特別的實施例中,一絕對差異之總和(SAD)被使 用,雖然本發明的範圍在此方面不受限制。 利用假碼,此根據本發明之特別技術或實施例的特徵如 下’: 如果Px二MVlx,則 i=l 其它如果Px=MV2x,則i = 2 否則i = 3 如果Py=MVly,則j = l 其它如果Py=MV2y,則j = 2 否則j = 3-如果i=j,則 使用以(Px,Py)為中心之3χ3搜尋視窗來實施動作評 估; 否則 使用以(Px,Py)為中心之5x5搜尋視窗來實施動作評 估; 如果是則結束。 圖2是此特殊實施例與一完整動作搜尋及一對數搜尋比較 時的效率比較表。在一完整搜尋中,搜尋範圍為(-16,15), 以致搜尋點的數目為1024,如先前所指示。同樣地,如先 前所指示,對數搜尋包含33個搜尋點。當然,此特別的實 施例之搜尋點數目部份是依據視訊序列或多個序列而定。 -12- 本纸張尺度適用中國國家標準(CNS )八4胁(210X297公羞)
f請先閱讀背面之注意事項再填寫本頁』
經濟部智慧財產局員工消費合作社印製 550953 A7 B7 五、發明說明(10 ) 在實施此實施例之此特定組序列中,一較小的搜尋視窗被 應用節省69%的時間以致搜尋點的數目是26及10的加權平 均,於此範例,提供15個搜尋點。利用具有四分之一通用 中間格式(QCIF)尺寸影像之影像序列於134個訊框得到這 些結果。在此所應用之訊框比率是每秒10個訊框。 圖2表中的結果顯示根據本發明動作評估被實施在此實施 例具有較低的複雜性。這是一種令人滿意的結果,因爲典 型地動作評估包含一視訊編碼器計算負擔之顯著部份。此 特別實施例之搜尋點數目只是於一完整搜尋所使用之搜尋 點數目的1.5%,在計算負擔上有一明顯的減少。同樣地, 當與完整搜尋比較時,此特別實施例之位元比率下降超過 4.5%,雖然信號雜訊比下降到大約只有.45至.65分貝。同 理,如表説明,此特別實施例所得到峰値信號雜訊比 (PSNR)値優於對數搜尋所得到的,且較不複雜及一較小的 ”位元預算’’。 如先前的討論説明,此根據本發明之實施例在動作評估 及編碼的技藝方法之狀態上具有許多優點。如先前所指 出,這些優點包含一種在計算負擔上的減少、一種改良的 壓縮比例、一種在用於動作向量之位元上之減少及一種相 對於對數搜尋之改良峰値信號雜訊比。而且,雖然本發明 之範圍在此方面並不受限制,但此特別實施例是同時與 MPEG-4及H.263相容於非常低位元率編碼。同理,本實施 例可以以硬體、軟體、韌體或以上任何組合體如説明實 現0 -13- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -------------------訂---------線 (請先閱讀背面之注意事項再填寫本頁) 550953 A7 B7 五、發明説明(11 ) 根據本發明另一實施例以下列假碼說明,其中Rx及Ry的 計算如下:
Rx=MAX(MV1xtMV2x,MV3x)-MIN(MV1x,MV2x,MV3x)
Ry=MAX(MV1y,MV2y,MV3y)-MIN(MV1yfMV2y,MV3y) 如果Px二MVlx,貝丨Ji=l 否貝1j i口 |Px=MV2x貝1j i = 2 否則i = 3 一 如果Py=MVly,貝llj = l 否則如果Py=MV2y,則j = 2 否貝1Jj = 3 如果(i = =j) { 使用x_arm x y_arm以(Px,Py)為中心的搜尋視窗實施動 作評估,其中x__arm==3iy_arm=3 ; } ( 否則{ 設定x_arm = 5 且 y_arm=5 ; 經濟部中央標準局員工消費合作社印装 (請先閲讀背面之注意事項再填寫本頁) 如果(Rx<=3)設定 x—arm =3 ; 如果(Ry<=3)設定 y—arm =3 ; } 此特別實施例提供一種較先前實施例低複雜性或負擔之優 點,雖然,可能在結果的影像品質上是一犧牲。此實施例 -14- 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) 經濟部智慧財產局員工消費合作社印製 550953 A7 " --------___ 五、發明說明(12 ) 類似先前所描述之實施例,其中中點値被計算且被使用於 決定或推論有關動作向量範圍之特性。如先前所述,如果 同時用於各候選者之中點値是來自相同的巨大區塊,則在 此實施例中,此搜尋被限制在9個點。然而,如果候選者之 中點値是來自不同的巨大區塊,則搜尋點的數目可能會或 不會被增加。勝過簡單搜尋在此情況中一個25個點之視 窗,如在先前實施例中,取代,在不同方向之範圍被計算 且孩資訊被使用於作成有關搜尋視窗之決定。 該範園値,RX&Ry ,提供一關於動作向量領域如何在這 些方向可以被改變之指示。因此,如果改變是相對大的, 則在此方向較大的視窗被搜尋;然而,如果改變是相對小 的’則在此方向較小的視窗被搜尋。這樣與先前實施例相 比降低了複雜性,因爲在一些事例中,一9個點或15個點的 搜尋將被使用於稍後的實施例中,鑑於一25個點之搜尋應 該已經被使用於之前的實施例中。 此特殊實施例之應用藉由圖4之範例特別被説明。這些動 .作向量爲(4,2)、(9,3)及(5,4)。因此,如果應用先前所描 述之實施例,一個以(5,3)爲中心之3x5長方形被搜尋。 同理,圖5是説明應用此實施例至先前實施例所求値序列 結果之表。圖5提供此實施例結果與完整搜尋、對數搜尋及 先前實施例結果之比較。 當然,本發明之範圍並不受限於一特別實施例或履行 中’如先前所指示。例如,前述之方法,如根據本發明方 法之其中一個例子,可以以硬體、軟體、韌體及/或以上組 -15- 本紙張尺度適用中國國家標準(CNS)A4規格(21G X 297公釐) ' --- #裝--------訂---------線 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 550953 A7 B7 五、發明說明(13 ) 合實現。再次,僅僅預期的如不限制本發明之範圍的範 例,一實施例可以包含一含有硬體之影像器,諸如積體電 路晶片,其實現前文所提及的。另一種選擇是,該影像器 可以結合一計算平台,其具有實現先前所述之軟體能力。 同理,例如,一種結合桌上型電腦之數位攝影機可以完成 一實施例。此外,當然,這些以硬體及軟體之完成可脱離 先前所述但依然在本發明的範圍内。> 對於至少以軟體完成實施例而言,諸如,例如,先前所 述之實施例,該軟體可以存在於一儲存媒體上,例如,諸 如隨機存取記憶體、一光碟片(CD ROM)、一軟式磁碟片 或一硬式磁碟機,以致指令被儲存,當被執行時,諸如被 計算平台,諸如一 PC或其他計算裝置,以致系統能夠執行 指令發生動作評估。同理,該軟體亦可能存在於韌體中, 諸如快閃記憶體或電子式可清除程式化唯讀記憶體 (EEPROM)中。 然而本發明之某種功能在此已經被説明及描述,許多修 改、替換、改變及相等物對於精通此技藝者現在將會發 生。因此,吾人應該瞭解所提出申請專利範圍預期將涵蓋 當落入本發明眞正精神内之所有該修改及改變。 -16- 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) -----------裝--------訂---------^ AW (請先閱讀背面之注意事項再填寫本頁)
Claims (1)
- 550953 第090109436號專利申請案 中文申請專利範圍替換本(92年5月) A B c D正充 申請專利範圍 1. 一種實施視訊編碼動作評估之方法,包含: 自一組含有動作向量之鄰近巨大區塊決定中點動作向 量分量;且 搜尋一預先決定尺寸環繞一像素位置之視窗,其應用 一既定中點動作向量分量於定位一產生最接近相配者之 像素位置有關。 2. 如申請專利範圍第1項之方法,搜尋包括搜尋一與具有 零值分量之一動作向量有關之像素位置。 3. 如申請專利範圍第2項之方法,其中動作向量評估被應 用至一視訊框之一預先決定部分。 4. 如申請專利範圍第3項之方法,其中一視訊框之預先決 定部分包含一特別的巨大區塊; 且尚包含: 將至少一部份以中點動作向量分量與自可能的像素位 置產生最接近相配者之像素位置之間的差異為根據之特 別巨大區塊之一動作向量編碼。 5. 如申請專利範圍第2項之方法,其中中點動作向量分量 包含一水平動作向量分量及一垂直動作向量分量。 6. 如申請專利範圍第2項之方法,其中該組相鄰的巨大區 塊包含三個先前編碼巨大區塊。 7. 如申請專利範圍第6項之方法,其中三個先前編碼巨大 區塊包含三個緊接之前所編碼之巨大區塊。 8. 如申請專利範圍第2項之方法,其中產生最接近相配者 之像素位置是應用絕對差異總和至有可能像素位置之各 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 550953六、申請專利範圍 "" '~ -- 像素位置所決定。 9·如申請專利範圍第8項之方法,其中最接近相配者包含 光度像素信號值之最接近相配者。 1〇·如申請專利範圍第2項之方法,其中產生最接近相配者 之像素位置是應用均方誤差(MSE)至有可能像素位置之 各像素位置所決定。 11 ·如申凊專利範圍第丨項之方法,其中中點動作向量分量 分別自該組與其他分量獨立之相鄭巨大區塊所決定。 12·如申請專利範圍第丨丨項之方法,其中如果中點動作向量 刀里分別來自在該組相鄰巨大區塊中之不同巨大區塊, 則视窗包含一長5個像素寬5個像素之視窗。 Π·如申請專利範圍第⑴頁之方法,其中如果中點動作向量 刀量分別來自在該組相鄰巨大區塊中之不同巨大區塊, 則動作向量分量的範圍被計算。 14·如申請專利範圍第13項之方法,其中如果一特別分量之 範圍等於或低於一預先決定值,則視窗搜尋在此特別分 量方向是三個像素長,且其他則為五個像素長。 15·如申請專利範圍第u項之方法,其中該預先決定值是三 個像素。 16·如中請專利範圍第13項之方法,其中如果_特別分量之 ^圍低於一預先決定值,則視窗搜尋在此特別分量方向 是一預先決定的整數值X,且其他則為一預先決定的整 數值Y,其中γ大於X。 17’如中請專利範圍第丨丨項之方法,其中如果中點動作向量 本紙 -2- 々、申請專利範圍 分量分別來自在該組相鄰巨大區塊中之相同巨大區塊, 則視窗包含一長三個像素寬三個像素之視窗。 18. —種電腦可讀取之裝置,包含:一儲存媒體,已經被儲 存在其上,能夠被一計算平台執行之指令,當該指令被 該平台執行時,造成: 自一組包含動作向量之相鄰巨大區塊決定中點動作向 量分量;且 搜尋一預先決定尺寸環繞一像素位置而與應用既定中 點動作向量分量以定位產生最接近相配者之像素位置之 視窗。 19. 如申請專利範圍第18項之電腦可讀取之裝置,其中搜尋 包含搜尋一與具有零值分量之動作向量有關之像素位 置。 20. 如申請專利範圍第19項之電腦可讀取之裝置,其中該指 令,當執行時,導致一特別巨大區塊之一動作向量根 據,至少一部份,自有可能的像素位置中產生最接近相 配者之像素位置被評估; 且尚導致: 以至少一部份中點動作向量分量與自可能像素位置產 生最接近相配者之像素位置之間的差異為基礎將特殊巨 大區塊之動作向量編碼。 21. 如申請專利範圍第20項之電腦可讀取之裝置,其中產生 最接近相配者之像素位置藉由應用絕對差異總和至可能 像素位置之各像素位置所決定。 -3- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 09 5 52 2 •如申請專利範圍第21項之電腦可讀取之裝置,其中最接 t相配者包含光度像素信號值之最接近相配者。 23 .如申請專利範圍第18項之電腦可讀取之裝置,其中中點 動作向量分量分別自該組與其他分量獨立之相鄰巨大區 塊所決定。 Λ 如申叫專利範圍第2 3項之電腦可讀取之裝置,其中如果 中點動作向量分量分別來自在該組相鄰巨大區塊中之不 同巨大區塊,則視窗包含一長五個像素寬五個像素之視 · 窗。 25·如申請專利範圍第23項之電腦可讀取之裝置,其中如果 ; 中點動作向量分量分別來自在該組相鄰巨大區塊中之不 同巨大區塊,則動作向量分量的範圍被計算。 26·如申請專利範圍第25項之電腦可讀取之裝置,其中如果 特別分量之範圍等於或低於一預先決定值,則視窗搜 尋在此特別分量方向是三個像素長,且其他則為五個像 素長。 27.如申請專利範圍第25項之電腦可讀取之裝置,其中如果 一特別分量之範圍低於一預先決定值,則視窗搜尋在此 ; 特別分量方向是一預先決定的整數值X,且其他則為一 ·| 預先決定的整數值Y,其中γ大於X。 i 2 8 ·如申请專利範圍第2 3項之電腦可讀取之裝置,其中如果 卜 中點動作向量分量分別來自在該組相鄰巨大區塊中之相 | 同巨大區塊,則視窗包含一長三個像素寬三個像素之視 丨 窗。 : 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 55095329. 一種實施動作評估之系統,包含·· 一計算平台; Μ计平口適用於自一組包含動作向量之相鄭巨大區 塊產生中點動作向量分量且尚適用於搜尋一預先決定尺 寸環繞-像素位置而與中點動作向量分量有關之視窗以 產生一動作評估。 3〇· ^申請專利範圍第29項之系統,其中該平台尚適用於搜 寻-與具有零值分量之動作向量有關之像素位置。 A如申請專利範圍第30項之系統,其中該平台尚適用於至 裝 少一部份根據中點動作向量分量與評估動作向量之間差 異將特別巨大區塊之動作向量編碼。 32·如申請專利範圍第31項之系統,其中該平台適用於自該 組獨立於其他分量之相鄰巨大區塊決定各個中點動作向 量分量。 33.如申請專利範圍第32項之系統,其中如果中點動作向量 分量分別來自在該組相鄰巨大區塊中之不同巨大區塊, 則該平台適用於搜尋一長5個像素寬5個像素之視窗。 3(如申請專利範圍第32項之系統,其中如果中點動作向量 刀量分別來自在該組相鄰巨大區塊中之不同巨大區塊, 則該平台適用於計算動作向量分量的範圍。 35.如申請專利範圍第34項之系統,其中如果一特別分量之 範圍等於或低於一預先決定值,則該平台適用於搜尋在 此特別分量方向是三個像素長,且其他則為五個像素長 之視窗。 -5- A BCD550953 々、申請專利範圍 3 6.如申請專利範圍第34項之系統,其中如果一特別分量之 範圍低於一預先決定值,則該平台適用於搜尋大小在此 特別分量方向是一預先決定的整數值X,且其他則為一 預先決定的整數值Y,其中Y大於X之視窗。 37.如申請專利範圍第32項之系統,其中如果中點動作向量 分量分別來自在該組相鄰巨大區塊中之相同巨大區塊, 則該平台適用於具有一尺寸長三個像素寬三個像素之視 窗0 本紙張尺度適用中國國家標準(CNS) A4規格(210 x 297公釐) 550953 Q9 1 I ;1 t力 V J > 年,h 修正補充 第090109436號專利申請案 中文圖式替換頁(92年1月) 得jj最低之最相里區魂 >—(x〇+x,y〇^y) 尋祝窗 (xO+15,yO+15) βζΜΜΜΜΜ.(x0-16,y0-16)· • Γ (x〇,y〇)'550953 第090109436號專利申請案 中文圖式替換頁(92年1月)550953 iJ- 年月 第090109436號專利申請案 中文圖式替換頁(91年12月) 模擬結果 —完整搜尋 對數搜尋 中點搜尋 :替献麵 (6574/9576- 69%) 搜尋芩 1024 33 26(31%) + 10(69%)= 15 10.69 (參看下方Η 一一 —♦— -- 位以訊辉 643 8 6475 6456 6435 PSNR一Y 32.15 31.27 31.60 31.57 , PSNRJJ 37.15 36.65 36.89 36.86 PSKR_V 37.99 37.25 37.62 37.63 > 註· MVx及MVy來自相同區塊:6512(3X3視窗) MVx及MVy來自不同區塊:3064 3X5 : 239 5X3 : 175 3X3 :2395 所以它將是趨近 10 X (6512+2395)/(6512+3064)+ 16 X (239+176) / (6512+3064)+26 X 255 / (6512+3064) = 10.69
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US59612700A | 2000-06-16 | 2000-06-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW550953B true TW550953B (en) | 2003-09-01 |
Family
ID=24386080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW090109436A TW550953B (en) | 2000-06-16 | 2001-04-19 | Method of performing motion estimation |
Country Status (8)
Country | Link |
---|---|
EP (1) | EP1295483B1 (zh) |
JP (1) | JP4914555B2 (zh) |
KR (1) | KR100549543B1 (zh) |
AT (1) | ATE476829T1 (zh) |
AU (1) | AU2001265349A1 (zh) |
DE (1) | DE60142739D1 (zh) |
TW (1) | TW550953B (zh) |
WO (1) | WO2001099437A2 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100455119B1 (ko) * | 2002-01-26 | 2004-11-06 | 엘지전자 주식회사 | 움직임 벡터 영역의 적응적 결정 방법 |
NO318167B1 (no) * | 2002-11-27 | 2005-02-14 | Tandberg Telecom As | Vektorprediksjon |
US7400680B2 (en) * | 2003-09-30 | 2008-07-15 | Intel Corporation | Rectangular-shape motion search |
US20060120612A1 (en) * | 2004-12-08 | 2006-06-08 | Sharath Manjunath | Motion estimation techniques for video encoding |
US8761259B2 (en) | 2005-09-22 | 2014-06-24 | Qualcomm Incorporated | Multi-dimensional neighboring block prediction for video encoding |
WO2017147765A1 (en) * | 2016-03-01 | 2017-09-08 | Mediatek Inc. | Methods for affine motion compensation |
JP2018014064A (ja) * | 2016-07-19 | 2018-01-25 | Gft株式会社 | 室内用自走式ロボットの位置測定システム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04150284A (ja) * | 1990-10-09 | 1992-05-22 | Olympus Optical Co Ltd | 動ベクトル検出方法およびその装置 |
JPH05328333A (ja) * | 1992-05-15 | 1993-12-10 | Toshiba Corp | 動きベクトル検出装置 |
JPH06209466A (ja) * | 1992-10-07 | 1994-07-26 | Canon Inc | 動ベクトル検出装置 |
JP4142180B2 (ja) * | 1998-10-29 | 2008-08-27 | 富士通株式会社 | 動きベクトル符号化装置および復号装置 |
US6418166B1 (en) * | 1998-11-30 | 2002-07-09 | Microsoft Corporation | Motion estimation and block matching pattern |
-
2001
- 2001-04-19 TW TW090109436A patent/TW550953B/zh not_active IP Right Cessation
- 2001-06-01 DE DE60142739T patent/DE60142739D1/de not_active Expired - Lifetime
- 2001-06-01 JP JP2002504157A patent/JP4914555B2/ja not_active Expired - Fee Related
- 2001-06-01 KR KR1020027017048A patent/KR100549543B1/ko not_active IP Right Cessation
- 2001-06-01 AU AU2001265349A patent/AU2001265349A1/en not_active Abandoned
- 2001-06-01 WO PCT/US2001/018009 patent/WO2001099437A2/en active IP Right Grant
- 2001-06-01 EP EP01939877A patent/EP1295483B1/en not_active Expired - Lifetime
- 2001-06-01 AT AT01939877T patent/ATE476829T1/de not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
DE60142739D1 (de) | 2010-09-16 |
AU2001265349A1 (en) | 2002-01-02 |
EP1295483B1 (en) | 2010-08-04 |
KR100549543B1 (ko) | 2006-02-03 |
WO2001099437A2 (en) | 2001-12-27 |
JP4914555B2 (ja) | 2012-04-11 |
EP1295483A2 (en) | 2003-03-26 |
JP2004501582A (ja) | 2004-01-15 |
WO2001099437A3 (en) | 2002-08-08 |
ATE476829T1 (de) | 2010-08-15 |
KR20030065314A (ko) | 2003-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114424542B (zh) | 具有非规范平滑的基于视频的点云压缩 | |
US20230308676A1 (en) | Video signal processing method and apparatus using adaptive motion vector resolution | |
KR101131756B1 (ko) | 도메인 변환을 이용한 메시 기반 비디오 압축 | |
CN110291790B (zh) | 视频编码中的运动矢量(mv)约束和变换约束 | |
WO2017005146A1 (zh) | 视频编码和解码方法、视频编码和解码装置 | |
JP5089608B2 (ja) | 視覚信号の補外または補間のためのシステムおよび方法 | |
US20190045193A1 (en) | Region-based motion estimation and modeling for accurate region-based motion compensation for efficient video processing or coding | |
Jeong et al. | Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization | |
JP5575908B2 (ja) | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 | |
US8837591B2 (en) | Image block classification | |
WO2017005128A1 (zh) | 图像预测方法和相关设备 | |
CN111133476A (zh) | 点云压缩 | |
US8781253B2 (en) | Method and apparatus for video object segmentation | |
EP2614490B1 (en) | Concept for determining a measure for a distortion change in a synthesized view due to depth map modifications | |
CN110312130B (zh) | 基于三角模式的帧间预测、视频编码方法及设备 | |
Gao et al. | Encoder-driven inpainting strategy in multiview video compression | |
WO2019242408A1 (zh) | 视频编码方法、视频解码方法、装置、计算机设备和存储介质 | |
TW201937924A (zh) | 用於改進獲得線性分量樣本預測參數的方法以及裝置 | |
TW550953B (en) | Method of performing motion estimation | |
CN115004703A (zh) | 图像和视频压缩的帧内预测 | |
CN100481944C (zh) | 对数字化图像实施由计算机支持的运动补偿的方法和装置 | |
KR20150045819A (ko) | 움직임 보상을 수행하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 | |
Amado Assuncao et al. | Spatial error concealment for intra-coded depth maps in multiview video-plus-depth | |
US8787444B2 (en) | Differential coding of intra directions (DCIC) | |
Takacs et al. | Feature tracking for mobile augmented reality using video coder motion vectors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GD4A | Issue of patent certificate for granted invention patent | ||
MM4A | Annulment or lapse of patent due to non-payment of fees |