TW502535B - Methods and apparatus for motion estimation in compressed domain - Google Patents
Methods and apparatus for motion estimation in compressed domain Download PDFInfo
- Publication number
- TW502535B TW502535B TW089128082A TW89128082A TW502535B TW 502535 B TW502535 B TW 502535B TW 089128082 A TW089128082 A TW 089128082A TW 89128082 A TW89128082 A TW 89128082A TW 502535 B TW502535 B TW 502535B
- Authority
- TW
- Taiwan
- Prior art keywords
- picture
- block
- giant
- super
- field
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/547—Motion estimation performed in a transform domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
502535 A7 五、發明説明( 發明背景 本發明大 備,特別是, 定介於具有一 態向量,所改 數位技術 數位影像目前 訊會議、電腦 縮的數位影像 個大容量的頻 的數位影像系 巧,來減少數 爲“編碼器” 。執行編碼及 (codecs ) 0 在引起興 ί Η ί->—»· ϋ 抵上涉及視訊影像處理動態評估的方法與設 利用方塊的對稱以及整組的映射資料,來決 個階級的動態評估技巧之視訊影像圖形之動 良的方法與設備。 上的進步,已經產生許多數位影像的應用。 是使用在數位及高畫質的視訊、攝影機、電 影像、以及高品質的錄影帶等。沒有經過壓 信號,是由大量的資料所組成,因此需要一 寬以及記憶體,來儲存及傳輸。因此,許多 統,藉由對某些應用在最佳化的資料壓縮技 位影像資料的總數。數位壓縮裝置一般被稱 ;而執行解壓縮的裝置則被稱爲“解碼器” 解碼兩種功能的裝置則被成爲“編解碼器” 趣的動畫影像壓縮的標候選方法中,動態影 像壓縮標候選(Μ P E G )公佈了許多標候選。Μ P E G - 1是一種本意爲具有適中的資料比率的影像裝置之壓縮 演繹法。Μ P E G - 2是一種對利用較高的資料比率裝置 的演繹法,像是高解析度電視(H D Τ V )、直播衛星系 統(D B S S.)、有線電視(C A Τ V )、以及連續的儲 存媒體,像是數位錄放影機(V T R )。數位影像(D V )格式是另一種廣泛使用在消費者影像產品的格式,例如 ,數位攝影機。數位影像(D V )格式是進一步被解釋於 本紙張尺度適用中國國家標準(CNS ) A4規格(21〇X29<7公釐) 、 裝 ^ 訂 線 (請先閲讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 -4 - 502535 Α7 Β7 年 經濟部智慧財產局員工消費合作社印製 五、發明説明(ί 1 9 9 4年1 2月的家用的數位錄放影機規格( Specification of Consumer-Use Digital VCRs)之中。 視訊序列是由一連串靜止的圖片所組成,這些圖片在 時間上以非常密集的間隔連續地顯示出來,以提供連續動 作的假象。每一圖片可以以兩維的陣列,或“像素”來描 述。每一像素在圖片中以亮度及色彩,描述一個特定的位 置。在兩維的圖片中,像素的每一水平軸是被稱爲光域線 (raster line )。圖片可能由單一的圖框或兩個圖場所組成 〇 當採樣或顯示影像的一個圖框時,影像的圖框可能是 “交錯的”或是“累進的”。累進的影像由圖框所組成, 其中光柵線在時域中爲連續而來的,如圖1 A所示。 Μ P E G - 1標候選只允許累進的圖框。另一方面,每一 個圖框可以分成兩個交錯的圖場,如圖1 Β所示。每一個 圖場具有全圖框一半的線條,並且這些圖場是如此的交錯 ,以至於在圖框中交替的線條屬於交替的圖場。在一個由 兩個圖場所組成的交錯的圖框中,其中一個圖場被稱爲“ 上”圖場,而另一個被稱爲“下”圖場。Μ P E G — 2標 候選允許累進及交錯兩者的影像。 Μ P E G應用達成資料壓縮的方法之一,是充分利用 介於連續的彭像相鄰近圖片間的重複。由於相鄰的圖片容 易包含相似的資訊,描述介於相鄰的圖片之間的差異,一 般來說比描述新的圖片所需的資料還要來的少。例如,如 果介於鄰近的圖片並沒有任何的移動時,將其間的差異( (請先閱讀背面之注意事項再填寫本頁) •裝· -訂 本紙張尺度適用中國國家標準(CNS ) Α4規格(210X297公釐) -5- 502535 A7 B7 五、發明説明(3 零)編碼,將少於將整個新的圖片重新編碼所需的資料。 Μ P E G序列的影像是由一組或多組的圖片所組成, 每一組是由一種或多種的種類爲I 一,Ρ —,或Β -的圖 片所組成。內編碼圖片(Intra-coded ),或“ I —圖片”, 是獨立地編碼,而沒有參考其他的圖片。預測編碼圖片( predictive-coded ),或“ P -圖片”,利用從前面的參考圖 片的資訊,而雙向編碼圖片(bidirectionally-coded),或“ B -圖片”,可能利用從前面來的、或是即將來臨圖片之 資訊,或利用兩者一起的資訊,或都不利用。 動態評估是一種測量介於鄰近圖片的一種影像的一部 份之位移的過程。例如,一顆移動的足球將以不同的位置 ,在鄰近的圖片中出現。位移是以能夠給予介於一個特定 的區域中,最相稱之動態的向量來表示,例如,這個足球 在目前的圖片,以及在先前或即將來臨的圖片,所相對的 位移的區域。介於目前的圖片,以及在先前或即將來臨的 圖片,所相對的位移的區域的差異在參考的圖片中,被稱 .爲“殘餘” (residue)。 一般而言,兩種已知利用在測量動態的向量之動態評 估的方法爲像素遞歸演繹法,以及方塊的對稱演繹法。像 素遞歸演繹法反覆地從在鄰近的圖片中之對應的像素,來 預測位移。而另一方面,方塊的對稱演繹法,是以一塊一 塊的方式,來測量介於圖片間之位移,並選擇使此差異縮 減到最小的向量。 在傳統的方塊的對稱處理過程中,目前即將被編碼的 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) 裝— (請先閱讀背面之注意事項再填寫本頁) 訂 經濟部智慧財產局員工消費合作社印製 -6- 502535 A7 B7 m.· ? 年 3« 1 i πι 1夕 一1丄一 h ίΐ ^ 六 經濟部智慧財產局員工消費合作社印製 五、發明説明(4 影像,是被區分成相等大小的方塊的像素資訊。例如,在 Μ P E G — 1及Μ P E G - 2影像壓縮標候選中,像素被 分成“巨塊” (macroblock),每一個包含1 6x 1 6亮度 取樣的取樣陣列,還有一個對兩個色差成分中的每一個的 8 X 8樣本塊。1 6 X 1 6亮度取樣的陣列,進一步包含 四個8 X 8的樣本塊,其一般用來當作輸入到壓縮模式的 輸入塊。 圖2描述一種傳統的方塊對稱處理的反覆過程。目前 的圖片2 2 0被分成好幾塊來表示。每一塊可以是任何大 小;然而,在動態影像壓縮標候選的裝置中,目前的圖片 220—般可能被區分成好幾塊,而每一塊由16x16 的巨塊所組成。爲了要將目前的圖片2 2 0編碼,在目前 的圖片2 2 0中的每一塊,是以跟在前面的圖形2 1 0或 即將來臨的圖形2 3 0的一塊之差異來編碼。在每一個方 塊對稱處理的反覆過程中,目前的方塊2 0 0是跟在前面 的圖形2 1 0的搜尋範圍2 1 5,或即將來臨的圖形 2 3 0的搜尋範圍2 3 5之中同樣大小的“候選”方塊做 比較。有關於目前的方塊2 0 0,在前面或即將來臨的圖 形中,所被裁定爲具有最小差異的候選方塊,被選擇來當 做參考方塊,如圖2所示的參考方塊2 5 0。動態向量, 以及介於參考方塊2 5 0及目前的方塊2 0 0的殘餘,是 被計算出來並編碼的。在解壓縮的過程中,利用對參考圖 片2 1 0的每一塊,以及對目前圖片2 2 0的每一塊之動 態向量及殘餘的辨識,目前的圖片2 2 0能夠被重新儲存 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) 11111! I n I 辦衣 n 11 . I ~~ 訂 111 ϋ ϋ I ^ (請先閱讀背面之注意事項再填寫本頁) 502535 9! 年片 A7 B7 修正補充 經濟部智慧財產局員工消費合作社印製 五、發明説明($ 。與前面的參考圖形相關的動態向量,是稱爲向前的動態 向量,而那些與即將來臨的參考圖形相關的動態向量,則 稱爲向後的動態向量。 介於方塊中的差異,可以利用好幾種已知的候選則中 的一種來求得,然而,大部分的方法一般將誤差減至最低 ,或將相關性增加到最大。由於大多數相關性的技巧都是 需要大量的計算,誤差計算的方法較常被利用。誤差計算 測量的範例包括均方誤差(M S E )、平均絕對失真( M A D )、以及絕對失真的總和(S A D )。這些候選則 是描述在;Joan L· Mitchell等人的Μ P E G影像壓縮標候選 中(MPEG Video Compression Standard),International Thomson Publishing( 1997),pp 284-86 ° 將目前的方塊與在搜尋範圍中的每一候選方塊做比較 的方塊對稱運算,是被稱爲一種“完全搜尋法”。一般來 說,較大的搜尋圖場一般產生一個較候選確的位移向量, 然而,完全搜尋之計算的複雜性,與搜尋圖場的大小成比 例,並且對某些應用來說,可能慢了點。例如,一種應用 在搜尋圖場爲± N像素,具有一個像素精確之1 6 x 1 6 的巨塊大小之完全搜尋方塊對稱演繹法,需要(2 X N + 1) 2方塊的比較。若是N=16,則需要1089 16 X 1 6方塊的比較。由於每一個方塊的比較需要1 6 X 16,或2 5 6的計算,這種方法需要冗長的計算,並且 作業相當緩慢。然而,減少搜尋圖場大小的技巧,則有一 個很大的風險無法找到最佳的對稱方塊。 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) ---------装----^--1T------^ (請先閲讀背面之注意事項再填寫本頁) -8 - 502535 A7 B7
經濟部智慧財產局員工消費合作社印製 五、發明説明(弓 結果是,重點是放在於,在一個大的搜尋圖場,產生 一種尋找對稱方塊之快速演繹法。有好幾種這種方法是描 述於Mitchell等人的文章中,第30 1 — 11頁中。大多 數快速尋找技巧,是藉由只計算出整個搜尋圖場的一個少 量的樣本,來增進速度。例如,二維搜尋的演繹法,藉由 計算空間稀疏的候選候選者之均方誤差(M S E ),然後 連續地搜尋在前面運算中,所獲得的最佳候選者周圍空間 較密集的候選者。在一個結合的方向搜尋中,此演繹法以 水平的方向做搜尋,直到找到一個最小的失真爲止。然後 ,再由這一點繼續進行,此演繹法以垂直的方向做搜尋, 直到找到一個最小的失真爲止。這兩種方法要比完全搜尋 法來的迅速,但是常常無法找出最佳的對稱方塊。 另一種用來減少在完全搜尋法中計算數量的方法,是 利用積分映射資料,而不是利用空間領域像素資訊,來計 算介於方塊間的位移。像素資訊的積分投射,是沿著水平 或垂直方向,影像像素値之總和的一維陣列。利用兩個一 維的水平或垂直的投射陣列,而非在方塊對稱演繹法中像 素資訊的二維陣列,顯著地減少每一個方塊對稱之計算次 數。此技術是描述在I. Η. Lee及R. H. Park的論文“利用 積分投射之快速方塊對稱演繹法”中(Fast Block Matching Algorithms Using Integral Projections),Proc· Tencoη ’87 Conf.,1987,pp 590-594 o 其他克服完全搜尋缺點的方法運用階級式的搜尋技巧 。例如,在第一階段中,一個約略的搜索是在一個合理的 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) ---------^----Ί--1T-------0 (請先閱讀背面之注意事項再填寫本頁) -9- 502535 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明説明(7) 大的圖場中完成。在一個傳統的階級搜尋下一個階段中, 搜尋圖場的大小減小了。一個三階段階級搜尋的範例是描 述於Η. M. Jong等人的“三階段階級搜尋方塊對稱演繹法 的平行結構” (Parallel Architectures for 3-Step Hierarchical Search Block-Matching Algorithm),IEEE Trans. On Circuits and Systems for Video Technology,Vol. 4, August 1994, PP 407-416。Jong等人所模數的階級式的搜索,對於 一些應用並不適當,因爲粗糙的搜尋並沒有利用到所有像 素的資訊,並且因而對較細微的搜索,可能形成一個不正 確的起始點。另一種階級式的搜索是由Chang等人在美國 專利申請第09/093, 307號,於1998年6月 9曰所提出的“利用方塊對稱及積分映射的階級式動態評 估處.理及系統”,此內容合倂至參考。 快速的動態評估技巧,在從一種數位視訊格式轉換成 另一種數位視訊格式時,是特別有用的。數位視訊是以編 碼、壓縮的形式儲存。當利用傳統的裝置,將一種格式轉 換成另一種格式時,數位視訊首先必須被解壓縮,並且解 碼成爲原來像素形式,然後連續地編碼及壓縮成新的格式 ,用來儲存或傳輸。需要全面解碼數位視訊的轉換技巧是 非常耗時的。 本發明提供一種利用多層級的搜尋技術,以執行動態 評估之改良方法及設備,以減少運算次數,同時維持動態 向量的品質。此外,本發明提供一種用於動態評估之方法 與設備,以允許數位視訊從一種格式轉換到另一種格式的 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) I I n I 訂 線 (請先閲讀背面之注意事項再填寫本頁) -10- 502535 A7 B7 修正 年丨:.〗:… 五、發明説明(弓 資料轉換而不必整個還原像素資料,因而大大地減少資料 格式轉換所需的時間。 (請先閱讀背面之注意事項再填寫本頁) 發明摘要 本發明的方法、系統、設備、及電腦程式產品可以在 一影像序列中,於視訊影像資料的第一及第二圖片間,取 得一動態向量。每一圖片包括數個超巨塊(supermacroblock ),每一個超巨塊具有數個巨塊。對第一圖片的每一個超 巨塊,在第二圖片中相稱的超巨塊,是由與在第一圖片最 相稱的超巨塊來決定的。對每一個在第一圖片中超巨塊的 巨塊,在第二圖片中相稱的巨塊,是由與在第一圖片超巨 塊中最相稱的巨塊來決定的。巨塊是藉由搜尋在第二圖片 中,對一個與在第一圖片超巨塊中,最相稱的巨塊的候選 巨塊來決定的。此搜尋是從對應於在第一圖片超巨塊中的 第一個巨塊,在第一圖片超巨塊中的一個巨塊開始。與本 發明一致,動態向量是根據候選巨塊來決定。對於在第一 圖片超巨塊中剩餘的巨塊,動態向量是根據在第二圖片超 巨塊中,鄰近於候選巨塊的巨塊來評估的。 經濟部智慧財產局員工消費合作社印製 圖形的簡要說明 伴隨的圖形結合並組成此說明、市範說明本發明,並 與此說明一同用來解釋本發明的原理。 圖1A是一個說明在前進的影像中一個圖框的圖形; 圖1 B是一系列的圖形,用來說明一個圖框被區分爲 -11 - 本紙張尺度適用中國國家標準(CNS)Α4規格(210x297公釐) 502535 A7 B7 警气」|修正、.補充 五、發明説明(令 兩個圖場; 圖2是一個用來說明先前方塊相稱技巧之技藝的圖形 圖3是顯示用來將數位影像從D V格式轉換成 Μ P E G格式的系統圖形; 圖4是顯示一種符合本發明,決定動態向量的方法的 流程圖; 圖5顯示一個影像序列的圖形; 圖6示範如何從8 X 8像素資料,計算8點的垂直整 合投射; 圖7 a示範利用藉由將像素 相加,或是藉由在離散餘弦轉換 資料的8 X 8陣列的諸行 (D C T )係數的第〇列 上,執行一個一維8點的反離散餘弦轉換(i D C T ), 來計算8點的垂直映射資料; 圖7 b示範利用藉由將像素 相加,或是近似地藉由在離散餘
C
及C (請先閲讀背面之注意事項再填寫本頁) •華· 、-贷 r 經濟部智慧財產局員工消費合作社印製 i DCT),來計算2點的垂直 圖8顯示一種利用映射資料 者搜尋的方法; 資料的8 X 8陣列之四行 弦轉換(D C T )係數 ,執行一個一維2點的反離散餘弦轉換( 映射資料; ,在水平軸以及垂直軸二 圖9是顯不一種依據本發明 流程圖; 圖10是描述一種依據本發 動態向量之方法的圖表; 之決定動態向量的方法的 明利用鄰近的巨塊,決定 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) -12- 502535 A7 B7 9ίίΛ11修正 侧·允 五、發明説明(1)〇 圖1 1說明一種依據本發明之利用鄰近的巨塊,如何 決定動態向量之方法的一個範例的圖表; 圖1 2是一種依據本發明之系統的圖形;以及 圖1 3是一種依據本發明的處理器的圖形。 主要元件對照表 200 目前的方塊 2 10 前面的圖形 2 15 搜尋範圍 220 目前的圖片 2 3 0 即將來臨的圖形 2 3 5 搜尋範圍 2 5 0 參考方塊 310 解格式化 320 變數長度解碼 3 3 0 反數量化 340 反離散餘弦轉換 350 在像素域之動態評估 360 離散餘弦轉換 370 數量化 3 8 0 變數長度編碼 390 在壓縮域之動態評估 1205 系統 1210 處理器 本^張尺度適用中國國家標準(CNS ) M規格(210><297公釐) " -13- I~---------裝----^---訂------線 (請先閲讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 502535 Μ Β7
五、發明説明(ί1 1220 輸入/輸出裝置 1230 記憶體 1240 顯示器 1260 系統匯流排 1310 記憶體管理單元 1320 處理器元件陣列 1330 累進器單元 較i圭實施例之說明 現在將對符合本發明的實施例做一詳盡的參考,並將 對其中的一個範例在付隨的圖形中做說明。 動態評估技巧是藉由將一圖片與鄰近圖片所不同之處 編碼,而將所需要來表示數位影像資料的資料數壓縮,而 不是將整張圖片全都編碼。當序列重新顯示時,解碼器利 用參考圖片及動態向量,重新建構目前的圖片。 在一些情況下,我們會想要將目前影像序列的格式, 轉換成另一種格式。一種完成上述的方法,是將影像序列 利用解碼器,完全地編碼成爲像素的資訊,再利用一個編 碼器,將像素的資訊重新編碼成爲第二種格式。當於第二 種格式中編碼時,動態評估是以像素的資訊,於像素的域 中完成。 圖3是顯示用來將數位影像從D V格式轉換成 Μ P E G格式系統的一個範例。在圖3的範例中所示,數 位的影像是以壓縮的格式被接收並解開的(步驟3 1 〇 ) 本紙張尺度適用中國國家標準(CNS ) Α4規格(210X297公釐) (請先閲讀背面之注意事項再填寫本頁) -裝· -訂 經濟部智慧財產局員工消費合作社印製 -14- 502535 Α7 Β7 队6· U修正 年 :ί…、 補无 五、發明説明(1)2 。產生的資料是受到變數長度解碼(步驟3 2 0 )、反數 量化(步驟3 3 0 )、及反離散餘弦轉換(i D C T )( 步驟3 4 0 )的限制。在反離散餘弦轉換(i D C T )之 後的結果就是像素的資訊。 要以第二種格式來將像素的資訊重新編碼(在這裡是 Μ P E G ),像素的資訊是利用動態評估(步驟3 5 0 ) 、離散餘弦轉換(D C Τ )(步驟3 6 0 )、數量化(步 驟370)、及變數長度編碼(步驟380)來壓縮的。 此結果在第二種格式是影像資料,在這裡是MP E G。 代碼轉換器是將數位影像從一種格式,轉換成另一種 格式的裝置。例如,代碼轉換器執行解碼及編碼的過程, 如在圖3所示的範例般。一種改良代碼轉換器功能的方法 是,在沒有執行整個解碼及重新編碼的過程之下,發展將 數位影像從一種格式,轉換成另一種格式的方法。如圖3 所示,如果代碼轉換器能夠在壓縮的資料上完成動態評估 ,那麼反離散餘弦轉換、以及離散餘弦轉換冗長的計算步 驟,則可以被免除。例如,在步驟3 9 0中,動態評估是 在被解碼的資料尙未進行反離散餘弦轉換階段時執行。在 步驟3 9 0中的資料,仍然可以被描述是“壓縮的”資料 ,並需要與像素資訊不同的計算。 在一個與本發明符合的方法中,動態向量是利用一種 多階段作業,對每一個目前圖片關於參考圖片的方塊做評 估。如下之詳細的描述,在這裡所描述的動態評估方法, 能夠被使用在像素的領域及壓縮的領域二者之中。在第一 本紙張尺度適用中國國家標準(CNS ) Α4規格(210X 297公釐) ---------^----^--1Τ------線 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 -15- 502535 A7 B7
五、發明説明(1)3 (請先閱讀背面之注意事項再填寫本頁) 個階段中,一種輔助本發明過程的應用,粗略地搜尋一個 參考的圖框,以獲得一個在目前圖框中最接近超巨塊的候 選巨塊。在第二個階段中,超巨塊被區分成好幾個巨塊的 成分。在目前圖框上中,每一個超巨塊的第一個巨塊,是 被用來當作第二個搜尋的起始點。從第二個搜尋所產生的 動態向量,可以進一步地藉由可有可無的第三個搜尋來微 調。 如果動態向量的決定是爲了圖場的資料而做的,一種 測試是被執行來裁定是否由由兩個圖場所組成的圖框之動 態向量,將產生較好的結果。如果介於動態向量之間的差 異小於一動態的臨限値,則一圖框搜尋被執行,並且圖框 之動態向量可以被用來取代圖場之動態向量。在超巨塊中 之剩餘的巨塊的動態向量,是根據鄰近的方塊來評估的。 具有圖框資料之多階梯式的動態評估處理 經濟部智慧財產局員工消費合作社印製 在一個實施例中,符合本發明的方法是用來評估在一 代碼轉換器中的動態向量,用來將數位影像從D V格式轉 換成MPEG— 1或MPEG— 2累進的格式。MPEG -1或MP E G - 2累進的格式二者都是以圖框爲基礎的 ,因此,在這個實施例中,動態向量是對資料的圖框來做 計算的。 圖4包含一個說明符合本發明,利用多階梯式的搜尋 方法,對目前的圖片之每一巨塊評估動態向量的一種方法 的流程圖。 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) -16- 502535 V-/V修
Aj A7 B7 五、發明説明(D4 表示出目前圖片的資料,被區分成代表超巨塊的資料 。如果動態評估是在像素領域中完成(圖3的步驟3 5 0 ),資料則將爲像素資料。如果動態評估是在壓縮的領域 中完成(圖3的步驟3 9 0 ),動態評估將利用代表超巨 塊的離散餘弦轉換係數資料來完成。 從第一個超巨塊開始(步驟4 1 0 ),參考圖片是被 來搜尋與目前超巨塊最相稱的候選超巨塊(步驟4 1 5 ) 。一個“最佳的”候選超巨塊是定義爲能夠產生最好的比 較値的超巨塊,也就是,當利用任何以之的誤差計算或相 關性之決定的方法,與目前的超巨塊做比較時,產生最小 的誤差或是得到最大的相關性。爲了方便起見,下列之示 範的實施例利用絕對失真的總和(S A D )來描述,然而 ,應該瞭解到在每一個範例中,其他種的誤差計算或相關 性之決定的方法,可以被用來取代之。執行搜尋的搜尋範 圍可以做變化。一般來說,較大的搜尋範圍將增加候選確 性,但所導致的額外的計算,可能影響其完成性。 一個最佳的候選超巨塊可以利用任何有效地搜尋技術 來獲得,例如包括,完全搜尋法以以及其他上面所描述的 搜尋方法。在本發明的一個實施例中,此“最佳的”候選 超巨塊是利用描述於Chang等人(Chang II)於1 9 9 8年 5月20曰在美國專利申請編號09/081, 279所 發表的“利用粗糙的方塊對稱及積分投射的動態評估處理 與系統”,此內容合倂至參考中。 在本發明的另一個實施例中,描述的更爲詳盡,“最 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) I I 訂 n —線 (請先閲讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 -17- 502535 A7 B7
經濟部智慧財產局員工消費合作社印製 五、發明説明(卡5 佳的”候選超巨塊是利用一種可伸縮的搜尋所選出來的。 可伸縮的搜尋利用由一先前的圖片所決定的動態向量,來 減小搜尋的範圍。如上所述,Μ P E G影像序列是由一連 串靜止的圖片或“圖框”所組成,這些圖片或圖框在時間 上以非常密集的間隔連續地顯示出來,以提供連續動作的 假象。每一組是由三種圖片所組成,內編碼圖片(Intra-coded),或“ I —圖片”,預測編碼圖片(predictive-coded),或 “ P —圖片”,雙向編碼圖片(bidirectionally-coded ),或“B —圖片”,如圖5所示。I —圖片是獨立 地編碼,而沒有參考其他的圖片。P -及B -圖片是藉由 將介於圖片以及參考I -或P -圖片間隻差異編碼。P -圖片是回應前面I-或P-的參考圖片的資訊來壓縮,而 B -圖片可能利用從前面來的、或是即將來臨圖片之資訊 來壓縮。 在一可伸縮的搜尋中,I -圖片是獨立地編碼。然後 ,I 一圖片能夠被用來當做參考的圖框。在I參考圖框中 ,與在B i圖片最相稱的候選超巨塊,例如,被發現是利用 一完全搜尋法,而且Bi圖片之往前的動態向量被裁定出來 。B 2圖片之往前的動態向量從B i圖片之往前的動態向量 開始,而且P圖片之往前的動態向量,是根據B 2圖片之往 前的動態向量。在以相同的方式下,B i圖片之往後的動態 向量,是藉由在B 2圖片之往後的動態向量之搜尋的起點來 決定。 不管利用哪一種搜尋技巧,目前的超巨塊以及候選超 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) 裝 ^ 訂— 線 (請先閲讀背面之注意事項再填寫本頁) -18- 502535 A7 B7 吒气〖1修正 年月曰& 、 蒱无 五、發明説明(妇 巨塊,可以利用映射資料來做比較,以更進一步減少所需 計算的數目。例如,在任何方塊相稱搜尋技巧之中,每一 次當目前的方塊與候選方塊做比較時,計算出一差異。例 如,利用絕對失真的總和(s A D )當作相稱的標候選, 其差異可以被定義如下·’ JV—lJlf -1 sad(i, 7)=Σ Σ Hx^ ~~ s^xJt χ=〇 产 〇 對—AS i SA及—j SB,其中r是目前的方 塊,s是候選方塊,N x M式方塊的大小,而A及B是搜 尋範圍。產生S A D ( i , j )之最小値的(i,j )組 ,確定目前方塊的動態向量。例如,動態向量(1,1 ) 表示在參考圖片中的方塊,水平地往右一個像素,並且垂 直地在參考圖片中,相對應目前的方塊的位置往下一個像 素,非常地類似目前的方塊。 當對一個N X N之目前的方塊與一個N X N的候選方 塊,利用像素資訊以及像是上述利用絕對失真的總和( SAD)之差異做比較時,需要NxN次的計算。然而, 可能可以利用其他資訊來比較兩組方塊,像是積分投射。 像素資訊的積分投射,是沿著一水平或是垂直方向的影像 像素値之部分數的總和。例如,圖6顯示如何從8 X 8映 像素資料中,計算出8點垂直的積分投射。 積分映射資訊能夠從像素資訊、或離散餘弦轉換( D C T )係數資料,藉由計算出一維的積分投射陣列來獲 本紙張尺度適用中國國家標準(CNS ) A4規格(210X 297公釐) (請先閱讀背面之注意事項再填寫本頁) -裝· 訂 經濟部智慧財產局員工消費合作社印製 經濟部智慧財產局員工消費合作社印製 502535 A7 B7 五、發明説明(1)7 得。例如,圖7 a說明可以藉由將像素資料之8 X 8陣列 之行的總和、或是藉由在離散餘弦轉換(D C T )係數的 第0列,執行一個一維8點的反離散餘弦轉換(i D C T ),來計算8點的垂直映射資料,因爲這兩種計算產生相 同的結果。同樣的,在圖7 b中,藉由將像素資料的8 X 8陣列之四行相加、或是近似地藉由在離散餘弦轉換( D C T )係數C。.。及C i ,。,執行一個一維2點的反離 散餘弦轉換(i D C T ),來計算8點的垂直映射資料。 如果積分投射資訊被求出,其總和結果可以被使用於 不同的計算。例如,利用絕對失真的總和(S A D )當作 是相稱的標候選,則Μ點的垂直投射差異可以被計算如下 SADv(i., j) = ~Sv(x + h j)\ jc=0 其中—AS i 及—BS j SB,而且j整數Z的倍數 。此外,R v ( x )是目前方塊的第x行之垂直的投射,而 S v ( X + i, j )是候選方塊第(X + i )行,從第j列 之總和的垂直投射。 再一次參考圖4,在參考圖框中,在一最佳的超巨塊 被決定之後,每一個在目前的超巨塊中之巨塊(Μ B )的 動態向量,也被決定出來。目前的超巨塊可以組成Μ X Ν 個巨塊,然而,在這裡所描述的範例假設每一個超巨塊, 在一正方形的結構中,由四個巨塊所組成。對每一個巨塊 本紙張尺度適用中國國家榡準(CNS ) Α4規格(210X 297公釐) I I I I I I n I n ΙΊ I I ^ n I......... . 線 (請先閱讀背面之注意事項再填寫本頁) -20- 502535 A7 B7
五、發明説明(1)8 ,在一參考圖框中,最佳的候選巨塊可以藉由搜尋或評估 來決定(步驟4 2 0 )。在符合本發明的實施例中,對一 個在目前的圖框中之超巨塊的第一個巨塊,在一參考圖框 中,最佳的候選巨塊是利用一種第二搜尋技巧來決定的( 步驟4 3 0 )。在(步驟4 1 5 )中所發現的動態向量, 是被用來當作是第二搜尋的起始點。所被使用的第二搜尋 技巧,可能是任何傳統的搜尋技巧,例如像是,完全搜尋 法。在本發明的一個實施例中,最佳的“候選”巨塊是利 用描述在Chang II中的方法所選出的。如上所述,執行搜 尋的搜尋範圍可以做變化。一般來說,較大的搜尋範圍將 增加候選確性,但所導致的額外的計算,可能影響其完成 性。 一般來說,大部分所用的搜尋技巧,將以水平及垂直 兩個方向,搜尋最佳的候選巨塊。搜尋的過程可以進一步 利用投射的資料來改進。圖8說明一個利用8點的垂直及 水平的映射資料,搜尋最佳的候選8 X 8巨塊過程的範例 。如圖8之左圖所示,資料圖框是被區分成8行的水平條 塊。每一條的垂直映射資料是被計算的。爲了要在壓縮的 資料中計算8點的垂直圖框的映射,一個一維8點的水平 反離散餘弦轉換(i D C T ),可以被運用到8 X 8離散 餘弦轉換(D C T )方塊的第一列中。在每一條最相稱於 目前的巨塊之候選巨塊,例如,是藉由當與目前的巨塊做 比較時,找出產生最小絕對失真的總和(S A D )的巨塊 來決定的。每一條塊的最佳的候選巨塊被決定出來。 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) ---------澤-- (請先閲讀背面之注意事項再填寫本頁) 、一一5 經濟部智慧財產局員工消費合作社印製 -21 - 502535 A7 B7
經濟部智慧財產局員工消費合作社印製 五、發明説明(泗 此圖框之後在垂直的方向,利用在圖8中右邊所示之 映射資料來搜尋。爲了得到8點的水平圖框的映射,一個 一維8點的垂直反離散餘弦轉換(1 D c τ ),可以被運 用到8 X 8離散餘弦轉換(D C T )方塊的第一列中。從 每一條塊之最佳的候選巨塊開始,對一個由水平的搜尋所 求出的最佳候選巨塊所定義,在垂直的行中最佳的候選方 塊,其圖框是以垂直的方向+ /- 4個像素來搜尋。當與 目前的巨塊做比較時,在所有藉由垂直的搜尋的巨塊中, 於參考圖框產生最小的絕對失真的總和(S A D )之巨塊 ,是被用來計算出動態向量的。 第二搜尋的結果,可以被用來當作一個額外的、任意 的第三搜尋的起始點(步驟4 3 5 )。第三搜尋將可以利 用由在步驟4 3 0所決定的最佳的候選巨塊,當作此搜尋 階段起始巨塊來執行。如上其他之搜尋方法所述,執行搜 尋的搜尋範圍可以做變化。一般來說,較大的搜尋範圍將 增加候選確性,但所導致的額外的計算,可能影響其完成 性。然而,在此階段中,目的是要更進一步的來對動態向 量作微調。因此,建議搜尋範圍大約在+ / - 0 · 5個像 素。 接下來進行到步驟4 5 5 ,內部/無動態向量( Intra/NoMV ).的決定。此內模式意思是巨塊是單獨的編碼, 而沒有參考此參考圖片。I N T R A模式之絕對失真的總 和(S A D ),是介於目前的巨塊之像素資料及此巨塊的 平均値間的差異。它能夠被表示爲 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) ---------装——---τ--1T------0 (請先閱讀背面之注意事項再填寫本頁) -22-
502535 A7 B7 五、發明説明(匆 觸=Σ ΣΗχ,少)-凡 4 Λ:=0 y=〇 其中,p ( X,y )是目前的巨塊之像素的値, /w 是此巨塊像素的値之平均値,N X Μ式方
N M X=Q y=Q 塊的大小。當巨塊內部編碼的絕對失真的總和(s A D ) 很小時,也就是說,單獨將巨塊編碼或沒有參考其他的巨 塊時,可以產生比預測的動態模式更好的影像品質。因此 ,當絕對失真的總和很小的時候,在將動態向量編碼時, 內部模式有較高的優先權。 無動態向量(Ν ο Μ V )是一種當動態向量爲零時的 特例。由於它用了最少的位元數來將零動態向量編碼,因 此,跟其他的動態向量比較起來,零動態向量被給予最高 的優先權。在步驟4 5 8中,動態向量是被儲存起來或是 輸出。 如果此過程剛對在目前的超巨塊中最後的巨塊決定出 動態向量(步驟4 6 0中),過程繼續進行到步驟4 6 5 。否則,過程繼續決定在目前的超巨塊中,其他的巨塊之 動態向量(步驟4 2 0)。 符合本發明的方法可以根據存鄰近的巨塊之動態向量 ,決定對一超巨塊之第二個及後續的巨塊之動態向量(步 驟4 2 5 )。此過程可以依據任何鄰近的動態向量適當的 組合來決定這些動態向量,例如包括兩個最接近之動態向 本紙張尺度適用中國國家標準(CNS ) Α4規格(210乂29<7公釐) 11 I ! 11 n I n ΙΊ 訂 I I — 111 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 -23- 502535 Α7 Β7
經濟部智慧財產局員工消費合作社印製 五、發明説明(洳 量的平均。在本發明的一個實施例中,動態向量的求得是 藉由描述在C單元中,利用從鄰近的動態向量而來的動態 向量的方法。 如果此過程剛已經決定出在目前的超巨塊中最後巨塊 的動態向量,過程繼續進行到步驟4 6 5。如果此過程對 一個給定的圖框或範圍中,已經決定出最後巨塊的動態向 量,則過程終止。否則,處理過程選擇下一個超巨塊(步 驟4 7 0 )並繼續到步驟4 1 5。 B .具有圖場資料之多階段動態評估處理 如上所述,Μ P E G - 2標候選允許累進及交錯兩者 的影像。交錯的影像可以以兩個圖場來編碼,其中一個圖 場爲“上”圖場以及“下”圖場,或一圖框。 圖9包含一個流程圖說明一種當圖片被編碼成兩個圖 場時,用來對目前的圖片的每一個巨塊,評估動態向量的 方法。如同在關於圖4中的描述,一代表目前的圖片之資 料,被區分成代表超巨塊的資料。如果動態評估是在像素 領域中完成(圖3的步驟3 5 0 ),資料則將爲像素資料 。如果動態評估是在壓縮的領域中完成(圖3的步驟 3 9 0 ),動態評估將利用代表超巨塊的離散餘弦轉換係 數資料來完成。 從第一個超巨塊開始(步驟9 1 0 ),參考圖片是被 來搜尋與目前超巨塊最相稱的候選超巨塊(步驟915) 。如上有關步驟4 1 5所述,一個最佳的候選超巨塊可以 本紙張尺度適用中國國家標準(CNS ) Α4規格(210X 297公釐) ^ 1111.................11 n 11 J— I 訂....................n 11........................................... (請先閲讀背面之注意事項再填寫本頁) -24- 502535 Α7 Β7
經濟部智慧財產局員工消費合作社印製 五、發明説明(会2 利用任何有效地搜尋技術來獲得,例如包括,完全搜尋法 或可伸縮的搜尋法。在本發明的另一個實施例中,“最佳 的”候選超巨塊是利用所描述之動態評估方法所選出來的 0 不管利用哪一種搜尋技巧,目前的超巨塊以及候選超 巨塊,可以利用映射資料來做比較,以更進一步減少所需 計算的數目。在步驟9 1 5中,積分映射資訊,能夠從像 素資訊、或離散餘弦轉換(D C T )係數的資料,藉由計 算出一維的積分映射陣列來獲得。對一個在目前的圖框中 之超巨塊的第一個巨塊(步驟9 2 0 ),在一參考圖框中 ,最佳的候選巨塊是利用一種第二搜尋技巧來決定的(步 驟9 3 0 )。在(步驟9 1 5 )中所發現的動態向量,是 被用來當作是第二搜尋的起始點。所被使用的第二搜尋技 巧,可能是任何傳統的搜尋技巧,例如像是,完全搜尋法 。在本發明的一個實施例中,最佳的“候選”巨塊是利用 描述在Chang II中的方法所選出的。如上所述,執行搜尋 的搜尋範圍可以做變化。一般來說,較大的搜尋範圍將增 加候選確性,但所導致的額外的計算,可能影響其完成性 〇 一般來說,大部分所用的搜尋技巧,將以水平及垂直 兩個方向,搜尋最佳的候選巨塊。如果將數位影像從D V 格式轉換成Μ P E G - 2交錯的圖場,潛在的影像可以以 8 X 8的圖框資料或4 X 8圖場的資料來編碼。圖場可以 被分開地編碼,或者兩個圖場可以被一起採用,當作一個 本紙張尺度適用中國國家標準(CNS ) Α4規格(210 X 297公釐) ---------裝----^---訂^----丨丨線 (請先閱讀背面之注意事項再填寫本頁} -25- 502535 A7 B7
五、發明説明(妇 8 X 8的圖框。圖框資料是利用8 X 8的D C T模式來壓 縮,而圖場資料一般是利用一個2 X 4 X 8的D C T模式 來壓縮。D V格式的規格建議當兩個區間的差異很小的時 候,可以使用8 X 8的D C T模式。相反的,當兩個區間 的差異很大的時候,應該使用2 X 4 X 8的D C T模式。 情況I : 2 X 4 X 8 D C T模式 在一個實施例中,第二搜尋的完成是利用已經在2 X 4 X 8的D C T模式編碼之影像圖場資料。爲了尋找在壓 縮域中之最佳的候選巨塊,參考圖片是被區分成8行的水 平條塊,並且首先從第一次的搜尋所得到的動態向量開始 ,利用8點的垂直圖場映射資料,以水平的方向搜尋。上 圖場及下圖場是分開地被搜尋。爲了得到上圖場8點的垂 直圖場的映射,一個一維8點的垂直反離散餘弦轉換( iDCT),是在上面的4x8離散餘弦轉換方塊的第一 列中執行。上面的4 X 8離散餘弦轉換方塊,能夠由將4 X 8 D C T方塊之總和與4 X 8 D C T方塊之差相加 而獲得。如同定義於DV的格式中,4x8 DCT方塊 之總和是8 X 8方塊上方之4 X 8的部分,而4 X 8 DCT方塊之差是8 x8方塊下方之4 X 8的部分。爲了 得到下圖場8點的垂直圖場的映射,一個一維8點的垂直 反離散餘弦轉換,是在上面的4 X 8離散餘弦轉換方塊的 第一列中執行。下面的4 X 8離散餘弦轉換方塊,能夠由 將4 X 8 D C T方塊之總和減去4 X 8 D C T方塊之 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) (請先閱讀背面之注意事項再填寫本頁) I I n J— n —訂 I I I I n ...........................線
經濟部智慧財產局員工消費合作社印製 -26 - 502535 A7 B7
五、發明説明(扣 差而獲得。 從在每一個水平的條塊最佳的候選巨塊開始,一垂直 的搜尋被執行。當計算介於每一次的比較所產生的絕對失 真的總和時,上下圖場二者之水平的圖場映射都被使用。 例如,上圖場之4點的水平的圖場映射,是藉由一個一維 4點的垂直反離散餘弦轉換,在上面的4 X 8離散餘弦轉 換方塊的第一列中獲得。下圖場之4點的水平的圖場映射 ,是藉由一個一維4點的垂直反離散餘弦轉換,在下面的 4 X 8離散餘弦轉換方塊的第一列中獲得。映射是在當計 算絕對失真的總和,以及決定最佳的候選巨塊時被使用。 在所有垂直搜尋之候選巨塊中的最佳的候選巨塊,是 被用來決定動態向量。上下圖場搜尋的執行是分開來的。 動態向量Μ V t t是歸因於從目前圖框中之上圖場到參考圖 框的上圖場之動態向量,亦即,上圖場-上圖場(T T ) 。相同地,動態向量Μ V b b是歸因於從目前圖框中之上圖 場到參考圖框的上圖場之動態向量,亦即,下圖場-下圖 場(B B )。 値得注意的是,垂直及水平的搜尋是可以互換的,也 就是說,可以先執行水平的搜尋,再執行垂直的搜尋。 情況Π A : 8 X 8 D C T模式 在其他的實施例中,第二搜尋的完成,是利用已經在 8 X 8的D C T模式編碼之影像圖場資料。爲了尋找在壓 縮域中之最佳的候選巨塊,參考圖片是被區分成8行的垂 本紙張尺度適用中國國家標準(CNS ) Α4規格(210x297公釐) ---------裝I I (請先閱讀背面之注意事項再填寫本頁)
、1T 線 經濟部智慧財產局員工消費合作社印製 -27- 502535 A7 B7
五、發明説明(龙 直條塊,並且首先從第一次的搜尋所得到的動態向量開始 ,利用4點的水平圖場映射資料,以垂直的方向搜尋。上 圖場及下圖場是分開地被搜尋。爲了得到上圖場4點的水 平圖場的映射,一個8 X 8離散餘弦轉換方塊的第一列之 一維8點的垂直反離散餘弦轉換的偶數的輸出,被選擇出 來。而爲了得到下圖場4點的水平圖場的映射,一個8 X 8離散餘弦轉換方塊的第一列之一維8點的垂直反離散餘 弦轉換的奇數的輸出,被選擇出來。水平圖場映射是在當 計算介於每一方塊間之絕對失真的總和,以及決定最佳的 候選巨塊時被使用。 從每一個垂直的條塊之最佳的候選巨塊開始,在空間 的領域中,上圖場及下圖場二者水平的搜尋是分開執行的 。搜尋的範圍是+ /- 4個像素。水平的搜尋可以利用, 例如,一種完全搜尋演繹法來完成。介於參考的圖框、以 及目前的圖框之空間像素資訊之領域絕對失真的總和,是 對每一個在搜尋範圍之內的候選巨塊來計算的。另一方面 ,水平的搜尋可以利用其他的搜尋方法來完成,例如像是 對數搜尋法。 在所有水平搜尋之候選巨塊中的最佳的候選巨塊,是 被用來決定動態向量。上下圖場搜尋的執行是分開來的, 爲了求出MVtt以及MVu。 情況Π B : 8 X 8 D C T模式 在本發明另一個實施例中,第二搜尋的完成,是利用 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) ---------漆-- (讀先閱讀背面之注意事項再填寫本頁) 、言 經濟部智慧財產局員工消費合作社印製 -28 - 502535 Α7 Β7 修正 年月β、補无 五、發明説明(袁 已經在8 X 8的D C T模式編碼之影像圖場資料。然而, 爲了尋找在壓縮域中之最佳的候選巨塊,參考圖片是被區 分成8列的水平條塊,而不是8行的垂直條塊,並且首先 從第一次的搜尋所得到的動態向量開始,利用8點的垂直 圖場映射資料,以水平的方向搜尋。上圖場及下圖場是分 開地被搜尋。然而,在這個實施例中,像素資訊先是由反 離散餘弦轉換導出,然後,上圖場8點的垂直圖場的映射 ,是由將巨塊的偶數列相加而求出的。下圖場8點的垂直 圖場的映射,是由將巨塊的奇數列相加而求出的。垂直圖 場映射是之絕對失真的總和,而非在情況Π A中之像素資 訊之之絕對失真的總和,是用來決定每一個水平條塊的最 佳候選巨塊。 從在每一個水平的條塊最佳的候選巨塊開始,一垂直 的搜尋被執行。當計算介於每一次的比較所產生的絕對失 真的總和時,上下圖場二者之水平的圖場映射都被使用。 在一個範例中,上圖場之4點的水平的圖場映射,是藉由 取得一個一維8點的垂直反離散餘弦轉換,在上面的8 X 8離散餘弦轉換方塊的第一列之偶數的輸出。下圖場之4 點的水平的圖場映射,是藉由取得一個一維8點的垂直反 離散餘弦轉換,在下面的8 X 8離散餘弦轉換方塊的第一 列之奇數的輸出。映射是在當計算絕對失真的總和,以及 決定每一行之最佳的候選巨塊時被使用。 在所有垂直搜尋之候選巨塊中的最佳的候選巨塊,是 被用來決定動態向量。上下圖場搜尋的執行是分開來的。 本紙張尺度適用中國國家標準(CNS ) A4規格(2!0Χ297公釐) (請先閲讀背面之注意事項再填寫本買) -裝· 訂 經濟部智慧財產局員工消費合作社印製 -29- 502535 Α7 Β7
經濟部智慧財產局員工消費合作社印製 五、發明説明(为 動態向量Μ V t t是歸因於從目前圖框中之上圖場到參考圖 框的上圖場之動態向量,亦即,上圖場-上圖場(T T ) 。相同地,動態向量Μ V id b是歸因於從目前圖框中之上圖 場到參考圖框的上圖場之動態向量,亦即,下圖場-下圖 場(B B )。 値得注意的是,垂直及水平的搜尋是可以互換的,也 就是說,可以先執行水平的搜尋,再執行垂直的搜尋。 回到圖9中,第二搜尋的結果,可以被用來當作一個 額外的、任意的第三搜尋,例如像是空間領域搜尋的起始 點(步驟9 3 5 )。上面方塊的動態向量,將被用來當作 上面方塊之第三搜尋的一個起始點,而且,下面方塊的動 態向量,將被用來當作下面方塊之第三搜尋的一個起始點 。步驟9 3 5的結果將是兩個動態向量,Μ V t t (目前上 圖場的動態向量),以及Μ V b b (目前下圖場的動態向量 )。 如上其他之搜尋方法所述,執行搜尋的搜尋範圍可以 做變化。一般來說,較大的搜尋範圍將增加候選確性,但 所導致的額外的計算,可能影響其完成性。然而,在此階 段中,目的是要更進一步的來對動態向量作微調。因此, 建議搜尋範圍大約在+ /- 0 · 5個像素。 由於潛在的資料是交錯的圖場資料,由上下圖場組成 的圖框之動態向量,也可以被計算出來。再對圖場資料的 動態向量做預測時,Μ P E G - 2標候選建議應該對上圖 場一上圖場(ΤΤ)、下圖場一下圖場(ΒΒ)、上圖場 本紙張尺度適用中國國家標準(CNS ) Α4規格(210X297公釐) I I Ί I 訂 I I ^ (請先閲讀背面之注意事項再填寫本頁) -30- 502535
A7 B7 五、發明説明(細 一下圖場(Τ B )下圖場一上圖場(b τ )圖場比較,以 及圖框(亦即,兩個圖場一起)。而當所有四個向量可以 決定時,在本發明的一個實施例中,計算TB及BT之動 態向量的步驟,是以一種進一部減少計算的機構來消除的 。在符合本發明的方法中,例如,如果改善動態向量品質 是被認爲不必要或是無須的,圖框搜尋步驟將不會執行。 在步驟9 4 0中,本發明包括一種測試,來決定是否 圖框預測搜尋爲必要的。在步驟9 4 〇中,如果介於上下 圖場動態向量,Μ V t t以及μ v b b,間絕對値的差,小於 一臨限値的話,圖框搜尋應該要執行。當參考圖框被差入 半像素動態向量時,圖框預測模式可以在參考圖框及目前 的圖框之間,提供較好的配對。在圖框預測模式中,只有 一個圖框動態向量需要被編碼,而不像在圖場預測模式中 ,需要兩個圖場動態向量。此裁定能夠以數學式子來表示 ,例如,如果丨Μ V t t — Μ V b b丨 < 臨限値,圖框搜尋則 値得執行。 一個合適的臨限値可以以很多種方法計算或描述出來 ,在本發明的一個實施例中,臨限値是動態的。一個動態 的臨限値是根據在前面的或隨之而來圖場二者,所改變的 資訊而改變。例如,依照本發明,臨限値能夠以前面圖框 之T T或B B,動態向量的絕對値的差之加權値的平均來 計算。此計算方式能以下列的數學式來表示:
Threshold = 1 / 2 * avg\MVtt - MVhh [(iV -1) +1 / 4 * a\^g^\4Vtt - MVbb |(Λ^ - 2) + l/8*avg|M^-MPg(AT-3) + l/16*avg|MF;rMFj(iV-4) +… 本紙張尺度適用中國國家標準(CNS ) M規格( (請先閱讀背面之注意事項再填寫本頁) 111 .... - .....................、1Tn 11 I n n
經濟部智慧財產局員工消費合作社印製 502535 A7 B7 SL 6. 年月β 補充 經濟部智慧財產局員工消費合作社印製 五、發明説明(关 其中,Threshold 爲臨限値,a vg|MVtt— MVbb| (N )是對第N張圖片,Μ V t t以及Μ V b b絕對値的差的 平均。 如果在步驟9 4 0中裁決圖框預測是需要的,則將於 步驟9 4 5中執行圖框搜尋。在步驟9 4 5中的搜尋可以 用上述關於在步驟915、930、或935中,所描述 的技巧來執行。在本發明的一個實施例中,所完成的搜尋 ,是一個類似描述於步驟9 3 5中的空間領域的搜尋。對 此圖框搜尋之起始的動態向量,可以是上區間或下區間的 動態向量。在一個依據本發明的實施例中,起始的動態向 量是被選擇爲上圖場及圖框預測動態向量的平均値,即( MVtt — MV") /2,而且搜尋範圍爲± 1 . 5個像素 。此外,空間領域的搜尋可以在任何可能的搜尋範圍內完 成,然而,在處理過程中的這個地方,利用較大的搜尋範 圍並不能夠得到什麼。在步驟9 4 5中,圖框搜尋可以藉 由利用以半點(half-pel)評估處理,來取代完全搜尋法得 到進一步的改善。 一般來說,當利用圖框的組合來將影像序列編碼,以 及利用傳統的方式將圖場資料編碼時,圖框預測資料對圖 場預測資料有較高的優先權。此決策是所謂的圖框/圖場 決策(步驟9 5 0 )。 接下來進行到步驟9 5 5,內部/無動態向量( Inti:a/NoMV )的決定。此內模式意思是巨塊是單獨的編碼, 本紙張尺度適用中國國家標準(CNS ) A4規格(210'〆297公釐) (請先閲讀背面之注意事項再填寫本頁)
-32- 502535 Α7 Β7 91· .6· II 倐正^ 年月^ 列允 五、發明説明(釦 而沒有參考此參考圖片。當巨塊內部編碼的絕對失真的總 和(S A D )很小時,可以產生比預測的動態模式更好的 影像品質。因此,當絕對失真的總和很小的時候,在將動 態向量編碼時,內部模式有較高的優先權。無動態向量( Ν ο Μ V )是一種當動態向量爲零時的特例。由於它用了 最少的位元數來將零動態向量編碼,因此,跟其他的動態 向量比較起來,零動態向量被給予最高的優先權。 在步驟9 5 8中,動態向量是被儲存起來或是輸出。 如果此過程剛對在目前的超巨塊中最後的巨塊決定出動態 向量(步驟9 6 0中),過程繼續進行到步驟9 6 5。否 則,過程繼續決定在目前的超巨塊中,其他的巨塊之動態 向量(步驟9 2 0 )。 符合本發明的方法可以根據存鄰近的巨塊之動態向量 ,決定對一超巨塊之第二個及後續的巨塊之動態向量(步 驟9 2 5 )。此過程可以依據任何鄰近的動態向量適當的 組合來決定這些動態向量,例如包括兩個最接近之動態向 量的平均。在本發明的一個實施例中,動態向量的求得是 藉由描述在C單元中,利用從鄰近的動態向量而來的動態 向量的方法。 如果此過程剛已經決定出在目前的超巨塊中最後巨塊 的動態向量,過程繼續進行到步驟9 6 5。如果此過程對 一個給定的圖框或範圍中,已經決定出最後巨塊的動態向 量,則過程終止。否則,處理過程選擇下一個超巨塊(步 驟9 7 0 )並繼續到步驟9 1 5。 本紙張尺度適用中國國家標準(CNS ) Α4規格(210Χ297公釐) (請先閱讀背面之注意事項再填寫本頁) 、1· 經濟部智慧財產局員工消費合作社印製 -33- 502535 ___ % 6.3修正 Α7 〜'Π Β7 --—:一 五、發明説明(駟 c .根據鄰近的巨塊決定動態向量 在一個典型的動態評估處理過程中,每一圖片或圖場 都是利用多重動態向量來編碼的,在圖片或圖場中多個巨 塊的每一個都利用到一個動態向量。任何對圖片或圖場評 估動態向量的方法,可以藉由符合本發明利用鄰近的巨塊 的動態向量,來決定一些動態向量的方法來改進。藉由這 種方式決定的一些動態向量,可以避免掉一些計算。 根據本發明,對每一個在圖片或圖場的巨塊,不管是 藉由執行一種一般的搜尋,或者根據已經被計算出來鄰近 的巨塊之動態向量的評估所獲得此巨塊的動態向量,都將 做出一個決定。圖1 0表示對每一個在一由1 6 X6巨塊 所組成的圖片或圖場中之巨塊,用來決定動態向量的方法 的一個範例。在圖1 0中,爲了要求得一個其數字以一般 形態出現之巨塊的動態向量,一規則的搜尋(步驟9 3 0 到9 5 8 )被執行。如果巨塊的數字是以較淡的色彩出現 的話,斜體且底下沒有劃線,則巨塊的動態向量,是依據 左邊及右邊之鄰近巨塊之動態向量來獲得。如果數字底下 出現斜線,則巨塊的動態向量,是依據目前巨塊之上下的 巨塊之動態向量來獲得。此數字同時指出所決定之動態向 量的次序。 例如,在圖1 0中,第一個所需決定的動態向量是左 上角標示“ 1 ”的巨塊。爲了求得此動態向量,其執行一 規則的搜尋。接下來,一規則的搜尋是被執行來求得巨塊 本紙張尺度適用中國國家標準(CNS ) Α4規格(210Χ297公釐) (請先閱讀背面之注意事項再填寫本頁) -裝· 經濟部智慧財4局8工消費合作杜印製 -34- 502535 A7 B7
經濟部智慧財產局員工消費合作杜印製 五、發明説明(衾 “ 2 ”的動態向量。例如,此搜尋可以從在步驟9 1 5對 巨塊# 2所決定的動態向量的開始執行,並完成步驟 9 3 0到9 5 8。在這個時候,已經得到兩個動態向量。 巨塊“ 3 ”的動態向量可以根據巨塊“ 1,,及巨塊“ 2 ” 的動態向量來決定,也就是說,左右鄰近的巨塊。此過程 繼續對整個第一列來進彳了。如果,如同在圖1 〇中,在第 一列中有偶數的巨塊,在第一列中的最後一個巨塊,由於 其沒有“右鄰”,將藉由執行一規則的搜尋來獲得。 在第一列中的最後一個巨塊之後,此過程決定在第三 列中第一個巨塊的動態向量。藉由在決定第二列之前先決 定第三列的動態向量,第二列整列的動態向量可以利用先 前決定的動態向量來決定。如同在圖1 〇中,在巨塊“ 1 7 ”之動態向量被決定之後,巨塊“ 1 8 ”之動態向量 ,可以根據巨塊“ 1 ”之動態向量及巨塊“ 1 7 ”之動態 向量來決定,也就是,巨塊“ 1 8 ”之上下鄰近的巨塊。 巨塊“ 1 9 ”之動態向量是利用一搜尋來獲得。然而,遵 照此種決定模式,巨塊“ 2 0 ” 、“ 2 1 ”及“ 2 2 ”之 動態向量可以依照先前決定之動態向量來決定。如同在圖 1 0中,巨塊“ 2 0 ”之動態向量,可以根據上下鄰近的 巨塊“ 2 ”及“ 1 9 ”之動態向量來決定,並且巨塊“ 2 1 ”及巨塊“ 2 2 ”的動態向量,分別可以根據左右鄰 近的巨塊“ 1 8 ”及“ 2 0 ” 、“ 1 7 ”及“ 1 9 ”的動 態向量來決定。 第二列及第三列的動態向量可以以這種次序來決定。 本紙張尺度適用中國國家標準(CNS ) A4規格(210X 297公釐) (請先閱讀背面之注意事項再填寫本頁)
-35 502535 Α7 Β7
五、發明説明(爹 在另一個實施例中,第二列的動態向量,可以在整個第三 列之動態向量被決定之後,被決定出來。在圖框或圖場中 每一巨塊的動態向量,可以根據圖1 0的方式來決定。 圖1 1是依據先前所決定之動態向量,而決定之動態 向量的一種方法。如前所述,一些巨塊的動態向量,可以 根據左右鄰近的巨塊或上下鄰近的巨塊之動態向量來決定 。例如,每一組動態向量可以被平均在一起,而獲得另一 個新的動態向量。在一個根據本發明的實施例中,根據在 圖1 1的圖表中,先前所決定之動態向量是被用來決定目 前的方塊之動態向量。例如,Μ V i以及Μ V 2是表示左右 鄰近或上下鄰近巨塊之動態向量。MV 1以及MV 2每一個 可能是在圖片或圖場中一巨塊之動態向量。例如,如果 Μ V 1以及Μ V 2是圖場向量的話,則此動態向量垂直的成 分,在計算Υ之前,將被乘以2來轉換成圖片的單位。 在本發明的一個實施例中,動態變量,Υ,被求出。 在此實施例中,Υ =丨Μ V 1 - Μ V 2丨,其可以以數學的形 式表示如下: Y = yl〇cl-x2f + (yl- 例如,假設 Μ V 1 = ( x 1,y 1 ) = ( 1,1 )且 μ V 2 = (x 2 , y 2 ) = ( 2 , 4),則 Y = 。例如,可以利 用此公式求Υ,分別包括1、2、及3合適的臨限値τ 1、 Τ 2、及 Τ 3。 本紙張尺度適用中國國家標準(CNS ) Α4規格(210Χ297公釐) (請先閲讀背面之注意事項再填寫本頁) 裝· 訂 經濟部智慧財產局員工消費合作社印製 -36- 502535 A7 B7 五、發明説明(如 如果用其他的公式來計算Y,也許需要其他的臨限値 。例如,X及y分量之差的最大値可以被用來取代成Y。 Y = max[|xi~x2|, |yi — ys|〕。其他適合 的臨限値的公式,例如,包括,Y = ( X i 一 X 2 ) 2 ( yi — y2)2 及 Y = I x 1 — x 2 | + | y ι — y 2 | 〇 如果Y = 0 (情況〇 )時,動態向量Μ V i是被選擇來 當作目前巨塊的動態向量。在另一個實施例中,動態向量 Μ V 2是被選擇來當作目前巨塊的動態向量。 在圖1 1之情況1中,Υ是介於〇及第一個臨限値T i 之間。在情況1中,目前巨塊的動態向量是被選擇爲Μ V i 或Μ V 2、或者巨塊爲內編碼圖片“ Intra-coded”獨立地編 碼,而沒有參考其他的圖片。如果內編碼產生於最少量的 資訊被編碼時,巨塊是被獨立地編碼。然而,如果編碼的 動態向量Μ V i或Μ V 2將需要較少被編碼的資訊時, MVi或MV2 (看哪一個產生較小的SAD),被用來當 作目前巨塊的動態向量。 在圖1 1之情況2中,Y是介於第一個臨限値T 1及第 一個臨限値T 2間。在情況2中,目前巨塊的動態向量是被 選擇爲、MVi以及MV2的平均値、或者沒 有參考其他的圖片獨立地編碼,“內編碼”。如果內編碼 產生於最少量的資訊被編碼時,巨塊是被獨立地編碼。然 而,如果編碼的動態向量Μ V :或Μ V 2、或它們的平均値 ,將需要較少被編碼的資訊時,Μ V i、Μ V 2、或它們的 平均値(看哪一個產生較小的S A D ),被用來當作目前 本紙張尺度適用中國國家標準(CNS ) A4規格(210 X297公釐) (請先閱讀背面之注意事項再填寫本頁) 、-s-t>
T 經濟部智慧財產局員工消費合作社印製 -37-
502535 五、發明説明(关 巨塊的動態向量。 如果Y是介於第二個臨限値τ 2及第三個臨限値τ 3間 ,利用Μ V i以及Μ V 2的平均値做爲起始點的一個圖片或 圖場搜尋將被執行。如果Μ V i以及Μ V 2都是圖片動態向 量,一圖片搜尋被執行。否則,一圖場搜尋被執行。 如果Υ大於Τ 3,一個一般的搜尋被執行。 D ·系統 圖1 2說明一個符合本發明的系統1 2 〇 5。如圖 1 2所示,一處理器1 2 1 0是經由任何合適的資料連接 ,被連接到最少一個輸入/輸出裝置1 2 2 0。輸入/輸 出裝置1 2 2 0可以是任何能夠傳送資訊至處理器 1 2 1 0,或由處理器1 2 1 0接收資料的裝置。只是作 爲範例,輸入/輸出裝置1 2 2 0可能是一經由I ε Ε Ε 1 3 9 4介面連接的數位攝影機。處理器1 2 1 〇可以是 任何一般能夠利用的數位處理器。處理器1 2 1 〇可能是 一個單一的處理器或多個處理器。然而,較快的處理器能 夠減少發明執行的時間。此外,能夠將影像資料處理最佳 化的特殊用途的處理器,在某些應用上是比較偏好的。 本發明的系統同時包括能夠儲存由處理器1 2 1 〇處 理過的資料,以及將資料送到輸入/輸出裝置1 2 2 〇、 或接收由輸入/輸出裝置1 2 2 0送來的資料的記憶體 1 2 3 0。系統1 2 0 5可以被連接到一個用來顯示資訊 的顯示器1 2 4 0,例如陰極射線管(c R Τ )。處理器 本紙張尺度適用中國國家標準(CNS ) Α4規格(210Χ297公釐) ---------淒 — I (讀先閲讀背面之注意事項再填寫本頁) 、τ 經濟部智慧財產局員工消費合作社印製 -38- 502535 Α7 Β7 9IU !铬正 年月n H >補无 五、發明説明(爹 $-- (請先閱讀背面之注意事項再填寫本頁) 1210、輸入/輸出裝置1220、記憶體1230、 及顯示器1 2 4 0是經由一標候選的系統匯流排1 2 6 0 連接。圖1 2表示一個示範的網路,其中每一個硬體成分 可以由常見的、商用的電腦系統元件來輔助。 圖1 3說明符合本發明的處理器1 2 1 〇。處理器 121〇可以包含一個或多個記憶體管理單元(MMU) 1 3 1 〇、一個或多個處理器元件陣列1 320、以及一 個或多個累進器單元1 3 3 0。處理器元件陣列1 3 2 0 可以包含一個不在圖中的處理器元件陣列。處理器元件可 能包含,例如,一個用來計算介於方塊間之S A D的減法 及加法單元。記憶體管理單元(Μ M U ) 1 3 1 0可以被 用來緩衝處理器元件陣列1 3 2 0的資料。累進器單元 1 3 3 0可能是,例如,一個將從處理器元件陣列 1 3 2 5之輸出相加的加法單元。 經濟部智慧財產局員工消費合作社印製 再次參考圖1 2,處理器1 2 1 0執行包含在記憶體 1 2 3 0中,一個或多個指令的一個或多個的序列。這些 指令可以從一個電腦可讀出的媒體,經由輸入/輸出裝置 1 2 2 0 ,讀入記憶體1 2 3 0中。包含在記憶體 1 2 3 0中指令序列的執行,導致處理器1 2 1 〇來執行 在其中所描述的處理步驟。在另一個完成例中,硬接線電 路可以甩來代替或與軟體的指令結合,來輔助發明。因此 ,發明的完成並沒有限制任何特定的硬體電路及軟體的結 合。 在這裡所用的“電腦可讀出的媒體”一詞,涉及任何 本紙張尺度適用中國國家標準(CNS ) Α4規格(21〇><297公釐) -39- 502535
A7 __B7 五、發明説明(却 (請先閱讀背面之注意事項再填寫本頁} 參與提供指令到處理器1 2 1 0來執行的媒體。這種媒體 可以是任何形式,包括但不限制是,非揮發性的媒體、易 揮發的媒體、以及傳輸媒體。非揮發性的媒體包括,例如 ,光碟或磁碟。易揮發的媒體包括動態記憶體,像是記憶 體1 2 3 0。傳輸媒體包括同軸電纜、銅線、及光纖,包 括組成匯流排1 2 6 0的電纜線。傳輸媒體同時可以爲聲 波或光波的形式,像是在無線電波及紅外線資料通訊所產 生的聲波或光波。 經濟部智慧財產局員工消費合作社印製 電腦可讀出的媒體一般的形式還包括,例如,軟磁碟 機、軟碟機、硬碟機、磁帶機,或是其他磁性的媒體、唯 讀式的光碟機,任何其他光學的媒體、穿孔卡、紙帶,任 何其他有孔的物體之媒體、隨機存取記憶體、可程式唯讀 記憶體、可消除程式化唯讀記憶體、快閃可消除程式化唯 讀記憶體,任何其他的晶片或卡帶、之前描述的載波、或 是其他電腦可讀出的媒體。經由系統匯流排1 2 6 0搭載 數位資料、以及程式碼至系統1 2 0 5,或從系統 1 2 0 5搭載數位資料、以及程式碼的網路信號,是傳輸 資訊示範的載波的形式。依照本發明,由系統1 2 0 5所 接收的程式碼,可以在它被處理器1 2 1 0接收時,及/ 或儲存在記憶體1 2 3 0、或爲了稍後的執行而儲存在其 他非揮發性的儲存裝置時執行。 在不脫離本發明的精神及範疇下,可以在符合本發明 的方法級系統的情況下,作各種的修定及變化,這對於那 些熟悉本技藝的人來說,將變得相當明顯。本發明真正的 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) -40 502535 A7 B7 $ % i 1修..正‘.1:』兄 五、發明説明(初 範疇,則是定義在下列的申請專利的範圍 (請先閲讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準(CNS ) A4規格(21〇X29<7公釐) -41 -
Claims (1)
- 502535 8 8 88 ABCD 年 正、无 修 六、申請專利範圍 1 (請先閱讀背面之注意事項再填寫本頁) 1 . 一種於一視訊序列中取得視訊影像資料的第一及 第二圖片間之動態向量的方法,每一圖片包含多個超巨塊 ,每一超巨塊具有多個巨塊,該方法包含下列步驟: 對於第一圖片之每一個超巨塊,決定一個在第二圖片 中,與在第一圖片之超巨塊最相稱的相稱超巨塊; 對於在第一圖片超巨塊的每一個巨塊,決定一個在第 二圖片中,與在第一圖片超巨塊中的巨塊最爲相稱的巨塊 ,其中決定一巨塊的步驟進一步包括: 搜尋第二圖片中,一個與第一圖片超巨塊中之巨塊最 相稱的候選巨塊,此搜尋是從在第二圖片超巨塊中,對應 於在第一圖片超巨塊之第一個巨塊開始; 根據候選巨塊,決定一個動態向量;以及 對於在第一圖片超巨塊中所剩下的巨塊,依照在第二 圖片之超巨塊鄰近候選巨塊的巨塊,評估動態向量。 經濟部智慧財產局員工消費合作社印製 2 . —種用來獲得在一視訊序列中介於壓縮視訊影像 資料的第一及第二圖片間的動態向量的方法,每一圖片包 含多個超巨塊,每一超巨塊具有多個巨塊,此方法包含下 列步驟: 對於第一圖片之每一超巨塊,根據代表第一與第二圖 片之壓縮資料,決定一個在第二圖片中,與在第一圖片之 超巨塊最相稱的相稱超巨塊; 對於在第一圖片超巨塊的每一個巨塊,根據代表第一 與第二圖片超巨塊之壓縮資料,決定一個在第二圖片中, 與在第一圖片超巨塊中的巨塊最爲相稱的巨塊,其中決定 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) -42- 502535 A8 B8 C8 D8 ύ· j 年月 :表.f Jit 六、申請專利範圍 2 一巨塊的步驟進一步包括: 對第二圖片搜尋一個與在第一圖片超巨塊中的巨塊最 相稱的候選巨塊,此搜尋是從在第二圖片超巨塊中,對應 於在第一圖片超巨塊之第一個巨塊之一巨塊開始; 根據候選巨塊,決定一動態向量;以及 對於在第一圖片超巨塊中所剩下的巨塊,依照在第二 圖片之超巨塊鄰近候選巨塊的巨塊,評估動態向量。 3 ·如申請專利範圍第2項的方法,其中決定在第二 圖片中,與第一圖片的第一個超巨塊最相稱的第二個超巨 塊的步驟,包含執行一可伸縮的搜尋。 4 ·如申請專利範圍第2項的方法,其中搜尋第二圖 片中之候選巨塊的步驟,包含: 將代表在第二圖片超巨塊之巨塊的壓縮資料,與代表 在第一圖片超巨塊之巨塊的壓縮資料作比較; 對每一次的比較,根據壓縮資料,決定一個介於在第 二圖片超巨塊之巨塊,與在第一圖片超巨塊之巨塊的比較 値;以及 將在第二圖片超巨塊所產生之最佳比較値之巨塊,選 擇來當作候選巨塊。 5 ·如申請專利範圍第2項的方法,其中搜尋第二圖 片候選巨塊的步驟,包含: 將代表在第二圖片超巨塊之巨塊的壓縮資料,與代表 在第一圖片超巨塊之巨塊的壓縮資料作比較; 對每一次的比較,根據該壓縮資料的積分映射資訊, 本紙張尺度適用中國國家標準(CNS ) A4規格(210X 297公釐) (請先閱讀背面之注意事項再填寫本頁) -訂· s. 經濟部智慧財產局員工消費合作社印製 -43- 502535 A8 B8 C8 D8 9i*» i τρ 年月β ’Λ 六、申請專利範圍 3 決定一個介於在第二圖片超巨塊之巨塊與在第一圖片超巨 塊之巨塊的比較値;以及 (請先閲讀背面之注意事項再填寫本頁) 將在第二圖片超巨塊所產生最佳比較値之巨塊,選擇 來當作候選巨塊。 6 . —種用來獲得在一視訊序列中介於壓縮視訊影像 資料的第一及第二圖片間的動態向量的方法,每一圖片包 含多個超巨塊,每一個超巨塊具有多個巨塊,而且其中每 一圖片包含一第一圖場及第二圖場,此方法包含下列步驟 對於第一圖片之每一超巨塊,根據代表第一與第二圖 片之壓縮資料,決定一個在第二圖片中,與在第一圖片之 超巨塊最相稱的超巨塊; 對應在第二圖片之相稱超巨塊的在第一圖片中之超巨 塊中的每一個巨塊,根據代表第一與第二圖片超巨塊之壓 縮資料,決定一個在第二圖片中,與在第一圖片巨塊最爲 相稱的相稱巨塊,其中決定一巨塊的步驟進一步包括: 經濟部智慧財產局員工消費合作社印製 於水平及垂直兩種的方向中,搜尋第二圖片的第一及 第二圖場中,最相稱於第一圖片巨塊的第一候選巨塊,其 中在第一圖片的第一圖場的諸巨塊與在第二圖片的第一圖 場的諸巨塊作比較,以獲得第一個候選巨塊,而在第一圖 片的第二圖場的諸巨塊與在第二圖片的第二圖場的諸巨塊 做比較,來獲得第二個候選巨塊;以及 根據第一及第二個候選巨塊,分別來決定第一及第二 個動態向量。 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) -44- 502535 A8 B8 C8 D8 六、申請專利範圍 47 ·如申請專利範圍第6項的方法,其中搜尋第一及 第二圖場包括: 如果第一及第二圖場是以2 X 4 X 8離散餘弦轉換( D C T )模式壓縮,則以水平的方式搜尋第二僵片中第一 及第二圖場中的一個圖場,並利用8點的垂直映射資料, 決定一最佳比較値。 8 ·如申請專利範圍第7項的方法,其進一步包含: 以垂直的方式搜尋第二圖片中第一或第二圖場中的一 個圖場,並利用4點的水平映射資料,來決定一最佳比較 値。 9 ·如申請專利範圍第6項的方法,其中搜尋第一或 第二圖場包含: 如果第一或第二圖場是以8 X 8離散餘弦轉換( D C T )模式壓縮,則以垂直的方式搜尋第二圖片中第一 及第二圖場中的一個圖場,並利用4點的水平映射資料來 決定一最佳比較値。 1 0 _如申請專利範圍第9項的方法,其進一步包含 以水平的方式,在空間領域中,搜尋第二圖片的第二 圖場,並利用空間資料來決定一最佳比較値。 1 1 ·如申請專利範圍第6項的方法,其中搜尋第一 或第二圖場包含: 如果第一或第二圖場是以8 X 8離散餘弦轉換( 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) (請先閱讀背面之注意事項再填寫本頁) 訂 ^91. 經濟部智慧財產局員工消費合作社印製 -45 - 502535 A8 B8 C8 D8 91· 6· 1纟1套正 年月 n。士 摘充 六、申請專利範圍 5 及第二圖場中的’一個圖場,並利用8點的垂直映射資料來 決定一最佳比較値;以及 (請先閱讀背面之注意事項再填寫本頁) 以垂直的方式搜尋第二圖片的第二圖場,並利用4點 的水平映射資料來決定一最佳比較値。 1 2 · —種用來獲得在一視訊序列中介於視訊影像資 料的第一及第二圖片的動態向量的設備,每一圖片包含多 個超巨塊,每一個超巨塊具有多個巨塊,該設備包含: 一具有程式指令的記憶體,以及 一架構來利用程式指令的處理器,用來執行下列步驟 對於第一圖片之每一個超巨塊,決定一個在第二圖片 中,與在第一圖片之超巨塊最相稱的相稱超巨塊; 對於在第一圖片超巨塊中的每一個巨塊,決定一個在 第二圖片中,與在第一圖片超巨塊中的巨塊最爲相稱的巨 塊,其中決定一巨塊的步驟進一步包括: 經濟部智慧財產局員工消費合作社印製 搜尋第二圖片中,一個與在第一圖片超巨塊中之巨塊 最相稱的候選巨塊,此搜尋是從在第二圖片超巨塊中,對 應於第一圖片超巨塊中之第一個巨塊之巨塊開始; 根據候選巨塊,決定一動態向量;以及 對於在第一圖片超巨塊中所剩下的諸巨塊,依照鄰近 候選巨塊的第二圖片之超巨塊中之巨塊,評估諸動態向量 0 1 3 · —種用來獲得在一視訊序列中介於壓縮視訊影 像資料的第一及第二圖片間的動態向量的設備,每一圖片 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) -46- 502535 A8 B8 C8 D8 91. ti. 11 年 Λ : 5 修正補充 六、申請專利範圍 6 包含多個超巨塊,每一個超巨塊具有多個巨塊,該設備包 含: (請先閲讀背面之注意事項再填寫本頁) 一具有程式指令的記憶體,以及 一架構來利用程式指令的處理器,用來執行下列步驟 對於第一圖片之每一個超巨塊,根據代表第一與第二 圖片之壓縮資料,決定一個在第二圖片中,與在第一圖片 之超巨塊最相稱的相稱超巨塊;. 對於在第一圖片超巨塊中的每一個巨塊,根據代表第 一與第二圖片之壓縮資料,決定一個在第二圖片中,與在 第一圖片超巨塊中的巨塊最相稱的巨塊,其中決定一巨塊 的步驟進一步包括: 搜尋第二圖片中,一個與在第一圖片超巨塊中巨塊最 相稱的候選巨塊,此搜尋是從在第二圖片超巨塊中,對應 於在第一圖片超巨塊中之第一個巨塊之一巨塊開始; 根據候選巨塊,決定一動態向量;以及 經濟部智慧財產局員工消費合作社印製 對於在第一圖片超巨塊所剩下的諸巨塊,依照鄰近候 選巨塊的在第二圖片中之超巨塊中的巨塊,評估諸動態向 量。 1 4 ·如申請專利範圍第1 3項的設備,其中決定在 第二圖片中,與第一圖片的第一個超巨塊最相稱的第二個 超巨塊的步驟,包含執行一可伸縮的搜尋。 1 5 .如申請專利範圍第1 3項的設備,其中搜尋第 二圖片中之候選巨塊的步驟,包含: 本紙張尺度適用中國國家標準(CNS ) Α4規格(210Χ297公釐) -47- 502535 經濟部智慧財產局員工消費合作社印製 91· S· i 1 棒不 B8 年月3 7 “一_g8B 補充六、申請專利範圍 7 二圖片中之候選巨塊的步驟,包含: 將代表在第二圖片超巨塊中之巨塊的壓縮資料,與代 表在第一圖片超巨塊之巨塊的壓縮資料作比較; 對每一次的比較,根據壓縮的資料,決定一個介於在 第二圖片超巨塊之巨塊,與在第一圖片超巨塊之巨塊間的 比較値;以及 將在第二圖片超巨塊所產生之最佳比較値之巨塊,選 擇來當作候選巨塊。 1 6 ·如申請專利範圍第1 3項的設備,其中搜尋第 二圖片中之候選巨塊的步驟,包含: 將代表在第二圖片超巨塊中之巨塊的壓縮資料,與代 表在第一圖片超巨塊之巨塊的壓縮資料作比較; 對每一次的比較,根據積分映射資訊,決定一個介於 在第二圖片超巨塊之巨塊,與在第一圖片超巨塊之巨塊間 的比較値; 將在第二圖片超巨塊所產生之最佳比較値之巨塊,選 擇來當作候選巨塊。 1 7 . —種用來獲得在一視訊序列中介於壓縮視訊影 像資料的第一及第二圖片間的動態向量的設備,每一 Η片 包含多個超巨塊,每一個超巨塊具有多個巨塊,而且每一 圖片包含一第一圖場及第二圖場,該設備包含: 一具有程式指令的記憶體,以及 一架構來利用程式指令的處理器,用來執行下列步*驟 (請先閱讀背面之注意事項再填寫本頁) 訂 P. 本紙張尺度適用中國國家標準(CNS ) Μ規格(ΜΟΧ297公釐) -48-502535 六、申請專利範圍 8 圖片之壓縮資料,決定一個在第二圖片中,與在第一圖片 之超巨塊最相稱的相稱超巨塊; (請先閲讀背面之注意事項再填寫本頁) 對應在第二圖片中之相稱超巨塊中之第一圖片中之超 巨塊的每一個巨塊,根據代表第一與第二圖片之壓縮資料 ,決定一個在第二圖片中,與在第一圖片超巨塊中的巨塊 中最相稱的相稱巨塊,其中決定一巨塊的步驟進一步包括 於水平及垂直方向中,搜尋第二圖片的第一及第二圖 場中,最相稱於第一圖片巨塊之第一候選巨塊,其中在第 一圖片的第一圖場的諸巨塊,是跟在第二圖片的第一圖場 中的諸巨塊做比較,以獲得第一個候選巨塊,而在第一圖 片的第二圖場中的諸巨塊,是跟在第二圖片的第二圖場中 的諸巨塊做比較,來獲得第二個候選巨塊;以及 根據第一及第二個候選巨塊,分別來決定第一及第二 個動態向量。 擎· 1 8 .如申請專利範圍第1 7項的設備,其中搜尋第 一及第二圖場包括: 經濟部智慧財產局員工消費合作社印製 如果第一或第二圖場是以2 X 4 X 8離散餘弦轉換( D C T )模式壓縮,則以水平的方式搜尋第二圖片中第〜 及第二圖場中的一個圖場,並利用8點的垂直映射資料來 決定一最佳比較値。 1 9 ·如申請專利範圍第1 8項的設備,其進一步包 含: 以垂直的方式搜尋第二圖片中第一及第二圖場中的〜 1紙張尺度適用中國國家標準(€泌)人4規格(210乂297公釐)~ -49 - 3 5 02 5 經濟部智慧財產局員工消費合作社印製 ml U 正|丨A8 B8 C8 D8 六、申請專利範圍 9 以垂直的方式搜尋第二圖片中第一及第二圖場中的〜 個圖場,並利用4點的水平映射資料來決定一最佳比較値 〇 2 0 .如申請專利範圍第1 7項的設備,其中搜尋第 一或第二圖場包含: 如果第一或第二圖場是以8 X 8離散餘弦轉換( D C T )模式壓縮,則以垂直的方式搜尋第二圖片中第一 及第二圖場中的一個圖場,並利用4點的水平映射資料來 決定一最佳之比較値。 2 1 .如申請專利範圍第2 0項的設備,其進一步包 含: 以水平的方式,在空間領域中,搜尋第二圖片的第二 圖場,並利用空間資料來決定一最佳比較値。 2 2 ·如申請專利範圍第1 7項的設備,其中搜尋第 一及第二圖場包含: 如果第一及第二圖場是以8 X 8離散餘弦轉換( D C T )模式編碼,則以水平的方式搜尋第二圖片中第一 及第二圖場中的一個圖場,並利用8點的垂直映射資料來 決定一最佳比較値;以及 以垂直的方式搜尋第二圖片的第二圖場,並利用4點 的水平映射資料來決定一最佳比較値。 2 3 · —種電腦程式產品,包含: 一收錄電腦可讀碼於其中的電腦可使用的媒體,用來 獲得在一視訊序列中,介於視訊影像資料的第一及第二圖 本紙張尺度適用中國國家標準(CNS )八4祕(ηοχ297公董) ~ {請先閲讀背面之注意事項再填寫本頁} 、^τ- -50- 502535 A8 B8 C8 D8 91. 6. 1 1 ::-;:-,.£' 庄.: ^ .. 士 韻/匕 六、申請專利範圍 10 塊具有多個巨塊,此電腦可使用的媒體包含: (a ) —第一個元件,對於第一圖片之每一個超巨塊 ,被架構來決定一個在第一圖片中,與在弟一^圖片之超巨 塊最相稱的相稱超巨塊; (b ) —第二元件,對於在第一圖片超巨塊中的每一 巨塊,被配置來決定一個在第二圖片中,與在第一圖片超 巨塊中的巨塊最相稱之巨塊,其中第二個元件進一步被配 置以: 搜尋第二圖片中,一個與在第一圖片超巨塊中之巨塊 最相稱的候選巨塊,此搜尋是從在第二圖片超巨塊中,對 應於在第一圖片超巨塊之第一個巨塊之巨塊開始; 根據候選巨塊,決定一動態向量;以及 對於在第一圖片超巨塊中所剩下的巨塊,依照鄰近候 選巨塊之在第二圖片之超巨塊中的諸巨塊,評估諸動態向 量。 2 4 . —種電腦程式產品,包含: 一收錄電腦可讀碼於其中的電腦可使用的媒體,用來 獲得在一視訊序列中,介於壓縮視訊影像資料的第一及第 二圖片間的動態向量,每一圖片包含多個超巨塊,每一個 超巨塊具有多個巨塊,此電腦可使用的媒體包含: (a ) —第一元件,被架構以根據代表第一與第二圖 片之壓縮資料來決定,於第一圖片之每一個超巨塊中,一 個在第二圖片中,與在第一圖片之超巨塊最相稱的相稱超 巨塊; 本紙張尺度適用中國國家標準(CNS ) A4規格(210 X 297公釐) "" -51 - (請先閲讀背面之注意事項再填寫本頁) 、1T 經濟部智慧財產局員工消費合作社印製 502535 Α8 Β8 C8 D8 9L 年々、申請專利範圍 11 (請先閱讀背面之注意事項再填寫本頁) (b) —第二元件,被架構以根據代表第一與第二圖 片之壓縮資料,對於在第一圖片超巨塊中的每一個巨塊中 ,決定一個在第二圖片中,與在第一圖片超巨塊中的巨塊 最爲相稱之巨塊,其中第二個元件進一步被架構以: 搜尋第二圖片中,一個與在第一圖片超巨塊中巨塊最 相稱的候選巨塊,此搜尋是從在第二圖片超巨塊中,對應 於在第一圖片超巨塊之第一個巨塊之巨塊開始; 根據候選巨塊,決定一動態向量;以及 對於在第一圖片超巨塊中所剩下的諸巨塊,依照鄰近 之候選巨塊的在第二圖片中之超巨塊中之巨塊,評估諸動 態向量。 2 5 ·如申請專利範圍第2 4項的產品,其中第一個 元件是藉由執行一可伸縮搜尋,以架構成決定在第二圖片 中,與第一圖片的第一超巨塊最相稱的第二超巨塊。 經濟部智慧財產局員工消費合作社印製 2 6 ·如申請專利範圍第2 4項的產品,其中第二元 件是進一步架構以由第二圖片中搜尋一候選巨塊,藉由: 比較代表在第二圖片超巨塊中之諸巨塊的壓縮資料與 代表在第一圖片超巨塊中諸巨塊的壓縮資料; 對每一次的比較,根據壓縮資料,決定一個介於在第 二圖片超巨塊之巨塊與在第一圖片超巨塊之巨塊間的比較 値;以及 將在第二圖片超巨塊中所產生之最佳比較値之巨塊, 選擇來當作候選巨塊。 2 7 ·如申請專利範圍第2 4項的產品,其中第二個 本紙張尺度適用中國國家標準(CNS ) A4規格(21〇χ297公釐) -52- A8 B8 C8 9L 6. 年;y i 1續正 D8 經濟部智慧財產局員工消費合作社印製 502535 六、申請專利範圍 12 元件是進一步架構以在第二圖片中搜尋一候選巨塊,藉由 將代表在第二圖片超巨塊中之諸巨塊的壓縮資料與代 表在第一圖片超巨塊中之諸巨塊的壓縮資料作比較; 對每一次的比較,根據壓縮資料的積分映射資訊,決 定一個介於在第二圖片超巨塊中之巨塊與在第一圖片超巨 塊中之巨塊間的比較値;以及 將在第一圖片超巨塊中所產.生之最佳比較値之巨塊, 選擇來當作候選巨塊。 2 8 · —種電腦程式產品,包含: 一收錄電腦可讀碼於其中的電腦可使用的媒體,用來 獲得在一視訊序列中,介於壓縮視訊影像資料的第一及第 二圖片間的動態向量,每一圖片包含多個超巨塊,每一個 超巨塊具有多個巨塊,而且其中每一圖片包含一第一圖場 及第二圖場,此產品包含: (a ) —第一元件,被架構以對於第一圖片之每一個 超巨塊,根據代表第一與第二圖片之壓縮資料,來決定一 個在第二圖片中,與在第一圖片中之超巨塊最相稱的相稱 超巨塊; (b ) —第二元件,被架構以對應在第二圖片之相稱 超巨塊之第一圖片中之超巨塊的每一個巨塊,根據代表第 一與第二圖片超巨塊之壓縮資料,決定一個在第二圖片中 ,與在第一圖片中的巨塊最相稱的相稱巨塊,其中第二個 元件進一步被架構以: 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) (請先閱讀背面之注意事項再填寫本頁) 訂 ^1. -53- 502535 I9L i. 11A8 B8 C8 D8 六、申請專利範圍 13 於水平及垂直方向中,搜尋第二圖片的第一及第二圖 場中,最相稱於第一圖片巨塊之第一候選巨塊,其中在第 一圖片的第一圖場的巨塊是跟在第二圖片的第一圖場的g 塊做比較,來獲得第一候選巨塊,而在第一圖片的第二圖 場的巨塊是跟在第二圖片的第二圖場的巨塊做比較,來獲 得第二候選巨塊;以及 根據第一及第二個候選巨塊,分別來決定第一及第二 個動態向量。 2 9 ·如申請專利範圍第2 8項的產品,其中第二元 件進一步被架構以搜尋第一及第二個圖場,藉由: 如果第一及第二圖場是以2 X 4 X 8離散餘弦轉換( D C T )模式壓縮,則以水平的方式搜尋第二圖片中第〜 及第二圖場中的一個圖場,並利用8點的垂直映射資料來 決定一最佳比較値。 3 0 .如申請專利範圍第2 9項的產品,其中第二元 件進一步被架構以搜尋第一及第二個圖場,藉由: 以垂直的方式搜尋第二圖片中第一及第二圖場中的〜 個圖場,並利用4點水平映射資料來決定一最佳比較値。 3 1 .如申請專利範圍第2 8項的產品,其中第二個 元件進一步被架構以搜尋第一及第二個圖場,藉由: 如果第一及第二圖場是以8 X 8離散餘弦轉換( D C T )模式壓縮,則以垂直的方式搜尋第二圖片中第〜 及第二圖場中的一個圖場,並利用4點的水平映射資料來 決定一最佳比較値。 本紙張尺度適用中國國家標準(CNS ) A4規格(210 X 297公釐) C請先閎讀背面之注意事項再填寫本頁} 訂 經濟部智慧財產局員工消費合作社印製 -54- 502535 經濟部智慧財產局員工消費合作社印製A8 B8 C8 D8 六、申請專利範圍 14 3 2 ·如申請專利範圍第3 1項的產品,其中第二個 元件進一步被架構以: 以水平的方式,在空間的領域中,搜尋第二圖片的第 二圖場,並利用空間資料來決定一最佳比較値。 3 3 ·如申請專利範圍第2 8項的產品,其中第二個 元件進一步被架構以搜尋第一及第二個圖場,藉由·· 如果第一及第二圖場是以8 X 8離散餘弦轉換( D C T )模式編碼.,則以水平的方式搜尋第二圖片中第〜 及第二圖場中的一個圖場,並利用8點的垂直映射資料來 決定一最佳之比較値;以及 以垂直的方式搜尋第二圖片的第二圖場,並利用4點 的水平映射資料來決定一最佳比較値。 3 4 · —種用來獲得在一視訊序列中介於視訊影像資 料的第一及第二圖片間的動態向量的系統,每一圖片包含 多個超巨塊,每一個超巨塊具有多個巨塊,此系統包含: 對於第一圖片之每一個超巨塊,包含決定機構,用來 決定一個在第二圖片中,與在第一圖片之超巨塊最相稱之 相稱超巨塊; 對於在第一圖片中超巨塊的每一個巨塊,包含決定機 構,用來決定一個在第二圖片中,與在第一圖片超巨塊中 的巨塊最相稱的一巨塊,其中用來決定一巨塊的決定機構 進一步包括: 搜尋機構,用來搜尋於第二圖片中’一個與在第一圖 片超巨塊中之巨塊最相稱的候選巨塊,此搜尋是從在第二 本紙張尺度適用中國國家標準(CNS ) A4規格(21〇Χ297公釐) -- -------41! f請先閎讀背面之注意事項再填寫本頁} -訂. IIP·"· -55- 502535 A8 B8 C8 D8 91· s· il 修JE: 年月h、1、> 補无 六、申請專利範圍 15 圖片超巨塊中,對應於在第一圖片超巨塊之第一個巨塊之 巨塊開始; (請先閱讀背面之注意事項再填寫本頁) 決定機構,用來根據候選巨塊,決定一動態向量;以 及 對於在第一圖片超巨塊中之剩下的巨塊,更包含評估 機構,用以依照鄰近候選巨塊的第二圖片中之超巨塊之巨 塊,評估動態向量。 3 5 · —種用來獲得在一視訊序列中介於壓縮影像資 料的第一及第二圖片的動態向量的系統,每一圖片包含多 個超巨塊,每一個超巨塊具有多個巨塊,此系統包含: 對於第一圖片之每一個超巨塊,決定機構,用以根據 代表第一與第二圖片之壓縮資料,來決定一個在第二圖片 中,與在第一圖片之超巨塊最相稱的相稱超巨塊; 對於在第一圖片超巨塊中的每一個巨塊,決定機構, 用以根據代表第一與第二圖片之壓縮資料,來決定一個在 第二圖片中,與在第一圖片超巨塊中的巨塊最相稱的巨塊 ,其中用來決定一巨塊的機構進一步包括: 經濟部智慧財產局員工消費合作社印製 搜尋機構,用以搜尋第二圖片中,一個與在第一圖片 中之超巨塊中之巨塊最相稱的候選巨塊,此搜尋是從在第 二圖片超巨塊中,對應於在第一圖片超巨塊之第一個巨塊 開始; 決定機構,用來根據候選巨塊,決定一動態向量;以 及 對於在第一圖片超巨塊所剩下的該巨塊,評估機構’ 本紙張尺度適用中國國家標準(CNS ) A4規格(210 X 297公釐) -56-502535 夂、申請專利範圍 16 用以依照在第二圖片鄰近候選巨塊的超巨塊中之巨塊,來 評估諸動態向量。 (請先閱讀背面之注意事項再填寫本頁) 3 6 ·如申請專利範圍第3 5項的系統,其中用來決 定在第二圖片中,與第一圖片的第一個超巨塊最相稱的第 二個超巨塊的機構,包含一執行可伸縮搜尋的機構。 3 7 ·如申請專利範圍第3 5項的系統,其中用來搜 尋第二圖片之候選巨塊的機構,包含: 用來比較代表在第二圖片超巨塊之巨塊的壓縮資料與 代表在第一圖片超巨塊之巨塊的壓縮資料的機構; 對每一次的比較,根據壓縮資料,來決定一個介於在 第二圖片超巨塊之巨塊與在第一圖片超巨塊之巨塊間之比 較値的機構;以及 用來將在第二圖片超巨塊中所產生之最佳比較値之巨 塊,選擇來當作候選巨塊的機構。 3 8 .如申請專利範圍第3 5項的系統,其中用來搜 尋第二圖片中之候選巨塊的機構包含:· 經濟部智慧財產局員工消費合作社印製 用來比較代表在第二圖片超巨塊之巨塊的壓縮資料與 代表在第一圖片超巨塊之巨塊的壓縮資料之機構; 對每一次的比較,根據壓縮資料的積分映射資訊,來 決定一個介於在第二圖片超巨塊之巨塊與在第一圖片超巨 塊之巨塊間的比較値之機構;以及 用來將在第二圖片超巨塊所產生之最佳比較値之巨塊 ,選擇來當作候選巨塊的機構。 3 9 · —種用來獲得在一視訊序列中介於壓縮影像資 本紙張尺度適用中國國家標準(CNS ) A4規格(210X 297公釐) -57- 502535 A8 B8 C8 D8 六、申請專利範圍 17 (請先閲讀背面之注意事項再填寫本頁) 料的第一及第二圖片的動態向量的系統,每一圖片包含多 個超巨塊,每一個超巨塊具有多個巨塊,而且每一圖片包 含一*第一*圖場及第一^圖場,此系統包含· 對於第一圖片之每一個超巨塊,根據代表第一與第二 圖片之壓縮資料,用來決定一個在第二圖片中,與在第一 圖片之超巨塊最相稱的相稱超巨塊之機構; 對應在第二圖片相稱之超巨塊之在第一圖片中之超巨 塊的每一個巨塊,.根據代表第一與第二圖片之壓縮資料, 來決定一個在第二圖片中,與在第一圖片超巨塊中的巨塊 ,最爲相稱的巨塊的機構,其中用來決定一巨塊的機構進 一步包括: 以水平及垂直方向,來搜尋第二圖片的第一及第二圖 場的最相稱於第一圖片巨塊之第一候選巨塊的機構,其中 在第一圖片的第一圖場的諸巨塊是跟在第二圖片的第一圖 場的諸巨塊作比較,來獲得第一候選巨塊,而在第一圖片 的第二圖場的諸巨塊,是跟在第二圖片的第二圖場的諸巨 塊作比較,來獲得第二個候選巨塊;以及 經濟部智慧財產局員工消費合作社印製 根據第一及第二個候選巨塊,分別用來決定第一及第 二個動態向量的機構。 4 0 ·如申請專利範圍第3 9項的系統,其中用來搜 尋第一及第二圖場的機構包括: 如果第一或第二圖場是以2 X 4 X 8離散餘弦轉換( D C T )模式壓縮,則以水平的方式用來搜尋第二圖片中 第一及第二圖場中的一個圖場,並利用8點的垂直映射資 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) -58- 502535 A8 B8 C8 D8A 1 六、申請專利範圍 18 料,來決定一最佳比較値的機構。 4 1 ·如申請專利範圍第4 0項的系統,進一步包括 以垂直的方 的一個圖場,並 比較値的機構。 4 2 ·如申 尋第一及第二圖 如果第一或 D C T )模式壓 一及第二圖場中 ,來決定一最佳 4 3 ·如申 式用來搜尋第二圖片中第一及第二圖場中 利用4點的水平映射資料,來決定一最佳 請專利範圍第3 9項的系統,其中用來搜 場中之一個圖場的機構包含: 第二圖場是以8 X 8離散餘弦轉換( 縮,則以垂直的方式來搜尋第二圖片中第 的一個圖場,並利用4點的水平映射資料 比較値的機構。 請專利範圍第4 2項的系統,其進一步包 (請先閱讀背面之注意事項再填寫本頁) Γ 含: 以水平的方 場,並利用 式,在空間領域中,來搜尋第二圖片的第 空間資料,來決定一最佳比較値的機構。 4 4 ·如申請專利範圍第3 9項的系統,其中搜尋第 經濟部智慧財產局員工消費合作社印製 及第二圖場中之一個圖場的機構包含: 如果第一或 D C T )模式編 一及第二圖場中 ,來決定一最佳 以垂直的方 點的水平映射資 第二圖場是以8 X 8離散餘弦轉換( 碼,則以水平的方式來搜尋第二圖片中第 的一個圖場,並利用8點的垂直映射資料 比較値的機構;以及 式來搜尋第二圖片的第二圖場,並利用4 料,來決定一最佳比較値的機構。 本紙張尺度適用中國國家標準(CNS ) A4規格(210X297公釐) -59-
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17341099P | 1999-12-28 | 1999-12-28 | |
US09/497,394 US6690728B1 (en) | 1999-12-28 | 2000-02-03 | Methods and apparatus for motion estimation in compressed domain |
Publications (1)
Publication Number | Publication Date |
---|---|
TW502535B true TW502535B (en) | 2002-09-11 |
Family
ID=26869112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW089128082A TW502535B (en) | 1999-12-28 | 2001-01-30 | Methods and apparatus for motion estimation in compressed domain |
Country Status (4)
Country | Link |
---|---|
US (1) | US6690728B1 (zh) |
AU (1) | AU2460901A (zh) |
TW (1) | TW502535B (zh) |
WO (1) | WO2001049029A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6760378B1 (en) * | 1999-06-30 | 2004-07-06 | Realnetworks, Inc. | System and method for generating video frames and correcting motion |
US6735249B1 (en) * | 1999-08-11 | 2004-05-11 | Nokia Corporation | Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding |
US6907080B1 (en) * | 2000-06-07 | 2005-06-14 | Intel Corporation | Adaptive early exit techniques in image correlation |
US6654502B1 (en) * | 2000-06-07 | 2003-11-25 | Intel Corporation | Adaptive early exit techniques in image correlation |
KR100782800B1 (ko) * | 2000-07-28 | 2007-12-06 | 삼성전자주식회사 | 움직임 추정 방법 |
US6765964B1 (en) | 2000-12-06 | 2004-07-20 | Realnetworks, Inc. | System and method for intracoding video data |
US7023491B2 (en) * | 2001-02-28 | 2006-04-04 | Thomson Licensing | Method and device for displaying frozen pictures on video display device |
TWI241536B (en) * | 2001-03-07 | 2005-10-11 | Pts Corp | Method and apparatus for estimating motion of image region |
US6947486B2 (en) * | 2001-03-23 | 2005-09-20 | Visioprime | Method and system for a highly efficient low bit rate video codec |
US6987866B2 (en) * | 2001-06-05 | 2006-01-17 | Micron Technology, Inc. | Multi-modal motion estimation for video sequences |
US7386048B2 (en) * | 2002-05-28 | 2008-06-10 | Sharp Laboratories Of America, Inc. | Methods and systems for image intra-prediction mode organization |
US8660182B2 (en) * | 2003-06-09 | 2014-02-25 | Nvidia Corporation | MPEG motion estimation based on dual start points |
US20050201458A1 (en) * | 2004-03-12 | 2005-09-15 | Pinnacle Systems, Inc. | Image encoding system and method |
KR101256548B1 (ko) * | 2005-12-30 | 2013-04-19 | 삼성전자주식회사 | 영상 부호화 및 복호화 장치 및 그 방법 |
KR100781525B1 (ko) * | 2006-04-06 | 2007-12-03 | 삼성전자주식회사 | 가중 평균합을 이용하여 fgs 계층을 인코딩 및디코딩하는 방법 및 장치 |
US20080018788A1 (en) * | 2006-07-20 | 2008-01-24 | Samsung Electronics Co., Ltd. | Methods and systems of deinterlacing using super resolution technology |
TWI327866B (en) * | 2006-12-27 | 2010-07-21 | Realtek Semiconductor Corp | Apparatus and related method for decoding video blocks in video pictures |
US8559733B2 (en) * | 2009-03-31 | 2013-10-15 | Citrix Systems, Inc. | Methods and systems for approximating progressive image encoding using image partitioning |
US9654792B2 (en) | 2009-07-03 | 2017-05-16 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
US8179474B2 (en) * | 2009-09-02 | 2012-05-15 | Sony Corporation | Fast iterative motion estimation method on gradually changing images |
TWI493476B (zh) * | 2014-01-02 | 2015-07-21 | Mstar Semiconductor Inc | 影像處理電路與方法 |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4385363A (en) | 1978-12-15 | 1983-05-24 | Compression Labs, Inc. | Discrete cosine transformer |
JP2508439B2 (ja) | 1987-05-29 | 1996-06-19 | ソニー株式会社 | 高能率符号化装置 |
US5341318A (en) | 1990-03-14 | 1994-08-23 | C-Cube Microsystems, Inc. | System for compression and decompression of video data using discrete cosine transform and coding techniques |
US5138447A (en) * | 1991-02-11 | 1992-08-11 | General Instrument Corporation | Method and apparatus for communicating compressed digital video signals using multiple processors |
SE469866B (sv) * | 1991-04-12 | 1993-09-27 | Dv Sweden Ab | Metod för estimering av rörelseinnehåll i videosignaler |
US5210605A (en) | 1991-06-11 | 1993-05-11 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
US5640208A (en) | 1991-06-27 | 1997-06-17 | Sony Corporation | Video signal encoding in accordance with stored parameters |
US5539836A (en) | 1991-12-20 | 1996-07-23 | Alaris Inc. | Method and apparatus for the realization of two-dimensional discrete cosine transform for an 8*8 image fragment |
SE469412B (sv) * | 1992-04-13 | 1993-06-28 | Dv Sweden Ab | Saett att adaptivt estimera icke oenskade globala bildinstabiliteter i bildsekvenser i digitala videosignaler |
US5430886A (en) | 1992-06-15 | 1995-07-04 | Furtek; Frederick C. | Method and apparatus for motion estimation |
US5710603A (en) | 1992-10-07 | 1998-01-20 | Daewoo Electronics Co., Ltd. | Method for detecting motion vectors |
JP3239522B2 (ja) | 1992-10-30 | 2001-12-17 | ソニー株式会社 | データ消失訂正方法とその回路 |
US5376968A (en) * | 1993-03-11 | 1994-12-27 | General Instrument Corporation | Adaptive compression of digital video data using different modes such as PCM and DPCM |
JP3546437B2 (ja) | 1993-03-31 | 2004-07-28 | ソニー株式会社 | 適応形ビデオ信号演算処理装置 |
US5943444A (en) | 1993-03-31 | 1999-08-24 | Canon Kabushiki Kaisha | Image reproducing apparatus |
EP0627855B1 (en) | 1993-05-31 | 2001-11-07 | Sony Corporation | Digital video signal recording |
JP3277418B2 (ja) | 1993-09-09 | 2002-04-22 | ソニー株式会社 | 動きベクトル検出装置および方法 |
DE4342305A1 (de) | 1993-12-11 | 1995-06-29 | Thomson Brandt Gmbh | Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal |
US5574661A (en) | 1994-07-29 | 1996-11-12 | Compcore Multimedia, Inc. | System and method for inverse discrete cosine transform implementation |
US5706059A (en) | 1994-11-30 | 1998-01-06 | National Semiconductor Corp. | Motion estimation using a hierarchical search |
US5621467A (en) * | 1995-02-16 | 1997-04-15 | Thomson Multimedia S.A. | Temporal-spatial error concealment apparatus and method for video signal processors |
JPH08265770A (ja) * | 1995-03-20 | 1996-10-11 | Sony Corp | 高能率符号化方法、高能率符号化装置、記録再生装置及び情報伝送システム |
JPH08294125A (ja) * | 1995-04-20 | 1996-11-05 | Toshiba Corp | 動画像符号化装置および動画像復号化装置 |
US5636152A (en) | 1995-04-28 | 1997-06-03 | United Microelectronics Corporation | Two-dimensional inverse discrete cosine transform processor |
JP2853616B2 (ja) | 1995-07-07 | 1999-02-03 | 日本電気株式会社 | 動き検出方式 |
US5719642A (en) | 1996-05-07 | 1998-02-17 | National Science Council Of R.O.C. | Full-search block matching motion estimation processor |
US5721595A (en) | 1996-06-19 | 1998-02-24 | United Microelectronics Corporation | Motion estimation block matching process and apparatus for video image processing |
US6037986A (en) | 1996-07-16 | 2000-03-14 | Divicom Inc. | Video preprocessing method and apparatus with selective filtering based on motion detection |
JPH10262258A (ja) * | 1997-03-19 | 1998-09-29 | Sony Corp | 画像符号化装置及び方法 |
US6462791B1 (en) * | 1997-06-30 | 2002-10-08 | Intel Corporation | Constrained motion estimation and compensation for packet loss resiliency in standard based codec |
KR100226722B1 (ko) * | 1997-07-30 | 1999-10-15 | 구자홍 | 동영상 움직임 벡터 추정 방법 |
AUPO918597A0 (en) * | 1997-09-12 | 1997-10-09 | Commonwealth Scientific And Industrial Research Organisation | Error concealment for video services |
US6269174B1 (en) * | 1997-10-28 | 2001-07-31 | Ligos Corporation | Apparatus and method for fast motion estimation |
EP0921497B1 (en) | 1997-12-02 | 2004-03-24 | Daewoo Electronics Corporation | Interlaced binary shape coding apparatus |
US6094225A (en) | 1997-12-02 | 2000-07-25 | Daewoo Electronics, Co., Ltd. | Method and apparatus for encoding mode signals for use in a binary shape coder |
KR100281462B1 (ko) | 1998-03-30 | 2001-02-01 | 전주범 | 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법 |
US6317460B1 (en) * | 1998-05-12 | 2001-11-13 | Sarnoff Corporation | Motion vector generation by temporal interpolation |
US6285711B1 (en) * | 1998-05-20 | 2001-09-04 | Sharp Laboratories Of America, Inc. | Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences |
US6130912A (en) * | 1998-06-09 | 2000-10-10 | Sony Electronics, Inc. | Hierarchical motion estimation process and system using block-matching and integral projection |
US6466624B1 (en) * | 1998-10-28 | 2002-10-15 | Pixonics, Llc | Video decoder with bit stream based enhancements |
US6295089B1 (en) | 1999-03-30 | 2001-09-25 | Sony Corporation | Unsampled hd MPEG video and half-pel motion compensation |
US6483876B1 (en) | 1999-12-28 | 2002-11-19 | Sony Corporation | Methods and apparatus for reduction of prediction modes in motion estimation |
-
2000
- 2000-02-03 US US09/497,394 patent/US6690728B1/en not_active Expired - Fee Related
- 2000-12-28 AU AU24609/01A patent/AU2460901A/en not_active Abandoned
- 2000-12-28 WO PCT/US2000/035432 patent/WO2001049029A1/en active Application Filing
-
2001
- 2001-01-30 TW TW089128082A patent/TW502535B/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
WO2001049029A1 (en) | 2001-07-05 |
US6690728B1 (en) | 2004-02-10 |
AU2460901A (en) | 2001-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW502535B (en) | Methods and apparatus for motion estimation in compressed domain | |
KR100659704B1 (ko) | 비디오 이미지 데이터의 제 1 및 제 2 프레임 사이의 움직임 벡터를 얻기 위한 방법, 장치, 및 시스템, 및 컴퓨터-판독가능 매체 | |
US8098733B2 (en) | Multi-directional motion estimation using parallel processors and pre-computed search-strategy offset tables | |
US7362808B2 (en) | Device for and method of estimating motion in video encoder | |
US20070110161A1 (en) | Motion vector estimation apparatus | |
CN110741640B (zh) | 用于视频代码化中的运动补偿预测的光流估计 | |
US8218635B2 (en) | Systolic-array based systems and methods for performing block matching in motion compensation | |
US6483876B1 (en) | Methods and apparatus for reduction of prediction modes in motion estimation | |
KR100739281B1 (ko) | 움직임 추정 방법 및 장치 | |
US7236634B2 (en) | Image encoding of moving pictures | |
US20050238102A1 (en) | Hierarchical motion estimation apparatus and method | |
CN105191309A (zh) | 用于下一代视频编码的内容自适应预测距离分析器和分层运动估计系统 | |
JP2008523724A (ja) | 動画像符号化のための動き推定技術 | |
KR20180037042A (ko) | 모션 벡터 필드 코딩 방법 및 디코딩 방법, 및 코딩 및 디코딩 장치들 | |
US20240244221A1 (en) | Image processing method | |
US20160021388A1 (en) | Video Encoding Method and Decoding Method and Apparatuses | |
JP2007129370A (ja) | 動きベクトル検出装置及び方法 | |
JP4957780B2 (ja) | 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム | |
US20050089099A1 (en) | Fast motion estimating apparatus | |
JP6390275B2 (ja) | 符号化回路、符号化方法 | |
Wang et al. | A study of video coding by reusing compressive sensing measurements | |
US20040120402A1 (en) | Motion estimation apparatus for image data compression | |
CN107431821B (zh) | 高效低复杂度视频压缩 | |
JP5533302B2 (ja) | 動画像符号化装置 | |
JPH10164596A (ja) | 動き検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GD4A | Issue of patent certificate for granted invention patent | ||
MM4A | Annulment or lapse of patent due to non-payment of fees |