TW257924B - Method and apparatus for encoding a video signal using feature point based motion estimation - Google Patents

Description

2579 _ A7 B7 五、發明説明（） 本發明係有關用以將視頻信號加以編碼的方法與裝置 ，特別是有關用以利用根據容貌點之動作預估技術將視頻 信號編碼之方法與装置。 如所週知者，數位視頻信號之傳輸所獲得的視頻影像 可比類比信號傳輸的品質高出很多。當包括一系列之影像 盡面的影像信號κ數位方式傳送時，會產生大量的傳送資 料，特別是在高盡質電視糸統更是如此。然而，由於傳統 傳送頻道可用的頻帶寬非常有限，為使大量的數位資料可 通過其中被傳送，必然要壓縮或減少傳送資料量。在各種 視頻壓縮技術中，所諝的混成編碼技術（其可將暫時與空 間壓縮技術與統計編碼技術加κ組合）是最有效率的。 大部分的混成編碼技術使用動作補償DPCM (差分脈衝 編碼調變）、二維DCT (離散餘弦變換）、DCT係數之量 化以及VLC (不定長度編碼）等技術。動作補償DPCM是一 種預估一物體在現在盡面與其先前盡面之間之動作的方法 ，並根據物體的動作流來預測現在盡面，以產生一代表現 在盡面與其預測值之間的差異的差分信號。舉例而言，此 方法揭露於 Staffan Ericsson 之” Fixed and Adaptive Predictors for Hybrid Predictive/Transfor重 Coding" (IEEE Transactions of Communications, COM-33, No. 12，1985 年 12月）；以及 Ninomiya 與 Ohtsuka之” A Motion -Compensated Interfraie Coding Scheie for Television Pictures" (IEEE Transactions on Communications C0M-30 ， Mo.1 ， 1982年1月）。 本紙張尺度適用中國國家橾準（CNS ) A4規格（210X297公釐） 請 先 閲 讀 背 面 之 注 裝 訂 經濟部中央標準局貝工消费合作社印製 "579^4 A7 A7 B7 五、發明説明（） 二維DCT (其可減少或利用影像資料之間的空間剩餘 )可將數位影像資料之區段，例如8X8像點的區段，轉 換為一組變換係數資料。此技術說明於Chen與Pratt之 "Scene Adaptive Coder" (IEEE, Transactions on Coamu -〇4叶1〇心，叩.3,1984年3月）。利用量化器、鋸齒掃描 與VLC等技術處理此等變換係數資料後，被傳送之資料量 可有效地壓縮。 特別是，在動作補償DPCM中，現在畫面資料是根據現 在與先前盡面之間的動作的預估而由對應的先前重面資料 獲得。這種預估動作可用代表像點在先前與現在晝面中的 位移的二維運動向量加以描述。 有兩種基本方法可以預估物體之像點的位移：一種是 區段對區段預估，而另一種為像點對像點法。 在區段對區段動作預估法中，一現在畫面中的區段與 其在先前盡面中的區段加以比較，直到獲得最佳匹配為止 。如此一來，整個區段的畫面間的位移向量（光點之區段 在畫面間的移動量）可用以預估將被傳送之畫面。 經濟部中央梂準局貝工消费合作社印裝 (請先閎讀背面之注意事項'再填寫本頁) 此種區段匹配技術用K預測包含於揭露在ITU Teleco miunication Standardization Sector Study Group 15, Working Party 15/1 Expert's Group on Very Low Bit Rate Visual Telephony (Vider Coded Test Model, TMN4 Revl，1994年10月25日）中之視頻序列P及B盡面，其中 P或預測重面表示由其先前參考畫面預測之畫面，而B或 雙向預測盡面是從其先前與未來參考晝面所預測而來的。 本紙張尺度適用中困國家揉準（CNS ) A4規格（210X297公釐） 5 經濟部中央標準局貝工消费合作社印裝 ^57924 at _B7 _ 五、發明説明（） 特別是在所謂的B盡面的編碼中，採用雙向動作預估技術 K便推導出前向與後向位移向量，其中前向位移向量係經 由預估物體在B盡面與其先前內（I)或預測（P)盡面 之間的動作而得，而後向位移向量係根據B晝面與其未來 I或P晝面推衍而得。

然而，在區段對區段的動作預估中，區段邊界的區段 效應可能在動作補償過程中發生；而倘若所有的像點並不 以相同的方式運動，則可能產生不良的預估，因而降低整 體畫質。 I 另一方面，利用像點對像點法可決定各像點的位移。 此技術可產生更精確的像點值預估，且可更容易地處理像 點尺寸變化（亦即，對焦，垂直於影像平面的移動）。然 而，在像點對像點法中，由於動作向童是在各像點上決定 ，因此幾乎不可能傳送所有的動作向量至接收器。 因此，本發明之主要目的為提供一種利用根據容貌點 之動作預估以及利用收斂方法與模擬變換之補償技術的視 頻信號編碼糸統。根據本發明之較佳實施例，其中提供一 種利用根據容貌點之動作預估法而檢知在視頻信號之現在 畫面與其先前盡面之間的一組動作向量的方法，包括K下 步驟： (a) 在包含於先前盡面的像點中選擇一組容貌點， 其中該組容貌點取自具有預定尺寸的六邊形格柵； (b ) 針對該組容貌點選擇一組初始動作向量，其中 各初始動作向量設定為（◦，◦); 本紙張尺度適用中國國家梯準（CNS ) A4規格（210X297公釐） (請先閲讀背面之注意事項再填寫本頁) 装_ 訂 Λ7 〜 Β7 經濟部中央橾準局貝工消费合作社印製 、發明説明（) (C)將該等容貌點中的一點設定為主容貌點，其中 該主容貌點有六個取自先前畫面六逢形的相鄰容貌點； (d) 在主容貌點的一個初始動作向量上加上單位位 移，以產生主動作向量之候選動作向量，其中它的六個鄰 近容貌點的初始動作向量固定； (e )累積單位位移； (f)針對包含於六邊形內的像點，利用候選動作向 量與六個鄰近容貌點的初始動作向量決定動作向量，以產 生第一組動作向量； 々 (g ) 將包含於先前耋面六邊形之各個像點的值指定¥ 為現在畫面中之該像點之值，K決定所預測之現在晝面六 邊形，其中該像點透過第一組動作向量之一而與而與對應 之現在畫面六邊形中之像點之一對應； (h) 計算現在畫面六邊形與預測現在晝面六邊形之 間的差異，Μ差生峰信號對雜訊比（PSNR); (i) 重覆步驟（c)、（d)、（e)、（f)、（g)以及 (h )，直到累積的單位位移達到預定位移量為止； (j )選擇具有最小PSNR的候選動作向量，以設定選 定之候選動作向量為針對主容貌點之初始動作向量； (k) 重覆步驟（i)、（j)，直到所有的初始動作向 量都被決定為止； (1 ) 設定重覆次數為1 ; (m) 重覆步驟（k)、（ 1 )，直到重覆次數到達預定 次數為止； (請先閲讀背面之注$項再填寫本頁) 袈·

、-IT .丄 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） 2^7921 Α7 Β7 五、發明説明（) (η) 將該組初始向量設定至該組動作向量，Κ決定 該組動作向量。 根據本發明之另一實施例，其中提供一種利用根據容 貌點之動作預估法而檢知在視頻信號之現在畫面與其先前 畫面之間的一組動作向量的裝置，包括： 用Μ在包含於先前晝面的像點中選擇一組容貌點的裝 置，其中該組容貌點取自具有預定尺寸的六逢形格柵； 用Μ儲存一組針對該組容貌點的一組初始動作向量的 記憶體裝置，其中各初始動作向量設定為（0，0 ); 用以依序選擇一組主容貌點的裝置，其中各主容貌點 有六個取自先前盡面六邊形的相鄰容貌點； 用以在各主容貌點之初始動作向量上加上Ν次位移的 ，以針對各主動作向量產生Ν個候選動作向量的裝置，其 中各主容貌點的六個鄰近容貌點的初始動作向量固定； 用Κ針對包含於六邊形內的像點，利用對應之候選動 作向量與各主容貌點的六個鄰近容貌點的對應初始動作向 量決定動作向量，Μ針對各主容貌點產生Ν組動作向量的 裝置； 經濟部中央標準局貝工消費合作社印製 (請先聞讀背面之注意事項再填寫本頁) I.. 用以針對各預測盡面六邊形，透過Ν組動作向量來決 定Ν個預測現在盡面的裝置，其中包含於各個先前畫面六 逢形之各個像點的值被指定為各個現在畫面中之一像點之 值，而該像點透過第一組動作向量之一而與而與對應之現 在耋面六邊形中之像點之一對應； 用以計算現在畫面六邊形與預測現在重面六邊形之間 本紙張尺度適用中國國家揲準（CNS > Α4規格（210Χ297公釐） 8 2579^4 五、發明説明（) 的差異，K差生N個峰信號對雜訊比（PSNR)的裝置； 用以選擇具有最小PSNR的候選動作向量，K設定選定 之候選動作向量為針對主容貌點之初始動作向量的裝置； 用Μ針對具有對應之動作向量的主容貌點更新初始向 量，直到所有的主容貌點的動作向量組都已獲得，Κ便決 定該組動作向量的裝置。 本發明之前述及其他目的與特徵可由Μ下之較佳賁施 例之說明配合附圖而圼現，其中： 第1圖為具有根據本發明之Κ容貌點為根據之動作補 償裝置之影像信號煸碼裝置； 第2Α與2Β圖為兩盡面序列的示意圖； 第3圖顯示第1圖中之動作補償裝置的詳细方塊圖； 第4圖為第3圖中之動作向量搜尋電路的代表方塊圖 9 第5Α與5Β圖為現在晝面與先前盡面之代表圖； 第6Α至6Ε圖為容貌點選擇操作的示範圍； 第7圖為動作向量搜尋步驟之說明圖。 經濟部中央橾準局貝工消費合作社印製 (請先閲讀背面之注意事項再填寫本頁)

J.W 參考第1圖，其中顯示根據本發明之影像編碼糸統的 方塊圖。該影像編碼系統包括畫面重排電路101、減法器 102、影像信號煸碣器105、影像信號解碼器113、加法器1 15、第一畫面記憶體装置120、第二記憶臛装置130、平均 訊息量編碼器107Μ及動作補償裝置150。 輸入視頻信包括第2Α與2Β圖中所示的兩個晝面序列： 第一畫面序列具有一内（I)畫面II、三個雙向預測畫面 本紙張尺度適用中國國家標準（CNS ) Α4規格（210Χ297公釐） 經濟部中央揉準局貝工消費合作杜印裝 257924 A7 B7 五、發明説明（）

Bl、B2、B3, K及三個預測晝面PI、P2、P3;而第二盡面 序列具有一個内（I)畫面II、三個前向預測盡面F1、面 F2、F3，K及三個預測畫面PI、P2、P3。因此，該影像編 碼系統包括兩種序列編碼模式：第一序列編碼模式與第二 一序列編碼模式。在第一序列編碼模式中，第一線路L 17 藉由第一開關103耦接於線路11，而第一盡面序列II (包 括Bl、PI、B2、P2、B3、P3)經由第一開關103送至畫面 重排電路101 ，其適於將第一畫面序列重排為重排數位視 頻件號，亦即II、PI、Bl、P2、B2、F>3、B3，K推等出用 於B畫面之雙向預測畫面信號。該重排數位視頻信號隨後 分別經由線路L18、L20、L 1送至第二開關104a、第一 盡面記憶體120與動作補償装置。 在第二序列編碼模式中，線路L17經由開關103與線 路L10耦接，而第二晝面序列II、FI、PI、F2、P2、F3、 P3分別經由線路12、L 1、L18第一開闞耦接至第一畫面 記憶體120、動作補償裝置150與第二開關104a。第一開關 103由傳統条統控制器，例如微處理器（未顯示），之控 制信號CS1所啟動。如前所述，由於第一序列編碼模式中 有重排延遲，因此第二序列編碼模式可進一步作為諸如視 頻電話或遠距離電話會議之類的應用中的低延遲模式。 如第1圖中所示，影像編碼系統包括第二開關104與 第三開關104b，其可用K選擇性地執行兩種編碼模式：內 畫面編碼模式與跨盡面編碼模式。第二與第三開關104a與 104b由來自糸統控制器之畫面模式控制信號CS2同時啟動 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） (請先閲讀背面之注意事項再填寫本頁) 裝 訂 2579, A7 B7 五、發明説明（) 在內晝面編碼模式中，內盡面II作為現行晝面信號而 耦接至影像信號編碼器105 ，其中現在畫面信號經由諸如 DCT或任何其他已知之量化方法予K編碼而為一組量化變 換係數。該用畫面亦儲存於第一記憶體120中作為原始先 前盡面。之後，該量化變換係數被傳送至平均訊息量編碼 器107與影像信號解碼器113。在平均訊息量編碼器中，來 自影像信號編碼器105的量化變換係數經由諸如不定長度 編碼技術之類的方法編碼在一起；並被傳送至用K執行傳 送功能的傳送器（未顯示）。 另一方面，影像信號解碼器113利用反相量化與反相 離散變換將來自影像解碼器105的量化變換係數轉換回重 現内重面信號。來自影像信號解碼器113的重現内畫面信 號隨後被儲存於第二盡面記憶體130中作為重現先前畫面 讲 閎 讀 背 A 之 注 意 事 装 訂 經濟部中央樣準局貝工消费合作社印製 在跨盡面編碼模式中，一内耋面（例如，預測晝面P 、雙向預測晝面或前向預測耋面F1)當作現在信號送至減 法器102與動作補償裝置105中，並被儲存在第一盡面記憶 體120中，其中該盡面記憶體120包括三個記憶體121、122 、：123 ，各記憶體分別經由線路L2、L3、L4連接至動作補 償電路150 *其中所譖的跨晝面包括雙向預測晝面Bl、B2 、B3，預測晝面PI、P2、P3，K及前向預測盡面FI、F2、 F3。動作補償装置150包括如下所述之根據運動補償頻道 的電路與根據動作補償頻道的容貌點。 本紙張尺度適用中國國家梯準（CNS ) A4規格（210X 297公釐） 11 經濟部中央標準局員工消費合作社印製 257924 at _B7 _ 五、發明説明（） 當現在盡面為預測畫面P1時，線路L1上的現在畫面信 號與來自第二盡面記憶體120之線路1/1上的重現信號經由 根據動作補償頻道之電路處理，Μ預測現在畫面，俾在線 路L30上產生預測規在畫面信號，並在線路L20上產生一 組動作向量。當現在畫面為前向預測晝面F1 (或雙向預測 盡面Β1)時，線路L1上的現在畫面信號、來自第一盡面記 憶體120之線路L2上的原始先前畫面信號以及來自第二盡， i 面記憶體130之線路L’2上的重現先前畫面經由K根據動作$ 補償頻道之容貌點處理，K預測現行畫面，俾在線路L30 上產生現在盡面信號，並在線路L20上產生一組動作向量 。動作補償裝置150將在有闞第3園的敎述中加Μ說明。 所預測之線路L30上的現在畫面信號在減法器102上被 從線路L15上的現在盡面信號中被減去，而所得的資料， (亦即表示差分相點值的誤差信號）被送至影像信號編碼 器105，其中誤差信號經由諸如DCT或任何已知之量化方法 加Κ編碼而為一組量化變換儀數。亦即，從原始晝面上減 者預測晝面所得的誤差為DCT碼。然而，量化器的步级規' 模被設定為大值，Κ使其僅能對由錯誤動作向量所引起的 嚴重失真區域進行編碼。這發生在物體變異非常大的時候 。此外，由於根據動作補償的薄容貌點只產生具有動作向 量的非常良好的影像，因此現在晝面與先前盡面之間的差 異或誤差信號可能不會被傳送。之後，量化變換係數被送 至平均訊息量編碼器107與影像信號解碼器113。在平均訊 息量編碼器107中，來自影像信號編碼器105的量化變換係 本紙張繼用侧家標準（CNS)A4·(應靖） (請先閲讀背面之注意事項再填寫本頁) 裝· 訂 五、發明説明（ A7 B7 經濟部中央揉準局貝工消费合作社印製 數與通過來自動作補償裝置150之線路L20的動作向量經由 諸如不定長度編碼搜尋之類的方法加Μ編碼在一起，並被 傳送至用Μ執行傳送功能的傳送器（未顯示）。 另一方面，影像信號解碼器113利用反相量化與反相 離散變換將來自影像解碼器105的量化變換係數轉換回重 現誤差信號。 來自影像信號解碼器113的重現誤差信號與來自動作 補償装置150之線路L30上的預測現行畫面信號在加法器11 5上組合Κ提供重現現在畫面信號，該畫面信號被儲存於 第二盡面記憶體130中當作先前耋面。 畫面記憶體装置130包括Κ第1圖中之方式串接的三 個記憶體，如記憶體131 、132、133。亦即，來自加法器 115的重現盡面信號首先儲存於晝面記憶體131中，並隨後 經由線路L’2透至動作補償装置150，而若來自加法器115 的下一個重現盡面信號送至第一耋面記憶體121中，則在 該重現畫面可在畫面接畫面的基礎上被移入第二畫面記憶 體122。只要執行影像煸碼操作，則此過程不斷重覆。 參考第2A與2B圖，其中提供前述第一與第二盡面序列 的示意圖。如圖中所示，當現在盡面為預測畫面P1時，可 在區段基礎上藉由將重現内盡面II當作取自第二晝面記憶 體130的先前畫面的方式獲得一組動作向量SHV1。利用類 似的方法，用於現在畫面P2與P3的動作向量組SMV2與SMV3 可利用先前盡面P1與P2而獲得。 當現在畫面為雙向預測盡面B1時，可在容貌點的基礎 請 先 閲 讀 背 * 之 注 意 事 項 再 本 裝 訂 :a 本紙張尺度適用中國國家標準（CNS ) A4規格（210X 297公釐） 13 257924 A7 B7 五、發明説明（） 上藉由取自第二晝面記憶體130的内盡面II與取自第一記 憶體120的原始內重面II而獲得一組前向動作向量FMV1。 之後，影像編碼系統在前向動作向量FMV1與一組後向動作 向量BMV1之間作選擇，並傳送對應的動作向量。利用類似 的方式，同於現在晝面B1的該組後向動作向量BMV1可利用 原始預測畫面P1與原始畫面B1而獲得。 當現在盡面為前向預測畫面F1時，可在容貌點的基礎 上利用原始内畫面II與取自第一記憶體120的原始盡面F1 ( 取得一組前向動作向量FMV2。 \ 如前所述，為達成動作預估與補償，在第一與第二畫 面序列中所得的盡面安排於表I與表I所示的畫面中。

表I (請先閲讀背面之注意事項再填寫本頁) 經濟部中央標準局員工消費合作社印製 第 一盡面 序列 L1 11 P1 B1 P2 B2 P3 B3 L2 X © B1 B2 L3 X X © B1 © B2 L4 X X X 11 B1 © 本紙張尺度逋用中國國家標準（CNS ) A4規格（210X297公釐） 14 Α7 Β7 五、發明説明（） 表I 第 二畫面 序列 L1 11 F1 Ρ1 F2 Ρ2 F3 Ρ3 L2 X @ F1 © F2 © F3 L3 X X ⑪ F1 © F2 © L4 X X X 11 F1 Ρ1 F2 (請先閱讀背面之注意事項再填寫本頁) 装· 其中◦為前向預測，而△為後向預測。 如前所述，預測盡面由根據預測編碼的DCT (亦即所 謂的TMN4)與插入晝面（亦即，利用K根據MC-DCT技術的 容貌點加以重現的雙向預測畫面或前向預測盡面）予以重 現。在第二畫面序列中，僅有一組用於前向預測晝面的前 向動作向量是來自影像編碼糸統。在這種情況下沒有重排 延遲，而這可應用於諸如視頻電話或遠距離電話會議之應 用中的低延遲模式。 參考第3圖，其中繪示第1圖之動作補償裝置150的 细部。如第3圖所示，動作補償裝置包括輸入選擇器154 、155、156與157、根據區段的動作補償電路151、根據第 一容貌點的動作補償電路152 、根據第二容貌點的動作補 償電路153，Μ及輪出選擇器157與158。使用傳統電路匹 配邏輯之根據區段的動作補償電路151用Κ檢知一組用於 預測畫面的動作向量，並用Κ產生一用於預測盡面的預測 本紙張尺度適用中國國家標準（CNS > Α4说格（210X 297公釐） 訂 經濟部中央橾準局貝工消費合作社印製 15 2579^4 A7 B7 五、發明説明（） 現在畫面。因此，當預測畫面P1當作現在畫面送至根據區 段的動作補償電路151時，選擇器154用Μ將在線路L’2上 作為參考畫面的重現内晝面II耦接至根據區段的動作補償 電路的電路151。之後，該組動作向量與預測現在晝面信 號分別經由線路L20與L30上的輸出選擇器157與158而耦合 Ο 使用下述之模擬變換之根據第一容貌點的動作補償電 路152用K檢知一組用於雙向預測畫面B1的前向動作向量 或後向預測畫面F1，並用K產生一用於預測畫面的預測現 在晝面。因此，當線路L1上的雙向預測盡面當作現在畫面 送至根據第一容貌點的動作補償電路152時，選擇器155用 K將線路L2上作為參考畫面的原始内晝面II耦接至具有定 位動作向量之物體的根據第一容貌點的動作補償電路152 。選擇器156用Μ將線路L'2上作為參考畫面的重現内畫面 II耦接至根據第一容貌點的動作補償電路152 ，俾產生預 測盡面。之後，該組前向動作向量與預測現在晝面信號分 別經由線路L20與L30上的輸出選擇器157與158而耦合。 經濟部中央棣準局員工消費合作杜印製 ^ W-- (請先閲讀背面之注意事項再填寫本頁) 使用下述之模擬變換的根據第二容貌點的動作補償電 路153用K檢知一組用於雙向預測畫面B1的後向動作向量 ，並用Μ產生用於預測畫面的預測現在晝面。因此，當雙 向預測晝面Β1當作現在畫面送至根據第二容貌點的動作補 償電路153時，線路L2上的原始晝面Ρ1當作參考晝面耦接 至根據第二容貌點的動作補償電路153*而線路L’2上的重 現内畫面P1當作第二參考畫面耦接至根據第二容貌點的動 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） 16 2S7924 at B7 五、發明説明（） 作補償電路153。之後，該組前向動作向量與預測現在畫 面信號分別經由線路L20與L30上的輸出選擇器157與158而 耦合。 參考第4圖，其中繪示第3圖中之根據容貌點之動作 補償電路的细部。來自第二畫面記憶體130之線路L’2上的 重現先前盡面信號（參考畫面）送至可產生一組容貌點的 容貌點選擇單元210與動作補償單元240。該組容貌點隨後 耦接至動作向量搜尋單元230與動作補償軍元240中。重作 向量搜尋單元230接收原始預測耋面與現在耋面，並用K 產生一組用於容貌點組的動作向量。該組動作向量耦接至f 用Μ產生預測現在晝面的動作補償單元240。 在容貌點選擇單元210上，多數個容貌點從包含於重 現預測晝面上的像點中被選出，各容貌點被定義為一像點 之位置。參考第5Α與5Β圖，其中顯示現在盡面與先前畫面 的例子。參參考第6Α、6Β、6C、6D、6Ε圖，其中顯示根據 本發明之容貌點選擇法的圖形。如第6Α圖中所示，邊緣在 重現先前畫面(X，Υ)中KSobel邊緣檢測器檢出。 經濟部中央橾準局男工消費合作社印製 (請先閲讀背面之注意事項再填寫本頁) 來自Sobel蓮算器的輸出丨▽令（X，Y)丨與預定的臨 限Te比較。根據本發明，該預定臨限Te最好定為6。 若來自Sobel蓮算器的輪出丨▽贫（X，Y)丨比預定的 臨限值T e小，則輸出值丨νΡ (X，Υ)丨定為◦。否 則輸出值丨Vp(X，Y)丨不變。因此，邊緣影像信號 eg (X，Y)定義為： 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） ，^ 一 17 _ 2579^4 a? B7 五、發明説明（ ◦，若丨▽ P ( X，Y )

T g (X，Y) q ▽ P (X，Y)丨，其他狀況 其中邊緣線利用大於0的邊緣點（X，Y)之值丨▽ 贫（X，Y)丨而形成。在本發明之較佳實施例中，容貌 點係由應用第6Β圖中所示之六邊形格柵的格柵技術而決定 。如第6C圖中所示，六邊形格柵610之格檷點617被鄰近的 格柵點611至617Κ比矩形座標更緊密的方式加Μ圍繞，Κ 使容貌點更有效率地被編成。格柵點611至617為組成六邊 形格柵610之三角形621至626的頂點。六邊形格檷610的解 析度是由直線ΗΗ與直線HV加Κ界定，在本發明中，它們最 好分別是13與10。參考第6D圖，非重叠搜尋範圍區SR1至S R4針對位於邊緣點Ε1至Ε13附近且不與邊緣點Ε1至Ε13相交 的格柵點G1至G4而設定。若邊緣點G1週邊的八個像點值之 總和為最大，則位於搜尋範圍SR1內的邊緣點Ε7成為格柵 點G1的容貌點。因此，容貌點D1可Κ下式表示： D= ((X.Y)|MaxZZEG(X+K.Y + l)} ---------{装· (請先閱讀背面之注意事項再填寫本 經濟部中央梂準局員工消費合作杜印製 (E q 2 ) 其中EG (X，Y)為包括於搜尋區域SRI中之邊緣 影像信號的邊緣值。 若具有相等最大值的像點多於一個，則最接近格柵點 的邊緣點被選出當作容貌點。 本紙張尺度逍用中國國家揉準（CNS) A4規格（210><297公釐） 18 ^573^4 at B7 經濟部中央樣準局貝工消费合作社印製

五、發明説明（) 因此，舉例而言，第3圖中所示之六邊形格柵可變形 為第6E圖中所示的六邊形容貌點。容貌點決定之後，針對 各容貌點檢出動作向量。雖然區段匹配運算廣泛地應用於 定位像點動作向量中，其中在一標準區段匹配運算中，一 信號流中的區段被移至其參考晝面上並與對應區段作比較 ，直到發現最佳匹配為止，吾人仍難K利用此方法預估確 實的像點動作。因此，根據本發明，採用模擬變換的收斂 方法被用Μ搜尋一組用於該組容貌點的動作向量。 在該收斂方法中，容貌點的位移送至容貌點的動作向 量，而六邊形的六個三角形透過六邊形的中間容貌點而單'% 獨進行模擬變換。若該位移提供較佳的PSNR，則中間容貌 點的動作向量隨之更新。該收斂方法可針對對焦。旋轉、 比例增減之操作盡可能地將預測影像與原始影像作最接近 的匹配。參考第7圖，其中繪示根據本發明之搜尋方法的 說明圖。該收斂的詳细步驟如下： (a) 針對D1至D32的各個容貌點，初始動作向量設 定為（0，0); (b ) 在容貌點D7，動作向量D7D’7有如第7圖中所 示的位移D’7X，而環繞容貌點D7的六個鄰近的容貌點D1、 D2、D3、D4、D5、D6的動作向量並沒有改變。然而，若所 產生的三角形被保留，則不容許有位移D’7Y; (c) 根據新的動作向量D7X扭曲原始先前盡面而重 建六邊700。六個動作向量不變，亦即，DID’l、D2D’2、D 3D’3、D4D’4、D5D’5、D6D’6。除了容貌點D1、D2、D3、D (請先閲讀背面之注意事項再填寫

L '言 r 本紙張尺度適用中國國家揉準（CNS ) A4規格（210X 297公釐） 19 五 經濟部中夬橾準局員工消费合作社印製 A7 _B7 _ 發明説明（） 4、D5、D6之外*包含於六邊形700的像點的其他動作向量 透過模擬變換插入Μ樹狀容貌點Dl、D2、D7為頂點的三角 形701中。模擬映射可分別Κ下式應用於三角形701至706 r Xf = r λ a b X + r \ e Γ < J c d v J Y V > f

Eq3 六個映射參數a、b、c、d、e、f由樹狀容貌點 D1、D2、D7之動作向量單獨決定。在Eq3中•像點位置（Χ,Υ) 代表原始現在畫面的像點位置，而像點位置（Χ’，ϊ)代表 原始先前重面的像點位置。由於所得的原始先前畫面的像 點位置（X’，Υ’）在大部份的狀況下都不是整數，一種雙 線性插入技術被用Μ計算位置（Χ’，Υ*)上的插入灰階。 (d ) 重建之六邊形700與對應的原始現在盡面作比 較，而若新六邊形的PSNR增加，則對新六逢加以檢査。倘 若是如此，容貌點D7的動作向量更新為IT7X的位移量。更 新的動作向量變成D7X。 (e ) 針對不同的搜尋位移重覆步驟（b)、（c)、 (d)。根據本發明，搜尋位移範圍最好設定在水平及垂直 0、+ 1、+2. . . .+7。 以上步驟在一次交互作用中對所有包含於先前盡面中 的容貌點執行。根據本發明，此方法對所有的容貌點執行 數次，直至達到收斂為止。本方法的交互作用最好設定為 五次，此乃由於在大部份的情況下動作向量會在五次交互 本紙张尺度適用中國國家橾準（CNS ) A4規格（210 X 297公釐） nmt. n^w I— tn^l mV ϋ· HI n^i ^ (I ϋ— —^ϋ— 《、:,\®ar (請先閲讀背面之注意事項再填寫f^_ 20 A7 B7 五、發明説明（ 作用内收斂。 關於硬體的執行，本發明可K三個步驟完成。第7圖 中標為Dl、D3與D5的容貌點利用六個鄰近容貌點同時優先 處理。接著K同樣的方法對點D2、D4、D6重覆執行。其餘 的容貌點D7、D8、D9最後處理當作最後步驟。 如前所述，吾人希望所得的各容貌點的動作向量代表 現在晝面與先前晝面間的真實動作。 再回到第4圖，所得的各容貌點的動作向量隨後與動 作補償電路240耦合，該電路利用重現先前畫面而產生預 測現在重面信號。亦即，預測現在畫面信號係將具有所得 之動作向量的解碼先前晝面作模擬變換而得。這與用於動 作向量搜尋步驟之模擬變換所產生的扭曲相同，除了已解 碼之先前盡面被用K替代原始先前畫面，這是因為解碼器 僅用於將晝面解碼。 經濟部中央橾準局貝工消费合作社印装 (請先閱讀背面之注意事項再填—-^^¾ 如前所述，基本上吾人可發現，由於除非搜尋電路有 不同的影像容貌邊緣，否則難K獲得可靠的動作向量，因 此，應用根據動作補償的容貌點的該種新穎編碼糸統可獲 得可靠的動作向量組，藉K增進編碼效率。該種根據動作 補償蓮算的容貌點係根據影像容貌，而模擬變換用於旋轉 及對焦的補償。在大部分的情狀中，動作補償影像具有高 PSNR與高主題品質。若動作預測在系有的大動作的情況下 失敗，誤差影像利用DCT Μ龐大的量化步驟加Μ編碼。良 好的主題品質可利用該種新穎編碼系統在24KiPS下獲得。 此外，由於容貌點的位置在每個畫面都有所不同，因此， 本紙張又度適用中國國家揉準（CNS ) A4規格（210X297公釐） 21 -578^4 at Β7 五、發明説明（) 該種新穎的煸碼系統利用一存在於編碼器與解碼器内的已 經解碼的先前盡面作為參考畫面，Μ使其不必傳送容貌點 的位置資訊。此外，吾人期望用於本編碼糸統中的像點動 作補償所產生的主題品質比根據動作補償的電路所產生的 更好，此乃由於它可僅Κ動作向童進行補償對焦、旋轉及 尺寸變化。 雖然本發明係Μ特定實施例加Μ展示與說明，但對於 熟習此技術之人士而言，顯然可在不悖離附圼之申請專利 範圍内所界定之本發明之精神、範_的前提下對本發明作 進一步的改變與變化。 (請先閲讀背面之注意事項再填寫本1¾¾¾.. ¾ .丄 經濟部中央標準局貝工消费合作社印裝 本紙張尺度適用中國囷家梯準（CNS〉A4规格（210X297公釐） 22

Claims (1)

1. A8 B8 C8 D8 經濟部中央揉準局黃工消费合作社印製 、申·鳳 根據容貌點之動作預估法而檢知在梘頻信號 之現在晝面與其先前畫面之間的一組動作向量的方法 ，包括K下步驟： (a) 在包含於先前盡面的像點中選擇一組容貌 點，其中該組容貌點取自具有預定尺寸的六邊形格柵 9 (b ) 針對該組容貌點選擇一組初始動作向量， 其中各初始動作向量設定為（0，0); (c ) 將該等容貌點中的一點設定為主容貌點， 其中該主容貌點有六個取自先前盡面六邊形的相鄰容 貌點； (d ) 在主容貌點的一個初始動作向量上加上單 位位移，K產生主動作向量之候選動作向量，其中它 的六個鄰近容貌點的初始動作向量固定； (e )累積單位位移； (f ) 針對包含於六邊形內的像點，利用候選動 作向量與六個鄰近容貌點的初始動作向量決定動作向 量，Μ產生第一組動作向量； (g ) 將包含於先前晝面六邊形之各個像點的值 指定為現在晝面中之該像點之值，K決定所預測之現 在畫面六邊形，其中該像點透過第一組動作向量之一 而與而與對應之現在晝面六邊形中之像點之一對應； (h) 計算現在盡面六邊形與預測現在盡面六邊 形之間的差異，K差生峰信號對雜訊比（PSNR); 請 先 閲 讀 背 ιέ 之 注 I 裝 訂 本紙張尺度適用中國國家揉準（CNS ) Α4说格（210Χ297公釐〉 23 A8 B8 C8 D8 257924 々、申請專利範圍 (i)重覆步驟（c)、（d)、（e)、（f)、（g) K及（h)，直到累積的單位位移達到預定位移量為止 (請先《讀背面之注意事項再填 9 (j ) 選擇具有最小PSNR的候選動作向量，以設 定選定之候選動作向量為針對主容貌點之初始動作向 量； (k) 重覆步驟（i)、（j)，直到所有的初始動 作向量都被決定為止； (1 ) 設定重覆次數為1 ; (m)重覆步驟（k)、（ 1 )，直到重覆次數到達 預定次數為止； (η) 將該組初始向量設定至該組動作向量，Μ 決定該組動作向量。 2.—種利用根據容貌點之動作預估法而檢知在視頻信號 之現在盡面與其先前畫面之間的一組動作向量的装置 ，包括： 用以在包含於先前畫面的像點中選擇一組容貌點 的裝置，其中該組容貌點取自具有預定尺寸的六邊形 格柵； 經濟部中央標準局貝工消費合作社印装 用以儲存一組針對該組容貌點的一組初始動作向 量的記憶體裝置，其中各初始動作向量設定為（0， 0 )； 用以依序選擇一組主容貌點的裝置，其中各主容 貌點有六個取自先前晝面六邊形的相鄰容貌點； 本纸張尺度適用t國國家標準（CNS ) Α4規格（210Χ297公釐） 2579M ϋ C8 D8 六、申請專利範圍 用Μ在各主容貌點之初始動作向量上加上N次位 移的，以針對各主動作向量產生N個候選動作向量的 裝置，其中各主容貌點的六個鄰近容貌點的初始動作 向量固定； 用以針對包含於六邊形内的像點，利用對應之候 選動作向量與各主容貌點的六個鄰近容貌點的對應初 始動作向量決定動作向量，以針對各主容貌點產生N 組動作向量的裝置； 用K針對各預測畫面六邊形，透過N組動作向量 來決定N個預測現在畫面的装置，其中包含於各個先 前盡面六邊形之各個像點的值被指定為各涸現在畫面 中之一像點之值，而該像點透過第一組動作向量之一 而與而與對應之現在晝面六邊形中之像點之一對應； 用以計算現在盡面六邊形與預測現在盡面六逢形 之間的差異，以差生N個峰信號對雜訊比（PSNR)的 裝置； 用以選擇具有最小PSNR的候選動作向量，K設定 選定之候選動作向量為針對主容貌點之初始動作向量 的裝置； 經濟部中央標準局負工消费合作社印製 用以針對具有對應之動作向量的主容貌點更新初 始向量，直到所有的主容貌點的動作向量組都已獲得 ，以便決定該組動作向量的裝置。 25 本紙張尺度逋用中國國家標隼（CNS ) A4洗格（210X297公釐〉