TW522738B - Adaptive early exit techniques in image correlation - Google Patents

Description

522738

本發明背t 影像壓縮技術可以降低視訊應用中所要傳送的資料量。 通常可以藉由判斷該影像所保留的相同成分而達成。在各 種視訊編碼方法中都使用到了，，動作預估（m〇ti〇n estimation)’’ 技術。 動作預估係試著去找尋某個訊框N的來源區塊與尋找區 4間的最大相似（best match)。該尋找區可以在相同的訊框 N中，也可以在時間位移訊框N-k的尋找區中。 這些技術都需要精密的計算。 圖示簡要説明 現在將參考隨附的圖示對本發明的各種觀點作細部的説 明0 圖1所示的係相互比對的來源區塊與尋找區塊； 圖2所示的係用以計算失眞的基本累計(accumuiati〇n)單 元； ΐ ' 圖3a與3b所示的係各個SAD單元之間該計算的不同分 割； 圖4所不的係在早期轉出方式計算與實際整體計算之間 的取捨（tradeoff) ; # 圖5所示，的係早期轉出方式的流程圖； 圖6a所示的係利用早期轉出旗幟的早期轉出； 圖6b所示的係利用硬體狀態暫存器的早期轉出； 圖7所示的係該適應性早期轉出方式的操作流程圖。 -4-

522738 A7 B7 五、發明説明（2 細部^^ 動作預估通常都係藉由計算絕對差異和（sum 〇f abs〇lute differences，’’SAD”）來完成的。動作預估可以運用在多種 不同的應用中，包括利用視訊，視訊攝影機，視訊加速 為’以及其它類似裝置的細胞式電話，但並不受限於此。 這些裝置可以產生視訊信號輸出。該SAD係一種計算，通 常都用以辨識來源區塊與幾個在搜尋區搜尋區塊的區塊之 間的最小失眞。所以，會得到這些區塊之間的最佳配對。 其中一種表示法是 mix?丨㈣ 概念上係將第一訊框或是來源資料區塊（N)分割成mxn個 成分的來源區塊100。將其與第二訊框1〇2作比較。 當k * 0的情況下，該訊框可以暫時取代。每個訊框i 〇2 都係一 xN+2ni的區域。圖1的中央區所示的係該來 源區塊100。利用該失眞量測器將每個影像訊框的每一成 分與其它影像訊框作關聯可以偵測出配對的該影像成分。 该壓縮技術利用該偵測以壓縮該資料，並且傳送關於节景^ 像的較少資訊。 該裝置也可以是通用DSP的一部份。該種裝置可以運用 在視訊攝錄像機，通信會議，PC視訊卡，與HDTV。另 外，該通用DSP也可以與其它利用數位信號處理的技術一 起使用，例如使用在行動技術，語音辨識，及其它應用的 語音處理。 -5- 本紙張尺度適用中國國家標準(CNS) Α4規格(210 x 297公釐） 522738 A7 ______ B7 五、發明説明（3 ) 整個失具偵測處理可以加速。其中一種方式是利用硬體 讓每個SAD裝置在每個循環中可以執行更多的運算。不 過，這需要較昂貴的硬體。 另外一種方法是藉由增加額外的SAD裝置以提高有效的 畫素（pixel)處理能量（throughput)。不過，因爲需要更多的 SAD裝置，這樣做也會增加費用。 更快速的搜尋演算法可以更有效地利用現有的硬體。 該區塊SAD會將該來源組與該”搜尋組，，作比較。該來源 組與該搜尋組會在整個影像移動，因此該SAD運算會計算 兩個群組之間的重疊。在該來源組中的每個區塊會與每個 搜尋區中的多個區塊作比較。 典型的SAD單元會在兩個1 6x1 6元件上作運算，以便將 這些元件彼此重疊。此種重疊處理會計算1 6x1 6 = 25 6個 至異。接著便將其累計以表示出全部的失眞。 該SAD需，要特定的基本運算。在該來源Xij與該搜尋％必 須有差異.。會產生一絕對差異1 ΧγΥ^Ι。最後，將其累 Ν-\ η-\ 計，·=ΣΣ|Ί|。 /=0 7=0 圖2所示的係的一基本累計架構。算術邏輯單元2〇〇會從 相連接的資料匯流排198，199接收ΧγΥι」·並且累計XyYij。 反向器202會將該輸出201反向。該反向輸出，及原始輸出 都會傳送到多工器204，該多工器會根據信號位元205選取 其中一個數値。第二個算術邏輯單元206會將這些組合起 來以形成該絕對數値。最後的數値會儲存在累計暫存器 208。實際上，這是一個減法，絕對値，累計運算的系 -6- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐） 522738

統，如圖2所示。 圖2所示的係—個單一的SAD計算單元。如上所述，多個 計算單元可以用以提高該處理能量。如果計算單元數目增 加的話，理論上，會增加每個循環的畫素處理能量。

裝 不過，本發明人提到，晝素處理能量並非一定與單元數 目成線性增加。實際上，每個訊框都會與其鄰近的訊框有 些關聯性。另夕卜，任一影像的不同成分通常都會與該影像 的其它成分有關聯。該壓縮的效率與該影像的特性有關。 本應用可以在不同的模式中使用該多個SAD，視壓縮的效 能而定。 本應用所使用的架構如圖3A與3B所示。在圖3A與3B中 使用相同的連接，但是該計算則是以不同的方式來分割。

圖3A所示的SAD 300，302係裝配成整個sad。每個SAD 會接收不同的區塊，提供N個區塊SAD計算。實際上，單 元301會對每個畫素去計算一個丨6xl 6參考與一個丨6χ1 6 來源之間的關係。單元2，302對每個畫素計算^ 6 X 1 6來 源及1 6 X 1 6搜尋i結果及差異。另外一種方式如圖3 b所 示。在另一實例中，每個單一 SAD 300，302會對一單一區 塊SAD作部份計算。該N個計算單元會提供該輸出的丨/N。 該”部份SAD"運算的意義是該8位元減法絕對値累計單元 會去計算組成該單元的該全部SAD計算的1 /N。 如此處所述，整個系統會根據的前面的結果以決定必須 使用全部或是邵份。交替進行便可以降低所執行的計算數 目0 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公爱) 522738

五、發明説明（5 其中一種決定必須使用全部或是部份的方法是假設暫時 相鄰的影像具關聯性。第一個循環可以利用全部sad模式 來計算，而第二個循環則可以利用部份SAD模式來計算。 計算較快的循環便可以設定成該SAD模式。此種計算可以 每X個循環便重複一次，其中x是無法再假設區域暫時關 聯性之後的循環數目。這可以在_邏輯單元中完成，該邏 輯單元執行圖7中的流程圖，如此處所述。

裝 如此處所述，也可以利用”早期轉出"的技術提高處理能 -J· 0 對1 6 xl 6個元素的完整SAD計算可以

Pl=阶Ρ2δΐ+.··ΐρ^-Ρ254··⑴。如果實際執行所有^ 計算的話，該計算將會花費25 6/N個循環，其中N係SAD單 元的數目。有需要儘快地停止該計算。會對中間的結果進 行測試。這些中間結果係用以決定是否有足夠的資訊以找 出最小的失眞。不過，測試的動作必須花費一些循環。 ~本案所説明的係在户斤需的循環數與決定最小失眞之間取 蠓 得平衡。圖4所示的係利用4個SAD裝置之16以6計算的取 捨。圖4中的直線4⑻表示的係在沒有早期轉出時的循環計 數。该直線係水平的，表示的係在沒有早期轉出時該循環 計數會是256/4 = 64。 早期轉出的循環計數如該斜線4〇2，4〇4，4〇6與利8所 不斜、’泉404表不每16個晝素作一次測試，斜線_表示每 32個畫素(1/8)作一次測試，而斜線4〇8表示每“個畫素 (1/1 6)作-次測試。要注意的是，當該斜線術·彻在直線

522738 522738

_上面的時候，早期轉出實際上已經增加整體失眞計算 的時間。斜線402表示的係當轉出測試沒有經常計算 (overhead)時所耗費的循環數。也就是，當進行測試時， 轉出-定會成功。斜線4G2是目帛。所揭露的適應性早期 轉出技術便是爲了達成此目標。 首先會利用該技藝中熟知的正常方式尋找一最小失眞來 處理區塊I。T以利用測試圖樣，該圖樣可以是該實際影 像的一㈣’ #找該失眞。該最小失眞係作爲該底線；並 且假設區塊I+n，其中n相當小，具有相同的最小失眞。使 用到兩個基本的參數。

KeXit(N)表示的係在達成早期轉出之前，先前針對某一 搜尋區所處理過的畫素。 ^ΧΗ(Ν)表示的係在針對某一搜尋區最後一次早期轉出 的時候該部份累計標記位元⑷卯Mt)的狀態。 對故些區塊I+n而言，當該失眞超過臨界値的時候，便會 停MSAD計算。這便形成_個利用與該搜尋區有關的前 面資訊的因果（causal)系統。 該基於搜尋區内影料徵的因㈣統賴著時間保持共 同特徵的機率。訊框之間的時間介於1/15與1/3〇秒，通常 對於與可量n㈣徵有關的雜訊之上的時間期間所發生 的最小改變來説都是夠快的。同樣地，通常某一影像中會 有很多區域隨著時間改變還是會保持相同的時間特徵。曰 根據本案，每個SAD的累計單元都會有一個數値（_最小 値/ η)’其中最小値•’表示的係針對該區的區塊動作搜尋中 -9- P2738 A7 ___B7__ 五、發明説明（7 ) 所量測的最小失眞。對每個搜尋區會計算許多個SAD。針 對該區的第一個SAD計算會將其指定成該"最小値’’。後面 的SAD會與此作比較，以觀察是否有新的”最小値”。當該 累計器改變標記時，便達到了最小失眞。另外，這僅僅利 用了現存的SAD架構，而沒有針對該測試的額外計算以及 額外的循環。 裝 該影像的特徵測試可以用以決定在建立該早期轉出之前 需要多少個累計器。舉例來説，如果來源與目標係完全同 質（homogeneous)的話，那麼在同一時間中，所有的累計器 都必須改變一些標記。當這種現象發生時，只要有任何一 個執行中的SAD計算超過之前的最小量測的話，便可以用 以指示某個早期轉出係按順序的。 不過，前提假設是整個影像的同質性。此種假設並非一 定成立。在許多情況中，不同的SAD單元的多個累計器並 不會以相同速率增加。另外，累計器之間的各種增加率會 與來源與目標區塊之間差異本身的空間頻率特徵直接相 關，並且也會與該資料的取樣方法有關。這可能需要更繁 雜的方式，根據該SAD單元所發生的狀況來決定如何早期 轉出。 其中一種運算係根據關於分離SAD狀態的機率；其中並 非所有的SAD單元都是在相同的狀態。累計器之間增加率 的差異會與來源與目標區塊之間差異的空間頻率特徵相 關。因爲這些空間頻率特徵在時間相似訊框之間也會相 關，所以某一訊框的資訊也可以用以作後面訊框的分析。 -10- i紙張尺度適财S S家標準(CNS) A4規格(21GX 297公€ ' - 522738 A7 -------- B7 五、發明説明（8 ) 此處參考變數作説明—其中Al，a2，A3··· An係定義成關 於分離SAD計算的事件。 该事件的定義如下： 事件八丨=SADj έ 〇，其中對於i叫時，SaD< 0 〇 概志上’係當SAD單元i爲正數，而其它的SAD單元Ai爲 負數。舉例來説’這可能會發生在該累計器以不同速率增 加的時候。也可以定義成組合事件，具體定義如下： 事件 Bi，广AiU Aj=SADi$ 〇，對SADjg 〇而言，且 其中對於k * i，j時，SADk<〇。這表示當八丨轉出而且Aj爲 具’其Έ：的Ak爲僞的時候，事件^丨，】定義爲，，眞，，。以事件 來定義該運算的概念可以延伸涵蓋所有i，j與k的可能組 合。對4個SAD單元而言，總共有丨6種組合。對於更多的 SAD單元而言，會有其它的組合種類，並且可能會利，用更 多的變數，例如i，j，k與m或是其它等。 以文字説明的話，每個事件” B”係定義成大於〇的特定累 計器的總和。每個這樣的組合都會定義成一個機率。對4 個SAD單元而言，總共有16種可能的累計狀態。可以根據 處理的方式將其群組化。 第一種一般機率是 p (βΙαι 〇 α2 η a3 o a4) = 〇. 其意思是假設沒有任何一個累計器超過〇的情況下，該 累計器總和大於0的機率等於〇。 其反向情況也會成立： p (bUx η Α2 η α3 η a4) = 1; -11- 本紙張尺度適用中國國家標準(CNS) A4規格(210 x 297公董)---- 522738 A7 B7 五、發明説明（9 ) 其意思是假設不做任何設定時，設定所有累計器總和的 機率也會等於1。 除了這些一般的特徵之外，還有14種非一般的組合。第 一個群組含有四種情況，只設定其中一個累計器，其它的 三個不設定： P (B | Ai u (α2 η α3 η a4), P (B I A2 u (Ai n A3 n a4), P(b|a3 ^ (Ai n A2 n a4), P (B I a4 u (Ai η a2 n a3). 另一個群組則是表示，只設定其中兩個累計器，其它 的兩個不設定。這些組合如下： P(b|a! n a2) u (a3 n a4) .P(b|Ai n a3) u (A2 n a4) P (B I (Αχ n a4) u (a2 n a3) P(b|a2 n a3) u (Ai n a4) P(b|a2 n a4) u (Ai n A3) * P(b|a3 n a4) ^(Ai n A2) 最後，下面的群組則是表示，設定三個累計器，另外 一個不設定： Ρ(βΓα! η α2 η α3) ^ α4) Ρ(β|α2 η α3 η α4) u Αχ) P(b|ax ο A3。Α4) υ Α2) ρ (Β I Αχ η α2 η α4) U α3). -12- 本紙張尺度適用中國國家標準(CNS) Α4規格(210 X 297公釐） 五、發明説明（1〇 ) 三而實際上，任何一種情況都表 每種群組或是每種情況都有不同 本實例會辨識每個群組 示該影像中的不同情況。 的處理。 本系統操作如上所述，參考圖5中的流程圖作説明。最 終目標是冗成該計算，並且從而迅速轉出。如圖5所示首 先會在55G決定兩個影像的匹配特徵；來源影像與搜尋影 像。不需要任何早期轉出便可以計算該匹配特徵。在555 會發現該最小失眞，並且當該最小失眞存在時，在％ 發現該條件。 在560的條件包括存在於該最小失眞時的群組種類，或 是介於該14種可能情況中的特定條件。 在570會測試後面的影像成分。該後面成分可以是任何 與孩測試成分相關的成分。因爲假設時間關聯的影像都係 關聯的，所以可以延伸至任何時間關聯的成分。 會對該影像來源與搜尋作測試，並且在575中會在該最 小失眞的時候決定該特定群組。接著，在58〇备 期轉出。 -但決定之後，便可以以各種不同方式來執行該早期轉 出0 圖6a所示的係一種利用早期轉出或是” EE"旗標以執行該 早期轉出的系統。圖中有N個SAD單元，在此實例中，]^等 於4。每個SAD單元包括上述的架構，明確的是ALu，反向 器，及累計器。 每個累計器的輸出會連接到一組合邏輯單元6〇〇，該單 -1 3 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐） 522738 A7 B7 五、發明説明（12 ) 的轉出測試Texit= 1/16···，在725便會執行該轉出測試。如 果成功的話，便會還原轉出之前的畫素，區域變數 Kexit(N)，以及轉出之前的累計器1至4的總和，Aexit(N)。 該區域變數η也會在步驟730遞增。這便可以建立該區域參 數，並且持續該程序。 在後面的循環中，不需要在步驟71〇中重新進行更新區 塊歷史資料，並且控制傳遞給步驟735。在此步驟中，會 讀取前面所儲存的Kexit與Aexit。在步驟740，這可以當成 新的計數使用以設定目標區塊旗幟。 在步驟745，會對區塊N作搜尋，在步驟75〇會更新Aexit 與Kexit。N會遞增。在步驟755，會決定否等於397。 因爲在一個352x28 8的影像中，共有396個16xl6的區塊， 因此3 9 7係作爲该缓衝咨中的訊框數目。不過，針對不同 的應用必須調整不同的大小。 再次’某個影像的大部份時間變數都可能保持不變。因 此，當該部份累計器具有一特定的標記位元時，它們的狀 態會產生很大的優點。另外，訊框之間的時間通常都是在 1 /1 5到1 /3 0秒之間。最後，在該影像内的區域會保持其區 域化的特徵，因此它們的空間頻率會相關聯。 雖然僅僅揭露部份實例，但是可以有其它的變化。 -15- 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐)

Claims (1)

1. 522738 第090113826號專利申請案 中文申請專利範圍修正本(91年12月） 申請專利範圍 1 · 一種計算方法，包括： 決定兩個區域之間的最小失真； 將與孩最小失真相關的數值下載至一累計元件中； 在该累計單元中將後面的影像失真計算結果作累計；及 當孩累計元件達到一預設的數值時，便建立該後面計 算轉出的最小失真。 2·如申請專利範圍第1項之方法，其中共有多個累計元 件而為下載包括將該數值下載至每個該累計元件中。 3·如申請專利範圍第2項之方法，其中該建立係發生在當 該多個累計元件的特定累計元件達到該預設數值時。 4·如申請專利範圍第2項之方法，其中該建立係發生在當 所有的累計元件達到該預設數值時。 5. 如申請專利範圍第2項之方法，其中該建立係發生在當 單一個累計元件達到該預設數值時。 6. 如申請專利範圍第2項之方法，其中與該最小失真相關 的數值係失真除以該累計元件的數目。 7·如申請專利範圍第2項之方法，還包括決定該區域的特 欲，並且從該特徵決定累計元件的數量以便在該建立之 前要求達到該預設值。 8·如申請專利範圍第7項之方法，其中該影像的特徵所指 的係一同質影像，而該建立該最小失真係根據單一累計 杏的結果。 9·如申請專利範圍第7項之方法，其中該建立包括根據多 個累計器的結果建立該早期轉出。 522738 ABCD

   Έ - t’ 7 R 2 充 六、申請專利範圍 10·如申請專利範圍第9之方法，其中該早期轉出包括決定 每個累計器建立特定狀態的機率，而該建立係根據該累 計器建立特定狀態。 11·如申請專利範圍第6項之方法，其中該預設數值為零。 12· —種計算方法，包括： 決定兩個影像區域之間的失真；及 不需要針對該早期轉出技術的額外計算循環執行一種 早期轉出技術。 13 ·如申請專利範圍第12項之方法，其中該早期轉出係利用 將一數值載入一累計元件中所計算的，並且根據該決定 變更該數值。 14·如申請專利範圍第13項之方法，其中共有多個累計元 件’而該下載包括將該數值下載至每個該累計元件中。 15 ·如申請專利範圍第14項之方法，其中該建立係發生在當 該多個累計元件的特定累計元件達到該預設數值時。 16·如申請專利範圍第14項之方法，其中該建立係發生在當 所有的累計元件達到該預設數值時。 17. 如申請專利範圍第12項之方法，其中該數值係關於前面 計算的最小失真。 18. 如申請專利範圍第13項之方法，還包括決定該區域的特 徵，並且從該特徵決定累計元件的數量以便在該建立之 前要求達到該預設值。 19. 如申請專利範圍第18項之方法，其中該影像的特徵所指 的係 同貝於像’而该建立该取小失真係根據單一累計 -2- 本紙張尺度適用巾® a家標準(CNS) μ規格(21G x 297公董)" ------ 522738 ττ、申請專利範圍 A BCD 年 器的結果。 20·如申請專利範圍第15項之方法，其中該預設數值為零。 21. —種決定影像區塊之間失真的方法，包括： 7 在第一影像成分與第二影像成分之間決定一第一失 真，並且在該早期轉出時取得早期轉出計算的計數與特 定計算的狀態；及 ~ 在後面的計异中，根據該計數與該狀態終止計算。 22. 如申請專利範圍第21項之方法，其中該失真係利用將數 值載入累計元件中所計算的，並且當該累計器達到一特 數值時’建立一早期轉出。 23. 如申請專利範圍第22項之方法，其中該特定數值為零。 24. —種影像成分處理的方法，包括； ’ 取得與第一影像成分相關的影像失真資訊；及 利用茲影像失真資訊，藉由將與該影像失真資訊相關 的數值下載至一計算元件中以處理第二成分，並且當該 數值達到-預設量的時候藉由該計算元件終止計算。 25·如申請專利範圍第24項之方法，其中該影像失真資訊包 括在區塊動作搜尋中所量測到的失真最小值。 26·如申請專利範圍第則之方法，其中該影像失真係利用 一累计器計算絕對差和中的失真。 27.如申請專利範圍㈣項之方法，其中該數值係下載至該 累計器中。 28·如申請專利範圍第㈣之方法，其中該數值包括最小 值/η) ’其中最小值係前面循環中所發現的數值，而〇則 -3 - 522738 A8 B8 C8 D8 申請專利範圍 係累計器的數目。 Μ·如申請專利第28項之方法，其中該預設數值為零。 30.如申請專利範圍第18項之方法，其中會將該數值(_最小 值η)下載至该累计备中，其中最小值係期望的早期數 值，而η則係累計器的數目， 而且其中當某個累計器達 到零的時候便建立了早期轉出。 31·如申請專利範圍第π項之方 其中孩數值係表示該累 片器的標位元。 32·—種計算方法，包括； 取得多個影像操作裝置，這歧裝 策罝會根據兩個畢彡傻 間的關係達成特定的狀態； ” 根據該關係累計結果，及 根據該累計狀態決定計算是否完成。 33. 如申請專利範圍第32項之方 視訊相機的-部份。 其中心像操作裝置係 34. —種影像關聯裝置，包括： 一計算裝置，包括一累計元件，用以計 之間的最小失真相關的數值； Λ兩個區域 一緩衝器，用以儲存與該最小失真有關的、 將該失真下載至該累計器；及 並且 一邏輯單元，用以根據該數值在該累計 最小失真。 衮置中建立一 35·如申請專利範圍第34項之裝置，其中丑 j夕個計算裝 置，而該失真係下載至每個該累計元件中。 -4 - 本纸張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 522738 .丨r . A8 :丨、… B8 二 、 S8 -— ______08 - _ 六、申請專利範圍 36·—種影像關聯裝置，包括： 一種視訊取得裝置； 多個計算裝置，每個都包括一個累計元件，用以計算 與該視訊取得裝置所取得之兩個視訊部份之間的最小失 真相關的數值； 一緩衝器，用以儲存與該最小失真有關的數值，並且 將該失真下載至該累計器；及 一邏輯單元，用以根據該數值在該累計裝置中建立一 最小失真。 37·如申請專利範圍第36項之裝置，其中該邏輯單元會監控 該累計元件的標記位元。 38.如申請專利範圍第36項之裝置，其中該邏輯單元會監控 該累計元件的標記位元。 •如申w專利範圍第3 6項之裝置，其中該視訊取得裝置係 一種視訊相機。 4〇.如申請專利範圍第38項之裝置，其中該邏輯單元會監控 所有違累计元件中的數值以達到該預設值。 41.如申請專利㈣第36項之裝置’其中會將該數值（_最小 值⑻下載至該累計器中’其中最小值係期望的早期數 值，而η則係、累計器的數目，而且其中當某個累計器達 到零的時候便建立了早期轉出。 522738 第09013826號專利申請案 中文圖式修正頁(91年12月）

   資料匯流排3 資料匯流排A

   圖6B 610