TW545063B - Adaptive early exit techniques in image correlation - Google Patents

Description

545063

發明説明.（ 本發明背t 影像壓縮技術可以降低視訊應用中所要傳送的資料量。 通常可以藉由判斷該影像所保留的相同成分而達成。在各 種視訊編碼方法中都使用到了，，動作預估（motion estimation)’’ 技術。 動作預彳古係試著去找尋某個訊框N的來源區塊與尋找區 之間的最大+相似（best match)。該尋找區可以在相同的訊框 N中’也可以在時間位移訊框的尋找區中。 這些技術都需要精密的計算。 圖示簡要說明 現在將參考隨附的圖示對本發明的各種觀點作細部的說 明。 圖1所不的係相互比對的來源區塊與尋找區塊； 圖2所示:的係用以計算失真的基本累計（accumuiati〇n)單 元； ^ 圖3a與3b所示的係各個SAD單元之間該計算的不同分 割； 圖4所示的係在早期轉出方式計算與實際整體計算之間 的取捨（tradeoff); 圖5所示的係早期轉出方式的流程圖； 圖6a所示的係利用早期轉出旗幟的早期轉出； 圖6b所示的係利用硬體狀態暫存器的早期轉出； 圖7所示的係該適應性早期轉出方式的操作流程圖。 -4- 545063 A7 B7 五、發明説明（2 t部說明 動作預估通常都係藉由計算絕對差異和（sum of absolute differences，·' SADn)來完成的。動作預估可以運用在多種 不同的應用中，包括利用視訊，視訊攝影機，視訊加速 器’以及其它類似裝置的細胞式電話，但並不受限於此。 這些裝置可以產生視訊信號輸出。該sad係一種計算，通 常都用以辨·識來源區塊與幾個在搜尋區搜尋區塊的區塊之 間的最小失:真。所以，會得到這些區塊之間的最佳配對。 其中一種表示法是 iV—1 aj—1 &!D=ZZ|a(i，j)-b(i5j)|，N = 2, 4, 8, 16, 32, 64 . /=〇 y=o 概念上係將第一訊框或是來源資料區塊（N)分割成^^\^個 成分的來源區塊100。將其與第二訊框（N-K) 1〇2作比較。 當k#〇的情況下，該訊框可以暫時取代。每個訊框ι〇2 都係一 Μ^π^χΝβι^的區域。圖1的中央區所示的係該來 源區塊100。利用該失真量測器將每個影像訊框的每一成 分與其它影像訊框作關聯可以偵測出配對的該影像成分。 该壓縮技術利用該偵測以壓縮該資料，並且傳送關於該影 像的較少資訊。 該裝置也可以是通用DSP的一部份。該種裝置可以運用 在視訊攝錄像機，通信會議，PC視訊卡，與HDTV。另 外，該通用DSP也可以與其它利用數位信號處理的技術一 起使用’例如使用在行動技術，語音辨識，及其它應用的 語音處理。 —-5- 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 545063 A7 ___________B7__ 五、發明説明（3 ) 整個失眞偵測處理可以加速。其中一種方式是利用硬體 讓每個SAD裝置在每個循環中可以執行更多的運算。不 過，這需要較昂貴的硬體。 另外一種方法是藉由增加額外的sad裝置以提高有效的 畫素（Pixel)處理能量（throughput)。不過，因爲需要更多的 SAD裝置，這樣做也會增加費用。 更快速的搜尋演算法可以更有效地利用現有的硬體。 該區塊sAd會將該來源組與該"搜尋組"作比較。該來源 組與該搜尋組會在整個影像移動，因此該SAD運算會計算 兩個群組之間的重疊。在該來源組中的每個區塊會與每個 搜尋區中的多個區塊作比較。 典型的S.AD單元會在兩個16χ16元件上作運算，以便將這 些元件彼此重疊。此種重疊處理會計算16χ16=256個差 異。接著焚將其累計以表示出全部的失眞。 該SAD需:要特定的基本運算。在該來源&與該搜尋％必 須有差異·。會產生一絕對差異| XirY |。最後，將其累 計，以^ΣΣΙα-Φ /=0 7=0 圖2所7F的係的一基本累計架構。算術邏輯單元2〇〇會從 相連接的資料匯流排198，199接收XirYu&且累計XLr Yw。反向器202會將該輸出201反向。 孩反向輸出，及原始輸出都會傳送到多工器2〇4，該多 工备會根據信號位元205選取其中一個數値。第二個算術 邏輯單元206會將這些組合起來以形成該絕對數値。最後 的數値會儲存在累計暫存器2〇8。實際上，這是一個減 ___ 冬 本紙張尺度適用巾國國家鮮(CNS) Μ規格χ 29?公爱) 545063 A7 ______ B7 五、發明説明^ ) ^~" ---- 法，絕對値，累計運算的系統，如圖2所示。 圖2所7F的係一個單一的SAD計算單元。如上所述，多個 計异單元可以用以提高該處理能量。如果計算單元數目增 加的話，理論上，會增加每個循環的畫素處理能量。 不過，本發明人提到，畫素處理能量並非一定與單元數 目成線性增加。實際上，每個訊框都會與其鄰近的訊框有 些關聯性。’另夕卜，任—影像的不同成分通常都會與該影像 的其Έ：成分:有關聯。該壓縮的效率與該影像的特性有關。 本應用可以在不同的模式中使用該，多個SAD，視壓縮的效 能而足。 本應用所使用的架構如圖3A與3B所示。在圖3A與3B* 使用相同的連接，但是該計算則是以不同的方式來分割。

圖3A所示的SAD 300，302係裝配成整個sad。每個SAD 會接收不；的區塊，提供N個區塊SAD計算。實際上，單 元301會政··每個畫素去計算一個16xl6參考與一個丨以^來 源之間的關係。單元2，302對每個畫素計算1 6 X i 6來源 及1 6 X 1 6搜尋之結果及差異。另外一種方式如圖3β所 示。在另一實例中，每個單一 SAD 300，302會對_單—區 塊SAD作部份計算。該N個計算單元會提供該輸出的i/n。 該"部份SAD"運算的意義是該8位元減法絕對値累叶單元 會去計算組成該單元的該全部SAD計算的ι/N。 如此處所述’整個系統會根據的前面的結果以、、也& y ’及足必頊 使用全部或是部份。交替進行便可以降低所執行的計营數 目0 本紙張尺度適用中國®家擦準(CNS) A4規格(210 X 297公6 " ' — --- 545063 A7 B7 五、發明説明（5 其中一種決定必須使用全部或是部份的方法是假設暫時 相鄰的影像具關聯性。第一個循環可以利用全部SAD模式 來計算，而第二個循環則可以利用部份SAD模式來計算。 計算較快的循環便可以設定成該SAD模式。此種計算可以 每X個循環便重複一次，其中X是無法再假設區域暫時關 聯性之後的循環數目。這可以在一邏輯單元中完成，該邏 輯單元執行圖7中的流程圖，如此處所述。 如此處所::述，也可以利用”早期轉出"的技術提高處理能 *4"。 對16x16個元素的完整SAD計算可以表示成|pir-piS|+|p2r_ P2S| +，·. I p256r-p256s|…（1)。如果實際執行所有的計算的 話，該計算將會花費256/N個循環，其中n係SAD單元的數 目。有需要儘快地停止該計算。會對中間的結果進行測 d。化些中間結果係用以決定是否有足夠的資訊以找出最 小的失眞产不過，測試的動作必須花費一些循環。 本案所説明的係在所需的循環數與決定最小失眞之間取 得平衡。圖4所示的係利用4個SAD裝置之16x16計算的取 捨。圖4中的直線4〇〇表示的係在沒有早期轉出時的循環計 數。該直線係水平的，表示的係在沒有早期轉出時該循環 計數會是256/4 = 64。 早期轉出的循環計數如該斜線4〇2，404，406與408所 示。斜線404表示每16個畫素作一次測試，斜線4〇6表示每 3 2個畫素（1/8)作一次測試，而斜線4〇8表示每64個畫素 (1/1 6)作一次測試。要注意的是，當該斜線402-408在直線 -8- 545063 A7 ______B7 五、發明説明（6 ) 400上面的時候，早期轉出實際上已經增加整體失眞計算 的時間。斜線402表示的係當轉出測試沒有經常計算 (overhead)時所耗費的循環數。也就是，當進行測試時， 轉出一定會成功。斜線402是目標。所揭露的適應性早期 轉出技術便是爲了達成此目標。 首先會利用該技藝中熟知的正常方式尋找一最小失眞來 處理區塊I。可以利用測試圖樣，該圖樣可以是該實際影 像的一部份：，尋找該失眞。該最小失眞係作爲該底線；並 且假没區塊I+n，其中η相當小，具有相同的最小失眞。使 用到兩個基本的參數。

Kexit (Ν)表示的係在達成早期轉出之前，先前針對某一 搜哥區所處理過的畫素。

Aexit (N)表示的係在針對某_搜尋區最後一次早期轉出 的時候孩邢份累計標記位元（sign bit)的狀態。 對這些良塊I+η而言，當該失眞超過臨界値的時候，便备 停亡該SAD計算。這便形成—個利用與該搜尋區有關的； 面資訊的因果（causal)系統。 孩基於搜尋區内影像特徵的因果系統係隨著時間保持共 同特徵的機率。訊框之間的時間介於1/15與1/3〇秒，補常 對^與可量測系統特徵有關的雜訊之上的時間期間所^生 的最小改變來説都是夠快的。同樣地，通常某—影像；备 有很多區域隨著時間改變還是會保持相同的時間特後。g 根據本案，每個SAD的累計單元都會有—個數値最小 値/η)，其中，，最小値，.表示的係针對該區的區塊動作搜尋中 -9 - 545063 A7 _____ B7 五、發明説明（7 ) 所量測的最小失眞。對每個搜尋區會計算許多個⑽ 對孩區的第一個SAD計算會將其指定成該,,最小値"。後 的SAD會與此作比較，以觀察是否有新的，，最小値，，。 累計器改變標記時，便達到了最小失眞。另外，這僅；： 用了現存的SAD架構，而沒有針對該測試的額外計 額外的循環。 該影像的特徵測試可以用以決定在建立該早期轉出之前 需要多少個累計器。舉例來説，々口果來源與目標係完全同 質（homogeneous)的話，那麼在同一時間中，所有的累計器 都必須改變一些標記。當這種現象發生時，只要有任何二 個執行中的SAD計算超過之前的最小量測的話，便可以用 以指示某個早期轉出係按順序的。 不過，前提假設是整個影像的同質性。此種假設並非一 足成立。在ί午多情況中’不同的SAD單元的多個累計哭並 不會以相岗速率增加。另外，累計器之間的各種增加率會 與來源與目標區塊之間差異本身的空間頻率特徵直接相 關，並且也會與該資料的取樣方法有關。這可能需要更繁 雜的万式’根據該SAD單元所發生的狀況來決定如何早期 轉出。 其中一種運异係根據關於分離SAD狀態的機率；其中並 非所有的SAD單元都是在相同的狀態。累計器之間增加率 的差異會與來源與目標區塊之間差異的空間頻率特徵相 關。因爲這些空間頻率特徵在時間相似訊框之間也會相 關，所以某一訊框的資訊也可以用以作後面訊框的分析。 -10- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐） 545〇63

五、 發明説明 此處參考變數作説明-其中A" A2, A3...An係定義成關 於分離SAD計算的事件。 該事件的定義如下： 事件Ai = SADA〇,其中對於i幻時，SAD<0。 概念上’係當SAD單元i爲正數，而其它的SAD單元…爲 負數。舉例來說，這可能會發生在該累計器以不同速率增 加的時候。也可以定義成組合事件，具體定義如下： 事件匕，严AiU Aj= SADg 〇，對sADjS 0而言，且 其中對於k辛i，j時，s ADk< 〇。這表示當弋轉出而且…爲 興，其Έ：的Ak爲僞的時候，事件4，』定義爲，，眞，，。以事件 來足義該運算的概念可以延伸涵蓋所有i，j與k的可能組 合。對4個SAD單元而言，總共有丨6種組合。對於更多的 SAD單元而τ ’會有其它的組合種類，並且可能會利用更 多的變數，例如i，j,k與m或是其它等。 以文字説明的話，每個事件，，B”係定義成大於〇的特定累 计為的總和。每個這樣的組合都會定義成一個機率。對4 個SAD單元而言，總共有16種可能的累計狀態。可以根據 處理的方式將其群組化。 第一種一般機率是 P (b|Ax η α2 η α3 η ά4) =0. 其意思是假設沒有任何一個累計器超過〇的情況下，該 累計器總和大於〇的機率等於〇。 其反向情況也會成立： Ρ (β|α! η α2 η α3 η α4) = 1; -11- 本紙張尺度適用中國國家標準（CNS ) Α4規格（210X 297公釐） (請先閲讀背面之注意事項再填寫本頁)

經濟部中央標準局員工消費合作社印製 545063 Α7 Β7 五、發明説明-(9) 其意思是假設不做任何設定時，設定所有累計器總和的 機率也會等於1。 除了這些一般的特徵之外，還有14種非一般的組合。第 一個群組含有四種情況，只設定其中一個累計器，其它的 三個不設定： P (B | Αχ u (A2 η a3 n A4), P (B I A2 (Αχ Ο A3 A4), P (B IA3 u (Αχ η A2 n A4) r P (B IA4 u (Αχ n A2 n A3). 另一個群組則是表示，只設定其中兩個累計器，其它的 兩個不設定。這些組合如下： P(b|ai n a2) u (A3 n A4) p(b|a! n a3) u (a2 n A4) ί r P (B I (Ai n a4) u (a2 n a3) p(b|a2 n a3) u (Αχ n a4) P(b|a2 A4) W (Αχ Pi A3) P (B IA3 n a4) u(Ai n a2) 經濟部中央標隼局員工消費合作杜印製 (請先閱讀背面之注意事項再填寫本頁) 最後，下面的群組則是表示，設定三個累計器，另外 一個不設定： ρ(β|αι η α2 η α3) u α4) ρ(β|α2 η α3 η α4) u Αι) ρ(β|α! η α3 η Α4) u α2) ρ(β|αχ η α2 η α4) u α3). -12- 本紙張尺度適用中國國家標準（CNS ) Α4規格（210Χ 297公釐） 545063 A7 B7 五、發明説明 ’而實際上，任何— 每種群組或是每種情 種情況都表 況都有不同 本實例會辨識每個群組 示該影像中的不同情況。 的處理。 本系統操作如上：述：參考圖5中的流程圖作說明。曰 終目標是芫成孩計鼻，並且從而迅速轉出。如圖5所二瑕 先會在550決定兩個影像的匹配特徵；來源影像與搜 像。不需要任:何早期轉出便可以計算該E配特徵。在^ 會發現該最小失眞，並且當該最小失眞存在時，在5 = 發現該條件。 曰 在560的條件包括存在於該最小失眞時的群組種類， 是介於該14種可能情況中的特定條件。 2 在5 70會:測試後面的影像成分。該後面成分可以是任。 與該測試成分相關的成分。因爲假設時間關聯的影 關聯的，所以可以延伸至任何時間關聯的成分。 會對該奈彡像來源與搜尋作測試，並且在575中會在該最 小失眞的時候決定該特定群組。接著，在58〇會建立—^ 期轉出。 一旦決定之後，便可以以各種不同方式來執行該早期轉 出0 圖6a所示的係一種利用早期轉出或是” EE"旗標以執行該 早期轉出的系統。圖中有N個SAD單元，在此實例中， 於4。每個SAD單元包括上述的架構，明確的是ALU，反向 器，及累計器。 每個累計器的輸出會連接到一组合邏輯單元6〇〇，該單 -13- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐） 545063 五、發明説明（11 元會排列該輸出。衿-m w 廷可以用以執行上述的群組決定。與如 來說，該組合邏輯i★ 舉例 離邏輯閘製作而：==體定義語言所定義的分 項作程式化。可以根^^據所選取的群組以某個選 處理。 根據不R的選項對不同的影像與成分作 m項而言’各種狀態的组合，舉例來說，上述的 群”且’ h進仃編碼。該組合邏輯會監控所有s 累計器。每個狀態都會輸出到一多工器中。 當這些累計器達到某個所選取的編碼狀態時，便 一早期轉出旗幟。該早期轉出旗幟所指的係該硬體1妹決 定出一個通當的'，配對_·’。這可以讓該操作轉出。 裝 圖6B所示的係另外一種系統，在該系統中， 存㈣會感測該累計器的狀態。該狀態暫存器會被該； 计為的條件設足成一特定狀態。該狀態暫存器备 該早期轉㈣該特定條件。#制該特定條件的時候 建立了該早期轉出。 整體而言，圖7所示的係該適應性早期.轉出。該視訊訊 框起始於700。705表示對訊框M與訊框M+1作緩衝。舉例 來説，701可以藉由從前一個訊框更新開始對時間作^控 以決定。舉例來説，x秒可以當作必須作更新時的前置= 間。 匕 如果必須更新該模型的話，那麼在7丨5可以藉由在嗲累 計器中載入OxFFOl並且設定該區域變數n叫以持婧該程 序。在7 2 0 ’ p亥系統會取仔s A D搜导區N並且利用該週期性 -14-

545063 A7

的轉出測試丁exn/16..·，在725便會執行該轉出測試。如 果成功的話’便會還原轉出之前的畫素，區域變數 KeXit(N) ’以及轉出之前的累計器丨至4的總和，AeXit(N)。 該區域變數Π也會在步驟73〇遞增。這便可以建立該區域參 數，並且持續該程序。 在後面的循J衣中，不需要在步驟7 1 〇中重新進行更新區 塊歷史貧料，並且控制傳遞給步驟735。在此步驟中，會 讀取前面所儲存的Kexim Aexit。在步驟74()，這可以當成 新的計數使用以設定目標區塊旗幟。 在步驟745，會對區_作搜尋，在步驟75〇會更新 與Kexit。N會遞增。在步驟755，會決是否等於397。 因局在一個352x288的影像中，共有396個16乂16的區塊， 因此397係作爲該緩衝器中的訊框數目。不過，針對不同 的應用必須調整不同的大小。 再次’某個影像的大部份時間變數都可能料不變 此，當該部份累計器具有一特定的標記位元時，它們的狀 態會產生很大的優點。另外，訊框之間的時間通常都口 1/15到1/30秒之間。最後，在該影像内的區域會保持： 域化的特徵’因此它們的空間頻率會相關聯。 、 雖然僅僅揭露部份實例，但是可以有其^的變化。

Claims (1)

1. 545063 ABCD

   第090113827號專利申請案 中文申請專利範圍替換本(92年4月) 申請專利範圍 1. 一種影像處理方法，包括： 在某一特定影像處理結果產4每 索夕 件的特徵$產二時決-夕個影像處理元 ⑨當該特徵存在於後面某個計算時，建立一種計算作為 、余吉 。 其中該特徵包括該影像 其中該影像處理元件係 其中該特徵包括該影像 其中該特徵包括該影像 2. 如申請專利範圍第1項之方法 處理元件的標記位元。 3，如申請專利範圍第2項之方法 絕對差異和單元。 4. 如申請專利範圍第丨項之方法 處理元件的群組狀態。 5. 如申請專利範圍第4項之方法 處理元件的群組狀態。 6· —種計算兩個影像之間關係的方法，包括： 取得影像； 在第-時間時監控一來源影像與一搜尋影像之間的匹 配特徵，以決定該影像之間的最小失真· 當發現該影像之間的最小失真二第一時間決定多 個計算單元的條件； t後面的時間，監控該條件，並且決定該計算單元的 狀態是否與在該第一時間時所發現到的該狀態相同 根據該相同的狀態建立最小失真。 ，夂 war 早 7.如申請專利範_6項之方法，其°中該條件包括 元的標記位元。 季、计 545063

   8,如申請專利範圍第7項之方法，還包括一組合邏輯單元 用以偵測該累計單元的標記位元。 9·如申請專利範圍第7項之方法，還包括決定是否需要更 新一區塊歷史資料模型，如果不需要的話，便利用該前 面的條件，如果需要的話，便更新該條件。 10·如申請專利範圍第6項之方法，其中該取得係利用視訊 相機。 申請專利範圍第9項之方法，其中該決定包括決定從 可面的更新開始，是否已經經過了一段特定時間。 α如申請專利範圍第6項之方法，其中該狀態包括表示特 足特徵的狀態群組。 13· —種計算兩個影像之間關係之方法，包括： 計算不同計算單元的多個不同狀態； 從該狀態決定可能狀態群組，其中群組表示影像 的機率條件； 在計算指出兩個影像之間的最小失真時，在第一時 決定第一狀態；及 在第二時間，利用該第一狀態以指示從計算的早期轉 出0 14.2申請專利範圍第13項之方法，其中包括決定目前的狀 態是否與該第一狀態相同。 15.=申請專利範圍第13項之方法，其中該群組包括該計算 單元的標記位元群組。 &如申請專利範圍第13項之方法，還包括利用該計算以決 -2-

   裝 本紙張尺度適用中國國家標準(CNs) A4規格(210 X 297公釐) A8 B8 C8 D8 545063 六、申請專利範圍 定裝MPEG編碼的資訊。 17· —種處理一影像之裝置，包括： 多個影像處理元件； 一電路用以在某定影像處理結果產生時，儲存該影像 處理元件的第一狀態；及 一早期轉出電路用以根據目前狀態與該第一狀態的比 較結果決定某個計算的完成。 18. 如申請專利範圍第17項之裝置，其中該第一狀態包括該 影像處理元件的算術狀態。 19. 如申請專利範圍第18項之裝置，其中該影像處理元件包 括其累計器，而該特徵包括該累計器的標記位元。 20. 如申請專利範圍第17項之裝置，還包括一視訊取得元 件。 21. 如申請專利範圍第20項之裝置，其中該視訊取得元件係 一視訊相機。 22. 如申請專利範圍第17項之裝置，其中該第一狀態包括該 影像處理元件的群組狀態。 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐）