TW525388B - Adaptive early exit techniques in image correlation - Google Patents

Description

525388

2像壓縮技料以降低視訊應用中所要傳送的資料量。 通常可以藉由判斷該影像所保留的相同成分而達成。在各 種視訊編碼方法中都使用到了”動作預估（motion estimation)” 技術。 、動作，估係試著去找尋某個訊㈣的來源區塊與尋找區 《間的最大相似（best match)。該尋找區可以在相同的訊框 N中也可以在時間位移訊框N-k的尋找區中。 這些技術都需要精密的計算。 圖示簡要說1 現在將參考隨附的圖示對本i明的各種觀點作細部的說 〇 圖1所示的係相互比對的來源區塊與尋找區塊； 圖2所示的係用以計算失真的基本累計（accumuiati〇n)單 圖3a與3b所示的係各個SAD單元之間該計算的不同分 割； 圖4所示的係在早期轉出方式計算與實際整體計算之間 的取捨（tradeoff); 圖5所示的係早期轉出方式的流程圖； 圖6a所示的係利用早期轉出旗幟的早期轉出； 圖6b所示的係利用硬體狀態暫存器的早期轉出； 圖7所示的係該適應性早期轉出方式的操作流程圖。 -4- 525388

知部說明 動作預估通常都係藉由計算絕對差異和（sum 〇f abs〇lute differences or” SAD”）來完成的。動作預估可以運用在多 種不同的應用中，包括利用視訊，視訊攝影機，視訊加速 器，以及其它類似裝置的細胞式電話，但並不受限於此。 這些裝置可以產生視訊信號輸出。該SAD係一種計算，通 常都用以辨識來源區塊與幾個在搜尋區搜尋區塊的區塊之 間的最小失真。所以，會得到這些區塊之間的最佳配對。 %其中一種表示法是 SAD = ΣΣΚ (iJ) - b(ij)|5 N = 2? 4? ^ 165 325 64 .

/=〇 jszQ 概念上係將第一訊框或是來源資料區塊分割成MxN個 成分的來源區塊100。將其與第二訊框（N-K) 1〇2作比較。 當k # 0的情況下，該訊框可以暫時取代。每個N-K訊框1 02 都係一 X N+21^的區域。圖1的中央區所示的係該來 源區塊100。利用該失真量測器將每個影像訊框的每一成 刀與其影像訊框作關聯可以偵測出配對的該影像成分。 該壓縮技術利用該偵測以壓縮該資料，並且傳送關於該 影像的較少資訊。 該裝置也可以是通用DSP的一部份。該種裝置可以運用 在視訊攝錄像機，通信會議，PC視訊卡，與HDTV。另 外，該通用DSP也可以與其它利1數位信號處理的技術一 起使用：例如使用在行動技術，語音辨識，及其它應用的 -5- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 525388

五、發明説明（3) 5吾音處理。 一:個失眞偵測處理可以加速。其中一種方式是利用硬體 讓每個SAD裝置在每個循環中可以執行更多的運算。不 過’這需要較昂貴的硬體。 另外一種方法是藉由增加額外的SAD裝置以提高有效的 畫素（Pixel)處理能量（thr〇Ughput)。不過，因爲需要更多的 SAD裝置，這樣做也會增加費用。 更快速的搜尋演算法可以更有效地利用現有的硬體。 该區塊SAD會將該來源組與該"搜尋組”作比較。該來源 組與茲搜尋組會在整個影像移動，因此該SAD運算會計算 兩個群組之間的重疊。在該來％組中的每個區塊會與每個 搜尋區中的多個區塊作比較。 典型的SAD單元會在兩個16x16元件上作運算，以便將這 些凡件彼此重疊。此種重疊處理會計算16χ16=256個差 異。接著便將其累計以表示出全部的失眞。 該SAD需要特定的基本運算。在該來源\與該搜尋\』必 須有差異二會產生一絕對差異|Xij-Yij|。最後，將其累 計，_=ΣΣ|;4|。 /=0 户〇 經濟部中央標準局員工消費合作社印製 ---:------舞丨 (請先閲讀背面之注意事項再填寫本頁) 訂 圖2所示的係的一基本累計架構。算術邏輯單元2〇〇會從 相連接的資料匯流排198，199接_收乂^义』並且累計xirYij。 反向器202會將該輸出201反向。該反向輸出，及原始輸出 都會傳送到多工器204，該多X器會根雇信號位元205選取 其中一個數値。第二個算術邏輯單元206會將這些組合起 來以形成該絕對數値。最後的數値會儲存在累計暫存器 -6 - 本纸張尺度適用中國國家標準（CNS )八4規格（210X 297公釐) ~" ' —-^ 525388 、發明説明（4) 208。貫'際上，这菩一 , 疋一個減法’絕對俊，軍計運算的手 統，如圖2所示。 系才逑#妁乐 請 先 閱 讀 背 面 之 注 意 事 項 再 填 寫 本 頁 圖2所示的係一個單一 H抑- 平叼SA13计异早兀。如上所述，多個 :早兀可以用以提高該處理能量。如果計算單元數目增 口、# ’理論上’會增加每個循環的畫素處理能量。 :過’本發明人提到，畫素處理能量並非一定與單元數 、泉f生、加。貫際上，每個訊框都會與其鄰近的訊框有 ^關雜。h卜，任—影像的不同成分通常都會與該影像 的其匕成分有關聯。該壓縮的效率與該影像的特性有關。 本應用可以在不同的模式中使用該多個SAD，視壓縮的效 能而定。 - 本>C用所使用的架構如圖3A與3B所示。在圖3A與3B中 使用相同的連接，但是該計算則是以不同的方式來分割。 經濟部中央標準局員工消費合作社印製 圖3A所示的SAD裝置3〇〇，3〇2係裝配成整個Sad。每個' SAD會接收不同的區塊，提供N個區塊SAD計算。實際 上’單元301會對每個畫素去計算一個i6xi6參考與一個 16x16來源之間的關係。單元2，3〇2對每個畫素計算i 6 χ 16來源及16x16搜尋之結果及差異，另外一種方式如齒 3Β所示。在另一實例中，每個單一 Sad裝置300，302會對 一單一區塊SAD作部份計算。該N個計算單元會提供該輸 出的1/N。該”部份SAD”運算的^義是該8位元減法絕對値 累計單元會去計算組成該單元的|全部_ SAD計算的1/N。 如此處所述，整個系統會根據的前面的結果以決定必須 使用全部或是部份。交替進行便可以降低所執行的計算數 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） 525388 A7 B7

五、發明説明（5 ) 目。 其中一種決定必須使用全部或是部份的方法是假設暫時 相鄰的影像具關聯性。第一個循環可以利用全部SAD模式 來計算，而第二個循環則可以利用部份SAD模式來計算。 計算較快的循環便可以設定成該SAD模式。此種計算可以 每X個循環便重複一次，其中X是無法再假設區域暫時關 聯性之後的循環數目。這可以在一邏輯單元中完成，該邏 輯單元執行圖7中的流程圖，如此處所述。 如此處所述，也可以利用’’早期轉出’’的技術提高處理能 〇 對16x16個元素的完整SAD計茗可以表示成丨pir-piS| +丨p + P2S| +…| p256r-p256s|…（1)。如果實際執行所有的計算的 話’該計算將會花費256/N個循環，其中N係SAD單元的數 目。有需要儘快地停止該計算。會對中間的結果進行測 试。這些中間結果係用以決定是否有足夠的資訊以找出最 小的失具。不過，測試的動作必須花費一些循環。 本案所説明的係在所需的循環數與決定最小失眞之間取 得平衡。圖4所示的係利用4個SAD裝置之16\16計算的取 捨。圖4中的直線4〇〇表示的係在沒有早期轉出時的=環計 數。該直線係水平的，表示的係在沒有早期轉出時該循環 計數會是256/4 = 64。 — 早期轉出的循環計數如該_斜線402404，4〇6與4〇8所 示。斜線404表示每16個畫素作一次測試，斜線4〇6表示每 32個畫素（1/8)作一次測試，而斜線4〇8表示每^個畫素 -8-

525388 A7 ______ B7 五、發明説明（6 ) (1/16)作一次測試。要注意的是，當該斜線402—408在直線 400上面的時候，早期轉出實際上已經增加整體失眞計算 的時間。斜線402表示的係當轉出測試沒有經常計算 (overhead)時所耗費的循環數。也就是，當進行測試時， 轉出一定會成功。斜線402是目標。所揭露的適應性早期 轉出技術便是爲了達成此目標。 首先會利用該技藝中熟知的正常方式尋找一最小失眞來 處理區塊I。可以利用測試圖樣，該圖樣可以是該實際影 像的一部份，尋找該失眞。該最小失眞係作爲該底線；並 且假設區塊I+n，其中η相當小，具有相同的最小失眞。使 用到兩個基本的參數。

Kexit (Ν)表示的係在達成早期轉出之前，先前針對某一 搜尋區所處理過的畫素。

Aexit (N)表示的係在針對某一搜尋區最後一次早期轉出 的時候該邵份累計標1己位元（sign bit)的狀態。 對這些區塊I+n而言，當該失眞超過臨界値的時候，便會 停止该SAD計算。這便形成一個利用與該搜尋區有關的前 面資訊的因果（causal)系統。 ‘ 該基於搜尋區内影像特徵的因果系統係隨著時間保持共 同特徵的機率。訊框之間的時間介於1/15與1/3〇秒，通常 對於與可量測系統特徵有關的雜訊之上的時間期間所發生 的最小改變來説都是夠快的。同I地，一通常某一影像中會 有很多區域隨著時間改變還是會保持相同的時間特徵。 根據本案，每個SAD的累計單元都會有_個數値（_最小 -9 - 本紙張尺度適用中國國家標準(CNS) A4規格(21〇X297公釐)

裝 緲 525388 五、發明説明 値/η)’其中”最小値’’表示的係針對該區的區塊動作搜 所量測的最小失眞。對每個搜尋區會計算許多個SI 對該區的第—個SAD計算會將其指定成該"最小値"。後面 的SAD會與此作比較，以觀察是否有新的，，最小値.，。 累計器改變標記時，便達到了最小失眞…卜，這僅：： 用了現存的SAD架構，而沒有針對該測試的額 額外的循環。 反 該影像的特徵測試可以用以決定在建立該早期轉出之前 需要多少個累計器。舉例來説，％果來源與目標係完全同 質（homogeneous)的話，那麼在同—時間中，所有的累 都必須改變一些標記。當這種策象發生時，只要有任何二 個執行中的SAD計算超過之前的最小量測的話，便可以用 以指示某個早期轉出係按順序的。 一不過，前提假設是整個影像的同質性。此種假設並非一 疋成乂。在许多情況中’不同的SAD單元的多個累計器並 不會以相同速率增加。另外，累計器之間的各種增加率會 與來源與目標區塊之間差異本身的空間頻率特徵直接相 關，並且也會與肖資料的取樣方法有關。$可能需要更繁 雜的方式，根據該SAD單元所發生的狀況來決定如何早期 轉出。 其中一種運异係根據關於分離SAD狀態的機率；其中並 非所有的SAD單元都是在相同的散_態。—累計器之間增加率 的至異會與來源與目標區塊之間差異的空間頻率特徵相 關口爲這些全間頻率特徵在時間相似訊框之間也會相 _— __ -10- 本紙張尺a S家料挪姻 525388

關，所以某一訊框的資訊也可以用以作後面訊框的分析。 此處參考:數作說明一其中A〗，A2，〜···&係定義成關 於分離SAD計算的事件。 該事件的定義如下： 事件AeSADi - 〇，其中對於i參」時，sAD< 〇。 概念上，係當SAD單元i爲正數，而其它的SAD單元、爲 負數舉例來説，這可能會發生在該累計器以不同速率增 加的時候。也可以定義成組合事件，具體定義如下：曰 事件 Bi，j=Ai U A广SADi ^ 〇，對 SADj S 0而言，且 其中對於k右i，j時，SADk< 〇。這表示當^轉出而且^爲 具，其L的Ak爲僞的時候，事件By定義爲，，眞，，。以事件 來足義孩運算的概念可以延伸涵蓋所有丨，』與k的可能組 合。對4個SAD單元而言，總共有16種組合。對於更多的 SAD單元而言，會有其它的組合種類，並且可能會利用更 多的變數，例如i，j，k與m或是其它等。 以文字説明的話，每個事件” B”係定義成大於〇的特定累 計器的總和。每個這樣的組合都會定義成一個機率。對4 個SAD單兀而言，總共有16種可能的累計狀態。可以根據 處理的方式將其群組化。 第一種一般機率是 p (B|Αχ η α2 η a3 n A4) = 0. 其意思是假設沒有任何一個累計器超過〇的情況下，該 累计备總和大於0的機率等於〇。 其反向~情況也會成立： Ρ (β|αχ η A2 pi A3 π a4) = 1; -1 1 - Ϊ紙張尺度適用中國國家標準(CNS) A4規格Q10x297公爱)

裝 訂

525388 A7 B7 五、發明説明（9 ) 其意思是假設不做任何設定時，設定所有累計器總和的 機率也會等於1。 除了這些一般的特徵之外，還有14種非一般的組合。第 一個群組含有四種情況，只設定其中一個累計器，其它的 三個不設定： P (B | Αχ u (Α2 η Α3 η α4), Ρ(β| Α2 U (Αι η Α3 η α4), Ρ (Β I α3 u (Αχ η α2 η α4), Ρ (Β IΑ4 u (Αχ η α2 η Α3). 另一個群組則是表示，只設定其中兩個累計器，其它的 兩個不設定。這些組合如下： P(b|ai n a2) u (a3 n a4) P(b|ai n a3) u (A2 n a4) P(b| (Αχ n a4) u (a2 n A3) P(b|a2 n a3) u (Ai n a4) P(b|a2 n a4) u (Ai n a3) P(b|a3 n a4) u(Ai n A2) 最後，下面的群組則是表示，設定三個累計器，另外 一個不設定： ρ(β|αι η a2 n a3) u α4) p(b|a2 η a3 n a4) u Αχ) p(b|ai η a3 n a4) u a2) P(b|ai η a2 n a4) u a3). -12- 本紙張尺度適用中國國家標準(CNS) A4規格(210 x 297公釐） 525388 A7 B7

一:〜一 a n 一《情沉都 每種群組或是每種情況都有不 同 本實例會辨識每個群組 示該影像中的不同情況。 的處理。 本系統操作如上所述，參考圖5中的流程圖作說 b 終目標是芫成該計算，並且從而迅速轉出。如圖5所二瑕 先會在550決定兩個影像的匹配特徵；來源影像與搜：： 像。不需要任何早期轉出便可以計算該匹配特徵。在寸二 會發現該最小失眞，並且當該最小失眞存在時， 發現該條件。 ^ 在560的條件包括存在於該最小失眞時的群組種類， 是介於該14種可能情況中的特定條件。 ^ 在570會測試後面的影像成分。該後面成分可以是任何 與該測試成分相關的成分。因爲假設時間關聯的影像都^ 關聯的，所以可以延伸至任何時間關聯的成分。 μ 會對該影像來源與搜尋作測試，並且在575中會在該最 小失眞的時候決定該特定群組。接著，在58〇會建立一早 期轉出。 一旦決定之後，便可以以各種不同方式來執行該早期轉 出。 圖6a所示的係一種利用早期轉出或是” EE，，旗標以執行該 早期轉出的系統。圖中有N個SAD單元，在此實例中，1^等 於4。每個SAD單元包括上述的架構，明確的是alu，反向 器，及累計器。 母個累计器的輸出會連接到一組合邏輯單元600，該單 -13- 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐） 525388 A7

::排::〗該輸出。這可以用以執行上述的群 來說，4組合邏輯單开、 、，°' 舉例 離邏輯閘製作而成’以硬體疋義語言所定羲的分 處理。^根據^的選項對⑼的影像與成分作 ，對每個選項而言，各種狀態的組合，舉例來說 群組’都會進行編碼。該組合邏輯會監 ug 累計器。每個狀態都會輸出到一多工器中。有AD早-的 當這些累計器達到某個所選取的編碼狀態時， 一早期轉出旗幟。該早期i m 定出個、…" 幟所指的係該硬體已經決 疋出-個適當的，•配對（fit)、這可以讓該操作轉出。 圖6B所不的係另外-種系統’在該系統中，硬體狀能暫 存_感測該累計器的狀態。該狀態暫存器會= 计备的條件設定成—特定狀態。該狀態暫存器會儲存表于 該早期轉出的該特定條件。當達到該特定條件的時候，便 建立了該早期轉出。 整體而言，圖7所示的係該適應性早期轉出。嗜視訊訊 框起始於700。705表示對訊框M與訊框M+1作緩=。舉例 來説，710可以藉由從前一個訊框更新開始對時間作監控 以決定。舉例來説，X秒可以當作必須作更新時的前置時 間。 * 如果必須更新該模型的話，那麼在715可以藉由在該累 計器中載入OxFFOl並且設定該區域變數Ν==1以持續該程 序。在720 ’該系統會取仵SAD搜尋區Ν並且利用該週期性 -14-

525388 A7

的轉出測試Texit=i/i6…，在725便备勃；今絲 ^ . 仏 從s執仃该轉出測試❶如 果成功的話’便會還原轉出之前的畫素，區域變數 KexiUN)，以及轉出之前的累計器i至4的總和，心沾⑺）。 該區域變數η也會在步驟730遞增。這便可以建立該區域參 數’並且持續該程序。 在後面的循環中，不需要在步驟71〇中重新進行更新區 塊歷史資料，並且控制傳遞給步驟735。在此步驟中，會 讀取前面所儲存的Kexit與Aexit。在步驟740，這可以當二 新的計數使用以設定目標區塊旗幟。 在步驟745，會對區塊N作搜尋，在步騾75〇會更新 與Kexit。N會遞增。在步驟755 ,會決定N是否等於刊？。 因為在一個352x288的影像中，共有396個16χ16的區塊， 因此397係作為該緩衝器中的訊框數目。不過，針對不同 的應用必須調整不同的大小。 再/人，某個影像的大部份時間變數都可能保持不變。因 此，當該部伤累计器具有一特定的標記位元時，它們的狀 態會產生很大的優點。另外，訊框之間的時間通常都是在 1/1 5到1/30秒之間。最後，在該影像内的區域會保持其區 域化的特徵，因此它們的空間頻率會相關聯。 雖然僅僅揭露部份實例，但是可以有其它的變化。 -15- 本紙張尺度適用中國國家標準(CNS) Α4規格(210 X 297公釐)

Claims (1)

1. 525388 •一種影像處理裝置，包括多種影像操作裝置，每個裝置 係用以決定兩個影像成分之間的相似度；及 一模式切換元件，用以架構該每個影像操作裝置以決 疋第一模式中的全部計算，並且用以架構該每個影像操 作裝置以決定第二模式中全部計算的一部份。 2·如申請專利範圍第1項之裝置，其中該影像操作係絕對 差異和SAD，，）裝置。 3·如申請專利範圍第2項之裝置，其中該第一模式係全部 SAD模式’其中每個SAD會接收不同的區塊與來源區 段’並且計算該全部區塊與該全部來源之間的差異。 4·如申請專利範圍第3項之裝置，其中該SAD會對每個畫素 去冲算一個16x 16參考與一個16χ 16來源之間的差異。 5·如申請專利範圍第2項之裝置，其中該第二模式中的每 個SAD只會執行單一區塊SAD計算的一部份。 6·如申請專利範圍第5項之裝置，其中總共有n個該Sad， 而每個該N個計算單元會提供全部輸出的1/N。 7·如申請專利範圍第1項之裝置，還包括一測試元件用以 決定並且選取該第一模式或是該第二模式。 8·如申請專利範圍第4項之裝置，其中在該第一模式中， 該單元會計算全部16x 16參考與該16x 16來源之間的關 係，而在该第二模式中，該單元則只會計算其中一部 9·如申請專利範圍第1項之裝置，還包括一邏輯單元用以 偵測哪個模式應該產生所需要的結果，並且配置該模式 本纸張尺度適用中國國家標準(CNS) A4規格(210 X 297公

   525388 的計算方式。 1〇·一種失真計算裝置，包括； 多個絕對差里& 3門&入.、和裝置，母個係用以計算兩個影像成分 之間的全邵失真；及 ^算刀¥lj兀件用以根據兩個影像成分的特徵在該鍵 對至关和裝置之間作計算分割。 ❹申請專利範圍第1G項之裝置，其中該計算分割元件伯 :換兀件用以在不同的結構之間作切換，其中該不艮 、、、，· ί差/、和裝置會計算不同數量的全部輸出計算。 12·如申請專利範圍第1〇項之裝置，其中總共有ν個:對差 -和裝置’在第一模式中，每個該絕對差異和裝置會到 算全部計算的1/Ν。 13·如申請專利範圍第"項之裝置，還包括一邏輯單元用以 決定適當的運算模式。 14·如申請專利範圍第1〇項之裝置，還包括一邏輯單元用以 決定該特徵，並且根據該特徵控制該計算分割元件。 15·如申請專利範圍第14項之裝置，其中該計算會作分割， 以便可以以單一的絕對差異和裝置來執行某一個計算。 16·如申請專利範圍第14項之裝置，其中該計算會作分割， 以便可以以單一的絕對差異和裝置來執行某一個計算的 一部份。 17·—種影像處理方法，包括； 同時計算多個影像失真計算裝置中的影像失真；及 組織該影像失真計算裝置，其中在第一模式中，每個 -2 - 本纸張尺度適用中國國家標準(CNS) Α4規格(210X297公釐)

   裝

   525388

   、申請專利範圍 ABCD 裝置會執行全部計算，； 會執行部份計算。 巾，每個裝置則只 18:t請專利範圍第17項之方法，還包括在該第一裝置中 行王部汁才，以表不來源區塊與搜尋區塊之間的失 真。 没如申：專利範圍第17項之方法，還包括測試以決定第一 或疋第一板式的操作何者比較有效，並且根據該測試配 置該多個裝置到該第一或是第二模式中。 2〇·—種影像處理方法，包括： 以多個分離式的裝置計算兩個影像成分之間的差異；及 ，組$該裝置，其中在第一模式中，每個裝置會執行全 部计算，而在第二模式中，每個裝置則只會執行部份計 算。 21.如申請專利範圍第2〇項之方法，其中該裝置係絕對差異 和裝置。 22·—種計算裝置，包括： 一視訊裝置用以產生輸出視訊信號； 多個絕對差異和（”SAD”）裝置，每個都具有一個減法 裝置’一個絕對值裝置，以及一個累計器，相連接以接 收該視訊信號；及 一模式變換裝置，變換至第一模式，其中每個SAD裝 置會計算該視訊信號的兩個影像成分之間的差異，以及 切換至第二模式，其中每個SAD裝置只會計算該視訊信 號全部的1/N。 -3- 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐) 525388 8 8 8 8 A B c D r、申請專利範圍 23.如申請專利範圍第21項之裝置，其中該視訊裝置係一視 訊相機。 -4- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)