TWI521950B - 用於視訊處理之移動估計之方法及裝置 - Google Patents

Description

用於視訊處理之移動估計之方法及裝置

本發明是有關於一種移動估計之方法及裝置，且特別是有關於使用高精確度移動估計之一種移動估計之方法及裝置。

由國際標準組織ITU-T(International Telecommunication Union)以及ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)所共同制定的H. 264/AVC(AVC：Advanced Video Coding)視訊壓縮標準達成高縮壓比的結果並因此廣泛地為多種應用所使用，例如：藍光光碟、IPTV(Internet Protocol Television)、HDTV(High Definition Television)廣播等。此壓縮標準使用兩種預測方法以預測目前要進行編碼的巨區塊的畫素。一種是畫面內(intra)預測，其利用相鄰巨區塊之間的空間相關性去預測目前要進行編碼的巨區塊的畫素。另一種是畫面間(inter)預測，其利用接續的多個畫面之間的時間相關性去預測目前要進行編碼的巨區塊的畫素。而移動估計係為每一個要進行編碼的巨區塊從上一個面畫中找出最佳匹配區域之方法，並產生對應的移動向量。移動估計除了針對整數值的畫素進行之整數移動估計以外，進一步進行高精確度移動估計，其能達成例如1/2及1/4畫素的精確度。

雖然畫面間預測為壓縮效果帶來許多的貢獻，但是代價是需要大量的計算時間。例如，H. 264/AVC提供多種不同大小的區塊模式以進行移動估計，故此移動估計佔去編碼時間中約60%至90%的時間。再者，在H. 264的參考軟體之中，為了要得到最佳區塊模式，針對所有區塊模式進行全域搜尋，並分別進行整數移動估計及高精確度移動估計。如此，H. 264之編碼運算複雜度比之前移動估計採用固定巨區塊大小的如MPEG-1或MPEG-2之視訊標準來得高很多。對於需要實時編碼的應用，如實現在手持裝置上進行攝錄的應用，就會耗費大量運算資源或需要高效能的處理器去進行編碼，從而增加實現編碼器的成本。

以下揭露內容係有關於一種移動估計之方法及裝置，適用於需要針對多種區塊大小進行不同精確度的移動估計之視訊編碼過程中。一實施例提供一種移動估計之方法，用以減少所需進行的高精確度移動估計的模式的數量，如此可以增進整體之高精確度移動估計的效率。另一實施例提供一種移動估計之方法，用以減少於進行高精確度移動估計時搜尋位置的數量，如此可以減少運算資源的使用或以較少的硬體資源以實施。再者，利用前述實施例得出所需進行的高精確度移動估計的模式之數量減少之情況下，更可於進行各個高精確度移動估計時以實施例之較少的搜尋位置進行估計。如此，更可減少整體編碼的複雜度及運算時間。

根據本揭露之第一方面，提出一種移動估計之方法，此方法包括以下步驟。在移動估計之過程中：對於一巨區塊執行整數移動估計以產生複數個移動向量。至少依據此整數移動估計所得出的一部分之這些移動向量且此部分之移動向量對應到複數個區塊模式，藉由判斷各個這些區塊模式之整數移動向量是否皆實質上等於此區塊模式之較上層模式之整數移動向量，決定是否要執行或忽略此區塊模式之高精確度移動估計，其中此區塊模式之較上層模式所對應之區塊大於此區塊模式。如此，所需進行的高精確度移動估計的模式的數量可得以減少。

根據本揭露之第二方面，提出一種移動估計之方法，此方法包括以下步驟。在移動估計之過程中：依據一預測移動向量之方向，執行一第一高精確度之移動估計以找出一第一高精確度之最合適位置。以及依據此預測移動向量之方向以及此第一高精確度之最合適位置，執行一第二高精確度之移動估計以找出一第二高精確度之最合適位置，其中第二高精確度之移動估計的精確度(accuracy)係高於第一高精確度之移動估計的精確度。如此，進行高精確度移動估計時搜尋位置的數量可得以減少。

根據本揭露之第三方面，提出一種具有移動估計之裝置，包括一移動估計單元及一控制單元。移動估計單元，在移動估計之過程中，對於一巨區塊執行整數移動估計以產生複數個移動向量。控制單元，用於至少依據從移動估計單元所得出的一部分之這些移動向量且這部分之移動向量對應到複數個區塊模式，判斷各區塊模式之整數移動向量是否皆實質上等於此區塊模式之較上層模式之整數移動向量，並據以選擇性地控制此移動估計單元執行或忽略此區塊模式之高精確度移動估計，其中此區塊模式之較上層模式所對應之區塊大於此區塊模式。

根據本揭露之第四方面，提出一種具移動估計之裝置，包括一整數移動估計單元及一高精確度移動估計單元。高精確度移動估計單元，在移動估計之過程中，回應於此整數移動估計單元所產生之一整數移動向量，用以對此整數移動向量精細化(refinement)。此高精確度移動估計單元依據一預測移動向量之方向，對於此整數移動向量，執行一第一高精確度之移動估計以找出一第一高精確度之最合適位置。此高精確度移動估計單元依據此預測移動向量之方向以及此第一高精確度之最合適位置，執行一第二高精確度之移動估計以找出一第二高精確度之最合適位置，其中此第二高精確度之移動估計的精確度係高於此第一高精確度之移動估計的精確度。

為了對揭露之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

以下揭露之實施例之說明中，係舉H. 264作為範例性之說明，然而，其亦可應用於基於H. 264之其他視訊標準之實現之中，例如是可調性視訊編碼(Scalable Video Coding，SVC)，或是應用於儲存媒體，如藍光光碟(Blu-ray disc)，高品質視訊光碟(HD-DVD)，或是電視廣播如高畫質電視或基於網路協定電視(IPTV)。故此，揭露之各實施例可適用於各種視訊處理場合之中，亦用以實現於各種運算裝置、手持裝置或視訊處理裝置之中。

第一實施例

第一實施例提供一種移動估計之方法，可用以減少所需進行的高精確度移動估計的模式的數量。此實施例在移動估計進行高精確度移動估計階段時，至少依據整數移動估計所得出的部分移動向量，進行比較，以決定所需要執行的高精確度移動估計的模式。故此，所需進行的高精確度移動估計的模式的數量就得以減少，並因此增進整體之高精確度移動估計的效率。

此實施例適用於使用可變區塊大小的移動估計(variable block-size motion estimation)之視訊編碼中。如H. 264/AVC(以下簡稱H. 264)為例，其允許於一16x16的巨區塊中作不同大小的區塊分割而形成不同的區塊模式，共提供了7種不同大小的區塊模式。如第1圖所示，區塊模式可分為巨區塊分割型態(macroblock types)與8x8分割型態(sub-macroblock type或8x8 types)。巨區塊分割型態包含了：16x16、16x8、8x16與8x8的區塊模式。而8x8分割型態則包含了8x8、8x4、4x8與4x4的區塊模式。

第2圖為以硬體實現移動估計之一種方式，移動估計之整數移動估計(integer motion estimation，IME)及高精確度移動估計(fractional motion estimation，FME)分別以兩級電路來實現，如IME單元210及FME單元220，並例如以兩管線級實現。當然在其他例子中，亦可採用其他方式實施。IME單元210用以依據可變區塊大小移動估計方式(variable-block-size motion estimation，VBSME)，對於一個巨區塊產生含有上述7種區塊模式共41個整數移動向量(integer motion vector，IMV)之後，FME單元220依序對於每一個區塊模式的移動向量進一步的提高其精確度，即精細化這些移動向量。最後，經過FME單元220處理後，具有最小成本的模式會被選為編碼之最合適的模式。

而依據第一實施例之方法應用於第2圖之移動估計電路的意義在於，FME單元220需要執行哪些區塊模式，係至少依據IME單元210所得出的部分移動向量，經過比較而決定。故此，FME單元220並不需要對所有整數移動向量IMV進行全部的模式之高精確度移動估計。如此，高精確度移動估計所需的運算時間及運算資源能得以減少。以電路來實現FME單元220時，能簡化電路複雜度。

第3圖所示為一視訊編碼器之部分電路方塊圖之一例子。移動估計單元200係依據如第2圖所示之架構實現，以產生最合適的移動向量MVB。控制器100從移動估計單元200得到部分的整數移動向量，並至少依據此些整數移動向量決定移動估計單元200需要執行哪些區塊模式之高精確度移動估計。控制器100例如是藉由至少一控制訊號CS控制移動估計單元200。

以下舉例說明依據本實施例之方法如何至少依據整數移動估計所得出的部分移動向量，進行比較，以決定所需要執行的高精確度移動估計的模式。

在H. 264中，碼率失真成本或簡寫為RDcost(rate-distortion cost)可據以作為決定成本最小的模式的條件。碼率失真成本RDcost可以表示為：λ*bit_len(mvd)+SATD，其中λ係由量化參數所決定，而bit_len(mvd)代表移動向量差異(motion vector difference，mvd)之編碼位元數，SATD表示絕對轉換差異之和(sum of absolute transformed difference)。而本實施例針對H. 264，則應用如下的觀點以定出模式決定的條件，來減少冗餘的模式之移動估計。一者是，若兩模式的整數移動向量是實質上相同則此模式的SATD是相當接近的，其中實質上相同(或相等)係指兩者相同，例如是兩移動向量的坐標值皆相同，或可視為兩者之差異在一預定的範圍內，例如是兩移動向量之坐標值(至少x與y座標值之至少一者)之差值在一或兩個畫素的範圍內，此範圍可隨實際應用的需要而定義或設定。另一觀點是，一模式的移動向量係很有可能趨近於其較上層區塊。例如，請參考第1圖，模式2(即16x8的區塊模式)之分割0視為模式4(即16x16分割為4個8x8的區塊模式)之分割0或1之上層區塊，後者所對應的移動向量通常都是趨近於前者的移動向量。故此，以下舉兩個例子說明依據第一實施例之移動估計方法。

請參考第5圖，依據第一實施例之移動估計方法之一第一例之流程圖。在進行移動估計時，如步驟S100所示，對於一巨區塊執行整數移動估計，例如是前述H. 264之7個區塊模式以產生相對應的複數個整數移動向量。接著，如步驟S500所示，執行依本實施例之一高精確度移動估計之方法，至少依據整數移動估計所得出的部分移動向量，判斷一模式之整數移動向量是否皆實質上等於其較上層模式之整數移動向量，以決定是否要執行此模式之高精確度移動估計。另外，以H. 264為例，模式之定義請參考第1圖及第4圖，模式1至3分別代表16x16、16x8與8x16的3種區塊模式；而模式P8x8即代表前述的8x8分割型態，每個8x8的區塊及其分割可以產生其有4種不同大小的區塊，如8x8、8x4、4x8與4x4，第4圖模式P8x8所示為分割0至8之一巨集區塊，其中對於一模式之一分割n的整數移動向量可簡稱為IMVn。

第5圖中之高精確度移動估計之方法包括如下步驟。如步驟S510所示，執行模式1之高精確度移動估計。之後，執行步驟S520，決定模式2及模式1的整數移動向量是否實質上相同。亦即，判斷模式2之分割0及1之整數移動向量(即IMV0及IMV1)是否實質上皆等於模式1之整數移動向量(即IMV0)。若否，則如步驟S525所示，執行模式2之高精確度移動估計，即對模式2之整數移動向量進行高精確度移動估計，例如以移動估計單元200之FME單元220對模式2之兩個整數移動向量IMV0及IMV1進行精細化(refinement)。並於步驟S525結束後執行步驟S530。若步驟S520的判斷結果為是，則表示可以忽略步驟S525。

此例之方法繼續進入步驟S530，以決定模式3及模式1的整數移動向量是否實質上相同。亦即，判斷模式3之分割0及1之IMV0及IMV1是否實質上皆等於模式1之IMV0。若否，則如步驟S535所示，執行模式3之高精確度移動估計，並於步驟S535結束後執行步驟S540。若步驟S530的判斷結果為是，則表示可以忽略步驟S535。

此例之方法繼續進入步驟S540，以決定模式P8x8的整數移動向量是否實質上等於模式1、2或3之整數移動向量。若否，則如步驟S545所示，執行模式P8x8之高精確度移動估計。若步驟S540的判斷結果為是，則表示可以忽略步驟S545。另外，步驟S540之判斷條件例如為滿足如下條件1、2及3之一者。條件1：模式P8x8之IMV0至IMV8皆等於模式1之IMV0。條件2：模式P8x8之IMV0至IMV2皆等於模式2之IMV0，且模式P8x8之IMV3至IMV8皆等於模式2之IMV1。條件3：模式P8x8之IMV0、IMV3及IMV4皆等於模式3之IMV0，且模式P8x8之IMV1、IMV2、IMV5至IMV8皆等於模式3之IMV1。此外，為了減少需要執行高精確度移動估計的模式，在一例子中，對次步驟S540中的模式P8x8的整數移動向量，可以只取用從一巨區塊所分割出來的4個8x8的區塊中每個8x8的區塊之8x8分割型態之中(即8x8、8x4、4x8及4x4的模式)最佳模式(即對應之RDcost最低)之整數移動向量。故在步驟S540中，只需要至少4個IMV，最多有16個IMV來作為比對的依據，而且比對時，只需要比較最佳模式的IMV，沒有取用的模式可以不納入條件1、2或3中。例如，假設模式P8x8的整數移動向量係為4個8x8的區塊模式的IMV0，若此4個模式P8x8的IMV0皆等於模式1之IMV0，即條件1被滿足，至於IMV2至IMV8並不是最佳模式的IMV，故不用比對。另外，假設模式P8x8的整數移動向量係為2個8x8的區塊模式的IMV0、1個4x8的區塊模式的IMV3及IMV4、1個4x4的區塊模式的IMV5至IMV8，若此例之IMV0與模式2的IMV0相同，而且IMV3至IMV8皆同等於模式的IMV1，亦即條件2得以滿足。其他情況可依此類推，故不再贅述。

於步驟S540或S545結束後，移動估計方法更可依據在步驟S500中所得之高精確度移動向量以及已知的整數移動向量，找出合適的區塊模式及移動向量。例如，H. 264之移動估計方式，根據碼率失真成本以找出最合適的區塊模式及移動向量。

經過模擬測試幾個示範性的視訊檔案(如akiyo、news、silent、foreman、mobile)，本實施例之第一例藉由減少所需進行的高精確度移動估計的模式的數量，可以減少高精確度移動估計所需要的時脈週期數，約可減少H. 264之參考軟體之60%的時脈週期數。此外，亦可達成與H. 264之參考軟體相似的品質。

請參考第6圖，依據第一實施例之移動估計方法之一第二例之流程圖。此例子與第5圖之主要異差在於：如步驟S600所示之一高精確度移動估計之方法，除了至少依據整數移動估計所得出的部分移動向量，進行比較以外，更進一步考量移動向量差異之編碼位元數，亦即依據一模式及其較上層模式之間整數移動向量IMV及移動向量差異成本mvd_cost之關係，以決定是否要執行此模式之高精確度移動估計。移動向量差異成本mvd_cost即前述碼率失真成本RDcost=λ*bit_len(mvd)+SATD中之λ*bit_len(mvd)。

第6圖中之高精確度移動估計之方法包括如下步驟。如步驟S610所示，判斷模式2及模式1的整數移動向量是否實質上相同，而且模式2之移動向量差異成本是否大於模式1之移動向量差異成本(mvd_cost(mode2)>mvd_cost(mode1))，其中modeN即代表模式N，N為正整數。若否，則如步驟S615所示，執行模式2之高精確度移動估計，並於步驟S615結束後執行步驟S620。若步驟S610的判斷結果為是，則表示可以忽略步驟S615。

此例之方法繼續進入步驟S620，判斷模式3及模式1的整數移動向量是否實質上相同，而且模式3之移動向量差異成本是否大於模式1之移動向量差異成本(mvd_cost(mode3)>mvd_cost(mode1))。若否，則如步驟S625所示，執行模式3之高精確度移動估計，並於步驟S625結束後執行步驟S630。若步驟S620的判斷結果為是，則表示可以忽略步驟S625。

此例之方法繼續進入步驟S630，判斷模式1及模式2的IMV是否實質上相同且模式2之FME已執行，或是模式1及模式3的IMV是否實質上相同且模式3之FME已執行。若否，則如步驟S635所示，執行模式1之高精確度移動估計，並於步驟S635結束後執行步驟S640。若步驟S630的判斷結果為是，則表示可以忽略步驟S635。

如步驟S640所示，判斷模式P8x8的整數移動向量是否實質上等於模式1、2或3之整數移動向量。若否，則如步驟S645所示，執行模式P8x8之高精確度移動估計。若步驟S640的判斷結果為是，則表示可以忽略步驟S645。此處之步驟S640及S645與第5圖中之步驟S540及S545相似，其他情況可依此類推，故不再贅述。

於步驟S640或S645結束後，移動估計方法更可依據在步驟S600中所得之高精確度移動向量以及已知的整數移動向量，找出合適的區塊模式及移動向量。例如，H. 264之移動估計方式，根據碼率失真成本以找出最合適的區塊模式及移動向量。

上述第6圖之第二例因為更考量移動向量差異成本作為判斷條件，更能在減少運算資源之同時達成與參考軟體相似的傳輸率(bit rate)。在硬體實作時，第一實施例之兩個例子時，需要增加判斷電路，如以比較器或加法器，或邏輯電路實施。例如，請參考第3圖，可以於控制器100中實施有關的判斷電路。此外，在此例子中，若實現步驟S540時，模式P8x8的整數移動向量係採用最佳模式之整數移動向量的話，則只需要傳輸較少數量的IMV至控制器100，便可以依據本實施例，以控制移動估計單元200決定要執行或是忽略哪些高精確度移動估計的模式，從而增進高精確度移動估計的效能。控制器100可以實作為獨立的電路或是一視訊處理器如編碼器或視訊傳輸裝置之中的控制電路，如編碼控制器。

第二實施例

第二實施例提供一種移動估計之方法，用以減少於進行高精確度移動估計時搜尋位置的數量。此實施例在移動估計針對一整數移動向量進行高精確度移動估計之過程中，第一輪首先依據預測移動向量之方向來產生第一高精確度的搜尋位置，找出第一高精確度的最合適位置後，更據此預測移動向量之方向及最合適位置進一步精細化，產生第二高精確度的搜尋位置，以找出其中第二高精確度的最合適位置。如此可提升高精確度移動估計的效率，減少運算資源的使用，或能以較少的硬體資源以實施高精確度移動估計。

請參考第7圖所示之依據第二實施例之一種移動估計之方法之一流程圖。此方法係用以對一整數移動向量，進行高精確度移動估計以提高其精確度，即精細化此整數移動向量，例如具有最小整數移動估計成本之一整數移動向量。以下舉例以一整數移動向量的坐標點作為一整數位置，作為進行高精確度移動估計之開始點(亦可視為原點)，如第8圖之開始點P800。在第7圖中，如步驟S710所示，取得一預測移動向量(predicted motion vector)PMV，其基於目前編碼之巨區塊之鄰近的巨區塊之移動向量而決定，例如H. 264之預設會產生的預測移動向量。接著，如步驟S720所示，依據此預測移動向量之方向，產生數個第一高精確度之搜尋位置，其中第一高精確度例如為1/2畫素，而這些第一高精確度之搜尋位置皆為離此方向較近的第一高精確度之位置。例如，第8圖中之箭號A10代表預測移動向量之方向為向右上，在此方向上離此方向較近的1/2畫素之位置如正方形所代表之3個點作為1/2畫素之搜尋位置。

如步驟S730所示，對這些第一高精確度的搜尋位置及此整數位置，執行FME以找出其中第一高精確度的最合適位置，其中FME係如以平行處理方式達行。例如，依照H.264，利用FME單元計算3個1/2畫素之搜尋位置以及開始點P800之碼率失真成本，找出其中成本最小者作為第一高精確度的最合適位置如位置P810。以如步驟S740所示，基於第一高精確度的最合適位置及此預測移動向量之方向，產生複數個第二高精確度(例如為1/4畫素)的搜尋位置，而這些第二高精確度之搜尋位置皆為離此預測移動向量之方向及此整數位置較近的第二高精確度之位置。例如在位置P810附近，較接近此預移動向量之方向(實際上靠右上方向)及此整數位置(即位置P800)的第二高精確度之位置(即4個三角型所代者的位置)。

如步驟S750所示，對這些第二高精確度的搜尋位置，執行FME以找出其中最合適之第二高精確度位置，其中FME係如以平行處理方式達行。例如，最合適之第二高精確度位置為位置P820。

在上述步驟S720中，依據此預測移動向量之方向所產生之數個第一高精確度之搜尋位置皆為離此方向較近的第一高精確度之位置。在一例子中，搜尋位置例如第9A至9D圖所示，可分別預先設定4種可能情況，依預測移動向量之方向如其坐標方向(x-dir,y-dir)之正負號：(+,+)、(+,-)、(-,-)、(-,+)分為情況1至4。在步驟S720中，可以依預測移動向量之方向，從4種情況中找出對應的一個預定的搜尋方向即右下、右上、左上及左下(如其中箭號所示)，以及數個(如3個或2個)相對應第一高精確度之搜尋位置，此3個位置皆離此方向較近，且與開始點相距第一高精確度的座標位置，如H. 264中所需的1/2畫素。

此外，在步驟S740中，基於第一高精確度的最合適位置及此預測移動向量之方向所產生的複數個第二高精確度的搜尋位置皆為離此預測移動向量之方向及此整數位置較近的第二高精確度之位置。此例之作法可稱為調適性的基於方向的(adaptive and direction-based)位置搜尋，例如，第10A至10C圖分別說明3種情況。

情況1為前述步驟S730所找出之第一高精確度的最合適位置為原點P800時，則第二高精確度的搜尋位置可設為原點P800之上下左右且與開始點相距第二高精確度的座標位置，如H. 264中所需的1/4畫素，(1/4,0)、(0,1/4)、(-1/4,0)及(0,-1/4)。

在第10B圖示意情況2時，第一高精確度的最合適位置P730不為原點P800時，則第二高精確度的搜尋位置可從5個1/4畫素的位置中(如三角形所示)基於一更新的預測方向A110而選取。此更新的預測方向A110係基於位置P730及前述此預測移動向量之方向A100而得。從第10B圖中可見，由於更新的預測方向A110表示更精確的搜尋位置應出現在離此預測移動向量之方向A100及此整數位置P800較近的第二高精確度之位置：即(1/4,-1/2)、(1/4,-1/4)、(0,-1/4)及(-1/4,-1/4)，亦即空心的三角形所示的位置。如此類推，若更新的預測方向A110偏向左下，則選取偏左邊的四個位置：即(-1/4,-1/2)、(-1/4,-1/4)、(0,-1/4)及(1/4,-1/4)。其他的最合適位置P730落在通過原點之x或y軸時，可依此類推，第二高精確度之位置如落入在第10B圖中的粗黑線P10B所示的可能位置之中。

在第10C圖示意情況3時，第一高精確度的最合適位置P730位置如第10C圖所示的正方形之位置時，其選取第二高精確度的搜尋位置與第10B圖之情況2相似，可依此類推，故不再贅述。第二高精確度之位置如落入在第10C圖中的粗黑線P10C的可能位置之中。

再者，第二實施例之上例子說明中，皆以4個第一或第二高精確度的搜尋位置為例進行高精確度移動估計以找出其中的最合適位置。但本實施例並不以此為限，其他的例子中，依第二實施例之基於預測移動向量之方向的高精確度移動估計在步驟S720(或步驟S740)中產生其他數目如3、4或5之個數之搜尋位置。另外，本實施例亦不限定於第一及第二高精確度分別為1/2及1/4畫素，其他可能的高精確度如1/3及1/6或1/8畫素亦可應用。此外，在其他例子中，第7圖之流程亦可進一步相似地重覆S740及S750以再進行一次精細化。此外，第一或第二高精確度的搜尋位置的選取亦可改以其他方式得到，這些第一高精確度之搜尋位置皆為離此預測移動向量之方向較近的第一高精確度之位置，而複數個第二高精確度的搜尋位置皆為離此預測移動向量之方向及此整數位置較近的第二高精確度之位置。

另外，依據本實施例，可以實現一種高精確度移動估計之裝置。請參考第11圖，其為依據本實施例之一高精確度移動估計單元1000之架構方塊圖，高精確度移動估計單元1000包括高精確度移動估計裝置1100及模式決定電路1170及記憶體1180如緩衝器。高精確度移動估計裝置1100例如依據上述第7圖之高精確度移動估計之方法以硬體實現。預測移動向量產生裝置910接收目前之巨區塊CB之鄰近巨區塊的移動向量(MV)產生預測移動向量PMV以實現步驟S710。搜尋位置產生裝置1120依據預測移動向量PMV以及藉由內插裝置1110產生適合的搜尋位置，以實現S720。搜尋位置產生裝置1120，例如依據第9A至9D圖之方式以數位電路、邏輯電路或以查表或韌體實現，依據預測移動向量之座標，判斷要選用哪一種情況及對應之方向及搜尋位置。當依據這些搜尋位置進行高精確度移動估計時，高精確度移動估計裝置1100需要讀取參考畫面之畫素RB及目前巨區塊之畫素CB。高精確度移動估計裝置1100之殘差計算電路1130、哈達碼轉換裝置(Hadamard transform，HT)1140如實現4x4之哈達碼轉換，以及累計器(accumulator，ACC)1150，則依據如H. 264之標準，進行高精確度移動估計，計算出各個搜尋位置所對應的成本，如RDcost，其中殘差計算電路1130讀取目前巨區塊之畫素CB並與搜尋位置產生裝置1120所產生的搜尋位置作比較產生殘差(residue)給HT1140並可輸出殘差資料。HT1140共有4個，對應到4個搜尋位置，並且以平行方式運算，並配合ACC1140，可以得出各個搜尋位置的SATD。另外，再配合移動向量成本計算電路920輸出mvd_cost，達成了各個搜尋位置之RDcost的計算。接著，藉由比較電路1160，找出當中成本最小的搜尋位置。如此實現了步驟S730。此外，搜尋位置產生裝置1120接收比較電路1160輸出的第一高精確度的最合適搜尋位置並依據預測移動向量PMV，產生第二高精確度的搜尋位置，以實現步驟S740。例如，搜尋位置產生裝置1120可以依據第10A至10C圖所示，依據前述條件以電路判斷或查表或計算以選取適用的搜尋位置。接著，高精確度移動估計裝置1100如上述般實現步驟S750。最後輸出第二高精確度的最合適搜尋位置到模式決定電路1170，其依據之前所得到整數移動向量及高精確度移動向量以及成本等之參數決定最合適的區域模式，並輸出到記憶體1180之中。如此，可以輸出例如最佳移動向量MVB、最佳模式及最小SATD之資料供視訊處理如編碼之用。

另外，在實現H. 264時，預測移動向量PMV為視訊系統標準中必須產生的，故若在視訊處理器能提供之情況之下，就不必另外由高精確度移動估計單元1000自行產生，故此，在其他實現方式中，預測移動向量產生裝置910及移動向量成本計算電路920之至少一者可視為實施例在高精確度移動估計單元1000以外的電路，或是不必實現於高精確度移動估計單元1000之內，直接從視訊處理器之其他部分讀取即可。另外，在其他實施例中，在第11圖中之HT1140及ACC1150可以使不同組數如3或5組對應到每次作FME時3或5個搜尋位置。

此外，雖然本實施例以H. 264作為範例性說明，但是，其他需要進行高精確度移動估計的場合或其他視訊處理亦可利用本實施例以執行。在其他視訊處理中，若不並採用哈達碼轉換者可改採其他轉換或最合適搜尋位置之成本計算，只要其實施時依基於預測移動向量為產生搜尋位置之高精確度移動估計其中更再調適性的基於預測移動向量進一步精細化搜尋位置的話，皆可視為本實施例之實現範疇之內。

第三實施例

第三實施例係在前述之第一實施例得出所需進行的高精確度移動估計的模式之數量減少之情況下，在進行各個高精確度移動估計時，如第5圖之步驟S510、S525、S535及S545以及第6圖中如步驟S610、S625、S635及S645，以第二實施例之較少的搜尋位置進行估計。如此，更可進一步減少整體編碼的複雜度及運算時間，以達成更佳的效能。請參考第2圖及第3圖，依第三實施例之下，可視為將第一實施例實現於控制器100之中，而移動估計單元200則包括有如第2圖之架構，而FME單元220則可依照第二實施例之方式實施。

其他實施例

此外，上述第一實施例及第二實施例之實施方式，其可單獨實施。也就是說，在實施第一實施例時，高精確度移動估計之執行如步驟S510或S610所示者，可以採用第二實施例以外之其他方式實施。另外，在實施第二實施例時，亦可配合其他第一實施例以外的方式以減省所需要的模式或是全部模式皆執行，又或者是以一獨立的高精確度移動估計單元或是包括整數移動估計及高精確度移動估計的移動估計裝置來實施第二實施例。上述的各個本揭露之實施例之方法或硬體實作，不論是個別或聯合的方式皆視為本揭露所卻揭示的實施範疇之內。

另外，本揭露上述之方法除了上述的硬體結構實施以外，亦可利用如處理器、數位訊號處理器、數位視訊處理器實施，或是以可程式化的集積電路如微控制器、元件可程式邏輯閘陣列(FPGA，Field Programmable Gate Array)之類的電路來實現，其中例如以硬體描述(HDL，Hardware description language)來設計。

另外，本揭露上述之方法亦可以軟體程式來實現，如依據本揭露之方法之一例子的程式碼記錄在一記憶媒體之中，如記憶體如ROM、RAM及之類的媒體、或光學或磁性或其他記錄媒體，或是實現為韌體(firmware)。當運算裝置之視訊處理器如編碼器或微處理之類，從記憶有依本揭露之方法之程式碼之記憶媒體讀取並執行，能實現依本揭露之方法。再者，本揭露之上述方法可以軟硬體結合之方式實現。

如上述，本揭露之第一實施例提供一種移動估計之方法，可用以減少所需進行的高精確度移動估計的模式的數量，如此可以增進整體之高精確度移動估計的效率。第二實施例提供一種移動估計之方法，用以減少於進行高精確度移動估計時搜尋位置的數量，如此可以減少運算資源的使用或以較少的硬體資源以實施。再者，利用前述實施例得出所需進行的高精確度移動估計的模式之數量減少之情況下，更可於進行各個高精確度移動估計時以實施例之較少的搜尋位置進行估計。如此，更可減少整體編碼的複雜度及運算時間。相對於需要進行全部模式的高精確度移動估計的實現方式來說，大大減少了整體移動估計的運算時間。

綜上所述，雖然已以實施例揭露如上，然其並非用以限定可能實施之方式。本案所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本案之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．控制器

200．．．移動估計

210．．．IME單元

220、1100．．．FME單元

910．．．預測移動向量產生裝置

920．．．移動向量成本計算電路

1100．．．高精確度移動估計裝置

1110．．．內插裝置

1120．．．搜尋位置產生裝置

1130．．．殘差計算電路

1140．．．哈達碼轉換裝置(HT)

1150．．．累計器(ACC)

1160．．．比較電路

1170．．．模式決定電路

1180．．．記憶體

P10B、P10C．．．可能位置

P730、P800、P810、P820．．．搜尋位置

A10、A100、A110．．．方向

S100、S500-S545、S600-S645、S710-S750．．．步驟

第1圖繪示H. 264之區塊模式之各種分割型態。

第2圖繪示以硬體實現移動估計之一種方式。

第3圖所示為一視訊編碼器之部分電路方塊圖之一例子。

第4圖繪示模式1至3及P8x8之分割命名方式。

第5圖繪示依據第一實施例之移動估計方法之一第一例之流程圖。

第6圖繪示依據第一實施例之移動估計方法之一第二例之流程圖。

第7圖所示之依據第二實施例之一種移動估計方法之一流程圖。

第8圖示意依據第二實施例之一種移動估計方法之尋找高精確度之最合適位置之過程。

第9A至9D圖所示分別為4種可能情況，用以選擇第一高精確度的搜尋位置及方向。

第10A至10C圖所示分別為3種情況，用以選擇第二高精確度的搜尋位置及方向。

第11圖為依據第二實施例之一高精確度移動估計單元之架構方塊圖。

S100至S545．．．步驟

Claims (18)

1. 一種移動估計之方法，該方法包括：在移動估計之過程中：a.對於一巨區塊執行整數移動估計以產生複數個移動向量；以及b.至少依據該整數移動估計所得出的一部分之該些移動向量且該部分之該些移動向量對應到複數個區塊模式，藉由判斷各該些區塊模式之整數移動向量是否皆實質上等於該區塊模式之較上層模式之整數移動向量，決定是否要執行或忽略該區塊模式之高精確度移動估計，其中該區塊模式之較上層模式所對應之區塊大於該區塊模式。
2. 如申請專利範圍第1項所述之方法，其中該步驟b包括：執行區塊模式1之高精確度移動估計；決定區塊模式2及區塊模式1的整數移動向量是否實質上相同；若否，則執行區塊模式2之高精確度移動估計，並繼續以下步驟；若是，則忽略區塊模式2之高精確度移動估計，並繼續以下步驟；決定模式3及模式1的整數移動向量是否實質上相同；若否，則執行區塊模式3之高精確度移動估計，並繼續以下步驟；若是，則忽略區塊模式3之高精確度移動估計，並繼續以下步驟；決定模式P8x8的整數移動向量是否實質上等於模式1、2或3之整數移動向量；若否，則執行區塊模式P8x8之高精確度移動估計；若是，則忽略區塊模式P8x8之高 精確度移動估計。
3. 如申請專利範圍第2項所述之方法，其中該步驟b中，模式P8x8對應到該巨區塊4個8x8的區塊中每個8x8的區塊之8x8分割型態之中最佳模式之整數移動向量。
4. 如申請專利範圍第1項所述之方法，其中該步驟b更依據該模式及該較上層模式之移動向量差異成本之關係，決定是否要執行或忽略該模式之高精確度移動估計。
5. 如申請專利範圍第1項所述之方法，其中該步驟b包括：判斷模式2及模式1的整數移動向量是否實質上相同，而且模式2之移動向量差異成本是否大於模式1之移動向量差異成本；若否，則執行區塊模式2之高精確度移動估計，並繼續以下步驟；若是，則忽略區塊模式2之高精確度移動估計，並繼續以下步驟；判斷模式3及模式1的整數移動向量是否實質上相同，而且模式3之移動向量差異成本是否大於模式1之移動向量差異成本；若否，則執行區塊模式3之高精確度移動估計，並繼續以下步驟；若是，則忽略區塊模式3之高精確度移動估計，並繼續以下步驟；判斷模式1及模式2的整數移動向量是否實質上相同且模式2之高精確度移動估計已執行，或是模式1及模式3的整數移動向量是否實質上相同且模式3之高精確度移動估計已執行；若否，則執行區塊模式1之高精確度移動估計，並繼續以下步驟；若是，則忽略區塊模式1之高精確度移動估計，並繼續以下步驟； 判斷模式P8x8的整數移動向量是否實質上等於模式1、2或3之整數移動向量；若否，則執行區塊模式P8x8之高精確度移動估計；若是，則忽略區塊模式P8x8之高精確度移動估計。
6. 如申請專利範圍第5項所述之方法，其中該步驟b中，模式P8x8對應到該巨區塊4個8x8的區塊中每個8x8的區塊之8x8分割型態之中最佳模式之整數移動向量。
7. 如申請專利範圍第1至6項之一者所述之方法，其中執行各該些模式之高精確度移動估計包括以下步驟：依據一預測移動向量之方向，執行一第一高精確度之移動估計以找出一第一高精確度之最合適位置；以及依據該預測移動向量之方向以及該第一高精確度之最合適位置，執行一第二高精確度之移動估計以找出一第二高精確度之最合適位置，其中第二高精確度之移動估計的精確度係高於第一高精確度之移動估計的精確度。
8. 如申請專利範圍第7項所述之方法，其中該第一高精確度之最合適位置係由離該預測移動向量之方向較近的複數個第一高精確度之搜尋位置中所選取。
9. 如申請專利範圍第8項所述之方法，其中該第二高精確度之最合適位置係由離該預測移動向量之方向及一原點較近的複數個第二高精確度之搜尋位置中所選取。
10. 一種移動估計之方法，該方法包括：在移動估計之過程中：依據一預測移動向量之方向，執行一第一高精確度之移動估計以找出一第一高精確度之最合適位置；以及 依據該預測移動向量之方向以及該第一高精確度之最合適位置，執行一第二高精確度之移動估計以找出一第二高精確度之最合適位置，其中該第二高精確度之移動估計的精確度係高於該第一高精確度之移動估計的精確度；其中執行該第一高精確度之移動估計之步驟包括：依據該預測移動向量之方向，預先設定複數預定搜尋方向，包括右下、右上、左上及左下；依據該預測移動向量之方向，自該些預定搜尋方向中找出對應的一預定搜尋方向，以進一步找出複數個相對應之第一高精確度的搜尋位置，該些第一高精確度的搜尋位置皆為離該預測移動向量之方向較近；以及對於該些第一高精確度的搜尋位置和作為原點之一整數位置，執行該第一高精確度之移動估計以找出該第一高精確度之最合適位置。
11. 如申請專利範圍第10項所述之方法，其中執行該第二高精確度之移動估計之步驟包括：依據該預測移動向量之方向以及該第一高精確度之最合適位置，產生複數個離該預測移動向量之方向及該原點較近之第二高精確度的搜尋位置；對於該些第二高精確度的搜尋位置，執行該第二高精確度之移動估計以找出該第二高精確度之最合適位置。
12. 如申請專利範圍第10項所述之方法，其中該預測移動向量係基於目前編碼之巨區塊之鄰近的巨區塊之移動向量而決定。
13. 如申請專利範圍第10項所述之方法，其中該第 一高精確度之移動估計及該第二高精確度之移動估計皆係以平行方式進行。
14. 一種具有移動估計之裝置，包括：一移動估計單元，在移動估計之過程中，對於一巨區塊執行整數移動估計以產生複數個移動向量；以及一控制單元，用於至少依據從該移動估計單元所得出的一部分之該些移動向量且該部分之該些移動向量對應到複數個區塊模式，判斷各該些區塊模式之整數移動向量是否皆實質上等於該區塊模式之較上層模式之整數移動向量，並據以選擇性地控制該移動估計單元執行或忽略該區塊模式之高精確度移動估計，其中該區塊模式之較上層模式所對應之區塊大於該區塊模式。
15. 如申請專利範圍第14項所述之裝置，其中該控制單元更依據該區塊模式及該較上層模式之移動向量差異成本之關係，決定是否控制該移動估計單元執行或忽略該區塊模式之高精確度移動估計。
16. 如申請專利範圍第14項所述之裝置，其中該移動估計單元，回應於該控制單元之一控制訊號指示執行該區塊模式之高精確度移動估計，用以依據一預測移動向量之方向，執行一第一高精確度之移動估計以找出一第一高精確度之最合適位置，其中該移動估計單元更依據該預測移動向量之方向以及該第一高精確度之最合適位置，執行一第二高精確度之移動估計以找出一第二高精確度之最合適位置，其中該第二高精確度之移動估計的精確度係高於該第一高精確度之移動估計的精確度。
17. 一種具移動估計之裝置，包括：一整數移動估計單元；以及一高精確度移動估計單元，在移動估計之過程中，回應於該整數移動估計單元所產生之一整數移動向量，用以對該整數移動向量精細化；其中該高精確度移動估計單元依據一預測移動向量之方向，對於該整數移動向量，執行一第一高精確度之移動估計以找出一第一高精確度之最合適位置；以及該高精確度移動估計單元依據該預測移動向量之方向以及該第一高精確度之最合適位置，執行一第二高精確度之移動估計以找出一第二高精確度之最合適位置，其中該第二高精確度之移動估計的精確度係高於該第一高精確度之移動估計的精確度；其中該高精確度移動估計單元包括一搜尋位置產生裝置，該搜尋位置產生裝置用以於執行該第一高精確度之移動估計時，依據該預測移動向量之方向，預先設定複數預定搜尋方向，包括右下、右上、左上及左下，再依據該預測移動向量之方向以及該些預定搜尋方向，產生複數個離該預測移動向量之方向較近之第一高精確度的搜尋位置。
18. 如申請專利範圍第17項所述之裝置，其中該搜尋位置產生裝置更用以於執行該第二高精確度之移動估計時，依據該預測移動向量之方向以及該第一高精確度之最合適位置，產生複數個離該預測移動向量之方向及該原點較近之第二高精確度的搜尋位置。