TWI225372B - Method of detecting motion vector - Google Patents

Method of detecting motion vector Download PDF

Info

Publication number
TWI225372B
TWI225372B TW091137192A TW91137192A TWI225372B TW I225372 B TWI225372 B TW I225372B TW 091137192 A TW091137192 A TW 091137192A TW 91137192 A TW91137192 A TW 91137192A TW I225372 B TWI225372 B TW I225372B
Authority
TW
Taiwan
Prior art keywords
motion vector
detection range
vector detection
frame
aforementioned
Prior art date
Application number
TW091137192A
Other languages
English (en)
Other versions
TW200301655A (en
Inventor
Makoto Kawaharada
Tomoko Yasunari
Original Assignee
Matsushita Electric Ind Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Ind Co Ltd filed Critical Matsushita Electric Ind Co Ltd
Publication of TW200301655A publication Critical patent/TW200301655A/zh
Application granted granted Critical
Publication of TWI225372B publication Critical patent/TWI225372B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

1225372 玖、發明說明 (發明說明應敘明:發明所屬之技術領域、先前技術、內容、實施方式及圖式簡單說明) I:發明戶斤屬之技術領域3 發明領域 本發明是有關於一種用以將動畫影像予以縮壓編碼之 動畫影像縮壓編碼裝置,以及其移動向量檢測方法、記錄 5 媒體及程式。 I:先前技術I 發明背景 習知動畫影像縮壓編碼裝置中,移動向量檢測裝置要 提高移動向量之檢測精確度的話,則不得不弄大硬體的規 10 模。因此移動向量檢測之檢測範圍雖狹窄,惟檢測精確度 乃以高模式來進行,或是檢測範圍雖寬廣,惟檢測精確度 係以低模式進行。 習知之移動向量檢測裝置可得知有例如特開平9-224249號公報所記載者。又,原封不動地引用(參照)特開 15 平9-224249號公報之文獻全部的揭示而於本說明書中予 以一體化。該習知移動向量檢測裝置如第1〇圖所示。標號 101係用以對動畫影像縮壓編碼器輸入現在之框信號之參 照框信號的參照框信號輸入端子,標號102係用以對動畫 影像縮壓編碼器輸入之前一之個框信號之預測框信號的預 2〇 測框信號輸入端子。標號103係檢測範圍寬廣而檢測精確 度以低的模式進行移動向量檢測的廣域移動向量檢測器, 標號104係檢測範圍狹窄而檢測精確度以高的模式進行移 動向量檢測的狹窄移動向量檢測器,標號105係比較評價 該廣域移動向量檢測器103與該狹窄移 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 6 1225372 動向量檢測器104所獲得之移動向量檢測結果的比較器’ 標號106係依據比較器1〇5之比較結果,而輸出從廣域移 動向量檢測器103或是狹窄移動向量檢測器104來的移動 向量檢測之其中你任何結果的切換器,標號107係用以輸 5出廣域移動向量檢測器所檢測之移動向量的輸出端子。 說明如上所述構成之習知移動向量檢測裝置的動作。 首先,從參照框信號輸入端子101輸入之參照框信號經由 低通爐波益108及下降取樣電路109而輸入廣域移動向量 檢測器103。而且從參照框信號輸入端子1〇1輸入之參照 10 框信號亦可輸入狹窄移動向量檢測器104。同樣地,從預 測框信號輸入端子102輸入之參照框信號經由低通濾波器 110及下降取樣電路111而輸入廣域移動向量檢測器1〇3。 同樣地,從預測框信號輸入端子102輸入之參照框信號亦 可輸入狹窄移動向量檢測器104。以比較器1〇5比較評價 15 在移動向量檢測器1〇3、104所分別檢測之移動向量,而從 切換器106將評價高的移動向量輸出至輸出端子1〇7。 然而第10圖之習知移動向量檢測裝置的構成,爲了檢 測更適當的移動向量而將移動向量檢測範圍的數量(以下稱 模式數)例如設爲2個時,比較於模式數爲1個的情形乃要 20 增大硬體規模。 即,設成移動向量檢測範圍之數乃例如檢測範圍狹窄 而檢測精確度高的移動向量檢測範圍、以及檢測範圍寬廣 而檢測精確度低的移動向量檢測範圍等2個的話,則有必 要檢測範圍狹窄而檢測精確度高的狹域移動向量檢測器 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 1225372 、發明說明 ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ 發明說明續頁 104,以及檢測範圍寬廣而檢測精確度低的廣域移動向量檢 測器103等兩種硬體。對於各個移動向量檢測器有必要同 時進行移動向量檢測,且有必要兩個移動向量檢測器103 及104分別獨立之移動向量檢測電路,因此會有移動向量 5 檢測電路之硬體規模變大的課題。 爲了解決第10圖說明之習知移動向量檢測裝置的課題 ,可得知有例如特開平10- 23420號公報所記載之動畫影 像壓縮編碼裝置。又,原封不動地引用(參照)特開平10 — 23420號公報之文獻全部的揭示而於本說明書中予以一體 1〇 化。該習知動畫影像壓縮編碼裝置如第11圖所示。 第11圖係習知動畫影像壓縮編碼裝置之方塊圖。於第 11圖中,標號301爲DCT電路,302爲量子化器,303爲 反量子化器,304爲反DCT電路,305爲框記億體,306 爲移動補償框間預測電路,307A爲移動檢測裝置,308爲 15 框內·框間切換信號。又,移動檢測裝置307A係由緩衝 記憶體201、誤差計算電路202、誤差比較電路203、位址 產生電路204所構成。 以下說明以上所述構成之習知影像編碼裝置的動作。 編碼之最初框,即第1框,藉著框內·框間切換信號308 20 切換成框內編碼,而不取得差分,並於各個框被框內編碼 。即,影像資料以二次元方塊單位而在DCT電路301變換 成變換係數,並在量子化器302將變換係數予以量子化後 ,送出至傳送路。一般而言,影像之相關性高,因此一旦 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 1225372 、發明說明^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ 發明說明續頁 進行DCT的話,能量會集中在對應低頻成分之變換係數。 因此以使視覺上不明顯之高頻率成分粗化,而使重要成分 之低頻率成分細化地進行量子化的狀態,乃能使畫質劣化 止於最小限度,且能減低資料量。送出至上述傳送路之量 5子化後的變換係數同時經由反量子化器303、反DCT變換 電路304而返回到實時間資料並蓄積於框記憶體305。 另一方面,第2框以後的影像藉著框內·框間切換信 號308而切換成框間編碼,以移動補償的狀態獲得與前框 之影像的差分而於各個框使框間之影像信號的差分被編碼 10 。亦即,依據儲存於框記憶體305之前框的影像資料與以 移動檢測裝置307A檢測之二次元方塊單位的移動向量, 而在移動補償框間預測電路306產生第2框以後之影像的 預測値,且第2框以後之影像與移動補償框間預測電路 306所產生之第2框以後的預測値之差分的預測誤差,以 15 二次元方塊單位在DCT電路變換成變換係數,而以量子化 器302將變換係數予以量子化後送出至傳送路。送出至上 述傳送路之量子化後的變換係數同時經由反量子化器303 、反DCT變換電路304而返回到實時間資料並蓄積於框記 憶體305。 20 接著詳細說明移動檢測裝置307A。在此移動檢測裝置 307A係例如使用周知之全探索方法而於二次元方塊單位度 得框間之移動向量的構成。第12圖表示移動檢測裝置 307A之動作的說明圖,以下參照第12圖說明移動檢測動 作。於第12圖中,標號311係第2框之某一個二次元方塊 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 1225372 、發明說明 續頁 由m像素(水平方向)X η像素(垂直方向)的矩形方塊所_ 成。312Α、312Β係用以進行誤差計算之第1框的二次元 方塊,其大小與二次元方塊311相同。313係藉著移動檢 測而求得之移動向量,係連結二次元方塊311之中心票 5 與二次元方塊312B之中心座標的移動向量。 第12圖之二次元方塊311係具有第2框之中心座標(χ 、y、2)之二次元方塊,以對應中心座標之記號S(x、y、2) 表示二次元方塊。又,二次元方塊312A、312B係分別具 有第1框之中心座標(X、y、1)、(x+mx、y+my、1)之二 10 次元方塊,同樣以對應中心座標之記號S(x、y、2)、S〇c + mx、y+my、1)表示二次元方塊。其中x表示以框之中心 爲原點之水平方向的像素座標,y表示以框之中心爲原點 之垂直方向的像素座標,X、y之後的1、2數字表示框號 碼。又,314表示計算移動向量之二次元方塊之矩形(水平 15 方向2h、垂直方向2v)的移動向量檢測範圍,xh表示以移 動向量檢測範圍之中心(圖中爲座標(X、y、1))爲原點之水 平方向的局部像素座標,yv表示以移動向量檢測範圍之中 心(圖中爲座標(X、y、1))爲原點之垂直方向的局部像素座 標。 20 第2框之影像資料被框間編碼時,同時輸入緩衝記憶 體201。又,第1框之影像資料已儲存於緩衝記憶體201。 現今以第2框(現框)之二次元方塊311爲基準而檢測第1 框(前框)之二次元方塊312B與第2框(現框)之第二次元方 塊311之間的移動向量313。輸入緩衝記憶體201之第1、 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 10 1225372 、發明說明 第2框的影像以每m
發明說明teS 像素之二次元方塊單位來讀出’ 以二次元方塊單位檢測移動向量。 以下使用座標以移動向量的檢測次序來具體地說明° 以位址產生電路204讀出具有第2框次元之中心座標a、y 5 、2)之二次元方塊S(x、y、2)的影像資料,以此二次元方 塊S(x、y、2)爲基準方塊而以下列次序檢測此基準方塊與 第1框之間的移動。如上述於緩衝記憶體201亦儲存著第 1框的影像資料,其次讀出具有第1框次元之中心座標(x 、y、1)之二次元方塊S(x、y、1)的各影像資料。在誤差計 10 算電路202以〔數1〕計算前述2個二次元方塊S(x、y、 2)、(x、y、l)之各影像資料之振幅的平方誤差的和(以下 僅稱誤差)σ(χ、y)(0、0)而傳送至誤差比較電路203。 〔數1〕 σ(χ、y)(0、0)=Σ 2(S(x+x’、y+y’、2)- (x+x’、y 15 y’=-nx’=-m + y,、i) 接著,位址產生電路204產生第1框之水平方向1像 素相鄰之m X η方塊,即產生中心座標(X、y、1)之二次元 方塊S(x+1、y、1)1之位址。誤差計算電路202同樣計算 2〇 σ(χ、y)(+l、〇)而傳送至誤差比較電路2〇3。在誤差比較電 路203比較σ(χ、y)(〇、〇)與σ(χ、y)(+1、〇)而選擇小的一 方。以下同樣在一 h<xh<h、一v<yV<v的範圍內逐次變 更位址而讀出二次元方塊的影像資料並計算σ(χ、y)(xh、 yv) 〇 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 11 1225372 、發明說明 發明說明,續頁 誤差比較電路203從以上所計算之誤差σ(χ、y)(xh、 yv)選擇取得最小値之誤差σ(χ、y)(mx、my),同時輸出位 址mx、my。因此,二次元方塊S(x、y、2)之移動向量213 呈mv(mx、my)。以下於第2框內,對分割成多數之二次 5 元方塊之整體藉著反覆上述動作而求得第2框內之全部二 次元方塊的移動向量。 移動補償框間預測電路306對第2框使用於每各二次 元方塊檢測之移動向量而以二次元方塊單位來產生第2框 所補償之預測値。第2框之影像首先係以上述方法計算從 1〇 第1框之影像資料與第2框之移動向量所產生之預測値1 的差分,即計算預測誤差。之後以與第1框同樣的方法將 前述預測誤差對每一框加以編碼。 藉以上所述之構成,在以分割現框之二次元方塊位置 爲中心之前框的一定移動向量檢測範圍內,一邊將與分割 15 現框之二次元方塊相同大小之二次元方塊的影像資料予以 逐次變更位置而一邊抽出,進行前框之一定移動向量檢測 範圍內之各二次元方塊影像資料與現框所分割之二次元方 塊之影像資料的誤差計算及前框之一定移動向量檢測範圍 內之位置之不同二次元方塊的誤差比較,藉此,相對於分 20 割現框之二次元方塊而探索影像資料之誤差最少之前框之 一定移動向量檢測範圍內之二次元方塊的位置’而且從分 割現框之二次元方塊的位置與相對於分割現框之二次元方 塊而探索影像資料之誤差最少之前框之一定移動向量檢測 範圍內之二次元方塊的位置,計算其表示從分割現框之二 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 12 1225372
、發明說明 檢測載於移動向量檢測範圍320之最外周的移動向量P。 但是亦有比載於移動向量檢測範圍320之最外周的移動向 量P存在更適當的移動向量檢測範圍320的外部。如此情 形下,第11圖所說明之習知動畫影像壓縮編碼裝置係以使 5用於檢測移動向量P以取代檢出適當的移動向量。 即,習知之動畫影像壓縮編碼裝置乃有對於動畫大的 影像不能檢測適當的移動向量,且難以設定適當的移動向 量檢測範圍的課題。 【發明内容】 10 本發明係考量上述課題,即使是移動大的影像亦能檢 測適當的移動向量,又,本發明以提供一種能設定適當正 確之移動向量檢測範圍的動畫影像壓縮編碼裝置、移動向 量檢測方法、記錄媒體、以及程式爲目的。 爲了解決上述課題,本發明之第1發明係一種動畫影 15 像壓縮編碼裝置,具有將輸入動畫影像1個框細分化產生 N(N爲2以上的自然數)個巨集方塊動畫影像信號的巨集方 塊產生機構(2);將前述巨集方塊動畫影像信號予以壓縮編 碼之後予以解碼而產生解碼動畫影像信號的編碼解碼機構 (18、17、3、4、9、10、19、20、11);在第 1 移動向量檢 20 測範圍內,從前述解碼動畫影像信號與前述巨集方塊動畫 影像信號,檢測移動向量的移動向量檢測機構(12);在經 檢測之前述移動向量之中,將前述第1移動向量檢測範圍 之最外線的第1最外線、及在前述第1移動向量檢測範圍 之內側的第2移動向量檢測範圍之最外線的第2最外線之 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 15 1225372 發明說明續頁 、發明說明 間的移動向量數作爲第1移動向量數而加以計算的移動向 量計算機構(14、15、16);及依據經計算之前述第1移動 向量數而擴大前述第1移動向量檢測範圍的移動向量檢測 範圍決定機構(13)。 5 又,本發明之第2發明,係如第1發明之動畫影像壓 縮編碼裝置,其中前述移動向量計算機構(14、15、16)將 前述第2移動向量檢測範圍之內側的第3移動向量檢測範 圍內的移動向量數作爲第2移動向量數並加以計算;且前 述移動向量檢測範圍決定機構(13)依據經計算之前述第2 10 移動向量數而縮小前述第1移動向量檢測範圍。 又,本發明之第3發明,係如第1發明之動畫影像壓 縮編碼裝置,其中前述移動向量檢測範圍決定機構(13)於 經計算之前述第1移動向量數多於一定門檻値時,擴大前 述第1移動向量檢測範圍,小於前述一定門檻値時,不擴 15 大前述第1移動向量檢測範圍或不變更前述第1移動向量 檢測範圍。 又,本發明之第4發明,係如第1發明之動畫影像壓 縮編碼裝置,其中前述移動向量檢測範圍決定機構(13)在 經計算之前述第1移動向量數愈多時,則愈加大前述第1 20 移動向量檢測範圍的擴大率。 又,本發明之第5發明,係如第2發明之動畫影像壓 縮編碼裝置,其中前述移動向量檢測範圍決定機構(13)在 經計算之前述第2移動向量數愈多時,則愈加大前述第1 移動向量檢測範圍的縮小率。 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 16 1225372 發明說明續頁 、發明說明 又,本發明之第6發明,係如第1發明之動畫影像壓 縮編碼裝置,其中前述移動向量檢測範圍決定機構(13)預 先具有多數種移動向量檢測範圍,從該多數種移動向量檢 測範圍選擇經計算之前述第1移動向量數愈多則愈大的移 動向量檢測範圍,而作爲前述第1移動向量檢測範圍。
ίο 又,本發明之第7發明,係如第2發明之動畫影像壓 縮編碼裝置,其中前述移動向量檢測範圍決定機構(13)預 先具有多數種移動向量檢測範圍,從該多數種移動向量檢 測範圍選擇經計算之前述第2移動向量數愈多則愈小的移 動向量檢測範圍,而作爲前述第1移動向量檢測範圍。 又,本發明之第8發明,係如第1發明之動畫影像壓 縮編碼裝置,其中前述移動向量檢測範圍決定機構(13)於 每一 P框進行前述第1移動向量檢測範圍的更新,或於每 一將P框分割成η個(η$Ν之自然數)的分割單位進行;前 15 述第1移動向量檢測範圍被更新之際,前述移動向量檢測 範圍決定機構,於前述Ρ框或前述分割單位所計算之前述 第1移動向量數,以存在於前述Ρ框或前述分割單位之巨 集動畫影像信號數來分割之數在一定門檻値以上時,擴大 前述第1移動向量檢測範圍。 20 又,本發明之第9發明,係如第1發明之動畫影像壓 縮編碼裝置,其中前述移動向量檢測範圍決定機構(13)於 每一 Ρ框進行前述第1移動向量檢測範圍的更新,或於每 一將Ρ框分割成η個(η^Ν之自然數)的分割單位進行;前 述第1移動向量檢測範圍被更新之際,前述移動向量檢測 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 17 1225372 、發明說明 範圍決定機構,於前述P框或前述分割單位所計算之前述 第2移動向量數,以存在於前述P框或前述分割單位之巨 集動畫影像信號數來分割之數在一定門檻値以上時,縮小 前述第1移動向量檢測範圍。 5 又,本發明之第10發明,係如第1、3、4、6、8發明 之其中任何動畫影像壓縮編碼裝置,其中前述移動向量檢 測機構於擴大前述第1移動向量檢測範圍之際,亦擴大前 述第2移動向量檢測範圍。 又,本發明之第11發明,係如第2、4、7、9發明之 10 其中任何動畫影像壓縮編碼裝置,其中前述移動向量檢測 機構於縮小前述第1移動向量檢測範圍之際,亦縮小前述 第3移動向量檢測範圍。 本發明之第12發明係一種移動向量檢測方法,具有在 第1移動向量檢測範圍內,從將輸入動畫影像1個框細分 15 化產生N(N爲2以上的自然數)個巨集方塊動畫影像信號 予以壓縮編碼之後解碼而產生之解碼動畫影像信號、及前 述巨集方塊動畫影像信號,檢測移動向量的移動向量檢測 步驟;在經檢測之前述移動向量之中,將前述第1移動向 量檢測範圍之最外線的第1最外線、及在前述第1移動向 20 量檢測範圍之內側的第2移動向量檢測範圍之最外線的第 2最外線之間的移動向量數作爲第1移動向量數而加以計 算的移動向量計算步驟;將前述第1移動向量檢測範圍之 最外線的第1最外線、及在前述第1移動向量檢測範圍之 內側的第2移動向量檢測範圍之最外線的第2最外線,且 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 18 1225372 、發明說明 係鄰接前述第1最外線之一條或多條第2最外線之上的移 動向量數的第1移動向量數,予以計算之移動向量計算步 驟;及依據經計算之前述第1移動向量數而擴大前述第1 移動向量檢測範圍的移動向量檢測範圍決定步驟。 5 10 15 發明說明續頁 本發明之第13發明係一種程式,係使電腦執行第12 發明之移動向量檢測方法之步驟的程式,該等步驟係在第 1移動向量檢測範圍內,從將輸入動畫影像1個框細分化 產生N(N爲2以上的自然數)個巨集方塊動畫影像信號予 以壓縮編碼之後解碼而產生之解碼動畫影像信號、及前述 巨集方塊動畫影像信號,檢測移動向量的移動向量檢測步 驟;在經檢測之前述移動向量之中,將前述第1移動向量 檢測範圍之最外線的第1最外線、及在前述第1移動向量 檢測範圍之內側的第2移動向量檢測範圍之最外線的第2 最外線之間的移動向量數作爲第1移動向量數而加以計算 的移動向量計算步驟;及依據經計算之前述第1移動向量 數而擴大前述第1移動向量檢測範圍的移動向量檢測範圍 決定步驟。 本發明之第14發明係一種記錄媒體,係用以載持第 13發明之程式的記錄媒體,且係能以電腦處理的記錄媒體 I:實施方式3 發明之最佳實施樣態 以下參照圖式來說明本發明之實施樣態。 依據本發明之實施樣態,例如具有依據移動向量檢測 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 19 20 、發明說明 ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ 發明說明繪頁 部(機構)所檢測之移動向量而將適合地求得之移動向量檢 測範圍,回復至該移動向量檢測部(機構)的構成,因此, 能將以移動向量檢測部(機構)所檢測之移動向量的移動向 量檢測範圍’配合輸入動畫影像之移動而設定,即使是要 5 檢測正確的移動向量而使移動向量檢測範圍(即,模式數) 多數存在的情形下’亦不會增大電路規模,且能提昇檢測 移動向量之際的精確度。 又,依據本發明之實施樣態,具有例如以細分化輸入 動畫影像的單位而將移動向量檢測範圍回復至移動向量檢 10 測部的構成’因此’能將配合輸入動畫影像之移動的移動 向量檢測範圍適切地設定於移動向量檢測部,而能簡略化 精確度高的移動向量檢測範圍的設定。 又,依據本發明之實施樣態,具有例如可參照適合地 求得之移動向量檢測範圍的結果,而從預先具有多種移動 15 向量檢測範圍,選擇實際上適用之移動向量檢測範圍的構 成,因此,可使設定於移動向量檢測部之移動向量檢測範 圍的更新,因應輸入動畫影像而從該多數種自由地配合, 例如可達到配合有嗜好之使用者之意圖的移動向量檢測。 又,能達到將設定於移動向量檢測部之移動向量檢測範圍 20 ,配合輸入動畫影像之移動,例如配合使用之意圖的移動 向量檢測。 又,依據本發明之實施樣態,具有例如回復機構可將 移動向量檢測範圍決定機構所決定之移動向量檢測範圍, 回復至移動向量檢測機構及切換領域生成機構,因此,可 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 20 1225372 、發明說明 發明說明糸寶貢 使移動向量檢測範圍之設定更追隨輸入動畫影像之移動速 度而決定,而能提高配合輸入動畫影像之移動向量檢測範 圍的即時性。 又,依據本發明之實施樣態,具有例如當(移動向量存 5在於移動向量切換領域之數)/(存在於n個的期間之巨集 數)爲一定門檻値以上時,切換移動向量檢測範圍而將移動 向量檢測範圍回復到移動向量檢測範圍決定機構與切換領 域生成機構的構成,因此,能削減輸入動畫影像之編碼時 所發生的編碼量,而能更高速化配合輸入動畫影像之移動 10 之移動向量的檢測。 (實施樣態1) 第1圖係本發明之第1實施樣態之動畫影像壓縮編碼 裝置之方塊圖,表不 MPEG(Moving Pictures Experts Group)方式時的例子。1爲輸入端子、2爲框排列替換器、 15 3爲離散餘弦變換器(以下稱DCT)、4爲量子化器,5爲變 長編碼器,6爲緩衝記憶體、7爲輸出端子、8爲速率控制 器、9爲反量子器、10爲反DCT器、11爲框記憶體、12 爲預測器、13爲檢測範圍決定器、14爲切換領域決定器、 15爲比較器、16爲計算器、17爲減法器、18爲切換開關 2〇 、19爲加法器、20爲開關。 又,本實施樣態之框排列替換器係本發明之巨集方塊 生成機構的一例,本實施樣態之切換開關18、減法器17、 DCT器3、量子化器4、反量子器9、反DCT器10、力口法 器19、開關20、以及框記憶體11爲本發明之編碼解碼機 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 21 1225372
、發明說明 構的一例,本實施樣態之預測器12係本發明之移動向量檢 測機構之一例,本實施樣態之切換領域決定器14、比較器 15、計算器16爲本發明之移動向量計算機構的一例’本實 施樣態之檢測範圍決定器13係本發明之移動向量檢測範圍 5 決定機構的一例。 說明以上構成之各方塊的動作。從輸入端子1輸入之 原像信號係在影像聲音信號內預先分離成聲音信號與影像 信號的影像信號。影像信號以框排列替換器2暫時排列替 換成框之後,將以一定像素數將框予以細分化之單位(以下 10 稱巨集方塊單位)的原像影像信號,在框排列替換器2以排 列替換順序(以下稱解碼順序)輸出至切換開關18。切換開 關18選擇是否原原本本地輸出巨集單位之原像影像信號( 以下稱巨集動畫信號),或是從巨集動畫信號於移動補償預 測影像信號等藉著減法器11而予以減算。 15 首先,說明切換開關18原原本本地選擇方塊動畫信號 的情形。切換開關18所輸出之方塊動畫信號爲I幀的情形 下,將DCT器3所離散餘弦變換之DCT信號輸出至量子 化器4。在量子化器4以從速率控制器8回復之一定量子 化値進行量子化的狀態而將削減資訊量之量子化信號輸出 20至變長編碼器5及反量子化器9。 輸入變長編碼器5之量子化信號作爲在變長編碼器5 執行編碼之編碼信號而輸出至緩衝記憶體6,在緩衝記憶 體6將編碼信號予以儲存直至從輸出端子抽出之同時,將 發生編碼量輸出至速率控制器8。速率控制器8將依據發 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 22 1225372 發明說明/續頁 、發明說明 生編碼量之量子化値回復至量子化器4從輸出端子7抽出 的編碼信號以未圖式之系統編碼器予以聲音信號與多重化 另一方面,輸入反量子化器9之量子化信號,以一定 5 量子化値而反量子化之反量子化信號輸出至反DCT器10 。在反DCT器10將輸入之量子化信號予以反離散餘弦處 理而輸出反DCT信號。如I幀的情形,切換開關18原原 本本地選擇巨集動畫信號的情形下,連動切換開關18而使 開關20呈OFF狀態,在加法器19並非對反DCT信號進 10 行加算,乃達到1框爲止而將巨集方塊單位之參照影像信 號(以下稱巨集方塊參照信號)儲存至框記憶體11。P幀的 話,以預測器12預測該儲存於框記憶體11之1框份量之 框單位的參照影像信號(以下稱框參照信號)與從框排列替 換器2來的巨集方塊動畫信號之差分呈最小之移動向量, 15 並檢測移動向量檢測範圍之同時,輸出移動向量與移動補 償預測後之影像信號(以下稱預測影像信號)。 說明切換開關18於減法器17選擇巨集方塊動畫信號 與預測影像信號之差分信號之P幀或B幀的情形。在P幀 的情形下,將依據之前的I幀或P幀之預測影像信號從巨 20 集方塊動畫信號減算之差分信號輸出至DCT器3,並將 DCT信號輸出至量子化器4。從量子化器4輸出之量子化 信號的一方,經由變長編碼器5、緩衝記憶體6而儲存於 緩衝記憶體直至從輸出端子7抽出之同時,將發生編碼量 輸入速率控制器8而將量子化値回復至量子化器4。儲存 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 23 、發明說明 、 發明說明續頁 於緩衝記憶體6之編碼信號乃與前述方式同樣地處理而從 輸出端子7輸出至系統編碼器。 量子化信號另一方經由反量子化器9、反DCT器10 而輸入加法器19。開關20連動於切換開關18而呈ON狀 態’將減法器17所減算之前的I幀或P幀加算至從反 DCT器輸出的反DCT信號而獲得巨集方塊參照信號。將 加法器19所加算之巨集方塊參照信號以達到1框爲止儲存 於框記憶體11,在預測器12,在移動向量檢測範圍內,檢 測從框記憶體11來之框參照信號及巨集方塊動畫信號將差 分信號呈最小之移動向量,而輸出例如第2圖所示之移動 向量與預測影像信號。 又,巨集方塊動畫信號爲B幀時,除了以減法器π 取得其依據前後的I幀或P幀之預測影像信號與巨集方塊 動畫信號之差分以外,乃與P幀相同。但是,若也考量到 B幀的話,則如前述情形一般,由於B幀要參照前後的幀 ,因此要以框單位來更新移動向量檢測範圍之算法會複雜 化且難以提昇精確度,爰此,本實施樣態若是B幀的話, 即採用選擇至其次的P幀所不被採用的算法。 如此獲得之預測器12所輸出之信號的一方面,乃作爲 以減法器17所減算其次之巨集方塊動畫信號的預測影像信 號來提供,另一方面,例如第3圖所示爲了比較驗證移動 向量是否存在於移動向量檢測範圍內,乃將巨集方塊單位 的移動向量輸出至比較器15。第3圖之領域D表示將移動 向量檢測範圍予以縮窄的領域,領域U表示將移動向量予 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 24 、發明說明 發明說明續頁 以擴寬的領域。即,將對應第2圖所示之預測器12所檢測 之巨集方塊Qj的移動向量Vij,以比較器15比較驗證是否 存在於切換領域決定器14所輸出之移動向量切換領域D 或U之其中任何範圍內,而適合地求得巨集方塊切換信號 並輸出至計算器16。 進〜步詳細說明第3圖所示之移動向量檢測範圍。第 4圖係進一步詳細說明第3圖所示之移動向量檢測範圍之 圖式。第4圖(a)表示移動向量檢測範圍之候選,本實施樣 態具有5個移動向量檢測範圍之候選Ai、A2、A3、A4、 A5。此等移動向量檢測範圍之候選被儲存於檢測範圍決定 器U °以預測器12檢測移動向量之際,或是以切換領域 決定器14決定移動向量切換領域之際所使用之移動向量檢 測範圍可由此等5個移動向量檢測範圍之候選Al、A2、 A3、A4、A5之中選擇任何一個來使用。 現今在5個移動向量檢測範圍之候選Al、A2、A3、 A4、A5之中’以A3爲移動向量檢測範圍而實際地使用。 如第4圖(b)所示,位於移動向量檢測範圍A3之最外 線的最外線A13,與移動向量檢測範圍A3內側之某移動 向量檢測範圍A3’之最外線的最外線13,之間的領域乃對應 第3圖所說明的領域U。第3圖之領域U以切換領域決定 器14來決定。如後述於移動向量載於領域u時要滿足一 定條件的情形下,可將移動向量檢測範圍A3予以擴大而 處理。此時亦同時將移動向量檢測範圍A3,、A3”予以擴 大而處理。 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 1225372 發明說明 、發明說明 同樣如第4圖(b)所示移動向量檢測範圍A3’內側之某 移動向量檢測範圍A3”之最外線的最外線13”之內側的領 域乃對應第3圖所說明的領域D。第3圖之領域D以切換 領域決定器14來決定。如後述於移動向量載於領域D時 要滿足一定條件的情形下,可將移動向量檢測範圍A3予 以縮小而處理。此時亦同時將移動向量檢測範圍A3’、 A3”予以縮小而處理。
又,切換領域決定器14因應移動向量檢測範圍而決定 第3圖之領域U及領域D。 ίο 又,本實施樣態之移動向量檢測範圍的切換因僅以依 據P幀之移動向量爲對象,故比較器15僅於P幀之編碼 時作動,惟,亦考量B幀的情形下,當然於B幀之編碼時 亦作動。 比較器15判定對應於巨集方塊Qj之移動向量Vij是 15 否載於第3圖之領域U或是載於領域D,並將該判定結果 作爲巨集方塊切換信號而輸出至計算器16。 一旦巨集方塊切換信號輸入計算器16的話,於巨集方 塊切換信號表示巨集方塊Qj之移動向量Vij載於第3圖之 領域U的情形下,使對應領域U之計算値僅增加1,又, 20 巨集方塊切換信號表示巨集方塊Qj之移動向量Vij載於第 3圖之領域D的情形下,使對應領域D之計算値僅增加1 如此一來,計算器16將對應領域D之計算値及對應 領域U之計算値予以計算1份量,而計算器16將計算結 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 26 發明說明/續胃 、發明說明 果作爲框單位之切換信號(以下稱框切換信號)並輸出至檢 測範圍決定器13。一旦框切換信號輸入檢測範圍決定器13 時,檢測範圍決定器13以框單位而適合地決定移動向量檢 測範圍。 即,檢測範圍決定器13從第4圖(a)所示之移動向量 檢測範圍之候選Al、A2、A3、A4、A5之中,選擇實際使 用之移動向量檢測範圍的狀態而決定。 檢測範圍決定器13如第5圖(a)所示,於移動向量Q 載於領域D的情形下,如第5圖(b)所示那般地藉著選擇移 動向量檢測範圍A4而縮小移動向量檢測範圍。而且進一 步詳細說明的話,檢測範圍決定器13於依據從計算器16 輸入之框切換信號以(存在於1框期間之巨集方塊數)除(移 動向量存在於移動向量切換領域D之數)之値爲一定門檻値 以上時,將移動向量檢測範圍切換至移動向量切換領域A4 。此時,同時將移動向量檢測範圍A3,、A3”分別切換爲 A4’、A4”。如此一來檢測範圍決定器13縮小各移動向量 檢測範圍。檢測範圍決定器13將移動向量檢測範圍決定爲 移動向量切換領域A4的話,會將決定之移動向量檢測範 圍回復至切換領域決定器14及預測器12。切換領域決定 器14因應該決定而如第5圖(b)所示地決定移動向量切換 領域D及U。 又,檢測範圍決定器13如第6圖(b)所示,於移動向 量R載於領域U的情形下,如第5圖(b)所示那般地藉著選 擇移動向量檢測範圍A2而擴大移動向量檢測範圍。而且 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 27 、發明說明^ ^ ^ ^ ^ ^ ^ ^ ^ 發明說明續頁 進一步詳細說明的話,檢測範圍決定器13於依據從計算器 16輸入之框切換信號以(存在於1框期間之巨集方塊數)除( 移動向量存在於移動向量切換領域U之數)之値爲一定門檻 値以上時,將移動向量檢測範圍切換至移動向量切換領域 A2。此時,同時將移動向量檢測範圍A3’、A3”分別切換 爲A2’、A2”。如此一來檢測範圍決定器13擴大各移動向 量檢測範圍。檢測範圍決定器13將移動向量檢測範圍決定 爲移動向量切換領域A2的話,會將決定之移動向量檢測 範圍回復至切換領域決定器14及預測器12。切換領域決 定器14因應該決定而如第6圖(b)所示地決定移動向量切 換領域D及U。 又,檢測範圍決定器13於以(存在於1框期間之巨集 方塊數)除(移動向量存在於移動向量切換領域D之數)之値 比一定門檻値小時,且於以(存在於1框期間之巨集方塊數 )除(移動向量存在於移動向量切換領域U之數)之値比一定 門檻値小時,不擴大亦不縮小移動向量檢測範圍。即,不 變更移動向量檢測範圍。 回復至預測器12之移動向量檢測範圍以框單位作爲最 適合的移動向量檢測範圍,以其次之框單位於預測器12預 測移動向量之際乃作爲移動向量檢測範圍使用。 例如,檢測範圍決定器13如圖式第5圖(b)所示將移 動向量檢測範圍決定於移動向量A4的情形下,預測器12 以其次之框單位預測移動向量之際使用移動向量檢測範圍 A4 〇 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 28 發明說明續頁 圖(b)所示將 、發明說明 同樣地,檢測範圍決定器13如圖式第6 移動向量檢測範圍決定於移動向量A2的情形下,預測器 12以其次之框單位預測移動向量之際使用移動向量檢測範 圍A2 〇 其次的框單位亦與上述情形同樣地進行,適合地以預 測ίί 12使用之移動向量檢測範圍被逐次地更新。本實施樣 態係於每一 P框進行上述的動作。即,於第7圖表示移動 向量檢測範圍更新的時序。在P框20被檢測之移動向量乃 使用於檢測範圍決定器13決定其次的P框21的移動向量 檢測範圍。如此一來,本實施樣態之動畫影像壓縮編碼裝 置係於每一 P框切換移動向量檢測範圍者。 特別是具有大動作的輸入動畫影像的情形下,由於第 Π圖說明之習知動畫影像壓縮編碼裝置僅檢測其載於移動 向量檢測範圍320之最外周上的移動向量p,因此即便是 比載於移動向量檢測範圍320之最外周上的移動向量p更 適當的移動向量存在於移動向量檢測範圍320之外部,亦 不能檢測如此移動向量而使用。在此一情形下,第11圖說 明之習知動畫影像壓縮編碼裝置則取代檢測適當的移動向 量而改以檢測移動向量P使用。 相對於此,本實施樣態之動畫影像壓縮編碼裝置於擴 大移動向量檢測範圍之際,乃以載於第3圖、第4圖、第 5圖、第6圖分別所示之領域U之移動向量爲考量的對象 。因此,即便是習知技術上於移動向量檢測範圍之外側存 在著適當的移動向量而無法檢測該適當的移動向量時,亦 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 29
、發明說明 能如本實施樣態以將領域U作爲移動向量的考量對象而能 檢測習知技術所無法檢測之適當的移動向量° 如上所述,依據本實施樣態的話,即便是動作大的輸 入動畫影像亦能檢測適當的移動向量,又’能設定適當的 5 移動向量檢測範圍。 如上述,由於本實施樣態之動畫影像壓縮編碼裝置藉 著壓縮編碼而同時進行用以檢測動畫信號之移動向量之移 動向量檢測機構21的處理動作,而將檢測移動向量之移動 向量檢測範圍置換成以最前的框單位所最適當化之範圍的 10 構成,故不必^丈曾力共#測21 @ IS規模而具有能最適當地檢測移動向量的效果。又,即 使是動作大的影像亦能檢測適當的移動向量’又’能設定 適當的移動向量檢測範圍。 又,本實施樣態說明了檢測範圍決定器13從5個移動 15向量檢測範圍之候選之中選擇實際使用之移動向量檢測範 圍,惟本實施樣態並不限於此。亦可從3個移動向量檢測 範圍之候選之中選擇實際的移動向量檢測範圍,又,亦可 從7個移動向量檢測範圍之候選之中選擇實際的移動向量 檢測範圍。本實施樣態之檢測範圍決定器13只要是儲存著 20多數個移動向量檢測範圍之候選,而從其中選擇實際使用 之移動向量檢測範圍即可。 而且,本實施樣態說明了檢測範圍決定器13從5個移 動向量檢測範圍之候選之中選擇實際使用之移動向量檢測 範圍,惟本實施樣態並不限於此。亦可爲移動向量存在於 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 1225372 、發明說明 移動向量切換領域u之數愈多,則愈弄大移動向量檢測範 圍的擴大率。 又,此情形下檢測範圍決定器13亦可從預先保持之移 動向量檢測範圍選擇移動向量存在於移動向量切換領域U 5 之數愈多則愈大移動向量檢測範圍。又,檢測範圍決定器 13亦可不預先保持之移動向量檢測範圍而產生移動向量存 在於移動向量切換領域U之數愈多則愈大移動向量檢測範 圍。 又,檢測範圍決定器13亦可於移動向量存在於移動向 10 量切換領域D之數愈多,則愈弄大移動向量檢測範圍的縮 小率。 又,此情形下檢測範圍決定器13亦可從預先保持之移 動向量檢測範圍選擇移動向量存在於移動向量切換領域D 之數愈多則愈小移動向量檢測範圍。又,檢測範圔決定器 15 13亦可不預先保持之移動向量檢測範圍而產生移動向量存 在於移動向量切換領域D之數愈多則愈小移動向量檢測範 圍。 又,本實施樣態之動畫影像壓縮編碼裝置如第8圖(a) 、(b)、(c)所示,在移動向量檢測範圍狹窄的情形下’形成 20 檢測接近像素單位的移動向量的狀態,反之,在移動向量 檢測範圍寬廣的情形下,形成間拔地檢測變寬廣部份之移 動向量的狀態。即,如第8圖⑷所示移動向量檢測範圍 A1那般檢測範圍爲寬廣的情形下,如以黑色記號表示可檢 測有關被間拔之像素的移動向量,反之,如第8圖(c)所示 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 31 、發明說明 發明說明糸買頁 移動向量檢測範圍A5那般檢測範圍爲狹窄的情形下,如 以黑色記號表示移動向量能以像素單位來檢測。因此,即 便是移動向量檢測範圍變大,亦可因應其寬度而間拔要求 得之移動向量的像素,故不會增加用以檢測移動向量的計 算量。 如第4圖所示,若是具備具有多數種類的移動向量檢 測範圍’且從該多數種類的移動向量檢測範圍選擇移動向 量檢測範圍之構成的話,則可因應輸入影像之動作的大小 而將移動向量檢測範圍予以適宜地擴大·縮小,能提昇移 動向量檢測精確度,以及因提昇移動向量檢測精確度而能 削減發生編碼量,而能達到解碼化後之動畫的高畫質化。 又’能將檢測移動向量所需要的記憶機構等電路,設 成對應該移動向量檢測範圍之內最狹窄範圍的規模,則因 提昇移動向量之檢測精確度而亦能將可實現高畫質之解碼 影像的裝置作成廉價。 具備有可因應移動向量檢測範圍而從上述實施樣態中 的移動向量檢測範圍13產生移動向量檢測範圍切換領域的 切換領域決定器14;比較該移動向量檢測範圍切換領域與 被檢測之移動向量而判定該移動向量是否存在移動向量切 換領域內的比較器15 ;且係計算器16儲存該移動向量切 換領域與比較器15之輸出信號的判定信號,並依據儲存在 計算器6的判定信號而決定移動向量檢測範圍的構成的話 ,能使移動向量檢測機構21所檢測之移動向量之移動向量 檢測範圍的設定,追隨輸入動畫影像的移動,且能提昇配 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 32 1225372 發明說明續頁 、發明說明 合輸入動畫影像的移動之移動向量檢測範圍的即時性。 又,本實施樣態說明了以框單位來更新從檢測範圍決 定器13輸出至預測器12的移動向量檢測範圍,惟本實施 樣態並不限於此。之前雖已說明了以框單位來適當地決定 移動向量檢測範圍,,惟本實施樣態並不限於此。
ίο 亦可以n(n爲滿足η^Ν之自然數)個期間來進行從檢 測範圍決定器13輸出至預測器12之移動向量檢測範圍的 更新。惟,係將N作爲存在1框之巨集方塊的總數,而將 1框分割成多數個的情形下之一個分割單位之巨集方塊的 總數作爲η個。此情形下,計算器16係可記憶在η個期 間之移動向量存在於移動向量切換領域中之數的構成,以( 存在η個期間之巨集方塊數)除(移動向量存在移動向量切 換領域之數)之値達一定門檻値以上時,切換移動向量檢測 範圍而將該已切換之移動向量檢測範圍回復至移動向量檢 15 測機構21與切換領域決定機構14。 例如,以(存在η個期間之巨集方塊數)除(移動向量存 在移動向量切換領域D之數)之値達一定門檻値以上時,將 移動向量檢測範圍例如第5圖(a)、(b)所示從移動向量檢測 範圍A3切換至移動向量檢測範圍A4。即,縮小移動向量 20檢測範圍。又,例如以(存在η個期間之巨集方塊數)除(移 動向量存在移動向量切換領域U之數)之値達一定門檻値以 上時,將移動向量檢測範圍例如第6圖(a)、(b)所示從移動 向量檢測範圍A3切換至移動向量檢測範圍A2。即,擴大 移動向量檢測範圍。 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 33 1225372 發明說明續頁 、發明說明 採用如此構成的話,能實現提昇配合輸入動畫影像之 移動之移動向量的檢測精確度與削減發生編碼量。 其次,參照第1圖所示上述述一連串處理流程的方塊 圖而以第9圖來說明。 首先,從輸入端子輸入之輸入動畫影像以解碼順序在 框排列替換器2進行替換,而以步驟31形成細分化1框所 具有之N個(惟,N爲2以上的自然數)的巨集方塊動畫信 號。 從框排列替換器2以解碼順序抽取之巨集方塊動畫信 10 號,在步驟32以切換開關判定爲1幀或1幀以外。以切換 開關18判定巨集方塊動畫信號爲1幀時,將開關20設成 OFF狀態。 判定爲1幀之巨集方塊動畫信號以步驟33經由DCE 器3、反量子化器9、反DCT器10、加法器19而將1幀 15 之巨集方塊動畫的解碼信號儲存於框記憶體11。 其次,在步驟34判斷1幀份量之巨集方塊動畫信號之 壓縮解碼的結束,未達1幀時回復至步驟32。 在步驟32判斷從框排列替換器2抽出的巨集方塊動畫 信號是否爲1幀,若非1幀時,則在步驟35以切換開關 20 18判定是否爲P幀或B幀。 判定巨集方塊動畫信號爲P幀時,在步驟36以減法器 17減算該巨集方塊動畫信號與從預測跆12輸出之預測影 像信號而輸出差分信號,同時將開關10設爲ON狀態。 在步驟36減算之差分信號係經由DCE器3、量子化 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 34 1225372 、發明說明 器4、反量子化器9、反DCT器1〇而以加法器19加算P 幀之反DCT信號與從預測器12輸出之預測影像信號(本實 施例係從之前的I幀來的預測影像伯號’而在P幀繼繪的 情形下係從之前的p幀來的預測影像信號),而將巨集方塊 參照信號儲存於框記憶體11直至成爲1框。同時,以預測 器12使用框參照信號與從框排列替換器2來的巨集方塊動 畫信號之差分呈最小的移動向量而產生預測影像信號。 ίο 在步驟37產生之預測影像信號在步驟38輸入比較器 15,在比較器15比較該預測影像信號與從切換領域決定器 14輸出之移動向量切換領域並將巨集方塊切換信號輸出至 計算器16。計算器16儲存巨集方塊切換信號直至形成1 框。 其次在步驟34判斷1框份量之巨集方塊動畫信號之壓 縮解碼的結束,未達1框時回復到步驟32。又,上述例子 15 係將開關20設成ON狀態之步驟設爲步驟36,惟,只要 是以加法器19進行加算之前的話在任何步驟均可,當然亦 可爲步驟35或步驟37。 在步驟37判斷從排列替換器2抽出的巨集方塊動畫信 號是否爲I幀,而在非I幀的情形下,在步驟35以切換開 20 關18判定是否爲P幀或B幀。 一旦判定巨集方塊動畫信號爲B幀的話,在步驟39 以減法器17減算該巨集方塊動畫信號與從比較器12輸出 之預測影像信號而輸出差分信號。在步驟39所減算之差分 信號在步驟40經由DCT器3及量子化器4而產生量子化 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 35 、發明說明 翻酬續頁 信號,在步驟34判斷1框份量之巨集方塊動畫信號之壓縮 解碼的結束,未達1框時回復到步驟32。 又,在步驟34判斷已達1框的情形下,在步驟41將 框切換信號從計算器16輸出至檢測範圍決定器13,檢測 範圍決定器13將框單位之移動向量檢測範圍回復至預測器 12之同時,亦輸出至切換領域決定器14而在切換領域決 定器14產生移動向量切換領域並輸出至比較器15。 在步驟41產生框單位之移動向量檢測範圍而輸出至預 測器12之後,在步驟42結束動畫影像信號而判定有無其 次的框·,當有其次的框時則回復到框排列替換器2,當無 其次的框時則結束處理。 又,在上述實施樣態說明了以框單位進行移動向量 檢測範圍之更新,惟亦能以畫面單位、框單位、幀群 (GOP)單位等輸入動畫影像之一定的整合單位來進行。 但是,因應整合單位而有必要變化移動向量檢測範圍決 定器13及框記憶體11等。 又,在上述實施樣態說明了以採用MPEG壓縮爲例 ,然而壓縮解碼方法並不限定於MPEG,例如進行削減 H.261或H.263等時間方向冗長度之框間預測的壓縮方 式的話,均可適合。 依據本實施樣態的話,具有即便是要作移動向量檢 測之檢測範圍爲多數存在亦不會增大硬體規模,且於進 行動畫影像壓縮編碼之際可因應輸入影像之移動速度而 選擇最適當的移動向量檢測範圍的作用,其結果則能獲 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 36 1225372 發明說明續頁 、發明說明 得可實現高畫質之優異效果。又,移動大的影像亦能檢 測正確的移動向量,又,能設定正確的移動向量檢測範 圍。 又,本發明之程式係可藉由電腦來執行上述本發明 5 之移動向量檢測方法之全部或一部分步驟(或步驟、動 作、作用等)之動作的程式,係與電腦協動而作動的程 式。 · 又,本發明之記錄媒體係可將藉由電腦來執行上述 本發明之移動向量檢測方法之全部或一部分步驟(或步 10 驟、動作、作用等)之動作的程式予以載持的記錄媒體 ,係可由電腦讀取且被讀取之前述程式與前述電腦協動 而執行前述動作的記錄媒體。 又,所謂本發明之上述「一部分機構(或裝置、元 件等)」乃表示此等多數機構之中的一個或幾個機構, 15 所謂本發明之上述「一部分步驟(或程序、動作、作用 等)」乃表示此等多數步驟之中的一個或幾個步驟。 又,所謂本發明之上述「機構(或裝置、元件等)的 機能」乃表示前述機構之全部或一部分的機能,所謂本 發明之上述「步驟(或程序、動作、作用等)」乃表示前 20 述步驟之全部或一部分的動作。 又,本發明之程式的一利用樣態亦可爲記錄於能藉 電腦讀取的記錄媒體,而與電腦協動而作動的樣態。 又,本發明之程式的一利用樣態亦可爲於傳送媒體 中傳送而能藉電腦讀取,且與電腦協動而作動的樣態。 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 37 1225372 、發明說明
發明說明MM ίο 15 又,本發明之資料構造包含有資料庫、資料格式、 資料表、資料表單、資料種類等。 又,記錄媒體包含ROM等,傳送媒體包含有網際 網路等傳送媒體,光、電波、音波等。 又,上述本發明之電腦不限於CPU等純硬體,亦 可包含軟體或、OS、甚至於周邊機器。 又,如以上說明本發明之構成可軟體性地實現,亦 可硬體性地實現。 產業上的利用性: 由以上說明可淸楚瞭解,本發明可提供即使是對於 移動大的影像亦可檢測適當的移動向量,又,能設定適 當的移動向量檢測範圍之動畫影像壓縮編碼裝置、移動 向量檢測方法、記錄媒體及程式。 【圖式簡單說明】 第1圖係本發明之第1實施樣態之動畫影像壓縮編碼
裝置之方塊圖。
第2圖表示本發明之第1實施樣態之巨集方塊之移動 向量的一例。 第3圖表示本發明之第1實施樣態之移動向量與移動 20 向量切換領域的一例。 第4圖表示本發明之第1實施樣態之移動向量檢測範 圍與移動向量切換領域的一例。 第5圖(a)表示本發明之第1實施樣態之現在的移動向 量檢測範圍與移動向量切換領域的一例。 0續次頁(發明說明頁不敷使用時,請註記並使用續頁) 38 1225372
第14圖表示習知之動畫影像壓縮編碼裝置之移動向 量檢測範圍與移動向量之一例。 L圖 丨式之主要元件代表符號表】 1 輸入端子 30 103 廣域移動向量檢 5 2 框排列替換器 測器 3 DCT器 104 狹域移動向量檢 4 量子化器 測器 5 變長編碼器 105 比較器 6 緩衝器 35 106、 107切換器 10 7 輸出端子 108、 110低通濾波器 8 速率控制器 109、 111下降取樣電路 9 反量子化器 201 緩衝記憶體 10 反DCT器 202 誤差計算電路 11 框記憶體 40 203 誤差比較電路 15 12 預測器 204 位址產生電路 13 移動向量檢測範圍 205 CPU 決定器 301 DCT電路 14 切換領域決定器 302 量子化器 15 比較器 45 303 反量子化器 20 16 計算器 304 反DCT器 17 減法器 305 框記憶體 18 切換開關 306 移動補償框間預測電 19 加法器 路 20 開關 50 307A 移動檢測裝置 25 21 移動向量檢測裝置 308 框內·框間切換信號 101 參照框信號輸入 A1〜A5移動向量檢測範圍 端子 S21〜 S27 步驟 102 預測框信號輸入 S31〜 S42 步驟 端子
40

Claims (1)

1225372 拾、申請專利範圍 1. 一種動畫影像壓縮編碼裝置,包含: 巨集方塊產生機構,係將輸入動畫影像1個框細分 化產生N(N爲2以上的自然數)個巨集方塊動畫影像信號 9 5 編碼解碼機構,係將前述巨集方塊動畫影像信號予 以壓縮編碼之後予以解碼而產生解碼動畫影像信號; 移動向量檢測機構,係在第1移動向量檢測範圍內 ,從前述解碼動畫影像信號與前述巨集方塊動畫影像信 號,檢測移動向量; 10 移動向量計算機構,係在經檢測之前述移動向量之 中,將前述第1移動向量檢測範圍之最外線的第1最外線 、及在前述第1移動向量檢測範圍之內側的第2移動向量 檢測範圍之最外線的第2最外線之間的移動向量數作爲 第1移動向量數而加以計算;及 15 移動向量檢測範圍決定機構,係依據經計算之前述 第1移動向量數而擴大前述第1移動向量檢測範圍。 2. 如申請專利範圍第1項所述之動畫影像壓縮編碼裝置, 其中,前述移動向量計算機構將前述第2移動向量檢測 範圍之內側的第3移動向量檢測範圍內的移動向量數作 2〇 爲第2移動向量數並加以計算;且前述移動向量檢測範 圍決定機構依據經計算之前述第2移動向量數而縮小前 述第1移動向量檢測範圍。 3. 如申請專利範圍第1項所述之動畫影像壓縮編碼裝置 ,其中,前述移動向量檢測範圍決定機構於經計算之 0續次頁(申請專利範圍頁不敷使用時,請註記並使用續頁) 41 1225372 申請專利範團續頁 拾、申請專利範圍 前述移動向量檢測範圍決定機構於經計算之前述第1移 動向量數多於一定門檻値時,擴大前述第1移動向量檢 測範圍,小於前述一定門檻値時,不擴大前述第1移動 向量檢測範圍或不變更前述第1移動向量檢測範圍。 5 10 4. 如申請專利範圍第1項所述之動畫影像壓縮編碼裝置, 其中,前述移動向量檢測範圍決定機構在經計算之前述 第1移動向量數愈多時,則愈加大前述第1移動向量檢 測範圍的擴大率。 5. 如申請專利範圍第2項所述之動畫影像壓縮編碼裝置 ,其中,前述移動向量檢測範圍決定機構在經計算之前 述第2移動向量數愈多時,則愈加大前述第1移動向量 檢測範圍的縮小率。 6. 如申請專利範圍第1項所述之動畫影像壓縮編碼裝置 ,其中,前述移動向量檢測範圍決定機構預先具有多數 15 種移動向量檢測範圍,從該多數種移動向量檢測範圍選 擇經計算之前述第1移動向量數愈多則愈大的移動向量 檢測範圍,而作爲前述第1移動向量檢測範圍。 7. 如申請專利範圍第2項所述之動畫影像壓縮編碼裝置 ,其中,前述移動向量檢測範圍決定機構預先具有多數 20 種移動向量檢測範圍,從該多數種移動向量檢測範圍選 擇經計算之前述第2移動向量數愈多則愈小的移動向量 檢測範圍,而作爲前述第1移動向量檢測範圍。 8. 如申請專利範圍第1項所述之動畫影像壓縮編碼裝置 ,其中,前述移動向量檢測範圍決定機構於每一 P框進 0續次頁(申請專利範圍頁不敷使用時,請註記並使用續頁) 42 1225372 申請專利範圍續頁 拾、申請專利範圍 行前述第1移動向量檢測範圍的更新,或於每一將P框 分割成η個(η^Ν之自然數)的分割單位進行;前述第1 移動向量檢測範圍被更新之際,前述移動向量檢測範圍 決定機構,於前述P框或前述分割單位所計算之前述第 5 1移動向量數,以存在於前述P框或前述分割單位之巨 集動畫影像信號數來分割之數在一定門檻値以上時,擴 大前述第1移動向量檢測範圍。 9. 如申請專利範圍第1項所述之動畫影像壓縮編碼裝置 ,其中,前述移動向量檢測範圍決定機構於每一 P框進 10 行前述第1移動向量檢測範圍的更新,或於每一將P框 分割成η個(n^N之自然數)的分割單位進行;前述第1 移動向量檢測範圍被更新之際,前述移動向量檢測範圍 決定機構,於前述P框或前述分割單位所計算之前述第 2移動向量數,以存在於前述P框或前述分割單位之巨 15 集動畫影像信號數來分割之數在一定門檻値以上時,縮 小前述第1移動向量檢測範圍。 10. 如申請專利範圍第1、3、4、6或8項所述之動畫影像 壓縮編碼裝置,其中,前述移動向量檢測機構於擴大前 述第1移動向量檢測範圍之際,亦擴大前述第2移動向 20 量檢測範圍。 11. 如申請專利範圍第2、4、7或9項所述之動畫影像壓縮 編碼裝置,其中,前述移動向量檢測機構於縮小前述第 1移動向量檢測範圍之際,亦縮小前述第3移動向量檢 測範圍。 0續次頁(申請專利範圍頁不敷使用時,請註記並使用續頁) 43
TW091137192A 2001-12-25 2002-12-24 Method of detecting motion vector TWI225372B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001391441 2001-12-25

Publications (2)

Publication Number Publication Date
TW200301655A TW200301655A (en) 2003-07-01
TWI225372B true TWI225372B (en) 2004-12-11

Family

ID=19188521

Family Applications (1)

Application Number Title Priority Date Filing Date
TW091137192A TWI225372B (en) 2001-12-25 2002-12-24 Method of detecting motion vector

Country Status (6)

Country Link
US (1) US20040105589A1 (zh)
EP (1) EP1460854A4 (zh)
KR (1) KR100632072B1 (zh)
CN (1) CN1266947C (zh)
TW (1) TWI225372B (zh)
WO (1) WO2003056838A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050169376A1 (en) * 2004-01-30 2005-08-04 Pai Ramadas L. Motion vector address computer error detection
KR100763205B1 (ko) * 2006-01-12 2007-10-04 삼성전자주식회사 모션 역변환을 사용하여 모션 예측을 수행하는 방법 및장치
WO2007093780A2 (en) * 2006-02-13 2007-08-23 Snell & Wilcox Limited Method and apparatus for modifying a moving image sequence
US7916141B2 (en) * 2006-04-10 2011-03-29 Choi Kum-Young Image processing system using vector pixel
CN101137065A (zh) * 2006-09-01 2008-03-05 华为技术有限公司 图像编码方法、解码方法、编码器、解码器、编解码方法及编解码器
CN102325257A (zh) * 2007-07-20 2012-01-18 富士胶片株式会社 图像处理设备和图像处理方法
US8649339B2 (en) * 2010-10-22 2014-02-11 Motorola Solutions, Inc. Method and apparatus for distributing video packets over multiple bearers for providing unequal packet loss protection
US8428023B2 (en) * 2010-10-22 2013-04-23 Motorola Solutions, Inc. Method and apparatus for distributing video packets over multiple bearers for providing unequal packet loss protection
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
EP3139611A1 (en) 2011-03-14 2017-03-08 HFI Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
JP6137302B2 (ja) * 2013-03-29 2017-05-31 富士通株式会社 符号化装置、符号化方法、および符号化プログラム
US11812168B2 (en) * 2020-01-07 2023-11-07 Semiconductor Components Industries, Llc Imaging devices with image transform circuitry for improved motion detection

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231225B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
US5537155A (en) * 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
JP3094893B2 (ja) * 1995-03-03 2000-10-03 ケイディディ株式会社 動画像符号化装置
US5841476A (en) * 1995-03-03 1998-11-24 Kokusai Denshin Denwa Co. Ltd. Coding apparatus for encoding motion picture
JPH0955941A (ja) * 1995-08-16 1997-02-25 Sony Corp 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
JP3994445B2 (ja) * 1995-12-05 2007-10-17 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
JP3724662B2 (ja) * 1996-04-12 2005-12-07 ソニー株式会社 画像符号化装置及び画像符号化方法
US5911008A (en) * 1996-04-30 1999-06-08 Nippon Telegraph And Telephone Corporation Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding
JPH1023420A (ja) * 1996-07-02 1998-01-23 Matsushita Electric Ind Co Ltd 動き検出方法および動き検出装置
JPH1155677A (ja) * 1997-08-08 1999-02-26 Fujitsu Ltd 動画像符号化装置
JP2891250B2 (ja) * 1997-10-21 1999-05-17 日本電気株式会社 動画像符号化方法および装置
JP3149840B2 (ja) * 1998-01-20 2001-03-26 日本電気株式会社 動きベクトル検出装置及び方法
JP4378824B2 (ja) * 2000-02-22 2009-12-09 ソニー株式会社 画像処理装置及び方法
EP1134981A1 (en) * 2000-03-17 2001-09-19 STMicroelectronics S.r.l. Automatic setting of optimal search window dimensions for motion estimation

Also Published As

Publication number Publication date
KR20040016856A (ko) 2004-02-25
TW200301655A (en) 2003-07-01
EP1460854A1 (en) 2004-09-22
EP1460854A4 (en) 2008-10-22
WO2003056838A1 (en) 2003-07-10
CN1266947C (zh) 2006-07-26
KR100632072B1 (ko) 2006-10-04
CN1505900A (zh) 2004-06-16
US20040105589A1 (en) 2004-06-03

Similar Documents

Publication Publication Date Title
JP5406222B2 (ja) 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置
US7444026B2 (en) Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith
KR100803611B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP5310614B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP2015119502A (ja) 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法
JP2004336369A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
TWI225372B (en) Method of detecting motion vector
US7433407B2 (en) Method for hierarchical motion estimation
JP4227067B2 (ja) 動画像符号化方法と装置及びプログラム
Slowack et al. Rate-distortion driven decoder-side bitplane mode decision for distributed video coding
JP4197695B2 (ja) 動画像符号化方法、装置及びプログラム
JP2005318297A (ja) 動画像符号化・復号方法及び装置
US7333660B2 (en) Apparatus for and method of coding moving picture
JPH10322705A (ja) 動き検出及び動き補償予測回路
US6975681B2 (en) Method and apparatus for coding moving pictures
JPH0846969A (ja) 映像信号符号化方式
KR101431046B1 (ko) Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체
JPH1023420A (ja) 動き検出方法および動き検出装置
JP2007517437A (ja) 直接符号化モードでの参照画像ブロックの確定方法
CN108432252A (zh) 视频编码中的运动矢量选择及预测系统和方法
JP4034180B2 (ja) 動画像圧縮符号化装置、及び動きベクトル検出方法
JP4154772B2 (ja) 画像情報変換装置および変換方法
JP2004040512A (ja) 画像符号化方法および画像復号方法
JPH10164596A (ja) 動き検出装置
Lee et al. Distributed video codec with spatiotemporal side information

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees