TWI339071B - Method of coding and/or decoding groups of pictures - Google Patents

Description

1339071 五、發明說明（i) 發明所屬之技術領域 本發明係關於圖像組群之寫碼和/或解碼方法。 本發明應用於3 D小波分解為基本之視頻壓縮文脈。 先前技術 在先前技術中，已倡議使用3 D小波圖像分解技術，其 中一組圖像或G0P，是按照對二維度或2D圖像應用小波分 解過程加以分解。基於此，即可沿扮演第三維度任務的時 間維度，進行資料流之壓縮。 在先前技術中，最詭計點發生在小波時間分解之際。 當時間分解已告進行，利用G0P圖像序列内運動向量結合 的圖元業已籤附。如今已知在沿時間維度進行壓縮操作時 ，無運動向量通過的圖元正在消失。 為解決此問題，並避免在處理當中失去資訊，所以必 須對此等圖元應用特別處理，因而降低小波處理的效率。 在通常的視頻寫碼計劃中，運動以段說明，例如1 6圖 元寬X 1 6圖元高。上面引起的問題，即移到諸段的邊界。 為解決此問題，考慮到圖像序列在二運轉方向的圖元 拋物線：G0P圖像序列的自然方向，和相反方向。則運動 資訊量為習知技術的倍增。 發明内容 提供先前技術此等缺點的解決策略，本發明包含為各 序列選用組態資料，並使標準最適化，使其可在各GOP圖 像序列中降低未連接圖元數。 於是，未連接圖元數大降，按照3D小波壓縮，不需更

第5頁 1339071 五、發明說明（2) 多處理。 具體 解碼方法 包括步驟 以此 序列 括在 是運 接圖 括決 定圖 括決 ， 狄 考圖 方式 的圖 按照 做為 動估 元數 按照 定至 像運 按照 定織 後從 像。 按照 而言，本發明係 ，基於3 D小波處 為： 根據預定最適標 態3D小波寫碼， ;然後 發生組態資訊單 像；最後 根據該組態資訊 產生寫碼資料流 像用3 D小波寫碼 本發明要旨，至 參考圖像的至少 計，然後從圖像 最少的圖像，做 本發明要旨，至 少一測試圖像内 動振幅最小的圖 本發明要旨，至 紋資訊項，係在 圖像序列決定織 關於一種圖像序列之寫碼和/或 理。本發明方法包括寫碼階段， 準，決定至少一資訊項，以供組 選擇接續圖像序列用之參考圖像 位，包括該圖像序列用的參考圖 行3 D小波寫碼 括組態資訊單 資料之各圖像序列 組態資訊項的 試圖像内之小 序列決定在運動估 考圖像。 組態資訊 之運動振幅， 做為參考 執 包 少一 一測 為參 少一 項之 然後 圖像 少一組態資訊項之 一測試圖像内 訊項最豐富的 像 至少 紋資 位和/或圖像 聯集。 決定步驟，包 波分解，再來 計步驟中未連 決定步驟，包 從圖像序列決 〇 決定步驟，包 測量高頻組件 圖像，做為參 本發明要旨，至少一組態資訊項之決定步驟，亦

第6頁 1339071 五、發明說明（3) 包括決定該圖像序列内之圖像數。 按照本發明要旨，至少一組態資訊項之決定步驟，亦 包括為圖像序列決定至少一方向的時間分解。 按照本發明要旨，至少一組態資訊項之決定步驟包 含： —在第一步驟中：構成預定尺寸的圖像序列G0P’ 一在第二步驟中：對各圖像序列，選用圖像序列之 第一圖像做為參考圖像，以及在前進方向中的時間分解方 向，或選擇圖像序列之最後圖像做為參考圖像，以及在後 退方向中的時間分解方向，依選擇未連接圖元數最少而 定。 按照本發明要旨，至少一組態資訊項之決定步驟包 含： —在第一步驟中：構成預定尺寸的G0P圖像序列， —在第二步驟中：執行選擇參考圖像，和在圖像序 列中的選用參考圖像後續之圖像用前進方向，以及在圖像 序列令的選用參考圖像前導之圖像用後退方向，決定時間 分解方向。 按照本發明要旨，至少一組態資訊項之決定步驟包 括： _在圖像間的前進方向：決定運動，在前進運動估 計中構成運動點的拋物線，以及在構成拋物線的步驟當中 ，電算未連接圖元數； 一在圖像間的後退方向：估計圖像間後退方向之運

1339071 五、發明說明（4) 動，在前進方向估計中構成運動點的拋物線，以及在構成 拋物線的步驟當中，電算未連接圖元數； —根據最少未連接圖元數，選用最佳參考圖像。 按照本發明要旨，至少一組態資訊項之決定步驟包 括： 退方向之運 -對 程中接續執 一估計圖像間前進方向之運動，同時估計圖像間後 動；然後 G0P序列之各圖像進行環路以求適應，在其過 行構成拋物線，再電算未連接圖元數；然後 —根據最少未連接點數，選擇G0P圖像序列中最佳 參考圖像以求適應。 按照本發明要旨，方法包括解碼階段，包含： —把組態資訊單位解碼，決定在指定二元資料流上 所進行3 D小波寫碼之特性；然後 —進行3D小波解碼處理電路之更新；最後 一進行代表圖像序列的二元資料流之解碼，以便在 指定二元資料流内所含至少一序列圖像產生輸出。 按照本發明要旨，方法整合於3 D小波為基礎的視頻壓 縮器/解壓縮器計劃内。 按照本發明要旨，方法整合於MPEG寫碼/解碼計劃 内。 選用參考圖像，據此進行電算G0P内的運動，以此運 動連接的圖元數為函數，進行時間分解之方向，此資訊可 與運動向量場織紋或運動資料組合。以時間上連接圖元數

第8頁 1339071 五、發明說明（5) ，改進2 D + T小波分解之致率 實施方式 借助附圖加以說明，即可更 本發明其他特性和優.點 為明顯。 _須知 。又須 以供處 第1圖所示為先前技術中 此3 D小波壓縮計劃亦可俟執行小波壓縮之具體例 知就方法所述亦可在電腦中發明方法後才使用 理圖像序列。 處理段之方式實施’

在步驟1中’進行包括N 得或合成，GOP序列傳送至小^圃像的圖像序列GOP之取 ，以估計圖像間之運動。 '分解步驟2，並列至步驟3 小波分解步驟包括時間域八 析步驟2b(形態重複頻率等）。 分析步驟2a和空間域之分 實務上’在先前技術中， G0P圖像序列中之基本圖像，為動估計步驟3開始時選用 像一2和圖像一 1間，圖像自始至终列之最後圖像。透過圖 _2之間等等’可進行運動估計7的f異’則圖像_3和圖像 估計資訊項是利用運動估計資吨進行此運動估計時，運動 間域分析步驟2 a，以便在運動 $ 8傳送至小波分解用時 於此小波分解之際，產生轉2執行一維度小波分解。 同的時間頻率。轉型為時間頰率的圖像序列’相當於不 步驟2b中，利用2D小波轉型處理之圖像序列，在空間分解 在運動估計步驟3結束時，代表GOP圖像序列内運動向 量之運動係數’傳至代表G0P圖像序列内運動的向量場之 〜y〇7i

間頰 。寫 為此 螞〇 在空間分析步驟2 b結束時’代表圖像序列中各圖像空 係數，傳至摘寫碼電路之輸入。 在步驟4進行的熵寫碼包括二階段：先行模造和正式 。镇造可把或然率分配在要處理的資料流中之各符號 崎给各符號分配二元字’其長度視相關或然率而定。 目的，使用編碼計劃，諸如Huffman電碼或算術寫

電略從场寫瑪4引起的寫碼係數，傳送至資料流成型處理 量場之第一輸入’其第二輸入接受從步驟3引起的運動向 ，產2級份。整體構成3D小波係數資料流，其串聯方式為 ，訣i —元資料列7 ’任何適當的後續處理均可應用於此 諸^9編密碼、儲存或傳輸處理。 。時間淚、為4圖像的G0P圖像序列之一維度轉型技術 計步驟Γ選'擇糸沿基本圖像的各點抛物線進行’係在運動估 ，W甘固、-释/參見第2圖以圖像-1、圖像-2表示之各圖像 +社串聯形式表示’相當於習知一維度小波轉型 的計劃。在第？ ® + —1 ^ ^ 圖中’所考慮的拋物線通過分別在圖像_ 1 内X 1 *在圖俊 9 rin 1豕内x 2等籤附的位置。箭頭F1,F2，F3代表 接續圖像間移動，因其可辨識小波係&，相當於視為整體 G0P圊像序列之拋物線。

第3 ®所7^為第1圖步驟2提到的一維度小波分解步驟 。在此例’考慮到長度4的g〇p二階分解。若此種分解應 用於係數〔X 1 ·— … --

X y

第10頁 1339071 五、發明說明（7) - f波1〇 2 i副抽，步驟10，產生一對低頻係數〔Ll，L2〕， =7應用南通遽' 波和以2副抽樣步驟u，產生一對高頻係 然後，對此對低猫I 「I 1 1 η、 _ _ ^ 以2副抽樣步驟1 2，_產生将數r Ί ，再:用低慮波和 ,^H度生係數〔LL〕，代表最低時間頻率 .，且伤，並订尚通濾波和以2副抽樣步驟丨3，產生係數 數m r ?率組份。即得—批四個時間頻率小波 = ΐίϊΙϋ!Γ，Η2〕。此外，在3D小波圖像壓縮之 =近计劃中’圖像f和3間之場F2未估計，而渡波12和13事 實上以L1和L2間估計場進行。 此項轉型疋為參考囷像所引起每一拋物線進行，故可 產生轉型為第4圖所示時間頻率之圖像，分別為圖像—H1、 圖像_H2、圖像_LH和圖像_LL。相當於第2圖内圖像」、圖 像一2…諸圖像内籤附運動點的四個係數，係呈其時間頻率 轉位的形式，分別為圖像_H1内的H1、圖像_H2内的H2、圖 像_1>11内的LH，以及圖像LL内的LL。結果，所考慮的抛物 線即在第4圖的時間頻率圖上。 、° 正如本案前序文内所述，在第4圖所示時間分解完成 時’無運動向量通過的圖元並未分配任何於第5圖的時 間頻率域内。在先前技術中，稱為未連接元。指定給運 動向量之所有其他圖元均正確處理。然而 後轉型8 中，如果在關於第5圖所示圖像_丨的左側圓内標禾χ之未連 接圖元未加資訊’未達連接序列圖内其他 {圖像一】， 圖像_2,圖像—3,圖像一4 }所示運動向量，則此等序列的重

第11頁 1339071 五、發明說明（8) 構難以忠實於開始G0P圖像序列。 本發明方法正確借用上述先前技術之諸元件。資料流 包含「自然」圖像流，像借助照相機產生的圖像，或借助 合成圖像發生器產生的圖像。本發明方法簡單包含，把3D 小波寫碼用的組態資訊單位與習用寫碼器輸出7所述資料 流加以關聯。寫碼用的組態資訊確保對寫碼計劃成本標準 最佳反應。 可實施二種模式： —單向模式，或前進/後退模式。在此模式中，運 動補正方向在G0P内必須一定。在此模式中，唯有G0P的首 先和最後圖像，係選用參考圖像之候選者。 —雙向模式，G0P的全部圖像都是選用參考圖像之 候選者。在此模式中，運動補正的兩個方向都可用在參考 圖像的任一側。第6和7圖表示單向模式，或前進/後退模 式；第8和9圖表示雙向模式。 第6圖所示為單向模式中圖像流之分解，其中每G0P圖 像序列容許單一方向補正。各圖像在時間域内以垂直條表 示。圖像流在圖像的時間序列内，從左到右分成三個G0P 圖像序列，在時間上接續指定為GOP1, GOP2, GOP3。 按照本發明，各序列的圖像數，與每G0P未連接圖元 數上拘束的上限有關。 按照本發明，選擇粗條所示參考圖像，係依照指定標 準為之。若干標準例如下。 第一項標準是G0P内未連接圖元數的最小化。在此情

第12頁 1339071 五、發明說明（9) 況下，對二運動補正方向各電算G0P内未連接圖元數。再 選擇使G0P全部的未連接圖元數減至最少的方向和參考圖 像。 第二種標準是運動振幅之最小化。在此情況下，對二 方向各衡量整個G0P内的運動振幅，例如電算各場的各運 動向量組份之平方合計。然後，選擇顯示運動最小振幅的 方向和參考圖像。 第三種標準是參考圖像的資訊豐富性。在此情況下， 衡量首先和最後圖像的織紋資訊項，利用其個別小波分解 的高頻振幅，選擇最豐富者為參考圖像。 在 第6圖 所示實 施例t 須 知 圖 像流 内 之 圖 像序 列， 係按下 表内之下列 方式界定 • 序列 大 小 參 考 圖 像 方 向 G0P1 4圖 像 最 後 圖 像 後 退 G0P2 8圖 像 最 後 圖 像 後 退 G0P3 4圖 像 首 先 圖 像 前 進 第 7圖所 不為本· 發明方 法 具 體 例 ，單 向 模 式 ，使 用未

連接圖元數最小化。確認步驟各在可識別處理機或可識別 處理機之一部份上，以方法之執行電路形式執行，而實施 裝置逕由此衍生。

在步驟2 0當中，獲得圖像流，在圖像間之正向傳送到 運動估計步驟2 1，同時在圖像間之負向傳送到運動估計步 驟22。 然後，為前進運動估計21是在步驟24中，而對後退運

第13頁 1339071 五、發明說明（10) 動估計22是在步驟25中’執行運動點拋物線之構成v 然後’為構成步驟24之拋物線，在步驟26 ^步驟25之抛物線，在步驟27中，執行電算未連接圖^構 ，後，在步驟28令選擇最佳運動補正方向， 中產^二元流，代表適應G0P圖像序列之空間轉，驟29 敢佳運動補正方向之選擇是在歩 26或步驟27内所記錄未連接圖元數之最小^。， 過步驟 史去ΐ ί若在未連接圖元數最小化時測^正向，則選俾 參f，像為GOP圖像序列接獲適應之最後圖像。反^擇的 在未連接圖元數最小化時測知負向，則選擇的’若 G Ο P圖像序列接獲適應之最先圖像。 像為 像之ί 可2擴大，使G〇P之所有圖像成為選擇參者固 為雙向模式’對於同-GOP圖像ΐί考圖 任一側’採取雙方向的時間分解。可在 乐8圖所示為分成三個GOP圖像戽 ，，用.藉第6圖說明的同樣寫碼。 ρ =之一部份 方”分解S和S、提供二方向分=PJ列包括-或二 内決定參考圖像。 和S時在GOP序列 的 全 同樣ί ί中二參考圖像R的選擇，可按照單向r 部G0P内運動振幅未連接圖元數最小化， 第9圖所示為本發明方沐鑠6圏像。 的全部圖像都是參考圖二 法上向模式之具體例， 參考圖像選擇時的候選者，以未連接圖元 “哽勃振T田取小化，以及選擇圖像 』化

意即GOP

1339071 五、發明說明αυ 數的最小化為標準。再度 認可之步驟各在可 而實狍袈罝即逕由此衍生 於步驟30中’獲得圓像流，在圓像 或可識別處理機的一部份上執行，二3 5 Ζ識別處理機

，而實施裝置即逕由此衍* 万法之執行電路方式 谩付固像流，名圖伤Μ X V 估計步驟3 1，而同時在圖像丄二傳送至運動 32。 J貝向得送至運動估計步驟 然後士 f G0P序列的各圖像進行環路33， 在其執行拋物線構成步驟34，然後未連接圖元 之電算步驟35。 然後’在接獲適應的GOP圖像序列中進行最佳參考圖 像R之選用步驟。在第9圖中’最佳參考圖像的選用標準， 是未連接點的最少數。 ' 本發明方法整合於3 D小波視頻壓縮器/解壓縮器計劃 内。在如此應用上’本發明在三個裁然不同的地方實施， 可為· 一實施寫碼步驟的地方； —包括組態資訊單位和3 D小波寫碼資料的二元資料 流’以傳輸訊號或所記錄資料的載體形式存在 態的地方； 一實施解碼步驟的地方。 ^ 按照本發明要旨，此方法整合於MPEG寫碼/解碼計劃 内《此項配置在MPEG-7標準實施的架構内特具相關性。一 第10圖所示為方塊圖’詳示實施本發明方法的31)小 _ 寫碼裝置之具體例。

第15頁

1339071 五、發明說明（12) 此等裝置包括視頻資料流1 0 6之輸入終端1 0 0，連結於 一組圖像分析電路101之輸入，其第一輸出終端107連接至 發生3 D小波寫碼用組態資訊單位之電路1 0 3的輸入終端 1 0 9 ’，以及正當3 D小波寫碼器1 0 2的輸入終端1 0 9，按照上 述本發明方法，提供組態資料，界定所要應用的3D小波處 理。電路1 0 1最後包括第二輸出終端，以供在正當3 D小波 寫碼器1 0 2上繼續3D小波處理。 寫碼器102的輸出終端110和發生電路103的輸出終端 1 1 1，連接到輸出1 0 5所示二元資料流FDB進行成型用電路 之相對應輸入，按照決定規約包括序列為： 一與GOP圖像序列關聯的3D小波寫碼組態資訊單位， —相當於相對應GOP圖像序列的3D小波寫碼結果之 元貢料流。 如此構成的資料流可傳送至新處理電路，至記錄裝置 ，或至輸電線。 第1 1圖所示為方塊圖，詳示實施本發明方法之3 D小波 解碼裝置具體例。 此種裝置包括連接至鑑別電路121之輸入終端120，其 輸出終端1 2 6和1 2 7分別連接至3 D解碼組態資訊發生電路 1 2 2和3 D小波解碼電路1 2 3。當第1 0圖電路引起的二元資料 流傳送至輸入終端1 2 0，資料即利用鑑別器1 2 1分析，故在 鑑別器1 2 1的第一輸出终端1 2 6呈現應用於二元資料流的3 D 小波寫碼之資訊特性。 後者再呈現於鑑別器的輸出127，並加載於解碼器123

第16頁 1339071 五、發明說明（13) ，後者包括組態輸入終端，根據各組態資訊單位内所含資 訊，諸如參考圖像的日期，資料流1 2 0内所呈現圖像序列 的分解方向和/或圖像數，接受組態資訊122發生電路的 終端1 28引起的組態資訊。解碼G0P圖像之序列呈現在輸出 終端1 2 4。 本發明可應用於根據3 D小波分解的視頻壓縮場。所以 ，可整合於3D小波為基本的視頻壓縮器/解壓縮器計劃。 本發明可應用於習知併合寫碼計劃，特別是在MPEG型 計劃内，其中I型圖像和P型圖像用做參考圖像。在此情況 下，本發明方法整合於MPEG寫碼/解碼計劃内。 1339071

第18頁

Claims (1)

13390.71 H 93114357

六、申請專利範圍 .處理像序列ί寫碼和/或解碼方法，基於3M'波 、特徵為，包括寫碼階段，包括步驟為： • —，據預定最適榡準，為構成3D小波寫碼，決定至 ϋ訊項’做為對接續圖像序列選用參考圖像 —發生組態資訊單位，包括該序列 圖像之曰期；最後 ^像用參考 ^ 根據该組態資訊，執行3 D小波寫碼； 在於產生寫碼資料流’包括組態資訊單位 ”像序列的圖像3D小波寫碼資料之聯隼者 ;2.如中請專利範圍第丨項之方法其中^集者。 s民項之決定牛明1 h . +· 組態資 為參者圖： 至少一測試圖像内小波分解，做 訊項之決方法’其中至少'组態資 、疋步驟包括.在至少一測試圖像内 _ 考:Ϊ:像序列決定圖像中運動振幅最小的圖•，做為： 旬造4’ t:請專利範圍第1項之方法’其中至少-組皞* 傻肉之、、定步驟包括··決定織紋資訊項，在至少-、^/阁 高頻組份，然後從圖像序列 = 虽的圖像，做為參考圖像者。 ’叹*訊項最豐 却ΐ申請專利範圍第1項之方法，其中至少-组能-〇之；、定步驟包括：決定該圖像序列中之圖像數者“

Η! 第19頁 1339071 • < . * ___豈號93114汜7 六、申請專利範圍 6. 如申請專利範圍第1項之方法，其中至少一組態資 讯項之決定步驟包括：為圖像序列的時間分解決定至少— .方向者。 7. 如申凊專利範圍第1項之方法，其中至少一組態資 訊項之決定步驟包括： —在第一步驟中：構成預定大小之圖像序列G〇p : 一在第二步驟中：對各圖像系列，選用圖像序列之 最初圖像做為參考圖像，以及在前進方向中的時間分解方 向，或疋選用圖像序列之最後圖像做為參考圖像中的時間 分解方向’以選擇未連接圖元數最少為準者。 8. 如申請專利範圍第1項之方法，其中至少一組態資 訊項之決定步驟包括： —在第一步驟中：構成預定大小的G〇p圖像序列： 一在第二步驟中：執行選擇參考圖像，並為圖像序 列中所選用參考圖像的後續圖像’在前進方向，且為圖像 序列中所選用參考圖像的前導圖像，在後退方向，決定時 間分解方向者。 A___3. 曰 修正 日修正替換頁 9.如申請專利範圍第8項之方法，其中至少一組態資 訊項之決定步驟包括： ~ —在圖像間的前進方向中：估計運動之步驟（21)， 在前進運動估計中構成運動點抛物線之步驟（24)，以及在 構成抛物線之步驟（25)中計算未連接圖元數之步驟（26); -在圖像間的後退方向中··於圖像間的後退方向中 估計運動之步mm ’在前進運動估計中構成運動點抛物

99年9·月9日修正替换頁 _ —tH- 93114357_年月 G'申請專利範圍 2 =步驟（25)，以及在構成拋物線之驟）中 '接圖元數之步驟（27); 异不 步驟（2 8^ =據未連接圖元之最少數，選擇最佳參考圖像之 1 0 .如申請專利範 訊項之決定步驟包括： 在圖像間前進方向估計運動之步驟（3 1 間後退方向估計運動之步驟（3 2 );然後 在j： ^ — aG〇P序列的各圖像進行環路（33)，經受改編， '程中’接續執行構成拋物線之步驟（34 )’再計算未 運接圖元數之步驟（35);然後 、s田I〜根據未連接點最少數，在G0P圖像序列中，進行 5佳參考圖像（R)之步驟（36 )，經受改編者。 u •如申請專利範圍第1項之方法，包括解碼階段，包 -把組態資訊單位解碼，決定在指定二元資料流上 、波寫碼之特性；然後 進行3D小波解碼處理電路之更新；最後 產生指；：的二元資料流進行解在輸出 疋#科内所含至少一序列圖像者。 A Α虛夕如申。月專利範圍第1項之方法，係整合於以3D小波 為基1之視頻壓縮器/解壓縮器體系内者。 波 /解碼利範圍第1項之方法，係整合於隨寫碼 含： 進行3D 曰 修正 少一組態資 同時在