TW466876B - Process and device for coding images according to the MPEG standard for the insetting of imagettes - Google Patents

Description

4 6 6 87 6 五、發明說明（i) 本發明係 MPEG標準編碼 直到近幾 清晰地，在電 有必要採 基礎上進行。 他藉混波器之 如字幕、匹配 如.今，廣 如按照MPEG標 處把壓縮影像 再編碼用之編 須實施解碼器 信號的補助資 設備，因而使 本發明之 其標的為 少一小單元影 照影像和内模 —獨佔 在影像内界定 —影像 屬於參照影像 按照實施 關於影像 之影像内 年，產生 1 視信號'廣 取'根源~程 例如，主 助，即可 分數等， 播和交換 準，插入 帶入基頻 碼器。此 /編碼器 訊，並於 系統複雜 目的在於 按照MPEG 像插入影 態之運動 區，含有 之位置； 巨塊的運 内獨佔區 之特別模 編碼方法，把小單位影像插入按照 的影像才 播作業員 式時，影 任需要利 方便插入 不需另外 資料是以 技術需要 内所用之 外，為進 配對，以 到達再編 〇 避免上述 標準對影 像内，利 估計，其 巨塊，即 動估計， 之影像塊 態，屬於 能以非壓縮的 之間一般傳輸 理是在 作波道 的標章 像的處 用到同 他自己 設備。 壓縮資 另外硬 解碼器. 行較佳 明瞭如 碼器之 料的形 體.：在 ，把修 品質之 何管理 前通過 形式，意即 和交換。 專業硬體的 之報告時， 、資訊，諸 式進行，例 混波輸 飾後的順序 再編碼，必 添加於編碼 全部播音室 缺點。 像編碼之方法 用間模態，具 特徵為· 使部份係位在 ，以便將至 有相對於參 小單元影像 不屬於獨佔區，不能顧及 〇 獨佔區的影像巨塊之編碼 Ω

第5頁 4 β 6· 8"^ 6 五、發明說明（2) 用内模態，是零運 按照實施之特 影像巨塊竭碼。. 按照實施之特 之巨塊加以標示。 按照實施之特 碼，利用等於最大 塊亮度值至此最大 按照實施之特 於獨佔區的巨塊定 本發明亦涉及 影像内之方法，其 關小單元影像之巨 按照實施之特 内模態巨逸，把此 的小單元影像混合 按照實施之特 化間距，是要插入 本發明亦涉及 裝置，以便將至少 ，在第一輸入上接 塊減去之預計巨塊 路，接受相對應内 之一；選定巨塊的 動向量之内模 別模態，内.模 態。 態被強制把屬於獨佔區的 別模態，進行對屬於獨佔區的參照影像 別模態，標示 編碼值的減值 值。 別.模態，對指 位出特殊晶片 把小單元影像 特徵為，内模 塊。 別模態，更換 等巨塊解碼之 ，把所得影像 別模態，屬於 的巨塊成本編 按照MPEG標準 一小單元影像 收内巨塊，在 ，以提供間巨 巨塊或間巨塊 轉型和量化電 包含進行 ，再強制 巨塊亮度值的轉 屬於獨佔區的巨 定排的巨塊，編碼是對屬 插入.按照 惑的晶片 包含回收 基頻，與 編碼，以 獨佔區的 碼之函數 對數位式 插入影像 第二輸入 塊；間或 ，按照能 路，以提 上述方法編碼的 之巨塊更換成有 相當於獨佔區之 要插入獨佔區内 提供更換巨塊。 巨塊編碼用之量 〇 視頻資料之編碼 内，包括減法器 上接收要從内巨 内模態之選擇電 量標準選擇巨塊 供量化係數之巨

第6頁 4 66 876 五、發明說明（3) 塊；量化係數的巨塊和缓衝記憶體之可變長度編瑪用 路·’可供在編碼元件.輸出處提供資料流；逆向量各么，.電 至"1G和读点 轉型電路’以獲，得由量化係數之巨塊重構之巨塊；重2 n 塊對預計巨塊之:加法器’以提供重構巨塊；記憶體和箱^ 器，以儲存重構巨塊，並提供重構影像；運動估計器，， 受内巨塊和重構巨塊，以對記憶體和預測器提供運動向接 (MV) ’計算預計塊；調整電路’從緩衝記憶體接收資^量 以設計轉型和量化電路用之量化間距，其特徵為 5 ’ -選擇電路和.運動估計電路接收附屬於獨佔區 的資訊項’該獨佔區（ZE)含有巨塊，位於（即使部份 ） 元影像之位置内； 小單 —選擇電路強制屬於此獨佔區的巨塊進行内編 —運動估計電路計算運動向量，同時消除從屬柃’ 佔區的重構影像塊指向之運動向量。 "揭 按^特別具體例’此裝置之特徵為，調整電路接收 定獨佔區之資訊項，以便適應在此獨佔區内的巨塊用 和量化電路之量化間距。 梨 本發明原理包含界定影像内之獨佔區，不屬於此區的 影像係以此等區單獨進行編碼，指向視情況不被考慮的猶 佔區之運動向量。小單元影像插入影像順序内可以簡單 式進行’並將影像解碼限制於預定區。 万 本發明主要優點是避免使用又複雜又昂貴的設備，g卩 專業的解碼器和編碼器。這反而更真，因為用到格式，諸 如高度界疋電視格式或HDTV，需要.利用到複雜設備。

第7頁 五、發明說明（4) 影像的解碼和編 流的水準進c ’不是簡單消除（如果在哪資料 之影像區，容許便是以基頻作業時’以内模態編碼 雜解瑪電路的不需任何運動估計器和其他複 +政αα」 解.瑪和再編碼。 本發明其他接激^^ β . 符徵和優點，由如下參照附圖舉例說明， 即可更為明白，附圖中： 第1圖代表參照影像内的獨佔區； 第2圖代表參照影像的查尋窗内預計巨塊之禁止位置

I 第3圖代表本發明之編褐裝置； 第4圖代表本發明編碼裝置所用運動估計器。 二 在諸如符合MPEG標準的系統等具有運動補.正之影像編 碼系統中’就指定影像塊查.尋運動向量，係相對於先前處 理過的參照影像進行，並傳送至解碼器* 第1圖表示第一屬像1，稱為根源影像’和第二影像2 ’稱為參照影像’根源影像是由此編碼’根源影像 '的影.像 塊3之編瑪，是以參照影像的查尋省内肯含同樣尺寸塊進 行此塊的相關性為之，以決定赋予最佳相·關性·的參、照塊。 編碼即相當於〜剩餘媿’此塊是根源影像塊和參照塊間差異 的亮度和色度所得，故提供差異塊，再利用此差異塊的離 散餘弦轉型，以提供係數塊’即剩餘塊’參照塊是由代表p 硯有塊相對於此參照塊的運動向量來界定。’運動向量的成. 份係在M P E G實料流内與壓縮-資料一同傳輸。 根源影像和參照影像的大小，一致，向量可指向參照.影：

4 6 S 87 6 五、發明說明（5) 像内所含的任何區。 本發明編碼方法利用運動估計，排除指向宣稱被禁止 輿相當於要插入，或混合的小單元影像之一或以上區的運動 向量·。 ， 更準確言之，旨在插入影像内並可為任何尺寸之小單 炙影像’界定在影像内之位置。宣稱被_禁.止區或獨佔區具 貧巨塊解析，意即不但相當於完全位在此位置内的影像巨 塊之積集’而且是侵入到此位置之巨·塊。

獨佔區（ZE)或善止區4至現在參照影像2内，此區的界 定例如根基分別位在區左上和右下的點Ba.和Ea之座標’意 即考慮到電視掃指時，是在區.的開.頭和結尾。此等座標是 包圍此等點的巨塊教.或排數，.以及排内之-巨塊數。此區亦 可由構成區的巨塊數來界定。 運動向量V x，y是，基於前述相關性步踢計.算。在本例中 是指定位於禁止區内之塊。按照本發明製法，此塊未採用 於塊3之編排。 在第2圖内，同樣符號用來指定與第1圖-共同的元件。 在此f施例中，於查尋窗5内為與現用塊3相關最隹塊查尋 ’是以陰影表示，基於運動尚量Vx，y界定之塊，侵到竭佔 區本，而此運動向量亦不採用。

所採用運動向量是賦予最隹相關性.，且不指定侵入絮 止區内之塊者。在查尋窗内指定並含有屬於獨佔區之點g 境…即從就指定互塊的最後遞擇排除。若查尊窗内所有可 能位置侵到獨佔區上.，則對相關巨塊言，運動即被逼成

第9頁 4 6 6 87 6 五、發明說明（6) 零。 此為全球編碼裝置補充中所涉及運動估計器利用之方 法。兹說明第3圖所示之此編碼裝置如下。 影像順序的根源影像在按照MPEG標準數位式編碼，再 命令和截波入巨塊後'即逐一巨塊傳輸至裝置之輸入卜處 。此輸入與減法器6的第一輸入、.間/内模態選擇器7之第 壹輸入’及運動估計器12之第一輸入並聯。減法器之輸出 接至模態選擇..器7之第二輸入。選擇器.的輸出接至編號電 路8之第一輸入，此電路進行所接收巨堍的離散餘弦轉型 ’以及所得係數巨塊之量化。此等巨塊傳.輪至可變長度的 編碼電路13，再至緩衝記憶體，其一輪出為以資料流型 輸送編碼資料之裝置的輸出ι可雙長度的編碼電路Μ與語 律發生器1 6交換資料’以構成所傳.輸之資料流。亦接收源 自運動估計壽丨2的運動資訊^緩衝記憶體u的 接 至調：電路i 5。量化係數之巨境利用可變長 士接 亦稱為ΠΧ編碼器照可變長度編碼法加以。附 於利用此編碼器13所接收資枓的是每馀政， ^ 資料流。然後，此等資料即傳；至=準相韻的，= 吁掏至緩价記.憶體14，其充滿 Ό 位階供至調整電路15，因而控制巨塊的係數用量化間距， 以調整位元率。 量化係數之巨塊即傳輸至解碼電·路9，於接近相對應 預計巨塊後，即供應重構巨塊至記憶韻和計電路U ' = 等巨塊的儲存提供重構影像，重構互塊命傳輸篆運動供β

第10·頁 4 6 6 87 6 五、發明說明（7) 器1 2 ’以供計算與根源影像的現用巨塊相 (Mn , ，二現用ί::::’塊’在重構影像 m律發生電路16、選擇電路7、調整電路15，以及運 動估=電路12，接收有關獨佔區之資訊（ZE)，該區為影像 $ :八中需插入或混合其他資訊，例如標準、數位、字幕 MPEG編碼法需將.影像截波成切片切片為連續之巨瑰、 系列’按照MPEG界定，全部形成同一水平巨塊排之部份， 所以，一切係由1 6個視頻線組成。 ^ φ 'θ ^ ^ Ϊ頭座前導，方便由解碼器鑑定。在50赫標 ^ . 7工令’有576有用線分佈於36切片，一切片即相 二排二並延伸於影像全寬。標準亦使其可進行更精細 m於同—排内’意即在一影像寬度，界定若干切片 利用此可能性把„部伦 從 ,Q ga p- ^ ^ 司份屬於獨佔區的線編碼。因此， 相關巨塊一起組成桩令+7Τ μ ^ 作特 片，為此’屬於頭座的位元標記 者全部以内模態編碼之事實。 U此，對指疋排而5 ，扣佯 货王电吩W屬於獨佔區的 — 即視此 可使其 此巨塊 一旦塊不再屑於滅^ 巨塊發生切片頭座。一如第 1獨佔區。為指定排發生的切片數 排内獨佔區數而定。 心讲f生的切月数 進入獨佔區時《你—u 呀從一切片通至另一切y -ir /t ffl 本身與先前切片分雜雄缺 切片之作用 刀離。雖然巨塊是以内模態編瑪

4 6 6 87:6 五、發明說明（8) ---- 的DC係數卻指定同一切片的先前巨塊之Dc係數。此巨塊之 編碼法即視各切片的第一巨塊以外的先前巨塊而定。更換 切片即使其本身可與獨佔區編碼用之現行周園影像完全分 _。當獨佔區解碼時，此舉為必然，因為只要選擇解碼此 區’而當相當於小單元影像之巨塊插入獨佔區内時，該巨 塊即不指定此區以外之資訊。 .影像之獨佔區利用處理電路（圖上未示），移入前述排 數和排内之巨瑰數（或影像内之巨塊數）。此資訊傳輸至間 /内模態選擇電路7 計算排數以及排内處理的巨塊（或影 像内處理的巨塊），當所接收的現用巨塊相當於獨佔區的 巨塊時，即強制以内模態編碼。此資訊亦傳輪至語律發生 電路’對屬於獨佔區的各巨塊組，觸發在VLC編碼電路内 發生新切片’對各排為之。此項資訊亦傳輸至調整電路】5 。因此’此電路會強制量化器8所用量化間距，至利調整 電路做為缓衝記憶體充體的函數算出之值以下，以改進獨 佔區的解析。當要被取代的小單元影像是比原有影像的獨 佔區更昂貴之編碼時，即可以人為增加此獨佔區編碼之成 本，便利巨塊取代於資料流内。另一解決方法包含降低小 單位影像之解析’使其編碼成本不超過原有影像之獨佔區 。此資訊最後傳輸至運動估計器，以防按照第4圖内所示 裝置選到指向獨佔區之運動向量。 接收有關獨佔區的巨塊數和排數的各種電路，設有計 數器，以檢定受處理的巨塊。 上述關於影像順序之編碼，使其可與小單元彰像插入

第12頁 4 66 870 五、發明說明（9) 預定區相容。因此，對此等資料的任何使用者，都可柚取 有關獨佔區之資料，此涉及屬*於切片並為内模態之巨塊， 並將此等資料與使用者特定資料混合。如涉及簡單插入而 非混合，則特定資料'即代替有關獨佔區之資料。 由於前述編碼裝置，可生成資料流（編碼之影像順序） ，其中屬於獨佔區的巨塊僅以内模態編碼，並一同組成特 別切片，稱為「内切片」。 事實上，各影像會進行標準的MPEG 2編碼處理，獨佔 區除外。此項特別造型對解碼器是絕對透明，例如大眾市 場型，足以接收、解碼和顯示影像。 另方面，當獨佔區的存在已知是壓縮順，序，可僅在相 G 關區上遂行解碼、混合/插入和再編碼處理操作。此可借 助PC型（個人電腦）計算機進行，意即純軟體處理，因為解 碼、混合/插入和再編碼，限於始終為小尺寸且僅以屬於 現有影像之資訊編碼之獨佔區；未計算到預計或運動補正 〇 若插入影像内的特別資料前已公知，則編碼裝置可用 稍微改變型。 在此情況下，語律發生電路16擁有記憶體，或從要插 入的特殊資料外面接收，呈構成以内模態編碼的小單元影 像之巨塊形式。此電路在V L C編碼電路内，以對小早位影 像編碼的巨塊，取代相當於獨佔區内編瑪之巨塊。因此， 可直接插入小單元影像或標章，以供應資料流。 小單元影像以量化係數的巨塊形式編碼，如不再以即

第13頁 4 β6 876 五、發明說明（10) 時作業，則基於小單元影像在基頻内的軟體處理（MPEG編 碼演算之一部份），以數位編碼’即可便利進行。 第4圖代表前述編碼裝置所用之運動估計裝置。 要編碼的現有影'像或根源影像之巨塊’接收在運釦估 計裝置12的第一輸入上。傳輸至電路的輸入，以計.算運動 向量1 7。參照影像之巨塊接收於運動估計器1 2的第二輸入 上，並傳輸至轉碼電路18之輸入。此電路把旦塊的轉碼亮 度值傳輸至標示電路19，以標示屬於獨佔區之巨塊。關於 獨佔區（ΖΕ)的資訊接.收在運動估計器12的第三輸入上，傳 輸至標示電路19的第二輸入。此標示電路接至記憶體2〇。 運動向量之計算電路亦.接至記憶體2 0。在其輸出，亦即運 動估計器的輸出’供應相當於根源影像的各巨塊之運動 量（MV) 〇 ° 根源影像的巨塊利用運動向量1 7的計算電路所接收 此等係做為第3圖編碼裝置輸入傳輸之巨塊。參照影像 巨塊為利用記憶體和預計電路11重構和傳輸之巨塊、 由運動估計器處理之點或 ’即亮度值編碼在0和255之間 碼電路18，把亮度值的編碼拉 254值編碼255值。此不碍估計 照影像罕能達成之值。 圖素值，通常以8位元表示 參照影像的巨塊傳輪至轉 至J 0和2 5 4之間，例如利用 的品質，尤其是因255是參

此電路亦接收 此等數相 因此轉碼的亮度值傳輪至標示電路19 有關現有處理過影像的獨佔區（ΖΕ)之資訊 此資訊係例如切片數和此切片内之巨塊數

466876 五、發明說明（11) 當於獨佔區的左上角，以及位於右下角的切片和巨塊數， 獨佔.區的尺寸界定如常，每龄像一次，根據此等數的成對 。此區可位於影像内任何處，可取得參照影像尺寸的全部 或部份。 由標示電路接收的巨塊，按各排計算，而屬於獨佔區 者強制為255。事實上，只有構成巨塊的亮度塊有關，而 運動估計不顧慮色.度塊。構成此等塊的全部圖素之亮度值 ，即四個亮度塊之各8 X 8值，被強制為2 5 5。如此編碼的亮 度值即傳輸至參照影像記憶體2 0，儲存.因此為各影像編碼 之亮度值。有關獨佔區的資訊項，即由此等亮度值所帶。 此則稱為獨佔區之標示。 為運動估計器另一輸入上所接收的各根源影像巨塊， 運動向量的計算電路在此影像記憶體20或更正確地說是此 影像的查尋窗，即會如前所述查尋與此巨塊的亮度塊最佳 相關之亮度塊。 若相關性計算決定標示之亮度塊，此塊可忽視。選用 賦予最佳相關性的未標示塊。若查尋窗的所有塊屬於獨佔 區，則,運動向量為相關巨塊被強制成零。 當然，此僅是一例，標示以更一般方式包含進行巨塊 亮度值之轉碼，是把最大編碼值之相對應值遞減，再把屬 於獨佔區的巨塊亮度值強制至此最大值。 上述實施例記述屬於獨佔區的影像的巨塊之内模態編 碼。本發明不限於此特定具體例，整個構想在於以内模態 連同零運動向量對此等巨塊編碼，或甚至以運動補正之内

第15頁 五、發明說明（12) 模態，為了從參照影像計算運動向量，只顧慮到屬於參照 影像的獨佔區之塊。在此情況下，運動向量的計算電路為 獨佔區塊可存取已儲存重構獨佔區之塊的記憶體。旨在將 屬於影像的獨佔區之_巨塊編碼，與影像之其餘獨立無涉。 獨佔區的界定可延伸至所提供的任何形式，使特點處 理元件可加以管理。後者極適於位在運動估計器外側或内 側。 本案係關於影像的編碼，可與利用者特定的標章或其 他小單元影像的插入相容。又涉及包括插入物的影像之即 時編碼® 第16頁

Claims (1)

1. 466876 六、申請專利範圍 1. 一種按照MPEG標準對影像編碼方法，以供至少一小 單元影像插入影像内，利用間模態（6，7 )，具有相對於參 照影像和内模態（7 )之運動估計（1 2 )，其特徵為 —獨佔區（4);包含巨塊·，甚至養部份位於在影像 内界定的i置内； I —不屬於獨佔區的影像之巨塊的運動估計（1 2 )，不 鸫考慮屬於參照影像的獨佔區的影像塊者。 2. 如申請專利範圍第1項之方法，其中屬於獨佔區（4) 的影像巨塊之编碼甩間模態、係具有零運動向量之内模態 者。 .3.如申請專利範圍第1項之方法，其中内模態被強制 二 對屬於獨佔區（4 )的影像巨塊加以編碼者。 .4.如申請專利範圍第1項之方法，其中對屬於獨佔區 的參照影像之巨塊進行標示（1 8，1 9 )者。 5. 如申請專利範圍第4項之方法，其中標示包含進行 巨塊亮度值之轉碼（18)’是將最大編碼值的相等1值遞減’ 再強制屬於獨佔區的巨塊之亮度值至此最大值者。 6. 如申請專利範圍第1項之方法，其中對指定排的巨 塊而言，編碼（1 4，1 6 )是為屬於獨佔區之巨塊定位出特殊 切片者。 7. —種把小單元影像插入如申請專利範圍第3項方法 p 所編碼影像内之方法，其特徵為.，内編碼切片之巨塊更換 為有關小單元影像之巨塊者。 8. 如申請專利範圍第7.項之方法，其中更換包含回收

   第17頁 4 6 6 876 u靖專利劍 相當於獨佔區之内编碼巨塊，將此等巨塊解碼之基頻’與 f插入獨佔區内的小單元影像混合，所得影像的編碥’以 提供更換巨塊者。 9.如申請專利範〜園第7項之方法，其申編碼採取屬於 獨佔區的巨塊之量化間距，做為對要插入巨塊加以編碼的 成本之函數者。 10. —種按照MPEG標準對數位式視頻資料之編碼裝置， 將至少—小單兀影像插入影像内，包括減法器（6)， 竑一輸入上接收内·巨塊，在第二输入上接收要從内巨施 (之預計巨塊，以提供間巨塊；間或内模態之選擇電路 接受相對應内巨塊或間巨塊，.按照能量標準選擇巨 數之一 ；_ ί巨塊的轉型和量化電路（8)，以提供量化係 g巨塊，量化係.數的巨塊和缓衝記憶體（i 4)之可變長度 逆A ΐ之電路（13)，可供在編碼元件輪出處提供資料流； 重逆向轉型電路（9)，以獲得由量化係數之巨塊 ^ ^ ，重構巨塊對預計巨塊之加法器（10)，以提供 供德記億體和預測器（11)，以儲存重構巨塊，並提 以m;運動估計器〇2),接受内巨塊和重構巨塊， 替, η預測器提供運動向量（MV)，計算預計塊；調 1^(15)，從缓衝記憶體接收資.訊，以設 量化 電路（8)用之量化間距，其特徵 估區(ζήίί ::⑺和運^^電路(12)接收附屬於獨 邹ϊ I 該獨佔區（ΖΕ)含有反塊，位於（即使 净份）小皁元影像之位置内； .. 第18頁 六、申請專利範圍 —選擇電路（7)強制屬於此獨佔區的巨塊進行内編 碼； 1 —運動估計電路（1 2 )計算運動向量，同時消除從屬 於獨佔區的重構影像'塊指向之違動向量者。 11.如申請專利範圍第10項之裝置，其中調整電路（15) 接收界定獨佔區之資訊項，為在此獨佔區内之巨塊採取轉 型和量化電路（8)之量化間距者。