TW401678B - Embedding supplement data in an encode signal - Google Patents

Description

案號 87121049

五、發明說明（1) 發明領域 本發明係有關於用以嵌入補充資料於信號中之方法與配 置其中之V驟為·依照一編碼過程來執行信號的編瑪； 該編碼過程包含：回授編碼信號以控制編碣程序，並從編 碼信號中挑選樣本予以修改，將其改成該補充資料。 發明背景 將補充資料以一個不會察覺有異的方式加人音訊及視訊 當中，已是越來越需要了。譬如，我們將浮水印嵌入多媒 體資產中以確認文件及影音節目的來源或版權狀況。該浮 水印可證明誰才是合法的版權擁有者，如此有利於追查侵 權者以及保護智慧財產。 有一個已知的將浮水印嵌入視訊的方法，此方法揭示於 SPIE 之2952 冊，第 205 至213頁，由F.Hartun^B Gir〇us 所寫之、、原視頻及壓縮視頻之電子浮水印法〃，此公開之 文章中。此處所用之嵌入方法是：&MpEG2編碼器輸出位 元串流中選擇性地選出DCT係數，並予以修改而完成的。 眾所周知，MPEG2編碼器是一個具有回授迴圈以控制編碼 過程之預測型編碼器。該編碼器是對預測誤差（輸入信號 以及預測信號之間的差異）來編碼的，而非輸入信號的本 身。區域地將該已編碼的信號予以解碼就可得到該預測信 先前技藝所採用的方法，是在傳統的編碼完畢後才插入 洋水印。以這種方法來打印，其可容納的浮水印量明 受到限制。

O:\56\56432.ptc

4〇1676 案號 87121042

五 發明說明（2) 發明摘要與目標 k供出一個方法，在大致上不舍县彡撤1 T > # ii * X p - 會景/響接收品質的前提 「 S補充資料嵌入已編碼的音邙赤扣 碼俨祙T 士 *々/ - L ^ J 9 Λ或現訊時，允許該已編 馬七旒可有更多位兀的變更；此為本發 本發明方法的特徵是，在該編竭作 2 > 4 挑姑接丄2 A /4· h 1〇處回授回來之别’就 樣本 .^卩，並且至少再額外地修改該被選出 的一個樣本（如果經由該額外的樣本修改可以達 到S亥編碼品質的改良）。 在信號回授回來之前就執行補充資料的嵌入，在未印行 的歐洲專利應用文件字號97200 1 97.8(律師訴訟表 PHN1 6· 209)中也曾經提出過》採用這種方式可以使該因樣 本被修改而引起的反效果被隨後而來的編碼器運作結補償 掉了。但是’樣本修正的最初干擾仍有所殘留。本發明是 基於以下列的認知而提出的：如果我們慎重地修改該被選 出樣本之前的一或多個樣本，該編碼品質會得到進一步地 改善。 本發明特別地適於將資料嵌入於單位元之編碼信號。單 元位編碼器，像是6調變器，6 一 σ調變器以及雜訊形狀 編碼器，這些編碼器在它們每一個的編碼步驟中所產生的 都是單元位的輸出樣本。該種編碼信號極易因浮水印的嵌 入而遭受破壞。譬如，5 —（7調變器，如果它以 2, 822, 400(64*44100)赫茲之取樣頻率在DVD —音頻上錄製 高品質的音訊’其所擁有的訊號雜音比為1 1 5分貝。但是 如果我們用先前技藝所教的方法，亦即，在傳統的編碼完

0:\56\56432,ptc 第6頁 401676 _案號87121042 及？车及月"曰_修正 五、發明說明（3) 畢後，將浮水印嵌入5 _ σ調變器；調變器所顯現出之量 化雜訊將會大增。例如，如果我們將每第1 〇 〇個占—σ網 變音訊位元換成一個浮水印位元，將使得量化雜訊井古 一 δ 〇分貝，這個數值顯然是無法接受的。應用延遲之欧、J f利應用文件字號97200 1 97, 8中所提出之浮水印法可以叫 :=W 0個位元代換成一個浮水印位元後，只増加丨dB的1 1C*雜訊。 本發明所能做到的，不僅止 比來改善編碼品質。眾所週知於：由訊號雜音 器在它的階數大於2的時候，如二—„迴圈滤波 有不穩定的問題發生。通常我/果輸入的疋大訊號，就會 個預定的範圍來防止此不穩Ϊ們都是用限制輸人信號於某 不穩定的問題以及相關5。J發明為這類 道，這是本發明的另外—個用1:，!的問逋，提供了解決之 性述後’本發明其他的目的，特 圖式之簡要描述 圖1顯示本發明之可將補 置。 貝枓嵌入<5調變、號中之配 圖2 4所顯示之彳古號油 形。 /，可說明了圖1之配置的運作情 圖5之流程圖，說明了兮圖1 圖6顯示本發明之可將補正電路之運作情形。 之配置。 充貝料嵌入（5 — σ調變信號中

401678 修正 案號87121042___g?年於月j彡曰 五、發明說明（4) 圖7是用於圖6 ά — σ調變器中之三階濾波器。 圖8 ’ 9，1 0A — 1 〇D以及11 A — 1 1C所顯示之信號波形，可 說明圖6之配置的運作情形。 較佳具體實施例之描述 我們將以單位元編碣器為例子來描述本發明，但必須明 瞭的是，此處所傳授的一切均可應用在其他種預測型之編 碼器當中，像是DPCM(譬如，MPEG)編碼器。我們首先述 的是^ Θ調變器所作的配置，目為它的運作極易了 ^ 調ίϊϊί述的是針對調變器所作的配置， =變1§較常使用於實際的編碼系統 圖1顯示本發明之 置。此配置包含了—m / 調變信號中之配 包含有減法器U，極性拾、、、冗調變器1 ;傳統的5調變器 法器11將輸入信號， 屑器1 2以及解碼濾波器1 3。該減 號e。該預測誤差作X跋 T測信號X，產生一預測誤差信 f s (未顯，示）的逮率'° e ^送至極性檢測器1 2，以取樣頻率 為、、『，如果仏則此\出出樣/本為如果^則此輸出樣本 包含一解碼濾波器 ，本為~1"。回授迴圈14 信號χ。 （4—加法器或積分器）以得到該預測 傳統的（5調變 些波形；詳細地，圖2顯=目=4種傳統，調變器的一 :’預測信號χ以及編碼輸出;:統占調變器的輸入信號 是接收器(未顯示於圖注意，預測信號X也

0:\56\56432.ptc 第8頁 4〇1678 修正 再次參考圖i，本發明之 12與回授迴圈14間之修正電略2 連接在極性檢測器 ，，選擇性地修改極性二器=電路回應於選擇 5玄修正電路將編碼信號y之每第]nn/出位元。譬如說， 存器3中之浮水印資料型w要第二0個！^代換成浮水印暫 位疋予以反相，而該等反相位元：門:疋將2所選擇出的 浮水印資料® f 凡之間的h數目，就代表 w後圖將編碼信號7的位元2〇修改為浮水印資料位元 預，:Λ影響。輸入信號x(與圖2中的是同-信號) 2字21代表該已後入之浮水印位元。從此圖中可看出參 之：t印1 立元所具有的值、'-1，，，不同於編碼信號 ^:之 +1 。不要忘記，預測信號X也是接收器的 輸出信號’此處很明顯地看到位元的修改提高了量化雜 f。由於該已修改信號z會回授至編碼器的輸入所以該 量化雜訊隨後將會不斷地被補償，終至完全消弭。 本發明之修改電路2 (圖1 )如果發現同時間修改該浮水印 位元之刖的位元（至少一個）會有助於編碼品質的提升它 將，此做。圖4即為例+。再一次地，圖中顯示有：輸入 h號X，預測信號X，修改後之編碼信號z以及浮水印位元 2 1，另外，该浮水印位2 1的前一個位元2 2也被修改了。將 圖4與圖3作比較，可立即發覺整體的量化雜訊因而降低。 編碼品質因此有了顯著地改善。 圖4所示之例子，僅僅修改浮水印位元的前一個位元，

401678 修正 Ι號 87121042 Μ 年 S η )3 a 五、發明說明（6) ~" '~ 就可以得到报好的改良。但不是所有的例子都 做:，們修改的是浮水印位元之前的第2 ··.;， 會舉一個有關於此的例子。 更為良好。稍後 為I要彳于到上述之效果，圖丨所示之配置要調整 =刖行位元之各種組合來執行，調變程序，並且可： 的二該各種位元組合的測試在此也稱之口結 l之為:r::前的那些被列入修改考慮之位元 修改電路2控制著整個修改的過程。此電路 或是軟體來實ί見，全視實際的考 硬體 ^ ； ^ ： . 5 . , „ , , ^ 們假，輸人UX是儲存在—存儲介質（未顯* 我 並且每第1 0 〇個編碼信號位 ::; ， 斷包含100個輸入樣本χ 。斜一個片斷，每個片 號ζ包含100個位元ζ ，\ 一個片斷’輸出信 Ζ3則是浮水印位元:Ζ"其中個先置位元’ 在步驟5 0中，一 3位元之二抱m奴.， 此數c代表該三個先置位元^的C，初始被設定為零£ C之三個位元值設定合/步驟51，將此數 元是T則\設定為、、+1:，’如。果:中相對應的位 、、0 "則2【設定為"。n彳 相對應的位元是 的方法將現在的浮水印位步；51，我們以相同 I徂兀W嵌給h。在副程式52中，我 O:\56\56432.ptc 第10頁 4〇1676 ------- 87121042 反？ 年斤月/’）日_修正_ 五、發明說明（7) '一~ '*— 們對某個數目之輸入樣本，譬如X〇 . . Χ2〇，作<5調變的處 理’以便觀察Zq .. Z2預設為某值後迴圈所表現出來的特 ，。而相對所得出之輸出位元序列z〇 . . Ζ2〇則儲存在緩衝器 δ己憶體（未顯示於圖1)中。步驟53，決定出現在這樣的先 置位元的組合c，在經過5調變處理後之編碼品質q (c)， 並將結果儲存在緩衝器記憶體。在此例中，所謂編碼的品 質是以輸入信號與預測信號間之均方誤差（MSE)來表現： 20 Α , MSE(c)= Σ (χη-χπ) η=0 然後’把數字c加一（步驟54)以造出一新的先置位元ζ<) ..ζ 的組合，並計算出其相對應的MSE(c)值。我們將針對所有2 的組合（步驟55)來計算序列X() ..χ20的<5調變。很顯然地 (所以沒有顯示在圖中），每一次所使用的都是相同的初始 積分信號。如果所有的組合都已處理完畢，那麼就可以在 步驟56中決定出最大的編碼品質Q(c)，其目的在於從緩衝 器記憶體中查出該具有最小M S E ( c )之數碼c。步驟5 7，相 關於該最小MSE之編碼序列zfl .. ZgQ，從緩衝器記憶體中讀 出來並送至編碼器的輸出端。接下來，在副程式Μ會將輸 入樣本之片斷中其他剩下的Χζι ·. Xgg予以編碼，然後在步驟 5 9中，該編碼後之χζι ·. xgg就被送至編碼器的輸出。在編碼 過這具有個輸入樣本之片斷後，本配置會回到步驟5〇 ，繼續處理下一個片斷。

O:\56\56432-ptc 第11頁 401676 _案號 87121042 五、發明說明（8)

必須知道的是’上述編碼過程所用到的—些參數值，孽 如’片斷的長度（在該處所用的是100)，本 β (在該處所用的是3)，以及要被評二t 元的數目 t 物出位元的勒：日Γ在 該處所用的是20)，都僅只是為了說明例子之用。^目/ & 須注意的是’該編碼品質可以其他的參數來表現，譬々如#'， 以輸入樣本Xn與其相應預測值\間之最大差值來代表。 現在來敘述本發明之（7 —（5調變器。(5調變是使用 於在數位影音磁碟之音訊型式（DVD —音訊）上錄製高品質 音訊之用。它與5調變的不同之處在於，輸入信號χ在被 編碼之前，會先經過一個濾波器，此濾波器與5調變器之 預測迴圈中之濾波器是一樣的。然後，該等輸入路徑與回 授路徑中之濾波器，會被一個位在編碼迴圈之正向傳輸路 徑中之單一濾波器所取代。 本發明用以將補充資料嵌入σ〜占調變信號中之配置 ，顯不於圖6。此配置包含一傳統的σ — 5調變器6，傳統 =α ~ 5調變器包含減法器61，迴圈濾波器62，極性檢測 器63以及回授迴圈64。該減法器61將輸入信號χ減去該已 ，碼之輸出信號ζ(具有、、+ 1 "或、丨"值ρ差異信號^^則 濾f器6 2，給予濾波。已濾波信號f則送至極性檢測 时 4檢測器以取樣頻率f s (未顯示）的速率決定並產生 輸出位疋；如果f> = 0則輸出位元為、、+ 1 "，如果f<〇則輸 出位元曰為-1 。一與圖1中之修改電路相同之修改電路 2則是連接在極性檢測器6 3與回授迴圈6 4之間。該電路2 會回應選擇信號s ’將編碼信號y之某一個位元代換為該儲

第12頁 401678 五、發明說明（9)

修正

存在暫存器3中之浮水印位元W。 將迴圈濾波器62實際地運用在<7 _ (5調變器時，彳以5 各種不同的實施方式。在本實例中，自始至終都將使用〆 ab的滤波is。^ 了敘述的完整，我們將此遽波器禾於圖 7。此濾波器包含了三個串接在一起的積分器。這三個積 分器的輸出信號分別地被標示為a，b，c。濾波器的輸出 =號f則是該等積分信號的加權組合。圖中，每一個積分 器，玉數數子之刖都有一個#。該整數數字表示的是 :該濾波器可以保留的最大值。超過該最大值之信號樣本 會被切掉。稍後將會明瞭該切除行為與σ — (5調變器之具 體實施例的關係。 圖8之波形解釋的是

，担 ——、在沒有該修改電路2的Τ月I 編 @$運作情形。詳細地’此圖顯示出輸入信號χ 屮^啃Ζ差異信號d，以及濾波信號f 。三個積分器的輸 出秸就a，b，r a亡壯- 斗 ^ ^ ^ 有不。该σ ~占調變器輸出信號的平 f被編碼成一含有（平均值 * 元以及一個、、-j々a _由★徂作/去）二個+1位 位7L之位70串流，其所根據的原則是： 3χαη+ΐχ(-ΐ) 4 ~ 圖9所示之波形說明了將浮水印位元 信號ζ後，所產生的 8中 人。χ月'J出碥碼 J ^ ψ 町顯不的信號，在圖9中

-SS__87l21〇42 五、發明說明（10) 修正 導比較圖8與圖9可以發現該浮水印位元的引入， 相同位元值的持續變得較長 致積分雜訊增加的一個表徵。#浮水印也會導 §tc。M Μ。谠振幅增大，特別是第三個積分器的輸出信 ΐ出=有=況只有在該浮水印位元與該，正規 圖1〇二:二反的/的時候才會發生。 三藉八哭从认”的疋，在各種條件下之編碼信號ζ以及 9中所夕4輸出信號C。圖1〇Α與108所示之波形與圖8與 沒有目Λ應的波形是一樣的，也就是，分別代表 i〇c說明了分？將了與具有浮水印位元90時之波形。圖 後所吝/ 先位元91與92設定為、、+ 1"盥、Μ " 编νΛ們可…丨㈣ 也：短了 m化誤差因： = = :的長度 -占調變器的表現就更為突出 圓10所顯不出之σ 著；它所設定的先置位元值是另—^所付到的改4更為顯 的將先置位元91與92均設為、、+ 1 ,,。，亦即，圖中可看出 σ〜占調變器中用以決定+ 。 最佳編碼品質之運算法則，二，先置位元組合可產生 述之用於5調變器的運笪土曰f 4 /、我們剛剛在圖5中所敘 先置位元（譬如，z〇=)^法則—相同。這也就是說，先針對 目的輸入樣本序列（譬I，、母種組合c ,得出該既定數 再選出其中具有最高、編 WnX2G)的編喝品質Q(c) »然後 解碼信號在…編的那-串輸出序列。因為 ’’’、’使用，所以該用以表現編

O:\56\56432_ptc 第14頁 401678 案號 87121042 <f f 年 i y j 五、發明說明（11) 瑪品質：均方誤差準則在σ — <5調變器中就顯得 具有魅力。我們發現下列所示之參數非常適於表現編^ JQ算並且匕們都還有-個額外的好冑，那就是都很容易 * 序列Ζΰ..&中連續相同位元持續最長者。詨最县沾 區間在圖10Β —10D中標示Ar „ . . ^ 長的 有最短的、、最長持續，有序列中，那個具 §5 , , 〇 序列會被選取出來。很明 氺 „序列（圖iod)是本例之最佳選擇。

'中：二積刀益中所發生之峰對峰振幅。圖1 0B - 1 〇D 示為V者，即為第三積分器之峰對峰振幅我 們選出那個擁有最低栌φ3 我 再--欠序列。圖10D所示之序列 :是擇。我們已經發現，即便使用 適。 ）Ζ慮波益，第三積分器仍是非常的合 氺 某給定積分器之信號平均偏移量。 另外的一個選擇先w - 定的積分器中有的準則可能是評估某-給 5調變器對於輸入；。•的現象存在（或不存在）。因為σ -變器則是準非常的敏感(相對地… 元很容易引斜率敏感）’戶斤以，嵌入浮水印位 積分器靠著-個載=t。在參考圖7時就已提過，該等 最大值之内，以避制將它們的輸出信號保持在-個 圖ilA—c顯示的是在：二的發生。 器輸出信號c。再—▲，割狀況下之編碼信號z與第三積分 人地，輸入信號仍為直流0. 5伏。為對

…、參考起見，圖11A顯示的是尚未嵌入浮水印之信號。在 圖1 1 B中，該編碼信號已嵌入了一個浮水印位元95。此浮 水印嵌入的位置與前例之浮水印位元9〇所嵌入的位置稍有 不同。參考數字9 6標示出該等三積分器輸出由於該浮水印 位元95的嵌入而被截割的現象。在修改電路之具體實施例 中，必須不斷地測試各種不同組合之先置位元所產生的結 果，直到找出一個不會使截割發生的組合。圖丨ιΒ的例 子’可在圖1 ic中看出將先置位元97設定為、、+ 1 〃所產生 置。信號 中；譬如 挑選出樣 授回來之 的編碼舉 。另外， 本之前的 可更進一 以完成； 生最佳的 以將浮 一含有回授迴圈 或（σ —) 要言 中之方 過程之 從編碼 在編碼 藉著隨 雜訊予 挑選出 引發的 置〃運 作修改 之，本 法和配 編碼器 信號中 信號回 後而來 以消除 來的樣 誤差則 算才得 以便產 編碼於

’ DPCM 本並予 前，該 動將因 我們也 一或多 步地降 '"先置 4碼品 編碼器 以修改 修改就 浮水印 可以這 個樣本 低。這 "是針 質。 ，浮水印 必須完成 的嵌入而 樣的方法 ，如此， 全是靠所 對前行樣 音訊或視訊 以控制編碼 5調變器。 得以嵌入。 ;這樣就可 引發之量化 來修改該被 因浮水印而 謂的''' 先 本（的組合）

O:\56\56432.ptc 第16頁

Claims (1)

1. 4〇1678 87121042 六、申請專利範圍 IJ 修正 根據一 已編石馬 碼信號 信號回 步驟並 之品質 2. 如 包含： 片斷之 止。 3. 如 包含： 片斷之 相應有 4. 如 碼信號 其中編 5. 如 元之編 6. 如 調變。 種將補 編碼過 信號以 樣本以 授回來 包含如 ，貝11另 申請專 以該額 信號， 申請專 以該額 信號， 最南編 申請專 並決定 碼品質 申請專 碼0 申請專 7.如申請專 該嵌有補充資 充資料 程來編 控制該 代表該 之前， 果發現 外至少 利範圍 外修改 直到有 利範圍 外修改 決定出 碼品質 利範圍 該已解 是由該 利範圍 利範圍 利範圍 料之編 嵌入信號之方法，其所包含之步驟： 碼信號，其中該編碼過程包含回授該 編碼之步驟；然後，修改選擇之已編 補充資料，其特徵在於：在該已:編碼 修改該被選樣本之步驟已經實現，此 額外的樣本修改可以改善該編碼過裎 修改該被選樣本之前的一個樣本。 第1項之方法’其中額外修改之步驟 之樣本的不同組合，連續性地編碼一 相對應較高编版 届碼品質之組合被發現為 第1項之方法，甘丄 之樣本的π同；人广修改之步驟 每-個組合之鳴；：；續性地編碼一 之組合。 扁瑪品質，以及挑選出 第1項之方法，勹人t ^ ^ ^ ^ ^ 包含步驟：解碼該編 碼以與輪入信號間之量化誤差量， 量化誤差量來代表。®化涣差里， 第1項之方法，苴 再中§亥蝙碼為單一位 第5項之方法，装 再中该編碼是σ —占 第6項之方法，复 碼信號中，連續、士中§亥編碼品質是由 連續相同數值之最長串者

   O:\56\56432.ptc 第17頁 4〇1β78 六 申請專利範園 多號_87121042 Μ年<?月Ο日 所代表。 8. 如申請專利範圍第6項之方法，其中該碥崎品質是由 一 σ - (5調變器之迴圈濾波器中所挑選出來的某°°一級& ’發生在其中之峰對峰振幅所代表。 、、 9. 如申請專利範圍第6項之方法，其中該蝙碼品質是由 一 σ ~ J調變器之迴圏濾波器中所挑選出來 幅平均偏移量所代表。 系.級之振 1 〇·如申請專利範圍第6項之方法，其中該編碼品質是由 一 σ — 5調變器之迴圈濾波器中所挑選出來的某一級疋 ’發生在其中之最大振幅值所代表。 ' —種用以將補充資料嵌入於信號之配置，八一 二：碼信號之編碼3，該編碼器包含一用來回3 -用 佗唬以控制該編碼器/已、為碼 迴圈連ϋ = ; = 之裝置’其特徵在於該回授 G改至少再一個該被選出 破配置 發現該額外的娣士攻士 1个之則之編疣仏唬樣本，如果 12 β +的樣本修本可以改善該編碼式程之品皙 /2.如申請專利範圍第U項之配w ，1。貝。 單-位元蝙碼器。 貝之配置’其中该編碼器是— —(5調變器。專利乾圍第1 1項之配置’其中該編碼器是σ 是 碼過程予種：;有:充資料之信號’該信號根據某給定 資料，其，並且該信號之被選出樣本代表著\= 、特徵是，至少有-個該被選出樣本之前充 O:\56\56432.ptc 第18頁 1 401676 案珑87121042 年5月日 修正

   O:\56\56432.ptc 第19頁