WO2000057399A1

WO2000057399A1 - Procede d'inclusion d'information additionnelle et dispositif a cet effet, et procede de decodage d'information additionnelle et dispositif a cet effet

Info

Publication number: WO2000057399A1
Application number: PCT/JP2000/001715
Authority: WO
Inventors: Hideo Sato
Original assignee: Sony Corporation
Priority date: 1999-03-19
Filing date: 2000-03-21
Publication date: 2000-09-28
Also published as: DE60034520T2; CN1297560A; CN1129114C; EP1087377B1; US7299189B1; DE60034520D1; EP1087377A1; JP4470322B2; KR20010043700A; KR100632723B1; EP1087377A4

Description

明細 ^: 付加情報埋め込み方法及びその装置並びに付加情報の復調方法及びその復調装置技術分野本発明は、オーディォ信号にこのオーディォ信号の記録を制限し、あるいは他の機器へ転送を禁止し、著作権者の利益を保護することを可能とする情報などを付加情報として埋め込む付加情報埋め込み方法及びその装置であり、更にオーディォ信号に付加された付加情報を復調する復調方法及びその装置に関する。背景技術従来、オーディオ著作物としてのコンテンツの保護を図るため、オーディオ信号の他の機器への転送を禁止し、あるいはオーディオ信号の記録を制限する情報を当該オーディオ情報に付加情報として埋め込む技術が用いられている。この種の付加情報は、オーディオ信号にウォー夕一マークとして埋め込まれるものであって、デジ夕ルウォー夕一マークとアナログウォー夕一マークがある。

デジ夕ルオーディオ信号にデジタルウォー夕一マークを埋め込む技術として、 1 6ビットの P C Mオーディオ信号の最下位ビヅト ( L S B ) をウォー夕一マークのデータ用に用いるものが用いられている。また、圧縮符号化されたデジタルオーディオ信号の変形離散コサイン変換（M D C T ) 係数や、サブバンドの係数を操作して、付加情報をウォー夕一マークとしてデジタルオーディォ信号に埋め込む技術が用いられている。

デジタルウォー夕一マークは、ウォー夕一マーク用のデ一夕を直接デジタルォ一ディォ信号に重畳して読み書きすることができるので、信号処理が容易となる。しかし、デジタルゥォ一ターマークは、デジタルオーディオ信号がアナログオーディオ信号に復調されたとき破壊されてしまう。また、デジタルウォー夕一マークは、デジ夕ルオーディォ信号が異なるデ一夕フォーマットに変換されたときにも破壊されてしまうことがある。このため、デジタルウォー夕一マークは、アナログオーディオ信号の繰り返しの記録、すなわちアナ口グオーディォ信号の複写を制限するようなことができなくなり、オーディオ著作物の著作者利益を十分に保護することができなくなつてしまう。

また、アナログウォー夕一マークは、アナログ信号の形態で検出されるようにデジタルオーディオ信号に埋め込まれるもので、ファィルフォーマツ卜の変換などを行った後であっても、デジ夕ルオーディォ信号をアナログオーディオ信号に復調することによりウォー夕—マークを再び読み取ることができる。ところで、楽曲などのオーディオ著作物を通信ネットワークを介してユーザに配信する技術が提案されている。この配信技術としてデジタルオーディオ信号をデ一夕圧縮したデ一夕フォーマットで伝送し、記録を行うようにした電子音楽配信（Electric Music Dis tribution、 E M D ) がある。 E M Dにより配信されるデ一夕圧縮されたデジタルオーディォ信号に埋め込まれたアナログウォー夕一マ —クは、デ一夕圧縮されたデジ夕ルオーディォ信号を P C M信号やアナ口グ信号に復調しないと読み出しあるいは書き込むことができない。そのため、ユーザが、 E M Dにより配信されたアナログゥォ一夕一マークが重畳されたオーディオ信号を記録するためには、 p

C M信号などに復調する必要がある。圧縮されたデジ夕ルオーディォ信を P C M信号などに復調するとデ一夕サイズが大きくなり、記録媒体に効率よく記録することができなくなってしまう。また、ォ一ディォ信号の配信側においても、アナログウォー夕一マークの書き換えを行うには、一旦デ一夕圧縮したオーディオ信号を P C M 信号などに復調する必要があり、容易にアナログゥォ一夕一マークを書き換えることができない。

アナログウォー夕一マークをオーディォ信号に埋め込む方法として、スペクトラム拡散方式や位相変移変調（P S K ) 方式が提案されている。これらスペクトラム拡散方式や P S K方式は、オーディォ信号を再生したとき聴感上のマスキング効果を利用して付加情報をオーディオ信号に埋め込む方式であるが、十分にマスキング効果を得ることができず、再生音響の音質の劣化を招くことなく付加情報をオーディオ信号に埋め込むことが困難である。

発明の開示

本発明は、従来提案されているオーディオ信号に付加情報を埋め込む技術の問題点を解決することができる新規な付加情報埋め込み方法及びその装置並びに付加情報の復調方法及びその復調装置を提供することを目的とする。また、本発明は、再生音響の音質の劣化を招くことなくオーディォ信号に付加情報を埋め込むことを可能とする付加情報埋め込み方法及びその装置を提供することにあり、さらに、付加倩報が埋め込まれたオーディオ信号を音質の劣化を招くことなく付加情報を復調することができる付加愦報の復調方法及びその装置を提供することを目的とする。

さらに、本発明は、オーディオ信号がデジタル信号からアナログ信号に復調され、あるいはデ一夕フォーマツ卜の形式などが変更された場合でも容易に損傷を受けることなく付加情報をオーディオ信号に埋め込むことができる付加情報埋め込み方法及びその装置並びに付加情報の復調方法及びその復調装置を提供することを目的とする。

さらにまた、本発明は、デ一夕圧縮されたオーディオ信号に容易に付加情報を埋め込むことができる付加情報埋め込み方法及びその装置を提供することにあり、さらに、この埋め込まれた付加情報をデータ圧縮した状態で復調することができる付加情報の復調方法及びその復調装置を提供することを目的とする。

上述のような目的を達成するために提案される本発明は、オーディォ信号に付加情報を埋め込む付加情報埋め込み方法において、ォ一ディォ信号を直交変換して直交変換係数を算出する直交変換工程と、直交変換係数を減衰及び周波数軸方向にシフ卜して上記元の直交変換係数に加算することにより上記付加情報を埋め込むシフト - 加算工程とを備える。

ここで、直交変換工程は、オーディオ信号を M D C T変換することにより M D C T係数を算出し、シフト ·加算工程は、算出された M D C T係数を減衰及び周波数軸方向にシフ卜して元の M D C T係数に加算することにより付加情報を埋め込む。

本発明は、更に、シフト '加算工程により算出された信号に対して疑似ランダム信号によるスクランブルをかける工程を有する。ここで、オーディオ信号に埋め込まれる付加情報は、オーディオ信号の転送を禁止する制限情報であり、オーディオ信号の記録媒体への記録を禁止する制限情報であり、さらには、オーディオ信号に対応する著作物デ一夕である。

さらに、本発明方法において、シフト ·加算工程は、周波数マスキング条件及びテンポラルマスキング条件を満たすように、周波数軸上でシフ卜された直交変換係数を元の直交変換係数に加算する。さらにまた、シフト '加算工程は、元の直交変換係数の値にシフトされた直交変換係数が加算されたときの値が所定値以下にあるときに加算を行う。

さらにまた、シフト ·加算工程は、元の直交変換係数の値にシフ卜された直交変換係数が加算されたときの値の極性に応じてシフト及び加算を禁止する。

さらにまた、シフト '加算工程は、オーディオ信号が上限値から下限値の範囲であるときシフト及び加算を行う。ここで、シフト . 加算工程は、オーディオ信号が人の聴覚特性に基づいて設定される上限値から下限値の範囲であるときシフト及び加算を行う。

さらにまた、シフト '加算工程は、所定の周波数帯域内の直交変換係数のシフト及び加算を行う。

さらにまた、シフト '加算工程は、上記オーディオ信号の周波数帯域を分割してそれぞれ分割した周波数帯域毎に行う。ここでシフト ·加算工程は、分割された隣接する周波数帯域のシフト方向を逆にする。

さらにまた、シフト '加算工程は、周波数が増加する側に MD C T係数をずらして元の MD C T係数に加算する。ここで、シフト ' 加算工程では、 ]\ 0 ( 丁係数が2^[個（Nは自然数）シフトされることにより MDCT係数」は（（サンプリング周波数/ MD C T係数のサンプル数） X 2 N) H z分周波数が増加する。このシフト ' 加算工程は、実質的にオーディオ信号の振幅に等しい。

また、シフト '加算工程は、 MD C T係数を周波数が減少する側シフ卜して元の MD C T係数に加算する。ここで、シフト ·加算ェ程は、 MDCT係数が 2N個（Nは自然数）シフトされることにより、 MD CT係数は（（サンプル周波数/ MD C T係数のサンプル数） X 2N) Hz分周波数が減少する。

また、本発明は、オーディオ信号に付加情報を埋め込む付加情報埋め込み装置において、オーディオ信号を直交変換して直交変換係数を算出する直交変換手段と、直交変換係数を減衰及び周波数軸方向にシフトして元の直交変換係数に加算することにより付加情報を埋め込むシフト ·加算手段とを備える。

ここで、直交変換手段は、オーディオ信号を MDCT変換することにより MDCT係数を算出し、シフト '加算手段は、算出された MD C T係数を減衰及び周波数軸方向にシフ卜して元の MD CT係数に加算することにより付加情報を埋め込む。

本発明に係る付加情報埋め込み装置は、更にシフト ·加算手段により算出された信号に対して疑似ランダム信号によるスクランブルをかける手段を有する。本発明は、付加情報が埋め込まれたオーディォ信号を受信し付加情報を復調する復調方法において、減衰及び周波数軸方向にシフトして元の周波数軸上のオーディオ信号に加算することにより付加情報が埋め込まれたオーディオ信号を受信する受信工程と、受信される信号の周波数軸上の所定間隔毎のオーディオ信 -の極性に基づいて付加情報を復調する復調工程とを有する。ここで、受信工程は、オーディオ信号を直交変換して算出される直交変換係数を減衰して周波数軸方向にシフトして元の直交変換係数に加算することにより付加情報が埋め込まれるオーディォ信号を受信する。この受信工程は、オーディオ信号を M D C T変換して算出される M D C T係数を減衰して周波数軸方向にシフトし元の M D C T係数に加算することにより付加情報が埋め込まれたオーディオ信号を受信する。

さらに、受信工程は、振幅変調（A M変調）により付加情報が埋め込まれるオーディオ信号を受信し、復調工程は、受信される信号の周波数軸上の所定間隔毎のオーディオ信号の極性に基づいて付加情報を復調する。

さらにまた、受信工程は、 F M変調により付加情報が埋め込まれるオーディオ信号を受信し、復調工程は、受信される信号の周波数軸上の所定間隔毎のオーディオ信号の極性に基づいて付加情報を復調する。

さらにまた、復調工程は、受信される信号の所定周波数帯域内における周波数軸上の所定間隔毎のオーディオ信号の極性に基づいて付加情報を復調する。

また、本発明は、付加情報が埋め込まれたオーディオ信号を受信し付加情報を復調する復調装置において、オーディオ信号を減衰及び周波数軸方向にシフ卜して元の周波数軸上のオーディォ信号に加算することにより上記付加情報が埋め込まれる上記オーディオ信号を受信する受信手段と、受信される信号の所定間隔毎の周波数軸上のオーディオ信号の極性に基づいて付加情報を復調する復調手段とを有する。ここで用いられる受信手段は、オーディオ信号を直交変換して算出される直交変換係数を減衰して周波数軸方向にシフトして元の直交変換係数に加算することにより付加情報が埋め込まれる上記オーディオ信号を受信する。

また、受信手段は、オーディオ信号を M D C T変換して算出される M D C T係数を減衰して周波数軸方向にシフ卜し元の M D C T係数に加算することにより付加情報が埋め込まれるオーディオ信号を受信する。

さらに、受信手段は、 A M変調により付加情報が埋め込まれるォ一ディォ信号を受信し、復調手段は、受信される信号の所定間隔毎の周波数軸上のオーディオ信号の極性に基づいて付加情報を復調する。

さらに、受信手段は、 F M変調により上記付加情報が埋め込まれるオーディオ信号を受信し、復調手段は、受信される信号の所定間隔毎の周波数軸上のオーディオ信号の極性に基づいて付加情報を復調する。

さらにまた、復調手段は、受信される信号の所定周波数帯域内における所定間隔毎の周波数軸上のオーディオ信号の極性に基づいて付加情報を復調する。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。図面の簡単な説明図 1は、オーディオ信号の周波数マスキングを説明するための図である。

図 2 Aは、サイン波としてオーディォ信号を M D C T変換した結果を示すグラフであり、図 2 Bは、サイン波としてのオーディオ信号を高速フーリエ変換した結果を示す図である。

図 3 A及び図 3 Bは、 M D C T係数を周波数軸方向にシフ卜する状態を示すグラフであり、図 4 A及び図 4 Bは、 M D C T係数を周波数軸方向にシフ卜したときの周波数の変化を示すグラフである。図 5 A及び図 5 Bは、オーディオ信号に埋め込まれるウォー夕一マークの周波数選択処理を示すグラフである。

図 6 Aは、オーディオ信号がサイン波によって振幅変調された信号の周波数領域での信号特性を示すグラフであり、図 6 Bは、元のオーディオ信号を示すグラフであり、図 6 Cは、図 6 Bに示すォーディォ信号をサイン波で振幅変調した信号を示すグラフである。図 7 Aは、オーディオ信号がサイン波によって周波数変調された信号の周波数領域での信号特性を示すグラフであり、図 7 Bは、元のオーディオ信号を示すグラフであり、図 7 Cは、図 7 Bに示すォ一ディォ信号をサイン波で周波数調した信号を示すグラフである。図 8 Aは、元のオーディオ信号の高域の周波数帯域側にウォー夕一マークが埋め込まれる例を示すグラフであり、図 8 Bは、元のォ —ディォ信号の低域の周波数帯域側にウォー夕一マークが埋め込まれる例を示すグラフである。図 9は、 MD C T係数の算出方法を図解するグラフである。

図 10 Α及び図 1 0 Bは、 MD C T係数の置き換えを示すグラフである。

図 1 1 Aは、元オーディォ信号の MD C T係数を示すグラフであり、図 1 1 Bは、元のオーディオ信号の MD C T係数に周波数軸方向にシフトされた MD CT係数を加算する様子を示すグラフであり、図 1 1 Cは、元のオーディオ信号の MD C T係数に周波数軸方向にシフ卜された MD C T係数を加算したとき、元々存在しない極性変化が生じている様子を示すグラフである。

図 12 Aは、 MD C T係数のレベルに応じてウォー夕一マークが埋め込まれる MD C T係数を選択する様子を示すグラフであり、図 12 Bは、図 12 Aにより選択された MD C T係数の周辺にウォー夕一マークとして付加情報を埋め込む様子を示すグラフである。図 13 Aは、ウォーターマークの周波数帯域制限の例を示す第 1 のグラフであり、図 13 Bは、ウォーターマークの周波数帯域制限の例を示す第 2のグラフである。

図 14は、ウォー夕一マークを複数のレイヤ一にして多重の情報を挿入する例を示すグラフである。

図 15 Aは、複数の周波数帯域に分割する周波数帯域分割の第 1 の例を示すグラフであり、図 1 5Bは、複数の周波数帯域に分割する周波数帯域分割の第 2の例を示すグラフである。

図 16は、付加情報をウォー夕一マークとしてオーディオ信号に重畳することにより変調し、付加情報が重畳されたオーディオ信号を復号するコ一デックを示すプロック図である。

図 17は、オーディオ信号に付加情報を重畳する手順を示すフロ W

11

—チヤ一トである。

図 1 8は、 1秒おきにリセットして各区間の偏りを検出することにより、オーディオ信号に埋め込まれたウォー夕一マークによる付加情報を抽出する処理を示すグラフである。

図 1 9は、 MD C T係数の周波数軸方向のシフト量の相違による曲線の比較から復調する動作を示す第 1のグラフであり、図 20は、 MD C T係数の周波数軸方向のシフト量の相違による曲線の比較から復調する動作を示す第 2のグラフである。

図 2 1 Aは、周波数帯域の分割の様子を示すグラフであり、図 2 1 Bは、図 2 1 Aで帯域分割したオーディオ信号が各々逆相で変調されたエンベロープを示すグラフであり、図 2 1 Cは、ェンベロープにより発生したエラーを示すグラフであり、図 2 1 Dは、各々逆相で変調された帯域分割オーディオ信号の合成の様子を示すグラフである。

図 22 Aは、周波数分割をしないときの M DC T係数相互間の同極性、異極性の数を示すグラフであり、図 22 Bは、周波数分割をしないときのプロック毎及び合成された MD C T係数相互間の同極性、異極性の数を示すグラフである。

図 23 Aは、周波数分割されたときの MDCT係数相互間の同極性、異極性の数を示すグラフであり、図 22Bは、周波数分割をしたときのプロック毎及び合成された MD C T係数相互間の同極性、異極性の数を示すグラフである。

図 24は、付加情報をウォー夕一マークとしてオーディオ信号に重畳することにより変調し、付加情報が重畳されたオーディオ信号を復号するコーデックの他の例を示すプロック図である。図 2 5は、図 2 4に示すコーデックを用いてオーディオ信号に付加情報を重畳する手順を示すフローチヤ一トである。

図 2 6は、付加情報をウォー夕一マークとしてオーディオ信号に重畳することにより変調し、付加情報が重畳されたオーディオ信号を復号するコーデックの更に他の例を示すプロック図である。図 2 7は、ヒルベルト変換によるウォー夕一マーク発生回路を示すブロック図である。

図 2 8は、ヒルベルト変換によるウォー夕一マーク発生回路を用いて付加情報をウォー夕一マークとしてオーディォ信号に埋め込むブロック図である。

発明を実施するための最良の形態以下、本発明に係る付加情報埋め込み方法及びその装置並びに付加情報の復調方法及びその復調装置を図面を参照して説明する。本発明の説明に先立って音のマスキング効果について説明する。マスキング効果は、ある周波数で所定の音圧レベル以上の音であるマスカ一に対し、一定の範囲内で周波数がずれた音圧レベル以下の音に対し人の聴感は反応しない状態をいう。ある周波数で所定の音圧レベル以上の音 M sがあるとき、図 1に示す一定の周波数領域 B w内にあってはマスキングカーブ 1で示す音圧レベル以下の音 WM は、人の聴感は反応しない。例えば、 1 k H z以下の周波数帯域にある音 A sにあっては、そオーディォ信号を中心にして 1 0 0 H z の範囲のクリティカルバンド幅 B wの範囲にあってマスキングカープ 1に示す音圧レベル以下の音 W Mは、人の聴感は反応しない。クリティカルバンド幅 B wは、周波数依存性があり、図 1に示すように、 1 k H z以上では徐々に周波数帯域幅が広くなる。

また、マスキング効果には、テンポラルマスキング効果と称されるものがある。このテンポラルマスキング効果は、時間軸方向のマスキングカーブ 1で示す音圧レベル以下にあるマスクされるマスキ —である音 W Mであっても、ある周波数で所定の音圧レベル以上のマスカ一として機能する音 A sに対して時間軸方向にずれがあると人によっては聞こえてしまう。例えば、マスキーとされる音 W Mが、マスカ一である音 A sに対し時間軸方向おいて前方に約数ミリ秒ぁるいは後方に約数十ミリ秒ずれていると人によっては聞こえてしま o。

そこで、オーディオ信号をマスカ一として付加情報をマスキーとして埋め込むには、上述したようなマスキング効果を考慮し、マス力一となるオーディオ信号に対しマスキングカーブで示した音圧レベル以下の範囲内で付加情報を付加する必要がある。また、付加情報は、テンポラルマスキング効果を考慮して、マスカ一となるォ一ディォ信号に対し時間軸方向に大きくずれていないように必要がある o

次に、本発明において取り扱われるオーディオ信号を説明すると、オーディオ信号は、種々の周波数のサイン波を重畳したものがある。このサイン波を高速フーリエ変換（F F T ) すると、図 2 Aに示すように、ある周波数に 1つのスペクトル（高速フーリエ変換係数）が生じる。一方、サイン波を M D C T (変形離散コサイン変換）変換すると、図 2 Bに示すように、複数の周波数に両極性の複数の M D C T係数が生じる。図 2 Bに示すように、中央の 4本の M D C T 係数が全体の 90 %程度を占める。なお、図 2 A及び図 2 Bにおいて、縦軸はゲイン（又はレベル）を示す。

サイン波を M D C T変換して得られる M D C T係数には、次のような性質がある。すなわち、 MD CT係数は、 MDCT係数の全体を周波数軸方向に偶数個シフトして逆 MD C T ( I MD C T) 変換すると、 MD C Tと逆 MD C Tとの性質により、その結果は P CM 信号上で周波数シフトした信号になる。例えば、 1 kH zのオーディォ信号を 44. 1 k H zの周波数でサンプリングし、図 3 Aに示すように、 1024個のサンプル値を MD C T変換し、得られる M D CT係数を、図 3 Bに示すように、周波数軸上で 2個分右にシフトした後逆 MD CT変換すると、図 4Aに示す 1 kH zのオーディォ信号は、図 4Bに示すように、 43 H zだけ周波数を高くしたものとなる。同様に、得られる MD C T係数を周波数軸上で、図 4B に示すように、 4個分右にシフトした後、逆 MDCT変換すると、図 3 Bに示すように、 86 H zだけ周波数を高くしたものとなる。したがって、上述したよう、 MD C T係数の全体を周波数軸方向に 2個分右にシフトすると、図 4Aに示す l kH zのオーディォ信号をシフトした図 4 Bに示す 1◦ 43 H zの信号が生成され、 4個分シフトすると、図 4Bに示す 1086H zの信号が生成される。そして、一般のオーディオ信号を 44. 1 kHzの周波数でサンプリングし、 1024個のサンプル値を MD C T変換し、図 5 Aに示すように、得られる MD C T係数から所定数の MD C T係数を選択し、この選択された MD C T係数を逆 MD C T変換することにより、周波数制限が加えれた変調結果を得ることができる。これにより、オーディオ信号の周波数全体ではなく、例えば、図 5 Bに示すように、 1 · 5 k H z〜 5 k H z帯のみの信号に付加情報をウォー夕一マーク W Mとして埋め込むことができる。

また、オーディオ信 ¾·に付加情報をウォー夕一マーク W Mとして埋め込む方式として、オーディオ信号そのものから付加倩報を直接生成するものであって、すなわち、オーディオ信に含まれる一定周波数帯域波の成分を付加情報とし、この付加情' を図 1に示すマスキング効果が得られる範囲内にウォー夕一マーク W Mとして埋め込む方式がある。

この方式の一つとして A M変調方式がある。この A M変調方式は、図 6 A、図 6 B、図 6 Cに示すような処理を行うものである。すなわち、図 6 Cに示すように、付加情報が埋め込まれる元のオーディォ信号中の特定周波数の信号（サイン波）のエンベロープを、図 6 Bで示すサイン波で振幅変調すると、図 6 Aに示すように、元のォ一ディォ信号の両側に、サイドバンド信号 S Bが現れ、このサイドバンド信号 S Bを図 1に示すマスキングカーブ 1の範囲内となるようにする。そして、このサイドバンド信号 S Bを利用して、付加情報をウォー夕一マークとしてオーディオ信号に埋め込むことができる。

さらに、他の方式として、 F M変調方式がある。この F M変調方式は、図 7 A、図 7 B、図 7 Cに示すような処理を行うものである。すなわち、図 7 Cに示すように、付加情報が埋め込まれるオーディォ信号中の特定周波数の信号（サイン波）を、図 7 Bに示すサイン波で周波数変調すると、図 7 Aに示すように、元のオーディオ信号の両側にサイドバンド信号 S Bが得られ、このサイドバンド信号 S B、図 1に示すマスキングカーブ 1の範囲内となるようにする。そして、このサイドバンド信号 S Bを利用して、付加情報をウォー夕 —マークとしてオーディオ信号に埋め込むことができる。

さらに、オーディオ信号に付加情報をウォー夕一マークとして埋め込む場合、図 8 Aに示すように、付加情報が埋め込まれるオーディォ信号中の特定周波数の信号の高域の周波数帯域、又は図 8 Bに示すように、特定周波数の信号の低域の周波数帯域の一方にのみ付加情報をウォー夕一マーク WMとして埋め込むようにしてもよい。これら図 8 A及び図 8 Bに示す場合のいずれにおいても、ゥォ一夕 —マーク WMは、図 1に示すように、特定周波数のオーディオ信号のマスキングカーブ 1の範囲内となるようにゲインが減衰されて埋め込まれる。

次に、上述したように、オーディオ信号を MD C T変換して復号される MD C T係数を減衰させるとともに、周波数軸方向へシフ卜し、オーディォ信号のマスキングカーブ 1の範囲にウォー夕一マ一ク WMとして埋め込まれた付加情報を復調する方法を説明する。ところで、オーディォ信号を MD C T変換して得られる MD C T 係数を復調する場合、変調時における MD C T変換の単位である 1 0 2 4個のサンプルと、復調時における逆 MD C T変換の単位である 1 0 24個の変換係数がずれると、正しく復調することができない。したがって、付加情報を正しく復調するとき、図 9に示すように、変換係数を一つずつ位相をずらした 1 024回の逆 MD C T変換を行う必要がある。このような多数回の逆 MD C T変換を行うことは処理時間や演算速度を考慮すると非現実的であり、回路規模も大きくなりすぎる。

オーディオ信号を MD C T変換して得られる MD C T係数を周波数軸方向へシフ卜してオーディォ信号に埋め込まれた付加情報は、元のオーディオ信号と相関関係がある。そこで、この付加情報の性質を利用して、オーディオ信号に埋め込まれた付加情報の復調を行う。この復調では、オーディオ信号を MD C T変換して得られる元の MD C T係数に周波数軸方向にシフトした MD C T係数を加算することにより簡単に付加情報を復調することができる。

具体的には、オーディオ信号を MD C T変換して得られる図 1 0 Aに示す MD C T係数を周波数軸方向に 4つ分シフトし、元の MD C T係数に加算すると、図 1 0 Bに示すように、元の M D C T係数係数の極性と加算された MD C T係数の極性は同相になる確率が高くなる。すなわち、図 1 0 Bに示すように、周波数軸方向に加算された MD C T係数は、元の MD C T係数と同相となるものが増加し、逆相となるものが減少する。そこで、周波軸方向に 4つ分シフトされ、 MD C T係数が加算された図 1 0 Bに示す MD C T係数の極性を同相又は逆相で計数して統計処理することにより、シフトされた MD C T係数が同相として加算されたか逆相として加算されたかを検出することで、変調時における MD C T変換の単位である 1 02 4個のサンプルと、復調時における逆 MD C T変換の単位である 1 02 4個の変換係数がずれたとしても、多数回の逆 MD C T変換を行うことなく、簡単に変調されている付加情報を復調することができる。

ここでは、 MD C T係数の極性が同相になる確率を高くするため、 MD C T係数を周波数軸方向に 4つ分シフ卜しているが、これに限らず、 2 N個（Nは自然数））分シフトするようにしてよい。

ところで、付加情報を復調する際、オーディオ信号を MD C T変換して復号される元の MD C T係数に加算又は減算される周波数軸方向にシフ卜された MD C T係数のうち、極性の増減に寄与しないものがある。すなわち、周波数軸方向にシフトされた MD C T係数のうち、元の MD C T係数に加算又は減算されることにより極性が変更されないものがある。

すなわち、オーディォ信号を MD C T変換してられる図 1 1 A に示す元の MD C T係数に周波数軸方向に例えば 4っシフトされた MD CT係数を加算する。このとき、加算される MD C T係数は、図 1 1 Bに示すように、ゲインを一定レベル、例えば 30 d B程度小さくして元の MD C T係数に加算される。この加算された結果は、図 1 1 Cに示すようになる。このように、元の MDC T係数に対し 30 d Bゲインを低下させた MD C T係数を加算した場合であっても、元の MD C T係数の極性の反転に寄与しないばかりか、所定周波数のオーディオ信号によるマスキングレベルを越えてしまいゥォ —夕—マークとして機能しなくなる MD C T係数があり、再生音響の音質を劣化させてしまうおそれがある。

このような問題点を解消するため、元の MD CT係数のレベルより大きくかつ逆相の MD C T係数のみを加算することが考えられる。しかし、このような処理を完全に行ったとしても、 MDCT変換されたオーディオ信号をアナログ信号に変換し、異なるサンプル値のプロックで再び MD C T変換を行ったとき、オーディオ信号に埋め込まれた付加情報を復調することができなくなるおそれがある。すなわち、アナログ信号に変換されたオーディォ信号を再度 MD C T 変換して得られる MD C T係数に、周波数軸方向にシフ卜した MD C T係数を上述したのと同様の処理を行って加算したとき、付加情報が失われるおそれがあるためである。

そこで、オーディオ信号に埋め込まれた付加情報が損傷されてしまうことを防止しながら、復調されたオーディオ信号の音質の劣化を防止するために、付加情報が埋め込まれるオーディオ信号を M D C T変換して得られる M D C T係数のうち、ゲインが一定レベル以下の M D C T係数のみを付加情報の埋め込みに用いることにする。所定の周波数の音に対し、周波数がずれたある音圧レベル以上の音は聴感上のマスキング効果を得ることができない。このような音の性質から、図 1 2 Aに示すように、人の聴感上の観点から、付加情報に用いる M D C T係数のゲイン及び周波数に閾値 S ,を設け、この閾値 S ₍以下の範囲にある M D C T係数のみを付加情報の埋め込みに用いる。ここで選択された M D C T係数は、周波数軸方向に 4つずらし、ゲインを低下させて元の M D C T係数に加算することにより、図 1 2 Bに示すように、元の M D C T係数の両側に付加倩報がゥォ —夕一マーク W Mとして埋め込まれる。このとき、図 1 2 Bに示すように、所定周波数の元の M D C T係数に対し所定周波数離れた位置に、一定レベル以上の付加情報が埋め込まれることを防止でき、聴感上雑音成分として再生される音の発生を防止できる。

また、オーディオ信号に付加情報をウォー夕一マーク W Mとして埋め込むとき、所定周波数の M D C T係数に対し常に所定周波数離れた位置に付加情報のための M D C T係数を埋め込むと、オーディォ信号を再生したとき、図 1を用いて説明したように、マスキングされることなく聴感上雑音として聴取されるものがある。マスキング効果が得られる周波数帯域は、周波数により変化するので、付加情報が埋め込まれるオーディオ信号の周波数に応じて、付加情報をウォー夕一マーク W Mとして埋め込む周波数距離 H rを可変させる, 例えば、 1 k H z以下のオーディォ信号に付加情報をウォー夕一マーク W Mとして埋め込むときには、図 1 3 Aに示すように、 4 3 H zの周波数距離 H r内で付加情報のための M D C T係数が埋め込まれるように元の M D C T係数を周波数軸上でシフトさせる。また、 2 k H z以上のォ一ディォ信号に付加情報をウォー夕一マーク WM として埋め込むときには、図 1 3 Aに示すように、 8 6 H zの周波数距離 H r内で付加情報を生成する M D C T係数が埋め込まれるように元の M D C T係数を周波数軸上をシフ卜させる。

さらに、オーディォ信号に付加情報をウォー夕一マーク W Mとして埋め込むとき、 2 k H z以上のオーディオ信号に対しては、付加情報をウォー夕一マーク W Mとして埋め込める周波数距離 H rを大きくすることができる。そこで、この周波数距離 H r内に、図 1 3 Bに示すように、付加情報のための M D C T係数を多重化して埋め込むようにしてもよい。

上述したように、付加情報がウォー夕一マーク WMとして埋め込まれたオーディオ信号にビデオ信号に対する圧縮量子化による信号圧縮処理を施すと破壊されてしまうおそれがある。これは、信号圧縮の過程で量子化ステップ数の制限により、オーディオ信号の周波数帯域内の各周波数成分の振幅がまるめこまれて小さくなるものもあるためである。このような問題点を解消するためには、オーディォ信号に付加される付加情報のレベルを一定以上確保すればよい。例えば、付加情報が埋め込まれる所定周波数のオーディオ信号のレベルに対し、付加情報のレベルを一 6〜一 3 0 d B程度とすれば確保すれば、付加情報が埋め込まれたオーディォ信号を量子化などにより信号圧縮しても、付加情報の耐性（torelance) を保証し、破壊を防止することができる。信号圧縮したときの付加情報の破壊を防止するためには、元の MD C T係数に対し— 30 d B以上減衰された MD C T係数を付加情報のために用いないようにしてもよい。オーディォ信号を MD C T変換して得られる MD C T係数を周波数軸方向へシフ卜し、付加情報をゥォ一夕一マーク WMとして埋め込むとき、埋め込まれる付加情報を、図 14に示すように、複数のレイヤー L - · · L_Nに多重化して埋め込む場合、各レイヤ一の周波数は排他的に設定すればよい。

また、コーデックによっては、図 1 5 A及び図 1 5 Bに示すように、データフィル夕によってオーディオ信号の周波数帯域を所定周波数帯域に分割してから、オーディオ信号を MD C T変換をするようにしてもよい。このような周波数分割された領域の成分を直接レィャ一として用いるようにしてもよい。ここで、図 15Aは、適応型オーディォ信号圧縮技術（ A T R A C 2 ； Adaptive Transform Acoustic Coding, ソニー（株）の商標）に適用した例で、 5 kH zごとに周波数分割した例を示す。図 1 5 Bは、 MDCTレイヤ一 3で 32に分割されたサブバンドフィル夕からの出力が MD C T変換されることを利用した例を示す。

上述のように、オーディオ信号を MD C T変換して得られる MD C T係数を周波数軸方向へシフトしてオーディオ信号に付加情報をウォー夕一マーク WMとして埋め込む方法においては、元の MD C T係数と周波数軸方向に所定個数シフ卜されて加算される MD C T 係数と極性の一致、不一致によって、付加情報を生成ための MD C T係数のレベルが決まるので、 MD C T係数のレベルが高いことが付加情報の変調強度に直接影響を与えない。そして、レベルの低い

MD C T係数もレベルの高い MD C T係数も同一のデータ量を有するので、再生されるオーディオ信号の音質を優先する場合、付加情報が付加されるオーディォ信号によるマスキング効果及び信号圧縮されたときの付加情報の耐性を考慮して、付加情報を生成する M D C T係数のレベルは、できるだけ小さいものを用いることが望ましい。

そして、オーディォ信号に付加される付加情報のレベルをオーディォ信号のレベルに対して自動的に設定するようにした場合には、オーディオ信号のレベルの加減を制限することにより、付加情報の最大振幅を設定することができる。また、オーディオ信号に付加される付加情報のレベルの下限を設定することにより、信号圧縮ゃデジ夕ル信号からアナ口グ信号への変換の繰り返しなどによって損傷されてしまうような付加情報を生成しないようにすることもできる ₍ 付加情報が付加されるオーディオ信号のレベルを自動的に設定するためには、各周波数帯域毎、あるいは上述したフィル夕 · バンク毎の出力を正規化する方法が用いられる。 ATRAC 2、 ATRA C 3では、ポリフエ一ズ ' クヮドラチヤ一フィル夕（P QF) の後段に AG C回路が設けられているので、オーディオ信号を MD C T 変換する前にレベル調整が行われるので、 ATRAC 2、 ATRA C 3は、本発明の復調方法にも用いることができる。

また、オーディオ信号のレベルを自動的に設定する方法として、オーディオ信号に付加される付加情報を生成するのに有効な MD C T係数の数を計数し、平均的に一定の数の MD C T係数が加算されるように付加情報を生成する MD C T係数のレベルを自動的に制限するようにしてもよい。

次に、オーディオ信号に付加情報をウォーターマークとして埋め込む付加情報埋め込み装置及びオーディオ信号に埋め込まれた付加情報を復調する復調装置について説明する。

本発明においては、付加情報埋め込み装置と付加情報の復調装置は、図 16に示すように、コ一デック 1 0として一体に構成されている。このコ一デック 1 0は、オーディオ信号入力端子 1 0 aを介して入力されるオーディォ信号をデジタル信号に変換する A/D変換器 1 2と、 A/D変換器によりデジタル信号に変換されたオーディォデ一夕を MD CT (変形離散コサイン変換）変換する MDCT 変換部 14を備える。この MD C T変換部 14は、一次元のオーディォデ一夕である P CM信号を一次元の直交変換を行うものであつて、 P CM信号を一次元の MD C T変換して MD C T係数を出力すさらに、 MD C T変換部 14により算出された MD C T係数が入力されるとともに付加情報入力端子 10 bを介して入力される付加情報が入力されるシフト ·加算部 1 6を備える。このシフト .加算部 1 6は、 MDCT変換部14から供給される MDCT係数を周波数軸方向にシフ卜するとともに、付加情報に基づいて元の MD CT 係数の極性変換を行い、 MD C T係数に付加情報を埋め込む。

シフト '加算部 1 6から出力される信号は、逆 MD CT変換部 1 8に入力される。逆 MD CT変換部 18は、シフト '加算部 16から出力される信号を MD C T変換部 14とは逆変形離散コサイン変換する。

逆 MD C T変換部 18からデジタル信号として出力される付加情報が埋め込まれたデジタルオーディォデータは、 D /A変換器 2 0 によりアナログのオーディオ信号に変換されて出力端子 2 1を介して出力される。出力端子 2 1から出力されるオーディオ信号は、付加情報が埋め込まれた信号である。

このコーデック 1 0は、付加情報の復調装置としても用いられるものであって、 M D C T変換部 1 4から出力される M D C T係数からオーディオ信号に埋め込まれた付加情報を復調する付加情報復調部 2 2を備えている。付加情報復調部 2 2により復調された付加情報は、出力端子 2 1を介して装置外部に出力される。

ここで、オーディォ信号にウォー夕一マークとして埋め込まれる付加情報には、オーディオ信号の転送を禁止する制限情報や、ォーディォ信号の他の記録媒体への記録を禁止する制限情報があり、さらには、オーディオ信号に対応する著作物データである。この著作物データとしては、オーディオ信号に対応する楽曲などの著作権を管理するデータであり、著作権者コード、著作権管理番号などがある。

図 1 6に示す付加情報の埋め込み機能を備えたコーデック 1 0を用いて、オーディオ信号に付加情報を埋め込む手順を図 1 7に示すフローチャートを参照しながら説明する。ステップ S 1でオーディオ信号入力端子 1 0 aからオーディオ信号が入力されると、このオーディオ信号は、 A/ D変換器 1 2に入力され、ステップ S 2においてデジタル信号に変換される。デジ夕ル信号に変換されたオーディォ信号は、 M D C T変換部 1 4に入力される。 M D C T変換部 1 4に入力されたオーディオ信号は、ステップ S 3において、 M D C T変換され M D C T係数が算出される。 MD C T変換部 14で算出された MD C T係数は、シフト '加算部 1 6に入力される。

ステップ S 4において、シフト '加算部 1 6に付加情報が入力されたか否か判断される。すなわち、付加情報の入力が「1」を示すとき、シフト '加算部 1 6は、ステップ S 5において、 MD C Τ変換部 14から入力された MD C Τ係数を周波数軸方向に例えば 2個分あるいは 4個分シフトし、元の MD C Τ係数に加算して付加情報をウォー夕一マーク WMとして埋め込む。そして、付加情報の入力がないとき、すなわち、付加情報が「0」であるときには、シフト •加算部 16は、上述のシフト ·加算を行うことなく元の MD C Τ 係数を出力する。このように、シフト ·加算部 16は、付加情報が「 1」のとき、元の MD C Τ係数に周波数軸方向にシフ卜した MD CT係数を加算し、付加情報が「0」であるとき、 MDCT係数のシフト '加算を行わないことにより、この付加情報埋め込み装置から出力されるオーディオ信号を受信しあるいは供給される機器側において、付加情報の「0」又は「 1」を検出することができる。このとき、オーディオ信号を 44. 1 kH ζの周波数でサンプリングし、 1024個のサンプル値を 1ブロックとして M D C T変換して MD CT係数を得るようにした場合には、 1024サンプル毎に付加情報を 1ビットずつ埋め込むことができる。なお、サンプル数は、 1024に限定されるものではない。

シフト '加算部 1 6により所定の処理が施された MD C T係数は、ステップ S 6で MD C T変換とは逆の逆変形離散コサイン変換が施され、その後ステップ S 7において、アナログのオーディオ信号に変換されて、ステップ S 8において、付加情報が埋め込まれたアナ口グのオーディオ信号として出力される。

次に、図 1 6に示すコ一デック 1 0を用いて、オーディォ信号にウォー夕一マークとして埋め込まれた付加情報を復調する場合を説明する。

ところで、シフト '加算部 1 6において、 M D C T係数を周波数軸方向に例えば 2個分あるいは 4個分シフトし、元の M D C T係数に加算して付加情報をウォー夕一マーク W Mとして埋め込むような場合、ウォー夕一マークとして埋め込まれた付加情報成分によって任意の M D C T係数の左右の 4個目の係数の極性が確率的に多く反転され、極性の増減が行われている。そこで、 M D C T係数の左右の 4個目の係数を同極性、異極性でそれぞれ累積させていくと、所定時間の区間、例えば 1秒間の区間で明らか極性の偏りを検出することができる。

そこで、 M D C T係数の極性の偏りを用いて、オーディオ信号に埋め込まれた付加情報を検出するには、図 1 8に示すように、 1秒おきに計数をリセットし、各区間の極性の偏りを調べることにより、ウォーターマークとして埋め込まれた付加情報の検出が可能となる。このとき、極性が正方向に偏りを持つ場合と、負方向に偏りを持つ場合の組み合わせにより、各区間のデ一夕を図 1 8に示すように、「 1」、「 1」、「0」のデ一夕列を伝送し、検出することができる。

また、 M D C T係数を周波数軸方向に例えば 4個分シフトし、元の M D C T係数に加算して付加情報をウォー夕一マーク WMとして埋め込むような場合、単純に同極性の M D C T係数が増加する信号を復調する際、アナログ信号に変換してから再び M D C T変換を行うとき、サンプル値の位相にずれが生ずると、正負の極性の組み合わせによる付加情報の読み出しができなくなる場合がある。

ところで、例えば M D C T係数を周波数軸方向に例えば 4個分シフトし、元の M D C T係数に加算して付加情報をウォー夕一マーク W Mとして埋め込んだような場合、サンプル値の位相がずれると、極性が一致する数の変化がコサイン波の形で増減する。また、 M D C T係数を周波数軸方向に例えば 5個分シフトし、元の M D C T係数に加算して付加情報をウォー夕一マーク W Mとして埋め込んだような場合、サンプル値の位相がずれると、極性が一致する数の変化がサイン波の形で増減する。したがって、 1 0 2 4個のサンプル値を 1 プロックとして M D C T変換した場合、 M D C T係数の位相が 1 2 8サンプル値分ずれると、 4個分周波数軸方向にシフ卜した M D C T係数の同極性の係数の総計がゼロとなっても、 5個分周波数軸方向にシフトした M D C T係数の同極性の係数は十分な数を得ることができるので、ゥォ一夕一マークとして埋め込まれた付加情報を復調することができる。

この方法は、コビーコントロールによる方法より容易な方法でこれを検出したい場合、あるいは M D C T変換の位相が制御できない応用において有益な手法となる。

また、正しい位相に合わせる同期処理においても、 M D C T係数の 4の値と 5の値を調べることで大まかな位置を特定できるから、 1 0 2 4個のサンプル値全ての位相を調べなくとも正しい位相に同期できる。あるいは、 1 0 2 4個のサンプル値の最大のゲイン（利得）が得られる位相を求めてもよい。

図 2 0は、 M D C T係数を周波数軸方向に 8個分シフ卜し、元の MD C T係数に加算して付加情報をウォー夕一マーク WMとして埋め込んだような場合と、 MD C T係数を周波数軸方向に 9個分シフトし、元の MD C T係数に加算を行って付加情報をウォー夕一マ一ク WMとして埋め込んだ場合を示す。ここでは、 64サンプル値毎に、距離が 8と 9とに入れ代わつている。また、 MD C T係数を周波数軸方向に 8個分シフトし、元の MD C T係数に加算して付加情報をウォー夕一マーク WMとして埋め込んだような場合と、 MD C T係数を周波数軸方向に 9個分シフトし、元の MD C T係数に加算を行って付加情報をウォーターマーク W Mとして埋め込んだような場合を組み合わせると正しい位相を求めるための粗調整が更に容易となる。

この方式を多層のレイヤ一を持つようにする方法を次に述べる。付加情報復調部 2 2において、元の MD C T係数の周波数の高い方向で付加情報となる MD C T係数を加算又は減算するようにする。あるいは、付加情報復調部 2 2において、元の MD C T係数の周波数の低い方向で付加情報となる MD C T係数を加算又は減算するようにする。これら方法において、元の MD C T係数のレベルと加減算される MD C T係数のレベルの関係を設定することにより、完全に独立した 2種類のレイヤ一として利用できる。

また、 MD C T係数は、周波数帯域に対応しているので、前述した図 5に示したように、 MD C T係数の制限により、周波数帯域を制限することができる。

また、オーディオ信号の成分には、 MD C T係数を周波数軸方向にシフトし、元の MD C T係数に加算を行って付加情報を埋め込んだ場合、ここで得られる付加情報と同じ信号が存在することがあり、このような場合に付加情報の誤検出の原因となる。

このような信号成分が発生する一番の原因は、図 2 1 Bに示すような元のオーディォ信号のエンベロープが変調しょうとする変化と同相、あるいは逆相の変調になっている。オーディオ信号では、この場合、各周波数帯域で同相で変化することが多いから、非常に強い変調になり、これを打ち消すような大きな信号を用いると、音質に問題を引き起こす。そこで、付加情報を元のオーディオ信号と区別しやすくするために、図 2 1 Aに示すように、周波数帯域をプロヅク Aとプロヅク Bに分割して変調方向を互いに逆になるようにしている。ここでは、 1. 5 kH z〜5 kH zを 1. 5 kH z〜3 k H zと 3 kHz〜5 kH zに分割している。

この 2つの周波数帯域のプロック A, Bを同方向に変調すると、図 2 1 Cに示すようになるが、互いに逆方向に変調すると、図 2 1 Dに示すように、元のオーディオ信号に含まれていた変調成分は低い帯域と高い帯域とで逆相のデ一夕として復調されるので、データは同じ利得のままで誤信号のみをキャンセルできる。

図 22 A及び図 22 Bは、周波数分割をしない MD C T係数相互間の同極性、異極性の数を示すグラフであり、図 23 A及び図 23 Bは、周波数分割を行った場合の MD C T係数相互間の同極性、異極性の数を示すグラフである。周波数分割をした場合、オーディオ信号で偶然起こるパターンを極力回避することにより、デ一タレ一ト及びエラ一レートを低下させることができることが分かる。

また、周波数分割する際、分割する周波数をオクターブに選択することはキャンセル効果を高めることにある。その理由は、音楽の性質からくるものであり、音程を含む成分がオクターブ上で反対に働くことにより、キャンセル方向が確率的に逆相を保つのに役立つ。あるいは、 2つの周波数帯域のブロック A, Bに含まれる MD C T 係数の個数を同程度に選ぶことも有効である。

また、周波数帯域を分割する方法としては、前述した図 1 5に示したように、更に細かく分割して確率的にキャンセル方法を用いることも可能である。

また、音声圧縮の中に応用する場合、上述した周波数分割の方法としては、例えば A T R A C 2のポリフェ一ズ · クヮドラチヤーフィル夕（PQ F) の分割特性を利用することができる。あるいは、 M P E Gレイヤ一 3のサブバンドフィル夕を利用することもできる。ここで、 MD C T係数を周波数軸方向にシフトし、元の MD C T 係数に加算を行ってウォー夕一マーク WMとして埋め込まれた付加情報は、アナログ信号や高速フーリエ変換されても分離することができない非常に高い秘匿性を有する。しかし、 MD C T変換を用いて攻撃されると、比較的容易に攻撃できる。このような問題点を解消するため、 MD C T変換を用いたオーディオ信号に埋め込まれた付加情報の検出は、オーディオ信号に基づく元の MD CT係数とこの元の MD C T係数に加算された周波数軸方向にシフ卜された MD CT係数の距離、すなわちシフト数を設定してその互いの極性を用いて行っている。ところで、各時間、付加情報を生成する MD C T 係数ごとに極性を疑似ランダム信号などで反転させた場合、第三者が MD C T変換を用いて調べてもその信号が付加情報によって変調されているか否かも分からなくなる。

このときに用いる疑似ランダム信号は、簡単な P N系列やゴールド符号を用いることができ、さらに、複雑な D E Sや楕円喑号を用いることができる。あるいは、単なる 1， 0の信号が反転を繰り返す AC信号でもよい。

また、疑似信号を、例えばゴールド符号のように 2種類の暗号同士から作り、 1つを固定して他方を各個人の端末ごとに変化させ、合成された暗号を各端末単位で変化させることにより、付加情報の秘匿性を高めることができる。

次に、オーディオ信号に付加情報をウォー夕—マークとして埋め込む付加情報埋め込み装置及びオーディォ信号に埋め込まれた付加情報を復調する復調装置の他の例について説明する。

ここに示す装置も、付加情報埋め込み装置と付加情報の復調装置は、図 24に示すように、コ一デヅク 3 0として一体に構成されている。このコ一デック 30は、オーディオ信号入力端子 3 0 aを介して所定の音源から入力されるアナログ信号のオーディォ信号をデジ夕ル信号に変換する A/D変換器 3 2と、 A/D変換器 3 2によりデジタル信号に変換されたオーディォデ一夕を MD C T (変形離散コサイン変換）変換する MD C T変換部 34を備える。この MD C T変換部 34は、 P CM信号を MD C T変換して MD C T係数を出力するものであって、一次元のオーディオ信号に対して直交変換を行う一次元の離散コサイン変換する。

さらに、 MD C T変換部 34により算出された M D C T係数が入力されるとともに付加情報入力端子 3 0 bを介して入力される付加情報が入力されるシフト '加算部 3 6を備える。このシフト .加算部 3 6は、 MD C T変換部 34から供給されるオーディオ信号を変換して得られる MD C T係数を周波数軸方向にシフ卜するとともに、付加情報に基づいて元の MD C T係数の極性変換を行い、 MD C T 係数と付加情報を符号化する。

M D C T変換部 3 4により出力される信号は、逆 M D C T変換部 3 8に入力される。逆 M D C T変換部 3 8は、 M D C T演算部 3 4 から出力される信号を M D C T変換部 3 4とは逆の変形離散コサイン変換を行う。

逆 M D C T変換部 3 8からデジタル信号として出力される付加情報が埋め込まれたデジタルオーディオデータは、圧縮処理回路 4 0 により圧縮符号化され、圧縮符号化信号として出力端子 3 1を介して出力される。

このコ一デック 3 0も、付加情報の復調装置としても用いられるものであって、 M D C T変換部 3 4から出力される M D C T係数からオーディオ信号に埋め込まれた付加情報を復調する付加情報復調部 3 8を備えている。付加情報復調部 3 8により復調された付加情報は、出力端子 3 1を介して装置外部に出力される。

ここで、オーディオ信号にウォー夕一マークとして埋め込まれる付加情報には、オーディオ信号の転送を禁止する制限情報や、ォーディォ信号の他の記録媒体への記録を禁止する制限情報が用いられ、さらには、オーディオ信号に対応する著作物データである。この著作物デ一夕としては、オーディオ信号に対応する楽曲などの著作権を管理するデ一夕であり、著作権者コード、著作権管理番号などが用いられる。

図 2 4に示すコーデック 3 0にあっては、シフト '加算部 3 6と付加情報復調部 3 8がー体のュニット回路 3 5として構成されている。シフト '加算部 3 6と付加情報復調部 3 5は、一体のュニット回路 3 5と構成されることにより、外部から不正な目的でアクセスすることを制限している。さらに、 1^0 ( 丁変換部34、ユニット回路 3 5、圧縮処理回路 40も一体の回路 3 3として構成することにより、外部から不正な目的でアクセスされることを制限している。ここで用いる一体の回路 3 3には、 ATRAC 2を実行する回路を用いることができる。このような構成を備えることにより、コ一デック 30の秘匿性が向上され、コ一デック 3 0での信号処理に外部か不正にアクセスすることを困難としている。

図 24に示す付加情報の埋め込み機能を備えたコ一デック 30を用いて、オーディオ信号に付加情報を埋め込む手順を図 2 5に示すフローチャートを参照しながら説明する。

ステップ S 1 1でオーディオ信号入力端子 3 0 aからオーディオ信号が入力されると、このオーディオ信号は、八/0変換器32に入力され、ステップ S 1 2においてデジタル信号に変換される。デジ夕ル信号に変換されたオーディオ信号は、 MD C T変換部 34に入力される。 MD C T変換部 34に入力されたオーディオ信号は、ステツプ S 1 3において、 MD C T変換して MD C T係数が算出する。 MD C T変換部 34で算出された MD C T係数は、シフト ·カロ算部 3 6に入力される。

ステップ S 1 4において、シフト ·加算部 3 6に付加情報が入力されたか否か判断される。すなわち、付加情報の入力が「 1」を示すとき、シフト '加算部 3 6は、ステツプ S 1 5において、 MD C T変換部 34から入力された MD C T係数を周波数軸方向に例えば 2個分あるいは 4個分シフ卜し、元の MD C T係数に加算を行って付加情報をウォー夕一マーク WMとして埋め込む。そして、付加情報の入力がないとき、すなわち、付加情報が「 0」であるときには、シフト '加算部 3 6は、上述のシフ卜 '加算を行うことなく元の M D C T係数を出力する。このように、シフト '加算部 3 6は、付加情報が「 1」のとき、元の MD C T係数に周波数軸方向にシフ卜した MD C T係数を加算し、付加情報が「 0」であるとき、 MD C T 係数のシフト '加算を行わないことにより、この付加情報埋め込み装置から出力されるオーディオ信号を受信しあるいは供給される機器側において、付加情報の有無を検出することができる。このとき、オーディオ信号を 44 · 1 k H zの周波数でサンプリングし、 1 0 24サンプル値を 1ブロックとして MD C T変換して MD C T係数を得るようにした場合には、 1 0 24毎に付加情報を 1ビットずつ得ることができる。なお、サンプル値は、 1 024に限定されるものではない。

シフト '加算部 3 6により所定の処理が施された MD C T係数は、ステップ S 1 6で圧縮処理回路 40により、例えば A T R A C 2の圧縮方式で圧縮処理が施され、ステツフ° 1 7において、付加情報が埋め込まれたデジタルのオーディォ信号として出力端子 3 1から出力される。

上述した図 24に示すコーデック 3 0を用いて、オーディォ信号にウォー夕一マークとして埋め込まれた付加情報を復調する場合を説明する。

コーデヅク 30を復調器として用いる場合には、入力端子 30 a から入力されたアナログのオーディオ信号を D/A変換器 3 2によりデジタル信号に変換する。 D/ A変換器 32によりデジタル信号に変換されする。 MD C T変換部 34は、 A/D変換器 3 2から出力されたデジタル信号に MD C T変換して MD C T係数を出力する。この MD C T係数は、付加情報復調部 3 8から出力された MD C T 係数から付加情報を復調し、出力端子 3 1から出力する。

次に、信号圧縮されたデジタルのオーディオ信号に付加情報をゥォ一夕—マークとして埋め込む付加情報埋め込み装置及び信号圧縮されたデジタルのオーディオ信号に埋め込まれた付加情報を復調する復調装置の他の例を図 26を参照して説明する。この装置は、例えば、通信ネットワークを介して配信されるデジタルのオーディオ信号を受信して復調する場合に用いて有用となる。

図 2 6に示す装置も、付加情報埋め込み装置及び付加情報の復調装置をコ一デック 5 0として一体に構成したものである。このコ一デック 50は、入力端子 5 0 aを介して入力される信号圧縮されたデジタルのオーディォ信号を伸張するとともに、伸張されたオーディォデ一夕を MD C T (変形離散コサイン変換）変換する伸張処理部 5 2と、伸張処理部 5 2により算出された MD C T係数が入力されるとともに付加情報入力端子 50 bを介して入力される付加情報が入力されるシフト ·加算部 54を備える。このシフト ·加算部 5 4は、伸張処理部 5 2から供給されるオーディオデ一夕を MD C T 変換して得られる MD C T係数を周波数軸方向にシフトするとともに、付加情報入力端子 5 0 bから入力される付加情報に基づいて元の MD C T係数の極性変換を行い、 MD C T係数と付加情報を符号化する。

シフト '加算部 54より出力される信号は、逆 MD C T変換部 5 8に入力される。逆 MD C T変換部 5 8は、シフト .加算部 54から出力されるデジタルデータを逆の変形離散コサイン変換を行う。逆 MD C T変換部 5 8から出力される付加情報が埋め込まれたデジ夕ルオーディォデ一夕は、 A / D変換器 6 0によりアナログのォ —ディォ信号に変換されて出力端子 5 1から出力される。

このコーデック 5 0も、付加情報の復調装置としても用いられるものであって、伸張処理部 5 2から出力される M D C T係数からォ一ディォ信号に埋め込まれた付加情報を復調する付加情報復調部 5 6を備えている。付加情報復調部 5 6により復調された付加情報は、出力端子 6 1を介して装置外部に出力される。

ここで、ォ一ディォ信号にウォー夕一マークとして埋め込まれる付加情報には、オーディオ信号の転送を禁止する制限情報や、ォーディォ信号の他の記録媒体への記録を禁止する制限情報が用いられ、さらには、オーディオ信号に対応する著作物データである。この著作物データとしては、オーディオ信号に対応する楽曲などの著作権を管理するデ一夕であり、著作権者コード、著作権管理番号などが用いられる。

図 2 6に示すコ一デヅク 5 0にあっては、シフト ·加算部 5 4と付加情報復調部 5 6がー体のュニット回路 5 3として構成されている。シフト '加算部 5 4と付加情報復調部 5 6は、一体のュニヅト回路 5 3と構成されることにより、外部から不正な目的でアクセスすることを制限している。さらに、伸張処理部 5 2、ユニット回路 5 3、逆 M D C T回路 5 8も一体の回路 5 1 として構成することにより、外部から不正な目的でアクセスされることを制限している。ところで、オーディオ信号に付加情報をウォー夕一マークとして埋め込む場合に、前述した図 6を参照して説明したように、図 6 B に示すアナログのオーディォ信号のエンベロープを、図 6 Cに示すように、直接サイン波で振幅（A M ) 変調すると、図 6 Aに示すように、元のオーディオ信号の両側にサイドバンド信号 S Bを形成することができる。このサイドバンド信号 S Bは、元のオーディオ信号に対しウォーターマークとして機能するので、このサイドバンド信号 S Bを利用して付加情報を埋め込むことができる。

また、オーディオ信号に付加情報をウォー夕一マークとして埋め込む場合に、前述した図 7を参照して説明したように、図 7 Bに示すアナログのオーディオ信号を、図 7 Cに示すように、所定周波数のサイン波で周波数（F M ) 変調すると、図 7 Aに示すように、元のオーディオ信号の両側にサイドバンド信号 S Bを形成することができる。このサイドバンド信号 S Bは、元のオーディオ信号に対しゥォ一夕一マークとして機能するので、このサイドバンド信号 S B を利用して付加情報を埋め込むことができる。

そこで、上述した A M変調、 F M変調によるサイドバンド信号 S Bをヒルベルト変換により生成することができる。

このヒルベルト変換により、オーディオ信号にサイドバンドを生成する例を図 2 7を参照して説明する。

このヒルベルト変換を用いてオーディオ信号にサイドバンド信号 S Bを生成するするサイドバンド生成回路 1 0 0は、入力端子 1 0 1 aから入力されるデジタルのオーディォ信号である P C M信号をヒルベルト変換するヒルベルト変換器 1 0 2と、入力端子 1 0 1 b から入力される周波数、利得、位相などの制御信号から変調周波数を発生させる変調周波数発生器 1 0 4と、ヒルベルト変換器 1 0 2 の実数部出力と、変調周波数発生器 1 0 4の実数部出力を乗算する実数部乗算器 1 0 6と、ヒルベルト変換器 1 0 2の虚数部出力と変調周波数発生器 1 0 4の虚数部出力を乗算する虚数部乗算器 1 0 8 と、突数部乗算器 1 0 6からの出力と虚数部乗算器 1 08の出力を減算して元のオーディォ信号である P CM信号の高い周波数帯域側に上側サイドバンド信号 S Bを生成する第 1の加算器 1 1 0と、実数部乗算器 1 0 6からの出力と虚数部乗算器 1 08の出力を加算して元のオーディオ信号である P CM信号の低い周波数帯域側に下側サイドバンド信号 S Bを生成する第 2の加算器 1 1 2とを備える。このように、元のオーディオ信号である P CM信号の高い周波数帯域側あるいは低い周波数帯域側に生成されるサイドバンド信号 S Bを用いて付加情報をウォーターマークとして埋め込むことができる。

このように元のォ一ディォ信号を AM変調あるいは FM変調し、元のオーディオ信号の両側に生成されるサイドバンド信号 S Bを用いて付加情報をウォー夕一マークとして埋め込む変調装置 2 00の例を図 2 7に示す。この変調装置 2 0 0は、元のオーディオ信号である P CM信号が入力端子 2 0 1を介して入力される MD C T変換部 2 0 2と、付加情報が付加される所定周波数のオーディオ信号を抽出するオーディオ信号抽出器 2 04と、逆 MD C T変換部 206 と、ヒルベルト変換によるウォー夕一マーク発生器 2 08と、タイミング調整遅延器 2 1 0と、信号埋め込み回路 2 1 2とを有する。

MD C T変換部 2 02は、 P CM信号として入力されるオーディォ信号を MD C T変換して MD C T係数を算出する。オーディオ信号抽出回路 204は、 MD C T係数から付加情報がウォー夕一マークが埋め込まれる所定周波数のオーディォ信号を抽出する。逆 MD C T変換部 20 6は、オーディオ信号抽出回路 2 04により抽出した P CM信号について逆 MD C T変換を行う。ヒルベル卜変換によるウォー夕一マーク発生回路 2 0 8は、前述した図 2 8に示すような構成を備え、付加情報がウォー夕一マークとして埋め込まれる所定周波数のオーディオ信号の両側にサイドバンド信号 S Bを生成する。

夕イミング調整遅延回路 2 1 0は、入力端子 2 0 1を介して入力された P C Mオーディオ信号を、 M D C T変換部 2 0 2、オーディォ信号抽出器 2 0 4、逆 M D C T変換部 2 0 6及びヒルベルト変換によるウォー夕一マーク発生器 2 0 8における演算処理が行われている間に相当する時間遅延して、夕イミング調整を行う。

信号埋め込み回路 2 1 2は、タイミング調整遅延回路 2 1 0から出力されたオーディォ信号にこのオーディオ信号のマスキング効果を得ることができる上側又は下側の周波数帯域に生成されるサイドバンド信号 S Bをウォー夕一マークとして付加情報として埋め込む。

ヒルベルト変換を用いてオーディオ信号に付加情報をウォー夕一マークとして埋め込む変調装置 2 0 0は、前述した図 6 A及び図 7 Aに示すように、任意の周波数のオーディオ信号の上下の周波数帯域にサイドバンド信号 S Bを生成することができるので、ヒルベルト変換による周波数シフトによって A M変調や F M変調を行うことができる。また、ヒルベルト変換によって、図 7 Aに示すように、任意の周波数のオーディオ信号の上側又は下側の周波数帯域のいずれか一方にのみサイドバンド信号 S Bを生成することもできるので、任意の周波数で付加情報をウォー夕一マークとして埋め込むこともできる。産業上の利用可能性本発明は、オーディオ信号を直交変換して直交変換係数を算出し、この算出した直交変換係数を減衰して周波数軸方向にシフ卜して元の直交変換係数に加算することにより付加情報を埋め込むようにしているので、付加情報をウォー夕一マークとしてオーディォ信号に埋め込むことができ、しかも、オーディオ信号を圧縮したした場合にもウォー夕一マークとして埋め込んだ付加情報が損傷されることを確実に防止できる。

Claims

請求の範囲

1 . オーディオ信号に付加情報を埋め込む付加情報埋め込み方法において、

オーディオ信号を直交変換して直交変換係数を算出する直交変換工程と、

上記直交変換係数を減衰して周波数軸方向にシフトして上記元の直交変換係数に加算することにより上記付加情報を埋め込むシフ卜 •加算工程とを有する付加情報埋め込み方法。

2 . 上記直交変換工程は、上記オーディオ信号を M D C T変換することにより M D C T係数を算出し、上記シフト .加算工程は、上記算出された上記 M D C T係数を減衰して周波数軸方向にシフトして元の M D C T係数に加算することにより上記付加情報を埋め込む請求の範囲第 1項記載の付加情報埋め込み方法。

3 . 上記シフト ·加算工程は、周波数マスキング条件及びテンポラルマスキング条件を満たすように、上記周波数軸上でシフトされた上記直交変換係数を上記元の直交変換係数に対して加算する請求の範囲第 1項記載の付加情報埋め込み方法。

4 . 上記シフト '加算工程は、上記元の直交変換係数の値に上記シフトされた直交変換係数が加算されたときの値が所定値以下にあるとき、上記加算を行う請求の範囲第 1項記載の付加情報埋め込み方法。

5 . 上記シフト '加算工程は、上記元の直交変換係数の値の値に上記シフトされた直交変換係数が加算されたときの値の極性に応じて上記シフ卜及び加算を禁止する請求の範囲第 1項記載の付加情報埋め込み方法。

6 . 上記シフト ·加算工程は、上記オーディオ信号が上限値から下限値の範囲であるとき上記シフト及び加算を行う請求の範囲第 1項記載の付加情報埋め込み方法。

7 . 上記シフト ·加算工程は、上記オーディオ信号が人の聴覚特性に基づいて設定される上記上限値から上記下限値の範囲であるとき上記シフト及び加算を行う請求の範囲第 6項記載の付加情報埋め込み方法。

8 . 上記シフ卜 ·加算工程は、所定の周波数帯域の上記直交変換係数の上記シフト及び加算を行う請求の範囲第 1項記載の付加情報埋め込み方法。

9 . 上記シフト '加算工程は、所定の周波数帯域の上記 M D C T係数の上記シフト及び加算を行う請求の範囲第 2項記載の付加情報埋め込み方法。

1 0 . 上記シフト '加算工程は、上記オーディオ信号の周波数帯域を分割してそれぞれ分割した周波数帯域毎に行う請求の範囲第 1項記載の付加情報埋め込み方法。

1 1 . 上記シフト ·加算工程は、上記分割された隣接する周波数帯域の上記シフト方向を逆にする請求の範囲第 1 0項記載の付加情報埋め込み方法。

1 2 . 更に、上記方法は、上記シフト ·加算工程により算出された信号に対して疑似ランダム信号によるスクランブルをかける工程を有する請求の範囲第 1項記載の付加情報埋め込み方法。

1 3 . 上記シフト ·加算工程は、周波数が増加する側に上記 M D C T係数をずらして上記元の MD C T係数に加算する請求の範囲第 2 項記載の付加情報埋め込み方法。

14. 上記シフト · 加算工程は、上記 MD C T係数が 2 N個（Nは自然数）シフトされることにより（（サンプリング周波数/ MD C T係数のサンプル数） X 2N) H z分周波数が増加する請求の範囲第 1 3項記載の付加情報埋め込み方法。

1 5. 上記シフト ·加算工程は、実質的に上記オーディオ信号の振幅に等しい請求の範囲第 14項記載の付加情報埋め込み方法。

1 6. 上記シフ卜 ·加算工程は、周波数が減少する側に上記元の M D C T係数に加算する請求の範囲第 2項記載の付加情報埋め込み方法。

17. 上記シフト ·加算工程は、上記 MD C T係数が 2 N個（Nは自然数）シフトされることにより（（サンプル周波数/ MD CT係数のサンプル数） X 2 N) H z分周波数が減少する請求の範囲第 1 6項記載の付加情報埋め込み方法。

18. 上記シフト '加算工程は、実質的にオーディオ信号の周波数変調に等しい請求の範囲第 1 7項記載の付加情報埋め込み方法 19. 上記シフト ·加算工程は、上記 MD C T係数を 2 N個（Nは自然数）シフ卜する請求の範囲第 2項記載の付加情報埋め込み方法 ( 20. 上記シフト ·加算工程は、上記 MD C T係数を 2 N— 1 (N は自然数）シフ卜する請求の範囲第 2項記載の付加情報埋め込み方法。

2 1. 上記シフト ·加算工程は、上記元のオーディオ信号の MD C T係数の周波数マスキング領域のクリティカルバンド内に上記シフ卜された MD C T係数を加算する請求の範囲第 2項記載の付加情報埋め込み方法。

2 2 . 上記付加情報は、上記オーディオ信号の転送を禁止する制限情報である請求の範囲第 1項記載の付加情報埋め込み方法。

2 3 . 上記付加情報は、上記オーディオ信号の記録媒体への記録を禁止する制限情報である請求の範囲第 1項記載の付加情報埋め込み方法。

2 4 . 上記付加情報は、上記オーディオ信号に対応する著作物デー夕である請求の範囲第 1項記載の付加情報埋め込み方法。

2 5 . オーディオ信号に付加情報を埋め込む付加情報埋め込み装置において、

オーディオ信号を直交変換して直交変換係数を算出する直交変換手段と、

上記直交変換係数を減衰して周波数軸方向にシフトして上記元の直交変換係数に加算することにより上記付加情報を埋め込むシフト •加算手段とを付加情報埋め込み装置。

2 6 . 上記直交変換手段は、上記オーディオ信号を M D C T変換することにより M D C T係数を算出し、上記シフト '加算手段は、上記算出された上記 M D C T係数を減衰して周波数軸方向にシフトして元の M D C T係数に加算することにより上記付加情報を埋め込む請求の範囲第 2 5項記載の付加情報埋め込み装置。

2 7 . 上記シフト '加算手段は、周波数マスキング条件及びテンポラルマスキング条件を満たすように、上記周波数軸上でシフ卜された上記直交変換係数を上記元の直交変換係数に対して加算する請求の範囲第 2 5項記載の付加情報埋め込み装置。

2 8 . 上記シフト '加算手段は、上記元の直交変換係数の値に上記シフ卜された直交変換係数が加算されたときの値が所定値以下にあるとき、上記加算を行う請求の範囲第 2 5項記載の付加情報埋め込み装置。

2 9 . 上記シフト '加算手段は、上記元の直交変換係数の値の値に上記シフ卜された直交変換係数が加算されたときの値の極性に応じて上記シフ卜及び加算を禁止する ^:求の範囲第 2 5項記載の付加情報埋め込み装置。

3 0 . 上記シフト '加算手段は、上記オーディオ信号が上限値から下限値の範囲であるとき上記シフ卜及び加算を行う請求の範囲第 2 5項記載の付加情報埋め込み装置。

3 1 . 上記シフト '加算手段は、上記オーディオ信号が人の聴覚特性に基づいて設定される上記上限値から上記下限値の範囲であるとき上記シフト及び加算を行う請求の範囲第 3 0項記載の付加情報埋め込み装置。

3 2 . 上記シフト '加算手段は、所定の周波数帯域の上記直交変換係数の上記シフト及び加算を行う請求の範囲第 2 5項記載の付加情報埋め込み装置。

3 3 . 上記シフト '加算手段は、所定の周波数帯域の上記 M D C T 係数の上記シフト及び加算を行う請求の範囲第 2 6項記載の付加情報埋め込み装置。

3 4 . 上記シフト '加算手段は、上記オーディオ信号の周波数帯域を分割してそれぞれ分割した周波数帯域毎に行う請求の範囲第 2 5 項記載の付加情報埋め込み装置。

3 5 . 上記シフ卜 '加算手段は、上記分割された隣接する周波数帯域の上記シフト方向を逆にする請求の範囲第 3 4項記載の付加情報埋め込み装置。

36 · 更に、上記装置は、上記シフト '加算手段により算出された信号に対して疑似ランダム信号によるスクランブルをかける手段を有する請求の範囲第 25項記載の付加情報埋め込み方法。

37. 上記シフト '加算手段は、周波数が増加する側に上記 MD C T係数をずらして上記元の MD C T係数に加算する請求の範囲第 2 6項記載の付加情報埋め込み装置。

38. 上記シフト ·加算手段は、上記 MD C T係数が 2 N個（Nは自然数）シフトされることにより（（サンプリング周波数/ MD C T係数のサンプル数） x 2N) H z分周波数が増加する請求の範囲第 37項記載の付加情報埋め込み装置。

39. 上記シフト '加算手段は、実質的に上記オーディオ信号の振幅に等しい請求の範囲第 38項記載の付加情報埋め込み装置。

40. 上記シフト ·加算手段は、周波数が減少する側に上記元の M D C T係数に加算する請求の範囲第 26項記載の付加情報埋め込み 1. 上記シフト ·加算手段は、上記 MD C T係数が 2 N個（Nは自然数）シフトされることにより（（サンプル周波数/ MD C T係数のサンプル数） x 2N) H z分周波数が減少する請求の範囲第 4 0項記載の付加情報埋め込み装置。

42. 上記シフト '加算手段は、実質的にオーディオ信号の周波数変調に等しい請求の範囲第 4 1項記載の付加情報埋め込み装置。 43. 上記シフト ·加算手段は、上記 MD C T係数を 2 N個（Nは自然数）シフトする請求の範囲第 26項記載の付加情報埋め込み装

4 4 . 上記シフト ·加算手段は、上記 M D C T係数を 2 N— 1 ( N は自然数）シフ卜する請求の範囲第 2 6項記載の付加情報埋め込み

4 5 . 上記シフト '加算手段は、上記元のオーディオ信号の M D C T係数の周波数マスキング領域のクリティカルバンド内に上記シフ卜された M D C T係数を加算する請求の範囲第 2 6項記載の付加情報埋め込み装置。

4 6 . 上記直交変換手段と上記シフト及び加算手段とがー体に構成されている請求の範囲第 2 5項記載の付加情報埋め込み装置。

4 7 . 上記付加情報は、上記オーディオ信号の転送を禁止する制限情報である請求の範囲第 2 5項記載の付加情報埋め込み装置。

4 8 . 上記付加情報は、上記オーディオ信号の記録媒体への記録を禁止する制限情報である請求の範囲第 2 5項記載の付加情報埋め込み装置。

4 9 . 上記付加情報は、上記オーディオ信号に対応する著作物デー夕である請求の範囲第 2 5項記載の付加情報埋め込み装置。

5 0 . 付加情報が埋め込まれたオーディオ信号を受信し上記付加情報を復調する復調方法において、

オーディオ信号を周波数変調すると共に減衰した周波数軸方向にシフトして元の周波数軸上の上記オーディオ信号に加算することにより上記付加情報が埋め込まれる上記オーディオ信号を受信する受信工程と、

上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する復調工程とを有する復調方法。

5 1 . 上記受信工程は、オーディオ信号を直交変換して算出される直交変換係数を減衰して周波数軸方向にシフトして元の直交変換係数に加算することにより上記付加情報が埋め込まれる上記オーディォ信号を受信する請求の範囲第 5 0項記載の復調方法。

5 2 . 上記受信工程は、オーディオ信号を M D C T変換して算出される M D C T係数を減衰して周波数軸方向にシフ卜し元の M D C T 係数に加算することにより上記付加情報が埋め込まれる上記オーディォ信号を受信する請求の範囲第 5 1項記載の復調方法。

5 3 . 上記受信工程は、 A M変調により上記付加情報が埋め込まれる上記オーディオ信号を受信し、上記復調工程は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第 5 0項記載の復調方法。 5 4 . 上記受信工程は、 F M変調により上記付加情報が埋め込まれる上記オーディオ信号を受信し、上記復調工程は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第 5 0項記載の復調方法。 5 5 . 上記受信工程は、ヒルベルト変換により上記付加情報が埋め込まれる上記オーディオ信号を受信し、上記復調工程は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号に極性に基づいて上記付加情報を復調する請求の範囲第 5 0項記載の復調方。

5 6 . 上記復調工程は、上記受信される信号の所定周波数帯域内における所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第 5 0項記載の復調方法。 5 7 . 上記付加情報は、上記オーディオ信号の転送を禁止する制御情報である請求の範囲第 5 0項記載の復調方法。

5 8 . 上記付加情報は、上記オーディオ信号の記録媒体への記録を禁止する制御情報である請求の範囲第 5 0項記載の復調方法。

5 9 . 上記付加情報は、上記オーディオ信号に対応する著作物デー夕である請求の範囲第 5 0項記載の復調方法。

6 0 . 付加情報が埋め込まれたオーディオ信号を受信し上記付加情報を復調する復調装置において、

オーディオ信号を周波数変調すると共に減衰した周波数軸方向にシフトして元の周波数軸上の上記オーディオ信号に加算することにより上記付加情報が埋め込まれる上記オーディオ信号を受信する受信手段と、

上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する復調手段とを有する復調装置。

6 1 . 上記受信手段は、オーディオ信号を直交変換して算出される直交変換係数を減衰して周波数軸方向にシフトして元の直交変換係数に加算することにより上記付加情報が埋め込まれる上記オーディォ信号を受信する請求の範囲第 6 0項記載の復調装置。

6 2 . 上記受信手段は、オーディオ信号を M D C T変換して算出される M D C T係数を減衰して周波数軸方向にシフトし元の M D C T 係数に加算することにより上記付加情報が埋め込まれる上記オーディォ信号を受信する請求の範囲第 6 1項記載の復調装置。

6 3 . 上記受信手段は、 A M変調により上記付加情報が埋め込まれる上記オーディオ信号を受信し、上記復調手段は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第 6 0項記載の復調装置。 6 4 . 上記受信手段は、 F M変調により上記付加情報が埋め込まれる上記オーディオ信号を受信し、上記復調手段は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第 6 0項記載の復調装置。 6 5 . 上記受信手段は、ヒルペルト変換により上記付加情報が埋め込まされる上記オーディオ信号を受信し、上記復調手段は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディォ信号の極性に基づいて上記付加情報を復調する請求の範囲第 5 0項記載の復

6 6 . 上記復調手段は、上記受信される信号の所定周波数帯域内における所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第 6 0項記載の復調装置。 6 7 . 上記付加情報は、上記オーディオ信号の転送を禁止する制御情報である請求の範囲第 6 0項記載の復調装置。

6 8 . 上記付加情報は、上記オーディオ信号の記録媒体への記録を禁止する制御情報である請求の範囲第 6 0項記載の復調装置。 6 9 . 上記付加情報は、上記オーディオ信号に対応する著作物デ一夕である請求の範囲第 6 0項記載の復調装置。