JP3554825B2 - 電子透かしシステム - Google Patents
電子透かしシステム Download PDFInfo
- Publication number
- JP3554825B2 JP3554825B2 JP2002065606A JP2002065606A JP3554825B2 JP 3554825 B2 JP3554825 B2 JP 3554825B2 JP 2002065606 A JP2002065606 A JP 2002065606A JP 2002065606 A JP2002065606 A JP 2002065606A JP 3554825 B2 JP3554825 B2 JP 3554825B2
- Authority
- JP
- Japan
- Prior art keywords
- digital watermark
- audio signal
- signal
- embedded
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 126
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 230000003111 delayed effect Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000000873 masking effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
- H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
- H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
- H04H20/31—Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、原音声信号に電子透かし情報を埋込む電子透かし埋込装置と、原音声信号に埋込まれ電子透かし情報を検出する電子透かし検出装置とを備えた電子透かしシステムに関する。
【０００２】
【従来の技術】
近年、市販されているＣＤ（コンパクト・ディスク）やＤＶＤ（デジタル・バーサタイル・ディスク）等の他に、デジタルＴＶ放送やインターネット等の通信メディアを介して、一般の人が簡単に、これらで提供されるデジタルの音声情報（コンテンツ）のデジタル録音、及びこのデジタル録音を利用した複写（コピー）が可能になってきた。デジタル録音においては、品質劣化を来たすことなく複写（コピー）が可能であるので、著作権上の問題がより深刻になる。
【０００３】
この違法複写（コピー）を監視する手法として、音声情報（コンテンツ）の提供者は、この音声情報（コンテンツ）に、視聴には影響のない製造番号等からなる電子透かし情報を埋込むことが提唱されている。
【０００４】
デジタルの音声信号に電子透かし情報を埋込む技術として種々の手法が提案されているが、代表的な手法として、（ａ）単発エコー手法、及び（ｂ）ＰＮ（擬似ランダム雑音）系列手法がある。以下、この各手法の基本動作を説明する。
【０００５】
（ａ） 単発エコー手法
この単発エコー手法は、図５、図６に示すように、時間軸上に存在する複数の音信号からなる原音声信号ａに対して、この原音声信号ａを構成する各音信号１に対してデジタルの電子透かし情報ｂの［１］又は［０］に対応した時間（遅延時間）Δ1又はΔ2だけ遅延した時刻にエコー信号２を挿入する。なお、実際の時間Δ1 、Δ2は、数ｍｓ（ミリ秒）程度であり、非常に短い。
【０００６】
具体的には、図６の電子透かし埋込装置に示すように、入力された原音声信号ａは時間マスキング部４で各音信号１の出力時刻ｔ０が検出されて、この出力時刻ｔ０がインパルス応答信号発生部４へ印加される。インパルス応答信号発生部４は、入力された出力時刻ｔ０に対して、電子透かし情報ｂの［１］又は［０］に対応した時間Δ１又はΔ２だけ遅延した時刻で、エコー信号２としてのインパルス応答信号ｃをたたみ込み部５へ送出する。たたみ込み部５は、入力された原音声信号ａとインパルス応答信号ｃとのたたみ込み処理を実施し、たたみ込み処理結果を図５に示す埋込済音声信号ｄとして出力する。
【０００７】
この電子透かし埋込装置で作成された埋込済音声信号ｄから電子透かし情報ｂを検出する電子透かし検出装置は図示していないが、この埋込済音声信号ｄの自己相関を取ると、電子透かし情報ｂの［１］又は［０］に対応した時間（遅延時間）Δ１又はΔ２にピークが現れるので、埋込済音声信号ｄに埋込まれた電子透かし情報ｂを検出できる。
【０００８】
なお、原音声信号ａが音楽等の無音区間の無い一定時間連続した信号の場合は、原音声信号ａ全体を電子透かし情報ｂの［１］又は［０］に対応した時間Δ1又はΔ2だけ遅延させた状態に近似する、エコー信号２としてのインパルス応答信号ｃを連続して出力させれば、時間マスキング部３は必ずしも設ける必要はない。
【０００９】
（ｂ） ＰＮ（擬似ランダム雑音）系列手法
このＰＮ系列手法は、図９に示すように、原音声信号ａに対して、この原音声信号ａを構成する各音信号１に対してデジタルの電子透かし情報ｂの［１］又は［０］に対応したＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］を周波数軸上で挿入する。
【００１０】
具体的には、図７の電子透かし埋込装置に示すように、入力された原音声信号ａはフーリエ変換部６で周波数軸領域にフーリエ変換されて周波数マスキング部７へ印加されるとともに加算部１０へ印加される。ＰＮ系列発生器９は電子透かし情報ｂの［１］又は［０］に対応したＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］を乗算部８へ送出する。具体的には、ＰＮ系列［ＰＮ１又はＰＮ０］を構成する（２ｍ―１ ｍ；正整数）個の各ビット値が全ての周波数又は広範囲に亘る周波数ω１、ω２、ω３、…、ωＭにおけるサンプル値にそれぞれ加算される。
【００１１】
周波数マスキング部７は、例えば入力信号の周波数分布から人間の聴覚マスキング特性を考慮して求まる周波数マスキング特性に基づき、ＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］の各周波数成分に重み付けをする周波数重み付け特性を乗算部８へ印加する。
【００１２】
乗算部８は、ＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］に対して周波数重み付け特性で重み付け演算を実施して加算部１０へ印加する。
【００１３】
加算部１０は、乗算部８から出力され周波数重み付けされたＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］をフーリエ変換された原音声信号ａに加算する。ＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］が加算されたフーリエ変換された原音声信号ａはフーリエ逆変換部１１で時間軸領域にフーリエ逆変換されて、図９に示す埋込済音声信号ｄ１として出力される。
【００１４】
電子透かし検出装置においては、図８に示すように、入力された埋込済音声信号ｄ１は、フーリエ変換部１２で周波数軸領域にフーリエ変換されて相関算出部１３へ入力される。相関算出部１３は、フーリエ変換された埋込済音声信号ｄ１とＰＮ系列発生器１４から出力された、埋込に用いたＰＮ系列信号ｅと同一のＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］との間の相関演算を行い、相関演算結果を相関信号として２値化部１５へ送出する。２値化部１５は、相関信号を「１」又は「０」へ２値化を行い、２値化された値を電子透かし情報ｂとして出力する。
【００１５】
【発明が解決しようとする課題】
しかしながら、上述した各電子透かし手法においても、まだ解消すべき次のような課題があった。
【００１６】
すなわち、（ａ）の単発エコー手法においては、原音声信号ａに対して埋込まれるデジタルの電子透かし情報ｂは、図５に示すように、各音信号１とこの各音信号１の時間的近傍に挿入された各エコー信号２（インパルス応答信号ｃ）との間の時間Δ１、Δ２で示される。したがって、第３者が埋込済音声信号ｄから、例えば自己相関算出手法を用いて、簡単に電子透かし情報ｂを解読することが可能である。
【００１７】
すなわち、埋込済音声信号ｄに、電子透かし情報ｂが埋込まれているか否かの情報、及び埋込まれている電子透かし情報ｂの秘匿性が確保できないので、第３者にこの情報が悪用される懸念がある、
さらに、電子透かし情報ｂの検出性能を高めるためには、ある程度大きいレベルでエコー信号２（インパルス応答信号ｃ）を挿入する必要があるので、埋込済音声信号ｄのＳＮ比の低下等の信号品質が低下する懸念がある。
【００１８】
また、（ｂ）のＰＮ（擬似ランダム雑音）系列手法においては、［１］又は［０］の電子透かし情報ｂをＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］としてフーリエ変換された原音声信号ａに組込むようにしているので、埋込まれた電子透かし情報ｂの秘匿性を確保することが可能である。また、ＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］は広い範囲に分布しているので、信号レベルを低下できる。
【００１９】
この場合、各ＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］は、結果的に、全ての周波数領域に亘って分布している。しかし、音楽や会話の音声信号は人間の可聴周波数領域の全域に亘って、かつ全時間帯に亘って分布してはいない。したがって、原音声信号ａのレベルの低い周波数領域や時間領域においては、埋込済音声信号ｄ１において、埋込まれた電子透かし情報ｂが小さな雑音となって聴こえる懸念がある。また、電子透かし情報ｂが埋込まれていることが視聴者に確認されてしまう懸念がある。
【００２０】
本発明はこのような事情に鑑みてなされたものであり、原音声信号に埋込まれた電子透かし情報の秘匿性を十分確保できるとともに、原音声信号に埋込まれた電子透かし情報の周波数領域範囲を抑制でき、かつ電子透かし情報を原音声信号の広い範囲に分布させることができ、結果的に電子透かし情報が埋込まれていることを第３者に簡単に判別できないようにでき、原音声信号の複写（コピー）に対する安全性を向上できる電子透かしシステムを提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明は、入力した原音声信号に電子透かし情報を埋込んで埋込済音声信号として出力する電子透かし埋込装置と、入力した埋込済音声信号からこの埋込済音声信号に埋込まれた電子透かし情報を検出する電子透かし検出装置とを備えた電子透かしシステムに適用される。
【００２２】
そして、上記課題を解消するために、本発明の電子透かしシステムにおいては、電子透かし埋込装置は、入力された原音声信号に対して埋込むべき電子透かし情報に対応した時間だけ遅延したエコー信号を、所定の系列を用いて時間軸上で拡散して原音声信号に挿入して埋込済音声信号として出力する。
また、電子透かし検出装置は、入力された埋込済音声信号を、前記所定の系列を用いて時間軸上で逆拡散して、この逆拡散されたエコー信号の発生時刻から電子透かし情報を抽出する。
【００２３】
このように構成された電子透かしシステムにおいては、原音声信号に埋込むべき電子透かし情報は、原音声信号を構成する各音信号に隣接して時間軸上で拡散されたエコー信号の時間に対応する。したがって、この時間拡散された各エコー信号を時間軸上で逆拡散すると、電子透かし情報に対応する時間位置に一つのエコー信号が現れるので、電子透かし情報を検出できる。
【００２４】
また、時間軸上で拡散配置された一つ一つのエコー信号の信号レベルは小さくとも、これらのエコー信号を逆拡散してできる一つのエコー信号の信号レベル（パワー）は大きくなるので、電子透かし情報の検出精度は高くなる。よって、時間軸上で拡散配置する一つ一つのエコー信号の信号レベルを小さく設定できるので、埋込済音声信号に含まれる電子透かし情報が視聴者に雑音として聞き取られることはない。
【００２５】
また、電子透かし情報は結果的に時間軸に拡散された状態で原音声信号に埋込まれるので、第３者が埋込済音声信号から電子透かし情報を簡単に抽出できない。
【００２６】
さらに、各エコー信号は、周波数軸上に拡散されていないので、通常の音声や会話では使用されない高周波領域に電子透かし情報のエコー信号が含まれることはないので、埋込まれた電子透かし情報が小さな雑音となって聴こえることはない。
【００２７】
また、別の発明は、上述した電子透かしシステムにおいて、
電子透かし埋込装置に対して、入力された原音声信号に対して埋込むべき電子透かし情報に対応した時間だけ遅延したインパルス応答信号を出力するインパルス応答信号発生部と、インパルス応答信号発生部から出力されたインパルス応答信号を所定周期長を有するＰＮ系列で時間軸上で拡散する時間拡散部と、時間拡散部で時間軸上で拡散された各インパルス応答信号と原音声信号とのたたみ込み処理を実施し、たたみ込み処理結果を埋込済音声信号として出力するたたみ込み部とを付加している。
【００２８】
さらに、電子透かし検出装置に対して、入力された埋込済音声信号に対してケプストラム処理を実施するケプストラム処理部と、ケプストラム処理部でケプストラム処理された後の埋込済音声信号をＰＮ系列で時間軸上で逆拡散する時間逆拡散部と、時間逆拡散部から出力された逆拡散信号から電子透かし情報を得るデコード部とを付加している。
【００２９】
このように構成された電子透かしシステムは、先の発明の電子透かしシステムをより具体化したものであり、エコー信号をインパルス応答信号で構成し、インパルス応答信号を時間軸上で拡散する手法として、ＰＮ系列信号を採用している。
【００３０】
そして、このインパルス応答信号が時間軸上で拡散された埋込済音声信号から電子透かし情報を検出する手法として、入力された埋込済音声信号を、ＰＮ系列信号を用いて直接時間軸上で逆拡散するのではなくて、ケプストラム処理を施した後に、ＰＮ系列信号を用いて逆拡散を実施している。このように、ケプストラム処理を実施することによって、たたみ込み処理された原音声信号の各音信号と各インパルス応答信号との積の形式を和の形式に分離できるので、各インパルス応答信号のみを効率的に逆拡散処理できる。
【００３１】
【発明の実施の形態】
以下、本発明の一実施形態を図面を用いて説明する。
図１は本発明の実施形態に係る電子透かしシステムを構成する電子透かし埋込装置の概略構成を示すブロック図であり、図４は同電子透かしシステムを構成する電子透かし検出装置の概略構成を示すブロック図である。図６乃至図８に示す従来の電子透かしシステムと同一部分には同一符号を付して、重複する部分の詳細説明を省略する。
【００３２】
なお、この実施形態の電子透かしシステムを構成する電子透かし埋込装置及び電子透かし検出装置は、例えば、コンピュータ等からなる情報処置装置内にソフト的に構成されている。
【００３３】
図１の電子透かし埋込装置は、図２に示すように、原音声信号ａに対して、この原音声信号ａを構成する各音信号２０の発生時刻ｔ０に対してデジタルの電子透かし情報ｂの［１］又は［０］に対応した時間（遅延時間）Δだけ遅延した時刻から始まる時間軸方向に拡散された複数のエコー信号としての複数のインパルス応答信号２１が組込まれた埋込済音声信号ｄ２を出力する。
【００３４】
具体的には、図１の電子透かし埋込装置に示すように、入力された原音声信号ａは時間マスキング部２２で各音信号２０の出力時刻ｔ０が検出されて、この出力時刻ｔ０がインパルス応答信号発生部２３へ印加される。インパルス応答信号発生部２３は、入力された出力時刻ｔ０に対して、電子透かし情報ｂの［１］又は［０］に対応した時間Δだけ遅延した時刻で、エコー信号としてのインパルス応答信号ｃを時間拡散部２４へ送出する。ＰＮ系列発生部２５は、所定時間（ビット）周期（２ｍ―１ ｍ；正整数）を有したＰＮ系列信号ｇを時間拡散部２４へ送出する。
【００３５】
時間拡散部２４は、インパルス応答発生部２３から出力時刻ｔ０に対して時間Δだけ遅延されて入力されたインパルス応答信号ｃを、ＰＮ系列信号ｇで時間軸上で拡散して、新たな複数（＝Ｎ）個のインパルス応答信号ｃ１〜ｃＮとしてたたみ込み部２６へ送出する。たたみ込み部２６は、外部から入力された原音声信号ａと時間軸上で分散された各インパルス応答信号ｃ１〜ｃＮとのたたみ込み処理を実施して、このたたみ込み処理された後の信号を埋込済音声信号ｄ２として外部へ出力する。
【００３６】
なお、原音声信号ａが音楽等の無音区間の無い一定時間連続した信号の場合は、原音声信号ａ全体を電子透かし情報ｂの［１］又は［０］に対応した時間Δだけ遅延させた状態に近似する、エコー信号２としてのインパルス応答信号ｃを連続して出力させれば、時間マスキング部２２は必ずしも設ける必要はない。
【００３７】
図３は、たたみ込み部２６における、原音声信号ａに対して各インパルス応答信号ｃ１〜ｃＮをたたみ込み処理して、埋込済音声信号ｄ２を得る処理の手順を波形図で示した図である。図５において、Δ１〜Δ４まで時間拡散された各インパルス応答信号ｃ１〜ｃ４が原音声信号ａと信号合成（たたみ込み処理）されて、それぞれ一つの埋込済音声信号ｄ２に組込まれる。
【００３８】
次に、この電子透かし埋込装置における原音声信号ａと埋込済音声信号ｄ２との関係を式を用いて説明する。
インパルス応答信号ｃをデルタ関数（インパルス応答関数）を用いて（１）式で示す。
【００３９】
ｈ（ｎ）＝δ（０）＋αδ（τ）
ｎ；経過時間を示すサンプル数 ０＜α＜１ τ；遅延量
αδ（τ）；高次成分（エコー成分） …(1)
このインパルス応答信号ｃに対して、ＰＮ系列信号ｇ（＝Ｐ（ｎ））をレベルを下げて高次成分（エコー成分）のみにたたみ込むと、インパルス応答信号ｃ1、ｃ2、ｃ3、…は、(2)式となる。
ｈ（ｎ）＝δ（０）＋αβＰ（ｎ−τ）
０＜β≪１ …(2)
この時間軸に拡散されたインパルス応答信号ｃ1、ｃ2、ｃ3、…（＝ｈ（ｎ））に対して、さらに、原音声信号ａ（＝ｆ（ｎ））をたたみ込むと、(4)式で示す埋込済音声信号ｄ2（＝ｊ（ｎ））が得られる。
【００４０】
ｈ（ｎ）＝δ（０）＋αβδ（ｎ−τ）
０＜β≪１ …（２）
この時間軸に拡散されたインパルス応答信号ｃ１、ｃ２、ｃ３、…（＝ｈ（ｎ））に対して、さらに、原音声信号ａ（＝ｆ（ｎ））をたたみ込むと、（４）式で示す埋込済音声信号ｄ２（＝ｊ（ｎ））が得られる。
【００４１】
ｊ（ｎ）＝ｆ（ｎ）＊ｈ（ｎ） …（３）
次に、図４に示す電子透かし検出装置を説明する。
この電子透かし検出装置は、入力された埋込済音声信号ｄ２を時間軸上で逆拡散して、この逆拡散されたエコー信号としてのインパルス応答信号の発生時刻から埋込済音声信号ｄ２に含まれる電子透かし情報ｂを抽出する。
【００４２】
具体的には、図４の電子透かし検出装置に示すように、入力された電子透かし情報ｂが埋込まれた埋込済音声信号ｄ２は、ケプストラム処理部２７内のフーリエ変換部２８へ入力される。フーリエ変換部２８は、この入力した埋込済音声信号ｄ２をフーリエ変換して次の対数変換部２９へ送出する。対数変換部２９は、フーリエ変換された埋込済音声信号ｄ２を対数変換して次のフーリエ逆変換部３０へ送出する。フーリエ逆変換部３０は、フーリエ変換されかつ対数変換された埋込済音声信号ｄ２を、フーリエ逆変換して元の時間軸領域の埋込済音声信号ｄ３へ戻してケプストラム処理部２７外の時間逆拡散部３１へ送出する。
【００４３】
時間逆拡散部３１には、図１の電子透かし埋込装置のＰＮ系列発生部２５と同一構成のＰＮ系列発生部３２から同一のＰＮ系列信号ｇが印加されている。そして、この時間逆拡散部３１は、ケプストラム処理部２７から出力された埋込済音声信号ｄ３をＰＮ系列信号ｇで時間軸上で逆拡散する。具体的には、埋込済音声信号ｄ３とＰＮ系列信号ｇとの相関演算を実施して、逆拡散信号としての相関信号ｐをデコード部３３へ送出する。
【００４４】
この時間逆拡散部３１は、ＰＮ系列信号ｇで時間軸上で拡散された各インパルス応答信号を、同一のＰＮ系列信号ｇで時間軸上で逆拡散するので、相関信号ｐには、相関がとれた時間位置に大きなピーク波形が出現する。すなわち、このピーク波形位置が原音声信号ａを構成する各音信号２０の発生時刻ｔ０に対してデジタルの電子透かし情報ｂの［１］又は［０］に対応した時間（遅延時間）Δに相当する。したがって、デコード部３３は、この時間（遅延時間）Δを検出して、この時間（遅延時間）Δを対応する［１］又は［０］のデジタルの元の電子透かし情報ｂに変換して出力する。
【００４５】
次に、この電子透かし検出装置におけるケプストラム処理部２７と時間逆拡散部３１の動作を式を用いて説明する。
ケプストラム処理部２７へ入力される前述した(3)式で示される埋込済音声信号ｄ2 （＝ｊ（ｎ））は、フーリエ変換部２８で周波数領域に変換されて、(4)式となる。
【００４６】
ｊ（ｎ）＝ｆ（ｎ）＊ｈ（ｎ） …（３）
Ｊ（ω）＝Ｆ（ω）×Ｈ（ω） …（４）
このフーリエ変換された埋込済音声信号ｄ２（＝Ｊ（ω））を対数変換部２９で対数変換すると、（５）式に示すように、積の形式が和の形式に変換される。
【００４７】
この対数変換された埋込済音声信号ｄ２を、フーリエ逆変換部３０で時間領域に変換すると、（６）式に示す埋込済音声信号ｄ３となる。
【００４８】
ＩＤＦＴ［ｌｏｇ［Ｆ（ω）］＋ｌｏｇ［Ｈ（ω）］］＝ＩＤＦＴ［ｌｏｇ［Ｆ（ω）］］＋ＩＤＦＴ［ｌｏｇ［Ｈ（ω）］］…（６）
そして、時間逆変換部３１でもって、この（６）式で示す埋込済音声信号ｄ３と、電子透かし埋込装置で使用した同一のＰＮ系列信号ｇ（＝Ｐ（ｎ））との間の相関関係を求めると、出力される相関信号ｐは、
ｈ（τ―ｎ）とＩＤＦＴ［ｌｏｇ［Ｆ（ω）］］との相関の第１の項と、
ｈ（τ―ｎ）とＩＤＦＴ［ｌｏｇ［Ｈ（ω）］］との相関の第２の項と
の和の形で示される。
【００４９】
ＰＮ系列信号ｇと原音声信号ａとは元々相関がないので、第１の項の値は無視できる程度に小さい。しかし、ＰＮ系列信号ｇと電子透かし情報ｂの要素との相関は、電子透かし情報ｂが埋込まれていた場合は非常に大きいので、第２の項の値は非常に大きい。しかも、この大きな値（ピーク）が発生する時間（時刻）は、前述したように、電子透かし情報ｂの［１］又は［０］に対応した時間（遅延時間）Δである。
【００５０】
このように構成された電子透かしシステムにおいては、原音声信号ａに埋込むべき［１］又は［０］のデジタルの電子透かし情報ｂは、原音声信号ａを構成する各音信号２０に隣接して時間軸上でＰＮ系列信号ｇを用いて拡散された各インパルス応答信号ｃ１、ｃ２、ｃ３、…の発生時間Δ１、Δ２、Δ３、…に対応している。したがって、この時間拡散された各インパルス応答信号ｃ１、ｃ２、ｃ３、…を同一ＰＮ系列信号ｇを用いて時間逆拡散すると、電子透かし情報ｂに対応する一つの時間位置Δに一つのインパルス応答信号に対応するピーク信号（波形）が現れるので、電子透かし情報ｂを検出できる。
【００５１】
また、時間軸上で拡散配置する各インパルス応答信号ｃ１、ｃ２、ｃ３、…の各信号レベルを小さく設定できるので、埋込済音声信号ｄ２に含まれる電子透かし情報ｂが視聴者に雑音として聞き取られることはない。
【００５２】
また、電子透かし情報ｂは結果的に時間軸にＰＮ系列で拡散された状態で原音声信号ａに埋込まれるので、第３者は埋込に使用したＰＮ系列を知る術がないので、埋込済音声信号ｄ２から電子透かし情報ｂを簡単に抽出できない。
【００５３】
よって、ＣＤ、ＤＶＤ等を含む各種の電子メディアを介して配信された音楽や会話等の著作物の不正複写（コピー）に付されている電子透かし情報ｂから、この著作物の不正複写（コピー）の複写元の原音を認知することにより、不正複写（コピー）物の流通経路等を特定でき、著作物（原音）の不正複写（コピー）の抑制効果が期待できる。
【００５４】
さらに、各インパルス応答信号は、周波数軸上に拡散されていないので、埋込まれた電子透かし情報ｂが高周波領域や低周波領域において小さな雑音となって聴こえることはない。
【００５５】
また、埋込済音声信号ｄ２から電子透かし情報ｂを検出する手法として、入力された埋込済音声信号ｄ２をケプストラム処理を施した後に、逆拡散を実施している。したがって、各インパルス応答信号のみを効率的に逆拡散処理（相関演算処理）でき、結果的に、電子透かし検出装置における電子透かし情報ｂの検出処理能率を向上できる。
【００５６】
なお、本発明は上述した実施形態に限定されるものではない。実施形態においては、エコー信号（インパルス応答信号）を時間軸上で拡散する手法として、ＰＮ系列を用いたが、ＰＮ系列に限定されるものではない。
【００５７】
例えば、完全なＰＮ系列を用いなくても、このＰＮ系列に類似する符号列を採用することが可能である。例えば、人間の聴覚特性を考慮すると、頭部伝達関数の測定などで用いられているＴＳＰ（Ｔｉｍｅ Ｓｔｒｅｔｃｈｅｄ Ｐｕｌｓｅ）のような信号を用いたほうが、知覚され難いという可能性もある。
【００５８】
さらに、電子透かし情報は、エコー信号（インパルス応答信号）の遅延量ばかりでなく、エコー信号の組み合わせや、組み合わせのパターンの大きさ等の様々な方法で、埋め込むことが可能である。
【００５９】
【発明の効果】
以上説明したように、本発明の電子透かしシステムにおいては、埋込むべき電子透かし情報に対応したエコー信号を時間軸上で拡散して原音声信号に挿入している。
【００６０】
したがって、原音声信号に埋込まれた電子透かし情報の秘匿性を十分確保できるとともに、原音声信号に埋込まれた電子透かし情報の周波数範囲を抑制でき、かつ電子透かし情報を時間軸上の広い範囲に分布させることができ、結果的に電子透かし情報が埋込まれていることを第３者に簡単に判別できないようにでき、原音声信号の複写（コピー）に対する安全性を向上できる。
【図面の簡単な説明】
【図１】本発明の一実施形態の電子透かしシステムの電子透かし埋込装置の概略構成を示すブロック図
【図２】同電子透かし埋込装置から出力される埋込済音声信号を示す図
【図３】同電子透かし埋込装置におけるたたみ込み動作を示す波形図
【図４】同実施形態の電子透かしシステムの電子透かし検出装置の概略構成を示すブロック図
【図５】従来の単発エコー手法の原理を示す信号波形図
【図６】同従来の単発エコー手法を採用した電子透かし埋込装置の概略構成を示すブロック図
【図７】従来のＰＮ系列手法を採用した電子透かし埋込装置の概略構成を示すブロック図
【図８】同ＰＮ系列手法を採用した電子透かし検出装置の概略構成を示すブロック図
【図９】同従来のＰＮ系列手法の原理を示す信号波形図
【符号の説明】
２０…音信号
２２…時間マスキング部
２３…インパルス応答信号発生部
２４…時間拡散部
２５、３２…ＰＮ系列発生部
２６…たたみ込み部
２７…ケプストラム処理部
２８…フーリエ変換部
２９…対数変換部
３０…フーリエ逆変換部
３１…時間逆拡散部
３３…デコード部
【発明の属する技術分野】
本発明は、原音声信号に電子透かし情報を埋込む電子透かし埋込装置と、原音声信号に埋込まれ電子透かし情報を検出する電子透かし検出装置とを備えた電子透かしシステムに関する。
【０００２】
【従来の技術】
近年、市販されているＣＤ（コンパクト・ディスク）やＤＶＤ（デジタル・バーサタイル・ディスク）等の他に、デジタルＴＶ放送やインターネット等の通信メディアを介して、一般の人が簡単に、これらで提供されるデジタルの音声情報（コンテンツ）のデジタル録音、及びこのデジタル録音を利用した複写（コピー）が可能になってきた。デジタル録音においては、品質劣化を来たすことなく複写（コピー）が可能であるので、著作権上の問題がより深刻になる。
【０００３】
この違法複写（コピー）を監視する手法として、音声情報（コンテンツ）の提供者は、この音声情報（コンテンツ）に、視聴には影響のない製造番号等からなる電子透かし情報を埋込むことが提唱されている。
【０００４】
デジタルの音声信号に電子透かし情報を埋込む技術として種々の手法が提案されているが、代表的な手法として、（ａ）単発エコー手法、及び（ｂ）ＰＮ（擬似ランダム雑音）系列手法がある。以下、この各手法の基本動作を説明する。
【０００５】
（ａ） 単発エコー手法
この単発エコー手法は、図５、図６に示すように、時間軸上に存在する複数の音信号からなる原音声信号ａに対して、この原音声信号ａを構成する各音信号１に対してデジタルの電子透かし情報ｂの［１］又は［０］に対応した時間（遅延時間）Δ1又はΔ2だけ遅延した時刻にエコー信号２を挿入する。なお、実際の時間Δ1 、Δ2は、数ｍｓ（ミリ秒）程度であり、非常に短い。
【０００６】
具体的には、図６の電子透かし埋込装置に示すように、入力された原音声信号ａは時間マスキング部４で各音信号１の出力時刻ｔ０が検出されて、この出力時刻ｔ０がインパルス応答信号発生部４へ印加される。インパルス応答信号発生部４は、入力された出力時刻ｔ０に対して、電子透かし情報ｂの［１］又は［０］に対応した時間Δ１又はΔ２だけ遅延した時刻で、エコー信号２としてのインパルス応答信号ｃをたたみ込み部５へ送出する。たたみ込み部５は、入力された原音声信号ａとインパルス応答信号ｃとのたたみ込み処理を実施し、たたみ込み処理結果を図５に示す埋込済音声信号ｄとして出力する。
【０００７】
この電子透かし埋込装置で作成された埋込済音声信号ｄから電子透かし情報ｂを検出する電子透かし検出装置は図示していないが、この埋込済音声信号ｄの自己相関を取ると、電子透かし情報ｂの［１］又は［０］に対応した時間（遅延時間）Δ１又はΔ２にピークが現れるので、埋込済音声信号ｄに埋込まれた電子透かし情報ｂを検出できる。
【０００８】
なお、原音声信号ａが音楽等の無音区間の無い一定時間連続した信号の場合は、原音声信号ａ全体を電子透かし情報ｂの［１］又は［０］に対応した時間Δ1又はΔ2だけ遅延させた状態に近似する、エコー信号２としてのインパルス応答信号ｃを連続して出力させれば、時間マスキング部３は必ずしも設ける必要はない。
【０００９】
（ｂ） ＰＮ（擬似ランダム雑音）系列手法
このＰＮ系列手法は、図９に示すように、原音声信号ａに対して、この原音声信号ａを構成する各音信号１に対してデジタルの電子透かし情報ｂの［１］又は［０］に対応したＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］を周波数軸上で挿入する。
【００１０】
具体的には、図７の電子透かし埋込装置に示すように、入力された原音声信号ａはフーリエ変換部６で周波数軸領域にフーリエ変換されて周波数マスキング部７へ印加されるとともに加算部１０へ印加される。ＰＮ系列発生器９は電子透かし情報ｂの［１］又は［０］に対応したＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］を乗算部８へ送出する。具体的には、ＰＮ系列［ＰＮ１又はＰＮ０］を構成する（２ｍ―１ ｍ；正整数）個の各ビット値が全ての周波数又は広範囲に亘る周波数ω１、ω２、ω３、…、ωＭにおけるサンプル値にそれぞれ加算される。
【００１１】
周波数マスキング部７は、例えば入力信号の周波数分布から人間の聴覚マスキング特性を考慮して求まる周波数マスキング特性に基づき、ＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］の各周波数成分に重み付けをする周波数重み付け特性を乗算部８へ印加する。
【００１２】
乗算部８は、ＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］に対して周波数重み付け特性で重み付け演算を実施して加算部１０へ印加する。
【００１３】
加算部１０は、乗算部８から出力され周波数重み付けされたＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］をフーリエ変換された原音声信号ａに加算する。ＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］が加算されたフーリエ変換された原音声信号ａはフーリエ逆変換部１１で時間軸領域にフーリエ逆変換されて、図９に示す埋込済音声信号ｄ１として出力される。
【００１４】
電子透かし検出装置においては、図８に示すように、入力された埋込済音声信号ｄ１は、フーリエ変換部１２で周波数軸領域にフーリエ変換されて相関算出部１３へ入力される。相関算出部１３は、フーリエ変換された埋込済音声信号ｄ１とＰＮ系列発生器１４から出力された、埋込に用いたＰＮ系列信号ｅと同一のＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］との間の相関演算を行い、相関演算結果を相関信号として２値化部１５へ送出する。２値化部１５は、相関信号を「１」又は「０」へ２値化を行い、２値化された値を電子透かし情報ｂとして出力する。
【００１５】
【発明が解決しようとする課題】
しかしながら、上述した各電子透かし手法においても、まだ解消すべき次のような課題があった。
【００１６】
すなわち、（ａ）の単発エコー手法においては、原音声信号ａに対して埋込まれるデジタルの電子透かし情報ｂは、図５に示すように、各音信号１とこの各音信号１の時間的近傍に挿入された各エコー信号２（インパルス応答信号ｃ）との間の時間Δ１、Δ２で示される。したがって、第３者が埋込済音声信号ｄから、例えば自己相関算出手法を用いて、簡単に電子透かし情報ｂを解読することが可能である。
【００１７】
すなわち、埋込済音声信号ｄに、電子透かし情報ｂが埋込まれているか否かの情報、及び埋込まれている電子透かし情報ｂの秘匿性が確保できないので、第３者にこの情報が悪用される懸念がある、
さらに、電子透かし情報ｂの検出性能を高めるためには、ある程度大きいレベルでエコー信号２（インパルス応答信号ｃ）を挿入する必要があるので、埋込済音声信号ｄのＳＮ比の低下等の信号品質が低下する懸念がある。
【００１８】
また、（ｂ）のＰＮ（擬似ランダム雑音）系列手法においては、［１］又は［０］の電子透かし情報ｂをＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］としてフーリエ変換された原音声信号ａに組込むようにしているので、埋込まれた電子透かし情報ｂの秘匿性を確保することが可能である。また、ＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］は広い範囲に分布しているので、信号レベルを低下できる。
【００１９】
この場合、各ＰＮ系列信号ｅ［ＰＮ１又はＰＮ０］は、結果的に、全ての周波数領域に亘って分布している。しかし、音楽や会話の音声信号は人間の可聴周波数領域の全域に亘って、かつ全時間帯に亘って分布してはいない。したがって、原音声信号ａのレベルの低い周波数領域や時間領域においては、埋込済音声信号ｄ１において、埋込まれた電子透かし情報ｂが小さな雑音となって聴こえる懸念がある。また、電子透かし情報ｂが埋込まれていることが視聴者に確認されてしまう懸念がある。
【００２０】
本発明はこのような事情に鑑みてなされたものであり、原音声信号に埋込まれた電子透かし情報の秘匿性を十分確保できるとともに、原音声信号に埋込まれた電子透かし情報の周波数領域範囲を抑制でき、かつ電子透かし情報を原音声信号の広い範囲に分布させることができ、結果的に電子透かし情報が埋込まれていることを第３者に簡単に判別できないようにでき、原音声信号の複写（コピー）に対する安全性を向上できる電子透かしシステムを提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明は、入力した原音声信号に電子透かし情報を埋込んで埋込済音声信号として出力する電子透かし埋込装置と、入力した埋込済音声信号からこの埋込済音声信号に埋込まれた電子透かし情報を検出する電子透かし検出装置とを備えた電子透かしシステムに適用される。
【００２２】
そして、上記課題を解消するために、本発明の電子透かしシステムにおいては、電子透かし埋込装置は、入力された原音声信号に対して埋込むべき電子透かし情報に対応した時間だけ遅延したエコー信号を、所定の系列を用いて時間軸上で拡散して原音声信号に挿入して埋込済音声信号として出力する。
また、電子透かし検出装置は、入力された埋込済音声信号を、前記所定の系列を用いて時間軸上で逆拡散して、この逆拡散されたエコー信号の発生時刻から電子透かし情報を抽出する。
【００２３】
このように構成された電子透かしシステムにおいては、原音声信号に埋込むべき電子透かし情報は、原音声信号を構成する各音信号に隣接して時間軸上で拡散されたエコー信号の時間に対応する。したがって、この時間拡散された各エコー信号を時間軸上で逆拡散すると、電子透かし情報に対応する時間位置に一つのエコー信号が現れるので、電子透かし情報を検出できる。
【００２４】
また、時間軸上で拡散配置された一つ一つのエコー信号の信号レベルは小さくとも、これらのエコー信号を逆拡散してできる一つのエコー信号の信号レベル（パワー）は大きくなるので、電子透かし情報の検出精度は高くなる。よって、時間軸上で拡散配置する一つ一つのエコー信号の信号レベルを小さく設定できるので、埋込済音声信号に含まれる電子透かし情報が視聴者に雑音として聞き取られることはない。
【００２５】
また、電子透かし情報は結果的に時間軸に拡散された状態で原音声信号に埋込まれるので、第３者が埋込済音声信号から電子透かし情報を簡単に抽出できない。
【００２６】
さらに、各エコー信号は、周波数軸上に拡散されていないので、通常の音声や会話では使用されない高周波領域に電子透かし情報のエコー信号が含まれることはないので、埋込まれた電子透かし情報が小さな雑音となって聴こえることはない。
【００２７】
また、別の発明は、上述した電子透かしシステムにおいて、
電子透かし埋込装置に対して、入力された原音声信号に対して埋込むべき電子透かし情報に対応した時間だけ遅延したインパルス応答信号を出力するインパルス応答信号発生部と、インパルス応答信号発生部から出力されたインパルス応答信号を所定周期長を有するＰＮ系列で時間軸上で拡散する時間拡散部と、時間拡散部で時間軸上で拡散された各インパルス応答信号と原音声信号とのたたみ込み処理を実施し、たたみ込み処理結果を埋込済音声信号として出力するたたみ込み部とを付加している。
【００２８】
さらに、電子透かし検出装置に対して、入力された埋込済音声信号に対してケプストラム処理を実施するケプストラム処理部と、ケプストラム処理部でケプストラム処理された後の埋込済音声信号をＰＮ系列で時間軸上で逆拡散する時間逆拡散部と、時間逆拡散部から出力された逆拡散信号から電子透かし情報を得るデコード部とを付加している。
【００２９】
このように構成された電子透かしシステムは、先の発明の電子透かしシステムをより具体化したものであり、エコー信号をインパルス応答信号で構成し、インパルス応答信号を時間軸上で拡散する手法として、ＰＮ系列信号を採用している。
【００３０】
そして、このインパルス応答信号が時間軸上で拡散された埋込済音声信号から電子透かし情報を検出する手法として、入力された埋込済音声信号を、ＰＮ系列信号を用いて直接時間軸上で逆拡散するのではなくて、ケプストラム処理を施した後に、ＰＮ系列信号を用いて逆拡散を実施している。このように、ケプストラム処理を実施することによって、たたみ込み処理された原音声信号の各音信号と各インパルス応答信号との積の形式を和の形式に分離できるので、各インパルス応答信号のみを効率的に逆拡散処理できる。
【００３１】
【発明の実施の形態】
以下、本発明の一実施形態を図面を用いて説明する。
図１は本発明の実施形態に係る電子透かしシステムを構成する電子透かし埋込装置の概略構成を示すブロック図であり、図４は同電子透かしシステムを構成する電子透かし検出装置の概略構成を示すブロック図である。図６乃至図８に示す従来の電子透かしシステムと同一部分には同一符号を付して、重複する部分の詳細説明を省略する。
【００３２】
なお、この実施形態の電子透かしシステムを構成する電子透かし埋込装置及び電子透かし検出装置は、例えば、コンピュータ等からなる情報処置装置内にソフト的に構成されている。
【００３３】
図１の電子透かし埋込装置は、図２に示すように、原音声信号ａに対して、この原音声信号ａを構成する各音信号２０の発生時刻ｔ０に対してデジタルの電子透かし情報ｂの［１］又は［０］に対応した時間（遅延時間）Δだけ遅延した時刻から始まる時間軸方向に拡散された複数のエコー信号としての複数のインパルス応答信号２１が組込まれた埋込済音声信号ｄ２を出力する。
【００３４】
具体的には、図１の電子透かし埋込装置に示すように、入力された原音声信号ａは時間マスキング部２２で各音信号２０の出力時刻ｔ０が検出されて、この出力時刻ｔ０がインパルス応答信号発生部２３へ印加される。インパルス応答信号発生部２３は、入力された出力時刻ｔ０に対して、電子透かし情報ｂの［１］又は［０］に対応した時間Δだけ遅延した時刻で、エコー信号としてのインパルス応答信号ｃを時間拡散部２４へ送出する。ＰＮ系列発生部２５は、所定時間（ビット）周期（２ｍ―１ ｍ；正整数）を有したＰＮ系列信号ｇを時間拡散部２４へ送出する。
【００３５】
時間拡散部２４は、インパルス応答発生部２３から出力時刻ｔ０に対して時間Δだけ遅延されて入力されたインパルス応答信号ｃを、ＰＮ系列信号ｇで時間軸上で拡散して、新たな複数（＝Ｎ）個のインパルス応答信号ｃ１〜ｃＮとしてたたみ込み部２６へ送出する。たたみ込み部２６は、外部から入力された原音声信号ａと時間軸上で分散された各インパルス応答信号ｃ１〜ｃＮとのたたみ込み処理を実施して、このたたみ込み処理された後の信号を埋込済音声信号ｄ２として外部へ出力する。
【００３６】
なお、原音声信号ａが音楽等の無音区間の無い一定時間連続した信号の場合は、原音声信号ａ全体を電子透かし情報ｂの［１］又は［０］に対応した時間Δだけ遅延させた状態に近似する、エコー信号２としてのインパルス応答信号ｃを連続して出力させれば、時間マスキング部２２は必ずしも設ける必要はない。
【００３７】
図３は、たたみ込み部２６における、原音声信号ａに対して各インパルス応答信号ｃ１〜ｃＮをたたみ込み処理して、埋込済音声信号ｄ２を得る処理の手順を波形図で示した図である。図５において、Δ１〜Δ４まで時間拡散された各インパルス応答信号ｃ１〜ｃ４が原音声信号ａと信号合成（たたみ込み処理）されて、それぞれ一つの埋込済音声信号ｄ２に組込まれる。
【００３８】
次に、この電子透かし埋込装置における原音声信号ａと埋込済音声信号ｄ２との関係を式を用いて説明する。
インパルス応答信号ｃをデルタ関数（インパルス応答関数）を用いて（１）式で示す。
【００３９】
ｈ（ｎ）＝δ（０）＋αδ（τ）
ｎ；経過時間を示すサンプル数 ０＜α＜１ τ；遅延量
αδ（τ）；高次成分（エコー成分） …(1)
このインパルス応答信号ｃに対して、ＰＮ系列信号ｇ（＝Ｐ（ｎ））をレベルを下げて高次成分（エコー成分）のみにたたみ込むと、インパルス応答信号ｃ1、ｃ2、ｃ3、…は、(2)式となる。
ｈ（ｎ）＝δ（０）＋αβＰ（ｎ−τ）
０＜β≪１ …(2)
この時間軸に拡散されたインパルス応答信号ｃ1、ｃ2、ｃ3、…（＝ｈ（ｎ））に対して、さらに、原音声信号ａ（＝ｆ（ｎ））をたたみ込むと、(4)式で示す埋込済音声信号ｄ2（＝ｊ（ｎ））が得られる。
【００４０】
ｈ（ｎ）＝δ（０）＋αβδ（ｎ−τ）
０＜β≪１ …（２）
この時間軸に拡散されたインパルス応答信号ｃ１、ｃ２、ｃ３、…（＝ｈ（ｎ））に対して、さらに、原音声信号ａ（＝ｆ（ｎ））をたたみ込むと、（４）式で示す埋込済音声信号ｄ２（＝ｊ（ｎ））が得られる。
【００４１】
ｊ（ｎ）＝ｆ（ｎ）＊ｈ（ｎ） …（３）
次に、図４に示す電子透かし検出装置を説明する。
この電子透かし検出装置は、入力された埋込済音声信号ｄ２を時間軸上で逆拡散して、この逆拡散されたエコー信号としてのインパルス応答信号の発生時刻から埋込済音声信号ｄ２に含まれる電子透かし情報ｂを抽出する。
【００４２】
具体的には、図４の電子透かし検出装置に示すように、入力された電子透かし情報ｂが埋込まれた埋込済音声信号ｄ２は、ケプストラム処理部２７内のフーリエ変換部２８へ入力される。フーリエ変換部２８は、この入力した埋込済音声信号ｄ２をフーリエ変換して次の対数変換部２９へ送出する。対数変換部２９は、フーリエ変換された埋込済音声信号ｄ２を対数変換して次のフーリエ逆変換部３０へ送出する。フーリエ逆変換部３０は、フーリエ変換されかつ対数変換された埋込済音声信号ｄ２を、フーリエ逆変換して元の時間軸領域の埋込済音声信号ｄ３へ戻してケプストラム処理部２７外の時間逆拡散部３１へ送出する。
【００４３】
時間逆拡散部３１には、図１の電子透かし埋込装置のＰＮ系列発生部２５と同一構成のＰＮ系列発生部３２から同一のＰＮ系列信号ｇが印加されている。そして、この時間逆拡散部３１は、ケプストラム処理部２７から出力された埋込済音声信号ｄ３をＰＮ系列信号ｇで時間軸上で逆拡散する。具体的には、埋込済音声信号ｄ３とＰＮ系列信号ｇとの相関演算を実施して、逆拡散信号としての相関信号ｐをデコード部３３へ送出する。
【００４４】
この時間逆拡散部３１は、ＰＮ系列信号ｇで時間軸上で拡散された各インパルス応答信号を、同一のＰＮ系列信号ｇで時間軸上で逆拡散するので、相関信号ｐには、相関がとれた時間位置に大きなピーク波形が出現する。すなわち、このピーク波形位置が原音声信号ａを構成する各音信号２０の発生時刻ｔ０に対してデジタルの電子透かし情報ｂの［１］又は［０］に対応した時間（遅延時間）Δに相当する。したがって、デコード部３３は、この時間（遅延時間）Δを検出して、この時間（遅延時間）Δを対応する［１］又は［０］のデジタルの元の電子透かし情報ｂに変換して出力する。
【００４５】
次に、この電子透かし検出装置におけるケプストラム処理部２７と時間逆拡散部３１の動作を式を用いて説明する。
ケプストラム処理部２７へ入力される前述した(3)式で示される埋込済音声信号ｄ2 （＝ｊ（ｎ））は、フーリエ変換部２８で周波数領域に変換されて、(4)式となる。
【００４６】
ｊ（ｎ）＝ｆ（ｎ）＊ｈ（ｎ） …（３）
Ｊ（ω）＝Ｆ（ω）×Ｈ（ω） …（４）
このフーリエ変換された埋込済音声信号ｄ２（＝Ｊ（ω））を対数変換部２９で対数変換すると、（５）式に示すように、積の形式が和の形式に変換される。
【００４７】
【００４８】
ＩＤＦＴ［ｌｏｇ［Ｆ（ω）］＋ｌｏｇ［Ｈ（ω）］］＝ＩＤＦＴ［ｌｏｇ［Ｆ（ω）］］＋ＩＤＦＴ［ｌｏｇ［Ｈ（ω）］］…（６）
そして、時間逆変換部３１でもって、この（６）式で示す埋込済音声信号ｄ３と、電子透かし埋込装置で使用した同一のＰＮ系列信号ｇ（＝Ｐ（ｎ））との間の相関関係を求めると、出力される相関信号ｐは、
ｈ（τ―ｎ）とＩＤＦＴ［ｌｏｇ［Ｆ（ω）］］との相関の第１の項と、
ｈ（τ―ｎ）とＩＤＦＴ［ｌｏｇ［Ｈ（ω）］］との相関の第２の項と
の和の形で示される。
【００４９】
ＰＮ系列信号ｇと原音声信号ａとは元々相関がないので、第１の項の値は無視できる程度に小さい。しかし、ＰＮ系列信号ｇと電子透かし情報ｂの要素との相関は、電子透かし情報ｂが埋込まれていた場合は非常に大きいので、第２の項の値は非常に大きい。しかも、この大きな値（ピーク）が発生する時間（時刻）は、前述したように、電子透かし情報ｂの［１］又は［０］に対応した時間（遅延時間）Δである。
【００５０】
このように構成された電子透かしシステムにおいては、原音声信号ａに埋込むべき［１］又は［０］のデジタルの電子透かし情報ｂは、原音声信号ａを構成する各音信号２０に隣接して時間軸上でＰＮ系列信号ｇを用いて拡散された各インパルス応答信号ｃ１、ｃ２、ｃ３、…の発生時間Δ１、Δ２、Δ３、…に対応している。したがって、この時間拡散された各インパルス応答信号ｃ１、ｃ２、ｃ３、…を同一ＰＮ系列信号ｇを用いて時間逆拡散すると、電子透かし情報ｂに対応する一つの時間位置Δに一つのインパルス応答信号に対応するピーク信号（波形）が現れるので、電子透かし情報ｂを検出できる。
【００５１】
また、時間軸上で拡散配置する各インパルス応答信号ｃ１、ｃ２、ｃ３、…の各信号レベルを小さく設定できるので、埋込済音声信号ｄ２に含まれる電子透かし情報ｂが視聴者に雑音として聞き取られることはない。
【００５２】
また、電子透かし情報ｂは結果的に時間軸にＰＮ系列で拡散された状態で原音声信号ａに埋込まれるので、第３者は埋込に使用したＰＮ系列を知る術がないので、埋込済音声信号ｄ２から電子透かし情報ｂを簡単に抽出できない。
【００５３】
よって、ＣＤ、ＤＶＤ等を含む各種の電子メディアを介して配信された音楽や会話等の著作物の不正複写（コピー）に付されている電子透かし情報ｂから、この著作物の不正複写（コピー）の複写元の原音を認知することにより、不正複写（コピー）物の流通経路等を特定でき、著作物（原音）の不正複写（コピー）の抑制効果が期待できる。
【００５４】
さらに、各インパルス応答信号は、周波数軸上に拡散されていないので、埋込まれた電子透かし情報ｂが高周波領域や低周波領域において小さな雑音となって聴こえることはない。
【００５５】
また、埋込済音声信号ｄ２から電子透かし情報ｂを検出する手法として、入力された埋込済音声信号ｄ２をケプストラム処理を施した後に、逆拡散を実施している。したがって、各インパルス応答信号のみを効率的に逆拡散処理（相関演算処理）でき、結果的に、電子透かし検出装置における電子透かし情報ｂの検出処理能率を向上できる。
【００５６】
なお、本発明は上述した実施形態に限定されるものではない。実施形態においては、エコー信号（インパルス応答信号）を時間軸上で拡散する手法として、ＰＮ系列を用いたが、ＰＮ系列に限定されるものではない。
【００５７】
例えば、完全なＰＮ系列を用いなくても、このＰＮ系列に類似する符号列を採用することが可能である。例えば、人間の聴覚特性を考慮すると、頭部伝達関数の測定などで用いられているＴＳＰ（Ｔｉｍｅ Ｓｔｒｅｔｃｈｅｄ Ｐｕｌｓｅ）のような信号を用いたほうが、知覚され難いという可能性もある。
【００５８】
さらに、電子透かし情報は、エコー信号（インパルス応答信号）の遅延量ばかりでなく、エコー信号の組み合わせや、組み合わせのパターンの大きさ等の様々な方法で、埋め込むことが可能である。
【００５９】
【発明の効果】
以上説明したように、本発明の電子透かしシステムにおいては、埋込むべき電子透かし情報に対応したエコー信号を時間軸上で拡散して原音声信号に挿入している。
【００６０】
したがって、原音声信号に埋込まれた電子透かし情報の秘匿性を十分確保できるとともに、原音声信号に埋込まれた電子透かし情報の周波数範囲を抑制でき、かつ電子透かし情報を時間軸上の広い範囲に分布させることができ、結果的に電子透かし情報が埋込まれていることを第３者に簡単に判別できないようにでき、原音声信号の複写（コピー）に対する安全性を向上できる。
【図面の簡単な説明】
【図１】本発明の一実施形態の電子透かしシステムの電子透かし埋込装置の概略構成を示すブロック図
【図２】同電子透かし埋込装置から出力される埋込済音声信号を示す図
【図３】同電子透かし埋込装置におけるたたみ込み動作を示す波形図
【図４】同実施形態の電子透かしシステムの電子透かし検出装置の概略構成を示すブロック図
【図５】従来の単発エコー手法の原理を示す信号波形図
【図６】同従来の単発エコー手法を採用した電子透かし埋込装置の概略構成を示すブロック図
【図７】従来のＰＮ系列手法を採用した電子透かし埋込装置の概略構成を示すブロック図
【図８】同ＰＮ系列手法を採用した電子透かし検出装置の概略構成を示すブロック図
【図９】同従来のＰＮ系列手法の原理を示す信号波形図
【符号の説明】
２０…音信号
２２…時間マスキング部
２３…インパルス応答信号発生部
２４…時間拡散部
２５、３２…ＰＮ系列発生部
２６…たたみ込み部
２７…ケプストラム処理部
２８…フーリエ変換部
２９…対数変換部
３０…フーリエ逆変換部
３１…時間逆拡散部
３３…デコード部
Claims (2)
- 入力した原音声信号に電子透かし情報を埋込んで埋込済音声信号として出力する電子透かし埋込装置と、入力した埋込済音声信号からこの埋込済音声信号に埋込まれた電子透かし情報を検出する電子透かし検出装置とを備えた電子透かしシステムにおいて、
前記電子透かし埋込装置は、前記入力された原音声信号に対して埋込むべき電子透かし情報に対応した時間だけ遅延したエコー信号を、所定の系列を用いて時間軸上で拡散して前記原音声信号に挿入して埋込済音声信号として出力し、
前記電子透かし検出装置は、前記入力された埋込済音声信号を、前記所定の系列を用いて時間軸上で逆拡散して、この逆拡散されたエコー信号の発生時刻から前記電子透かし情報を抽出する
ことを特徴とする電子透かしシステム。 - 入力した原音声信号に電子透かし情報を埋込んで埋込済音声信号として出力する電子透かし埋込装置と、入力した埋込済音声信号からこの埋込済音声信号に埋込まれた電子透かし情報を検出する電子透かし検出装置とを備えた電子透かしシステムにおいて、
前記電子透かし埋込装置は、
前記入力された原音声信号に対して埋込むべき電子透かし情報に対応した時間だけ遅延したインパルス応答信号を出力するインパルス応答信号発生部と、
このインパルス応答信号発生部から出力されたインパルス応答信号を所定周期長を有するＰＮ系列で時間軸上で拡散する時間拡散部と、
この時間拡散部で時間軸上で拡散された各インパルス応答信号と前記原音声信号とのたたみ込み処理を実施し、たたみ込み処理結果を埋込済音声信号として出力するたたみ込み部とを有し、
前記電子透かし検出装置は、
前記入力された埋込済音声信号に対してケプストラム処理を実施するケプストラム処理部と、
このケプストラム処理部でケプストラム処理された後の埋込済音声信号を前記ＰＮ系列で時間軸上で逆拡散する時間逆拡散部と、
この時間逆拡散部から出力された逆拡散信号から前記電子透かし情報を得るデコード部とを有する
ことを特徴とする電子透かしシステム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002065606A JP3554825B2 (ja) | 2002-03-11 | 2002-03-11 | 電子透かしシステム |
| GB0225770A GB2386526B (en) | 2002-03-11 | 2002-11-05 | Digital watermark system |
| US10/290,396 US7277871B2 (en) | 2002-03-11 | 2002-11-08 | Digital watermark system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002065606A JP3554825B2 (ja) | 2002-03-11 | 2002-03-11 | 電子透かしシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003263183A JP2003263183A (ja) | 2003-09-19 |
| JP3554825B2 true JP3554825B2 (ja) | 2004-08-18 |
Family
ID=28671282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002065606A Expired - Fee Related JP3554825B2 (ja) | 2002-03-11 | 2002-03-11 | 電子透かしシステム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7277871B2 (ja) |
| JP (1) | JP3554825B2 (ja) |
| GB (1) | GB2386526B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012027173A (ja) * | 2010-07-22 | 2012-02-09 | Kddi Corp | オーディオ電子透かし埋め込み装置、検出装置および該プログラム |
| JP2012037701A (ja) * | 2010-08-06 | 2012-02-23 | Kddi Corp | オーディオ電子透かし埋め込み装置およびプログラム |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005502920A (ja) * | 2001-09-05 | 2005-01-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Ｄｓｄ信号のための堅牢なウォーターマーク |
| EP1464172B1 (en) | 2001-12-24 | 2013-04-24 | Intrasonics S.A.R.L. | Captioning system |
| JP3554825B2 (ja) * | 2002-03-11 | 2004-08-18 | 東北大学長 | 電子透かしシステム |
| US7246968B1 (en) * | 2004-06-21 | 2007-07-24 | Gregory Lawrence Priest | Storm sewer inlet grate system |
| KR100644627B1 (ko) * | 2004-09-14 | 2006-11-10 | 삼성전자주식회사 | 음장 제어 정보 부호화 방법 및 이에 적합한 음장 처리 방법 |
| US7555432B1 (en) * | 2005-02-10 | 2009-06-30 | Purdue Research Foundation | Audio steganography method and apparatus using cepstrum modification |
| CN101004777B (zh) * | 2006-01-21 | 2010-11-10 | 鸿富锦精密工业（深圳）有限公司 | 数字浮水印自动加载系统及方法 |
| CN101115124B (zh) * | 2006-07-26 | 2012-04-18 | 日电（中国）有限公司 | 基于音频水印识别媒体节目的方法和装置 |
| US7983441B2 (en) * | 2006-10-18 | 2011-07-19 | Destiny Software Productions Inc. | Methods for watermarking media data |
| US8108681B2 (en) * | 2007-12-03 | 2012-01-31 | International Business Machines Corporation | Selecting bit positions for storing a digital watermark |
| GB2462588A (en) * | 2008-04-29 | 2010-02-17 | Intrasonics Ltd | Data embedding system |
| GB2460306B (en) | 2008-05-29 | 2013-02-13 | Intrasonics Sarl | Data embedding system |
| JP5168165B2 (ja) * | 2009-01-20 | 2013-03-21 | ヤマハ株式会社 | 電子透かし情報の埋め込みおよび抽出を行うための装置およびプログラム |
| JP5459069B2 (ja) * | 2010-05-24 | 2014-04-02 | ヤマハ株式会社 | 音声信号に埋め込まれた電子透かし情報を除去する装置、および音声信号に電子透かし情報を埋め込む装置 |
| JP5364141B2 (ja) * | 2011-10-28 | 2013-12-11 | 楽天株式会社 | 携帯端末、店舗端末、送信方法、受信方法、決済システム、決済方法、プログラムおよびコンピュータ読み取り可能な記憶媒体 |
| JP5857644B2 (ja) * | 2011-11-10 | 2016-02-10 | 富士通株式会社 | 音データ送受信システム、送信装置、受信装置、音データ送信方法及び受信方法 |
| CN103137134B (zh) * | 2011-11-28 | 2015-03-11 | 鸿富锦精密工业（深圳）有限公司 | 音频设备及音频信号的水印信息加载方法 |
| NL2008511C2 (en) * | 2012-03-21 | 2013-09-25 | Civolution B V | Method and system for embedding and detecting a pattern. |
| JP5929393B2 (ja) * | 2012-03-22 | 2016-06-08 | 富士通株式会社 | 位置推定方法、装置及びプログラム |
| CN103871425B (zh) * | 2012-12-14 | 2017-09-29 | 鸿富锦精密工业（深圳）有限公司 | 音频信息检测系统及方法 |
| CN103077724B (zh) * | 2012-12-28 | 2016-02-17 | 中国科学院声学研究所 | 一种在音频中嵌入和解出水印的方法和装置 |
| JP6574551B2 (ja) * | 2014-03-31 | 2019-09-11 | 培雄 唐沢 | 音響を用いた任意信号の伝達方法 |
| CN104093079B (zh) * | 2014-05-29 | 2015-10-07 | 腾讯科技（深圳）有限公司 | 基于多媒体节目的交互方法、终端、服务器和系统 |
| JP2016038455A (ja) * | 2014-08-07 | 2016-03-22 | 株式会社ビデオリサーチ | 音声透かし埋込装置及びシステム及び方法 |
| CN105469799A (zh) * | 2015-12-01 | 2016-04-06 | 北京科技大学 | 一种基于隐藏信道的可闻声定位方法及系统 |
| US11244692B2 (en) * | 2018-10-04 | 2022-02-08 | Digital Voice Systems, Inc. | Audio watermarking via correlation modification using an amplitude and a magnitude modification based on watermark data and to reduce distortion |
| JP6998338B2 (ja) * | 2019-03-28 | 2022-01-18 | Toa株式会社 | 音響信号形成装置、音響受信装置、および音響システム |
| US10777177B1 (en) * | 2019-09-30 | 2020-09-15 | Spotify Ab | Systems and methods for embedding data in media content |
| JP7819648B2 (ja) * | 2023-02-15 | 2026-02-25 | トヨタ自動車株式会社 | 情報処理システムおよび情報処理方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6424725B1 (en) * | 1996-05-16 | 2002-07-23 | Digimarc Corporation | Determining transformations of media signals with embedded code signals |
| US6006328A (en) * | 1995-07-14 | 1999-12-21 | Christopher N. Drake | Computer software authentication, protection, and security system |
| CA2184949C (en) * | 1995-09-28 | 2000-05-30 | Ingemar J. Cox | Secure spread spectrum watermarking for multimedia data |
| US6205249B1 (en) * | 1998-04-02 | 2001-03-20 | Scott A. Moskowitz | Multiple transform utilization and applications for secure digital watermarking |
| US5893067A (en) * | 1996-05-31 | 1999-04-06 | Massachusetts Institute Of Technology | Method and apparatus for echo data hiding in audio signals |
| DE69837131T2 (de) * | 1997-01-27 | 2007-11-08 | Koninklijke Philips Electronics N.V. | Einbettung von zusatzdaten in ein kodiertes signal |
| US6330672B1 (en) * | 1997-12-03 | 2001-12-11 | At&T Corp. | Method and apparatus for watermarking digital bitstreams |
| US6320965B1 (en) * | 1998-10-14 | 2001-11-20 | Liquid Audio, Inc. | Secure watermark method and apparatus for digital signals |
| WO2000039955A1 (en) * | 1998-12-29 | 2000-07-06 | Kent Ridge Digital Labs | Digital audio watermarking using content-adaptive, multiple echo hopping |
| JP2000286836A (ja) * | 1999-03-30 | 2000-10-13 | Fujitsu Ltd | 認証装置および記録媒体 |
| US6385329B1 (en) * | 2000-02-14 | 2002-05-07 | Digimarc Corporation | Wavelet domain watermarks |
| KR100375822B1 (ko) * | 2000-12-18 | 2003-03-15 | 한국전자통신연구원 | 디지털 오디오의 워터마크 삽입/추출 장치 및 방법 |
| JP3554825B2 (ja) * | 2002-03-11 | 2004-08-18 | 東北大学長 | 電子透かしシステム |
-
2002
- 2002-03-11 JP JP2002065606A patent/JP3554825B2/ja not_active Expired - Fee Related
- 2002-11-05 GB GB0225770A patent/GB2386526B/en not_active Expired - Fee Related
- 2002-11-08 US US10/290,396 patent/US7277871B2/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012027173A (ja) * | 2010-07-22 | 2012-02-09 | Kddi Corp | オーディオ電子透かし埋め込み装置、検出装置および該プログラム |
| JP2012037701A (ja) * | 2010-08-06 | 2012-02-23 | Kddi Corp | オーディオ電子透かし埋め込み装置およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030172277A1 (en) | 2003-09-11 |
| GB2386526B (en) | 2004-02-25 |
| US7277871B2 (en) | 2007-10-02 |
| GB0225770D0 (en) | 2002-12-11 |
| JP2003263183A (ja) | 2003-09-19 |
| GB2386526A (en) | 2003-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3554825B2 (ja) | 電子透かしシステム | |
| Kirovski et al. | Spread-spectrum watermarking of audio signals | |
| JP4217381B2 (ja) | 複製変調を利用したアナログ信号への情報の組込抽出装置及び方法 | |
| Bassia et al. | Robust audio watermarking in the time domain | |
| Lin et al. | Audio watermarking techniques | |
| US6175627B1 (en) | Apparatus and method for embedding and extracting information in analog signals using distributed signal features | |
| Xiang et al. | Effective pseudonoise sequence and decoding function for imperceptibility and robustness enhancement in time-spread echo-based audio watermarking | |
| Liu et al. | Audio watermarking techniques using sinusoidal patterns based on pseudorandom sequences | |
| WO2001099109A1 (en) | Watermark embedding and extracting method for protecting digital audio contents copyright and preventing duplication and apparatus using thereof | |
| US20140278447A1 (en) | Digital watermark detection device and digital watermark detection method, as well as tampering detection device using digital watermark and tampering detection method using digital watermark | |
| CN101297354A (zh) | 音频处理 | |
| Malik et al. | Robust data hiding in audio using allpass filters | |
| Petrovic | Audio signal watermarking based on replica modulation | |
| KR100355033B1 (ko) | 선형예측 분석을 이용한 워터마크 삽입/추출 장치 및 그방법 | |
| US20020184503A1 (en) | Watermarking | |
| Petrovic et al. | Data hiding within audio signals | |
| Singh et al. | Multiplicative watermarking of audio in DFT magnitude | |
| Esmaili et al. | A novel spread spectrum audio watermarking scheme based on time-frequency characteristics | |
| Sonoda et al. | Blind detection of watermarks embedded by periodical phase shifts | |
| KR20020079242A (ko) | 시간축 공격에 강인한 오디오 워터마크 삽입 및추출방법과 그 장치 | |
| WO2011160966A1 (en) | Audio watermarking | |
| Acevedo | Audio watermarking quality evaluation | |
| Brickman | Literature survey on audio watermarking | |
| Dutta et al. | Perceptible audio watermarking for digital right management control | |
| Chavez et al. | Audio watermarking of WAV files by echo modulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040413 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040617 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20041006 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100521 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110521 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110521 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120521 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120521 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |