JPH11212463A - 一次元データへの電子透かし - Google Patents

一次元データへの電子透かし

Info

Publication number
JPH11212463A
JPH11212463A JP3049298A JP3049298A JPH11212463A JP H11212463 A JPH11212463 A JP H11212463A JP 3049298 A JP3049298 A JP 3049298A JP 3049298 A JP3049298 A JP 3049298A JP H11212463 A JPH11212463 A JP H11212463A
Authority
JP
Japan
Prior art keywords
dimensional data
watermark
spread
value
digital watermark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3049298A
Other languages
English (en)
Other versions
JP3986150B2 (ja
Inventor
Kineo Matsui
甲子雄 松井
Munetoshi Iwakiri
宗利 岩切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kowa Co Ltd
Original Assignee
Kowa Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP03049298A priority Critical patent/JP3986150B2/ja
Application filed by Kowa Co Ltd filed Critical Kowa Co Ltd
Priority to EP98911172A priority patent/EP1052612B1/en
Priority to KR10-2000-7007745A priority patent/KR100492021B1/ko
Priority to PCT/JP1998/001519 priority patent/WO1999038144A1/ja
Priority to DE1998634841 priority patent/DE69834841T2/de
Priority to CNB988133539A priority patent/CN1173312C/zh
Priority to AT98911172T priority patent/ATE329338T1/de
Priority to IL13747198A priority patent/IL137471A/en
Publication of JPH11212463A publication Critical patent/JPH11212463A/ja
Priority to US09/619,022 priority patent/US6425082B1/en
Application granted granted Critical
Publication of JP3986150B2 publication Critical patent/JP3986150B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00884Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
    • G11B20/00913Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm based on a spread spectrum technique
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69Spread spectrum techniques
    • H04B1/707Spread spectrum techniques using direct sequence modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 透かし情報の埋め込みに起因する雑音の発生
を緩和することができ、また、透かし情報の秘匿性が高
い技術を提供する。 【解決手段】 透かし情報を原一次元データに埋め込む
際に、まず、PN系列g(t)を用いて原一次元データ
s(t)をスペクトル拡散して、第1の拡散一次元デー
タx(t)を生成する。次に、この第1の拡散一次元デ
ータx(t)に関して変形離散コサイン変換を行う。そ
して、MDCT係数の特定の周波数成分の値を透かし情
報と対応付けるように調整する。この調整済みの周波数
成分を逆変換することによって第2の拡散一次元データ
x’(t)を生成し、最後に、拡散時と同一のPN系列
を用いてスペクトル逆拡散することによって、透かし情
報が埋め込まれた電子透かし一次元データを生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、電子透かし技術
に関し、特に、音声データなどの一次元データに透かし
情報を埋め込む技術、および、透かし情報が埋め込まれ
た一次元データから透かし情報を抽出する技術に関す
る。
【0002】
【従来の技術】デジタル音声データを生成する方法とし
て、PCM(PCM:Pulse Code Modulation)が良く用い
られている。PCMでは、まずアナログ音声信号を標本
化し、量子化した後に、線形パルス符号化を行うことに
よってデジタル音声データが生成される。通常の音楽ソ
フトは、サンプリングレート44.1kHz、量子化幅
16ビットのPCMによりデジタル化されていることが
多い。この方法によると、人間の可聴周波数帯域の音声
を良好に再現できるため、非常に高い音質を保ったまま
で音声をデジタル化することができる。
【0003】ところで、デジタル音声データは容易に完
全な形式で複製できる(すなわち、忠実な再現性を有し
ている)という特徴がある。このような音声データの忠
実な再現性はデジタル化の大きな利点である反面、その
著作権保護の重要性がより一層高まってくる。この対策
として、近年では、いわゆる「電子透かし」が利用され
ている。電子透かしは、人間が知覚できない形式で、著
作権情報などの透かし情報を音声データの中に電子的に
埋め込む技術である。
【0004】
【発明が解決しようとする課題】しかし、従来の電子透
かし技術では、透かし情報の埋め込みに起因する雑音が
大きいため、例えば音楽ソフトでは音質がかなり劣化し
てしまい、高品質なデータには適していないという問題
があった。また、透かし情報の秘匿性が低く、第三者が
透かし情報を比較的容易に抽出できてしまうという問題
もあった。このような問題は、音声データへの電子透か
しに限らず、計測データや、デジタル制御のフィードバ
ック信号等の他の種々の一次元データに電子透かしを行
う場合にも共通する問題であった。
【0005】この発明は、従来技術における上述の課題
を解決するためになされたものであり、透かし情報の埋
め込みに起因する雑音の発生を緩和することができ、ま
た、透かし情報の秘匿性が高い技術を提供することを目
的とする。
【0006】
【課題を解決するための手段およびその作用・効果】上
述の課題の少なくとも一部を解決するため、本発明で
は、透かし情報を原一次元データに埋め込む際に、ま
ず、特定の絶対値を有する正負の値を不規則的に取る特
定の正負系列と、前記原一次元データと、を乗算する演
算と等価な演算を行うことによってスペクトル拡散を実
行し、これによって、第1の拡散一次元データを生成す
る。次に、前記第1の拡散一次元データに関して直交変
換を行う。そして、前記直交変換で得られた変換係数の
特定の周波数成分の値を、前記透かし情報と対応付ける
ように調整する。また、前記調整済みの周波数成分を逆
直交変換することによって、第2の拡散一次元データを
生成する。そして、前記特定の正負系列を用いて前記第
2の拡散一次元データをスペクトル逆拡散することによ
って、前記透かし情報が埋め込まれた電子透かし一次元
データを生成する。
【0007】上記発明によれば、透かし情報を埋め込む
前に、原一次元データに対して特定の正負系列を用いた
スペクトル拡散を行っているので、この特定の正負系列
を知らなければ、電子透かし一次元データから透かし情
報を抽出することは困難である。従って、スペクトル拡
散を行うことによって、透かし情報の秘匿性を高めるこ
とができる。また、本発明では、直交変換係数の特定の
周波数成分の値を透かし情報と対応付けているので、逆
直交変換された一次元データにおいて発生する透かし情
報による雑音を緩和することができれる。
【0008】なお、前記特定の正負系列は、特定の周波
数発生鍵に応じて発生させることが好ましい。
【0009】こうすれば、特定の正負系列のすべてを保
存しておく必要がなく、周波数発生鍵を保存しておけ
ば、同一のスペクトル拡散/逆拡散処理を実行すること
ができる。
【0010】なお、前記直交変換は、前記第1の拡散一
次元データの中の2M個(Mは2以上の整数)のデータ
で構成される各フレーム毎に、所定の窓関数を用いた変
換を行う変形離散コサイン変換であり、前記第1の拡散
一次元データは、隣接するフレームがM個のデータ区間
ずつ互いにずれた位置を取るように、前記変形離散コサ
イン変換において複数のフレームに区分されるようにし
てもよい。
【0011】このような変形離散コサイン変換を用いる
と、フレーム歪みを小さく抑えることができるので、雑
音の発生をさらに緩和することができる。
【0012】また、前記透かし情報と対応付けられる前
記特定の周波数成分は、ほぼM/2に相当する周波数成
分であることが好ましい。
【0013】こうすれば、雑音の発生をさらに緩和する
ことができる。
【0014】なお、特定の周波数成分への透かし情報の
埋め込みは、所定の整数kd で前記特定の周波数成分を
量子化することによって第1の量子化値を生成し、前記
第1の量子化値の最下位ビットを前記透かし情報のビッ
ト値と対応付けるように調整することによって第2の量
子化値を生成し、前記第2の量子化値に前記所定の整数
kd を乗じることによって前記調整済みの周波数成分を
生成する、ことによって実行するようにしてもよい。
【0015】整数kd の値を大きくすれば、電子透かし
一次元データに或る程度のビット誤りが生じても、正し
い透かし情報を抽出できる可能性が高まるという利点が
ある。
【0016】一方、本発明において、透かし情報が埋め
込まれた電子透かし一次元データから前記透かし情報を
抽出する際には、まず、特定の絶対値を有する正負の値
を不規則的に取る特定の正負系列と、前記電子透かし一
次元データと、を乗算する演算と等価な演算を行うこと
によってスペクトル拡散を実行し、これによって、第1
の拡散電子透かし一次元データを生成する。次に、前記
第1の拡散電子透かし一次元データに関して直交変換を
行う。そして、前記直交変換で得られた変換係数の特定
の周波数成分の値から、前記特定の周波数成分の値に対
応付けられた前記透かし情報を抽出する。
【0017】こうすれば、上述した埋め込み処理によっ
て埋め込まれた透かし情報を一次元データから抽出する
ことが可能である。
【0018】なお、本発明の態様としては、以下のよう
な種々のものがある。 (a)透かし情報を原一次元データに埋め込む方法。 (b)透かし情報を原一次元データに埋め込む装置。 (c)透かし情報を原一次元データに埋め込むためのコ
ンピュータプログラムを記録した記録媒体。 (d)透かし情報が埋め込まれた電子透かし一次元デー
タを記録した記録媒体。 (e)透かし情報を電子透かし一次元データから抽出す
る方法。 (f)透かし情報を電子透かし一次元データから抽出す
る装置。 (g)透かし情報を電子透かし一次元データから抽出す
るためのコンピュータプログラムを記録した記録媒体。
【0019】
【発明の他の態様】この発明は、以下のような他の態様
も含んでいる。第1の態様は、コンピュータに上記の発
明の各工程または各部の機能を実現させるコンピュータ
プログラムを通信経路を介して供給するプログラム供給
装置としての態様である。こうした態様では、プログラ
ムをネットワーク上のサーバなどに置き、通信経路を介
して、必要なプログラムをコンピュータにダウンロード
し、これを実行することで、上記の方法や装置を実現す
ることができる。
【0020】
【発明の実施の形態】A.装置の全体構成:以下、本発
明の実施の形態を実施例に基づいて説明する。図1は、
本発明の一実施例としての電子透かし処理装置の構成を
示すブロック図である。この電子透かし処理装置は、C
PU22と、ROMおよびRAMを含むメインメモリ2
4と、フレームメモリ26と、キーボード30と、マウ
ス32と、表示装置34と、ハードディスク36と、モ
デム38と、これらの各要素を接続するバス40と、を
備えるコンピュータである。なお、図1では各種のイン
ターフェイス回路は省略されている。モデム38は、図
示しない通信回線を介してコンピュータネットワークに
接続されている。コンピュータネットワークの図示しな
いサーバは、通信回線を介してコンピュータプログラム
を画像処理装置に供給するプログラム供給装置としての
機能を有する。
【0021】メインメモリ24には、電子透かし埋め込
み部42と、電子透かし抽出部44との機能をそれぞれ
実現するためのコンピュータプログラムが格納されてい
る。これらの各部42,44の機能については後述す
る。
【0022】これらの各部42,44の機能を実現する
コンピュータプログラムは、フレキシブルディスクやC
D−ROM等の、コンピュータ読み取り可能な記録媒体
に記録された形態で提供される。コンピュータは、その
記録媒体からコンピュータプログラムを読み取って内部
記憶装置または外部記憶装置に転送する。あるいは、通
信経路を介してコンピュータにコンピュータプログラム
を供給するようにしてもよい。コンピュータプログラム
の機能を実現する時には、内部記憶装置に格納されたコ
ンピュータプログラムがコンピュータのマイクロプロセ
ッサによって実行される。また、記録媒体に記録された
コンピュータプログラムをコンピュータが読み取って直
接実行するようにしてもよい。
【0023】この明細書において、コンピュータとは、
ハードウェア装置とオペレーションシステムとを含む概
念であり、オペレーションシステムの制御の下で動作す
るハードウェア装置を意味している。また、オペレーシ
ョンシステムが不要でアプリケーションプログラム単独
でハードウェア装置を動作させるような場合には、その
ハードウェア装置自体がコンピュータに相当する。ハー
ドウェア装置は、CPU等のマイクロプロセッサと、記
録媒体に記録されたコンピュータプログラムを読み取る
ための手段とを少なくとも備えている。コンピュータプ
ログラムは、このようなコンピュータに、上述の各手段
の機能を実現させるプログラムコードを含んでいる。な
お、上述の機能の一部は、アプリケーションプログラム
でなく、オペレーションシステムによって実現されてい
ても良い。
【0024】なお、この発明における「記録媒体」とし
ては、フレキシブルディスクやCD−ROM、光磁気デ
ィスク、ICカード、ROMカートリッジ、パンチカー
ド、バーコードなどの符号が印刷された印刷物、コンピ
ュータの内部記憶装置(RAMやROMなどのメモリ)
および外部記憶装置等の、コンピュータが読取り可能な
種々の媒体を利用できる。
【0025】B.透かし情報の埋め込み処理:図2は、
電子透かし埋め込み部42の機能を示すブロック図であ
る。電子透かし埋め込み部42は、第1のPN系列発生
部52と、第1の乗算器54と、フレーム抽出部56
と、MDCT部(変形離散コサイン変換部)58と、埋
め込み部60と、IMDCT部(変形離散コサイン逆変
換部)62と、フレーム再生部64と、第2の乗算器6
6と、第2のPN系列発生部68と、の機能を有してい
る。
【0026】なお、第1のPN系列発生部52と第1の
乗算器54は、スペクトル拡散を行うスペクトル拡散部
に相当する。また、フレーム抽出部56とMDCT部5
8は、直交変換を行う直交変換部に相当し、IMDCT
部62とフレーム再生部64は逆交変換を行う逆変換部
に相当する。さらに、第2の乗算器66と第2のPN系
列発生部68は、スペクトル逆拡散を行う逆拡散部に相
当する。
【0027】PN系列発生部52,68は、+1と−1
の値をランダムに取る2値のPN系列(正負系列)g
(t)を発生する。PN系列g(t)のランダムなパタ
ーンは、PN系列発生部52,68に入力されるPN系
列発生鍵ks (ks は整数)の値に応じて決定される。
すなわち、PN系列発生鍵ks の値が同一であれば、2
つのPN系列発生部52,68は同一のパターンを有す
るPN系列g(t)を発生する。PN系列発生部52,
68としては、例えば、C言語の標準の疑似乱数発生関
数を利用することができ、この際、PN系列発生鍵ks
は乱数発生の種(seed)として関数に入力される。ま
た、発生した乱数の最下位ビットが1のときにはそのビ
ット値「1」をそのままPN系列g(t)として出力
し、一方、最下位ビットが0のときには−1をPN系列
g(t)として出力する。こうすれば、+1と−1の値
をランダムに取る2値のPN系列g(t)を生成するこ
とができる。
【0028】PN系列発生鍵ks を用いる理由は次の通
りである。すなわち、スペクトル拡散に用いられるPN
系列は、一般に膨大な量になる。しかも、透かし情報を
抽出するためには,このPN列と同一のものが必要にな
るので、PN系列の全体を完全に保持(保存)しておく
必要がある。そこで、本実施例では、疑似乱数発生器
(例えばC言語の標準関数である疑似乱数発生関数)を
利用し、それに乱数鍵ks を設定して乱数を発生させる
ことによって、膨大な量のPN系列全体を保持すること
無しに、同一のPN系列を発生できるようにしている。
【0029】図3は、透かし情報の埋め込み処理の手順
を示すフローチャートである。ステップS1では、第1
の乗算器54が、原音声信号s(t)にPN系列g
(t)を乗算することによって第1の拡散音声信号x
(t)を生成する。この演算は、次の数式1で示され
る。
【0030】
【数1】
【0031】数式1で示される演算は、一般にスペクト
ル拡散の直接拡散方式と呼ばれている処理に相当する。
図4は、スペクトル拡散の原理を示す説明図である。図
4(a)は原音声信号s(t)を示し、図4(b)はP
N系列g(t)を、また、図4(c)は第1の拡散音声
信号x(t)を示している。原音声信号s(t)は、例
えばアナログ音声信号をサンプリングレート44.1k
Hz、量子化幅16ビットでデジタル化して得られたデ
ジタル音声信号である。本実施例において使用されるP
N系列g(t)(図4(b))は、原音声信号s(t)
のサンプリング周波数と等しい周波数で変化する信号で
ある。従って、これらの信号s(t),g(t)を乗算
することによって得られる第1の拡散音声信号x(t)
(図4(c))は、原音声信号s(t)と等しい周波数
を有しており、一部の信号値の符号が原音声信号s
(t)から反転している信号である。なお、図4(d)
に示すように、同一のPN系列g(t)を第1の拡散音
声信号x(t)に再度乗算すると、原音声信号s(t)
を再現することができる。この理由は、PN系列g
(t)は+1と−1を取る2値信号なので、同一のPN
系列g(t)を2乗した値g2(t)は1に等しくなる
からである。このように、PN系列g(t)を再度乗ず
る処理は、「逆拡散」と呼ばれている。
【0032】ところで、スペクトル拡散は、主に通信分
野において利用されている技術である。但し、通信分野
では、原信号s(t)としてはデジタル変調された変調
信号が用いられる。また、PN系列g(t)としては、
原信号s(t)の周波数の数十倍以上の高周波数の系列
が使用されるので、拡散信号x(t)のスペクトル分布
は原信号s(t)に比べて数十倍以上に拡散される。送
信器は拡散信号x(t)を発信し、受信器は図4(d)
に示すように、受信した拡散信号x(t)に同一のPN
信号g(t)を乗算することによって原信号s(t)を
再生する。通信経路で混入した妨害波や干渉波のスペク
トル分布は、逆拡散によって数十倍に拡散されるので、
スペクトル拡散通信は妨害波や干渉波の排除能力を高め
ることができる。
【0033】本実施例では、PN系列g(t)が原音声
信号s(t)のサンプリング周波数と等しい周波数で変
化するので、厳密な意味ではスペクトル分布は拡散され
ていない。しかし、この明細書では「スペクトル拡散」
という用語を、通常よりも広い意味で用いており、PN
系列g(t)が原音声信号s(t)のサンプリング周波
数と等しい周波数で変化する場合にも、「スペクトル拡
散」と呼んでいる。なお、本発明による処理において
も、PN系列g(t)の周波数を原音声信号s(t)の
サンプリング周波数の整数倍に設定することが可能であ
る。
【0034】図4(a)〜(d)に示すスペクトル拡散
および逆拡散は、PN系列g(t)を鍵として用いて、
原音声信号s(t)を暗号化および復号化しているもの
と考えることができる。従って、スペクトル拡散を行う
ことによって、音声信号に埋め込まれる透かし情報の秘
匿性を高めることができる。この点についてはさらに後
述する。
【0035】図3のステップS2では、フレーム抽出部
56が第1の拡散音声信号x(t)の中からi番目(初
期値はi=1)のフレームを抽出し、MDCT部58が
そのフレームについて変形離散コサイン変換(MDC
T)を実行する。ここで、「フレーム」とは、変形離散
コサイン変換の対象となる信号区間を意味しており、本
実施例では1フレームに2M個(Mは2以上の整数)の
信号値が含まれる。i番目のフレームにおけるMDCT
係数Xi(k) は次の数式2で与えられる。
【0036】
【数2】
【0037】ここで、kは周波数を示す整数値である。
また、数式2の右辺の窓関数w(n)とMDCT基底c
(k,n)は、それぞれ数式3と数式4で与えられる。
【0038】
【数3】
【0039】
【数4】
【0040】数式2から解るように、各フレームの2M
個の信号値x(n+iM)は、M個の変換係数Xi
(k) (k=0〜(M−1))に変換される。なお、
k=0の変換係数Xi (0)は直流成分、それ以外の変
換係数Xi (k)(k≠0)は交流成分と呼ばれてい
る。
【0041】図5は、変形離散コサイン変換に使用され
るフレームと窓関数w(n)との関係を示す説明図であ
る。図5には、隣接する2つのフレームの位置関係と、
各フレームに適用される窓関数w(n)の形状とが示さ
れている。このように、各フレームは、M個分の信号値
x(t)に相当する区間ずつ順次ずれた位置に設定され
るので、隣接する2つのフレームには、共通するM個の
信号値x(t)が含まれている。従って、1フレームに
含まれる実効的(実質的)な信号値の個数はMである。
【0042】窓関数w(n)は、各フレームの中央でピ
ークを有する正弦関数である。なお、窓関数w(n)と
しては、正弦関数以外の関数を用いることも可能であ
り、一般には、変形離散コサイン変換とその逆変換とを
可逆的に行えるような任意の関数を使用することができ
る。
【0043】なお、変形離散コサイン変換の代わりに、
他の種々の直交変換(離散コサイン変換(DCT)、離
散フーリエ変換(DFT)、アダマール変換等)を利用
することができる。他の直交変換では、フレーム(「ブ
ロック」とも呼ばれる)が互いに重複しないように設定
される。一方、変形離散コサイン変換では、隣接するフ
レームが部分的に重複するようにフレームが設定される
ので、周波数分離度を高くすることができ、かつ、フレ
ーム歪み(ブロック歪み)を抑制することができるとい
う利点がある。従って、変形離散コサイン変換を利用す
ると、他の直交変換を利用した場合に比べて、透かし情
報の埋め込みに起因する音質の劣化を低減することがで
きる。
【0044】図3のステップS3〜S6では、埋め込み
部60によって、変換係数の特定の周波数成分に透かし
情報が埋め込まれる。透かし情報は複数のビットで構成
されており、以下では、透かし情報の各ビットを「透か
しビットbi 」と呼ぶ。透かしビットbi の埋め込みの
際には、周波数鍵kf とスケール鍵kd とが使用され
る。周波数鍵kf は、1フレーム分のM個のMDCT係
数Xi(k) (k=0〜(M−1))の中で、透かしビ
ットbi が埋め込まれる特定の周波数成分Xi (kf )
の周波数を示す整数である。周波数鍵kf としては、0
〜Mの範囲から好ましい整数値が予め選択される。ま
た、スケール鍵kd は、MDCT係数Xi (kf )の量
子化を行う際の量子化幅であり、0以外の任意の正の整
数に設定される。周波数鍵kf とスケール鍵kd の好ま
しい値については後述する。
【0045】ステップS3では、次の数式5で示される
ように、周波数鍵kf で特定される周波数成分Xi(k
f)をスケール鍵kd で除算し、小数点以下を切り捨て
ることによって、整数値ei (「量子化値」と呼ぶ)を
求める。
【0046】
【数5】
【0047】ステップS4では、量子化値ei と埋め込
みビットbi が、次の2つの条件のうちのいずれか一方
を満足するか否かが判断される。
【0048】[条件1]ei が奇数でかつbi =0, [条件2]ei が偶数でかつbi =1。
【0049】条件1,2のいずれか一方が成立する場合
には、次の数式6で示されるように、MDCT係数Xi
(kf)をスケール鍵kd で除算し、小数点以下を切り
上げた値を量子化値ei として採用する(ステップS
5)。
【0050】
【数6】
【0051】一方、上記条件1,2がいずれも成立しな
い場合には、ステップS3で得られた量子化値ei がそ
のまま採用される。この結果、透かしビットbi が0な
らば量子化値ei が偶数(最下位ビットが0)に設定さ
れ、透かしビットbi が1ならば量子化値ei が奇数
(最下位ビットが1)に設定される。すなわち、ステッ
プS3〜S5の処理では、MDCT係数Xi (kf )の
量子化値ei が透かしビットbi に対応付けられるよう
に量子化値ei が調整されており、この結果、量子化値
ei の中に透かしビットbi が埋め込まれる。
【0052】なお、MDCT係数Xi(kf)をスケール
鍵kd で除算した値Xi(kf)/kd が小数部を含ま
ず、整数である場合には、ステップS5で切り上げを行
っても量子化値ei がステップS3の値と変わらない。
従って、ステップS5の処理としては、切り上げの代わ
りに、ステップS3で得られた量子化値ei に1を加算
するか、または、1を減算する演算を採用するようにし
てもよい。
【0053】図6は、ステップS3〜S5の処理内容を
示す説明図である。図6の右側に示されているように、
スケール鍵kd の範囲にわたるMDCT係数Xi(kf)
に対する量子化値ei は、透かしビットbi が0であれ
ば切り上げによって得られ、一方、透かしビットbi が
1であれば切り捨てによって得られる。なお、図6の左
側の「丸め範囲」は、比較のために、四捨五入で量子化
値ei が奇数となる範囲を示したものである。
【0054】図3のステップS6では、次の数式7に示
されるように、透かしビットbi が埋め込まれた量子化
値ei にスケール鍵kd を乗ずることによって逆量子化
を行い、透かしビットbi が埋め込まれたMDCT係数
X'i(kf)を生成する。
【0055】
【数7】
【0056】なお、上記ステップS3の処理は、変換係
数の特定の周波数成分Xi(kf)をスケール鍵kd で量
子化する量子化部としての機能に対応している。また、
ステップS4,S5の処理は、量子化値ei の最下位ビ
ットを透かしビットbi と対応付けるように調整するビ
ット調整部としての機能に対応している。さらに、ステ
ップS6の処理は、透かしビットが埋め込まれた量子化
値ei にスケール鍵kd を乗じることによって逆量子化
を行う逆量子化部としての機能に対応している。
【0057】ステップS7では、透かしビットbi が埋
め込まれた周波数成分X'i(kf )を含む1フレーム分
のMDCT係数X'i(kf )(k=0〜(M−1))に
関して、IMDCT部62(図2)が変形離散コサイン
逆変換を実行する。なお、透かしビットbi が埋め込ま
れた周波数成分X'i(kf )以外のMDCT係数X'i
(k)(k≠kf )の値は、ステップS2で得られたM
DCT係数Xi(k) と同じである。変形離散コサイン
逆変換は、次の数式8で表される。
【0058】
【数8】
【0059】なお、逆変換に用いられる窓関数w(n)
と基底c(k、n)は、順変換と同じものである。
【0060】ステップS7では、さらに、フレーム再生
部64が次の数式9に従って、時系列信号としての第2
の拡散音声信号x'i(t)を生成する。
【0061】
【数9】
【0062】ここで、x'i-1(n+M)は(i−1)番
目のフレームの逆変換信号、x'i(n)はi番目のフレ
ームの逆変換信号であり、x'i-1(n+M)とx'i
(n)は互いに重複する区間(図5)の信号である。
【0063】ステップS8では、全フレームへの透かし
情報の埋め込みが終了したか否かが判断され、終了して
いなければステップS9でiをインクリメントしてステ
ップS2に戻る。一方、全フレームへの透かし情報の埋
め込みが終了すると、ステップS8からステップS10
に移行し、第2の乗算器66が第2の拡散音声信号x'i
(t)にPN系列g(t)を乗ずることによって、スペ
クトル逆拡散を行う。この結果、透かし情報が埋め込ま
れた音声信号s’(t)が得られる。以下では、この音
声信号s’(t)を「電子透かし音声信号」と呼ぶ。
【0064】本実施例では、1フレーム分の電子透かし
音声信号s’(t)に1ビットの透かし情報が埋め込ま
れており、また、1フレームは実質的にM個の信号値で
構成されている。従って、透かし情報の埋め込み割合B
rは、次の数式10で与えられる。
【0065】
【数10】
【0066】ここで、fs は原音声信号s(t)のサン
プリング周波数である。
【0067】なお、透かし情報がNビットで構成されて
いる場合には、Nフレーム分の音声信号区間に1つの透
かし情報を埋め込むことができる。従って、Nビットの
透かし情報は、Nフレーム毎に繰り返し埋め込まれる。
【0068】こうして得られた電子透かし音声信号s’
(t)は種々の形態で配布することができる。例えば、
通信回線を介して電子透かし音声信号s’(t)を伝送
することが可能である。また、CD−ROMやDVDな
どの音楽専用の記録媒体や、コンピュータ読み取り可能
な記録媒体などに収納された形で配布することも可能で
ある。このとき、電子透かし音声信号s’(t)を変調
したり、圧縮したりすることも可能である。特に、電子
透かし音声信号s’(t)がコンピュータ読み取り可能
な記録媒体に収納されている場合には、その記録媒体か
ら電子透かし音声信号s’(t)を読み出して、透かし
情報を抽出することができる。
【0069】なお、上述したように、透かし情報は、M
DCT係数に埋め込まれた後に逆直交変換されるので、
透かし情報に起因する音質劣化は従来に比べて低く抑え
られる。透かし情報の埋め込みと音質劣化との関係につ
いては、さらに後述する。
【0070】C.透かし情報の抽出処理:図7は、電子
透かし抽出部44(図1)の機能を示すブロック図であ
る。電子透かし抽出部44は、PN系列発生部72と、
乗算器74と、フレーム抽出部76と、MDCT部78
と、デコード部80と、の機能を有している。PN系列
発生部72は、図2に示したPN系列発生部52,68
と同じものであり、PN系列発生鍵ks の値に応じた特
定のPN系列g(t)を発生する。また、乗算器74、
フレーム抽出部76、および、MDCT部78も、図2
に示す乗算器54、フレーム抽出部56、および、MD
CT部58とそれぞれ同じ構成と機能を有している。
【0071】図8は、透かし情報の抽出処理の手順を示
すフローチャートである。ステップS11では、乗算器
74が、埋込み時と同一のPN系列g(t)を用いて電
子透かし音声信号s’(t)をスペクトル拡散すること
によって、拡散音声信号x’(t)を生成する。この処
理は、次の数式11で表される。
【0072】
【数11】
【0073】ここでは、PN系列g(t)が、g
2(t)=1となる性質(図4(d)参照)を有してい
ることを利用している。
【0074】ステップS12では、フレーム抽出部76
が、拡散音声信号x’(t)の中からi番目(初期値は
i=1)のフレームを抽出し、MDCT部78がそのフ
レームについて変形離散コサイン変換を実行する。ステ
ップS13では、デコード部80が、1フレーム分のM
DCT係数X'i(k)の中から、埋め込み時に用いた周
波数鍵kf で特定される周波数成分X'i(kf )を抽出
し、さらに、次の数式12に従って、その周波数成分
X'i(kf )をスケール鍵kd で量子化した量子化値
e'iを求める。
【0075】
【数12】
【0076】ここで、演算子Round()は、四捨五入によ
って整数値を得る演算を示す。
【0077】なお、変形離散コサイン変換は可逆変換な
ので、数式12の右辺のかっこ内の値「X'i(kf)/k
d」は通常は整数になり、丸め演算を行う必要は無い.
ただし、第三者が不正な波形処理を行った場合などのよ
うに、何らかの原因でビット誤りが生じた場合には、ス
ケール鍵kd で除算した値「X'i(kf)/kd」が正し
い整数値とならないことがある。この場合にも、数式1
0のように、この値「X'i(kf)/kd」を四捨五入す
ることによって、電子透かし音声信号s’(t)の変形
による透かし情報の抽出誤りを訂正することができる可
能性がある。すなわち、四捨五入を行うことによって透
かし情報の誤り耐性が向上する。この誤り耐性は、スケ
ール鍵kd が大きいほど大きい。例えば、スケール鍵k
d を大きな値に設定すれば、電子透かし音声信号s’
(t)がある程度大きな変形を受けても、透かし情報を
正しく抽出することができる。一方、後で詳述するよう
に、スケール鍵kd が大きくなるほど音質劣化が増大す
る傾向にある。すなわち、スケール鍵kd をより小さな
値にすれば、電子透かし音声信号s’(t)の変形によ
る透かし情報の消失の可能性は高くなるが、音質劣化は
より少なくなる。
【0078】図8のステップS14では、デコード部8
0が、量子化値e'iの値に応じて透かしビットboiを復
元する。すなわち、量子化値e'iが偶数の場合には透か
しビットboiが0であると決定し、奇数の場合には透か
しビットboiが1であると決定する。ステップS15で
は、全フレームからの透かし情報の抽出が終了したか否
かが判断され、終了していなければ、ステップS16に
おいてパラメータiをインクリメントしてステップS1
2に戻る。一方、全フレームからの透かし情報の抽出が
終了すると、処理を終了する。この結果、複数ビットで
構成される透かし情報が抽出される。なお、複数ビット
で構成される正しい透かし情報が1回抽出されたとき
に、図8の処理を直ちに終了するようにしてもよい。
【0079】なお、透かしの抽出処理に用いられるPN
系列が、埋め込み処理に用いられたPN系列と異なる場
合には、電子透かし抽出部44の乗算器74から出力さ
れる信号は、埋め込み処理部42において透かし情報が
埋め込まれた拡散音声信号x’(t)とは異なる信号と
なる。従って、この場合には、正しい透かし情報を復元
することができない。すなわち、本実施例では、スペク
トル拡散を利用することによって、透かし情報の秘匿性
が高められている。特に、本実施例では、透かし情報の
埋込みが音質に与える影響を少なくするために、特定の
周波数の変換係数に埋込みを施しているので、スペクト
ル拡散を用いない場合には、第三者が透かし情報を抽出
することは比較的容易である。一方、PN系列を用いた
スペクトル拡散を行うと、そのPN系列を一種の暗号化
/復号化の鍵として使用できるので、音声データなどの
一次元データに埋め込まれた透かし情報の秘匿性を高め
ることができるという利点がある。
【0080】D.埋込み周波数の最適化:以下では、透
かし情報の埋込みによる音質への影響を検討する。ま
ず、MDCT係数への透かし情報の埋込みにより生じた
量子化誤差δi (k)を、次の数式13で定義する。
【0081】
【数13】
【0082】ここで、Xi(k) は埋め込み前の係数
値、X'i(k)は埋め込み後の係数値である。上記実施
例では周波数鍵kf で特定される周波数成分に埋め込み
を行ったので、次の数式14で示されるように、k=k
f 以外の周波数成分の量子化誤差δi (k)はゼロであ
る。
【0083】
【数14】
【0084】但し、量子化誤差δi(kf )の値は周波
数鍵kf の値に依存せず、その絶対値|δi(kf )|
はスケール鍵kd 以下である。
【0085】各フレームの音声信号xi(n)に生じる
埋込みの影響Di(n)は、上記数式8(逆変換の式)
と数式14とから、次の数式15で与えられる。
【0086】
【数15】
【0087】したがって、透かし情報の埋込みが音声信
号に与える影響(すなわち雑音成分)D(n)は、次の
数式16で与えられる。
【0088】
【数16】
【0089】また、デジタル音声信号値に生じる誤差
は、次の数式17に示すように、D(n)を整数化した
値で与えられる。
【0090】
【数17】
【0091】ところで、MDCT係数の特定の周波数成
分Xi(kf)に透かし情報の埋込みを行うことは、図9
に示すように、狭帯域の雑音干渉δi(kf )を与える
ことと等価である。従って、透かし情報に起因する雑音
の帯域幅は、音声復元時にはM倍(Mは1フレームに含
まれる信号値の実質個数)に拡大され、この結果、透か
し情報の雑音電力は非常に小さくなると考えられる。
【0092】ところで、一般に、音質の客観的な評価尺
度として使用される基本的なものに信号対量子化雑音比
SNRがある。SNR[dB]の評価式は、入力音声信
号So(m)とその量子化誤差Er(m)を用いて次の
数式18のように定義される。
【0093】
【数18】
【0094】本実施例では、SNRを改良して主観評価
との対応関係を向上したSNRseg(セグメンタルSN
R)を用いる。SNRseg は次の数式19で与えられ
る。
【0095】
【数19】
【0096】ここで、Nf は測定区間のフレーム数を表
し、SNRf は、f番目のフレームにおけるSNRであ
る。以下に示す測定例では、1フレームの長さを32m
sとした。また、誤差のない音声フレーム、すなわちS
NRf =∞の音声フレームを除外して測定した。
【0097】図10は、実際にデジタル音声信号を用い
て周波数鍵kf の値と信号対量子化雑音比SNRseg と
の関係を求めた結果を示すグラフである。ここでは、1
フレームに含まれる信号値の実質的な個数M(すなわち
1フレーム分の変換係数の数)を256とした。また、
スケール鍵kd とPN系列発生鍵ks (図2)はいずれ
も1とした。図10の結果から、kf =127または1
28のときの波形歪みが他の場合と比べて非常に少ない
ことがわかる。この理由は、上記数式15,17に示し
たように、周波数鍵kf の違いによる雑音成分Di
(n)への影響が、MDCT基底c(k,n)とデジタ
ル化の丸め処理とに起因しているからであると考えられ
る。このように、1フレームに含まれる実質的な信号値
の個数Mが256のときには、周波数鍵kf の値を12
7または128とすれば、音質の劣化が最小限に抑えら
れる。一般には、周波数鍵kf の値を、1フレームに含
まれる音声信号値の実質的な個数Mの約1/2の値とす
ることが好ましい。
【0098】なお、1フレーム中に複数の透かしビット
を埋め込むことも可能である。例えば、kf =127お
よび128の2つの周波数成分に透かしビットを埋め込
むようにしてもよい。この明細書において「特定の周波
数成分に埋め込む」とは、このように、1フレーム中に
複数の透かしビットを埋め込む場合も含んでいる。但
し、1フレーム中に埋め込まれる透かし情報のビット数
が増加するほど音質が劣化する傾向にある。
【0099】E.実験結果:音質の高さに価値がある音
楽ソフトに透かし情報の埋込みを行う場合には、埋込み
によって音質が劣化しないことが重要である。そこで、
実際に高品質の音楽データに透かし情報の埋込みを行っ
て、音質に与える影響を調べた。この実験では、クラシ
ックと、ジャズと、ダンスの3種類の音楽を、サンプリ
ング周波数44.1kHz、量子化幅16ビットで量子
化した原音声信号s(t)を用いた。ただし、音楽ソフ
トは通常ステレオであるが、その片側成分のみに埋込み
を行った。
【0100】この実験では、M=256に設定したの
で、透かし情報の埋め込み量Brは、上記数式10から
約172ビット/秒である。この埋込みを施した再生音
声信号と埋込みのない再生音声信号の音質を比較検討し
た。
【0101】図11は、スケール鍵kd を固定し、周波
数鍵kf を変化させてクラシック音楽に埋込みを施した
場合のSNRseg を示すグラフである。ここでは、kd
=2,ks =1(ks はPN系列発生鍵)とした。図1
1においても、周波数鍵kfの値が128付近のときに
最高音質が得られている。図12は、PN系列発生鍵k
s の値を2とすることによって、図11とは異なる変化
パターンを有するPN系列を発生させ、また、スケール
鍵kd を図11と同じ値に設定した場合の結果である。
図12においても、図10や図11と同様に、周波数鍵
kf の値が128付近のときに最高音質が得られてい
る。
【0102】図13は、クラシック音楽に透かし情報を
埋め込んだ音声信号に対して、異なるPN系列発生鍵k
s を用いて透かし情報の検出を試みた場合の検出率を示
すグラフである。ここでは、透かし情報の埋め込み時の
スケール鍵kd を2、周波数鍵kf を128、PN系列
発生鍵ks を128とした。図13の結果から、正しい
PN系列発生鍵ks (=128)で生成したPN系列で
復号すると、検出率は1であり、透かし情報を完全に復
号できるが、PN系列発生鍵ks が他の異なった値のと
きには検出率が0.5となる。検出率が0.5のとき
は、0と1のビットがランダムに出現するので透かし情
報を正しく検出できない。このように、本実施例の電子
透かし技術によれば、埋め込みに用いたPN系列g
(t)が暗号化の鍵として機能しており、透かし情報に
関して高い秘匿性を確保できる。しかし、埋め込みに用
いたPN系列g(t)と相関の高いPN系列を偶然に用
いた場合には、透かし情報が不正に発見されてしまうこ
とも考えられる。したがって、PN系列g(t)として
は、相関の高い系列を容易に生成できないようなものを
用いることが望ましい。この意味からは、C言語の標準
関数のように一般に入手が容易なPN系列発生部を使用
することは好ましくなく、一般に入手が困難なPN系列
発生部を使用することが好ましい。
【0103】図14は、周波数鍵kf を128の一定値
とし、スケール鍵kd を変化させた場合の音質の変化に
示すグラフである。図14から、スケール鍵kd を増大
させると復元音声の音質を示すSNRseg が低下するこ
とがわかる。高音質を維持するためには、スケール鍵k
d を1〜3程度の比較的小さな値にすることが好まし
い。一方、電子透かし音声信号から透かし情報を確実に
検出するためには、スケール鍵kd をなるべく大きな値
にすることが好ましい。なお、音楽ソフトの商品的価値
を失わないように(すなわち音質を過度に劣化させない
ように)デジタルコピーした場合には、スケール鍵kd
が小さな値であっても正しい透かし情報を取り出すこと
は可能である。一方、音質劣化(損失圧縮)した音声信
号からも透かし情報を取り出したいときには、スケール
鍵kd を大きな値に設定すれば良い。
【0104】図15は、透かし情報の埋込みのない再生
音声波形と、埋込みのある再生音声波形と、それらの差
分波形とを示す説明図である。これら波形は、ジャズに
おけるピアノの演奏音に相当する部分である。図15
(c)に示す差分波形から、図15(a)と(b)の波
形にほとんど差異がないことがわかる。
【0105】このように、上記実施例によれば、音楽ソ
フトの音質を損なわずに高い秘匿性を持つ透かし情報を
埋め込むことができる。また、上記実施例では、原音声
信号をMDCT変換して得られた変換係数の特定の周波
数成分に透かし情報を埋め込んでいるので、原音声信号
s(t)のサンプリング周波数がどのような値であって
も、透かし情報を埋め込んだり、抽出したりすることが
可能である。換言すれば、上記実施例の電子透かし技術
は、高音質の音声データにも、低音質の音声データにも
適用することが可能である。
【0106】なお、この発明は上記の実施例や実施形態
に限られるものではなく、その要旨を逸脱しない範囲に
おいて種々の態様において実施することが可能であり、
例えば次のような変形も可能である。
【0107】(1)上記実施例において、ハードウェア
によって実現されていた構成の一部をソフトウェアに置
き換えるようにしてもよく、逆に、ソフトウェアによっ
て実現されていた構成の一部をハードウェアに置き換え
るようにしてもよい。例えば、図2に示した電子透かし
埋め込み部42の構成や、図7に示した電子透かし抽出
部44の構成をハードウェア回路で実現することも可能
である。
【0108】(2)上記実施例では、PN系列g(t)
として、+1と−1の2値をランダムに取る系列を使用
していたが、PN系列g(t)の絶対値としては1以外
の整数値pを用いることも可能である。すなわち、一般
には、特定の絶対値pを有する正負の値を不規則的に取
る正負系列を用いることができる。但し、この場合に
は、図2の第2の乗算器66の出力x’(t)・g
(t)を整数値pの2乗で除算することによって、電子
透かし音声信号s’(t)を生成する。
【0109】(3)スペクトル拡散の演算としては、P
N系列(正負系列)を原音声信号に乗算する演算と等価
な他の種々の演算を用いることができる。例えば、0レ
ベルと1レベルをランダムにとる2値系列を用いた論理
演算を行うことによって、スペクトル拡散を実現するこ
とも可能である。この場合には、原音声信号の各ビット
が入力される複数のEXOR(排他的論理和)回路を設
け、これらの複数のEXOR回路に2値系列を共通に入
力することによって、PN系列を原音声信号に乗算する
演算と等価な演算を実現することができる。すなわち、
複数のEXOR回路に2値系列の0レベルが入力される
場合には、原音声信号がそのまま出力されるので、原音
声信号に+1を乗算した場合と等価な演算が実現され
る。一方、複数のEXOR回路に2値系列の1レベルが
入力される場合には、原音声信号の各ビットが反転され
て出力されるので、原音声信号に−1を乗算した場合と
等価な演算が実現される。また、こうしてスペクトル拡
散された拡散音声信号に関して、同一の2値系列を用い
て再度EXOR回路で処理を行えば、原音声信号を再現
することができる。
【図面の簡単な説明】
【図1】本発明の第1実施例としての電子透かし処理装
置の構成を示すブロック図。
【図2】電子透かし埋め込み部42の機能を示すブロッ
ク図。
【図3】透かし情報の埋め込み処理の手順を示すフロー
チャートである。
【図4】スペクトル拡散の原理を示す説明図。
【図5】変形離散コサイン変換に使用されるフレームと
窓関数w(n)との関係を示す説明図。
【図6】ステップS3〜S5の処理内容を示す説明図。
【図7】電子透かし抽出部44の機能を示すブロック
図。
【図8】透かし情報の抽出処理の手順を示すフローチャ
ート。
【図9】透かし情報に起因する雑音の影響を示す説明
図。
【図10】周波数鍵kf の値と信号対量子化雑音比SN
Rseg との関係を示すグラフ。
【図11】周波数鍵kf の値と信号対量子化雑音比SN
Rseg との関係を示すグラフ。
【図12】周波数鍵kf の値と信号対量子化雑音比SN
Rseg との関係を示すグラフ。
【図13】埋め込み時と異なるPN系列発生鍵ks を用
いて透かし情報の検出を試みた場合の検出率を示すグラ
フ。
【図14】スケール鍵kd を変化させた場合の音質の変
化に示すグラフ。
【図15】透かし情報の埋込みのない再生音声波形と、
埋込みにある再生音声波形と、それらの差分波形とを示
すグラフ。
【符号の説明】
22…CPU 24…メインメモリ 26…フレームメモリ 30…キーボード 32…マウス 34…表示装置 36…ハードディスク 38…モデム 40…バス 42…電子透かし埋め込み部部 44…電子透かし抽出部 52…PN系列発生部 54…乗算器 56…フレーム抽出部 58…MDCT部 60…埋め込み部 62…IMDCT部 64…フレーム再生部 66…乗算器 68…PN系列発生部 72…PN系列発生部 74…乗算器 76…フレーム抽出部 78…MDCT部 80…デコード部

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 透かし情報を原一次元データに埋め込む
    方法であって、(a)特定の絶対値を有する正負の値を
    不規則的に取る特定の正負系列と、前記原一次元データ
    と、を乗算する演算と等価な演算を行うことによってス
    ペクトル拡散を実行し、これによって、第1の拡散一次
    元データを生成する工程と、(b)前記第1の拡散一次
    元データに関して直交変換を行う工程と、(c)前記直
    交変換で得られた変換係数の特定の周波数成分の値を、
    前記透かし情報と対応付けるように調整する工程と、
    (d)前記調整済みの周波数成分を逆直交変換すること
    によって、第2の拡散一次元データを生成する工程と、
    (e)前記特定の正負系列を用いて前記第2の拡散一次
    元データをスペクトル逆拡散することによって、前記透
    かし情報が埋め込まれた電子透かし一次元データを生成
    する工程と、を備える電子透かしの埋め込み方法。
  2. 【請求項2】 請求項1記載の電子透かしの埋め込み方
    法であって、 前記工程(a)および工程(e)は、特定の周波数発生
    鍵に応じて前記特定の正負系列を発生する工程をそれぞ
    れ含む、電子透かしの埋め込み方法。
  3. 【請求項3】 請求項1または2記載の電子透かしの埋
    め込み方法であって、 前記直交変換は、前記第1の拡散一次元データの中の2
    M個(Mは2以上の整数)のデータで構成される各フレ
    ーム毎に、所定の窓関数を用いた変換を行う変形離散コ
    サイン変換であり、 前記第1の拡散一次元データは、隣接するフレームがM
    個のデータ区間ずつ互いにずれた位置を取るように、前
    記変形離散コサイン変換において複数のフレームに区分
    される、電子透かしの埋め込み方法。
  4. 【請求項4】 請求項3記載の電子透かしの埋め込み方
    法であって、 前記透かし情報と対応付けられる前記特定の周波数成分
    は、ほぼM/2に相当する周波数成分である、電子透か
    しの埋め込み方法。
  5. 【請求項5】 請求項1ないし4のいずれかに記載の電
    子透かしの埋め込み方法であって、 前記工程(c)は、(i)所定の整数kd で前記特定の
    周波数成分を量子化することによって第1の量子化値を
    生成する工程と、(ii)前記第1の量子化値の最下位
    ビットを前記透かし情報のビット値と対応付けるように
    調整することによって第2の量子化値を生成する工程
    と、(iii)前記第2の量子化値に前記所定の整数k
    d を乗じることによって前記調整済みの周波数成分を生
    成する工程と、を含む、電子透かしの埋め込み方法。
  6. 【請求項6】 透かし情報を原一次元データに埋め込む
    装置であって、 特定の絶対値を有する正負の値を不規則的に取る特定の
    正負系列と、前記原一次元データと、を乗算する演算と
    等価な演算を行うことによってスペクトル拡散を実行
    し、これによって、第1の拡散一次元データを生成する
    スペクトル拡散部と、 前記第1の拡散一次元データに関して直交変換を行う直
    交変換部と、 前記直交変換で得られた変換係数の特定の周波数成分の
    値を、前記透かし情報と対応付けるように調整する埋め
    込み部と、 前記調整済みの周波数成分を逆直交変換することによっ
    て、第2の拡散一次元データを生成する逆変換部と、 前記特定の正負系列を用いて前記第2の拡散一次元デー
    タをスペクトル逆拡散することによって、前記透かし情
    報が埋め込まれた電子透かし一次元データを生成する逆
    拡散部と、を備える電子透かしの埋め込み装置。
  7. 【請求項7】 請求項6記載の電子透かしの埋め込み装
    置であって、 前記スペクトル拡散部は、特定の周波数発生鍵に応じて
    前記特定の正負系列を発生する正負系列発生部を含む、
    電子透かしの埋め込み装置。
  8. 【請求項8】 請求項6または7記載の電子透かしの埋
    め込み装置であって、 前記直交変換部は、前記第1の拡散一次元データの中の
    2M個(Mは2以上の整数)のデータで構成される各フ
    レーム毎に、所定の窓関数を用いた変形離散コサイン変
    換を実行し、 前記第1の拡散一次元データは、隣接するフレームがM
    個のデータ区間ずつ互いにずれた位置を取るように、前
    記変形離散コサイン変換において複数のフレームに区分
    される、電子透かしの埋め込み装置。
  9. 【請求項9】 請求項8記載の電子透かしの埋め込み装
    置であって、 前記透かし情報と対応付けられる前記特定の周波数成分
    は、ほぼM/2に相当する周波数成分である、電子透か
    しの埋め込み装置。
  10. 【請求項10】 請求項6ないし9のいずれかに記載の
    電子透かしの埋め込み装置であって、 前記埋め込み部は、 所定の整数kd で前記特定の周波数成分を量子化するこ
    とによって第1の量子化値を生成する量子化部と、 前記第1の量子化値の最下位ビットを前記透かし情報の
    ビット値と対応付けるように調整することによって第2
    の量子化値を生成するビット調整部と、 前記第2の量子化値に前記所定の整数kd を乗じること
    によって前記調整済みの周波数成分を生成する逆量子化
    部と、を含む、電子透かしの埋め込み装置。
  11. 【請求項11】 透かし情報を原一次元データに埋め込
    むためのコンピュータプログラムを記録したコンピュー
    タ読み取り可能な記録媒体であって、 特定の絶対値を有する正負の値を不規則的に取る特定の
    正負系列と、前記原一次元データと、を乗算する演算と
    等価な演算を行うことによってスペクトル拡散を実行
    し、これによって、第1の拡散一次元データを生成する
    スペクトル拡散機能と、 前記第1の拡散一次元データに関して直交変換を行う直
    交変換機能と、 前記直交変換で得られた変換係数の特定の周波数成分の
    値を、前記透かし情報と対応付けるように調整する埋め
    込み機能と、 前記調整済みの周波数成分を逆直交変換することによっ
    て、第2の拡散一次元データを生成する逆変換機能と、 前記特定の正負系列を用いて前記第2の拡散一次元デー
    タをスペクトル逆拡散することによって、前記透かし情
    報が埋め込まれた電子透かし一次元データを生成する逆
    拡散機能と、をコンピュータに実現させるためのコンピ
    ュータプログラムを記録したコンピュータ読み取り可能
    な記録媒体。
  12. 【請求項12】 透かし情報が埋め込まれた電子透かし
    一次元データを記録したコンピュータ読み取り可能な記
    録媒体であって、 特定の絶対値を有する正負の値を不規則的に取る特定の
    正負系列と、前記原一次元データと、を乗算する演算と
    等価な演算を行うことによってスペクトル拡散を実行
    し、これによって、第1の拡散一次元データを生成し、 前記第1の拡散一次元データに関して直交変換を行い、 前記直交変換で得られた変換係数の特定の周波数成分の
    値を、前記透かし情報と対応付けるように調整し、 前記調整済みの周波数成分を逆直交変換することによっ
    て、第2の拡散一次元データを生成し、 前記特定の正負系列を用いて前記第2の拡散一次元デー
    タをスペクトル逆拡散することによって、前記透かし情
    報が埋め込まれた電子透かし一次元データを生成する、
    ことによって生成された前記電子透かし一次元データを
    記録したコンピュータ読み取り可能な記録媒体。
  13. 【請求項13】 透かし情報が埋め込まれた電子透かし
    一次元データから前記透かし情報を抽出する方法であっ
    て、(a)特定の絶対値を有する正負の値を不規則的に
    取る特定の正負系列と、前記電子透かし一次元データ
    と、を乗算する演算と等価な演算を行うことによってス
    ペクトル拡散を実行し、これによって、第1の拡散電子
    透かし一次元データを生成する工程と、(b)前記第1
    の拡散電子透かし一次元データに関して直交変換を行う
    工程と、(c)前記直交変換で得られた変換係数の特定
    の周波数成分の値から、前記特定の周波数成分の値に対
    応付けられた前記透かし情報を抽出する工程と、を備え
    る電子透かしの抽出方法。
  14. 【請求項14】 透かし情報が埋め込まれた電子透かし
    一次元データから前記透かし情報を抽出する装置であっ
    て、 特定の絶対値を有する正負の値を不規則的に取る特定の
    正負系列と、前記電子透かし一次元データと、を乗算す
    る演算と等価な演算を行うことによってスペクトル拡散
    を実行し、これによって、第1の拡散電子透かし一次元
    データを生成するスペクトル拡散部と、 前記第1の拡散電子透かし一次元データに関して直交変
    換を行う直交変換部と、 前記直交変換で得られた変換係数の特定の周波数成分の
    値から、前記特定の周波数成分の値に対応付けられた前
    記透かし情報を抽出するデコード部と、を備える電子透
    かしの抽出装置。
  15. 【請求項15】 透かし情報が埋め込まれた電子透かし
    一次元データから前記透かし情報を抽出するためのコン
    ピュータプログラムを記録したコンピュータ読み取り可
    能な記録媒体であって、 特定の絶対値を有する正負の値を不規則的に取る特定の
    正負系列と、前記電子透かし一次元データと、を乗算す
    る演算と等価な演算を行うことによってスペクトル拡散
    を実行し、これによって、第1の拡散電子透かし一次元
    データを生成するスペクトル拡散機能と、 前記第1の拡散電子透かし一次元データに関して直交変
    換を行う直交変換機能と、 前記直交変換で得られた変換係数の特定の周波数成分の
    値から、前記特定の周波数成分の値に対応付けられた前
    記透かし情報を抽出するデコード機能と、をコンピュー
    タに実現させるためのコンピュータプログラムを記録し
    たコンピュータ読み取り可能な記録媒体。
  16. 【請求項16】 透かし情報が埋め込まれた電子透かし
    一次元データを記録したコンピュータ読み取り可能な記
    録媒体であって、 特定の絶対値を有する正負の値を不規則的に取る特定の
    正負系列と、前記電子透かし一次元データと、を乗算す
    る演算と等価な演算を行うことによってスペクトル拡散
    を実行し、これによって、第1の拡散電子透かし一次元
    データを生成し、 前記第1の拡散電子透かし一次元データに関して直交変
    換を行い、 前記直交変換で得られた変換係数の特定の周波数成分の
    値から、前記特定の周波数成分の値に対応付けられた前
    記透かし情報を抽出する、ことによって前記透かし情報
    が抽出可能な前記電子透かし一次元データを記録したコ
    ンピュータ読み取り可能な記録媒体。
JP03049298A 1998-01-27 1998-01-27 一次元データへの電子透かし Expired - Lifetime JP3986150B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP03049298A JP3986150B2 (ja) 1998-01-27 1998-01-27 一次元データへの電子透かし
KR10-2000-7007745A KR100492021B1 (ko) 1998-01-27 1998-04-01 전자무늬의 매립 방법과 매립 장치, 추출 방법과 추출 장치, 및 컴퓨터 판독 가능한 기록매체
PCT/JP1998/001519 WO1999038144A1 (fr) 1998-01-27 1998-04-01 Filigrane applique a des donnees unidimensionnelles
DE1998634841 DE69834841T2 (de) 1998-01-27 1998-04-01 Wasserzeichen angewendet auf eindimensionalen daten
EP98911172A EP1052612B1 (en) 1998-01-27 1998-04-01 Watermark applied to one-dimensional data
CNB988133539A CN1173312C (zh) 1998-01-27 1998-04-01 电子水印埋入方法和装置
AT98911172T ATE329338T1 (de) 1998-01-27 1998-04-01 Wasserzeichen angewendet auf eindimensionalen daten
IL13747198A IL137471A (en) 1998-01-27 1998-04-01 Watermark for one-dimensional data
US09/619,022 US6425082B1 (en) 1998-01-27 2000-07-19 Watermark applied to one-dimensional data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03049298A JP3986150B2 (ja) 1998-01-27 1998-01-27 一次元データへの電子透かし

Publications (2)

Publication Number Publication Date
JPH11212463A true JPH11212463A (ja) 1999-08-06
JP3986150B2 JP3986150B2 (ja) 2007-10-03

Family

ID=12305345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03049298A Expired - Lifetime JP3986150B2 (ja) 1998-01-27 1998-01-27 一次元データへの電子透かし

Country Status (9)

Country Link
US (1) US6425082B1 (ja)
EP (1) EP1052612B1 (ja)
JP (1) JP3986150B2 (ja)
KR (1) KR100492021B1 (ja)
CN (1) CN1173312C (ja)
AT (1) ATE329338T1 (ja)
DE (1) DE69834841T2 (ja)
IL (1) IL137471A (ja)
WO (1) WO1999038144A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002244685A (ja) * 2001-02-22 2002-08-30 Kowa Co 電子透かしの埋め込みおよび検出
JP2004515799A (ja) * 2000-07-27 2004-05-27 アクティヴェィテッド コンテント コーポレーション インコーポレーテッド ステゴテキスト・エンコーダおよびデコーダ
JP2005506570A (ja) * 2001-10-17 2005-03-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号中の補助情報を符号化するシステム
US6947562B2 (en) 2000-01-24 2005-09-20 Nec Corporation Electronic watermark detecting/inserting device
US6985590B2 (en) 1999-12-22 2006-01-10 International Business Machines Corporation Electronic watermarking method and apparatus for compressed audio data, and system therefor
JP2006259747A (ja) * 2005-03-18 2006-09-28 Thomson Licensing オーディオ信号またはビデオ信号に電子透かしを埋め込むためのペイロードデータを搬送するシンボルをエンコードするための方法および装置、ならびに、電子透かしが埋め込まれたオーディオ信号またはビデオ信号のペイロードデータを搬送するシンボルをデコードするための方法および装置
US8494903B2 (en) 2007-03-16 2013-07-23 Activated Content Corporation Universal advertising model utilizing digital linkage technology “U AD”

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3809297B2 (ja) * 1998-05-29 2006-08-16 キヤノン株式会社 画像処理方法、装置及び媒体
KR100373965B1 (ko) * 1998-08-17 2003-02-26 휴우즈 일렉트로닉스 코오포레이션 최적 성능을 갖는 터보 코드 인터리버
JP3659321B2 (ja) * 2000-06-29 2005-06-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 電子透かし方法およびそのシステム
US20040059918A1 (en) * 2000-12-15 2004-03-25 Changsheng Xu Method and system of digital watermarking for compressed audio
US6996273B2 (en) * 2001-04-24 2006-02-07 Microsoft Corporation Robust recognizer of perceptually similar content
US7020775B2 (en) 2001-04-24 2006-03-28 Microsoft Corporation Derivation and quantization of robust non-local characteristics for blind watermarking
US6973574B2 (en) 2001-04-24 2005-12-06 Microsoft Corp. Recognizer of audio-content in digital signals
US7356188B2 (en) * 2001-04-24 2008-04-08 Microsoft Corporation Recognizer of text-based work
US7043050B2 (en) * 2001-05-02 2006-05-09 Microsoft Corporation Software anti-piracy systems and methods utilizing certificates with digital content
JP2004525430A (ja) * 2001-05-08 2004-08-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電子透かしの生成及び検出
JP2003058453A (ja) * 2001-08-10 2003-02-28 Yamaha Corp ネットワークサービスシステム、コンテンツ提供サービス装置、および、中継サービス装置
US6696989B2 (en) * 2001-09-17 2004-02-24 Matsushita Electric Industrial Co., Ltd. Data-update apparatus, reproduction apparatus, data-addition apparatus, data-detection apparatus and data-removal apparatus
EP1493153A1 (en) * 2002-03-28 2005-01-05 Koninklijke Philips Electronics N.V. Decoding of watermarked information signals
AU2003241113A1 (en) * 2002-06-17 2003-12-31 Koninklijke Philips Electronics N.V. Lossless data embedding
AU2003239735A1 (en) * 2002-06-24 2004-01-06 Koninklijke Philips Electronics N.V. Embedding of image authentication signatures
FR2854995B1 (fr) * 2003-05-14 2005-07-29 Nortel Networks Ltd Modulateur et demodulateur a etalement de spectre
US7460684B2 (en) 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
US7831832B2 (en) * 2004-01-06 2010-11-09 Microsoft Corporation Digital goods representation based upon matrix invariances
US7770014B2 (en) * 2004-04-30 2010-08-03 Microsoft Corporation Randomized signal transforms and their applications
NZ552644A (en) 2004-07-02 2008-09-26 Nielsen Media Res Inc Methods and apparatus for mixing compressed digital bit streams
US20070076869A1 (en) * 2005-10-03 2007-04-05 Microsoft Corporation Digital goods representation based upon matrix invariants using non-negative matrix factorizations
WO2008045950A2 (en) 2006-10-11 2008-04-17 Nielsen Media Research, Inc. Methods and apparatus for embedding codes in compressed audio data streams
US8148385B2 (en) * 2006-10-31 2012-04-03 Janssen Pharmaceutica N.V. Substituted [1,2,3] triazolo[4,5-d]pyrimidine derivatives as ADP P2Y12 receptor antagonists
US7965838B2 (en) * 2007-11-30 2011-06-21 Faraday Technology Corp. Watermark generating circuit and related method thereof
IL295473B2 (en) 2010-07-02 2023-10-01 Dolby Int Ab After–selective bass filter
US8930182B2 (en) * 2011-03-17 2015-01-06 International Business Machines Corporation Voice transformation with encoded information
US9620133B2 (en) * 2013-12-04 2017-04-11 Vixs Systems Inc. Watermark insertion in frequency domain for audio encoding/decoding/transcoding
US20220206884A1 (en) * 2020-12-30 2022-06-30 Genesys Telecommunications Laboratories, Inc. Systems and methods for conducting an automated dialogue

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0766468B1 (en) * 1995-09-28 2006-05-03 Nec Corporation Method and system for inserting a spread spectrum watermark into multimedia data
US6226387B1 (en) * 1996-08-30 2001-05-01 Regents Of The University Of Minnesota Method and apparatus for scene-based video watermarking
US6061793A (en) * 1996-08-30 2000-05-09 Regents Of The University Of Minnesota Method and apparatus for embedding data, including watermarks, in human perceptible sounds
US5809139A (en) * 1996-09-13 1998-09-15 Vivo Software, Inc. Watermarking method and apparatus for compressed digital video
US6037984A (en) * 1997-12-24 2000-03-14 Sarnoff Corporation Method and apparatus for embedding a watermark into a digital image or image sequence
US6208745B1 (en) * 1997-12-30 2001-03-27 Sarnoff Corporation Method and apparatus for imbedding a watermark into a bitstream representation of a digital image sequence
US6192139B1 (en) * 1999-05-11 2001-02-20 Sony Corporation Of Japan High redundancy system and method for watermarking digital image and video data

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985590B2 (en) 1999-12-22 2006-01-10 International Business Machines Corporation Electronic watermarking method and apparatus for compressed audio data, and system therefor
US6947562B2 (en) 2000-01-24 2005-09-20 Nec Corporation Electronic watermark detecting/inserting device
JP2004515799A (ja) * 2000-07-27 2004-05-27 アクティヴェィテッド コンテント コーポレーション インコーポレーテッド ステゴテキスト・エンコーダおよびデコーダ
JP2002244685A (ja) * 2001-02-22 2002-08-30 Kowa Co 電子透かしの埋め込みおよび検出
JP2005506570A (ja) * 2001-10-17 2005-03-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号中の補助情報を符号化するシステム
JP2006259747A (ja) * 2005-03-18 2006-09-28 Thomson Licensing オーディオ信号またはビデオ信号に電子透かしを埋め込むためのペイロードデータを搬送するシンボルをエンコードするための方法および装置、ならびに、電子透かしが埋め込まれたオーディオ信号またはビデオ信号のペイロードデータを搬送するシンボルをデコードするための方法および装置
US8494903B2 (en) 2007-03-16 2013-07-23 Activated Content Corporation Universal advertising model utilizing digital linkage technology “U AD”

Also Published As

Publication number Publication date
ATE329338T1 (de) 2006-06-15
EP1052612A4 (en) 2002-09-18
KR20010034132A (ko) 2001-04-25
WO1999038144A1 (fr) 1999-07-29
US6425082B1 (en) 2002-07-23
EP1052612B1 (en) 2006-06-07
CN1173312C (zh) 2004-10-27
DE69834841T2 (de) 2007-01-04
KR100492021B1 (ko) 2005-05-31
IL137471A0 (en) 2001-07-24
JP3986150B2 (ja) 2007-10-03
EP1052612A1 (en) 2000-11-15
CN1284192A (zh) 2001-02-14
IL137471A (en) 2004-07-25
DE69834841D1 (de) 2006-07-20

Similar Documents

Publication Publication Date Title
JP3986150B2 (ja) 一次元データへの電子透かし
Lie et al. Robust and high-quality time-domain audio watermarking based on low-frequency amplitude modification
US6175627B1 (en) Apparatus and method for embedding and extracting information in analog signals using distributed signal features
US6683958B2 (en) Apparatus and method for embedding and extracting information in analog signals using distributed signal features and replica modulation
JP4251378B2 (ja) アナログ信号への情報の埋込みおよび抽出を分布信号特徴を用いて行なう装置および方法
JP4990162B2 (ja) 電子透かしを有用信号に埋め込む方法
Megías et al. Efficient self-synchronised blind audio watermarking system based on time domain and FFT amplitude modification
US7152163B2 (en) Content-recognition facilitator
US7664958B2 (en) Optimization methods for the insertion, protection and detection of digital watermarks in digital data
Dhar et al. Blind SVD-based audio watermarking using entropy and log-polar transformation
JP2007171933A (ja) オーディオ信号処理装置及び方法
JP2008529046A5 (ja)
JP2000172282A (ja) オ―ディオデ―タへ付加情報を埋め込む方法およびシステム
Wang et al. A new audio watermarking based on modified discrete cosine transform of MPEG/audio layer III
JP2000332988A (ja) デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した媒体
CN116072129A (zh) 抗大规模剪切的鲁棒音频水印嵌入和提取方法
JP2002244685A (ja) 電子透かしの埋め込みおよび検出
Khalil et al. Informed audio watermarking based on adaptive carrier modulation
KR20010104817A (ko) 컬러 이미지 워터마크를 이용한 디지털 오디오 워터마킹방법 및 장치
Horvatic et al. Robust audio watermarking: based on secure spread spectrum and auditory perception model
Megías et al. An audio watermarking scheme robust against stereo attacks
JP2003143390A (ja) 電子透かしの埋め込みおよび抽出
Ravula Audio watermarking using transformation techniques
Sharma et al. Survey on different level of audio watermarking techniques
Khillare et al. Reversible Digital Audio Watermarking Scheme Using Wavelet Transformation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070710

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100720

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100720

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130720

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term