JP4197307B2 - 電子透かし検出装置、その検出方法及びプログラム - Google Patents

電子透かし検出装置、その検出方法及びプログラム Download PDF

Info

Publication number
JP4197307B2
JP4197307B2 JP2004099592A JP2004099592A JP4197307B2 JP 4197307 B2 JP4197307 B2 JP 4197307B2 JP 2004099592 A JP2004099592 A JP 2004099592A JP 2004099592 A JP2004099592 A JP 2004099592A JP 4197307 B2 JP4197307 B2 JP 4197307B2
Authority
JP
Japan
Prior art keywords
detection
digital watermark
audio content
embedded
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004099592A
Other languages
English (en)
Other versions
JP2005284085A (ja
Inventor
隆輝 立花
典繁 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2004099592A priority Critical patent/JP4197307B2/ja
Priority to US11/087,298 priority patent/US20050234728A1/en
Publication of JP2005284085A publication Critical patent/JP2005284085A/ja
Priority to US12/140,750 priority patent/US8055505B2/en
Application granted granted Critical
Publication of JP4197307B2 publication Critical patent/JP4197307B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/097Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using prototype waveform decomposition or prototype waveform interpolative [PWI] coders

Description

本発明は、音声コンテンツに対する電子透かしの埋め込みおよび検出に関し、特にコンテンツの劣化に対する耐性の高い電子透かしの埋め込み方法および検出方法に関する。
今日、デジタルデータ化された音声コンテンツに対する不正な複製や改ざん等の2次使用を防止する手段として、特定の情報を音声コンテンツに埋め込む電子透かし技術が広く利用されている。
電子透かし技術では、同じ情報(透かし情報)が1つの音声コンテンツの複数箇所に何度も繰り返して埋め込まれる。そして、透かし情報を検出する際には、各埋め込み箇所からの検出値がバッファに蓄積され、強め合わされてからエラー訂正などの処理が行われた後に、検出結果が出力される。
音声コンテンツに透かし情報を埋め込む電子透かし技術の一般的な手法としては、鍵と呼ばれるデータを用いて疑似乱数系列を発生させ、この疑似乱数系列を用いて音声コンテンツのデータにおける周波数成分を処理することにより所望の透かし情報を含む信号(透かし信号)を生成し、元の音楽コンテンツのデータに加算させる手法が取られる。そして検出時には、同じ鍵により発生させた疑似乱数系列を用いて音楽コンテンツのデータの周波数成分を処理し、その処理結果である検出値をバッファに蓄積した上で蓄積値から透かし信号を抽出し、埋め込まれたメッセージ(透かし情報)を復号する手法が取られる。
透かし情報を検出する際における検出値の蓄積の長さ(時間)は、通常は1種類の固定長である。例えば30秒間を蓄積の周期とし、30秒ごとに透かし信号の検出結果を出力するように検出装置が設計される。また、動画のデジタルコンテンツに対する電子透かし技術では、透かし情報を検出する際における検出値の蓄積の長さを可変とする手法が提案されている(例えば、特許文献1参照)。この技術では、動画像の画質を落とさないように透かし信号を弱く埋め込んでおき、検出時に透かし情報の検出に十分な強さになるまで検出値をバッファに蓄積していく。
また音声コンテンツには、ステレオ録音されたものなど、複数チャネルで構成されるものがあるが、このような音声コンテンツに電子透かしを埋め込む場合、一般には、1つの鍵を用いて1つの疑似乱数系列を発生させ、この1つの疑似乱数を用いて各チャネルの音声データを処理することによって埋め込みが行われる。すなわち、各チャネルの音声データに同じ透かし信号が埋め込まれることとなる。この場合、電子透かしを検出する際には、各チャネルの音声データから透かし信号を検出して合成し、埋め込まれたメッセージ(透かし情報)を復号する手法が取られる。各チャネルに電子透かしが埋め込まれていれば、各チャネルからの検出値どうしは相関が高いため、これらを合成することにより、検出値におけるメッセージの成分が強められ、メッセージの復元が容易になる。また、セキュリティの目的で電子透かし技術を用いる場合では、保守性を高めるために、複数の電子透かしを、コンテンツの特徴や時間経過に応じて異なる鍵を用いて生成して処理対象信号に埋め込む手法が提案されている(例えば、特許文献2参照)。
特開平11−341452号公報 特開2002−320085号公報
さて、デジタルデータ化された音声コンテンツは、それ自体が放送やネットワークを介して配信されたり、各種の記録媒体に記録されて配布されたりする他、他のコンテンツのBGM(background music)や番組のジングルとして使用されるなど、様々に加工されて提供される。したがって、時間的に非常に短い(例えば2秒程度)の音声コンテンツや他の音声が重畳されて劣化した音声コンテンツなども存在する。
時間的に短い音声コンテンツが存在することを考慮すると、音声コンテンツに対する電子透かしの埋め込みも、音声コンテンツの短い時間幅に対して行われることが好ましい。一方で、BGM等に用いられることにより他の音声が重畳されて劣化した音声コンテンツから電子透かしを検出するためには、ある程度長い時間(例えば30秒程度)分の音声コンテンツからの検出値を蓄積し(すなわち検出値のサンプルを増やして)、透かし信号を強めてから抽出する必要がある。
しかし、検出値の蓄積周期を長くすると、短い音声コンテンツに埋め込まれた電子透かしを検出することができない。例えば、蓄積周期を30秒として2秒程度の音声コンテンツから電子透かしを検出しようとしても、蓄積された検出値に、目的の音声コンテンツ以外の音声からの検出値が約28(=30−2)秒程度含まれることとなるため、音声コンテンツに埋め込まれているメッセージ(透かし情報)を正しく検出することができない。
上述した、検出値の蓄積周期を可変とする従来技術は、弱く埋め込まれた透かし信号を透かし情報の検出に十分な強さになるまで蓄積して強め合わせることを目的としており、短い音声コンテンツや劣化した音声コンテンツからそれぞれ透かし情報を検出するための適切な蓄積周期を設定することは考慮されていない。
また、音声コンテンツがステレオ録音された楽曲などである場合、上述したように各チャネルの音声データに同じ透かし信号が埋め込まれ、電子透かしを検出する際には、各チャネルの音声データから透かし信号が検出されて合成され、メッセージが復元される。
しかし、このような音声コンテンツがナレーションのBGMとして用いられる場合、音声コンテンツに重畳されるナレーションの音声はモノラルに近い信号であることが多く、各チャネルにおけるナレーションの音声データの相関が高い。したがって、各チャネルからの検出値を合成して相関の高いメッセージの成分を強めた場合、ナレーションの音声の成分も強めてしまうため、検出値におけるメッセージの成分とノイズ(ナレーションの音声)の成分とを識別しにくく、メッセージの復元が困難になってしまう。
このような場合に透かし信号を検出するには、検出値の中から透かし信号の成分を識別するための閾値(相関の度合い)を大きく設定する必要がある。しかし、この閾値を大きくすると、電子透かしを検出するためには各チャネルにおける透かし信号に対して一層高い相関が要求されることとなり、電子透かしの劣化に対する耐性が弱くなってしまう。
上述した、コンテンツの特徴や時間経過に応じて異なる鍵を用いて透かし信号を生成して処理対象信号に埋め込む従来技術は、コンテンツの特徴や時間経過に応じて異なる透かし信号を埋め込むものの、複数チャネルの音声コンテンツにナレーション等のモノラルに近い音声が重畳される場合の劣化は考慮されていない。したがって、各チャネルの音声データに電子透かしを埋め込む場合には、やはり1つの鍵を用いた同一の透かし信号が各チャネルの音声データに埋め込まれるため、上記の課題を解決できない。
上記の目的を達成する本発明は、様々に加工される音声コンテンツに埋め込まれる電子透かしの耐性を向上させることを目的とする。
また本発明は、特に、時間的に短い音声コンテンツや劣化した音声コンテンツから電子透かしを適切に検出する方法及びシステムを提供することを他の目的とする。
さらにまた、本発明は、特に、音声コンテンツに他の音声が重畳されることによる劣化に対する耐性の強い電子透かしの埋め込み、検出の方法及びシステムを提供することをさらに他の目的とする。
上記の目的を達成するため、本発明は、次のように構成された電子透かし検出装置として実現される。この電子透かし検出装置は、音声コンテンツのチャネルごとのPCMデータに対し、このPCMデータの周波数成分と電子透かしの埋め込みに用いられた複数の鍵により発生させた疑似乱数系列との相関係数である検出値をそれぞれ計算する複数の透かし信号検出部と、この複数の透かし信号検出部により計算された各チャネルおよび各鍵に対応する検出値を、各チャネルおよび各鍵の可能な組合せごとに加算する複数の検出値加算部と、この複数の検出値加算部による各加算結果を入力して比較し、1つの加算結果を選択して出力する比較選択部と、この比較選択部から出力された検出値の加算結果から電子透かしとして埋め込まれたメッセージを復元し、電子透かしの埋め込まれた音声コンテンツの検出を行うメッセージ復元部とを備える。
ここで、より好ましくは、複数の検出値加算部には、1つの透かし信号検出部により計算された検出値を他の透かし信号検出部により計算された検出値と加算せずにそのまま出力する検出値加算部が含まれるものとする。
また、比較選択部は、複数の検出値加算部による加算結果のうち、出力する加算結果として、次のものを選択する。
検出値の絶対値の和が最大であるもの。
検出値の2乗和が最大であるもの。
加算結果に対してエラー訂正を行い、エラーが起きているビットの数が最小のもの。
加算結果に対してエラー訂正を行い、個々のビットの正しい符号を求めてSNR(Signal-to-Noise ratio:信号対雑音比)を計算し、得られたSNRが最大のもの。
さらに、上述した比較選択部による処理とメッセージ復元部による処理の順番を入れ替える構成とすることができる。この場合、複数のメッセージ復元部を用意して、この複数のメッセージ復元部が、複数の検出値加算部による加算結果をそれぞれ入力し、電子透かしとして埋め込まれたメッセージを復元する。そして、比較選択部が、この複数のメッセージ復元部によるメッセージの復元結果を入力して比較し、一連のメッセージを選択して出力することとなる。
また、上記の目的を達成する他の本発明は、次のように構成された電子透かし検出装置として実現される。この電子透かし検出装置は、音声コンテンツのPCMデータの周波数成分と電子透かしの埋め込みに用いられた鍵により発生させた疑似乱数系列との相関係数である検出値を計算する透かし信号検出部と、この透かし信号検出部により計算された検出値を異なる蓄積周期で蓄積し蓄積された検出値から電子透かしとして埋め込まれたメッセージを復元すると共に、音声コンテンツの境界検出を行って、電子透かしの埋め込まれた音声コンテンツの検出を行う複数のメッセージ復元部と、この複数のメッセージ復元部による各処理結果を入力し、各処理結果における電子透かしの埋め込まれた音声コンテンツの検出結果を合成して出力する検出結果出力部とを備えることを特徴とする。
ここで、より詳細には、検出結果出力部は、いずれかのメッセージ復元部により電子透かしの埋め込まれた音声コンテンツが検出されたならば、電子透かしの埋め込まれた音声コンテンツであると判断し、全てのメッセージ復元部においても電子透かしの埋め込まれた音声コンテンツが検出されない部分を、電子透かしの埋め込まれていない音声コンテンツと判断する。また、複数のメッセージ復元部により電子透かしの埋め込まれた音声コンテンツが検出された場合は、蓄積周期の短いメッセージ復元部による検出結果を優先させる。さらに、所定のメッセージ復元部により電子透かしの埋め込まれた音声コンテンツが検出されたならば、メッセージ復元部よりも蓄積周期の長い他のメッセージ復元部による検出を待たずに、メッセージ復元部による検出結果を出力する。
また、上記の目的を達成するさらに他の本発明は、コンピュータにより音声コンテンツに埋め込まれた電子透かしを検出する、次のような電子透かし検出方法として実現される。すなわち、この電子透かし検出方法は、音声コンテンツのチャネルごとのPCMデータに対し、このPCMデータの周波数成分と電子透かしの埋め込みに用いられた複数の鍵により発生させた疑似乱数系列との相関係数である検出値をそれぞれ計算し、記憶手段に格納する第1のステップと、計算された各チャネルおよび各鍵に対応する検出値を、各チャネルおよび各鍵の可能な組合せごとに加算し、記憶手段に格納する第2のステップと、各チャネルおよび各鍵の組合せごとの各加算結果を入力して比較し、1つの加算結果を選択して出力する第3のステップと、選択して出力された検出値の加算結果から電子透かしとして埋め込まれたメッセージを復元すると共に、音声コンテンツの境界検出を行って、電子透かしの埋め込まれた音声コンテンツの検出を行う第4のステップとを含むことを特徴とする。
さらに、本発明による他の電子透かし検出方法は、音声コンテンツのPCMデータの周波数成分と電子透かしの埋め込みに用いられた鍵により発生させた疑似乱数系列との相関係数である検出値を計算し、記憶手段に格納する第1のステップと、計算された検出値を異なる蓄積周期で蓄積し蓄積された検出値から電子透かしとして埋め込まれたメッセージを復元すると共に、音声コンテンツの境界検出を行って、電子透かしの埋め込まれた音声コンテンツの検出を行い、検出結果を記憶手段に格納する第2のステップと、複数の蓄積周期に基づく検出結果を入力し、各処理結果における電子透かしの埋め込まれた音声コンテンツの検出結果を合成して出力する第3のステップとを含む。
また本発明は、コンピュータを制御して上記の電子透かし検出方法における各ステップに対応する処理を実行させるプログラム、あるいは、上述した電子透かし検出装置の各機能をコンピュータにより実現させるプログラムとして実現される。このプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録媒体に格納して配布したり、ネットワークを介して配信したりすることにより提供される。
以上のように構成された本発明によれば、様々に加工される音声コンテンツに埋め込まれる電子透かしの耐性を向上させることができる。具体的には、特に、時間的に短い音声コンテンツや劣化した音声コンテンツから電子透かしを適切に検出する方法及びシステムを提供することができる。また、特に、音声コンテンツに他の音声が重畳されることによる劣化に対する耐性の強い電子透かしの埋め込み、検出の方法及びシステムを提供することができる。
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、実施形態)について詳細に説明する。
ここでは、音声コンテンツが様々な態様で提供されることを考慮して、その耐性を向上させるために、次の2つの実施形態について説明する。
(実施形態1)複数の蓄積周期を用いる電子透かしの検出。
(実施形態2)複数の疑似乱数パターンを用いた電子透かしの埋め込み及び検出。
[実施形態1]
複数の蓄積周期を用いて電子透かしの検出を行う実施形態について説明する。
音声コンテンツの使用態様について考察すると、BGMとして使用される等、他の音声と重畳されて劣化する音声コンテンツは、ある程度の時間的長さを有する音声コンテンツである。一方、2秒程度の時間的に非常に短い音声コンテンツは、番組のジングルや効果音として用いられ、他の音声と重畳されることはほとんどない。これは、言い換えれば、ある程度の時間的長さを有する音声コンテンツでは、劣化に対応するために長い蓄積周期で検出値を蓄積してメッセージ(透かし情報)を復元する必要があるのに対し、時間的に短い音声コンテンツでは、短い蓄積周期で蓄積された検出値からも比較的良好にメッセージを復元できると言える。
また、発明が解決しようとする課題で述べたように、検出値の蓄積周期を長くすると、時間的に短い音声コンテンツからメッセージを復元することが難しくなってしまう。
そこで本実施形態では、異なる複数の蓄積周期で透かし信号の検出値を蓄積していき、劣化しにくい時間的に短い音声コンテンツやある程度の時間的長さを有する劣化の可能性のある音声コンテンツに対して、適切な蓄積周期で対応し、メッセージを復元する。
図1は、本実施形態による電子透かし検出装置を実現するのに好適なコンピュータ装置のハードウェア構成の例を模式的に示した図である。
図1に示すコンピュータ装置は、演算手段であるCPU(Central Processing Unit:中央処理装置)101と、M/B(マザーボード)チップセット102およびCPUバスを介してCPU101に接続されたメインメモリ103と、同じくM/Bチップセット102およびAGP(Accelerated Graphics Port)を介してCPU101に接続されたビデオカード104と、PCI(Peripheral Component Interconnect)バスを介してM/Bチップセット102に接続された磁気ディスク装置(HDD)105、ネットワークインターフェイス106と、さらにこのPCIバスからブリッジ回路107およびISA(Industry Standard Architecture)バスなどの低速なバスを介してM/Bチップセット102に接続されたフレキシブルディスクドライブ108およびキーボード/マウス109とを備える。
なお、図1は本実施形態を実現するコンピュータ装置のハードウェア構成を例示するに過ぎず、本実施形態を適用可能であれば、他の種々の構成を取ることができる。例えば、ビデオカード104を設ける代わりに、ビデオメモリのみを搭載し、CPU101にてイメージデータを処理する構成としても良いし、外部記憶装置として、ATA(AT Attachment)やSCSI(Small Computer System Interface)などのインターフェイスを介してCD−R(Compact Disc Recordable)やDVD−RAM(Digital Versatile Disc Random Access Memory)のドライブを設けても良い。
図2は、本実施形態の電子透かし検出装置の機能構成を示す図である。
図2を参照すると、本実施形態の電子透かし検出装置10は、音声コンテンツの各チャネルのデータから透かし信号を検出するチャネルごとに設けられた透かし信号検出部11と、各透かし信号検出部11により検出された透かし信号の検出値を加算する検出値加算部12と、得られた透かし信号を蓄積し蓄積された透かし信号からメッセージを復元する複数のメッセージ復元部13と、各メッセージ復元部13の復元結果を比較処理して最終的な検出結果として出力する検出結果出力部14とを備える。
透かし信号検出部11は、例えば図1に示したプログラム制御されたCPU101で実現され、音声コンテンツのデータに埋め込まれた透かし信号を検出する。透かし信号の検出方法は、既存の電子透かし技術における検出方法を用いることができる。
図3は、音楽コンテンツに対する一般的な透かし信号の検出手順を示すフローチャートである。
図3に示すように、透かし信号検出部11は、まず音声コンテンツのPCM(Pulse Code Modulation)データを入力し(ステップ301)、入力データに対してフーリエ変換を行ってその周波数成分を抽出する(ステップ302)。そして、得られた周波数成分のデータを正規化して、音声データの部分ごとに平均振幅を取得する(ステップ303)。次に、透かし信号検出部11は、電子透かしの埋め込みの際に用いられた鍵と同じ鍵を用いて乱数発生装置により発生させた疑似乱数系列と、ステップ303で得られた周波数成分の平均振幅との相関を計算し(ステップ304)、計算結果(相関係数)を透かし信号の検出値として出力する(ステップ305)。
計算された検出値は、例えば図1のメインメモリ103やCPU101のキャッシュメモリ等の記憶装置に一時的に保持される。
検出値加算部12は、例えば図1に示したプログラム制御されたCPU101で実現され、チャネルごとに設けられた各透かし信号検出部11による透かし信号の検出値を入力し加算する。加算された検出値は、例えば図1のメインメモリ103やCPU101のキャッシュメモリ等の記憶装置に一時的に保持される。なお、図2に示す例では、音声コンテンツがステレオ録音されたものであることを想定し、右音声用と左音声用の2つの透かし信号検出部11が記載されているが、透かし信号検出部11の数は、図示の例に限らないことは言うまでもない。音声コンテンツのチャネル数に応じた数の透かし信号検出部11を備えることができ、モノラルの音声コンテンツの場合には、1つの透かし信号検出部11としても良い。透かし信号検出部11が1つの場合は、検出値の加算処理は不要であり、検出値加算部12は必須の構成要素ではない。
メッセージ復元部13は、例えば図1に示したプログラム制御されたCPU101とメインメモリ103等の記憶手段とで実現され、検出値加算部12により加算された透かし信号の検出値(透かし信号検出部11が1つの場合は透かし信号検出部11によって抽出された検出値)を、メインメモリ103等で実現されるバッファに一定時間分蓄積し、蓄積され強め合わされた検出値に基づいてメッセージの復元を行う。すなわち、入力した検出値(PCMデータの周波数成分の平均振幅と鍵を用いて発生させた疑似乱数系列との相関係数)が予め設定された閾値よりも大きければ、電子透かしが埋め込まれていると判断し、かかる検出値からメッセージを復元する。メッセージの復元方法は、既存の電子透かし技術における復元方法を用いることができる。
また、メッセージ復元部13は、それぞれのメッセージの復元結果に基づいて音声コンテンツの境界検出を行う。メッセージの復元と音声コンテンツの境界検出を行うことにより、電子透かしの埋め込まれた音声コンテンツが検出されることとなる。PCMデータ中の電子透かしの埋め込まれた音声コンテンツと判断されなかった部分は、電子透かしの埋め込まれていない音声コンテンツと判断される。
本実施形態では、図2に示すように、メッセージ復元部13を複数設け、検出値の蓄積周期をそれぞれ異なる周期にしてある。図示の例では、基準の蓄積周期、基準の2倍の蓄積周期、基準の4倍の蓄積周期を持つ3種類のメッセージ復元部13が記載されているが、メッセージ復元部13の数および蓄積周期は図示の例に限らないことは言うまでもない。なお、以下の説明では、各メッセージ復元部13を区別する必要がある場合、それぞれ添え字を付して、基準の蓄積周期を持つメッセージ復元部13をメッセージ復元部13a、基準の2倍の蓄積周期を持つメッセージ復元部13をメッセージ復元部13b、基準の4倍の蓄積周期を持つメッセージ復元部13をメッセージ復元部13cと表記するが、これらを区別する必要がない場合は、単にメッセージ復元部13と表記する。
上述したように、他の音声と重畳されて劣化する音声コンテンツがある程度の時間的長さを有することから、蓄積周期の長いメッセージ復元部13は、そのような劣化の可能性のある音声コンテンツに対応するために設けられる。そこで、蓄積周期のより長いメッセージ復元部13ほど、検出値からメッセージを復元するための閾値を高く設定しても良い。これにより、メッセージ復元部13aよりもメッセージ復元部13b、メッセージ復元部13bよりもメッセージ復元部13cの方が、他の音声と重畳されて生じた劣化の影響を受けにくくなり、劣化によるノイズを適切に除去してメッセージを正しく復元できることとなる。
各メッセージ復元部13により復元されたメッセージは、例えば図1のメインメモリ103やCPU101のキャッシュメモリ等の記憶装置に、それぞれ一時的に保持される。
検出結果出力部14は、例えば図1に示したプログラム制御されたCPU101で実現され、複数のメッセージ復元部13による電子透かしの埋め込まれた音声コンテンツの検出結果を比較統合し、下記の規則にしたがって最終的な検出結果を生成し出力する。
規則1:いずれかのメッセージ復元部13により電子透かしの埋め込まれた音声コンテンツが検出されたならば、電子透かしの埋め込まれた音声コンテンツであると判断し、検出結果を出力する。すなわち、全てのメッセージ復元部13において電子透かしの埋め込まれた音声コンテンツが検出されなかった場合にのみ、その部分を電子透かしの埋め込まれていない音声コンテンツと判断する。
規則2:複数のメッセージ復元部13により電子透かしの埋め込まれた音声コンテンツが検出された場合は、蓄積周期の短いメッセージ復元部13による検出結果を優先させる。すなわち、複数のメッセージ復元部13により復元されたメッセージの内容が矛盾する場合は、蓄積周期の短いメッセージ復元部13により復元されたメッセージを検出結果に採用する。
規則3:所定のメッセージ復元部13により電子透かしの埋め込まれた音声コンテンツが検出されたならば、そのメッセージ復元部13よりも蓄積周期の長い他のメッセージ復元部13による電子透かしの埋め込まれた音声コンテンツの検出を待たずに検出結果を出力する。これは、規則2で蓄積周期の短いメッセージ復元部13による検出結果を優先させるため、蓄積周期のより長いメッセージ復元部13による検出結果は、検出結果出力部14による最終的な検出結果に影響を及ぼさないことによる。
また、検出結果出力部14は、検出結果の統合処理において、各メッセージ復元部13による音声コンテンツの境界検出の結果を統合して適切な境界検出を行う。
図4は、メッセージ復元部13aとメッセージ復元部13bによる境界検出結果を統合する様子を示す図である。なお、メッセージ復元部13aおよびメッセージ復元部13bは、各々の蓄積周期ごとに蓄積された検出値に基づいて透かし情報の有無の判断及び復元を行う。また図示のように、メッセージ復元部13aおよびメッセージ復元部13bは、複数のバッファを用いて、わずかずつ時間をずらしながら、蓄積周期分の検出値の蓄積を行うものとする。これにより、各メッセージ復元部13の蓄積周期単位ではなく、各バッファの蓄積時間のずれを単位として、精度の高い境界検出を行うことができる。
電子透かしの埋め込まれていない音声コンテンツ[1]と、メッセージAが埋め込まれた音声コンテンツ[2]と、メッセージBが埋め込まれた音声コンテンツ[3]とが、[1][3][1][3][2]のように連続しているPCMデータがある場合を考える。
この場合、図4を参照すると、メッセージ復元部13aは、2回出現する音声コンテンツ[3]のうち、先に出現した方の音声コンテンツ[3]を検出できなかったことがわかる。これは、この音声コンテンツ[3]がある程度の長さを有しており、劣化していたために短い蓄積周期で蓄積された検出値からは音声コンテンツ[3]のメッセージBを復元できなかったことを意味している。
しかしながら、この音声コンテンツ[3]のメッセージBは、より長い蓄積周期を持つメッセージ復元部13bによって検出されている。したがって、上述した規則1により、このメッセージ復元部13bによる検出結果に基づいて音声コンテンツの境界が決定される。
一方、メッセージ復元部13bは、PCMデータの最後に出現した音声コンテンツ[2]を検出できなかったことがわかる。これは、この音声コンテンツ[2]が非常に短いために、蓄積周期内に音声コンテンツ[2]の直前に出現した音声コンテンツ[3]が含まれてしまい、検出値に音声コンテンツ[2]のメッセージAと音声コンテンツ[3]のメッセージBとが混在してしまったためにメッセージAを復元できなかったことを意味する。なお、メッセージ復元部13の一般的な動作として、それまでのメッセージと異なるメッセージが復元されるか、またはメッセージが復元されないことが確定するまで、それまでの状態を維持するので、図4におけるメッセージ復元部13bの検出結果は、音声コンテンツ[3]が維持されている。
しかしながら、この音声コンテンツ[2]のメッセージAは、短い蓄積周期を持つメッセージ復元部13aによって検出されている。そのため、上述した規則2により、このメッセージの復元部13aによる検出結果に基づいて音声コンテンツの境界が決定される。
以下、具体的な検出例を挙げて、検出結果出力部14の動作を詳細に説明する。
図5は、各メッセージ復元部13によるメッセージの復元の結果と検出結果出力部14により出力される最終的な検出結果との関係を説明する図である。
図5において、処理対象であるPCMデータ中には、図4の場合と同様に、電子透かしの埋め込まれていない音声コンテンツ[1]と、メッセージAが埋め込まれた音声コンテンツ[2]と、メッセージBが埋め込まれた音声コンテンツ[3]とが含まれている。また、図示の範囲のPCMデータは、境界検出の結果に基づいて、区間Iから区間VIIIまでの8つの区間に分けられている。各区間について検討する。
区間Iでは、各メッセージ復元部13a、13b、13cともメッセージが復元されていないので、最終的な検出結果においてもメッセージの埋め込まれていない音声コンテンツ[1]となっている。
区間IIでは、メッセージ復元部13aによりメッセージAが復元されているため、上述した規則2、3により、区間IIの最終的な検出結果はメッセージAが埋め込まれた音声コンテンツ[2]となっている。また、区間IIの長さは、メッセージ復元部13aの境界検出結果に基づいて決定されている。
区間IIIでは、各メッセージ復元部13a、13b、13cともメッセージが復元されていないので、最終的な検出結果においてもメッセージの埋め込まれていない音声コンテンツ[1]となっている。
区間IVでは、メッセージ復元部13b、13cによりメッセージBが復元されているため、上述した規則1により、区間IVの最終的な検出結果はメッセージBが埋め込まれた音声コンテンツ[3]となっている。また、区間IVの長さは、メッセージ復元部13cの境界検出結果による音声コンテンツ[3]の区間(メッセージBが復元された区間)とメッセージ復元部13bの境界検出結果による音声コンテンツ[3]の区間とが重ね合わされて決定されている。
区間Vでは、各メッセージ復元部13a、13b、13cともメッセージが復元されていないので、最終的な検出結果においてもメッセージの埋め込まれていない音声コンテンツ[1]となっている。
区間VIでは、メッセージ復元部13a、13bによりメッセージBが復元されているため、上述した規則1により、区間VIの最終的な検出結果はメッセージBが埋め込まれた音声コンテンツ[3]となっている。区間VIの長さについては、次の区間VIIと合わせて説明する。
区間VIIでは、メッセージ復元部13aによりメッセージAが復元されている。また、区間VIIの一部で、メッセージ復元部13bによりメッセージBが復元されている。メッセージ復元部13aとメッセージ復元部13bの検出結果が矛盾しているが、上述した規則2により、蓄積周期がより短いメッセージ復元部13aの検出結果が優先され、区間VIIの最終的な検出結果はメッセージAが埋め込まれた音声コンテンツ[2]となっている。
ここで、区間VIおよび区間VIIの長さについて説明する。区間VIと区間VIIとを合わせた区間を想定すると、メッセージ復元部13bは、区間VIから区間VIIの一部にかけてメッセージBを復元しており、この区間を音声コンテンツ[3]の区間として境界検出を行う。一方、メッセージ復元部13aは、メッセージBとメッセージAとを復元しており、メッセージBが復元された区間を音声コンテンツ[3]の区間、メッセージAが復元された区間を音声コンテンツ[2]の区間として境界検出を行う。これらの境界検出結果に対して、規則2、3が適用され、メッセージ復元部13aの境界検出結果に基づいて区間VIおよび区間VIIの長さが決定される。
区間VIIIでは、各メッセージ復元部13a、13b、13cともメッセージが復元されていないので、最終的な検出結果においてもメッセージの埋め込まれていない音声コンテンツ[1]となっている。
以上のように、本実施形態は、異なる蓄積周期を持つ複数のメッセージ復元部13を用いて電子透かしによって音声コンテンツに埋め込まれたメッセージの復元を行う。これにより、時間的に短い音声コンテンツに対しては蓄積周期の短いメッセージ復元部13で対応し、ある程度の長さを有し他の音声の重畳による劣化の可能性がある音声コンテンツに対しては蓄積周期の長いメッセージ復元部13で対応して、音声コンテンツに埋め込まれたメッセージを復元することができる。
また、本実施形態は、時間的に短い音声コンテンツは他の音声を重畳することによる劣化の可能性が少ないため、時間的に短い音声コンテンツに対応する蓄積周期の短いメッセージ復元部13の検出結果を優先する。そして、蓄積周期の短いメッセージ復元部13でメッセージが復元され電子透かしが検出された場合に、他のメッセージ復元部13によるメッセージの復元を待たずに検出結果を出力する。このため、蓄積周期のより長いメッセージ復元部13によるメッセージの復元を待たない分だけ、電子透かしの検出に要する時間を短縮することができる。
[実施形態2]
次に、複数の疑似乱数パターンを用いた電子透かしの埋め込み及び検出を行う実施形態について説明する。
本実施形態による電子透かし埋め込み装置および電子透かし検出装置は、例えば実施形態1において示した、図1のようなコンピュータ装置にて実現される。
図6は、本実施形態の電子透かし埋め込み装置の機能構成を示す図である。
図6を参照すると、本実施形態の電子透かし埋め込み装置20は、音声コンテンツに埋め込む透かし信号を生成する透かし信号生成部21と、生成された透かし信号と元の音声コンテンツとを加算して電子透かし埋め込み済みの音声コンテンツを生成する加算部22とを備える。本実施形態では、複数チャネルからなる音声コンテンツにおける各チャネルの音声データに対して電子透かしを埋め込む。図6に示した構成は、1つのチャネルの音声データに対して電子透かしを埋め込むための構成である。また、各チャネルに対する電子透かしの埋め込み方法は、既存の電子透かし技術における埋め込み方法を用いることができる。
図7は、音楽コンテンツに対する一般的な電子透かしの埋め込み手順を示すフローチャートである。
図7に示すように、まず透かし信号生成部21が、処理対象であるPCMデータを入力し(ステップ701)、入力データに対してフーリエ変換を行ってその周波数成分を抽出して聴覚モデルを得る(ステップ702)。そして、この聴覚モデルを用いて知覚不能な非可聴変更量を求める(ステップ703)。次に、透かし信号生成部21は、予め定められた鍵を用いて乱数発生装置により発生させた疑似乱数系列と、ステップ703で得られた非可聴変更量とに基づきステップ702で抽出されたPCMデータの周波数成分を変更して周波数領域における透かし信号を生成する(ステップ704)。そして、得られた周波数領域の透かし信号を逆フーリエ変換して、時間領域の透かし信号を生成する(ステップ705)。
透かし信号が生成されたならば、加算部22が、処理対象であるPCMデータと透かし信号生成部21により生成された時間領域の透かし信号とを加算して、電子透かし埋め込み済みのPCMデータを生成する(ステップ706)。
ここで、本実施形態では、各チャネルのPCMデータに対して、上記の手順で電子透かしの埋め込みを行うのであるが、ステップ704において、透かし信号生成部21は、各チャネルに対して複数の鍵を用いて疑似乱数系列を生成し、透かし信号を生成する。したがって、各チャネルに埋め込まれる電子透かしは、メッセージは同一であるが、元のPCMデータに加算されている透かし信号は異なるものとなっている。なお、各チャネルのデータに加算される透かし信号を全て異なるものにするため、鍵の数は、音声コンテンツのチャネル数と同数とする。
図8は、本実施形態の電子透かし検出装置の機能構成を示す図である。
図8を参照すると、本実施形態の電子透かし検出装置30は、音声コンテンツの各チャネルのデータから透かし信号を検出する透かし信号検出部31と、透かし信号検出部31により検出された透かし信号の検出値を加算する検出値加算部32および比較選択部33と、得られた透かし信号を蓄積し蓄積された透かし信号からメッセージを復元する複数のメッセージ復元部34とを備える。
本実施形態では、上述したように、音声コンテンツの複数のチャネルに対して、複数の鍵を用いて生成された透かし信号により電子透かしが埋め込まれている。そこで、本実施形態の電子透かし検出装置30は、音声コンテンツの各チャネルのデータに対し、電子透かしの埋め込みに用いられた各鍵を用いて透かし信号の検出を行う。そして、得られた検出値をあり得る種々の組合せで合成し、適切なものを選択してメッセージの復元を行う。以下では、簡単のため、音声コンテンツは2チャネル(チャネルLおよびチャネルR)のステレオ録音によるものとし、2つの鍵(K1、K2)によって生成された透かし信号を用いて各チャネルのデータに電子透かしが埋め込まれている場合を例として説明する。
透かし信号検出部31は、例えば図1に示したプログラム制御されたCPU101で実現され、音声コンテンツのデータに埋め込まれた透かし信号を検出する。透かし信号の検出方法は、既存の電子透かし技術における検出方法、例えば実施形態1において説明した図3に示す手順による検出方法を用いることができる。得られた検出値は、例えば図1のメインメモリ103やCPU101のキャッシュメモリ等の記憶装置に一時的に保持される。
ここで、本実施形態では、2チャネル(L、R)のデータに各々異なる鍵(K1、K2)を用いて生成された透かし信号を検出する必要がある。2チャネルのどちらのデータにどの鍵を用いて電子透かしが埋め込まれているかは分からないので、各チャネルのデータに対して、鍵K1を用いて透かし信号の検出を行う透かし信号検出部31と、鍵K2を用いて透かし信号の検出を行う透かし信号検出部31とがそれぞれ用意される。図8には、各チャネルに対して2個の透かし信号検出部31が設けられるので、4個の透かし信号検出部31が記載されている。以下、これらの透かし信号検出部31を区別する場合は、チャネルと鍵の種別を添え字として付し、透かし信号検出部31LK1、透かし信号検出部31RK2などと表記するが、これらを区別する必要がない場合は、単に透かし信号検出部31と表記する。
なお、上述したように図8には4個の透かし信号検出部31が記載されているが、一般には、チャネル数をnとすれば、鍵の数もnであるので、n2個の透かし信号検出部31を用意することが必要である。
また、どのチャネルのデータに対しどの鍵を用いて電子透かしの埋め込みを行ったかを示す情報を、電子透かし埋め込み装置20から電子透かし検出装置30に提供することにより、透かし信号検出部31の数を減らす構成も考えられる。しかし、音声コンテンツが配信される経路上の機器においてケーブルが差し替えられるだけで各チャネルのデータが入れ替わってしまうことを考慮すると、上記4個の透かし信号検出部31を用意することが好ましい。
検出値加算部32は、例えば図1に示したプログラム制御されたCPU101で実現され、上述した複数の透かし信号検出部31によって得られた透かし信号の検出値を、可能な全ての組合せで加算する。計算された検出値は、例えば図1のメインメモリ103やCPU101のキャッシュメモリ等の記憶装置に一時的に保持される。
ここで、2チャネル(L、R)のデータに各々異なる鍵(K1、K2)を用いて電子透かしが埋め込まれている場合、各チャネルのデータには異なる鍵が用いられたことが分かっているので、可能な組合せとしては、透かし信号検出部31LK1の検出値と透かし信号検出部31RK2の検出値の組合せ、および透かし信号検出部31LK2の検出値と透かし信号検出部31RK1の検出値の組合せの2通りである。したがって、図8に示すように、これら2通りの組合せで検出値の加算を行う2つの検出値加算部32が用意されることとなる。
一般には、同じチャネルまたは同じ鍵の組合せはあり得ないので、可能な組合せはn!であり、n!個の検出値加算部32を用意することが必要である。
ところで、電子透かしの検出対象である音声コンテンツが元々上記の2チャネルのステレオコンテンツでありながら、1チャネルのモノラルコンテンツとして入力された場合、あり得る組合せは、上記の場合と異なる。
図9は、モノラルコンテンツを対象として電子透かしを検出するための透かし信号検出部31と検出値加算部32との構成例を示す図である。
このモノラルコンテンツには、上記の場合と同様に鍵K1または鍵K2を用いて生成された透かし信号により電子透かしが埋め込まれているので、1チャネル(チャネルM)のデータに対して、鍵K1を用いて透かし信号の検出を行う透かし信号検出部31MK1と、鍵K2を用いて透かし信号の検出を行う透かし信号検出部31MK2の2個の透かし信号検出部31が用いられる。
2チャネルのステレオコンテンツが1チャネルのモノラルコンテンツに変換される態様としては、2チャネルのデータが加算される場合と、2チャネルのデータのいずれか一方が削除される場合とがある。そのため、モノラルコンテンツには、鍵K1および鍵K2を用いた電子透かしが両方とも埋め込まれている場合と、鍵K1を用いた電子透かしが埋め込まれている場合と、鍵K2を用いた電子透かしが埋め込まれている場合とがある。そこで、透かし信号検出部31MK1の検出値と透かし信号検出部31MK2の検出値の組合せで加算を行う検出値加算部32と、透かし信号検出部31MK1の検出値を入力しそのまま出力する検出値加算部32と、透かし信号検出部31MK2の検出値を入力しそのまま出力する検出値加算部32とが用意されることとなる。なお、透かし信号検出部31MK1の検出値と透かし信号検出部31MK2の検出値をそのまま出力する検出値加算部32は、必須の構成要素ではなく、透かし信号検出部31MK1および透かし信号検出部31MK2の検出値をそのまま記憶装置に保持させて後述の比較選択部33に処理させることも可能である。
比較選択部33は、例えば図1に示したプログラム制御されたCPU101で実現され、各検出値加算部32の出力を比較し、最良の検出値を選択して出力する。選択された最良の検出値は、例えば図1のメインメモリ103やCPU101のキャッシュメモリ等の記憶装置に一時的に保持される。
最良の検出値を選択する手法としては、種々の方法が考えられるが、例えば次の方法を採用することができる。
・検出値の絶対値の和が最大であるものを最良の検出値とする。
・検出値の2乗和が最大であるものを最良の検出値とする。
・検出値に対してエラー訂正を行い、エラーが起きているビットの数が最小のものを最良の検出値とする。
・検出値に対してエラー訂正を行い、個々のビットの正しい符号を求めてSNR(Signal-to-Noise ratio:信号対雑音比)を計算し、得られたSNRが最大のものを最良の検出値とする。
メッセージ復元部34は、例えば図1に示したプログラム制御されたCPU101で実現され、比較選択部33にて選択された最良の検出値を、メインメモリ103等で実現されるバッファに一定時間分蓄積し、蓄積され強め合わされた検出値に基づいてメッセージの復元を行う。すなわち、入力した検出値(PCMデータの周波数成分の平均振幅と鍵を用いて発生させた疑似乱数系列との相関係数)が予め設定された閾値よりも大きければ、電子透かしが埋め込まれていると判断し、かかる検出値からメッセージを復元する。メッセージの復元方法は、既存の電子透かし技術における復元方法を用いることができる。また、メッセージ復元部34は、それぞれのメッセージの復元結果に基づいて音声コンテンツの境界検出を行う。そして、復元されたメッセージと境界検出結果が最終的な検出結果として出力される。
以上のようにして、複数の疑似乱数パターンを用いた電子透かしの埋め込みと、かかる電子透かしの検出が実現される。上述したように、複数の鍵による疑似乱数パターンを用いて埋め込まれた電子透かしは、それぞれ埋め込みの際に用いられた鍵による疑似乱数パターンによって処理されたデータから検出される。すなわち、複数のチャネルのデータから透かし信号を検出するために、透かし信号検出部31において、各チャネルのデータに対して異なる鍵による異なる処理が施されることとなる。そのため、音声コンテンツにナレーション等のモノラルに近い音声が重畳されていた場合であっても、この重畳された音声は、鍵を用いて発生させた疑似乱数パターンによる処理を経てチャネルごとに全く異なるデータ列となり、相関が低くなる。したがって、検出値加算部32において加算されることにより、検出値中の透かし信号の成分は強め合うが、音声コンテンツに重畳された音声データの成分は強め合うことがないので、透かし信号を検出することが容易となる。
なお、本実施形態では、音声コンテンツの複数チャネルの各データに対し、相異なる鍵を用いて生成された透かし信号により電子透かしを埋め込むこととしたが、音声コンテンツが2チャネルのステレオコンテンツである場合、1つの鍵を用いて発生させた疑似乱数系列を正負逆転させて2つの疑似乱数系列として用い、透かし信号を生成して各チャネルのデータに埋め込むようにしても良い。このようにすれば、電子透かしの検出時に、各チャネルにおける透かし信号検出部31の検出値の差分を取ることにより、音声コンテンツに重畳されたモノラルの音声の影響を打ち消し合わせ、検出値における透かし信号の成分のみを強め合わせることができ、透かし信号の検出がさらに容易となる。
また、各チャネルのデータに透かし信号を埋め込む際、いわゆる暗号化における置換(permutation)を行うことも可能である。この場合、透かし信号検出部31の検出値を検出値加算部32で加算する際に置換(permutation)を行って透かし情報の復号を行うこととなる。このようにすれば、電子透かしのセキュリティを向上させることができる。
また、複数チャネルのそれぞれに全く別の音声コンテンツが録音されている場合、各チャネルのデータからの検出値を加算しても、検出値中の透かし信号の成分が適切に強め合わない可能性も考えられる。そこで、電子透かしの検出対象としてこのような音声コンテンツが入力される可能性のある使用環境下では、各チャネルのデータからの検出値を加算した値だけでなく、各チャネルのデータからの検出値そのものも、比較選択部33における処理の対象とすることが好ましい。
なお、図8に示した本実施形態による電子透かし検出装置30の機能構成では、検出値加算部32で各チャネルおよび各鍵の可能な組合せごとに加算された検出値の各加算結果を比較選択部33が比較して1つの加算結果を選択し、選択された加算結果からメッセージ復元部34が電子透かしのメッセージの復元を行うこととしたが、メッセージを復元した後に最良の復元結果を選択して出力する構成とすることもできる。
図10は、メッセージを復元した後に最良の復元結果を選択して出力する場合の機能構成を示す図である。
図10において、透かし信号検出部31および検出値加算部32は、図8を参照して説明した透かし信号検出部31および検出値加算部32と同様であるので、同一の符号を付して説明を省略する。
メッセージ復元部41は、例えば図1のプログラム制御されたCPU101で実現され、検出値加算部32に対応して複数設けられる。そして、複数の検出値加算部32による加算結果をそれぞれ入力し、メインメモリ103等で実現されるバッファに一定時間分蓄積し、蓄積され強め合わされた検出値に基づいてメッセージの復元を行う。メッセージの復元方法については、図8に示したメッセージ復元部34と同様に、既存の電子透かし技術における復元方法を用いることができる。また、メッセージ復元部41は、それぞれのメッセージの復元結果に基づいて音声コンテンツの境界検出を行う。復元されたメッセージは、例えば図1のメインメモリ103やCPU101のキャッシュメモリ等の記憶装置に一時的に保持される。
比較選択部42は、例えば図1のプログラム制御されたCPU101で実現され、複数のメッセージ復元部41によるメッセージの復元結果を比較し、適当な一連のメッセージを選択して出力する。メッセージの選択方法としては、種々の方法が考えられる。例えば、電子透かし埋め込み装置20により埋め込まれたメッセージを電子透かし検出装置30に予め与えておき、このメッセージと各メッセージ復元部41により復元されたメッセージとをそれぞれ比較して一致するものを選ぶことができる。また、電子透かしの使用目的(例えばコンテンツの出所表示)等に基づいて意味のあるメッセージか否かを判断し、意味のあるメッセージを選択することもできる。
以上、複数の蓄積周期を用いて電子透かしの検出を行う実施形態1、複数の疑似乱数パターンを用いた電子透かしの埋め込み及び検出を行う実施形態2について説明したが、これらを組み合わせて電子透かし検出装置を構成することも可能である。
図11は、実施形態1の電子透かし検出装置10の構成と実施形態2における図8に示した電子透かし検出装置30の構成とを組み合わせた電子透かし検出装置の構成例を示す図である。
図11に示すように、この電子透かし検出装置は、音声コンテンツの各チャネルのデータから複数のキーにより発生させた疑似乱数系列を用いて透かし信号を検出する透かし信号検出部31と、透かし信号検出部31により検出された透かし信号の検出値を加算する検出値加算部32および比較選択部33とを備えると共に、比較選択部33により選択された最良の検出値を複数の蓄積周期で蓄積し蓄積された透かし信号からメッセージを復元する複数のメッセージ復元部13と、各メッセージ復元部13の復元結果を比較処理して最終的な検出結果として出力する検出結果出力部14とを備える。
なお、透かし信号検出部31、検出値加算部32および比較選択部33は、実施形態2において説明した透かし信号検出部31、検出値加算部32および比較選択部33と同様であり、メッセージ復元部13および検出結果出力部14は、実施形態1において説明したメッセージ復元部13および検出結果出力部14と同様である。したがって、それぞれ同一の符号を付して、詳細な説明を省略する。
図11の電子透かし検出装置においても、図10に示した構成例のように、メッセージを復元した後に最良の復元結果を選択して出力する構成とすることもできる。
図12は、実施形態1の電子透かし検出装置10の構成と実施形態2における図8に示した電子透かし検出装置30の構成とを組み合わせ、かつメッセージを復元した後に最良の復元結果を選択して出力する場合の機能構成を示す図である。
図12において、透かし信号検出部31および検出値加算部32は、実施形態2において説明した透かし信号検出部31および検出値加算部32と同様であり、検出結果出力部14は、実施形態1において説明した検出結果出力部14と同様である。したがって、それぞれ同一の符号を付して、詳細な説明を省略する。
メッセージ復元部51は、例えば図1のプログラム制御されたCPU101で実現され、検出値加算部32に対応して、かつ図2に示した実施形態1のメッセージ復元部13と同様に、複数設けてある。すなわち図12の例では、各検出値加算部32の出力ごとに基準の蓄積周期、基準の2倍の蓄積周期、基準の4倍の蓄積周期を持つ3種類のメッセージ復元部51を設けており、合計で6個のメッセージ復元部51が設けられている。
比較選択部52は、例えば図1のプログラム制御されたCPU101で実現され、メッセージ復元部51の相異なる蓄積周期に応じて複数設けられる。そして、蓄積周期ごとに複数のメッセージ復元部51によるメッセージの復元結果を入力して比較し、適当な一連のメッセージを選択して出力する。各比較選択部52の出力は、それぞれ検出結果出力部14に入力されて比較統合され、実施形態1において説明した規則1〜3と同様の規則に基づいて最終的な検出結果が生成されることとなる。
実施形態1及び実施形態2における装置を実現するのに好適なコンピュータ装置のハードウェア構成の例を模式的に示した図である。 実施形態1の電子透かし検出装置の機能構成を示す図である。 音楽コンテンツに対する一般的な透かし信号の検出手順を示すフローチャートである。 実施形態1における複数のメッセージ復元部による境界検出結果を統合する様子を示す図である。 実施形態1における各メッセージ復元部によるメッセージの復元の結果と検出結果出力部により出力される最終的な検出結果との関係を説明する図である。 実施形態2の電子透かし埋め込み装置の機能構成を示す図である。 音楽コンテンツに対する一般的な電子透かしの埋め込み手順を示すフローチャートである。 実施形態2の電子透かし検出装置の機能構成を示す図である。 実施形態2において、モノラルコンテンツを対象として電子透かしを検出するための透かし信号検出部と検出値加算部との構成例を示す図である。 実施形態2において、メッセージを復元した後に最良の復元結果を選択して出力する場合の機能構成を示す図である。 実施形態1、2のそれぞれの電子透かし検出装置の構成を組み合わせた電子透かし検出装置の構成例を示す図である。 実施形態1、2のそれぞれの電子透かし検出装置の構成を組み合わせ、かつメッセージを復元した後に最良の復元結果を選択して出力する場合の機能構成を示す図である。
符号の説明
10、30…電子透かし検出装置、11、31…透かし信号検出部、12、32…検出値加算部、13、34、41、51…メッセージ復元部、14…検出結果出力部、20…電子透かし埋め込み装置、21…透かし信号生成部、22…加算部、33、42、52…比較選択部、101…CPU(Central Processing Unit:中央処理装置)、103…メインメモリ、105…磁気ディスク装置(HDD)

Claims (25)

  1. 鍵を用いて発生させた疑似乱数系列を用いて音声コンテンツの周波数成分を処理することにより当該音声コンテンツに埋め込まれた電子透かしを検出する電子透かし検出装置において、
    音声コンテンツのチャネルごとのPCMデータに対し、当該PCMデータの周波数成分と電子透かしの埋め込みに用いられた複数の鍵により発生させた疑似乱数系列との相関係数である検出値をそれぞれ計算する複数の透かし信号検出部と、
    前記複数の透かし信号検出部により計算された各チャネルおよび各鍵に対応する前記検出値を、各チャネルおよび各鍵の可能な組合せごとに加算する複数の検出値加算部と、
    前記複数の検出値加算部による各加算結果を入力して比較し、1つの加算結果を選択して出力する比較選択部と、
    前記比較選択部から出力された検出値の加算結果から電子透かしとして埋め込まれたメッセージを復元し、電子透かしの埋め込まれた音声コンテンツの検出を行うメッセージ復元部と
    を備えることを特徴とする電子透かし検出装置。
  2. 前記複数の検出値加算部には、1つの前記透かし信号検出部により計算された前記検出値を他の前記透かし信号検出部により計算された検出値と加算せずにそのまま出力する検出値加算部が含まれることを特徴とする請求項1に記載の電子透かし検出装置。
  3. 前記比較選択部は、入力した前記複数の検出値加算部による加算結果のうち、検出値の絶対値の和が最大であるものを選択して出力することを特徴とする請求項1に記載の電子透かし検出装置。
  4. 前記比較選択部は、入力した前記複数の検出値加算部による加算結果のうち、検出値の2乗和が最大であるものを選択して出力することを特徴とする請求項1に記載の電子透かし検出装置。
  5. 前記比較選択部は、入力した前記複数の検出値加算部による加算結果に対してエラー訂正を行い、エラーが起きているビットの数が最小のものを選択して出力することを特徴とする請求項1に記載の電子透かし検出装置。
  6. 前記比較選択部は、入力した前記複数の検出値加算部による加算結果に対してエラー訂正を行い、個々のビットの正しい符号を求めてSNR(Signal-to-Noise ratio:信号対雑音比)を計算し、得られたSNRが最大のものを選択して出力することを特徴とする請求項1に記載の電子透かし検出装置。
  7. 前記メッセージ復元部は、前記比較選択部から出力された前記検出値を相異なる蓄積周期で蓄積し、蓄積された各々の検出値から電子透かしとして埋め込まれたメッセージを復元し、電子透かしの埋め込まれた音声コンテンツの検出を行う複数のメッセージ復元部であり、
    前記複数のメッセージ復元部による各処理結果を入力し、各処理結果における電子透かしの埋め込まれた音声コンテンツの検出結果を合成して出力する検出結果出力部をさらに備えることを特徴とする請求項1に記載の電子透かし検出装置。
  8. 鍵を用いて発生させた疑似乱数系列を用いて音声コンテンツの周波数成分を処理することにより当該音声コンテンツに埋め込まれた電子透かしを検出する電子透かし検出装置において、
    音声コンテンツのチャネルごとのPCMデータに対し、当該PCMデータの周波数成分と電子透かしの埋め込みに用いられた複数の鍵により発生させた疑似乱数系列との相関係数である検出値をそれぞれ計算する複数の透かし信号検出部と、
    前記複数の透かし信号検出部により計算された各チャネルおよび各鍵に対応する前記検出値を、各チャネルおよび各鍵の可能な組合せごとに加算する複数の検出値加算部と、
    前記複数の検出値加算部による加算結果をそれぞれ入力し、電子透かしとして埋め込まれたメッセージを復元する複数のメッセージ復元部と、
    前記複数のメッセージ復元部による前記メッセージの復元結果を入力して比較し、一連のメッセージを選択して出力する比較選択部と
    を備えることを特徴とする電子透かし検出装置。
  9. 鍵を用いて発生させた疑似乱数系列を用いて音声コンテンツの周波数成分を処理することにより当該音声コンテンツに埋め込まれた電子透かしを検出する電子透かし検出装置において、
    音声コンテンツのPCMデータの周波数成分と電子透かしの埋め込みに用いられた鍵により発生させた疑似乱数系列との相関係数である検出値を計算する透かし信号検出部と、
    前記透かし信号検出部により計算された前記検出値を異なる蓄積周期で蓄積し蓄積された検出値から電子透かしとして埋め込まれたメッセージを復元し、電子透かしの埋め込まれた音声コンテンツの検出を行う複数のメッセージ復元部と、
    前記複数のメッセージ復元部による各処理結果を入力し、各処理結果における電子透かしの埋め込まれた音声コンテンツの検出結果を合成して出力する検出結果出力部と
    を備えることを特徴とする電子透かし検出装置。
  10. 前記検出結果出力部は、いずれかの前記メッセージ復元部により電子透かしの埋め込まれた音声コンテンツが検出されたならば、電子透かしの埋め込まれた音声コンテンツであると判断し、全ての前記メッセージ復元部においても電子透かしの埋め込まれた音声コンテンツが検出されない部分を、電子透かしの埋め込まれていない音声コンテンツと判断することを特徴とする請求項9に記載の電子透かし検出装置。
  11. 前記検出結果出力部は、複数の前記メッセージ復元部により電子透かしの埋め込まれた音声コンテンツが検出された場合は、蓄積周期の短い前記メッセージ復元部による検出結果を優先させることを特徴とする請求項9に記載の電子透かし検出装置。
  12. 前記検出結果出力部は、所定の前記メッセージ復元部により電子透かしの埋め込まれた音声コンテンツが検出されたならば、当該メッセージ復元部よりも蓄積周期の長い他のメッセージ復元部による検出を待たずに、当該メッセージ復元部による検出結果を出力することを特徴とする請求項9に記載の電子透かし検出装置。
  13. 鍵を用いて発生させた疑似乱数系列を用いて音声コンテンツの周波数成分を処理することにより当該音声コンテンツに埋め込まれた電子透かしを、コンピュータが検出する電子透かし検出方法であって、
    前記コンピュータが、音声コンテンツのチャネルごとのPCMデータに対し、当該PCMデータの周波数成分と電子透かしの埋め込みに用いられた複数の鍵により発生させた疑似乱数系列との相関係数である検出値をそれぞれ計算し、記憶手段に格納する第1のステップと、
    前記コンピュータが、計算された各チャネルおよび各鍵に対応する前記検出値を、各チャネルおよび各鍵の可能な組合せごとに加算し、記憶手段に格納する第2のステップと、
    前記コンピュータが、各チャネルおよび各鍵の組合せごとの各加算結果を入力して比較し、1つの加算結果を選択して出力する第3のステップと、
    前記コンピュータが、選択して出力された前記検出値の加算結果から電子透かしとして埋め込まれたメッセージを復元し、電子透かしの埋め込まれた音声コンテンツの検出を行う第4のステップと
    を含むことを特徴とする電子透かし検出方法。
  14. 前記第3のステップでは、入力した前記各チャネルおよび各鍵の可能な組合せごとの加算結果のうち、検出値の絶対値の和が最大であるものを選択して出力することを特徴とする請求項13に記載の電子透かし検出方法。
  15. 前記第3のステップでは、入力した前記各チャネルおよび各鍵の可能な組合せごとの加算結果のうち、検出値の2乗和が最大であるものを選択して出力することを特徴とする請求項13に記載の電子透かし検出方法。
  16. 前記第3のステップでは、入力した前記各チャネルおよび各鍵の可能な組合せごとの加算結果に対してエラー訂正を行い、エラーが起きているビットの数が最小のものを選択して出力することを特徴とする請求項13に記載の電子透かし検出方法。
  17. 前記第3のステップでは、入力した前記各チャネルおよび各鍵の可能な組合せごとの加算結果に対してエラー訂正を行い、個々のビットの正しい符号を求めてSNR(Signal-to-Noise ratio:信号対雑音比)を計算し、得られたSNRが最大のものを選択して出力することを特徴とする請求項13に記載の電子透かし検出方法。
  18. 鍵を用いて発生させた疑似乱数系列を用いて音声コンテンツの周波数成分を処理することにより当該音声コンテンツに埋め込まれた電子透かしを、コンピュータが検出する電子透かし検出方法であって、
    前記コンピュータが、音声コンテンツのチャネルごとのPCMデータに対し、当該PCMデータの周波数成分と電子透かしの埋め込みに用いられた複数の鍵により発生させた疑似乱数系列との相関係数である検出値をそれぞれ計算し、記憶手段に格納する第1のステップと、
    前記コンピュータが、計算された各チャネルおよび各鍵に対応する前記検出値を、各チャネルおよび各鍵の可能な組合せごとに加算し、記憶手段に格納する第2のステップと、
    前記コンピュータが、各チャネルおよび各鍵の組合せごとの各加算結果から、電子透かしとして埋め込まれたメッセージをそれぞれ復元し、記憶手段に格納する第3のステップと、
    前記コンピュータが、前記各加算結果から復元された前記メッセージを入力して比較し、一連のメッセージを選択して出力する第4のステップと
    を含むことを特徴とする電子透かし検出方法。
  19. 鍵を用いて発生させた疑似乱数系列を用いて音声コンテンツの周波数成分を処理することにより当該音声コンテンツに埋め込まれた電子透かしを、コンピュータが検出する電子透かし検出方法であって、
    前記コンピュータが、音声コンテンツのPCMデータの周波数成分と電子透かしの埋め込みに用いられた鍵により発生させた疑似乱数系列との相関係数である検出値を計算し、記憶手段に格納する第1のステップと、
    前記コンピュータが、計算された前記検出値を異なる蓄積周期で蓄積し蓄積された検出値から電子透かしとして埋め込まれたメッセージを復元し、電子透かしの埋め込まれた音声コンテンツの検出を行い、検出結果を記憶手段に格納する第2のステップと、
    前記コンピュータが、複数の蓄積周期に基づく前記検出結果を入力し、各処理結果における電子透かしの埋め込まれた音声コンテンツの検出結果を合成して出力する第3のステップと
    を含むことを特徴とする電子透かし検出方法。
  20. 前記第3のステップでは、いずれかの蓄積周期を用いた検出で電子透かしの埋め込まれた音声コンテンツが検出されたならば、電子透かしの埋め込まれた音声コンテンツであると判断し、いずれの蓄積周期を用いた検出でも電子透かしの埋め込まれた音声コンテンツが検出されない部分を、電子透かしの埋め込まれていない音声コンテンツと判断することを特徴とする請求項19に記載の電子透かし検出方法。
  21. 前記第3のステップでは、相異なる複数の蓄積周期を用いた検出で電子透かしの埋め込まれた音声コンテンツが検出された場合は、短い蓄積周期を用いた検出における検出結果を優先させることを特徴とする請求項19に記載の電子透かし検出方法。
  22. 前記第3のステップでは、所定の蓄積周期を用いた検出で電子透かしの埋め込まれた音声コンテンツが検出されたならば、当該蓄積周期よりも長い他の蓄積周期を用いた検出の結果を待たずに、当該蓄積周期における検出結果を出力することを特徴とする請求項19に記載の電子透かし検出方法。
  23. コンピュータに、
    音声コンテンツのチャネルごとのPCMデータに対し、当該PCMデータの周波数成分と電子透かしの埋め込みに用いられた複数の鍵により発生させた疑似乱数系列との相関係数である検出値をそれぞれ計算し、記憶手段に格納する第1の処理と、
    計算された各チャネルおよび各鍵に対応する前記検出値を、各チャネルおよび各鍵の可能な組合せごとに加算し、記憶手段に格納する第2の処理と、
    各チャネルおよび各鍵の組合せごとの各加算結果を入力して比較し、1つの加算結果を選択して出力する第3の処理と、
    選択して出力された前記検出値の加算結果から電子透かしとして埋め込まれたメッセージを復元し、電子透かしの埋め込まれた音声コンテンツの検出を行う第4の処理と
    を実行させることを特徴とするプログラム。
  24. コンピュータに、
    音声コンテンツのチャネルごとのPCMデータに対し、当該PCMデータの周波数成分と電子透かしの埋め込みに用いられた複数の鍵により発生させた疑似乱数系列との相関係数である検出値をそれぞれ計算し、記憶手段に格納する第1の処理と、
    計算された各チャネルおよび各鍵に対応する前記検出値を、各チャネルおよび各鍵の可能な組合せごとに加算し、記憶手段に格納する第2の処理と、
    各チャネルおよび各鍵の組合せごとの各加算結果から、電子透かしとして埋め込まれたメッセージをそれぞれ復元し、記憶手段に格納する第3の処理と、
    前記各加算結果から復元された前記メッセージを入力して比較し、一連のメッセージを選択して出力する第4の処理と
    を実行させることを特徴とするプログラム。
  25. コンピュータに、
    音声コンテンツのPCMデータの周波数成分と電子透かしの埋め込みに用いられた鍵により発生させた疑似乱数系列との相関係数である検出値を計算し、記憶手段に格納する第1の処理と、
    計算された前記検出値を異なる蓄積周期で蓄積し蓄積された検出値から電子透かしとして埋め込まれたメッセージを復元し、電子透かしの埋め込まれた音声コンテンツの検出を行い、検出結果を記憶手段に格納する第2の処理と、
    複数の蓄積周期に基づく前記検出結果を入力し、各処理結果における電子透かしの埋め込まれた音声コンテンツの検出結果を合成して出力する第3の処理と
    を実行させることを特徴とするプログラム。
JP2004099592A 2004-03-30 2004-03-30 電子透かし検出装置、その検出方法及びプログラム Expired - Fee Related JP4197307B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004099592A JP4197307B2 (ja) 2004-03-30 2004-03-30 電子透かし検出装置、その検出方法及びプログラム
US11/087,298 US20050234728A1 (en) 2004-03-30 2005-03-23 Audio content digital watermark detection
US12/140,750 US8055505B2 (en) 2004-03-30 2008-06-17 Audio content digital watermark detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004099592A JP4197307B2 (ja) 2004-03-30 2004-03-30 電子透かし検出装置、その検出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2005284085A JP2005284085A (ja) 2005-10-13
JP4197307B2 true JP4197307B2 (ja) 2008-12-17

Family

ID=35097402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004099592A Expired - Fee Related JP4197307B2 (ja) 2004-03-30 2004-03-30 電子透かし検出装置、その検出方法及びプログラム

Country Status (2)

Country Link
US (2) US20050234728A1 (ja)
JP (1) JP4197307B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239981B2 (en) 2002-07-26 2007-07-03 Arbitron Inc. Systems and methods for gathering audience measurement data
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US8582729B2 (en) * 2006-02-24 2013-11-12 Qualcomm Incorporated System and method of controlling a graphical user interface at a wireless device
JP2008140461A (ja) * 2006-11-30 2008-06-19 Toshiba Corp ウォーターマーク検出装置
US8121830B2 (en) 2008-10-24 2012-02-21 The Nielsen Company (Us), Llc Methods and apparatus to extract data encoded in media content
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8359205B2 (en) * 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
AU2013203838B2 (en) * 2008-10-24 2016-09-08 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8508357B2 (en) 2008-11-26 2013-08-13 The Nielsen Company (Us), Llc Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking
AU2010242814B2 (en) 2009-05-01 2014-07-31 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
TWI450266B (zh) * 2011-04-19 2014-08-21 Hon Hai Prec Ind Co Ltd 電子裝置及音頻資料的解碼方法
US9967600B2 (en) * 2011-05-26 2018-05-08 Nbcuniversal Media, Llc Multi-channel digital content watermark system and method
WO2013017966A1 (en) * 2011-08-03 2013-02-07 Nds Limited Audio watermarking
US20150039321A1 (en) 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US9418395B1 (en) 2014-12-31 2016-08-16 The Nielsen Company (Us), Llc Power efficient detection of watermarks in media signals
US9818414B2 (en) * 2015-06-04 2017-11-14 Intel Corporation Dialogue system with audio watermark
JP6940500B2 (ja) * 2015-08-19 2021-09-29 サウンドペイズ・インコーポレイテッド オーディオ信号媒介相互作用のシステムおよび方法
US11949711B2 (en) * 2019-07-08 2024-04-02 Caci International, Inc. Systems and methods for securing information
CN112801844A (zh) * 2021-01-19 2021-05-14 广州数智网络科技有限公司 一种高保真半脆弱二维矢量图可逆水印

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4423419A (en) * 1980-10-20 1983-12-27 Megapulse Incorporated Pulsed, pseudo random position fixing radio navigation method and system and the like
US5303294A (en) * 1991-06-18 1994-04-12 Matsushita Electric Industrial Co., Ltd. Video theater system and copy preventive method
US7107451B2 (en) * 1996-07-02 2006-09-12 Wistaria Trading, Inc. Optimization methods for the insertion, protection, and detection of digital watermarks in digital data
WO2000057399A1 (fr) * 1999-03-19 2000-09-28 Sony Corporation Procede d'inclusion d'information additionnelle et dispositif a cet effet, et procede de decodage d'information additionnelle et dispositif a cet effet
EP1164543B1 (en) * 2000-06-14 2017-08-09 Panasonic Intellectual Property Corporation of America Digital information embedding/extracting
FR2812502B1 (fr) * 2000-07-25 2002-12-20 Canon Kk Insertion et extraction de message dans des donnees numeriques
WO2002049363A1 (en) * 2000-12-15 2002-06-20 Agency For Science, Technology And Research Method and system of digital watermarking for compressed audio
US8332954B2 (en) * 2001-10-01 2012-12-11 The Hong Kong University Of Science And Technology Methods for embedding data in digital audio data
US7152021B2 (en) * 2002-08-15 2006-12-19 Digimarc Corporation Computing distortion of media signals embedded data with repetitive structure and log-polar mapping
US20060052887A1 (en) * 2003-05-16 2006-03-09 Toshifumi Sakaguchi Audio electronic watermarking device

Also Published As

Publication number Publication date
US20050234728A1 (en) 2005-10-20
US20090022361A1 (en) 2009-01-22
US8055505B2 (en) 2011-11-08
JP2005284085A (ja) 2005-10-13

Similar Documents

Publication Publication Date Title
JP4197307B2 (ja) 電子透かし検出装置、その検出方法及びプログラム
JP3511502B2 (ja) データ加工検出システム、付加情報埋め込み装置、付加情報検出装置、デジタルコンテンツ、音楽コンテンツ処理装置、付加データ埋め込み方法、コンテンツ加工検出方法、記憶媒体及びプログラム伝送装置
Swanson et al. Robust audio watermarking using perceptual masking
Kalker Considerations on watermarking security
Kirovski et al. Robust covert communication over a public audio channel using spread spectrum
JP2005523592A (ja) ロバスト特性を用いた透かしの完全性の向上
Kirovski et al. Spread-spectrum audio watermarking: requirements, applications, and limitations
JP4660275B2 (ja) 音響信号に対する情報の埋め込み装置および方法
CN106576212B (zh) 生成并回放复制保护的波场合成音频呈现的方法及装置
US6696989B2 (en) Data-update apparatus, reproduction apparatus, data-addition apparatus, data-detection apparatus and data-removal apparatus
JP2003208187A (ja) 情報更新装置、再生装置、情報付加装置、情報検出装置、情報除去装置
JP4629495B2 (ja) 音響信号に対する情報の埋め込み装置および方法
JP2006513660A (ja) 複数のウォーターマークの埋込み
JP4094842B2 (ja) データ検出及び再生装置
JP2006195061A (ja) 音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置および音響信号再生装置
JP2005518694A (ja) 結託に強い電子透かし
JP3623936B2 (ja) 音声情報に透かし情報を埋め込む方法及び透かし情報を埋め込んだ音声情報から透かし情報を検出する方法
US6988201B1 (en) Method and apparatus for watermarking wavetable synthesis architectures
US20030088773A1 (en) Method of and apparatus for preventing illicit copying of digital content
JP2000209097A (ja) 信号処理装置とその方法、信号記録装置、信号再生装置および記録媒体
CN1331095C (zh) 利用健壮特征增加水印的完整性
JP5486839B2 (ja) 小型検出窓を利用した電子透かし埋め込み検出方法
KR100430566B1 (ko) 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치 및그 방법
Deshpande et al. A substitution-by-interpolation algorithm for watermarking audio
Lang et al. StirMark and profiles: from high end up to preview scenarios

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080916

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20080917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080925

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees