JP4690366B2 - 音声透かしをベースとするメディア・プログラムの識別方法及び装置 - Google Patents

音声透かしをベースとするメディア・プログラムの識別方法及び装置 Download PDF

Info

Publication number
JP4690366B2
JP4690366B2 JP2007189849A JP2007189849A JP4690366B2 JP 4690366 B2 JP4690366 B2 JP 4690366B2 JP 2007189849 A JP2007189849 A JP 2007189849A JP 2007189849 A JP2007189849 A JP 2007189849A JP 4690366 B2 JP4690366 B2 JP 4690366B2
Authority
JP
Japan
Prior art keywords
identification information
echo
audio signal
media program
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007189849A
Other languages
English (en)
Other versions
JP2008058953A (ja
Inventor
ザオ ジュンヒュ
ウェイ ユチェ
シュエ ミンユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC China Co Ltd
Original Assignee
NEC China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC China Co Ltd filed Critical NEC China Co Ltd
Publication of JP2008058953A publication Critical patent/JP2008058953A/ja
Application granted granted Critical
Publication of JP4690366B2 publication Critical patent/JP4690366B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、マルチメディアの信号処理に関し、特に、音声透かしをベースとするメディア・プログラムの識別方法と装置に関する。
現在、様々なメディア・プログラムがテレビやラジオの放送網で放送されている。本明細書において、「メディア・プログラム」とは音声信号を含むテレビ（ＴＶ）番組やラジオ番組を意味し、これにはコマーシャルや天気予報、ニュースなども含まれる。通常、各番組には複数の放送セグメントが含まれる。例えば、１つのコマーシャル番組には様々な製品の広告が含まれているが、この場合、１つの放送セグメントは１つの広告に対応する。これらの放送セグメントは概して非常に短く（１クリップにつき約３０〜６０秒）、それにより提供される情報はごく簡単な紹介程度に留まる。そのため、視聴者は放送された番組で提供される短い情報だけで満足することができず、さらに関連情報を得たいと思うことは少なくない。
例えば、あるニュースを耳にしてそれに興味を抱いた視聴者が、さらに詳しい情報を得るためにテレビのニュース番組を観た場合に、その番組でもそのニュースはごく簡単にしか触れられなかったということもありうる。このような場合、視聴者は電話でテレビ局に問い合わせるか、インターネットで背景情報を検索することで情報を得ることができるが、それは非常に面倒なことである。
近年、モバイル機器の普及がめざましいが、視聴者がテレビに向かってモバイル機器のキーを数回押すだけで、数秒後に携帯電話や指定しておいたメール・アドレスで詳細情報を受信することができれば非常に便利である。本明細書において、「モバイル機器」とはマイクロフォン等の録音手段を備える各種の携帯端末を意味し、これには携帯電話やパーソナル・デジタル・アシスタント（ＰＤＡ）などが含まれる。
上記の状況では、音声信号を含むメディア・プログラムを識別することが鍵となる。音声信号を含むメディア・プログラムを識別するための従来技術はいくつか存在する。音声信号を含む放送セグメントを識別する手法の一例としては、音声指紋（声紋）技術が挙げられる。この技術では、放送前に各セグメントが分析され、「声紋」が形成される。認識フェーズでは、復号器が放送中のセグメントの特徴を分析し、その特徴と声紋とを照合してパターンを認識する。この手法は比較的複雑な技術を使用しており、新たな放送セグメントを識別するためにパターンを更新しなければならないので、実装が煩雑である。また、パターンを事前に生成する必要があるため、生放送には適用できない。
もう一つの識別手法は、音声透かし技術を利用する手法ある。技術的には、デジタル音声透かしは、秘匿信号を認識不能な形式でホスト信号に隠す技術である。秘匿信号は、ホスト・データを通常の方法で処理／送信／記録する過程では取り除かれず、専用の透かし検出器でのみ抽出することができる。従来技術には、音声透かしによるメディア・プログラムの識別に着眼した関連発明がいくつか存在する。例えば、Ｃｏｘによる米国特許５，８４８，１５５（特許文献１）「Ｓｐｒｅａｄ Ｓｐｅｃｔｒｕｍ Ｗａｔｅｒｍａｒｋ ｆｏｒ Ｅｍｂｅｄｄｅｄ Ｓｉｇｎａｌｉｎｇ」（埋め込み信号のためのスペクトル拡散透かし）では、スペクトル拡散技術を使用して、透かしを音声／画像／映像／マルチメディアのデータに埋め込む。Ｌｅｅ ｅｔ ａｌ．による米国特許６，７９２，５４２ Ｂ１（特許文献２）「Ｄｉｇｉｔａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｅｍｂｅｄｄｉｎｇ ａ Ｐｓｅｕｄｏ−ｒａｎｄｏｍｌｙ Ｍｏｄｕｌａｔｅｄ Ａｕｘｉｌｉａｒｙ Ｄａｔａ Ｓｅｑｕｅｎｃｅ ｉｎ Ｄｉｇｉｔａｌ Ｓａｍｐｌｅｓ」（デジタル・サンプル内に擬似ランダムに変調された補助的データ系列を埋め込むためのデジタル・システム）では、擬似ランダム系列を使用してホスト信号の連続する複数ビット・サンプルの最小知覚有意ビット（ＬＰＳＢ）を変調することにより、補助的なデジタル情報を埋め込むスキームが開示されている。Ｂｅｎｄｅｒ ｅｔ ａｌ．の米国特許５，８９３，０６７（特許文献３）「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｅｃｈｏ Ｄａｔａ Ｈｉｄｉｎｇ ｉｎ Ａｕｄｉｏ Ｓｉｇｎａｌｓ」（音声信号へのエコー・データ・ハイディングの方法及び装置）は、１つ以上のエコーをホスト音声信号に埋め込む。Ｆａｒｄｅａｕ ｅｔ ａｌ．による米国特許５，５８１，８００（特許文献４）「Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｉｄｅｎｔｉｆｙｉｎｇ ａ Ｐｒｏｇｒａｍ Ｉｎｃｌｕｄｉｎｇ ａ Ｓｏｕｎｄ Ｓｉｇｎａｌ」（音声信号を含むプログラムの自動識別方法及び装置）では、一部の周波数成分のエネルギーを事前に決定された特徴的かつ反復的な方法で改変することにより、音声信号内のメッセージを符号化する方法が開示されている。さらに、Ｙｏｉｔｉ Ｓｕｚｕｋｉ ｅｔ ａｌ．による米国特許出願ＵＳ ２００３／０１７２２７７ Ａ１（特許文献５）「Ｄｉｇｉｔａｌ Ｗａｔｅｒｍａｒｋ Ｓｙｓｔｅｍ」（デジタル透かしシステム）では、エコー信号を時間軸上に拡散させることにより、生成されたエコー信号を元の音声信号に挿入するデジタル透かし埋め込み方法が開示されている。
Ｃｏｘの特許では、スペクトル拡散によって隠蔽するデータが疑似ランダム系列の集合に変調され、ホスト音声信号に埋め込まれる。この方法は、実装が簡単で、セキュリティ度が高く、様々な作用に対して高い頑強性を有する等の利点がある。しかし、このスペクトル拡散方法には実用化を阻む致命的な欠点がある。それは、透かし検出時における脱同期化作用に対して脆弱なことである。Ｂｅｎｄｅｒが提唱したエコー・ハイディング方式では、時間領域にエコーを導入することにより、隠蔽するデータがホスト信号に埋め込まれる。この方法は、同期化作用に対して高度な耐性を有し、自己充足的なブラインド検出が可能で、感知可能なノイズがほとんどないなど多数の顕著な特長を持つため、広く利用されている。しかし、エコー・ハイディング方式には、容量が少なく、復号処理時の安全度が低いという重大な問題点がある。
スペクトル拡散手法と最小知覚有意ビット手法とを組み合わせるＬｅｅのスキームは、透かし入り信号が聴覚的に感知されにくいという利点があるが、環境騒音に脆弱であるという点で問題点を有する。このスキームでは、必要な自己同期を実現するためにチェック・コードが採用されている。すなわち、このスキームでは、受信した透かしとチェック・コードとの和がチェック・コードの計算値と一致したときに、復号器が同期化される。この処理では、同期サンプルを１つずつ漏れなく検索する必要がある。Ｆａｒｄｅａｕのスキームでは、埋め込まれた識別メッセージを検出する手段として、ページャーのような専用の機器を必要とする。また、音声信号の符号化用として選択できる周波数成分は１００Ｈｚ付近に限られるため、様々な音声圧縮アルゴリズムで前処理操作として広く利用されている低域通過フィルタリングの影響を受ける可能性がある。Ｙｏｉｔｉの方法では、エコー・ハイディングとスペクトル拡散を組み合わせることで、従来の手法に比較して容量が拡大され、セキュリティも向上している。しかし、メディア・インタラクションの様々な状況下で生じるダウンサンプルの作用を考慮すると、埋め込むエコー配列を短くせざるを得ないため、統計的性質を良好に保つために必要なＰＮシーケンス長を確保することができない。さらに、この方法はエコーやジッタの作用に対して脆弱である。
したがって、これまでの技術では、メディア・プログラムの関連情報を取得する際に必要とされる、音声透かしによりメディア・プログラムを識別するための効果的な方法と装置を提供していない。
透かし技術を使用する場合、メディアとモバイル機器がインタラクションを行う状況において、音声透かしシステムが受ける影響はいくつか存在する。その典型的なものとしては、無作為クロッピング、ＡＤ／ＤＡ変換、再サンプリング、音声圧縮、環境騒音、残響等が挙げられる。このうち、本発明の背景技術である透かしシステムにとって、特に深刻な影響は、無作為クロッピング、ＡＤ／ＤＡ変換、再サンプリングである。それは以下の理由による。
１）視聴者は、ホスト信号全体のごく一部でしかない、わずか数秒間の透かし入り音声クリップを無作為に記録できる。
２）透かしの埋め込みはデジタル方式で行われるのに対し、モバイル機器側で行われる符号化音声の捕捉は、アナログ方式で記録することにより行われる。
３）ホスト信号の品質を確保するためには、透かしの埋め込みを４４．１Ｋのサンプル・レートで行う必要があるが、モバイル機器ではこれより遅いサンプル・レート（例えば８Ｋ）でしか記録できない。
そのため、メディア・プログラムの関連情報を簡単に取得でき、メディア・プログラムの品質を損なわず、かつ様々な環境作用に耐えることのできる、音声透かしによりメディア・プログラムを識別して関連情報を取得するための方法及び装置が必要とされている。
米国特許５，８４８，１５５ 米国特許６，７９２，５４２ Ｂ１ 米国特許５，８９３，０６７ 米国特許５，５８１，８００ 米国特許出願ＵＳ ２００３／０１７２２７７ Ａ１ Ｈ．Ｏ．Ｏｈ，ｅｔ ａｌ．「Ｎｅｗ Ｅｃｈｏ Ｅｍｂｅｄｄｉｎｇ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｒｏｂｕｓｔ ａｎｄ Ｉｍｐｅｒｃｅｐｔｉｂｌｅ Ａｕｄｉｏ Ｗａｔｅｒｍａｒｋｉｎｇ」（頑強で知覚不能な音声透かしのためのエコー埋め込みの新手法）Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３，２００１，ｐｐ．1341-1344
本発明の目的は、メディア・プログラムの関連情報を簡単に取得でき、メディア・プログラムの品質を損なわず、かつ様々な環境作用に耐えることのできる、音声透かしによりメディア・プログラムを識別して関連情報を取得するための方法及び装置を提供することにある。
本発明の１つの態様によれば、音声信号を含むメディア・プログラムに関連する情報を取得するための方法であって、メディア・プログラムの識別情報を含む音声透かしをメディア・プログラムの音声信号に埋め込む埋め込みステップと、メディア・プログラムを送信する送信ステップと、音声透かしを埋め込んだメディア・プログラムの音声信号の一部分をユーザが記録する記録ステップと、識別情報を取得するために記録された音声信号の部分から音声透かしを抽出し、関連情報を格納するサーバにその識別情報を供給する抽出ステップと、サーバからの識別情報に基づいてメディア・プログラムの関連情報をユーザに提供する関連情報提供ステップとを含み、埋め込みステップは、メディア・プログラムの前処理された識別情報を取得するためにメディア・プログラムの識別情報に対して前処理を実行する識別情報前処理ステップと、音声信号に複数の正逆エコー対を埋め込む際に使用されるエコー遅延配列を判定するエコー遅延配列判定ステップと、前処理された識別情報を使って複数の正逆エコー対の振幅を変調する振幅変調ステップと、振幅変調された複数の正逆エコー対を反復するエコー反復ステップと、反復／振幅変調された複数の正逆エコー対をエコー遅延配列に従って音声信号に埋め込むエコー埋め込みステップとを含むことを特徴とする。
本発明の他の態様によれば、音声信号を含むメディア・プログラムに関連する情報を取得するためのシステムであって、メディア・プログラムの識別情報を含む音声透かしをメディア・プログラムの音声信号に埋め込むための埋め込み手段と、メディア・プログラムを送信するための送信手段と、音声透かしを埋め込んだメディア・プログラムの音声信号の一部分を記録するための記録手段と、識別情報を取得するために記録された音声信号の部分から音声透かしを抽出し、関連情報を格納するサーバにその識別情報を提供するための抽出手段と、識別情報に基づいてメディア・プログラムの関連情報を提供するためのサーバ上の関連情報提供手段とを備え、埋め込み手段は、メディア・プログラムの前処理された識別情報を取得するためにメディア・プログラムの識別情報に対して前処理を実行する識別情報前処理手段と、音声信号に複数の正逆エコー対を埋め込む際に使用されるエコー遅延配列を判定するためのエコー遅延配列判定手段と、前処理された識別情報を使って複数の正逆エコー対の振幅を変調するための振幅変調手段と、振幅変調された複数の正逆エコー対を反復するためのエコー反復手段と、反復／振幅変調された複数の正逆エコー対をエコー遅延配列に従って音声信号に埋め込むためのエコー埋め込み手段とを備えることを特徴とする。
本発明の他の態様によれば、音声信号に音声透かしを埋め込むための装置であって、前処理された識別情報を取得するために音声信号に関連する識別情報に対して前処理を実行する識別情報前処理手段と、音声信号に複数の正逆エコー対を埋め込む際に使用されたエコー遅延配列を判定するためのエコー遅延配列判定手段と、前処理された識別情報を使って複数の正逆エコー対の振幅を変調するための振幅変調手段と、振幅変調された複数の正逆エコー対を反復するためのエコー反復手段と、反復／振幅変調された複数の正逆エコー対をエコー遅延配列に従って音声信号に埋め込むためのエコー埋め込み手段とを備えることを特徴とする。
本発明の他の態様によれば、音声信号に音声透かしを埋め込むための方法であって、前処理された識別情報を取得するために音声信号に関連する識別情報に対して前処理を実行する識別情報前処理ステップと、音声信号に複数の正逆エコー対を埋め込む際に使用されたエコー遅延配列を判定するエコー遅延配列判定ステップと、前処理された識別情報を使って複数の正逆エコー対の振幅を変調する振幅変調ステップと、振幅変調された複数の正逆エコー対を反復するエコー反復ステップと、反復／振幅変調された複数の正逆エコー対をエコー遅延配列に従って音声信号に埋め込むエコー埋め込みステップとを含むことを特徴とする。
本発明の他の態様によれば、音声信号に関連する前処理された識別情報を使って音声信号に埋め込まれたエコーを振幅変調することにより、音声透かしが埋め込まれた音声信号から音声透かしを抽出するための装置であって、前処理された識別情報を取得するために音声信号に対してケプストラム分析を実行するケプストラム分析手段と、前処理された識別情報に対して前処理と逆の処理を実行することにより識別情報を復元するための識別情報復元手段とを備えることを特徴とする
本発明の他の態様によれば、音声信号に関連する前処理された識別情報を使って音声信号に埋め込まれたエコーを振幅変調することにより音声透かしが埋め込まれた音声信号から音声透かしを抽出するための方法であって、前処理された識別情報を取得するために音声信号に対してケプストラム分析を実行するケプストラム分析ステップと、前処理された識別情報に対して前処理と逆の処理を実行することにより識別情報を復元する識別情報復元ステップとを含むことを特徴とする。
以上のことから、従来技術と比較すると、本発明は以下の利点を有する。
１）音声透かしをベースとする本発明のメディア・プログラム識別技術により、視聴者はメディア・プログラムから関心のある関連情報を簡単に取得することができる。
２）音声透かしをベースとする本発明のメディア・プログラム識別技術は、特にニュースなどの生放送番組に適している。
３）音声透かしをベースとする本発明のメディア・プログラム識別技術は、疑似ランダム系列と転置処理を導入したことにより、埋め込まれた透かし系列を事前に知っていなければ透かしの検出が不可能なため、セキュリティに優れる。
４）音声透かしをベースとする本発明のメディア・プログラム識別技術は、正逆エコー処理によりエコー埋め込み領域が拡大されるため、大量な放送番組の識別を可能にする大データ容量を提供できる。
５）本発明の音声透かしをベースとするメディア・プログラム識別技術は、ＥＣＣ及び冗長処理により、様々な歪みに対してより高い頑強性を提供できる。
６）本発明は、異なるサンプル・レート間のエコー・オフセットのマップ関係を特定するための「合成による分析」（ＡＢＣ）手法を提供するため、再サンプリング作用への耐性が確保される。
７）本発明の音声透かしをベースとするメディア・プログラム識別技術は、エコー反復処理を採用したことにより、復号器側のエコー・オフセット位置におけるジッタを防止できる。
本発明の上記及びその他の利点と特長は、詳細な説明と図面を併せて参照することにより、明らかとなるであろう。
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態によるシステム１００の略ブロック図を示す。図１に示すように、本発明の実施の形態によるシステム１００は、番組ソース１と、符号器２と、符号媒体３と、モバイル機器４と、復号器５と、データベース６と、出力装置７とを備える。
番組ソース１は、音声信号を含むメディア・プログラムを提供する。番組ソース１によって提供される音声信号を含むメディア・プログラムは符号器２に入力され、符号器２において、識別コード（ＩＤコード）が音声信号部に埋め込まれる。この識別コードは、識別情報の形式の一例である。この符号化処理は、音声レベルで実行することができ、メディア・プログラムの他の部分はこの処理を実行しても変化しない。送信媒体３を使って符号化信号を送信し、その後出力装置７に適用することも可能である。送信媒体３としてはメディア・プログラムを送信できる有線・無線の任意の送信媒体を利用することができ、出力装置７としてはラウドスピーカー等を利用することができる。
システムの受信側では、モバイル機器４の録音手段（図示せず）がラウドスピーカーで再生された音声信号をピックアップする。この録音手段としては、マイクロフォン等を利用することが可能である。続いて、符号化音声信号は復号器５で復号化され、これにより隠されたＩＤコードが抽出される。
ここで、図３に示す復号器５は、サーバ（図示せず）上に常駐し、モバイル機器４によって記録された音声信号が第２の送信媒体（図示せず）を介してサーバに送信されることに留意する必要がある。ただし、これは実装の一例に過ぎず、復号器５はモバイル機器４に組み込むこともできる。この場合は、第２の送信媒体を介して音声信号を送信する必要はなく、復号化処理もモバイル機器４内で実行することができる。
復号化処理で抽出されたＩＤコードは、メディア・プログラムの関連情報を格納するデータベース６へのリンクとして使用される。このリンクにより、メディア・プログラムの関連情報をモバイル機器４に送り返してユーザに提供することが可能になる。関連情報を提供する際の形式としては、テキスト、画像、音声、映像、マルチメディア等の形式が可能であり、そのすべてが本発明の範囲内に含まれる。本発明は、混合信号集積回路による実装、個別部品電子デバイスとしての実装、デジタル処理のソフトウェア・プログラミング、その組み合わせなど、多種多様な形態で実装することが可能である。
図２は、本発明の実施の形態における符号器２の構成を示すブロック図である。図２に示すように、符号器２は、埋め込み系列生成手段２１と、系列埋め込み手段２２とを備える。埋め込み系列生成手段２１は、ｋビットのＩＤコードを符号化して、長さＮの埋め込み系列を出力するために使用される。ｋビットのＩＤは、メディア・プログラムと関連付けられる。埋め込み系列は、その後、系列埋め込み手段２２において元の音声信号内に埋め込まれる。特に、系列埋め込み手段２２では、予め定義されたエコー遅延配列に従って時間拡散された正逆エコーの集合が、生成された埋め込み系列に従って振幅変調される。
図３は、埋め込み系列生成手段２１の構成を示すブロック図である。
埋め込み系列生成手段２１は、ＥＣＣ（Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｉｎｇ：誤り訂正コーディング）モジュール３１と、冗長モジュール３２と、ＢＰＳＫ（Ｂｉｎａｒｙ Ｐｈａｓｅ Ｓｈｉｆｔ Ｋｅｙｉｎｇ：二位相偏移変調）モジュール３３と、ＤＳ−ＳＳ（Ｄｉｒｅｃｔ Ｓｅｑｕｅｎｃｅ Ｓｐｒｅａｄ Ｓｐｅｃｔｒｕｍ：直接シーケンス拡散スペクトル）変調モジュール３４と、転置処理モジュール３５とを備える。
ＥＣＣモジュール３１は、ｋビットのＩＤコードに対して誤り訂正コーディング（ＥＣＣ）を実行することにより、ｎビットのコード語｛ｃ１，ｃ２，ｃ３，…ｃｎ｝を生成し、そのコード語を冗長モジュール３２に供給する。本実施の形態のＥＣＣモジュール３１では、ＣＲＣやハミング法など、既存の様々な方法を使用して誤り訂正コーディングを実行することが可能である。典型的な例としては、パラメータ（ｎ、ｋ、ｐ）を使用してＢＣＨコーデックを生成する方法である。ここで、ｎはコード語の長さ、ｋはＩＤコードの長さ、ｐは訂正可能なビット誤り数を示している。
冗長モジュール３２では、所定の整数値Ｎに基づき、コード語ｃｊの各ビットがｌ＝Ｎ／ｎ回反復されることにより、以下の式（１）で表される長さＮの冗長系列が生成され、ＢＰＳＫモジュール３３に供給される。
Figure 0004690366
ＢＰＳＫモジュール３３は、ＢＰＳＫ変調を利用して、上記データの各ビットをビット・ストリーム（１−＞＋１；０−＞−１）にマッピングする。ＢＰＳＫモジュール３３の出力は、ＤＳ−ＳＳ変調モジュール３４に供給される。
ＤＳ−ＳＳ変調モジュール３４は、各ｊ＝１…ｎと長さＮの系列について、長さｌの疑似ランダム系列
Figure 0004690366
 を生成する。ここで、｛ｒｉ｝は以下の式（２）によって得られる。
Figure 0004690366
その後、反復メッセージ｛ｂｉ｝が搬送信号｛ｒｉ｝によって変調される。この変調は、直接シーケンス拡散スペクトル（ＤＳ−ＳＳ）変調と呼ばれ、以下の式（３）に基づいて実行される。
Figure 0004690366
転置処理モジュール３５は、ＤＳ−ＳＳ変調モジュール３４の出力を受信し、その出力に対して、擬似ランダムに決定された以下の転置処理を実行する。
Figure 0004690366
この転置処理により、｛ｓｉ｝要素の順序がスクランブルされ、以下の埋め込み系列｛ａｉ｝が得られる。
Figure 0004690366
埋め込み系列生成手段２１の上述した処理により、ＤＳ−ＳＳ変調による頑強性が得られる。それは、識別情報を復元するためには、符号器で使用された疑似ランダム系列が復号器でも必要となるので、識別情報の保護措置がさらに１つ追加されるからである。さらに、転置処理によるスクランブルはインターリーブ符号化として実現されるので、ビット間の頑強性の不均衡が軽減される。
図４は、系列埋め込み手段２２の構成を示すブロック図である。系列埋め込み手段２２は、遅延モジュール４１と、エコー埋め込みモジュール４２と、エコー反復モジュール４３と、振幅変調モジュール４４と、マスキング・モジュール４５と、加算器モジュール４６とを備える。
遅延モジュール４１では、合成による分析（ＡＢＳ）手法によるエコー配列の検索で事前に決定された様々な時間オフセットを使用して、元の音声信号を遅延させる。これにより、再サンプリング後に透かしを正確に検出することが可能になる。遅延された信号は、エコー埋め込みモジュール４２に入力される。エコー埋め込みモジュール４２では、エコー埋め込み処理が実行される。この処理では、所定の各遅延オフセットについて、正相増幅パラメータが遅延後のホスト信号にまで増大される。これにより正減衰のホスト信号が得られる。負減衰のホスト信号は、これに基づき所定の遅延オフセットに非常に近い位置に生成されるので、ホスト信号に生じる品質低下は最小限となる。
エコー埋め込みモジュール４２の出力は、エコー反復モジュール４３に供給され、ここでエコー／ジッタの問題を防止するための正逆エコー処理が数回繰り返される。すなわち、エコー反復モジュール４３の出力は正逆方向に減衰されたホスト信号の集合であり、この集合が振幅変調モジュール４４に供給される。振幅変調モジュール４４では、これらの遅延信号の振幅が、埋め込み系列生成手段２１から生成された埋め込み系列を使用して変調される。音声信号の品質に音声知覚上の劣化が生じるのを防止するため、変調前にマスキング・モジュール４５で埋め込み系列に抑制処理が実行される。最後に、加算器モジュール４６で、変調された信号が元の音声信号に加算され、透かし入り音声信号が生成される。
フィルタリング操作の観点に立つと、上記の正逆エコー配列変調処理は、図５に示すようになる。数学的には、図５に示すインパルス応答は、以下の式（６）で表すことができる。
Figure 0004690366
ここで、gpδ(τ-dim)-gEδ(τ-dim’)は正逆エコーを表す。
ｇＰ及びｇＥは、それぞれ、正逆エコーにおける正エコーと負エコーの増幅パラメータである。
概して、ｇＰは常にｇＥより大きいため、第１のエコーは基本エコー、第２のエコーは副エコーとなる。ｄｉｍは、ｉ番目の正エコーのｍ番目の反復における遅延オフセットであり、ｄｉｍ’は負エコーのそれである。Ｍは反復回数である。本実施の形態では、Ｍ＝２が使用されている。ただし、これは一例に過ぎず、Ｍには２より大きい任意の値を使用することができる。本実施の形態では、ｄとｄ’との距離は３未満とする（｜ｄ’−ｄ｜＜＝３）。｛αｉ，ｉ＝１，．．，Ｎ｝は、長さＮの埋め込み系列である。埋め込み系列は、埋め込み系列の要素を使用して正逆エコー信号の振幅を変調することにより、フィルタ関数にマップされる。通常、変調された信号がホスト信号の受信者に対して透過となるように、エコー振幅の増幅値を低く抑えるのが望ましい。この理由から、｜α＊ｇ｜は０．２未満とする必要がある。
Ｈ．Ｏ．Ｏｈ，ｅｔ ａｌ．「Ｎｅｗ Ｅｃｈｏ Ｅｍｂｅｄｄｉｎｇ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｒｏｂｕｓｔ ａｎｄ Ｉｍｐｅｒｃｅｐｔｉｂｌｅ Ａｕｄｉｏ Ｗａｔｅｒｍａｒｋｉｎｇ」（頑強で知覚不能な音声透かしのためのエコー埋め込みの新手法）Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３，２００１，ｐｐ．1341-1344（非特許文献１）で論じられる正逆エコー手法では、従来の信号エコーに比較して、音声信号の低帯域に生じる歪みが非常に少なくなっている。ここで、低帯域の応答は音質を決定する上で中心的な役割を果たし、特に、下から数帯域が反響した音声信号の音色を決定することに注意する必要がある。正逆エコー手法の利点は、ホスト信号の品質を劣化させることなく、エコー埋め込み領域を拡大して大容量を実現できることにある。実際の作業においては、正逆エコーが音声に引き起こす知覚可能な人為現象をほぼゼロにするためには、第１のオフセットから第２の遅延までの間隔を３サンプル未満（｜ｄ’−ｄ｜＜＝３）にする必要がある。なお、ｇＰは常にｇＥより大きいため、第１のエコーは基本エコー、第２のエコーは副エコーとなる。
正逆エコー処理は、エコー反復モジュール４３内で繰り返し実行される。この処理を含めたのは、再サンプリング操作を行うと、復号器５のエコー・オフセット位置で常にジッタが生じる（つまり、再サンプリング操作の前と後とで、エコー位置が１サンプル程度ずれる）ためである。これは、「脱同期化」問題とも考えられている。特に、メディア・インタラクションが行われる状況では、モバイル機器４では８Ｋのサンプル・レートでしか記録できないのに対し、ホスト音声信号の品質を保証するためには、透かしを４４．１Ｋのサンプル・レートで埋め込まなければならない。そのため、透かし入り音声信号を記録する際には、モバイル機器側４でダウンサンプリング動作が必要となる。復号器５での検出は、復号器５が８Ｋのサンプル・レートにおける正確なエコー・オフセット位置を認識しているという前提に立って実行される。しかし、様々なマイクロフォンが使用される場合には、エコー位置にジッタが生じる可能性がある。そのため、本発明の実施の形態では、この問題を防止するために、２つの正逆エコー信号をホスト信号にわずか１サンプルの間隔で挿入する反復処理を採用している。
図６は、本発明の実施の形態における合成による分析手法のフローチャートを示す。合成による分析手法の目的は、４４．１ｋと８Ｋという２つのサンプル・レート間におけるエコー・オフセットのマップ関係を検出することである。これにより、復号器５が、この２つのサンプル・レートにおいてエコー遅延オフセットを正確に配置し、対応する復号化方法に従って隠された識別情報を復元することが可能になる。ここで、４４．１Ｋと８Ｋのサンプル・レートは、典型的な例として示しており、本発明の実施の形態における合成による分析手法は他のサンプル・レートにも適用できることは言うまでもない。
本発明の実施の形態では、サンプル・レート４４．１Ｋにおける９０〜３５０サンプルのエコー遅延を評価する。この範囲を選んだのは、元の音声信号の品質を劣化させずに正逆エコーを埋め込むことのできる音声透過領域として広く認識されている範囲だからである。
ステップＳ６０１で、ＥｃｈｏＰｏｓ（エコー位置）が初期化され、９０に設定される。ステップＳ６０２で、デュアル・エコーの埋め込みが実行され、正逆エコーが２サンプルの遅延間隔で埋め込まれる。ステップＳ６０３で、透かし入り音声信号が記録され、８Ｋのサンプル・レートでダウンサンプルされる。
ステップＳ６０４で、透かし入り信号が復号される。この復号化は、以下の式（７）で表されるケプストラム計算をベースとする。
Figure 0004690366
ここで、ｘ（ｔ）は受信信号、ＤＦＴ（）は離散フーリエ変換、ＩＤＦＴ（）は逆ＤＦＴであり、ｒｅａｌ（）は複素数の実数部分の値を返す。ここで重要なのは、ダウンサンプリング操作によって、４４．１Ｋの正逆エコーが１つに融合されて、エコー遅延位置がシフトすることである。８Ｋのエコー遅延は、ケプストラム値の自己相関ピークを検索することで決定できる。これは、以下の式（８）で表される。
Figure 0004690366
ステップＳ６０５では、１サンプル分だけシフトさせる（ＥｃｈｏＰｏｓ＝ＥｃｈｏＰｏｓ＋１に設定する）。ステップＳ６０６では、ＥｃｈｏＰｏｓが３５０より大きいかどうかが判定される。ｔｒｕｅの場合、処理はステップＳ６０２に戻り、すべてのエコー・オフセットが処理されるまでステップＳ６０２〜Ｓ６０５が繰り返される。ｆａｌｓｅの場合、処理はステップＳ６０７に進む。
ステップＳ６０７では、８Ｋでの最大ピークに対応する４４．１ｋでの正確な埋め込み位置が決定される。例えば、以下に示す表１では、左側の欄に４４．１ｋでのエコー・オフセットが示され、中央の欄にダウンサンプリング処理後の８ｋでの同じエコー・オフセット１８が示され、右側の欄にサンプル・レート８Ｋの遅延オフセット１８での対応するケプストラム自己相関係数が示されている。この表では、８Ｋの場合の遅延１８においてケプストラム自己相関の値が最大になる遅延１００を、エコー埋め込み位置として選択できる。８Ｋでの各遅延においてこのような処理が実行された後、エコー遅延候補からＮ個のポイントが選択されることにより、透かしの埋め込みと検出を行うためのＮ次元のエコー遅延配列が得られる。
Figure 0004690366
図７は、本発明の実施の形態における復号器５の構成を示すブロック図でぁる。復号器５は、ケプストラム分析手段７１とＩＤコード復元手段７２とを備え、ＩＤコード復元手段７２は、転置処理復調モジュール７３と、ＤＳ−ＳＳ復調モジュール７４と、誤り訂正復号化モジュール７５とを含む。
メディア・プログラムからの受信信号は、モバイル機器４によって記録され、復号器５に送信される。復号器５では、ケプストラム分析手段７１により、事前定義されたエコー遅延配列に従って式（７）のケプストラム分析を適用することにより、まず、受信信号の実ケプストラムにおける自己相関係数｛ｑｉ｝（ｉ＝１、…，：Ｎ）が得られる。
ＩＤコード復元手段７２の転置処理復調モジュール７３では、式（４）の擬似ランダム転置処理を使用して、以下の式（９）の逆転置処理により｛ｑｉ｝要素の順序が逆スクランブルされる。
Figure 0004690366
ＤＳ−ＳＳ復調モジュール７４では、長さｌ＝Ｎ／ｎの部分列｛ｇｉ｝が以下の式（１０）として得られる。
Figure 0004690366
各ｊ＝１，…，ｎについて、｛ｇｉ｝から、式（１）の間隔ｃｊに従って｛ｙｉ （ｊ）｝が抽出される。続いて、｛ｙｉ （ｊ）｝が正規化され、平均値０と分散値１が得られる。符号器２側と同じ疑似ランダム系列｛ｒｉ （ｊ）｝が与えられると、ＤＳ−ＳＳ復調が実行される。ビット位置ｊに対応する相関値ρｉが、以下の式（１１）で得られる。
Figure 0004690366
その後、検出されたビット値
Figure 0004690366
 が、式（１２）によって決定される。
Figure 0004690366
誤り訂正復号化モジュール７５では、検出されたビット文字列{c’j}が検出されたコード語として生成され、誤り訂正復号化処理が実行される。このようにして、訂正可能なビット誤りが正しく訂正され、ｋビットのＩＤコードが復号される。
図８は、本発明の実施の形態における、メディア・プログラムの関連情報を取得する方法のフローチャートを示す。図８に示すように、ステップＳ８０１で符号器側の符号器２が、メディア・プログラムの識別情報を含む音声透かしをメディア・プログラムの音声信号に埋め込む。本実施の形態では、識別情報はＩＤコードである。
次に、図９を参照して、埋め込みステップＳ８０１の流れを説明する。ステップＳ８０２で、（音声透かしが埋め込まれた）音声信号を含むメディア・プログラムが送信媒体３及び出力装置７によって送信及び出力される。ステップＳ８０３で、モバイル機器４の音声録音手段が、音声透かしが埋め込まれたメディア・プログラムの音声信号部分を録音する。ステップＳ８０４で、復号器側の復号器５が、音声信号の録音された部分から音声透かしを抽出して識別情報（ＩＤコード）を取得し、関連情報を格納するデータベース６にそのＩＤコードを供給する。次に、図１０を参照して、復号器５によるＩＤコード抽出動作の流れを説明する。ステップ８０５で、データベース６からメディア・プログラムの関連情報が取得され、モバイル機器４に供給される。このように、メディア・プログラムの関連情報は、音声透かしの埋め込みと抽出によりメディア情報を識別することで取得される。
図９は、本発明の実施の形態における、音声透かしを音声信号に埋め込む方法のフローチャートを示す。このチャートは、図８に示すステップＳ８０１の詳細な流れを説明するものである。
ステップＳ９０１で、埋め込み系列生成手段２１がＩＤコードに対して上記の前処理（誤り訂正コーディング、冗長、ＢＰＳＫ、ＤＳ−ＳＳ変調、及び転置処理）を実行して、前処理された識別情報である埋め込み系列を出力する。ステップＳ９０２で、遅延モジュール４１が、上記の合成による分析手法により事前に決定された様々な時間オフセットを使用して元の音声信号を遅延させる。ステップＳ９０３で、エコー埋め込みモジュール４２においてエコー埋め込み処理が実行され、出力がエコー反復モジュール４３に供給される。ステップＳ９０４で、エコー反復モジュール４３において正逆エコー処理が数回実行される。ステップＳ９０５で、振幅変調モジュール４４において、これらの遅延信号の振幅が、埋め込み系列生成手段２１から生成された埋め込み系列を使用して変調される。上述したように、マスキング・モジュール４５において、埋め込み系列に対して変調前に抑制処理を実行することもできる。ステップＳ９０６で、加算器モジュール４６において、変調された信号が元の音声信号に加算され、透かし入り音声信号が生成される。なお、上記の埋め込みステップＳ９０３、エコー反復ステップＳ９０４、振幅変調ステップＳ９０５の実行順序は、本実施の形態の順序に限定されない。例えば、振幅変調ステップを最初に実行し、続いてエコー反復ステップを実行し、最後にエコー埋め込みステップを実行する順序であっても、本発明の範囲内となる。
図１０は、本発明の実施の形態における、音声信号から音声透かしを抽出する方法のフローチャートを示す。このチャートは、図８に示すステップＳ８０４の詳細な流れを説明するものである。ステップＳ１００１で、ケプストラム分析手段７１において、事前定義されたエコー遅延配列に従ってケプストラム分析を適用することにより、受信信号の実ケプストラムにおける自己相関係数が取得される。続くステップＳ１００２では、ＩＤコード復元手段７２が、転置処理復調、ＤＳ−ＳＳ復調、及び誤り訂正復号化などの処理を実行することにより、ＩＤコードを復元する。
本発明について特定の実施の形態を参照して詳細に説明したが、本発明の精神と範囲を逸脱することなく、様々な変更、置換、改変が可能なことは理解されるであろう。また、当業者によってなしうるその他多数の変更、置換、改変、修正のすべてが付記した請求項に記載される本発明の範囲に含まれることが本発明の意図するところである。
本発明の実施の形態によるシステム１００の概要を示すブロック図である。 本発明の実施の形態における符号器２の構成を示すブロック図である。 本発明の実施の形態における埋め込み系列生成手段２１の構成を示すブロック図である。 本発明の実施の形態における系列埋め込み手段２２の構成を示すブロック図である。 本発明の実施の形態における正逆エコー配列変調処理のフィルタ表現を示す図である。 本発明の実施の形態における分析手法のフローチャートである。 本発明の実施の形態における復号器５の構成を示すブロックｆ図である。 本発明の実施の形態における、メディア・プログラムの関連情報を取得する方法のフローチャートである。 本発明の実施の形態における、音声透かしを音声信号に埋め込む方法のフローチャートである。 本発明の実施の形態における、音声透かしを音声信号から抽出する方法のフローチャートである。
符号の説明
１：番組ソース
２：符号器
３：送信媒体
４：モバイル機器
５：復号器
６：データベース
７：出力装置
２１：埋め込み系列生成手段
２２：系列埋め込み手段
３１：ＥＣＣモジュール
３２：冗長モジュール
３３：ＢＰＳＫモジュール
３４：ＤＳ−ＳＳ変調モジュール
３５：転置処理モジュール
４１：遅延モジュール
４２：エコー埋め込みモジュール
４３：エコー反復モジュール
４４：振幅変調モジュール
４５：マスキング・モジュール
４６：加算器モジュール
７１：ケプストラム分析手段
７２：ＩＤコード復元手段
７３：転置処理復調モジュール
７４：ＤＳ−ＳＳ復調モジュール
７５：誤り訂正復号化モジュール

Claims (24)

  1. 音声信号を含むメディア・プログラムの関連情報を取得するための方法であって、
    前記メディア・プログラムの識別情報を含む音声透かしを前記メディア・プログラムの音声信号に埋め込む埋め込みステップと、
    前記メディア・プログラムを送信する送信ステップと、
    前記音声透かしを埋め込んだ前記メディア・プログラムの音声信号の一部分をユーザが記録する記録ステップと、
    前記識別情報を取得するために前記記録された音声信号の部分から前記音声透かしを抽出し、関連情報を格納するサーバに前記識別情報を供給する抽出ステップと、
    前記サーバからの識別情報に基づいて前記メディア・プログラムの関連情報を前記ユーザに提供する関連情報提供ステップとを含み、
    前記埋め込みステップは、
    前記メディア・プログラムの前処理された識別情報を取得するために、前記メディア・プログラムの識別情報に対して前処理を実行する識別情報前処理ステップと、
    前記音声信号に複数の正逆エコー対を埋め込む際に使用されるエコー遅延配列を判定するエコー遅延配列判定ステップと、
    前記前処理された識別情報を使って前記複数の正逆エコー対の振幅を変調する振幅変調ステップと、
    前記振幅変調された複数の正逆エコー対を反復するエコー反復ステップと、
    前記反復／振幅変調された複数の正逆エコー対を前記エコー遅延配列に従って前記音声信号に埋め込むエコー埋め込みステップとを含むことを特徴とする方法。
  2. 前記識別情報は、前記メディア・プログラムの識別コードを含み、
    前記識別情報前処理ステップは、
    コード語を取得するために、前記識別コードに対して誤り訂正コーディングを実行するステップと、
    冗長系列を生成するために、前記コード語に対して冗長処理を実行するステップと、
    二位相偏移変調を使用して前記冗長系列をビット・ストリームにマップするステップと、
    前記ビット・ストリームに対して直接シーケンス拡散スペクトル変調を実行するために、疑似ランダム系列変調を使用して前記ビット・ストリームを変調するステップと、
    前記前処理された識別情報を取得するために、前記直接シーケンス拡散スペクトル変調されたビット・ストリームに対して転置処理を実行してその順序をスクランブルするステップとを含むことを特徴とする請求項１に記載の方法。
  3. 前記エコー遅延配列判定ステップは、合成による分析手法により前記エコー遅延配列を判定することを特徴とする請求項１または請求項２に記載の方法。
  4. 前記合成による分析手法は、前記記録ステップのサンプリング・レートでの各エコー遅延に関して、前記音声信号の記録された部分のケプストラム自己相関の値が前記記録ステップのサンプリング・レートでのそのエコー遅延において最大に到達するように、前記送信ステップのサンプリング・レートでの対応する埋め込み位置を決定することを特徴とする請求項３に記載の方法。
  5. 前記抽出ステップは、
    前記メディア・プログラムの前処理された識別情報を取得するために、前記音声信号の記録された部分に対してケプストラム分析を実行するケプストラム分析ステップと、
    前記メディア・プログラムの前処理された識別情報に対して前記前処理の逆の処理を実行することにより、前記メディア・プログラムの識別情報を復元する識別情報復元ステップとをさらに含むことを特徴とする請求項１または請求項２に記載の方法。
  6. 前記前処理された識別情報はメディア・プログラムの前処理された識別コードを含み、
    前記識別情報復元ステップは、
    逆スクランブルされたビット・ストリームを取得するために、前記前処理された識別コードに対して転置処理復調を実行し、
    前記識別コードの前処理で使用されたのと同じ擬似ランダム系列を使用して、コード語を取得するために、前記逆スクランブルされたビット・ストリームに対して直接シーケンス拡散スペクトル復調を実行し、
    前記識別コードを復元するために、前記コード語に対して誤り訂正復号化を実行することを特徴とする請求項５に記載の方法。
  7. 前記反復の回数が２回であることを特徴とする請求項１に記載の方法。
  8. 音声信号を含むメディア・プログラムの関連情報を取得するためのシステムであって、
    メディア・プログラムの識別情報を含む音声透かしを前記メディア・プログラムの音声信号に埋め込むための埋め込み手段と、
    前記メディア・プログラムを送信するための送信手段と、
    前記音声透かしを埋め込んだメディア・プログラムの音声信号の一部分を記録するための記録手段と、
    前記記録された音声信号の部分から前記音声透かしを抽出して前記識別情報を取得し、関連情報を格納するサーバに前記識別情報を供給するための抽出手段と、
    前記識別情報に基づいて前記メディア・プログラムの関連情報を提供するための前記サーバ上の関連情報提供手段とを備え、
    前記埋め込み手段は、
    前記メディア・プログラムの前処理された識別情報を取得するために、前記メディア・プログラムの識別情報に対して前処理を実行するための識別情報前処理手段と、
    前記音声信号に複数の正逆エコー対を埋め込む際に使用されるエコー遅延配列を判定するためのエコー遅延配列判定手段と、
    前記前処理された識別情報を使って前記複数の正逆エコー対の振幅を変調する振幅変調手段と、
    前記振幅変調された複数の正逆エコー対を反復するためのエコー反復手段と、
    前記反復／振幅変調された複数の正逆エコー対を前記エコー遅延配列に従って前記音声信号に埋め込むためのエコー埋め込み手段とを備えることを特徴とするシステム。
  9. 前記識別情報は前記メディア・プログラムの識別コードを含み、
    前記識別情報前処理手段は、
    コード語を取得するために、前記識別コードに対して誤り訂正コーディングを実行するための手段と、
    冗長系列を生成するために、前記コード語に対して冗長処理を実行するための手段と、
    二位相偏移変調を使用して前記冗長系列をビット・ストリームにマップするための手段と、
    前記ビット・ストリームに対して直接シーケンス拡散スペクトル変調を実行するために、疑似ランダム系列変調を使用して前記ビット・ストリームを変調するための手段と、
    前記前処理された識別情報を取得するために、前記直接シーケンス拡散スペクトル変調されたビット・ストリームに対して転置処理を実行してその順序をスクランブルするための手段とを備えることを特徴とする請求項８に記載のシステム。
  10. 前記エコー遅延配列判定手段は、合成による分析手法により前記エコー遅延配列を判定することを特徴とする請求項８または請求項９に記載のシステム。
  11. 前記合成による分析手法は、前記記録手段のサンプリング・レートでの各エコー遅延に関して、前記音声信号の記録された部分のケプストラム自己相関の値が前記記録手段のサンプリング・レートでのエコー遅延において最大に到達するように、前記送信手段のサンプリング・レートでの対応する埋め込み位置を決定することを特徴とする請求項１０に記載のシステム。
  12. 前記抽出手段は、
    前記メディア・プログラムの前処理された識別情報を取得するために、前記音声信号の記録された部分に対してケプストラム分析を実行するためのケプストラム分析手段と、
    前記メディア・プログラムの前処理された識別情報に対して前記前処理の逆の処理を実行ことにより、前記メディア・プログラムの識別情報を復元するための識別情報復元手段とを備えることを特徴とする請求項８または請求項９に記載のシステム。
  13. 前記前処理された識別情報はメディア・プログラムの前処理された識別コードを含み、
    前記識別情報復元手段は、
    逆スクランブルされたビット・ストリームを取得するために、前記前処理された識別コードに対して転置処理復調を実行するための手段と、
    前記識別コードの前処理で使用されたのと同じ擬似ランダム系列を使用して、コード語を取得するために、前記逆スクランブルされたビット・ストリームに対して直接シーケンス拡散スペクトル復調を実行するための手段と、
    前記識別コードを復元するために、前記コード語に対して誤り訂正復号化を実行するための手段を備えることを特徴とする請求項１２に記載のシステム。
  14. 前記反復の回数が２回であることを特徴とする請求項８に記載のシステム。
  15. 音声透かしを音声信号に埋め込むための装置であって、
    前処理された識別情報を取得するために、前記音声信号に関連する識別情報に対して前処理を実行するための識別情報前処理手段と、
    前記音声信号に複数の正逆エコー対を埋め込む際に使用されるエコー遅延配列を判定するためのエコー遅延配列判定手段と、
    前記前処理された識別情報を使って前記複数の正逆エコー対の振幅を変調する振幅変調手段と、
    前記振幅変調された複数の正逆エコー対を反復するためのエコー反復手段と、
    前記反復／振幅変調された複数の正逆エコー対を前記エコー遅延配列に従って前記音声信号に埋め込むためのエコー埋め込み手段とを備えることを特徴とする装置。
  16. 前記音声信号に関連する識別情報は前記音声信号に関連する識別コードを含み、前記識別情報前処理手段は、
    コード語を取得するために、前記識別コードに対して誤り訂正コーディングを実行するための手段と、
    冗長系列を生成するために、前記コード語に対して冗長処理を実行するための手段と、
    二位相偏移変調を使用して前記冗長系列をビット・ストリームにマップするための手段と、
    前記ビット・ストリームに対して直接シーケンス拡散スペクトル変調を実行するために、疑似ランダム系列変調を使用して前記ビット・ストリームを変調するための手段と、
    前記前処理された識別情報を取得するために、前記直接シーケンス拡散スペクトル変調されたビット・ストリームに対して転置処理を実行してその順序をスクランブルするための手段とを備えることを特徴とする請求項１５に記載の装置。
  17. 前記エコー遅延配列判定手段は、合成による分析手法により前記エコー遅延配列を判定することを特徴とする請求項１５または請求項１６に記載の装置。
  18. 前記合成による分析手法は、前記記録手段のサンプリング・レートでの各エコー遅延に関して、前記音声信号の記録された部分のケプストラム自己相関の値が前記記録手段のサンプリング・レートでのエコー遅延において最大に到達するように、前記送信手段のサンプリング・レートでの対応する埋め込み位置を決定することを特徴とする請求項１７に記載の装置。
  19. 前記反復の回数が２回であることを特徴とする請求項１５に記載の装置。
  20. 音声透かしを音声信号に埋め込むための方法であって、
    前処理された識別情報を取得するために、前記音声信号に関連する識別情報に対して前処理を実行する識別情報前処理ステップと、
    前記音声信号に複数の正逆エコー対を埋め込む際に使用されるエコー遅延配列を判定するエコー遅延配列判定ステップと、
    前記前処理された識別情報を使って前記複数の正逆エコー対の振幅を変調する振幅変調ステップと、
    前記振幅変調された複数の正逆エコー対を反復するエコー反復ステップと、
    前記反復／振幅変調された複数の正逆エコー対を前記エコー遅延配列に従って前記音声信号に埋め込むエコー埋め込みステップとを含むことを特徴とする方法。
  21. 前記音声信号に関連する識別情報は前記音声信号に関連する識別コードを含み、
    前記識別情報前処理ステップは、
    コード語を取得するために、前記識別コードに対して誤り訂正コーディングを実行するステップと、
    冗長系列を生成するために、前記コード語に対して冗長処理を実行するステップと、
    二位相偏移変調を使用して前記冗長系列をビット・ストリームにマップするステップと、
    前記ビット・ストリームに対して直接シーケンス拡散スペクトル変調を実行するために、疑似ランダム系列変調を使用して前記ビット・ストリームを変調するステップと、
    前記前処理された識別情報を取得するために、前記直接シーケンス拡散スペクトル変調されたビット・ストリームに対して転置処理を実行してその順序をスクランブルするステップとを含むことを特徴とする請求項２０に記載の方法。
  22. 前記エコー遅延配列判定ステップは、合成による分析手法により前記エコー遅延配列を判定することを特徴とする請求項２０または請求項２１に記載の方法。
  23. 前記合成による分析手法は、前記記録ステップのサンプリング・レートでの各エコー遅延に関して、前記音声信号の記録された部分のケプストラム自己相関の値が前記記録ステップのサンプリング・レートでのそのエコー遅延において最大に到達するように、前記送信ステップのサンプリング・レートでの対応する埋め込み位置を決定することを特徴とする請求項２２の方法。
  24. 前記反復の回数が２回であることを特徴とする請求項２０に記載の方法。
JP2007189849A 2006-07-26 2007-07-20 音声透かしをベースとするメディア・プログラムの識別方法及び装置 Expired - Fee Related JP4690366B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200610099527XA CN101115124B (zh) 2006-07-26 2006-07-26 基于音频水印识别媒体节目的方法和装置
CN200610099527.X 2006-07-26

Publications (2)

Publication Number Publication Date
JP2008058953A JP2008058953A (ja) 2008-03-13
JP4690366B2 true JP4690366B2 (ja) 2011-06-01

Family

ID=38987466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007189849A Expired - Fee Related JP4690366B2 (ja) 2006-07-26 2007-07-20 音声透かしをベースとするメディア・プログラムの識別方法及び装置

Country Status (3)

Country Link
US (1) US7957977B2 (ja)
JP (1) JP4690366B2 (ja)
CN (1) CN101115124B (ja)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1464172B1 (en) * 2001-12-24 2013-04-24 Intrasonics S.A.R.L. Captioning system
US7239981B2 (en) * 2002-07-26 2007-07-03 Arbitron Inc. Systems and methods for gathering audience measurement data
AU2003234420A1 (en) 2002-12-27 2004-07-29 Nielsen Media Research, Inc. Methods and apparatus for transcoding metadata
GB0710211D0 (en) * 2007-05-29 2007-07-11 Intrasonics Ltd AMR Spectrography
GB2460306B (en) * 2008-05-29 2013-02-13 Intrasonics Sarl Data embedding system
KR100985190B1 (ko) 2008-07-18 2010-10-05 주식회사 마크애니 워터마크를 이용한 정보 제공 방법 및 시스템
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US20100104258A1 (en) * 2008-10-28 2010-04-29 International Business Machines Corporation User-specified event-based remote triggering of a consumer digital video recording device
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
CA3008502C (en) 2009-05-01 2020-11-10 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
EP2257067A1 (en) * 2009-05-29 2010-12-01 Thomson Licensing Method for inserting watermark assistance data in a bitstream, method of watermarking said bitstream, device implementing the method of watermarking and bitstream comprising the watermark assistance data
US8407287B2 (en) * 2009-07-14 2013-03-26 Radvision Ltd. Systems, methods, and media for identifying and associating user devices with media cues
US20110041154A1 (en) * 2009-08-14 2011-02-17 All Media Guide, Llc Content Recognition and Synchronization on a Television or Consumer Electronics Device
US20110078020A1 (en) * 2009-09-30 2011-03-31 Lajoie Dan Systems and methods for identifying popular audio assets
US8677400B2 (en) * 2009-09-30 2014-03-18 United Video Properties, Inc. Systems and methods for identifying audio content using an interactive media guidance application
US8161071B2 (en) 2009-09-30 2012-04-17 United Video Properties, Inc. Systems and methods for audio asset storage and management
WO2011046719A1 (en) * 2009-10-13 2011-04-21 Rovi Technologies Corporation Adjusting recorder timing
US20110085781A1 (en) * 2009-10-13 2011-04-14 Rovi Technologies Corporation Content recorder timing alignment
US8428955B2 (en) * 2009-10-13 2013-04-23 Rovi Technologies Corporation Adjusting recorder timing
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US20130046761A1 (en) * 2010-01-08 2013-02-21 Telefonaktiebolaget L M Ericsson (Publ) Method and Apparatus for Social Tagging of Media Files
US8676570B2 (en) 2010-04-26 2014-03-18 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to perform audio watermark decoding
JP5601665B2 (ja) * 2010-07-22 2014-10-08 Ｋｄｄｉ株式会社 オーディオ電子透かし埋め込み装置、検出装置および該プログラム
JP5554658B2 (ja) * 2010-08-06 2014-07-23 Ｋｄｄｉ株式会社 オーディオ電子透かし埋め込み装置およびプログラム
JP5793865B2 (ja) * 2010-12-28 2015-10-14 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み用コンピュータプログラム及び電子透かし検出装置ならびに電子透かし検出用コンピュータプログラム
US9380356B2 (en) * 2011-04-12 2016-06-28 The Nielsen Company (Us), Llc Methods and apparatus to generate a tag for media content
US9210208B2 (en) 2011-06-21 2015-12-08 The Nielsen Company (Us), Llc Monitoring streaming media content
US9209978B2 (en) 2012-05-15 2015-12-08 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
JP6119133B2 (ja) * 2011-09-25 2017-04-26 ヤマハ株式会社 電子音響装置連携装置及びプログラム
US9223893B2 (en) * 2011-10-14 2015-12-29 Digimarc Corporation Updating social graph data using physical objects identified from images captured by smartphone
CN102364521A (zh) * 2011-10-21 2012-02-29 吴思 基于二次信息融合的分布式图像信息管理方法
CN102522090B (zh) * 2011-12-13 2013-11-13 我查查信息技术(上海)有限公司 以音频信号发送信息码以及获取信息码的方法和装置
US8984373B2 (en) * 2012-02-22 2015-03-17 Silicon Motion, Inc. Method for accessing flash memory and associated flash memory controller
MX338996B (es) 2012-07-16 2016-05-09 Lg Electronics Inc Metodo y aparato para procesar señales de servicio digital.
US9282366B2 (en) 2012-08-13 2016-03-08 The Nielsen Company (Us), Llc Methods and apparatus to communicate audience measurement information
US9305559B2 (en) 2012-10-15 2016-04-05 Digimarc Corporation Audio watermark encoding with reversing polarity and pairwise embedding
CN103871425B (zh) * 2012-12-14 2017-09-29 鸿富锦精密工业（深圳）有限公司 音频信息检测系统及方法
US9406305B2 (en) * 2012-12-21 2016-08-02 Digimarc Corpororation Messaging by writing an image into a spectrogram
US9313544B2 (en) 2013-02-14 2016-04-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
CN104092712B (zh) * 2013-05-22 2016-03-23 腾讯科技（深圳）有限公司 一种基于音频信号传输文件的方法及系统
US9438440B2 (en) * 2013-07-29 2016-09-06 Qualcomm Incorporated Proximity detection of internet of things (IoT) devices using sound chirps
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US20150039321A1 (en) 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
CN103763578A (zh) * 2014-01-10 2014-04-30 北京酷云互动科技有限公司 一种节目关联信息推送方法和装置
CN104794127B (zh) * 2014-01-20 2018-03-13 曲立东 基于音频的数据标签发布系统及方法
US9558751B2 (en) * 2014-01-31 2017-01-31 Sparcq, Inc. Media content marking and tracking methods and apparatus
US9699499B2 (en) 2014-04-30 2017-07-04 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
CN104023247B (zh) * 2014-05-29 2015-07-29 腾讯科技（深圳）有限公司 获取、推送信息的方法和装置以及信息交互系统
US9661402B2 (en) * 2014-07-15 2017-05-23 The Nielsen Company (Us), Llc Embedding information in generated acoustic signals
JP6258981B2 (ja) * 2014-07-29 2018-01-10 ヤマハ株式会社 プログラムおよび情報処理方法
JP5887446B1 (ja) * 2014-07-29 2016-03-16 ヤマハ株式会社 情報管理システム、情報管理方法およびプログラム
JP5871088B1 (ja) 2014-07-29 2016-03-01 ヤマハ株式会社 端末装置、情報提供システム、情報提供方法およびプログラム
JP6484958B2 (ja) 2014-08-26 2019-03-20 ヤマハ株式会社 音響処理装置、音響処理方法およびプログラム
CN104519373B (zh) * 2014-12-16 2017-12-01 微梦创科网络科技（中国）有限公司 媒体节目互动方法及相关设备
WO2016186610A1 (en) * 2015-05-15 2016-11-24 Hewlett-Packard Development Company, L.P. Embedding information in an audio stream for connectivity
US9762965B2 (en) 2015-05-29 2017-09-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
CN104966512A (zh) * 2015-07-03 2015-10-07 成都陌云科技有限公司 一种平板电脑专用的节目识别器
CN105392022B (zh) * 2015-11-04 2019-01-18 北京符景数据服务有限公司 基于音频水印的信息交互方法与装置
CN105898381A (zh) * 2015-12-15 2016-08-24 乐视致新电子科技（天津）有限公司 传输、播放内容的方法和内容服务器以及智能设备
CN105635841A (zh) * 2015-12-28 2016-06-01 北京正奇联讯科技有限公司 互动播出的控制方法和系统
CN105791973A (zh) * 2016-03-07 2016-07-20 大连乐云信息技术有限公司 一种基于声波水印的解析方法及装置
CN106921728A (zh) * 2016-08-31 2017-07-04 阿里巴巴集团控股有限公司 一种定位用户的方法、信息推送方法及相关设备
CN107395292B (zh) * 2017-07-05 2021-08-31 厦门声戎科技有限公司 一种基于海洋生物信号分析的信息隐藏技术通信方法
CN108877819B (zh) * 2018-07-06 2023-05-26 信阳师范学院 一种基于系数自相关度的语音内容取证方法
US11244692B2 (en) * 2018-10-04 2022-02-08 Digital Voice Systems, Inc. Audio watermarking via correlation modification using an amplitude and a magnitude modification based on watermark data and to reduce distortion
CN110211606B (zh) * 2019-04-12 2021-04-06 浙江大学 一种语音认证系统的重放攻击检测方法
CN111199746B (zh) * 2020-01-08 2022-09-06 中信银行股份有限公司 信息隐藏方法以及隐藏信息提取方法
KR102387978B1 (ko) 2020-05-18 2022-04-18 이미진 Ｅｃ 통합형 메타미디어의 제작 방법, 전송 시스템 및 전송 방법
CN115831131B (zh) * 2023-01-15 2023-06-16 中国科学技术大学 一种基于深度学习的音频水印嵌入提取的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236432A (ja) * 1999-02-15 2000-08-29 Matsushita Electric Ind Co Ltd デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体
JP2002505758A (ja) * 1996-05-31 2002-02-19 マサチューセッツ・インスティテュート・オブ・テクノロジー オーディオ信号内にエコーによるデータ隠しを行うための方法及び装置
JP2003263183A (ja) * 2002-03-11 2003-09-19 Univ Tohoku 電子透かしシステム
JP2006086901A (ja) * 2004-09-16 2006-03-30 Sanyo Electric Co Ltd 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2681997A1 (fr) 1991-09-30 1993-04-02 Arbitron Cy Procede et dispositif d'identification automatique d'un programme comportant un signal sonore.
US7562392B1 (en) * 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
ATE192259T1 (de) 1995-11-09 2000-05-15 Nokia Mobile Phones Ltd Verfahren zur synthetisierung eines sprachsignalblocks in einem celp-kodierer
US5848155A (en) 1996-09-04 1998-12-08 Nec Research Institute, Inc. Spread spectrum watermark for embedded signalling
EP0858174A3 (de) * 1997-02-11 2002-09-04 Philips Patentverwaltung GmbH Verfahren und System zum Ubertragen von Daten und Energie
US6792542B1 (en) 1998-05-12 2004-09-14 Verance Corporation Digital system for embedding a pseudo-randomly modulated auxiliary data sequence in digital samples
WO2000039955A1 (en) * 1998-12-29 2000-07-06 Kent Ridge Digital Labs Digital audio watermarking using content-adaptive, multiple echo hopping
KR100375822B1 (ko) * 2000-12-18 2003-03-15 한국전자통신연구원 디지털 오디오의 워터마크 삽입/추출 장치 및 방법
JP2002314980A (ja) 2001-04-10 2002-10-25 Mitsubishi Electric Corp コンテンツ販売システムおよびコンテンツ購入装置
US7010052B2 (en) * 2001-04-16 2006-03-07 The Ohio University Apparatus and method of CTCM encoding and decoding for a digital communication system
KR100430566B1 (ko) * 2001-11-02 2004-05-10 한국전자통신연구원 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치 및그 방법
US7421304B2 (en) * 2002-01-21 2008-09-02 Kenwood Corporation Audio signal processing device, signal recovering device, audio signal processing method and signal recovering method
KR100595202B1 (ko) * 2003-12-27 2006-06-30 엘지전자 주식회사 디지털 오디오 워터마크 삽입/검출 장치 및 방법
JP2005266013A (ja) 2004-03-16 2005-09-29 Tohoku Univ Ｐｎ系列検出装置、ｐｎ系列検出回路およびそのプログラム
BRPI0517780A2 (pt) * 2004-11-05 2011-04-19 Matsushita Electric Ind Co Ltd aparelho de decodificação escalável e aparelho de codificação escalável
CN101275854A (zh) * 2007-03-26 2008-10-01 日电（中国）有限公司 更新地图数据的方法和设备
CN101718859A (zh) * 2008-10-09 2010-06-02 日电（中国）有限公司 以自适应分辨率定位目标的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002505758A (ja) * 1996-05-31 2002-02-19 マサチューセッツ・インスティテュート・オブ・テクノロジー オーディオ信号内にエコーによるデータ隠しを行うための方法及び装置
JP2000236432A (ja) * 1999-02-15 2000-08-29 Matsushita Electric Ind Co Ltd デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体
JP2003263183A (ja) * 2002-03-11 2003-09-19 Univ Tohoku 電子透かしシステム
JP2006086901A (ja) * 2004-09-16 2006-03-30 Sanyo Electric Co Ltd 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法

Also Published As

Publication number Publication date
US7957977B2 (en) 2011-06-07
US20080027734A1 (en) 2008-01-31
CN101115124A (zh) 2008-01-30
JP2008058953A (ja) 2008-03-13
CN101115124B (zh) 2012-04-18

Similar Documents

Publication Publication Date Title
JP4690366B2 (ja) 音声透かしをベースとするメディア・プログラムの識別方法及び装置
US7454034B2 (en) Digital watermarking of tonal and non-tonal components of media signals
JP5548278B2 (ja) 透かし信号の供給および透かし埋め込み
US7330562B2 (en) Watermarking in the time-frequency domain
Dutta et al. Data hiding in audio signal: A review
JP2013520696A (ja) 透かし信号の供給装置および透かし信号を供給するための方法
KR101419164B1 (ko) 개선된 동기화 개념을 이용한 워터마크 생성기, 워터마크 디코더, 워터마크 신호를 제공하는 방법, 워터마킹된 신호에 기초하여 이진 메시지 데이터를 제공하는 방법 및 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체
JP5567150B2 (ja) 差分符号化を用いたウォーターマーク生成器、ウォーターマーク復号器、バイナリーメッセージデータに基づいてウォーターマーク信号を提供する方法、ウォーターマーク済み信号に基づいてバイナリーメッセージデータを提供する方法及びコンピュータプログラム
RU2666647C2 (ru) Генератор водяного знака, декодер водяного знака, способ генерации сигнала водяного знака на основе данных двоичного сообщения, способ формирования данных двоичного сообщения на основе сигнала с водяным знаком и компьютерная программа с использованием двухмерного расширения битов
RU2586845C2 (ru) Декодер водяного знака и способ формирования данных двоичного сообщения
US9905233B1 (en) Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
Li et al. An audio watermarking technique that is robust against random cropping
Bhattacharyya et al. A novel audio steganography technique by M16MA
Kojima et al. An Acoustic Communication Technique Based on Audio Data Hiding Utilizing Artificial Flowing Water Sounds
Firouzmand et al. Self-synchronized digital audio watermarking using discrete wavelets transform and singular value decomposition
Huang AN ERROR, RESILIENT SCHEMIE of DIGITAL, VVATER MARKING
Huang An error resilient scheme of digital watermarking for MP3 streaming audio
Pandey et al. Audio Watermarking Based on Amplitude Variation to Enhance Imperceptibility and Robustness of an Audio Signal
Er Error concealment for speech over noisy channels by using audio watermarking
WO2004098069A1 (en) Methods and apparatus to perform spread spectrum encoding and decoding for broadcast applications

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110128

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees