JP4474161B2 - 情報信号への補足データの埋め込み - Google Patents
情報信号への補足データの埋め込み Download PDFInfo
- Publication number
- JP4474161B2 JP4474161B2 JP2003544730A JP2003544730A JP4474161B2 JP 4474161 B2 JP4474161 B2 JP 4474161B2 JP 2003544730 A JP2003544730 A JP 2003544730A JP 2003544730 A JP2003544730 A JP 2003544730A JP 4474161 B2 JP4474161 B2 JP 4474161B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- data signal
- characteristic function
- supplemental data
- relative magnitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000005236 sound signal Effects 0.000 claims abstract description 26
- 230000000153 supplemental effect Effects 0.000 claims description 62
- 230000003111 delayed effect Effects 0.000 claims description 26
- 230000000670 limiting effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 63
- 230000002123 temporal effect Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 9
- 230000001629 suppression Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 206010021403 Illusion Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000005291 magnetic effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/00884—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
- G11B20/00891—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Editing Of Facsimile Originals (AREA)
- Traffic Control Systems (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Image Processing (AREA)
Description
本発明は、情報信号への補足データ（supplementary data）の埋め込みに関し、とりわけ、情報信号に埋め込まれるべき補足データ信号の調整に関する。
近年、デジタルマルチメディアデータの使用及び流通に向かう傾向の増加が、斯かるデータの適切なコピープロテクション、著作権保護及び所有者の確認の必要性の増加を招いている。
デジタルウォーターマーキングは、種々の目的、例えば、著作権の所有者の証明、不正コピーの追跡、コピーコントロール機器の制御、放送の監視、真偽確認(authenticity verification)、マルチメディア信号への補助情報の付加等に用いられ得る未来技術(emerging technology)である。
ウォーターマークは、情報信号のサンプルを僅かに修正することにより該情報信号に埋め込まれる補足データを有する。好ましくは、ウォーターマーキングスキームは、ウォーターマークが知覚不能であるように、即ち、ウォーターマークが情報信号の品質に大幅に影響を及ぼさないように設計されるべきである。
オーディオ信号にウォーターマークを入れる分野において、多くの埋め込みアルゴリズムが知られている。例えば、変換ベースのアルゴリズムにおいて、デジタルオーディオ信号の係数が時間領域から周波数領域に変換され、変換された信号の係数が補足データ信号に対応して修正され、修正された係数が時間領域に再変換される。既知のアプローチの一般的な問題は、時間領域における解像度の欠落である。結果として、補足データ信号が時間と共に分散し、知覚可能な歪みを導入するかもしれない。
M.D. Swanson等による“Robust audio watermarking using perceptual masking”(Signal Processing 66 (1988) 337-355)において、時間的ゲイン関数(temporal gain function)がホストオーディオ信号の包絡線をモデル化することにより演算される方法が開示されている。オーディオ信号の概算された包絡線(estimated envelope)は、オーディオ信号と共に増加し、指数的に減衰する。概算された包絡線は、補足データ信号の埋め込みに先立ち該補足データ信号に乗算され、これにより、オーディオセグメントの補足データ信号を整形する。
しかしながら、上記従来技術の方法は、埋め込まれるデータのエネルギの不必要な低減をもたらす可能性があるという課題を伴う。
上述の課題は、情報信号に埋め込まれるべき補足データ信号を調整する方法であって、
所定のサイズの領域にわたって平均される前記情報信号の第１特性関数及び前記領域にわたって平均される前記補足データ信号の第２特性関数の相対的な大きさを決定するステップ、及び
前記決定された相対的な大きさに応じて前記補足データ信号を調整するステップを有する方法により解決される。
所定のサイズの領域にわたって平均される前記情報信号の第１特性関数及び前記領域にわたって平均される前記補足データ信号の第２特性関数の相対的な大きさを決定するステップ、及び
前記決定された相対的な大きさに応じて前記補足データ信号を調整するステップを有する方法により解決される。
結果として、補足データ信号の調整のレベルが、ホスト信号及び補足データ信号の両方の局所特性により決定され、これにより、補足データ信号を、オーディオ信号が補足データ信号と比較して弱い箇所で減衰させ、オーディオ信号が比較して強い箇所で増幅させることを可能にする。したがって、補足データ信号の適切な減衰が、高度な埋め込みウォーターマークエネルギを提供しつつ、最終的な信号の知覚品質を維持しながら達成される。
本発明の更なる利点は、補足データ信号を調整するフレキシブル且つ計算的に効率のよい方法を提供することにある。
本発明の好適な実施例によれば、前記第１特性関数が、前記情報信号の局所エネルギ関数であり、前記第２特性関数が、前記補足データ信号の局所エネルギ関数である。結果として、オーディオ信号及び補足データ信号の局所エネルギが演算され、直接比較される。補足データ信号は、該補足データ信号のエネルギが情報信号のエネルギを超える箇所で減衰され、その他の箇所では増幅される。したがって、高度なウォーターマークエネルギが埋め込まれ、これにより、検出結果対知覚品質の観点で改善された性能をもたらすことができる。
前記第１特性関数が前記情報信号の局所的な大きさであり、前記第２特性関数が前記補足データ信号の局所的な大きさである場合、二乗及び平方根の計算等の計算的に高価な処理を回避した、補足データ信号を調整する計算的に安価な方法が達成される。
場合により、決定された相対的な大きさは、望ましくない性質を持つかもしれない。例えば、決定された相対的な大きさは、非常に大きくなったり、振幅を急速に変化させるものかもしれない。前記決定された相対的な大きさに応じて前記補足データ信号を調整するステップがさらに、前記決定された相対的な大きさを正規化するステップを有する場合、時間的ゲイン関数の望ましくない作用を低減させることができる。
前記正規化するステップが、前記相対的な大きさの振幅を所定の最大値に制限する場合、補足データ信号の望ましくない大きな増幅が回避される。
前記正規化するステップが、ローパスフィルタを前記決定された相対的な大きさに適用するステップを有する場合、振幅の素早い変化が低減される。
平均された特性関数の相対的な大きさの変化が前記信号と比較して遅延されるので、望ましくない作用が、とりわけ情報信号が急速に変化する過渡領域において生じるかもしれない。これらの作用を回避するために、本発明の好適な実施例によれば、前記決定された相対的な大きさに応じて前記補足データ信号を調整するステップが、
前記補足データ信号を所定の遅延だけ遅延させるステップ、及び
前記決定された相対的な大きさに応じて前記遅延された補足データ信号を調整するステップを有する。
前記補足データ信号を所定の遅延だけ遅延させるステップ、及び
前記決定された相対的な大きさに応じて前記遅延された補足データ信号を調整するステップを有する。
結果として、演算された相対的な大きさの遅延が補償される。
前記所定の遅延が前記領域のサイズに対応する場合、プリエコー歪みの改善された抑制が達成される。人間の聴覚系(human auditory system: HAS)はポストエコーよりプリエコーに対する感度の方がはるかに大きいので、プリエコー歪みの抑制が最終的な信号の知覚品質の改善をもたらすことができる。
更に好適な実施例においては、前記決定された相対的な大きさに応じて前記補足データ信号を調整するステップが、
前記補足データ信号を前記領域のサイズに対応する遅延だけ遅延させ、遅延された信号をもたらすステップ、
前記決定された相対的な大きさに応じて前記遅延された信号を調整し、第１の遅延され調整された信号をもたらすステップ、
前記決定された相対的な大きさに応じて前記補足データ信号を調整し、調整された信号をもたらすステップ、
前記調整された信号を前記領域のサイズに対応する遅延だけ遅延させ、第２の遅延され調整された信号をもたらすステップ、及び
前記第１及び第２の遅延され調整された信号を組み合わせるステップを有する。
前記調整された信号を前記領域のサイズに対応する遅延だけ遅延させ、第２の遅延され調整された信号をもたらすステップ、及び
前記第１及び第２の遅延され調整された信号を組み合わせるステップを有する。
結果として、プリエコー歪み及びポストエコー歪みの両方の改善された抑制が達成される。
本発明の更に他の好適な実施例においては、前記相対的な大きさを決定するステップがさらに、
第３特性関数を演算するステップ、
遅延された特性関数を得るために前記第３特性関数を遅延させるステップ、及び
前記第２特性関数を得るために前記第３特性関数と前記遅延された特性関数とを組み合わせるステップを有する。
第３特性関数を演算するステップ、
遅延された特性関数を得るために前記第３特性関数を遅延させるステップ、及び
前記第２特性関数を得るために前記第３特性関数と前記遅延された特性関数とを組み合わせるステップを有する。
結果として、前記信号と比較して平均された特性関数の相対的な大きさの変化の、とりわけ情報信号が急速に変化する過渡領域における遅延によりもたらされる作用の一層改善された抑制が達成される。
本発明はさらに、情報信号に埋め込まれるべき補足データ信号を調整するための装置であって、
所定のサイズの領域にわたって平均される前記情報信号の第１特性関数及び前記領域にわたって平均される前記補足データ信号の第２特性関数の相対的な大きさを決定するための手段、及び
前記決定された相対的な大きさに応じて前記補足データ信号を調整するための手段を有する装置に関する。
所定のサイズの領域にわたって平均される前記情報信号の第１特性関数及び前記領域にわたって平均される前記補足データ信号の第２特性関数の相対的な大きさを決定するための手段、及び
前記決定された相対的な大きさに応じて前記補足データ信号を調整するための手段を有する装置に関する。
本発明はさらに、情報信号に補足データ信号を埋め込むための装置であって、前記装置は、前記情報信号に埋め込まれるべき前記補足データ信号を調整するための装置を有し、前記補足データ信号を調整するための装置は、
所定のサイズの領域にわたって平均される前記情報信号の第１特性関数及び前記領域にわたって平均される前記補足データ信号の第２特性関数の相対的な大きさを決定するための手段、及び
前記決定された相対的な大きさに応じて前記補足データ信号を調整するための手段を有する装置に関する。
前記決定された相対的な大きさに応じて前記補足データ信号を調整するための手段を有する装置に関する。
本発明はさらに、補足データ信号が埋め込まれている情報信号であって、前記補足データ信号は、
所定のサイズの領域にわたって平均される前記情報信号の第１特性関数及び前記領域にわたって平均される前記補足データ信号の第２特性関数の相対的な大きさを決定するステップ、及び
前記決定された相対的な大きさに応じて前記補足データ信号を調整するステップを有する方法によって調整されている情報信号に関する。
所定のサイズの領域にわたって平均される前記情報信号の第１特性関数及び前記領域にわたって平均される前記補足データ信号の第２特性関数の相対的な大きさを決定するステップ、及び
前記決定された相対的な大きさに応じて前記補足データ信号を調整するステップを有する方法によって調整されている情報信号に関する。
情報信号は、通信網、例えばイントラネット、エクストラネット、インターネット、ローカルエリアネットワーク、ワイヤレスまたは有線ネットワーク等における通信信号として具現化されてもよい。
さらに、情報信号は記憶媒体に記憶されてもよい。記憶媒体の用語は、磁気テープ、光ディスク、デジタルビデオディスク（DVD）、コンパクトディスク（CDまたはCD-ROM）、ミニディスク、ハードディスク、フロッピーディスク、強誘電性メモリ、電気的消去可能プログラマブル読出し専用メモリ（EEPROM）、フラッシュメモリ、EPROM、読出し専用メモリ（ROM）、スタティックRAM（SRAM）、ダイナミックランダムアクセスメモリ（DRAM）、同期型ダイナミックランダムアクセスメモリ（SDRAM）、強磁性メモリ、光記憶装置、電荷結合デバイス、スマートカード、PCMCIAカード等を含んでもよい。
本発明のこれらの及び他の態様が、実施例を参照して及び図面を参照して明白になり、また詳述されるであろう。
本発明のこれらの及び他の態様が、実施例を参照して及び図面を参照して明白になり、また詳述されるであろう。
図1は、本発明の一実施例によるウォーターマークを情報信号に埋め込むための装置の概略図を示す。前記装置は、ホストオーディオ信号x(n)をフレームxi(n)にセグメント化するように構成される回路101、及び例えば高速フーリエ変換(FFT)を適用することにより前記フレームをフーリエ領域に変換し、フーリエ係数Xi(k)をもたらすように構成される回路102を有する。前記装置はさらに、ウォーターマークシーケンスW(k)に応じて各フレームのフーリエ係数Xi(k)を僅かに修正するように構成される乗算回路103を有し、該乗算回路103は、ウォーターマークサンプルXi(k)×W(k)をもたらす。ウォーターマークシーケンスW(k)は、疑似ランダムシーケンス、例えば、ゼロ平均及び単位標準偏差を持つ正規化疑似ランダムシーケンス(normally distributed pseudo-random sequence)であってもよい。前記装置はさらに、例えば逆高速フーリエ変換(IFFT)を適用することにより、ウォーターマーク入りサンプルXi(k)×W(k)を時間領域に変換するように構成される回路104を有する。次いで、ウォーターマークセグメントは、再構築されたウォーターマーク信号wm(n)を得るために回路105によって連結される。前記再構築されたウォーターマーク信号wm(n)は、乗算回路１０６により総括埋め込み強さ(overall embedding strength)sと乗算される。前記装置はさらに、時間的ゲイン関数g(n)を演算するように構成される回路107を有する。時間的ゲイン関数g(n)は、乗算器108により変倍されたウォーターマーク信号(scaled watermark signal)s×wm(n)と乗算される。最後に、変倍されたウォーターマーク信号s×g(n)×wm(n)が、加算器109によりホストオーディオ信号x(n)に加算され、この結果、ウォーターマークオーディオ信号y(n)=x(n)+s×g(n)×wm(n)がもたらされる。
周波数領域の乗算、W(k)×Xi(k)は、時間領域の巡回畳み込み(cyclic convolution)に対応することに留意されたい。したがって、如何なる所与のフレームiにおけるウォーターマーク信号も、
として表すことができる。ここで、w(n)は、時間領域において対応するウォーターマーク信号である。
しかし、ウォーターマークエネルギは、回路104によって時間領域にウォーターマークフレームを再変換するステップの間、フレーム全体にわたって分散するかもしれない。この作用は、知覚可能な歪みを、とりわけ、図2a及び2bと関連して説明される強く突発的な振幅変化が存する場合にもたらす恐れがある。ウォーターマーク入り信号を適切に選択されたゲイン関数g(n)と乗算することにより、オーディオウォーターマークの時間的特徴を改善することができる。本発明によるこのようなゲイン関数を演算する方法を以下に述べる。
高速フーリエ変換に代えて他の数学的変換の形式が用いられてもよいことを理解されたい。このような変換の例は、離散フーリエ変換(DFT)、離散コサイン変換（DCT）、ウェーブレット変換(Wavelet transforms)等を含む。
さらに、他の埋め込みスキームが用いられてもよいことを理解されたい。例えば、線形畳み込みを演算するFIRウォーターマークフィルタが、ウォーターマーク入りオーディオ信号を演算するために用いられてもよい。変換ベースのアルゴリズムとは対照的に、線形畳み込みの演算は、ホスト信号x(n)のセグメント化を含まない。この実施例によれば、ウォーターマーク入りオーディオ信号が、
に応じて演算される。ここで、記号
は、線形畳み込み、即ち、
を示す。
上述したアルゴリズムのような変換ベースのアルゴリズムと同様に、線形畳み込みに基づく埋め込みアプローチは、制限された時間的解像度及び知覚可能な歪みを被るかもしれない。
図2a及び2bは、強く突発的な振幅変化を持つホストオーディオ信号に埋め込まれる補足データ信号と関連したプリエコー歪み及びポストエコー歪みの作用を図示する。図2aはホストオーディオ信号の一例を図示し、正規化振幅Aが時間tの関数としてプロットされている。図2aの例におけるオーディオ信号は、強く突発的な振幅変化201及び202を有するカスタネットを用いた音声の一部の短セグメントを表している。このような振幅変化は、”アタック”または”トランジェント”とも呼ばれる。
図2Bは、図1と関連して述べられた方法ではあるが、時間的ゲイン関数を用いない方法に応じて図2aのホスト信号から演算されたウォーターマーク信号を図示する。図2Bから分かるように、アタック201及び202のそれぞれの位置207及び208の周りで、ウォーターマーク信号が、解析フレームに対応する幅にわたって滲んでいる(smeared out)。解析ウィンドウの幅は、それぞれ、アタック位置207に対し水平ライン209及び210によって、及びアタック位置208に対し水平ライン211及び212によって示されている。図2bは更に、歪みが、それぞれのアタック位置の前、即ち、領域203及び205においても、それぞれのアタック位置の後、即ち、領域204及び206においても導入されることを図示している。これらの歪みは、知覚可能なプリエコー歪み及びポストエコー歪みをそれぞれ引き起こすかもしれない。したがって、ウォーターマーク信号により導入される知覚的な歪みは、アタックが存する場合にとりわけ顕著であることが図2a及び2bから分かるであろう。
本発明の利点は、このような変化の位置を決定することを必要とせずに強く突発的な振幅変化と関連する知覚的な歪みを除去する高速且つ計算的に安価な方法を提供することにある。結果として、アタックを検出する失敗によって生じ得る歪みが低減される。
図3は、本発明の一実施例によるウォーターマーク信号を調整するための時間的ゲイン関数を演算する方法の流れ図を示す。この実施例によれば、時間領域ウォーターマーク信号wm(n)が、ホストオーディオ信号x(n)に基づいて、例えば図1と関連して述べられた方法のうちの一つに応じて生成されていることが前提とされている。ステップ301において、補足データ信号の動きエネルギ(moving energy)が
に応じて演算される。
ここで、E(n)は、振幅1及び長さNを持つ矩形のウィンドウ関数であり、即ち、0≦n＜Nに対しE(n)=1であり、その他はE(n)=0である。好適には、Nは、図1と関連して述べたように、フレームベースの埋め込みスキームにおけるフレームの長さ、またはFIRベースのスキームにおけるフィルタのサイズよりも大幅に小さいものが選択される。非常に小さいNが選択される場合、ゲイン関数は著しく変動し、これにより、信号にノイズを誘発するであろう。大きなNが選択される、すなわち、フレーム長のオーダーのNが選択される場合、時間的ゲイン関数はゆっくりとしか変化せず、これにより、強く突発的な振幅変化と関連した歪みを抑制する効率を低減させるであろう。本発明の一実施例においては、Nは約7msecに対応して選択されてもよい。2048サンプルの長さのウォーターマークフィルタを用いた44.1kHzオーディオの例においては、これは約301サンプルに対応する。しかしながら、これは単なる一例であり、1乃至20msecの範囲における別の値や、それ以上の値が用いられてもよいことに留意されたい。
同様に、ステップ302において、ホストオーディオ信号の動きエネルギが
に応じて演算される。
ステップ303において、ゲイン関数が、演算されたエネルギ信号の比率として演算される。すなわち、
ここで、小パラメータεが、ゼロによって起こり得る除算を防止するために分母に加えられる。好適には、εは、小さな正の数、即ち、0<ε<<1のものが選択される。例えば、εは、0.001及び0.1の間で選択されてもよい。しかしながら、他の値も同様に可能である。
q(n)の値は、埋め込まれたウォーターマーク信号がホスト信号と比較してどれくらい強いかについて示す。1より小さいq(n)の値は、ウォーターマークの局所エネルギがホスト信号の局所エネルギを越えていることを示す。結果として、ウォーターマーク信号をq(n)と乗算することにより、ウォーターマーク信号はこれらの位置で減衰される。1より大きいq(n)の値は、ウォーターマークエネルギがホスト信号より小さいことを示す。対応して、これらの位置において、ウォーターマーク信号は、知覚品質を維持しつつ、q(n)と乗算することにより増幅される。
さらに、上記の式の係数1/NはMx(n)及びMwm(n)の演算において省略されてもよいことに留意されたい。Mx(n)及びMwm(n)の比率を演算する場合、斯かる係数はほとんど打ち消しあい、結果に対し如何なる重大な影響も持たない。
ステップ301及び302が図示の順番で実行される必要はないことに留意されたい。代替的に、ステップ302はステップ301の前に実行されてもよく、好適には、ステップ301及び302は並列に実行されてもよい。
さらに、信号の局所特性を測定する他の特性関数が信号エネルギの代わりに用いられてもよいことに留意されたい。例えば、エネルギの単調関数、例えば、量[Mx(n)]p及び[Mwm(n)]p（p>0、例えばp=1/2）を用いることに対応する、エネルギの平方根等のエネルギの累乗が用いられてもよい。本発明の他の実施例によれば、信号x(n)及びwm(n)のそれぞれの絶対値が用いられてもよい。したがって、関数
と、
が、それぞれMx(n)及びMwm(n)の代わりに演算される。この実施例の利点は、該実施例が二乗演算を伴わないように、僅かな計算資源しか必要としないことである。
上述したように、代替的に、上記の量M'x(n)及びM'wm(n)の単調関数は、例えば、係数1/Nを省略することにより、当該量を二乗することにより、または平方根をとることにより用いられてもよい。
さらに、上述の平均の演算における矩形ウィンドウを選択することに代えて、他のウィンドウ関数が、例えばより近い信号値への重み付けが離れた信号値への重み付けよりも強くなるように漸進的に重み付けがなされる加重平均に対応して用いられてもよいことに留意されたい。
最後に、上述の比率の代わりに、上述の局所エネルギの相対的な大きさを示す他の関数、例えば、上述の比率、または図4と関連して述べられるような正規化された比率の如何なる単調関数も用いられてもよいことに留意されたい。
図4は、本発明の一実施例によるウォーターマーク信号を調整するための装置の概略図を示す。図4においては、時間領域ウォーターマーク信号wm(n)が、ホストオーディオ信号x(n)に基づいて、例えば図1と関連して述べられた方法のうちの一つに応じて生成されていることが前提とされている。前記装置は、時間的ゲイン関数を演算するように構成される回路107を有する。本発明の本実施例によれば、回路107は、図3と関連して述べられたように、ウォーターマーク信号の動きエネルギMwm(n)を演算するように構成される回路401、及びホスト信号の動きエネルギMx(n)を演算するように構成される回路402を有する。回路403において、初期ゲイン関数q(n)が、図3と関連して述べられたようにホスト信号のエネルギとウォーターマークエネルギとの比率として演算される。前記装置はさらに、時間的ゲイン関数が所定の閾値gmaxを越えないことを保証する正規化回路(regularization circuit)404を有してもよい。すなわち、正規化回路404は以下の処理を実行する。
この結果、正規化ゲイン関数g(n)が得られる。ウォーターマーク信号の増幅が望ましくない場合、閾値は、例えば1に選択されてもよい。gmax>1の値は、信号の最大許容される増幅に対応する。
代替的にまたは付加的に、回路404は、時間的ゲイン関数がある条件を満たすことを保証するために他の正規化処理を実行するように構成されてもよい。一例として、ローパスフィルタの適用が、時間的ゲイン関数が振幅を急速に変動させないことを保証する。
図3と関連して論じられたパラメータεも関数q(n)の最大振幅にある制約を課すことに留意されたい。
前記装置はさらに、回路401及び402における動きエネルギの演算により導入される遅延を補償するために所定の遅延値だけウォーターマーク信号wm(n)を遅延させるように構成される遅延回路405を有してもよい。遅延値の好適な選択は、図5a乃至5dと関連して後述する。ウォーターマークの総括重み(overall weight)が、図1と関連して述べられたように、回路406によりウォーターマーク信号wm(n)をグローバル埋め込み強さ(global embedding strength)sと乗算することによって決定される。正規化ゲイン関数g(n)が、乗算回路407により遅延され変倍されたウォーターマーク信号と乗算される。最後に、ウォーターマーク信号が、加算回路409によりホスト信号x(n)に加えられる。この結果、ウォーターマーク入り信号y(n)がもたらされる。前記装置はさらに、遅延回路405及びg(n)の演算によって導入される遅延に対応して加算回路409に先立ちホスト信号を遅延させるように構成される遅延回路408を有する。
図5a乃至5dは、時間的ゲイン関数の特徴に対する遅延素子405の影響を図示する。一般に、Nの係数を有する直線位相FIRフィルタは、(N-1)/2に対応する遅延を導入する。ここで、Nは奇数が前提とされている。結果として、動きエネルギの演算は、対応する遅延を導入する。このことが図5a乃至5dに図示されている。ここでは、ウォーターマーク信号の簡略化された例が示されている。破線502は、図5a乃至5dにおいて位置cで強いアタックを持つオーディオホスト信号に起因することが前提とされている簡略化されたウォーターマーク信号のエネルギの包絡線を図示する。図5a乃至5dの例においては、合成オーディオホスト信号が、矩形のウォーターマーク信号502をもたらすことになる、位置cでデルタピーク501を有することが前提とされている。図5aにおいて、対応して演算されたウォーターマークエネルギ信号Mwm(n)が実線503として図示されている。図5aから分かるように、平均されたエネルギ信号は、エネルギが平均されるN信号サンプルの期間に対応する、位置a及びb間の期間にわたって漸進的に増加する。対応して、平均された信号エネルギは、位置d及びe間の期間にわたって減少する。図5aにおいては、遅延が遅延素子505によって導入されないことが前提とされている。したがって、実線503の特徴は、入力信号wm(n)に対して遅延される局所平均関数Mwm(n)の特徴に対応する。この遅延は、Mwm(n)中ウォーターマーク信号の包絡線が急激に増加するポイントa及びb間の遷移区域における望ましくない特性をもたらすかもしれない。結果として、その結果の初期ゲイン関数q(n)が、a及びb間の期間において漸進的にしか減少せず、これにより、プリエコー信号の不適切な抑制がもたらされる。他方、ポストエコー信号は、d及びe間の遷移領域においても十分に抑制される。
図5bは、ウォーターマーク信号wm(n)502 が(N-1)/2の遅延、すなわち、平均する期間の長さの半分に対応する遅延だけ遅延される場合のゲイン関数q(n)の作用を図示する。図5bから分かるように、この遅延はプリエコー歪みの改善された抑制をもたらすのに対し、ここではd及びe間の領域におけるポストエコー歪みが一部しか抑制されない。
図5cにおいて、ウォーターマーク信号は、平均するウィンドウの長さに対応する(N-1)サンプルだけ遅延される。この遅延は、プリエコー歪みがb及びc間の領域全体にわたって打ち消されることを保証する。この実施例によれば、ポストエコー歪みは、d及びe間の領域において効率よく抑制されない。しかしながら、これは信号の知覚品質を著しくは低減させないかもしれない。なぜなら、HASはポストエコーよりプリエコーに対する感度の方がはるかに大きいからである（例えば、E. Zwicker及びH. Fastlによる"Psychoacoustics, Facts and Models", Springer, Berlin, Heidelberg, 1990を参照）。結果として、平均するウィンドウの長さに対応する遅延の選択は、追加の計算的な複雑さなしに検出結果対知覚品質の観点で改善された性能をもたらす。
図5cによる実施例の完全なポストエコー抑制の欠如は、図5a及び5cに図示されるアプローチの組み合わせにより解決されてもよい。プリエコー歪み及びポストエコー歪みが両方とも抑制されるこの実施例が図5dに図示されている。本発明の一実施例において、この組み合わせは、図6に図示されるような装置により達成されてもよい。
上述した例以外の遅延値、例えば、(N-1)/2及び(N-1)間の遅延値が用いられてもよいことに留意されたい。例えば、N-1の代わりに、平均するために用いられる期間の長さNに等しいか、Nから僅かにずれた別の値が用いられてもよい。一例として、N-1の代わりに、N+1、N-3、N+3、N-5、N+5等の遅延値が用いられてもよい。しかしながら、Nより大幅に大きい遅延が選択される場合、ポストエコー作用が、プリエコー抑制をより一層改善することなく次第に可聴となるかもしれない。同様の考察は遅延(N-1)/2にもあてはまる。さらに、Nが偶数の場合、上述の遅延(N-1)/2及び(N-1)はそれぞれN/2及びNと置き換えられてもよいことが当業者にとって明らかとなるであろう。
図6は、図5dと関連して述べられた組み合わせ遅延を実現する本発明の一実施例による装置の概略図を示す。前記装置は、図3及び4と関連して述べられたような時間的ゲイン関数を演算するように構成される素子107を有する。前記装置はさらに、図4と関連して述べられたような、補足データ信号をグローバルスケールファクタsと乗算するための回路405、遅延素子408、及び情報信号を変倍されたウォーターマーク信号と組み合わせるための加算回路409を有する。本発明のこの実施例によれば、回路107によって演算される時間的ゲイン関数g(n)が、乗算器603によって、変倍された遅延のない補足データ信号と乗算される。前記装置はさらに、変倍された補足データ信号を好適には図5cと関連して述べられたような平均する窓のサイズに対応する遅延だけ遅延させる遅延素子605を有する。遅延された信号は、乗算器604によってゲイン関数g(n)と乗算される。さらに、乗算器603の出力は、遅延素子605によって導入される遅延に対応する遅延素子606によって遅延される。前記装置はさらに、乗算器604の出力及び遅延素子606の出力の最小値に対応する出力を生成するように構成される回路607を有する。最後に、素子607の出力が、回路409によって、遅延された情報信号と組み合わされる。結果として、素子607の出力が、図5dと関連して述べられたアプローチに応じて調整された補足データ信号に対応し、これにより、プリエコー歪み及びポストエコー歪みの両方の抑制が生じる。
代替的に、前記組み合わせ遅延を実現する他の方法が用いられてもよい。例えば、実現性の視点から、演算の効率が、回路107内部で回路607に応じた比較を実行することにより高められてもよい。したがって、他の実施例によれば、回路401において演算される信号Mwm(n)が分割されてもよく、分割された信号が互いに対して遅延されてもよい。この場合、遅延されるバージョンが、サンプル毎に基づいて互いと比較されてもよく、最大値がMwmのための最終バージョンとして用いられてもよい。
図7a及び7bは、本発明によるフィルタ関数E(n)を実現するための装置の2つの実施例を図示する。図7aは、順方向構造(forward structure)を実現する実施例を図示する。先ず、図3及び4の実施例におけるフィルタ関数E(n)の特別な形状が伝達関数
に対応することに留意されたい。
したがって、このフィルタは、図7aに図示されるように順方向構造によって実現されてもよい。図7aにおいて、前記構造は、N=5の例のために図示されている。図7aの装置は、4つの遅延素子701及び4つの加算器702を含む。したがって、一般的な場合、図7aに図示される構造による実現例は、N-1の加算器及びN-1の遅延素子を必要とする。
上記の装置の複雑性は、
に応じた再帰構造(recursive structure)として伝達関数を実現することにより著しく低減されてもよい。
この構造は、ここでもN=5の例に対して図7bに図示されるような、いわゆる"direct form 2"（例えば、Alan V. Oppenheim及びRonald W. Schaferによる"Discrete-Time Signal Processing", Prentice Hall, 1999を参照）に応じて実現されてもよい。図示のように、この実現例は、5つの遅延素子701を必要とする一方、加算器702の数が2に低減されている。素子703は、係数-1による乗算、すなわち、符号の変化を含む。結果として、Nの全ての選択に対し、この実現例は、加算器の数を2に低減する一方、遅延素子の数を図7aの順方向構造と比較して1つだけ増加する。したがって、特により大きなNの値に対し、複雑性の大幅な低減が達成される。
他の代替的な実現例も同様に用いられてもよいことに留意されたい。例えば、いわゆる"direct form 1"構造（例えば、Alan V. Oppenheim及びRonald W. Schaferによる"Discrete-Time Signal Processing", Prentice Hall, 1999を参照)は、N+1の遅延素子及び2つの加算器を必要とする。
本文献に述べられる装置は、如何なるプロセシングユニット、例えば、プログラマブルマイクロプロセッサ、特定用途向け集積回路若しくはその他の集積回路、またはスマートカード等によって実現されてもよいことを理解されたい。
さらに、本発明は、オーディオ信号のウォーターマーキングの分野における本発明の実施例と関連して述べられたことに留意されたい。しかしながら、当該方法は、その他の補足データを、マルチメディア信号、ビデオ信号、アニメーション、グラフィック、静止画像等の如何なるタイプのホスト信号に埋め込むために適用されてもよいことを理解されたい。ある実施例においては、ホスト信号が、時間領域以外の領域、例えば、画像と関連した空間領域において表されてもよく、振幅の概念が、輝度、強度等の他の量によって置き換えられてもよい。
さらに、本発明は、補足データ信号が情報信号に埋め込まれる様々なアプリケーションと関連して適用されてもよいことに留意されたい。例えば、ウォーターマーキングの分野において、補足データ信号は、著作権の所有者の証明、不正コピーの追跡、コピーコントロール機器の制御、放送の監視、真偽確認、マルチメディア信号への補助情報の付加等として埋め込まれてもよい。一例として、オーディオウォーターマークが、オーディオ信号内に、該オーディオ信号の例えば通信信号や記憶媒体に記憶されたものとしての流通に先立ちレコーダまたはその他の装置により埋め込まれてもよい。
尚、上述した実施例は本発明を制限するというよりは解説するものであり、当業者であれば添付請求項の範囲から逸脱することなく多くの他の実施例を設計することができるであろうことに留意されたい。各請求項において、括弧内に配置された如何なる参照符号も当該請求項を限定するものとみなしてはならない。“有する”なる用語は、請求項に記載されたもの以外の他の要素及びステップの存在を排除するものではない。本発明は、幾つかの個別素子を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実現することができる。幾つかの手段を列挙する装置請求項において、これらの手段の幾つかはハードウェアの同一アイテムにより具現化することができる。或る手段が相互に異なる従属請求項に記載されるという事実のみでは、これらの手段の組合せが有利に使用することができないということを示すことにはならない。
Claims (13)
- 情報信号に埋め込まれるべき補足データ信号を調整する方法であって、
前記情報信号を入力するステップ、
前記補足データ信号を入力するステップ、
入力された前記情報信号を用いて所定のサイズの領域にわたって平均される前記情報信号の第１特性関数を演算するステップ、
入力された前記補足データ信号を用いて前記領域にわたって平均される前記補足データ信号の第２特性関数を演算するステップ、
前記第１特性関数及び前記第２特性関数の相対的な大きさを決定するステップ、並びに
前記決定された相対的な大きさに応じて、入力された前記補足データ信号を調整するステップを有する方法。 - 前記第１特性関数は、前記情報信号の局所エネルギ関数であり、前記第２特性関数は、前記補足データ信号の局所エネルギ関数であることを特徴とする請求項１に記載の方法。
- 前記第１特性関数は、前記情報信号の局所的な大きさであり、前記第２特性関数は、前記補足データ信号の局所的な大きさであることを特徴とする請求項１に記載の方法。
- 前記決定された相対的な大きさに応じて前記補足データ信号を調整するステップはさらに、前記決定された相対的な大きさを正規化するステップを有することを特徴とする請求項１に記載の方法。
- 前記正規化するステップは、前記相対的な大きさの振幅を所定の最大値に制限するステップを有することを特徴とする請求項４に記載の方法。
- 前記正規化するステップは、ローパスフィルタを前記決定された相対的な大きさに適用するステップを有することを特徴とする請求項４に記載の方法。
- 前記決定された相対的な大きさに応じて前記補足データ信号を調整するステップは、
前記補足データ信号を所定の遅延だけ遅延させるステップ、及び
前記決定された相対的な大きさに応じて前記遅延された補足データ信号を調整するステップを有することを特徴とする請求項１に記載の方法。 - 前記所定の遅延は前記領域のサイズに対応することを特徴とする請求項７に記載の方法。
- 前記決定された相対的な大きさに応じて前記補足データ信号を調整するステップは、
前記補足データ信号を前記領域のサイズに対応する遅延だけ遅延させ、遅延された信号をもたらすステップ、
前記決定された相対的な大きさに応じて前記遅延された信号を調整し、第１の遅延され調整された信号をもたらすステップ、
前記決定された相対的な大きさに応じて前記補足データ信号を調整し、調整された信号をもたらすステップ、
前記調整された信号を前記領域のサイズに対応する遅延だけ遅延させ、第２の遅延され調整された信号をもたらすステップ、及び
前記第１及び第２の遅延され調整された信号を組み合わせるステップを有することを特徴とする請求項１に記載の方法。 - 前記第２特性関数を演算するステップはさらに、
入力された前記補足データ信号を用いて前記領域にわたって平均される前記補足データ信号の第３特性関数を演算するステップ、
遅延された特性関数を得るために前記第３特性関数を遅延させるステップ、及び
前記第２特性関数を得るために前記第３特性関数と前記遅延された特性関数とを組み合わせるステップを有することを特徴とする請求項１に記載の方法。 - 前記情報信号はデジタルオーディオ信号を有することを特徴とする請求項１に記載の方法。
- 情報信号に埋め込まれるべき補足データ信号を調整するための装置であって、
前記情報信号を入力する手段、
前記補足データ信号を入力する手段、
入力された前記情報信号を用いて所定のサイズの領域にわたって平均される前記情報信号の第１特性関数を演算する手段、
入力される前記補足データ信号を用いて前記領域にわたって平均される前記補足データ信号の第２特性関数を演算する手段、
前記第１特性関数及び前記第２特性関数の相対的な大きさを決定するための手段、並びに
前記決定された相対的な大きさに応じて、入力された前記補足データ信号を調整するための手段を有する装置。 - 情報信号に補足データ信号を埋め込むための装置であって、前記装置は、前記情報信号に埋め込まれるべき前記補足データ信号を調整するための装置を有し、前記補足データ信号を調整するための装置は、
前記情報信号を入力する手段、
前記補足データ信号を入力する手段、
入力された前記情報信号を用いて所定のサイズの領域にわたって平均される前記情報信号の第１特性関数を演算する手段、
入力される前記補足データ信号を用いて前記領域にわたって平均される前記補足データ信号の第２特性関数を演算する手段、
前記第１特性関数及び前記第２特性関数の相対的な大きさを決定するための手段、並びに
前記決定された相対的な大きさに応じて、入力された前記補足データ信号を調整するための手段を有する装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01204387 | 2001-11-16 | ||
| PCT/IB2002/004456 WO2003042978A1 (en) | 2001-11-16 | 2002-10-24 | Embedding supplementary data in an information signal |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2005509907A JP2005509907A (ja) | 2005-04-14 |
| JP2005509907A5 JP2005509907A5 (ja) | 2006-01-05 |
| JP4474161B2 true JP4474161B2 (ja) | 2010-06-02 |
Family
ID=8181250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003544730A Expired - Lifetime JP4474161B2 (ja) | 2001-11-16 | 2002-10-24 | 情報信号への補足データの埋め込み |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US7561688B2 (ja) |
| EP (1) | EP1449204B1 (ja) |
| JP (1) | JP4474161B2 (ja) |
| KR (1) | KR20040058289A (ja) |
| CN (1) | CN1308912C (ja) |
| AT (1) | ATE315822T1 (ja) |
| BR (1) | BR0206444A (ja) |
| DE (1) | DE60208706T2 (ja) |
| ES (1) | ES2255626T3 (ja) |
| WO (1) | WO2003042978A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2001297777C1 (en) * | 2000-12-14 | 2008-11-06 | Sca Ipla Holdings, Inc. | Systems and methods for optical media modification |
| GB2431837A (en) * | 2005-10-28 | 2007-05-02 | Sony Uk Ltd | Audio processing |
| US20130317817A1 (en) * | 2012-05-22 | 2013-11-28 | Nuance Communications, Inc. | Method and Apparatus for Applying Steganography in a Signed Model |
| FR2992766A1 (fr) * | 2012-06-29 | 2014-01-03 | France Telecom | Attenuation efficace de pre-echos dans un signal audionumerique |
| US9269363B2 (en) * | 2012-11-02 | 2016-02-23 | Dolby Laboratories Licensing Corporation | Audio data hiding based on perceptual masking and detection based on code multiplexing |
| US9317872B2 (en) | 2013-02-06 | 2016-04-19 | Muzak Llc | Encoding and decoding an audio watermark using key sequences comprising of more than two frequency components |
| US11244692B2 (en) * | 2018-10-04 | 2022-02-08 | Digital Voice Systems, Inc. | Audio watermarking via correlation modification using an amplitude and a magnitude modification based on watermark data and to reduce distortion |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5319735A (en) * | 1991-12-17 | 1994-06-07 | Bolt Beranek And Newman Inc. | Embedded signalling |
| US5940429A (en) * | 1997-02-25 | 1999-08-17 | Solana Technology Development Corporation | Cross-term compensation power adjustment of embedded auxiliary data in a primary data signal |
-
2002
- 2002-10-24 DE DE60208706T patent/DE60208706T2/de not_active Expired - Lifetime
- 2002-10-24 EP EP02777654A patent/EP1449204B1/en not_active Expired - Lifetime
- 2002-10-24 AT AT02777654T patent/ATE315822T1/de not_active IP Right Cessation
- 2002-10-24 CN CNB028226208A patent/CN1308912C/zh not_active Expired - Fee Related
- 2002-10-24 US US10/495,537 patent/US7561688B2/en not_active Expired - Fee Related
- 2002-10-24 BR BR0206444-8A patent/BR0206444A/pt not_active IP Right Cessation
- 2002-10-24 WO PCT/IB2002/004456 patent/WO2003042978A1/en active IP Right Grant
- 2002-10-24 JP JP2003544730A patent/JP4474161B2/ja not_active Expired - Lifetime
- 2002-10-24 KR KR10-2004-7007390A patent/KR20040058289A/ko not_active Application Discontinuation
- 2002-10-24 ES ES02777654T patent/ES2255626T3/es not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1449204A1 (en) | 2004-08-25 |
| US20050025314A1 (en) | 2005-02-03 |
| ES2255626T3 (es) | 2006-07-01 |
| DE60208706D1 (de) | 2006-04-06 |
| WO2003042978A1 (en) | 2003-05-22 |
| JP2005509907A (ja) | 2005-04-14 |
| CN1308912C (zh) | 2007-04-04 |
| CN1585971A (zh) | 2005-02-23 |
| BR0206444A (pt) | 2003-12-30 |
| EP1449204B1 (en) | 2006-01-11 |
| ATE315822T1 (de) | 2006-02-15 |
| US7561688B2 (en) | 2009-07-14 |
| DE60208706T2 (de) | 2006-10-05 |
| KR20040058289A (ko) | 2004-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4504681B2 (ja) | 補助データを情報信号に埋め込む方法及びデバイス | |
| EP1393315B1 (en) | Generation and detection of a watermark robust against resampling of a signal | |
| US20060100861A1 (en) | Signal filtering | |
| JP4474161B2 (ja) | 情報信号への補足データの埋め込み | |
| US20010032313A1 (en) | Embedding a watermark in an information signal | |
| EP1393314B1 (en) | Watermarking | |
| US20020184503A1 (en) | Watermarking | |
| EP1695337B1 (en) | Method and apparatus for detecting a watermark in a signal | |
| US20060140406A1 (en) | Signal processing | |
| CN115831131B (zh) | 一种基于深度学习的音频水印嵌入提取的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100216 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100308 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |