JP4119637B2 - 電子透かし埋込方法、電子透かし埋込装置、電子透かし埋込プログラム、電子透かし検出方法、電子透かし検出装置および電子透かし検出プログラム - Google Patents
電子透かし埋込方法、電子透かし埋込装置、電子透かし埋込プログラム、電子透かし検出方法、電子透かし検出装置および電子透かし検出プログラム Download PDFInfo
- Publication number
- JP4119637B2 JP4119637B2 JP2001319070A JP2001319070A JP4119637B2 JP 4119637 B2 JP4119637 B2 JP 4119637B2 JP 2001319070 A JP2001319070 A JP 2001319070A JP 2001319070 A JP2001319070 A JP 2001319070A JP 4119637 B2 JP4119637 B2 JP 4119637B2
- Authority
- JP
- Japan
- Prior art keywords
- digital watermark
- embedded
- value
- content
- embedding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【発明の属する技術分野】
本発明は、電子透かし埋込方法、電子透かし埋込装置、電子透かし埋込プログラム、電子透かし検出方法、電子透かし検出装置および電子透かし検出プログラムに関する。
【0002】
【従来の技術】
近年、良く用いられている画像や音声などのマルチメディアデータは、通常、デジタルデータで構成される。しかし、デジタルデータから構成されるデジタルコンテンツは、複製や加工をすることが簡単であるため、不正コピーやデータの改ざんなどの不正利用が絶えない。そのため、不正利用への対策として、デジタルコンテンツにそのデジタルコンテンツの著作権を示す情報をいわゆる電子透かし(digital watermark)として埋め込むことが行われている。
【0003】
デジタルコンテンツに埋め込まれた電子透かしは、そのデジタルコンテンツが不正利用された際に、不正利用の証拠とすることができる。例えば、あるデジタルコンテンツが不正コピーされても、そのデジタルコンテンツに埋め込まれた電子透かしを証拠に、そのデジタルコンテンツの著作権の所在が明らかにすることができる。また、電子透かしをデジタルコンテンツ全体に埋め込めば、改ざんの有無だけでなく、改ざんされた個所を特定することもできる。
【0004】
一般に、放送や通信では、電子透かしは、送信側においてデジタルコンテンツに埋め込まれる。以下、デジタルコンテンツが画像データの場合について述べる。送信側においてデジタルコンテンツに電子透かしを埋め込む方法は、大別して二通りの方式がある。
一つは、画素データの値を一定の規則で変更することにより、画像データに電子透かしを直接埋め込む方式である。この方式では、画素データの画素値を変更することにより電子透かしを埋め込んでいる。
もう一つは、画素データを圧縮符号化する過程において、画素に対してDCT(Discrete Cosine Transform)変換、ウエーブレット変換などの変換を行った後の係数値を変更することにより、画像データの周波数領域に電子透かしを埋め込む方式である。
【0005】
そして、上記の二通りの方式のどちらを採用した場合でも、電子透かしが埋め込まれた電子透かし埋込画像は、画像データの送信を効率よく行うために、JPEG(Joint Photographic Experts Group)やMPEG(Moving Picture Experts Group)2などの方式により画像データの圧縮符号化がなされる。
【0006】
【発明が解決しようとする課題】
しかしながら、これらの圧縮がなければ、画像データに埋め込まれた電子透かしを検出することは容易であるが、その画像データが圧縮された際は、圧縮された画像データから電子透かしを検出することは困難となる。また、その画像データに対してローパスフィルタ、ハイパスフィルタ、イコライジングなどをかけるデータ加工がなされた場合も、電子透かしの検出は困難となる。
【0007】
そのため、従来は、例えば、デジタルコンテンツである画像データに電子透かしを埋め込む際は、電子透かしが埋め込まれた画像データが圧縮符号化やデータ加工などをした際に、電子透かしが画像データ中に残り続けるための強度(耐性)を保つために、電子透かしの埋込強度を強くすることが考えられていたが、電子透かしの埋込強度を強くすると、画質が大きく劣化するという欠点があった。なお、ここでいう「電子透かしの埋め込み強度」とは、例えば、前記した画素データの値を一定の規則で変更することにより、画像データに電子透かしを直接埋め込む方式で電子透かし埋め込む際は、画素値を変化させる量のことをいう。ここで、埋め込み強度すなわち画素値の変化量を大きくすると、当然、電子透かしを埋め込んだ後の画質は当初の画質とは異なるものとなる。
【0008】
本発明は、これらの課題を解決するためになされたもので、電子透かしが埋め込まれたデジタルコンテンツが圧縮符号化またはデータ加工された際にも、そのデジタルコンテンツから電子透かしを容易に検出することができる、電子透かし埋込方法、電子透かし埋込装置、電子透かし埋込プログラム、電子透かし検出方法、電子透かし検出装置および電子透かし検出プログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
請求項1に記載の発明である電子透かし埋込方法は、電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成する電子透かし埋込方法であって、前記原コンテンツを所定のブロックに分割するステップと、所定のブロックに分割された原コンテンツの指定のブロックの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、当該指定のブロックに、前記電子透かしを埋め込むステップと、前記電子透かしが埋め込まれたブロック以外のブロックの画素データの画素値を、前記埋込強度の値を2倍にした値で除算することで量子化し、前記電子透かし埋込コンテンツから前記電子透かしを検出する際に、前記電子透かし埋込コンテンツの画素データの画素値と、当該画素データの画素値の理想値との差分を求めるのに用いるリファレンス情報を、前記電子透かしが埋め込まれたブロック以外のブロックに埋め込むステップと、を有していることを特徴とする。
【0010】
この方法によれば、電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成する際に、まず、原コンテンツを所定のブロックに分割し、次に、その分割された原コンテンツの指定のブロックの画素データの画素値を、電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、当該指定のブロックに、電子透かしを埋め込む。そして、電子透かしが埋め込まれたブロック以外のブロックの画素データの画素値を、埋込強度の値を2倍にした値で除算することで量子化し、電子透かし埋込コンテンツから電子透かしを検出する際に、電子透かし埋込コンテンツの画素データの画素値と、当該画素データの画素値の理想値との差分を求めるのに用いるリファレンス情報を、電子透かしが埋め込まれたブロック以外のブロックに埋め込む。
【0011】
請求項2に記載の発明である電子透かし埋込装置は、電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成する電子透かし埋込装置であって、前記原コンテンツを所定のブロックに分割する原コンテンツ分割手段と、この原コンテンツ分割手段によって所定のブロックに分割された原コンテンツの指定のブロックの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、当該指定のブロックに、前記電子透かしを埋め込む電子透かし埋込手段と、前記電子透かしが埋め込まれたブロック以外のブロックの画素データの画素値を、前記埋込強度の値を2倍にした値で除算することで量子化し、前記電子透かし埋込コンテンツから前記電子透かしを検出する際に、前記電子透かし埋込コンテンツの画素データの値と、当該画素データの理想値との差分を求めるのに用いるリファレンス情報を、前記電子透かしが埋め込まれたブロック以外のブロックに埋め込むリファレンス情報埋込手段と、を備えて構成されることを特徴とする。
【0012】
かかる構成によれば、電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成する際に、まず、原コンテンツ分割手段により原コンテンツを所定のブロックに分割し、次に、原コンテンツ分割手段によって所定のブロックに分割された原コンテンツの指定のブロックの画素データの画素値を、電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、当該指定のブロックに、電子透かしを埋め込む。そして、電子透かしが埋め込まれたブロック以外のブロックの画素データの画素値を、埋込強度の値を2倍にした値で除算することで量子化し、電子透かし埋込コンテンツから電子透かしを検出する際に、電子透かし埋込コンテンツの画素データの値と、当該画素データの理想値との差分を求めるのに用いるリファレンス情報を、電子透かしが埋め込まれたブロック以外のブロックに埋め込む。
【0013】
請求項3に記載の発明である電子透かし埋込プログラムは、電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成するためにコンピュータを、前記原コンテンツを所定のブロックに分割する原コンテンツ分割手段、この原コンテンツ分割手段によって所定のブロックに分割された原コンテンツの指定のブロックの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、当該指定のブロックに、前記電子透かしを埋め込む電子透かし埋込手段、前記電子透かしが埋め込まれたブロック以外のブロックの画素データの画素値を、前記埋込強度の値を2倍にした値で除算することで量子化し、前記電子透かし埋込コンテンツから前記電子透かしを検出する際に、前記電子透かし埋込コンテンツの画素データの値と、当該画素データの理想値との差分を求めるのに用いるリファレンス情報を、前記電子透かしが埋め込まれたブロック以外のブロックに埋め込むリファレンス情報埋込手段、として機能させることを特徴とする。
【0014】
かかる構成によれば、電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成する際に、まず、原コンテンツ分割手段により原コンテンツを所定のブロックに分割し、次に、原コンテンツ分割手段によって所定のブロックに分割された原コンテンツの指定のブロックの画素データの画素値を、電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、当該指定のブロックに、電子透かしを埋め込む。そして、電子透かしが埋め込まれたブロック以外のブロックの画素データの画素値を、埋込強度の値を2倍にした値で除算することで量子化し、電子透かし埋込コンテンツから電子透かしを検出する際に、電子透かし埋込コンテンツの画素データの値と、当該画素データの理想値との差分を求めるのに用いるリファレンス情報を、電子透かしが埋め込まれたブロック以外のブロックに埋め込む。
【0015】
請求項4に記載の発明である電子透かし検出方法は、原コンテンツが分割されたブロックに、電子透かしが埋め込まれていると共に、リファレンス電子透かしが前記電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、前記電子透かしを検出する電子透かし検出方法であって、前記原コンテンツが分割されたブロックと同様なブロックに前記電子透かし埋込コンテンツを分割するステップと、分割されたブロックの中で、前記リファレンス電子透かしが埋め込まれた際に指定されたブロックから前記リファレンス電子透かしを検出すると共に、前記電子透かし埋込コンテンツの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、この量子化した値と、検出されたリファレンス電子透かしと、前記埋込強度とに基づいて、前記電子透かし埋込コンテンツの画素データの画素値の理想値を求め、この理想値と、前記電子透かし埋込コンテンツの画素データの画素値との差分を求めるステップと、この差分に従って、前記電子透かし埋込コンテンツから検出される画素データの画素値を補正し、前記電子透かしを検出するステップと、を有することを特徴とする。
【0016】
この方法によれば、原コンテンツが分割されたブロックに電子透かしが埋め込まれていると共に、リファレンス電子透かしが電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、電子透かしを検出する際に、まず、リファレンス電子透かしおよび電子透かしが埋め込まれた電子透かし埋込コンテンツを、原コンテンツに電子透かしを埋め込む際に分割された数と同様のブロックに分割する。次に、分割されたブロックの中で、リファレンス電子透かしが埋め込まれた際に指定されたブロックからリファレンス電子透かしを検出すると共に、電子透かし埋込コンテンツの画素データの画素値を、電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、この量子化した値と、検出されたリファレンス電子透かしと、埋込強度とに基づいて、電子透かし埋込コンテンツの画素データの画素値の理想値を求め、この理想値と、電子透かし埋込コンテンツの画素データの画素値との差分を求める。そして、この差分に従って、電子透かし埋込コンテンツから検出される画素データの画素値を補正し、電子透かしを検出する。
【0017】
請求項5に記載の発明である電子透かし検出装置は、原コンテンツが分割されたブロックに電子透かしが埋め込まれていると共に、リファレンス電子透かしが前記電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、前記電子透かしを検出する電子透かし検出装置であって、前記原コンテンツが分割されたブロックと同様なブロックに前記電子透かし埋込コンテンツを分割する電子透かし埋込コンテンツ分割手段と、この電子透かし埋込コンテンツ分割手段によって分割されたブロックの中で、前記リファレンス電子透かしが埋め込まれた際に指定されたブロックから前記リファレンス電子透かしを検出すると共に、前記電子透かし埋込コンテンツの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、この量子化した値と、検出されたリファレンス電子透かしと、前記埋込強度とに基づいて、前記電子透かし埋込コンテンツの画素データの画素値の理想値を求め、この理想値と、前記電子透かし埋込コンテンツの画素データの画素値との差分を求めるリファレンス電子透かし検出手段と、このリファレンス電子透かし検出手段によって求められた差分に従って、前記電子透かし埋込コンテンツから検出される画素データの画素値を補正し、前記電子透かしを検出する電子透かし検出手段と、を備えて構成されていることを特徴とする。
【0018】
かかる構成によれば、原コンテンツが分割されたブロックに電子透かしが埋め込まれていると共に、リファレンス電子透かしが電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、電子透かしを検出する際に、まず、電子透かし埋込コンテンツ分割手段によりリファレンス電子透かしおよび電子透かしが埋め込まれた電子透かし埋込コンテンツを、原コンテンツに電子透かしを埋め込む際に分割された数と同様のブロックに分割する。次に、電子透かし埋込コンテンツ分割手段によって分割されたブロックの中で、リファレンス電子透かしが埋め込まれた際に指定されたブロックからリファレンス電子透かしを検出すると共に、電子透かし埋込コンテンツの画素データの画素値を、電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、この量子化した値と、検出されたリファレンス電子透かしと、埋込強度とに基づいて、電子透かし埋込コンテンツの画素データの画素値の理想値を求め、この理想値と、電子透かし埋込コンテンツの画素データの画素値との差分を求める。そして、このリファレンス電子透かし検出手段によって求められた差分に従って、電子透かし埋込コンテンツから検出される画素データの画素値を補正し、電子透かしを検出する。
【0019】
請求項6に記載の発明である電子透かし検出プログラムは、原コンテンツが分割されたブロックに電子透かしが埋め込まれていると共に、リファレンス電子透かしが前記電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、前記電子透かしを検出するためにコンピュータを、前記原コンテンツが分割されたブロックと同様なブロックに前記電子透かし埋込コンテンツを分割する電子透かし埋込コンテンツ分割手段、この電子透かし埋込コンテンツ分割手段によって分割されたブロックの中で、前記リファレンス電子透かしが埋め込まれた際に指定されたブロックから前記リファレンス電子透かしを検出すると共に、前記電子透かし埋込コンテンツの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、この量子化した値と、検出されたリファレンス電子透かしと、前記埋込強度とに基づいて、前記電子透かし埋込コンテンツの画素データの画素値の理想値を求め、この理想値と、前記電子透かし埋込コンテンツの画素データの画素値との差分を求めるリファレンス電子透かし検出手段、このリファレンス電子透かし検出手段によって求められた差分に従って、前記電子透かし埋込コンテンツから検出される画素データの画素値を補正し、前記電子透かしを検出する電子透かし検出手段、として機能させることを特徴とする。
【0020】
かかる構成によれば、原コンテンツが分割されたブロックに電子透かしが埋め込まれていると共に、リファレンス電子透かしが電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、電子透かしを検出する際に、まず、電子透かし埋込コンテンツ分割手段によりリファレンス電子透かしおよび電子透かしが埋め込まれた電子透かし埋込コンテンツを、原コンテンツに電子透かしを埋め込む際に分割された数と同様のブロックに分割する。次に、電子透かし埋込コンテンツ分割手段によって分割されたブロックの中で、リファレンス電子透かしが埋め込まれた際に指定されたブロックからリファレンス電子透かしを検出すると共に、電子透かし埋込コンテンツの画素データの画素値を、電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、この量子化した値と、検出されたリファレンス電子透かしと、前記埋込強度とに基づいて、前記電子透かし埋込コンテンツの画素データの画素値の理想値を求め、この理想値と、電子透かし埋込コンテンツの画素データの画素値との差分を求める。そして、このリファレンス電子透かし検出手段によって求められた差分に従って、前記電子透かし埋込コンテンツから検出される画素データの画素値を補正し、前記電子透かしを検出する。
【0021】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。なお、以下に説明する本実施の形態では、デジタルコンテンツには画像データを用い、電子透かしとして著作権に関する情報を埋め込んだ場合を例に挙げて説明する。
【0022】
まず、電子透かし埋込装置について説明する。図1は、電子透かし埋込装置を示すブロック図である。図1に示すように、電子透かし埋込装置10は、原画像分割部11、リファレンス電子透かし埋込部12および電子透かし埋込部13から構成されている。以下、各部の詳細について説明する。
【0023】
原画像分割部(原コンテンツ分割手段)11は、図示しない入力手段から入力された画像を、所定のサイズのブロックに分割する。具体的には、画像を左上から順次m×n(水平×垂直)のブロックに分割する。ただし、mとnは、1以上の整数とする。m×nのブロックに分割された画像(分割画像)は、リファレンス電子透かし埋込部12に送られる。
【0024】
リファレンス電子透かし埋込部(リファレンス電子透かし埋込手段)12は、原画像分割部11によってm×nのブロックに分割された分割画像の指定のブロックに、リファレンスデータ(リファレンス情報)を、リファレンス電子透かしとして埋め込む。リファレンス電子透かしが埋め込まれた分割画像は、電子透かし埋込部13に送られる。
【0025】
電子透かし埋込部(電子透かし埋込手段)13は、原画像分割部11によってm×nのブロックに分割された分割画像において、リファレンス電子透かし埋込部12によってリファレンス電子透かしが埋め込まれたブロック以外のブロックに、著作権に関する情報(著作権情報)を電子透かしとして埋め込む。リファレンス電子透かしおよび電子透かしが埋め込まれた画像は、電子透かし埋込画像(電子透かし埋込コンテンツ)として、図示しない出力手段から出力される。
【0026】
以下、リファレンス電子透かし埋込部12および電子透かし埋込部13において、リファレンス情報または著作権に関する情報(以下、リファレンス情報または著作権情報を「埋込情報」という)を電子透かしとして埋め込む方法について説明する。なお、この埋込情報の中で、リファレンス情報については、電子透かしを検出する側(後記する電子透かし検出装置)と予め共有しているものである。埋込情報を電子透かしとして埋め込む手法には任意の手法を用いることができるが、本実施の形態では、原画像の画素データを一定の規則で変更することにより、画像データに電子透かしを直接埋め込む方式を用いるものとする。なお、一定の規則とは、埋込情報に依存して画素値を変更する規則のことをいう。
【0027】
ある画素データの値をpi、埋込情報をbi、電子透かしの埋込強度をrb、画素データの量子化値をQn、埋込情報biが埋め込まれた後の画素データ(以下、「埋込後画素データ」という)の値をpi'とすると、次の式(1)にしたがって画素データpiの量子化を行った後、式(2)にしたがって埋込情報biの埋め込みが行われる。
【0028】
Qn=pi/(2×rb)……(1)
【0029】
pi'=2×rb×Qn+bi×rb/2……(2)
【0030】
式(1)で画素データpiの量子化を行う際は、例えば、画素データが8ビットで表現されるとき、画素データの値piの取りうる値は0〜255となる。さらに、その画素データの値piを、図5(a)に示すように、埋込強度rbを2倍したもので量子化する。そして、図5(b)に示すように、電子透かしの埋め込み準備として、量子化された部分に、順に、「−1」、「1」、「−1」、「1」、「−1」……と、埋込情報biである「−1」と「1」とを交互に割り当てる。式(2)で埋込情報biの埋め込みを行う際は、図6に示すように、式(1)で得られた量子化値Qnを2倍し、さらに、埋込強度rbをかけた値(図6におけるS)に、埋込情報biに埋込強度rbを掛けたものを2で割って、その2で割った値を加えたものを、埋込後画素データpi'とする。ここで、埋込情報biは、「1」または「−1」の値をとるので、埋込情報biが「1」の際は、埋込後画素データpi'は、2×rb×Qn+rb/2で得られる値(図6におけるT)となる。また、埋込情報biが「−1」の際は、埋込後画素データpi'は、2×rb×Qn−rb/2で得られる値(図6におけるT´)となる。なお、埋込情報biの埋込強度rbを大きくすると、埋込情報biの圧縮に対する耐性は強くなるが、画質の劣化が大きくなる。逆に、埋込強度rbを小さくすると、画質の劣化は小さくなるが、埋込情報biの圧縮に対する耐性が弱くなる。
【0031】
以上のようにして、埋込情報bi、すなわち、著作権情報またはリファレンス情報は、原画像に電子透かしとして埋め込むことができる。このように、分割された原画像の指定のブロックにリファレンス電子透かしによって原画像のデータが圧縮されても、電子透かしの検出が容易となる。
【0032】
また、電子透かし埋込装置10を構成する原画像分割部11、リファレンス電子透かし埋込部12および電子透かし埋込部13を、特定のコンピュータを機能させるプログラムとみなし、記憶媒体に記憶させることにより実現することもできる。
【0033】
次に、電子透かし検出装置について説明する。図2は、電子透かし検出装置を示すブロック図である。図2に示すように、電子透かし検出装置20は、電子透かし埋込画像分割部21、リファレンス電子透かし検出部22および電子透かし検出部23から構成されている。以下、各部の詳細について説明する。
【0034】
電子透かし埋込画像分割部(電子透かし埋込コンテンツ分割手段)21は、図示しない入力手段から入力された電子透かし埋込画像を、所定のサイズのブロックに分割する。具体的には、電子透かし埋込画像を左上から順次m×n(水平×垂直)のブロックに分割する。ここで、mとnの値は、前記した電子透かし埋込装置10の原画像分割部11におけるmとnの値と同一である。すなわち、電子透かし埋込画像分割部21に入力された電子透かし埋込画像は、電子透かし埋込装置10の原画像分割部11において分割された数と同様のブロックに分割される。m×nのブロックに分割された画像(分割画像)は、リファレンス電子透かし検出部22と電子透かし検出部23に送られる。
【0035】
リファレンス電子透かし検出部(リファレンス電子透かし検出手段)22は、電子透かし埋込画像分割部21によってm×nのブロックに分割された分割画像の電子透かし埋込装置10の原画像分割部11でリファレンス電子透かしを埋め込む際に指定されたブロックと同一のブロックからリファレンス電子透かしを検出する。
【0036】
そして、リファレンス電子透かし検出部22では、検出されたリファレンス電子透かしから、電子透かしを検出する際に使用するリファレンス差分値を算出する。なお、リファレンス差分値とは、具体的には、埋込情報biが埋め込まれた後の画素データの理想値(pid')と、リファレンス電子透かし検出部22において検出された画素データの値(pid)との差分のことである(式(5)参照)。リファレンス電子透かしから算出されたリファレンス差分値は、電子透かし検出部23に送られる。ここで、「埋込情報biが埋め込まれた後の画素データの理想値(pid ' )」とは、埋込情報biにおいて、予め保持されているリファレンス情報を埋め込んだものである(式(4)参照)。
【0037】
以下、リファレンス電子透かし検出部22において、リファレンス差分値を算出する方法について説明する。リファレンス差分値をrd、画素データの量子化値をQnd、リファレンス電子透かし検出部22において検出された画素データの値をpid、埋込情報biが埋め込まれた後の画素データの理想値をpid'とすると、リファレンス差分値rdの算出は、次の式(3)、式(4)および式(5)にしたがって行われる。
【0038】
Qnd=pid/(2×rb)……(3)
【0039】
pid'=2×rb×Qnd+bi×rb/2……(4)
【0040】
rd=pid'−pid……(5)
【0041】
すなわち、まず、式(3)にしたがって画素データpidの量子化を行い、続いて、式(4)にしたがって埋込情報biが埋め込まれた後の画素データの理想値pid'を求める。そして、式(5)にしたがってpid'とpidとの差分を求める。この差分がリファレンス差分値rdとなる。式(3)で画素データpidの量子化を行う際は、前記した式(1)と同様の方法によって行われる。また、式(4)で、埋込情報biが埋め込まれた後の画素データの理想値pid'を求める際も、前記した式(2)と同様の方法によって行われる。
【0042】
以上のようにして、リファレンス差分値rdは算出される。なお、このリファレンス差分値rdは、埋込情報bi、すなわち、リファレンス情報または著作権情報を電子透かしとして埋め込んだ後に、画像データの圧縮やデータ加工などを行わない場合は、「0」となる。また、画像データの圧縮やデータ加工などを行った場合は、リファレンス差分値rdは画像データの変化に伴って変化する。
【0043】
電子透かし検出部23は、リファレンス電子透かし検出部22で算出されたリファレンス差分値rdを使用して、m×nのブロックに分割された画像から電子透かしを検出する。
【0044】
以下、電子透かし検出部23において、電子透かしを検出する方法について、図3に示すフローチャートを参照して説明する。電子透かしの検出の有無を判断する際に使用する値(判断値)をp_difとすると、電子透かしの検出は、次の式(6)および式(7)にしたがって行われる。ここで、電子透かし検出部23において検出された情報(検出情報)をd_dataとする。
【0045】
Qnd=(pid+rd)/(2×rb)……(6)
【0046】
p_dif=(pid+rd)−Qnd×2×rb……(7)
【0047】
まず、最初のステップS11では、式(6)にしたがって、リファレンス差分値rdを使用して、画素データpidの量子化を行う。続いて、ステップS12では、式(7)にしたがって、リファレンス差分値rdを使用して、判断値p_difの検出を行う。なお、判断値p_difは、リファレンス電子透かし検出部22において検出される。
【0048】
そして、次のステップS13では、ステップS12で検出された判断値p_difが負の値であるか、あるいは、負の値でないかを判断する。ステップS13において、判断値p_difが負の値であると判断された場合は、ステップS14に進み、検出情報d_dataの値を「−1」とする。逆に、ステップS13において、判断値p_difが負の値でないと判断された場合は、ステップS15に進み、検出情報d_dataの値を「1」とする。以上のようにして、リファレンス差分値rdを使用して、検出情報d_dataすなわち電子透かしを検出することができる。
【0049】
また、前記した電子透かしを検出する方法では、リファレンス差分値rdを必ず使用しているが、以下に説明するように、リファレンス差分値rdを必要に応じて使用する方法を用いることもできる。この方法は、まず、リファレンス差分値rdを使用しないで電子透かしの検出を行い、電子透かしの検出がうまくいかなかった場合には、リファレンス差分値rdを使用して改めて電子透かしの検出を行うというものである。
【0050】
以下、リファレンス差分値rdを必要に応じて使用する著作権情報の検出方法について、図4に示すフローチャートを参照して説明する。ここで、あらかじめ任意に定められた閾値をp_difthとする。
【0051】
まず、最初のステップS21では、次の式(8)にしたがって、リファレンス差分値rdを使用しないで、画素データpidの量子化を行う。
【0052】
Qnd=pid/(2×rb)……(8)
【0053】
続いて、ステップS22では、次の式(9)にしたがって、リファレンス差分値rdを使用しないで、判断値p_difの検出を行う。
【0054】
p_dif=pid−Qnd×2×rb……(9)
【0055】
そして、次のステップS23では、ステップS22で検出された判断値p_difの絶対値が閾値p_difthよりも大きい値であるか、あるいは、大きい値でないかを判断する。ステップS23において、判断値p_difの絶対値が閾値p_difthよりも大きい値であると判断された場合は、ステップS24に進む。逆に、ステップS23において、判断値p_difの絶対値が閾値p_difthより大きい値でないと判断された場合は、ステップS27に進む。
【0056】
ステップS24では、ステップS23で検出された判断値p_difが負の値であるか、あるいは、負の値でないかを判断する。ステップS24において、判断値p_difが負の値であると判断された場合は、ステップS25に進み、検出情報d_dataの値を「−1」とする。逆に、ステップS24において、判断値p_difが負の値でないと判断された場合は、ステップS26に進み、検出情報d_dataの値を「1」とする。
【0057】
ステップS27では、先の式(6)にしたがって、リファレンス差分値rdを使用して、再び画素データpidの量子化を行う。続いて、ステップS28では、先の式(7)にしたがって、リファレンス差分値rdを使用して、判断値p_difの検出を行う。
【0058】
そして、次のステップS29では、ステップS28で検出された判断値p_difが負の値であるか、あるいは、負の値でないかを判断する。ステップS29において、判断値p_difが負の値であると判断された場合は、ステップS30に進み、検出情報d_dataの値を「−1」とする。逆に、ステップS29において、判断値p_difが負の値でないと判断された場合は、ステップS31に進み、検出情報d_dataの値を「1」とする。
【0059】
以上のようにして、まず、リファレンス差分値rdを使用しないで判断値p_difを検出し、検出された判断値p_difの絶対値があらかじめ任意に定められた閾値p_difthよりも小さい場合は電子透かしの検出がうまくいかなかったと見なして、リファレンス差分値rdを使用して判断値p_difを改めて検出し直すことにより、判断値p_difの検出精度を高めることができる。すなわち、電子透かしの検出を効率よく行うことができる。
【0060】
また、本実施の形態では、電子透かし検出部23において、電子透かしを検出するために、式(6)にしたがって画素データpidの量子化をする際や、式(7)にしたがって判断値p_difの検出を行う際に、画素データpidとリファレンス差分値rdとを加算する方法を用いたが、この画素データpidとリファレンス差分値rdとを加算する部分を、代わりとなる任意の関数に変更することもできる。
【0061】
また、本実施の形態では、デジタルコンテンツとして画像データを用いた場合を例に挙げて説明したが、音声データなどの他のマルチメディアデータにおいても本発明を適用することは可能である。また、電子透かしとして著作権に関する情報を埋め込んだ場合を例に挙げて説明したが、埋め込まれる情報は、デジタルデータであれば、どのようなデータであっても良い。
【0062】
また、電子透かし検出装置20を構成する電子透かし埋込画像分割部21、リファレンス電子透かし検出部22および電子透かし検出部23を、特定のコンピュータを機能させるプログラムとみなし、記憶媒体に記憶させることにより実現することもできる。
【0063】
【発明の効果】
請求項1記載の発明である電子透かし埋込方法によれば、電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成する際に、原コンテンツを所定のブロックに分割した後、分割された原コンテンツの指定のブロックに電子透かしを埋め込み、そして、電子透かしが埋め込まれたブロック以外のブロックに、電子透かしを検出する際に供されるリファレンス情報を埋め込むことができる。したがって、電子透かしが埋め込まれたデジタルコンテンツが圧縮符号化またはデータ加工された際にも、そのデジタルコンテンツから電子透かしを容易に検出することができる。
【0064】
請求項2に記載の発明である電子透かし埋込装置によれば、電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成する際に、原コンテンツ分割手段により原コンテンツを所定のブロックに分割した後、分割された原コンテンツの指定のブロックに電子透かし埋込手段により電子透かしを埋め込み、そして、電子透かしが埋め込まれたブロック以外のブロックに、電子透かしを検出する際に供されるリファレンス情報を、リファレンス情報埋込手段により埋め込むことができる。したがって、電子透かしが埋め込まれたデジタルコンテンツが圧縮符号化またはデータ加工された際にも、そのデジタルコンテンツから電子透かしを容易に検出することができる。
【0065】
請求項3に記載の発明である電子透かし埋込プログラムによれば、電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成する際に、原コンテンツ分割手段により原コンテンツを所定のブロックに分割した後、分割された原コンテンツの指定のブロックに電子透かし埋込手段により電子透かしを埋め込み、そして、電子透かしが埋め込まれたブロック以外のブロックに、電子透かしを検出する際に供されるリファレンス情報を、リファレンス情報埋込手段により埋め込むことができる。したがって、電子透かしが埋め込まれたデジタルコンテンツが圧縮符号化またはデータ加工された際にも、そのデジタルコンテンツから電子透かしを容易に検出することができる。
【0066】
請求項4に記載の発明である電子透かし検出方法によれば、原コンテンツが分割されたブロックに電子透かしが埋め込まれていると共に、リファレンス電子透かしが電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、電子透かしを検出する際に、リファレンス電子透かしおよび電子透かしが埋め込まれた電子透かし埋込コンテンツを、原コンテンツに電子透かしを埋め込む際に分割された数と同様のブロックに分割した後、分割された原コンテンツの指定のブロックからリファレンス電子透かしを検出し、そして、検出されたリファレンス電子透かしから得られるリファレンス情報に基づいて、電子透かしを検出することができる。したがって、電子透かしが埋め込まれたデジタルコンテンツが圧縮符号化またはデータ加工された際にも、そのデジタルコンテンツから電子透かしを容易に検出することができる。
【0067】
請求項5に記載の発明である電子透かし検出装置によれば、原コンテンツが分割されたブロックに電子透かしが埋め込まれていると共に、リファレンス電子透かしが電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、電子透かしを検出する際に、電子透かし埋込コンテンツ分割手段によりリファレンス電子透かしおよび電子透かしが埋め込まれた電子透かし埋込コンテンツを、原コンテンツに電子透かしを埋め込む際に分割された数と同様のブロックに分割した後、リファレンス電子透かし検出手段により分割された原コンテンツの指定のブロックからリファレンス電子透かしを検出し、そして、検出されたリファレンス電子透かしから得られるリファレンス情報に基づいて、電子透かし検出手段により電子透かしを検出することができる。したがって、電子透かしが埋め込まれたデジタルコンテンツが圧縮符号化またはデータ加工された際にも、そのデジタルコンテンツから電子透かしを容易に検出することができる。
【0068】
請求項6に記載の発明である電子透かし検出プログラムによれば、原コンテンツが分割されたブロックに電子透かしが埋め込まれていると共に、リファレンス電子透かしが電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、電子透かしを検出する際に、電子透かし埋込コンテンツ分割手段によりリファレンス電子透かしおよび電子透かしが埋め込まれた電子透かし埋込コンテンツを、原コンテンツに電子透かしを埋め込む際に分割された数と同様のブロックに分割した後、リファレンス電子透かし検出手段により分割された原コンテンツの指定のブロックからリファレンス電子透かしを検出し、そして、検出されたリファレンス電子透かしから得られるリファレンス情報に基づいて、電子透かし検出手段により電子透かしを検出することができる。したがって、電子透かしが埋め込まれたデジタルコンテンツが圧縮符号化またはデータ加工された際にも、そのデジタルコンテンツから電子透かしを容易に検出することができる。
【図面の簡単な説明】
【図1】電子透かし埋込装置を示すブロック図である。
【図2】電子透かし検出装置を示すブロック図である。
【図3】電子透かしの検出方法を説明するためのフローチャートである。
【図4】他の電子透かしの検出方法を説明するためのフローチャートである。
【図5】電子透かしの埋め込み方法を説明するための図であり、(a)は画素データを量子化した状態を示し、(b)は(a)で量子化された部分に埋め込み情報を割り当てた状態を示す。
【図6】埋込情報が埋め込まれた後の画素データの説明するための図である。
【符号の説明】
10 電子透かし埋込装置
11 原画像分割部
12 リファレンス電子透かし埋込部
13 電子透かし埋込部
20 電子透かし検出装置
21 電子透かし埋込画像分割部
22 リファレンス電子透かし検出部
23 電子透かし検出部
Claims (6)
- 電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成する電子透かし埋込方法であって、
前記原コンテンツを所定のブロックに分割するステップと、
所定のブロックに分割された原コンテンツの指定のブロックの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、当該指定のブロックに、前記電子透かしを埋め込むステップと、
前記電子透かしが埋め込まれたブロック以外のブロックの画素データの画素値を、前記埋込強度の値を2倍にした値で除算することで量子化し、前記電子透かし埋込コンテンツから前記電子透かしを検出する際に、前記電子透かし埋込コンテンツの画素データの画素値と、当該画素データの画素値の理想値との差分を求めるのに用いるリファレンス情報を、前記電子透かしが埋め込まれたブロック以外のブロックに埋め込むステップと、
を有していることを特徴とする電子透かし埋込方法。 - 電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成する電子透かし埋込装置であって、
前記原コンテンツを所定のブロックに分割する原コンテンツ分割手段と、
この原コンテンツ分割手段によって所定のブロックに分割された原コンテンツの指定のブロックの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、当該指定のブロックに、前記電子透かしを埋め込む電子透かし埋込手段と、
前記電子透かしが埋め込まれたブロック以外のブロックの画素データの画素値を、前記埋込強度の値を2倍にした値で除算することで量子化し、前記電子透かし埋込コンテンツから前記電子透かしを検出する際に、前記電子透かし埋込コンテンツの画素データの値と、当該画素データの理想値との差分を求めるのに用いるリファレンス情報を、前記電子透かしが埋め込まれたブロック以外のブロックに埋め込むリファレンス情報埋込手段と、
を備えて構成されることを特徴とする電子透かし埋込装置。 - 電子透かしを原コンテンツに埋め込んで電子透かし埋込コンテンツを生成するためにコンピュータを、
前記原コンテンツを所定のブロックに分割する原コンテンツ分割手段、
この原コンテンツ分割手段によって所定のブロックに分割された原コンテンツの指定のブロックの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、当該指定のブロックに、前記電子透かしを埋め込む電子透かし埋込手段、
前記電子透かしが埋め込まれたブロック以外のブロックの画素データの画素値を、前記埋込強度の値を2倍にした値で除算することで量子化し、前記電子透かし埋込コンテンツから前記電子透かしを検出する際に、前記電子透かし埋込コンテンツの画素データの値と、当該画素データの理想値との差分を求めるのに用いるリファレンス情報を、前記電子透かしが埋め込まれたブロック以外のブロックに埋め込むリファレンス情報埋込手段、
として機能させることを特徴とする電子透かし埋込プログラム。 - 原コンテンツが分割されたブロックに、電子透かしが埋め込まれていると共に、リファレンス電子透かしが前記電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、前記電子透かしを検出する電子透かし検出方法であって、
前記原コンテンツが分割されたブロックと同様なブロックに前記電子透かし埋込コンテンツを分割するステップと、
分割されたブロックの中で、前記リファレンス電子透かしが埋め込まれた際に指定されたブロックから前記リファレンス電子透かしを検出すると共に、前記電子透かし埋込コンテンツの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、この量子化した値と、検出されたリファレンス電子透かしと、前記埋込強度とに基づいて、前記電子透かし埋込コンテンツの画素デー タの画素値の理想値を求め、この理想値と、前記電子透かし埋込コンテンツの画素データの画素値との差分を求めるステップと、
この差分に従って、前記電子透かし埋込コンテンツから検出される画素データの画素値を補正し、前記電子透かしを検出するステップと、
を有することを特徴とする電子透かし検出方法。 - 原コンテンツが分割されたブロックに電子透かしが埋め込まれていると共に、リファレンス電子透かしが前記電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、前記電子透かしを検出する電子透かし検出装置であって、
前記原コンテンツが分割されたブロックと同様なブロックに前記電子透かし埋込コンテンツを分割する電子透かし埋込コンテンツ分割手段と、
この電子透かし埋込コンテンツ分割手段によって分割されたブロックの中で、前記リファレンス電子透かしが埋め込まれた際に指定されたブロックから前記リファレンス電子透かしを検出すると共に、前記電子透かし埋込コンテンツの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、この量子化した値と、検出されたリファレンス電子透かしと、前記埋込強度とに基づいて、前記電子透かし埋込コンテンツの画素データの画素値の理想値を求め、この理想値と、前記電子透かし埋込コンテンツの画素データの画素値との差分を求めるリファレンス電子透かし検出手段と、
このリファレンス電子透かし検出手段によって求められた差分に従って、前記電子透かし埋込コンテンツから検出される画素データの画素値を補正し、前記電子透かしを検出する電子透かし検出手段と、
を備えて構成されていることを特徴とする電子透かし検出装置。 - 原コンテンツが分割されたブロックに電子透かしが埋め込まれていると共に、リファレンス電子透かしが前記電子透かしの埋め込まれているブロック以外のブロックに埋め込まれている電子透かし埋込コンテンツから、前記電子透かしを検出するためにコンピュータを、
前記原コンテンツが分割されたブロックと同様なブロックに前記電子透かし埋込コンテンツを分割する電子透かし埋込コンテンツ分割手段、
この電子透かし埋込コンテンツ分割手段によって分割されたブロックの中で、前記リファレンス電子透かしが埋め込まれた際に指定されたブロックから前記リファレンス電子透かしを検出すると共に、前記電子透かし埋込コンテンツの画素データの画素値を、前記電子透かしの圧縮に対する耐性を示す埋込強度の値を2倍にした値で除算することで量子化し、この量子化した値と、検出されたリファレンス電子透かしと、前記埋込強度とに基づいて、前記電子透かし埋込コンテンツの画素データの画素値の理想値を求め、この理想値と、前記電子透かし埋込コンテンツの画素データの画素値との差分を求めるリファレンス電子透かし検出手段、
このリファレンス電子透かし検出手段によって求められた差分に従って、前記電子透かし埋込コンテンツから検出される画素データの画素値を補正し、前記電子透かしを検出する電子透かし検出手段、
として機能させることを特徴とする電子透かし検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001319070A JP4119637B2 (ja) | 2001-10-17 | 2001-10-17 | 電子透かし埋込方法、電子透かし埋込装置、電子透かし埋込プログラム、電子透かし検出方法、電子透かし検出装置および電子透かし検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001319070A JP4119637B2 (ja) | 2001-10-17 | 2001-10-17 | 電子透かし埋込方法、電子透かし埋込装置、電子透かし埋込プログラム、電子透かし検出方法、電子透かし検出装置および電子透かし検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003125192A JP2003125192A (ja) | 2003-04-25 |
JP4119637B2 true JP4119637B2 (ja) | 2008-07-16 |
Family
ID=19136672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001319070A Expired - Fee Related JP4119637B2 (ja) | 2001-10-17 | 2001-10-17 | 電子透かし埋込方法、電子透かし埋込装置、電子透かし埋込プログラム、電子透かし検出方法、電子透かし検出装置および電子透かし検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4119637B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110933438B (zh) * | 2019-11-27 | 2021-03-30 | 华南理工大学 | 一种jpeg图像可逆信息隐藏方法 |
-
2001
- 2001-10-17 JP JP2001319070A patent/JP4119637B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003125192A (ja) | 2003-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7295615B1 (en) | System for embedding additional information in video data, and embedding method | |
US20030095682A1 (en) | Apparatus and method for embedding and extracting digital watermarks based on wavelets | |
JP2004531942A (ja) | ウォーターマーク埋め込み | |
JP2009514305A (ja) | 情報信号にデータを埋め込む方法 | |
JP4023324B2 (ja) | 透かし埋め込み及び画像圧縮部 | |
US7418110B2 (en) | Method and apparatus for compressed-domain watermarking | |
JP2000332988A (ja) | デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した媒体 | |
US20050089189A1 (en) | Embedding a watermark in an image signal | |
US20120076206A1 (en) | Compressed Domain Video Watermarking | |
JP2001119557A (ja) | 電子透かし埋め込み装置および方法 | |
JP4119637B2 (ja) | 電子透かし埋込方法、電子透かし埋込装置、電子透かし埋込プログラム、電子透かし検出方法、電子透かし検出装置および電子透かし検出プログラム | |
JP2000175161A (ja) | 動画像に対する透かしデータ埋め込み装置および検出装置 | |
CN113395475B (zh) | 数据处理方法、装置、电子设备及存储设备 | |
JP4107063B2 (ja) | 暗号情報の送受信システム、送受信方法、暗号情報埋め込み用プログラム及び暗号情報記録装置 | |
JP4268377B2 (ja) | 電子透かし埋込装置、その検出装置および電子透かし埋込プログラム | |
JP3566924B2 (ja) | 電子透かし埋め込み方法,検出方法,電子透かし埋め込み装置,検出装置および電子透かし埋め込みプログラムを記録した記録媒体,検出プログラムを記録した記録媒体 | |
JP2007535262A (ja) | 圧縮情報信号に透かしを入れる方法 | |
CN102724494B (zh) | 一种嵌入可逆水印的方法、提取方法以及装置和系统 | |
Echizen et al. | PC-based real-time watermark embedding system with standard video interface | |
Simitopoulos et al. | Fast MPEG watermarking for copyright protection | |
JP4888726B2 (ja) | 電子透かしの埋込装置および抽出装置 | |
JP2009501477A (ja) | データを埋め込む方法 | |
Echizen et al. | Real-time video watermark embedding system using software on personal computer | |
JP2003174631A (ja) | 電子透かし埋込方法、電子透かし検出方法および電子透かし埋込装置、電子透かし検出装置ならびに電子透かし埋込プログラム、電子透かし検出プログラム | |
JP4020302B2 (ja) | 情報埋め込み装置および情報抽出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050907 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060206 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060224 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060317 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080425 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110502 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120502 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120502 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130502 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140502 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |