JP3607521B2 - 電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体 - Google Patents

電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体 Download PDF

Info

Publication number
JP3607521B2
JP3607521B2 JP08026899A JP8026899A JP3607521B2 JP 3607521 B2 JP3607521 B2 JP 3607521B2 JP 08026899 A JP08026899 A JP 08026899A JP 8026899 A JP8026899 A JP 8026899A JP 3607521 B2 JP3607521 B2 JP 3607521B2
Authority
JP
Japan
Prior art keywords
embedding
digital watermark
unit
watermark
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08026899A
Other languages
English (en)
Other versions
JP2000278504A (ja
Inventor
博文 村谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP08026899A priority Critical patent/JP3607521B2/ja
Priority to US09/533,767 priority patent/US6768807B1/en
Publication of JP2000278504A publication Critical patent/JP2000278504A/ja
Application granted granted Critical
Publication of JP3607521B2 publication Critical patent/JP3607521B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0057Compression invariant watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0061Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0202Image watermarking whereby the quality of watermarked images is measured; Measuring quality or performance of watermarking methods; Balancing between quality and robustness

Description

【0001】
【発明の属する技術分野】
この発明は電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体に関するものである。
【0002】
【従来の技術】
近年、動画、静止画、音声、音楽等のデジタル著作物データに対して、透かし情報と呼ばれる情報を埋め込む技術が用いられている。この技術では、視覚や聴覚等で知覚が容易ではない状態となるように透かし情報を埋め込み、後に、必要に応じて透かし情報をそのデータ内から検出することによって著作権保護やデジタルデータの利用制御(不正利用の防止等)を行っている。透かし情報としては、例えば著作物データの著作権者や利用者の識別情報、著作権者の権利情報、そのデータの利用条件、その利用時に必要な秘密情報、利用制御情報、コピー制御情報等が使用される。
【0003】
例えば画像データの場合に適用される電子透かし方式としては、画素値空間へ電子透かし情報を埋め込む方式と周波数空間へ埋め込む方式とがある。まず、画素値空間へ埋め込む方式では、標本値自体に透かし情報が埋め込まれる。この方式では一般に、埋め込みや検出の処理は軽いが、第三者のノイズ付加によって透かし情報を失わせることが容易である。
【0004】
一方、周波数空間へ透かし情報を埋め込む方式においては、標本値に対して直交変換が行われ、同変換により周波数領域に変換されたデータに対して透かし情報が埋め込まれる。その後、逆直交変換が行われ、標本値が再生される。この方法では、標本値に直接透かし情報が埋め込まれるわけではないのでノイズ付加によって情報を取り除くことが比較的困難である。しかし、直交変換や逆直交変換を行う必要があるため、埋め込みや検出の処理は重い。
【0005】
また、周波数成分に透かし情報を埋め込む方式には、スペクトル拡散(spread spectrum)の考えを適用する方式がある。スペクトル拡散とは、通信したい信号に必要な帯域に比べて十分大きな帯域中に、情報を広く分散させて伝送する通信方式をいう。この方式では伝送路上のノイズに対する耐性が優れている。
【0006】
I.J.Cox等の提案したスペクトル拡散を利用する方式は、摂動法と呼ばれる。この方式では画素値に対して直交変換を行い、さらに周波数領域において透かし情報をスペクトル拡散して埋め込む。スペクトル拡散は、周波数領域において、複数の周波数成分の値をある乱数列に従って変化させることによって行う。拡散後、逆直交変換を行う。透かし情報の検出は、画素値に対して直交変換を行い、埋め込みが行われた周波数成分の値と埋め込みに用いられた乱数列との間の相関値によって判定を行う。埋め込まれた透かし情報は、画素領域では、画像全体に分散されているため、各種の操作に対してロバストである。また、透かし情報を埋め込んだ周波数成分が低中間周波数領域にあるならば、低周波数通過フィルタによっても透かし情報が失われにくい。
【0007】
一方、防衛大学の松井教授らが提案したスペクトル拡散を利用する方式は、直接拡散法(direct sequence spread spectrum)と呼ばれる。この方式ではPN(pseudo−random noise)系列を画素値に乗積することによりスペクトル拡散(直接拡散)する。得られた画像に対してさらに直交変換を行い、周波数領域において透かし情報を埋め込み、再び、逆直交変換を行う。透かし情報の検出は、PN(pseudo−random noise)系列によって画素値を直接拡散する。得られた画像に対して直交変換を行い、透かし情報の埋め込みを行った周波数成分の値から判定する。
【0008】
摂動法では、周波数領域に変換された情報に対してPN系列を乗積することで拡散しつつ透かし情報を埋め込むようにするため、上記のように低中間周波数領域に電子透かしのエネルギーが配分されるように埋め込み制御を行うことが可能である。これに対し、直接拡散法においては、先に拡散処理を行することで周波数領域での情報分布がガウス分布になるように予めデータ操作した後に直交変換し透かし情報を埋め込むようにしている。したがって、直接拡散法の場合には、埋め込み後のPN系列による逆拡散により埋め込まれた電子透かしのエネルギーが高周波領域にまで配分されてしまう。このため、従来の直接拡散法では、摂動法と比較して、D−A−D変換やStirMark攻撃に対して、透かし情報が失われやすい。また、MPEGやJPEG等の画像圧縮におけるDCT変換でも高周波成分が削除されるので、電子透かしのエネルギー(強度)が減衰する。
【0009】
直接拡散法について図15及び図16を用いて更に詳しく説明する。
【0010】
図15は直接拡散法においてまずスペクトル拡散を行う様子を示す図である。
【0011】
図16は直接拡散法で透かし情報を埋め込み逆スペクトル拡散する様子を示す図である。
【0012】
まず、図15(a)は、原画像にPN系列を乗積してランダムな画像に変換する様子(スペクトル拡散)を示している。この段階においては情報は画素領域にある。図15(b),(c)は、図15(a)の情報を周波数領域の情報に当てはめるとどのようになっているかを示している。この図15(b),(c)は、説明のための便宜上のものであり、実際にはスペクトル拡散後に周波数領域への変換が行われる。
【0013】
図15(b)に示すように、直接拡散法では画素領域でスペクトル拡散を行うことで、低周波領域(特に直流成分)に集中している画素情報を一旦高周波領域に渡るようなランダムな情報に変換する。図15(c)はこれを頻度−周波数成分値分布に直したもので、拡散後はガウス分布に変換されていることがわかる。この分布は与えられたPN系列に従うものである。
【0014】
図15(a)の処理は、図16におけるスペクトル拡散までを示しているが、直接拡散法では、さらにこれを直交変換し透かし情報が埋め込まれる。図16(d)には透かし情報が埋め込まれた様子が示されている。
【0015】
すなわち情報埋め込みは周波数領域の情報に変換された原画像データにおけるデータ点を周波数成分値を変化させることにより行われる。データの検出・抽出においては、このとき移動させたデータ点がしきい値を越えているか否かでその透かし情報が埋め込まれているか否かが判断される。直接拡散法では、PN系列及び周波数領域における透かし情報の埋め込み位置を秘密の情報とすることで第三者による透かし情報の改変や削除,漏洩等を防止している。
【0016】
埋め込まれた透かし情報は周波数領域上のものであるが、周波数領域上の情報埋め込み済画像データは、逆直交変換、逆スペクトル拡散によって画素領域上の画像データに戻される(図16(d)〜(f))。ここで、周波数領域にて埋め込まれた透かし情報は、逆拡散によって原画像上に重畳されたノイズとして画像データ上に存在することになる。なお、このノイズとしての透かし情報は、PN系列によって周波数変調された情報(ノイズ)であり、一般には低周波数から高周波数に渡るものになる(図16(f))。つまり、直接拡散法では逆スペクトル拡散によって、透かし情報のエネルギーは、原画像データとは逆に、広い周波数帯に拡散,配分されるのである。この点は摂動法との大きな相違点である。
【0017】
【発明が解決しようとする課題】
直接拡散法では、この逆スペクトル拡散による透かし情報の拡散(ノイズ化)のために、摂動法とは異なり、周波数領域で与えられた透かし情報のエネルギーは、高周波領域にも存在している。したがって、そのうちの高周波成分が失われると、透かし情報のエネルギーがその分減少する。このため、透かし情報の検出のためにスペクトル拡散、直交変換を行ってもしきい値を越えず、透かし情報が検出できないということも起こり得る。これを防止するためには、透かし情報に対し予め十分大きな強度で埋め込みをおこなう必要がある。
【0018】
図17は直接拡散法における情報埋め込みの問題点を説明する周波数領域でのデータ分布を示す図である。
【0019】
同図(a)に示すように、しきい値をわずかに越える程度の周波数成分値の変更では上記のように画素領域における高周波成分削除で透かし情報が失われてしまう。したがって、図17(a)に示すような状態では、第三者による非可逆圧縮伸張といった操作によって透かし情報が消失することになる。
【0020】
一方、図17(b)に示すように、しきい値を大きく越えるような周波数成分値の変更をした場合には、画素領域における高周波成分削除が行われても透かし情報は失われない。しかしながら、上記したように周波数領域で与えられる透かし情報は画素領域に変換されるとノイズとなるわけであるから、あまりに高い強度で透かし情報を埋め込んだのでは(図17(b))、原画像の劣化が大きくなる。
【0021】
このように、従来の直接拡散法では、透かし情報に与えるエネルギーを小さくすれば、同情報が失われやすく、付与エネルギーを大きくすると画像等の原データが劣化するという問題点がある。
【0022】
これに対して、Jean−Paul M. G. Linnartz, A. A. C. Kalker, G. F. G. Depovere, R. A. Beuker, ”A reliability model for the detection of electronic watermarks in digital images,” Benelux Symposium on Communication Theory, 202−209, October 1997.、Geert Depovere, Ton Kalker, Jean−Linnartz, ”Improved Watermark Detection Reliability Using Filtering Before Correlation,” IEEE International Conference on Image Processing, October 1998.、及び、Jean−Paul Linnartz, Ton Kalker, Geert Depovere, ”Modelling the false alarm and missed detection rate for electronic watermark,” Second Workshop on Information Hiding, 15−17, April 1998.においては、透かし情報の検出の前処理として高周波側の成分を強調する技術が提案されている。しかしながら、これらの技術ではあくまで存在する高周波成分を強調するにすぎず、高周波成分の情報が失われた場合にまで対応できるものではない。
【0023】
一方、摂動法では透かし情報は失われにくいが、透かし情報埋め込みに時間がかかるという問題がある。摂動法では、原画像データについて直交変換を行う必要があるためである。
【0024】
この点、直接拡散法ではデータ処理を工夫することで原画像データについて直交変換することを回避して処理の高速化を図ることが可能であり、このような高速化の技術が特願平10−340019号に開示されている。
【0025】
しなしながら、直接拡散法では上記した情報消失〜原データ劣化のバランスという問題があるのに加えて、画像によってはスペクトラム拡散,直交変換後の周波数成分値分布における分散が大きいとしきい値を大きくする必要があり、このために透かし情報の埋め込み強度を大きく設定する必要があるという問題がある。図17(c)には、この様子が示されている。
【0026】
透かし情報によるノイズを極力防止しつつ、検出をしやすいように透かし情報を埋め込むには、図17(d)に示すように拡散直交変換後の分散が小さくなることが好ましいが、分散がどの程度の大きさになるかは原画像によって決まる。
【0027】
したがって、特願平10−340019号では、極端に平坦な画像に対してさえも、視覚的非顕現性が実現できる程度(ノイズがあまり大きくならない程度)に小さな埋め込み強度を設定しなければならない。つまり、従来技術では、画像毎の画像適応やひとつの画像中の部分毎に画像適応ができないため、非常に小さな埋め込み強度を設定する必要がある。このため、一定量の透かし情報を埋め込むためのブロックのサイズを非常に大きなものとする必要があり、画像全体に埋め込むことができる透かし情報の総量は著しく小さくなってしまう場合がある。
【0028】
本発明は、このような実情を考慮してなされたもので、その第1の目的は、直接拡散法で埋め込まれた電子透かし情報のエネルギーが、逆スペクトル拡散過程において高周波側に配分されないようにすることができ、ひいては電子透かし情報を消失しにくくできる電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体を提供することにある。
【0029】
また、第2の目的は、直接拡散法で電子透かし情報を埋め込むにあたって、スペクトル拡散,直交変換で周波数空間に変換されたデータ分布における分散が小さくなるようにでき、ひいては小さな埋込強度でも消失しにくい透かし情報埋め込みができる電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体を提供することにある。
【0030】
さらに、第3の目的は、直接拡散法により電子透かし情報を埋め込みにあたって、高速な透かし埋め込みを行うことができる電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体を提供することにある。
【0031】
【課題を解決するための手段】
以下、上記課題を解決するためになされた発明について説明するが、これに先立って、発明の骨子を述べる。
【0032】
本発明の第1の骨子は、埋込又は検出対象を構成するデータの基本単位、例えば画像データでいえば画素等、が2以上集まってなるスペクトル拡散用の単位で埋込又は検出対象をスペクトル拡散するところにある。このように拡散され、透かし埋込された対象を逆拡散した場合には、基本単位より大きなデータブロックで逆スペクトル拡散されることになるため、埋込又は検出対象を構成する基本単位ベースで見たときには透かし情報に対応する高周波成分は存在せず、結果として透かしエネルギーが高周波領域に配分されることを防止できることになる。
【0033】
本発明の第2の骨子は、基本単位よりは大きくかつ埋込又は検出対象よりは小さいブロック単位で平均値をとりこの平均値で基本単位の値をシフトさせるところにある。このような局所平均によってデータシフトを行えば、シフト後のデータ分布は分散(二乗平均)が小さなものとなり、小さな埋込エネルギーで消失しにくい透かし埋込が可能となる。また、その結果、埋込情報量を大きくでき、原データの劣化を少なくできる。
【0034】
本発明の第3の骨子は、埋込又は検出対象の基本単位の値からなる集合について二乗平均を求め、その二乗平均を集合の周波数空間における周波数成分値の二乗平均とする。このことが可能であるという事実は、発明者が見いだした知見であり、後述の(6)式及び(7)式で示される。さらに、周波数成分値の二乗平均がわかれば、その値に基づいて必要十分な電子透かし埋込強度が算出できる。ここでいう必要十分な強度とは、透かしが消失しにくくかつ原データの劣化を防止できる程度である。なお、具体的な埋込強度λは後述の(8)式,(9)式及び(10)式で示される。
【0035】
次に、課題解決のための第1の発明は、デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置において、埋込対象を構成する基本単位のうち、隣接する2基本単位以上であって前記埋込対象から分割された一部分を構成する基本単位からなる拡散ブロックをスペクトル拡散する単位とし、同一拡散ブロック内の基本単位には同一の擬似乱数信号を乗積して埋込対象をスペクトル拡散するスペクトル拡散手段と、スペクトル拡散手段によりスペクトル拡散された埋込対象に電子透かしを埋め込む透かし埋込手段とを備えた電子透かし埋込装置である。
【0036】
本発明はこのような手段を設けたので、直接拡散法で埋め込まれた電子透かし情報のエネルギーが、逆スペクトル拡散過程において高周波側に配分されないようにすることができ、ひいては電子透かし情報を消失しにくくできる。
【0037】
次に、課題解決のための第2の発明は、デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置において、埋込対象を構成する基本単位のうち、2基本単位以上からなる平均ブロックを基本単位の平均値を算出する単位とし、平均ブロック毎に基本単位の平均値を算出する平均値算出手段と、平均ブロックに属する各基本単位の値とその平均ブロックの平均値との差を、各平均ブロックについて算出することで基本単位の値をシフトさせるデータシフト手段と、データシフト手段により値シフトした埋込対象をスペクトル拡散するスペクトル拡散手段と、スペクトル拡散手段によりスペクトル拡散された埋込対象に電子透かしを埋め込む透かし埋込手段とを備えた電子透かし埋込装置である。
【0038】
本発明はこのような手段を設けたので、直接拡散法で電子透かし情報を埋め込むにあたって、スペクトル拡散,直交変換で周波数空間に変換されたデータ分布における分散が小さくなるようにでき、ひいては小さな埋込強度でも消失しにくい透かし情報埋め込みができる。
【0039】
次に、課題解決のための第3の発明は、デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置において、埋込対象を構成する基本単位のうち、2基本単位以上からなる平均ブロックを基本単位の平均値を算出する単位とし、平均ブロック毎に基本単位の平均値を算出する平均値算出手段と、平均ブロックに属する各基本単位の値とその平均ブロックの平均値との差を、各平均ブロックについて算出することで基本単位の値をシフトさせるデータシフト手段と、埋込対象を構成する基本単位のうち、隣接する2基本単位以上からなる拡散ブロックをスペクトル拡散する単位とし、同一拡散ブロック内の基本単位には同一の擬似乱数信号を乗積して、データシフト手段により値シフトされた埋込対象をスペクトル拡散するスペクトル拡散手段と、スペクトル拡散手段によりスペクトル拡散された埋込対象に電子透かしを埋め込む透かし埋込手段とを備えた電子透かし埋込装置である。
【0040】
本発明はこのような手段を設けたので、第1の発明と第2の発明を組み合わせた効果を得ることができる。
【0041】
次に、課題解決のための第4の発明は、上記第3の発明において、拡散ブロックは、平均ブロックより小さなデータサイズであり、平均ブロックに含まれる電子透かし埋込装置である。
【0042】
本発明はこのような手段を設けたので、第3の発明を容易に実現することができる。
【0043】
次に、課題解決のための第5の発明は、デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置において、埋込対象を自身を構成する基本単位の値の集合としたときに、その二乗平均を集合の拡散後の周波数空間における周波数成分値の二乗平均とし、周波数成分値の二乗平均に基づいて電子透かしの埋込強度を算出する埋込強度算出手段と、埋込強度を用いて埋込対象に電子透かしを埋め込む透かし埋込手段とを備えた電子透かし埋込装置である。
【0044】
本発明はこのような手段を設けたので、直接拡散法により電子透かし情報を埋め込みにあたって、高速な透かし埋め込みを行うことができる。
【0045】
次に、課題解決のための第6の発明は、上記第1〜第4の発明において、埋込対象を自身を構成する基本単位の値の集合としたときに、その二乗平均を集合の拡散後の周波数空間における周波数成分値の二乗平均とし、周波数成分値の二乗平均に基づいて電子透かしの埋込強度を算出する埋込強度算出手段を備え、透かし埋込手段は、埋込強度を用いて埋込対象に電子透かしを埋め込む電子透かし埋込装置である。
【0046】
本発明はこのような手段を設けたので、上記第1〜第4の発明において、上記第5の発明と同様な効果を得ることができる。
【0047】
次に、課題解決のための第7の発明は、上記第1〜第6の発明において、デジタルデータは画像データとし、基本単位は画像を構成する画素とする電子透かし埋込装置である。
【0048】
本発明はこのような手段を設けたので、画像データについて、上記第1〜第6の発明の効果を得ることができる。
【0049】
次に、課題解決のための第8の発明は、上記第1〜第7の発明の電子透かし埋込装置によって、電子透かしが埋め込まれたデジタルデータを配布するデジタル情報配布装置である。
【0050】
本発明はこのような手段を設けたので、配布データについて、上記第1〜第7の発明の効果を得ることができる。
【0051】
次に、課題解決のための第9の発明は、デジタルデータからなる電子透かし検出対象から電子透かしを検出する電子透かし検出装置において、検出対象を構成する基本単位のうち、隣接する2基本単位以上であって前記埋込対象から分割された一部分を構成する基本単位からなる拡散ブロックをスペクトル拡散する単位とし、同一拡散ブロック内の基本単位には同一の擬似乱数信号を乗積して検出対象をスペクトル拡散するスペクトル拡散手段と、スペクトル拡散手段によりスペクトル拡散された検出対象から電子透かしを検出する透かし検出手段とを備えた電子透かし検出装置である。
【0052】
本発明はこのような手段を設けたので、直接拡散法で埋め込まれた電子透かし情報のエネルギーが、逆スペクトル拡散過程において高周波側に配分されないように処理された電子透かし情報を検出することができる。
【0053】
次に、課題解決のための第10の発明は、デジタルデータからなる電子透かし検出対象から電子透かしを検出する電子透かし検出装置において、検出対象を構成する基本単位のうち、2基本単位以上からなる平均ブロックを基本単位の平均値を算出する単位とし、平均ブロック毎に基本単位の平均値を算出する平均値算出手段と、平均ブロックに属する各基本単位の値とその平均ブロックの平均値との差を、各平均ブロックについて算出することで基本単位の値をシフトさせるデータシフト手段と、データシフト手段により値シフトした検出対象をスペクトル拡散するスペクトル拡散手段と、スペクトル拡散手段によりスペクトル拡散された検出対象から電子透かしを検出する透かし検出手段とを備えた電子透かし検出装置である。
【0054】
本発明はこのような手段を設けたので、直接拡散法で電子透かし情報を埋め込むにあたって、スペクトル拡散,直交変換で周波数空間に変換されたデータ分布における分散が小さくなるように処理された透かし情報を検出することができる。
【0055】
次に、課題解決のための第11の発明は、デジタルデータからなる電子透かし検出対象から電子透かしを検出する電子透かし検出装置において、検出対象を構成する基本単位のうち、2基本単位以上からなる平均ブロックを基本単位の平均値を算出する単位とし、平均ブロック毎に基本単位の平均値を算出する平均値算出手段と、平均ブロックに属する各基本単位の値とその平均ブロックの平均値との差を、各平均ブロックについて算出することで基本単位の値をシフトさせるデータシフト手段と、検出対象を構成する基本単位のうち、隣接する2基本単位以上からなる拡散ブロックをスペクトル拡散する単位とし、同一拡散ブロック内の基本単位には同一の擬似乱数信号を乗積して、データシフト手段により値シフトされた検出対象をスペクトル拡散するスペクトル拡散手段と、スペクトル拡散手段によりスペクトル拡散された検出対象から電子透かしを検出する透かし埋込手段とを備えた電子透かし検出装置である。
【0056】
本発明はこのような手段を設けたので、上記第9及び第10の発明を組み合わせた効果を得ることができる。
【0057】
次に、課題解決のための第12の発明は、上記11の発明において、拡散ブロックは、平均ブロックより小さなデータサイズであり、平均ブロックに含まれる電子透かし検出装置である。
【0058】
本発明はこのような手段を設けたので、上記第11の発明を容易に実現することができる。
【0059】
次に、課題解決のための第13の発明は、上記第9〜12の発明において、デジタルデータは画像データとし、基本単位は画像を構成する画素とする電子透かし検出装置である。
【0060】
本発明はこのような手段を設けたので、画像に電子透かしを埋め込む場合に、第9〜12の発明の効果を得ることができる。
【0061】
次に、課題解決のための第14の発明は、上記第9〜第13の発明の電子透かし検出装置によって、配布し又は配布されたデジタルデータから電子透かしを検出するデジタル情報配布装置である。
【0062】
本発明はこのような手段を設けたので、配布し又は配布されたデジタルデータについて、上記第9〜第13の発明の効果を得ることができる。
【0063】
次に、課題解決のための第15の発明は、上記第1の発明をコンピュータに実現させるためのプログラムを記録した記憶媒体である。
【0064】
この記憶媒体から読み出されたプログラムにより制御されるコンピュータは、上記第1の発明の電子透かし埋込装置として機能する。
【0065】
次に、課題解決のための第16の発明は、上記第2の発明をコンピュータに実現させるためのプログラムを記録した記憶媒体である。
【0066】
この記憶媒体から読み出されたプログラムにより制御されるコンピュータは、上記第2の発明の電子透かし埋込装置として機能する。
【0067】
次に、課題解決のための第17の発明は、上記第5の発明をコンピュータに実現させるためのプログラムを記録した記憶媒体である。
【0068】
この記憶媒体から読み出されたプログラムにより制御されるコンピュータは、上記第5の発明の電子透かし埋込装置として機能する。
【0069】
次に、課題解決のための第18の発明は、上記第6の発明をコンピュータに実現させるためのプログラムを記録した記憶媒体である。
【0070】
この記憶媒体から読み出されたプログラムにより制御されるコンピュータは、上記第6の発明の電子透かし埋込装置として機能する。
【0071】
次に、課題解決のための第19の発明は、上記第9の発明をコンピュータに実現させるためのプログラムを記録した記憶媒体である。
【0072】
この記憶媒体から読み出されたプログラムにより制御されるコンピュータは、上記第9の発明の電子透かし検出装置として機能する。
【0073】
次に、課題解決のための第20の発明は、上記第10の発明をコンピュータに実現させるためのプログラムを記録した記憶媒体である。
【0074】
この記憶媒体から読み出されたプログラムにより制御されるコンピュータは、上記第10の発明の電子透かし検出装置として機能する。
【0075】
次に、課題解決のための第21の発明は、上記第1〜7の発明の電子透かし埋込装置によって電子透かしを埋め込まれてなる構造を有するデータが記録されたコンピュータ読み取り可能な記憶媒体である。
【0076】
この記憶媒体に格納されるデータにより、上記第1〜7の発明と同様な効果が奏される。
【0077】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【0078】
本実施形態で使用する改良された直接拡散法は、以下に説明する3つの特徴を有するものであって、まず、その改良直接拡散法の技術的な検討を行い、その後、具体的な実施の形態について説明する。
【0079】
ここでまず、本実施形態の改良直接拡散法における第1の特徴を説明する。
【0080】
直接拡散法では、埋め込んだ電子透かし情報を逆スペクトル拡散するために画像等の高周波成分まで埋め込みのエネルギーが配分されるわけであるが、ここでいう周波数は画素を基準として生じるデータ値の波に対応する。すなわち複数画素にわたって画素データが波状に変化しているときのその波が周波数情報であり、電子透かし情報はスペクトル拡散(逆拡散)によって広い範囲の画素データの波(ノイズとしての透かし情報)となっている。ここで、高周波数となる場合は、少ない画素数で波が増減を繰り返すような変化をする場合である。
【0081】
発明者は、画素データが画素単位で変化するものであり、さらに、少ない画素数で波が変化するときに高周波数となることに着目し、逆拡散時に透かしエネルギーが高周波成分に配分されない方法を発明した。つまり、スペクトル拡散を画素単位で行うのでなく、複数画素からなる単一画素よりも大きな単位でスペクトル拡散するものである。
【0082】
このように、複数画素単位で拡散、埋め込み、並びに逆拡散を行う場合には、原画像に配分される透かしエネルギーは複数画素単位で考えたときには高周波成分にまで配分される。しかしながら、画素の集合たる画像として考えたときには、複数画素単位での高周波成分値は高周波ではない。複数画素単位では急速に変化している情報でも画素単位で見れば緩やかな変化にすぎないからである。
【0083】
図2は本発明の第1の特徴を説明するための図である。
【0084】
上記発明を実現するために実施形態では、スペクトル拡散並びに逆拡散を行う単位として複数画素からなる拡散ブロックを導入している。同図(a)には2×2画素を拡散ブロックとした場合、同図(b)には2×2画素を拡散ブロックとした場合が示されている。このように、複数画素単位(拡散ブロック)で拡散し、その状態で透かし情報を埋め込んで逆拡散することで実質的に透かしエネルギーが高周波領域に配分されることが防止される。
【0085】
次に、本実施形態の改良直接拡散法における第2及び第3の特徴を説明するために、埋め込まれた透かしが正しく検出されている確率を定量的に与える信頼性のモデルを検討する。
【0086】
画像を構成する画素の集合をM、周波数領域を構成する周波数成分の集合をPで表す。画素x≡(x,x)∈Mの値をf(x)≡f(x,x)とする。PN系列p(x)による直接拡散によって得られる画像の画素値は、(1)式の通りである。
【0087】
【数1】
Figure 0003607521
【0088】
この画像を直交変換して得られる周波数成分を(2)式に表す。
【0089】
【数2】
Figure 0003607521
【0090】
で表わす。ここで、A(u,x)は直交変換の行列要素を表わし、(3)式及び(4)式が成り立つとする。
【0091】
【数3】
Figure 0003607521
【0092】
ここで、電子透かしの埋め込みアルゴリズムとして、便宜上次のような単純なものを考える。
【0093】
【数4】
Figure 0003607521
【0094】
これに対応する電子透かしの抽出アルゴリズムとして、次のようなものを考える。
【0095】
【数5】
Figure 0003607521
【0096】
なお、上記埋め込みアルゴリズム並びに検出アルゴリズムは、後述の式展開の前提として便宜上与えたものであり、実施形態で示す発明がこのアルゴリズムに限定されることを示すものではない。
【0097】
一方、検出の信頼性を表す指標としては、偽陽性率(false positive ratio)と偽陰性率(false negative ratio)が一般的である。偽陽性率は、電子透かしを埋め込んでいないのに、埋め込まれていると誤った判定をする確率である。一方、偽陰性率は、電子透かしを埋め込んだのに、埋め込んでいないと誤った判定をする確率である。
【0098】
さらに、符号理論における復号誤り率に相当する抽出誤り率(extraction error ratio)を定義する。偽抽出率は、0が埋め込まているのに1が埋め込まれていると誤った判定をする確率と1が埋め込まれているのに0が埋め込まれていると誤った判定をする確率である。偽陽性率、偽陰性率及び抽出誤り率は、電子透かしアルゴリズムや埋め込みと抽出の間で画像に施された操作,そして画像の性質に依存する。
【0099】
一般には、検出・抽出において、図18に示すような可能性がある。
【0100】
図18は電子透かし情報の検出・抽出において生じる状況を示す図である。
【0101】
PN系列による拡散によって各画素の画素値は独立変数であるかのように見なせるので、拡散画像の周波数成分値は、中心極限定理によってガウス分布で近似できる。
【0102】
ここで、本実施形態の改良直接拡散法における第2の特徴を説明する。
【0103】
拡散画像の周波数成分値の期待値を空間平均によって与えるならば、
【0104】
【数6】
Figure 0003607521
【0105】
となる。直流成分の期待値に対しても、PN系列による拡散のため、期待値は自然とゼロとなる。
【0106】
同様に、拡散画像のある周波数成分値の二乗の期待値は、周波数成分値の二乗平均によって与えられるとすると、その値は、
【0107】
【数7】
Figure 0003607521
【0108】
すなわち(6)式及び(7)式より、拡散前画素値の分散σと拡散及び直交変換後の周波数成分値の分散σとが等しくなることが証明されたものである。したがって、本実施形態で用いられる改良直接拡散法では、原画像全体についての直交変換及び逆直交変換を行わなくても、この分散を基本として周波数空間で透かし情報埋め込みに用いるべき埋込強度λを決定できる。つまり直交変換後の周波数成分値の分散σがわかっているので、埋め込み強度λとして、しきい値を越え、かつ画像等が劣化しない程度に弱いもの(低エネルギー)とすることが可能である。
【0109】
【数8】
Figure 0003607521
【0110】
ここで、(8)式で示される埋込強度λは、一般形であり、本実施形態では、(9)式又は(10)式の形で埋込強度λが計算される。
【0111】
次に本実施形態の改良直接拡散法における第3の特徴を説明する。
【0112】
埋め込み位置の周波数成分値がある閾値Tを超える場合に透かし情報が埋め込まれていると判断するとすると、
【0113】
【数9】
Figure 0003607521
【0114】
と表せる。拡散後の周波数成分値の分散σを小さくすることにより、偽陽性率を小さくできると期待される。
【0115】
この値は、個々の画像に依存する値である。エルゴート性を仮定してこの期待値をアンサンブル平均による期待値と見なすことは適切ではない。故に、直接拡散法では、一般に、電子透かしの信頼性は個々の画像に強く依存してしまう。
【0116】
そこで、本実施形態では、透かし情報が埋め込まれる対象全体(埋め込み単位に分割した場合を含む)についての平均を取るのではなく、この対象をさらに複数のブロック(平均ブロック)にわけ、この平均ブロック毎に画素値の平均を取り、画素値から平均値を差し引くようにしたのである。
【0117】
図3は本発明の第3の特徴を説明するための図である。同図(a)には4×4画素を平均ブロックとした場合、同図(b)には8×8画素を平均ブロックとした場合が示されている。
【0118】
透かし情報が埋め込まれる対象となる埋込ブロック単位でなく、図3に示した平均ブロック単位で画素平均を求め、これを用いて画素値シフトすることで図4に示すように分散σが小さいものとなる。
【0119】
図4は埋込ブロック単位で画素平均を求める場合と平均ブロック単位で画素平均を求める場合を比較する図である。
【0120】
同図より明らかなように、平均ブロック単位で画素平均を取り、画素値シフトを行えばシフト値の分布範囲は小さなものとなり、分散σを小さくできる。
【0121】
また、図5は本発明の実施形態に用いられる各ブロックについて示す図である。
【0122】
同図に示すように、画素の集合が画像全体を構成しており、この画像全体が埋込ブロックに分割されている。埋込ブロックは透かし情報を埋め込む単位であり、一般的には64×64画素,128×128画素あるいは256×256画素程度の大きさに画像が分割されてなる。なお、埋込ブロックは画像全体に一致してもかまわない。
【0123】
埋込ブロック内はそれ以下(通常は未満)のサイズの平均ブロックに分割され、また、拡散ブロックに分割される。平均,拡散両ブロックとも1画素より大きい。なお、処理をより有効なものとするには、図4,図5に示すように、平均ブロックサイズが拡散ブロックサイズよりも大きいことが望ましい。さらに、拡散ブロックが平均ブロックに含まれるようなブロック構成にするとより好ましい。
【0124】
以上が本発明の主な特徴であるが、次に本発明を実現させるための具体的な形態を説明する。
【0125】
図1は本発明の実施の形態に係る電子透かし埋込検出装置の一例を示すブロック構成図である。
【0126】
この電子透かし埋込検出装置1は、パーソナルコンピュータやワークステーション等の計算機、1又は複数からなるICチップ等の計算機要素を含む手段からなるものであり、CPUやメモリ等のハードウエア要素とプログラムやデータ等のソフトウエア要素が結合して図1に示すような機能を実現する。
【0127】
図1の電子透かし埋込検出装置1は、電子透かし埋込処理部2と、電子透かし検出処理部3と、PN系列発生器4と、ブロック情報格納部5と、埋込位置情報格納部6とから構成されている。なお、同図では、電子透かし埋込装置と電子透かし検出装置とを一体のものとして構成しているが、これらはそれぞれ別々の装置となってもよいものである。その場合、各装置には、検出処理部3又は埋込処理部2の何れか一方がそれぞれ不要となる。
【0128】
ここでまず、電子透かし埋込処理部2は、画像や音楽等のデジタルデータである電子透かしの埋込対象を入力して、埋込処理を実行し、電子透かし情報が埋め込まれた埋込済情報を出力する。また、この埋込処理を実行するために、拡散ブロック情報11,平均ブロック情報12及び埋込ブロック情報13並びに透かしの埋込位置情報が入力され、PN系列発生器4からPN系列信号が入力されるようになっている。
【0129】
電子透かし検出処理部3は、電子透かし情報が埋め込まれている可能性がある透かし情報検出対象を入力して、検出抽出処理を実行し、電子透かしが埋め込まれているか否かの検出結果、及び透かし埋込されている場合における電子透かし抽出結果を出力する。また、この検出抽出処理を実行するために、拡散ブロック情報11,平均ブロック情報12及び埋込ブロック情報13並びに透かしの埋込位置情報が入力され、PN系列発生器4からPN系列信号が入力されるようになっている。なお、一般に検出処理とは透かしの有無検出をいい、抽出処理とは透かし抽出をいうが、本明細書では時として検出処理に抽出処理を含めることとする。
【0130】
PN系列発生器4は、埋込処理及び検出抽出処理に用いるPN系列信号を発生し、電子透かし埋込処理部2又は電子透かし検出処理部3に与えるようになっている。
【0131】
ブロック情報格納部5は、拡散ブロック情報11,平均ブロック情報12及び埋込ブロック情報13を格納しており、これらの情報を電子透かし埋込処理部2又は電子透かし検出処理部3に与えるようになっている。
【0132】
埋込位置情報格納部6は、透かし情報の埋め込み位置情報又は埋め込み位置情報の元となる情報を格納しており、埋込位置情報を電子透かし埋込処理部2又は電子透かし検出処理部3に与えるようになっている。この埋込位置情報及び埋込強度情報に基づいて電子透かしが埋め込まれることになる。
【0133】
次に、このように構成された本実施形態における電子透かし埋込装置及びその検出装置の動作について説明する。なお、以下の説明では透かし情報埋込対象が画像データである場合を取り扱う。
【0134】
図6は電子透かし情報埋込処理部における処理を示す流れ図である。
【0135】
同図に示す各処理ST1〜ST11は、処理手続きであると同時に機能手段であると考えることもできる。これらは具体的にはプログラムに従って実行される処理である。
【0136】
電子透かし埋込処理においてはまず、透かし情報の埋込対象である画像データが入力され、ブロック情報格納部5からの埋込ブロック情報に基づいて埋込ブロック分割される(ST1)。透かし情報は各埋込ブロックそれぞれに埋め込まれるが、ここでは一つの埋込ブロックに着目して以下の説明を行う。なお、画像全体をひとつの埋込ブロックとして扱う場合には、本処理は不要である。
【0137】
次に、埋込ブロックは、ブロック情報格納部5からの平均ブロック情報に基づいて、さらに平均ブロックに分割される(ST2)。
複数の平均ブロック分割された画像データは、平均値計算処理(ST3)及び画素値シフト処理(ST4)に引き渡される。このうち平均値計算処理(ST3)においては、各平均ブロック単位で画素平均値が算出され、それぞれが画素値シフト処理(ST4,ST11)に引き渡される。
【0138】
画素値シフト処理(ST4)においては、平均ブロック分割(ST2)から受け取った各平均ブロック内の画素値が、その対応する平均ブロックの平均値(局所平均値)で差し引かれ、これにより画素値のシフトが実行される。
【0139】
このように、処理ST2〜ST4では画素値を平均値からの差分で再定義することによって、分散σを小さくしている。特に、埋め込みブロックサイズが大きな場合には、自然な画像が持っている画素値の空間的な局所性を利用し、画像の局所的な平均値を定義し、その局所的平均値からの差分として画素値を再定義することにより、分散σがより小さくなるようにしている。
【0140】
画素値シフト処理(ST4)を受けた画像データは、拡散ブロック分割処理(ST5)及び画素値の分散計算処理(ST7)に引き渡される。
【0141】
ここで、拡散ブロック分割処理(ST5)においては、ブロック情報格納部5からの拡散ブロック情報に基づいて、画素値シフトされた画像データが拡散ブロックに分割される。さらに、画像データは、拡散ブロックの単位でPN系列発生器4からのPN系列信号が乗積されスペクトル拡散される。なお、拡散ブロック内の画素値には、同一の乱数値(PN値)が乗積されることになる。
【0142】
これら処理ST5,ST6においては、拡散ブロックのスケール(サイズ)が制御されることで、透かしが埋め込められる周波数領域が低中間周波領域になるように制御されている。つまり個々の画素ではなく、隣接する複数の画素からなる拡散ブロック(矩形である必要は必ずしもない)に対してPN系列の一つの乱数値を乗積し、画素値を変更するようにしている。この拡散ブロックのスケールを制御することで、後述する逆拡散によって配分される透かし情報のエネルギーは、そのスケールよりも低周波側に集中させることが可能となる。
【0143】
一方、画素値の分散計算処理(ST7)においては、画素値シフト処理された画像データに基づき、スペクトル拡散を受けていない画素値の二乗平均が算出される。(7)式に示したように、この算出された二乗平均は、周波数成分値の分散σの二乗となっている。なお、このとき求まる分散σは処理ST2〜ST4により十分に小さなものとなっている。
【0144】
さらに、この分散σ(あるいは二乗平均)に基づき、電子透かしの埋込強度λが計算される(ST8)。この埋込強度計算は、(9)式又は(10)式により行われる。
【0145】
次に、PN系列乗積処理(ST6)にてスペクトル拡散された画像データ値に対し、埋め込み強度計算処理(ST8)にて計算された埋込強度λでもって電子透かし情報が埋め込まれる(ST9)。この場合、画像データ全体は画素領域のままであるが、拡散後の周波数成分値の分散σに基づく埋込強度λを用いることが可能であるため、周波数領域内の周波数成分の値を変更することによって、透かし情報を埋め込むことができる。なお、周波数成分値の変更処理(ST9)には、埋込位置情報格納部6から埋込位置情報が与えられる。
【0146】
次に、透かし情報が埋め込まれた画像データには、処理ST6と同様に、PN系列発生器4からのPN系列が拡散ブロック単位で乗積され、逆スペクトル拡散される(ST10)。
【0147】
そして、逆拡散された画像データは、平均値計算処理(ST3)で求めた各画素平均値に基づいて平均ブロック毎に画素値がシフトされ、元の画像に復元される(ST11)。こうして、透かし情報が埋め込まれた画像データが電子透かし埋込処理部2から出力される。
【0148】
次に、電子透かし情報の検出抽出処理について説明する。
【0149】
図7は電子透かし情報埋込処理部における処理を示す流れ図である。
【0150】
なお、同図に示す各処理ST21〜ST27も、図6の場合と同様に、処理手続きであると同時に機能手段であって、これらは具体的にはプログラムに従って実行される処理である。
【0151】
まず、透かし情報が埋め込まれた可能性のある透かし情報検出対象である画像データが入力され、ブロック情報格納部5からの埋込ブロック情報によって埋め込みブロック分割される(ST21)。
【0152】
次に、分割された埋込ブロックは、ブロック情報格納部5からの平均ブロック情報に基づいて平均ブロック分割される(ST22)。
平均ブロック分割された画像データは、画像値シフト処理ST24に引き渡されるともに、平均値計算処理において、各平均ブロック毎に画素平均値が計算され、計算結果が画素シフト処理に引き渡される(ST23)。
【0153】
画素シフト処理(ST24)においては、平均ブロック分割された画像データは、平均ブロック毎に画素値から対応する画素平均値が差し引かれ、画素シフトが行われる。
【0154】
次に、画素シフトされた画像データがブロック情報格納部5からの拡散ブロック情報に基づいて拡散ブロックに分割される(ST25)。
【0155】
次に、PN系列発生器からのPN系列信号が、図6の処理ST6と同様に拡散ブロック単位で画素シフトされた画像データに乗積され、スペクトル拡散が行われる(ST26)。
【0156】
目的とする透かし情報を検出抽出する場合には、予めどの埋込位置情報が用いられるかわかっている。そこで、埋込位置情報格納部6からの埋込位置情報が用いられ、周波数領域内の周波数成分の値に基づいて、透かし情報を検出スペクトル拡散された画像データに透かし情報が埋め込まれているか検出される。さらに、埋め込まれた電子透かし情報が抽出される(ST27)。
そして、これらの検出抽出結果が電子透かし検出処理部3から出力される。
【0157】
上述したように、本発明の実施の形態に係る電子透かし埋込装置及びその検出装置は、直接拡散法において、1画素よりも大きな拡散ブロックの単位で拡散、透かし埋め込みを行うようにしたので、逆スペクトル拡散をしたときに埋め込みエネルギーが高周波領域まで分散されることを防止することができる。これにより、圧縮伸張等の下で電子透かし情報が失われやすいという欠点をなくすことができる。すなわち、圧縮伸張等の下で透かし情報が残存する性質を高めることができる。ひいては、D−A−D変換やStirMark攻撃に対する透かし情報の保持性を高くすることができる。
【0158】
また、本実施形態の電子透かし埋込装置及びその検出装置は、平均ブロックを導入し、この平均ブロック単位で画素平均をとり、画像シフトを行うようにしたので、原画像の画素値分布状況にかかわらず周波数領域における分散σを小さくすることができ、これによって、絶対値は低いがしきい値に対しては相対的に強い埋込強度λとなるように、透かし情報埋め込みを行うことができる。したがって、画像劣化等のデータ品質劣化を起こすことなく、透かし情報の容量を向上させることができる。
【0159】
したがって、実質的に画像ごとの画像適応や画像の部分ごとの画像適応がなされており、大きなブロックに対して小さなサイズの透かし情報しか埋め込めない等といった事態を防止することができる。
【0160】
また、本実施形態の電子透かし埋込装置及びその検出装置は、周波数成分値の分散σの二乗は拡散前の画素値の二乗平均に等しいという(7)式で得られた知見を利用し、画像全体を直交変換することなく(8)式、(9)式又は(10)式で埋込強度λを得て透かし情報埋込み検出を行うようにしたので、透かし情報の埋め込みの際に大きなブロックサイズを選択した場合でも、スペクトル拡散・逆拡散、直交変換・逆変換の計算コストを小さくできる。したがって、高速でかつ上記の周波数空間の分散σに対応した電子透かし情報埋め込みを行うことができる。
【0161】
このため、従来、性能的な観点からハードウェア的に実装する以外に手段がなかったような場合でもソフトウェアによる実装が可能になり得る。さらに、透かし情報の埋め込みの回路をハードウェアで実装する場合でも、従来より小さなハードウェアコストでの実装が可能となる。
【0162】
したがって、高速な透かし情報の埋め込みにより、画像等のデータの利用・転送時に利用者や転送先の情報を埋め込むフィンガープリント装置を実現することが可能となる。
【0163】
また、高速な透かし情報の検出も可能であることから、画像等のデータに、その利用制御・コピー制御情報、デスクランブル鍵を埋め込み、それらの情報をデータとともに転送し、利用時に即座にそれらの情報を検出するという利用法も可能である。
【0164】
なお、本実施形態では、拡散ブロックへのPN系列信号の与え方については詳述しなかったが、本発明では拡散ブロック毎に異なる擬似乱数を与える等も可能であり、自由度が高い。また、拡散ブロックのスケールの設定は基本的に自由に行うことができるため、圧縮伸張操作のスケールに対応して適切なブロックサイズを設定することができる。
【0165】
さらに、本実施形態では、平均ブロック及び拡散ブロックという考え方を用いているが、これらの情報がわからなければ、電子透かし情報の検出や抽出、ひいては透かし情報の操作や抹消ができない。したがって、平均ブロック情報又は拡散ブロック情報を秘密の情報とすれば、たとえPN系列や埋込位置情報が漏れた場合でも、悪意の第三者に透かし埋め込み画像を解析されることを防止できる。
【0166】
【実施例】
(第1の実施例)
実施形態では、図6及び図7によって電子透かし情報の埋込処理並びに検出抽出処理の全体を説明したが、これらの処理の中でも特に周波数成分値の変更処理ST9及び周波数成分値による判定処理ST27についてより具体的な実施例を説明する。
【0167】
本実施例は、実施形態で説明した電子透かし埋込装置及びその検出装置について適用するものであり、周波数成分値の変更処理ST9及び周波数成分値による判定処理ST27に対応する。
【0168】
図8は本発明の実施例における図6の周波数成分値の変更処理ST9を示すブロック図である。
【0169】
同図において、周波数成分値の変更処理ST9は、透かし情報の埋込み対象である画像の画素値データを入力し、透かし情報を埋込んだ後に、透かし情報埋込み済みの画像の画素値データを出力する。この周波数成分値の変更処理ST9における入出力の形式は、画像全体やフレーム単位に一括して入出力してもよいし、ビットストリームとして連続的に入出力してもよい。
【0170】
周波数成分値の変更処理ST9は、埋込み位置選択部81と、画素値変分計算部83と、画素値変換部84との各処理から構成される。
【0171】
埋込み位置選択部81は、周波数成分値には依存せずに透かし情報を埋め込むべき周波数空間中の位置(埋込み位置)を決定する。以下では、埋込み位置(u,v)が1点であるとして説明するが、複数の点を埋込み位置とすることも可能である。その場合、埋込み位置選択部81は、周波数空間における埋込み位置(u,v)の組Sを与える。
【0172】
埋込み位置選択部81は、透かし情報の埋込み位置を決定(選択)するのに、例えば画像の周波数空間中の固定的な位置を埋込み位置とする手法を適用する。この他、固定的な位置を埋込み位置とするのではなく、最初の数フレームの情報は固定だがそれ以降は、その固定フレームで読み出した情報に基づき埋込み位置を決定する手法、利用者固有の情報から計算される位置を埋込み位置とする手法、埋込む位置を透かし情報以外の手段で渡す手法、埋込み位置を乱数で生成する手法、利用者毎にその乱数の系列が異なるようにする手法、などが適用可能である。なお、ここでは画像の周波数空間中の固定的な位置を埋込み位置に対応する埋込位置情報を埋込位置情報格納部6から入力している。
【0173】
更に、埋込み位置選択部81において、複数位置に埋込まれた透かし情報の間のうなりを回避するように埋込み位置を決定してもよい。例えば、乱数で生成した複数の埋込み位置が画素値空間中の同一点や近傍点で極値を持つ場合には、透かし情報を埋込んでいることが視覚的に認識できることがある。特に、極値の重なりが1点ではなくて1次元的、或いは2次元的な広がりを持つ領域となる場合には、認識されやすい。そこで、埋込み位置選択部81に、複数の埋込み位置の間でこのようなうなりを生ずるか否かを判定する機能を持たせ、埋込み位置の候補を生成する度に、この判定機能によってその候補の妥当性を判定し、不適切な候補と判定した場合には、当該候補を破棄し、適切な候補と判定した場合には、それを埋込み位置の組Sの要素として選択する構成を付加するようにしてもよい。
【0174】
このような埋込み位置選択部81の構成例を図9(a)に示す。ここでは、埋込み位置選択部81は、例えば乱数により決定される透かしの周波数の対を埋込み位置の候補として複数生成する周波数生成部811と、生成された複数の埋込み位置の候補を入力として、うなりの程度を判定し、うなりの影響を回避するような所定個数(N個)の埋込み位置の組Sを選択して出力するうなり判定部812とから構成されている。
【0175】
ここで、埋込み位置選択部81を図9(a)のように構成した場合の、当該埋込み位置選択部81での具体的な動作を図9(b)のフローチャートを参照して説明する。
まず、うなり判定部812は、埋込み位置を表す変数iを初期値0に設定すると共に、埋込み位置(u,v)の組Sを格納するためのバッファ(リスト)を初期化する(ステップS1)。但し、(u,v)=(0,0)は、候補としないものとする。
【0176】
この状態で、うなり判定部812は、周波数生成部811により、乱数によって決まる周波数の対からなる埋込み位置の候補を1つ生成させて、その埋込み位置候補を入力し、(u,v)とする(ステップS2)。
【0177】
次にうなり判定部812は、埋込み位置候補(u,v)についてうなりの程度を評価・判定するための比較対象とする埋込み位置を指す変数jを初期値0に設定する(ステップS3)。この変数jは、第j番目に選択された埋込み位置(Sの第j番目の埋込み位置)を示す。
【0178】
次にうなり判定部812は、iとjとを比較し(ステップS4)、この例のようにj<iでないならば、その際の埋込み位置候補(u,v)を埋込み位置として選択し、Sの第j番目に設定する(ステップS5)。
【0179】
ここで、Sに設定された埋込み位置候補の数がN個、つまりi=N−1に達していないならば(ステップS6)、うなり判定部812はiを1インクリメントする(ステップS7)。そして、うなり判定部812は、周波数生成部811により次の埋込み位置の候補を生成させて、その埋込み位置候補を入力し、(u,v )とする(ステップS2)。
【0180】
次にうなり判定部812は、jを初期値0に設定し、当該jがiより小さいならば、ステップS2で入力した今回の埋込み位置候補(u,v)が第j番目に選択された埋込み位置(u,v)、つまり(u,v)に対してうなりの影響を及ぼすか否かを判定する(ステップS8)。即ち、2つ以上の異なる周波数を持つ波(透かし)は、必ずうなりを生ずるため、うなり判定部812は、うなりを生ずる領域を小さな領域、小さな次元に抑えることを目的として、うなりの程度の判定を次のように行う。
【0181】
まず、2以上の周波数からなる周波数の組の間に整数比が成立する場合、それらの周波数の最小公倍数を周波数とする大きなうなりが発生する。例えば、2次元の広がりを持つ画像中において、2つの周波数の透かしの間に周波数が整数比を持っている場合、このうなりのピークは1次元状の広がりを持った格子模様状の領域を示す。そこで、うなり判定部812では、複数の周波数の間にこのような整数比、或いは近似的に整数比が成立するか否かを判定することで、うなりの程度の判定結果とするようにしている。
【0182】
具体的には、うなり判定部812は上記ステップS8において、埋込み位置候補(u,v)の成分(周波数)と、第j番目に選択された埋込み位置(u,v)の成分との間の次の関係
(u*v−v*u)/{|(u,v)|*|(u,v)|}
が、以下の判定条件
−ε<(u*v−v*u)/{|(u,v)|*|(u,v)|}<+ε
を満たすか否かにより、うなりの影響の有無を判定する。ここで、εは1≫εとなる正数であって、予め適当な数値を与えておけばよい。なお、|(u,v)|はベクトル(u,v)の大きさを表す。
【0183】
つまり、2つの周波数成分(u,v)と(u,v)がベクトルとして殆ど同じ方向を持つ場合には、うなりにより1次元または2次元のピークの領域が発生するので、このような関係にある周波数成分の組を排除するように上記の判定条件に従って判定する。
【0184】
さて、上記判定条件を満たす場合には、うなり判定部812は埋込み位置候補(u,v)と埋込み位置(u,v)との間で大きなうなりが発生するものと判定し、当該候補を選択せずに、ステップS2に戻る。そしてうなり判定部812は、周波数生成部811により次の埋込み位置の候補を生成させて、その埋込み位置候補を入力し、(u,v )とし、ステップS3以降の処理を行う。
【0185】
これに対し、上記式を満たさない場合には、うなり判定部812は埋込み位置候補(u,v)と埋込み位置(u,v)との間で大きなうなりが発生しないものと判定し、変数jを1インクリメントする(ステップS9)。もし、この1インクリメント後のjの値がi以上となったならば、うなり判定部812は、今回の埋込み位置候補(u,v)が、既に選択されている全ての埋込み位置(つまりi−1個の埋込み位置)に対してうなりの影響を及ぼさないことを確認できたと判断し、その埋込み位置候補(u,v)を埋込み位置として選択し、Sの第j番目に設定する(ステップS5)。一方、1インクリメント後のjの値が依然としてiより小さいならば、うなり判定部812は、今回の埋込み位置候補(u,v)が、第j番目に選択された埋込み位置(u,v)、つまり(u,v)に対してうなりの影響を及ぼすか否かを判定するステップS8に進む。
【0186】
やがて、Sに設定された埋込み位置の個数がN個になると(ステップS6)、うなり判定部812はそのSの内容、つまりN個の埋込み位置の組を画素値変分計算部83に出力する(ステップS10)。
【0187】
このようにして、(埋込み位置選択部81内の)うなり判定部812が出力したN個の埋込み位置の組の各成分の間には、1次元、或いは2次元の広がりをもったピークを示すうなりは生じない。なお、図9(b)のフローチャートに従う手順は一例であり、要は、周波数生成部811によって逐次生成される埋込み位置候補の中から、その成分の間に大きなうなりを生じる虞のないN個の埋込み位置候補を埋込み位置として選択すればよい。
【0188】
また、図8に示すように埋込強度λが図6の処理ST8から入力されているが、これは埋込む透かし情報を表現している変分値を意味することになる。
【0189】
なお、複数の埋込み位置がある場合、図6の埋込強度計算処理ST8は、Sの各点に対応する埋込強度λの組Λを与えるように構成されていればよい。
さて、図6の埋込強度計算処理ST8が埋込み位置(u,v)における周波数成分値の変分値をΔF(u,v)と決定すると、位置(u,v)の周波数成分値F(u,v)は、透かし情報埋込み後にF(u,v)+ΔF(u,v)となる。
【0190】
画素値変分計算部83は、透かし情報の埋込みの対象となる画像の画素値空間中の各点(x,y)における画素値の変分Δf(x,y)を、埋込み位置選択部81によって選択された周波数空間中の埋込み位置(u,v)と、周波数成分値変分決定部82によって決定された周波数成分値の変分ΔF(u,v)を入力として計算する。
【0191】
ここでは画素値変分計算部83は、次式(21)
Δf(x,y)=A−1(x,u)・A−1(y,v)・ΔF(u,v)…(21)
に従って画素値の変分Δf(x,y)を計算する。
【0192】
この計算を行う画素値変分計算部83の構成例を図10に示す。
図10の例では、画素値変分計算部83は、第1の行列要素計算部831と、第2の行列要素計算部832と、変分計算部833とから構成される。
【0193】
第1の行列要素計算部831は、埋込み位置選択部81によって選択された周波数空間中の埋込み位置(u,v)を逐次入力して、直交変換の第1の行列要素A−1(x,u)を計算する。一方、第2の行列要素計算部832は同じく周波数空間中の埋込み位置(u,v)を逐次入力して、直交変換の第2の行列要素A−1(y,v)を計算する。
【0194】
変分計算部833は、第1の行列要素計算部831及び第2の行列要素計算部832の計算結果と、周波数成分値変分決定部82によって決定された周波数成分値の変分ΔF(u,v)(=±λ)とを入力し、上記式(21)に従う計算を行うことで、周波数空間中の埋込み位置(u,v)に対応する画素値空間中の各点(x,y)における画素値の変分Δf(x,y)を求める。この変分計算部833によって求められた画素値空間中の各点(x,y)における画素値の変分Δf(x,y)は、画素値変分計算部83の出力として画素値変換部84に送られる。
【0195】
なお、埋込み位置選択部81によって選択される周波数空間中の埋込み位置が複数の場合には、その埋込み位置を(u,v)とすると、各埋込み位置(u,v)毎に、その埋込み位置(u,v)に対応する画素値空間中の各点(x,y)における画素値の変分を求め、その点(x,y)における各埋込み位置(u,v)毎の変分の総和、つまりΣ−1(x,u)・A−1(y,v)・ΔF(u,v)を、画素値の変分Δf(x,y)とすればよい。
【0196】
ところで、画素値が、例えば整数値のような離散的な値をとる場合、画素値の小さな変分は、整数値への丸めの誤差によりゼロとなってしまう。そのため画素値変分計算部83においては、分散して埋込んだ透かし情報までこの丸めの影響によって消されてしまわないように、整数値からのずれを画一的に切り捨てる代わりに、透かし情報が再現されるよう、確率的に、近接の整数値のいずれかにしてもよい。
【0197】
再び図8を参照すると、画素値変換部84は、画素値変分計算部83から送られる画素値空間中の各点(x,y)の画素値の変分Δf(x,y)に従い、画像データの変換を行う。
【0198】
以上に説明したように、本実施例においては、透かし情報の埋込み処理(に必要な直交変換後の透かし情報の埋込み位置の決定や周波数成分値の変分の決定)が、従来技術で必要とする直交変換・逆変換を行うことなく実現できる。したがって、本実施形態に係る電子透かし埋込み装置80を用いれば、入力画像がストリームデータとして与えられる場合でも、大きな(容量の)バッファを必要とせずに透かし情報を実時間で逐次埋込むことが可能となる。
【0199】
以上の説明では、画像のフレーム全体を1つのブロックとして扱い埋込みを行う場合について述べたが、フレームを複数のブロックに分割した場合のブロックに対して同様の埋込みを適用することも可能である。
【0200】
また、以上は、埋込み対象となるブロックが2次元のブロックである場合を例に説明したが、これに限るものではない。例えば、動画において、時間方向まで含めて埋込み領域とすることにより、ブロックを3次元に拡張することも可能である。
【0201】
これにより、1フレーム内の小さなブロックでは十分に分散させて透かし情報を埋込むことができない場合でも、複数のフレームに亘ることで、十分な画素点数を得ることによって、透かし情報を十分に分散させて埋込むことができる。また、フレームの間引きに強い形で透かし情報を埋込むことも可能である。
【0202】
ブロックを3次元に拡張した場合、大きなバッファに、時間方向に亘るブロックの画素値データを一旦格納してから周波数変換をすると、その処理のために時間的な遅延が生ずるとか、非常に重い処理になってしまうという問題が発生する虞がある。しかし本実施例においては、入力されたストリームデータに逐次埋込みを行うことができるため、大きなバッファを必要とせず高速に透かし情報を埋込むことが可能である。
【0203】
また、その際、視覚的にブロック境界が認識されることを避けるため、ブロックの領域周辺において透かし情報の埋込みによる画素値の変分をフェードアウトするようにしてもよい。透かし情報はブロック全体に分散して埋込まれているので、ブロックの周辺部のフェードアウトによっても正しく検出することが可能である。
【0204】
3次元画像中のブロックは、フレーム毎の切片が異なる位置に配置されるようオフセットを持っていてもよい。また、そのオフセットはランダムに設定されてもよい。更に、適当な直交変換が定義できるならば、ブロックの形状は直方体である必要はない。また、ブロックが2次元ブロックの場合でも、それを1フレーム内に束縛された形で埋込む必要はなく、3次元画像中に自由に埋込めばよい。
【0205】
図11は本発明の実施例における図7の周波数成分値による判定処理ST27を示すブロック図である。
周波数成分値による判定処理ST27は、埋込み位置選択部91と、周波数成分値計算部92と、透かし情報復元部93との処理から構成される。
埋込み位置選択部91は、図8の周波数成分値の変更処理ST9中の埋込み位置選択部81と同様の機能を持ち、当該埋込み位置選択部81による埋込み時に選択した周波数空間中の埋込み位置(u,v)と同じ位置(u,v)を選択する。選択された埋込み位置(u,v)の情報は周波数成分値計算部92に渡される。
【0206】
周波数成分値計算部92は、埋込み位置選択部91により選択された周波数空間中の位置(u,v)の周波数成分値F(u,v)を、次式(22)
F(u,v)=ΣΣA(u,x)・A(v,y)・f(x,y)…(22)
に従って計算する。ここで、A(u,x),A(v,y)は直交変換の行列要素である。
【0207】
この計算を行う周波数成分値計算部92の構成例を図12に示す。
図12の例では、周波数成分値計算部92は、第1の第1の行列要素計算部921と、第2の行列要素計算部922と、周波数成分値要素計算部923と、累積加算値記憶部924と、加算部925とから構成される。
【0208】
第1の行列要素計算部921は、埋込み位置選択部91によって選択された周波数空間中の埋込み位置(u,v)を逐次入力して、直交変換の第1の行列要素A(u,x)を計算する。一方、第2の行列要素計算部922は同じく周波数空間中の埋込み位置(u,v)を逐次入力して、直交変換の第2の行列要素A(v,y)を計算する。
【0209】
周波数成分値要素計算部923は、第1の行列要素計算部921及び第2の行列要素計算部922の計算結果を入力すると共に、周波数空間中の埋込み位置(u,v)に対応する画素値空間中の各点(x,y)の画素値f(x,y)を逐次入力し、その都度A(u,x)・A(v,y)・f(x,y)、つまり周波数成分値の要素を計算する。
【0210】
累積加算値記憶部924は、現時点までに周波数成分値要素計算部923によって計算されたA(u,x)・A(v,y)・f(x,y)の和(累積値)を記憶するのに用いられる。
【0211】
加算部925は、周波数成分値要素計算部923によってA(u,x)・A(v,y)・f(x,y)が計算される毎に、その計算結果とその時点における累積加算値記憶部924の内容とを加算し、その時点までに周波数成分値要素計算部923によって計算されているA(u,x)・A(v,y)・f(x,y)の和(累積値)を求める。累積加算値記憶部924の内容はこの加算部925の計算結果に更新される。
【0212】
このようにして、埋込み対象であるブロック中のすべての画素の画素値f(x,y)が入力し終え、その最後のf(x,y)についてのA(u,x)・A(v,y)・f(x,y)が周波数成分値要素計算部923にて計算され、その計算結果と累積加算値記憶部924の内容(初期値は0)とが加算部925にて加算されると、その加算結果ΣΣA(u,x)・A(v,y)・f(x,y)が、埋込み位置選択部91によって選択された埋込み位置(u,v)の周波数成分値F(u,v)として周波数成分値計算部92から透かし情報復元部93に出力される。
【0213】
透かし情報復元部93は、周波数成分値計算部92から出力されるF(u,v)により、埋込まれていた透かし情報を復元する。この復元は、例えばF(u,v)>0ならば1が、F(u,v)<0ならば0が、それぞれ埋込まれていたと推定することで実現可能である。
【0214】
以上のようにして、図6及び図7に示す周波数成分値の変更処理ST9及び周波数成分値による判定処理ST27が一つの例として実施される。
【0215】
(第2の実施例)
実施形態で説明した電子透かし埋込装置及びその検出装置について適用する,図6のステップST6,ST9及びST10に対応する第2の実施例を説明する。なお、本実施例は、以下に説明する点を除けば第1の実施例と同様なものである。
【0216】
本実施例によると、画像に対してPN系列を乗積する処理が省略できるため、より効率的な埋め込みが可能となる。
【0217】
図13は図6におけるPN系列乗積処理ST6、及び、周波数成分の変更処理ST9、及び、PN系列乗積処理ST10の3つの処理を合わせて実現する処理部の実施例である。
【0218】
第1の実施例との違いは、本実施例の処理部は、PN系列を乗積していない画像を入力として、PN系列を乗積した画像を生成することなく、直接に画素値の変分を計算して、出力画像を出力している点にある。
【0219】
このような実施例が実現できる理由は、第1の実施例において、周波数成分の変更処理ST9が計算していた(21)式の演算に代えて、本実施例では
Δf(x,y)=p(x,y)・A−1(x,u)・A−1(y,v)・ΔF(u,v)
を計算することによって、前後のPN系列乗積処理を省略できることによる。
【0220】
図17中の画素値変分計算部は、PN系列を入力している点と、上で述べた新たな式に従って、変分を計算している点を除けば第1の実施例と同一である。図18は、画素値変分計算部の構成例である。
【0221】
以上のようにして、図6に示すPN系列乗積処理ST6、及び、周波数成分の変更処理ST9、及び、PN系列乗積処理ST10の3つの処理が合わせて実施される。
【0222】
なお、本発明は、上記各実施形態、実施例に限定されるものでなく、その要旨を逸脱しない範囲で種々に変形することが可能である。
【0223】
実施形態、実施例では、主に画像情報を電子透かし埋込対象として説明したが、本発明に適用できる電子透かし埋込対象はこれに限られるものでなく、テキストデータ、CADデータ、音楽データ等、種々のデジタルデータについて適用できる。なお、実施形態では画素を基本単位と考え、例えば拡散ブロックは複数画素からなるとしている。デジタル音楽データ等においては、画素に対応する基本単位に対し、複数基本単位から構成されるデータ単位がこの場合の拡散ブロックに相当する。平均ブロックについても同様である。
【0224】
また、具体的な適用事例として、DVD等の記憶媒体に本発明による電子透かしを埋め込んだ情報を格納する場合の他、インターネット等のネットワーク上に透かし埋込情報を送信するデジタル情報配布システムの場合も考えられる。また、インターネット上における音楽配信のためのSDMI等にも本発明を適用できる。
【0225】
さらに、実施形態、実施例では、本発明をICチップ上で実現させる場合を説明したが、本発明は、MPEG用チップやDVD用チップ等の各種処理チップの一部分として構成される場合を含む。
【0226】
また、実施形態、実施例では画像データ全体について直交変換をしないで透かし情報埋込、検出抽出を行う場合を説明したが、画像データ全体について直交変換して、透かし情報を埋め込み、逆直交変換を行うようにしてもよい。
【0227】
なお、実施形態、実施例に説明した装置は、記憶媒体に格納したプログラムをコンピュータに読み込ませることで実現させることができる。
【0228】
ここで本発明における記憶媒体としては、磁気ディスク、フロッピーディスク、ハードディスク、光ディスク(CD−ROM、CD−R、DVD等)、光磁気ディスク(MO等)、半導体メモリ等、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【0229】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワークソフト等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
【0230】
さらに、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【0231】
また、記憶媒体は1つに限らず、複数の媒体から本実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何らの構成であってもよい。
【0232】
なお、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【0233】
また、本発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
【0234】
【発明の効果】
以上詳記したように本発明によれば、直接拡散法で埋め込まれた電子透かし情報のエネルギーが、逆スペクトル拡散過程において高周波側に配分されないようにすることができ、ひいては電子透かし情報を消失しにくくできる電子透かし埋込装置及びその検出装置並びに記憶媒体を提供することができる。
【0235】
また、本発明によれば、直接拡散法で電子透かし情報を埋め込むにあたって、スペクトル拡散,直交変換で周波数空間に変換されたデータ分布における分散が小さくなるようにでき、ひいては小さな埋込強度でも消失しにくい透かし情報埋め込みができる電子透かし埋込装置及びその検出装置並びに記憶媒体を提供することができる。
【0236】
さらに、本発明によれば、直接拡散法により電子透かし情報を埋め込みにあたって、高速な透かし埋め込みを行うことができる電子透かし埋込装置及びその検出装置並びに記憶媒体を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る電子透かし埋込検出装置の一例を示すブロック構成図。
【図2】本発明の第1の特徴を説明するための図。
【図3】本発明の第3の特徴を説明するための図。
【図4】埋込ブロック単位で画素平均を求める場合と平均ブロック単位で画素平均を求める場合を比較する図。
【図5】本発明の実施形態に用いられる各ブロックについて示す図。
【図6】電子透かし情報埋込処理部における処理を示す流れ図。
【図7】電子透かし情報埋込処理部における処理を示す流れ図。
【図8】本発明の実施例における図6の周波数成分値の変更処理ST9を示すブロック図。
【図9】埋込み位置選択部の処理構成例を示す図。
【図10】画素値変分計算部の処理構成例を示す図。
【図11】本発明の実施例における図7の周波数成分値による判定処理ST27を示すブロック図。
【図12】周波数成分値計算部の処理構成例を示す図。
【図13】PN系列乗積処理、周波数成分の変更処理及びPN系列乗積処理を合わせて実現する処理部の構成例を示す図。
【図14】画素値変分計算部の構成例を示す図。
【図15】直接拡散法においてまずスペクトル拡散を行う様子を示す図。
【図16】直接拡散法で透かし情報を埋め込み逆スペクトル拡散する様子を示す図。
【図17】直接拡散法における情報埋め込みの問題点を説明する周波数領域でのデータ分布を示す図。
【図18】電子透かし情報の検出・抽出において生じる状況を示す図。
【符号の説明】
1…電子透かし埋込検出装置
2…電子透かし埋込処理部
3…電子透かし検出処理部
4…PN系列発生器
5…ブロック情報格納部
6…埋込位置情報格納部
81…埋込み位置選択部
83…画素値変分計算部
84…画素値変換部
91…埋込み位置選択部
92…周波数成分値計算部
93…透かし情報復元部

Claims (21)

  1. デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置において、
    前記埋込対象を構成する基本単位のうち、隣接する2基本単位以上であって前記埋込対象から分割された一部分を構成する基本単位からなる拡散ブロックをスペクトル拡散する単位とし、同一拡散ブロック内の基本単位には同一の擬似乱数信号を乗積して前記埋込対象をスペクトラム拡散するスペクトル拡散手段と、
    前記スペクトラム拡散手段によりスペクトル拡散された埋込対象に電子透かしを埋め込む透かし埋込手段と
    を備えたことを特徴とする電子透かし埋込装置。
  2. デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置において、
    前記埋込対象を構成する基本単位のうち、2基本単位以上からなる平均ブロックを基本単位の平均値を算出する単位とし、平均ブロック毎に基本単位の平均値を算出する平均値算出手段と、
    平均ブロックに属する各基本単位の値とその平均ブロックの平均値との差を、各平均ブロックについて算出することで基本単位の値をシフトさせるデータシフト手段と、
    前記データシフト手段により値シフトした埋込対象をスペクトル拡散するスペクトル拡散手段と、
    前記スペクトル拡散手段によりスペクトル拡散された埋込対象に電子透かしを埋め込む透かし埋込手段と
    を備えたことを特徴とする電子透かし埋込装置。
  3. デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置において、
    前記埋込対象を構成する基本単位のうち、2基本単位以上からなる平均ブロックを基本単位の平均値を算出する単位とし、平均ブロック毎に基本単位の平均値を算出する平均値算出手段と、
    平均ブロックに属する各基本単位の値とその平均ブロックの平均値との差を、各平均ブロックについて算出することで基本単位の値をシフトさせるデータシフト手段と、
    前記埋込対象を構成する基本単位のうち、隣接する2基本単位以上からなる拡散ブロックをスペクトル拡散する単位とし、同一拡散ブロック内の基本単位には同一の擬似乱数信号を乗積して、前記データシフト手段により値シフトされた埋込対象をスペクトル拡散するスペクトル拡散手段と、
    前記スペクトル拡散手段によりスペクトル拡散された埋込対象に電子透かしを埋め込む透かし埋込手段と
    を備えたことを特徴とする電子透かし埋込装置。
  4. 前記拡散ブロックは、前記平均ブロックより小さなデータサイズであり、前記平均ブロックに含まれることを特徴とする請求項3記載の電子透かし埋込装置。
  5. デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置において、
    前記埋込対象を自身を構成する基本単位の値の集合としたときに、その二乗平均を前記集合の拡散後の周波数空間における周波数成分値の二乗平均とし、前記周波数成分値の二乗平均に基づいて電子透かしの埋込強度を算出する埋込強度算出手段と、
    前記埋込強度を用いて前記埋込対象に電子透かしを埋め込む透かし埋込手段と
    を備えたことを特徴とする電子透かし埋込装置。
  6. 前記埋込対象を自身を構成する基本単位の値の集合としたときに、その二乗平均を前記集合の拡散後の周波数空間における周波数成分値の二乗平均とし、前記周波数成分値の二乗平均に基づいて電子透かしの埋込強度を算出する埋込強度算出手段を備え、
    前記透かし埋込手段は、前記埋込強度を用いて前記埋込対象に電子透かしを埋め込むことを特徴とする請求項1乃至4のうち、何れか1項記載の電子透かし埋込装置。
  7. 前記デジタルデータは画像データとし、前記基本単位は画像を構成する画素とすることを特徴とする請求項1乃至6のうち何れか1項記載の電子透かし埋込装置。
  8. 請求項1乃至7の電子透かし埋込装置によって、電子透かしが埋め込まれたデジタルデータを配布することを特徴とするデジタル情報配布装置。
  9. デジタルデータからなる電子透かし検出対象から電子透かしを検出する電子透かし検出装置において、
    前記検出対象を構成する基本単位のうち、隣接する2基本単位以上であって前記埋込対象から分割された一部分を構成する基本単位からなる拡散ブロックをスペクトル拡散する単位とし、同一拡散ブロック内の基本単位には同一の擬似乱数信号を乗積して前記検出対象をスペクトル拡散するスペクトル拡散手段と、
    前記スペクトル拡散手段によりスペクトル拡散された検出対象から電子透かしを検出する透かし検出手段と
    を備えたことを特徴とする電子透かし検出装置。
  10. デジタルデータからなる電子透かし検出対象から電子透かしを検出する電子透かし検出装置において、
    前記検出対象を構成する基本単位のうち、2基本単位以上からなる平均ブロックを基本単位の平均値を算出する単位とし、平均ブロック毎に基本単位の平均値を算出する平均値算出手段と、
    平均ブロックに属する各基本単位の値とその平均ブロックの平均値との差を、各平均ブロックについて算出することで基本単位の値をシフトさせるデータシフト手段と、
    前記データシフト手段により値シフトした検出対象をスペクトル拡散するスペクトル拡散手段と、
    前記スペクトル拡散手段によりスペクトル拡散された検出対象から電子透かしを検出する透かし検出手段と
    を備えたことを特徴とする電子透かし検出装置。
  11. デジタルデータからなる電子透かし検出対象から電子透かしを検出する電子透かし検出装置において、
    前記検出対象を構成する基本単位のうち、2基本単位以上からなる平均ブロックを基本単位の平均値を算出する単位とし、平均ブロック毎に基本単位の平均値を算出する平均値算出手段と、
    平均ブロックに属する各基本単位の値とその平均ブロックの平均値との差を、各平均ブロックについて算出することで基本単位の値をシフトさせるデータシフト手段と、
    前記検出対象を構成する基本単位のうち、隣接する2基本単位以上からなる拡散ブロックをスペクトル拡散する単位とし、同一拡散ブロック内の基本単位には同一の擬似乱数信号を乗積して、前記データシフト手段により値シフトされた検出対象をスペクトル拡散するスペクトル拡散手段と、
    前記スペクトル拡散手段によりスペクトル拡散された検出対象から電子透かしを検出する透かし検出手段
    を備えたことを特徴とする電子透かし検出装置。
  12. 前記拡散ブロックは、前記平均ブロックより小さなデータサイズであり、前記平均ブロックに含まれることを特徴とする請求項11記載の電子透かし検出装置。
  13. 前記デジタルデータは画像データとし、前記基本単位は画像を構成する画素とすることを特徴とする請求項9乃至12のうち何れか1項記載の電子透かし検出装置。
  14. 請求項9乃至13の電子透かし検出装置によって、配布し又は配布されたデジタルデータから電子透かしを検出することを特徴とするデジタル情報配布装置。
  15. デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置を制御するプログラムであって、
    前記埋込対象を構成する基本単位のうち、隣接する2基本単位以上であって前記埋込対象から分割された一部分を構成する基本単位からなる拡散ブロックをスペクトル拡散させる単位とし、同一拡散ブロック内の基本単位には同一の擬似乱数信号を乗積させて前記埋込対象をスペクトル拡散させるスペクトル拡散手段と、
    前記スペクトル拡散手段によりスペクトル拡散された埋込対象に電子透かしを埋め込ませる透かし埋込手段と
    を有するプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
  16. デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置を制御するプログラムであって、
    前記埋込対象を構成する基本単位のうち、2基本単位以上からなる平均ブロックを基本単位の平均値を算出させる単位とし、平均ブロック毎に基本単位の平均値を算出させる平均値算出手段と、
    平均ブロックに属する各基本単位の値とその平均ブロックの平均値との差を、各平均ブロックについて算出させることで基本単位の値をシフトさせるデータシフト手段と、
    前記データシフト手段により値シフトした埋込対象をスペクトル拡散させるスペクトル拡散手段と、
    前記スペクトル拡散手段によりスペクトル拡散された埋込対象に電子透かしを埋め込ませる透かし埋込手段と
    を有するプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
  17. デジタルデータを埋込対象として電子透かしを埋め込む電子透かし埋込装置を制御するプログラムであって、
    前記埋込対象を自身を構成する基本単位の値の集合としたときに、その二乗平均を前記集合の拡散後の周波数空間における周波数成分値の二乗平均とさせ、前記周波数成分値の二乗平均に基づいて電子透かしの埋込強度を算出させる埋込強度算出手段と、
    前記埋込強度を用いて前記埋込対象に電子透かしを埋め込ませる透かし埋込手段と
    を有するプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
  18. 前記埋込対象を自身を構成する基本単位の値の集合としたときに、その二乗平均を前記集合の拡散後の周波数空間における周波数成分値の二乗平均とさせ、前記周波数成分値の二乗平均に基づいて電子透かしの埋込強度を算出させる埋込強度算出手段を有し、
    前記透かし埋込手段は、前記埋込強度を用いて前記埋込対象に電子透かしを埋め込ませるプログラムを記憶したコンピュータ読み取り可能な請求項15乃至17のうち何れか1項記載の記憶媒体。
  19. デジタルデータからなる電子透かし検出対象から電子透かしを検出する電子透かし検出装置を制御するプログラムであって、
    前記検出対象を構成する基本単位のうち、隣接する2基本単位以上であって前記埋込対象から分割された一部分を構成する基本単位からなる拡散ブロックをスペクトル拡散させる単位とし、同一拡散ブロック内の基本単位には同一の擬似乱数信号を乗積させて前記検出対象をスペクトル拡散させるスペクトル拡散手段と、
    前記スペクトル拡散手段によりスペクトル拡散された検出対象から電子透かしを検出させる透かし検出手段と
    を有するプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
  20. デジタルデータからなる電子透かし検出対象から電子透かしを検出する電子透かし検出装置を制御するプログラムであって、
    前記検出対象を構成する基本単位のうち、2基本単位以上からなる平均ブロックを基本単位の平均値を算出させる単位とし、平均ブロック毎に基本単位の平均値を算出させる平均値算出手段と、
    平均ブロックに属する各基本単位の値とその平均ブロックの平均値との差を、各平均ブロックについて算出させることで基本単位の値をシフトさせるデータシフト手段と、
    前記データシフト手段により値シフトさせた検出対象をスペクトル拡散させるスペクトル拡散手段と、
    前記スペクトル拡散手段によりスペクトル拡散された検出対象から電子透かしを検出させる透かし検出手段と
    を有するプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
  21. 請求項1乃至7のうち何れか1項記載の電子透かし埋込装置によって電子透かしを埋め込まれてなる構造を有するデータが記録されたコンピュータ読み取り可能な記憶媒体。
JP08026899A 1999-03-24 1999-03-24 電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体 Expired - Fee Related JP3607521B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP08026899A JP3607521B2 (ja) 1999-03-24 1999-03-24 電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体
US09/533,767 US6768807B1 (en) 1999-03-24 2000-03-23 Digital watermark embedding device, digital watermark detection device, digital information distribution device, and, storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08026899A JP3607521B2 (ja) 1999-03-24 1999-03-24 電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2000278504A JP2000278504A (ja) 2000-10-06
JP3607521B2 true JP3607521B2 (ja) 2005-01-05

Family

ID=13713561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08026899A Expired - Fee Related JP3607521B2 (ja) 1999-03-24 1999-03-24 電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体

Country Status (2)

Country Link
US (1) US6768807B1 (ja)
JP (1) JP3607521B2 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6754364B1 (en) * 1999-10-28 2004-06-22 Microsoft Corporation Methods and systems for fingerprinting digital data
US6625297B1 (en) * 2000-02-10 2003-09-23 Digimarc Corporation Self-orienting watermarks
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7508944B1 (en) * 2000-06-02 2009-03-24 Digimarc Corporation Using classification techniques in digital watermarking
EP1297492B1 (en) * 2000-06-23 2007-03-28 Koninklijke Philips Electronics N.V. Watermark embedding method and arrangement
JP3682222B2 (ja) * 2000-12-11 2005-08-10 株式会社東芝 電子透かし検出装置、電子透かし検出方法及び記録媒体
JP3587168B2 (ja) * 2001-01-23 2004-11-10 日本ビクター株式会社 電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法
US7191336B2 (en) * 2001-04-13 2007-03-13 Pitney Bowes Inc. Method for embedding information in an image
US20020176114A1 (en) * 2001-04-13 2002-11-28 Pitney Bowes Incorporated Method for utilizing a fragile watermark for enhanced security
US7013024B2 (en) * 2001-04-13 2006-03-14 Pitney Bowes Inc. Method for reading information that has been embedded in an image
US7024018B2 (en) * 2001-05-11 2006-04-04 Verance Corporation Watermark position modulation
JP4035383B2 (ja) * 2001-10-22 2008-01-23 株式会社リコー 電子透かしの符号生成装置と符号生成方法、および電子透かしの復号装置と復号方法、並びに電子透かしの符号生成復号プログラムと、これを記録した記録媒体
US6563937B1 (en) * 2001-11-28 2003-05-13 Sony Corporation Method and apparatus to detect watermark that are resistant to arbitrary deformations
JP4107851B2 (ja) * 2002-02-13 2008-06-25 三洋電機株式会社 電子透かし埋め込み方法およびその方法を利用可能な符号化装置と復号装置
KR100477805B1 (ko) * 2002-06-18 2005-03-22 한국전자통신연구원 스펙트럼 영역에서의 워터마크 삽입 또는/및 검출 장치와그 방법
KR100791434B1 (ko) * 2002-07-29 2008-01-04 인터내셔널 비지네스 머신즈 코포레이션 Wm 신호 생성 장치, wm 신호 생성 방법, wm 신호 생성 방법을 실행하기 위한 컴퓨터 실행 가능한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 전자 워터마크 매립 장치 및 그 전자 워터마크 매립 장치를 포함하는 디지털 텔레비전 장치
JP3976183B2 (ja) * 2002-08-14 2007-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツ受信装置、ネットワークシステム及びプログラム
US20060156003A1 (en) * 2002-08-21 2006-07-13 Junbiao Zhang Watermarking digital data at a user device
ES2507642T3 (es) 2002-10-15 2014-10-15 Verance Corporation Sistema de supervisión de medios, de gestión y de información
JP3960959B2 (ja) * 2002-11-08 2007-08-15 三洋電機株式会社 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法
US8205086B2 (en) * 2003-04-22 2012-06-19 Oki Data Corporation Watermark information embedding device and method, watermark information detecting device and method, watermarked document
US7706565B2 (en) * 2003-09-30 2010-04-27 Digimarc Corporation Multi-channel digital watermarking
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
TWI228376B (en) * 2003-12-23 2005-02-21 Ind Tech Res Inst Watermark encoding method and recording medium thereof
KR100730611B1 (ko) * 2004-02-02 2007-06-21 니폰 덴신 덴와 가부시끼가이샤 전자 워터마크 삽입 장치, 전자 워터마크 검출 장치 및그들의 방법 및 프로그램
JP4791710B2 (ja) * 2004-06-24 2011-10-12 セイコーエプソン株式会社 印刷装置、プログラム、印刷システムおよび印刷制御方法
JP4155956B2 (ja) * 2004-09-16 2008-09-24 三洋電機株式会社 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法
JP4034776B2 (ja) * 2004-11-12 2008-01-16 株式会社東芝 電子透かし検出装置、電子透かし検出方法及びプログラム
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
US7787152B2 (en) * 2005-09-30 2010-08-31 Pitney Bowes Inc. Copy detection system using correlations of copy detection patterns
US7974438B2 (en) * 2006-12-11 2011-07-05 Koplar Interactive Systems International, Llc Spatial data encoding and decoding
US8055708B2 (en) * 2007-06-01 2011-11-08 Microsoft Corporation Multimedia spaces
EP2165310B1 (en) * 2007-06-14 2013-03-13 Thomson Licensing Method and apparatus for setting a detection threshold given a desired false probability
US20090076904A1 (en) * 2007-09-17 2009-03-19 Frank David Serena Embedding digital values for digital exchange
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
JP5205254B2 (ja) * 2008-12-26 2013-06-05 株式会社ビデオリサーチ 放送実績取得システム、情報埋め込み装置、情報検出装置及び放送実績取得方法
US8588461B2 (en) * 2010-03-22 2013-11-19 Brigham Young University Robust watermarking for digital media
US8838977B2 (en) 2010-09-16 2014-09-16 Verance Corporation Watermark extraction and content screening in a networked environment
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
CN106170988A (zh) 2014-03-13 2016-11-30 凡瑞斯公司 使用嵌入式代码的交互式内容获取

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748763A (en) * 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US5768426A (en) 1993-11-18 1998-06-16 Digimarc Corporation Graphics processing system employing embedded code signals
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
GB9502274D0 (en) * 1995-02-06 1995-03-29 Central Research Lab Ltd Method and apparatus for coding information
US5848155A (en) * 1996-09-04 1998-12-08 Nec Research Institute, Inc. Spread spectrum watermark for embedded signalling
JPH1132200A (ja) 1997-07-09 1999-02-02 Matsushita Electric Ind Co Ltd 透かしデータ挿入方法及び透かしデータ検出方法
JP4130503B2 (ja) 1998-11-30 2008-08-06 株式会社東芝 電子透かし埋込み装置

Also Published As

Publication number Publication date
US6768807B1 (en) 2004-07-27
JP2000278504A (ja) 2000-10-06

Similar Documents

Publication Publication Date Title
JP3607521B2 (ja) 電子透かし埋込装置、電子透かし検出装置、デジタル情報配布装置及び記憶媒体
EP1006710B1 (en) Digital watermark embedding and detection devices
Tewari et al. An improved and robust DCT based digital image watermarking scheme
EP1776655B1 (en) System and method for reversible data hiding based on integer wavelet spread spectrum
Ho et al. Robust digital image-in-image watermarking algorithm using the fast Hadamard transform
JP3537450B2 (ja) 電子透かし方法及び透かし情報抽出方法
Ernawan et al. Image watermarking based on integer wavelet transform-singular value decomposition with variance pixels
EP1295474A2 (en) Watermark detection
Wei et al. Image watermarking based on genetic algorithm
Mohammed et al. Robust image watermarking scheme based on wavelet technique
Maheswari et al. Image Steganography using Hybrid Edge Detector and Ridgelet Transform.
Pullayikodi et al. Computationally efficient robust color image watermarking using fast walsh hadamard transform
Dixit et al. LWT-DCT based image watermarking scheme using normalized SVD
Lu et al. Novel robust image watermarking using difference correlation detector
Venkatesan et al. Image watermarking with better resilience
Sekhar et al. Laplacian: Reversible data hiding technique
Ho et al. Slant transform watermarking for digital images
Majhi et al. An improved scheme for digital watermarking using functional link artificial neural network
Taherinia et al. A robust spread spectrum watermarking method using two levels DCT
Liang et al. Ridgelet-based robust and perceptual watermarking for images
Ujwala et al. An efficient DCT based fingerprinting scheme for thwarting collusion attacks
Venkatesan et al. Randomized detection for spread-spectrum watermarking: defending against sensitivity and other attacks [image watermarking applications]
KR100505359B1 (ko) 이산코사인변환의 선형성을 이용한 워터마크 삽입 및 검출방법
Kuribayashi Countermeasure to non-linear collusion attacks on spread spectrum fingerprinting
Pujara et al. Secure watermarking in fractional wavelet domains

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041007

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081015

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081015

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091015

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121015

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees