JP4006141B2 - デジタルデータの透かしの挿入及び復号する方法及び装置 - Google Patents
デジタルデータの透かしの挿入及び復号する方法及び装置 Download PDFInfo
- Publication number
- JP4006141B2 JP4006141B2 JP22412099A JP22412099A JP4006141B2 JP 4006141 B2 JP4006141 B2 JP 4006141B2 JP 22412099 A JP22412099 A JP 22412099A JP 22412099 A JP22412099 A JP 22412099A JP 4006141 B2 JP4006141 B2 JP 4006141B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- digital data
- watermark
- subset
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000037431 insertion Effects 0.000 title claims description 84
- 238000003780 insertion Methods 0.000 title claims description 82
- 238000000034 method Methods 0.000 title claims description 58
- 238000000354 decomposition reaction Methods 0.000 claims description 107
- 230000003595 spectral effect Effects 0.000 claims description 96
- 238000012966 insertion method Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 6
- 230000036961 partial effect Effects 0.000 description 52
- 230000006870 function Effects 0.000 description 30
- 238000001228 spectrum Methods 0.000 description 29
- 238000000605 extraction Methods 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 15
- 230000009466 transformation Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000001131 transforming effect Effects 0.000 description 9
- 239000004230 Fast Yellow AB Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 239000004172 quinoline yellow Substances 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 239000004235 Orange GGN Substances 0.000 description 3
- 239000004218 Orcein Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000002151 riboflavin Substances 0.000 description 3
- 239000004173 sunset yellow FCF Substances 0.000 description 3
- 239000004149 tartrazine Substances 0.000 description 3
- 239000004229 Alkannin Substances 0.000 description 2
- 239000004231 Riboflavin-5-Sodium Phosphate Substances 0.000 description 2
- 239000004234 Yellow 2G Substances 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000001648 tannin Substances 0.000 description 2
- 239000004215 Carbon black (E152) Substances 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000001679 citrus red 2 Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
- G06T1/0057—Compression invariant watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32154—Transform domain methods
- H04N1/3217—Transform domain methods using wavelet transforms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32154—Transform domain methods
- H04N1/32187—Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0052—Embedding of the watermark in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3233—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
- H04N2201/327—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、秘密透かしなどの補助情報項目をデジタルデータに挿入する方法及び装置に関する。
【0002】
また、本発明は、本発明による挿入方法により挿入されたそのような補助情報項目を復号する方法及び装置に関する。
【0003】
一般的にいえば、本発明は、デジタルデータに透かしを追加する技術の分野に含まれる。
【0004】
【従来の技術】
コンピュータによりデジタル化マルチメディアを交換する機会が急増した結果、不正なコピーの作成や配布、一般的な言葉で言えば、データの不法操作が助長さている。
【0005】
デジタルデータの透かし付けは、デジタル化データに透かしを直接挿入することから成る。この透かしの挿入は、デジタルデータにおける補助データ項目の符号化のようなものである。
【0006】
従来の透かし付けは、デジタルデータが画像である場合、目に見えるロゴを挿入することにより行われていた。それでも、この画像を不法に操作しようとするユーザにとって、この透かしを除去することは容易である。
【0007】
そこで、いわゆる目に見えない透かしが頻繁に利用されているが、この種の透かしは品質に関して次のような性質を有していなければならない。
【0008】
このような透かしは気づかれないものでなければならない。すなわち、このような透かしを挿入しても、デジタルデータの知覚的品質、例えば、画像の視覚的品質又は音声データの聴覚的品質は維持されなければならない。また、透かしが気づかれなければ、その侵害をより困難にもできる。
【0009】
更に、この透かしは消えないものでなければならない。すなわち、透かしを意図的に破壊しようとする攻撃に対抗するために、透かし挿入デジタルデータの中で透かしを統計的に検出できてはならない。
【0010】
また、この透かしは、圧縮及び伸張、デジタル/アナログ変換、フィルタリングなどの、従来、デジタルデータに適用されていた処理に対して、強固でなければならない。
【0011】
最後に、この透かしは高い信頼性を有していなければならない。すなわち、与えられたデジタルデータの所定の透かしが存在しているか否かについて確実に決定できるものでなければならない。
【0012】
【発明が解決しようとする課題】
既存の挿入方法、特に、デジタルデータが画像を表現している場合には、デジタルデータに含まれる高周波数又は中間周波数を変形することにより使用されている。高周波数のみを変形すると、挿入透かしの不可視度を確保することはできるが、そのような透かしはひずみに対してごくわずかな強固さしか示さず、特に、中間周波数又は高周波数のスペクトル成分を広く量子化する従来の圧縮には絶えられない。
【0013】
NEC Corporationの名で欧州特許出願第0766468号に記載されている透かしを挿入する方法が知られており、この方法においては、知覚的に重大な成分に補助情報を挿入する前に、デジタルデータの周波数変換を実行する。逆周波数変換により、透かし挿入デジタルデータが得られる。全てのデジタルデータ、例えば、画像に、離散的コサイン変換、又は離散的ウェーブレット変換による部分帯域への分解を適用することができる。その後、補助情報を挿入するために、変換のN個の最大周波数成分を変調する。しかし、知覚的に重大な成分の選択を実現するのは困難である。
本発明の目的は、主に、既存の挿入方法を改善し且つ特に不可視度及び強固さに関して、挿入される透かしの品質を向上させることである。
【0014】
【課題を解決するための手段】
本発明の第1の態様によれば、 秘密透かしなどの補助情報項目(S)をデジタルデータ(I)に挿入する方法は、
デジタルデータを多重分解能スペクトル分解する工程(E1)と、
最低周波数の成分を抽出する工程(E2)と、
最低周波数の成分の部分集合を選択する工程(E3)と、
補助情報項目(S)を挿入するために、前記部分集合の成分を変調する工程(E4)と、
透かし挿入デジタルデータ(I’)を逆多重分解能スペクトル再組成する工程(E5)とを含む。
【0015】
これに関連する、秘密透かしなどの補助情報項目(S)をデジタルデータ(I)に挿入する装置は、
デジタルデータ(I)を多重分解能スペクトル分解するスペクトル分解手段(11)と、
最低周波数の成分を抽出する抽出手段(12)と、
最低周波数の成分の部分集合を選択する選択手段(13)と、
補助情報項目(S)を挿入するために、前記部分集合の成分を変調する変調手段(14)と、
透かし挿入デジタルデータ(I’)を逆多重分解能スペクトル再組成する手段(15)とを含む。
【0016】
本発明の第1の態様よれば、多重分解能スペクトル分解及び最低周波数の成分の抽出により、事前の選択が成される。その結果、スペクトルドメイン全体ではなく、スペクトルの1つの領域で、自動的に変調可能性分の場所を確定することができる。これは、例えば、デジタル化画像における著作権を検証する場合などに、挿入されている透かしを検証するのに非常に適している。
【0017】
更に、いくつかの成分が補助情報を導入するために変調されているような、最低周波数のスペクトル部分帯域を事前に選択しておくと、様々なデジタルデータ圧縮アルゴリズムに対して、特に、デジタル画像に従来より使用されてきた圧縮及び伸張の処理に対して強固である周波数成分を系統的に選択すことが可能になる。
【0018】
出願人は、低周波数成分を利用した場合、再構成画像に目に見える重大なひずみを生じさせずにごく小さな変調しか可能にしないことが現時点では容認されているが、多重分解能スペクトル分解の間に十分に低い分解能レベルが達成されるならば、それらの成分に大きなパワー信号を挿入することにより、気づかれないような方式で補助情報項目を追加することが可能であることを示した。
【0019】
本発明の好ましい態様によれば、多重分解能スペクトル分解レベル(d)は、最低周波数の成分の数(n)が8x8から32x32の間であるようにあらかじめ定められる。
【0020】
出願人は、この大きさの部分帯域が、補助情報項目の不可視度を保証しつつこの補助情報項目を挿入するのに特に適していること実験により示した。
【0021】
更に、厳密にいえば、補助情報を表現する信号を挿入し且つこの信号を検出する方法は、初期デジタルデータの大きさに対して、変調できるスペースが大幅に縮少されるという点で、特に有効である。
【0022】
デジタル画像への透かしの挿入に特に適する本発明の有利な態様によれば、スペクトル分解する工程(E1)で、離散的ウェーブレット変換によりスペクトル分解を実行し、抽出する工程(E2)では、近似部分帯域(LL)の成分を選択する。
【0023】
本発明の、上記の態様に代わる別の有利な態様によれば、スペクトル分解する工程(E1)で、デジタルデータ(I)を、デジタルデータ又は先行する近似バージョンの低域フィルタリング及びサブサンプリングに相当する近似バージョンと、デジタルデータから又は先行する近似バージョンからの近似バージョンの減算に相当する詳細バージョンとに繰り返し分解し、抽出する工程(E2)では、近似バージョンの成分を選択する。
【0024】
このピラミッド方式による分解は、画像を連続する近似部分帯域に分解する場合にも特に適しており、補助情報を表現する信号を挿入した後も、画像を完璧に再構成することができる。
【0025】
本発明の好ましい態様によれば、変調する工程(E4)で、挿入すべき補助情報を表現するデジタル信号(S)により初期設定される擬似ランダム関数により生成される変調値(Wk)を加算することにより、前記部分集合の成分を変調する。
【0026】
擬似ランダム関数により生成される変調値によって補助情報を追加すれば、この情報をマスキングできると共に、この情報の侵害をより困難にするために、情報の不可視度を更に強化することができる。
【0027】
本発明の有利な態様によれば、選択する工程(E3)で、挿入すべき補助情報(S)と関連する機密鍵を表現するデジタル信号(K)により初期設定される擬似ランダム関数に従って、成分の部分集合を選択する。
【0028】
この機密鍵は、擬似ランダム方式で変調可能な成分を選択することを可能にし、それにより意図的な攻撃に対する挿入情報の強固さをより向上させ、周波数スペクトルにおける挿入情報の位置を更に識別しにくくする。秘密鍵を使用すると、デジタルデータに挿入された信号の保護を強化することができる。
【0029】
本発明は、第1の態様による挿入方法に従って初期デジタルデータ(I)に挿入された、秘密透かしなどの補助情報項目(S)を透かし挿入デジタルデータ(I*)の中で復号する方法であって
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)を多重分解能スペクトル分解する工程(E6)と、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)における最低周波数の成分を抽出する工程(E7)と、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)から前記挿入方法の選択する工程(E3)で選択された成分の部分集合を選択する工程(E8)と、
初期デジタルデータ(I)の前記部分集合の成分から透かし挿入デジタルデータ(I*)の前記部分集合の成分をそれぞれ減算することにより、変調値(W*)の推定シーケンスを推定する工程(E9)と、
前記挿入方法の変調する工程(E4)で挿入された変調値の前提シーケンス(W)を生成する工程(E10)と、
推定シーケンス(W*)と前提シーケンス(W)と相関値を計算する工程(E11)と、
推定シーケンス(W*)と前提シーケンス(W)とが類似しているか否かを前記相関値の関数として決定する工程(E12)とを含む復号方法にも関する。
【0030】
従って、この復号方法により、デジタルデータに補助情報を挿入するために変調されていた最低周波数の成分を容易に見出すことができるようになると共に、挿入情報を前提変調と比較するために挿入情報を推定することが可能になる。そのような復号方法は、送信中又は格納中に雑音を含んでいる可能性のあるデジタルデータにおける著作権の認知に特に適している。
【0031】
これに関連して、本発明の第1の態様による挿入方法に従って初期デジタルデータ(I)に挿入された、秘密透かしなどの補助情報項目(S)を透かし挿入デジタルデータ(I*)の中で復号する装置は、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)を多重分解能スペクトル分解するスペクトル分解手段(61)と、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)における最低周波数の成分を抽出する抽出手段(62)と、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)から前記挿入方法の選択する工程(E3)で選択された成分の部分集合を選択する選択手段(63)と、
初期デジタルデータ(I)の前記部分集合の成分から透かし挿入デジタルデータ(I*)の前記部分集合の成分をそれぞれ減算することにより、変調値の推定シーケンス(W*)を推定する推定手段(64)と、
前記挿入方法の変調する工程(E4)で挿入された変調値の前提シーケンス(W)を生成する生成手段(65)と、
推定シーケンス(W*)と前提シーケンス(W)との相関値を計算する計算手段(67)と、
推定シーケンス(W*)と前提シーケンス(W)とが類似しているか否かを前記相関値の関数として決定する決定手段(68)とを具備する。
【0032】
この復号装置は本発明の第1の態様による復号方法の利点に類似する利点を有し、例えば、デジタル画像などのデジタルデータの著作権の認知に特に適している。
【0033】
本発明の挿入方法の実用的で、好都合な実施形態を提供する本発明の第1の態様の好ましい態様によれば、挿入装置のスペクトル分解手段(11)、抽出手段(12)、選択手段(13)、変調手段(14)及びスペクトル再組成手段(15)は、
マイクロプロセッサ(10)と、
補助情報項目(S)を挿入するためのプログラムを格納する読み取り専用メモリ(102)と、
プログラムの実行中に修正される変数を記録するための複数のレジスタを含むランダムアクセスメモリ(103)とに組み込まれている。
【0034】
同様に、本発明の第1の態様による復号方法の実用的で、好都合な実施形態を提供する好ましい態様によれば、復号装置のスペクトル分解手段(61)、抽出手段(62)、選択手段(63)、推定手段(64)、生成手段(65)、計算手段(67)及び決定手段(68)は、
マイクロプロセッサ(10)と、
補助情報項目(S)を復号するためのプログラムを格納する読み取り専用メモリ(102)と、
プログラムの実行中に修正される変数を記録するための複数のレジスタ(103)を含むランダムアクセスメモリとに組み込まれている。
【0035】
本発明の第2の態様によれば、秘密透かしなどの補助情報項目(S)をデジタルデータ(I)に挿入する方法は、
デジタルデータ(I)を多重分解能スペクトル分解する工程(E101)と、
1つの周波数部分帯域(LL)の成分を抽出する工程(E102)と、
前記周波数部分帯域(LL)の成分をスペクトル変換する工程(E103)と、
前記スペクトル変換の係数(Xk)の部分集合を選択する工程(E104)と、
補助情報(S)を挿入するために、前記部分集合の係数(Xk)を変調する工程(E105)と、
変調された係数の部分集合を含む係数(X'k)を逆スペクトル変換する工程(E106)と、
透かし挿入デジタルデータ(I’)を逆多重分解能スペクトル再組成する工程(E107)とから成る。
【0036】
これに関連する、秘密透かしなどの補助情報項目(S)をデジタルデータ(I)に挿入する装置は、
デジタルデータ(I)を多重分解能スペクトル分解するスペクトル分解手段(31)と、
1つの周波数部分帯域(LL)の成分を抽出する抽出手段(32)と、
前記周波数部分帯域(LL)の成分をスペクトル変換するスペクトル変換手段(33)と、
前記スペクトル変換の係数(Xk)の部分集合を選択する選択手段(34)と、
補助情報(S)を挿入するために、前記部分集合の係数(Xk)を変調する変調手段(35)と、
変調された係数(X'k)の部分集合を含む係数を逆スペクトル変換する逆スペクトル変換手段(36)と、
透かし挿入デジタルデータ(I’)を逆多重分解能スペクトル再組成するスペクトル再組成手段(37)とを具備する。
【0037】
このようなデジタルデータの二重変換によって、変調すべき係数のシークは限られた範囲の周波数について実行される。これは、多重分解能スペクトル分解を経て事前の選択が行われるために、スペクトル範囲全体ではなく、スペクトルの1つの領域で自動的に変調可能な成分の場所を確定できるからである。これは、例えば、デジタル化画像の著作権を検証する場合のように、挿入透かしを検証するのに特に適している。
【0038】
更に、1つの変調可能周波数帯域を事前に選択しておくと、様々なデジタルデータ圧縮アルゴリズムに対して強固である周波数成分を系統的に選択することができるようになる。
【0039】
最後に、選択された部分帯域の成分にスペクトル変換を適用しても、後にデジタルデータの空間ドメイン全体に挿入される補助情報は確実に分散される。加えて、このスペクトル変換は、より小さな、初期デジタルデータの1つの部分帯域について実行される。従って、このスペクトル変換は、全ての初期デジタルデータについてスペクトル変換を実行する周知の方法と比べて、はるかに迅速である。
【0040】
本発明の好ましい態様によれば、抽出する工程で、最低周波数の部分帯域の成分を選択する。
【0041】
この選択は、後に従来の圧縮方法及び伸張方法に対して強固であるスペクトル範囲の補助情報を挿入するためにデジタル化された画像の場合に特に賢明である。
【0042】
デジタル画像への透かしの挿入に特に適している有利な態様によれば、スペクトル分解する工程(31)で、離散的ウェーブレット変換によりスペクトル分解を実行し、抽出する工程(32)では、近似部分帯域の成分を選択する。
【0043】
出願人は、最低周波数に対応する近似部分帯域が再構成画像に目に見える重大なひずみを生じさせずにごくわずかな修正しか与えないことは現時点では容認されているが、多重分解能スペクトル分解の間に十分に低い分解能レベルに到達すれば、近似部分帯域の成分に気づかれないように補助情報項目を追加することは可能であることを示した。
【0044】
ウェーブレット変換分解レベルは、近似部分帯域(LL)の成分の数(n)が8x8から32x32の間にあるようにあらかじめ定められるのが好ましい。
【0045】
出願人は、この大きさの部分帯域が補助情報項目の不可視度を保証しつつ、その補助情報項目を挿入するのに特に適していることを実験により示した。
【0046】
本発明の好ましい態様によれば、スペクトル変換(33)は離散的コサイン変換である。
【0047】
このようなスペクトル変換の使用は、画像に透かしを挿入するのに特に適しており、挿入透かしが空間ドメイン全体に適切に分布することを保証する。
本発明の好ましい態様によれば、変調する工程で、挿入すべき補助情報を表現するデジタル信号により初期設定される擬似ランダム関数により生成される変調値を加算することにより、部分集合の成分を変調する。
【0048】
擬似ランダム関数により生成される変調値による補助情報を追加することによって、この情報をマスキングできると共に、この情報の侵害をより困難にするために、情報の不可視度を更に強化することができる。
【0049】
本発明の有利な態様によれば、選択する工程で、挿入すべき補助情報と関連する機密鍵を表現するデジタル信号により初期設定される擬似ランダム関数に従って、係数の部分集合を選択する。
【0050】
この機密鍵により、擬似ランダム方式で変調可能係数を選択することができ、従って、周波数スペクトルにおける挿入情報の場所を見出すことをより困難にすることによって、挿入情報を意図的な攻撃に対し、より強固なものにすることができる。
【0051】
本発明の挿入方法の実用的で、好都合な実施形態を提供する本発明のこの第2の態様の好ましい態様によれば、挿入装置のスペクトル分解手段(31)、抽出手段(32)、スペクトル変換手段(32)、選択手段(34)、変調手段(35)、逆スペクトル変換手段(36)及びスペクトル再組成手段(37)は、
マイクロプロセッサ(10)と、
補助情報項目(S)を挿入するためのプログラムを格納する読み取り専用メモリ(102)と、
プログラムの実行中に修正される変数を記録するための複数のレジスタを含むランダムアクセスメモリ(103)とに組み込まれている。
【0052】
この挿入方法と関連して、第2の態様によれば、本発明は、前記挿入方法による挿入方法に従って初期デジタルデータ(I)に挿入された、秘密透かしなどの補助情報項目(S)を透かし挿入デジタルデータ(I*)の中で復号する方法であって、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)を多重分解能スペクトル分解する工程(E110)と、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)それぞれにおける周波数の部分帯域(LL)の成分を抽出する工程(E111)と、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)の周波数部分帯域(LL)の成分をスペクトル変換する工程(E112)と、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)から前記挿入方法の選択する工程(E104)で選択された係数の部分集合を選択する工程(E113)と、
初期デジタルデータ(I)の前記部分集合の係数から透かし挿入デジタルデータ(I*)の前記部分集合の係数をそれぞれ減算することにより、変調値の推定シーケンス(W*)を推定する工程(E114)と、
前記挿入方法の変調する工程(E105)で挿入された変調値の前提シーケンス(W)を生成する工程(E115)と、
推定シーケンス(W*)と前提シーケンス(W)との相関値を計算する工程(E116)と、
推定シーケンス(W*)と前提シーケンス(W)とが類似しているか否かを前記相関値の関数として決定する工程(E117)とを含む復号方法にも関する。
【0053】
これに関連して、本発明の第2の態様による挿入方法に従って初期デジタルデータ(I)に挿入された、秘密透かしなどの補助情報項目(S)を透かし挿入デジタルデータ(I*)の中で復号する装置は、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)を多重分解能スペクトル分解するスペクトル分解手段(21)と、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)それぞれにおける周波数の部分帯域(LL)の成分を抽出する抽出手段(22)と、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)の周波数部分帯域(LL)の成分をスペクトル変換するスペクトル変換手段(23)と、
透かし挿入デジタルデータ(I*)及び初期デジタルデータ(I)から前記挿入方法の選択する工程(E104)で選択された係数の部分集合を選択する選択手段(24)と、
初期デジタルデータ(I)の前記部分集合の係数から透かし挿入デジタルデータ(I*)の前記部分集合の係数をそれぞれ減算することにより、変調値の推定シーケンス(W*)を推定する推定手段(25)と、
前記挿入方法の変調する工程(E105)で挿入された変調値の前提シーケンス(W)を生成する生成手段(26)と、
推定シーケンス(W*)と前提シーケンス(W)との相関値を計算する計算手段(28)と、
推定シーケンス(W*)と前提シーケンス(W)とが類似しているか否かを前記相関値の関数として決定する決定手段(29)とを具備する。
【0054】
このようなデジタルデータの二重変換によって、変調された係数は限られた範囲の周波数について探索される。これは、多重分解能スペクトル分解を経て事前の選択が行われるために、スペクトルの1つの領域で自動的に変調可能な成分の場所を確定できるからである。
【0055】
この復号方法及び装置は、例えば、デジタル化画像の著作権を検証する場合のように、挿入透かしを検証するのに特に適している。
【0056】
本発明の復号方法の実用的で、好都合な実施形態を提供する本発明のこの第2の態様の好ましい態様によれば、復号装置のスペクトル分解手段(21)、抽出手段(25)、スペクトル変換手段(23)、選択手段(24)、推定手段(25)、生成手段(26)、計算手段(28)及び決定手段(29)は、
マイクロプロセッサ(10)と、
補助情報項目を復号するためのプログラムを格納する読み取り専用メモリ(102)と、
プログラムの実行中に修正される変数を記録するための複数のレジスタを含むランダムアクセスメモリ(103)とに組み込まれている。
【0057】
挿入装置又は復号装置に一体化されているか、又は一体化されておらず、オプションとして着脱自在であり、コンピュータ又はマイクロプロセッサにより読み取り可能である情報格納手段は、本発明の第1及び/又は第2の態様に従って補助情報項目を挿入又は復号する方法を実現するプログラムを格納する。
【0058】
本発明は、本発明の第1及び/第2の態様による挿入又は復号方法を実現するための手段を有するか、又は本発明の第2及び/又は第2の態様による挿入又は復号装置を有するデジタル信号処理装置にも関する。
【0059】
この処理装置の利点は、本発明の第1及び/又は第2の態様による挿入方法及び装置並びに復号方法及び装置に関連して先に開示した利点と同一である。
【0060】
挿入方法及び復号方法は、特に、デジタル写真装置、デジタルカメラ、データベース管理システム、コンピュータ、スキャナ、又は医療用画像撮影装置、とりわけ,X線撮影装置において実現できる。
【0061】
これに関連して、デジタル写真装置、デジタルカメラ、データベース管理システム、コンピュータ、スキャナ、又は医療用画像撮影装置、とりわけ、X線撮影装置は、本発明による挿入装置及び/又は復号装置を有する。
【0062】
上記のデジタル写真装置、デジタルカメラ、データベース管理システム、コンピュータ、スキャナ、又はX線撮影装置などの医療用画像撮影装置は、本発明による挿入方法及び装置並びに復号方法及び装置の利点に類似する利点を有する。
【0063】
本発明のその他の特異性及び利点は、以下の説明から明白になるであろう。
【0064】
【発明の実施の形態】
まず、デジタルデータに補助情報項目を挿入する装置について説明する。
【0065】
以下の、限定的な意味をもたない例においては、デジタルデータは画像Iを表現する一連のデジタルサンプルから構成されている。画像Iは、例えば、一連のバイトにより表現されており、各バイト値は256のグレイレベルを有する白黒画像などの画像Iの1つの画素を表現する。
【0066】
補助情報は、画像I中に認知不可能な、強固な方式で挿入することが望まれる秘密透かしである。この秘密透かしは、例えば、画像Iの原作者又は所有者を識別できるようにするものであっても良い。この例においては、補助情報はあるビット数、例えば、32ビットの識別番号Sから構成され、識別番号Sは同様にあるビット数で定義される機密鍵(confidential key)Kと関連している。この識別番号Sと機密鍵Kにより、以下に説明するように、画像Iに有効に挿入される変調信号を発生させることができる。機密鍵Kは任意の方式で識別番号Sと関連させることができる。
【0067】
一般的にいえば、図1に示すように、挿入装置は全体としてエンコーダ1に類似しており、画像IにおいてS及びKから定義される透かしを符号化する。透かしが挿入された画像I'はエンコーダ1の出力端子に供給される。
【0068】
この画像I'を送信又は格納するために、画像I'は圧縮及び伸張などの、非線形雑音の追加に類似するいくつかの処理を受ける。また、画像を表示するときには、画像をデジタル/アナログ変換し、あるいは、フィルタリングを実行する場合もある。
【0069】
処理後に、透かし挿入画像I'の雑音を含むバージョンに相当する画像I*を、エンコーダ1と関連するデコーダ2へ送信することができる。このデコーダ2は、従来通り、初期画像I及び挿入されている補助情報S、Kから、雑音を含む画像I*の中の挿入変調信号W*を推定する。雑音を含む画像I*の中のこの変調信号W*は、画像Iに挿入された変調信号Wと共に、検出器3に供給され、そこで、これら2つの信号W及びW*の類似度を評価し、それにより、例えば、挿入されている著作権情報を検査する。この相関測定については、後に、復号装置及び方法に関連して詳細に説明する。
【0070】
本発明の第1の態様によれば、図2に示すように、挿入装置1は、
この例では画像Iを表現するデジタルデータを多重分解能スペクトル分解する手段11と、
最低周波数の成分を抽出する抽出手段12と、
最低周波数の成分の部分集合を選択する選択手段13と、
補助情報を挿入するために、この部分集合の成分を変調する手段14と、
透かし挿入画像I'を再構成するために、デジタル信号を逆多重分解能スペクトル再組成(reverse multi-resolution spectral recomposition)する手段15とを有する。
【0071】
本発明の第2の態様によれば、図3に示すように、挿入装置1は
この例では画像Iを表現するデジタルデータを多重分解能スペクトル分解する手段31と、
1つの周波数部分帯域の成分を抽出する抽出手段32と、
この周波数部分帯域の成分をスペクトル変換する手段33と、
スペクトル変換の係数の部分集合を選択する選択手段34と、
補助情報を挿入するために、この部分集合の係数を変調する手段35と、
変調された係数の部分集合を含む係数を逆スペクトル変換する手段36と、
透かし挿入画像I'を再構成するために、デジタルデータを逆多重分解能スペクトル再組成する手段37とを有する。
【0072】
多重分解能スペクトル分解手段11,31は、離散的ウェーブレット変換を実行するものであり、複数の部分帯域への分解を実行する回路、又は、それぞれがx2デシメータと関連する一組の解析フィルタにより形成される解析回路から構成されるのが好ましい。この分解回路は、画像Iの信号を2方向にフィルタリングして、高い空間周波数と、低い空間周波数の複数の部分帯域を得る。この回路は、いくつかの分解能レベルに従って画像Iを部分帯域に分解するいくつかの連続する解析ユニットを有する。
【0073】
従来より、信号の分解能は、その信号を表現するために使用される単位長さ当たりのサンプル数である。画像信号Iの場合、部分帯域の分解能は、この部分帯域を水平方向及び垂直方向に表現するために使用される単位長さ当たりのサンプル数と関連している。分解能は、実行されるデシメーションの回数、デシメーション係数及び初期画像の分解能によって決まる。
【0074】
この部分帯域への分解は良く知られている。次に、画像Iを3に等しい分解レベルdで部分帯域に分解する場合に使用される様々な解析工程を図5を参照して簡単に説明する。
【0075】
第1の解析ユニットは画像信号Iを受信し、それぞれ、低域フィルタと高域フィルタである2つのデジタルフィルタを介して、この信号を第1の方向、例えば、水平方向にフィルタリングする。2対1デシメータを通過した後、得られたフィルタリング済み信号は、それぞれ、低域フィルタと高域フィルタである2つのフィルタにより、第2の方向、例えば、垂直方向に再びフィルタリングされる。各信号は2対1デシメータを再度通過する。そこで、この第1の解析ユニットの出力端子では、分解の最高の分解能で4つの部分帯域LL1、LH1、HL1及びHH1が得られる。
【0076】
部分帯域LL1は、画像信号Iの両方向の低周波数の成分を含む。部分帯域LH1は画像信号Iの第1の方向の低周波数の成分と、第2の方向の高周波数の成分とを含む。部分帯域HL1は、第1の方向の高周波数の成分と、第2の方向の低周波数の成分とを含む。最後に、部分帯域HH1は両方向の高周波数の成分を含む。
【0077】
第2の解析ユニットは、部分帯域LL1をフィルタリングして、先行するユニットと同様に、分解の中間分解能レベルの4つの部分帯域LL2、LH2、HL2及びHH2を供給する。最後に、この例では、部分帯域LL2を更に第3の解析ユニットにより解析して、この分解の最低の分解能の4つの部分帯域LL3、LH3、HL3及びHH3を得る。
【0078】
このようにして、10の部分帯域と3つの分解能レベルが得られる。最低周波数の部分帯域LL3を近似部分帯域と呼び、その他の部分帯域を詳細部分帯域と呼ぶ。
【0079】
言うまでもなく、分解能レベルの数、従って、部分帯域の数は上記の数とは異なっていても良く、例えば、分解能レベルを4つとし、部分帯域の数を13とすることもできる。
【0080】
次に、抽出手段12,32は、画像Iの分解における最低周波数を有する部分帯域、すなわち、この例においては近似部分帯域LL3の成分を選択する。
【0081】
従って、透かしSの挿入は、概して、画像の圧縮処理及び伸張処理ではほとんど量子化されない低周波数部分帯域で実行されるので、画像が受ける歪みに対する挿入透かしの強固さは強化される。
【0082】
出願人は、十分に低い分解能レベルに到達すれば、近似部分帯域に認知不可能なように情報を追加することが可能であると気づいた。
【0083】
そこで、画像Iの大きさに従って分解レベルの数dを調整することが必要である。これは、N×Nサイズの画像Iの場合、この例における非常に低い周波数の部分帯域の大きさがN/2d×N/2dになるためである。
【0084】
近似部分帯域LLdの成分の数nが8×8から32×32の間にあるように、ウェーブレットへの変換による分解のレベルの数dはあらかじめ定められるのが好ましい。
【0085】
試験によれば、n=16×16であるのが好ましいことがわかっている。これは、画像IがN×N=512×512の大きさを有するときの5つの分解レベルに相当する。
【0086】
そこで、近似部分帯域LL5の0≦i≦N/2d-1及び0≦j≦N/2d−1である成分Iijを抽出する。
【0087】
変形例として、図6に示す本発明の別の実施形態によれば、デジタルデータIをデジタルデータI又は先行する近似バージョンの低域フィルタリング及びサブサンプリングに相当する近似バージョンと、デジタルデータから又は先行する近似バージョンからの近似バージョンの減算に相当する詳細バージョンとに繰り返し分解する。このような連続ピラミッド型近似の方式は、Burt及びAdelsonの「The Laplacian pyramid as a compact image code」(IEEE、Trans.on Communications、31(4):532−540ページ、1983年)により提案されている。この方式は、水平と垂直の各方向に2に等しい係数による低域フィルタリング及びサブサンプリングを実行することにより、考慮すべき画像Iの低分解能バージョンを抽出することからなる。このようにレベル1近似を得る。初期画像Iと同じ大きさのレベル0詳細画像は、初期画像Iからレベル1近似を減算することにより生成される。この減算を実行するために、まず、低分解能バージョンの補間により、初期画像と同一の大きさの画像を予測し、次に、この予測画像を初期画像から減算して、詳細画像を求める。画像の十分に簡略化された近似を獲得し、補助情報を近似バージョンに見えないように挿入できるようにするために、低分解能画像に対して、この方式を必要な回数だけ繰り返し実行することができる。この場合には、レベル1近似バージョンに対して分解を繰り返すと、近似バージョンはレベル2近似バージョンと、レベル1詳細バージョンとに分解されることになる。次に、抽出する工程においては、最低の分解能を有するバージョン、ここでは、同様にi及びjがそれぞれ第1及び第2の方向でレベル2近似バージョンの長さに沿ってそれぞれ変化するような成分Iijの集合により形成されるレベル2近似バージョンを選択する。
【0088】
本発明の第1の態様では、成分Iijの部分集合を選択する手段13は、挿入すべき補助情報Sと関連する機密鍵を表現するデジタル信号Kにより初期設定される擬似ランダム関数で数発生器16と協働する。
【0089】
擬似ランダム関数に従って数を取り出すと、擬似ランダム方式で変調すべき成分を選択することにより、挿入される透かしの強固さを強化することができる。使用される機密鍵と擬似ランダム関数の知識があるだけで、変調されていた非常に低い周波数の成分を見つけ出すことができる。
【0090】
同様に、変調手段14は、挿入すべき追加情報を表現するデジタル信号Sにより初期設定される擬似ランダム関数により生成される変調値の発生器16と協働し、それらの変調値を先に選択された部分集合の成分に追加する手段15を有する。
【0091】
スペクトル再組成手段15は、2の乗算器と関連する一連の合成フィルタを具備する従来通りの再組成回路を有し、そこで、いくつかの、この例では3に等しい数の再組成レベルの後、透かし挿入画像I'はコーダ1の出力端子に供給される。
【0092】
本発明の第2の態様においては、スペクトル変換手段33は離散的コサイン変換、すなわち、DCTを実行する。
【0093】
従来より画像処理で使用されているこのDCT変換は、画像Iの1つの小さな部分帯域に限定されているために、ここでは有効に利用されている。このDCT変換により、後に、画像Iの空間ドメイン全体にわたる挿入透かしSの分布を得ることができる。
【0094】
係数の部分集合を選択する手段34は、挿入すべき補助情報Sと関連する機密鍵を表現するデジタル信号Kにより初期設定される擬似ランダム関数で数発生器38と協働する。
【0095】
擬似ランダム数を取り出すと、変調すべきDCTの係数を無作為に選択することにより、挿入透かしの強固さを強化することができる。使用される機密鍵と擬似ランダム関数の知識があるだけで、変調されているDCTの係数を見出すことができる。
【0096】
同様に、変調手段35は、挿入すべき追加情報を表現するデジタル信号Sにより初期設定される擬似ランダム関数により生成される変調値の発生器38と協働し、それらの変調値を先に選択された部分集合の係数に追加する手段35を有する。
【0097】
逆スペクトル変換手段36は、この例では、画像処理において通常使用される逆離散的コサイン変換である。
【0098】
同様に、スペクトル再組成手段37は、2の乗算器と関連する一連の合成フィルタを具備する従来通りの再組成回路を含み、そこで、いくつかの、この例では3に等しい数の再組成レベルの後に、透かし挿入画像I'はコーダ1の出力端子に供給される。
【0099】
図4に示すように、スペクトル分解手段11と、抽出手段12と、選択手段13と、変調手段14と、スペクトル再組成手段15と、擬似ランダム数発生器16は、マイクロプロセッサ又はコンピュータ10、補助情報項目Sを挿入するためのプログラムを格納する読み取り専用メモリ102(ROM)、及びプログラムの実行中に修正される変数を記録するための複数のレジスタを含むランダムアクセスメモリ103(RAM)に組み込まれているのが好ましい。
【0100】
同様に、スペクトル分解手段31と、抽出手段32と、スペクトル変換手段33と、選択手段34と、変調手段35と、逆スペクトル変換手段36と、スペクトル再組成手段37と、擬似ランダム数発生器38とは、マイクロプロセッサ又はコンピュータ10、補助情報項目Sを挿入するためのプログラムを格納する読み取り専用メモリ102(ROM)、及びプログラムの実行中に修正される変数を記録するための複数のレジスタを含むランダムアクセスメモリ103(RAM)に組み込まれているのが好ましい。
【0101】
言うまでもなく、補助情報項目を挿入するためのプログラムをコンピュータ10のハードディスク108に格納することも可能である。
【0102】
この挿入プログラム全体または一部を、着脱自在ではあるが、コンピュータプロパーには一体化されていない格納手段に格納することも可能である。すなわち、通信インタフェース112によってコンピュータに接続された通信ネットワーク113により読み取り専用メモリ102又はハードディスク108から受信したり、読み取り専用メモリ102又はハードディスク108にロードしたりすることができる。又、先にディスケット110に格納されているプログラム命令を読み取るディスクドライブ109によってプログラムをロードすることも考えられる。言うまでもなく、ディスケットの代わりに、固定メモリコンパクトディスク(CD−ROM)、磁気テープ又はメモリカードなどの情報媒体を使用することも可能である。
【0103】
中央装置100(CPU)により、挿入プログラムの命令を実行できる。すなわち、パワーアップ時、不揮発性メモリの1つ、例えば、読み取り専用メモリ102に格納されているプログラムをランダムアクセスメモリ(RAM)103へ転送する。ランダムアクセスメモリ103は、本発明の第1及び第2の態様に従った挿入方法を実現するために必要な変数も格納している。
【0104】
ランダムアクセスメモリ103は、特に、プログラムの実行中に修正される変数を格納するためのいくつかのレジスタを含むことができる。すなわち、ランダムアクセスメモリ103は、例えば、各分解レベルにおける近似部分帯域の大きさを格納するレジスタと、変調すべき成分を確定するために引き出される擬似ランダム数を格納するレジスタと、選択された成分の部分集合を格納するレジスタと、変調値を格納するレジスタと、変調成分を格納するレジスタとを有する。
【0105】
通信バス101は従来のようにコンピュータの様々な部分要素の間で通信を実行する。
【0106】
コンピュータ10は、例えば、透かしを挿入すべき画像Iを表示すると共に、ユーザが、例えば、キーボード114を使用して、挿入方法を実現するためのいくつかのデータをパラメータ化することができるように、ユーザとの間のインタフェースとして機能する画面104を更に有する。
【0107】
例えば、データの原作者を識別するために、秘密透かしを挿入したいデータのコンピュータ10への供給は、様々な周辺装置、特に、グラフィックスカードに接続するデジタルカメラ107、又はスキャナ、X線撮影装置、あるいはその他の画像収集手段又は画像格納手段により実行できる。
【0108】
通信ネットワーク113も、透かしを挿入すべきデジタル画像を供給することができる。ディスケット110も、同様に、デジタルデータを格納することができる。
【0109】
変形例として、マイクロホン111が入出力カード106によりコンピュータ10に接続している。この変形例における透かしを挿入すべきデジタルデータは、音声信号である。
【0110】
格納または処理されたデジタルデータに透かしを形成する為に、本挿入装置は各種のデジタル処理装置または直接デジタル写真装置やデジタルカメラに内蔵されてもよく、データベース管理システムと一体化されてもよい。
【0111】
次に、本発明の第1の態様による挿入方法を、特に図7及び図8を参照して説明する。
【0112】
本発明によれば、デジタルデータ、ここでは画像Iに秘密透かしなどの補助情報項目Sを挿入する方法は、次のような工程を含む。
【0113】
a) デジタルデータIを多重分解能スペクトル分解する工程E1,
b) 最低周波数の成分を抽出する工程E2.
この場合、挿入方法は,N=512バイトであるNxNの大きさの画像Iに適用される。
【0114】
スペクトル分解する工程E1は、図7の実施形態においては、不連続のウェーブレットへの変換によって実行される。離散的ウェーブレット変換による分解のレベルの数dは、近似部分帯域LLの成分の数nが8×8から32×32の間であるようにあらかじめ定められる。
【0115】
このようにして、閾値Tを、例えば、32×32に固定し、試験する工程E21中に、各分解能レベルで、近似部分帯域LLの成分の数nをこの閾値Tと比較する。
【0116】
試験が否定であれば、すなわち、nが閾値Tより大きい場合には、部分帯域をより高い分解レベルで分解する。
【0117】
この例では、画像Iが正方形であり且つ大きさが512×512バイトに等しいとき、2対1デシメータによる部分帯域への分解を採用する。同様に正方形である部分帯域LLの大きさは、各分解レベルdで、N/2d×N/2dに等しい。
【0118】
閾値Tを32x32に固定することにより、4に等しい分解レベルdに適する大きさの部分帯域LLが得られる。
【0119】
工程E2では、その結果として、0≦i≦N/2d−1及び0≦j≦N/2d−1として、成分Iijにより形成される最低周波数の近似部分帯域LL4を選択する。
【0120】
図8に示す別の実施形態においては、画像信号Iを先に図6を参照して説明したピラミッド型の分解により分解する。各分解レベルにおいて、工程E21では、得られた近似の成分の数nを、例えば、32×32に固定された閾値Tと比較して、離散的ウェーブレット変換の場合と同じように、近似の大きさが十分に小さいか否か又はより高いレベルで分解を繰り返さなければならないか否かを判定する。
【0121】
本発明によれば、工程E3では、抽出された非常に低い周波数の部分帯域の成分Iijの部分集合を選択する。従って、変調すべき成分を限定されたスペクトル領域内で選択することになる。
【0122】
以上の実施形態では、変調の際に、抽出される非常に低い周波数の部分帯域のカバレージの程度x%を固定する。例えば、x=80を選択する。
【0123】
この例においては、挿入すべき補助情報Sと関連する機密鍵を表現するデジタル信号Kにより初期設定される擬似ランダム関数に従って、成分の部分集合を選択する。
【0124】
成分Iijを走査する順序は定義されている。これらの成分がN/2d×N/2dの大きさの行列の中にあるとき、映像走査の順序は、例えば、左上角から右下角に向かうジグザグの形態で設定される。
【0125】
成分Iijごとに、工程E31では、0と1との間の擬似乱数bk=U(K)が得られるように、Kにより初期設定される、間隔[0,1]に関する均一法則Uなどの所定の均一法則Uに従って取り出しを実行する。
【0126】
周知のように、この間隔に関する均一法則Uは、間隔[0,1]にわたって均一に分布する一連の実数からなり、各間隔数は同じ出現確率を有する。そこでは、各初期設定値Kに、所定の一連の実数が対応している。この初期設定値Kは秘密鍵になぞらえることができ、これを知っていれば、その一連の実数を全く同じように再構成することが可能である。
【0127】
bkを取り出すたびに、すなわち、均一法則Uにより定義される一連の実数の連続する値ごとに、試験する工程E32で、この数bkをカバレージ度x/100と比較する。bkがここでは0.8に等しいx/100より小さければ、変調するために、関連する成分Iijを採用する。これに対し、数bkが0.8より大きい場合には、関連する成分Iijを変化させず、工程E33で、この成分を非常に低い周波数の部分帯域に再び挿入する。
【0128】
この特定の例においては、変調される成分Iijの割合は、統計的には、工程E2で抽出される非常に低い周波数の成分の五分の四に等しい。
【0129】
言うまでもなく、機密鍵Kがないときには、変調すべき成分の選択は、例えば、5つの係数の中から続けて4つを選択することにより、系統的に実行できる。また、最も大きい係数を選択するか、又は非常に低い周波数の部分帯域のジグザグに進む順で最初の係数を選択することも可能である。
【0130】
更に、本発明によれば、選択された部分集合の成分Iijを、工程E4で、挿入すべき追加情報を表現するデジタル信号Sにより工程E41で初期設定される擬似ランダム関数により生成される変調値を加算することにより変調する。
【0131】
例えば、ガウスの法則G(0,1)を使用し、挿入すべき信号Sにより擬似乱数発生器16で初期設定する。
【0132】
工程E41では、変調すべき成分Iijごとに、変調値wk=G(S)を取り出す。指標kは、事前に定義された走査の順序でk番目の成分Iijに相当する。各初期設定信号Sに、平均が0に等しく且つ標準偏差が1に等しい独自の、あらかじめ定められた一連の変調値wkが対応している。
【0133】
工程E42で、修正係数αを計算する。この係数αは変調すべき全ての成分Iijに対して一定であることができ、典型的には、1に等しい。これは、挿入情報Sが確実に見えないように保証するものである。
【0134】
各成分Iの変調は、工程E4で、変調値:
I'ij=Iij+αwk
を加算することにより得られる。
【0135】
ウェーブレットへの分解又はピラミッド型の分解を利用するこれらの実施形態においては、成分Iijが同等の大きさの順序を有しているならば、一定の修正係数αを選択すれば十分である。
【0136】
工程E4で、変調値:
I'ij=Iij+αijwk
を加算することにより各成分Iijの変調が得られるように、係数Iijに従って修正係数αを決定することもできるであろう。
【0137】
αij=0.1×Iijとなるように、変調された成分の値に従って係数αijに重み付けすることができる。
【0138】
また、変調された成分にごく近い値Iijの平均に係数αijを対応させることもできる。
【0139】
更に、秘密透かしを挿入するための成分の変調が視覚的に許容される最大ひずみを越えないように心理視覚マスキングを行うために、局所可視限界を考慮に入れることも可能である。
【0140】
次に、工程E33では、初期成分Iijの代わりに、変調成分I'ijを非常に低い周波数の成分に挿入する。
【0141】
工程E34では、非常に低い周波数の全ての成分Iijを走査し終わったか否かを判定するために、試験を実行する。
【0142】
その答えが否定であれば、走査順で次の成分Iijを考慮し、工程E3から、この成分Iijを変調すべきか否かを判定するために次の擬似乱数bkを取り出すことにより、プロセスを繰り返す。
【0143】
走査が終了すると、最終逆多重分解能スペクトル再組成する工程E5で、透かし挿入画像I'を再構成する。
【0144】
図7に示す実施形態では、逆ウェーブレット返還を実現するために、合成フィルタを使用している。
【0145】
図8の例では、連続する近似バージョンと詳細バージョンから透かし挿入画像I'を再構成している。
【0146】
本発明の第1の態様に従った挿入方法により、画像I'中の挿入透かしSは、後続する画像I'の処理に対してはるかに強固なものになっている。加えて、挿入される変調は周波数の一帯域に限定されており、挿入透かしの検査をはるかに迅速に実行できる。
【0147】
次に、本発明のこの第1の態様における挿入透かしの復号について、特に図9から図11を参照して説明する。
【0148】
デコーダ2(図1を参照)は雑音を含む画像I*を受信し、初期画像I並びに機密鍵Kと関連する情報Sも利用する。
【0149】
図9に示すように、本発明の第1の態様による復号装置は、
透かし挿入デジタルデータI*及び初期デジタルデータIを多重分解能スペクトル分解するスペクトル分解手段61と、
透かし挿入デジタルデータI*及び初期デジタルデータにおける最低周波数の成分を抽出する抽出手段62と、
透かし挿入デジタルデータI*及び初期デジタルデータから、先に説明した挿入方法の選択する工程E3で選択された成分の部分集合を選択する選択手段63と、
初期デジタルデータIの前記部分集合の成分Iijから透かし挿入デジタルデータI*の前記部分集合の成分I'ij *をそれぞれ減算することにより、変調値wk *の推定シーケンスW*を推定する推定手段64と、
前記挿入方法の変調する工程E4で挿入された変調値wkの前提シーケンスWを生成する生成手段65と、
推定シーケンスW*と前提シーケンスWとの相関値を計算する計算手段と、
推定シーケンスW*と前提シーケンスWとが類似しているか否かを前記相関値に従って決定する決定手段68とを有する。
【0150】
挿入装置と同様に、スペクトル分解手段61は離散的ウェーブレット変換を実行し、抽出手段62は近似部分帯域LLの成分を選択する。このスペクトル分解に関しては先に詳細に説明した。
【0151】
本発明の第2の実施形態においては、スペクトル分解手段61は初期デジタルデータI及び透かし挿入デジタルデータI*を、デジタルデータ又は先行する近似バージョンの低域フィルタリング及びサブサンプリングに相当する近似バージョンと、デジタルデータから又は先行する近似バージョンからの近似バージョンの減算に相当する詳細バージョンとに繰り返し分解し、抽出手段62は近似バージョンの成分を選択する。
【0152】
これらのスペクトル分解手段の選択が秘密情報Sの挿入中に使用された分解の種類によって決まることは容易に理解されるであろう。
【0153】
変調値の前提シーケンスWを生成する生成手段65は、復号すべき補助情報を表現するデジタル信号Sにより初期設定される擬似ランダム関数によって生成される変調値を生成する発生器66と協働する。
【0154】
この発生器66は挿入装置で使用される発生器16と同一であり、復号することが望まれている補助情報を表現するデジタル信号Sにより初期設定される同じガウスの法則Gを使用する変調値wkを再計算することが可能になる。
【0155】
同様に、選択手段63は、復号すべき補助情報Sと関連する機密鍵を表現するデジタル信号Kにより初期設定される擬似ランダム関数に従って数bkを生成する発生器66と協働する。
【0156】
図4に示すように、スペクトル分解手段61、抽出手段62、選択手段63、推定手段64、生成手段65、計算手段67及び決定手段68は、マイクロプロセッサ10と、補助情報項目Sを復号するためのプログラムを格納する読み取り専用メモリ102と、プログラムの実行中に修正される変数を記録するためのレジスタを含むランダムアクセスメモリ103とに組み込まれている。
【0157】
マイクロプロセッサ10自体及びその機能は、先に本発明の第1の態様による挿入装置及び方法について説明したのと全く同じである。
【0158】
補助情報項目を復号するためのプログラムは、コンピュータ10のハードディスク108に格納するか、あるいはその全体又は一部を着脱自在ではあるが、コンピュータプロパーに一体化されていない格納手段に格納することが可能であろう。
【0159】
中央装置100(CPU)により、復号プログラムの命令を実行できる。すなわち、パワーアップ時、不揮発性メモリの1つ、例えば、読み取り専用メモリ102に格納されているプログラムをランダムアクセスメモリ(RAM)103に格納する。ランダムアクセスメモリ103は、本発明による復号方法を実現するのに必要な変数も格納している。
【0160】
ランダムアクセスメモリ103は、特に、プログラムの実行中に修正される変数を格納するためのいくつかのレジスタを含むことができる。すなわち、ランダムアクセスメモリ103は、例えば、分解レベルごとの近似部分帯域の大きさを格納するレジスタ、変調すべき成分を確定するために取り出される擬似乱数を格納するレジスタ、選択された成分の部分集合を格納するレジスタ、変調値の推定シーケンスを格納するレジスタ、変調値の前提シーケンスを格納するレジスタ及び相関値の計算を格納するレジスタを有する。
【0161】
例えば、原作者を識別するために、秘密透かしを復号することが望まれるデータのコンピュータ10への供給は、様々な周辺装置、特に、グラフィックスカードに接続するデジタルカメラ107、又はスキャナ、あるいはX線撮影装置、その他の画像収集手段又は画像格納手段により実行できる。
【0162】
通信ネットワーク113も復号すべきデジタル画像を供給できる。同様に、ディスケット110もデジタルデータを格納することができる。
【0163】
この復号装置はどのような種類のデジタル処理装置にも組み込むことができ、デジタル写真装置又はデジタルカメラに直接に組み込んだり、格納又は処理されるデジタルデータを復号するためにデータベース管理システムに一体化することが可能である。
【0164】
次に、本発明の第1の態様による挿入方法に従ってデジタルデータIに挿入された補助情報項目Sを復号する本発明による復号方法を更に詳細に説明する。
【0165】
図10及び図11を参照すると、この復号方法は、
透かし挿入デジタルデータI*及び初期デジタルデータIを多重分解能スペクトル分解する工程E6と、
透かし挿入デジタルデータI*及び初期デジタルデータIから最低周波数の成分を抽出する工程E7と、
透かし挿入デジタルデータI*及び初期デジタルデータIから前記挿入方法の選択する工程E3で選択された成分の部分集合を選択する工程E8と、
初期デジタルデータIの前記部分集合の成分から透かし挿入デジタルデータI*の前記部分集合の成分をそれぞれ減算することにより、変調値の推定シーケンスW*を推定する工程E9と、
前記挿入方法の変調工程E4で挿入された変調値の前提シーケンスWを生成する工程E10と、
推定シーケンスW*と前提シーケンスWとの相関値を計算する工程E11と、推定シーケンスW*が前提シーケンスWと類似するか否かを前記相関値に従って決定する工程E12とを含む。
【0166】
図10及び図11は分解する工程E6及び抽出する工程E7以外は同じ復号方法を示す。
【0167】
図10に示す第1の実施形態では、離散的ウェーブレット変換によりスペクトル分解を実行し、抽出する工程E7では、近似部分帯域LLの成分を選択する。
【0168】
このような復号方法は、補助情報Sが図7を参照して説明した本発明の第1の実施形態による挿入方法を使用して挿入されている場合に使用される。
【0169】
図11に示す復号方法の第2の実施形態においては、スペクトル分解の工程E6中に、初期デジタルデータI及び透かし挿入デジタルデータI*を、デジタルデータ又は先行する近似バージョンの低域フィルタリング及びサブサンプリングに相当する近似バージョンと、デジタルデータから又は先行する近似バージョンからの近似バージョンの減算に相当する詳細バージョンとに繰り返し分解し、抽出する工程E7では、近似バージョンの成分を選択する。
【0170】
このような復号方法は、補助情報Sが図8を参照して説明した挿入方法の第2の実施形態による挿入方法を使用して挿入されている場合に使用される。
【0171】
いずれの場合にも、多重分解能スペクトル分解方法は、関連する挿入方法において使用されている方法と同一である。
【0172】
各分解レベルで、試験する工程E71において、近似部分帯域の大きさが閾値Tより小さいか否かを検査し、その答えが否定であれば、より高い分解レベルでスペクトル分解を繰り返す。使用される閾値Tは、先に説明した挿入方法で使用した閾値と同一である。
【0173】
選択する工程E8では、復号すべき補助情報Sと関連する機密鍵を表現するデジタル信号Kにより初期設定される擬似ランダム関数に従って成分の部分集合を選択する。
【0174】
挿入方法の間に使用した法則と同一であり、機密鍵Kにより初期設定される均一法則Uを使用して、同じ一連の擬似実乱数を見出す。従って、雑音を含む画像Iで変調された全ての成分I'ij*と、変調されている初期成分Iijとを見出すことが可能である。
【0175】
初期デジタルデータI及び透かし挿入デジタルデータI*の近似部分帯域LLの所定の走査順序で取り出される成分Iij及びIij *ごとに、工程E81で、bk=U(K)の取り出しを実行する。工程E82では、この数bkをここでは0.8に等しいカバレージ比x/100と比較する。
【0176】
bkが0.8より大きければ、あらかじめ定義された走査順序の次の成分を直接に送り出す。
【0177】
そうでなければ、工程E9で、変調成分ごとに、挿入される変調値wkの推定シーケンスWk *を得るために、成分IijとI'ij *との差を生成する。
【0178】
Wk *=(I'ij−Iij)/α
工程E83では、部分帯域LLの走査が終了したか否かを試験する。その答えが否定であれば、走査順序で次に続く成分に対して工程E8以降を繰り返す。
【0179】
このようにして、一連の推定値wk *に対応するシーケンスW*を獲得する。
【0180】
デコーダは更に情報Sを有し、生成する工程E10において、変調値wkの前提シーケンスW,すなわち、全てのwk値を挿入方法の変調工程E4中に使用されたガウスの法則G(S)に従って計算することができる。
【0181】
次に、計算する工程E11で、例えば、標準化相関測定を利用して、WとW*との相関の測定を実行する。
【0182】
【数1】
【0183】
100 × corr(W,W*)による類似度の計算によって、決定する工程E12において、2つのシーケンスW及びW*が類似しているか否かを決定できるようになる。
【0184】
50%を越えると、相関はデコーダ3の出力端子で肯定の応答を与えるのに十分であると考えられる。言うまでもなく、相関が100%に近いほど、検出の信頼性は高く、従って、挿入されている情報項目Sの認知も高まる。
【0185】
ここで、本発明の第1の態様による挿入方法は、復号の時点で、非常に劣化した画像に相当する品質係数5まで、JPEG(Joint Photographic Expert Group)などの様々な圧縮アルゴリズムに対して75%を越える類似度をもたらすことに注意すべきである。
【0186】
次に、特に図12を参照して本発明の第2の態様による挿入方法を説明する。
【0187】
本発明によれば、秘密透かしなどの補助情報項目Sをデジタルデータ、ここでは画像Iに挿入する方法は、
a)デジタルデータIを多重分解能スペクトル分解する工程E101と、
b)1つの周波数部分帯域の成分を抽出する工程E102とを含む。
【0188】
この場合、挿入方法は、例えば、N=512バイトであるN×Nサイズの画像Iに適用される。
【0189】
スペクトル分解する工程E101は、例えば、離散的ウェーブレット変換によって実行される。ウェーブレット変換による分解のレベルの数dは、近似部分帯域LLの成分の数nが8×8から32×32の間にあるようにあらかじめ定められる。
【0190】
このようにして、閾値Tを、例えば、32×32に固定し、分解レベルごとに、試験する工程E121中に、近似部分帯域LLの成分の数nを閾値Tと比較する。
【0191】
試験が否定であれば、すなわち、nが閾値Tより大きい場合には、部分帯域をより高い分解レベルで分解する。
【0192】
この例では、画像Iが正方形であり且つ512x512バイトに等しい大きさであるとき、2対1デシメータによる部分帯域への分解を採用する。同様に正方形である部分帯域LLの大きさは、各分解レベルdにおいて、N/2d×N/2dに等しい。
【0193】
閾値Tを32×32バイトに固定することにより、4に等しい分解レベルdに適する大きさの部分帯域LLが得られる。
【0194】
工程E102では、低周波数の近似部分帯域LL4を結果として選択することになる。
【0195】
本発明の第2の態様の方法によれば、工程E103で、周波数部分帯域LL4の成分のスペクトル変換を実行する。このスペクトル変換は、ここでは、離散的コサイン変換、すなわち、DCTである。
【0196】
このDCT変換は、初期画像Iよりはるかに小さい、ここでは画像Iの16分の1の大きさである行列LL4について実行される。従って、変換の速度ははるかに速くなる。
【0197】
その代わりに、高速フーリエ変換、すなわち、FFTを実行することも可能であろう。
【0198】
本発明によれば、工程E104で、部分帯域LL4に限定されたDCTスペクトル変換の係数Xkの部分集合の選択を実行する。従って、変調すべき係数Xkは限定された一組のスペクトル係数から選択されることになる。
【0199】
変調すべき係数の数Pを確定する。例えば、Pは(N/2d×N/2d)/2に等しい。
【0200】
変調すべき係数の組から、連続成分(DC係数)を除外する。
【0201】
この例では、挿入すべき補助情報Sと関連する機密鍵を表現するデジタル信号Kにより初期設定される擬似ランダム関数に従って、係数の部分集合を選択する。
【0202】
例えば、所定の初期設定値Kに対して、間隔[0,1]にわたって均一に分布する一連の擬似乱数を関連付ける均一法則U(0,1)を使用する。実際には、値1も除外する。
【0203】
工程E181では、Kにより初期設定されるこの所定の均一U法則に従って取り出しを実行し、それにより、1からPの間のkに対してbk=U(K)を得る。bkは厳密に0から1までの値である。
【0204】
工程E181の取り出しごとに、bk×Pの整数部を計算する。これは、0とP−1の間の整数nk=Ent(bkP)を表す。これは、たとえば、変換後の部分帯域LL4の左上角から右下角に向かうジグザグ走査順序で読み取られるDCTの変調可能係数の中のnk番目の係数を変調するために選択される。このようにして、kが1からPまで変化する係数Xkの部分集合を得る。
【0205】
当然のことながら、機密鍵Kがなければ、最大の大きさのP個の係数、又はジグザグ走査順序で初めのP個の係数を常にDC係数を除外して選択することが可能である。
【0206】
更に、本発明によれば、工程E105で、挿入すべき補助情報を表現するデジタル信号Sにより初期設定される工程E182の擬似ランダム関数により生成される変調値を加算することにより、選択された部分集合の係数Xkを変調する。
【0207】
例えば、挿入すべき信号Sにより初期設定されるガウスの法則G(0,1)を利用する。
【0208】
工程E182では、kが1からPまで変化するような係数Xkごとに、変調値wk=G(S)の取り出しを実行する。
【0209】
工程E183では、修正係数αを計算する。この係数αは変調すべきあらゆる係数Xkに対して一定であることができ、典型的には0.1に等しい。これは、挿入情報Sが確実に見えなくなるように保証する。
【0210】
係数Xkの変調は、工程E105で変調値:
X'k=Xk(1+αwk)
を加算することにより得られる。
【0211】
工程E152では、選択された部分集合の全ての係数Xkを変調したか否かを検査するために試験を実行する。
【0212】
全ての変調が終了していなければ、次の係数Xk+1を考慮し、新たな変調値wk+1を取り出すことにより、工程E182からのプロセスを繰り返す。
【0213】
走査が終了すると、工程E106で、変調済み係数X'kの部分集合を含む部分帯域LL4の係数の逆スペクトル変換、ここでは逆DCTを実行する。
【0214】
次に、最終逆多重分解能スペクトル再組成する工程E107で、この場合のように逆ウェーブレット変換の場合には合成フィルタを使用して、透かし挿入画像I'を得る。
【0215】
本発明の第2の態様に従った挿入方法により、画像I'中に挿入される透かしSは、画像I'のその後の処理に対してはるかに強固なものになる。透かしは画像I'の空間ドメイン全体に分布しているが、挿入される変調は1つの周波数帯域に限定されている。
【0216】
次に、特に図13及び図14を参照して、本発明のこの第2の態様による挿入透かしの復号を説明する。
【0217】
デコーダ2(図1を参照)は雑音を含む画像I*を受信し、また、初期画像I並びに機密鍵Kと関連する情報Sを利用できる。
【0218】
図13に示すように、本発明の第2の態様による復号装置は、
透かし挿入デジタルデータI*及び初期デジタルデータIを多重分解能スペクトル分解するスペクトル分解手段21と、
透かし挿入デジタルデータI*及び初期デジタルデータIから1つの周波数部分帯域LLの成分をそれぞれ抽出する抽出手段22と、
透かし挿入デジタルデータI*及び初期デジタルデータIの周波数部分帯域LLの成分をスペクトル変換するスペクトル変換手段23と、
透かし挿入デジタルデータI*及び初期デジタルデータIから前記挿入方法の選択する工程E104で選択された成分の部分集合を選択する選択手段24と、
初期デジタルデータIの前記部分集合の係数から透かし挿入デジタルデータI*の前記部分集合の係数をそれぞれ減算することにより、変調値の推定シーケンスW*を推定する推定手段25と、
前記挿入方法の変調する工程E105で挿入された変調値の前提シーケンスWを生成する生成手段26と、
推定シーケンスW*と前提シーケンスWとの相関の値を計算する計算手段28と、
推定シーケンスW*と前提シーケンスWとが類似しているか否かを前記相関値に従って決定する決定手段29とを有する。
挿入装置と同様に、抽出手段22は最低周波数を有する部分帯域LLの成分を選択する。
【0219】
この例では、多重分解能スペクトル分解手段21は離散的ウェーブレット変換を実行し、抽出手段22は近似部分帯域LLの成分を選択する。このスペクトル分解については先に詳細に説明してあり、復号装置により先に図3に関連して説明した挿入装置と同様にして実現される。
【0220】
言うまでもなく、挿入装置によりピラミッド型のスペクトル分解が実行された場合には、関連する復号装置も同じピラミッド型の分解を使用して、挿入された補助情報を復号する。
【0221】
同様に、スペクトル変換手段23は離散的コサイン変換を実行する。
【0222】
一般的に、スペクトル分解手段21、抽出手段22及びスペクトル変換手段23が、復号することが望まれる補助情報Sを挿入するために挿入装置で使用されたスペクトル分解手段31、抽出手段32及びスペクトル変換手段33と同一であることは容易に理解されるであろう。
【0223】
変調値の前提シーケンスWを生成する生成手段26は、復号すべき補助情報を表現するデジタル信号Sにより初期設定される擬似ランダム関数によって生成される変調値を生成する発生器27と協働する。
【0224】
発生器27は挿入装置で使用される発生器と同一であり、これにより、同じ擬似ランダム関数を使用して変調値wkを再計算することができる。
【0225】
同様に、選択手段24は、復号すべき補助情報Sと関連する機密鍵を表現するデジタル信号Kにより初期設定される擬似ランダム関数に従って数bkを生成する発生器27と協働する。
【0226】
スペクトル分解手段21、抽出手段22、スペクトル変換手段23、選択手段24、推定手段25、生成手段26、計算手段28及び決定手段29は、図4に示すようなマイクロプロセッサ10に組み込むことができる。このマイクロプロセッサ10は、先に説明した本発明の第2の態様による挿入装置を組み込むためのマイクロプロセッサと構造の点で同じである。
【0227】
読み取り専用メモリ102は補助情報項目Sを復号するためのプログラムを格納し、ランダムアクセスメモリ103は、プログラムの実行中に修正される変数を記録するための複数のレジスタを含む。
【0228】
補助情報項目を復号するためのプログラムはコンピュータ10のハードディスク108に格納するか、あるいはその全体又は一部を着脱自在ではあるが、コンピュータプロパーに一体化されていない格納手段に格納することができるであろう。
【0229】
中央装置100(CPU)により、復号プログラムの命令を実行できる。
【0230】
ランダムアクセスメモリ103は、特に、プログラムの実行中に修正される変数を格納するためのいくつかのレジスタを含むことができる。すなわち、ランダムアクセスメモリは、例えば、各分解レベルにおける近似部分帯域の大きさを格納するレジスタ、所定の走査順序のDCT変換の係数を格納するレジスタ、変調すべき成分を確定するために取り出される擬似乱数を格納するレジスタ、選択された成分部分集合を格納するレジスタ、変調値の推定シーケンスを格納するレジスタ、変調値の前提シーケンスを格納するレジスタ及び修正値の計算を格納するレジスタを有する。
【0231】
例えば、原作者を識別するために、秘密透かしを復号することが望まれるデータのコンピュータ10への供給は、様々な周辺装置、特に、グラフィックスカードに接続するデジタルカメラ107、又はスキャナ、X線撮影装置、あるいはその他の画像獲得手段又は画像格納手段により実行できる。
【0232】
この復号装置はどのような種類のデジタル処理装置にも組み込むことができ、デジタル写真装置又はデジタルカメラに直接組み込むか、あるいは格納又は処理されるデジタルデータを復号するためにデータベース管理システムに一体化することも可能である。
【0233】
次に、本発明の第2の態様による挿入方法に従ってデジタルデータIに挿入された補助情報項目Sを復号する本発明による復号方法を更に詳細に説明する。
【0234】
図14を参照すると、この復号方法は、
透かし挿入デジタルデータI*及び初期デジタルデータを多重分解能スペクトル分解する工程E110と、
透かし挿入デジタルデータI*及び初期デジタルデータIから1つの周波数部分帯域LLの成分をそれぞれ抽出する工程E111と、
透かし挿入デジタルデータI*及び初期デジタルデータIの周波数部分帯域LLの成分をスペクトル変換する工程E112と、
透かし挿入デジタルデータI*及び初期デジタルデータIから前記挿入方法の選択する工程E104で選択された成分の部分集合を選択する工程E113と、
初期デジタルデータIの前記部分集合の係数から透かし挿入デジタルデータI*の前記部分集合の係数をそれぞれ減算することにより、変調値の推定シーケンスW*を推定する工程E114と、
前記挿入方法の変調する工程E105で挿入された変調値の前提シーケンスWを生成する工程E115と、
推定シーケンスW*と前提シーケンスWとの相関の値を計算する工程E116と、
推定シーケンスW*と前提シーケンスWとが類似しているか否かを前記相関値に従って決定する工程E117とを含む。
【0235】
関連する挿入方法の場合と同様に、スペクトル分解する工程E110では、離散的ウェーブレット変換によってスペクトル分解を実行し、抽出する工程E111では、最低周波数を有する近似部分帯域LLの成分を選択する。
【0236】
試験する工程E1111では、各分解レベルで、近似部分帯域の大きさが閾値Tより小さいか否かを検査し、その答えが否定であれば、より高い分解レベルでスペクトル分解を繰り返す。使用する閾値Tは、先に図12を参照して説明した挿入方法で使用した閾値と同一である。
【0237】
スペクトル変換も同様に離散的コサイン変換DCTである。
【0238】
選択する工程E113では、復号すべき補助情報Sと関連する機密鍵を表現するデジタル信号Kにより初期設定される擬似ランダム関数に従って係数の部分集合を選択する。
【0239】
挿入方法の間に使用された法則と同一であり、機密鍵Kにより初期設定される均一法則Uを使用して、同じ一連の実擬似乱数を見出す。従って、雑音を含む画像I*で変調された全ての係数X'k *と、初期画像Iで変調されている初期係数Xkとを見出すことができる。
【0240】
更に厳密にいえば、挿入方法において詳細に説明したように、工程E1131で、数bk=U(K)の取り出しを実行し、bk×Pの整数部を計算する。なお、Pは変調される係数の数である。nk=Ent(bk×P)を求め、雑音を含む画像I*と初期画像Iの双方について、DCTの係数のあらかじめ定義された走査の順序でnk番目の係数を選択する。
【0241】
選択された係数の部分集合に関して、推定する工程E114では、次の復調式に従って、kが1からPまで変化するような変調値wkの推定wk *を得るために、これらの係数X'k *とXkとの差を生成する。
【0242】
【数2】
【0243】
画像I'が重大なひずみを受けており、変調された係数Xkが低振幅である場合、推定値wk *は非常に大きくなる可能性があり、従って、異常な値になるおそれがある。実際には、この値wk *を制限する必要がある。例えば、wk *が5に固定された閾値より大きい場合には、値1がwk *に割り当てられる。
【0244】
このようにして、kが1からPまで変化する推定値wk *の連続に相当するシーケンスW*を獲得する。
【0245】
生成する工程E115では、復号すべき補助情報を表現するデジタル信号Sにより初期設定される擬似ランダム関数により、変調値の前提シーケンスWを生成する。
【0246】
同様に情報Sを利用できるデコーダは、実際には、生成する工程E115で、前提シーケンスW,すなわち、kが1からPまで変化する全てのwk値を、挿入方法の変調する工程E105中に使用されたガウスの法則G(S)に従って計算することができる。
【0247】
そこで、計算する工程E116では、例えば、標準相関測定を使用して、WとW*との相関の測定を実行する。
【0248】
【数3】
【0249】
100 × corr(W,W*)による類似度の計算によって、決定する工程E117で、2つのシーケンスW及びW*が類似しているか否かを決定することができる。
【0250】
50%を越えると、相関は検出器3の出力端子で肯定の応答を与えるのに十分であると考えられる。当然のことながら、相関が100%に近づくほど、検出の信頼性は高くなり、従って、挿入情報項目Sの認知の信頼性も高まる。
【0251】
図15は、本発明の第2の態様による挿入方法に従って挿入された情報の強固さと、画像I全体に適用されるDCT変換を使用して補助情報を挿入する従来の方法における挿入情報の強固さとを比較した図である。
【0252】
この強固さは、挿入された透かしと、画像I'の処理後に抽出された透かしとの類似度により、使用される処理の品質係数に従って表される。
【0253】
この例では、画像I'は、離散的コサイン変換DCTに基づくJPEG(Joint Photographic Expert Group)規格に従って圧縮及び伸張の処理を受けている。
【0254】
本発明による方法においては、分解レベルは5に等しく、双方の場合で、変調される係数の数は128に等しい。
【0255】
ここでは、本発明の方法は非常に劣化した画像に相当する品質係数5まで90%の類似度を示し、これに対し、従来の方法は品質係数60までと、明らかに低いことがわかっている。
【0256】
本発明による挿入方法及び関連する装置によって、デジタルデータに挿入される情報の強固さを気づかれないような方式で大幅に向上させることができる。
【0257】
言うまでもなく、本発明は先に説明した例にのみ限定されるのではなく、本発明の範囲から逸脱せずに、数多くの変形を実施することができる。
【0258】
すなわち、透かしを挿入されるデジタルデータは音声データであっても良いであろう。
【0259】
更に、本発明の第2の態様における多重分解能スペクトル分解の近似部分帯域にではなく、詳細部分帯域にスペクトル変換を適用することも可能であろう。
【0260】
【発明の効果】
以上説明したように本発明によれば、既存の挿入方法を改善し且つ特に不可視度及び強固さに関して、挿入される透かしの品質を向上させることが可能になる。
【図面の簡単な説明】
【図1】デジタル信号への補助情報項目の挿入を示す概略図である。
【図2】第1の態様による本発明の一実施形態の挿入装置を示すブロック線図である。
【図3】第2の態様による本発明の一実施形態の挿入装置の処理の流れを示す図である。
【図4】本発明による方法を実現するためのデジタル信号処理装置のブロック図である。
【図5】画像を複数の部分帯域に分解する第1の方法を概略的に示す図である。
【図6】画像を複数の部分帯域に分解する第2の方法を概略的に示す図である。
【図7】本発明の第1の態様の第1の実施形態に従って補助情報項目を画像に挿入するためのアルゴリズムを示す図である。
【図8】本発明の第1の態様の第2の実施形態に従って補助情報項目を画像に挿入するためのアルゴリズムを示す図である。
【図9】本発明の第1の態様の一実施形態による復号装置の処理の流れを示す図である。
【図10】本発明の第1の態様の第1の実施形態に従って画像中の補助情報項目を復号するためのアルゴリズムを示す図である。
【図11】本発明の第1の態様の第2の実施形態に従って画像中の補助情報項目を復号するためのアルゴリズムを示す図である。
【図12】本発明の第2の態様の一実施形態に従って補助情報項目を画像に挿入するためのアルゴリズムを示す図である。
【図13】本発明の第2の態様の一実施形態による復号装置の処理の流れを示す図である。
【図14】本発明の第2の態様の一実施形態に従って画像中の補助情報項目を復号するためのアルゴリズムを示す図である。
【図15】本発明の第2の態様による挿入方法により挿入された透かしと、従来の方法により挿入された透かしの、JPEG規格に従った圧縮に対する強固さを比較した曲線を示す図である。
Claims (5)
- 補助情報項目を画像データに秘密透かしとして挿入する方法であって、
最低周波数の成分の数が8×8乃至32×32の間となるまで、前記画像データのサイズに依存した回数分、離散的ウェーブレット変換による多重分解能スペクトル分解する工程と、
最低周波数の成分の部分集合を選択する工程と、
前記選択した最低周波数の成分の部分集合をスキャンする過程で、擬似乱数を発生し、発生した擬似乱数が予め設定された閾値以下の値であるとき、該当する成分を補助情報項目を挿入する成分として決定し、変調する工程と、
変調後の最低周波数の部分集合と、前記多重分解能スペクトル分解の工程で得られた他の周波数成分の部分集合を再組成することで、画像データを生成する工程と
を備えることを特徴とする挿入方法。 - 変調する工程で、挿入すべき補助情報を表現するデジタル信号により初期設定される前記擬似乱数により生成される変調値を加算することにより、前記部分集合の成分を変調することを特徴とする請求項1に記載の挿入方法。
- 補助情報項目を画像データに秘密透かしとして挿入する装置であって、
最低周波数の成分の数が8×8乃至32×32の間となるまで、前記画像データのサイズに依存した回数分、離散的ウェーブレット変換による多重分解能スペクトル分解するスペクトル分解手段と、
最低周波数の成分の部分集合を選択する選択手段と、
前記選択した最低周波数の成分の部分集合をスキャンする過程で、擬似乱数を発生し、発生した擬似乱数が予め設定された閾値以下の値であるとき、該当する成分を補助情報項目を挿入する成分として決定し、変調する変調手段と、
変調後の最低周波数の部分集合と、前記多重分解能スペクトル分解の工程で得られた他の周波数成分の部分集合を再組成することで、画像データを生成する手段と
を備えることを特徴とする挿入装置。 - 請求項1又は2に記載の挿入方法に従って補助情報項目が秘密透かしとして挿入された画像データを復号する方法であって、
透かし挿入前の画像データを画像データI、透かし挿入後の画像データを画像データI*としたとき、それぞれの画像データI,I*の最低周波数の成分の数が8×8乃至32×32の間となるまで、それぞれの画像データI,I*のサイズに依存した回数分、離散的ウェーブレット変換による多重分解能スペクトル分解する工程と、
画像データI,I*それぞれの最低周波数の成分の部分集合を選択する工程と、
前記画像データIの最低周波数の成分から、前記画像データI*の最低周波数の成分を減算することで、変調値の推定シーケンスW*を得る工程と、
請求項1又は2に記載の擬似乱数と同一の擬似乱数に基づき、変調値のシーケンスWを生成する工程と、
前記推定シーケンスW*と前記シーケンスWとの相関値を計算する工程と、
前記推定シーケンスW*と前記シーケンスWとが類似しているか否かを前記相関値に従って決定する工程と
を備えることを特徴とする復号方法。 - 請求項3に記載の挿入装置に従って補助情報項目が秘密透かしとして挿入された画像データを復号する装置であって、
透かし挿入前の画像データを画像データI、透かし挿入後の画像データを画像データI*としたとき、それぞれの画像データI,I*の最低周波数の成分の数が8×8乃至32 ×32の間となるまで、それぞれの画像データI,I*のサイズに依存した回数分、離散的ウェーブレット変換による多重分解能スペクトル分解する手段と、
画像データI,I*それぞれの最低周波数の成分の部分集合を選択する手段と、
前記画像データIの最低周波数の成分から、前記画像データI*の最低周波数の成分を減算することで、変調値の推定シーケンスW*を得る手段と、
請求項3に記載の擬似乱数と同一の擬似乱数に基づき、変調値のシーケンスWを生成する手段と、
前記推定シーケンスW*と前記シーケンスWとの相関値を計算する手段と、
前記推定シーケンスW*と前記シーケンスWとが類似しているか否かを前記相関値に従って決定する手段と
を備えることを特徴とする復号装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR98-10148 | 1998-08-06 | ||
FR9810149A FR2782224B1 (fr) | 1998-08-06 | 1998-08-06 | Procede et dispositif d'insertion et de decodage d'une marque dans des donnees numeriques |
FR98-10149 | 1998-08-06 | ||
FR9810148A FR2782223B1 (fr) | 1998-08-06 | 1998-08-06 | Procede et dispositif d'insertion et de decodage d'une marque dans des donnees numeriques |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000101828A JP2000101828A (ja) | 2000-04-07 |
JP2000101828A5 JP2000101828A5 (ja) | 2005-10-13 |
JP4006141B2 true JP4006141B2 (ja) | 2007-11-14 |
Family
ID=26234485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22412099A Expired - Fee Related JP4006141B2 (ja) | 1998-08-06 | 1999-08-06 | デジタルデータの透かしの挿入及び復号する方法及び装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6944313B1 (ja) |
JP (1) | JP4006141B2 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7644282B2 (en) | 1998-05-28 | 2010-01-05 | Verance Corporation | Pre-processed information embedding system |
US6385329B1 (en) * | 2000-02-14 | 2002-05-07 | Digimarc Corporation | Wavelet domain watermarks |
US6737957B1 (en) | 2000-02-16 | 2004-05-18 | Verance Corporation | Remote control signaling using audio watermarks |
JP2002033902A (ja) * | 2000-07-18 | 2002-01-31 | Nikon Corp | 画像信号処理装置 |
JP3511502B2 (ja) * | 2000-09-05 | 2004-03-29 | インターナショナル・ビジネス・マシーンズ・コーポレーション | データ加工検出システム、付加情報埋め込み装置、付加情報検出装置、デジタルコンテンツ、音楽コンテンツ処理装置、付加データ埋め込み方法、コンテンツ加工検出方法、記憶媒体及びプログラム伝送装置 |
US8301453B2 (en) | 2000-12-21 | 2012-10-30 | Digimarc Corporation | Watermark synchronization signals conveying payload data |
US20030204736A1 (en) * | 2002-04-25 | 2003-10-30 | International Business Machines Corporation | Apparatus for authenticated recording and method therefor |
KR100477805B1 (ko) * | 2002-06-18 | 2005-03-22 | 한국전자통신연구원 | 스펙트럼 영역에서의 워터마크 삽입 또는/및 검출 장치와그 방법 |
US7509683B2 (en) * | 2002-08-26 | 2009-03-24 | Hewlett-Packard Development Company, L.P. | System and method for authenticating digital content |
EP2782337A3 (en) | 2002-10-15 | 2014-11-26 | Verance Corporation | Media monitoring, management and information system |
US7756288B2 (en) | 2003-05-29 | 2010-07-13 | Jeffrey Lubin | Method and apparatus for analog insertion of low frequency watermarks |
US7418110B2 (en) * | 2003-06-19 | 2008-08-26 | Transpacific Information, Llc | Method and apparatus for compressed-domain watermarking |
US7369677B2 (en) * | 2005-04-26 | 2008-05-06 | Verance Corporation | System reactions to the detection of embedded watermarks in a digital host content |
US20060239501A1 (en) | 2005-04-26 | 2006-10-26 | Verance Corporation | Security enhancements of digital watermarks for multi-media content |
US7856116B2 (en) * | 2004-11-09 | 2010-12-21 | Digimarc Corporation | Authenticating identification and security documents |
US8020004B2 (en) | 2005-07-01 | 2011-09-13 | Verance Corporation | Forensic marking using a common customization function |
US8781967B2 (en) | 2005-07-07 | 2014-07-15 | Verance Corporation | Watermarking in an encrypted domain |
US20090060257A1 (en) * | 2007-08-29 | 2009-03-05 | Korea Advanced Institute Of Science And Technology | Watermarking method resistant to geometric attack in wavelet transform domain |
US8259938B2 (en) | 2008-06-24 | 2012-09-04 | Verance Corporation | Efficient and secure forensic marking in compressed |
US9607131B2 (en) | 2010-09-16 | 2017-03-28 | Verance Corporation | Secure and efficient content screening in a networked environment |
US8923548B2 (en) | 2011-11-03 | 2014-12-30 | Verance Corporation | Extraction of embedded watermarks from a host content using a plurality of tentative watermarks |
US8615104B2 (en) | 2011-11-03 | 2013-12-24 | Verance Corporation | Watermark extraction based on tentative watermarks |
US8682026B2 (en) | 2011-11-03 | 2014-03-25 | Verance Corporation | Efficient extraction of embedded watermarks in the presence of host content distortions |
US8533481B2 (en) | 2011-11-03 | 2013-09-10 | Verance Corporation | Extraction of embedded watermarks from a host content based on extrapolation techniques |
US8745403B2 (en) | 2011-11-23 | 2014-06-03 | Verance Corporation | Enhanced content management based on watermark extraction records |
US9323902B2 (en) | 2011-12-13 | 2016-04-26 | Verance Corporation | Conditional access using embedded watermarks |
US9547753B2 (en) | 2011-12-13 | 2017-01-17 | Verance Corporation | Coordinated watermarking |
US9571606B2 (en) | 2012-08-31 | 2017-02-14 | Verance Corporation | Social media viewing system |
US8869222B2 (en) | 2012-09-13 | 2014-10-21 | Verance Corporation | Second screen content |
US9106964B2 (en) | 2012-09-13 | 2015-08-11 | Verance Corporation | Enhanced content distribution using advertisements |
US8726304B2 (en) | 2012-09-13 | 2014-05-13 | Verance Corporation | Time varying evaluation of multimedia content |
US9262794B2 (en) | 2013-03-14 | 2016-02-16 | Verance Corporation | Transactional video marking system |
US9251549B2 (en) | 2013-07-23 | 2016-02-02 | Verance Corporation | Watermark extractor enhancements based on payload ranking |
US9208334B2 (en) | 2013-10-25 | 2015-12-08 | Verance Corporation | Content management using multiple abstraction layers |
EP3117626A4 (en) | 2014-03-13 | 2017-10-25 | Verance Corporation | Interactive content acquisition using embedded codes |
US11575521B2 (en) | 2019-06-28 | 2023-02-07 | Intel Corporation | Fast XMSS signature verification and nonce sampling process without signature expansion |
US11218320B2 (en) * | 2019-06-28 | 2022-01-04 | Intel Corporation | Accelerators for post-quantum cryptography secure hash-based signing and verification |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5646997A (en) * | 1994-12-14 | 1997-07-08 | Barton; James M. | Method and apparatus for embedding authentication information within digital data |
US5530759A (en) | 1995-02-01 | 1996-06-25 | International Business Machines Corporation | Color correct digital watermarking of images |
CA2184949C (en) | 1995-09-28 | 2000-05-30 | Ingemar J. Cox | Secure spread spectrum watermarking for multimedia data |
US6466209B1 (en) * | 1995-12-07 | 2002-10-15 | Ncr Corporation | Method for transparent marking of digital images for storage, retrieval and processing within a computer database |
US6201879B1 (en) * | 1996-02-09 | 2001-03-13 | Massachusetts Institute Of Technology | Method and apparatus for logo hiding in images |
US6226387B1 (en) * | 1996-08-30 | 2001-05-01 | Regents Of The University Of Minnesota | Method and apparatus for scene-based video watermarking |
US5915027A (en) * | 1996-11-05 | 1999-06-22 | Nec Research Institute | Digital watermarking |
FI105418B (fi) | 1997-01-24 | 2000-08-15 | Nokia Multimedia Network Termi | Varmennuskoodin kätkeminen sähköiseen signaaliin |
JPH114337A (ja) * | 1997-06-11 | 1999-01-06 | Canon Inc | 画像処理装置及び方法 |
US6332030B1 (en) * | 1998-01-15 | 2001-12-18 | The Regents Of The University Of California | Method for embedding and extracting digital data in images and video |
US6373974B2 (en) * | 1998-03-16 | 2002-04-16 | Sharp Laboratories Of America, Inc. | Method for extracting multiresolution watermark images to determine rightful ownership |
US6359998B1 (en) * | 1998-04-23 | 2002-03-19 | 3Com Corporation | Method and apparatus for wavelet-based digital watermarking |
US6314192B1 (en) * | 1998-05-21 | 2001-11-06 | Massachusetts Institute Of Technology | System, method, and product for information embedding using an ensemble of non-intersecting embedding generators |
JP4026933B2 (ja) | 1998-06-24 | 2007-12-26 | キヤノン株式会社 | 情報処理装置及び方法並びに記録媒体 |
-
1999
- 1999-07-07 US US09/348,502 patent/US6944313B1/en not_active Expired - Fee Related
- 1999-08-06 JP JP22412099A patent/JP4006141B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000101828A (ja) | 2000-04-07 |
US6944313B1 (en) | 2005-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4006141B2 (ja) | デジタルデータの透かしの挿入及び復号する方法及び装置 | |
EP2306726B1 (en) | Robust digital watermarking | |
US6226387B1 (en) | Method and apparatus for scene-based video watermarking | |
JP4208382B2 (ja) | 画像処理方法及び画像処理装置 | |
US7269734B1 (en) | Invisible digital watermarks | |
JP3522056B2 (ja) | 電子的すかし挿入方法 | |
US6674873B1 (en) | Method and device for inserting and detecting a watermark in digital data | |
US20060120558A1 (en) | System and method for lossless data hiding using the integer wavelet transform | |
Yavuz et al. | Improved SVD-DWT based digital image watermarking against watermark ambiguity | |
EP1030511A2 (en) | Apparatus for and method of embedding and extracting digital information and medium having program for carrying out the method recorded thereon | |
KR100369306B1 (ko) | 컬러 이미지 워터마크를 이용한 디지털 오디오 워터마킹방법 및 장치 | |
Kwon et al. | Highly reliable digital watermarking using successive subband quantization and human visual system | |
Lim et al. | JPEG 2000 and digital watermarking technique using in medical image | |
US8155375B2 (en) | Video watermarking using temporal analysis | |
FR2782223A1 (fr) | Procede et dispositif d'insertion et de decodage d'une marque dans des donnees numeriques | |
Autrusseau et al. | Psychovisual approach for watermarking | |
Hsieh | A robust image authentication method based on wavelet transform and Teager energy operator | |
Gopalan | A spectrum modification technique for embedding data in images | |
FR2782224A1 (fr) | Procede et dispositif d'insertion et de decodage d'une marque dans des donnees numeriques | |
Phadikar et al. | Quality access control of image by encryption and data hiding | |
Nguyen et al. | Multireselution quantization-based image watermarking | |
Dhavale et al. | Prosperous Digital Image Watermarking Approach by using DCT-DWT | |
Saadane | Watermarking sites selection based on a human visual model | |
Elbaşı | Simulated Annealing Based Parameter Selection in Watermarking Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050609 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050609 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20050609 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070827 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |