JP4144469B2 - Digital watermark verification apparatus and digital watermark verification method - Google Patents
Digital watermark verification apparatus and digital watermark verification method Download PDFInfo
- Publication number
- JP4144469B2 JP4144469B2 JP2003279855A JP2003279855A JP4144469B2 JP 4144469 B2 JP4144469 B2 JP 4144469B2 JP 2003279855 A JP2003279855 A JP 2003279855A JP 2003279855 A JP2003279855 A JP 2003279855A JP 4144469 B2 JP4144469 B2 JP 4144469B2
- Authority
- JP
- Japan
- Prior art keywords
- signature
- important area
- digital watermark
- data
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は,画像に情報を埋め込む電子透かし技術において,画像の一部の領域に対する電子透かし情報の埋め込みを制限することで,特定領域(重要領域)の電子透かし埋め込みによる画質劣化を制限する技術に関するものである。 The present invention relates to a technique for limiting image quality deterioration due to digital watermark embedding in a specific area (important area) by limiting embedding of digital watermark information in a partial area of an image in the digital watermark technique for embedding information in an image. Is.
近年,デジタルコンテンツの違法な複製や改ざん,盗用などの不正利用が問題になっている。これらを防止するために,コンテンツに知覚できない程度の微少な加工を加えながら,電子署名,著作権情報,メッセージなどの付加データを埋め込む電子透かし技術が開発されている。電子透かし技術によって,付加データはコンテンツ自身に統合され,非圧縮時の記憶容量が増えることもなく,画像の改ざん,違法な複製,不正転送の防止などに利用される。 In recent years, illegal copying, falsification, and theft of digital contents have become a problem. In order to prevent these problems, a digital watermark technique has been developed that embeds additional data such as a digital signature, copyright information, and a message while adding minute processing that cannot be perceived to the content. With digital watermarking technology, additional data is integrated into the content itself, and it is used to prevent tampering, illegal duplication, and unauthorized transfer without increasing the storage capacity when uncompressed.
電子透かしの埋め込み方法には,改ざんによって容易に壊れて検出不能となる方法と,改ざんによっても検出不能になりにくい方法などがある。壊れやすい電子透かしは,改ざん検出などに用いられ,壊れにくい電子透かしは,著作権保護などに用いられる。以下では,壊れやすい電子透かしを「フラジャイル電子透かし」,壊れにくい電子透かしを「ロバスト電子透かし」という。 There are two methods of embedding an electronic watermark, such as a method that is easily broken by alteration and cannot be detected, and a method that is not easily detected by alteration. Fragile digital watermarks are used for tamper detection and the like, and digital watermarks that are not easily broken are used for copyright protection. Hereinafter, a fragile digital watermark is referred to as a “fragile digital watermark”, and a hard-to-break digital watermark is referred to as a “robust digital watermark”.
画像の改ざん検出に使われるフラジャイル電子透かしでは,画像に付加データとして電子署名を埋め込み,埋め込み側と検証装置での署名値の不一致で改ざんを検出する。例えば,ビットマップ画像にフラジャイル電子透かしを埋め込む場合,図32に示したように,LSB以外のビットプレーン(厳密に検証する場合は,LSB以外のビットブレーンと,LSBの埋め込みに使用していないすべてのビット)からハッシュ値を計算し,公開鍵暗号方式で暗号化したハッシュ値(電子署名)を付加データとしてLSBに埋め込む。通常,LSB内の埋め込み位置は,鍵をシードにした擬似ランダムシーケンスなどを用いてランダマイズされる。 In a fragile digital watermark used for image alteration detection, an electronic signature is embedded as additional data in an image, and alteration is detected by a mismatch of signature values between the embedding side and the verification device. For example, when embedding a fragile digital watermark in a bitmap image, as shown in FIG. 32, a bit plane other than the LSB (when strictly verifying, a bit brain other than the LSB and all not used for embedding the LSB Hash value is calculated from this bit), and the hash value (electronic signature) encrypted by the public key cryptosystem is embedded in the LSB as additional data. Normally, the embedding position in the LSB is randomized using a pseudo-random sequence using a key as a seed.
この方式によって画像を検証する場合,図33に示したように,電子署名の埋め込まれた画像のLSB部分から,埋め込みと同様の手順で埋め込み位置を決定し,埋め込みデータを取り出す。取り出したデータから,電子透かし埋め込み時に生成されたハッシュ値を解読する。また,LSB以外の部分から埋め込み側と同様のアルゴリズムでハッシュ値を計算し,これを,解読したハッシュ値を比較する。比較の結果,ハッシュ値が一致すれば画像に改ざんがないことがわかる。通常,画像データに比べて生成されるハッシュ値のビット長は非常に短い長さとなるが(例えば,SHA1というハッシュアルゴリズムの場合,入力されるデータ長にかかわらず出力されるデータは160ビット),ハッシュ演算の特性上,画像に対して微少な変化があった場合,生成されるハッシュ値は全く異なった値となるため,ハッシュ値を比較することで1ピクセルでも改ざんされた場合に,改ざんを検出することができる。 When the image is verified by this method, as shown in FIG. 33, the embedded position is determined from the LSB portion of the image embedded with the electronic signature in the same procedure as that for embedding, and the embedded data is extracted. The hash value generated at the time of embedding the digital watermark is decrypted from the extracted data. Also, a hash value is calculated from the portion other than the LSB by the same algorithm as that on the embedding side, and the decrypted hash value is compared. As a result of comparison, if the hash values match, it can be seen that the image has not been altered. Normally, the bit length of the hash value generated compared to the image data is very short (for example, in the case of the hash algorithm called SHA1, the output data is 160 bits regardless of the input data length). If there is a slight change in the image due to the characteristics of the hash operation, the generated hash value will be completely different. Therefore, if even one pixel is altered by comparing the hash values, tampering will occur. Can be detected.
また,1個のハッシュ値を計算する範囲を画像全体でなく,画像内のM×Nピクセルサイズのブロックで区切った範囲とすると,画像の改ざんをM×Nブロックの単位で検出することができ,画像内の改ざん箇所をブロック単位で特定することができる。 Further, if the range for calculating one hash value is not the entire image but a range divided by M × N pixel size blocks in the image, it is possible to detect alteration of the image in units of M × N blocks. , It is possible to specify the tampering location in the image in units of blocks.
フラジャイル電子透かしでは,ウェーブレット(Wavelet)変換や離散コサイン変換(Discrete Cosine Transform:DCT),量子化などをした後の周波数空間上の係数に対して,ハッシュ値や署名データを埋め込むものもある。これらの方式も,基本的にはビットマップに対する電子透かしと同様で,ハッシュ値の計算対象や署名データの埋め込み対象が,画像データそのものから周波数変換後の係数に置き換わっただけであり,処理や改ざん検出方法は,ビットマップと同様である。 In some fragile digital watermarks, hash values and signature data are embedded in coefficients in a frequency space after wavelet transform, discrete cosine transform (DCT), quantization, and the like. These methods are also basically the same as digital watermarking for bitmaps, in which the hash value calculation target and signature data embedding target are simply replaced with the coefficients after frequency conversion from the image data itself. The detection method is the same as that of the bitmap.
また,この他にも,ハッシュの計算対象と埋め込み対象の座標を変える方式などもあるが,これらも同様の検出方法を用いている。 In addition, there are other methods such as changing the coordinates of the hash calculation target and the embedding target, and these also use the same detection method.
しかしながら,従来の電子透かし技術では,付加データ埋め込みのための微少な変更によって,画像全体がわずかに劣化していた。そのため,医療向け画像などの無損失(ロスレス)を要求するような用途では,使用できなかった。 However, in the conventional digital watermark technology, the entire image is slightly deteriorated due to a slight change for embedding additional data. Therefore, it could not be used in applications that require lossless medical images.
特開2003−115989号公報(特許文献1)に示された技術では,画像に重要領域を設定し,その重要領域へは付加データを埋め込まないことで,重要領域をロスレスのまま電子透かしの埋め込みを行っている。この重要領域の設定は,ユーザーが直接設定する他に,新静止画像圧縮標準であるJPEG2000のROI(Region of interest)機能による重要領域を用いることができる。 In the technique disclosed in Japanese Patent Application Laid-Open No. 2003-115989 (Patent Document 1), an important area is set in an image, and additional data is not embedded in the important area. It is carried out. This important area can be set directly by the user, or an important area based on the ROI (Region of Interest) function of JPEG2000, which is a new still image compression standard, can be used.
しかしながら,特許文献1に示された技術では,重要領域情報を削除されてしまうと,電子透かしデータを読み込むための同期がとれなくなり,画像全域に埋め込まれた付加データの読み出しが不可能となる場合がある。すなわち,上記技術では,画像の改ざんを検出するための電子署名を,重要領域を含む画像全体から作成し,重要領域を除く部分へ埋め込むことで,重要領域のロスレスを実現している。この場合,重要領域情報が削除されると,電子署名が正しく検出できなくなるため,重要領域だけでなく画像全体が改ざんとなってしまい,また,画像全体に埋め込まれたメッセージを取り出すことができなくなってしまうなどの問題点がある。
However, in the technique disclosed in
また,特許文献1に示された技術では,重要領域情報への付加データの埋め込みを避け,重要領域のための付加データを他の重要領域以外の部分に埋め込む際,(1)重要領域用付加データを重要領域以外へ埋め込む際,重要領域以外のデータ埋め込み形式が変化し,(2)データの埋め込み順序が変化していたため,重要領域情報が削除されると,電子透かし検証時に,重要領域だけでなく重要領域以外の部分の付加データを正しくデコードできなくなり,画像全体が改ざんとなり,また,メッセージの抽出に失敗することがあった。
In addition, the technique disclosed in
本発明は,従来技術が有する上記問題点に鑑みてなされたものであり,本発明の目的は,重要領域情報が追加/削除されても,重要領域以外の部分の付加データを正しくデコードできるようにし,埋め込んだメッセージを正しく抽出できるようにし,また,改ざん検出時には,重要領域情報の改ざん等によって,重要領域となった領域や,重要領域でなくなった領域を,改ざんとして検出し,また,それ以外の部分の改ざん位置を特定することの可能な,新規かつ改良された電子透かし検証装置および電子透かし検証方法を提供することである。
The present invention has been made in view of the above-mentioned problems of the prior art, and an object of the present invention is to be able to correctly decode additional data in a portion other than the important area even if important area information is added / deleted. The embedded message can be extracted correctly, and when alteration is detected, the areas that have become important areas or areas that are no longer important areas are detected as falsifications by falsification of the important area information. capable of identifying the tampered position of the portion other than to provide a new and improved electronic watermark verification equipment Contact and watermark verification method.
上記課題を解決するため,本発明の第1の観点によれば,電子透かし検証装置において,電子透かしを検証するターゲット画像の画像データが入力される画像入力端子(10)と,入力された画像データを,所定サイズのブロックに分割するブロック化部(200)と,各ブロックが,重要領域に属するか非重要領域に属するかに関する重要領域情報が入力される重要領域情報入力端子(11)と,ブロック化された単位で,重要領域情報に従って,重要領域からは署名データの抽出を行わず,周囲の非重要領域から(署名データ埋め込み時と同じ方法によって埋め込み位置を特定し,)重要領域及び非重要領域の署名データを抽出する署名抽出部(201)と,ブロック化された単位で,署名データを生成する署名生成部(202)と,署名抽出部(201)が抽出した署名データと,署名生成部(202)が生成した署名データとを比較する署名比較部(203)と,署名比較部(203)による比較結果を出力する比較結果出力端子(12)とを備え,署名比較部(203)の比較結果出力が,署名抽出部(201)へ入力されることを特徴とする電子透かし検証装置が提供される。
In order to solve the above problems, according to a first aspect of the present invention, in the digital watermark verification apparatus, an image input terminal (10) to which image data of a target image for verifying the digital watermark is input, and the input image A blocking unit (200) that divides data into blocks of a predetermined size, and an important area information input terminal (11) to which important area information regarding whether each block belongs to an important area or a non-important area is input , a unit that is blocked, in accordance with the important area information, from the critical region without extracting the signature data (to identify the embedded position in the same manner as when embedding the signature data) from the non-critical areas around the important area and signature extractor for extracting the signature data of the non-critical area (201), in the units blocked, signature generation unit for generating signature data (202), signature A signature comparison unit (203) that compares the signature data extracted by the extraction unit (201) with the signature data generated by the signature generation unit (202), and a comparison result output that outputs a comparison result by the signature comparison unit (203) and a terminal (12), the comparison result output of the signature comparison unit (203) is, the electronic watermark verification and wherein the input to the signature extraction portion (201) of Ru is provided.
かかる電子透かし検証装置によれば,上記優れた効果を奏する電子透かし埋め込み装置により出力された画像の改ざん検出を行うことができる。 According to such a digital watermark verification apparatus, it is possible to detect falsification of an image output by the digital watermark embedding apparatus having the above-described excellent effects.
上記本発明の電子透かし検証装置において,以下の応用が可能である。 In the digital watermark verification apparatus of the present invention, the following applications are possible.
署名抽出部は,署名比較部によって署名データが一致せず改ざんと判定された重要領域ブロックを,非重要領域ブロックとみなすようにしてもよい。改ざんと判定された重要領域ブロックを非重要領域ブロックとみなして,署名データの抽出や,メッセージの抽出を行うことで,
(g)重要領域情報が改ざんされ,非重要領域から重要領域へ変更された場合に,改ざんとしてでなく,領域情報の変更として,変更された領域を検出できる。
(h)重要領域情報の追加にかかわらず,全メッセージを正しく抽出できる確率が高くなる。
Signature extraction section, the important region blocks judged as alteration does not match the signature data by the signature comparator unit, but it may also be so regarded as unimportant region blocks. By extracting the signature data and extracting the message by regarding the important area block determined to be falsified as the non-important area block,
(G) When the important area information is falsified and changed from the non-important area to the important area, the changed area can be detected not as falsification but as a change in the area information.
(H) The probability that all messages can be correctly extracted regardless of the addition of important area information is increased.
また,署名抽出部(201)は,署名比較部(203)によって署名データが一致せず改ざんと判定された非重要領域ブロックを,重要領域ブロックとみなすようにしてもよい。改ざんと判定された非重要領域ブロックを,重要領域ブロックとみなして,周囲の非重要領域から署名データの抽出を行うことにより,
(i)重要領域情報が改ざんされ,重要領域から非重要領域へ変更された場合に,改ざんとしてでなく,領域情報の変更として,変更された領域を検出できる。
Also, the signature extraction portion (201), a non-critical region blocks judged as alteration does not match the signature data by the signature comparator unit (203), but it may also be so considered important area block. By extracting nonsignificant area blocks that have been determined to be falsified as important area blocks and extracting signature data from the surrounding nonimportant areas,
(I) When the important area information is altered and changed from the important area to the non-important area, the changed area can be detected not as tampering but as the area information is changed.
また,署名抽出部(201)は,非重要領域に埋め込まれた重要領域署名フラグによって重要領域用の署名データを持っていると示されているブロックに囲まれる領域から,重要領域を推定するようにしてもよい。これにより,
(j)重要領域情報が不要となる。
Also, the signature extraction portion (201) from the region enclosed by the blocks by the important area signed flag embedded in the non-critical regions have been shown to have the signature data for the important region, estimates the importance area but it may also be so. As a result,
(J) The important area information becomes unnecessary.
上記課題を解決するため,本発明の第2の観点によれば,電子透かし検証方法であって,画像入力手段により,電子透かしを検証するターゲット画像の画像データが入力される画像入力工程と,入力された画像データを,ブロック化手段により所定サイズのブロックに分割するブロック化工程と,重要領域情報入力手段により,各ブロックが,重要領域に属するか非重要領域に属するかに関する重要領域情報が入力される重要領域情報入力工程と,ブロック化された単位で,重要領域情報に従って,重要領域からは署名データの抽出を行わず,周囲の非重要領域から,重要領域及び非重要領域の署名データを署名抽出手段により抽出する署名抽出工程と,ブロック化された単位で,署名生成手段により署名データを生成する署名生成工程と,署名抽出工程において抽出した署名データと,署名生成工程において生成した署名データとを比較する署名比較工程と,署名比較工程による比較結果を,比較結果出力手段により出力する比較結果出力工程とを含み,署名比較工程の比較結果出力を用いて,署名抽出工程を再度行うことを特徴とする,電子透かし検証方法が提供される。
To solve the above problems, according to the second aspect of the present invention, there is provided an electronic watermark verification method, the image input unit, an image input step of image data of the target image to verify the electronic watermark is input, Blocking step for dividing the input image data into blocks of a predetermined size by the blocking means , and important area information regarding whether each block belongs to the important area or the non-important area by the important area information input means. Significant area and non-important area signature data is extracted from surrounding non-important areas without extracting signature data from the important areas according to the important area information in the input important area information input process and in blocks. and signature extraction step of extracting the signature extracting means, in the units blocked, a signature generation step of generating signature data by the signature generating means, And signature data extracted in the name extracting step, a signature comparing step of comparing the signature data generated in the signature generation step, the comparison result by the sign comparing step, seen including a comparison result outputting step of outputting the comparison result output means , using the comparison result output of the signature comparison process, characterized that you perform signature extraction process again, the electronic watermark verification method is Ru is provided.
かかる電子透かし検証方法によれば,上記優れた効果を奏する電子透かし埋め込み方法により出力された画像の改ざん検出を行うことができる。 According to this digital watermark verification method, it is possible to detect falsification of an image output by the digital watermark embedding method that exhibits the above-mentioned excellent effects.
上記本発明の電子透かし検証方法において,以下の応用が可能である。 The following application is possible in the digital watermark verification method of the present invention.
署名抽出手段は,署名抽出工程において,署名比較工程において署名データが一致せず改ざんと判定された重要領域ブロックを,非重要領域ブロックとみなすようにしてもよい。改ざんと判定された重要領域ブロックを非重要領域ブロックとみなして,署名データの抽出や,メッセージの抽出を行うことで,
(g)重要領域情報が改ざんされ,非重要領域から重要領域へ変更された場合に,改ざんとしてでなく,領域情報の変更として,変更された領域を検出できる。
(h)重要領域情報の追加にかかわらず,全メッセージを正しく抽出できる確率が高くなる。
Signature extracting means, in the signature extraction process, the critical domain block signature data is determined to be falsified does not match the signature comparing step, but it may also be so regarded as unimportant region blocks. By extracting the signature data and extracting the message by regarding the important area block determined to be falsified as the non-important area block,
(G) When the important area information is falsified and changed from the non-important area to the important area, the changed area can be detected not as falsification but as a change in the area information.
(H) The probability that all messages can be correctly extracted regardless of the addition of important area information is increased.
また,署名抽出手段は,署名抽出工程において,署名比較工程において署名データが一致せず改ざんと判定された非重要領域ブロックを,重要領域ブロックとみなすようにしてもよい。改ざんと判定された非重要領域ブロックを,重要領域ブロックとみなして,周囲の非重要領域から署名データの抽出を行うことにより,
(i)重要領域情報が改ざんされ,重要領域から非重要領域へ変更された場合に,改ざんとしてでなく,領域情報の変更として,変更された領域を検出できる。
Also, the signature extracting means, in the signature extraction process, a non-critical region block signature data is determined to be falsified does not match the signature comparing step, but it may also be so considered important area block. By extracting nonsignificant area blocks that have been determined to be falsified as important area blocks and extracting signature data from the surrounding nonimportant areas,
(I) When the important area information is altered and changed from the important area to the non-important area, the changed area can be detected not as tampering but as the area information is changed.
また,署名抽出手段は,署名抽出工程において,非重要領域に埋め込まれた重要領域署名フラグによって重要領域用の署名データを持っていると示されているブロックに囲まれる領域から,重要領域を推定するようにしてもよい。これにより,
(j)重要領域情報が不要となる。
Also, the signature extracting means, in the signature extraction process, from the region enclosed by the blocks by the important area signed flag embedded in the non-critical regions have been shown to have the signature data for the important region, the important area but it may also be estimated. As a result,
(J) The important area information becomes unnecessary.
なお上記において,構成要素に付随して括弧書きで記した参照符号は,理解を容易にするため,後述の実施形態および図面における対応する構成要素を一例として記したに過ぎず,本発明がこれに限定されるものではない。 In the above description, the reference numerals in parentheses attached to the constituent elements are merely shown as examples of corresponding constituent elements in the embodiments and drawings described below for easy understanding. It is not limited to.
以上説明したように,本発明によれば,重要領域情報が追加/削除されても,重要領域以外の部分の付加データを正しくデコードできるようにし,埋め込んだメッセージを正しく抽出できる。また,改ざん検出時には,重要領域情報の改ざん等によって,重要領域となった領域や,重要領域でなくなった領域を,改ざんとして検出し,また,それ以外の部分の改ざん位置を特定することが可能である。 As described above, according to the present invention, even if important area information is added / deleted, it is possible to correctly decode the additional data in a portion other than the important area, and to correctly extract the embedded message. In addition, when tampering is detected, it is possible to detect areas that have become important areas or areas that are no longer important areas by tampering with important area information, etc., and identify the tampering positions of other parts. It is.
以下に添付図面を参照しながら,本発明にかかる電子透かし埋め込み装置,電子透かし検証装置,電子透かし埋め込み方法,および電子透かし検証方法の好適な実施の形態について詳細に説明する。なお,本明細書および図面において,実質的に同一の機能構成を有する構成要素については,同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of a digital watermark embedding device, a digital watermark verification device, a digital watermark embedding method, and a digital watermark verification method according to the present invention will be described below in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.
(第1の実施の形態)
本実施の形態にかかる電子透かし埋め込み装置,電子透かし検証装置,電子透かし埋め込み方法,および電子透かし検証方法について説明する。まず,電子透かし埋め込み装置の構成について説明する。
図1は,第1の実施の形態にかかる電子透かし埋め込み装置の構成を示す説明図である。図2は,図1の電子透かし埋め込み装置を,JPEG2000圧縮器へ適用した場合を示す説明図である。
(First embodiment)
A digital watermark embedding device, a digital watermark verification device, a digital watermark embedding method, and a digital watermark verification method according to this embodiment will be described. First, the configuration of the digital watermark embedding device will be described.
FIG. 1 is an explanatory diagram showing the configuration of the digital watermark embedding apparatus according to the first embodiment. FIG. 2 is an explanatory diagram showing a case where the digital watermark embedding apparatus of FIG. 1 is applied to a JPEG2000 compressor.
本実施の形態の電子透かし埋め込み装置は,図1に示したように,画像データを入力するための画像入力端子1と,画像入力端子1から入力された画像データを,ブロックに分割するブロック化部100と,重要領域情報を入力する重要領域情報入力端子2と,ブロック化された画像データから署名データを生成する署名生成部101と,署名生成部101から得られる署名データを埋め込む署名埋め込み部102と,署名データ埋め込み後の画像データを出力する画像出力端子3を備えて構成される。
As shown in FIG. 1, the digital watermark embedding apparatus according to the present embodiment includes an
また,図1の電子透かし埋め込み装置をJPEG2000圧縮器へ適用した場合,図2に示したように,さらに,カラー画像の場合にカラー空間を変換するカラー変換部50と,ウェーブレット変換を行うウェーブレット変換部51と,ウェーブレット係数を量子化する量子化部52と,電子透かしの埋め込まれた係数と重要領域情報を符号化する符号化部53を備えて構成される。そして,画像出力端子3は,電子透かしが埋め込まれた画像のビットストリームを出力する。
When the digital watermark embedding apparatus shown in FIG. 1 is applied to a JPEG2000 compressor, as shown in FIG. 2, a
次いで,電子透かし検証装置の構成について説明する。
図3は,本実施の形態にかかる電子透かし検証装置の構成を示す説明図である。図4は,図3の電子透かし検証装置を,JPEG2000伸張器へ適用した場合を示す説明図である。
Next, the configuration of the digital watermark verification apparatus will be described.
FIG. 3 is an explanatory diagram showing the configuration of the digital watermark verification apparatus according to this embodiment. FIG. 4 is an explanatory diagram showing a case where the digital watermark verification apparatus of FIG. 3 is applied to a JPEG2000 decompressor.
電子透かし検証装置は,図3に示したように,画像データを入力するための画像入力端子10と,画像入力端子10から入力された画像データを,ブロックに分割するブロック化部200と,重要領域情報を入力する重要領域情報入力端子11と,電子透かし埋め込み装置で埋め込まれた署名を抽出する署名抽出部201と,ブロック化された画像データから署名データを生成する署名生成部202と,抽出された署名と生成した署名を比較する署名比較部203と,比較結果を出力する比較結果出力端子12を備えて構成される。
As shown in FIG. 3, the digital watermark verification apparatus includes an
また,図3の電子透かし検証装置をJPEG2000伸張器へ適用した場合,図4に示したように,さらに,JPEG2000ビットストリームを復号し,ウェーブレット係数と重要領域情報を出力する復号部204を備えて構成される。
In addition, when the digital watermark verification apparatus of FIG. 3 is applied to a JPEG2000 decompressor, as shown in FIG. 4, a
本実施の形態にかかる電子透かし埋め込み装置および電子透かし検証装置は以上のように構成されている。次いで,電子透かし埋め込み装置および電子透かし検証装置の動作について説明する。 The digital watermark embedding device and the digital watermark verification device according to the present embodiment are configured as described above. Next, operations of the digital watermark embedding device and the digital watermark verification device will be described.
まず,電子透かし埋め込み装置の動作について説明する。
電子透かしを埋め込むターゲット画像の画像データを画像入力端子1へ入力する。ピクセルデータへ直接電子透かしを埋め込む場合は,入力データはピクセルデータとなる。また,周波数空間上での電子透かしの場合は,ウェーブレット係数やDCT係数となる。
First, the operation of the digital watermark embedding apparatus will be described.
The image data of the target image in which the digital watermark is embedded is input to the
画像入力端子1へ入力される画像データは,ブロック化部100へ渡される。ブロック化部100では,入力された画像データを,所定サイズ(M×Nサイズとする)のブロックへ分割する。ピクセルデータへの電子透かしの場合は,M×Nピクセルのブロックとなり,また,周波数空間上での電子透かしの場合は,ウェーブレット変換やDCT後の係数空間上での,M×N係数のブロックとなる。このブロックは,ピクセル空間上で同じ位置を示す,異なる周波数の係数群で構成してもよいし,ピクセル空間上で近い位置を示す,同じ周波数の係数群で構成してもよい。
Image data input to the
署名生成部101は,図5に示したように,ブロック化部100によってブロック化された単位で,署名データを生成する。署名データは,ブロック係数をSHA1等のハッシュ関数で得られたハッシュ値や,ハッシュ値をRSA等で暗号化したもの,ハッシュ値の一部などが用いられる。生成された署名データは,生成元ブロックの改ざんを検証するために用いられる。
As illustrated in FIG. 5, the
図6は,ブロックの署名データ生成の一例を示す説明図である。
署名データは,図6に示したように,複数ブロックをまとめてハッシュ値を求めてブロック数分分割してもよく,また,複数ブロック分のハッシュ値を連結したものでもよい。また,異なる方式や,異なる領域単位で生成した値を結合したものでもよい。
FIG. 6 is an explanatory diagram showing an example of signature data generation for a block.
As shown in FIG. 6, the signature data may be obtained by collecting a plurality of blocks and obtaining a hash value and dividing it by the number of blocks, or by concatenating hash values for a plurality of blocks. Also, different methods or values generated in different area units may be combined.
署名埋め込み部102は,ブロック化部100から得られる各ブロックに,署名生成部101から得られる署名データを埋め込む。署名データの埋め込みは,図5に示したように,各ブロックから生成した署名データを,生成元のブロックに埋め込んでもよい。この場合,署名データの生成に使用する部分は,署名データ埋め込みに使用できないため,埋め込みに使用する部分以外から,署名データを生成する。また,署名データを生成するブロックと署名データを埋め込むブロックを,異なるブロックとしてもよい。
The
図7は,埋め込みデータと埋め込まれる位置の関係を示す説明図である。
ブロック内の埋め込み位置は,図7に示したように,疑似ランダムシーケンスや,置換テーブルでスクランブルできる。
FIG. 7 is an explanatory diagram showing the relationship between embedded data and embedded positions.
As shown in FIG. 7, the embedding position in the block can be scrambled by a pseudo-random sequence or a replacement table.
図8は,重要領域使用時の重要領域と非重要領域の署名埋め込み関係を示す説明図である。
画像データ内で重要領域として設定する座標情報を,重要領域情報入力端子2へ入力する。重要領域と,重要領域用署名データを埋め込む非重要領域に対する署名埋め込み部102の動作は,図8に示したように,以下のようになる。
(1)重要領域の署名データは,重要領域に埋め込まれない。
(2)重要領域の署名データは,周囲の非重要領域に埋め込まれる。
(3)非重要領域には,非重要領域の署名データに加えて,重要領域の署名データを埋め込む。
FIG. 8 is an explanatory diagram showing the signature embedding relationship between the important area and the unimportant area when the important area is used.
Coordinate information set as an important area in the image data is input to the important area
(1) The signature data in the important area is not embedded in the important area.
(2) The signature data in the important area is embedded in the surrounding non-important area.
(3) The signature data of the important area is embedded in the non-important area in addition to the signature data of the non-important area.
非重要領域に埋め込む重要領域の署名データは,重要領域ブロック単位に,それぞれ非重要領域ブロックへ埋め込むことができる。その他,全重要領域の署名データすべてを連結し,埋め込む非重要領域分に分割して埋め込むこともできる。 The signature data of the important area embedded in the non-important area can be embedded in the non-important area block for each important area block. In addition, all the signature data in all important areas can be linked and divided into non-important areas to be embedded.
また,重要領域の署名データは,特定の非重要領域のみに埋め込んでもよいし,図9に示すように,重要領域周囲の非重要領域ブロックにのみ埋め込むようにしてもよい。 The signature data of the important area may be embedded only in a specific non-important area, or may be embedded only in non-important area blocks around the important area as shown in FIG.
図10は,重要領域の署名データを,重要領域周囲の非重要領域ブロックにのみ埋め込む場合の埋め込み処理の一例を示すフローチャートである。この例では,3種類の疑似ランダムシーケンス(または置換テーブル)A,B,Cを用いるものとする。 FIG. 10 is a flowchart illustrating an example of an embedding process when embedding signature data in an important area only in non-important area blocks around the important area. In this example, three types of pseudo-random sequences (or replacement tables) A, B, and C are used.
まず,疑似ランダムシーケンスAを初期化する(ステップS301)。そして,疑似ランダムシーケンスAによって,次に埋め込むブロックを決定する(ステップS302)。ステップS302で決定されたブロックが重要領域ブロックであるか,非重要領域ブロックであるかを判断し(ステップS303),重要領域ブロックである場合には,再びステップS302に戻る。 First, a pseudo random sequence A is initialized (step S301). Then, the block to be embedded next is determined by the pseudo random sequence A (step S302). It is determined whether the block determined in step S302 is an important area block or a non-important area block (step S303). If it is an important area block, the process returns to step S302 again.
ステップS302で決定されたブロックが非重要領域ブロックである場合には,疑似ランダムシーケンスBによって,疑似ランダムシーケンスCを初期化した後(ステップS304),以下に説明するように,その非重要領域ブロックに,非重要領域の署名データと重要領域の署名データを順に埋め込む。 If the block determined in step S302 is a non-important region block, the pseudo-random sequence C is initialized by the pseudo-random sequence B (step S304), and then the non-important region block is described as described below. The signature data of the non-important area and the signature data of the important area are embedded in order.
まず,非重要領域の署名データを埋め込む。まず,疑似ランダムシーケンスCによって,埋め込み位置を決定する(ステップS305)。そして,決定された埋め込み位置に,非重要領域の署名データを埋め込む(ステップS306)。ステップS305〜S306は,ブロック内への埋め込みが完了するまで繰り返される(ステップS307)。ブロック内への非重要領域の署名データの埋め込みが完了すると,次に,重要領域の署名データを埋め込む。まず,疑似ランダムシーケンスCによって,埋め込み位置を決定する(ステップS308)。そして,決定された埋め込み位置に,重要領域の署名データを埋め込む(ステップS309)。ステップS309〜S310は,ブロック内への埋め込みが完了するまで繰り返される(ステップS311)。 First, the signature data of the non-important area is embedded. First, the embedding position is determined by the pseudo random sequence C (step S305). Then, the signature data of the non-important area is embedded in the determined embedding position (step S306). Steps S305 to S306 are repeated until the embedding in the block is completed (step S307). When the embedding of the signature data of the non-important area in the block is completed, the signature data of the important area is then embedded. First, the embedding position is determined by the pseudo random sequence C (step S308). Then, the signature data of the important area is embedded at the determined embedding position (step S309). Steps S309 to S310 are repeated until the embedding in the block is completed (step S311).
ブロック内に,すべてのデータ埋め込みが完了したかを判断し(ステップS311),まだ埋め込みデータがある場合には,上記ステップS301〜S310を繰り返し,すべてのデータ埋め込みが完了した時点で処理を終了する。 It is determined whether or not all data embedding is completed in the block (step S311). If there is still embedding data, the above steps S301 to S310 are repeated, and the process is terminated when all the data embedding is completed. .
図11は,署名埋め込み位置の概略を示す説明図である。
非重要領域への署名データ埋め込み時,埋め込み順序は,図11に示したようになる。図11(a)は,重要領域用署名データを埋め込まない場合,図11(b)は,重要領域用署名データを埋め込む場合を示している。非重要領域用の署名データは,重要領域の有無にかかわらず,位置が変化しないように埋め込まれる。このため,重要領域情報の有無は,非重要領域ブロックの有無に影響しない。なお,埋め込み位置は,図7に示したように,スクランブルされてもよい。
FIG. 11 is an explanatory diagram showing an outline of the signature embedding position.
When the signature data is embedded in the non-important area, the embedding order is as shown in FIG. FIG. 11A shows a case where important area signature data is not embedded, and FIG. 11B shows a case where important area signature data is embedded. The signature data for the non-important area is embedded so that the position does not change regardless of the existence of the important area. For this reason, the presence or absence of important area information does not affect the presence or absence of non-important area blocks. The embedding position may be scrambled as shown in FIG.
また,厳密に改ざんを検出するために,埋め込み位置以外のすべてから署名データを作る場合は,図12に示したように,まず,重要領域用署名データを埋め込んでから,非重要領域ブロック用署名データを埋め込む。 In addition, in order to detect tampering strictly, when creating signature data from all except the embedding position, as shown in FIG. 12, first, the important area signature data is embedded, and then the non-important area block signature is embedded. Embed the data.
図13は,この場合の電子透かし埋め込み装置を示す説明図である。
切り替え部20は,図13に示したように,重要領域用署名データを埋め込むための非重要領域ブロック署名を生成する場合は接点Bへ,それ以外の場合は接点Aへ切り替える。重要領域用署名データを埋め込むための非重要領域ブロック署名を生成する場合は,以下のような処理の流れとなる。
(1)切り替え部20を接点Aへ接続する。
(2)署名生成部101により,重要領域用の署名データを生成する。
(3)署名埋め込み部102により,重要領域用の署名データを,非重要領域ブロックに埋め込む。
(4)切り替え部20を接点Bへ接続する。
(5)署名埋め込み部102により,重要領域用署名データを埋め込まれた非重要領域ブロックを,署名生成部101へ渡す。
(6)署名生成部101では,非重要領域ブロック用署名を生成する。
(7)重要領域用署名データの埋め込まれたブロックに,図12に示したように,非重要領域ブロック用署名データを埋め込む。
FIG. 13 is an explanatory diagram showing the digital watermark embedding apparatus in this case.
As shown in FIG. 13, the switching unit 20 switches to the contact B when generating the non-important area block signature for embedding the important area signature data, and switches to the contact A in other cases. When a non-important area block signature for embedding the important area signature data is generated, the following processing flow is performed.
(1) Connect the switching unit 20 to the contact A.
(2) The
(3) The
(4) Connect the switching unit 20 to the contact B.
(5) The
(6) The
(7) As shown in FIG. 12, the non-important area block signature data is embedded in the block in which the important area signature data is embedded.
画像出力端子3は,署名データ埋め込み後の画像データを出力する。 The image output terminal 3 outputs the image data after the signature data is embedded.
以上,電子透かし埋め込み装置の動作について説明した。
次いで,電子透かし検証装置の動作について説明する。
The operation of the digital watermark embedding apparatus has been described above.
Next, the operation of the digital watermark verification apparatus will be described.
電子透かしを検証するターゲット画像の画像データを画像入力端子10へ入力する。ピクセルデータへ直接電子透かしが埋め込まれている場合は,入力データはピクセルデータとなる。また,周波数空間上での電子透かしの場合は,ウェーブレット係数やDCT係数となる。
The image data of the target image for verifying the digital watermark is input to the
画像入力端子10へ入力される画像データは,ブロック化部200へ渡される。ブロック化部200では,入力された画像データを,所定サイズ(電子透かし埋め込み側と同様に,M×Nサイズとする)のブロックへ分割する。ピクセルデータへの電子透かしの場合は,M×Nピクセルのブロックとなり,また,周波数空間上での電子透かしの場合は,ウェーブレット変換やDCT後の係数空間上での,M×N係数のブロックとなる。
Image data input to the
署名抽出部201は,画像データに埋め込まれた署名データを抽出する。抽出には,署名データ埋め込み時と同じ手法により埋め込み位置を決定し,埋め込んだ位置からデータを抽出することで行う。電子透かし埋め込み側で,複数の署名を結合や分割している場合は,その逆処理を行い,元の署名を生成する。電子透かし埋め込み側でハッシュ値等を暗号化している場合,ここで暗号をデコードし,元のデータに戻し,署名比較部203へ渡す。抽出時は,重要領域情報入力端子11から入力される重要領域情報を使用し,重要領域からは署名データの抽出を行わず,そのかわり,非重要領域から,電子透かし埋め込み時と同じ方法によって埋め込み位置を特定し,署名データの抽出を行う。
The
署名生成部202は,ブロック化部200によってブロック化された単位で,署名データを生成する。生成は,電子透かし埋め込み側と同様の方法により行われる。ただし,電子透かし埋め込み側で暗号化などを使用している場合,ここで暗号化を行う必要はなく,署名抽出部201で暗号のデコードを行う。署名生成部202は,生成した署名データを署名比較部203へ渡す。
The
署名比較部203では,署名抽出部201と,署名生成部202の署名データを比較する。署名データが一致したブロックは改ざんなし,一致しないブロックは,改ざんありとする。
The
(A)電子透かし埋め込み側で設定した重要領域情報が設定されない場合
非重要領域ブロックの署名の抽出は,重要領域の設定にかかわらず同じである。従って,重要領域の有無にかかわらず改ざん検出可能となる。
重要領域ブロックとして電子透かし埋め込み処理が行われたブロックの署名データは,非重要領域ブロックへ埋め込まれているが,重要領域情報がないため,重要領域ブロック自身から,署名データの抽出を試みる。しかし,得られる署名データはでたらめな値となるため,重要領域ブロックは,改ざんブロックとして検出される。
(A) When the important area information set on the digital watermark embedding side is not set The signature extraction of the non-important area block is the same regardless of the setting of the important area. Therefore, tampering can be detected regardless of the presence or absence of an important area.
The signature data of the block subjected to the digital watermark embedding process as the important area block is embedded in the non-important area block, but since there is no important area information, the signature data is tried to be extracted from the important area block itself. However, since the obtained signature data has random values, the important area block is detected as a falsified block.
(B)電子透かし埋め込み側で設定していない重要領域情報が設定された場合
非重要領域ブロックの署名の抽出は,重要領域の設定にかかわらず同じである。従って,重要領域の有無にかかわらず改ざん検出可能となる。
重要領域ブロックと設定されたブロックの署名データは,元々非重要領域ブロックとして,ブロック自身に埋め込まれている。しかし,重要領域ブロックとして設定されたため,周囲の非重要領域から署名データの抽出を試みる。しかし,得られる署名データはでたらめな値となるため,重要領域と設定した部分は改ざんブロックとして検出される。
(B) When important area information not set on the digital watermark embedding side is set The signature extraction of the non-important area block is the same regardless of the setting of the important area. Therefore, tampering can be detected regardless of the presence or absence of an important area.
The signature data of the block set as the important area block is originally embedded in the block itself as a non-important area block. However, since it is set as an important area block, it tries to extract signature data from surrounding non-important areas. However, since the signature data obtained is a random value, the important area and the set part are detected as tampered blocks.
署名比較部203による比較結果は,比較結果出力端子12から出力される。
The comparison result by the
(第1の実施の形態の効果)
以上説明したように,本実施の形態によれば,以下の効果が得られる。
(a)重要領域に対して,ロスレスのまま,改ざん検証を行える。
(b)重要領域情報が削除された場合も,全面改ざんとならずに,重要領域を改ざん領域として検出できる他,他の改ざんブロックの位置を特定できる。
(c)重要領域情報が付与された場合も,全面改ざんとならずに,重要領域となった部分を改ざん領域として検出できる他,他の改ざんブロックの位置を特定できる。
(Effects of the first embodiment)
As described above, according to the present embodiment, the following effects can be obtained.
(A) Tampering verification can be performed on important areas without loss.
(B) Even when important area information is deleted, the important area can be detected as a falsified area without being falsified entirely, and the position of another falsified block can be specified.
(C) Even when the important area information is given, it is possible to detect the part of the important area as a falsified area without identifying the whole area, and to specify the position of another falsified block.
(第2の実施の形態)
図14は,第2の実施の形態にかかる電子透かし埋め込み装置の構成を示す説明図である。図13に示した上記第1の実施の形態にかかる電子透かし埋め込み装置に対し,メッセージ入力端子5をさらに備えたことを特徴とする。
(Second Embodiment)
FIG. 14 is an explanatory diagram showing the configuration of the digital watermark embedding apparatus according to the second embodiment. The digital watermark embedding apparatus according to the first embodiment shown in FIG. 13 further includes a
図15は,第2の実施の形態にかかる電子透かし検証装置の構成を示す説明図である。図3に示した上記第1の実施の形態にかかる電子透かし検出装置に対し,メッセージ出力端子13をさらに備えたことを特徴とする。
FIG. 15 is an explanatory diagram of a configuration of the digital watermark verification apparatus according to the second embodiment. The digital watermark detection apparatus according to the first embodiment shown in FIG. 3 further includes a
次いで,本実施の形態にかかる電子透かし埋め込み装置および電子透かし検証装置の動作について説明する。まず,電子透かし埋め込み装置の動作について説明する。 Next, operations of the digital watermark embedding device and the digital watermark verification device according to the present embodiment will be described. First, the operation of the digital watermark embedding apparatus will be described.
署名埋め込み部102は,メッセージ入力端子5から入力されたメッセージを,各ブロックへ埋め込む。メッセージが埋め込まれたブロックの場合,詳細に改ざんを検出する場合はメッセージを埋め込んでから,メッセージ埋め込み済みのデータから,署名生成部101によって署名データを生成する。
The
図16,図17は,メッセージの埋め込み位置を示す説明図である。
メッセージの埋め込み位置は,例えば図16に示したように,埋め込むメッセージサイズを埋め込む。これにより,メッセージの後に続く重要領域用署名データを取得できるようになる。また,例えば図17に示したように,メッセージ開始位置のフラグやオフセットを埋め込む方法もある。この場合,非重要領域ブロックが改ざんされ,メッセージのサイズが正しく抽出できなくなった場合でも,重要領域用署名データを正しく抽出することができ,重要領域の改ざん誤検出を低減できる。
16 and 17 are explanatory diagrams showing message embedding positions.
As the message embedding position, for example, as shown in FIG. 16, the message size to be embedded is embedded. As a result, the signature data for the important area following the message can be acquired. Further, for example, as shown in FIG. 17, there is a method of embedding a flag or offset of the message start position. In this case, even when the non-important area block is tampered and the message size cannot be extracted correctly, the signature data for the important area can be correctly extracted, and erroneous detection of the important area can be reduced.
この他,メッセージや署名データの埋め込み位置を固定にする方法や,各フィールドで同期フラグの埋め込みを行って,改ざん時のデータ抽出耐性を向上させることができる。 In addition, it is possible to improve the data extraction resistance at the time of tampering by fixing the embedding position of the message and signature data and embedding the synchronization flag in each field.
その他の動作は,上記第1の実施の形態の動作と実質的に同様であるため,重複説明を省略する。
次いで,電子透かし検証装置の動作について説明する。
Since other operations are substantially the same as the operations of the first embodiment, a duplicate description is omitted.
Next, the operation of the digital watermark verification apparatus will be described.
署名抽出部201は,電子透かし埋め込み側で埋め込んだメッセージを抽出し,メッセージ出力端子13から出力する。メッセージや署名データの埋め込み位置の決定は,電子透かし埋め込み側と同様の方法で行う。
その他の動作は,上記第1の実施の形態の動作と実質的に同様であるため,重複説明を省略する。
The
Since other operations are substantially the same as the operations of the first embodiment, a duplicate description is omitted.
(A)電子透かし埋め込み側で設定した重要領域情報が設定されない場合
図16に示したメッセージの埋め込み位置の場合,重要領域の有無にかかわらず,非重要領域のメッセージは正しく抽出できる。重要領域の部分については,メッセージが埋め込まれていないが,でたらめなメッセージが抽出できる場合がある。これは,エラー訂正符号化や,メッセージ自体に電子署名やハッシュ値を持たせることで,破棄できる。
(A) When the important area information set on the digital watermark embedding side is not set In the case of the message embedding position shown in FIG. 16, the message in the non-important area can be correctly extracted regardless of the presence or absence of the important area. In the important area part, no message is embedded, but sometimes a random message can be extracted. This can be discarded by error correction coding or by giving an electronic signature or hash value to the message itself.
図17に示したメッセージの埋め込み位置の場合,重要領域の有無にかかわらず,非重要領域のメッセージは正しく抽出できる。また,非重要領域ブロックが改ざんされた場合でも,重要領域用署名データを埋め込んだ部分が改ざんされていなければ,重要領域用署名データを抽出できる。
重要領域の部分については,何も埋め込まれていないが,でたらめなメッセージが抽出できる場合がある。これは,エラー訂正符号化や,メッセージ自体に電子署名やハッシュ値を持たせることで,破棄できる。
In the case of the message embedding position shown in FIG. 17, the message in the non-important area can be correctly extracted regardless of the presence or absence of the important area. Even if the non-important area block is tampered with, the important area signature data can be extracted if the embedded area of the important area signature data is not tampered.
In the important area, nothing is embedded, but a random message may be extracted. This can be discarded by error correction coding or by giving an electronic signature or hash value to the message itself.
(B)電子透かし埋め込み側で設定していない重要領域情報が設定された場合
図16,図17に示したメッセージの埋め込み位置の場合,重要領域の有無にかかわらず,非重要領域のメッセージは正しく抽出できる。新たに設定された重要領域の部分については,検証時に重要領域からメッセージを抽出しないため,メッセージは抽出されない。
(B) When the important area information not set on the digital watermark embedding side is set In the case of the message embedding position shown in FIGS. 16 and 17, the message in the non-important area is correct regardless of the presence or absence of the important area. Can be extracted. For the newly set important area part, the message is not extracted because the message is not extracted from the important area at the time of verification.
(第2の実施の形態の効果)
以上説明したように,本実施の形態によれば,以下の効果が得られる。
(d)重要領域情報の有無にかかわらず,非重要領域に埋め込んだメッセージを正しく抽出できる。
(Effect of the second embodiment)
As described above, according to the present embodiment, the following effects can be obtained.
(D) A message embedded in a non-important area can be correctly extracted regardless of the presence / absence of important area information.
(第3の実施の形態)
図18は,第3の実施の形態にかかる電子透かし埋め込み装置の構成を示す説明図である。図14に示した上記第2の実施の形態にかかる電子透かし埋め込み装置に対し,メッセージ分割部110をさらに備えたことを特徴とする。
(Third embodiment)
FIG. 18 is an explanatory diagram of a configuration of the digital watermark embedding device according to the third embodiment. The electronic watermark embedding apparatus according to the second embodiment shown in FIG. 14 further includes a
図19は,第3の実施の形態にかかる電子透かし検証装置の構成を示す説明図である。図15に示した上記第2の実施の形態にかかる電子透かし検出装置に対し,メッセージ結合部210をさらに備えたことを特徴とする。
FIG. 19 is an explanatory diagram of a configuration of the digital watermark verification apparatus according to the third embodiment. The digital watermark detection apparatus according to the second embodiment shown in FIG. 15 further includes a
次いで,本実施の形態にかかる電子透かし埋め込み装置および電子透かし検証装置の動作について説明する。まず,電子透かし埋め込み装置の動作について説明する。 Next, operations of the digital watermark embedding device and the digital watermark verification device according to the present embodiment will be described. First, the operation of the digital watermark embedding apparatus will be described.
メッセージ分割部110は,メッセージ入力端子5から入力されたメッセージを,埋め込み対象ブロック数を上限に分割する。分割時に,各分割後のメッセージが,元のメッセージのどの部分のメッセージであったかを示すアドレス情報を,保存する。アドレス情報は,例えば,メッセージ先頭からのバイト数,分割メッセージのバイト数,分割メッセージの位置を示すインデックスなど,元の位置を復元できるものであればなんでもよい。
The
図20は,ブロック単位の埋め込みメッセージ分割方法を示す説明図である。
図20に示したように,各分割したメッセージの先頭には,ヘッダ情報が付与される。ヘッダ情報には,メッセージの位置を示すアドレス情報を保存する。また,この他,巡回冗長検査(Cyclic Redundancy Check:CRC)などの誤り検出符号などを保存してもよい。CRCは,数バイト単位等細かい単位で付与してもよい。また,元のメッセージ自体に,エラー訂正符号化や,繰り返しなどを用いたエラー耐性を持たせてもよい。
FIG. 20 is an explanatory diagram showing an embedded message dividing method in units of blocks.
As shown in FIG. 20, header information is added to the head of each divided message. Address information indicating the message position is stored in the header information. In addition, an error detection code such as cyclic redundancy check (CRC) may be stored. The CRC may be assigned in fine units such as several bytes. In addition, the original message itself may have error resistance using error correction coding or repetition.
その他の動作は,上記第2の実施の形態の動作と実質的に同様であるため,重複説明を省略する。
次いで,本実施の形態にかかる電子透かし検証装置の動作について説明する。
Other operations are substantially the same as the operations of the second embodiment, and thus redundant description is omitted.
Next, the operation of the digital watermark verification apparatus according to this embodiment will be described.
図21は,メッセージ結合方法を示す説明図である。
メッセージ結合部210は,図21に示したように,抽出したメッセージのヘッダ情報を読み取り,元のメッセージ全体で,どの位置にあるかを決定する。ヘッダに,CRC等のエラー検出符号が含まれている場合は,エラーを検出したメッセージを破棄する。
FIG. 21 is an explanatory diagram showing a message combining method.
As shown in FIG. 21, the
すべてのブロックから抽出されたメッセージを結合し,元のメッセージ全体を構成する。
その他の動作は,上記第2の実施の形態の動作と実質的に同様であるため,重複説明を省略する。
Combining messages extracted from all blocks to compose the entire original message.
Other operations are substantially the same as the operations of the second embodiment, and thus redundant description is omitted.
(A)電子透かし埋め込み側で設定した重要領域情報が設定されない場合
重要領域の有無にかかわらず,非重要領域ブロックのメッセージは正しく抽出できる。元重要領域ブロックについては,メッセージが埋め込まれていないが,でたらめなメッセージが抽出できる場合がある。これは,図22に示したように,ヘッダにCRCを入れることで破棄したり,メッセージ全体をエラー訂正符号化や,データの繰り返しと多数決処理を行うことで,元のデータを復元できる。
(A) When the important area information set on the digital watermark embedding side is not set The message of the non-important area block can be correctly extracted regardless of the presence or absence of the important area. For the original important area block, a message is not embedded, but a random message may be extracted. As shown in FIG. 22, the original data can be restored by discarding it by putting CRC in the header, by performing error correction coding on the entire message, or by repeating data and majority processing.
(B)電子透かし埋め込み側で設定していない重要領域情報が設定された場合
重要領域の有無にかかわらず,非重要領域ブロックのメッセージは正しく抽出できる。
(B) When important area information not set on the digital watermark embedding side is set The message of the non-important area block can be correctly extracted regardless of the presence or absence of the important area.
新たに設定された重要領域の部分については,メッセージを抽出しないため,メッセージは欠落する。これは,図22に示したように,メッセージ全体をエラー訂正符号化や,データの繰り返しと多数決処理を行うことで,元のデータを復元できる。 Since the message is not extracted for the newly set important area, the message is lost. As shown in FIG. 22, the original data can be restored by performing error correction coding on the entire message or by repeating data and voting.
(第3の実施の形態の効果)
以上説明したように,本実施の形態によれば,以下の効果が得られる。
(e)重要領域情報の有無にかかわらず,全メッセージを正しく抽出できる。
(f)重要領域情報の追加/削除にかかわらず,全メッセージを正しく抽出できる。
(Effect of the third embodiment)
As described above, according to the present embodiment, the following effects can be obtained.
(E) All messages can be correctly extracted regardless of the presence or absence of important area information.
(F) All messages can be correctly extracted regardless of addition / deletion of important area information.
(第4の実施の形態)
図23,図24は,第4の実施の形態にかかる電子透かし検証装置の構成を示す説明図である。図23に示した電子透かし検証装置は,図3に示した上記第1の実施の形態にかかる電子透かし検証装置に対し,署名比較部203の比較結果出力を,署名抽出部201へ入力する構成としたことを特徴とする。図24に示した電子透かし検証装置は,図15に示した上記第2の実施の形態にかかる電子透かし検証装置に対し,署名比較部203の比較結果出力を,署名抽出部201へ入力する構成としたことを特徴とする。
(Fourth embodiment)
FIG. 23 and FIG. 24 are explanatory diagrams showing the configuration of the digital watermark verification apparatus according to the fourth embodiment. The digital watermark verification apparatus shown in FIG. 23 is configured to input the comparison result output of the
本実施の形態にかかる電子透かし検証装置の動作について説明する。 The operation of the digital watermark verification apparatus according to this embodiment will be described.
署名抽出部201は,署名比較部203によって改ざんと判定された重要領域ブロックを,非重要領域ブロックとみなして署名データの抽出や,メッセージの抽出を行う。
The
署名抽出部201から得られた署名データと,署名生成部202から得られた署名データを比較し,一致した場合は改ざんなしとする。この場合,非重要領域から重要領域へ変わったことを,通知してもよい。
The signature data obtained from the
この他,図25に示したように,電子透かし埋め込み時に,各ブロックに非重要領域ブロック識別情報を埋め込んでおき,重要領域ブロックからこの情報が抽出できた場合,元々非重要領域ブロックとみなして情報の抽出を行うこともできる。非重要領域ブロック識別情報は,疑似ランダムシーケンスによって得られる値や,固定値,座標から得られる値などを用いることができる。ただし,重要領域の署名データは変更できないため,偶然,非重要領域識別コードと同様の値となっていても,それを避けるようにデータを変更することができない。このため,非重要領域ブロック識別情報だけでは,厳密に,元々非重要領域であったかどうか,判別不可能である。このため,署名データ等の抽出も必要である。ただし,非重要領域ブロック情報が一致しない場合は,署名を抽出する前に,抽出処理を中止することができる。 In addition, as shown in FIG. 25, when embedding a digital watermark, non-important area block identification information is embedded in each block, and if this information can be extracted from the important area block, it is regarded as an unimportant area block. Information can also be extracted. As the non-important area block identification information, a value obtained by a pseudo random sequence, a fixed value, a value obtained from coordinates, or the like can be used. However, since the signature data in the important area cannot be changed, the data cannot be changed so as to avoid it even if the value is accidentally the same value as the non-important area identification code. For this reason, it is impossible to determine whether or not the area was originally an unimportant area by using only the non-important area block identification information. For this reason, it is necessary to extract signature data and the like. However, if the non-important area block information does not match, the extraction process can be stopped before extracting the signature.
その他の動作は,上記第1,第2の実施の形態の動作と実質的に同様であるため,重複説明を省略する。 Other operations are substantially the same as the operations of the first and second embodiments, and thus redundant description is omitted.
(第4の実施の形態の効果)
以上説明したように,本実施の形態によれば,以下の効果が得られる。
(g)重要領域情報が改ざんされ,非重要領域から重要領域へ変更された場合に,改ざんとしてでなく,領域情報の変更として,変更された領域を検出できる。
(h)重要領域情報の追加にかかわらず,全メッセージを正しく抽出できる確率が高くなる。
(Effect of the fourth embodiment)
As described above, according to the present embodiment, the following effects can be obtained.
(G) When the important area information is falsified and changed from the non-important area to the important area, the changed area can be detected not as falsification but as a change in the area information.
(H) The probability that all messages can be correctly extracted regardless of the addition of important area information is increased.
(第5の実施の形態)
本実施の形態にかかる電子透かし検証装置の構成は,図23に示した上記第4の実施の形態にかかる電子透かし検証装置と実質的に同様である。
(Fifth embodiment)
The configuration of the digital watermark verification apparatus according to this embodiment is substantially the same as that of the digital watermark verification apparatus according to the fourth embodiment shown in FIG.
本実施の形態にかかる電子透かし検証装置の動作について説明する。 The operation of the digital watermark verification apparatus according to this embodiment will be described.
署名抽出部201は,署名比較部203によって改ざんと判定された非重要領域ブロックを,重要領域ブロックとみなして,周囲の非重要領域から署名データの抽出を行う。抽出を行う対象ブロックは,重要領域の署名データを埋め込む時に,位置を決定する方法と同様の方法で決定する。例えば,電子透かし埋め込み時に,重要領域の右端に隣接する非重要領域ブロックから,時計回りに重要領域周りの非重要領域に対して順番に署名データを埋め込んでいく場合,隣接する重要領域ブロックとみなしたブロックで重要領域を推定し,推定された重要領域の右端の非重要領域ブロックから時計回りに署名データの抽出を行う。
The
署名抽出部201から得られた署名データと,署名生成部202から得られた署名データを比較し,一致した場合は改ざんなしとする。この場合,重要領域から非重要領域へ変わったことを,通知してもよい。
The signature data obtained from the
この他,図26に示したように,電子透かし埋め込み時に,各ブロックに重要領域署名データフラグを埋め込んでもよい。この場合,重要領域用署名データがない場合は,重要領域用署名データがないことを示すフラグを,重要領域用署名データがある場合は,重要領域用署名データがあることを示すフラグを保存する。 In addition, as shown in FIG. 26, an important area signature data flag may be embedded in each block at the time of embedding a digital watermark. In this case, if there is no important area signature data, a flag indicating that there is no important area signature data is stored, and if there is important area signature data, a flag indicating that there is important area signature data is stored. .
非重要領域の改ざんブロックの周囲から,重要領域用署名データがあることを示すフラグとなっているブロックが存在した場合,改ざんブロックを重要領域とみなして,周囲の重要領域用署名のあるブロックの重要領域用署名データを使用して,改ざん検出を行う。 If there is a block that is flagged that there is signature data for important area from around the falsified block in the non-important area, the falsified block is regarded as the important area and Tamper detection is performed using the signature data for critical areas.
その他の動作は,上記第4の実施の形態の動作と実質的に同様であるため,重複説明を省略する。 Other operations are substantially the same as the operations of the fourth embodiment, and a duplicate description is omitted.
(第5の実施の形態の効果)
以上説明したように,本実施の形態によれば,以下の効果が得られる。
(i)重要領域情報が改ざんされ,重要領域から非重要領域へ変更された場合に,改ざんとしてでなく,領域情報の変更として,変更された領域を検出できる。
(Effect of 5th Embodiment)
As described above, according to the present embodiment, the following effects can be obtained.
(I) When the important area information is altered and changed from the important area to the non-important area, the changed area can be detected not as tampering but as the area information is changed.
(第6の実施の形態)
図27,図28は,第6の実施の形態にかかる電子透かし検証装置の構成を示す説明図である。本実施の形態にかかる電子透かし検証装置は,図23,図24に示した上記第4の実施の形態にかかる電子透かし検証装置に対し,重要領域情報入力端子11を削除したことを特徴とする。
(Sixth embodiment)
27 and 28 are explanatory diagrams illustrating the configuration of the digital watermark verification apparatus according to the sixth embodiment. The digital watermark verification apparatus according to the present embodiment is characterized in that the important area
本実施の形態にかかる電子透かし検証装置の動作について説明する。
署名抽出部201は,重要領域/非重要領域にかかわらず,すべて,非重要領域の方法を用いて署名データの抽出を行う。
The operation of the digital watermark verification apparatus according to this embodiment will be described.
The
署名比較部203によって改ざんとなった情報を,署名抽出部201へ渡す。
The information altered by the
図29は,本実施の形態の動作を示す説明図である。
署名抽出部201では,図29に示したように,改ざんとならなかったブロックに埋め込まれた重要領域署名フラグ(図26参照)を抽出し,重要領域を推定する。例えば,改ざんブロックが,重要領域署名フラグで重要領域用署名を持っていると示されている領域ブロックに囲まれている場合,その内部に閉じこめられた改ざんブロックを重要領域とみなしてもよい。また,実際は,改ざんなどがあるため,重要領域署名フラグで重要領域用署名を持っていると示されている領域ブロックが,環状に閉じていない場合がある。この場合,想定できるパターンで改ざんブロックと重要領域用署名データを比較し,もっともよく適合するパターンを結果として出力してもよい。
FIG. 29 is an explanatory diagram showing the operation of the present embodiment.
As shown in FIG. 29, the
その他の動作は,上記第1,第2,第3の実施の動作と実質的に同様であるため,重複説明を省略する。 Other operations are substantially the same as the operations of the first, second, and third embodiments, and thus redundant description is omitted.
(第6の実施の形態の効果)
以上説明したように,本実施の形態によれば,以下の効果が得られる。
(j)検出側で,重要領域情報が不要となる。
(Effect of 6th Embodiment)
As described above, according to the present embodiment, the following effects can be obtained.
(J) The important area information is not required on the detection side.
以上,添付図面を参照しながら本発明にかかる電子透かし埋め込み装置,電子透かし検証装置,電子透かし埋め込み方法,および電子透かし検証方法の好適な実施形態について説明したが,本発明はかかる例に限定されない。当業者であれば,特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the digital watermark embedding device, the digital watermark verification device, the digital watermark embedding method, and the digital watermark verification method according to the present invention have been described above with reference to the accompanying drawings, but the present invention is not limited to such examples. . It will be obvious to those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea described in the claims, and these are naturally within the technical scope of the present invention. It is understood that it belongs.
例えば,上記実施の形態では,フラジャイル電子透かしについて説明したが,ロバスト電子透かしにも適用可能である。例えば,図18,19に示した上記第3の実施の形態を応用する場合を例に挙げ,図30,図31を参照しながら説明すると,図18に示した署名埋め込み部102は,図30に示したメッセージ埋め込み部300となり,図19に示した署名抽出部201は,メッセージ抽出部301となる。メッセージ埋め込み部300は,署名データでなく,メッセージのみを埋め込むところが,図18に示した署名埋め込み部102と異なる。また,メッセージ抽出部301は,署名データでなく,メッセージのみを抽出するところが,図19に示した署名抽出部201と異なる。ただし,メッセージの埋め込み/抽出方法は上記第3の実施の形態と実質的に同様である。
For example, in the above embodiment, the fragile digital watermark has been described, but the present invention can also be applied to a robust digital watermark. For example, a case where the third embodiment shown in FIGS. 18 and 19 is applied will be described as an example, and will be described with reference to FIGS. 30 and 31. The
本発明は,画像に情報を埋め込む電子透かし埋め込み装置,電子透かし検証装置,電子透かし埋め込み方法,および電子透かし検証方法に適用可能である。 The present invention can be applied to a digital watermark embedding device, a digital watermark verification device, a digital watermark embedding method, and a digital watermark verification method for embedding information in an image.
1 画像データ入力端子
2 重要領域情報入力端子
3 埋め込み後画像データ出力端子
5 メッセージ入力端子
12 比較結果出力端子
13 メッセージ出力端子
20 切り替え部
50 カラー変換部
51 ウェーブレット変換部
52 量子化部
53 符号化部
100 ブロック化部
101 署名生成部
110 メッセージ分割部
102 署名埋め込み部
202 署名生成部
203 署名比較部
DESCRIPTION OF
Claims (8)
電子透かしを検証するターゲット画像の画像データが入力される画像入力端子と,
前記入力された画像データを,所定サイズのブロックに分割するブロック化部と,
前記各ブロックが,重要領域に属するか非重要領域に属するかに関する重要領域情報が入力される重要領域情報入力端子と,
前記ブロック化された単位で,前記重要領域情報に従って,重要領域からは署名データの抽出を行わず,周囲の非重要領域から,重要領域及び非重要領域の前記署名データを抽出する署名抽出部と,
前記ブロック化された単位で,署名データを生成する署名生成部と,
前記署名抽出部が抽出した署名データと,前記署名生成部が生成した署名データとを比較する署名比較部と,
前記署名比較部による比較結果を出力する比較結果出力端子と,
を備え,
前記署名比較部の比較結果出力が,前記署名抽出部へ入力されることを特徴とする,電子透かし検証装置。 In the digital watermark verification device,
An image input terminal for inputting image data of a target image for verifying the digital watermark;
A blocking unit for dividing the input image data into blocks of a predetermined size;
An important area information input terminal into which important area information related to whether each of the blocks belongs to an important area or a non-important area;
A signature extraction unit for extracting the signature data of the important area and the non -important area from the surrounding non-important area without extracting the signature data from the important area according to the important area information in the block unit; ,
A signature generation unit for generating signature data in the block unit;
A signature comparison unit that compares the signature data extracted by the signature extraction unit with the signature data generated by the signature generation unit;
A comparison result output terminal for outputting a comparison result by the signature comparison unit;
Equipped with a,
The digital watermark verification apparatus , wherein the comparison result output of the signature comparison unit is input to the signature extraction unit .
画像入力手段により,電子透かしを検証するターゲット画像の画像データが入力される画像入力工程と,
前記入力された画像データを,ブロック化手段により所定サイズのブロックに分割するブロック化工程と,
重要領域情報入力手段により,前記各ブロックが,重要領域に属するか非重要領域に属するかに関する重要領域情報が入力される重要領域情報入力工程と,
前記ブロック化された単位で,前記重要領域情報に従って,重要領域からは署名データの抽出を行わず,周囲の非重要領域から,重要領域及び非重要領域の前記署名データを署名抽出手段により抽出する署名抽出工程と,
前記ブロック化された単位で,署名生成手段により署名データを生成する署名生成工程と,
前記署名抽出工程において抽出した署名データと,前記署名生成工程において生成した署名データとを,署名比較手段により比較する署名比較工程と,
前記署名比較工程による比較結果を,比較結果出力手段により出力する比較結果出力工程と,
を含み,
前記署名抽出手段は,前記署名比較工程の比較結果出力を用いて,前記署名抽出工程を再度行うことを特徴とする,電子透かし検証方法。 A digital watermark verification method,
The image input unit, an image input step of image data of the target image to verify the electronic watermark is input,
A blocking step of dividing the input image data into blocks of a predetermined size by blocking means ;
An important area information input step in which important area information regarding whether each block belongs to an important area or a non-important area is input by an important area information input means;
In the block unit, the signature data is not extracted from the important area according to the important area information, and the signature data of the important area and the non-important area is extracted from the surrounding non-important areas by the signature extracting unit . Signature extraction process;
A signature generation step of generating signature data by the signature generation means in the block unit;
A signature comparison step of comparing the signature data extracted in the signature extraction step with the signature data generated in the signature generation step by a signature comparison unit ;
A comparison result output step of outputting the comparison result of the signature comparison step by a comparison result output means ;
Only including,
The digital watermark verification method, wherein the signature extraction means performs the signature extraction step again using the comparison result output of the signature comparison step .
The signature extracting means, in the signature extraction process, from the region enclosed by the blocks by the important area signed flag embedded in the non-critical regions it has been shown to have the signature data for the important region, the important area The digital watermark verification method according to claim 5 , wherein estimation is performed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003279855A JP4144469B2 (en) | 2003-07-25 | 2003-07-25 | Digital watermark verification apparatus and digital watermark verification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003279855A JP4144469B2 (en) | 2003-07-25 | 2003-07-25 | Digital watermark verification apparatus and digital watermark verification method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005045710A JP2005045710A (en) | 2005-02-17 |
JP4144469B2 true JP4144469B2 (en) | 2008-09-03 |
Family
ID=34265847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003279855A Expired - Fee Related JP4144469B2 (en) | 2003-07-25 | 2003-07-25 | Digital watermark verification apparatus and digital watermark verification method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4144469B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4882315B2 (en) * | 2005-09-02 | 2012-02-22 | 富士通セミコンダクター株式会社 | Functional unit |
JP5046047B2 (en) * | 2008-10-28 | 2012-10-10 | セイコーインスツル株式会社 | Image processing apparatus and image processing program |
KR101038108B1 (en) * | 2009-05-22 | 2011-06-08 | 주식회사 파일태그 | Method of generating image file for forgery verification and method of forgery verification |
CN112102908A (en) * | 2020-09-22 | 2020-12-18 | 合肥易康达医疗卫生信息科技有限公司 | Credible cloud signature method for electronic medical record |
-
2003
- 2003-07-25 JP JP2003279855A patent/JP4144469B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005045710A (en) | 2005-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4155956B2 (en) | Digital watermark embedding apparatus and method, and digital watermark extraction apparatus and method | |
Yang et al. | A contrast-sensitive reversible visible image watermarking technique | |
US6834344B1 (en) | Semi-fragile watermarks | |
US7360093B2 (en) | System and method for authentication of JPEG image data | |
Mobasseri et al. | Data embedding in JPEG bitstream by code mapping | |
US20040145661A1 (en) | Image processing method, and image processing apparatus | |
US7313696B2 (en) | Method for authentication of JPEG image data | |
JP4024153B2 (en) | Digital watermark embedding method and encoding device and decoding device capable of using the method | |
Verma et al. | A New color image watermarking scheme | |
JP4218539B2 (en) | Digital watermark embedding device, digital watermark detection device, digital watermark embedding method, and digital watermark detection method | |
US7493489B2 (en) | System and method for authentication of JPEG image data | |
US20140355759A1 (en) | Robust Watermark | |
Liew et al. | Tamper localization and lossless recovery watermarking scheme | |
JP4144469B2 (en) | Digital watermark verification apparatus and digital watermark verification method | |
JP5086951B2 (en) | Image generation apparatus, image generation method, computer-executable program, and computer-readable recording medium | |
WO2007085632A1 (en) | Method of watermarking digital data | |
Zhu et al. | Multimedia authentication and watermarking | |
JP3805141B2 (en) | Image processing method and apparatus, and storage medium | |
JP2007060280A (en) | Digital content preparation device, digital content alteration detector and digital content alteration judging system | |
Chen et al. | Self-recovery fragile watermarking scheme with variable watermark payload | |
Makur et al. | Tamper-proof image watermarking using self-embedding | |
D’Angelo et al. | Watermark-based authentication | |
Sun et al. | A crypto signature scheme for image authentication over wireless channel | |
Hassan et al. | Variable block-size image authentication with localization and self-recovery | |
JP3949029B2 (en) | Digital watermark detection apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080527 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080609 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |