JP4089128B2

JP4089128B2 - Digital watermark embedding method, digital watermark verification method, and original image restoration method

Info

Publication number: JP4089128B2
Application number: JP2000139833A
Authority: JP
Inventors: 靖博三井
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2000-05-12
Filing date: 2000-05-12
Publication date: 2008-05-28
Anticipated expiration: 2020-05-12
Also published as: JP2001320578A

Description

【０００１】
【発明の属する技術分野】
この発明は画像に対する電子透かし埋込み方法に関するものである。本発明はまた、元画像復元方法及び電子透かし検証方法に関する。
【０００２】
【従来の技術】
電子透かし技術は、例えば日経エレクトロニクス１９９７．２．２４（ｎｏ．６８３）に述べられているように、「著作権保護」の為に適用することが提案されており、画像品質を損なわないように、そして埋め込んだ透かしができるだけ消えないようにする方法が数多く提案されてきた。
【０００３】
一方、改竄防止の電子透かしとしては、ハッシュ情報や、特開平１０−２０８０２６に述べられるようにスタンピング情報を元画像に埋込み、その情報を抽出し、比較することによって、改竄を検出するという技術が提案されている。
【０００４】
電子透かしの埋込みまたは検出の際に用いられる電子透かし鍵は、一般に電子透かしを秘密裏に埋め込む為のパターンを生成するために用いられている。つまり電子透かしから擬似乱数を生成し、それを利用して埋め込むデータや埋め込む画素の選び方を複雑にすることによって、わかりにくくしている。
【０００５】
図２３に従来構成を示し、図２４に電子透かしの基本方法を示す。図２３において、元画像１０１は電子透かしの埋込みの対象となる画像である。電子透かし埋込み装置１０２は透かし鍵１０３を基に擬似乱数生成部１０７ａで乱数１０８ａを生成し、電子透かし埋込み部１１２は乱数１０８ａを用いて電子透かしを埋込み（１２０）、原本画像１０４を生成し、出力する。
【０００６】
電子透かし検証装置１０５では、透かし鍵１０３を基に擬似乱数生成部１０７ｂで乱数１０８ｂを生成し、電子透かし検証部１１５は乱数１０８ｂを用いて原本画像１０４から電子透かしを抽出し（１２２）、抽出された電子透かしを検証し、検証結果１０６を出力する。
【０００７】
図２４において、元画像１０１及び原本画像１０４は画素の集合として表現している。各矩形部分がそれぞれ１つの画素であり中に画素番号を記述している。矩形部分がハッチングされているか否かで、その画素の色を示している。ハッチングを施した矩形部分が黒色であり画素値は「１」、ハッチングされていない矩形部分が白色で画素値は「０」である。透かし情報１０９は埋め込む情報を「１」または「０」の２値で示し、矩形部分のハッチングの有無は画素の色を示している。乱数１０８ａ、１０８ｂは画素番号をランダムに並べたものである。
【０００８】
電子透かしを埋め込む際には、乱数１０８ａを用いて透かし情報１０９を元画像１０１に埋め込む。乱数１０８ａで示される画素番号の最初の値は▲２▼であり、透かし情報１０９の最初の値は「１」である。そのため、元画像１０１の画素▲２▼の画素値を「１」に置き換える。乱数１０８ａの次の値は▲４▼であり、透かし情報１０９の次の値は「０」であるため、元画像１０１の画素▲４▼の画素値を「０」に置き換える。この結果原本画像１０４ができる。
【０００９】
電子透かしを抽出する際には、埋込み時と同じ乱数１０８ｂ（埋込み時と同じ透かし鍵１０３を基にして生成された乱数）を用いて透かし情報１１０を原本画像１０４から抽出する。乱数１０８ｂの最初の値は▲２▼であり、原本画像１０４の画素番号▲２▼の画素値は「１」であるため、透かし情報１１０の最初の値として「１」が抽出される。乱数２０３の次の値は▲４▼であり、原本画像１０４の画素番号▲４▼の画素値は「０」であるため、透かし情報１１０の次の値として「０」が抽出される。これによって抽出された透かし情報１１０は埋め込んだ透かし情報１０９と同じ値となる。
【００１０】
これまでの電子透かしの適用において、電子透かしの埋込みは、除去を考えて構成されたものではなかった。また除去が可能というものも、せいぜい対象画像とは別に画像全体の元画像との差分情報を保持しておき、それを用いて電子透かし埋込み済み画像から電子透かしを除去するものであった。
【００１１】
元々電子透かしは、人間の視覚的に影響がないように考えられており、視覚的にはそれほど変化があるわけではない。しかしながら、元画像に対しては必ず変化が起きているわけであり、明らかに元画像とは異なる。また、医療用画像などのように、元画像でないと利用できないような画像もあり、それらに対しての電子透かしの適用は、コンピュータセキュリティシンポジウム”９８論文集（ＩＰＳＪ Symposium Series Ｖol.98 No.12）「ＥＺＷビットストリームを用いたＲＯＩ (注目領域：region of interests)医用画像に適した電子透かし方式（pp.57−62）」のようにＲＯＩと呼ばれる重要な部分には電子透かしを埋め込まず、その周りにのみ埋め込むといった方法をとっていた。
【００１２】
【発明が解決しようとする課題】
以上のように、従来、元画像を復元することができる好ましい電子透かし埋込み方法が知られていなかった。
【００１３】
本発明の目的は、元画像を復元することができる電子透かし埋込み方法を提供することにある。
【００１４】
本発明の他の目的は、復元鍵の偽造が困難な電子透かし埋込み方法を提供することにある。
【００１５】
本発明のさらに他の目的は、電子透かしを埋め込んだ画像と、その画像を復元するための復元情報を一つの画像として構成することができる電子透かし埋込み方法を提供することにある。
【００１６】
【課題を解決するための手段】
本発明は、
透かし鍵を用いて乱数を発生するステップと、
上記乱数により指定される元画像のデータに、上記乱数により指定される順に、透かし情報を埋め込んで原本画像を作成するステップと、
透かし情報を埋め込む前の元画像のデータを含む復元鍵を生成するステップとを含み、
上記復元鍵として、上記元画像のデータとともに、これに対応する原本画像のデータを含むものを生成する
電子透かし埋込み方法により生成された上記原本画像及び上記復元鍵と、上記透かし鍵とを用いて元画像を復元する元画像復元方法において、
上記復元鍵に含まれる原本画像のデータと、上記原本画像のうちの、上記復元鍵に含まれるデータに対応するデータとを照合することにより、上記原本画像及び上記復元鍵がともに正当のものであるかどうかを検証するステップを含むことを特徴とする元画像復元方法を提供する。
本発明はまた、
透かし鍵を用いて乱数を発生するステップと、
上記乱数により指定される元画像のデータに、上記乱数により指定される順に、透かし情報を埋め込んで原本画像を作成するステップと、
透かし情報を埋め込む前の元画像のデータを含む復元鍵を生成するステップと、
上記復元鍵を構成するデータを乱数により順序を変更するステップと
を含むことを特徴とする電子透かし埋込み方法を提供する。
本発明はさらに、
元画像をビットプレーン拡張するステップと、
透かし鍵を用いて乱数を発生するステップと、
上記乱数により指定される上記ビット拡張した元画像の画素の値に、上記乱数により指定される順に、透かし情報を埋め込んで原本画像を作成するステップと
透かし情報を埋め込む前の元画像の画素の値を含む復元情報を生成して、上記原本画像に保持させるステップとを含む電子透かし埋込み方法を提供する。
【００１７】
【発明の実施の形態】
図１、図２、図３、及び図４はこの発明の実施の形態１を示す。図１は電子透かしの埋込み及び検証を行うための構成を示す。図示の構成は、図２３に示す従来の構成と同様であるが、従来技術と異なり、電子透かし埋込み装置２０２の電子透かし埋込み部２１２から復元鍵２１１を出力する。
【００１８】
図２は電子透かし埋込みと復元鍵生成の方法を示す図である。復元鍵２１１は透かし情報２０９と同じく「１」または「０」の２値で示し、矩形部分内のハッチングの有無は「１」ならば黒色、「０」ならば白色で示している。
【００１９】
図１及び図２に示す構成で、従来と同様な電子透かしの埋込み及び検証を行う場合には、各装置およびその構成部分の動作は従来の構成とほとんど同じである。異なるのは、本発明では画像を復元する為の鍵となる復元鍵２１１を出力することである。
【００２０】
図１及び図２において、元画像２０１は電子透かしの埋込みの対象となる画像である。電子透かし埋込み装置２０２は透かし鍵２０３を基に擬似乱数生成部２０７ａで乱数２０８ａを生成し、電子透かし埋込み部２１２は乱数２０８ａを用いて電子透かしを埋込み（２１９）、原本画像２０４を生成し、出力する。
【００２１】
電子透かし検証装置２０５では、透かし鍵２０３を基に擬似乱数生成部２０７ｂで乱数２０８ｂを生成し、電子透かし検証部２１５は乱数２０８ｂを用いて原本画像２０４から電子透かしを抽出し、抽出された電子透かしを検証し、検証結果２０６を出力する。
【００２２】
電子透かし埋込み装置２０２は、上記のように電子透かしを埋め込む際に電子透かし埋込み部２１２において復元鍵２１１を生成し、出力する。復元鍵２１１は透かし情報２０９によって置き換えられた元画像２０１の画素値である。つまり電子透かしを埋め込む際に、まず元画像２０１の画素番号▲２▼の画素値「０」が最初の透かし情報「１」で置き換えられるため、復元鍵２１１の最初の値は「０」であり、次に元画像２０１の画素番号▲４▼の画素値「１」が２番目の透かし情報「０」で置き換えられるため、復元鍵２１１の２番目の値は「１」となる。
【００２３】
図３は電子透かし埋込み及び画像復元を行う際の構成であり、図４は原本画像２０４、乱数２０８ｂ及び復元鍵２１１から復元画像２２６を生成する方法を示す。図３に示す画像復元装置２２０は、図１の電子透かし検証装置２０５と同様の擬似乱数生成部２０７ｂを備えるほか、擬似乱数生成部２０７ｂと画像を復元する画像復元部２２５を備える。擬似乱数生成部２０７ｂは透かし鍵２０３を基に埋込み時と同じ乱数２０８ｂを生成する。画像復元部２２５は、擬似乱数生成部２０７ｂで生成された乱数２０８ｂを入力とし、さらに電子透かし埋込み装置２０２から出力された原本画像２０４と復元鍵２１１を入力として、画像を復元し（２２１）、復元された画像である復元画像２２６を出力する。
【００２４】
図４に示すように、画像の復元の動作は、埋込み時と逆である。つまり乱数２０８ｂで示される画素番号の最初の値は▲２▼であり、復元鍵２１１の最初の値は「０」である。そのため、原本画像２０４の画素▲２▼の画素値を「０」に置き換える。乱数２０８ｂの次の値は▲４▼であり、復元鍵２１１の次の値は「１」であるため、原本画像２０４の画素▲４▼の画素値を「１」に置き換える。この結果復元画像２２６ができ、これは図２で示した元画像２０１と同じ画像である。
【００２５】
以上のように、実施の形態１によれば、電子透かし埋込み時に変更した部分の画素値から復元鍵を生成し、必要な時に復元鍵を用いて電子透かしを埋め込んだ画像から元の画像を復元することができる。
【００２６】
ここで作成される復元鍵の情報量は位置情報などを含まず、埋め込まれた透かし情報（即ち、変更された画素情報）と同じ量であり、復元に必要な最小情報量である。差分情報と比較しても、差分情報は画像と同じ大きさとして保持されるか、位置情報と画素情報の集合として保持されるため、絶対的に少なくなる。また処理の増加は画素値の置換だけである。
【００２７】
また復元鍵の値は乱数を基にランダムに並べられている為、乱数生成方法が分からなければ、原本画像と復元鍵から元画像を生成することは困難である。
【００２８】
図２及び図４で示す埋込み及び復元方法では、復元鍵をすり替えられた場合に検出する手段がないため、一般的な暗号手法と共に使うのが望ましい。例えば、システムとして復元鍵は基本的に移動させないで、特定の復元装置だけで必要な時に復元を行う場合は、復元鍵を暗号化し電子署名をつけてその装置内に保存し、復元したい原本画像があれば、それを復元装置に送り署名確認及び復号化を行った後復元することができるし、復元装置も分散させ復元鍵を原本画像と共に移動させる場合は、復元鍵と原本画像を一緒にアーカイブして（まとめて圧縮して）暗号化したり、相互に電子署名をつけるといった手法を取ることができる。
【００２９】
図５及び図６で示す埋込み及び復元方法（実施の形態２）のように、原本画像の情報を復元鍵に含めることによって復元鍵の検証を行うことができる。
【００３０】
図５において、復元鍵２３１は透かし情報２０９を画像に埋め込む（２２２）ことによって変化した画素の埋込み後と埋込み前の画素値から構成される。まず画素番号▲２▼の埋込み後画素値「１」と埋込み前画素値「０」であり、次に画素番号▲４▼の埋込み後画素値「０」と埋込み前画素値「１」である。
【００３１】
図６に復元時の動作を示す。不正な偽造復元鍵２３４が供給された場合、復元（２２３）に際し、まず画素番号▲２▼の画素に対して偽造復元鍵２３４の埋込み後画素値は「１」であり、原本画像２０４の値も「１」であるため照合が成立し、偽造復元２３４で示される埋込み前画素値「０」に置き換えられる。次に画素番号▲４▼の画素に対して偽造復元鍵２３４の埋込み画素値は「１」であるが、原本画像２０４の画素値は「０」である。よってこの時点で復元鍵２３４と原本画像２０４が一致しないことが検出できる。システム的に復元鍵が改竄されていないことが保証できる場合は、「原本画像が改竄されているか否かどうか」という検証にもなりうる。
【００３２】
上記のように埋込み画素値と原本画像の画素値の不一致が検出されたときは、復元画像（２２６）は生成されないが、不一致が検出されないときは、復元画像が生成される。
【００３３】
この実施の形態２は復元鍵のサイズは実施の形態１と比べて２倍に増えているが、処理の流れとして、実施の形態１と同様に復号する為に必ずアクセスしなければならない画素だけをチェックしているため、処理としては比較処理が増えているだけであり、処理時間の増加は非常に少ない。
【００３４】
実施の形態２では変更画素の埋込み後画素値のみを比較する。意味のある改竄（例えば、画像中に含まれる文字を他の文字に変える変更、画像中の人物を他の人物に変える変更）を行う為には或る程度の大きさを持った改竄を行う必要があるため、大抵の場合はこの方法で問題は生じないと考えられる。
【００３５】
更に安全にするために、原本画像全体の情報を復元鍵に含めることもできる。図７に示す埋込み方法（実施の形態３）では、透かしを埋込む（２１９）ことにより生成された原本画像２０４全体のハッシュ値２４２を生成し（２２４）、これを復元鍵２４１に含めることによって原本画像２０４との対応を更に保証する。
【００３６】
即ち、このようにして透かしが埋込まれた原本画像を検証／復元する側においては、図８に示すように、乱数２０８ｂと、埋込み側から送られた復元鍵２４１とを用いて、原本画像２０４から復元画像２２６を得る（２２７）。また、原本画像２０４からハッシュ値２４３を生成し（２２８）、埋込み側から送られた復元鍵２４１内のハッシュ値２４２と照合する（一致するかどうか調べる：２４５）。そして一致していれば、原本画像２０４及び復元鍵２４１がともに改竄されていないものと判断する。一致しなければ、原本画像２０４及び復元鍵２４１の少なくとも一方が改竄されているものと判断する。原本画像２０４及び復元鍵２４１の一方について、他の方法で改竄されていないことが保証される場合には、これらの他方が改竄されているものと判断する。図８の検証結果２４７は、これらの判断の結果を表わす。
【００３７】
このように、実施の形態２と同様に、システム的に復元鍵が改竄されていないことが保証できる場合は、「原本画像が改竄されているか否かどうか」という検証になりうる。
【００３８】
なお、ハッシュ値のサイズはハッシュ関数によって固定であり、埋め込む電子透かし情報量が多い場合は、復元鍵のサイズが実施の形態２より小さくなるという利点もある。
【００３９】
また、実施の形態２では埋込み後の画素値のみを比較しているため、復元鍵の偽造検証として各画素の電子透かし埋込み前の値だけを変更した場合に不正が検出できない。そのため埋込み後画素値と埋込み前画素値の順番がわからないようにランダムに並べ替える方が安全である。実施の形態３においても復元鍵内におけるハッシュ値の位置が固定であると偽造し易いため同様である。
【００４０】
図９に示す埋込み方法（実施の形態４）では、電子透かしを元画像２０１に埋込んで原本画像を得るとともに（２２２）、電子透かし埋込み及び抽出に使う乱数２０８ａを利用して復元鍵２３１をランダム化して（ランダムに並べ替えて）復元鍵２５１を生成する（２４９）。即ち、復元鍵２３１のデータに最初から順番に番号付け（例では▲１▼〜▲４▼）し、乱数２０８ａでの出現順序によってデータを並び替える。図示の例では、乱数２０８ａの最初が▲２▼のため、復元鍵２５１の最初の値は復元鍵２３１の２番目の値「０」、乱数２０８ａの２番目の値は▲４▼のため復元鍵２５１の２番目の値は復元鍵２３１の４番目の値「１」、残る「１」と「３」のうち、乱数２０８ａの中で次に「１」が出現する為、復元鍵２５１の３番目の値は復元鍵２３１の１番目の値である「１」、復元鍵２５１の最後の値は復元鍵２３１の３番目の値である「０」となる。この方法であれば、乱数はもともと生成されている為、復元鍵の値を並び替える処理を追加するだけで良い。
【００４１】
なお、復元鍵のランダム化に用いる乱数としては、埋込み位置の決定に用いる乱数とは異なるものを用いても良い。この場合には、復元鍵のランダム化に用いた乱数を発生する鍵を復元側にも与える必要がある。
【００４２】
図９の方法で透かしを埋込まれた原本画像を復元するには、図１０に示すように、埋込み側から送られて来た復元鍵を逆ランダム化し（復元鍵のデータの順序を元に戻し：２５２）して元の復元鍵２５３を生成し、これを（乱数２０８ｂとともに）用いて、画像を復元する（２５４）。この場合（復元鍵を逆ランダム化する場合）、ランダム化（データの順序の変更）の逆を行う。上記の例では、復元鍵は４ビットであり、乱数の順番から、▲２▼、▲４▼、▲１▼、▲３▼と並んでいるので、その順番を並び変える。
【００４３】
代りに、埋込み側から送られて来た復元鍵をそのまま（乱数２０８ｂとともに）用いて、画像を復元しても良い。この場合（逆ランダム化を行わない場合）、ランダム化（データの順序を変える）前の復元鍵とランダム化後の復元鍵の関係は、乱数（ランダム化に用いた乱数）から分かり、またランダム化前の復元鍵と復元画素値も乱数から分かる。上記の例では、最初の値は、ランダム化前の復元鍵▲２▼の値、その値はまた乱数を見て、画素▲４▼の復元画素の値であることが分かる。それ以下も、「ランダム化前の復元鍵の▲１▼の値→画素▲２▼復元画素値」、「ランダム化前の復元鍵の▲３▼の値→画素▲９▼の復元画素値」と同様に復元画素値を得る。
【００４４】
実施の形態１ないし実施の形態４では、元画像を復元する為の情報を復元鍵として外部に出力していたが、管理が複雑となる。以下に述べる実施の形態５ないし９は、復元鍵を生成せず、代りに画像データを拡張し復元情報を画像データ内に含めるものである。
【００４５】
図１１及び図１２に実施の形態５を示す。
【００４６】
図１１は、電子透かし埋込み方法を示す。元画像２０１は１ビットのビットプレーンから成る画像（１ビット画像と呼ぶ）、拡張画像３０１はビットプレーン１３０２、ビットプレーン０３０３の２ビットのビットプレーンから成る画像（２ビット画像と呼ぶ）であり、原本画像３０４は、ビットプレーン０３０５及びビットプレーン１３０６から成るもので、拡張画像３０１（ビットプレーン３０２、３０３から成る）に乱数１０８ａを用いて透かし情報１０９を埋め込んだ画像である。
【００４７】
即ち、１ビット画像である画像２０１は２ビット画像である拡張画像３０１（ビットプレーン３０２、３０３から成る）に拡張される（２６１）。この例では拡張は元画像２０１をビットプレーン１３０２とし、ビットプレーン０３０３の値はすべて「０」とした。
【００４８】
電子透かしの埋込み（２６３）はビットプレーン１３０２に対して、先に述べた実施の形態、例えば図２の実施の形態と同様に埋込みが行われ、その結果原本画像のビットプレーン１３０５が生成される。それと共に透かし情報が埋め込まれた画素（例では画素番号▲２▼と▲４▼の画素）の埋込み前画素値を原本画像のビットプレーン０３０６に保持することによって、原本画像３０５，３０６を生成する。
【００４９】
図１２は、電子透かし抽出および画像復元方法を示す。原本画像３０４（ビットプレーン３０５、３０６から成る）は電子透かしが埋め込まれ、かつ復元情報を持っている。透かし情報３１９は電子透かし抽出によって抽出された情報である。復元画像３０７のうちビットプレーン１３０８は復元された画像である（ビットプレーン０３０９は復元後不要であるので、必ずしも生成されるものではないが、生成可能であることを示すため図示している）。
【００５０】
図１２において、電子透かしの抽出（２６５）は原本画像のビットプレーン１３０５から従来と同様の抽出方法で行うことができる。画像復元（２６５）は電子透かし抽出と共に行われ、電子透かし抽出を行った画素のプレーン０３０９の画素値をプレーン１３０５の画素値にコピーする。その結果生成されたビットプレーン１３０８が復元された復元画像であり、これは図１１に示す元画像２０１と同一である（同一となるはずのものである）。
【００５１】
以上のように、実施の形態５によれば、電子透かしを埋め込んだ画像とその画像を元画像に復元する為の復元情報を１つの画像として構成することができる。
【００５２】
この方法において復元情報は原本画像のビットプレーン０にしか含まれておらず、またこのプレーンの変更に対する検証がないため、このプレーンに復元情報が含まれていることがわかると復元情報の偽造が可能であり、またプレーン１に埋め込まれた電子透かしの解析もわかりやすくなってしまう。このため、改竄検出を行える電子透かしを、復元情報を含むビットプレーンに適用する方法（実施の形態６）を図１３及び図１４に示す。
【００５３】
図１３において、拡張画像３０１（プレーン１３０２及びプレーン０３０３から成る）は、図１１に示すものと同じである。拡張画像３０１のプレーン１３０２に対する電子透かし２０９の埋込み（２６７）も図１１の透かし埋込み２６３と同様である。但し、プレーン１３０２への透かし埋込み前の画素値を復元情報として保持するビットプレーン０３１３（図１１のプレーン０３０６と同じ）は中間画像３１１を構成するものとして、これにさらに、透かしを埋め込む（２６９）ことによって、原本画像３１４のプレーン０３１６を生成する。原本画像３１４のプレーン１３１５は、図１１のプレーン１３０５と同じものである。
【００５４】
プレーン０３１３に対する透かしの埋込みに当たっては、プレーン１３０２に対する透かし埋込み（２６７）で使用したのと同じ乱数２０８ａのうち、上記透かし埋込み（２６７）で使っていない画素番号に対応するものを使用する。それによって、プレーン０３１３に含まれた復元情報を壊さないで透かし情報３２９を埋め込むことができる。この例では乱数の１番目（値：▲２▼）と２番目の値（値：▲４▼）はプレーン１に電子透かしを埋め込むために使用しているため、プレーン０への電子透かしは３番目（値：▲９▼）と４番目（値▲１▼）で示される画素に透かし情報３２９を埋め込む。その結果、プレーン０３１３の画素番号▲９▼の画素値は、透かし情報３２９の１番目の値「０」で、画素番号▲１▼の画素値は、透かし情報３２９の２番目の値「１」で置き換えられ、原本画像のプレーン０３１６が生成できる。
【００５５】
復元時には、図１４に示すように、まずプレーン０の透かし情報（３２９）を抽出し（２７０）、その値を検証することによって、改竄検出可能な電子透かしを検証し、改竄されていないことを確認し（２７１）、その後プレーン０の復元情報をプレーン１に適用することによって画像の復元を行う（２７３）ことができる。
【００５６】
プレーン０に改竄検出可能な電子透かしを埋め込むことによって、プレーン０の改竄を検出することができ、また復元情報しか含まれていなかったプレーン０に新たな電子透かしの情報が入り画像の複雑度が増し、プレーン１へ埋め込んだ電子透かしへの攻撃が難しくなる。
【００５７】
上記の実施の形態５及び実施の形態６並びに後述の実施の形態７はビットプレーン拡張可能な画像であれば適用可能である。ビットマップフォーマットとして良く知られたＢＭＰ/ＤＩＢ (device independent bitmap) 形式としては、１ビット、４ビット、８ビット、１６ビット、２４ビット、３２ビットがある。また基本的に電子透かしは１つの画素に１ビット若しくは３ビット（ＲＧＢ毎に１ビット）程度しか埋め込むことはないため、
１ビット画像→（１＋１）ビット必要→４ビット画像
４ビット画像→（４＋１）ビット必要→８ビット画像
８ビット画像→（８＋１）ビット必要→１６ビット画像
１６ビット画像→（１６＋３）又は（１６＋１）ビット必要→２４または３２ビット画像
２４ビット画像→（２４＋３）又は（２４＋１）ビット必要→３２ビット画像
に拡張して適用できる。
【００５８】
ビットプレーン拡張の方法として、実施の形態５で示したように単純に０または１に値が固定されたプレーンを追加することが一番簡単である。しかしながら、ビットプレーンが複数ある画像を拡張する場合、固定値のプレーンを追加するだけでは元画像との色の違いが大きくなる。そのためその場合は画素値を考慮したビットプレーン拡張を行う必要がある。
【００５９】
図１５に２ビットのビットプレーンを持つ元画像の値のプレーン拡張を例として示すが、単純にプレーン追加では最適な画素値にならないため、画素値が最適な値になるように（即ち、元画像の各画素の値と拡張画像の対応する画素の値とが等価な関係となるように）画素値を決めることによって元画像と等価に見える拡張画像を作ることができる。
【００６０】
上記方法で生成した最適な拡張画像は単純プレーン追加の場合と異なり、ほとんどの場合使っていないプレーンが無い。そのため電子透かし埋込み方法も変える必要がある。
【００６１】
図１６に最適な拡張を行った拡張画像に電子透かしを埋め込む値の割当て例を示す。埋め込む際に埋め込んだ値と元の画素値が分かる（埋込み後の値から元の画素値を一意的に決めることができる）画素値にすることで、電子透かしを埋込み、かつ画像を復元することができる。
【００６２】
図１６の値割当て例を用いた電子透かし埋込み（４１１）の例を実施の形態７として図１７に示す。乱数４０３ａの１番目の値が▲２▼であり透かし情報４０２の１番目の値が「０」であるため、画素番号▲２▼の画素に「０」を埋め込むために拡張画像４０４の画素番号▲２▼の画素値「０１０１」を「０１００」に変更し、乱数４０３ａの２番目の値が▲４▼であり透かし情報４０２の２番目の値が「１」あるため、画素番号▲４▼の画素に「１」を埋め込むために拡張画像４０４の画素番号▲４▼の画素値「１０１０」を「１０１１」に変更し、乱数４０３ａの３番目の値が▲９▼であり、透かし情報４０２の３番目の値が「１」であるため、画素番号▲９▼の画素に「１」を埋め込むために拡張画像４０４の画素番号▲９▼の画素値「００００」を「０００１」に変更し、乱数４０３ａの４番目の値が▲５▼であり透かし情報４０２の４番目の値が「０」であるため、画素番号▲５▼の画素に「０」を埋め込むための拡張画像４０４の画素番号▲５▼の画素値「１１１１」を「１１１０」に変更することによって原本画像４０６を生成する。
【００６３】
図１８に電子透かし抽出（４１３）及び画像復元（４１５）の例を示す。乱数４０３ｂの１番目の値が▲２▼であり原本画像４０６の画素番号▲２▼の画素値が「０１００」であるため、「０」が埋め込まれていることが分かり透かし情報４２２の１番目の値は「０」と抽出され、画素値「０１００」の元の画素値は必ず「０１０１」であるため「０１０１」に変更する。同様にすべての透かし情報を抽出し、画素値を復元することによって拡張画像４２４が復元できる。また、拡張画像４２４の各画素値から元の画像の画素値は一意的に決まるため、元画像４２１が復元できる。原本画像から拡張画像、また拡張画像から元画像への画素値対応はどちらも一意的であるため、拡張画像を生成しなくても、原本画像から元画像を生成することもできる。
【００６４】
実施の形態７では、埋込み方法としてビットプレーン０だけを変更した埋込み値を示したが、別の埋込み値を利用することも可能である。この例の様にビットプレーンが２倍に増えた場合、取り得る画素値は４倍になっており、図１９に示す例のように各画素値が重なり合わない画素値であればどの画素値でも利用することができる。図１９の例では元の画素値が「０：００００」の場合、電子透かしを埋め込んだ後の画素値として、「０：００００」、「１：０００１」、「２：００１０」、「３：００１１」の画素値のどれかを使うことができ、それらはすべて復元時に画素値「０：００００」に復元できる。
【００６５】
拡張画像の画素値と埋込み後の画素値の対応パターンが一つであると、埋込み後の画素値から拡張画像の画素値を推測して、元画像が取出される可能性がある。そのため図２０に示す実施の形態８のように複数の対応パターンを準備して、処理途中で変更することによって、拡張画像の画素値を推測しにくくすることができる。対応パターンは画質劣化の許容範囲内で用意しておき、処理の順番（例えば１番目の画素はパターン０、２番目の画素はパターン１、…）等によって、使用する対応パターンを変化させるわけである。
【００６６】
電子透かしを用いて埋め込む値の割当てを変化させる方法もある。「０」と「１」の２値を埋め込む場合、図２１に示す埋込み値割当てパターン例の様に４つの対応画素値があれば、割当てパターンは ₄Ｐ₂ ＝４！／（４−２）！＝１２パターン存在する。その割当てパターンを処理途中で変更するわけである。
【００６７】
図２２に図２１で示した埋込み値割当てパターン例を使った実施の形態９の電子透かし埋込み例（４１７）を示す。ここでは処理の順番によって割当てパターンを図２１の割当てパターン順番で適用している。まず乱数４３３の１番目の値は▲６▼であり画素番号▲６▼の画素に透かし情報４３２の１番目の値「０」を埋め込むために１番目の割当てパターンであるパターン０（０埋込み：００００，１埋込み：０００１）を適用する。同様に２番目の画素番号▲９▼の画素にはパターン１（０埋込み：０００１，１埋込み：００１１）を、３番目の画素番号▲３▼の画素にはパターン２（０埋込み：００１１，１埋込み：０１００）を適用すると、原本画像４３６ができる。この例を見て分かるように、拡張画像の画素値と埋め込む透かし情報の値が同じ場合でも画素値が異なる原本画像が生成される。
【００６８】
なお、実施の形態１ないし実施の形態４で、復元鍵をそのまま出力したが、圧縮して出力すれば更に短い復元鍵とすることができる。
【００６９】
実施の形態５ないし実施の形態９では、「０」「１」の２値の埋込み例を示したが、別の埋込み値を利用することも可能である。この例の様にビットプレーンが２倍に増えた場合、取り得る画素値は４倍になっており、４値まで埋め込むことが可能である。
【００７０】
実施の形態１ないし実施の形態４で画素の復元のために変更前画素値を復元鍵のデータとしていたが、２値の場合、復元の為の画素演算「そのまま」か「反転」のデータとすることも可能である。同様に実施の形態５（図１１）でプレーン０の値も、変更前画素値でなく画素演算「そのまま」か「反転」のデータとすることができる。
【００７１】
【発明の効果】
本発明の実施の形態１ないし実施の形態４によれば、少量のデータ（復元鍵）を生成して送るだけで元画像の復元が可能となる。
【００７２】
本発明の実施の形態５ないし実施の形態９によれば、ビットプレーン拡張を行ったのち透かしの埋込みを行うので、復元のための情報の改竄が一層困難となる。
【００７３】
請求項１の方法によれば、復元鍵を生成するので、これを利用することで、原本画像から元画像を復元することができる。
【００７５】
また、復元鍵が原本画像のデータを含むので、これと原本画像の対応するデータとを照合することにより、原本画像又は復元鍵のいずれかが改竄されていないかどうかの検証を行うことができる。
【００７６】
さらに、元画像や原本画像に比べはるかに少量のデータを伝達するのみで、原本画像又は復元鍵の検証を行うことができる。
【００７９】
請求項２の方法によれば、復元鍵を構成するデータを乱数により並べ替えるので、復元鍵の偽造が一層困難とである。
【００８０】
請求項３の方法によれば、復元鍵の並べ替えに用いられた乱数を発生するための鍵を別途伝達する必要がない。
【００８１】
請求項５の方法によれば、復元鍵を構成するデータを乱数により並べ替えるので、復元鍵の偽造が一層困難である。
【００８２】
請求項６の方法によれば、電子透かしを埋め込んだ画像と、その画像を復元するための復元情報を１つの画像として構成することができる。
【００８３】
請求項９の方法によれば、復元情報の偽造が困難である。
【００８４】
請求項１２の方法によれば、原本画像と元の画像との類似性が色に関し、一層高くなる。
【００８５】
請求項１４の方法には、拡張画像と埋込み後の画像との対応関係が変化するので、埋込み画像の画素の値から拡張画像の画素の値を推測するのが困難だという効果がある。
【００８６】
請求項１５の方法には、拡張画像の画素の値の推測が困難だと言う効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１の透かし埋込み及び検証のための装置の一例を示すブロック図である。
【図２】実施の形態１における透かし埋込み方法を示す概略図である。
【図３】本発明の実施の形態１の透かし埋込み及び復元のための装置の一例を示すブロック図である。
【図４】実施の形態１における透かし復元方法を示す概略図である。
【図５】本発明の実施の形態２の透かし埋込み及び復元のための装置の一例を示すブロック図である。
【図６】実施の形態２における透かし復元方法を示す概略図である。
【図７】実施の形態３における透かし埋込みを示す概略図である。
【図８】実施の形態３における透かし検証／復元を示す概略図である。
【図９】実施の形態４における透かし埋込みを示す概略図である。
【図１０】実施の形態４における透かし検証／復元を示す概略図である。
【図１１】本発明の実施の形態５の透かし埋込み方法を示す概略図である。
【図１２】実施の形態５の透かし復元を示す概略図である。
【図１３】実施の形態６の透かし埋込みを示す概略図である。
【図１４】実施の形態６の透かし検証／復元を示す概略図である。
【図１５】実施の形態７におけるプレーン拡張の例を示す概略図である。
【図１６】実施の形態７における、透かし埋込み前後の各プレーンのデータを示す図である。
【図１７】実施の形態７における、透かし埋込みの例を示す図である。
【図１８】実施の形態７における、電子透かし抽出及び画像復元の例を示す図である。
【図１９】実施の形態７における、埋込み値の異なる例を示す図である。
【図２０】実施の形態８における、拡張画像の画素値と埋込み後の画素値の対応パターンの関係を示す図である。
【図２１】実施の形態９における、電子透かしを用いて埋め込む値の割当てを変化させる方法の一例を示す図である。
【図２２】図２１で示した埋込み値割当てパターン例を使った実施の形態９の電子透かし埋込み例を示す。
【図２３】従来の透かし埋込み及び検証を行う装置の一例を示すブロック図である。
【図２４】従来の装置における透かし埋込み及び電子透かしの抽出の方法を示す概略図である。
【符号の説明】
２０２電子透かし埋込み装置、２０５電子透かし検証装置、２０７ａ、２０７ｂ擬似乱数生成部、２１２電子透かし埋込み部、２１５電子透かし検証部、２２０画像復元装置、２２５画像復元部。[0001]
BACKGROUND OF THE INVENTION
  The present invention provides a digital watermark for images.EmbeddingIt is about the method.The present invention also relates to an original image restoration method and a digital watermark verification method.
[0002]
[Prior art]
As described in, for example, Nikkei Electronics 1997.2.24 (no. 683), digital watermark technology has been proposed to be applied for "copyright protection" so that image quality is not impaired. And many methods have been proposed to keep the embedded watermark as far as possible.
[0003]
On the other hand, as a digital watermark for preventing falsification, there is a technique of detecting falsification by embedding hash information or stamping information in an original image as described in JP-A-10-208026, extracting the information, and comparing the information. Proposed.
[0004]
  A digital watermark key used for embedding or detecting a digital watermark is generally used to generate a pattern for embedding a digital watermark in secret. In other words, pseudo-random numbers are generated from digital watermarks.EmbedIt is difficult to understand by complicating how to select pixels.
[0005]
FIG. 23 shows a conventional configuration, and FIG. 24 shows a basic method of digital watermarking. In FIG. 23, an original image 101 is an image to be embedded with a digital watermark. The digital watermark embedding device 102 generates a random number 108a by a pseudo random number generation unit 107a based on the watermark key 103, and the digital watermark embedding unit 112 embeds a digital watermark using the random number 108a (120) to generate an original image 104, Output.
[0006]
In the digital watermark verification apparatus 105, the pseudo random number generation unit 107b generates a random number 108b based on the watermark key 103, and the digital watermark verification unit 115 extracts a digital watermark from the original image 104 using the random number 108b (122). The digital watermark is verified and a verification result 106 is output.
[0007]
In FIG. 24, the original image 101 and the original image 104 are expressed as a set of pixels. Each rectangular portion is one pixel, and a pixel number is described therein. The color of the pixel is indicated by whether or not the rectangular portion is hatched. The hatched rectangular portion is black and the pixel value is “1”, the non-hatched rectangular portion is white and the pixel value is “0”. The watermark information 109 indicates information to be embedded as binary values “1” or “0”, and the presence or absence of hatching in the rectangular portion indicates the color of the pixel. The random numbers 108a and 108b are pixel numbers arranged at random.
[0008]
When embedding the digital watermark, the watermark information 109 is embedded in the original image 101 using the random number 108a. The initial value of the pixel number indicated by the random number 108a is {circle around (2)}, and the initial value of the watermark information 109 is “1”. Therefore, the pixel value of the pixel (2) in the original image 101 is replaced with “1”. Since the next value of the random number 108 a is (4) and the next value of the watermark information 109 is “0”, the pixel value of the pixel (4) of the original image 101 is replaced with “0”. As a result, an original image 104 is formed.
[0009]
When extracting the digital watermark, the watermark information 110 is extracted from the original image 104 by using the same random number 108b as that at the time of embedding (a random number generated based on the same watermark key 103 as that at the time of embedding). Since the first value of the random number 108b is (2) and the pixel value of the pixel number (2) of the original image 104 is “1”, “1” is extracted as the first value of the watermark information 110. Since the next value of the random number 203 is (4) and the pixel value of the pixel number (4) of the original image 104 is “0”, “0” is extracted as the next value of the watermark information 110. The watermark information 110 thus extracted has the same value as the embedded watermark information 109.
[0010]
In the application of digital watermarks so far, the embedding of the digital watermark has not been configured in consideration of removal. In addition, the information that can be removed, at the most, stores difference information from the original image of the entire image separately from the target image and uses it to remove the digital watermark from the digital watermark embedded image.
[0011]
Originally, digital watermarks are thought to have no visual impact on humans, and visual changes are not so much. However, a change always occurs with respect to the original image, which is clearly different from the original image. In addition, there are images that cannot be used unless they are original images, such as medical images, and the application of digital watermarks to these images is described in Computer Security Symposium “98 Proceedings (IPSJ Symposium Series Vol. 98 No. 12). ) As in "ROI using EZW bitstream (region of interests: digital watermarking method suitable for medical images) (pp.57-62)", an important part called ROI is not embedded with a digital watermark, The method of embedding only around it was taken.
[0012]
[Problems to be solved by the invention]
As described above, conventionally, a preferred digital watermark embedding method that can restore an original image has not been known.
[0013]
An object of the present invention is to provide a digital watermark embedding method capable of restoring an original image.
[0014]
Another object of the present invention is to provide a digital watermark embedding method in which it is difficult to forge a restoration key.
[0015]
Still another object of the present invention is to provide a digital watermark embedding method capable of configuring an image in which a digital watermark is embedded and restoration information for restoring the image as one image.
[0016]
[Means for Solving the Problems]
The present invention
Generating a random number using a watermark key;
Creating an original image by embedding watermark information in the order specified by the random number in the data of the original image specified by the random number;
Generating a restoration key including data of the original image before embedding the watermark information,
As the restoration key, a key including the original image data corresponding to the original image data is generated.
In the original image restoration method for restoring the original image using the original image and the restoration key generated by the digital watermark embedding method, and the watermark key,
By comparing the data of the original image included in the restoration key with the data corresponding to the data included in the restoration key of the original image, both the original image and the restoration key are valid. There is provided an original image restoration method including a step of verifying whether or not there is an original image.
The present invention also provides
Generating a random number using a watermark key;
Creating an original image by embedding watermark information in the order specified by the random number in the data of the original image specified by the random number;
Generating a restoration key including data of an original image before embedding watermark information;
Changing the order of the data constituting the restoration key with random numbers;
A digital watermark embedding method is provided.
The present invention further includes
Extending the original image to a bit plane;
Generating a random number using a watermark key;
Creating an original image by embedding watermark information in the order specified by the random number in the pixel value of the bit-extended original image specified by the random number;
And a step of generating restoration information including pixel values of the original image before embedding the watermark information and retaining the original information in the original image.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
1, FIG. 2, FIG. 3, and FIG. 4 show Embodiment 1 of the present invention. FIG. 1 shows a configuration for embedding and verifying a digital watermark. The configuration shown is the same as the conventional configuration shown in FIG. 23, but unlike the conventional technology, the restoration key 211 is output from the digital watermark embedding unit 212 of the digital watermark embedding device 202.
[0018]
FIG. 2 is a diagram showing a method of embedding a digital watermark and generating a restoration key. Similarly to the watermark information 209, the restoration key 211 is represented by a binary value of “1” or “0”, and the presence / absence of hatching in the rectangular portion is represented by black if “1”, and white if “0”.
[0019]
In the configuration shown in FIG. 1 and FIG. 2, when digital watermark embedding and verification are performed in the same manner as in the prior art, the operation of each device and its components is almost the same as in the conventional configuration. The difference is that the present invention outputs a restoration key 211 which is a key for restoring an image.
[0020]
1 and 2, an original image 201 is an image to be embedded with a digital watermark. The digital watermark embedding device 202 generates a random number 208a by a pseudo random number generation unit 207a based on the watermark key 203, and the digital watermark embedding unit 212 embeds a digital watermark using the random number 208a (219) to generate an original image 204, Output.
[0021]
In the digital watermark verification apparatus 205, the pseudo random number generation unit 207b generates a random number 208b based on the watermark key 203, and the digital watermark verification unit 215 extracts a digital watermark from the original image 204 using the random number 208b, and extracts the extracted electronic The watermark is verified and a verification result 206 is output.
[0022]
The digital watermark embedding device 202 generates and outputs the restoration key 211 in the digital watermark embedding unit 212 when embedding the digital watermark as described above. The restoration key 211 is a pixel value of the original image 201 replaced with the watermark information 209. That is, when embedding a digital watermark, first, the pixel value “0” of the pixel number {circle over (2)} of the original image 201 is replaced with the first watermark information “1”, so the first value of the restoration key 211 is “0”. Next, since the pixel value “1” of the pixel number (4) of the original image 201 is replaced with the second watermark information “0”, the second value of the restoration key 211 is “1”.
[0023]
FIG. 3 shows a configuration when digital watermark embedding and image restoration are performed, and FIG. 4 shows a method of generating a restored image 226 from the original image 204, the random number 208b, and the restoration key 211. The image restoration device 220 shown in FIG. 3 includes a pseudo random number generation unit 207b similar to the digital watermark verification device 205 of FIG. 1, and also includes a pseudo random number generation unit 207b and an image restoration unit 225 that restores an image. The pseudo-random number generation unit 207b generates the same random number 208b as that at the time of embedding based on the watermark key 203. The image restoration unit 225 receives the random number 208b generated by the pseudo-random number generation unit 207b as an input, and further receives the original image 204 and the restoration key 211 output from the digital watermark embedding device 202 as an input to restore the image (221), A restored image 226 that is a restored image is output.
[0024]
As shown in FIG. 4, the image restoration operation is the reverse of that during embedding. That is, the initial value of the pixel number indicated by the random number 208b is (2), and the initial value of the restoration key 211 is “0”. Therefore, the pixel value of the pixel {circle around (2)} in the original image 204 is replaced with “0”. Since the next value of the random number 208b is (4) and the next value of the restoration key 211 is “1”, the pixel value of the pixel (4) of the original image 204 is replaced with “1”. As a result, a restored image 226 is created, which is the same image as the original image 201 shown in FIG.
[0025]
As described above, according to the first embodiment, a restoration key is generated from the pixel value of the part changed at the time of embedding the digital watermark, and the original image is restored from the image embedded with the digital watermark using the restoration key when necessary. can do.
[0026]
The information amount of the restoration key created here does not include position information or the like, is the same amount as the embedded watermark information (that is, changed pixel information), and is the minimum information amount necessary for restoration. Even when compared with the difference information, the difference information is held in the same size as the image, or is held as a set of position information and pixel information, so it is absolutely reduced. Further, the increase in processing is only replacement of pixel values.
[0027]
Further, since the values of the restoration key are arranged randomly based on random numbers, it is difficult to generate an original image from the original image and the restoration key unless the random number generation method is known.
[0028]
In the embedding and restoration methods shown in FIGS. 2 and 4, since there is no means for detecting when the restoration key is replaced, it is desirable to use it with a general encryption method. For example, if the restoration key is basically not moved as a system, and restoration is performed only when a specific restoration device is required, the restoration key is encrypted, an electronic signature is attached, and the original image to be restored is stored in the device. Can be restored after sending the signature confirmation and decryption to the restoration device, and when the restoration device is also distributed and the restoration key is moved together with the original image, the restoration key and the original image are combined together. It can be archived (compressed together), encrypted, or digitally signed.
[0029]
Like the embedding and restoration method (Embodiment 2) shown in FIGS. 5 and 6, the restoration key can be verified by including the original image information in the restoration key.
[0030]
In FIG. 5, the restoration key 231 includes pixel values after embedding and before embedding of pixels changed by embedding watermark information 209 in an image (222). First, the post-embedding pixel value “1” and the pre-embedding pixel value “0” of the pixel number {circle over (2)}, and then the post-embedding pixel value “0” and the pre-embedding pixel value “1” of the pixel number {circle over (4)} .
[0031]
FIG. 6 shows the operation at the time of restoration. When an illegal forged restoration key 234 is supplied, at the time of restoration (223), the post-embedding pixel value of the forgery restoration key 234 is “1” for the pixel of the pixel number {circle over (2)}, and the value of the original image 204 Since “1” is also “1”, collation is established and the pre-embedding pixel value “0” indicated by the forgery restoration 234 is replaced. Next, for the pixel of pixel number (4), the embedded pixel value of the forgery restoration key 234 is “1”, but the pixel value of the original image 204 is “0”. Therefore, it can be detected that the restoration key 234 and the original image 204 do not match at this point. When it can be assured that the restoration key has not been falsified systematically, it can be verified whether or not the original image has been falsified.
[0032]
As described above, when a mismatch between the embedded pixel value and the pixel value of the original image is detected, the restored image (226) is not generated, but when a mismatch is not detected, a restored image is generated.
[0033]
In the second embodiment, the size of the restoration key is twice as large as that in the first embodiment. However, as in the flow of processing, only the pixels that must be accessed in order to perform decryption as in the first embodiment. Therefore, only the comparison processing is increased as processing, and the increase in processing time is very small.
[0034]
In the second embodiment, only the post-embedding pixel value of the changed pixel is compared. In order to make meaningful alterations (for example, changing a character included in an image to another character, changing a person in the image to another character), a certain amount of alteration is performed. In most cases, this method will not cause any problems.
[0035]
For further safety, information on the entire original image can be included in the restoration key. In the embedding method (embodiment 3) shown in FIG. 7, a hash value 242 of the entire original image 204 generated by embedding a watermark (219) is generated (224), and this is included in the restoration key 241. The correspondence with the original image 204 is further guaranteed.
[0036]
That is, on the side of verifying / restoring the original image in which the watermark is embedded in this way, as shown in FIG. 8, using the random number 208b and the restoration key 241 sent from the embedding side, the original image A restored image 226 is obtained from 204 (227). Further, a hash value 243 is generated from the original image 204 (228), and is compared with the hash value 242 in the restoration key 241 sent from the embedding side (check whether they match: 245). If they match, it is determined that neither the original image 204 nor the restoration key 241 has been falsified. If they do not match, it is determined that at least one of the original image 204 and the restoration key 241 has been falsified. If it is guaranteed that one of the original image 204 and the restoration key 241 is not falsified by another method, it is determined that the other one is falsified. The verification result 247 in FIG. 8 represents the result of these determinations.
[0037]
Thus, as in the second embodiment, when it can be ensured that the restoration key has not been falsified systematically, it can be verified that “whether or not the original image has been falsified”.
[0038]
Note that the size of the hash value is fixed by the hash function, and when the amount of embedded digital watermark information is large, there is an advantage that the size of the restoration key is smaller than that of the second embodiment.
[0039]
Further, since only pixel values after embedding are compared in the second embodiment, fraud cannot be detected when only the value before embedding the digital watermark of each pixel is changed as a forgery verification of the restoration key. Therefore, it is safer to rearrange at random so that the order of the post-embedding pixel value and the pre-embedding pixel value is not known. The same applies to the third embodiment because it is easy to forge if the position of the hash value in the restoration key is fixed.
[0040]
In the embedding method (Embodiment 4) shown in FIG. 9, the original image is obtained by embedding the digital watermark in the original image 201 (222), and the restoration key 231 is obtained using the random number 208a used for embedding and extracting the digital watermark. Randomized (randomly rearranged) to generate the restoration key 251 (249). That is, the data of the restoration key 231 is numbered sequentially from the beginning (in the example, (1) to (4)), and the data is rearranged according to the appearance order in the random number 208a. In the illustrated example, since the first random number 208a is {circle around (2)}, the first value of the restoration key 251 is the second value “0” of the restoration key 231, and the second value of the random number 208a is the number {circle around (4)}. The second value of the key 251 is the fourth value “1” of the recovery key 231, and “1” appears next in the random number 208 a among the remaining “1” and “3”. The third value is “1”, which is the first value of the restoration key 231, and the last value of the restoration key 251 is “0”, which is the third value of the restoration key 231. In this method, since the random number is originally generated, it is only necessary to add a process for rearranging the values of the restoration key.
[0041]
Note that a random number used for randomizing the restoration key may be different from the random number used for determining the embedding position. In this case, a key for generating a random number used for randomizing the restoration key needs to be given to the restoration side.
[0042]
To restore the original image in which the watermark is embedded by the method of FIG. 9, as shown in FIG. 10, the restoration key sent from the embedding side is derandomized (based on the order of the restoration key data). Return: 252) to generate the original restoration key 253, and use this (with the random number 208b) to restore the image (254). In this case (when the recovery key is reverse-randomized), the reverse of randomization (data order change) is performed. In the above example, the restoration key is 4 bits and is arranged in the order of random numbers (2), (4), (1), (3), so the order is rearranged.
[0043]
Instead, the image may be restored using the restoration key sent from the embedding side as it is (along with the random number 208b). In this case (when derandomization is not performed), the relationship between the recovery key before randomization (changing the data order) and the recovery key after randomization can be found from random numbers (random numbers used for randomization), and random The restoration key and restoration pixel value before conversion are also known from random numbers. In the above example, the first value is the value of the restoration key {circle around (2)} before randomization, and the value is also the value of the restoration pixel of the pixel {circle around (4)} by looking at the random number. Other than that, “value of {1} restoration key before randomization → pixel {circle around (2)} restored pixel value ',“ value of restoration key {3} before randomization → restored pixel value of pixel {circle around (9)} ” The restored pixel value is obtained in the same manner as above.
[0044]
In the first to fourth embodiments, information for restoring the original image is output to the outside as a restoration key, but the management becomes complicated. Embodiments 5 to 9 described below do not generate a restoration key, but instead extend image data and include restoration information in the image data.
[0045]
11 and 12 show the fifth embodiment.
[0046]
FIG. 11 shows a digital watermark embedding method. The original image 201 is an image consisting of a 1-bit bit plane (referred to as a 1-bit image), and the extended image 301 is an image consisting of a 2-bit bit plane consisting of bit plane 1 302 and bit plane 0 303 (referred to as a 2-bit image). The original image 304 is composed of a bit plane 0 305 and a bit plane 1 306, and is an image in which watermark information 109 is embedded in an extended image 301 (consisting of bit planes 302 and 303) using a random number 108a.
[0047]
That is, the image 201 that is a 1-bit image is expanded to an extended image 301 (consisting of bit planes 302 and 303) that is a 2-bit image (261). In this example, in the extension, the original image 201 is set to bit plane 1 302 and the values of bit plane 0 303 are all “0”.
[0048]
The digital watermark embedding (263) is performed on the bit plane 1 302 in the same manner as in the above-described embodiment, for example, the embodiment of FIG. 2, and as a result, the bit plane 1 305 of the original image is generated. Is done. At the same time, the original images 305 and 306 are generated by holding the pre-embedding pixel values of the pixels in which watermark information is embedded (in the example, the pixels of pixel numbers (2) and (4)) in the bit plane 0 306 of the original image. To do.
[0049]
FIG. 12 shows a digital watermark extraction and image restoration method. An original image 304 (consisting of bit planes 305 and 306) is embedded with a digital watermark and has restoration information. The watermark information 319 is information extracted by digital watermark extraction. Bit plane 1 308 of the restored image 307 is a restored image (bit plane 0 309 is not necessarily generated because it is unnecessary after restoration, but is shown to show that it can be generated. ).
[0050]
In FIG. 12, digital watermark extraction (265) can be performed from the original image bit plane 1305 by the same extraction method. The image restoration (265) is performed together with the digital watermark extraction, and the pixel value of the plane 0 309 of the pixel subjected to the digital watermark extraction is copied to the pixel value of the plane 1 305. The resulting bit plane 1 308 is a restored image that is the same as the original image 201 shown in FIG. 11 (it should be the same).
[0051]
As described above, according to the fifth embodiment, an image in which a digital watermark is embedded and restoration information for restoring the image to the original image can be configured as one image.
[0052]
In this method, the restoration information is included only in the bit plane 0 of the original image, and since there is no verification for the change of this plane, if it is found that the restoration information is included in this plane, the restoration information is forged. The analysis of the digital watermark embedded in the plane 1 is also easy to understand. Therefore, FIGS. 13 and 14 show a method (Embodiment 6) for applying a digital watermark that can detect tampering to a bit plane including restoration information.
[0053]
  In FIG. 13, an extended image 301 (consisting of plane 1 302 and plane 0 303) is the same as that shown in FIG. The embedding (267) of the digital watermark 209 in the plane 1302 of the extended image 301 is the same as the watermark embedding 263 in FIG. However, bit plane 0 313 (same as plane 0 306 in FIG. 11) that holds the pixel value before embedding a watermark in plane 1 302 as restoration information constitutes intermediate image 311 and further embeds a watermark in this. (269) By this, the plane of the original image 3140316 is generated. The plane 1 315 of the original image 314 is the same as the plane 1 305 of FIG.
[0054]
In embedding the watermark into the plane 0 313, the same random number 208a used in the watermark embedding (267) for the plane 1 302 is used corresponding to the pixel number not used in the watermark embedding (267). Accordingly, the watermark information 329 can be embedded without destroying the restoration information included in the plane 0 313. In this example, the first value (value: {circle over (2)}) and the second value (value: {circle over (4)}) of random numbers are used to embed a digital watermark in plane 1, so that the digital watermark for plane 0 is 3 The watermark information 329 is embedded in the pixels indicated by the th (value: {circle over (9)}) and fourth (value {circle around (1)}). As a result, the pixel value of the pixel number {circle over (9)} of the plane 0 313 is the first value “0” of the watermark information 329, and the pixel value of the pixel number {circle around (1)} is the second value “1” of the watermark information 329. The original image plane 0 316 can be generated.
[0055]
At the time of restoration, as shown in FIG. 14, first, watermark information (329) of plane 0 is extracted (270), and its value is verified to verify the digital watermark that can be detected by falsification. The image can be restored (273) by confirming (271) and then applying the restoration information of plane 0 to plane 1.
[0056]
By embedding digital watermarks that can be tampered with in plane 0, it is possible to detect tampering in plane 0, and new digital watermark information is entered into plane 0, which contains only restoration information, and the complexity of the image is increased. The attack on the digital watermark embedded in the plane 1 becomes difficult.
[0057]
Embodiments 5 and 6 described above and Embodiment 7 described later can be applied to images that can be expanded by bit planes. BMP / DIB (device independent bitmap) formats well known as bitmap formats include 1 bit, 4 bits, 8 bits, 16 bits, 24 bits, and 32 bits. Basically, digital watermarks can only be embedded in one pixel at about 1 or 3 bits (1 bit for each RGB)
1 bit image → (1 + 1) bit required → 4 bit image
4 bit image → (4 + 1) bit required → 8 bit image
8 bit image → (8 + 1) bit required → 16 bit image
16 bit image → (16 + 3) or (16 + 1) bit required → 24 or 32 bit image
24-bit image → (24 + 3) or (24 + 1) bit required → 32-bit image
It can be extended and applied.
[0058]
As a method of extending the bit plane, it is easiest to simply add a plane whose value is fixed to 0 or 1 as shown in the fifth embodiment. However, when an image having a plurality of bit planes is expanded, the color difference from the original image increases only by adding a fixed value plane. Therefore, in that case, it is necessary to extend the bit plane in consideration of the pixel value.
[0059]
FIG. 15 shows an example of plane expansion of the value of an original image having a 2-bit bit plane. However, simply adding a plane does not give an optimal pixel value, so that the pixel value becomes an optimal value (ie, the original value). An extended image that looks equivalent to the original image can be created by determining the pixel value (so that the value of each pixel in the image is equivalent to the value of the corresponding pixel in the extended image).
[0060]
Unlike the case of adding a simple plane, the optimal extended image generated by the above method has almost no unused plane. Therefore, it is necessary to change the digital watermark embedding method.
[0061]
FIG. 16 shows an example of assignment of values for embedding a digital watermark in an extended image that has been optimally extended. Embedding a digital watermark and restoring an image by making it a pixel value that can be known when embedding and the original pixel value (the original pixel value can be uniquely determined from the value after embedding) Can do.
[0062]
An example of digital watermark embedding (411) using the value assignment example of FIG. 16 is shown as Embodiment 7 in FIG. Since the first value of the random number 403a is (2) and the first value of the watermark information 402 is “0”, the pixel number of the extended image 404 is embedded in order to embed “0” in the pixel of the pixel number (2). Since the pixel value “0101” of {circle around (2)} is changed to “0100”, the second value of the random number 403a is {circle around (4)} and the second value of the watermark information 402 is “1”, the pixel number {circle around (4)} The pixel value “1010” of the pixel number {circle around (4)} of the expanded image 404 is changed to “1011” to embed “1” in the pixel of the pixel, the third value of the random number 403a is {circle around (9)}, and the watermark information 402 Since the third value of “1” is “1”, the pixel value “0000” of the pixel number (9) of the extended image 404 is changed to “0001” in order to embed “1” in the pixel of the pixel number (9). The fourth value of the random number 403a is {circle over (5)} and the watermark information 402 Since the fourth value is “0”, the pixel value “1111” of the pixel number (5) of the extended image 404 for embedding “0” in the pixel of the pixel number (5) is changed to “1110”. Thus, an original image 406 is generated.
[0063]
FIG. 18 shows an example of digital watermark extraction (413) and image restoration (415). Since the first value of the random number 403b is {circle around (2)} and the pixel value of the pixel number {circle around (2)} of the original image 406 is “0100”, it can be seen that “0” is embedded, and the watermark information 422 is first Is extracted as “0”, and since the original pixel value of the pixel value “0100” is always “0101”, it is changed to “0101”. Similarly, the extended image 424 can be restored by extracting all the watermark information and restoring the pixel values. In addition, since the pixel value of the original image is uniquely determined from each pixel value of the extended image 424, the original image 421 can be restored. Since the pixel value correspondence from the original image to the extended image and from the extended image to the original image is unique, the original image can be generated from the original image without generating the extended image.
[0064]
In the seventh embodiment, the embedding value in which only the bit plane 0 is changed is shown as the embedding method, but another embedding value can also be used. When the number of bit planes is doubled as in this example, the possible pixel values are quadrupled, and as long as the pixel values do not overlap as in the example shown in FIG. But you can use it. In the example of FIG. 19, when the original pixel value is “0: 0000”, the pixel values after embedding the digital watermark are “0: 0000”, “1: 0001”, “2: 0010”, “3: Any of the pixel values of “0011” can be used, and they can all be restored to the pixel value “0: 0000” when restored.
[0065]
If there is one correspondence pattern between the pixel value of the extended image and the pixel value after embedding, there is a possibility that the original image may be extracted by estimating the pixel value of the extended image from the pixel value after embedding. Therefore, by preparing a plurality of corresponding patterns as in the eighth embodiment shown in FIG. 20 and changing them in the middle of the processing, it is possible to make it difficult to guess the pixel value of the extended image. Corresponding patterns are prepared within an allowable range of image quality deterioration, and the corresponding pattern to be used is changed depending on the processing order (for example, the first pixel is pattern 0, the second pixel is pattern 1, ...). is there.
[0066]
There is also a method of changing the value to be embedded using a digital watermark. When embedding binary values of “0” and “1”, if there are four corresponding pixel values as in the embedded value allocation pattern example shown in FIG._FourP₂  = 4! / (4-2)! = 12 patterns exist. The assignment pattern is changed during the process.
[0067]
FIG. 22 shows a digital watermark embedding example (417) of the ninth embodiment using the embedding value assignment pattern example shown in FIG. Here, the allocation patterns are applied in the allocation pattern order of FIG. 21 according to the processing order. First, the first value of random number 433 is {circle around (6)}, and pattern 0 (0 embedding: 0 embedding is used to embed the first value “0” of watermark information 432 in the pixel of pixel number {circle around (6)}. 0000,1 embedding: 0001) is applied. Similarly, pattern 2 (0 padding: 0001, 1 padding: 0011) is applied to the pixel of the second pixel number {circle over (9)}, and pattern 2 (0 padding: 0011, 1) is applied to the pixel of the third pixel number (3). Application of embedding: 0100) produces an original image 436. As can be seen from this example, even when the pixel value of the extended image and the watermark information value to be embedded are the same, an original image having different pixel values is generated.
[0068]
In the first to fourth embodiments, the restoration key is output as it is, but if it is compressed and output, a shorter restoration key can be obtained.
[0069]
In the fifth to ninth embodiments, binary embedding examples of “0” and “1” are shown, but other embedding values can also be used. When the number of bit planes is doubled as in this example, the possible pixel values are quadrupled, and up to four values can be embedded.
[0070]
In the first to fourth embodiments, the pre-change pixel value is used as restoration key data for pixel restoration. However, in the case of binary data, the pixel operation for restoration “as is” or “inversion” data is used. It is also possible to do. Similarly, in Embodiment 5 (FIG. 11), the value of plane 0 can also be the pixel calculation “as is” or “inverted” data, not the pixel value before change.
[0071]
【The invention's effect】
According to Embodiments 1 to 4 of the present invention, it is possible to restore an original image only by generating and sending a small amount of data (restoration key).
[0072]
According to the fifth to ninth embodiments of the present invention, since the watermark is embedded after the bit plane expansion, it becomes more difficult to tamper with information for restoration.
[0073]
According to the method of claim 1, since the restoration key is generated, the original image can be restored from the original image by using this key.
[0075]
  Also,Since the restoration key includes the data of the original image, it is possible to verify whether the original image or the restoration key has been falsified by collating this with the corresponding data of the original image.
[0076]
  furtherThe original image or the restoration key can be verified only by transmitting a much smaller amount of data than the original image or the original image.
[0079]
  Claim 2According to this method, since the data constituting the restoration key is rearranged by random numbers, it is more difficult to forge the restoration key.
[0080]
  Claim 3According to this method, it is not necessary to separately transmit a key for generating random numbers used for rearrangement of the restoration keys.
[0081]
  Claim 5According to this method, since the data constituting the restoration key is rearranged by random numbers, it is more difficult to forge the restoration key.
[0082]
  Claim 6According to the method, the image in which the digital watermark is embedded and the restoration information for restoring the image can be configured as one image.
[0083]
  Claim 9According to this method, it is difficult to forge the restoration information.
[0084]
  Claim 12According to this method, the similarity between the original image and the original image is further increased with respect to color.
[0085]
  Claim 14This method has an effect that it is difficult to estimate the pixel value of the extended image from the pixel value of the embedded image because the correspondence between the extended image and the embedded image changes.
[0086]
  Claim 15This method has an effect that it is difficult to estimate the pixel value of the extended image.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of an apparatus for watermark embedding and verification according to a first embodiment of the present invention.
FIG. 2 is a schematic diagram illustrating a watermark embedding method according to the first embodiment.
FIG. 3 is a block diagram illustrating an example of an apparatus for embedding and restoring watermarks according to the first embodiment of the present invention.
4 is a schematic diagram illustrating a watermark restoration method according to Embodiment 1. FIG.
FIG. 5 is a block diagram showing an example of an apparatus for watermark embedding and restoration according to Embodiment 2 of the present invention;
6 is a schematic diagram showing a watermark restoration method in Embodiment 2. FIG.
7 is a schematic diagram showing watermark embedding in Embodiment 3. FIG.
8 is a schematic diagram showing watermark verification / restoration in Embodiment 3. FIG.
FIG. 9 is a schematic diagram showing watermark embedding in the fourth embodiment.
10 is a schematic diagram illustrating watermark verification / restoration in Embodiment 4. FIG.
FIG. 11 is a schematic diagram showing a watermark embedding method according to a fifth embodiment of the present invention.
FIG. 12 is a schematic diagram illustrating watermark restoration according to the fifth embodiment.
FIG. 13 is a schematic diagram showing watermark embedding according to the sixth embodiment.
FIG. 14 is a schematic diagram showing watermark verification / restoration in the sixth embodiment.
FIG. 15 is a schematic diagram showing an example of plane expansion in the seventh embodiment.
FIG. 16 is a diagram illustrating data of each plane before and after watermark embedding in the seventh embodiment.
FIG. 17 is a diagram illustrating an example of watermark embedding in the seventh embodiment.
18 is a diagram illustrating an example of digital watermark extraction and image restoration in Embodiment 7. FIG.
FIG. 19 is a diagram illustrating an example of different embedding values in the seventh embodiment.
FIG. 20 is a diagram illustrating a relationship between a correspondence pattern between a pixel value of an extended image and a pixel value after embedding in the eighth embodiment.
FIG. 21 is a diagram illustrating an example of a method for changing assignment of a value to be embedded using a digital watermark in Embodiment 9.
22 shows an example of digital watermark embedding according to the ninth embodiment using the example of embedded value assignment pattern shown in FIG.
FIG. 23 is a block diagram illustrating an example of a conventional watermark embedding and verification apparatus.
FIG. 24 is a schematic diagram showing a method of watermark embedding and digital watermark extraction in a conventional apparatus.
[Explanation of symbols]
202 digital watermark embedding device, 205 digital watermark verification device, 207a, 207b pseudo random number generation unit, 212 digital watermark embedding unit, 215 digital watermark verification unit, 220 image restoration device, 225 image restoration unit.

Claims

Generating a random number using a watermark key;
Creating an original image by embedding watermark information in the order specified by the random number in the data of the original image specified by the random number;
Generating a restoration key including data of the original image before embedding the watermark information,
As the restoration key, a key including the original image data corresponding to the original image data is generated.
In the original image restoration method for restoring the original image using the original image and the restoration key generated by the digital watermark embedding method, and the watermark key,
And data of the original image contained in the restore key, of the above original image, by you collates the data corresponding to the data contained in the restore key, the original image and the restoration key are both legitimate ones The original image restoration method characterized by including the step which verifies whether it is.

Generating a random number using a watermark key;
Creating an original image by embedding watermark information in the order specified by the random number in the data of the original image specified by the random number;
Generating a restoration key including data of an original image before embedding watermark information;
Changing the order of the data constituting the restoration key with random numbers ;
Electronic watermark embedding how to characterized in that it comprises a.

3. The digital watermark embedding method according to claim 2 , wherein the random number used for changing the order of the data of the restoration key is the same as the random number used for embedding the watermark information.

Generating a random number using a watermark key;
Creating an original image by embedding watermark information in the order specified by the random number in the data of the original image specified by the random number;
Generating a restoration key including data of an original image before embedding watermark information;
Changing the order of the data constituting the restoration key with a random number.
In a method for restoring an original image based on the original image generated by the digital watermark embedding method,
Original image restoring method characterized by generating a restored image from the original image by using the restored key the order of the data is changed.

A restoration key order of the data is changed, it returns the sequence using the same random number as the random number used when changing the order, to restore the original restoration key, using the restored key which is the restored original 5. The original image restoration method according to claim 4 , wherein a restoration image is generated from the image.

Extending the original image to a bit plane;
Generating a random number using a watermark key;
The step of creating an original image by embedding watermark information in the order specified by the random number in the pixel value of the bit-extended original image specified by the random number, and the pixel value of the original image before embedding the watermark information The method of embedding a digital watermark includes: generating restoration information including: and retaining the original information in the original image .

Step of holding the restoration information in the original image, the electronic watermark embedding method according to claim 6, characterized in that it comprises generating a bit plane including the restoration information.

Extending the original image to a bit plane;
Generating a random number using a watermark key;
Creating an original image by embedding watermark information in the order specified by the random number in the pixel value of the bit-extended original image specified by the random number;
Generating restoration information including pixel values of the original image before embedding the watermark information and retaining the original information in the original image.
In an original image restoration method for restoring an original image from the original image generated by the digital watermark embedding method,
An original image restoration method including a step of restoring an original image using the original image and the watermark key.

The bit plane containing the restoration information, the electronic watermark embedding method according to claim 7, characterized in that watermarking using a random number generated by using a watermark key.

Extending the original image to a bit plane;
Generating a random number using a watermark key;
Creating an original image by embedding watermark information in the order specified by the random number in the pixel value of the bit-extended original image specified by the random number;
Generating restoration information including pixel values of the original image before embedding the watermark information, and retaining the original information in the original image,
Holding the restoration information in the original image includes generating a bit plane including the restoration information;
A digital watermark is embedded in a bit plane including the restoration information using a random number generated using a watermark key.
In a digital watermark verification method for verifying an original image generated by a digital watermark embedding method,
Electronic watermark verification method and performing verification using the random number bit planes, generated using the same watermark key including restoration information embedded with the digital watermark.

Extending the original image to a bit plane;
Generating a random number using a watermark key;
Creating an original image by embedding watermark information in the order specified by the random number in the pixel value of the bit-extended original image specified by the random number;
Generating restoration information including pixel values of the original image before embedding the watermark information, and retaining the original information in the original image,
Holding the restoration information in the original image includes generating a bit plane including the restoration information;
A digital watermark is embedded in a bit plane including the restoration information using a random number generated using a watermark key.
In an image restoration method for restoring an original image from an original image generated by a digital watermark embedding method,
Original image restoring method characterized in that to restore the original image using the bitplane containing the restoration information embedded with the digital watermark.

The value of each pixel in the original image is equivalent to the value of the corresponding pixel in the image expanded in the bit plane, and the corresponding pixel in the original image is uniquely determined from the value of each pixel in the image expanded in the bit plane The digital watermark embedding method according to claim 6 , wherein a value of is determined.

Extending the original image to a bit plane;
Generating a random number using a watermark key;
Creating an original image by embedding watermark information in the order specified by the random number in the pixel value of the bit-extended original image specified by the random number;
Generating restoration information including pixel values of the original image before embedding the watermark information, and retaining the original information in the original image,
The value of each pixel in the original image is equivalent to the value of the corresponding pixel in the image expanded in the bit plane, and the corresponding pixel in the original image is uniquely determined from the value of each pixel in the image expanded in the bit plane The value of is determined
In an image restoration method for restoring an original image from an original image generated by a digital watermark embedding method ,
Wherein the above bit planes extended the original image generated, the step of restoring the original image by using the above-described watermark key,
An original image restoration method characterized in that, at the time of the restoration, a value of a corresponding pixel of the original image is obtained from the value of each pixel of the bit plane expanded image.

Claims, characterized the value of each pixel of the bit plane extended the original image, a correspondence relationship between the value of the corresponding pixel of the original image after watermark embedding, to change in the course of the processing of one image 13. The digital watermark embedding method according to 6 or 12 .

Digital watermark embedding according to claim 12 or 14 changes the correspondence relationship between the value of each pixel of the original image to be formed by being embedded value and watermark embedding using the digital watermark in the middle of the processing of one image Method.