JP7008950B2 - 電子透かし装置および方法 - Google Patents

Description

本発明は，文書画像に情報を埋め込む不可視の電子透かしに関するもので，特に，多重化された情報を埋め込むことができる電子透かし装置および方法に関するものである。

情報社会におけるデジタル化とネットワークの発展は，容易に情報の複製ができ，距離によらず多くの人が情報を共有することが可能となり社会が大きく発展してきた。しかし，その利便性が，著作権侵害や，情報の不正流出，情報の改ざんなどの各種セキュリティの問題を深刻化してきた。また，近年の画像機器の高画質化は原画と寸分も違わぬ複製が容易に得られるようになり，著作権を侵害した違反コピーだけでなく，紙幣や有価証券等の偽造行為という悪質な犯罪行為を助長させる結果となっている。

この様なセキュリティ対策の技術として電子透かし（Digital Watermark）技術が注目されている。暗号化やDRM（Digital Right Management）と異なり，文書や画像情報の中に別の情報を直接埋め込むため，除去が困難で，不正使用や偽造・改ざんの検出，不正流出の防止や追跡を可能とする。中でも，不可視型の電子透かしは，人の眼では認識できないように情報を埋め込ことにより，画質変化や劣化が認識されないためその利用範囲が広がる。

電子透かし技術の手法は，その利用形態に応じて様々な方法が提案されている。編集や加工，変換や圧縮といった様々な攻撃に対して高い耐性を維持するためには強靭（Ｒｏｂｕｓｔ）な埋め込みアルゴリズムが要求される。プリンタなどに出力した場合にも透かしが消失しないためには，さらに強い透かし法が求められる。

一方，改ざんの検出などでは，改ざん位置の特定までが求められるため，改ざんにより透かし情報が欠損し位置の特定を可能とするため弱く脆弱（Fragile）な埋め込み法が用いられる。

この様に相矛盾する埋め込み手法となるため，用途・目的により専用の装置，あるいはソフトウェアを変えねばならず，操作や管理が複雑化し，その利用や普及を阻む要因となっている。
そこで，同一手法あるいはアルゴリズムにより，手法を変えることなく両者を抽出・検出する手法が提案されている。

透かしの埋め込みと改ざん検出が同一の手法で実現可能な電子透かし手法が非特許文献1で提案されている。この手法は，画像データを周波数空間への変換，例えばＷａｖｅｌｅｔ変換など，を行い，低周波数域であるＬＬ領域に埋め込み，抽出時にあるルールに従い，透かしデータと改ざん検出を行っている。原画を必要とせず，両方の機能を持ち合わせるため有効な手法であるが，埋め込み操作の複雑性から，ドライブレコーダーや監視カメラなどの動画に対応するためには特別なハードウェアが必要となる。また，アルゴリズムの公開により外部からの攻撃を受けやすい。

渡邉淳，長谷川まどか，加藤茂夫："著作権保護と改ざん検知を同時に実現する電子透かし方式"， 画像電子学会誌， Vol.33, No.5, pp.756-764 (2004)

かかる問題を解決し，一つの手法で，情報の強固な埋め込みと，改ざん位置の特定が同時にできる手法で，特別なハードウェアを必要としない高速な埋め込みが可能な手法で，アルゴリズムを公開しても安全性が保たれる手法を得ることが課題である。

そこで，本発明は，一つの電子透かし装置あるいは手法で，透かし情報の埋め込みと改ざんされた場合の位置の検出が可能な多重化された電子透かし法で，特別なハードウェアを必要としない高速埋め込みが可能な方法を提供する。埋め込みは主情報および副情報の2種類の情報を多重化し，同時に埋め込むための手段を有す。主情報の埋め込みはグリーンノイズパターンを用い，攻撃に高い耐性のある埋め込みを，副情報の埋め込みは高い空間周波特性を示すパターンを用い，脆弱で除去されやすい埋め込みを可能とする。

かかる2つの透かし情報の埋め込みにより，攻撃に対して高耐性の電子透かしの埋め込みと，データの改ざんに対して改ざん位置の検出が可能となる。また，主情報と副情報の両者に別々に異なる情報を埋めることにより，埋め込み情報を増大させることも可能となる。また，埋め込みは実空間(画素空間）で事前に作成されたパターンを画像データに書き込むだけで済むため，非常に高速に行うことが可能である。このため特別なハードウェアなしに，動画への書き込みも可能となる。

別の効果として，副情報を主情報の同期信号として用いることが可能である。 副情報は主情報に比べて変倍処理画像に対しても検出可能であるため，拡大・縮小された透かし入りの画像から同期信号を検出し，主情報の抽出時におけるブロック同期を高精度に行うことが可能となる。

さらに，必要に応じて透かしの除去も可能である。そのためには除去のための鍵が必要となる。この鍵を用いて，管理者は新たな情報を埋め込むことができる。

また鍵の紛失や盗難の場合でも，別の画像に対しては盗難された鍵で透かしの除去はできない。このため安全性が高いく，アルゴリズムを公開しても，安全性はこの鍵に集約しているため，攻撃の助長とはならない。

さらに，副情報に”コピー禁止”等の情報を埋め込むことにより，紙への出力画像の複製を行おうとした時，副情報が顕像化され，複製時の警告を与える，いわゆる地紋として用いることも可能である。

本発明の電子透かしの埋め込みおよび抽出の装置の図 透かし入り画像のインターネットでの配信を示した図 主パターンと副パターン，及びそのスペクトルを表す図 主，副パターンの合成パターンによるスペクトルを表す図 (a)主パターン,(b)副パターン，(c)合成パターンとそれぞれのスペクトルを表す図 透かし抽出の主情報マスクパターンおよび副情報マスクパターンを表す図 副情報としてのロゴやパターンを表す図 主情報を検出するための画像処理フローを表す図 副情報を検出するための画像処理フローを表す図 主副情報が埋め込まれた画像 透かし抽出を行った画像で，(a)主情報を抽出した画像，(b)副情報を抽出した画像 改ざんされた画像に対して透かしを抽出をおこなったもので，(a)改ざんされた画像，(b)副情報を抽出した画像 同期用パターンとして用いた時の，(a)同期用パターンを埋め込んだ画像，(b)副情報を抽出した画像，(c) （a）の画像を1.5倍に拡大した画像，(d) (c)の副情報を抽出した画像 JPEG耐性の評価結果を示す図で，(a)圧縮前の画像，(b)Q=50で圧縮された時の画像，(c)Q=30で圧縮された時の画像 およびそれぞれの主情報，副情報の抽出結果 地紋として用いた時のもので，(a)は主，副情報を埋め込んだ電子データ，(b)は副情報を可視化した地紋を表す画像

図１は本発明の情報埋め込みと抽出のための電子透かしシステムの構成図である。著作権保有者のコンピュータ３には、著作権を有す画像データが、例えばハードディスクなどのデータメモリ７に保管されている。画像データは、プログラムメモリ６にある画像処理プログラムにより、ＣＰＵ１１，ＲＯＭ ４，ＲＡＭ５などを用いて画像処理され、モニター８に表示される。コンピュータ３にはスキャナー１、プリンタ２が接続され、処理された画像はプリンタから出力され、またスキャナー１から画像読み取りができる。かかる画像処理は大きなサイズの画像を取り扱う場合，演算負荷が増大するため，並列処理を行ったり、ＧＰＵなどの高速化を図るための処理ボードが入っている場合もある。

画像中に機密情報や著作権情報を埋め込むためには、キーボード９から、例えば、著作者の名前や、ＵＲLなどの文字情報を入れる。埋め込み可能な文字数は画像サイズおよびブロックサイズにより異なる。５１２画素ｘ５１２画素でブロックサイズ６４ｘ６４の時、最大８バイト、ブロックサイズ３２ｘ３２の時、最大３２バイト可能である。これはＡＳＣＩＩコードに限れば，それぞれ8文字，32文字である。これは必ずしも十分な量ではない。また，文字以外にもアイコンやロゴ，パターンなどの画像情報も必要になる場合もある。そのため，両者を埋め込み可能とした多重化埋め込みにより埋め込み情報量の増大と，様々な用途や使用形態が可能である。これらの情報は、画像の中に埋め込まれ、不可視型の電子透かしとして人の目で認識できにくくすることが可能なため，その利用範囲が広がる。

図２は、一つの運用形態で，インターネット配信の処理手順を示すものである。透かし情報を埋め込まれた画像は、配信者あるいは著作権者１６のコンピュータからインターネット１２により配信される（１３）。それを見た購入希望者１７は、購入希望を配信者に連絡する（１４）。所定の手続き後、配信者は透かしの埋め込みと除去のための秘密鍵を配信する（１５）。購入者は、配信者との契約に基づき、送付された画像の埋め込まれた電子透かしを除去し、画像の編集加工を行うことができる。

購入者は、さらに編集加工された画像データを、２次著作者として自己の著作情報やＵＲＬなどの情報をこの秘密鍵を用いて埋め込むことができる。これらの透かし情報を埋め込まれた画像は、市場に流通し様々な利用がされる。

違法な複製や利用の監視には、透かし抽出ソフトウェアにより画像から透かし情報を読みだし、自己の著作物であることを確認できる。この透かし抽出ソフトウェアは秘密性はなく、例えば，配信者や著作権者のホームページなどから自由にダウンロードできるようにして広く公開し、だれでも使用できる。第三者はこれにより画像の所有者や著作権情報、連絡先などを知ることができるため、不正使用の防止・警告にもなる。

もし，第三者が画像の改ざんを行った場合，改ざんされた箇所の特定が可能である。主情報で作品の所有者が判定でき，副情報で改ざんの有無及び位置の特定が可能となり，不正の摘発が可能となる。

秘密鍵は埋め込む画像ごとに１対１で対応する。このため、著作権者は悪用されないように画像ごとに異なる鍵を用いる。このためこの鍵を用いて他の画像の透かしを除去することはできない。また後述の様に結託攻撃に対しても耐性がある。このとき、透かし読み出しのソフトウェアは、前述の様に、鍵が異なっても共通に使える。また。鍵の発行はほぼ無限に行えるため，同じ鍵となる確率は極めて低い。

以下、実施例に沿って説明する。
本電子透かしの主情報の埋め込みに用いるグリーンノイズパターンは，以下の方法で生成する。
Step1: まず，初期値としてR×Rの領域にR＾2/2個のランダムドットを配置しp(x,y)とする。初期値はホワイトノイズ特性を示す。
Step2: 次に，ドットパターンの二次元フーリエ変換を行い，P(fx,fy )を得る。
Step3: P(fx,fy )に対して，周波数ｆx,fyが，
fx,min≦fx≦fx,max
fy,min≦fy≦fy,max (1)
の帯域に制限するフィルタD(fx,fy)を乗じて新たなスペクトル特性P'(fx,fy)を得る。
Step4: P'(fx,fy)に逆フーリエ変換を行い，多値のドットパターンp'(x,y)を得る。
Step5: 誤差関数： e(x,y)=p'(x,y)-p(x,y) (2)
を求め，誤差の大きい順に白，黒反転する。
Step2～5を繰り返し行い，誤差関数が一定の値以下になった時に終了し最終的なパターンを得る．透かし埋め込み用のパターンとして2種類の異方性パターンを作成する．ビット“0”に対応するものは，フィルタD0 (fx,fy)を以下に示す楕円リング状の分布とする。
(fx^2)/(fx,max^2 )+(fy^2)/(fy,max^2 )≦1,
(fx^2)/(fx,min^2 )+(fy^2)/(fy,min^2 )≦1 (3)
こうして得られたドットパターンをp0 (x,y)とし，それを90°回転したものをp1 (x,y)とする。図３の主パターンにその一例を示す。
(a)はパターン１，すなわちp1(x,y)を表す。そのスペクトルは楕円形状をしている。(b)はp0(x,y)を表す。

ここで，Step1において，初期値の乱数を異なるものにすることにより，得られるドットパターンは異なる。すなわち，疑似乱数発生器で乱数発生のSEED（種）値を変えることによりドットパターンを変えることが可能となる。しかし，スペクトル形状は変化しない。かかるドットプロファイルを後述の秘密鍵として用いる。

副情報のパターンの生成は以下の様にして行われる。
副情報のパターンm(x,y)は，そのスペクトル分布が，主情報のパターンのスペクトルと重ならない高周波数域に分布するように設定する。このため，fmax以上の帯域にスペクトルがくるパターンを選択する．一例として，1画素おきの市松パターンを用いたものを図３の副パターンに示す。図4に主，副情報を両方埋め込んだ時のスペクトル特性を示す。そのスペクトルはナイキスト周波数の輝点スペクトルとなり，グリーンノイズノイズのスペクトルとは重複がない。

次に，透かしデータの埋め込みについて説明する。
透かしデータの埋め込みは，主，副情報を合成したパターンをブロック単位で画像データに合成する．
今，L画素xM画素からなる画像データをi(x,y) (0≦i(x,y)<1)とし，R画素×R画素のブロックに分割する．Ｒは2のべき乗で，大きな値ほどスペクトルの分布は精度が上がるが，埋め込む情報量が減る。そのため，３２や６４が最適である。埋め込みの文字列をビット列に変換したものをwm∈{0,1} とし，
埋め込みビットwmが0の時 → pi (x,y)=p0(x,y)
埋め込みビットwmが1の時 → pi (x,y)=p1(x,y) （4）
とする。
埋め込み可能なビット数は，int(L/R)・int(M/R) となる。ここでint は整数化を表す。画像をブロックで分割しているため，画像サイズは任意のサイズでよい。

副情報の埋め込みは以下の様にして行われる。
副情報はロゴやパターンの二値のイメージとする。埋め込み領域をM(x,y)，埋め込みパターンをm(x,y)とし，主，副情報の合成されたパターンpi'(x,y)は，
埋め込み領域の内部（M(x,y)=0）の時 pi'(x,y)=m(x,y)
埋め込み領域の外部（M(x,y)=1）の時 pi'(x,y)=pi(x,y) （5）
として作成される。これは主情報のパターン内に，副情報のパターンをはめ込むことを意味する。
かかるpi'(x,y)をブロック毎に以下のように埋め込む。
w(x,y)=i(x,y)+gain・pi’(x,y) (6)
ここで，gainは埋め込み強度を表し，不可視の電子透かしを得るためには，gain≪1 の必要がある。図５にそれぞれのパターンとそのスペクトルを示す。(a)は主情報パターン(主パターン）とそのスペクトル分布を，(b)は副情報パターン(副パターン）とそのスペクトル分布を，(c)は主情報および副情報両者の合成パターンとそのスペクトル分布を示す。両者のスペクトル分布は重複がない，あるいは少ないため，抽出時に分離して取り出すことができる。

かかる透かしの埋め込みは，高速に行われる。すなわち，p0(x,y)，p1(x,y)は既に決まっているので，式（4），(4)よりpi'(x,y)を求め，
w(x,y)=i(x,y)+gain・pi’(x,y) の演算をブロック単位で行うだけでよい。式(4)，(5)の計算はブロック毎に毎回行わずに事前に可能なパターンを求めておくことでさらに高速化が可能である。例えば，副情報のパターン数がn個であるとすると，それぞれに対してp0(x,y)とp1(x,y)のパターンを事前に求めておけば，合計2nのパターンの中から選び式(6)の計算のみ行えばよい。

一般に，電子透かし法では埋め込むために直交変換やDCT,Wavelet変換など，各種変換を行って埋め込むのが普通である。このため埋め込み処理は，実空間(画素空間）データを一旦，周波数空間に変換し，周波数空間で埋め込んだ後再び実空間に戻すという作業が生じる。この変換処理のための時間がかかる。一方，本手法は埋め込みは実空間でのみ行えばよく，しかも単純計算で済むため高速性に優れている。これは，あたかも画像の二値化の際のディザ処理にたとえられ，簡単な処理で高速に行える。そこでドライブレコーダーや監視カメラなどの動画像の各フレームにリアルタイムに埋め込むことが可能となる。

透かしデータの除去は以下の様にして行われる。
式(6)を変換すると，
i(x,y)=w(x,y)-gain・pi’(x,y) (7)
となり，pi’(x,y)とgainが分かれば透かし情報の除去を行うことが可能である。除去に際し，p0(x,y), p1(x,y), m(x,y), M(x,y)，gainおよび埋め込みビット列の情報が必要である。しかし，p1(x,y)は， p0(x,y)から回転操作により作られた場合は不要である。また，m(x,y)は市松パターンに限定すれば不要である。また，埋め込みビット列は抽出時に求められるのでこれも不要で，結局，p0(x,y)，M(x,y)およびgainがあればよい。これらの情報を秘密鍵として用いる。また，M(x,y)およびgainにはあまり秘密性はないため鍵に含ませる必要性はなく，別の方法で入手してもよい。
前述のように，この秘密鍵はp0(x,y)パターンの生成時の疑似乱数発生器の初期値（SEED) を変えることによりドットパターンを変えることができる。しかし抽出時のマスクに変更はいらない。このため，画像ごと，あるいはユーザ毎に異なったSEED値から生成されたパターンを用いることにより，紛失や盗難時でも他の画像の透かし除去される被害を抑えることができる。
透かしの除去において，完全に原画に復元するためには，埋め込みデータのオーバーやフローアンダーフローを回避するため，埋め込み時にダイナミックレンジの調整が必要である。

かかるダイナミックレンジの変換は，画像データに対して，以下の線形変換を行う。
i'(x,y)=(1-gain)i(x,y)+gain/2
この変換を画像全面に施すことによりオーバーフロー，アンダーフローは生じない。透かし除去後は逆変換をして元の画像を得る。
あるいは，画像のヒストグラムから，画素の最大値，最小値を求め，オーバーフロー，アンダーフローが生じないようであれば変換は不要である。また，埋め込みgainが極めて小さく，かつ完全に元に戻す必要がなければこの処理はスキップしても構わない。

透かしデータの除去後，必要に応じて，その鍵を用いて，自己の編集した画像に新らしい電子透かしを入れることができる。また，鍵を紛失した場合は新しい鍵を発行してもらい，新しい透かし情報を入れることができる。鍵の数は（４０９６）Ｃ（２０４８）とほぼ無限に発行できるため，重複することは確率的に低い。 ここで（・）Ｃ（・）はcombinationを表す。
副情報は鍵にあるパターンM(x,y)を用いるか，新たに作成しても構わない。いずれにせよ，完全に原画に戻った後は自由に透かし埋め込みが可能となり，二次著作権者としての権利を主張することが可能となる。

次に透かし入りの画像から透かし情報の抽出は以下のように行う。
主情報の抽出は，画像をブロックに分割し，スペクトル空間にて埋め込みビットの識別を行う。
まず，ブロック毎にＦＦＴ(高速フーリエ変換）によりスペクトルを求め，続いて，スペクトル画像W(fx,fy )の形状から識別器により，p0(x,y)，p1(x,y)を識別推定する．識別方法として，図６に示すドットパターン生成時のD0，および90°回転したD1をマスクとした識別器による輝度値の差分情報から求める。すなわち，ブロック毎に以下のQ0,Q1を求める。
Q0=（1/Z0）ΣD0(fx,fy)・W(fx,fy)
Q1=（1/Z1)ΣD1(fx,fy)・W(fx,fy) (8)
ただし，Zi＝Σi(fx,fy) である。
上式から，埋め込まれたビット(wm)は，
Q0-Q1>Th の時 wm=0
Q1-Q0>Th の時 wm=1 (9)
それ以外の時 wmは不定
を得る。|Q0-Q1|は信頼度を表し，Thは識別の閾値を表す。かかるThにより，得られる透かし情報の信頼度をコントロールすることが可能となる。

続いて，副情報の抽出は以下の様にして行う。
副情報の抽出は，実空間で行われる。まず，L×Lの市松パターンのフィルタで埋め込み画像に畳みこみを行う。Lは大きいほど抽出の精度は上がるが，抽出領域のエッジが鈍る。L=3 あるいは5位が最適である。かかるマスクパターンとして3×3の市松パターンの識別器を図６のM0,M1に示す．このマスクパターンを用いて，
U0=w(x,y)*M0
U1=w(x,y)*M1 (10)
を求める。ここで，*はconvolutionを表す。各画素での出力Moutは，係数αを用いて α|U0-U1| となり，二値化の閾値Th1により，
α|U0-U1|＞Th1の時 Mout(x,y)=1
それ以外の時 Mout(x,y)=0 (11)
と出力され，市松パターンの領域で強い応答を示す。NCCは抽出パターンの画像品質を表す評価量で，次式で表される。
NCC=(ΣΣM(x,y)・Mout (x,y))/(ΣΣM(x,y)^2 ) (12)
ここで，M(x,y)は，劣化のないパターンを，ΣΣはブロック内の全画素を表す。

主情報および副情報の埋め込み手順は以下の様にして行われる。
カラー画像データをY,Cb,Cr変換し，輝度Yに透かし情法を埋め込む．電子データのみでの利用の場合はB（ブルー）信号を用いてもよい。ブロックサイズRは64×64とする．パターンp0(x,y)は，
(fmax,fmin )=(f0-1,f0-5)
ただし，f0=√(1/2)・ R/2で，楕円率を1.5とした．p1(x,y)は90°回転したものである。

図７に副情報の埋め込み領域M(x,y)を示すパターンの一例を示す。副情報パターンは二値のロゴや図形を表すパターンで，閉領域の内部をm(x,y)の市松パターンで埋め込む。ブロックサイズR×Rのパターンを必要個数用意する．主情報の埋め込みビット0,1に対応するパターンp0，p1と，副情報との合成パターンを作成し，画像に埋め込む．主情報はグリーンノイズパターンのため，分散性の良いクラスタードットで，gain≪１で埋め込まれているため視覚で認識されにくく高画質性を保つ。さらにグリーンノイズパターンの特性として，プリンタなどの画像出力において十分再現されるため，印刷物からの透かし抽出も可能となる。一方，副情報はナイキスト周波数の高周波数域にあるため，視覚的には認識されない。このため，画質劣化を生じない。また，高周波のため消失しやすく脆弱である。

次に，透かし情報の抽出について説明する。透かし情報の抽出は主情報，副情報それぞれ個別に行われる。
図８に主情報の透かし情報の抽出の画像処理フローを示す。埋め込まれた画像データ２１は画像の拡大・縮小，回転，歪みがある場合は画像補正され，補正画像を得る。その後，ブロック単位でＦＦＴ（高速フーリエ変換）を行い，（２３）周波数空間(スペクトル空間）に変換される。ＦＦＴ出力はブロック単位に行われるため輝度が変化するため，識別精度を向上させるためヒストグラムイコライゼーション２４によりトーン補正される。続いてパターン識別２５を行い，ビット情報を文字コードに変換し２６，最終的に埋め込まれた文字情報を抽出する（２７）。

図９は副情報の抽出のための画像処理フローを示す。画像データ２１は全画像に対してヒストグラムイコライゼーションを行うこともある（３２）。続いて，マスクM0,M1による畳みこみ３３により，抽出パターンを表示する（３４）。全面にイコライゼーションを行うのは，文書データのように背景が白い場合に有効である。

図１０は1024画素ｘ535画素の埋め込み画像を示す。64×64のブロックサイズで最大16バイトの英数字が埋め込み可能であるため，”Copy Prohibited!"の16文字を主情報として埋め込んだものである。また，副情報は２つの図形パターンと”ＣＯＰＹ禁止”などのパターン化した文字からなる８つのパターンを埋め込んだものである。この8つのパターンが繰り返し埋め込まれる。埋め込みは印刷時の耐性を確保するためgain=0.1875で行った。比較的大きなgainにもかかわらず埋め込まれた画像は肉眼では劣化が認識されにくい。

図１１(a)は，主情報の透かし抽出を行ったものである。”Copy Prohibited!”の文字が高い信頼度で抽出できた。同図(b)は副情報の抽出を行ったもので埋め込まれた8パターンが高いNCC値で明瞭に抽出されていることが分かる。

図１２(a)は改ざん画像を示したもので，金額の数字が書き換えられている。同図(b)は副情報の抽出を行ったもので，改ざん位置の背景が消失し，改ざん箇所が特定できることが分かる。

図１３は別の実施例を示したもので，副情報に同期用ヘッダー信号を埋め込んだ例を示す。
一般に，ブロック型の電子透かしは，埋め込み時のブロックと抽出時のブロックのサイズと位置の同期が必要となる。そのため，変倍された画像では，ブロックのサイズと位置が異なるため，何らかの方法で元の画像サイズを推定することが必要である。副情報に同期用ヘッダー信号を埋め込むことは，元画像のサイズを推定することを可能とする。
副情報は実空間で透かし抽出処理を行うため，ブロックの位置変動の影響を受けず，主情報よりは変倍に対する耐性が強い。
同図(a)は透かしの埋め込まれた画像(1024画素×640画素)で，(b)は抽出した副情報である。(c)は(a)を1.5倍に拡大して1536画素×960画素にしたものである。透かし抽出では元の画像サイズが分からないので，そのまま主情報の透かし抽出を行っても正しく抽出されない。(d)は副情報を抽出したもので，主情報の埋め込み文字のビットの先頭ビット（MSB）に，十字型のパターンを副情報として埋め込んだものを抽出したものである。水平方向に8ブロック離れているため，これを計測することにより，元の画像サイズを推定することが可能である。

すなわち，十字型のパターンの距離を計測し，その距離をdとする。 同期用パターンは8ブロック毎に埋め込まれているし，ブロックサイズが64であるとすると，8ブロック分の画素数が64×8=512画素だけ離れていることになり，画像の変倍率が容易に計算できる。（ｃ）の拡大画像の水平方向サイズが16ブロック幅あるため、この画像の水平方向のサイズは64×16=1024画素であることが分かる。元サイズが分かったため，画像データを元サイズに縮小する。縮小方式は，例えば，Bi-Linear や，Bi-Cubic等の方式で，ドットパターンが消失しないようにすることが望ましい。
主情報のドットパターンは，クラスター化しているため様々な編集加工に耐性がある。拡大画像で主情報が正確に抽出されないのは，ブロックサイズと位相が違うためで，これさえ補正すれば主情報は高い信頼性で抽出可能である。したがって，元のサイズに画像補正された画像を用いて主情報の透かし抽出を行えば，ブロックの同期もそろい，主情報は高い信頼度で抽出される。

次に，攻撃に対する耐性について説明する。
各種攻撃に対して主情報は高耐性を示す。大概の攻撃は画像への輝度への攻撃であり，グリーンノイズパターンは分散ドットの集合の状態でのスペクトル特性のため輝度変化には影響されにくいからである。
図１４はJPEG圧縮に対する耐性を調べたもので，主情報はJPEGの品質係数Q=20まで正しく抽出されている。一方，副情報は人の認識能力によりある程度，元のパターンを推定することが可能であるが，Q=50以下では推定が困難である。高い空間周波数であるため消失しやすいからである。従って，副情報は脆弱（Fragile）な埋め込みであるといえる。

拡大・縮小画像に対しては，副情報は図１３で示したように，0.8倍～1.5倍の拡大・縮小画像に対して抽出可能である。
主情報はブロック単位でＦＦＴ処理するため，ブロックのサイズと位置が異なると検出誤差が生じ正しい結果が得られない。一方，副情報は検出用マスクを用いて畳み込み処理を画像全面に行い出力するため，ブロックによるエラーは生じない。したがって，前述のように，副情報で同期信号を検出することにより変倍画像の同期信号パターンを検出し，元の画像サイズを知ることが可能となる。この画像サイズに補正した画像を得ることにより，主情報の埋め込み情報を正確に得ることができ，同期の問題が解決する。

この同期用パターンと改ざん検出用パターンを組み合わせて使用することが便利である。例えば副情報埋め込みパターン数を８個とし，その一番目に同期用パターン，2～8番目に改ざん検出用パターンを埋め込むことにより，両方の機能を満たすことができる。同期用パターンとして位置指定ができるパターン，例えば十字型パターンなどで，一方，改ざん検出用パターンとしてはメッシュ状のパターンなどが好適である。

さらに，副情報は印刷用の地紋としても利用可能である。
埋め込まれが画像は，プリンタなどで画像出力する。この時プリンタはオリジナルに忠実にプリント出力できるものとする。プリンタドライバによっては，ディザや誤差拡散法によるハーフトーニングが勝手に施され市松模様が再現できない場合があるので注意を要する。プリント画像をさらにコピーして複製を作ろうとした場合，必ずスキャナーで読み取る。この時読み取りの応答特性から市松模様の様な細かなパターンが消失し，プリンタの非線形特性と相まって複製物に地紋が生じる。かかる地紋は，使用者に警告を与え不正利用を阻止する効果がある。

図15は地紋による副情報の可視化に関する画像で，(a)は主，副情報を埋め込んだ画像データを，(b)は副情報を地紋として浮かび上がらせた画像を示す。印刷物における地紋は，印刷物をコピーして再出力を行った時に発現する。等濃度のパターンを粗いドットと細かなドットで網点出力やディザ出力で再現した場合，細かいドットはスキャナーでは読み取れないし，プリンタでは再現しづらい。これは主にプリンタなどの画像入出力機器の高周波数域のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の低下に依存し，高周波数のドット部分には画像が再現されない現象が起こるからである。

かかる現象は，画像入出力デバイスの非線形効果によるもので，スキャナーやプリンタの種類や特性に依存し，場合によっては地紋が出にくかったり不安定であったりする。そこで，プリンタ出力時に画像データに多少のエッジ強調を与え，プリント出力時に地紋が必ず発生するようにする。 すなわち，以下のカーネル値からなるラプラシアンフィルタを画像に付加する。
｜ －０．２５ ０ －０．２５ ｜
｜ ０ １ ０ ｜
｜ －０．２５ ０ －０．２５ ｜
かかるフィルタは副情報の市松パターンでは強調されず，グリーンノイズパターンは強調される。したがって，市松パターンとグリーンノイズパターンとの間に濃度差が生じ，副情報部分は白抜き(あるいは濃度が低下）として情報が顕像化される。

以上のようにすることにより，表示では可視化されなかった副情報が，プリント時に見えるようになる。このため，”コピー禁止”等の副情報が発現するため，違法コピーに対する警告となる。

以上のように，本発明は画像に主，副情報の多重化した埋め込みを可能とする不可視型の電子透かし装置及び方法を提供するものである。
利用形態として，主情報に通常の埋め込み情報を，副情報としてロゴやパターンを埋め込み，著作権の保護，改ざん検出，不正流出の追跡などへの適用を可能とする。その他，副情報の利用形態として主情報の同期信号や，印刷用地紋としても利用可能である。二つの異なる特性の透かし情報を兼ね備えるため，その組み合わせで様々な用途に利用可能である。

また，本透かしの埋め込みアルゴリズムは広く公開しても構わない。透かしを除去するためにはグリーンノイズパターンを得る必要があり，これは簡単に生成できない。そしてこれは秘密鍵に存在し，仮に紛失や盗難にあっても，画像ごとに異なる鍵を用いれば他の画像は開けない。いわば指紋みたいなものである。安全性は鍵に集約しており，アルゴリズムは普及のために公開しても構わない。

１はスキャナー、２はプリンタ、３はコンピュータシステム、４はROM, ５はRAM,６はプログラムメモリ、７はデータメモリ、８はモニター、９はキーボード、１０は通信機能、１１はCPU、１２はインターネット、１３は画像データの配信、１４は購入希望の連絡、１５は秘密鍵の送付、
１６は著作権者のコンピュータ、１７は購入者のコンピュータ，２１は画像データ，２２は画像補正処理，２３はＦＦＴ（高速フーリエ変換），２４はヒストグラムイコライゼーション処理，２６は文字変換処理，２７は透かしの抽出結果を，３２は画像全体のヒストグラムイコライゼーション，３３はマスクの畳みこみ演算処理，３４は抽出パタンの表示処理を表す。

Claims (6)

1. デジタル画像データi(x,y)に機密情報や著作権情報などを埋め込む電子透かし法において、画像データを複数のブロックに展開し，各ブロック毎に，埋め込みビット情報i（i=0，1）に対応した主情報パターンと，二値図形の副情報パターンとを多重化して埋め込む電子透かし法であって，
   かかる主情報パターンと副情報パターンのスペクトル分布が互いに重ならないようにし，かつ，埋め込み操作は，主情報と副情報を合成したパターンと画像データ間の演算を実空間(画素空間）で行い，
   透かしの抽出は，主情報の抽出は周波数空間で，副情報の抽出は実空間で行うことを特徴とする電子透かし装置および方法。
2. 主情報の埋め込みパターンは、ビット情報i（i=0，1）に対応して，フーリエスペクトルが低周波域および高周波域で低減したグリーンノイズ特性を示すドットパターンpi(x,y) （i=0,1）で，
   副情報の埋め込みパターンは，そのスペクトルが高周波数域に分布するパターンm(x,y)で，
   かかる主情報のパターンに副情報をはめ込んだパターンpi'(x,y)を作成し，
   埋め込まれた画像w(x,y)を，
   w(x,y)=i(x,y) + gain ・ pi'(x,y)
   として生成し（ただし，gainは合成の比率で，1より小），
   透かし情報の抽出は、埋め込まれた画像データをブロックに分割し、
   主情報の抽出は，そのスペクトルの分布の形状からマスクパターンを用いて識別推定により行い，
   副情報の抽出は，そのスペクトルが高周波域に分布するマスクパターンを畳みこみ処理により行う，
   ことを特徴とする請求項１に記載の電子透かし装置および方法。
3. 前記透かしの埋め込まれた画像w(x,y)に対して、少なくとも埋め込み時のドットパターンp0(x,y)を含む秘密鍵を用いることにより、埋め込み前の画像i(x,y)を復元可能とし、その鍵を用いて新たな情報を電子透かしとして埋め込むことが可能な請求項２に記載の電子透かし装置および方法。
4. 前記主情報の埋め込みドットパターンは，そのスペクトル分布が異なる2種類のドットプロファイルp0(x,y)およびp1(x,y)であり，
   前記副情報の埋め込みパターンは，市松状の二値パターンであることを特徴とする請求項２に記載の電子透かし装置および方法。
5. 前記副情報は，改ざん検出用パターンを埋め込み，副情報の透かし抽出において該パターンの検出の有無で改ざんの有無あるいは改ざん箇所の特定を可能とすることを特徴とする請求項４に記載の電子透かし装置および方法。
6. 前記副情報は，同期用のパターンをブロックの対して一定の間隔で埋め込み，抽出時にその間隔を計測することにより，元の画像のサイズを求めることを可能とすることを特徴とする請求項４に記載の電子透かし装置および方法。

Images