JP6937010B2 - 電子透かし装置および方法 - Google Patents

Description

本発明は，デジタル画像データに著作権情報などを埋め込む電子透かし法で、特に印刷耐性を有す不可視の電子透かし装置および方法に関するものである。

現在のデジタル情報社会において，情報の複製により多くの人が情報を共有することが可能となり，社会が大きく発展してきた。しかし，その利便性が，個人の著作物を違法に複製し流通させることにより，著作権侵害などの事件が起こるようになった。画像においては，近年のデジタルカメラやプリンタの高画質化により，原画と寸分も違わぬ複製が容易に得られるようになり，著作権を侵害した違反コピーだけでなく，紙幣や有価証券等の偽造行為という悪質な犯罪行為を助長させる結果となっている。

そのような状況の中で，画像情報の中に別の情報，例えば，著作者情報等を埋め込み，著作権を保護する電子透かし（Digital Watermark）技術が発展してきた。この電子透かし技術は、著作物の中に著作権者の名前や連絡先、取り扱い事項などを埋め込み、利用者に注意を喚起するのみならず、不正利用の追跡ができることなど、著作権の管理・保護、ならびにセキュリティー対策として広く使われ始めている。電子透かし技術は、安全性および信頼性確保のため、第三者からの削除のための攻撃を想定して，攻撃に対する強い耐性が要求される。

デジタルデータとしての電子透かしは，そのまま複製される限りは劣化や消失を生じない。しかし，拡大や縮小、回転などのAffine変換による画像編集や加工を行ったり、JPEGなどの画像圧縮を行ったりした場合には画像データに種々の演算や変換が行われるために、埋め込まれた情報が消失しやすい。このため編集加工に耐えるためには埋め込むデータの強度を大きくし深層に埋め込み、耐性を向上させなければならない。

さらにプリンタに出力した場合には、画像の編集加工の操作に加えて、印刷のためのさまざまな画像処理が施される。例えば、減法混色にするためのYMC変換、黒インク量を決めるための墨版生成処理、二値化して階調を再現する為のハーフトーニング等の処理などが行われる。そのほか、プリンタの空間周波数応答特性（MTF）や階調再現特性，印字ドットの飛散、ドットゲインなどのエンジン特性により、埋め込んだ透かし情報が一層消失しやすくなる。したがって、印刷に対する電子透かしは、これらの事態に備えて、さらにロバストで強靭な技術が必要となる。

これまで画像データに対する印刷耐性のある電子透かし技術として、多くの方法が提案されてきた。その一例としてパッチワーク法がある。パッチワーク手法による情報埋め込みは、統計量を利用するアプローチであるため、局所的な攻撃に対して強い耐性を示す。
この手法は、実空間（画素空間）において多数の画素ペアにわずかな偏差を与え透かし情報として埋め込む。まず、ランダムに画素のペアを選び、一方の輝度値をδ だけ上げ,他方の輝度値をδだけ下げる。この操作を繰り返すことにより分布の期待値に偏りが生じる。この偏りを統計的に求めることにより透かし情報を抽出することが可能となる。しかしながら、この手法は統計的な偏りを生じさせるため、埋め込める情報量は少ない。さらに、印刷耐性を満たすためには，埋め込みデータ値δを大きくする必要があり，実空間（画素空間）で埋め込むため、埋め込み領域（パッチ）が視覚的に目につくようになるし、輝度値に直接変動を与えるため、印刷や読み取りにおける濃度ムラや階調変動等に弱いという問題がある。

別の方法として周波数空間で透かし情報を埋め込む方法がある。画像全体をDCT（Discrete cosine transformation)やフーリエ変換およびWavelet変換を行い，ある特定の中間周波数帯に埋め込む方法である。埋め込まれた情報は実空間では画像全体に分散するため，視覚的に目立ちにくいという特徴がある。埋め込み周波数帯は、視覚的に影響が少なく、かつ、スキャナーで読み取れる中間周波数帯を利用する。しかしながら，スキャナーで読み取れるほどに印刷耐性を高めるためには、埋め込み強度を強くする必要があり，埋め込み周波数に対応したパターンが発生する。このパターンは周期的であるため、画像とのモアレ縞が発生したり、画像の平たん部で目につきやすなり、画質低下をもたらす。また，埋め込む位置情報を鍵として受け渡す方式では，結託攻撃や逆解析により容易にアルゴリズムが解明されてしまう。

また、これらの透かし技術は、紙幣や有価証券の偽造防止や追跡、原本保証などのセキュリティー技術として利用されることが多く、アルゴリズムが公開されると透かしを除去したり回避するための様々な攻撃が考えられる。このため，通常，アルゴリズムは公開されず，標準化や普及が阻止されるという問題もある。

W.Blender, D.Gruhl, N.Morimoto ; "Techniques for data hiding", Proceedings of SPIE, Vol.2020, pp.2420-2440 (1995). 水本匡，松井甲子雄；"DCTを用いた電子透かしの印刷取り込み耐性の検討", 電子情報通信学会誌A, Vol J85-A, No.4, pp.451-459 (2002)

このため，印刷耐性があり、強く埋め込んでもモアレや画質の劣化が少ないセキュアな電子透かし法を得ることが課題である。すなわち，編集加工や画像圧縮，プリンタのエンジン特性などに対する耐性と，外部から透かし情報を除去しようとする様々な攻撃に対しても耐性を有すことが必要である。本課題は，耐性を高めつつ、かつ画像の品質も高めることである。一般に，耐性を高めることと画像の品質を高めることはトレードオフの関係にあるが、画像品質は人の視覚特性を利用し、視覚的に目立たないようにすることで、両者が満足できる。

さらに，必要に応じて鍵を用いて透かしを除去できることも課題である。また，鍵の紛失に対して，被害が広範囲に広がらないようなシステムにすることも課題である。また、普及するためにアルゴリズムを公開しても安全性が保たれること等を満たすことも課題である。

さらに、印刷においては，画像を編集加工し切り抜いたりして使用される例が多く，透かし抽出を困難にする原因となっている。透かし抽出を高精度に行うためには，少なくとも元画像がどのような編集加工をされたかという情報を得ることで抽出精度を高めることができる。すなわち，埋め込まれた画像データから原画像のサイズや方向などを特定できるようにすることも課題である。

以上の課題を解決するために、本発明は、周波数空間において帯域制限を与えたランダムなクラスタードットパターンを原画像に重畳し埋め込むことにより、高画質でありながら印刷耐性のある電子透かしを実現する装置および方法を提供するものである。

埋め込みに用いられるランダムなクラスタードットは，高域および低域で強度が低下したスペクトル特性を示す。ランダムであるがゆえに原画像とのモアレも生じない。プリンタエンジンに対しては印字の応答特性が高く，また人の視覚特性からは認識されにくいことが特徴である。このため印刷において透かし情報の再現性が高くても，印刷された画像を明視の距離で観察した場合には，透かし情報が気にならない。

また、外部からの攻撃に対して耐性が高く、必要に応じて透かしを除去できる鍵を有す。鍵は埋め込む透かし情報のドットパターンを含み，かかるパターンはランダムで多数のドットから構成されるため逆解析が困難であり，さらに、画像データごとにパターン構成を変更することにより，仮に，一つの画像の透かし情報が解読されたとしても，この情報で他の画像の透かし除去をすることはほぼ不可能である。

かかる課題を解決するために、本発明は、クラスター型のグリーンノイズ特性を示すドットパターンを使用して原画像に埋め込む。このグリーンノイズパターンを空間周波数空間でみた場合、0周波数近傍はスペクトルが存在しない。一方、画像データは0周波数近傍に分布するため、両者のスペクトルの重なりは少ない。このため、それぞれのスペクトルを分離することにより埋め込まれた情報を抽出する際，分離性がよく抽出できる。かつ、グリーンノイズ特性を示すクラスタードットのパターンは分散型で粒状性が低く，明視の距離で観察した場合、視覚的に目立たないため原画像の高品質性を維持することが可能である。このため、埋め込みの強度(gain)を大きくしても画質劣化は視覚的に感じ難く，印刷耐性が高められる。

透かし情報の埋め込み方法は、デジタル画像データをR画素×R画素 のブロックに分割し、それぞれのブロックに対して埋め込む透かし情報のビット情報（0あるいは1）に対応して，フーリエスペクトルが低周波域および高周波域で低減したグリーンノイズ特性を示す複数の異なるドットパターンを用いて，透かし埋め込みを行う。透かし情報の抽出方法は、受信あるいは読み取った画像データを補正した後、ブロックに分割し、それぞれのブロックのフーリエスペクトルの分布を求め、マスク処理により埋め込まれた情報を得る。

さらに、透かし情報を抽出する際，抽出データの「信頼度」というパラメータを導入・定量化し，信頼度の高い透かし情報を選択することにより、信頼度の高い透かし情報の抽出を可能とする。

本発明により、高画質性を保持し、印刷耐性のある強靭な透かし埋め込みが可能となり、印刷画像からも信頼度の高い透かし抽出が可能となる。印刷においてはクラスタードットの主周波数がプリンタエンジンでの再現性が高いため安定出力が可能である。さらに、クラスタードットでは編集で施されたAffine変換の係数（拡大縮小率や回転角）をこのドットパターンから探知することができ、補正画像を求めることにより、精度の高い透かし抽出を行うことができる。

さらに、透かしの埋め込まれた画像に対して、鍵を得ることにより、埋め込み前の画像（原画像）に戻すことが可能である。鍵は配信画像ごとに変えることにより、解読や盗難されても他の画像には無力である。その鍵を用いて新たな二次著作権情報を電子透かしとして埋め込むことも可能である。

本発明の電子透かしの埋め込みおよび抽出の装置の図。 透かし入り画像のインターネットでの配信を示した図。 埋め込みに用いたマスクパターンとそのスペクトルを表した図で，（a)は縦長楕円リングのスペクトル特性を有すもの、(b)はそれを90度回転したもの、(c)はAffine係数検出用，(d)はヘッダー検出用。 実際に埋め込んだ図で，（a)は埋め込まれた画像，(b)は部分拡大図、(c)は抽出したスペクトル画像。 gainを変えて埋め込んだ画像とその一部拡大した図で、(a)はgain=0.0625, (b)は0.125、(c)は0.25 透かし埋め込みの処理フローを表す図。 透かし埋め込み時のgain自動調整処理フローを表す図 透かし抽出時の補正画像を取得するフローを表す図。 Ａｆｆｉｎｅ変換係数の導出を示す図 透かし抽出の処理フローを表す図。 透かし抽出のマスクパターンの図。 透かし抽出のマスク処理のフローを示す図。 透かし抽出のマスク処理で信頼度処理フローを示す図。 透かし抽出で4分割でのマスク処理を示す図。 エッジ処理の有無の画像とそのスペクトルを示した図。 同一スペクトルで異なるドットパターンを示した図。

本電子透かしは，著作権を保護したい画像に埋め込まれ，画像データ（電子データ）及び印刷物における著作権の追跡と保護を行う。著作権者はインターネットにより自己の著作権を主張したい画像に透かしを埋め込み公開・販売するが，透かしがあるため不正利用を後から追跡することが可能である。一方、購入者は、透かし解除と再書き込みを鍵を用いることにより可能となり、２次著作者情報を埋め込むことも可能である。

違法な複製や利用は、透かし抽出ソフトウェアにより監視できる。この透かし抽出ソフトウェアには秘密性はなく、例えば，著作権者のホームページなどから自由にダウンロードできるようにして広く公開しだれでも使用できる。第三者はこれにより画像の所有者や著作権情報、連絡先などを知ることができるため、不正使用の警告にもなる。

かかる電子透かしを実施する為，本発明においては、原画像に埋め込むための異なる複数のドットパターンを用いる。かかるドットパターンはすべてグリーンノイズ特性を呈し、埋め込むビット情報の0,1やヘッダー情報（文字列の先頭）に応じて、埋め込みパターンを選択する。また、Affine変換の係数を解析するパターンを随所に含む。

かかるドットパターンは、疑似乱数から生成したランダムなドットパターンから、繰り返し演算にて得られたグリーンノイズパターンである。これらのパターンを用いて、例えば、著作権者の名前やメールアドレス、URLなどの文字列をビット情報に変換し、画像データに埋め込む。また，埋め込まれた情報を除去し、元の画像に戻すための“鍵”としても用いられる。かかる鍵は、ドットパターン情報、埋め込み強度（gain）情報、埋め込まれた文字情報から構成される。かかる鍵情報は，生成されるドットパターンの乱数の初期値をかえることにより異なるドットパターンとなる。このため鍵情報は，ドットパターンごとに異なる。

以下、実施例に沿って詳しく説明する。
図１は本発明の情報埋め込みと抽出のための電子透かしシステムの構成図である。著作権保有者のコンピュータ３ には、著作権を有す画像データが、例えばハードディスクなどのデータメモリ７に保管されている。画像データは、プログラムメモリ６にある画像処理プログラムにより、ＣＰＵ１１，ＲＯＭ ４，ＲＡＭ５などを用いて画像処理され、モニター８に表示される。コンピュータ３にはスキャナー１、プリンタ２が接続され、処理された画像はプリンタから出力され、またスキャナー１から画像読み取りができる。 かかる画像処理は負荷の高い処理が多いため、ＧＰＵなどの高速化を図るための処理ボードが入っている場合もある。

図２は、インターネット配信の処理手順を示すものである。透かし情報を埋め込まれた画像は、著作権者１６のコンピュータからインターネット１２により配信される（１３）。それを見た購入希望者１７は、購入希望を配信者に連絡する（１４）。所定の手続き後、著作権者は透かしの埋め込みと除去のための秘密鍵を配信する（１５）。購入者は、著作権者との契約に基づき、送付された画像の埋め込まれた電子透かしを除去し、画像の編集加工を行う。

さらに購入者は、編集加工された画像データを、２次著作者として自己の著作情報やＵＲＬなどの情報をこの秘密鍵を用いて埋め込むことができる。これらの透かし情報を埋め込まれた画像は、市場に流通し様々な利用がなされる。

違法な複製や利用の監視には、透かし抽出ソフトウェアにより画像から透かし情報を抽出し、自己の著作物であることを確認できる。この透かし抽出ソフトウェアには秘密性はなく、例えば，著作権者のホームページなどから自由にダウンロードできるようにして広く公開しだれでも使用できる。第三者はこれにより画像の所有者や著作権情報、連絡先などを知ることができるため、不正使用の警告にもなる。

秘密鍵は埋め込む画像ごとに１対１で対応する。このため、著作権者は悪用されないように画像ごとに異なる鍵を用いる。このためこの鍵を用いて他の画像の透かしを除去することはできない。また後述の様に結託攻撃に対しても耐性がある。このとき、透かし読み出しのソフトウェアは、前述の様に、鍵が異なっても共通に使える。

ここで，まず本発明に用いられるグリーンノイズ特性を示すドットプロファイル作成アルゴリズムについて説明する．
今，求めるディザマトリックスサイズをR×R （ R=2^m； ただし^はべき乗を表す）として，階調を表す黒化率をg（0≦g≦１：g =1が全黒，g =0 が全白）とする。黒化率g，点(i,j)におけるドットプロファイルを p(i,j)として、中間濃度(g=1/2)のドットプロファイルを以下の様にして求める。
（１）まず，疑似乱数発生器により、R^2/2個のランダムドット（初期状態はホワイトノイズ）を発生させ、p(i,j)とする．この時，疑似乱数発生器のSEED値を変えることにより初期状態のドットプロファイルを変更可能である。かかるドットプロファイルの二次元フーリエ変換を行い，P(u,v)を得る。
（２）P(u,v)にフィルタD(u,v)を掛けて、新たなP'(u,v)を得る。ここで、D(u,v)はラジアル周波数frがfmin〜fmaxの領域に値を持つフィルタである。
（３）P'(u,v)に逆フーリエ変換を行い，多値の点プロファイルp'(i,j)を得る。
（４）誤差関数 e(i,j)=p'(i,j)-p(i,j) を求め，各画素位置での誤差の大きい順に白，黒反転する。
（５）上記操作を誤差が許容量以内になるまで繰り返し，最終的にg=1/2のドットプロファイルを得る。

ここで、ラジアル周波数fmaxおよびfminの設定について説明する。フィルタD(u,v)のfmaxおよびfminにおけるg=1/2での平均的ドット間隔による周波数は，
ｆo＝√g・ｆn＝√(1/2)・ｆn
で与えられ，fmax及びfminはfoを基準として，
a≡（fmax - fo）/fn
b≡(fmin - fo)/fn
として、パラメータ（a,b）を定義する。 ここで，fnはナイキスト周波数を示す。(a,b)を変えてクラスターサイズの異なるドットパターンを得ることができる。

一例として，R=64で，(a,b)=(-1/16,-5/16) ，楕円率1.3の時のドットプロファイルを求める。かかるドットプロファイルp0(i,j)とし，そのパターンとスペクトル特性を図３(a)に示す。楕円率1.3とは，フィルタD(u,v)がy軸方向に1.3倍に拡大されていることを意味する。スペクトル分布がx軸，y軸に対して対象であるため，p0(i,j)の虚数部は0となる。同図(b)のドットパターンp1(i,j)はp0(i,j)を90°回転したもので，スペクトルも同様に90°回転したものとなる。同図（ｃ），（ｄ）はそれぞれAffine係数検出パターンとヘッダー用パターンで後述する。

続いて、多値画像データへの透かし埋め込みアルゴリズムについて説明する。
透かし情報の埋め込みは、カラー画像データをY,Cb,Crに変換し，輝度Yに透かし情報を埋め込む。Blue（印刷時はイエロー）に埋め込むのがもっとも理想的である。ただし、精度よく色分離することが必要である。以下、64画素×64画素のブロックでの埋め込みで説明するが、多くの情報を埋め込みたい場合は32画素×32画素をブロックサイズとする。

今、周波数空間においてブロック単位で異種のスペクトルパターンを埋め込むこととして、異なるスペクトルパターンをPi (u,v) （i=0,１，２・・・）とする。Piはそのスペクトルが前述のグリーンノイズ特性をしめす。fminは埋め込まれる画像の最大周波数よりも大きい周波数を選ぶことが理想的であるが、必ずしもこれに限定されるわけではない。
画像ブロックの周波数スペクトルをI(u,v)とすると，埋め込まれたスペクトルW(u,v)は，
W(u,v)=I(u,v)+gain・Pi (u,v) ----------(1)
となる。ここで，不可視となるためには，gain≪1でなければならない。透かし情報Pi (u,v)が精度よく抽出されるためには，I(u,v)とPi (u,v)の重なりが少ないようにすることが望ましい。

実際の透かし情報の埋め込み作業は実空間で行う。前式を実空間（画素空間）に変換する（小文字で表す）と，
w(x,y)=i(x,y)+gain・pi (x,y) ----------(2)
となる．透かし情報は，かかる異なるグリーンノイズ特性を示すドットパターンpi (x,y)（i=1,2）を用意し，埋め込むビット情報（0,1）に対して，
埋め込みビット=0の時 → p0（x,y）
埋め込みビット=１の時 → p1（x,y）
として埋め込む。ここで、p0およびp1は（1,0）の二値であるが，平均輝度を保存するため（1/2,-1/2）とする。

また，p0およびp1はランダムなドットであるため，両者の境界は目立たない。また，グリーンノイズ特性を示すクラスター型のハーフトーンスクリーンは、印刷時，クラスター型のFMスクリーンとしてよく用いられ、分散性ドットで均一性にすぐれているため人の視覚にも一様で粒状性も感じさせない。

図3の(c)および(d)は，矩形フィルタを用いてグリーンノイズパターンを求めたものである。（ｃ）は(a,b)=(0,-1/8) の矩形フィルタからの生成パターンである。すなわち，x,y方向に，fmin=-1/8・ｆn , fmax=0 の矩形バンドフィルタから生成されたドットパターンである。また，(d)は，(a,b)=(1/8,-1/8)の矩形バンドフィルタから生成されたドットパターンである。（ｃ）のパターンは後述のAffine変換係数の探索に，(d)のパターンは文字列の先頭におかれ，繰り返しの区切りパターンとして用いられる。

原画像への埋め込み可能なデータ量（最大ビット数）Nは，画像サイズがW画素×H画素の画像に対して，
N=int(W/R)×int(H/R) ----------(3)
で与えられる。ここで，int()は少数以下切り捨てを表す。埋め込み可能文字数は，ASCII文字の場合は，int(N/8)となる。通常，著作権保護希望の対象画像はHDサイズ（1980画素×1024画素）以上の画像が多く，HD画像では，N=480ビット=60バイトとなり，著作権情報の埋め込みとしては十分である。しかしながら，小さいサイズの画像で十分な情報量を必要とする場合には，R=32として埋め込めば，例えば，512画素×512画素の場合，N=256ビット=32バイトの情報量が埋め込み可能である。

図４は1024画素×576画素の画像にR=64のドットパターンを埋め込んだものである。したがって，この画像は，
N=int(1024/64)×int (576/64)=16×9=144ビット=18バイト
となり，最大18バイト（ASCIIの場合）までの文字情報が埋め込み可能である。同図(a)は埋め込まれた画像を，同図(b)はその一部の拡大図を示す。埋め込みのgainは0.0625で，ある。すなわち，原画像に±8 のドットパターンを合成したものである(8ビット/画素として）。同図(c)は後述の抽出結果で正答が得られている。

埋め込み画像はgain を大きくすることにより，印刷耐性を高めることが可能である。しかしながら，gainを大きくするとドットパターンが見えるようになる。図5はgainを変えて埋め込んだ場合の画像を示す。同図(a)のgain=0.0625の場合,PSNR(Peak Signal-to-Noise Ratio)は，30.1で，埋め込みは視覚的にほとんどわからないが、同図(c)のgain=0.25の場合，透かしの抽出はほぼ100％であるが，PSNR=18.06となり，ドット構造が目につくようになる。実験の結果，gainが0.125以上であれば，印刷耐性があることが分かった。この場合PSNR=24.08であるが，視覚特性のローパス効果により目立たない。

図6は透かし埋め込み処理フローを示す。まず，埋め込むための透かし情報ビット列wm(i,j)を用意する（２０）。ここでiは埋め込む文字のi番目を,ｊはそのjビット目を表す（MSBを0ビット目とする）。ASCII文字の場合，8ビット/文字 であるので，ｊ＝0,1,…7である。また，iは，１≦i≦int(N/8)である。ただしNは式３で示された埋め込み最大ビット数である。続いて，画像データをR×Rのブロックに分割し（２１），ブロック単位でドットパターンを合成していくが，文字列の先頭であるか否か（２２）で，先頭の場合はヘッダーパターン（pHeadder）を埋め込む。さらに，文字のMSB（Most Significant Bit）であるか否か（２３）で，MSBの場合は，後述のAffine検出用のパターン（pAffine）を埋め込む。そのどちらでもない場合は，埋め込みビットが1の場合はp0,埋め込みビットが0の場合はp1のパターンを埋め込む（２４）。全ブロックに埋め込みが終わった段階で終了する。

埋め込んだ透かし情報が，埋め込みのgainが小さいために抽出できない場合がある。原画像の該当するブロックの空間周波数が高いとそのようなことが生じる。図7はgainの自動調整を行うフローを示したもので，まず，gain=g として透かし情報wm(i,j)を全ブロックに埋め込む（３０）。全ブロックを埋め込んだら，次に透かし読み取りを行う（３２）。ここでは，抽出した透かし情報wm’(i,j)と，埋め込む前の透かし情報 wm(i,j)を比較し一致するか否かを判定する。それと同時に，後述の抽出ビットの信頼度wmrel’(i,j)がある一定の閾値以上か判定する（３３）。透かし情報が一致しない場合や，一致していても信頼度が閾値以下の場合は，gainに一定値Δgを足して（３４），再び透かしの埋め込みを行う。信頼度の定量化が可能なため，以上のようにして最適な透かし強度での埋め込みを自動で行うことができる。なお，透かし情報が一致しても信頼度が閾値以下の場合は，印刷画像から読めない場合があるため，余裕を持たせるためで、判定の閾値は実験にて決める。

透かし情報の抽出は，読み取った画像の大きさ，傾きを補正後，ブロック単位でスペクトル画像を求める。式(2)をフーリエ変換して，
F{w(x,y)}=F{i(x,y)} + gain・F{pi (x,y)} ----------(4)
となる。ただし，F{ }はフーリエ変換を表す。通常，F{i(x,y)}は原画像のスペクトルで，0周波数付近に局在し，F{pi (x,y)}はそれを取り巻くリング状のスペクトルとなる。このため，両者の重なりは少なく、両者を分離することは容易である。

図８は補正画像の処理フローを示したものである。まず，印刷画像をスキャナーやカメラなどで画像を読み取る（３５）。続いて，対象画像を切り出し（３６），R×Rのウィンドウをスキャンし、該当する部分にFFTを施し矩形パターンを探す（３７）。印刷画像が縮小や拡大されているため，場合によっては一辺が R/2^n （nは整数）のウィンドウサイズで行ってもよい。矩形パターンが見つかると，Affine係数を求めることができる（３８）。その後，逆Affine変換を行い元の画像サイズと方向に戻す（３９）。続いてエッジ強調を画像に施し（４０），補正画像を得る。

Affine係数は以下のようにして求める。今，埋め込み画像w(x,y)がa倍に拡大されたとすると，そのフーリエ変換は，変倍前のフーリエスペクトルをP(fx,fy )とすると，
F{w(x/a,y/a)}=F{i(x/a,y/a)}+gain・F{p(x/a,y/a) }
=F{i(x/a,y/a) }+gain・|a|・P(au,av)
となり，スペクトル空間で1/aに縮小される．また，画像をθ回転させたものは，フーリエスペクトルでもθ回転する。したがって，埋め込まれた画像のスペクトルの分布を計測することにより施されたAffine係数を求めることができる。検出用の窓サイズは小さくてもかまわない。例えば、レジストレーション考慮をせずに４０ｘ４０の窓サイズで抽出を試みる場合、余白を設けて６４ｘ６４にしてFFT（高速フーリエ変換）を施しても、検出は可能である。

図９はAffine 変換係数の検出を具体的に示したもので，印刷画像は原画像を1.25倍に拡大し右回りに8度の回転を行ったものである。抽出のためのウィンドウをスキャンしてあるところでそのスペクトルが矩形パターンを見つけ出しもっとも明瞭になるように位置と余白を調整する。得られた矩形パターンのサイズを原画に埋め込んだ時のサイズと比較してAffine係数を得ることが可能である。また回転は得られた矩形パターンの回転角度から得ることができる。

図１０に透かし抽出の処理フローを示す。まず補正画像をR×Rのブロックに分割し（４１），最初のブロックにFFTを行う（４２）。続いて得られたスペクトル画像にヒストグラムイコライゼーションを施す（４３）。これはスペクトルパターンのコントラストを向上させると同時に，後述の信頼度の定量化での規格化を図るためである。続いて後述のマスク処理を行い（４４），透かし情報wm’(i,j) および信頼度wmrel’(i,j)を得る。すべてのブロックが終了したか否かを判断し（４６），終了しなければ次のブロックへ行き，再び同様の処理を行う。

図１１はフーリエ変換後のスペクトル分布からパターン認識により透かし情報の抽出を行う識別機としてのマスクパターンを示す。縦長および横長の楕円リング形状のマスクで、埋め込み用のドットパターンのスペクトル特性に対応したものである。図中黒の領域は値が１，白部分は値が0であるとする。透かしの入ったスペクトルにこのマスクを重ね、重なり部分の積分輝度値の差分から、ビットが0か1かを判断する。すなわち，図１２において，ブロックのスペクトルパターンW(i,j)に対して，以下の積分輝度値の出力Q0 ，Q1 を得る（４０）。
Q0=M0◎W=1/ZΣM0(i,j)・W(i,j)
Q1=M1◎W=1/ZΣM1(i,j)・W(i,j) ----------(5)
ここで◎はマスク演算を,Zはマスクの値が１の画素数を表す。かかる出力から，
Q0>Q1 の時, 抽出ビット＝wm’(i,j)=0
Q1>Q0 の時, 抽出ビット＝wm’(i,j)=1
となる（４１）。同時に，以下のように信頼度を得る（４２）。
wmrel’(i,j)＝｜Q0-Q1｜
かかる信頼度はその値が大きいほど抽出ビットの信頼度が高い

図１３に透かし情報の精度および信頼性の向上について説明する。画像のサイズにより式（３）から埋め込み最大ビット数Nが与えられる。今埋め込みたいビット数がnで n＜N であるとすると，重複してビット列を埋め込むことができる。図10の透かし情報の抽出では，ビット数にかかわらず（文字列の繰り返しを考慮せずに）Nまでの連続した透かし情報wm’ と信頼度wmrel’ を得た。この連続した文字列から信頼度の高いものを選択してｎまでの透かし情報を求める。

まず，iを埋め込んだ文字列のi番目の文字番号（0<i≦int(N/8)），ｊをビット番号（0≦j≦7）としたとき，nを法としてその剰余ｋは，k＝i mod nで表され（５０），(i,j)番目の信頼度wmrel’が
wmrel’(i,j)>wmrel(k,j) の時，抽出の信頼度が高いため，
wm(k,j)=wm’(i,j)
wmrel(k,j)=wmrel’(i,j)----------(6)
として（５２），透かし情報を置き換える。これを全ビット及び全ブロックで，すなわち埋め込みビット数Nが終了するまで行う。

上記操作により、埋め込みビット列の，最も信頼度の高い透かし情報wm2(i,j)およびwmrel2(i,j)が選ばれる。これにより各ビットごとの抽出値およびその信頼度が定量化される。かかる値から、抽出文字単位の信頼度wmrel2(i)は、各ビットごとの信頼度の2条平均から
文字の信頼度wmrel2(i)＝√｛1/8Σwmrel2(i,j)^2}
ここでΣはj=0〜7 までの和である。このようにして抽出した文字の信頼度が定量化できる。

しかしながら原画像のデータに高周波成分が存在するような場合は，信頼度が低いまま抽出されてしまうこともある。図14はその例を示したものである。同図（a）は，R×Rのブロックの画像で画像上部は一様な空，画像下部は木の梢が映っているが，この画像から抽出した結果，同図（b）のようになり，信頼度が低く抽出が困難である。その理由は，グリーンノイズ・スペクトルの周波数帯に画像の周波数が存在する為である。このような場合，一辺がR/2の矩形に4分割し各々に対してフーリエスペクトルを求めると，同図（c）のよう空間的に高周波数のない画像が現れ，明らかに縦長の楕円スペクトルであることが確認される。

このように信頼度が低い埋め込みブロックに対して，再分割して抽出することにより，信頼度の高い抽出が可能となる。4分割されたブロックはすべて同じスペクトル特性を表すため一つでも高信頼度が抽出されれば，そのブロック全体をその信頼度に格上げされる。このようにして印刷画像に対して，高い信頼度の透かし抽出が可能となる。

補正処理におけるエッジ強調処理は，図１５に示されるようにスペクトルの分布を明瞭にし，認識精度を向上させる。このエッジ強調処理は３×３のラプラシアンフィルターで強くかけることが望ましい。通常，プリンターはローパス作用が強いため，印刷画像は高域が低下する。このため高域を強調することにより透かしの抽出信頼度が向上する。

以上のようにして透かしの抽出が行われるが，前述の図４の(c)は抽出時のスペクトル分布を示す。埋め込みはASCII文字で“kawamura” の8文字を埋め込んだものである。各文字をビットに展開し，図３で説明したように，”0“に対してp0を，”1“に対してはp1 のパターンを埋め込む。またASCII文字の先頭ビット（MSB）はすべて0であるため，これをAffine変換係数検出用のパターンで埋め込み，文字列の最初の文字の先頭ビットを文字列区切り用のヘッダーパターンで埋め込む。補正画像が作成された後、まず、ヘッダーパターンを先頭に、文字列の抽出が行われる。８ビットごとにAffine 検出パターンが現れるので、これを同期信号として文字の抽出が行われる。再びヘッダーパターンが抽出された段階で文字列が終了したこと後分かり、2度目の抽出が行われ、信頼度の高いものが選ばれる。図３(c)では、8文字の文字列が2回と2文字が埋め込まれており、重複した埋め込み情報から信頼度の高いものを選ぶことにより抽出結果の精度を向上させることができると同時に，抽出された各文字の信頼度を定量化できる。

透かし情報は埋め込みパターンを知ることにより，除去し原画像に戻すことができる。すなわち式(２)より，
i(x,y)=w(x,y) - gain・pi (x,y)
となり，埋め込みパターンpi (x,y)，gain、埋め込まれた文字列を“鍵”として受け取ることにより原画像に戻すことができる。完全に元の画像に戻すためには，埋め込み画像のオーバーフロー，アンダーフローを避けるため，あらかじめダイナミックレンジを制限しておく必要がある。
鍵のサイズは，R=64の場合は4096ビット（512バイト）、R=32の場合1024ビット（128バイト）で，大きな負担とはならない。

次に本手法の攻撃耐性について説明する。電子透かしに対する攻撃としては，例えば信号の強調（シャープネス調整），ノイズの付加，フィルタリング（線形，非線形），非可逆圧縮（JPEG，MPEG），変形（回転，拡大縮小）などがある．これらの攻撃は輝度情報への攻撃であり，本手法の様に分散ドットの集合による埋め込みは，解像度方向への攻撃（例えば，強いローパスフィルタなど）がない限りは保持でき，一般に強靭であるといえる．さらに，gainを大きくすることにより，耐性を高めることができる。

また，透かしの埋め込まれていない原画像や，複数の埋め込み画像から，透かしパターンを特定するような，結託攻撃（collusion attack）に対しては，画像ごとに埋め込みパターンを変更することにより回避できる。同じスペクトル特性を有す多数のパターンが存在するため，同一の鍵により他の画像の埋め込まれた透かしデータを除去することはできない。

図１６は，ドットパターン作成時の初期値（乱数のSEED値）を変えて異なったクラスタードットパターンp0を生成したものである。スペクトル分布は同一であり，抽出ソフトウェアは共通であるが，ドットプロファイルは異なる．R=64の場合，異なるパターン数は，(4096)C(2048) 個だけ可能であり（Cはcombinationを表す），同じパターンとなる確率は極めて低いため，安全性は高い。スペクトルの分布は同じため透かしの抽出ソフトウェアの変更は必要ない。したがって，画像ごとにドットパターンのプロファイルを変えることにより結託攻撃を回避することができる。著作権者は購入者に対してそれぞれ異なる乱数から求めたドットプロファイルを”秘密鍵”として提供する。購入者ごと、あるいは画像ごとにこの鍵は異なるため、他の購入者の画像から透かしを除去することはできない。
通常の電子透かしは、アルゴリズムが分かれば攻撃が容易である。このため、透かしアルゴリズムは非公開が原則である。一方、本アルゴリズムはアルゴリズムを公開しても、透かしを除去する鍵は原則、１枚の画像に対して１つであるため、仮に鍵情報を解読できても、他の画像にその鍵を使って透かしを除去することはできない。

さらに，90°回転したドットパターンp1を異なる乱数パターンから新規に作成することにより，安全性はさらに高まる。この場合，鍵パターンは2つ必要となり，両方の鍵がそろって、初めて透かしの除去が可能となる。

また、透かしをそのまま除去せずに用いることもできる。埋め込まれた画像を、通常のサイズで明視の距離で観察する場合は，視覚系のMTF特性からパターンは殆ど認識されない。本発明の電子透かし法は、実空間におけるスペクトラム拡散のアナロジーであり、gainを小さくしても印刷耐性が保持できる。

また，ドットの空間分布から情報を抽出するため，濃度ムラや照明ムラに影響を受けにくい。抽出エラーは原画像自身がクラスタードットの周波数に近い空間周波数を有す時に生じる。この場合、クラスタードットの主周波数を高周波側に持っていくことにより抽出精度は向上するが，プリンタの高周波域での高い応答特性が必要で，また印刷用紙の紙質への制限が厳しくなる。もし埋め込むビット数に余裕があれば、一つの解決策として透かし情報を繰り返し埋め込み，抽出の信頼度が高いビットを選ぶことにより精度向上を図ることができる．埋め込む情報量は減少するが，埋め込みブロックサイズを32画素×32画素にすればよい．

本透かしの埋め込みは，ブロック単位の埋め込みでディザ法による二値化と同様，高速に処理可能である。抽出はやや複雑で演算負荷が高いが，ブロック単位で独立であるため，並列処理を行うことにより，並列数に逆比例して演算時間が減少するため，大きなサイズの画像に対して有効である。

以上、本発明の電子透かし法について説明したが、本手法は実空間でグリーンノイズ特性を示すドットパターンを埋め込むため，視覚的な違和感が少なく，強く埋め込むことが可能であり、濃度ムラや画像の歪に影響を受け難く、また，鍵情報により原画像に復元することも可能であるなどの特徴があるため、単に著作権保護のみならず、印刷画像と電子データとのリンクによるさまざまなアプリケーションに有効である。
また、透かしアルゴリズム、および抽出ソフトウェアは公開しても構わない。一般のユーザは、抽出ソフトウェアを用いてネット上の画像の著作権情報や条件等を確認することができる。埋め込まれた透かし情報は固有の鍵がない限り解除はできない。

1はスキャナー、2はプリンタ、3はコンピュータシステム、4はROM, 5はRAM,6はプログラムメモリ、７はデータメモリ、８はモニター、9はキーボード、10は通信機能、11はCPU、１２はインターネット、 １３は画像データの配信、１４は購入希望の連絡、１５は秘密鍵の送付、
１６は著作権者のコンピュータ、１７は購入者のコンピュータを表す。

Claims (2)

1. デジタル画像データに著作権情報などからなるｎビットの情報を埋め込む電子透かし法において、
   透かし情報の埋め込みは、デジタル画像データをR画素×R画素 のN個のブロックに分割し（N≧n）、それぞれのブロックに対して埋め込む透かし情報のビット情報（0あるいは1）に対応して、フーリエスペクトルが低周波域および高周波域で低減したグリーンノイズ特性を示す複数の異なるドットパターン、およびビット列の先頭で繰り返しの区切りを示すヘッダーパターンを用いて、N個のブロックが埋まるように重複して埋め込み、
   透かし情報の抽出は、受信あるいは読み取った画像データをブロックに分割し、それぞれのブロックのフーリエスペクトル分布と抽出用マスクとのマスク処理により、ヘッダーおよび透かし埋め込みパターンを抽出し、透かし埋め込みパターンから埋め込みビット情報とそのビット情報の信頼度を求め，重複したビット情報から信頼度の高いものを選び透かし情報とし，
   透かし情報の除去は、透かしの埋め込まれた画像に対して、埋め込み時のドットパターンおよび埋め込みの強度(gain)を含む鍵を用いて、埋め込み前の画像を復元することができるものであって、
   前記透かし情報の埋め込みは，画像毎に異なる初期値（乱数のSeed値）により生成されたドットパターンを用い，
   前記透かし情報の除去は、かかる画像毎に異なるドットパターンを内蔵する鍵を用いて透かしの除去を行い、かつ、この鍵を用いて新たな情報を埋め込むことが可能であり、
   前記透かし情報の抽出は、異なる画像に対して鍵が異なっても共通のソフトウェアを用いることができる、
   ことを特徴とする電子透かし方法。
   
2. 前記電子透かしの抽出用のマスクは，埋め込みドットパターンのスペクトル特性P0,P1に対応したマスクM0,M1があり，前記マスク処理は，マスクとブロックの抽出スペクトル分布との積分輝度値Q0,Q1で，
   Q0>Q1 の時, 抽出ビット＝0
   Q1>Q0 の時, 抽出ビット＝1
   であり，また，信頼度は
   信頼度＝｜Q0-Q1｜
   であり，重複して埋め込まれた透かし情報から，信頼度の高いものを選択して，透かし情報を抽出することを特徴とする請求項１に記載の電子透かし方法。

Images