JP6920719B2 - 電子透かし装置および方法 - Google Patents

Description

本発明は，デジタル画像データに情報を埋め込む不可視の電子透かしの装置および方法に関するものである。特に、印刷画像や表示画像から透かし情報を抽出可能なデータハイディングやAnnotationを可能とする透かし装置および方法である。

現在のデジタル情報社会において，情報の複製により多くの人が情報を共有することが可能となり，社会が大きく発展してきた。しかし，その利便性が，個人の著作物を違法に複製し流通させることにより，著作権侵害などの事件が起こるようになった。画像においては，近年のデジタルカメラやプリンタの高画質化により，原画と寸分も違わぬ複製が容易に得られるようになり，著作権を侵害した違反コピーだけでなく，紙幣や有価証券等の偽造行為という悪質な犯罪行為を助長させる結果となっている。

そのような状況の中で，画像情報の中に別の情報，例えば，著作者情報等を埋め込み，著作権を保護する電子透かし（Digital Watermark）技術が発展してきた。この電子透かし技術は，著作物の中に著作権者の名前や連絡先，取り扱い事項などを埋め込み，利用者に注意を喚起するのみならず，不正利用の追跡ができることなど，著作権の管理・保護，ならびにセキュリティー対策として広く使われ始めている。

電子透かしと同じように何らかの副情報を知覚されない形で画像に埋め込む技術として，データハイディング（Data Hiding）技術がある。データハイディングも電子透かしも知覚されないように情報を埋め込むという不可視化するという点では共通しているが，利用目的が異なる。電子透かしは埋め込む量は少なくても，攻撃に対する耐性は強くなければならない。一方、データハイディングは著作権保護というより原画に対する補佐的な副情報を画像に埋め込むため、埋め込まれる情報量は多い方がよく，半面，攻撃に対する耐性はあまり考慮されない。

一方，ステガノグラフィという技術がある。ステガノグラフィも情報を知覚されないように埋め込む点は同じであるが，情報が秘密情報であり透かしの抽出に秘密鍵が必要となる。そのほか，Fingerprint1（利用者に関する情報を埋め込み不正配布者を特定する），Integrity Mark（画像に改竄がないかを検出する），Annotation（画像に関する説明を埋め込む）などと呼ばれる方法・技術があり，それぞれ電子透かしに必要な強度や容量，システムなどの条件が異なる。

データハイディングやAnnotationなどの応用として、画像とネットとの融合が考えられる。画像に埋め込まれた情報を副情報あるいはメタ情報として、様々な情報を提供する。埋め込まれる情報量は多い方が有利であるが、不可視の埋め込みには埋め込み量に限りがあるため、情報提供者のホームページなどに誘導したり、簡単な説明ができる程度の埋め込み量が必要である。

ユーザをネットに誘導したり、商品を説明する方式として、バーコードや二次元バーコードなどがある。ユーザはこのコード化されたマークをスマートフォンなどで読み取ることにより、関連するホームページに誘導したり、様々な情報を得たりすることができる。これらの方法はコードパターンに多量の情報を埋め込むことができる。しかしながら、これらは無味乾燥なコードパターンを画像や文字情報の横に置かれ、このパターンのみでは一般ユーザにとっては内容が推測できず、興味を引くようなものではない。

このため、関連する画像の中に情報を埋め込むデータハイディングやAnnotationなどの技術は、意味ある画像内に情報を埋め込み、コードパターンの様な余分なスペースを必要としないため、近年、注目された電子透かし応用技術である。しかしながら、できる限り多くの情報を埋め込み、かつ、スキャナやカメラで読み込んで透かし情報を抽出するためには、強い耐性と正確性が必要である。

これまで画像データに対する耐性のある電子透かし技術として，多くの方法が提案されてきた。その一例としてパッチワーク法がある。パッチワーク手法による情報埋め込みは，統計量を利用するアプローチであるため，強い耐性を示す。この手法は，実空間（画素空間）において多数の画素ペアにわずかな偏差を与え透かし情報として埋め込む。まず，ランダムに画素のペアを選び，一方の輝度値をδ だけ上げ,他方のの輝度度値をδだけ下げる。この操作を繰り返すことにより分布の期待値に偏りが生じる。この偏りを統計的に求めることにより透かし情報を抽出することが可能となる。しかしながら，この手法は統計的な偏りを生じさせるため，埋め込める情報量は極端に少ない。また，読み取り時の照明ムラや印刷時の濃度ムラ等に弱い。

別の方法として、画像の周波数空間で透かし情報を埋め込む方法がある。画像全体をDCT（Discrete cosine transformation)やフーリエ変換およびWavelet変換を行い，ある特定の中間周波数帯に埋め込む方法である。しかしこの方法は、埋め込む情報量を増やすと、画像の空間周波数と埋め込みスペクトルの周波数の分離が難しい。また、埋め込み強度を強くすると，周期的パターンが発生し，画像の平たん部で目につきやすなり，画像とのモアレ縞が発生するなどして画質低下をもたらし、透かし情報の抽出精度がよくない。また埋め込める情報量もさほど多くはない。

W.Blender, D.Gruhl, N.Morimoto; "Techniques for data hiding", Proceedings of SPIE, Vol.2020, pp.2420-2440 (1995). 水本匡，松井甲子雄；"DCTを用いた電子透かしの印刷取り込み耐性の検討", 電子情報通信学会誌A, Vol. J85-A, No.4, pp.451-459 (2002).

このため，なるべく多くの情報量を強く埋め込んでも、視覚的に画像品質が低下せず、透かしの入った画像をプリントしたり表示したものを、スキャナやカメラで読み取っても、透かし情報を正確に抽出できる耐性の強靭な電子透かし法を得ることが課題である。

さらに，埋め込まれる画像の内容によらず、透かし情報の抽出が安定して高信頼度で抽出できることも必要である。特に、埋め込まれる画像の空間周波数が高域で高いスペクトルを有す細かなパターンからなる画像の場合でも、安定して透かし情報が抽出できる電子透かし法を得ることも課題である。

以上の課題を解決するために，本発明は，周波数空間において低域においてそのスペクトル強度が低減した小サイズのランダムなドットパターンを原画像に重畳し埋め込むことにより，埋め込み情報量を増大させ、かつ、埋め込みの強度を強くして耐性を高める。そのようにしても視覚的に画質劣化を感じさせず、耐性のある電子透かしを実現するものである。

埋め込みに用いられるランダムなドットパターンは，スペクトルの低域で強度が低減したブルーノイズ特性か、高域および低域で強度が低下したグリーンノイズ特性を示す。かかるドットパターンは人の視覚特性からは認識されにくい。このため、強く埋め込むことにより耐性をさらに高くすることが可能である。

一般に、画像データのスペクトル特性は0周波数近傍に分布する。このため，埋め込みに用いられるドットパターンは、画像データとのスペクトルの重なりは少なく、それぞれのスペクトルを分離することが容易で、埋め込まれた情報を高い信頼度で抽出することが可能となる。

透かし情報の埋め込みは，デジタル画像データをR画素×R画素 のブロックに分割し，それぞれのブロックに対して埋め込む透かし情報のビット情報（0あるいは1）に対応して，フーリエスペクトルが異なるドットパターンを用いて，透かし埋め込みを行う。透かし情報の抽出は，受信あるいは読み取った画像データを補正した後，ブロックに分割し，それぞれのブロックのフーリエスペクトルの分布を求め，そのスペクトル分布からパターン認識により埋め込みの情報を抽出する。

埋め込む情報量を多くするために、なるべく小さなブロックに分割する。ブロックサイズを小さくすると一般に抽出データの信頼度が低下する。このため、埋め込む前に画像全体に平滑化処理を行い、原画像のスペクトル特性を低域に閉じ込める操作を行い、抽出精度を向上させる。

本発明により，埋め込み情報量を多くし、また、強靭な透かし埋め込みが可能となる。このため印刷画像や表示画像をスキャナやカメラで読み取った画像でも、埋め込まれた透かし情報を高い信頼度で抽出できる。

本発明の電子透かしの埋め込みおよび抽出の装置の図。 透かし入り画像のインターネットでの配信を示した図。 埋め込みに用いたドットプロファイルを得るための処理フローを示した図。 ドットパターンとそのスペクトルを表した図で，（a)は縦長楕円のスペクトル特性を有すもの，(b)はそれを90度回転したもの，(c)はブルーノイズ特性を示すもの、(d)は円形のリングスペクトル特性を有すもの、(e)はヘッダー用のもの。 実際に埋め込んだ図で，（a)は埋め込まれた画像，(b)はその一部拡大したもの。 透かし埋め込みのフローを示す図。 透かしを埋め込まれた画像データとそのスペクトル特性を表す図。 透かし抽出の処理フローを表す図。 透かし抽出のマスクパターンの図。 透かし抽出のマスク処理を示す図。 透かし抽出のマスク処理で信頼度向上を示す図。 平滑化の自動調整を表す図。 カメラで撮影して透かし抽出を行った時の図で、(a)は透かし入りの画像をモニターで表示したものをカメラで撮影したもの、(b)は画像部分を補正して切り出したもの、(c)は抽出したスペクトル画像。 2ビットの多値データを埋め込む時のドットパターンとそのスペクトルを示す図。

本電子透かしは，画像の中に情報を埋め込み、かかる画像をスキャナやデジタルカメラ、スマートフォンなどで読み取り、埋め込み情報の抽出を行うデータハイディングやAnnotationを実現するものである。埋め込む情報として、リンクさせたいホームページアドレスやURL、画像の副情報などである。画像自体は比較的小さいサイズのものが使われることが多いため、小さな画像でも多くの情報量を埋め込めることが必要である。

さらに、印刷耐性を向上させ、埋め込みによる画質劣化を視覚的に緩和する必要がある。このため、グリーンノイズやブルーノイズを呈すドットパターンを、画像に重畳して埋め込む。埋め込まれた画像は、これら副情報の媒体であり、画像自体の二次使用はないため、多少の劣化は許容でき、埋め込まれる情報量、および抽出される情報の正確性を確保することが優先される。

このため、本発明では画像を小さなブロックサイズで分割し、かつ、埋め込みの強度gainを大きくすることで、情報量と信頼度を確保する。ブロックサイズを小さくすること、および埋め込み強度gainを大きくすることは、一般に、画質劣化が生じ、抽出精度が低下する。そこで、グリーンノイズおよびブルーノイズ特性を示すドットパターンを使用し画質劣化を感じさせなくすると同時に、前処理や抽出時の補正処理で抽出精度を向上させる。

かかる電子透かし手法を実施する為，本発明においては，原画像に埋め込むため、小サイズの異なる複数のドットパターンを用いる。かかるドットパターンはグリーンノイズやブルーノイズ特性を呈し，埋め込まれた画像の粒状性やノイズ感は視覚的に少ない。複数のパターンは、埋め込むビット情報に応じてパターンを選択する。

かかるドットパターンは，疑似乱数から生成したランダムなドットパターンから繰り返し演算にて得られる。フィルタ形状や初期状態を変えることにより異なるパターンが多数生成され、これらのパターンを用いて，メールアドレス，URLなどの文字列からなるビット情報に応じてパターンを選択し，画像データに埋め込む。

以下，実施例に沿って詳しく説明する。
図１は本発明の情報埋め込みと抽出のための電子透かしシステムの構成図である。透かしを埋め込みたい情報提供者のコンピュータ３ には，デジタルカメラ１８などで撮影された画像データが，例えばハードディスクなどのデータメモリ７に保管されている。画像データは，プログラムメモリ６にある画像処理プログラムにより，ＣＰＵ１１，ＲＯＭ ４，ＲＡＭ５などを用いて画像処理され，モニター８に表示される。コンピュータ３にはスキャナ１，プリンタ２が接続され，処理された画像はモニター8に表示されたりプリンタから出力されたりし，またスキャナ１から画像読み取りができる。かかる画像処理は負荷の高い処理が多いため，ＧＰＵなどの高速化を図るための処理ボードが入っている場合もある。

図２は，インターネット配信の処理手順を示すものである。透かし情報を埋め込まれた画像は，情報提供者１６のコンピュータシステムからインターネット１２により配信される（１３）。あるいはチラシや広告の紙媒体で印刷物として配布してもよい。それを受信したユーザ１７は，透かし情報をスキャナ１やデジタルカメラやスマートフォン１８などで画像を読み取り、透かし抽出のソフトウェアにより透かし情報を抽出し、情報提供者のホームページなどにアクセスする（１４）。そして、さらに詳細な情報を受け取ることができる（１５）。

ここで，まず本発明に用いられるドットプロファイル作成アルゴリズムを図３の処理フローに沿って説明する。
今，求めるドットプロファイルのサイズをR×R ( R=2^m，＾はべき乗を表す)として，まず，疑似乱数発生器により，R^2/2個のランダムドット（初期状態はホワイトノイズ）を発生させ，p(x,y)とする。この時，疑似乱数発生器の初期値（SEED値）を変えることにより初期状態のドットプロファイルを変更可能である。
STEP1：p(x,y)ドットプロファイルの二次元フーリエ変換を行い，P(u,v)を得る。
STEP2：P(u,v)にフィルタD(u,v)を掛けて，新たなP'(u,v)を得る。
STEP3：P'(u,v)に逆フーリエ変換を行い，多値の点プロファイルp'(x,y)を得る。
STEP4: 誤差関数e(x,y)=p'(x,y)-p(x,y)を求め，各画素位置での誤差の大きい順に白，黒反転する。
STEP5: 上記操作を誤差が許容量以内になるまで繰り返す。
以上の操作を行い最終的に目的とするドットプロファイルを得る。

次に，フィルタD(u,v)について説明する。D(u,v)は，u軸方向とv軸方向で軸対称で、低域と高域をカットするフィルタとする。これは円や楕円であっても矩形であってもよい。u軸方向の低域カットオフ周波数をfmin 、高域カットオフ周波数をfmaxとし，f0＝(1/2)＾(1/2)・fn としたとき，
a=(fmax-f0)/fn
b=(fmin-f0)/fn
とすると，Rに非依存のドットプロファイルが得られる。ここで，fnはナイキスト周波数を示す。 ここで、aが無限大あるいはそれに近い値の場合、低域のみをカットするブルーノイズ特性、fmax,fminが有限の場合は、低域と高域をカットするグリーンノイズ特性となる。

一例として，ブロックサイズR=32のドットプロファイルを求める。ブロックサイズは、一般に大きいほど透かしを抽出する精度は向上する。これはドットの集合状態や分布から透かしを抽出するため、ブロックサイズが小さいと集合の母集団数が少なくなり、統計的揺らぎが大きくなり、精度が低下するためである。種々の実験結果、R=64以上が最適であるが、埋め込む情報量を増やすためR=32として、精度向上策を別途検討した。

図3は32画素×32画素におけるドットプロファイルを示したものである。同図（a）は、(a,b)=(0,-5/16)であらわされるドットプロファイルp0(i,j)およびそのスペクトル特性P0を示す。楕円率1.5とは，フィルタD(u,v)がv軸方向に1.5倍に拡大されていることを意味する。スペクトル分布がu軸，v軸に対して対象であるため，p0(i,j)の虚数部は0となる。同図(b)のドットパターンp1(i,j)はp0(i,j)を90°回転したもので，スペクトルも同様に90°回転したものとなる。同図（ｃ）は(a,b)=(∞,0)のブルーノイズパターン,（ｄ）は(a,b)=(3/16,-1/16)の円形フィルタによるパターン, （e）は (a,b)=( 0,-1/4)の矩形フィルタによるパターンである。これらのパターンはすべてランダムなドットパターンでスペクトルの低域が低減したパターンとなっている。

続いて，多値画像データへの透かし埋め込みアルゴリズムについて説明する。
透かし情報の埋め込みは，カラー画像データをY,Cb,Crに変換し，輝度Yに透かし情報を埋め込む。Blue（印刷時はイエロー）に埋め込むんだ場合は、視覚的に最も目立たないが、読み取り時に，精度よく色分離することが必要である。

今，周波数空間においてブロック単位で異種のスペクトルパターンを埋め込むこととして，異なるスペクトルパターンをPi (u,v) (i=0,・・・,n)とする。Piは前述の低域周波数でスペクトルが低減した特性を示す。低域のカットオフ周波数fminは、埋め込まれる画像の最大周波数よりも大きい周波数を選ぶことが両者の重なりがなく理想的である。今、ブロックの画像の周波数スペクトルをI(u,v)とすると，埋め込まれたスペクトルW(u,v)は，
W(u,v)=I(u,v)+gain・Pi (u,v) ---------- (1)
となる。ここでgainは埋め込み強度を表す。

通常、不可視の電子透かしは、埋め込み強度を小さくし、埋め込まれたパターンが認識されないようにする。これは、著作権保護の目的で著作権情報を透かしとして画像に埋め込むが、画像自体を商品とするため、画質の劣化が問題となるからである。しかしながら、画像を媒介としてURL等を埋め込み、ホームページに誘導する応用では、むしろ、多くの情報を正確に抽出できることが優先される。したがって、本発明では大きなgain で埋め込む。とはいえ、画質の著しい劣化はユーザに魅力を感じさせない。種々の実験結果、gainが0.25以上0.75以下であれば、視覚的に劣化が目立たず、かつ正確な埋め込み情報が抽出できることが分かった。

実際の透かし情報の埋め込み作業は実空間で行う。式（１）を実空間（画素空間）に変換する（小文字で表す）と，
w(x,y)=i(x,y)+gain・pi (x,y) ---------- (2)
となる。今、透かし情報の1ビットの情報を1ブロックに埋め込むとする。透かし情報は，かかる異なるグリーンノイズ特性を示す２つのドットパターンp0(x,y), p1(x,y)を用意し，埋め込むビット情報（0,1）に対して，
埋め込みビット=0の時 → p0(x,y)
埋め込みビット=１の時 → p1(x,y)
として埋め込む。ここで，p0およびp1は（1,0）の二値であるが，平均輝度を保存するため（1/2,-1/2）とする。

また，p0およびp1はランダムなドットであるため，両者の境界は目立たない。ブルーノイズやグリーンノイズ特性を示すハーフトーンスクリーンは,プリンタのFMスクリーンとしてよく用いられ，分散性ドットで均一性にすぐれ、人の視覚にも一様で粒状性も感じさせない。

図４の（ｃ）は(a,b)=(∞,0)、すなわちブルーノイズ特性を示すパターンp2(x,y)，（ｄ）は(a,b)=(3/16,-1/16)の円形フィルタから生成されたグリーンノイズ特性を示すパターンp3(x,y)である。これらのフィルタは後述の2ビットデータの埋め込みに用いられる。また（e）は(a,b)=( 0,-1/4)の矩形フィルタによるグリーンノイズ特性を示すパターンで、後述のヘッダー用のパターンとして用いられる。

原画像への埋め込み可能なデータ量（最大ビット数）Nは，画像サイズをW画素×H画素の画像データに対して，
N=int(W/R)×int(H/R) ---------- (3)
で与えられる。ここで，int()は少数以下切り捨てを表す。埋め込み可能文字数は，ASCII文字の場合は，int(N/8)となる。ブロックサイズR=32の場合，512画素×512画素の場合，N=256ビット=32バイトの情報量が埋め込み可能である。これは通常のURLやホームページのアドレスを埋め込むためにはあまり余裕がない。より多くの情報を埋め込むためには、画像サイズを大きくするか、後で説明する多値の埋め込みを行う。

通常、透かし情報の抽出にはエラーが生じる。本手法においても、原画像が非常に細かい、高周波数の多い画像の場合、そのスペクトル分布が、埋め込むパターンのスペクトル分布と重なり、正しく抽出されない。そこで、通常、埋め込むビット列を複数回繰り返し埋め込み、多数決あるいは信頼度の高いものを選んで埋め込み情報を抽出する。しかしながら、繰り返し回数を増やすと埋め込み可能なビット数はさらに減少する。

そこで、本透かしの埋め込みは、事前に画像データにわずかなローパスフィルタを掛け、高域を低減させる。例えば２画素×２画素で、カーネル係数が同じ（1である）ローパスフィルタでは、画像の最大空間周波数は1/2となる。３×３の場合は1/3となる。したがって、透かし情報を埋め込む前に、画像データに平滑化処理を行うことにより、画像スペクトルを、ドットパターンの低域カットオフ周波数以下に閉じ込めることができ、透かしの抽出において正確性を向上させることが可能となる。

さらに、前述のように埋め込みの強度gainを大きくすることにより、耐性向上と抽出精度向上を図ることができる。gainを0.25以上0.75以下とすることにより、画質劣化をあまり感じさせずに強く埋め込むことが可能である。gain=0.25とは、8ビットの画像データで、±32の値のドットパターンを重畳することで、画像データの下位5ビットが変化する。図5（a）は、512画素×512画素の画像にgain=0.375で埋め込んだ時の画像で、原画像に±48のドットパターンを重畳したものである。同図(b)はその一部を拡大したもので、ドットパターンによるノイズが顕著である。しかしながら、グリーンノイズやブルーノイズ特性から、通常のサイズでは人の視覚特性からノイズはあまり目立たない。gain=0.75では、±96の値を重畳するもので画像データの7ビット目が変化するため、これ以上強くすると画質劣化が著しい。
以上のように、画像データに平滑化処理を行うことと、強いgainで埋め込むことで、耐性を高め、透かし抽出で正確で高い信頼度の抽出が可能となる。

図６は透かし埋め込み処理フローを示す。まず，原画像を2×2のフィルタにより一様に平滑化を行う（２０）。続いて、埋め込むための透かし情報ビット列wm(i,j)を用意する（２１）。ここでiは埋め込む文字のi番目を,ｊはそのjビット目を表す（MSBを0ビット目とする）。ASCII文字の場合，8ビット/文字 であるので，ｊ＝0,1,…７である。また，iは，１≦i≦N/8である。ただしNは式（３）で示された埋め込み最大ビット数である。続いて，画像データをR×Rのブロックに分割し（２２），ブロック単位でドットパターンを合成していくが，文字列の先頭であるか否か（２３）で，先頭の場合はヘッダーパターン（pH）を埋め込む。そのあと、埋め込みビットが0の場合はp0, 埋め込みビットが1の場合はp1のパターンを埋め込む（２４）。全ブロックに埋め込みが終わった段階で終了する。

図７は512画素×512画素の画像にブロックサイズR=32、埋め込み強度gain=0.375のドットパターンでアルファベット“a,b,c,…ｚ”の26文字を埋め込んだものである。この画像は，式（3）より最大32バイト（ASCIIで32文字）の情報が埋め込み可能である。
同図（a）は埋め込まれた画像を示す。同図（b）は後述の抽出結果である。図中、縦長の楕円はビットが”0”を表し、横長の楕円は”1”を表す。四角のパターンは文字列の先頭のヘッダーパターンで、繰り返しパターンの区切りとして用いられる。gainが大きいため、印刷前のデータでは、埋め込み情報が正確に抽出される。印刷や表示画像からの読み取りで画質が劣化することを見越して、信頼度に余裕を持たせている。

透かし情報の抽出は，読み取った画像の大きさ，傾きを補正後，ブロック単位でスペクトル画像を求める。式（２）をフーリエ変換して，
F{w(x,y)}=F{i(x,y)} + gain・F{pi (x,y)} ---------- (4)
となる。ただし，F{ }はフーリエ変換を表す。通常，F{i(x,y)}は原画像のスペクトルで，0周波数付近に局在し，F{pi (x,y)}は埋め込みに用いたドットパターンのスペクトルP0,P1で、楕円リング状で、画像スペクトルを内部に閉じ込める。このため，両者の重なりは少なく，両者を分離することは容易である。

図８に透かし抽出の処理フローを示す。まず、透かし入りの画像をスキャナやカメラで撮影し（３６）、画像を射影変換やAffine変換し、矩形の補正画像を得る（３７）。デジタルカメラなどで撮影した場合は、斜めから撮影した時に台形歪み等が入るため、射影変換を施し補正し、矩形に切り出した画像を所定の解像度になるようにリサイズを行う。続いて、エッジ強調画像を作成する（３８）。エッジ強調処理によりドットの輪郭が明瞭になり、抽出精度が向上する。そのあと、画像をR×Rのブロックに分割しブロック毎にFFTを行う（３９）。続いて得られたスペクトル画像にヒストグラムイコライゼーションを施す（４０）。これはスペクトルパターンのコントラストを向上させると同時に，後述の信頼度の定量化での規格化を図るためである。続いて後述のマスク処理によるパターン認識を行い（４１），透かし情報wm’(i,j) および信頼度wmrel’(i,j)のデータを得る（４２）。以上の操作はブロックごとに行い、すべてのブロックが終った段階で終了する。

図９はフーリエ変換後のスペクトル分布からパターン認識により透かし情報の抽出を行う識別器としてのマスクパターンM0およびM1を示す。M0は縦長、M1は横長の楕円形状のマスクで，埋め込み用のドットパターンのスペクトル特性P0,P1に対応したものである。図中黒の領域は値が１，白部分は値が０であるとする。透かしの入ったスペクトルにこのマスクを重ね，重なり部分の積分輝度値Q0 およびQ1の差分から，ビットが0か1かを判断する。図１０はこの処理フローを示したもので、ブロックのスペクトルパターンW(i,j)に対して，以下の積分輝度値の出力Q0，Q1を得る（４０）。
Q0=M0◎W=1/ZΣM0(i,j)・W(i,j)
Q1=M1◎W=1/ZΣM1(i,j)・W(i,j)
ここで◎は重なり部分の積分輝度値を求めるためのマスク演算を、Zはマスクの値が１の画素数を表す。したがって、マスク領域の1画素あたりの輝度値をあらわす。かかる出力から，
Q0>Q1 の時, 抽出ビット＝wm’(i,j)=0
Q1>Q0 の時, 抽出ビット＝wm’(i,j)=1
となる（４１）。同時に，以下のように信頼度を得る（４２）。
wmrel’(i,j)＝｜Q0-Q1｜
かかる信頼度はその値が大きいほど抽出ビットの信頼度が高い。

図１１に透かし情報の精度および信頼性の向上策について説明する。画像のサイズにより式（３）から埋め込み可能最大ビット数Nが与えられる。今埋め込みたいビット数がｎで ｎ＜N であるとすると，重複してビット列を埋め込むことができる。このため、まず、透かし情報の抽出で文字列の繰り返しを考慮せずにN（Nは埋め込み可能な数）までの連続した透かし情報wm’ と信頼度wmrel’ を得る。その後、繰り返しを考慮して、この連続した文字列から信頼度の高いものを選択してNまでの透かし情報を検査していく。

これを式で表すと、iを文字番号（0<i≦N），ｊをビット番号（0≦j≦7）としたとき，nを法としてその剰余ｋは，k＝i mod n で表され（５０），(i,j)番目の信頼度wmrel’が
wmrel’(i,j)>wmrel(k,j) の時、
wm(k,j)=wm’(i,j)
wmrel(k,j)=wmrel’(i,j)
として（５２），透かし情報を信頼度の高いものに置き換える。これをiがNまで，すなわち全埋め込みビット数が終了するまで行う。

上記操作により埋め込みビット列の，最も信頼度の高い透かし情報が選ばれ，埋め込まれた文字の信頼度が高くなり，正しく抽出される。この方法は多数決で決める手法に比べて抽出誤差が少ない。

以上のようにして透かしの抽出が行われる。前述の図７の(ｂ)は抽出時のスペクトル分布を示す。埋め込みはASCII文字で“abcd・・・ｘｙｚ” のアルファベット２６文字を埋め込んだものである。各文字をビットに展開し，図3で説明したように，”0“に対してp0を，”1“に対してはp1のパターンを埋め込む。またASCII文字の先頭ビット（MSB）はすべて0であるため，これを文字列の区切り用のヘッダーパターンとして用いる。また、これは矩形、サイズ方向を計測することによりAffine変換係数検出用のパターンとしても用いることが可能である。埋め込み可能文字数は３２バイトであるため，”abcdef"の６文字が重複て埋め込まれているため、前述の信頼度の高いものを選ぶことにより抽出結果の精度を向上させることができる。

埋め込んだ透かし情報が，原画像が細かく空間周波数の高い場合、抽出ができない場合や信頼度が低い場合がある。そのため、埋め込み時に信頼度を高める処理を行う。図１２はこの自動調整を行うフローを示す。まず，画像にM=２、gain=０．２５として、M×M、すなわち２画素×２画素の平滑化を行う（３０）。その後、透かし情報wm(i,j)の埋め込みを行う（３１）。全ブロックを埋め込んだら，次に透かし読み取りを行う（３２）。ここでは，抽出した透かし情報wm’(i,j)と，埋め込む前の透かし情報 wm(i,j)を比較し一致するか否かを判定する。それと同時に，抽出ビットの信頼度wmrel’(i,j)が所定の閾値以上か判定する（３３）。透かし情報が一致しない場合や，一致していても信頼度が閾値以下の場合は，gainを所定量Δだけ増加させ、再び埋め込みを行う。gainが最大値0.75に達した化判断し（３４）、達した場合には、平滑化のサイズMを＋１して，再び透かしの埋め込みを行う。最終的には所定の信頼度を満たす埋め込みが可能となる。以上のようにして埋め込んだ透かし情報が余裕のある読み取りが可能となるよう埋め込みを自動で行うことができる。

図１３は透かしの埋め込まれた画像をデジタルカメラやスマートフォンで撮影して透かしを読み取った時の図である。同図(a)は、512画素×512画素の画像に2画素の平滑化を行い、gain=0.375 で埋め込んだ画像をデジタルカメラで撮影したものである。埋め込みデータは、アルファベットの“a,b,c,d,…, x,y,z”の26文字である。（ｂ）は補正後512画素×512画素に切り出したものである。（ｃ）は透かし抽出ソフトウェアで読み取ったもので、正しく抽出できている。本手法は，ドットの空間分布から情報を抽出するため、画像を読み取る際の照明むらや濃度むらなどの影響を受け難く、前述の自動調整により、どのような空間周波数をもった画像でも正確に読み取ることが可能となる。

埋め込む情報量を増やすためには，多値の埋め込みが可能である。図14は、図4で説明した複数の4つのドットパターンを用いて各2ビット情報を埋め込むことができる。すなわち、多値(今の場合4値）の埋め込みが可能である。４つの互いにスペクトル分布が異なるパターンp0(x,y),p1(x,y), p2(x,y),p3(x,y)は、埋め込まれるビット情報の2ビット(00,01,10,11)に応じて、それぞれのパターンを選択する。抽出はそれぞれのスペクトル分布に対応したマスクM0,M1,M2,M3を用いて抽出する。

かかる2ビットの埋め込みにより、埋め込み可能な情報量は2倍になる。すなわち、512画素×512画素の画像に対して、64バイトの情報を埋め込むことが可能となる。しかしながら、パターン数が多くなれば抽出精度も低下する。このため、平滑化や埋め込み強度をさらに強くする必要がある。したがって、小さいサイズの画像で多くの情報を埋め込む必要がある場合に、画質を多少犠牲にして使う場合に有効である。

以上，本発明の電子透かし法は、情報を埋め込んだ画像から、スキャナやカメラで読み取ることにより、埋め込まれた情報を正確に抽出することができるので、画像とネットをつなぐインターフェイス手段として有効である。例えば商品の写真に発売元のURLを透かしとして埋め込み、ユーザをそのホームページに誘導することなどが可能である。

1はスキャナー，2はプリンタ，3はコンピュータシステム，4はROM, 5はRAM,6はプログラムメモリ，７はデータメモリ，８はモニター，9はキーボード，10は通信機能，11はCPU，１２はインターネット， １３は画像データの配信，１４はホームページへのアクセスや詳細情報希望の連絡，１５は詳細情報の配信，１６は画像配信者のコンピュータ，１７はユーザのコンピュータ、１８はデジタルカメラやスマートフォンを表す。

Claims (6)

1. デジタル画像データi(x,y)にｎビットの情報を埋め込む電子透かし方法において，
   透かし情報の埋め込みは，デジタル画像データをR画素×R画素 (Rは２のべき乗)のN個のブロックに分割し（N≧n），それぞれのブロックに対して埋め込む透かし情報のビット情報に対応して，フーリエスペクトルが低域で低減した複数の異なるドットパターンpi(x,y) （i=0,1,2，…）、および埋め込み強度(gain)を用いて、
   w(x,y)=i(x,y) + gain ・ pi(x,y)
   として透かし埋め込み画像w(x,y)を生成し,
   透かし情報の抽出は，かかる透かしの埋め込まれた画像を補正処理を行った後、ブロックに分割し，それぞれのブロックのスペクトル分布から，埋め込まれた情報を抽出するとき、
   前記埋め込み強度gainが、
   0.75≧gain≧0.25
   であり、埋め込む前に画像データi(x,y) を平滑化処理を行うことを特徴とする電子透かし方法。
   
2. 前記フーリエスペクトルが低域で低減した複数の異なるドットパターンは、R^2/2個のランダムドットを，空間周波数の低域で0となるフィルタD(u,v)（但し，u,vは二次元空間周波数）によるフィルタリング操作を行うことによって得られ、かかる操作においてフィルタD(u,v)は、u軸およびv軸に対して軸対称であることを特徴とする請求項1に記載の電子透かし方法。
   
3. 前記複数のドットパターンは、そのスペクトルが高域においても低減したグリーンノイズ特性を呈し、かつ、スペクトル分布が互いに直交する２つの楕円形状のパターンp0(x,y),p1(x,y)からなり、埋め込まれるビット情報（0,1）に対応してパターンを選択し透かし情報を埋め込むことを特徴とする請求項２に記載の電子透かし方法。
   
4. 前記複数のドットパターンは、４つの互いにスペクトル分布が異なるパターンp0(x,y),p1(x,y), p2(x,y),p3(x,y)からなり、埋め込まれるビット情報の2ビット(00,01,10,11)に対応して、パターンを選択し、情報を埋め込むことを特徴とする請求項２に記載の電子透かし方法。
   
5. 前記電子透かしの抽出は，２つの埋め込みドットパターンのスペクトル特性に対応したマスクM0,M1があり，マスクとブロック単位での抽出スペクトル分布との積分輝度値Q0,Q1から，
   Q0>Q1 の時, 抽出ビット＝0
   Q1>Q0 の時, 抽出ビット＝1
   であり，また，信頼度を
   信頼度＝｜Q0-Q1｜
   として求め，透かし情報を重複して埋め込んだ場合，重複したビットからかかる信頼度が最も高いものを透かし情報として抽出することを特徴とする請求項３に記載の電子透かし方法。
   
6. 前記透かし情報の埋め込みは、まず、最小サイズの平滑化フィルタと、最小のgainにより、画像の平滑化と埋め込みを行い、続いて透かし情報の抽出を行い，全ビットが正しく抽出されない場合，あるいは各ビットの信頼度が一定の閾値以下である場合は，gainおよび平滑化フィルタのサイズを増大させ、全ビットが正しく抽出され，かつ，各ビットの信頼度が一定の閾値以上となるまで上記操作を自動で行うことを特徴とする請求項５に記載の電子透かし方法。
   

Images