JP4176257B2 - 電子透かしの埋込方法、復元方法およびその装置 - Google Patents
電子透かしの埋込方法、復元方法およびその装置 Download PDFInfo
- Publication number
- JP4176257B2 JP4176257B2 JP29664899A JP29664899A JP4176257B2 JP 4176257 B2 JP4176257 B2 JP 4176257B2 JP 29664899 A JP29664899 A JP 29664899A JP 29664899 A JP29664899 A JP 29664899A JP 4176257 B2 JP4176257 B2 JP 4176257B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- watermark
- embedding
- image data
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、電子透かしの埋め込みとその復元に関し、詳しくは透かし画像の可視的および不可視的な埋め込みに関する。
【０００２】
【従来の技術】
従来、電子透かしは、原画像の画像としての品質を保持するため、透かし画像を署名として不可視的に埋め込んでおり、原画像が許可なく複製されたり利用された場合に、署名済みの画像が透かし画像を取り出し、著作権者を特定する証拠として利用されていた。これに対し、著作権を明示的に主張したい権利者は、画像に可視的な画像、例えばロゴマークや「禁複製」といった文字列を付加する方法を用いる。後者の場合、その画像の利用を意図する者は、著作権者に対価を支払い、ロゴマークなどの入っていない原画像データの配布を改めて受けるのが一般的である。
【０００３】
なお、署名を不可視的に行なっている場合は、対価を支払った者に対しては許諾を行なうだけであり、署名を削除した原画像の配布は行なわない。署名を削除した原画像を一旦配布すると、その複製物が配布された場合に著作権の署名が困難になってしまうからである。
【０００４】
【発明が解決しようとする課題】
しかしながら、透かし画像を不可視的に埋め込むという手法では、正規の許諾を得ない複製などの不正利用がなされても、それが発見されるまで、透かしの機能が役立たないという問題があった。一方、原画像にロゴマーク等を表示する場合には、画像上にその権利の存在が明らかとなるため、不正利用を防止する機能に優れるが、このような可視型の透かし方式では、透かしの対象となった画素はその本来の輝度情報を透かし信号で失うため、原画像に近い状態にもどすことが難しいという問題があった。マルチメディアを利用する立場から考察すると、透かし画像が常時画像上に可視的に存在したのでは、たとえ良い作品であっても利用者が限定されるであろう。かといって、署名を削除した原画像を利用するには、改めて原画像データの配布を受けなければならなかった。
【０００５】
本発明の電子透かしの埋め込み方法および復元方法ならびのこれらの方法を用いる各装置は、こうした問題を解決し、通常は透かし画像を可視的に表示し、かつ必要な場合に透かし画像を不可視として原画像を利用でき、更にいつでも透かし画像の存在を証明できる技術を提供することを目的とする。
【０００６】
【課題を解決するための手段およびその作用・効果】
上記課題の少なくとも一部を解決する本発明の電子透かしの埋込方法は、
透かし画像を加える単位であるｓ個の画素の画像データに対して、前記透かし画像を構成する画素の画像データを埋め込む演算を行なうｓ×ｓの変換行列（ｓは３以上の整数）を用意し、該変換行列の対角成分は、前記透かし画像を可視的に埋め込むために、前記原画像を構成する画素の画像データを一方向にシフトする値とされ、前記変換行列の対角成分以外の各要素は、前記透かし画像を不可視的に埋め込むために、各行における要素の少なくとも２つは有意の係数であり、かつ各行の前記対角成分を除く各要素の総和が値０となるよう設定され、
前記原画像の前記ｓ個の画素の画像データに対して、前記変換行列を乗算することにより、
前記変換行列の対角成分に応じて、前記原画像の前記単位であるｓ個の画素の画像データを一方向にシフトして、該原画像において前記透かし画像を可視可能に埋め込む第１の埋込処理と、
前記ｓ個の画素の画像データの各々に、前記変換行列の対角成分以外の要素に応じて、前記変換行列の対角成分以外の要素に対応した画素の画像データに基づく増減を行なうことで、前記透かし画像を不可視状態で埋め込む第２の埋込処理と
を同時に行なうことを要旨としている。
【０００７】
また、この方法に対応した電子透かしの埋込装置は、
原画像のデータに、透かし画像を加える電子透かしの埋込装置であって、
透かし画像を加える単位であるｓ個の画素の画像データに対して、前記透かし画像を構成する画素の画像データを埋め込む演算を行なうｓ×ｓの変換行列（ｓは３以上の整数）であり、該変換行列の対角成分は、前記透かし画像を可視的に埋め込むために、前記原画像を構成する画素の画像データを一方向にシフトする値とされ、前記変換行列の対角成分以外の各要素は、前記透かし画像を不可視的に埋め込むために、各行における要素の少なくとも２つは有意の係数であり、かつ各行の前記対角成分を除く各要素の総和が値０となるよう設定された変換行列を記憶する記憶手段と、
前記原画像の前記ｓ個の画素の画像データに対して、前記変換行列を乗算することにより、前記変換行列の対角成分に応じて、前記原画像の前記単位であるｓ個の画素の画像データを一方向にシフトして、該原画像において前記透かし画像を可視可能に埋め込む第１の埋込処理と、前記ｓ個の画素の画像データの各々に、前記変換行列の対角成分以外の要素に応じて、前記変換行列の対角成分以外の要素に対応した画素の画像データに基づく増減を行なうことで、前記透かし画像を不可視状態で埋め込む第２の埋込処理とを同時に行なう手段と
を備えたことを要旨とする。
【０００８】
かかる埋込方法および埋込装置によれば、第１および第２の変換処理が同時に行なわれることで、原画像データには、透かし画像が、いわば可視的かつ不可視的に埋め込まれる。第１，第２の埋込処理は、同時に行なわれるが、変換処理そのものは独立であり、透かし画像の埋込の強度などを、個別に扱うことができるという利点がある。
【０００９】
かかる利点を利用して、一旦埋め込まれた透かし画像に対して、可視的な変換のみを解除することができる。即ち、この電子透かしの埋込方法は、
前記ｓ×ｓの変換行列を用意する際、前記対角成分以外の成分を、前記ｓ×ｓの変換行列が逆行列を有するように決定し、
前記可視状態で埋め込まれた透かし画像の解除が許諾されたとき、電子透かしが埋め込まれたｓ個の画素の画像データに、前記逆行列を乗算することにより、少なくとも前記透かし画像の可視的な埋込を除去する除去処理
を行なうことを要旨としている。
【００１０】
また、この埋込方法に対応した電子透かしの埋込装置は、上述した装置の構成に加えて、
前記ｓ×ｓの変換行列は、前記対角成分以外の成分を、前記ｓ×ｓの変換行列が逆行列を有するように決定されており、
前記可視状態で埋め込まれた透かし画像の解除が許諾されたとき、電子透かしが埋め込まれたｓ個の画素の画像データに、前記逆行列を乗算することにより、少なくとも前記透かし画像の可視的な埋込を除去する除去手段を備えたことを要旨とする。
【００１１】
かかる電子透かしの埋込方法および装置によれば、一旦可視的に埋め込まれた透かし画像について、解除条件、例えば著作権者による許諾が得られたとき、同時に行なわれた第１および第２の変換処理の逆変換を用いて、少なくとも透かし画像の可視的な埋込を除去する。この結果、利用者は、ほぼ原画像に等しい画質の画像を利用することが可能となる。この場合でも、透かし画像の可視的な埋込が除去されただけなので、かかる画像が不正に複製などされた場合には、原画像データと比較することにより、いつでも透かし画像を復元して、署名として用いることができる。
【００１２】
こうした透かし画像の可視的な埋込を除去しながら、透かし画像を不可視的な埋め込んでおく方法は、様々な手法が採用可能であるが、例えば、第１，第２の変換処理の逆変換を施して、前記透かし画像を不可視状態に変更すると共に、前記複数の画素における前記第１の変換処理によるデータの変化量に対応した値を、前記各画素に付加する処理などを考えることができる。もとより、第１，第２の変換処理の逆変換処理を行なった後、第２の変換処理を再度行なっても良い。また第１と第２の変換処理が単一の変換行列を用いて行なわれる場合には、この変換行列に着目し、第１の変換処理に対応した変換のみを逆変換する逆変換行列を用いて、可視的な透かし画像の除去を行なうことも可能である。
【００１３】
上述した電子透かしの埋込において、第１の埋込処理を、原画像の各画素の輝度データを透かし画像の対応する画素の値により直接増減する処理とし、第２の埋込処理を、原画像の複数の画素の画像データに、透かし画像の対応する画素以外の複数の画素の画像データに所定の演算を施して得られた値を増減する処理とすることができる。かかる処理を採用すれば、処理をきわめて簡易なものとすることができる。
【００１４】
このうち、第１の処理は、直接輝度データを調整するが、この処理は透かし画像を可視的に表示することが目的なので、原画像の輝度が低い領域では、輝度データを増分して透かし画像を相対的に明るい画像とし、原画像の輝度が高い領域では、輝度データを減じて透かし画像を相対的に暗い画像とし、透かし画像の視認性を高めることが望ましい。
【００１５】
第１，第２の処理を同時に行なう手法としては、例えば、第２の処理における関連性を有する複数の画素を、着目画素を含むｓ個（ｓは値２以上の整数）の画素とし、第１，第２の処理を、ｓ×ｓの変換行列を用いた演算により実現し、この変換行列の対角成分を第１の処理に対応した係数（但し、値１以外）とし、対角成分以外の成分を、少なくともその２つ以上が有意の係数であり、かつ総和が略０の係数でとするものを考えることができる。かかる手法は、一つの変換行例を用いるだけで実現でき、構成をきわめて簡易なものにすることができる。
【００１６】
また、上記の第２の処理における関連性を有する複数の画素は、どのような関連性を持たせてもよいが、着目画素を隅部とするａ×ａ（ａは２以上の整数）個の画素とするのが簡便である。自然画像は冗長性が大きいので、一つの画素の近傍の画素に変換処理を行なっても、視覚上の影響を抑制することができるのである。例えば、ａ＝２とした場合、自然画像では、４画素の輝度値には大きな差がない場合がほとんどである。そこで、これらの４画素の輝度データに変換行列の対角成分以外の成分を用いて変換処理を施すと、着目画素の輝度データの変化は小さく、かつ４画素間の各画素が影響をしあうような変換が実現できる。従って、原画像の画質はほとんど影響を受けることがない。
【００１７】
なお、上記の第２の変換処理の内容によっては、関連性を有する複数の画素のデータが同一の場合、透かし画像を埋め込めないことがあり得る。こうした場合には、複数の画素の各データに、有意の異なる値を加減算した後のデータに対して前記所定の演算を行なうものとすれば、透かし画像の埋込を行なうことができる。
【００１８】
以上説明した電子透かしの埋込方法または埋込装置により埋め込まれた透かし画像については、それが可視状態である場合には復元する必要はないが、除去処理によりその透かし画像が不可視状態に変更された後は、この不可視の透かし画像を復元する必要が生じる。かかる復号を行なう本発明の電子透かしの復元方法は、
前記透かし画像の可視的な埋込が除去された各画素の画像データと前記原画像の各画素の画像データとの差分を求めることにより前記透かし画像を復号する
ことを要旨としている。
【００１９】
また、かかる電子透かしの復元方法に対応した復元装置は、
前記透かし画像の可視的な埋込が除去された各画素の画像データと前記原画像の各画素の画像データとの差分を求めることにより、前記透かし画像を復号する手段を備えたことを要旨としている。かかる電子透かしの復元方法および装置によれば、不可視状態に変更された透かし画像を、原画像を用いて容易に復元することができる。なお、透かし画像の可視的な埋込の除去が、第１の変換処理のみを逆変換することで行なわれている場合には、第２の処理の逆変換を施すことで、不可視状態で埋め込まれた透かし画像を復元することができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を実施例に基づいて説明する。
Ａ．装置の全体構成と処理手順：
はじめに、実施例としての電子透かし処理装置１０の構成について図１を用いて説明する。図１は、本実施例において電子透かし処理を実行する電子透かし処理装置１０の構成を示すブロック図である。この電子透かし処理装置は、ＣＰＵ２２と、ＲＯＭおよびＲＡＭを含むメインメモリ２４と、キーボード３０と、マウス３２と、表示装置３４と、ハードディスク３６と、モデム３８と、画像を読み取るスキャナ３９と、これらの各要素を接続するバス４０と、を備えるコンピュータである。なお、図１では各種のインターフェイス回路は省略されている。モデム３８は、図示しない通信回線を介してコンピュータネットワークに接続されている。コンピュータネットワークの図示しないサーバは、通信回線を介してコンピュータプログラムを電子透かし処理装置に供給するプログラム供給装置としての機能を有する。
【００２１】
メインメモリ２４には、第１および第２の処理を行なう埋込処理部４１と、可視的に埋め込まれた透かし画像を除去する処理を行なう除去処理部４３と、透かし画像の復号を行なう復号処理部４６との機能を実現するためのコンピュータプログラムが格納されている。埋込処理部４１，除去処理部４３および復号処理部４６の機能については後で詳しく説明する。
【００２２】
これらの各部４１，４３，および４６の機能を実現するコンピュータプログラムは、フレキシブルディスクやＣＤ−ＲＯＭ等の、コンピュータ読み取り可能な記録媒体に記録された形態で提供される。コンピュータは、その記録媒体からコンピュータプログラムを読み取って内部記憶装置または外部記憶装置に転送する。あるいは、通信経路を介してコンピュータにコンピュータプログラムを供給するようにしてもよい。コンピュータプログラムの機能を実現する時には、内部記憶装置に格納されたコンピュータプログラムがコンピュータのマイクロプロセッサによって実行される。また、記録媒体に記録されたコンピュータプログラムをコンピュータが読み取って直接実行するようにしてもよい。
【００２３】
この明細書において、コンピュータとは、ハードウェア装置とオペレーションシステムとを含む概念であり、オペレーションシステムの制御の下で動作するハードウェア装置を意味している。また、オペレーションシステムが不要でアプリケーションプログラム単独でハードウェア装置を動作させるような場合には、そのハードウェア装置自体がコンピュータに相当する。ハードウェア装置は、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とを少なくとも備えている。コンピュータプログラムは、このようなコンピュータに、上述の各手段の機能を実現させるプログラムコードを含んでいる。なお、上述の機能の一部は、アプリケーションプログラムでなく、オペレーションシステムによって実現されていても良い。更に、電子透かしの埋め込み処理や復号処理を行なうプログラムは、画像処理を行なうプログラムに対して、プラグインの形式で付加されるものとしてもよい。
【００２４】
なお、この発明における「記録媒体」としては、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等の、コンピュータが読取り可能な種々の媒体を利用することができる。
【００２５】
Ｂ．電子透かしの埋込処理：
図２は、電子透かしの埋め込み部４２が行う埋め込み処理の手順を示すフローチャートである。この処理は、埋込処理部４１の処理として実現されている。図示するように、この埋込処理が起動されると、まず透かし画像を埋め込もうとする原画像Ｐと、透かし画像Ｗとを特定する処理を行なう（ステップＳ１００）。これらの処理は、ハードディスク３６に記憶された画像ファイルを指定することにより行なわれる。本実施例では、原画像Ｐとして、ｎ×ｎ画素からなり、各画素毎に２５６階調を有する濃淡画像を用いた。ここで、
Ｐ＝｛ｐij｜i,j＝０，１，２・・・・ｎ-1｝
で表わすものとする。また、透かし画像Ｗとして、ｍ×ｍ（ｍ≦ｎ）画素からなり、各画素毎に白または黒の二値画像を用いた。ここで、
Ｗ＝｛ｗij｜ｗij＝０または１，i,j＝０，１，２・・・・m-1｝
で表わすものとする。実施例で用いた透かし画像の一例を、図３に示した。この例では、透かし画像は、「見本」という文字列であり、白地に黒文字の画像として用意した。
【００２６】
なお、以下の議論のために、透かし画像が埋め込まれた後の画像（以下、署名済み画像と呼ぶ）をＱとし、これを、
Ｑ＝｛ｑij｜i,j＝０，１，２・・・・ｎ-1｝
で表わすものとする。また、原画像と透かし画像の画素間の対応関係を容易なものとするため、本実施例では、ｎ＝２５６，ｍ＝１２８とした。即ち、原画像は、透かし画像の４倍の面積を有する画像である。
【００２７】
両画像Ｐ，Ｗを用意した後、次に、画像処理用の変数ｉ，ｊを初期値０にセットし（ステップＳ１１０，１１５）、順次透かし画像Ｗの各画素ｗijが黒か否かの判断を行なう（ステップＳ１２０）。透かし画像Ｗの着目画素ｗijが白の場合には、特に処理を行なわないが、着目画素ｗijが黒の場合（ｗij＝１）の場合には、図４に示すように、透かし画像Ｗの着目画素ｗijを、原画像Ｐにおいて（２ｉ，２ｊ）を左上隅とする２×２の領域に拡大し、原画像Ｐにおいて座標（2i,2j) (2i+1,2j) (2i,2j+1) (2i+1,2j+1)となる４つの画素について、次式（１）の演算を行なう（ステップＳ１３０）。なお、式の記述を簡単にするために、以下の式では、この４つの座標の各画像データｗを、図５に示すように、ｘ１，ｘ２，ｘ３，ｘ４と記載する。また、ｙ１，ｙ２，ｙ３，ｙ４は、それぞれ、式（１）の変換処理が行なわれた後の画像Ｑの対応する各座標の画像データを示すものとし、更に
Ｙ＝（ｙ１ ｙ２ ｙ３ ｙ４）t
Ｘ＝（ｘ１ ｘ２ ｘ３ ｘ４）t
（t は、転置行列であることを示す）と表わすものとした。
【００２８】
【数１】
【００２９】
ここで、Ｃは、次式（２）で示す４×４の行列である。
【００３０】
【数２】
【００３１】
この行列Ｃは、二つの行列ＤおよびＢの和として定義された行列である。行列ＤおよびＢは、次式（３）および（４）として定義されている。
【００３２】
【数３】
【００３３】
【数４】
【００３４】
従って、式（１）は、これらの行列を用いれば、
Ｙ＝（Ｄ＋Ｂ）・Ｘ
と書き表わすことができる。この行列Ｄが、第１の変換処理に相当し、行列Ｂが第２の変換処理に相当する。両行列の和の行列Ｃを用いて一度に演算を行なうことから、第１および第２の変換処理は同時に行なわれることになる。
【００３５】
行列Ｃの対角係数ｄ（行列Ｙの値０以外の要素）は、原画像Ｐの画素ｘの輝度を直接的に増減する係数としては働く。即ち、ｄ＜１ならば、原画像Ｐの各画素の輝度は小さくなり、原画像Ｐに対して、透かし画像Ｗは、黒く表示される。この様子を図６（Ａ）に示した。また、ｄ＞１ならば、原画像Ｐの各画素の輝度は大きくなり、原画像Ｐに対して、透かし画像Ｗは、白く表示される。この様子を図６（Ｂ）に示した。
【００３６】
一方、行列Ｃの対角要素以外の要素（行列Ｂの値０以外の要素）は、各画素に対してその周辺の３つの画素の輝度データによる増減を行なうための係数である。即ち、座標(2i,2j) の画素に対しては、周辺の座標(2i,2j+1)(2i+1,2J)(2i+1,2j+1) の３つの画素の輝度データｘ２，ｘ３，ｘ４が影響を及ぼす。その他の座標の画素についても同様である。
【００３７】
かかる演算処理を行なった後、変数ｉ，ｊを順次インクリメントしつつ（ステップＳ１４０，Ｓ１５０）、透かし画像Ｗの全画素について処理が完了したか否かを判断し（ステップＳ１４５，Ｓ１５５）、完了するまで、原画像Ｐに透かし画像Ｗを埋め込む上記処理を繰り返す。全画素についての処理が完了すれば、透かし画像の埋込処理を終了する。
【００３８】
Ｃ．実施例の効果
以上説明した実施例の透かし画像の埋込処理によれば、二つの行列Ｄ，Ｂの和の行列Ｃを用いて、原画像Ｐに透かし画像Ｗを埋め込む処理を行なうが、この処理は、透かし画像を行列Ｄを用いて可視的に埋め込むだけでなく、行列Ｂを用いて不可視的に埋め込む処理を一度に行なうものとなっている。上記の手法により図３に示した透かし画像Ｗを埋め込んだ画像の例を図７（Ａ）ないし（Ｃ）に示す。なお、これらの例では、行列Ｄにおけるｄ＝０．５とした。本実施例によれば、得られた画像Ｑには、同じ透かし画像Ｗを用いながら、可視的な透かしと不可視的な透かしが同時に埋め込まれたことになる。この結果、例えレタッチなどにより、可視的な透かしを消去しても、画像データＱからいつでも、不可視的に埋め込まれた透かし画像Ｗを取り出し、著作権の存在を示すことができる。
【００３９】
更に、本実施例では、可視的な透かし画像を消去しても、不可視的な透かしを残すことができるので、その後の著作権の存在の証明に利用することができる。かかる可視的な透かし画像の消去の処理について次に説明する。図８は、可視的な透かし画像を消去する除去処理の一例を示すフローチャートである。この処理は、除去処理部４３の処理として実現されている。図示するように、このルーチンが起動されると、まず可視的な透かし画像の消去が許可されたか否かの処理を行なう（ステップＳ２００）。この判断は、可視的な透かしの消去が、配付された画像Ｑの使用を希望する者の手元で行なわれる場合には、対価の支払いを受けた権利者が、使用許諾を示すパスワードを知らせ、これを使用者が入力することなどにより行なわれる。もとより、パスワードに相当する情報を配布する画像Ｑに他の電子透かしの埋込方法により埋め込んでおき、透かし画像の除去に先立って、このパスワードに相当する情報を復号し、使用者が入力したパスワードとの一致を確認するといった方法で行なってもよい。
【００４０】
次に、配付を受けている画像Ｑの各画素のデータを読み込み、これに対して、透かし画像Ｗの埋込に用いた行列Ｃを、（Ｄｖ＋Ｂ）であると仮定し、この逆行列である（Ｄｖ＋Ｂ）-1を配付された画像Ｑの画像データＹに乗算する処理を行なう（ステップＳ２１０）。この逆行列を、復元行列Ｋと呼ぶ。ここで、行列Ｄｖは、透かし画像を可視的に埋め込んでいること、即ち対角要素ｄがｄ≠１であることを示している。このため、配付されている画像Ｑに、この復元行列Ｋを乗算した結果は
Ｋ・Ｑ＝（Ｄｖ＋Ｂ）-1（Ｄｖ＋Ｂ）・Ｘ＝Ｘ′
となり、画像は復号できるものの、得られた画像のデータＸ′は、原画像Ｐの画像データＸとは完全には等しくならない。変換誤差が含まれるからである。
【００４１】
次に、こうして復号された画像データＸに、透かし画像Ｗが存在する画素（ｗij＝１の画素）に、次の量αを加える処理を行なう（ステップＳ２２０）。この量αは、次式（５）により求められた量である。
【００４２】
【数５】
【００４３】
ここで、ｙ′(k) は、行列Ｄの対角要素ｄ＝１とした場合に復元行列Ｋにより復元された画像Ｑの各画素のデータであり、ｙｖ(k) は、行列Ｄの対角要素ｄ≠１の場合の復元行列Ｋにより復元された画像Ｑの各画素のデータである。従ってαは、４つの画素についての両者の輝度の相違の平均値に相当する値である。かかる値αを加えた後、全画素について処理が終了したか否かを判断し（ステップＳ２３０）、終了していれば「ＥＮＤ」に抜けて、本ルーチンを終了する。なお、実際の処理では、図２に示した埋込の処理と同様、ｉ，ｊ＝０から両変数をインクリメントしつつ、全画素について、復号の処理を行なっている。
【００４４】
以上説明した可視的な透かし画像の除去処理により、透かしが除去された画像の一例を図９に示す。図９（Ａ）ないし（Ｃ）は、それぞれ透かし画像Ｗが可視的に埋め込まれた図７（Ａ）ないし（Ｃ）に対応している。図示するように、透かし画像は不可視な状態に変更されたことが分かる。かかる画像であっても、著作権者は、完全な原画像Ｐを所有しているから、この原画像Ｐと、可視的な透かし画像が除去された画像Ｘ”とを比較することにより、容易に透かし画像Ｗを復元することができる。図１０（Ａ）ないし（Ｃ）は、図９に示した各画像から、実際に署名された透かし画像Ｗを復元した様子を示す。図示するように、透かし画像Ｗが、十分視認可能に復元されている。
【００４５】
次に、上記実施例の変形例について説明する。上記実施例では、原画像Ｐに透かし画像を不可視的に埋め込む際、行列Ｂを用いた。この行列Ｂは、各要素の和が略０となっており、画像全体の輝度に影響を与えないよう設定されている。このため、仮に元の画像が同じ輝度のまとまった領域を有すると、この領域では４つの画素の輝度データｘ１＝ｘ２＝ｘ３＝ｘ４は等しくなり、行列Ｂの演算を行なった後の輝度データは変化しない。そこで、この変形例では、図１１に示す処理を、図２の処理に加えて追加的に行なっている。
【００４６】
即ち、図２のステップＳ１２０の処理の後に、透かし画像の画素に対応して設定された原画像Ｐの４つの画素ｗの輝度データｘ１，ｘ２，ｘ３，ｘ４がすべて等しいか否かの判断を行ない（ステップＳ１２２）、すべてが等しい場合には、各画素の輝度データに摂動分Δｘｉを加える処理を行なう（ステップＳ１２４）。この例では、
ｘ１＝ｘ１、
ｘ２＝ｘ２−３、
ｘ３＝ｘ３＋４、
ｘ４＝ｘ４−５
として計算した。
【００４７】
以上の計算を行なった後、あるいは各画素の輝度データがすべて等しいという条件が成立しておらず各画素の輝度データをそのまま用いることができと判断した場合にはそのまま、図２に示したステップＳ１３０の処理に進んで、画像の埋込処理を実行する。
【００４８】
この変形例によれば、同じ輝度のまとまった領域が原画像に存在する場合でも、透かし画像を可視的なのみならず、不可視的にも埋め込むことができる。
【００４９】
以上本発明の電子透かしの埋込方法および復元方法およびこれを行なう装置の実施例について説明したが、本発明は、こうした実施例に何ら限定されるものではなく、発明の要旨を逸脱しない範囲内において、種々の態様で実施できることは勿論である。例えば、透かし画像の埋込を行なう行列Ｃ＝（Ｄ＋Ｂ）に対して、
Ｂ＝χ・（Ｄ＋Ｂ）
となる変換行列χが存在するよう各行列を設定し、可視的に埋め込まれた透かし画像の除去が許諾された場合には、許諾を受けたものに、この変換行列χを配信し、許諾を受けた者は、配付されている画像Ｑに対して、この変換行列χを乗算することで、可視的な透かし画像を除去することができる。
【００５０】
また、上記実施例では、モノクロ画像を例としたが、カラー画像に埋め込むことも可能である。この場合には、各色の輝度信号を選択して利用すればよい。また、上記実施例では、透かし画像Ｗの縦横の画素数は、原画像の１／２としたが、１／２以外の関係でも何ら差し支えない。また、透かし画像の一画素に対して原画像の２×２の領域を対応づけたが、かかる対応関係は、１×４あるいは４×１などであってもよく、あるいは更に多数の画素との間に関係づけることも差し支えない。更に、こうした矩形の領域ではなく、（i,j）に対して、(2i,2j-1)(2i+4,2j+1)(3i,4j)などのように、自由な対応付けを行なうことも可能である。
【００５１】
なお、上記の実施例では、演算の結果が輝度データで０未満、２５６以上となる場合については特に言及しなかったが、演算の結果がこうしたアンダフロー、オーバフローを引き起こす場合には、それぞれ下限値０、上限値２５５とすればよい。
【図面の簡単な説明】
【図１】本発明の一実施例としての電子透かし処理装置１０の概略構成を示すブロック図である。
【図２】電子透かし処理装置１０における透かし画像の埋込処理の一例を示すフローチャートである。
【図３】原画像に埋め込まれる透かし画像の一例を示す説明図である。
【図４】透かし画像Ｗの画素と原画像Ｐの画素との対応関係を示す説明図である。
【図５】原画像上で対応づけられた領域を示す説明図である。
【図６】原画像に対して行列Ｄを用いて透かし画像Ｗを可視的に埋め込んだ例を示す説明図である。
【図７】実施例の処理により透かし画像Ｗを可視的および不可視的に埋め込んだ例を示す説明図である。
【図８】実施例における透かし画像の除去処理の一例を示すフローチャートである。
【図９】可視的な透かし画像が除去された画像の例を示す説明図である。
【図１０】可視的な透かし画像が除去された画像から復元された透かし画像の例を示す説明図である。
【図１１】実施例の変形例を示すフローチャートである。
【符号の説明】
１０…電子透かし処理装置
２２…ＣＰＵ
２４…メインメモリ
３０…キーボード
３２…マウス
３４…表示装置
３６…ハードディスク
３８…モデム
３９…スキャナ
４０…バス
４１…埋込処理部
４３…除去処理部
４６…復号処理部
【発明の属する技術分野】
本発明は、電子透かしの埋め込みとその復元に関し、詳しくは透かし画像の可視的および不可視的な埋め込みに関する。
【０００２】
【従来の技術】
従来、電子透かしは、原画像の画像としての品質を保持するため、透かし画像を署名として不可視的に埋め込んでおり、原画像が許可なく複製されたり利用された場合に、署名済みの画像が透かし画像を取り出し、著作権者を特定する証拠として利用されていた。これに対し、著作権を明示的に主張したい権利者は、画像に可視的な画像、例えばロゴマークや「禁複製」といった文字列を付加する方法を用いる。後者の場合、その画像の利用を意図する者は、著作権者に対価を支払い、ロゴマークなどの入っていない原画像データの配布を改めて受けるのが一般的である。
【０００３】
なお、署名を不可視的に行なっている場合は、対価を支払った者に対しては許諾を行なうだけであり、署名を削除した原画像の配布は行なわない。署名を削除した原画像を一旦配布すると、その複製物が配布された場合に著作権の署名が困難になってしまうからである。
【０００４】
【発明が解決しようとする課題】
しかしながら、透かし画像を不可視的に埋め込むという手法では、正規の許諾を得ない複製などの不正利用がなされても、それが発見されるまで、透かしの機能が役立たないという問題があった。一方、原画像にロゴマーク等を表示する場合には、画像上にその権利の存在が明らかとなるため、不正利用を防止する機能に優れるが、このような可視型の透かし方式では、透かしの対象となった画素はその本来の輝度情報を透かし信号で失うため、原画像に近い状態にもどすことが難しいという問題があった。マルチメディアを利用する立場から考察すると、透かし画像が常時画像上に可視的に存在したのでは、たとえ良い作品であっても利用者が限定されるであろう。かといって、署名を削除した原画像を利用するには、改めて原画像データの配布を受けなければならなかった。
【０００５】
本発明の電子透かしの埋め込み方法および復元方法ならびのこれらの方法を用いる各装置は、こうした問題を解決し、通常は透かし画像を可視的に表示し、かつ必要な場合に透かし画像を不可視として原画像を利用でき、更にいつでも透かし画像の存在を証明できる技術を提供することを目的とする。
【０００６】
【課題を解決するための手段およびその作用・効果】
上記課題の少なくとも一部を解決する本発明の電子透かしの埋込方法は、
透かし画像を加える単位であるｓ個の画素の画像データに対して、前記透かし画像を構成する画素の画像データを埋め込む演算を行なうｓ×ｓの変換行列（ｓは３以上の整数）を用意し、該変換行列の対角成分は、前記透かし画像を可視的に埋め込むために、前記原画像を構成する画素の画像データを一方向にシフトする値とされ、前記変換行列の対角成分以外の各要素は、前記透かし画像を不可視的に埋め込むために、各行における要素の少なくとも２つは有意の係数であり、かつ各行の前記対角成分を除く各要素の総和が値０となるよう設定され、
前記原画像の前記ｓ個の画素の画像データに対して、前記変換行列を乗算することにより、
前記変換行列の対角成分に応じて、前記原画像の前記単位であるｓ個の画素の画像データを一方向にシフトして、該原画像において前記透かし画像を可視可能に埋め込む第１の埋込処理と、
前記ｓ個の画素の画像データの各々に、前記変換行列の対角成分以外の要素に応じて、前記変換行列の対角成分以外の要素に対応した画素の画像データに基づく増減を行なうことで、前記透かし画像を不可視状態で埋め込む第２の埋込処理と
を同時に行なうことを要旨としている。
【０００７】
また、この方法に対応した電子透かしの埋込装置は、
原画像のデータに、透かし画像を加える電子透かしの埋込装置であって、
透かし画像を加える単位であるｓ個の画素の画像データに対して、前記透かし画像を構成する画素の画像データを埋め込む演算を行なうｓ×ｓの変換行列（ｓは３以上の整数）であり、該変換行列の対角成分は、前記透かし画像を可視的に埋め込むために、前記原画像を構成する画素の画像データを一方向にシフトする値とされ、前記変換行列の対角成分以外の各要素は、前記透かし画像を不可視的に埋め込むために、各行における要素の少なくとも２つは有意の係数であり、かつ各行の前記対角成分を除く各要素の総和が値０となるよう設定された変換行列を記憶する記憶手段と、
前記原画像の前記ｓ個の画素の画像データに対して、前記変換行列を乗算することにより、前記変換行列の対角成分に応じて、前記原画像の前記単位であるｓ個の画素の画像データを一方向にシフトして、該原画像において前記透かし画像を可視可能に埋め込む第１の埋込処理と、前記ｓ個の画素の画像データの各々に、前記変換行列の対角成分以外の要素に応じて、前記変換行列の対角成分以外の要素に対応した画素の画像データに基づく増減を行なうことで、前記透かし画像を不可視状態で埋め込む第２の埋込処理とを同時に行なう手段と
を備えたことを要旨とする。
【０００８】
かかる埋込方法および埋込装置によれば、第１および第２の変換処理が同時に行なわれることで、原画像データには、透かし画像が、いわば可視的かつ不可視的に埋め込まれる。第１，第２の埋込処理は、同時に行なわれるが、変換処理そのものは独立であり、透かし画像の埋込の強度などを、個別に扱うことができるという利点がある。
【０００９】
かかる利点を利用して、一旦埋め込まれた透かし画像に対して、可視的な変換のみを解除することができる。即ち、この電子透かしの埋込方法は、
前記ｓ×ｓの変換行列を用意する際、前記対角成分以外の成分を、前記ｓ×ｓの変換行列が逆行列を有するように決定し、
前記可視状態で埋め込まれた透かし画像の解除が許諾されたとき、電子透かしが埋め込まれたｓ個の画素の画像データに、前記逆行列を乗算することにより、少なくとも前記透かし画像の可視的な埋込を除去する除去処理
を行なうことを要旨としている。
【００１０】
また、この埋込方法に対応した電子透かしの埋込装置は、上述した装置の構成に加えて、
前記ｓ×ｓの変換行列は、前記対角成分以外の成分を、前記ｓ×ｓの変換行列が逆行列を有するように決定されており、
前記可視状態で埋め込まれた透かし画像の解除が許諾されたとき、電子透かしが埋め込まれたｓ個の画素の画像データに、前記逆行列を乗算することにより、少なくとも前記透かし画像の可視的な埋込を除去する除去手段を備えたことを要旨とする。
【００１１】
かかる電子透かしの埋込方法および装置によれば、一旦可視的に埋め込まれた透かし画像について、解除条件、例えば著作権者による許諾が得られたとき、同時に行なわれた第１および第２の変換処理の逆変換を用いて、少なくとも透かし画像の可視的な埋込を除去する。この結果、利用者は、ほぼ原画像に等しい画質の画像を利用することが可能となる。この場合でも、透かし画像の可視的な埋込が除去されただけなので、かかる画像が不正に複製などされた場合には、原画像データと比較することにより、いつでも透かし画像を復元して、署名として用いることができる。
【００１２】
こうした透かし画像の可視的な埋込を除去しながら、透かし画像を不可視的な埋め込んでおく方法は、様々な手法が採用可能であるが、例えば、第１，第２の変換処理の逆変換を施して、前記透かし画像を不可視状態に変更すると共に、前記複数の画素における前記第１の変換処理によるデータの変化量に対応した値を、前記各画素に付加する処理などを考えることができる。もとより、第１，第２の変換処理の逆変換処理を行なった後、第２の変換処理を再度行なっても良い。また第１と第２の変換処理が単一の変換行列を用いて行なわれる場合には、この変換行列に着目し、第１の変換処理に対応した変換のみを逆変換する逆変換行列を用いて、可視的な透かし画像の除去を行なうことも可能である。
【００１３】
上述した電子透かしの埋込において、第１の埋込処理を、原画像の各画素の輝度データを透かし画像の対応する画素の値により直接増減する処理とし、第２の埋込処理を、原画像の複数の画素の画像データに、透かし画像の対応する画素以外の複数の画素の画像データに所定の演算を施して得られた値を増減する処理とすることができる。かかる処理を採用すれば、処理をきわめて簡易なものとすることができる。
【００１４】
このうち、第１の処理は、直接輝度データを調整するが、この処理は透かし画像を可視的に表示することが目的なので、原画像の輝度が低い領域では、輝度データを増分して透かし画像を相対的に明るい画像とし、原画像の輝度が高い領域では、輝度データを減じて透かし画像を相対的に暗い画像とし、透かし画像の視認性を高めることが望ましい。
【００１５】
第１，第２の処理を同時に行なう手法としては、例えば、第２の処理における関連性を有する複数の画素を、着目画素を含むｓ個（ｓは値２以上の整数）の画素とし、第１，第２の処理を、ｓ×ｓの変換行列を用いた演算により実現し、この変換行列の対角成分を第１の処理に対応した係数（但し、値１以外）とし、対角成分以外の成分を、少なくともその２つ以上が有意の係数であり、かつ総和が略０の係数でとするものを考えることができる。かかる手法は、一つの変換行例を用いるだけで実現でき、構成をきわめて簡易なものにすることができる。
【００１６】
また、上記の第２の処理における関連性を有する複数の画素は、どのような関連性を持たせてもよいが、着目画素を隅部とするａ×ａ（ａは２以上の整数）個の画素とするのが簡便である。自然画像は冗長性が大きいので、一つの画素の近傍の画素に変換処理を行なっても、視覚上の影響を抑制することができるのである。例えば、ａ＝２とした場合、自然画像では、４画素の輝度値には大きな差がない場合がほとんどである。そこで、これらの４画素の輝度データに変換行列の対角成分以外の成分を用いて変換処理を施すと、着目画素の輝度データの変化は小さく、かつ４画素間の各画素が影響をしあうような変換が実現できる。従って、原画像の画質はほとんど影響を受けることがない。
【００１７】
なお、上記の第２の変換処理の内容によっては、関連性を有する複数の画素のデータが同一の場合、透かし画像を埋め込めないことがあり得る。こうした場合には、複数の画素の各データに、有意の異なる値を加減算した後のデータに対して前記所定の演算を行なうものとすれば、透かし画像の埋込を行なうことができる。
【００１８】
以上説明した電子透かしの埋込方法または埋込装置により埋め込まれた透かし画像については、それが可視状態である場合には復元する必要はないが、除去処理によりその透かし画像が不可視状態に変更された後は、この不可視の透かし画像を復元する必要が生じる。かかる復号を行なう本発明の電子透かしの復元方法は、
前記透かし画像の可視的な埋込が除去された各画素の画像データと前記原画像の各画素の画像データとの差分を求めることにより前記透かし画像を復号する
ことを要旨としている。
【００１９】
また、かかる電子透かしの復元方法に対応した復元装置は、
前記透かし画像の可視的な埋込が除去された各画素の画像データと前記原画像の各画素の画像データとの差分を求めることにより、前記透かし画像を復号する手段を備えたことを要旨としている。かかる電子透かしの復元方法および装置によれば、不可視状態に変更された透かし画像を、原画像を用いて容易に復元することができる。なお、透かし画像の可視的な埋込の除去が、第１の変換処理のみを逆変換することで行なわれている場合には、第２の処理の逆変換を施すことで、不可視状態で埋め込まれた透かし画像を復元することができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を実施例に基づいて説明する。
Ａ．装置の全体構成と処理手順：
はじめに、実施例としての電子透かし処理装置１０の構成について図１を用いて説明する。図１は、本実施例において電子透かし処理を実行する電子透かし処理装置１０の構成を示すブロック図である。この電子透かし処理装置は、ＣＰＵ２２と、ＲＯＭおよびＲＡＭを含むメインメモリ２４と、キーボード３０と、マウス３２と、表示装置３４と、ハードディスク３６と、モデム３８と、画像を読み取るスキャナ３９と、これらの各要素を接続するバス４０と、を備えるコンピュータである。なお、図１では各種のインターフェイス回路は省略されている。モデム３８は、図示しない通信回線を介してコンピュータネットワークに接続されている。コンピュータネットワークの図示しないサーバは、通信回線を介してコンピュータプログラムを電子透かし処理装置に供給するプログラム供給装置としての機能を有する。
【００２１】
メインメモリ２４には、第１および第２の処理を行なう埋込処理部４１と、可視的に埋め込まれた透かし画像を除去する処理を行なう除去処理部４３と、透かし画像の復号を行なう復号処理部４６との機能を実現するためのコンピュータプログラムが格納されている。埋込処理部４１，除去処理部４３および復号処理部４６の機能については後で詳しく説明する。
【００２２】
これらの各部４１，４３，および４６の機能を実現するコンピュータプログラムは、フレキシブルディスクやＣＤ−ＲＯＭ等の、コンピュータ読み取り可能な記録媒体に記録された形態で提供される。コンピュータは、その記録媒体からコンピュータプログラムを読み取って内部記憶装置または外部記憶装置に転送する。あるいは、通信経路を介してコンピュータにコンピュータプログラムを供給するようにしてもよい。コンピュータプログラムの機能を実現する時には、内部記憶装置に格納されたコンピュータプログラムがコンピュータのマイクロプロセッサによって実行される。また、記録媒体に記録されたコンピュータプログラムをコンピュータが読み取って直接実行するようにしてもよい。
【００２３】
この明細書において、コンピュータとは、ハードウェア装置とオペレーションシステムとを含む概念であり、オペレーションシステムの制御の下で動作するハードウェア装置を意味している。また、オペレーションシステムが不要でアプリケーションプログラム単独でハードウェア装置を動作させるような場合には、そのハードウェア装置自体がコンピュータに相当する。ハードウェア装置は、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とを少なくとも備えている。コンピュータプログラムは、このようなコンピュータに、上述の各手段の機能を実現させるプログラムコードを含んでいる。なお、上述の機能の一部は、アプリケーションプログラムでなく、オペレーションシステムによって実現されていても良い。更に、電子透かしの埋め込み処理や復号処理を行なうプログラムは、画像処理を行なうプログラムに対して、プラグインの形式で付加されるものとしてもよい。
【００２４】
なお、この発明における「記録媒体」としては、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等の、コンピュータが読取り可能な種々の媒体を利用することができる。
【００２５】
Ｂ．電子透かしの埋込処理：
図２は、電子透かしの埋め込み部４２が行う埋め込み処理の手順を示すフローチャートである。この処理は、埋込処理部４１の処理として実現されている。図示するように、この埋込処理が起動されると、まず透かし画像を埋め込もうとする原画像Ｐと、透かし画像Ｗとを特定する処理を行なう（ステップＳ１００）。これらの処理は、ハードディスク３６に記憶された画像ファイルを指定することにより行なわれる。本実施例では、原画像Ｐとして、ｎ×ｎ画素からなり、各画素毎に２５６階調を有する濃淡画像を用いた。ここで、
Ｐ＝｛ｐij｜i,j＝０，１，２・・・・ｎ-1｝
で表わすものとする。また、透かし画像Ｗとして、ｍ×ｍ（ｍ≦ｎ）画素からなり、各画素毎に白または黒の二値画像を用いた。ここで、
Ｗ＝｛ｗij｜ｗij＝０または１，i,j＝０，１，２・・・・m-1｝
で表わすものとする。実施例で用いた透かし画像の一例を、図３に示した。この例では、透かし画像は、「見本」という文字列であり、白地に黒文字の画像として用意した。
【００２６】
なお、以下の議論のために、透かし画像が埋め込まれた後の画像（以下、署名済み画像と呼ぶ）をＱとし、これを、
Ｑ＝｛ｑij｜i,j＝０，１，２・・・・ｎ-1｝
で表わすものとする。また、原画像と透かし画像の画素間の対応関係を容易なものとするため、本実施例では、ｎ＝２５６，ｍ＝１２８とした。即ち、原画像は、透かし画像の４倍の面積を有する画像である。
【００２７】
両画像Ｐ，Ｗを用意した後、次に、画像処理用の変数ｉ，ｊを初期値０にセットし（ステップＳ１１０，１１５）、順次透かし画像Ｗの各画素ｗijが黒か否かの判断を行なう（ステップＳ１２０）。透かし画像Ｗの着目画素ｗijが白の場合には、特に処理を行なわないが、着目画素ｗijが黒の場合（ｗij＝１）の場合には、図４に示すように、透かし画像Ｗの着目画素ｗijを、原画像Ｐにおいて（２ｉ，２ｊ）を左上隅とする２×２の領域に拡大し、原画像Ｐにおいて座標（2i,2j) (2i+1,2j) (2i,2j+1) (2i+1,2j+1)となる４つの画素について、次式（１）の演算を行なう（ステップＳ１３０）。なお、式の記述を簡単にするために、以下の式では、この４つの座標の各画像データｗを、図５に示すように、ｘ１，ｘ２，ｘ３，ｘ４と記載する。また、ｙ１，ｙ２，ｙ３，ｙ４は、それぞれ、式（１）の変換処理が行なわれた後の画像Ｑの対応する各座標の画像データを示すものとし、更に
Ｙ＝（ｙ１ ｙ２ ｙ３ ｙ４）t
Ｘ＝（ｘ１ ｘ２ ｘ３ ｘ４）t
（t は、転置行列であることを示す）と表わすものとした。
【００２８】
【数１】
ここで、Ｃは、次式（２）で示す４×４の行列である。
【００３０】
【数２】
この行列Ｃは、二つの行列ＤおよびＢの和として定義された行列である。行列ＤおよびＢは、次式（３）および（４）として定義されている。
【００３２】
【数３】
【数４】
従って、式（１）は、これらの行列を用いれば、
Ｙ＝（Ｄ＋Ｂ）・Ｘ
と書き表わすことができる。この行列Ｄが、第１の変換処理に相当し、行列Ｂが第２の変換処理に相当する。両行列の和の行列Ｃを用いて一度に演算を行なうことから、第１および第２の変換処理は同時に行なわれることになる。
【００３５】
行列Ｃの対角係数ｄ（行列Ｙの値０以外の要素）は、原画像Ｐの画素ｘの輝度を直接的に増減する係数としては働く。即ち、ｄ＜１ならば、原画像Ｐの各画素の輝度は小さくなり、原画像Ｐに対して、透かし画像Ｗは、黒く表示される。この様子を図６（Ａ）に示した。また、ｄ＞１ならば、原画像Ｐの各画素の輝度は大きくなり、原画像Ｐに対して、透かし画像Ｗは、白く表示される。この様子を図６（Ｂ）に示した。
【００３６】
一方、行列Ｃの対角要素以外の要素（行列Ｂの値０以外の要素）は、各画素に対してその周辺の３つの画素の輝度データによる増減を行なうための係数である。即ち、座標(2i,2j) の画素に対しては、周辺の座標(2i,2j+1)(2i+1,2J)(2i+1,2j+1) の３つの画素の輝度データｘ２，ｘ３，ｘ４が影響を及ぼす。その他の座標の画素についても同様である。
【００３７】
かかる演算処理を行なった後、変数ｉ，ｊを順次インクリメントしつつ（ステップＳ１４０，Ｓ１５０）、透かし画像Ｗの全画素について処理が完了したか否かを判断し（ステップＳ１４５，Ｓ１５５）、完了するまで、原画像Ｐに透かし画像Ｗを埋め込む上記処理を繰り返す。全画素についての処理が完了すれば、透かし画像の埋込処理を終了する。
【００３８】
Ｃ．実施例の効果
以上説明した実施例の透かし画像の埋込処理によれば、二つの行列Ｄ，Ｂの和の行列Ｃを用いて、原画像Ｐに透かし画像Ｗを埋め込む処理を行なうが、この処理は、透かし画像を行列Ｄを用いて可視的に埋め込むだけでなく、行列Ｂを用いて不可視的に埋め込む処理を一度に行なうものとなっている。上記の手法により図３に示した透かし画像Ｗを埋め込んだ画像の例を図７（Ａ）ないし（Ｃ）に示す。なお、これらの例では、行列Ｄにおけるｄ＝０．５とした。本実施例によれば、得られた画像Ｑには、同じ透かし画像Ｗを用いながら、可視的な透かしと不可視的な透かしが同時に埋め込まれたことになる。この結果、例えレタッチなどにより、可視的な透かしを消去しても、画像データＱからいつでも、不可視的に埋め込まれた透かし画像Ｗを取り出し、著作権の存在を示すことができる。
【００３９】
更に、本実施例では、可視的な透かし画像を消去しても、不可視的な透かしを残すことができるので、その後の著作権の存在の証明に利用することができる。かかる可視的な透かし画像の消去の処理について次に説明する。図８は、可視的な透かし画像を消去する除去処理の一例を示すフローチャートである。この処理は、除去処理部４３の処理として実現されている。図示するように、このルーチンが起動されると、まず可視的な透かし画像の消去が許可されたか否かの処理を行なう（ステップＳ２００）。この判断は、可視的な透かしの消去が、配付された画像Ｑの使用を希望する者の手元で行なわれる場合には、対価の支払いを受けた権利者が、使用許諾を示すパスワードを知らせ、これを使用者が入力することなどにより行なわれる。もとより、パスワードに相当する情報を配布する画像Ｑに他の電子透かしの埋込方法により埋め込んでおき、透かし画像の除去に先立って、このパスワードに相当する情報を復号し、使用者が入力したパスワードとの一致を確認するといった方法で行なってもよい。
【００４０】
次に、配付を受けている画像Ｑの各画素のデータを読み込み、これに対して、透かし画像Ｗの埋込に用いた行列Ｃを、（Ｄｖ＋Ｂ）であると仮定し、この逆行列である（Ｄｖ＋Ｂ）-1を配付された画像Ｑの画像データＹに乗算する処理を行なう（ステップＳ２１０）。この逆行列を、復元行列Ｋと呼ぶ。ここで、行列Ｄｖは、透かし画像を可視的に埋め込んでいること、即ち対角要素ｄがｄ≠１であることを示している。このため、配付されている画像Ｑに、この復元行列Ｋを乗算した結果は
Ｋ・Ｑ＝（Ｄｖ＋Ｂ）-1（Ｄｖ＋Ｂ）・Ｘ＝Ｘ′
となり、画像は復号できるものの、得られた画像のデータＸ′は、原画像Ｐの画像データＸとは完全には等しくならない。変換誤差が含まれるからである。
【００４１】
次に、こうして復号された画像データＸに、透かし画像Ｗが存在する画素（ｗij＝１の画素）に、次の量αを加える処理を行なう（ステップＳ２２０）。この量αは、次式（５）により求められた量である。
【００４２】
【数５】
ここで、ｙ′(k) は、行列Ｄの対角要素ｄ＝１とした場合に復元行列Ｋにより復元された画像Ｑの各画素のデータであり、ｙｖ(k) は、行列Ｄの対角要素ｄ≠１の場合の復元行列Ｋにより復元された画像Ｑの各画素のデータである。従ってαは、４つの画素についての両者の輝度の相違の平均値に相当する値である。かかる値αを加えた後、全画素について処理が終了したか否かを判断し（ステップＳ２３０）、終了していれば「ＥＮＤ」に抜けて、本ルーチンを終了する。なお、実際の処理では、図２に示した埋込の処理と同様、ｉ，ｊ＝０から両変数をインクリメントしつつ、全画素について、復号の処理を行なっている。
【００４４】
以上説明した可視的な透かし画像の除去処理により、透かしが除去された画像の一例を図９に示す。図９（Ａ）ないし（Ｃ）は、それぞれ透かし画像Ｗが可視的に埋め込まれた図７（Ａ）ないし（Ｃ）に対応している。図示するように、透かし画像は不可視な状態に変更されたことが分かる。かかる画像であっても、著作権者は、完全な原画像Ｐを所有しているから、この原画像Ｐと、可視的な透かし画像が除去された画像Ｘ”とを比較することにより、容易に透かし画像Ｗを復元することができる。図１０（Ａ）ないし（Ｃ）は、図９に示した各画像から、実際に署名された透かし画像Ｗを復元した様子を示す。図示するように、透かし画像Ｗが、十分視認可能に復元されている。
【００４５】
次に、上記実施例の変形例について説明する。上記実施例では、原画像Ｐに透かし画像を不可視的に埋め込む際、行列Ｂを用いた。この行列Ｂは、各要素の和が略０となっており、画像全体の輝度に影響を与えないよう設定されている。このため、仮に元の画像が同じ輝度のまとまった領域を有すると、この領域では４つの画素の輝度データｘ１＝ｘ２＝ｘ３＝ｘ４は等しくなり、行列Ｂの演算を行なった後の輝度データは変化しない。そこで、この変形例では、図１１に示す処理を、図２の処理に加えて追加的に行なっている。
【００４６】
即ち、図２のステップＳ１２０の処理の後に、透かし画像の画素に対応して設定された原画像Ｐの４つの画素ｗの輝度データｘ１，ｘ２，ｘ３，ｘ４がすべて等しいか否かの判断を行ない（ステップＳ１２２）、すべてが等しい場合には、各画素の輝度データに摂動分Δｘｉを加える処理を行なう（ステップＳ１２４）。この例では、
ｘ１＝ｘ１、
ｘ２＝ｘ２−３、
ｘ３＝ｘ３＋４、
ｘ４＝ｘ４−５
として計算した。
【００４７】
以上の計算を行なった後、あるいは各画素の輝度データがすべて等しいという条件が成立しておらず各画素の輝度データをそのまま用いることができと判断した場合にはそのまま、図２に示したステップＳ１３０の処理に進んで、画像の埋込処理を実行する。
【００４８】
この変形例によれば、同じ輝度のまとまった領域が原画像に存在する場合でも、透かし画像を可視的なのみならず、不可視的にも埋め込むことができる。
【００４９】
以上本発明の電子透かしの埋込方法および復元方法およびこれを行なう装置の実施例について説明したが、本発明は、こうした実施例に何ら限定されるものではなく、発明の要旨を逸脱しない範囲内において、種々の態様で実施できることは勿論である。例えば、透かし画像の埋込を行なう行列Ｃ＝（Ｄ＋Ｂ）に対して、
Ｂ＝χ・（Ｄ＋Ｂ）
となる変換行列χが存在するよう各行列を設定し、可視的に埋め込まれた透かし画像の除去が許諾された場合には、許諾を受けたものに、この変換行列χを配信し、許諾を受けた者は、配付されている画像Ｑに対して、この変換行列χを乗算することで、可視的な透かし画像を除去することができる。
【００５０】
また、上記実施例では、モノクロ画像を例としたが、カラー画像に埋め込むことも可能である。この場合には、各色の輝度信号を選択して利用すればよい。また、上記実施例では、透かし画像Ｗの縦横の画素数は、原画像の１／２としたが、１／２以外の関係でも何ら差し支えない。また、透かし画像の一画素に対して原画像の２×２の領域を対応づけたが、かかる対応関係は、１×４あるいは４×１などであってもよく、あるいは更に多数の画素との間に関係づけることも差し支えない。更に、こうした矩形の領域ではなく、（i,j）に対して、(2i,2j-1)(2i+4,2j+1)(3i,4j)などのように、自由な対応付けを行なうことも可能である。
【００５１】
なお、上記の実施例では、演算の結果が輝度データで０未満、２５６以上となる場合については特に言及しなかったが、演算の結果がこうしたアンダフロー、オーバフローを引き起こす場合には、それぞれ下限値０、上限値２５５とすればよい。
【図面の簡単な説明】
【図１】本発明の一実施例としての電子透かし処理装置１０の概略構成を示すブロック図である。
【図２】電子透かし処理装置１０における透かし画像の埋込処理の一例を示すフローチャートである。
【図３】原画像に埋め込まれる透かし画像の一例を示す説明図である。
【図４】透かし画像Ｗの画素と原画像Ｐの画素との対応関係を示す説明図である。
【図５】原画像上で対応づけられた領域を示す説明図である。
【図６】原画像に対して行列Ｄを用いて透かし画像Ｗを可視的に埋め込んだ例を示す説明図である。
【図７】実施例の処理により透かし画像Ｗを可視的および不可視的に埋め込んだ例を示す説明図である。
【図８】実施例における透かし画像の除去処理の一例を示すフローチャートである。
【図９】可視的な透かし画像が除去された画像の例を示す説明図である。
【図１０】可視的な透かし画像が除去された画像から復元された透かし画像の例を示す説明図である。
【図１１】実施例の変形例を示すフローチャートである。
【符号の説明】
１０…電子透かし処理装置
２２…ＣＰＵ
２４…メインメモリ
３０…キーボード
３２…マウス
３４…表示装置
３６…ハードディスク
３８…モデム
３９…スキャナ
４０…バス
４１…埋込処理部
４３…除去処理部
４６…復号処理部
Claims (13)
- 原画像のデータに、透かし画像を加える電子透かしの埋込方法であって、
透かし画像を加える単位であるｓ個の画素の画像データに対して、前記透かし画像を構成する画素の画像データを埋め込む演算を行なうｓ×ｓの変換行列（ｓは３以上の整数）を用意し、該変換行列の対角成分は、前記透かし画像を可視的に埋め込むために、前記原画像を構成する画素の画像データを一方向にシフトする値とされ、前記変換行列の対角成分以外の各要素は、前記透かし画像を不可視的に埋め込むために、各行における要素の少なくとも２つは有意の係数であり、かつ各行の前記対角成分を除く各要素の総和が値０となるよう設定され、
前記原画像の前記ｓ個の画素の画像データに対して、前記変換行列を乗算することにより、
前記変換行列の対角成分に応じて、前記原画像の前記単位であるｓ個の画素の画像データを一方向にシフトして、該原画像において前記透かし画像を可視可能に埋め込む第１の埋込処理と、
前記ｓ個の画素の画像データの各々に、前記変換行列の対角成分以外の要素に応じて、前記変換行列の対角成分以外の要素に対応した画素の画像データに基づく増減を行なうことで、前記透かし画像を不可視状態で埋め込む第２の埋込処理と
を同時に行なう電子透かしの埋込方法。 - 請求項１記載の電子透かしの埋込方法であって、
前記ｓ×ｓの変換行列を用意する際、前記対角成分以外の成分を、前記ｓ×ｓの変換行列が逆行列を有するように決定し、
前記可視状態で埋め込まれた透かし画像の解除が許諾されたとき、電子透かしが埋め込まれたｓ個の画素の画像データに、前記逆行列を乗算することにより、少なくとも前記透かし画像の可視的な埋込を除去する除去処理
を行なう電子透かしの埋込方法。 - 請求項２記載の電子透かしの埋込方法であって、
前記除去処理は、前記逆行列による乗算を施して、前記透かし画像を不可視状態に変更すると共に、前記逆行列の演算により生じた変換誤差の平均値に対応する値を、前記各画素の逆変換後画像データから差し引きする処理である
電子透かしの埋込方法。 - 請求項１または請求項２記載の電子透かしの埋込方法であって、
前記第１，第２の埋込処理は、前記原画像の各画素の画像データとして、当該画素の輝度データを用いる
電子透かしの埋込方法。 - 前記ｓ個の画素は、着目画素を隅部とするａ×ａ（ａは２以上の整数）個の画素である請求項１または請求項２記載の電子透かしの埋込方法。
- 請求項１または請求項２記載の電子透かしの埋込方法であって、
前記ｓ個の画素の画像データが同一の場合には、該ｓ個の画素の各画像データに、有意の異なる値を加減算した後のデータに対して前記変換行列を用いた演算を行なう
電子透かしの埋込方法。 - 請求項２記載の埋込方法により埋め込まれた透かし画像を復元する電子透かしの復元方法であって、
前記透かし画像の可視的な埋込が除去された各画素の画像データと前記原画像の各画素の画像データとの差分を求めることにより前記透かし画像を復号する方法。 - 原画像のデータに、透かし画像を加える電子透かしの埋込装置であって、
透かし画像を加える単位であるｓ個の画素の画像データに対して、前記透かし画像を構成する画素の画像データを埋め込む演算を行なうｓ×ｓの変換行列（ｓは３以上の整数）であり、該変換行列の対角成分は、前記透かし画像を可視的に埋め込むために、前記原画 像を構成する画素の画像データを一方向にシフトする値とされ、前記変換行列の対角成分以外の各要素は、前記透かし画像を不可視的に埋め込むために、各行における要素の少なくとも２つは有意の係数であり、かつ各行の前記対角成分を除く各要素の総和が値０となるよう設定された変換行列を記憶する記憶手段と、
前記原画像の前記ｓ個の画素の画像データに対して、前記変換行列を乗算することにより、前記変換行列の対角成分に応じて、前記原画像の前記単位であるｓ個の画素の画像データを一方向にシフトして、該原画像において前記透かし画像を可視可能に埋め込む第１の埋込処理と、前記ｓ個の画素の画像データの各々に、前記変換行列の対角成分以外の要素に応じて、前記変換行列の対角成分以外の要素に対応した画素の画像データに基づく増減を行なうことで、前記透かし画像を不可視状態で埋め込む第２の埋込処理とを同時に行なう手段と
を備えた電子透かしの埋込装置。 - 請求項８記載の電子透かしの埋込装置であって、
前記ｓ×ｓの変換行列は、前記対角成分以外の成分を、前記ｓ×ｓの変換行列が逆行列を有するように決定されており、
前記可視状態で埋め込まれた透かし画像の解除が許諾されたとき、電子透かしが埋め込まれたｓ個の画素の画像データに、前記逆行列を乗算することにより、少なくとも前記透かし画像の可視的な埋込を除去する除去手段を備えた電子透かしの埋込装置。 - 請求項２の埋込方法または請求項８記載の埋込装置により埋め込まれた透かし画像を復元する電子透かしの復元装置であって、
前記透かし画像の可視的な埋込が除去された各画素の画像データと前記原画像の各画素の画像データとの差分を求めることにより、前記透かし画像を復号する手段を備えた電子透かしの復元装置。 - 原画像のデータに、透かし画像を加える電子透かしの埋込処理を行なうプログラムを、コンピュータにより読み取り可能に記録した記録媒体であって、
透かし画像を加える単位であるｓ個の画素の画像データに対して、前記透かし画像を構成する画素の画像データを埋め込む演算を行なうｓ×ｓの変換行列（ｓは３以上の整数）であり、該変換行列の対角成分は、前記透かし画像を可視的に埋め込むために、前記原画像を構成する画素の画像データを一方向にシフトする値とされ、前記変換行列の対角成分以外の各要素は、前記透かし画像を不可視的に埋め込むために、各行における要素の少なくとも２つは有意の係数であり、かつ各行の前記対角成分を除く各要素の総和が値０となるよう設定された変換行列を記憶する機能と、
前記原画像の前記ｓ個の画素の画像データに対して、前記変換行列を乗算することにより、前記変換行列の対角成分に応じて、前記原画像の前記単位であるｓ個の画素の画像データを一方向にシフトして、該原画像において前記透かし画像を可視可能に埋め込む第１の埋込処理と、前記ｓ個の画素の画像データの各々に、前記変換行列の対角成分以外の要素に応じて、前記変換行列の対角成分以外の要素に対応した画素の画像データに基づく増減を行なうことで、前記透かし画像を不可視状態で埋め込む第２の埋込処理とを同時に行なう機能と
をコンピュータにより実現させるプログラムを記録した記録媒体。 - 請求項１１記載の記録媒体であって、
前記ｓ×ｓの変換行列は、前記対角成分以外の成分を、前記ｓ×ｓの変換行列が逆行列を有するように決定されており、
前記可視状態で埋め込まれた透かし画像の解除が許諾されたとき、電子透かしが埋め込まれたｓ個の画素の画像データに、前記逆行列を乗算することにより、少なくとも前記透かし画像の可視的な埋込を除去する除去機能
をコンピュータにより実現させるプログラムを記録した記録媒体。 - 請求項２記載の埋込方法により埋め込まれた透かし画像を復元する電子透かしの復元処理を行なうプログラムを、コンピュータに読み取り可能に記録した記録媒体であって、
前記透かし画像の可視的な埋込が除去された各画素の画像データと前記原画像の各画素の画像データとの差分を求めることにより、前記透かし画像を復号する機能をコンピュータにより実現させるプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29664899A JP4176257B2 (ja) | 1999-10-19 | 1999-10-19 | 電子透かしの埋込方法、復元方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29664899A JP4176257B2 (ja) | 1999-10-19 | 1999-10-19 | 電子透かしの埋込方法、復元方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001119554A JP2001119554A (ja) | 2001-04-27 |
| JP4176257B2 true JP4176257B2 (ja) | 2008-11-05 |
Family
ID=17836271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29664899A Expired - Fee Related JP4176257B2 (ja) | 1999-10-19 | 1999-10-19 | 電子透かしの埋込方法、復元方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4176257B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436052A (zh) * | 2021-06-23 | 2021-09-24 | 网易（杭州）网络有限公司 | 图像处理方法、装置和电子设备 |
-
1999
- 1999-10-19 JP JP29664899A patent/JP4176257B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001119554A (ja) | 2001-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3881794B2 (ja) | 電子透かしの埋め込み方法およびその復号方法 | |
| JP3937841B2 (ja) | 情報処理装置及びその制御方法 | |
| JP5415446B2 (ja) | 画像に除去可能な可視透かしを挿入する方法と装置、及びその透かしを除去する方法と装置 | |
| US20070098214A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN111680273B (zh) | 水印嵌入方法、装置、电子设备及可读存储介质 | |
| US20010054150A1 (en) | Watermark embedding functions in rendering description files | |
| JP2004289783A (ja) | 二値画像用電子透かし方法 | |
| JP2001245132A (ja) | システム及び処理方法及び記憶媒体 | |
| WO2000044163A1 (en) | Method for embedding electronic watermark, decoding method, and devices for the same | |
| US6721438B1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP4167372B2 (ja) | 電子透かしの埋め込み方法、抽出方法、不可視化方法、及び可視化方法並びに埋め込み装置 | |
| JP2000350007A (ja) | 電子透かし方法、電子透かし装置および記録媒体 | |
| JP4061143B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4176257B2 (ja) | 電子透かしの埋込方法、復元方法およびその装置 | |
| JP3881810B2 (ja) | 透かしマークの可視度を調整可能な電子透かし | |
| Fragoso-Navarro et al. | Seam Carving based visible watermarking robust to removal attacks | |
| JP3565483B2 (ja) | データ表示システム、データ表示装置およびその方法 | |
| Gou et al. | Improving Embedding Payload in Binary Imageswith" Super-Pixels" | |
| JP2001169093A (ja) | 画像処理装置及び方法及び記憶媒体 | |
| JP2000216984A (ja) | 画像処理システム、画像伝送システム及び記録媒体 | |
| JP2000165652A (ja) | データ出力制御装置、データ処理装置及びコンピュータ読み取り可能な記憶媒体 | |
| Lu | Block DCT-based robust watermarking using side information extracted by mean filtering | |
| JP4784531B2 (ja) | 画像処理方法，および，画像処理装置 | |
| JP4679084B2 (ja) | 電子透かしの付加 | |
| JP4389942B2 (ja) | 二値画像用電子透かし方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061013 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080401 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080820 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |