JP3881810B2 - Digital watermark with adjustable watermark mark visibility - Google Patents

Description

【００２１】
ここで、色信号Ｐ，Ｆに付されている（ｉ，ｊ）は、画素の位置を意味している。
【００２２】
本実施例では、変換行列Ａおよび逆変換行列Ａ^-1として、以下の（２ａ），（２ｂ）式で与えられるものを使用する。
【００２３】
【数２】

【００２４】
本実施例では、ＲＧＢ表色系の画像データＰをＹＣｂＣｒ表色系の画像データＦに変換する際に透かしマークを埋め込み、これを再度ＲＧＢ表色系に逆変換することによって透かし付き画像を作成する。透かしマークの埋め込みに使用される変換行列（「埋め込み用変換行列」と呼ぶ）は、変換行列Ａに、次の（３）式で与えられる付加行列Ｘを加算したもの（すなわち（Ａ＋Ｘ））である。
【００２５】
【数３】

【００２６】
この付加行列Ｘは、実数値ｘおよび−ｘを成分とし、かつ、各行および各列の成分の和が０となるような行列である。なお、本明細書においては、この実数値ｘを「透かし値」も呼び、また、付加行列Ｘを「透かし行列」とも呼ぶ。このような透かし行列Ｘの構成は、以下のような理由によって決定されている。まず、透かしマークを肉眼で視認できないように埋め込むことを考える。このためは、透かしの埋込みによる画質劣化をできるだけ防ぐことが好ましい。ところで、（２ａ）式で与えられる変換行列Ａの各成分を観察すると、各行の成分の絶対値の和がすべて１となっていることが解る。従って、埋め込み用変換行列（Ａ＋Ｘ）においても、各行の成分の絶対値の和が１となるような関係を保持することが、画質劣化を防止する上で好ましい。（３）式の透かし行列Ｘは、各行および各列の成分の和が０となるように設定されているので、このような要求を満足している。
【００２７】
原画像Ｐに透かしマークを埋め込む際には、この原画像Ｐの他に、埋め込まれるべき透かしマークを含むマーク画像Ｍを準備する。図２（Ｂ）には、本実施例で使用されるマーク画像Ｍの一例が示されている。このマーク画像Ｍは２値画像であり、透かしマークを構成する２つの文字「Ｉ」と「Ｔ」の領域における画素値ｍが１であり、その他の領域における画素値ｍは０である。以下では、画素値ｍが１である領域を「透かしマークの有効領域」または単に「マーク領域」と呼び、画素値ｍが０である領域を「透かしマークの非有効領域」と呼ぶ。なお、透かしマークの有効領域を単に「透かしマーク」と呼ぶこともある。例えば「透かしマーク内の位置」という文言は、「透かしマークの有効領域内の位置」と同じ意味を有している。
【００２８】
本実施例のマーク画像Ｍは、原画像Ｐと同一のサイズを有している。但し、マーク画像Ｍが原画像Ｐと同一のサイズを有している必要は無く、原画像Ｍ内に埋め込まれる透かしマークの位置が何らかの方法で決定されていれば良い。
【００２９】
透かしマークを埋め込む際には、まず、次の（４ａ），（４ｂ）式に従って、ＲＧＢ表色系からＹＣｂＣｒ表色系への変換が行われる。
【００３０】
【数４】

【００３１】
すなわち、透かしマークの有効領域に相当する位置の画素（ｍ（ｉ，ｊ）＝１の画素）においては、元の変換行列Ａと透かし行列Ｘとを加算した埋め込み用変換行列（Ａ＋Ｘ）を用いて表色系の変換が実行される。一方、透かしマークの非有効領域に相当する位置の画素（ｍ（ｉ，ｊ）＝０の画素）においては、元の変換行列Ａをそのまま用いて表色系の変換が実行される。
【００３２】
（４ａ），（４ｂ）式による演算処理をすべての画素に対して実行すると、透かし情報が埋め込まれた透かし付きＹＣｂＣｒ画像データＦ_X が得られる（図１，図２（Ｃ））。
【００３３】
次に、この透かし付きＹＣｂＣｒ画像データＦ_X に対して逆変換行列Ａ^-1を左から操作させると、次の（５ａ），（５ｂ）式で与えられる透かし付きＲＧＢ画像データＰ_X が得られる（図１）。
【００３４】
【数５】

【００３５】
この（５ａ）式に示されているように、透かし付きＲＧＢ画像データＰ_X は、透かしマークの有効領域内において、原ＲＧＢ画像データＰにノイズ成分（Ａ^-1ＸＰ）が重畳されたものである。また、透かしマークの非有効領域においては、透かし付きＲＧＢ画像データＰ_X は原ＲＧＢ画像データＰと等しい値を有している。
【００３６】
ところで、上記（３）式に示されているように、透かし行列Ｘの各行の成分の和は０である。従って、原ＲＧＢ画像データＰ（ｉ，ｊ）のｒ，ｇ，ｂ成分の値が互いに等しいとき（すなわち無彩色のとき）には、（５ａ）式のノイズ成分（Ａ^-1ＸＰ）は０になってしまう。このような問題を防止するために、透かしマークは、原画像内の無彩色でない領域に位置決めしておくことが好ましい。
【００３７】
なお、図２（Ｃ）では、透かし付き画像内の透かしマークが薄く見えているような状態を示している。しかし、実際には、透かしマークの可視度（肉眼による認識のし易さ）は、透かし行列Ｘにおける透かし値ｘを調整することによって調整可能である。透かしマークの可視度の調整の方法については、さらに後述する。
【００３８】
ところで、ＲＧＢ画像データは整数値で構成されるのに対して、ＹＣｂＣｒ画像データは実数値で構成されるのが普通である。従って、（４ａ），（４ｂ）式によってＹＣｂＣｒ表色系に変換する際には実数化が行われ、（５ａ），（５ｂ）式によってＲＧＢ表色系に逆変換する際には整数化が行われる。この整数化の際には、画素値が負となってアンダフローを発生する場合や、画素値の上限を超えてオーバフローとなる場合が発生する。この問題を解決するため、本実施例では、整数化の際にアンダフロー補正およびオーバフロー補正を行う。すなわち、整数化前の画素値が負となった場合には０とするアンダーフロー補正を行い、また、そのビット表現の上限値（たとえば２５５）を超える場合にはその上限値を採用するオーバーフロー補正を行う。
【００３９】
アンダーフロー補正やオーバーフロー補正を行うと、透かし付き画像の実質的な画質を劣化させる。ここで、「実質的な劣化」とは、透かしマークを消去しても回復できないような画質の劣化を意味する。アンダーフロー補正やオーバーフロー補正は、本来の変換行列Ａに透かし行列Ｘを加算したことに起因しているので、アンダーフロー補正やオーバーフロー補正の発生率は透かし行列Ｘの成分である透かし値ｘに依存する。従って、透かし値ｘは、アンダーフロー補正やオーバーフロー補正があまり発生しないような値に設定することが好ましい。
【００４０】
図３は、透かし値ｘと、アンダーフロー補正およびオーバーフロー補正の発生率との関係を示す説明図である。ここでは、画質の特性評価用に用いられる標準画像である"girl"と"graphic" の２つの画像に関する結果が示されている。なお、透かし値ｘが０．１の場合と−０．１の場合とで結果が異なるのは、画像内における３色の成分ｒ，ｇ，ｂの分布に偏りがあるためであると考えられる。図３の結果から、アンダーフロー補正およびオーバーフロー補正の発生率を低く抑えるためには、透かし値ｘを約０．７以下の値に設定することが好ましいことが解る。なお、透かし値ｘを０に設定すると透かしマークを埋め込むことができないので、実際には透かし値ｘを約０．０１以上の値に設定することが好ましい。従って、透かし値ｘとしては約０．０１〜約０．７の範囲の値に設定することが好ましい。
【００４１】
ところで、埋め込まれた透かしマークが肉眼では認識できないときには、その透かしマークを復元する必要が生じる。肉眼で認識できない透かしマークは、透かし付きＲＧＢ画像データＰ_X に含まれるノイズ成分（Ａ^-1ＸＰ）を利用することによって、以下のような種々の方法で復号することが可能である。
【００４２】
第１の方法は、透かし付きＲＧＢ画像の各成分ｒ，ｇ，ｂの輝度値を最大値近くまで高めるように画像の色変更処理を行う方法である。こうすれば、ノイズ成分（Ａ^-1ＸＰ）も大きくなるので、透かしマークが肉眼で認識し易くなる可能性がある。
【００４３】
第２の方法は、透かし付きＲＧＢ画像データＰ_X に含まれるノイズ成分（Ａ^-1ＸＰ）を直接的に利用する方法である。すなわち、原画像データＰを鍵として用いて、透かし付きＲＧＢ画像データＰ_X においてノイズ成分（Ａ^-1ＸＰ）を有する領域を決定することによって、透かしマーク（すなわち透かし情報）を復号することができる。具体的には、透かし付きＲＧＢ画像データＰ_X と原ＲＧＢ画像データＰとの差分（Ｐ_X −Ｐ）を求め、この差分（Ｐ_X −Ｐ）が０でない領域をマーク領域として決定することが可能である。なお、差分（Ｐ_X −Ｐ）はｒ，ｇ，ｂの３つの成分を有する行列であり、「差分（Ｐ_X −Ｐ）が０でない」という文言は、３つの成分の少なくとも１つが０ではない、という意味である。
【００４４】
なお、マーク領域におけるノイズ成分（Ａ^-1ＸＰ）に変換行列Ａを左から操作させると、透かし行列Ｘと原画像データＰとの積（ＸＰ）が得られる。原画像データＰが既知であれば、透かし値ｘが不明な場合にも、この積（ＸＰ）から透かし行列Ｘの透かし値ｘを復号することが可能である。
【００４５】
以上のように、変換行列Ａに透かし行列Ｘを加算した埋め込み用の変換行列（Ａ＋Ｘ）を用いることによって、透かしマークをカラー画像内に埋め込むことができる。また、透かし付き画像から、埋め込まれた透かしマークを復元することも可能である。
【００４６】
Ｂ．透かしマークの可視度の調整：
上述したように、透かし付きＲＧＢ画像Ｐ_X では、マーク領域においてノイズ成分（Ａ^-1ＸＰ）が重畳されている。従って、透かし値ｘの大きさを調整してノイズ成分（Ａ^-1ＸＰ）の値を変更することによって、透かしマークの可視度を調整することが可能である。
【００４７】
図４は、透かしマークの可視度の調整方法を示す説明図である。図４（Ａ）の原画像Ｐおよび図４（Ｂ）のマーク画像Ｍは、図２（Ａ），（Ｂ）に示したものと同じである。
【００４８】
透かし値ｘを約０．７程度の比較的大きな値に設定すると、図４（Ｃ）に示すように、透かし付き画像内の透かしマークがはっきりと肉眼で認識できる。このような透かしマークを、本明細書では「可視透かし」と呼ぶ。特に、色彩の変化が少ない領域に透かしマークが存在すると、マーク領域における色彩の変化を、よりはっきりと認識できる。従って、透かしマークを視認し易くするためには、色彩の変化が少ない領域に透かしマークを位置決めすることが好ましい。
【００４９】
一方、透かし値ｘを約０．０５程度の比較的小さな値に設定すると、図４（Ｅ）に示すように、透かし付き画像内の透かしマークが肉眼では認識できなくなる。このような透かしマークを、本明細書では「不可視透かし」と呼ぶ。なお、図４（Ｅ）では、透かしマークの位置を示すために、マーク領域の外形を点線で示しているが、実際には、ほとんど肉眼で認識できない程度に透かしマークを不可視化することが可能である。特に、明度が低い領域や、無彩色に近い有彩色の領域では、透かしマークを視認し難い傾向にある。従って、透かしマークを視認し難くするためには、明度が低い領域や、無彩色に近い有彩色の領域に透かしマークを位置決めすることが好ましい。
【００５０】
透かし値ｘを、可視透かしと不可視透かしの中間的な値に設定すると、半透明な透かし（「半可視透かし」と呼ぶ）を生成することができる。例えば、透かし値ｘを約０．３程度の値に設定すると、図４（Ｄ）に示すように、透かし付き画像内の透かしマークが半透明になる。
【００５１】
このように、透かし値ｘを適切な値に設定することによって、透かしマークの可視度を所望の程度に設定することが可能である。
【００５２】
ところで、上述のように透かし値ｘを調整する代わりに、透かし行列Ｘの配列を調整することによって、透かしマークの色を調整することが可能である。すなわち、（３）式に示した透かし行列Ｘの代わりに、次の（６）式および（７）式に例示されるような透かし行列Ｘ_1,2 ，Ｘ_1,3 を用いて上述した埋め込み処理を行えば、透かしマークの色が変更される。
【００５３】
【数６】

【００５４】
【数７】

【００５５】
（６）式の透かし行列Ｘ_1,2 は、（３）式の透かし行列Ｘの第１行目と第２行目を入れ替えたものである。また、（７）式の透かし行列Ｘ_1,3 は、（３）式の透かし行列Ｘの第１行目と第３行目を入れ替えたものである。これらの例から解るように、一般には、透かし行列Ｘの列同士または行同士を入れ替えることによって、透かしマークの色を変更することが可能である。なお、透かしマークの色を変えると、肉眼による認識のし易さ（すなわち可視度）も変わることが多い。そこで、本明細書では、このように透かし行列の列同士または行同士を入れ替えることによって、透かしマークの色を変更することも、「可視度の調整」に該当する。
【００５６】
Ｃ．可視透かしの不可視化処理：
可視透かしは、更に、以下の処理によって不可視化することが可能である。前述した（５ａ）式から理解できるように、透かしマークが肉眼で認識できるのは、透かし付き画像データＰ_X のノイズ成分（Ａ^-1ＸＰ）が比較的大きいからである。従って、ノイズ成分（Ａ^-1ＸＰ）を低減する処理を実行することによって、可視透かしを不可視化することが可能である。この不可視化処理の際には、次の（８）式で与えられる不可視化行列Ｋを用いる。
【００５７】
【数８】

【００５８】
ここで、Ｉは３×３の単位行列である。すなわち、不可視化行列Ｋは、逆変換行列Ａ^{ー 1}と透かし行列Ｘの積（Ａ^-1Ｘ）と、変換行列Ａと等しい次数を有する単位行列Ｉと、の和（Ｉ＋Ａ^-1Ｘ）の逆行列である。
【００５９】
この不可視化行列Ｋを、図５に示すように、（５ａ）式の透かし付きＲＧＢ画像データＰ_X に操作すれば、その積算結果が以下の（９）式で与えられる。
【００６０】
【数９】

【００６１】
ここで、（９）式の２行目の右辺がＰ’（ｉ，ｊ）となっているのは、上述した埋め込み処理の途中における演算誤差（丸め誤差）によって、完全には元の画像データＰ（ｉ，ｊ）には戻らないことがあることを意味している。すなわち、ＹＣｂＣｒ信号からＲＧＢ信号に逆変換するときに整数化が行われるので、不可視化後の画像データＰ’（ｉ，ｊ）が原画像データＰ（ｉ，ｊ）と全く同じ値を得ることはできないことがある。しかし、その誤差は、小数点以下の小さな量なので、肉眼では、不可視化後の画像が原画像と変わらない状態に見える。しかし、オーバーフロー補正やアンダーフロー補正による誤差が大きなときには、不可視化を行っても色彩を元にもどせなくなり、透かしマークの形跡が視認できることもある。従って、なるべく完全に不可視化できるようにするためには、オーバーフロー補正やアンダーフロー補正をあまり発生させない程度の小さな透かし値ｘを用いておくことが好ましい。
【００６２】
なお、不可視化後の画像データＰ’は、マーク領域において誤差を含んでいるので、不可視化後の画像データＰ’からも、透かしマークを復号することが可能である。例えば、不可視化後の画像データＰ’と原画像データＰとの差分（Ｐ’−Ｐ）をとり、この差分（Ｐ’−Ｐ）が０では無い領域を、マーク領域と決定することができる。
【００６３】
Ｅ．セキュリティ向上策：
上述の説明では、透かしマークの全体に１つの透かし値ｘを用いていた。仮に透かし値ｘを第三者に知られた場合には、偽の透かしが作成されたり、透かしマークを容易に変更されたりするおそれがある。そこで、電子透かしのセキュリティを強化するために、マーク画像内に複数の透かし値ｘを適用することが好ましい。
【００６４】
図６は、マーク画像内に複数の透かし値ｘを適用した例を示す説明図である。図６（Ａ）では、透かしマークを構成する２つの文字「Ｉ」，「Ｔ」のマーク領域に対して、異なる透かし値ｘ₁ ，ｘ₂ が適用されている。また、図６（Ｂ）では、マーク画像内に、空間的に分離された２組のマーク群が配置されており、これらの２つのマーク群に対して異なる透かし値ｘ₁ ，ｘ₂ が適用されている。なお、図６（Ａ）の場合にも、文字「Ｉ」と「Ｔ」を、互いに異なるマーク群であると考えることも可能である。すなわち、一般に、互いに空間的に分離された複数のマーク群に対して、互いに異なる透かし値ｘを設定することが可能である。上述したように、透かしマークの可視度は透かし値ｘに応じて変わるので、マーク画像内の複数のマーク群に異なる透かし値ｘを設定することによって、様々な可視度のマーク群を透かし付き画像内に埋め込むことが可能である。
【００６５】
図７は、多重透かしのためのマーク領域の区分例を示す説明図である。図７の例では、１つの文字「Ｔ」で構成されるマーク領域が、複数の区分領域に区分されており、隣接する区分領域には異なる透かし値ｘが適用されている。マーク領域の区分方法としては、図７（Ａ）のように平行線で区分する方法や、図７（Ｂ）に示すように等高線状の多重輪郭線によって区分する方法などの種々の方法が考えられる。なお、「１つのマーク領域」とは、空間的に連続した画素で構成される有効領域を意味している。
【００６６】
このような多重透かし方法では，各区分領域に適用されている透かし値ｘを秘匿できるので、第三者が透かし値ｘを容易に発見できないようにすることが可能である。
【００６７】
Ｆ．装置の全体構成と処理手順：
図８は、本実施例による上述の電子透かし処理を実行する電子透かし処理装置の構成を示すブロック図である。この電子透かし処理装置は、ＣＰＵ２２と、ＲＯＭおよびＲＡＭを含むメインメモリ２４と、フレームメモリ２６と、キーボード３０と、マウス３２と、表示装置３４と、ハードディスク３６と、モデム３８と、画像を読み取るスキャナ３９と、これらの各要素を接続するバス４０と、を備えるコンピュータである。なお、図８では各種のインターフェイス回路は省略されている。モデム３８は、図示しない通信回線を介してコンピュータネットワークに接続されている。コンピュータネットワークの図示しないサーバは、通信回線を介してコンピュータプログラムを電子透かし処理装置に供給するプログラム供給装置としての機能を有する。
【００６８】
メインメモリ２４には、電子透かし埋め込み部４２と、電子透かし復号部４４と、透かし可視化部４６と、の機能を実現するためのコンピュータプログラムが格納されている。電子透かし埋め込み部４２と電子透かし復号部４４と透かし可視化部４６の機能については既に詳しく説明した通りである。
【００６９】
これらの各部４２，４４，４６の機能を実現するコンピュータプログラムは、フレキシブルディスクやＣＤ−ＲＯＭ等の、コンピュータ読み取り可能な記録媒体に記録された形態で提供される。コンピュータは、その記録媒体からコンピュータプログラムを読み取って内部記憶装置または外部記憶装置に転送する。あるいは、通信経路を介してコンピュータにコンピュータプログラムを供給するようにしてもよい。コンピュータプログラムの機能を実現する時には、内部記憶装置に格納されたコンピュータプログラムがコンピュータのマイクロプロセッサによって実行される。また、記録媒体に記録されたコンピュータプログラムをコンピュータが読み取って直接実行するようにしてもよい。
【００７０】
この明細書において、コンピュータとは、ハードウェア装置とオペレーションシステムとを含む概念であり、オペレーションシステムの制御の下で動作するハードウェア装置を意味している。また、オペレーションシステムが不要でアプリケーションプログラム単独でハードウェア装置を動作させるような場合には、そのハードウェア装置自体がコンピュータに相当する。ハードウェア装置は、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とを少なくとも備えている。コンピュータプログラムは、このようなコンピュータに、上述の各手段の機能を実現させるプログラムコードを含んでいる。なお、上述の機能の一部は、アプリケーションプログラムでなく、オペレーションシステムによって実現されていても良い。更に、電子透かしの埋め込み処理や復号処理、透かしの不可視化処理を行なうプログラムは、画像処理を行なうプログラムに対して、プラグインの形式で付加されるものとしてもよい。
【００７１】
なお、この発明における「記録媒体」としては、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等の、コンピュータが読取り可能な種々の媒体を利用することができる。
【００７２】
図９は、電子透かしの埋め込み部４２が行う埋め込み処理の手順を示すフローチャートである。ステップＳ１では、原ＲＧＢ画像Ｐと、マーク画像Ｍとを準備する。ステップＳ２では、表色系の変換に用いる変換行列Ａと、その逆変換行列Ａ^-1とを準備する。ステップＳ３では、透かし行列Ｘと、透かし値ｘとをそれぞれ設定する。なお、ステップＳ３では、上述した透かし値ｘの値による可視度の調整と、透かし行列Ｘの行同士または列同士の入れ替えによる可視度の調整と、マーク画像内における複数の透かし値ｘの設定とを含む種々の設定をユーザが行うことが可能である。
【００７３】
ステップＳ３では、埋め込み用変換行列（Ａ＋Ｘ）と逆変換行列Ａ^-1とを用いて、上述した埋め込み処理を実行する。ステップＳ５では、透かし付き画像がディスプレイ３４に表示される。あるいは、透かし付き画像を図示しないプリンタで印刷するようにしてもよい。ステップＳ６では、ユーザが、この透かし付き画像を観察し、結果が満足できるものであれば、埋め込み処理を終了する。結果に満足できないときは、ステップＳ３に戻り、透かし行列Ｘと透かし値ｘの設定を変更して、再度ステップＳ４，Ｓ５を実行する。こうして、ステップＳ３〜Ｓ６を繰り返すことによって、所望の可視度の透かしマークが埋め込まれた透かし付き画像を作成することが可能である。
【００７４】
なお、透かし復号部４４（図８）による透かしマークの復号や、透かし不可視化部４６による可視透かしの不可視化は、透かしマークが埋め込まれた透かし付き画像に対して、必要に応じて実行される。これらの処理手順の説明は省略する。
【００７５】
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００７６】
（１）上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図８においてコンピュータプログラムで実現されていた電子透かし埋め込み部４２と電子透かし復号部４４と透かし可視化部４６の機能を、それぞれ専用のハードウェア回路で実現することも可能である。
【００７７】
（２）上記実施例では、ＲＧＢ表色系からＹＣｂＣｒ表色系に一旦変換した後に逆変換することによって透かしマークの埋め込みを行っていたが、これとは逆に、ＹＣｂＣｒ表色系からＲＧＢ表色系に一旦変換した後に逆変換することによって埋め込みを行っても良い。また、利用できる表色系としてはこれらの２つの表色系に限らず、変換と逆変換を可逆的に行いうる任意の２つの表色系を利用することが可能である。
【００７８】
（３）上記実施例では、透かしマークの埋め込み時に、透かしマークの非有効領域内の画素についても、変換行列Ａと逆変換行列Ａ^-1を用いて変換と逆変換をそれぞれ行っていたが、非有効領域については逆変換を行うと原画像データに戻るので、このような変換や逆変換を行わないようにしても良い。この場合には、透かしマークの有効領域について上述した埋め込み処理を行い、こうして得られた透かしマーク領域内の画像データを原画像データＰに合成（すなわち上書き）することによって、透かし付き画像データＰ_X の全体を得ることができる。換言すれば、透かしマークの埋め込みに際しては、少なくとも透かしマークの有効領域内の位置に相当する画素について、埋め込み用変換行列（Ａ＋Ｘ）を用いた変換と、逆変換行列Ａ^-1とを用いた逆変換とを行えばよい。
【００７９】
（４）上記実施例では、透かしマークが文字列で構成されている例を示したが、透かしマークとしては、文字列以外の任意のオブジェクト（自然画、イラスト、ロゴ等）を用いることが可能である。
【図面の簡単な説明】
【図１】本発明の一実施例である電子透かしの埋め込み処理の原理を示す説明図。
【図２】電子透かしの埋め込み処理の内容を示す説明図。
【図３】透かし値ｘとアンダーフロー補正およびオーバーフロー補正の発生率との関係を示す説明図。
【図４】透かし情報の可視度の調整方法を示す説明図。
【図５】可視透かしの不可視化処理の原理を示す説明図。
【図６】マーク画像内に複数の透かし値ｘを適用した例を示す説明図。
【図７】多重透かしのためのマーク領域の区分例を示す説明図。
【図８】実施例における電子透かし処理を実行する電子透かし処理装置の概略構成を示すブロック図。
【図９】透かしの埋め込み処理の手順を示すフローチャート。
【符号の説明】
２２…ＣＰＵ
２４…メインメモリ
２６…フレームメモリ
３０…キーボード
３２…マウス
３４…表示装置
３６…ハードディスク
３８…モデム
３９…スキャナ
４０…バス
４２…電子透かし埋め込み部
４４…電子透かし復号部
４６…透かし不可視化部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital watermark technique for electronically embedding a watermark mark in a color image.
[0002]
[Prior art]
With the development of computer networks such as the Internet, information has been digitized, and many users can easily access necessary information. On the other hand, it is becoming an environment where data can be easily duplicated without permission from the author of the digital content for which copyright is generated in the digital information, and the problem of copyright infringement due to unauthorized copying has been attracting attention. ing. Thus, for the purpose of preventing copyright infringement regarding color images, which are the main information of digital contents, digital watermark technology that embeds watermark information such as copyright information in color image data has attracted attention.
[0003]
With regard to this type of conventional digital watermark, many technical proposals have been made for grayscale images. Considering the luminance component (Y component) of a color image, it can be handled in the same manner as a grayscale image. Therefore, a technique of embedding a digital watermark in a luminance component corresponding to a grayscale image has been used.
[0004]
[Problems to be solved by the invention]
However, few proposals have been made to embed digital watermarks using signals and data unique to color images. As a digital watermark embedding technique, “Depth information recording of color images” using the color space of a color printer (Artistic Society of Japan, Annual Conference Preliminary Proceedings, 7, 20, pp. 47-48), skillfully using visual characteristics "A method of color watermark considering visual characteristics" (IMPS 97, I-3.14, pp. 45-46 (1997)), "Method of embedding digital watermark in digital image" ( SITA 97, Vol.2, pp.541-544 (1997)) has been proposed. These techniques have a weak point that the model is complicated and the watermark embedding process is not easy. It has also been pointed out that the method of embedding a watermark in the lower bits of a color image degrades the image quality of the color image.
[0005]
An object of the present invention is to provide a digital watermark technique for embedding a watermark mark using a characteristic unique to a color image.
[0006]
[Means for solving the problems and their functions and effects]
In the present invention, the conversion matrix for converting the color image data of the first color system into the color image data of the second color system different from the first color system, and the inverse of the conversion. A transformation matrix is prepared. Further, an additional matrix having real values x and -x as components and the sum of the components in each row and each column being substantially zero is set. Then, a watermark embedding conversion matrix is created by adding an additional matrix to the conversion matrix. Next, a watermark mark to be embedded in the color image is prepared, and the color image data of the first color system is converted into the second color specification using the watermark embedding conversion matrix at the pixel corresponding to the position in the watermark mark. Convert to system. The watermark representing the watermarked color image in which the watermark mark is embedded by inversely transforming the color image data of the second color system obtained by this conversion into the first color system using an inverse transformation matrix. Create attached image data. In addition, when setting the addition matrix, the visibility of the watermark mark in the watermarked color image is adjusted by adjusting at least one of the real value x and the arrangement of each component in the addition matrix.
[0007]
In the present invention, a watermark mark can be embedded in a color image by performing conversion and inverse conversion using a conversion matrix between two color systems, an inverse conversion matrix, and an additional matrix. When the value of the real value x defining the component of the additional matrix changes, the color of the watermark mark changes. Further, the watermark mark color is changed by changing the arrangement of each component of the additional matrix. Therefore, it is possible to adjust the visibility of the watermark mark by adjusting at least one of the value of the real value x of the additional matrix and the arrangement of each component in the additional matrix.
[0008]
Here, as the first or second color system, an RGB color system using the three primary colors of light as a parameter or a YCbCr color system using a luminance signal and a color difference signal as parameters can be appropriately employed. These color systems are often used when handling image data, and the mutual conversion matrix is well known. Therefore, there are a lot of retouching software and the like for handling future image data, and a digital watermark can be easily embedded.
[0009]
The watermark mark may include a plurality of mark groups that are spatially separated from each other. At this time, visibility can be adjusted by setting the real value x to a value different from that of other mark groups in at least some of the plurality of mark groups. In this way, it is possible to embed a plurality of mark groups with different visibility in a color image.
[0010]
The watermark mark may include a mark area composed of spatially continuous pixels, and the mark area may be divided into a plurality of divided areas. At this time, visibility can be adjusted by setting the real value x to a value different from that of other partitioned areas in at least some of the partitioned areas. In this way, it is possible to embed a watermark mark in a color image that includes a mark area composed of a plurality of segment areas having different visibility.
[0011]
The visibility can be adjusted by exchanging columns or rows of the additional matrix. In this way, it is possible to set the watermark mark to a desired visibility by simply exchanging columns or rows.
[0012]
Note that when the watermark mark is visible with the naked eye in a watermarked color image, the visibility of the watermark mark can be reduced. At this time, first, an invisible matrix that is an inverse matrix of the sum of the product of the inverse transformation matrix and the additional matrix and the unit matrix having the same order as the transformation matrix is prepared. Then, at the pixel corresponding to the position in the watermark mark, the visibility of the visible watermark mark is lowered by operating the invisible matrix on the watermarked image data.
[0013]
Furthermore, when the YCbCr color system image data obtained by conversion using the watermark embedding conversion matrix is inversely converted to the RGB color system using an inverse conversion matrix, each pixel value in the RGB color system image data is converted. It is preferable to perform underflow correction and overflow correction so that becomes an integer value within a predetermined range. In this way, the result of the inverse transformation can be stored within the range that can be taken by the RGB color system image data.
[0014]
The real value x of the additional matrix is preferably set to a value in the range of about 0.01 to about 0.7. By so doing, the occurrence rate of underflow correction and overflow correction can be kept small, so that substantial image quality degradation due to watermark mark embedding can be reduced.
[0015]
The present invention relates to a digital watermarking method and apparatus, a computer program for realizing the function of the method or apparatus, a recording medium recording the computer program, a data signal embodied in a carrier wave including the computer program, It can implement | achieve in various aspects, such as.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
A. Principle of digital watermark embedding and decoding:
Hereinafter, embodiments of the present invention will be described based on examples. FIG. 1 is an explanatory diagram of the principle of the digital watermark embedding process in the digital color image in the embodiment. FIG. 2 is an explanatory diagram showing the contents of the embedding process.
[0017]
FIG. 2A shows a digital color image which is an original image expressed in the RGB color system. The original image P is defined as an aggregate of a large number of pixels arranged in a matrix, and the size of the original image P is defined by a horizontal resolution Hsize and a vertical resolution Vsize. The unit of horizontal resolution and vertical resolution is the number of pixels.
[0018]
In this specification, image data representing the color of each pixel of the original image P is a matrix P = [r, g, b].^t(Superscript "^t"Indicates a transpose matrix). Here, r, g, and b are the luminances of the color components of red (r), green (g), and blue (b), which are the three primary colors of light. The luminance of each color is expressed with a predetermined resolution (for example, 256 gradations from 0 to 255). In addition to the RGB color system, a YCbCr color system composed of a luminance signal and two color difference signals is widely known as a color system that defines the color of each pixel. In this specification, image data representing the color of each pixel in the YCbCr color system is a matrix F = [y, cb, cr].^tDefined by
[0019]
These two color systems include a color signal conversion matrix A and its inverse matrix A as shown in the following equations (1a) and (1b).^-1Can be reversibly converted to each other.
[0020]
[Expression 1]

[0021]
Here, (i, j) attached to the color signals P and F means the position of the pixel.
[0022]
In this embodiment, the transformation matrix A and the inverse transformation matrix A^-1As shown below, those given by the following equations (2a) and (2b) are used.
[0023]
[Expression 2]

[0024]
In this embodiment, a watermarked image is created by embedding a watermark mark when converting RGB color system image data P into YCbCr color system image data F, and inversely converting it back to the RGB color system again. To do. The transformation matrix used for embedding the watermark mark (referred to as “embedding transformation matrix”) is obtained by adding the addition matrix X given by the following equation (3) to the transformation matrix A (that is, (A + X)). is there.
[0025]
[Equation 3]

[0026]
This additional matrix X is a matrix having real values x and −x as components, and the sum of the components in each row and each column is zero. In the present specification, the real value x is also referred to as “watermark value”, and the additional matrix X is also referred to as “watermark matrix”. The configuration of the watermark matrix X is determined for the following reason. First, consider embedding a watermark so that it cannot be seen with the naked eye. For this reason, it is preferable to prevent image quality deterioration due to watermark embedding as much as possible. By the way, when each component of the transformation matrix A given by the equation (2a) is observed, it can be seen that the sum of the absolute values of the components in each row is all 1. Therefore, in the embedding conversion matrix (A + X), it is preferable to maintain the relationship in which the sum of the absolute values of the components in each row is 1, in order to prevent image quality deterioration. Since the watermark matrix X of the equation (3) is set so that the sum of the components of each row and each column is 0, such a requirement is satisfied.
[0027]
When embedding a watermark mark in the original image P, a mark image M including a watermark mark to be embedded is prepared in addition to the original image P. FIG. 2B shows an example of the mark image M used in this embodiment. This mark image M is a binary image, the pixel value m in the area of the two characters “I” and “T” constituting the watermark mark is 1, and the pixel value m in the other areas is 0. Hereinafter, an area having a pixel value m of 1 is referred to as a “watermark mark effective area” or simply a “mark area”, and an area having a pixel value m of 0 is referred to as a “watermark mark ineffective area”. The effective area of the watermark mark may be simply referred to as “watermark mark”. For example, the phrase “position in the watermark mark” has the same meaning as “position in the effective area of the watermark mark”.
[0028]
The mark image M of this embodiment has the same size as the original image P. However, the mark image M does not need to have the same size as the original image P, and the position of the watermark mark embedded in the original image M may be determined by some method.
[0029]
When embedding a watermark mark, first, conversion from the RGB color system to the YCbCr color system is performed according to the following equations (4a) and (4b).
[0030]
[Expression 4]

[0031]
That is, for a pixel at a position corresponding to the effective area of the watermark mark (m (i, j) = 1 pixel), an embedding conversion matrix (A + X) obtained by adding the original conversion matrix A and the watermark matrix X is used. The color system conversion is executed. On the other hand, in the pixel at the position corresponding to the ineffective area of the watermark mark (pixel of m (i, j) = 0), the color system conversion is executed using the original conversion matrix A as it is.
[0032]
When the arithmetic processing according to the equations (4a) and (4b) is executed for all the pixels, the watermarked YCbCr image data F with the watermark information embedded therein_X Is obtained (FIG. 1, FIG. 2C).
[0033]
Next, this watermarked YCbCr image data F_X Inverse matrix A^-1Is operated from the left, the watermarked RGB image data P given by the following equations (5a) and (5b)_X Is obtained (FIG. 1).
[0034]
[Equation 5]

[0035]
As shown in equation (5a), watermarked RGB image data P_X Is a noise component (A) in the original RGB image data P within the effective area of the watermark mark.^-1XP) is superimposed. Further, in the watermark mark ineffective area, the watermarked RGB image data P_X Has the same value as the original RGB image data P.
[0036]
By the way, the sum of the components of each row of the watermark matrix X is 0 as shown in the above equation (3). Therefore, when the r, g, and b component values of the original RGB image data P (i, j) are equal to each other (that is, when the color is achromatic), the noise component (A^-1XP) becomes zero. In order to prevent such a problem, the watermark mark is preferably positioned in a non-achromatic region in the original image.
[0037]
Note that FIG. 2C shows a state in which the watermark mark in the watermarked image appears light. However, in reality, the visibility of the watermark mark (ease of recognition with the naked eye) can be adjusted by adjusting the watermark value x in the watermark matrix X. A method for adjusting the visibility of the watermark mark will be described later.
[0038]
Incidentally, while RGB image data is composed of integer values, YCbCr image data is usually composed of real values. Therefore, realization is performed when converting to the YCbCr color system using the equations (4a) and (4b), and integer conversion is performed when converting back to the RGB color system using the equations (5a) and (5b). Done. In this integerization, there are cases where the pixel value becomes negative and underflow occurs, or the pixel value exceeds the upper limit of the pixel value and overflows. In order to solve this problem, in the present embodiment, underflow correction and overflow correction are performed at the time of integerization. That is, underflow correction is set to 0 when the pixel value before integerization is negative, and overflow correction is adopted when the upper limit value (for example, 255) of the bit representation is exceeded. I do.
[0039]
When underflow correction or overflow correction is performed, the substantial image quality of the watermarked image is degraded. Here, “substantial degradation” means degradation of image quality that cannot be recovered even if the watermark mark is erased. Since underflow correction and overflow correction are caused by adding the watermark matrix X to the original conversion matrix A, the occurrence rate of underflow correction and overflow correction depends on the watermark value x which is a component of the watermark matrix X. To do. Therefore, the watermark value x is preferably set to a value that does not cause much underflow correction or overflow correction.
[0040]
FIG. 3 is an explanatory diagram showing the relationship between the watermark value x and the occurrence rate of underflow correction and overflow correction. Here, the results regarding two images, “girl” and “graphic”, which are standard images used for image quality characteristic evaluation, are shown. Note that the difference in the result between the case where the watermark value x is 0.1 and the case where the value is −0.1 is considered to be because the distribution of the components r, g, and b of the three colors in the image is biased. . From the results of FIG. 3, it can be seen that it is preferable to set the watermark value x to a value of about 0.7 or less in order to keep the occurrence rate of underflow correction and overflow correction low. Since the watermark mark cannot be embedded if the watermark value x is set to 0, it is actually preferable to set the watermark value x to a value of about 0.01 or more. Therefore, the watermark value x is preferably set to a value in the range of about 0.01 to about 0.7.
[0041]
By the way, when the embedded watermark mark cannot be recognized with the naked eye, it is necessary to restore the watermark mark. The watermark mark that cannot be recognized by the naked eye is the RGB image data P with watermark._X Noise component (A^-1By using (XP), it is possible to perform decoding by the following various methods.
[0042]
The first method is a method of performing image color change processing so as to increase the luminance value of each component r, g, b of the watermarked RGB image to near the maximum value. In this way, the noise component (A^-1XP) is also increased, and the watermark mark may be easily recognized with the naked eye.
[0043]
The second method is to use watermarked RGB image data P_X Noise component (A^-1XP) directly. That is, using the original image data P as a key, the watermarked RGB image data P_X Noise component (A^-1By determining the region with XP), the watermark mark (ie watermark information) can be decoded. Specifically, watermarked RGB image data P_X And the difference between the original RGB image data P (P_X -P), and this difference (P_X An area where -P) is not 0 can be determined as a mark area. The difference (P_X −P) is a matrix having three components r, g, and b, and “difference (P_X The phrase “-P) is not zero” means that at least one of the three components is not zero.
[0044]
Note that the noise component (A^-1XP), when the transformation matrix A is operated from the left, the product (XP) of the watermark matrix X and the original image data P is obtained. If the original image data P is known, the watermark value x of the watermark matrix X can be decoded from this product (XP) even if the watermark value x is unknown.
[0045]
As described above, by using the embedding transformation matrix (A + X) obtained by adding the watermark matrix X to the transformation matrix A, the watermark mark can be embedded in the color image. It is also possible to restore the embedded watermark mark from the watermarked image.
[0046]
B. Adjust the visibility of the watermark:
As described above, watermarked RGB image P_X Then, the noise component (A^-1XP) is superimposed. Accordingly, the noise component (A^-1It is possible to adjust the visibility of the watermark mark by changing the value of (XP).
[0047]
FIG. 4 is an explanatory diagram showing a method for adjusting the visibility of a watermark mark. The original image P in FIG. 4 (A) and the mark image M in FIG. 4 (B) are the same as those shown in FIGS. 2 (A) and 2 (B).
[0048]
When the watermark value x is set to a relatively large value of about 0.7, the watermark mark in the watermarked image can be clearly recognized with the naked eye as shown in FIG. Such watermark marks are referred to herein as “visible watermarks”. In particular, if a watermark mark is present in an area where the color change is small, the color change in the mark area can be recognized more clearly. Therefore, in order to make the watermark mark easy to see, it is preferable to position the watermark mark in an area where the color change is small.
[0049]
On the other hand, when the watermark value x is set to a relatively small value of about 0.05, the watermark mark in the watermarked image cannot be recognized with the naked eye as shown in FIG. Such watermark marks are referred to herein as “invisible watermarks”. In FIG. 4E, the outline of the mark area is indicated by a dotted line to indicate the position of the watermark mark. However, in practice, the watermark mark can be made invisible to such an extent that it cannot be recognized with the naked eye. It is. In particular, watermark marks tend to be difficult to visually recognize in low brightness areas or chromatic areas close to achromatic colors. Therefore, in order to make it difficult to visually recognize the watermark mark, it is preferable to position the watermark mark in a region with low brightness or a chromatic color region close to an achromatic color.
[0050]
When the watermark value x is set to an intermediate value between the visible watermark and the invisible watermark, a translucent watermark (referred to as “semi-visible watermark”) can be generated. For example, when the watermark value x is set to a value of about 0.3, the watermark mark in the watermarked image becomes translucent as shown in FIG.
[0051]
Thus, by setting the watermark value x to an appropriate value, the visibility of the watermark mark can be set to a desired level.
[0052]
By the way, instead of adjusting the watermark value x as described above, it is possible to adjust the color of the watermark mark by adjusting the arrangement of the watermark matrix X. That is, instead of the watermark matrix X shown in equation (3), the watermark matrix X as exemplified in the following equations (6) and (7):_1,2 , X_1,3 If the above-described embedding process is performed using, the watermark mark color is changed.
[0053]
[Formula 6]

[0054]
[Expression 7]

[0055]
Watermark matrix X in equation (6)_1,2 Is obtained by switching the first and second rows of the watermark matrix X in equation (3). Also, the watermark matrix X in equation (7)_1,3 Is obtained by switching the first row and the third row of the watermark matrix X in equation (3). As can be seen from these examples, it is generally possible to change the color of the watermark mark by exchanging the columns or rows of the watermark matrix X. Note that when the color of the watermark mark is changed, the ease of recognition with the naked eye (that is, the visibility) often changes. Therefore, in this specification, changing the color of the watermark mark by exchanging the columns or rows of the watermark matrix in this way also corresponds to “adjustment of visibility”.
[0056]
C. Visibility watermark invisibility processing:
Further, the visible watermark can be made invisible by the following processing. As can be understood from the above-described equation (5a), the watermark mark can be recognized with the naked eye._X Noise component (A^-1This is because XP) is relatively large. Therefore, the noise component (A^-1It is possible to make the visible watermark invisible by performing a process that reduces (XP). In this invisibility process, an invisibility matrix K given by the following equation (8) is used.
[0057]
[Equation 8]

[0058]
Here, I is a 3 × 3 unit matrix. That is, the invisible matrix K is the inverse transformation matrix A^{- 1}And the watermark matrix X (A^-1X) and a unit matrix I having an order equal to that of the transformation matrix A (I + A)^-1X) is an inverse matrix.
[0059]
As shown in FIG. 5, this invisible matrix K is converted into the watermarked RGB image data P of the equation (5a)._X The operation result is given by the following equation (9).
[0060]
[Equation 9]

[0061]
Here, the right side of the second row of the equation (9) is P ′ (i, j) because the calculation error (rounding error) during the above-described embedding process is completely the original image data P. This means that (i, j) may not return. That is, since integer conversion is performed when the YCbCr signal is inversely converted to the RGB signal, the invisible image data P ′ (i, j) obtains exactly the same value as the original image data P (i, j). There are things that cannot be done. However, since the error is a small amount after the decimal point, the invisible image looks the same as the original image with the naked eye. However, when the error due to the overflow correction or the underflow correction is large, the color cannot be restored even if it is made invisible, and the trace of the watermark mark may be visible. Therefore, in order to make it invisible as much as possible, it is preferable to use a small watermark value x that does not cause much overflow correction or underflow correction.
[0062]
Since the invisible image data P ′ includes an error in the mark area, the watermark mark can be decoded from the invisible image data P ′. For example, the difference (P′−P) between the invisible image data P ′ and the original image data P is taken, and an area where the difference (P′−P) is not 0 can be determined as the mark area. .
[0063]
E. Security improvement measures:
In the above description, one watermark value x is used for the entire watermark mark. If the watermark value x is known to a third party, a false watermark may be created or the watermark mark may be easily changed. Therefore, in order to enhance the security of the digital watermark, it is preferable to apply a plurality of watermark values x in the mark image.
[0064]
FIG. 6 is an explanatory diagram illustrating an example in which a plurality of watermark values x are applied to a mark image. In FIG. 6A, different watermark values x are applied to the mark areas of the two characters “I” and “T” constituting the watermark mark.₁ , X₂ Has been applied. Also, in FIG. 6B, two sets of spatially separated mark groups are arranged in the mark image, and different watermark values x for these two mark groups.₁ , X₂ Has been applied. In the case of FIG. 6A as well, the characters “I” and “T” can be considered as different mark groups. That is, generally, different watermark values x can be set for a plurality of mark groups spatially separated from each other. As described above, the visibility of the watermark mark changes according to the watermark value x. Therefore, by setting different watermark values x for a plurality of mark groups in the mark image, mark groups with various visibility values are added to the watermarked image. It is possible to embed in.
[0065]
FIG. 7 is an explanatory diagram showing an example of mark area division for multiple watermarks. In the example of FIG. 7, a mark area composed of one character “T” is divided into a plurality of divided areas, and different watermark values x are applied to adjacent divided areas. As a method of dividing the mark area, various methods such as a method of dividing by a parallel line as shown in FIG. 7A and a method of dividing by a contoured multiple contour line as shown in FIG. 7B are considered. It is done. “One mark area” means an effective area composed of spatially continuous pixels.
[0066]
In such a multiple watermark method, the watermark value x applied to each segmented area can be concealed, so that it is possible to prevent a third party from easily finding the watermark value x.
[0067]
F. Overall configuration and processing procedure of the device:
FIG. 8 is a block diagram illustrating a configuration of a digital watermark processing apparatus that executes the above-described digital watermark processing according to the present embodiment. This digital watermark processing apparatus includes a CPU 22, a main memory 24 including a ROM and a RAM, a frame memory 26, a keyboard 30, a mouse 32, a display device 34, a hard disk 36, a modem 38, and a scanner for reading an image. 39 and a bus 40 for connecting these elements. In FIG. 8, various interface circuits are omitted. The modem 38 is connected to the computer network via a communication line (not shown). A server (not shown) of the computer network has a function as a program supply device that supplies a computer program to the digital watermark processing device via a communication line.
[0068]
The main memory 24 stores computer programs for realizing the functions of the digital watermark embedding unit 42, the digital watermark decoding unit 44, and the watermark visualization unit 46. The functions of the digital watermark embedding unit 42, the digital watermark decoding unit 44, and the watermark visualization unit 46 have already been described in detail.
[0069]
A computer program that realizes the functions of these units 42, 44, and 46 is provided in a form recorded on a computer-readable recording medium such as a flexible disk or a CD-ROM. The computer reads the computer program from the recording medium and transfers it to an internal storage device or an external storage device. Or you may make it supply a computer program to a computer via a communication path. When realizing the function of the computer program, the computer program stored in the internal storage device is executed by the microprocessor of the computer. Further, the computer program recorded on the recording medium may be read by the computer and directly executed.
[0070]
In this specification, the computer is a concept including a hardware device and an operation system, and means a hardware device that operates under the control of the operation system. Further, when an operation system is unnecessary and a hardware device is operated by an application program alone, the hardware device itself corresponds to a computer. The hardware device includes at least a microprocessor such as a CPU and means for reading a computer program recorded on a recording medium. The computer program includes program code for causing such a computer to realize the functions of the above-described means. Note that some of the functions described above may be realized by an operation system instead of an application program. Furthermore, a program for embedding and decoding digital watermarks and making a watermark invisible may be added in the form of a plug-in to a program for performing image processing.
[0071]
The “recording medium” in the present invention includes a flexible disk, a CD-ROM, a magneto-optical disk, an IC card, a ROM cartridge, a punch card, a printed matter on which a code such as a bar code is printed, an internal storage device (RAM) of a computer. And various types of computer-readable media such as memory such as ROM and external storage devices.
[0072]
FIG. 9 is a flowchart showing the procedure of the embedding process performed by the digital watermark embedding unit 42. In step S1, an original RGB image P and a mark image M are prepared. In step S2, a transformation matrix A used for the color system transformation and its inverse transformation matrix A^-1And prepare. In step S3, a watermark matrix X and a watermark value x are set. In step S3, the visibility adjustment by the watermark value x described above, the visibility adjustment by replacing rows or columns of the watermark matrix X, and setting of a plurality of watermark values x in the mark image are performed. The user can make various settings including
[0073]
In step S3, the embedding transformation matrix (A + X) and the inverse transformation matrix A^-1Are used to execute the above-described embedding process. In step S5, the watermarked image is displayed on the display 34. Alternatively, the watermarked image may be printed by a printer (not shown). In step S6, the user observes the watermarked image, and if the result is satisfactory, the embedding process is terminated. If the result is not satisfactory, the process returns to step S3, the settings of the watermark matrix X and the watermark value x are changed, and steps S4 and S5 are executed again. Thus, by repeating steps S3 to S6, it is possible to create a watermarked image in which a watermark mark having a desired visibility is embedded.
[0074]
It should be noted that decoding of the watermark mark by the watermark decoding unit 44 (FIG. 8) and invisibility of the visible watermark by the watermark invisibility unit 46 are executed as necessary for the watermarked image in which the watermark mark is embedded. . Description of these processing procedures is omitted.
[0075]
The present invention is not limited to the above examples and embodiments, and can be implemented in various modes without departing from the gist thereof. For example, the following modifications are possible.
[0076]
(1) In the above embodiment, a part of the configuration realized by hardware may be replaced with software, and conversely, a part of the configuration realized by software may be replaced with hardware. Also good. For example, the functions of the digital watermark embedding unit 42, the digital watermark decoding unit 44, and the watermark visualization unit 46, which are realized by a computer program in FIG. 8, can be realized by dedicated hardware circuits.
[0077]
(2) In the above embodiment, watermark mark embedding is performed by once converting from the RGB color system to the YCbCr color system and then performing reverse conversion, but conversely, from the YCbCr color system to the RGB table. The embedding may be performed by converting the color system once and then performing the inverse conversion. The usable color systems are not limited to these two color systems, and any two color systems capable of reversibly performing conversion and reverse conversion can be used.
[0078]
(3) In the above embodiment, when the watermark mark is embedded, the transformation matrix A and the inverse transformation matrix A are also applied to the pixels in the ineffective area of the watermark mark.^-1However, since the conversion to the original image data is restored when the inverse transformation is performed for the ineffective area, the conversion and the inverse transformation may not be performed. In this case, the above-described embedding process is performed on the effective area of the watermark mark, and the image data in the watermark mark area thus obtained is combined (ie, overwritten) with the original image data P, whereby the watermarked image data P_X Can get the whole of. In other words, at the time of embedding a watermark mark, at least a pixel corresponding to a position in the effective area of the watermark mark is converted using an embedding conversion matrix (A + X) and an inverse conversion matrix A^-1It is sufficient to perform inverse transformation using.
[0079]
(4) In the above embodiment, an example is shown in which the watermark mark is composed of a character string. However, any object (natural image, illustration, logo, etc.) other than the character string can be used as the watermark mark. It is.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing the principle of digital watermark embedding processing according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing the contents of a digital watermark embedding process.
FIG. 3 is an explanatory diagram showing a relationship between a watermark value x and an occurrence rate of underflow correction and overflow correction.
FIG. 4 is an explanatory diagram showing a method for adjusting the visibility of watermark information.
FIG. 5 is an explanatory diagram showing the principle of a visible watermark invisibility process;
FIG. 6 is an explanatory diagram showing an example in which a plurality of watermark values x are applied to a mark image.
FIG. 7 is an explanatory diagram showing an example of mark area classification for multiple watermarks.
FIG. 8 is a block diagram showing a schematic configuration of a digital watermark processing apparatus that executes digital watermark processing in the embodiment.
FIG. 9 is a flowchart illustrating a procedure of watermark embedding processing.
[Explanation of symbols]
22 ... CPU
24 ... Main memory
26: Frame memory
30 ... Keyboard
32 ... Mouse
34 ... Display device
36 ... Hard disk
38 ... modem
39 ... Scanner
40 ... Bus
42. Digital watermark embedding unit
44. Digital watermark decoding unit
46. Watermark invisible part

Claims (9)

An electronic watermarking method for embedding a watermark mark in a color image,
(A) a conversion matrix for converting color image data of the first color system to color image data of a second color system different from the first color system, and reverse conversion for performing reverse conversion of the conversion A process of preparing a matrix;
(B) setting an additional matrix having real values x and -x as components and the sum of the components in each row and each column being substantially zero;
(C) creating a watermark embedding transformation matrix by adding the additional matrix to the transformation matrix;
(D) preparing a watermark mark to be embedded in the color image;
(E) converting the color image data of the first color system into the second color system using the watermark embedding conversion matrix at a pixel corresponding to a position in the watermark mark;
(F) A watermark in which the watermark mark is embedded by inversely transforming the color image data of the second color system obtained by the conversion into the first color system using the inverse transformation matrix. Creating a watermarked image data representing a colored image,
With
The step (b) adjusts the visibility of the watermark mark in the watermarked color image by adjusting at least one of the real value x and the arrangement of each component in the additional matrix. An electronic watermarking method comprising: The digital watermark method according to claim 1, comprising:
The watermark mark includes a plurality of mark groups spatially separated from each other;
The visibility adjustment is performed by setting the real value x to a value different from that of other mark groups in at least some of the mark groups.
Digital watermarking method. The digital watermark method according to claim 1, comprising:
The watermark mark includes a mark area composed of spatially continuous pixels, and the mark area is divided into a plurality of divided areas,
The visibility adjustment is performed by setting the real value x to a value different from that of other divided areas in at least some of the divided areas. The digital watermark method according to claim 1, comprising:
The visibility adjustment is a digital watermarking method performed by exchanging columns or rows of the additional matrix. The digital watermark method according to claim 1, comprising:
When the watermark mark is visible to the naked eye in the watermarked color image,
The method further comprises:
(G) preparing an invisible matrix that is an inverse matrix of a sum of a product of the inverse transformation matrix and the additional matrix and a unit matrix having an order equal to the transformation matrix;
(H) a method of reducing the visibility of the visible watermark mark by causing the watermarked image data to manipulate the invisibility matrix at a pixel corresponding to a position in the watermark mark; . The digital watermark method according to claim 1, comprising:
One of the first and second color systems is an RGB color system composed of three color signal components representing the three primary colors of light, and the other of the first and second color systems is luminance. A digital watermark method, which is a YCbCr color system composed of a signal and two color difference signal components. The digital watermark method according to claim 6, comprising:
In the step (f), when the YCbCr color system image data obtained by conversion using the watermark embedding conversion matrix is inversely converted to the RGB color system using the inverse conversion matrix, the RGB table is used. An electronic watermarking method including a step of performing underflow correction and overflow correction so that each pixel value in color image data is an integer value within a predetermined range. The digital watermark method according to claim 1, comprising:
The digital watermark method, wherein the real value x is a value in the range of about 0.01 to about 0.7. A computer-readable recording medium recording a computer program for embedding a watermark mark in a color image,
A function of setting an additional matrix having real values x and -x as components and the sum of the components in each row and each column being substantially zero
A conversion matrix prepared in advance for converting color image data of the first color system to color image data of a second color system different from the first color system and the additional matrix are added A function for creating a conversion matrix for embedding a watermark, and
A function of converting the color image data of the first color system to the second color system at a pixel corresponding to a position in a watermark mark prepared in advance using the watermark embedding conversion matrix;
Inverse conversion of the color image data of the second color system obtained by the conversion into the first color system using an inverse conversion matrix prepared in advance for performing an inverse conversion of the conversion by the conversion matrix A function of creating watermarked image data representing a watermarked color image in which the watermark mark is embedded;
Is recorded a computer program to make the computer realized,
The additional matrix setting function adjusts the visibility of the watermark mark in the watermarked color image by adjusting at least one of the real value x and the arrangement of each component in the additional matrix. A computer-readable recording medium comprising:

Images