JP4526867B2 - 電子透かし埋込装置、及び電子透かし読出装置 - Google Patents

Description

本発明は、動画像コンテンツの著作権を保護する電子透かしの埋め込み処理を行う電子透かし埋込装置、及びその方法並びにプログラムに関する。

ブロードバンドの普及により、動画像コンテンツの流通量が増加し、またコピーツールを用いて容易に上記動画像コンテンツの複製を作成することが可能となっている。
このため、動画像コンテンツを提供する所有者の著作権を保護するため、この所有者の権利情報や動画コンテンツの履歴等の付加情報を、「電子透かし」として画像データに埋め込む技術が多用されている。
電子透かしの埋め込み方式としては、大きく分けると、「原板参照方式」と「原板非参照方式」との２つがある。
しかしながら、原板参照方式は、電子透かしの確認のたびに原板と比較するため、常にコンテンツの原板が必要となり、確認を行う場所全てに原板を配置することを考慮すると運用上において実用性に欠ける。
したがって、本明細書の以下の説明において、電子透かしの埋め込み技術を、原板非参照方式の埋め込み方式として説明する。

電子透かしを埋め込むと言うことは、本来ある情報に異なる情報を追加することなので、いかなる方法においても、埋め込みにより画質の劣化とデータ容量の増加などのデメリットが必ず発生する。
このため、電子透かしの埋め込み方法に対して、以下の事項が要求されている。
・品質（画質）が大きく変化しないこと
・画像のデータ量が大きく変化しないこと
・ファイル構造（フォーマット）が変化しないこと
・別データとして透かし情報を持たせないこと
・電子透かしの埋め込み・検出処理に時間がかからないこと
・画像の変更に対して頑健であり、容易に取り外せないこと
・いつでも電子透かしを確認できること
この要求事項のなかでも、画質が劣化しないことと、画像の変更に対して頑健であることが電子透かしの埋め込みにとって、重要な点である。

従来の動画像に対する電子透かしの埋込技術は、ＭＰＥＧ（Motion Picture Expert Group）のフォーマットの動画像を埋め込み対象として場合、
ａ．動きベクトルを利用する電子透かし埋め込み方法
ｂ．ＤＣＴ（離散コサイン変換）係数を利用する電子透かし埋め込み方法
がある。
ここで、上記埋め込み方法ａは、ＭＰＥＧの符号化の過程で算出される動きベクトルの位置を、所定のルールに従って意図的にずらし、電子透かしを埋め込むものである。
この所定のルールは、「０」及び「１」に相当する違いを有するように、動きベクトルを意図的にずらす状態を規定するものであり、各動きベクトル毎に、「０」または「１」で表現した情報を埋め込むことができる（例えば、特許文献１参照）。

また、上記埋め込み方法ｂは、ＭＰＥＧの符号化の過程で算出されるマクロブロックのＣＴ係数を、所定のルールに従って意図的に操作し、電子透かしを埋め込むものである。
この所定のルールは、「０」及び「１」に相当する違いを有するように、意図的に透かし情報の数値を埋め込む、ＤＣＴ係数行列における要素位置を規定するものであり、各ＤＣＴ係数行列毎に、「０」または「１」で表現した情報を埋め込むことができる（例えば、特許文献２参照）。
上述した電子透かしの埋め込み方法は、いずれも、ＭＰＥＧのオーマットに依存した電子透かし埋め込み方法である。
特開２００２−０８４５１０号公報 特開２００１−２６８３３９号公報

上述したように、従来の動画像への電子透かしの埋め込み方法は、特許文献１及び２に示すようにＭＰＥＧの符号化の過程での算出する符号に依存、すなわち動画像のフォーマットに依存したものが多い。
これは、電子透かしを埋め込む場合、埋め込む対象の動画像のフォーマットの特徴をうまく利用することにより、なるべく目立たなく、すなわち画像の画質を劣化させずに埋め込みが行えるためである。
しかしながら、従来の電子透かし埋め込み方法では、動画像コンテンツの流通過程において行われているトランスコード（画像のフォーマット変換）によって、各フォーマットに依存した埋め込み処理のため、埋め込まれた電子透かしが簡単に消えてしまうという問題がある。

また、従来の電子透かし埋め込み方法では、動画コンテンツに埋め込まれている電子透かしの方式が、悪意のある者に知られた場合、その電子透かしを消去したり、無効化することが容易に行えるという欠点があった。
例えば、特許文献１及び２で示した電子透かし埋め込み方法は、動きベクトルやＤＣＴ係数を利用して、電子透かしを埋め込んでいるため、動きベクトルやＤＣＴ係数をわずかに変化させる（画像を改良する）だけで、埋め込んだ「０」及び「１」を示す規定の状態が壊れてしまうため、この規定を用いても埋め込まれた電子透かしが読み出せなくなり、電子透かし自体が無効となってしまう。
したがって、従来の動画像のフォーマットに依存する電子透かしの埋め込み技術は、画像コンテンツの複製を取る際に、画像を微妙に変化させる調整を行われると、電子透かしが除去されることもあり、実用に耐えうるだけの頑健性が不十分である。

そこで、上記問題を解決するため、以下に示す電子透かしの埋め込み方法が提案されている。
ｃ．トランスコードによって電子透かしが消えるのを避けるため、画像における画素の輝度値に直接電子透かしを重畳する
ｄ．画像の改良により、電子透かしが除去されるのを避けるため、画像の低周波成分（画像の基礎をなす成分）に電子透かしを重畳する（特開平１０−２７６３２１号公報）
しかしながら、ｃ及びｄのいずれの電子透かしの方法も、埋め込んだ電子透かしが目立ち易い、すなわち画質が劣化するという大きな欠点がある．

本発明は、このような事情に鑑みてなされたもので、電子透かしが画像の変更に対して頑健であり、かつ電子透かしの埋め込みによる影響を低減することで、動画像の画質の低下を抑える電子透かし埋込装置、及び電子透かし読出装置を提供することを目的とする。

本発明の電子透かし埋込装置は、複数画像からなる動画像において、所定の画像を基準として、該画像以降の画像に対する動きベクトルを生成する動きベクトル生成部と、前記画像をウェーブレット変換し、第１のウェーブレット係数を求める第１のウェーブレット変換部と、電子透かし画像に対して、前記動きベクトル毎にアフィン変換を行い、各画像毎の対応電子透かし画像を生成するアフィン変換部と、前記各対応電子透かし画像を所定の倍率でダウンサンプリングして、各画像に埋め込む埋込電子透かし画像を生成するダウンサンプリング部と、前記埋込電子透かし画像をウェーブレット変換して、第２のウェーブレット係数を求める第２のウェーブレット変換部と、前記第１のウェーブレット係数に、それと対応する周波数成分を有する第２のウェーブレット係数を所定の重み付けの係数で乗算した上で加算し、合成ウェーブレット係数を生成する係数重畳部と、前記合成ウェーブレット係数に対して、逆ウェーブレット変換を行い、埋込電子透かしが埋め込まれた画像を生成する逆ウェーブレット変換部とを有することを特徴とする。

本発明の電子透かし埋込装置は、前記電子透かし画像が前記画像に対して、縦及び横ともに倍の画素数で構成されており、第１のウェーブレット変換部が所定のスケールによりウェーブレット変換した場合、前記ダウンサンプリング部が前記所定のスケールの２乗倍でダウンサンプリングを行うことを特徴とする。

本発明の電子透かし埋込装置は、前記係数重畳部が第２のウェーブレット係数に対して、所定の強度調整を行うパラメータを乗ずることを特徴とする。

本発明の電子透かし読出装置は、ウェーブレット変換によって、動画を構成する各画像に対して、低周波領域に所定の倍数でダウンサンプリングされた埋込電子透かしが埋め込まれた画像から、電子透かしを抽出する電子透かし抽出装置であり、前記動画像における所定の画像を基準として、該画像以降の画像に対する動きベクトルを生成する動きベクトル生成部と、前記ウェーブレット変換に用いたスケールにより、前記画像をウェーブレット変換し、ウェーブレット係数を求めるウェーブレット変換部と、該ウェーブレット係数の低周波成分が予め設定された所定の画素数となるまで、逆ウェーブレット変換を各画像毎に行い、該低周波成分から縮小動画像を生成する逆ウェーブレット変換部と、該縮小動画像における各画像を前記所定の倍数により拡大し、対応する動きベクトルによりアフィン変換を行い、それら複数のアフィン変換後の画像から、超解像の原理に従い全周波数成分を補完して１枚の画像を合成することにより、埋め込まれた電子透かしを抽出する電子透かし抽出部とを有することを特徴とする。

本発明の電子透かし読出装置は、前記電子透かし抽出部が、前記所定の画素数として、ダウンサンプリングされた前記埋込電子透かしの画素数を記憶しており、前記縮小動画像の画像を拡大した画像各々を、アフィン変換した後に重ね、各画像間において画素を補完させることにより、電子透かし画像を合成することを特徴とする。

以上説明したように、本発明によれば、埋込画像のウェーブレット係数を、埋込対象の画像のウェーブレット係数における低周波領域に対応する係数に対応させて、埋込対象画像の低周波領域の輝度値に対し、電子透かしを直接埋め込むことにより、動画像のフォーマットの特徴を使用しておらず、フォーマットの異なる動画像間のトランスコードや、画像の色調補正の影響を受けず、埋込画像の頑健せいを向上させることが可能となる。
また、本発明によれば、ウェーブレット係数における低周波領域に電子透かしを埋め込んでいるため、人間の目に電子透かしの埋込を意識させることを低減させることができる。

さらに、本発明によれば、動画像を形成する時系列に連続した画像の動きベクトルを求め、この各画像の動きベクトルに対応させて、埋め込む電子透かしの画像をアフィン変換（平行移動，回転，拡大，縮小など）の処理を行い、アフィン変換後の画像をダウンサンプリングして、このダウンサンプリングした画像を、アフィン変換に使用した動きベクトルに対応した各画像の低周波領域に重畳させることにより、電子透かしの埋め込みを行うため、画像の幾何変形の影響を受け難くし、動きベクトルさえ算出できれば、画像の順序は問わずに、埋め込んだ電子透かし画像の読み出し処理が行える。
加えて、本発明によれば、超解像処理により、時系列に連続する画像にダウンサンプリングした電子透かしを埋め込むことにより、電子透かしを埋め込んだすべての画像がなくてもある程度電子透かしの読み出し処理が行え、各画像に埋め込む電子透かし画像をダウンサンプリングしているため、埋め込む情報量を低減することが可能となり、埋め込まれた電子透かしを目立たなくできる。

本発明の電子透かし埋め込み装置は、複数画像からなる動画像において、所定の画像を基準として、該画像以降の画像に対する動きベクトルを生成する動きベクトル生成部と、上記画像をウェーブレット変換し、第１のウェーブレット係数を求める第１のウェーブレット変換部と、電子透かし画像に対して、動きベクトル毎にアフィン変換を行い、各画像毎の対応電子透かし画像を生成するアフィン変換部と、各対応電子透かし画像を所定の倍率でダウンサンプリングして、各画像に埋め込む埋込電子透かし画像を生成するダウンサンプリング部と、埋込電子透かし画像をウェーブレット変換して、第２のウェーブレット係数を求める第２のウェーブレット変換部と、第１のウェーブレット係数に第２のウェーブレット係数を重畳させ、合成ウェーブレット係数を生成する係数重畳部と、合成ウェーブレット係数に対して、逆ウェーブレット変換を行い、埋込電子透かしが埋め込まれた画像を生成する逆ウェーブレット変換部とを有している。

本発明の電子透かし読出装置は、ウェーブレット変換によって、動画を構成する各画像に対して、低周波領域に所定の倍数でダウンサンプリングされた埋込電子透かしが埋め込まれた画像から、電子透かしを抽出するものであり、動画像における所定の画像を基準として、この画像以降の画像に対する動きベクトルを生成する動きベクトル生成部と、ウェーブレット変換に用いたスケールにより、動画像における各画像をウェーブレット変換し、ウェーブレット係数を求めるウェーブレット変換部と、ウェーブレット係数の低周波成分が予め設定された所定の画素数となるまで、逆ウェーブレット変換を各画像毎に行い、該低周波成分から縮小動画像を生成する逆ウェーブレット変換部と、上記縮小動画像における各画像を所定の倍数により拡大し、対応する動きベクトルによりアフィン変換を行い、合成することにより、埋め込まれた電子透かしを抽出する電子透かし抽出部とを有している。

＜電子透かし埋込装置＞
以下、本発明の一実施例による電子透かし埋め込み装置を図面を参照して説明する。図１は同実施例の一構成例を示すブロック図である。
この図において、動きベクトル部１は、時系列に連続した複数の画像から構成されている動画像において、所定の画像、例えば動画像における最初の画像である先頭画像を基準（各画素が動きベクトルの基点となる画像）として、先頭画像以降の画像に対する動きベクトルＶ(i，k)を生成する。

ここで、動画像がｎ枚の画像Ｍ(i)（１≦i≦ｎの整数）から構成されているとすると、動きベクトルＶ(i，k)は、上記先頭画像の各画素を基点として、各画像において、各画像の全画素単位毎に求められる。ここで、ｋはＭ(i)における各画素（ｋ∈Ｍ(i)）の位置であり、動きベクトルＶ(i，k)は、各画像の画素毎に、先頭画像の画素ｋの位置からの移動量（移動した画素数）として求められる。
また、動きベクトル検出部１は、動きベクトルを求める精度として、各画像の画素数がｘ×ｙのとき、埋め込み画像の画素数をＳu・ｘ×Ｓu・ｙとした場合、１／（Ｓd・Ｓu）画素の精度により演算する。ここで、スケールパラメータＳd及びＳuは、後に行うウェーブレット変換におけるスケールがＳ倍であるとすると、Ｓの倍数とする。

第１のウェーブレット変換部２は、動画像を構成する各画像をウェーブレット変換し、各画像毎のウェーブレット変換係数、すなわち第１のウェーブレット係数Ｍw(i)を演算して、出力する。
ここで、上記ウェーブレット変換においては、Ｓ（２以上の整数）倍のスケールのウェーブレット変換により、直交変換処理を行う。
このときの関数ｆ(・)のウェーブレット変換は、ウェーブレット関数をψ(・)として、以下の（１）式で表される。

この（１）式において、Ｗｆ(j,k)は、ウェーブレット変換係数であり、ψ^＊(・)はψ(・)の複素共役を表している。
この変換においてＳ＝２の場合は直交基底となるψ(・)は数多く知られているが、本発明では直交基底となればどのようなψ(・)でも特に問題はない。
上記（１）式は１次元のウェーブレット変換を示すものであるが、２次元への拡張も容易であり（図９）、２次元のウェーブレット変換は、縦及び横の各々において１次元のウェーブレット変換を行えばよい。
上記図９は、スケールがＳ＝２の場合の２次元のウェーブレッド変換の概念図を示しており、ｙは縦軸方向の画素数を示し、ｘは横軸方向の画素数を示している。

アフィン変換部３は、電子透かし画像Ｉに対して、各画像単位の画素毎に算出した動きベクトルにより、各画像に対応させて、電子透かし画像Ｉのアフィン変換を行い、各画像毎に対する対応電子透かし画像Ｉ(i)を生成する。
例えば、動画像がｎ枚の画像から構成されているとすると、アフィン変換部３は動きベクトルＶ(i，k)に基づいて、各画像に一対一に対応する対応電子透かし画像Ｉ(i)を、１≦ｉ≦ｎとしてｎ枚生成する。

ダウンサンプリング部４は、各対応電子透かし画像Ｉ(i)を、所定の倍率、例えば、１／（Ｓd・Ｓu）倍の画素数にダウンサンプリング（画素の間引き処理）をして、埋め込み電子透かし画像として、縮小画像Ｉd(i)，（１≦ｉ≦ｎ）を生成する。
このとき、縮小画像Ｉd(i)は、（ｘ／Ｓd）×（ｙ／Ｓd）画素である。
第２のウェーブレット変換部５は、上記埋込電子透かし画像Ｉd(i)各々を、スケールＳ倍にてウェーブレット変換して、第２のウェーブレット係数Ｉdw(i)を演算して求める。

係数重畳部６は、第１のウェーブレット係数Ｍw(i)に第２のウェーブレット係数Ｉdw(i)を重畳させ、合成ウェーブレット係数Ｔw(i)を生成する。
ここで、係数重畳部６は、第１及び第２のウェーブレット係数の重畳にあたって、第２のウェーブレット係数Ｉdw(i)の画素位置ｋにおける係数をＩdw(i，k)とし、第１のウェーブレット係数Ｍw(i)の位置ｋにおける係数をＷw(i，k)とし、
Ｔw(i，k)＝Ｗw(i，k)＋α(k)・Ｉdw(i，k)
の演算式により、各画像の各画素位置における合成ウェーブレット係数Ｔw(i，k)を演算する。上記α(k)は、電子透かしを埋め込む際の電子透かし画像の強度調整パラメータである。

逆ウェーブレット変換部７は、合成ウェーブレット係数Ｔw(i)，１≦ｉ≦ｎに対して、以下の（２）式により、各々に逆ウェーブレット変換を行い、埋込電子透かしが埋め込まれた透かし入り画像ＭＩ(i)，１≦ｉ≦ｎを生成する。

次に、図１及び図２を参照して、電子透かし埋込装置の動作の説明を行う。図２は、電子透かし埋込装置の動作例を示すフローチャートである。
電子透かし埋込装置は、電子透かしを埋め込む対象の画像として、図３に示すｘ画素（横方向）×ｙ画素（縦方向）の画素数を有し、各画素がデジタルデータである画像Ｍ(i)，１≦ｉ≦ｎからなる動画像Ｍ（ｎ枚の画像からなる）を入力する（ステップＳ１）。

そして、図示しない入力装置から、電子透かし埋込装置に対して、電子透かし画像の縦及び横の画素数を決定するスケールパラメータＳd及びＳuが入力され、アフィン変換部３内の記憶部に設定される（ステップS２）。このスケールパラメータＳd及びＳuは、後にウェーブレット変換において用いられるスケールＳの倍数（２倍）であり、電子透かし画像の情報量によって決定され、情報量が少ない場合に小さく、情報量が多い場合に大きく設定される。すなわち、スケールパラメータＳuは、電子透かし画像の分解能に対応して設定される。

次に、上記入力装置から、電子透かし埋込装置に対して、上記画像Ｍに埋め込まれる電子透かし画像Ｉが入力される（ステップＳ３）。
ここで、電子透かし画像Ｉは、図４に示すように、Ｓu・ｘ画素（横方向）×Ｓu・ｙ画素（縦方向）の画素数を有している。

そして、動きベクトル生成部１は、図５に示すように、例えば、動画像Ｍにおける画像Ｍ(i)，１≦ｉ≦ｎにおけるｉ＝１である先頭画像Ｍ(1)を基準として、先頭画像Ｍ(1)を含めて、以降時系列に連続する画像Ｍ(2)から画像たＭ(n)まで（Ｍ(i)，２≦ｉ≦ｎ）、画像Ｍ(1)の各画素に対応させて、各画像における画素毎に動きベクトルＶ(i，k)を生成する（ステップＳ４）。
ここで、動きベクトルＶ(1，k)は画像Ｍ(1)自身に対するものである。また、動きベクトルＶ(n，k)は、画像Ｍ(n)における画像Ｍ(1)の各画素に対応する画素の位置と、画像Ｍ(1)の各画素の位置ｋとの差分を表すものである。動きベクトルＶ(i，k)の演算精度は、１／（Ｓd×Ｓu）画素である。

次に、第１のウェーブレット変換部２は、図６に示すように、画像Ｍ(i)，１≦ｉ≦ｎの各画像をＳ倍のスケールによりウェーブレット変換して、第１のウェーブレット係数Ｍw(i)，１≦ｉ≦ｎを生成する（ステップＳ５）。図６においては、スケールＳが「２」である。
ここで、第１のウェーブレット係数Ｍw(i)，１≦ｉ≦ｎは、画像に含まれる各画素毎の第１のウェーブレット係数Ｍw(i，k)のｘ×ｙの行列から構成されている。すなわち、各画素の位置を示す位置座標としては、k＝（kx，ky）、１≦kx≦ｘ，１≦ky≦ｙである。

次に、アフィン変換部３は、電子透かし画像Ｉに対し、動きベクトルＶ(i，k)を用いて、各画像Ｍ(i)，１≦ｉ≦ｎに対応させて、ｋをパラメータとした、すなわち基準とした画像の画素と、画像Ｍ(i)，１≦ｉ≦ｎにおける基準とした画像の画素に対応する画素との差分により、各画像についてのアフィン変換行列Ａi(１≦ｉ≦ｎ、平行移動，回転，縮小などの変換係数の要素を、各画素毎に有する行列)を求める。
そして、アフィン変換部３は、上記アフィン変換行列Ａiを用いて、電子透かし画像Ｉに対してアフィン変換処理を行い、画像Ｍ(i)，１≦ｉ≦ｎにおける各画像各々に対応した対応電子透かし画像Ｉ(i)，１≦ｉ≦ｎを生成する。

これにより、対応電子透かし画像Ｉ(i)は、基準の先頭画像Ｍ(1)の各画素を原点として、先頭画像Ｍ(1)の各画素に対応する画像Ｍ(i)の画素の動き（移動）に同期して、元の電子透かし画像Ｉの各画素を移動させた画像となる。
すなわち、時系列に連続して変化する動画像において、各画像での電子透かしの情報を重畳させる画素の位置が変化したとしても、常に、画像における同一の画素に対して、同一の電子透かし画像の画素のデータを重畳させることが可能となる。

次に、ダウンサンプリング部４は、図７に示すように、生成した電子透かし画像Ｉ(i)に対して、１／（Ｓd×Ｓu）の画素数にダウンサンプリング(画素の間引き処理、横方向に１／Ｓd倍、縦方向に１／Ｓu倍)をして、各対応電子透かし画像Ｉ(i)に対応した縮小画像Ｉd(i)，１≦ｉ≦ｎを生成する（ステップＳ６）。このとき、縮小画像Ｉd(i)，１≦ｉ≦ｎ各々の画素数は、（ｘ／Ｓd）×（ｙ／Ｓd）画素である．

そして、第２のウェーブレット変換部５は、上記縮小画像Ｉd(i)，１≦ｉ≦ｎ各々をＳ倍のスケールによりウェーブレット変換し、第２のウェーブレット係数Ｉdw(i)，１≦ｉ≦ｎを演算して求める（ステップＳ７）。
ここで、第２のウェーブレット係数Ｉdw(i)，１≦ｉ≦ｎは、上記縮小画像に含まれる各画素毎の第２のウェーブレット係数Ｉdw(i，k)の（ｘ／Ｓd）×（ｙ／Ｓd）の行列から構成されている。すなわち、各画素の位置を示す位置座標としては、k＝（kdx，kdy）、１≦kdx≦（ｘ／Ｓd），１≦kdy≦（ｙ／Ｓd）の整数である。
また、縮小画像Ｉd(i)は画像Ｍ(i)に比較して画素数が少ない、すなわち分解能が低いため、画像Ｍ(i)のウェーブレット係数の低周波成分側の係数しか得られない。

次に、係数重畳部６は、図８に示すように、第１のウェーブレット係数Ｍw(i)，１≦ｉ≦ｎと、第２のウェーブレット係数Ｉdw(i)，１≦ｉ≦ｎとを重畳（合成）し、合成ウェーブレット係数Ｔw(i)，１≦ｉ≦ｎを生成する。
上述したように、縮小画像Ｉd(i)の画素数が画像Ｍ(i)の画素数に比較して少ないため、図８に示すように、第２のウェーブレット係数Ｉdw(i)は第１の変換係数の低周波部分領域の係数に対して重畳されることとなる。

例えば、スケールのＳを「２」とすると、Ｓd＝Ｓu＝２・Ｓ＝４となり、図９に示すように、画像Ｍ(i)においては画素数がｘ×ｙ画素であるため、高周波成分までウェーブレット係数が生成される。
一方、縮小画像Ｉd(i)においては画素数が（ｘ／４）×（ｙ／４）画素であるため、画像Ｍ(i)に対して２倍のスケールで行った場合の低周波成分の係数信号領域ＬＬに対応するウェーブレット係数しか生成されない。

ここで、第２のウェーブレット係数Ｉdw(i)の位置kにおける係数をＩdw(i, k)とし、さらに第１のウェーブレット係数Ｍw(i)についても位置kにおける係数をＭw(i, k)とすると、画素毎の合成ウェーブレット係数Ｔw(i，k)は
Ｔw(i，k)＝Ｍw(i, k) ＋ α(k)・Ｉdw(i, k)
となる。

この結果、第１のウェーブレット係数Ｍw(i)の低周波側の成分に対してのみ、電子透かし画像の、動きベクトルに対応した対応電子透かし画像Ｉ(i)の間引かれた電子透かしの情報が重畳されることになる。
そして、逆ウェーブレット変換部７は、画像Ｍ(i)，１≦ｉ≦ｎの各画像に、それぞれ電子透かし画像Ｉ(i)を埋め込んだ画像ＭＩ(i)，１≦ｉ≦ｎを生成し、動画像ＭＩとして出力する。

これにより、電子透かし画像Ｉの各画素のデータは、ダウンサンプリングされることにより、画素数を低減、すなわち情報量を低減させて、画像Ｍ(i)のウェーブレット係数Ｍw(i)の低周波成分側に重畳させられ、かつ、移動ベクトルＶ(i，k)により画像Ｍ(i)において、電子透かしのデータが重畳される画素を減少させているので、電子透かしの情報が画像全体に拡散されずに、画質の低下を低減させることが可能となる。

以上、先頭画像Ｍ(1)を基準として、この先頭画像Ｍ(1)から電子透かしの画像Ｉを埋め込んでいくように説明するが、これに限るものでなく、動画像Ｍがｐ枚（１≦ｉ≦ｐ，ｐ＞ｎ）の画像Ｍ(i)から構成されているとすると、動画像Ｍにおける任意の画像Ｍ(i)を基準として、画像Ｍ(i)を基準として画像Ｍ(i+1)から画像Ｍ(i+n-1)のｎ枚に電子透かし画像を埋め込むようにしてもよい。

＜電子透かし読出装置＞
以下、本発明の一実施例による電子透かし読出装置を図面を参照して説明する。図１０は同実施例の一構成例を示すブロック図である。
この図において、動きベクトル生成部１１は、入力される、本願発明の電子透かし埋込装置透かし入り動画像ＭＩ（画素数ｘ（横方向）×ｙ（縦方向）の画像ＭＩ(i)，１≦ｉ≦ｎで構成）に対して、この動画像ＭＩにおける所定の画像ＭＩ(i)を、例えば、電子透かし埋込装置で動きベクトルＶ(i，k)を算出する際に基準とした画像と同一の画像を基準として用い、すなわち先頭画像ＭＩ(1)を基準として、電子透かし埋込装置の動きベクトル部１と同様に、この先頭画像ＭＩ(1)以降の画像に対する動きベクトルＶＩ(i，k)を生成する。

動きベクトル部１１は、上記動きベクトルＶＩ(i，k)の演算精度も、動きベクトル部１の演算する動きベクトルＶ(i，k)と同様に、１／（Ｓd×Ｓu）画素で求める。
また、電子透かし埋込装置が使用したスケールＳの値と、スケールパラメータＳd及びＳuと、動きベクトルＶ(ｉ，k)を生成するために基準とした画像の情報とは、あらかじめ、電子透かし埋込装置から電子透かし読出装置に対して通知され、電子透かし画像Ｉの読み出しにおける各々の処理において使用されるものとする。

ウェーブレット変換装置１２は、電子透かし埋込装置における第１のウェーブレット変換部２と同様に、動画像ＭＩを構成する画像ＭＩ(i)，１≦ｉ≦ｎ各々をウェーブレット変換し、各画像ＭＩ(i)毎のウェーブレット変換係数、すなわちウェーブレット係数ＭＩw(i)を演算して出力する。
ここで、ウェーブレット変換装置１２は、電子透かし埋込装置におけるウェーブレット変換に用いられたＳ倍のスケールにより、ウェーブレット変換の演算を行うものとする。

逆ウェーブレット変換部１３は、ウェーブレット係数の低周波成分（２倍のスケールで行った場合の低周波成分の係数信号領域ＬＬ）が、予め設定された所定の画素数、電子透かし装置において、画像Ｍ(i)に埋め込んだ縮小画像Ｉd(i)の画素数（(x／Ｓd)×(y／Ｓd)画素）となるまで、逆ウェーブレット変換を画像ＭＩ(i)，１≦ｉ≦ｎ各々に対して行い、上記低周波成分から縮小画像ＭＩd(i)，１≦ｉ≦ｎからなる縮小動画像ＭＩdを生成する。

アフィン変換部１４は、上記縮小動画像ＭＩdにおける縮小画像ＭＩd(i)，１≦ｉ≦ｎ各々を所定の倍数、すなわち予め設定されているスケールパラメータＳu及びＳdを用い、横及び縦方向各々をＳu・Ｓd倍することにより拡大し、電子透かし抽出画像ＩＭ(i)，１≦ｉ≦ｎを各々生成する。
また、アフィン変換部１４は、電子透かし抽出画像ＩＭ(i)，１≦ｉ≦ｎ各々に対して、各画像に対応した動きベクトルＶＩ(i)によりアフィン変換を行い、電子透かし画像ＩＩ(i)，１≦ｉ≦ｎそれぞれを生成する。

電子透かし抽出部１５は、上記電子透かし画像ＩＩ(i)，１≦ｉ≦ｎを各々重ねて合成することにより、すなわち、超解像処理を行うことにより、埋め込まれた電子透かし画像Ｉsを抽出する。
ここで、超解像処理とは、複数枚の同一シーンを撮影した画像を用い、それら画像の解像度よりも高い解像度の画像を１枚合成するものである。
このことは、すなわち、サンプリング処理により解像度を低下させた縮小画像Ｉd(i)，１≦ｉ≦ｎ各々から、元の解像度の電子透かし画像Ｉsを再生していることに対応する。

通常、画像はサンプリングによって得られる離散的なデータであるため、シーンの細かな表現には限界がある。
その限界は離散的なデータであることから、１画素ということになるが、この１画素にはサンプリングによって得ることができない、シーンの細かな情報が混ざっている。
この細かな情報は、エイリアシング(折り返し歪み)成分といわれ、通常は画像劣化(見た目のちらつきなど)の原因となるために、フィルタリングにより除去されるものである。

しかし、例えば、ある画像に対し、他の画像が半画素ずれて同一シーンを撮影していた場合、それら２枚を合わせて互いに補間すれば、見かけ上において、１画素よりも細かいサンプリングを行っていることになり、エイリアシング成分は除去されずに、減少することになる。
以上が本発明で用いている、低解像度の複数枚の画像から高解像度の一枚の画像を合成する超解像処理（超解像度処理）の原理である。したがって、超解像処理にはエイリアシング成分は不可欠なものであり、逆に言うとエイリアシング成分がなければ、この超解像処理によって高解像度の画像を合成することはできない。
このため、本発明においては、電子画像埋込装置のダウンサンプリング部４により、画像を形成する画素の間引き処理を行い、縮小画像Ｉd(i)，１≦ｉ≦ｎ各々に対して、故意にエイリアシングを起こさせている。

次に、図１０及び図１１を参照して、電子透かし読出装置の動作の説明を行う。図１１は、電子透かし読出装置の動作例を示すフローチャートである。
電子透かし読出装置は、電子透かし画像を抽出する対象の動画像として、図１２に示すｘ画素（横方向）×ｙ画素（縦方向）の画素数を有し、各画素がデジタルデータである画像ＭＩ(i)，１≦ｉ≦ｎからなる動画像ＭＩ（ｎ枚の画像からなる）を入力する（ステップＳ１０）。

そして、動きベクトル生成部１１は、図１３に示すように、例えば、動画像ＭＩにおける画像ＭＩ(i)，１≦ｉ≦ｎにおけるｉ＝１である先頭画像ＭＩ(1)を基準として、先頭画像Ｍ(1)を含めて、以降時系列に連続する画像Ｍ(2)から画像たＭＩ(n)まで（ＭＩ(i)，２≦ｉ≦ｎ）、画像ＭＩ(1)の各画素に対応させて、ＭＩ(i)，１≦ｉ≦ｎの各画像における画素毎に動きベクトルＶＩ(i，k)を生成する（ステップＳ１１）。

ここで、動きベクトルＶ(1，k)は画像Ｍ(1)自身に対するものである。また、動きベクトルＶ(n，k)は、画像Ｍ(n)における画像Ｍ(1)の各画素に対応する画素の位置と、画像Ｍ(1)の各画素の位置ｋとの差分を表すものである。動きベクトルＶ(i，k)の演算精度は、１／（Ｓd×Ｓu）画素である。
また、上記基準とする画像は、予め電子透かし装置から通知されている、電子透かし埋込装置で動きベクトルを演算する際に基準とした画像と同一の順番にある画像である。

次に、ウェーブレット変換部１２は、図１４に示すように、画像ＭＩ(i)，１≦ｉ≦ｎの各画像をＳ倍のスケールによりウェーブレット変換して、ウェーブレット係数ＭＩw(i)，１≦ｉ≦ｎを生成する（ステップＳ１２）。図１４においては、スケールＳが「２」である。
ここで、ウェーブレット係数ＭＩw(i)，１≦ｉ≦ｎは、画像に含まれる各画素毎のウェーブレット係数ＭＩw(i，k)のｘ×ｙの行列から構成されている。すなわち、各画素の位置を示す位置座標としては、k＝（kx，ky）、１≦kx≦ｘ，１≦ky≦ｙである。

そして、逆ウェーブレット変換部１３は、図１５に示すように、電子透かし装置において、画像Ｍ(i)に埋め込んだ縮小画像Ｉd(i)の画素数（(x／Ｓd)×(y／Ｓd)画素）となるまで、逆ウェーブレット変換を画像ＭＩ(i)，１≦ｉ≦ｎ各々に対して行い、上記低周波成分から縮小画像ＭＩd(i)，１≦ｉ≦ｎからなる縮小動画像ＭＩdを生成する（ステップS１３）。
すなわち、逆ウェーブレット変換部１３は、電子透かし画像Ｉが動きベクトルＶ(i，k)，１≦ｉ≦ｎ各々によりアフィン変換され、ダウンサンプリングされた縮小画像Ｉd(i)が埋め込まれている部分を逆ウェーブレット変換して縮小画像Ｉd(i)が埋め込まれている部分の画像、すなわち縮小画像ＭＩd(i)，１≦ｉ≦ｎ各々を再生する。

次に、アフィン変換部１４は、縮小画像ＭＩd(i)，１≦ｉ≦ｎ各々を、設定されているスケールパラメータＳd,Ｓuを用い、横方向及び縦方向にＳu倍することにより拡大し、電子透かし抽出画像ＩＭ(i)，１≦ｉ≦ｎを各々生成する。
そして、アフィン変換部１４は、動きベクトルＶＩ(i，k)を用いて、電子透かし抽出画像ＩＭ(i)，１≦ｉ≦ｎ各々に対応させて、ｋをパラメータとした、すなわち基準とした画像の画素と、画像ＩＭ(i)，１≦ｉ≦ｎにおける基準とした画像の画素に対応する画素との差分により、各画像についてのアフィン変換行列ＡＩi(１≦ｉ≦ｎ、平行移動，回転，縮小などの変換係数の要素を、各画素毎に有する行列)を求める。

そして、アフィン変換部１４は、上記アフィン変換行列ＡＩiを用いて、画像ＩＭ(i)，１≦ｉ≦ｎ各々に対して、アフィン変換処理を行い、電子透かし画像Ｉの画素の位置に対応した抽出電子透かし画像ＩＩ(i)，１≦ｉ≦ｎを生成する。
すなわち、アフィン変換部１４は、動きベクトルＶＩ(i)，１≦ｉ≦ｎを用いて、各画像ＩＭ(i)，１≦ｉ≦ｎにおいて、動きベクトルＶＩ(i，k)を算出した際に、基準とした先頭画像ＭＩ(1)の各画素に対応する画素の位置を、基準とした先頭画像ＭＩ(1)の各画素の位置に移動させることにより、電子透かしのデータが重畳されている画素の位置を、電子透かし画像Ｉにおいて対応する画素の位置に移動させる。

次に、電子透かし抽出部１５は、上記電子透かし画像ＩＩ(i)，１≦ｉ≦ｎ各々を、順次重ねて、Ｓd×Ｓu倍に拡大された電子透かし画像ＩＩ(i)画像の画素と画素との間を、他の電子透かし画像ＩＩ(i)により補完させて合成することにより、すなわち、上述した超解像処理を行うことにより、埋め込まれた電子透かし画像Ｉsを抽出する（ステップS１４）。
このとき、電子透かし画像Ｉsは、画像Ｍ(i)の低周波成分と電子透かし画像Ｉとが重畳された画像となっている。

上述した処理により、本発明の電子透かし埋込方式においては、動画層を構成する各画像に対して、分散して電子透かしが埋め込まれているため、電子透かしが埋め込まれた動画像から、どのような情報が埋め込まれたか解読が困難であり、重要情報の埋め込みに適している。
また、本発明の電子透かし埋め込み方式においては、埋込のアルゴリズムが公開されていても、電子透かしを埋め込むときに使用した各種パラメータ(Ｓu，Ｓd，ψ(・)，Ｓ)の全てが明確でなければ、読み出し処理の演算を行ったとしても、埋め込んだ電子透かし画像を読み出すこと困難である。

なお、図１における電子透かし埋込装置及び図１０における電子透かし読出装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子透かしの埋込処理及び電子透かしの読出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の一実施例による電子透かし埋込装置の一構成例を示すブロック図である。 図１の電子透かし埋込装置の動作例を示すフローチャートである。 図１の電子透かし埋込装置の動作を説明するための概念図である。 図１の電子透かし埋込装置の動作を説明するための概念図である。 図１の電子透かし埋込装置の動作を説明するための概念図である。 図１の電子透かし埋込装置の動作を説明するための概念図である。 図１の電子透かし埋込装置の動作を説明するための概念図である。 図１の電子透かし埋込装置の動作を説明するための概念図である。 図１の電子透かし埋込装置の動作を説明するための概念図である。 本発明の一実施例による電子透かし読出装置の一構成例を示すブロック図である。 図１の電子透かし読出装置の動作例を示すフローチャートである。 図１の電子透かし読出装置の動作を説明するための概念図である。 図１の電子透かし読出装置の動作を説明するための概念図である。 図１の電子透かし読出装置の動作を説明するための概念図である。 図１の電子透かし読出装置の動作を説明するための概念図である。 図１の電子透かし読出装置の動作を説明するための概念図である。

符号の説明

１，１１…動きベクトル生成部
２…第１のウェーブレット変換部
３，１４…アフィン変換部
４…ダウンサンプリング部
５…第２のウェーブレット変換部
６…係数重畳部
７，１３…逆ウェーブレット変換部
１２…ウェーブレット変換部
１５…電子透かし抽出部

Claims (5)

1. 複数画像からなる動画像において、所定の画像を基準として、該画像以降の画像に対する動きベクトルを生成する動きベクトル生成部と、
   前記画像をウェーブレット変換し、第１のウェーブレット係数を求める第１のウェーブレット変換部と、
   電子透かし画像に対して、前記動きベクトル毎にアフィン変換を行い、各画像毎の対応電子透かし画像を生成するアフィン変換部と、
   前記各対応電子透かし画像を所定の倍率でダウンサンプリングして、各画像に埋め込む埋込電子透かし画像を生成するダウンサンプリング部と、
   前記埋込電子透かし画像をウェーブレット変換して、第２のウェーブレット係数を求める第２のウェーブレット変換部と、
   前記第１のウェーブレット係数に、それと対応する周波数成分を有する第２のウェーブレット係数を所定の重み付けの係数で乗算した上で加算し、合成ウェーブレット係数を生成する係数重畳部と、
   前記合成ウェーブレット係数に対して、逆ウェーブレット変換を行い、埋込電子透かしが埋め込まれた画像を生成する逆ウェーブレット変換部と
   を有することを特徴とする電子透かし埋込装置。
2. 前記電子透かし画像が前記画像に対して、縦及び横ともに倍の画素数で構成されており、第１のウェーブレット変換部が所定のスケールによりウェーブレット変換した場合、前記ダウンサンプリング部が前記所定のスケールの２乗倍でダウンサンプリングを行うことを特徴とする請求項１記載の電子透かし埋込装置。
3. 前記係数重畳部が第２のウェーブレット係数に対して、所定の強度調整を行うパラメータを乗ずることを特徴とする請求項１または請求項２記載の電子透かし埋込装置。
4. ウェーブレット変換によって、動画を構成する各画像に対して、低周波領域に所定の倍数でダウンサンプリングされた埋込電子透かしが埋め込まれた画像から、電子透かしを抽出する電子透かし抽出装置であり、
   前記動画像における所定の画像を基準として、該画像以降の画像に対する動きベクトルを生成する動きベクトル生成部と、
   前記ウェーブレット変換に用いたスケールにより、前記画像をウェーブレット変換し、ウェーブレット係数を求めるウェーブレット変換部と、
   該ウェーブレット係数の低周波成分が予め設定された所定の画素数となるまで、逆ウェーブレット変換を各画像毎に行い、該低周波成分から縮小動画像を生成する逆ウェーブレット変換部と、
   該縮小動画像における各画像を前記所定の倍数により拡大し、対応する動きベクトルによりアフィン変換を行い、それら複数のアフィン変換後の画像から、超解像の原理に従い全周波数成分を補完して１枚の画像を合成することにより、埋め込まれた電子透かしを抽出する電子透かし抽出部と
   を有することを特徴とする電子透かし読出装置。
5. 前記電子透かし抽出部が、前記所定の画素数として、ダウンサンプリングされた前記埋込電子透かしの画素数を記憶しており、
   前記縮小動画像の画像を拡大した画像各々を、アフィン変換した後に重ね、各画像間において画素を補完させることにより、電子透かし画像を合成することを特徴とする請求項４記載の電子透かし読出装置。

Images