JP5751071B2 - 電子透かし埋め込み装置、電子透かし埋め込み方法、及びプログラム - Google Patents

Description

本明細書で議論される実施態様は、画像データや音声データに著作権情報やユーザ情報などの付加情報を埋め込む電子透かし技術に関するものである。

電子透かし技術とは、画像データや音声データに、人が認識できないように付加情報を埋め込む技術である。例えば、コンテンツの著作権情報やユーザの購入情報などを電子透かしとして埋め込むと、コンテンツが不正流出した場合に著作権情報の有無や流出元の特定に利用することができる。

また、電子透かし技術は、コンテンツの保護以外に、広告へ適用することもできる。例えば、動画に映っている商品や人物に関連した情報（例えばインターネット上での情報資源の存在場所を特定するＵＲＬ（Uniform Resource Locator）情報など）を事前に埋め込んだ動画をテレビジョン受信機やＰＣ等に配信する。視聴者は、この動画がテレビジョン受信機やＰＣのディスプレイ装置で表示されたときに、カメラ付き携帯端末等でその表示されている画像を撮影し、専用のアプリケーションを用いて画像からＵＲＬを検出する。そして、視聴者は携帯端末を操作してＵＲＬで特定される場所のＷｅｂサイトに対してアクセスを行うことで、その画像に映っていた商品を直ちに購入することや、その動画の出演者が出演している他の作品の情報などを瞬時に取得することなどが可能になる。

このような電子透かしが埋め込まれたコンテンツは、データ圧縮や切り取り、フィルタ処理、カメラ撮影等を経ると、埋め込まれた電子透かしが消失してしまう可能性がある。このため、電子透かしには、考えられ得る消失要因に対して耐性を持つことが求められる。しかしながら、このような耐性を持たせるために電子透かしの埋め込む強度を強くすると、元のコンテンツに対してより大きな変更を加えることとなり、画質劣化を引き起こす。

動画データに電子透かし情報を埋め込む技術に関し、動画データの各フレームの明るさを電子透かし情報に応じて周期的に変化させるという技術が知られている。
また、電子透かし技術に関し、動画の各フレームを複数のブロックに分割し、隣り合ったブロックに逆位相の信号を合成して情報を埋め込むという技術が知られている。

また、埋め込み情報に基づき生成した埋め込み系列に基づいてＮ−１次元パターンを生成し、Ｎ−１次元パターン上の値に応じて周期信号を変調して生成したＮ次元の埋め込みパターンを入力信号に重畳して出力するという技術が知られている。

国際公開第２００５／０７９０７２号 国際公開第２００７／１０２４０３号

前述した、動画データの各フレームの明るさを電子透かし情報に応じて周期的に変化させる技術では、時間方向で各フレームの明暗が変化する。このため、最も明るいフレームと最も暗いフレームとの間で明るさに差が生じ、画面が明滅する、いわゆるフリッカーとして認識されることがある。

そこで、本明細書で後述する電子透かし埋め込み装置は、動画像への電子透かし情報の埋め込みにより発生するフリッカーを抑制する。

本明細書で後述する電子透かし埋め込み装置のひとつに、画像取得部、電子透かし情報取得部、電子透かしパターン生成部、フリッカー抑制パターン生成部、及びパターン合成部を備えるというものがある。ここで、画像取得部は、動画像を構成する時系列の画像の入力を取得する。電子透かし情報取得部は、電子透かし情報の入力を取得する。電子透かしパターン生成部は、所定の第一の値を持つ複数の画素を含み、一定の周期で面積が変動し、且つ、当該面積の周期変動における位相が、電子透かし情報に含まれるシンボルの値に応じて変化する電子透かしパターンを生成する。フリッカー抑制パターン生成部は、所定の第二の値を持つ複数の画素を含み、上述の面積の変動の周期とは異なる周波数特性で面積が変動するフリッカー抑制パターンを生成する。そして、パターン合成部は、まず、画像取得部が取得した時系列の画像の各々の画像領域に対して、生成された電子透かしパターンを重畳すると共に生成されたフリッカー抑制パターンを重畳する。そして、電子透かしパターン及びフリッカー抑制パターンが重畳された画像領域内の各画素の値を、前述の第一の値及び第二の値に応じて修正する。

また、本明細書で後述する電子透かし埋め込み方法のひとつは、まず、電子透かしパターンを生成する。なお、電子透かしパターンは、所定の第一の値を持つ複数の画素を含み、一定の周期で面積が変動し、且つ、当該面積の周期変動における位相が、電子透かし情報に含まれるシンボルの値に応じて変化するパターンである。次に、所定の第二の値を持つ複数の画素を含み、上述の面積の変動の周期とは異なる周波数特性で面積が変動するフリッカー抑制パターンを生成する。次に、動画像を構成する時系列の画像の各々の画像領域に対して電子透かしパターンを重畳すると共に前記フリッカー抑制パターンを重畳する。そして、この際に、電子透かしパターン及びフリッカー抑制パターンが重畳された画像領域内の各画素の値を、上述の第一の値及び上述の第二の値に応じて修正する。

また、本明細書で後述するプログラムのひとつは、以下の処理をコンピュータに行わせる。この処理は、まず、まず、電子透かしパターンを生成する。なお、電子透かしパターンは、所定の第一の値を持つ複数の画素を含み、一定の周期で面積が変動し、且つ、当該面積の周期変動における位相が、電子透かし情報に含まれるシンボルの値に応じて変化するパターンである。次に、所定の第二の値を持つ複数の画素を含み、上述の面積の変動の周期とは異なる周波数特性で面積が変動するフリッカー抑制パターンを生成する。次に、動画像を構成する時系列の画像の各々の画像領域に対して電子透かしパターンを重畳すると共に前記フリッカー抑制パターンを重畳する。そして、この際に、電子透かしパターン及びフリッカー抑制パターンが重畳された画像領域内の各画素の値を、上述の第一の値及び上述の第二の値に応じて修正する。

本明細書で後述する電子透かし埋め込み装置は、動画像への電子透かし情報の埋め込みを行った場合に発生するフリッカーを抑制することができる。

電子透かし埋め込み装置の機能ブロック図である。 電子透かしパターンの一例である。 電子透かしパターンにおける面積変化と画像の明るさの変化との関係を説明する図である。 電子透かしパターンで電子透かし情報を表現する手法を説明する図（その１）である。 電子透かしパターンで電子透かし情報を表現する手法を説明する図（その２）である。 フリッカー抑制パターンを説明する図（その１）である。 フリッカー抑制パターンを説明する図（その２）である。 フリッカー抑制パターンを説明する図（その３）である。 電子透かしパターン及びフリッカー抑制パターンの画像への重畳合成を説明する図（その１）である。 電子透かし埋め込み処理の第一の例を図解したフローチャートである。 フリッカー抑制パターンを説明する図（その４）である。 電子透かしパターン及びフリッカー抑制パターンの画像への重畳合成を説明する図（その２）である。 フリッカー抑制パターンを説明する図（その５）である。 電子透かし埋め込み処理の第二の例を図解したフローチャートである。 電子透かし埋め込み装置として動作させることのできるコンピュータの構成例である。 電子透かし情報検出装置の機能ブロック図である。 動画像を構成している時系列の各画像の明るさの時間変動の一例を表しているグラフである。 図１５Ａの時間変動から検出される、電子透かしパターンの重畳に起因する画像の明るさの時間変動を表しているグラフである。

まず図１について説明する。図１は、電子透かし埋め込み装置の機能ブロック図である。
この電子透かし埋め込み装置１０は、画像取得部１１、電子透かし情報取得部１２、電子透かしパターン生成部１３、フリッカー抑制パターン生成部１４、及びパターン合成部１５を備えている。

画像取得部１１は、他の機器から電子透かし埋め込み装置１０に送られてくる、動画像を構成する時系列の画像を取得する。
電子透かし情報取得部１２は、電子透かし埋め込み装置１０に入力される、動画像に電子透かしとして埋め込む情報（電子透かし情報）を取得する。

電子透かしパターン生成部１３は、所定の第一の値を持つ複数の画素を含み、一定の周期で面積が変動し、且つ、当該面積の周期変動における位相を、電子透かし情報に含まれるシンボルの値に応じて変化させた電子透かしパターンを生成する。

フリッカー抑制パターン生成部１４は、所定の第二の値を持つ複数の画素を含み、電子透かしパターン生成部１３が生成した電子透かしパターンにおける面積の変動の周期とは異なる周波数特性で面積が変動するフリッカー抑制パターンを生成する。

パターン合成部１５は、まず、画像取得部１１が取得した時系列の画像の各々の画像領域に対して、生成された電子透かしパターンを重畳すると共に生成されたフリッカー抑制パターンを重畳する。そして、電子透かしパターン若しくはフリッカー抑制パターンが重畳された画像領域内の各画素の値を、前述の第一の値及び第二の値に応じて修正する。

上述した各機能ブロックのうちの幾つかについて、更に詳細に説明する。
まず、電子透かしパターン生成部１３について説明する。
電子透かしパターン生成部１３は、所定の第一の値を持つ複数の画素を含んでおり、時間方向に周期的な変化を起こすパターン（電子透かしパターン）を生成する。

ここで図２について説明する。図２は、電子透かしパターン生成部１３によって生成される電子透かしパターンの一例である。
図２の時系列に並べた各画像は、ｔ＝０からｔ＝８までの各時刻における電子透かしパターンを表しており、時刻の経過に応じて電子透かしパターンの面積が変化する様子を表している。図２では、ｔ＝０における電子透かしパターンの面積が最大であり、このときの面積を１００％とすると、ｔ＝１から４にかけてその面積が徐々に狭くなり、ｔ＝４においてその面積は最小（０％）になっている。その後、この面積変化は増加に転じ、ｔ＝５から８にかけてその面積が徐々に広くなり、ｔ＝８においてその面積が１００％に戻る。このような、一定周期で面積が変動する電子透かしパターンを、電子透かしパターン生成部１３が生成する。

このように電子透かしパターンの面積を変化させると、それに伴って画像全体の明るさが変化する。次に、電子透かしパターンにおける面積変化と明るさの変化との関係について、図３を用いて説明する。

図３において、（ａ）は、時刻の経過に応じて電子透かしパターンが変化する様子を表しており、図２と同様の変化を表している。
また、（ｂ）のグラフは、（ａ）に図解した電子透かしパターンの変化における、時刻と電子透かしパターンの面積との関係を表している。このグラフの縦軸は電子透かしパターンの面積を表しており、横軸は時刻を表している。このグラフから、電子透かしパターンは、時間方向に一定周期で面積が変動していることが分かる。

更に、（ｃ）のグラフは、（ａ）に図解した電子透かしパターンの変化における、時刻と電子透かしパターンの明るさとの関係を表している。このグラフの縦軸は画像領域の明るさを表しており、横軸は時刻を表している。なお、ここでは、電子透かしパターンを構成している画素が、電子透かしパターンが重畳される画像領域よりも暗い場合を想定している。従って、電子透かしパターンの明るさは、その面積が広いほど暗くなり、その面積が狭いほど明るくなる。このように、電子透かしパターンの明るさの変化が周期的であり、その変化幅（明るさの最高値と最低値との差）が大きいと、この電子透かしパターンを重畳合成した画像は明滅（フリッカー）が目立つようになる。本実施例では、後述するフリッカー抑制パターンをこの画像に更に重畳することで、このフリッカーに起因する画質の劣化を軽減する。

次に、電子透かしパターン生成部１３が、上述の電子透かしパターンで、電子透かし情報取得部１２が取得した電子透かし情報を表現する手法について、図４Ａ及び図４Ｂを用いて説明する。

図４Ａは、２値のシンボル「０」及び「１」と、この各々のシンボルに対応する画像の明るさの変化の様子を表している。
本実施例では、電子透かしパターン生成部１３は、シンボル「０」を表す場合には、電子透かしパターンの面積を５０％→１００％→０％→１００％→０％→５０％と徐々に変化させる。従って、この電子透かしパターンが重畳された画像の明るさは、暗→明→暗→明と徐々に変化する。一方、電子透かしパターン生成部１３は、シンボル「１」を表す場合には、電子透かしパターンの面積の変化の位相を、シンボル「０」を表す場合の変化の位相とは反転させて、この場合では５０％→０％→１００％→０％→１００％→５０％と徐々に変化させる。従って、この電子透かしパターンが重畳された画像の明るさは、明→暗→明→暗と徐々に変化する。

このように、電子透かしパターン生成部１３は、ビット列のデータとして表されている電子透かし情報における各ビットのシンボルに応じて、電子透かしパターンの面積変化の位相をこのように反転させることで、電子透かし情報を表現する。

図４Ｂは、電子透かし情報が「００１１」なる４ビットのデータを表現している電子透かしパターンを重畳した画像の明るさの変化をグラフで表している。なお、このグラフにおいて、縦軸は画像の明るさを表しており、横軸は時刻を表している。

この場合、「００１１」の４ビットのデータは、第一ビット及び第二ビットはシンボルが「０」であり、第三ビット及び第四ビットはシンボルが「１」である。つまり、このデータは、第三ビットにおいてシンボルが「０」から「１」へと変化しているので、電子透かしパターン生成部１３は、このときに電子透かしパターンの面積変化の位相を反転させる。

電子透かしパターン生成部１３は、以上のようにして、電子透かしパターンによる電子透かし情報の表現を行う。
次に、フリッカー抑制パターン生成部１４が行うフリッカー抑制パターンの生成について説明する。

フリッカー抑制パターンは、所定の値（本実施例では、電子透かしパターンに含まれる画素と同一の値とする）を持つ複数の画素を含んでおり、電子透かしパターンにおける面積の変動の周期とは異なる周波数特性で面積が変動するパターンである。このフリッカー抑制パターンについて、図５を用いて説明する。

図５に表した各グラフは、縦軸が明るさを表しており、横軸が時刻を表している。
図５において、（ａ）のグラフは、電子透かしパターンの明るさの変化を表しており、図３の（ｃ）のグラフと同一のグラフである。このグラフで表されている関数をｆ₁ （ｔ）と表す。また、電子透かしパターンの明るさが最大となる時刻をｔ₁ とし、その明るさが最小となる時刻をｔ₂ とする。前述したように、このグラフのように明るさが周期的に変化し、その変化幅ｙ₁ （＝ｆ₁ （ｔ₁ ）−ｆ₁ （ｔ₂ ））が大きい場合には、電子透かしパターンを重畳合成した画像はフリッカーが目立つものとなってしまう。

（ｂ）のグラフは、フリッカー抑制パターンの明るさの変化を表している。なお、このグラフは、フリッカー抑制パターンとして、電子透かしパターンにおける面積の変動の周期とは異なる一定の周期（ここでは２倍の周期）で面積が変動するパターンをフリッカー抑制パターン生成部１４が生成した場合の例である。このグラフで表されている関数をｆ₂ （ｔ）と表す。なお、この例では、前述の時刻ｔ₂ においてフリッカー抑制パターンの明るさが最大値ｆ₂ （ｔ₂ ）となるものとしている。

そして、（ｃ）のグラフは、（ａ）及び（ｂ）の各々のグラフで表されている明るさを平均したものである。人の視覚には、電子透かしパターンとフリッカー抑制パターンとを重畳合成したパターンの明るさは、その各々の明るさを平均した明るさとして認識される。

この（ｃ）のグラフで表される関数ｆ₁₊₂ （ｔ）は、下記の式のようになる。
ｆ₁₊₂ （ｔ）＝｛ｆ₁ （ｔ）＋ｆ₂ （ｔ）｝／２

よって、このグラフにおける、時刻ｔ₁ と時刻をｔ₂ との明るさの差ｙ₁₊₂ は、下記の式の計算を行うことで算出される。
ｙ₁₊₂ ＝ｆ₁₊₂ （ｔ₁ ）−ｆ₁₊₂ （ｔ₂ ）
＝［｛ｆ₁ （ｔ₁ ）＋ｆ₂ （ｔ₁ ）｝−｛ｆ₁ （ｔ₂ ）＋ｆ₂ （ｔ₂ ）｝］／２

ここで、グラフ（ａ）とグラフ（ｂ）との振幅幅が同一（ｆ₁ （ｔ₁ ）＝ｆ₂ （ｔ₂ ）＝ｙ₁ ）であるとし、ｆ₂ （ｔ₁ ）＝０．５×ｆ₁ （ｔ₁ ）及びｆ₁ （ｔ₂ ）＝０とすると、前述の明るさの差ｙ₁₊₂ は下記の式のようになる。
ｙ₁₊₂ ＝｛（ｙ₁ ＋０．５ｙ₁ ）−（０＋ｙ₁ ）｝／２＝０．２５ｙ₁

つまり、この場合には、電子透かしパターンと共にフリッカー抑制パターンを画像に重畳したことで、時刻ｔ₁ と時刻ｔ₂ とにおける明暗の差が１／４（＝２５％）と少なくなるので、フリッカーが目立ち難くなる。

なお、フリッカー抑制パターンにおける面積の変動周期は、図５の例の場合の周期、すなわち、電子透かしパターンにおける面積の変動周期の２倍でなくともよい。図６Ａは、図５と同様のグラフであって、フリッカー抑制パターンにおける面積の変動周期を、電子透かしパターンにおける面積の変動周期の３倍とした場合のものである。また、図６Ｂは、図５と同様のグラフであって、フリッカー抑制パターンにおける面積の変動周期を、電子透かしパターンにおける面積の変動周期の１．５倍とした場合のものである。この図６Ａ及び図６Ｂのどちらにおいても分かるように、グラフのピーク・ディップの時刻の位置は異なるものの、（ｃ）のグラフにおける明暗差ｙ₁₊₂ が（ａ）のグラフにおける明暗差ｙ₁ よりも少なくなっていることが分かる。このように明暗差が減少することで、フリッカーの抑制の効果が得られる。

次に、パターン合成部１５が行う電子透かしパターン及びフリッカー抑制パターンの画像への重畳合成について、図７を参照しながら説明する。
パターン合成部１５は、電子透かしパターンとフリッカー抑制パターンとの各々を複数の小領域に分割し、得られた小領域を並べて得られるパターンを、時系列の画像の各々に重畳する合成を行う。図７は、この合成の様子を模式的に表したものである。

図７において、（ａ）の例は、電子透かしパターンとフリッカー抑制パターンとをそれぞれ複数の小領域に分割し、得られた両パターンの小領域を不規則に並べて得られたパターンを、元の画像に重畳して合成画像を得る様子を表している。なお、この例において小領域を不規則に並べる手法としては、例えば、擬似乱数発生器を使用して行われる。

一方、（ｂ）の例は、（ａ）と同様にして得られた両パターンの小領域を、規則的（この例では、両パターンを均一に並べるために市松模様を使用）に並べて得られたパターンを、元の画像に重畳して合成画像を得る様子を表している。

なお、パターン合成部１５は、本実施例においては、下記の式で定義されるアルファブレンド（α-Blend）を行って画像の重畳合成を行う。
Ｘ’＝（１−α）Ｘ＋αＷ

なお、上記の式において、Ｘは、合成前の元の画像の値であり、Ｗは、電子透かしパターンとフリッカー抑制パターンとの各々の小領域を並べて得られたパターンにおける同一位置の画素の値である。また、Ｘは、重畳合成後の画像の同一位置の画素の値である。

また、αは、重畳合成の比率であり、０から１まで範囲内の値が設定される。ここで、αの値が大きいほどＷの割合が大きくなるので、電子透かしについての前述の耐性は強くなるが、電子透かしの埋め込みによる画像の画質劣化も大きくなる。逆に、αの値が小さいほどＷの影響が小さくなるため、電子透かしについての前述の耐性は弱くなるが、電子透かしの埋め込みによる画像の画質劣化は少なくなる。

パターン合成部１５は、このようにして、電子透かしパターン若しくはフリッカー抑制パターンが重畳された画像領域内の各画素の値を、電子透かしパターン及びフリッカー抑制パターンの画素の値（前述の第一の値及び第二の値）に応じて修正して画像合成を行う。

ここで図８について説明する。図８は、図１の電子透かし埋め込み装置１０において行われる電子透かし埋め込み処理の第一の例をフローチャートで図解したものである。
図８の手順が開始されると、まず、Ｓ１０１において、電子透かし情報の読み込み処理を電子透かし情報取得部１２が行う。この処理は、電子透かし埋め込み装置１０に入力される電子透かし情報を取得する処理である。

次に、Ｓ１０２では、電子透かしパターン生成処理を電子透かしパターン生成部１３が行う。この処理は、前述したようにして電子透かしパターンを生成する処理である。
次に、Ｓ１０３では、フリッカー抑制パターン生成処理をフリッカー抑制パターン生成部１４が行う。この処理は、前述したようにしてフリッカー抑制パターンを生成する処理であり、本実施例では、この処理によって、電子透かしパターンにおける面積の変動の周期とは異なる一定の周期で面積が変動するフリッカー抑制パターンの生成を行う。

次に、Ｓ１０４では、フレーム読み込み処理を画像取得部１１が行う。この処理は、電子透かし埋め込み装置１０に入力される、動画像を構成する時系列の画像のうちの１フレームの画像を取得する処理である。

次に、Ｓ１０５では、Ｓ１０２の処理により生成された電子透かしパターンと、Ｓ１０３の処理により生成されたフリッカー抑制パターンとを複数の小領域に分割して、前述した図７のように、不規則に若しくは規則的に並べる処理をパターン合成部１５が行う。

次に、Ｓ１０６では、Ｓ１０５の処理により並べられたパターンを、前述したようにして、Ｓ１０４の処理により取得した画像に重畳合成する処理をパターン合成部１５が行う。

次に、Ｓ１０７では、Ｓ１０６の合成処理により得られた、電子透かし情報が埋め込まれた画像を出力する処理をパターン合成部１５が行う。
次に、Ｓ１０８では、Ｓ１０４の処理により取得されたフレームの画像が、動画像を構成する時系列の画像のうちの最後のものであるか否かを判定する処理を画像取得部１１が行う。ここで、画像取得部１１は、取得されたフレームの画像が、時系列の画像のうちの最後のものであると判定したとき（判定結果がＹｅｓのとき）には、この電子透かし埋め込み処理を終了する。一方、画像取得部１１は、取得されたフレームの画像が、時系列の画像のうちの最後のものではないと判定したとき（判定結果がＮｏのとき）には、Ｓ１０４へ処理を戻して、次のフレームの画像についてＳ１０４以降の処理を繰り返す。

以上までの処理が電子透かし埋め込み処理の第一の例である。
図１の電子透かし埋め込み装置１０が、以上のように動作することで、動画データへの電子透かし情報の埋め込みが行われ、また、この電子透かし情報の埋め込みによって発生するフリッカーが抑制される。

なお、上述した実施例では、１つの電子透かしパターンに対して１つのフリッカー抑制パターンをフリッカー抑制パターン生成部１４が生成して画像に重畳合成するようにしていた。この代わりに、１つの電子透かしパターンに対し、互いに異なる周波数特性で面積が変動する複数種類のフリッカー抑制パターンを生成し、このフリッカー抑制パターンのいずれかを、電子透かしパターンが重畳されていない画像領域に重畳するようにしてもよい。

ここで図９について説明する。図９は、１つの電子透かしパターンに対して３種類のフリッカー抑制パターンを生成して画像に合成する場合を表している。
図９に表した各グラフは、縦軸が明るさを表しており、横軸が時刻を表している。

図９において、（ａ）のグラフは、電子透かしパターンの明るさの変化を表しており、図３の（ｃ）のグラフと同一のグラフを３周期分表したものである。
また、（ｂ）、（ｃ）、及び（ｄ）のグラフは、ぞれぞれ、面積の変動周期が互いに異なるフリッカー抑制パターンの明るさの変化を表している。より具体的には、これらのグラフは、フリッカー抑制パターンとして、電子透かしパターンにおける面積の変動周期の３倍、２倍、及び１．５倍の周期で面積が変動するパターンをフリッカー抑制パターン生成部１４が生成した場合の例である。

そして、（ｅ）のグラフは、（ａ）、（ｂ）、（ｃ）、及び（ｄ）の各々のグラフで表されている明るさを平均したものである。このように、１つの電子透かしパターンと、３種類のフリッカー抑制パターンとを画像に重畳合成するようにして、フリッカーの抑制効果を更に高めるようにしてもよい。

なお、この場合、パターン合成部１５は、例えば図１０で図解するようにして、１つの電子透かしパターンと複数種類のフリッカー抑制パターンとの画像への重畳合成を行う。
図１０の例は、１つの電子透かしパターンと３種類のフリッカー抑制パターンとをそれぞれ複数の小領域に分割し、得られた両パターンの小領域を不規則に並べて得られたパターンを、元の画像に重畳して合成画像を得る様子を表している。なお、領域を不規則に並べる手法としては、例えば、図７の（ａ）の例と同様に、擬似乱数発生器を使用して行われる。

なお、１つの電子透かしパターンと複数種類のフリッカー抑制パターンとの画像への重畳合成を、図８の電子透かし埋め込み処理により実現するには、以下のようにすればよい。

すなわち、まず、Ｓ１０３のフリッカー抑制パターン生成処理では、これらの、面積の変動周期が互いに異なる複数種類のフリッカー抑制パターンをフリッカー抑制パターン生成部１４が生成するようにする。また、Ｓ１０５の処理では、Ｓ１０２の処理により生成された電子透かしパターンと、Ｓ１０３の処理により生成された複数種類のフリッカー抑制パターンとを複数の小領域に分割して、図１０のように不規則に並べる処理をパターン合成部１５が行う。そして、Ｓ１０６の処理では、Ｓ１０５の処理により並べられたパターンを、Ｓ１０４の処理により取得した画像に重畳合成する処理をパターン合成部１５が行う。

また、前述した実施例では、電子透かし情報を電子透かしパターンにのみ含ませて画像に埋め込むようにしていたが、フリッカー抑制パターンにも電子透かし情報を含ませて画像に埋め込むようにしてもよい。このようにすると、フリッカー抑制パターンの画像への重畳によって電子透かしパターンが重畳される画像領域が狭くなっても、フリッカー抑制パターンにも電子透かし情報が埋め込まれているので、前述の耐性は高くなる。

図１の電子透かし埋め込み装置１０でフリッカー抑制パターンにも電子透かし情報を含ませるには、例えば、以下のようにすればよい。
すなわち、フリッカー抑制パターン生成部１４が、電子透かしパターンにおける面積の変動の周期とは異なる周波数特性で面積が変動する合成パターンを生成し、この合成パターンと電子透かしパターンとを重畳してフリッカー抑制パターンを生成する。そして、パターン合成部１５は、電子透かしパターンと、このようにして生成されたフリッカー抑制パターンとを、画像へ重畳合成する。

ここで、合成パターンと電子透かしパターンとの重畳によるフリッカー抑制パターンの生成について、図１１を用いて説明する。
図１１に表した各グラフは、縦軸が明るさを表しており、横軸が時刻を表している。

図１１において、（ａ）のグラフは、電子透かしパターンの明るさの変化を表しており、図５の（ａ）のグラフと同一のグラフである。

また、（ｂ）のグラフは、合成パターンの明るさの変化を表している。なお、このグラフは、合成パターンとして、電子透かしパターンにおける面積の変動の周期とは異なる一定の周期（ここでは２倍の周期）で面積が変動するパターンをフリッカー抑制パターン生成部１４が生成した場合の例である。

そして、（ｃ）のグラフは、（ａ）及び（ｂ）の各々のグラフで表されている電子透かしパターンと合成パターンとを重畳合成して作成したフリッカー抑制パターンの明るさの変化を表している。なお、このグラフは、（ａ）及び（ｂ）の各々のグラフで表されている明るさをフリッカー抑制パターン生成部１４が平均化してフリッカー抑制パターンを生成した場合の例である。なお、フリッカー抑制パターン生成部１４は、フリッカー抑制パターンをこのようにして生成する代わりに、電子透かしパターンと合成パターンとに対する重み付け加算（例えば前述のアルファブレンド）によって生成するようにしてもよい。

ここで図１２について説明する。図１２は、図１の電子透かし埋め込み装置１０において行われる電子透かし埋め込み処理の第二の例をフローチャートで図解したものである。この第二の例は、上述したようにして行われる、電子透かしパターンと、電子透かし情報を含ませたフリッカー抑制パターンとの画像への重畳合成を図１の電子透かし埋め込み装置１０に行わせるためのものである。

この図１２のフローチャートにおいて、図８の第一の例のフローチャートにおけるものと同一の処理ステップについては、同一の符号を付しており、これらの処理ステップについては、処理内容の説明を省略する。

図１２において、Ｓ１０２の処理に続き、Ｓ２０１では、合成パターン生成処理をフリッカー抑制パターン生成部１４が行う。この処理は、Ｓ１０２の処理によって電子透かしパターン生成部１３により生成された電子透かしパターンにおける面積の変動の周期とは異なる周波数特性で面積が変動するパターンを、合成パターンとして生成する処理である。

次に、Ｓ２０２では、Ｓ１０２の処理によって生成された電子透かしパターンと、Ｓ２０１の処理によって生成された合成パターンとからフリッカー抑制パターンを生成する処理をフリッカー抑制パターン生成部１４が行う。この処理は、前述したように、電子透かしパターンと合成パターンとを平均化してフリッカー抑制パターンを生成する処理である。
上述したＳ２０２の処理を終えるとＳ１０４に処理が進み、以降は、図８の第一の例のフローチャートにおけるものと同一の処理が行われる。

以上までの処理が電子透かし埋め込み処理の第二の例である。この処理を図１の電子透かし埋め込み装置１０が行うことで、電子透かしパターンと、電子透かし情報を含ませたフリッカー抑制パターンとが画像へ重畳合成されて出力される。

なお、図１の電子透かし埋め込み装置１０が行う動作を、標準的な構成を備えるコンピュータで実現することも可能である。
ここで図１３について説明する。図１３には、電子透かし埋め込み装置１０として動作させることのできるコンピュータ２０の構成例が図解されている。

このコンピュータ２０は、ＭＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ハードディスク装置２４、入力装置２５、表示装置２６、インタフェース装置２７、及び記録媒体駆動装置２８を備えている。なお、これらの構成要素はバスライン２９を介して接続されており、ＭＰＵ２１の管理の下で各種のデータを相互に授受することができる。

ＭＰＵ（Micro Processing Unit）２１は、このコンピュータ２０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）２２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ２１は、この基本制御プログラムをコンピュータ２０の起動時に読み出して実行することにより、このコンピュータ２０の各構成要素の動作制御が可能になる。

ＲＡＭ（Random Access Memory）２３は、ＭＰＵ２１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。

ハードディスク装置２４は、ＭＰＵ２１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。
ＭＰＵ２１は、ハードディスク装置２４に記憶されている所定の制御プログラムを読み出して実行することにより、後述する制御処理を行えるようになる。

入力装置２５は、例えばキーボード装置やマウス装置であり、コンピュータ２０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ２１に送付する。例えば、入力装置２５は、電子透かし情報の取得を行う。

表示装置２６は例えば液晶ディスプレイであり、ＭＰＵ２１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置２７は、このコンピュータ２０に接続される各種機器との間での各種データの授受の管理を行う。例えば、インタフェース装置２７は、他の装置から送られてくる、動画像データのコンピュータ２０への取り込みを行う。

記録媒体駆動装置２８は、可搬型記録媒体３０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ２１は、可搬型記録媒体３０に記録されている所定の制御プログラムを、記録媒体駆動装置２８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体３０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、ＵＳＢ（Universal Serial Bus）規格のコネクタが備えられているフラッシュメモリなどがある。

このようなコンピュータ２０を電子透かし埋め込み装置１０として動作させるには、まず、図８や図１２に図解した、電子透かし埋め込み装置１０で行われる電子透かし埋め込み処理の各処理ステップをＭＰＵ２１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置２４若しくは可搬型記録媒体３０に予め格納しておく。そして、ＭＰＵ２１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ２１が、図１の電子透かし埋め込み装置１０が有している各部として機能し、このコンピュータ２０を電子透かし埋め込み装置１０として動作させることが可能になる。

なお、図１の電子透かし埋め込み装置１０により上述したようにして電子透かし情報が埋め込まれた動画像から、その電子透かし情報を検出するには、例えば以下のようにして行えばよい。

まず図１４について説明する。図１４は、電子透かし情報検出装置の機能ブロック図である。
この電子透かし情報検出装置４０は、平均画素値算出部４１と、周波数変換部４２と、透かし情報抽出部４３とを備えている。

平均画素値算出部４１は、電子透かし情報が埋め込まれた動画像データを構成している時系列の画像を受け取ると、各画像の平均画素値を算出する。この平均輝度値は、各画像の明るさを表している。

周波数変換部４２は、まず、各画像の平均画素値を時系列順に並べた１次元ベクトルを作成する。次に、周波数変換部４２は、その１次元ベクトルを１つのシンボルの値に相当する区間単位で周波数変換することにより、その区間における平均画素値の時間変動に対するスペクトルを求める。なお、この周波数変換には、例えば、高速フーリエ変換や離散コサイン変換が用いられる。

透かし情報抽出部４３は、区間毎の平均画素値の時間変動に対するスペクトルに基づいて、動画像データに埋め込まれている電子透かし情報を抽出する。
電子透かし情報が埋め込まれた画像に写っている映像が静止画でない限り、各画像の平均画素値は、元々写っている映像によっても時系列に沿って変動する。

ここで図１５Ａについて説明する。図１５Ａのグラフは、動画像を構成している時系列の各画像の明るさの時間変動の一例を表している。
このグラフにおいて、横軸は時間を表しており、縦軸は画像の明るさ（すなわち平均輝度値）を表している。

各画像の明るさの変化が、電子透かしパターンの面積の変化よりも、その画像の本来の映像に主に起因していることがある。このような場合、このグラフで表されているように、明るさの時間変動そのものから電子透かしパターンの面積変動に起因する明るさの変動成分を抽出することは、本来は困難である。

しかし、電子透かしパターンの動画像への埋め込みを行った者には、図１の電子透かし埋め込み装置１０における電子透かしパターン生成部１３が生成した電子透かしパターンにおける面積の変動の周期（周波数）が予め分かっている。そこで、図１５Ａに表されている明るさ（すなわち平均輝度値）の時間変動に対して周波数変換を行い、得られる周波数スペクトルから、電子透かしパターン生成部１３が生成した電子透かしパターンにおける面積の変動の周波数についてのスペクトルを抽出する。そして、このスペクトルに対して逆周波数変換を行う。すると、電子透かしパターン生成部１３が生成した電子透かしパターンの重畳に起因する画像の明るさの時間変動が検出される。

図１５Ｂのグラフは、以上のようにして検出された、電子透かしパターンの重畳に起因する画像の明るさの時間変動を表している。なお、このグラフにおいて、横軸は時間を表しており、縦軸は画像の明るさ（すなわち平均輝度値）を表している。

そこで、透かし情報抽出部４３は、まず、周波数変換部４２から出力される、区間毎の平均画素値の時間変動を周波数変換して得られた周波数スペクトルから、電子透かしパターンの重畳に起因する画像の明るさの時間変動に相当する周波数のスペクトルを抽出する。次に、抽出したスペクトルに対して逆周波数変換を施して、電子透かしパターンの重畳に起因する画像の明るさの時間変動を求める。そして、この時間変動から位相情報を求め、例えば、その位相に対応するシンボルの値を、位相とシンボルの値との関係を表す参照テーブル（図４Ａの関係が表されているテーブル）を参照することにより求める。

電子透かし情報検出装置４０の各部が以上のように動作することによって、図１の電子透かし埋め込み装置１０により電子透かし情報が埋め込まれた動画像から、その電子透かし情報を検出することが可能になる。

なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
動画像を構成する時系列の画像の入力を取得する画像取得部、
電子透かし情報の入力を取得する電子透かし情報取得部、
所定の第一の値を持つ複数の画素を含み、一定の周期で面積が変動し、且つ、該面積の周期変動における位相が、前記電子透かし情報に含まれるシンボルの値に応じて変化する電子透かしパターンを生成する電子透かしパターン生成部、
所定の第二の値を持つ複数の画素を含み、前記面積の変動の周期とは異なる周波数特性で面積が変動するフリッカー抑制パターンを生成するフリッカー抑制パターン生成部、及び
前記時系列の画像の各々の画像領域に対して前記電子透かしパターンを重畳すると共に前記フリッカー抑制パターンを重畳して、該電子透かしパターン若しくは該フリッカー抑制パターンが重畳された画像領域内の各画素の値を、前記第一の値及び前記第二の値に応じて修正するパターン合成部、
を備えることを特徴とする電子透かし埋め込み装置。
（付記２）
前記フリッカー抑制パターン生成部は、前記フリッカー抑制パターンとして、前記電子透かしパターンにおける面積の変動の周期とは異なる一定の周期で面積が変動するパターンを生成することを特徴とする付記１に記載の電子透かし埋め込み装置。
（付記３）
前記パターン合成部は、前記電子透かしパターンと前記フリッカー抑制パターンとの各々を複数の小領域に分割し、得られた複数の小領域を並べたものを、前記時系列の画像の各々に重畳することを特徴とする付記１又は２に記載の電子透かし埋め込み装置。
（付記４）
前記フリッカー抑制パターン生成部は、前記フリッカー抑制パターンとして、互いに異なる周波数特性で面積が変動する変動する複数種類のパターンを生成し、
前記パターン合成部は、前記フリッカー抑制パターン生成部が生成した複数種類のパターンのいずれかを前記画像領域に重畳する、
ことを特徴とする付記１から３のうちのいずれか一項に記載の電子透かし埋め込み装置。
（付記５）
前記フリッカー抑制パターン生成部は、前記電子透かしパターンにおける面積の変動の周期とは異なる周波数特性で面積が変動する合成パターンを生成し、生成された合成パターンと該電子透かしパターとを重畳して前記フリッカー抑制パターンを生成することを特徴とする付記１から４のうちのいずれか一項に記載の電子透かし埋め込み装置。
（付記６）
所定の第一の値を持つ複数の画素を含み、一定の周期で面積が変動し、且つ、該面積の周期変動における位相が、電子透かし情報に含まれるシンボルの値に応じて変化する電子透かしパターンを生成し、
所定の第二の値を持つ複数の画素を含み、前記面積の変動の周期とは異なる周波数特性で面積が変動するフリッカー抑制パターンを生成し、
動画像を構成する時系列の画像の各々の画像領域に対して前記電子透かしパターンを重畳すると共に前記フリッカー抑制パターンを重畳して、該電子透かしパターン若しくは該フリッカー抑制パターンが重畳された画像領域内の各画素の値を、前記第一の値及び前記第二の値に応じて修正する、
ことを特徴とする電子透かし埋め込み方法。
（付記７）
前記フリッカー抑制パターンの生成では、前記フリッカー抑制パターンとして、前記電子透かしパターンにおける面積の変動の周期とは異なる一定の周期で面積が変動するパターンを生成することを特徴とする付記６に記載の電子透かし埋め込み方法。
（付記８）
前記電子透かしパターン及び前記フリッカー抑制パターンの重畳では、前記電子透かしパターンと前記フリッカー抑制パターンとの各々を複数の小領域に分割し、得られた複数の小領域を並べたものを、前記時系列の画像の各々に重畳することを特徴とする付記６又は７に記載の電子透かし埋め込み方法。
（付記９）
前記フリッカー抑制パターンの生成では、前記フリッカー抑制パターンとして、互いに異なる周波数特性で面積が変動する変動する複数種類のパターンを生成し、
前記電子透かしパターン及び前記フリッカー抑制パターンの重畳では、生成された複数種類のパターンのいずれかを前記画像領域に重畳する、
ことを特徴とする付記６から８のうちのいずれか一項に記載の電子透かし埋め込み方法。
（付記１０）
前記フリッカー抑制パターンの生成では、前記電子透かしパターンにおける面積の変動の周期とは異なる周波数特性で面積が変動する合成パターンを生成し、生成された合成パターンと該電子透かしパターとを重畳して前記フリッカー抑制パターンを生成することを特徴とする付記６から９のうちのいずれか一項に記載の電子透かし埋め込み方法。
（付記１１）
所定の第一の値を持つ複数の画素を含み、一定の周期で面積が変動し、且つ、該面積の周期変動における位相が、電子透かし情報に含まれるシンボルの値に応じて変化する電子透かしパターンを生成し、
所定の第二の値を持つ複数の画素を含み、前記面積の変動の周期とは異なる周波数特性で面積が変動するフリッカー抑制パターンを生成し、
動画像を構成する時系列の画像の各々の画像領域に対して前記電子透かしパターンを重畳すると共に前記フリッカー抑制パターンを重畳して、該電子透かしパターン若しくは該フリッカー抑制パターンが重畳された画像領域内の各画素の値を、前記第一の値及び前記第二の値に応じて修正する、
処理をコンピュータに実行させることを特徴とするプログラム。
（付記１２）
前記フリッカー抑制パターンの生成では、前記フリッカー抑制パターンとして、前記電子透かしパターンにおける面積の変動の周期とは異なる一定の周期で面積が変動するパターンを生成することを特徴とする付記１１に記載のプログラム。
（付記１３）
前記電子透かしパターン及び前記フリッカー抑制パターンの重畳では、前記電子透かしパターンと前記フリッカー抑制パターンとの各々を複数の小領域に分割し、得られた複数の小領域を並べたものを、前記時系列の画像の各々に重畳することを特徴とする付記１１又は１２に記載のプログラム。
（付記１４）
前記フリッカー抑制パターンの生成では、前記フリッカー抑制パターンとして、互いに異なる周波数特性で面積が変動する変動する複数種類のパターンを生成し、
前記電子透かしパターン及び前記フリッカー抑制パターンの重畳では、生成された複数種類のパターンのいずれかを前記画像領域に重畳する、
ことを特徴とする付記１１から１３のうちのいずれか一項に記載のプログラム。
（付記１５）
前記フリッカー抑制パターンの生成では、前記電子透かしパターンにおける面積の変動の周期とは異なる周波数特性で面積が変動する合成パターンを生成し、生成された合成パターンと該電子透かしパターとを重畳して前記フリッカー抑制パターンを生成することを特徴とする付記１１から１４のうちのいずれか一項に記載のプログラム。

１０ 電子透かし埋め込み装置
１１ 画像取得部
１２ 電子透かし情報取得部
１３ 電子透かしパターン生成部
１４ フリッカー抑制パターン生成部
１５ パターン合成部
２０ コンピュータ
２１ ＭＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク装置
２５ 入力装置
２６ 表示装置
２７ インタフェース装置
２８ 記録媒体駆動装置
２９ バスライン
３０ 可搬型記録媒体
４０ 電子透かし情報検出装置
４１ 平均画素値算出部
４２ 周波数変換部
４３ 透かし情報抽出部

Claims (7)

1. 動画像を構成する時系列の画像の入力を取得する画像取得部、
   電子透かし情報の入力を取得する電子透かし情報取得部、
   所定の第一の値を持つ複数の画素を含み、一定の周期で面積が変動し、且つ、該面積の周期変動における位相が、前記電子透かし情報に含まれるシンボルの値に応じて変化する電子透かしパターンを生成する電子透かしパターン生成部、
   所定の第二の値を持つ複数の画素を含み、前記面積の変動の周期とは異なる周波数特性で面積が変動するフリッカー抑制パターンを生成するフリッカー抑制パターン生成部、及び
   前記時系列の画像の各々の画像領域に対して前記電子透かしパターンを重畳すると共に前記フリッカー抑制パターンを重畳して、該電子透かしパターン及び該フリッカー抑制パターンが重畳された画像領域内の各画素の値を、前記第一の値及び前記第二の値に応じて修正するパターン合成部、
   を備えることを特徴とする電子透かし埋め込み装置。
2. 前記フリッカー抑制パターン生成部は、前記フリッカー抑制パターンとして、前記電子透かしパターンにおける面積の変動の周期とは異なる一定の周期で面積が変動するパターンを生成することを特徴とする請求項１に記載の電子透かし埋め込み装置。
3. 前記パターン合成部は、前記電子透かしパターンと前記フリッカー抑制パターンとの各々を複数の小領域に分割し、得られた複数の小領域を並べたものを、前記時系列の画像の各々に重畳することを特徴とする請求項１又は２に記載の電子透かし埋め込み装置。
4. 前記フリッカー抑制パターン生成部は、前記フリッカー抑制パターンとして、互いに異なる周波数特性で面積が変動する変動する複数種類のパターンを生成し、
   前記パターン合成部は、前記フリッカー抑制パターン生成部が生成した複数種類のパターンのいずれかを前記画像領域に重畳する、
   ことを特徴とする請求項１から３のうちのいずれか一項に記載の電子透かし埋め込み装置。
5. 前記フリッカー抑制パターン生成部は、前記電子透かしパターンにおける面積の変動の周期とは異なる周波数特性で面積が変動する合成パターンを生成し、生成された合成パターンと該電子透かしパターンとを重畳して前記フリッカー抑制パターンを生成することを特徴とする請求項１から４のうちのいずれか一項に記載の電子透かし埋め込み装置。
6. 所定の第一の値を持つ複数の画素を含み、一定の周期で面積が変動し、且つ、該面積の周期変動における位相が、電子透かし情報に含まれるシンボルの値に応じて変化する電子透かしパターンを生成し、
   所定の第二の値を持つ複数の画素を含み、前記面積の変動の周期とは異なる周波数特性で面積が変動するフリッカー抑制パターンを生成し、
   動画像を構成する時系列の画像の各々の画像領域に対して前記電子透かしパターンを重畳すると共に前記フリッカー抑制パターンを重畳して、該電子透かしパターン及び該フリッカー抑制パターンが重畳された画像領域内の各画素の値を、前記第一の値及び前記第二の値に応じて修正する、
   ことを特徴とする電子透かし埋め込み方法。
7. 所定の第一の値を持つ複数の画素を含み、一定の周期で面積が変動し、且つ、該面積の周期変動における位相が、電子透かし情報に含まれるシンボルの値に応じて変化する電子透かしパターンを生成し、
   所定の第二の値を持つ複数の画素を含み、前記面積の変動の周期とは異なる周波数特性で面積が変動するフリッカー抑制パターンを生成し、
   動画像を構成する時系列の画像の各々の画像領域に対して前記電子透かしパターンを重畳すると共に前記フリッカー抑制パターンを重畳して、該電子透かしパターン及び該フリッカー抑制パターンが重畳された画像領域内の各画素の値を、前記第一の値及び前記第二の値に応じて修正する、
   処理をコンピュータに実行させることを特徴とするプログラム。