JP6118295B2 - マーカ埋め込み装置、マーカ検出装置、方法、及びプログラム - Google Patents

Description

本発明は、電子透かしの埋め込まれた動画像に対して射影変換が施された場合においても電子透かしの検出を容易にするためのマーカ埋め込み装置、マーカ検出装置、方法、及びプログラムに関するものである。

画像、映像といったコンテンツの流通の際、コンテンツ識別・管理や著作権保護・管理、関連情報提供などの目的のため、人間の目に知覚されないようにコンテンツ内に別の情報を埋め込む電子透かし技術を用いる方法が知られている。

特に、画像・映像コンテンツに対する電子透かし技術においては、画素値の微小変更に基づく方法が一般的である。具体的方法として、例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分とを独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある（特許文献１）。

また、電子透かしにおいては、デジタルコンテンツを表すデジタル信号が、電子透かしの埋め込み後に受ける様々な改変に対して耐性を持つこと、すなわち様々な改変を受けた上で電子透かしを検出できることが必要である。

特に重要な改変として、幾何学的変換が挙げられる。幾何学的変換への耐性は、対象となる画像・映像コンテンツをカメラで再撮影して、そのコンテンツに埋め込まれた電子透かしを検出する場合に必須の要件となっている。なぜなら、撮影する距離やアングルの違い等により、幾何学的変換が生じるからである。

幾何学的変換に対して耐性を持たせる方法としては、電子透かしが埋め込まれている画像の縁を検出し、画像の四隅の位置を特定することで逆射影変換を行って変換前の状態を復元する方法がある（特許文献２）。

また、電子透かしを空間的な繰り返しパターンとして埋め込み、検出時にはそのパターンの自己相関を利用して補正する方法がある（特許文献３）。

また、画像の周波数空間上に人間に不可視なかたちでマーカを埋め込み、それを使って補正する方法がある（特許文献４、特許文献５）。

特開２００３−２１９１４８号公報 特許第４０２００９３号公報 特表２００３−５１０９３１号公報 特許第３９４９６７９号公報 特開２０１０−２３２８８６号公報

しかし、特許文献２記載の方法では、射影変換による変形を伴った画像からも電子透かしを検出できるが、画像の縁を安定的に検出するためには画像の周囲に黒い枠もしくは白い枠で囲う必要があり、当該枠は、人間の目で知覚されるため、コンテンツ自体のデザイン性を大きく損ねてしまう問題がある。

また、特許文献３〜５記載の方法では、人間の目で知覚されることなく、幾何学的変換を伴った画像から電子透かしを検出することは可能であるが、対応可能なのは回転、スケール変換などに代表されるアフィン変換のみであり、射影変換までは対応できないという問題がある。

また、マーカパターンの埋め込み強度とマーカ検出安定性の間でトレードオフの関係が成立しているため、マーカの検出を安定して行うためにはマーカパターンの埋め込み強度を強めた方が良く、必然的にマーカが視認され易くなるといった問題がある。

さらに、マーカパターンを高速に検出するには、いかに効率よくそのマーカを検出できるかが重要となるが、従来の手法はマーカを構成する要素の探索が画面全体の総当たりな手法に基づいているため、例えば、拡張現実感技術（ＡＲ）と組み合わせて利用するなど、よりシビアにリアルタイム処理が求められる場合には限界があるという問題がある。

本発明では、上記問題点を解決するために成されたものであり、人間の目で知覚されることなく、射影変換を伴った画像から電子透かしを精度よく、高速に検出できるようにマーカを、動画像に埋め込むことができるマーカ埋め込み装置、方法、及びプログラムを提供することを目的とする。

また、射影変換が施された動画像を元の動画像に変換する際に用いるマーカを、精度よく、高速に動画像から検出することができるマーカ検出装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係るマーカ埋め込み装置は、入力された動画像の各フレームの画像について、前記画像の知覚されにくい色成分において、予め定められた多角形の枠状パターンであって、かつ、前記枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを、予め定められた領域に重畳するマーカ重畳部と、前記動画像の各フレームの画像について、前記マーカ重畳部により前記画像に重畳された前記マーカとの位置関係において定められる前記画像の領域に電子透かし情報を重畳する電子透かし情報重畳部と、前記動画像の各フレームに対する、前記マーカと前記電子透かし情報とを重畳した画像を出力する埋め込み済み画像出力部と、を含んで構成されおり、前記マーカ重畳部は、前記動画像の各フレームの画像について、予め定められた第１時間周波数で前記画像ごとに重畳の強さを周期的に変化させて前記マーカを重畳するマーカ埋め込み装置である。

第２の発明に係るマーカ埋め込み方法は、マーカ重畳部と、電子透かし情報重畳部と、埋め込み済み画像出力部と、を含む、マーカ埋め込み装置における、マーカ埋め込み方法であって、前記マーカ重畳部により、入力された動画像の各フレームの画像について、前記画像の知覚されにくい色成分において、予め定められた多角形の枠状パターンであって、かつ、前記枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを、予め定められた領域に重畳するステップと、前記電子透かし情報重畳部により、前記動画像の各フレームの画像について、前記マーカ重畳部により前記画像に重畳された前記マーカとの位置関係において定められる前記画像の領域に電子透かし情報を重畳するステップと、前記埋め込み済み画像出力部により、前記動画像の各フレームに対する、前記マーカと前記電子透かし情報とを重畳した画像を出力するステップと、を含む、マーカ埋め込み方法であって、前記マーカ重畳部により前記マーカを重畳するステップは、前記動画像の各フレームの画像について、予め定められた第１時間周波数で前記画像ごとに重畳の強さを周期的に変化させて前記マーカを重畳するマーカ埋め込み方法である。

第１及び第２の発明によれば、マーカ重畳部により、入力された動画像の各フレームの画像について、画像の知覚されにくい色成分において、予め定められた多角形の枠状パターンであって、かつ、枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを、予め定められた領域に重畳し、電子透かし情報重畳部により、動画像の各フレームの画像について、マーカ重畳部により画像に重畳されたマーカとの位置関係において定められる画像の領域に電子透かし情報を重畳し、埋め込み済み画像出力部により、動画像の各フレームに対する、マーカと電子透かし情報とを重畳した画像を出力する。

このように、入力された動画像の各フレームの画像について、画像の知覚されにくい色成分において、予め定められた多角形の枠状パターンであって、かつ、枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを、予め定められた領域に重畳し、動画像の各フレームの画像について、画像に重畳されたマーカとの位置関係において定められる画像の領域に電子透かし情報を重畳し、動画像の各フレームに対する、マーカと電子透かし情報とを重畳した画像を出力することにより、人間の目で知覚されることなく、射影変換を伴った画像から電子透かしを精度よく、高速に検出できるようにマーカを、動画像に埋め込むことができる。

また、第１の発明において、前記電子透かし情報重畳部は、前記動画像の各フレームの画像について、前記第１時間周波数と異なる予め定められた第２時間周波数で前記画像ごとに重畳の強さを周期的に変化させて前記電子透かし情報を重畳してもよい。

第３の発明に係るマーカ検出装置は、入力された動画像の各フレームの画像について、予め定められた多角形の枠状パターンであって、かつ、前記枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを重畳するときに用いた予め定められた第１時間周波数で変化する成分を検出するためのフィルタを用いて、前記画像から前記マーカを表す成分からなるマーカ成分画像を分離する時間周波数フィルタ部と、前記動画像の各フレームの画像について、前記時間周波数フィルタ部により分離された前記画像の前記マーカ成分画像について、前記マーカ成分画像の前記枠状パターン内となるように予め定められた位置の特定画素より、予め定められた隣接画素方向の各々に向かってエッジ成分を探索し、前記隣接画素方向の各々に対し、前記隣接画素方向に探索されたエッジ成分の画素の各々について、前記エッジ成分の画素から、予め定められた隣接画素方向の各々に向かって連続するエッジ成分の画素を探索し、探索された、連続するエッジ成分の画素を辺候補として抽出する辺候補抽出部と、前記動画像の各フレームの画像について、前記辺候補抽出部により抽出された各辺候補の組み合わせにより、前記予め定められた多角形に対応する多角形候補の各々を構成する多角形候補構成部と、前記多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、前記画像に重畳された前記マーカを決定するマーカ決定部と、前記動画像の各フレームの画像について、前記マーカ決定部により決定されたマーカに基づいて、前記画像に対して射影変換を行う射影変換補正部と、前記動画像の各フレームの画像について、前記射影変換補正部による射影変換により得られた画像における、前記マーカ決定により決定された前記画像のマーカとの位置関係で定められる領域から電子透かし情報を検出する電子透かし情報検出部と、を含んで構成されている。

第４の発明に係るマーカ検出方法は、時間周波数フィルタ部と、辺候補抽出部と、多角形候補構成部と、マーカ決定部と、射影変換補正部と、電子透かし情報検出部と、を含むマーカ検出装置における、マーカ検出方法であって、前記時間周波数フィルタ部により、入力された動画像の各フレームの画像について、予め定められた多角形の枠状パターンであって、かつ、前記枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを重畳するときに用いた予め定められた第１時間周波数で変化する成分を検出するためのフィルタを用いて、前記画像から前記マーカを表す成分からなるマーカ成分画像を分離するステップと、前記辺候補抽出部により、前記動画像の各フレームの画像について、前記時間周波数フィルタ部により分離された前記画像の前記マーカ成分画像について、前記マーカ成分画像の前記枠状パターン内となるように予め定められた位置の特定画素より、予め定められた隣接画素方向の各々に向かってエッジ成分を探索し、前記隣接画素方向の各々に対し、前記隣接画素方向に探索されたエッジ成分の画素の各々について、前記エッジ成分の画素から、予め定められた隣接画素方向の各々に向かって連続するエッジ成分の画素を探索し、探索された、連続するエッジ成分の画素を辺候補として抽出するステップと、前記多角形候補構成部により、前記動画像の各フレームの画像について、前記辺候補抽出部により抽出された各辺候補の組み合わせにより、前記予め定められた多角形に対応する多角形候補の各々を構成するステップと、前記マーカ決定部により、前記多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、前記画像に重畳された前記マーカを決定するステップと、前記射影変換補正部により、前記動画像の各フレームの画像について、前記マーカ決定部により決定されたマーカに基づいて、前記画像に対して射影変換を行うステップと、前記電子透かし情報検出部により、前記動画像の各フレームの画像について、前記射影変換補正部による射影変換により得られた画像における、前記マーカ決定により決定された前記画像のマーカとの位置関係で定められる領域から電子透かし情報を検出するステップと、を含むマーカ検出方法。

第３及び第４の発明によれば、時間周波数フィルタ部により、入力された動画像の各フレームの画像について、動画像の各フレームの画像に予め定められた多角形の枠状パターンであって、かつ、枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを重畳するときに用いた予め定められた第１時間周波数で変化する成分を検出するためのフィルタを用いて、画像からマーカを表す成分からなるマーカ成分画像を分離するステップと、辺候補抽出部により、動画像の各フレームの画像について、時間周波数フィルタ部により分離された画像のマーカ成分画像について、マーカ成分画像の枠状パターン内となるように予め定められた位置の特定画素より、予め定められた隣接画素方向の各々に向かってエッジ成分を探索し、隣接画素方向の各々に対し、隣接画素方向に探索されたエッジ成分の画素の各々について、エッジ成分の画素から、予め定められた隣接画素方向の各々に向かって連続するエッジ成分の画素を探索し、探索された、連続するエッジ成分の画素を辺候補として抽出するステップと、多角形候補構成部により、動画像の各フレームの画像について、辺候補抽出部により抽出された各辺候補の組み合わせにより、予め定められた多角形に対応する多角形候補の各々を構成するステップと、マーカ決定部により、多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、画像に重畳されたマーカを決定するステップと、射影変換補正部により、動画像の各フレームの画像について、マーカ決定部により決定されたマーカに基づいて、画像に対して射影変換を行うステップと、電子透かし情報検出部により、動画像の各フレームの画像について、射影変換補正部による射影変換により得られた画像における、マーカ決定により決定された画像のマーカとの位置関係で定められる領域から電子透かし情報を検出する。

このように、入力された動画像の各フレームの画像について、マーカを重畳するときに用いた予め定められた第１時間周波数で変化する成分を検出するためのフィルタを用いて、画像から、予め定められた多角形の枠状パターンであって、かつ、枠状パターンの内側から外側へ、濃淡の強度が単調に増加し又は減少する枠状パターンを有するマーカを表す成分からなるマーカ成分画像を分離し、動画像の各フレームの画像について、分離された画像のマーカ成分画像について、特定画素より、予め定められた隣接画素方向の各々に向かってエッジ成分を探索し、探索されたエッジ成分の画素の各々について、エッジ成分の画素から、予め定められた隣接画素方向の各々に向かって連続するエッジ成分の画素を探索し、探索された、連続するエッジ成分の画素を辺候補として抽出し、抽出された各辺候補の組み合わせにより、多角形候補の各々を構成し、構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、画像に重畳されたマーカを決定することによって、射影変換が施された動画像を元の動画像に変換する際に用いるマーカを、精度よく、高速に動画像から検出することができる。

また、第３及び第４の発明において、前記マーカ決定部は、前記多角形候補構成部により構成された多角形候補の各々について、並列処理で、前記動画像の各フレームの画像について構成された前記多角形候補に対し、前記多角形候補の属性を時系列に比較して、前記多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、前記画像に重畳もよい。

また、第３及び第４の発明において、前記マーカ決定部は、前記多角形候補構成部により構成された多角形候補の各々について、並列処理で、前記動画像の各フレームの画像について構成された前記多角形候補に対し、前記多角形候補の属性を時系列に比較し、前記多角形候補に含まれるエッジ成分の画素の各々のエッジの向きの逆転の発生数を取得し、前記多角形候補の各々について取得された前記エッジの向きの逆転の発生数に基づいて、前記多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、前記画像に重畳された前記マーカを決定してもよい。

また、本発明のプログラムは、上記のマーカ埋め込み方法又はマーカ検出方法の各ステップをコンピュータに実行させるためのプログラムである。

以上説明したように、本発明のマーカ埋め込み装置、方法、及びプログラムによれば、入力された動画像の各フレームの画像について、画像の知覚されにくい色成分において、予め定められた多角形の枠状パターンであって、かつ、枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを、予め定められた領域に重畳し、動画像の各フレームの画像について、画像に重畳されたマーカとの位置関係において定められる画像の領域に電子透かし情報を重畳し、動画像の各フレームに対する、マーカと電子透かし情報とを重畳した画像を出力することにより、人間の目で知覚されることなく、射影変換を伴った画像から電子透かしを精度よく、高速に検出できるようにマーカを、動画像に埋め込むことができる。

また、本発明のマーカ検出装置、方法、及びプログラムによれば、入力された動画像の各フレームの画像について、マーカを重畳するときに用いた予め定められた第１時間周波数で変化する成分を検出するためのフィルタを用いて、画像から、予め定められた多角形の枠状パターンであって、かつ、枠状パターンの内側から外側へ、濃淡の強度が単調に増加し又は減少する枠状パターンを有するマーカを表す成分からなるマーカ成分画像を分離し、動画像の各フレームの画像について、分離された画像のマーカ成分画像について、特定画素より、予め定められた隣接画素方向の各々に向かってエッジ成分を探索し、探索されたエッジ成分の画素の各々について、エッジ成分の画素から、予め定められた隣接画素方向の各々に向かって連続するエッジ成分の画素を探索し、探索された、連続するエッジ成分の画素を辺候補として抽出し、抽出された各辺候補の組み合わせにより、多角形候補の各々を構成し、構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、画像に重畳されたマーカを決定することによって、射影変換が施された動画像を元の動画像に変換する際に用いるマーカを、精度よく、高速に動画像から検出することができる。

画像周囲に配置される枠状の濃淡パターンをマーカとして重畳する例を示す図である。 マーカのパターンとマーカの埋め込み強度の例を示す図である。 電子透かしの埋め込みの例を示す図である。 マーカの各辺方向のスキャンの例を示す図である。 マーカの各辺方向のスキャン方向に垂直な方向（プラスマイナス両方向）のスキャンの例を示す図である。 四辺形らしさを評価する例を示す図である。 本発明の実施の形態に係るマーカ埋め込み装置の機能的構成を示すブロック図である。 マーカ及び電子透かしを重畳する際に用いる時間周波数の周期の例を示す図である。 本発明の実施の形態に係るマーカ検出装置の機能的構成を示すブロック図である。 本発明の実施の形態に係るマーカ埋め込み装置におけるマーカ埋め込み装置処理ルーチンを示すフローチャート図である。 本発明の実施の形態に係るマーカ検出装置におけるマーカ検出処理ルーチンを示すフローチャート図である。 本発明の実施の形態に係るマーカ検出装置における辺候補の抽出処理ルーチンを示すフローチャート図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の原理＞

本発明の実施の形態においては、図１に示すような、画像周囲に配置される多角形の枠状の濃淡パターンをマーカとして重畳する。ただし、図２のように、枠状パターンの内側から外側に向うにしたがってその濃度の強度が単調に増加し又は減少するようなパターンである。これにより、マーカの一番外側の縁に一定の強さの濃度変化が現れることが期待できる。

当該マーカは、人間の目に知覚されないように、視覚特性において知覚されにくい色成分に埋め込むことにする。本実施の形態においては、画像をＲＧＢからＹＣｂＣｒへ変換し、Ｃｂ成分に埋め込むこととする。

また、電子透かしの埋め込みはマーカとの位置関係で定義される領域内の所定の位置に行うこととする。図３に埋め込み領域の一例を示す。ここで、図３のようにマーカと電子透かしとを同一の場所に重ねて埋め込むと、一般にはマーカパターンと電子透かしパターンが干渉し合い、マーカパターンを検出することが困難となる。

そこで、マーカパターンと電子透かしパターンとを異なる時間周波数で周期的に変動するように埋め込むこととする。一方、電子透かしの検出においては、カメラ撮影等により取得された画像の知覚されにくい色成分から、埋め込まれたマーカを検出する。その際、取得画像をマーカ成分と電子透かし成分とその他成分に分離するために、マーカ成分特有の周波数通過フィルタおよび電子透かし特有の周波数通過フィルタを利用する。

そして、分離されたマーカ成分画像からマーカの位置を特定し、マーカが指定する位置情報から、分離された電子透かし成分画像の逆射影変換を行うことで幾何学的変換前の状態に復元する。復元された画像から電子透かしを検出することになる。

ここで、マーカパターンを高速に検出するために、特許文献２で用いられている枠検出手段を応用する。すなわち、マーカが四辺形だとした場合、図４に示すように、キャプチャしたカメラ画像の中心位置、又は予め定められた位置を予め定められた位置の特定画素とし、予め定められた隣接画素方向の各々である、マーカの枠状パターンである四辺形の各辺方向の上下左右４方向の各々にスキャンしていき、それぞれの方向におけるエッジ成分（値の変化の急激な箇所）を探索する。いったんエッジ成分が見つかったら、今度は、図５に示すように、当該エッジ成分が見つかった画素の、予め定められた隣接画素方向の各々である、当該スキャン方向に垂直な方向（プラスマイナス両方向）で連結されたエッジ成分をトレースしていく。

その予め定められた隣接画素方向である垂直方向の両方向へのトレースにより、画像の端の線分に関する候補が決定される。これを各スキャン方向の最後の位置まで繰り返し行うことで、画像の端の線分により構成される四辺形の各辺候補が抽出されることになる。辺候補を組み合わせでできる複数の仮想四辺形から選択された四辺形候補のうち、図６に示すように、最も画像周辺の縁の形状を忠実に再現できているものを選択する。この手法により、画像の全スキャンを行わず、必要最低限の画素参照を行うだけで精度良く四辺形を検出できる。

ここで、多くの四辺形候補からいかにして正しい画像領域の四辺形を選び出すかということを考える。特許文献２で用いられているような従来手法では、主にＹ成分（明度）の時間方向に変化のないエッジ線分によって構成される四辺形ならば全て画像周辺の枠として検出されてしまい、誤った四辺形領域が追跡され続けてしまう場合が多く存在した。

さらに、画像全体が夜景のような暗い背景で、かつ、ディスプレイの色が黒色である場合、画像の縁に生起すべきエッジが十分に現れず、結果として真の四辺形が全く検出できない場合もある。

そこで、本実施の形態では、埋め込むマーカパターンのもう一つの特徴である、時間方向の特定周波数による変動を積極的に利用する。すなわち、マーカパターンのエッジ成分は一定時間の周期でプラスマイナスが変動しているため、半周期前の線分のエッジ方向は今の線分のエッジ方向のちょうど逆になっているはずである。これを四辺形追跡過程で常に確認することにより、複数の四辺形候補からマーカとなる真の四辺形を特定することが可能となる。すなわち、複数の四辺形候補を並列的に追跡し、それらのエッジ方向が半周期前と比べて逆転しているかどうか逐次的にチェックし、そのエッジ方向の逆転の発生数がある閾値を越えたものをマーカとなる真の四辺形と判断し、複数候補から唯一つの真の枠（マーカの位置情報）を選び出す。これにより、画像内に含まれる四辺形状の物体やディスプレイの外側にある棚などの紛らわしい四辺形を検出することを防ぐことができる。

また、本実施の形態では、画像周辺に配置された枠状のマーカを対象画像の所定位置に重畳するとともに、それらのマーカとの位置関係で定義された領域内の所定位置に電子透かしを埋め込む。その際、マーカおよび電子透かしをそれぞれ時間的に異なる周波数で周期変動するように埋め込み、検出時にはそれぞれの周波数通過フィルタにより各成分に分離することで、マーカと電子透かしが干渉し合うことなく、両者を同じ場所に重ねて埋め込むことを可能とし、マーカ検出精度を向上させることができる。

また、検出されたマーカの位置情報から逆射影変換を行うことで幾何学的変換前の状態に復元し、電子透かしを検出する。これにより、人間の目で知覚されることなく、射影変換を伴った画像からも電子透かしを精度よく高速に検出できる。特に高速性においては、カメラキャプチャ画像に対する全スキャンを行うことなく効率的に探索することができるため、ＡＲのようなリアルタイム処理にも適している。また、人間が視認しにくいようマーカの埋め込み強度を小さくしても比較的安定してマーカ検出が可能である。

＜本実施の形態に係るマーカ埋め込み装置の構成＞
次に、本発明の本実施の形態に係るマーカ埋め込み装置の構成について説明する。図７に示すように、本発明の本実施の形態に係るマーカ埋め込み装置１００は、ＣＰＵと、ＲＡＭと、後述するマーカ埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このマーカ埋め込み装置１００は、機能的には図７に示すように入力部１０と、演算部２０と、出力部９０とを含んで構成されている。

マーカ埋め込み装置１００は、入力される映像コンテンツ（動画像）に対して、映像コンテンツ上の予め定められた領域に上述の特徴を有するマーカを、予め定められた第１時間周波数にて周期的に重畳の強さを変動して埋め込む。更に、マーカ埋め込み装置１００は、マーカが埋め込まれた映像コンテンツ（動画像）に対して、マーカの位置に基づいて特定される領域に、第１時間周波数と異なる予め定められた第２時間周波数において周期的に重畳の強さを変動して電子透かしを埋め込み、マーカ及び電子透かしを埋め込んだ映像コンテンツを出力する。

入力部１０は、予め用意された映像コンテンツをデジタルデータとして受け付ける。なお、映像の時系列に連続する各フレーム画像として一枚ずつ受け付ける。

演算部２０は、マーカ重畳部３０と、電子透かし情報重畳部４０と、埋め込み済画像出力部５０とを含んで構成されている。

マーカ重畳部３０は、入力部１０において受け付けた映像の各フレーム画像に対して、時間方向にマーカを重畳する強度を周期的に変動させながら、画像の所定の位置にマーカを重畳する。例えば、図１に示したように、画像周囲に１か所マーカを重畳する。本実施の形態においては、画像周囲に１か所マーカを重畳（埋め込む）する。なお、本実施の形態においては、マーカのパターンは、図２で示された四角枠状の濃淡パターンを用いる。ここで、マーカパターンは、内側から外側へ単調に濃淡が増加又は減少するパターンである。

具体的な重畳方式としては、画像をＲＧＢからＹＣｂＣｒに変換し、画像の所定の領域にマーカを重ね合わせ、対応する位置の画像の知覚されにくい色成分にマーカパターンを足しこむ。図２をマーカとして用いる場合は、図２右側に図として示された数値が加算値である。ここで、プラスの場合は加算、マイナスの場合は減算を行う。マーカ重畳の強度を調整するために、パラメータとして事前に設定した固定値ａを係数として全体に掛け合わせてから足しこんでも良い。

また、マーカを埋め込む強度を、図８(a)のように時間方向に周期的に変動させる。その際、図８(a)(b)のように、電子透かしの時間的変動と異なる周波数で変動させることとする。マーカは時間的に位置ずれする可能性があることから、マーカの時間的変動周波数は電子透かしの時間的変動周波数より高くした方が好ましい。なお、本実施の形態においては、マーカ及び電子透かし共に、重畳する強度は、時間的変動を伴うものとする。

電子透かし情報重畳部４０は、入力部１０において受け付けた映像の各フレーム画像に対して、各フレーム画像に埋め込まれたマーカとの相対的な位置関係にて定められる画像内の領域に、時間方向に電子透かしを重畳する強度を周期的に変動させながら、各フレーム画像の所定位置に電子透かしを重畳する。例えば、図３に示したような領域を、電子透かしを重畳する領域とする。他にも、マーカを１つフレーム画像中央に配置し、それ以外の領域を電子透かしの埋め込み領域とする方法など、幾つかのバリエーションが考えられる。なお、電子透かしを重畳する強度を決定する時間周波数はマーカ重畳部３０において用いられる時間周波数と異なる。具体的には、図８（ｂ）のような時間的周波数を用いる。

領域に電子透かしを重畳する方式は、採用する電子透かし方式に従うこととする。電子透かし方式には、特許文献１に記載の方式などさまざまな方式が提案されているが、いずれの電子透かし方式を採用してもよい。ただし、時間方向に特定の周波数で埋め込む電子透かし方式の場合、マーカの埋め込み強度に施す周期的変動とバッティングしないように時間周波数を設定する必要がある。また、本実施の形態において採用する電子透かし方式自体に幾何学的変換耐性がなくてもよい。なお、電子透かしが示す情報は、コンテンツの識別や管理、更にコンテンツの著作権保護及び管理、並びに関連情報提供などの画像に関する情報が含まれる。

埋め込み済画像出力部５０は、マーカ重畳部３０と電子透かし情報重畳部４０とによって、マーカ及び電子透かしが重畳された各フレーム画像を「埋め込み済み画像」とし、埋め込み済みの画像をフレームとして、時系列に一連の映像シーケンスに繋ぎ合わせて一つの映像コンテンツとして出力部９０に出力する。

出力部９０は、例えば、ＨＤＤや、ＤＶＤ−ＲＯＭや、ＣＤ−ＲＯＭなどの電子記録媒体や、ディスプレイ装置などである。出力先が電子記録媒体の場合には当該電子記録媒体に映像コンテンツを記録させ、出力先がディスプレイ装置である場合には当該ディスプレイ装置に出力された映像コンテンツを表示させることになる。

＜本実施の形態に係るマーカ検出装置の構成＞
次に、本発明の本実施の形態に係るマーカ検出装置の構成について説明する。図９に示すように、本発明の本実施の形態に係るマーカ検出装置２００は、ＣＰＵと、ＲＡＭと、後述するマーカ検出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このマーカ検出装置２００は、機能的には図９に示すように入力部２１０と、演算部２２０と、出力部２９０とを含んで構成されている。

マーカ検出装置２００は、入力される映像コンテンツ（動画像）に対して、所定のマーカが重畳されているかを判定し、マーカを検出した場合、マーカに基づいて、映像コンテンツに対して重畳されている電子透かしを検出し、検出した電子透かしが示す情報を出力する。

入力部２１０は、検出対象の電子透かしが埋め込まれた映像コンテンツをカメラ等で撮影したデジタルデータ、並びに、検出対象の電子透かしが埋め込まれた映像コンテンツが加工（例えば、射影変換）されたデジタルデータを受け付ける。なお、埋め込まれている電子透かしが、検出の際に複数の映像の時系列に連続する各フレーム画像を必要とするため、必要となる枚数のフレーム画像をまとめて時系列順に受け付ける。本実施の形態においては、デジタルデータの全フレーム画像をまとめて時系列順に、入力部２１０において受け付ける。

演算部２２０は、時間周波数フィルタ部２３０と、マーカ検出部２４０と、射影変換補正部２５０と、電子透かし情報検出部２６０と、を含んで構成されている。

時間周波数フィルタ部２３０は、入力部２１０において受け付けた各フレーム画像に対し、時間周波数フィルタを通過させることにより、マーカ成分画像と電子透かし成分画像とその他成分画像に分離する。具体的には、マーカ成分特有の第１時間周波数で変化する成分を通過させる第１周波数通過フィルタ、および電子透かし特有の第２時間周波数で変化する成分を通過させる第２周波数通過フィルタの２種類を用いて、各フレーム画像を、マーカ成分画像と、電子透かし成分画像と、マーカ成分画像及び電子透かし成分画像を除いたその他成分画像とに分離する。マーカ成分と電子透かし成分は異なる時間周波数で埋め込まれているため、このような処理で両者成分を分離することが可能となる。なお、マーカ成分画像を分離する際に用いるマーカ成分特有の第１周波数通過フィルタは、マーカ埋め込み装置１００のマーカ重畳部３０において用いる第１時間周波数と同一の時間周波数で変化する成分を通過させるフィルタであり、電子透かし成分画像を分離する際に用いる電子透かし成分特有の第２周波数通過フィルタは、マーカ埋め込み装置１００の電子透かし情報重畳部４０にて用いる第２時間周波数と同一の時間周波数で変化する成分を通過させるフィルタである。

マーカ検出部２４０は、時間周波数フィルタ部２３０において分離された各フレーム画像のマーカ成分画像について、マーカ成分画像上のマーカが重畳されている位置を特定する。具体的には、各フレーム画像のマーカ成分画像について構成された多角形候補である四辺形候補を追跡し、多角形候補の属性を時系列に比較することによって、マーカを決定する。以下、各フレーム画像に埋め込まれたマーカが図２に示したマーカである場合について説明する。また、マーカ検出部２４０は、辺候補抽出部２４２と、多角形候補構成部２４４と、マーカ決定部２４６と、を含んで構成されている。

辺候補抽出部２４２は、まず、入力された各フレーム画像から分離されたマーカ成分画像の各々をＲＧＢ色空間の信号からＹＣｂＣｒ色空間の信号に変換し、人間が知覚しにくい色成分のマーカ成分画像の各々を抽出する。ＹＣｂＣｒ色空間においては、Ｃｂ成分のマーカ成分画像を抽出する。

次に、図４に示すように、予め定められた位置の特定画素である、取得したマーカ成分画像の中心に位置する画素から、予め定められた隣接画素方向の各々である、マーカの枠状パターンの形状である四辺形の各辺方向の上下左右の４方向の各々にスキャンしていき、それぞれの方向におけるエッジ成分（値の変化の急激な箇所）を探索する。ここで、スキャンの開始位置は、一時刻前のマーカ成分画像における四辺形検出位置の重心もしくはその重心と画像中心を結んだ線上の任意の位置に設定しても良い。なお、スキャンの開始位置が、検出されるマーカの枠状パターンの内側にある場合のみ、マーカの検出に成功する。

ここで、１方向のスキャンについて説明すると、図５に示すように、予め定められた特定画素よりスキャンを行い、いったんエッジ成分が見つかった場合、当該エッジ成分が見つかった画素の隣接画素８画素のうち予め定められた隣接画素方向で連結された画素におけるエッジ成分をトレースしていく。本実施の形態においては、当該エッジ成分が見つかった画素と垂直な方向（プラスマイナス両方向）で連結された画素におけるエッジ成分をトレースしていく。

そして、予め定められた隣接画素方向の隣接画素にエッジ成分がみつからなくなったら、エッジ成分が検出されなかった位置のひとつ前の検出位置の画素を線分の片側の端点とする。なお、画像の端までトレースされた場合は、その最後の位置の画素を線分の片側の端点とする。予め定められた隣接画素方向のトレースにより、埋め込んだ画像の端の線分に関する候補が決定され、当該端点の各々を結んだ線分を、当該スキャン方向に位置する辺候補として抽出する。当該処理を、各辺方向であるスキャン方向の最後の位置まで繰り返し行うことで、埋め込んだ画像の端の線分により構成される各辺方向のスキャン方向の辺候補の各々が抽出される。同様に、全ての辺方向の各々のスキャン候補について、同様の処理を行うことにより、埋め込んだ画像の端の線分により構成される各辺方向の辺候補の各々を抽出する。

多角形候補構成部２４４は、辺候補抽出部２４２において抽出された四辺形の辺候補の各々に基づいて、多角形候補である四辺形候補の各々を構成する。具体的には、各辺方向のスキャン方向の各々について抽出された辺候補の各々について、辺方向毎に、１つの辺候補を選択し、選択された各辺候補の各々を組み合わせて四辺形に対応する仮想四辺形の各々を構成する。なお、仮想四辺形は、スキャン方向毎の全ての辺候補の組み合わせについて構成するが、マーカ検出対象となる四辺形候補数の総数は、予め定められているものとする。具体的には、スキャン方向毎の全ての辺候補の組み合わせについて構成された仮想四辺形の各々について、図６のように評価値（特許文献２）を算出し、当該評価値が高いほうからマーカ検出対象となる四辺形候補の各々を選択する。

マーカ決定部２４６は、多角形候補構成部２４４において取得した、マーカ成分画像毎の四辺形候補の各々について、図６に示すように、最も埋め込まれた画像周辺の縁の形状を忠実に再現できているものを１つ選択し、当該選択された四辺形候補を、当該マーカ成分画像のマーカとして決定し、抽出する。

ここで、埋め込むマーカパターンのもう一つの特徴である、時間方向の特定周波数による変動を積極的に利用する。すなわち、マーカパターンのエッジ成分は一定時間の周期でプラスマイナスが変動しているため、半周期前の線分の属性であるエッジ方向は今の線分の属性であるエッジ方向のちょうど逆になっているはずである。これを、四辺形候補の各々について、四辺形追跡過程で常に確認することにより、複数の四辺形候補からマーカとなる真の四辺形を特定することが可能となる。すなわち、複数の四辺形候補の各々について、マーカ成分画像毎の四辺形候補を並列的に追跡し、それらのエッジ方向が半周期前と比べて逆転しているかどうか逐次的にチェックし、その逆転の発生数が予め設定された閾値を超えたものを、マーカとなる真の四辺形と判断する。

具体的には、マーカ成分画像の各々において追跡された四辺形候補について、当該四辺形候補の各々が半周期前の線分のエッジ方向と逆になっている場合に、当該追跡された四辺形候補のエッジ方向の反転数をカウントする。当該処理を、追跡された四辺形候補の各々について行った結果、追跡された四辺形候補のうち、エッジ方向の反転数が閾値を超えた四辺形候補を、当該マーカ成分画像のマーカとして検出する。また、エッジ方向の反転数が閾値を超える四辺形候補が存在しない場合には、評価値が一番大きい四辺形候補を、当該マーカ成分画像のマーカとして検出するようにしてもよい。

また、本実施の形態においては、個々の四辺形候補の追跡方法は、例えば特許文献６を利用することができる（特許文献６：特許第４５７１１１５号公報）。マーカが検出されなかった場合には、電子透かし及びマーカが埋め込まれていない、あるいは、マーカ検出が失敗したと判断し、射影変換補正部２５０以降の処理は行わないこととする。

マーカ検出部２４０は、各フレーム画像について、上述の処理により、マーカを検出し、マーカの位置に基づいて、電子透かしが埋め込まれた領域を特定することができる。

射影変換補正部２５０は、各フレーム画像の電子透かし成分画像について、マーカ検出部２４０によって特定された、電子透かしが埋め込まれた領域の位置に基づいて、逆射影変換を行う。このとき、射影変換補正部２５０は、例えば特許文献２に記載されている技術と同じ技術を適用するようにしてもよい。また、射影変換補正部２５０は、マーカ検出部２４０が算出した射影変換行列を利用するようにしてもよい。

電子透かし情報検出部２６０は、逆射影変換によって得られた各フレーム画像の電子透かし成分画像について、電子透かし情報重畳部４０によって埋め込まれた電子透かしを、当該電子透かしに応じた方式によって検出する。なお、このとき、埋め込まれている電子透かしは、検出の際、時系列的に複数の画像を必要とする場合を想定し、マーカ検出部２４０および射影変換補正部２５０をフレーム画像枚数分繰り返し、射影変換が補正された画像を必要枚数得てから電子透かしを検出する。電子透かし情報検出部２６０は、検出した電子透かしが示す情報を出力部２９０に出力する。

出力部２９０は、電子透かし情報検出部２６０が出力する情報、すなわち電子透かしが示す電子透かしを外部に出力する。

＜本実施の形態に係るマーカ埋め込み装置の作用＞
次に、本実施の形態に係るマーカ埋め込み装置１００の作用について説明する。入力部１０において、予め用意された映像コンテンツの動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、マーカ埋め込み装置１００によって、図１０に示すマーカ埋め込み装置処理ルーチンが実行される。

まず、ステップＳ１００では、入力部１０において受け付けた各フレームの画像のうち、処理対象となるフレーム画像全体のＣｂ成分に対して、フレーム間で第１時間周波数において、重畳の強さが変化するように、マーカを重畳する。

次に、ステップＳ１０２では、処理対象のフレーム画像について、ステップＳ１００において重畳したマーカとの相対的な位置関係において定められる当該フレーム画像内の領域に、フレーム間で第２時間周波数において、重畳の強さが変化するように、所定の電子透かしを重畳する。

ステップＳ１０４では、処理対象となる全てのフレーム画像について処理を終了したか否かを判定する。処理対象となる全てのフレーム画像について処理を終了した場合にはステップＳ１０６へ移行し、処理対象となる全てのフレーム画像について処理を終了していない場合には、処理対象となるフレーム画像を変更し、ステップＳ１００からステップＳ１０４の処理を行う。

ステップＳ１０６では、入力部１０において受け付けた各フレームの画像を受け付けた順に、上記ステップＳ１００、及びＳ１０２でマーカ及び電子透かしが重畳されたフレーム画像をつなぎ合わせる。

ステップＳ１０８では、ステップＳ１０６においてつなぎ合わせた動画像を出力部９０に出力してマーカ埋め込み処理ルーチンを終了する。

＜本実施の形態に係るマーカ検出装置の作用＞
次に、本実施の形態に係るマーカ検出装置２００の作用について説明する。入力部２１０において、予め用意された映像コンテンツの動画像について、時系列に連続する各フレーム画像を、電子透かし情報を検出するために必要な所定枚数だけ受け付けると、マーカ検出装置２００によって、図１１に示すマーカ検出処理ルーチンが実行される。

ステップＳ２００では、入力部１０において受け付けた各フレーム画像のうち、処理対象となるフレーム画像について、マーカ埋め込み装置１００においてマーカを重畳する際に用いた第１時間周波数に対応する第１時間周波数フィルタを用いて、当該フレーム画像からマーカ成分画像を分離する。また、マーカ埋め込み装置１００において電子透かしを重畳する際に用いた第２時間周波数に対応する第２時間周波数フィルタを用いて、当該フレーム画像から電子透かし成分画像を分離する。

次に、ステップＳ２０２では、ステップＳ２００において取得した処理対象となるフレーム画像のマーカ成分画像について、辺候補の各々を抽出する。

次に、ステップＳ２０４では、ステップＳ２０２において取得した処理対象となるフレーム画像のマーカ成分画像における辺候補の各々に基づいて、仮想四辺形の各々を構成する。

次に、ステップＳ２０６では、ステップＳ２０４において取得した処理対象となるフレーム画像のマーカ成分画像における仮想四辺形の各々の四辺形らしさを評価し、当該評価値の各々に基づいて、マーカ検出対象となる四辺形候補の各々を選択する。

次に、ステップＳ２０８では、処理対象となる全てのフレーム画像について、ステップＳ２００〜ステップＳ２０６までの処理を終了したか否かを判定する。処理対象となる全てのフレーム画像についてステップＳ２００〜ステップＳ２０６までの処理を終了している場合には、ステップＳ２１０へ移行し、処理対象となる全てのフレーム画像についてステップＳ２００〜ステップＳ２０６までの処理を終了していない場合には、処理対象となるフレーム画像を変更し、ステップＳ２００〜ステップＳ２０６までの処理を繰り返す。

次に、ステップＳ２１０では、ステップＳ２０６において取得したフレーム画像毎の四辺形候補の各々に基づいて、四辺形候補の追跡を行い、追跡された各四辺形候補について、エッジ方向逆転発生数を取得し、取得した、追跡された各四辺形候補のエッジ方向逆転発生数に基づいて、マーカとなる真の四辺形候補を決定する。

次に、ステップＳ２１２では、ステップＳ２１０において取得した、マーカとなる真の四辺形候補に基づいて、処理対象となるフレーム画像のマーカを検出する。

次に、ステップＳ２１４では、ステップＳ２１２において、処理対象となるフレーム画像においてマーカが検出されたか否かを判定する。処理対象となるフレーム画像についてマーカが検出されていない場合には、ステップＳ２１８へ移行し、処理対象となるフレーム画像についてマーカが検出されている場合には、ステップＳ２１６へ移行する。

次に、ステップＳ２１６では、ステップＳ２１２において検出された処理対象となるフレーム画像についてのマーカの位置に基づいて、当該フレーム画像の電子透かしが埋め込まれた領域の位置を特定し、特定された領域の位置に基づいて、ステップＳ２００において取得された電子透かし成分画像に対して逆射影変換による補正を行う。

次に、ステップＳ２１８では、入力部１０において受け付けた各フレーム画像の全てについてステップＳ２１２〜ステップＳ２１４、又はステップＳ２１６の処理を終了したか否かを判定する。受け付けた各フレーム画像の全てについてステップＳ２１２〜ステップＳ２１４、又はステップＳ２１６の処理を終了した場合には、ステップＳ２２０へ移行し、受け付けた各フレーム画像の全てについてステップＳ２１２〜ステップＳ２１４、又はステップＳ２１６の処理を終了していない場合には、処理対象となるフレーム画像を変更してステップＳ２１２に移行する。

ステップＳ２２０では、入力部１０において受け付けた各フレーム画像の、ステップＳ２１６において取得した逆射影変換により得られた画像から電子透かしを検出する。

ステップＳ２２２では、ステップＳ２２０において電子透かしが正しく検出されたか否かを判定する。電子透かしが正しく検出された場合には、ステップＳ２２４へ移行し、電子透かしが正しく検出されていない場合には、マーカ検出処理ルーチンの処理を終了する。

ステップＳ２２４では、ステップＳ２２０において検出された電子透かしを出力部２９０に出力してマーカ検出処理ルーチンを終了する。

上記ステップＳ２０２に示す辺候補の抽出の処理を、図１２に示す辺候補の抽出処理ルーチンにおいて詳細に説明する。

図１２のステップＳ３００では、予め定められた位置の特定画素又は、前回の処理において検出されたマーカの位置に基づいて、ステップＳ２００において取得したマーカ成分画像におけるスキャン開始位置を決定する。

次に、ステップＳ３０２では、ステップＳ３００において取得したスキャン開始位置の特定画素から、予め定められた隣接画素方向の各々である上下左右の４方向の各々のうちの対象となるスキャン方向についてスキャンを行い、エッジ成分の画素又はステップＳ２００において取得したマーカ成分画像の画像端の画素を探索する。

次に、ステップＳ３０４では、ステップＳ３０２において探索したエッジ成分の画素又はステップＳ２００において取得したマーカ成分画像の画像端の画素から、隣接画素８画素の方向のうち、上記ステップ３０２によるスキャン方向と垂直方向の両方向にスキャンを行い、エッジ成分をトレースし、連続したエッジ成分が検出される端点の各々を取得する。

次に、ステップＳ３０６では、ステップＳ３０４において取得した端点を結んだ線分を、対象となるスキャン方向の辺候補として抽出する。

次に、ステップＳ３０８では、対象となるスキャン方向について、ステップＳ２００においてマーカ成分画像の端までスキャンを終了したか否かを判定する。マーカ成分画像の端までスキャンを終了している場合には、ステップＳ３１０へ移行し、マーカ成分画像の端までスキャンを終了していない場合には、ステップＳ３０２へ移行し、対象となるスキャン方向にスキャンを再度開始する。

次に、ステップＳ３１０では、対象となるスキャン方向の全てについて処理を終了したか否かを判定する。対象となるスキャン方向の全てについてステップＳ３０２〜ステップＳ３０８の処理を終了している場合には、辺候補の抽出処理ルーチンを終了し、対象となるスキャン方向の全てについてステップＳ３０２〜ステップＳ３０８の処理を終了していない場合には、対象となるスキャン方向を変更し、ステップＳ３００〜ステップＳ３０８の処理を行う。

以上説明したように、本実施の形態に係るマーカ埋め込み装置によれば、入力された動画像の各フレームの画像について、画像の知覚されにくい色成分において、予め定められた多角形の枠状パターンであって、かつ、枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを、予め定められた領域に重畳し、動画像の各フレームの画像について、画像に重畳されたマーカとの位置関係において定められる画像の領域に電子透かし情報を重畳し、動画像の各フレームに対する、マーカと電子透かし情報とを重畳した画像を出力することにより、人間の目で知覚されることなく、射影変換を伴った画像から電子透かしを精度よく、高速に検出できるようにマーカを、動画像に埋め込むことができる。また、電子透かしと重なる領域において、マーカを、映像に埋め込むことができる。

また、本発明の実施の形態に係るマーカ検出装置によれば、入力された動画像の各フレームの画像について、動画像の各フレームの画像に予め定められた多角形の枠状パターンであって、かつ、枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを重畳するときに用いた予め定められた第１時間周波数で変化する成分を検出するためのフィルタを用いて、画像からマーカを表す成分からなるマーカ成分画像を分離し、動画像の各フレームの画像について、分離された画像のマーカ成分画像について、マーカ成分画像の枠状パターン内となるように予め定められた位置の特定画素より、予め定められた隣接画素方向の各々に向かってエッジ成分を探索し、隣接画素方向の各々に対し、隣接画素方向に探索されたエッジ成分の画素の各々について、エッジ成分の画素から、予め定められた隣接画素方向の各々に向かって連続するエッジ成分の画素を探索し、探索された、連続するエッジ成分の画素を辺候補として抽出し、動画像の各フレームの画像について、抽出された各辺候補の組み合わせにより、予め定められた多角形に対応する多角形候補の各々を構成し、構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、画像に重畳されたマーカを決定し、動画像の各フレームの画像について、決定されたマーカに基づいて、画像に対して射影変換を行い、動画像の各フレームの画像について、射影変換により得られた画像における、マーカ決定により決定された画像のマーカとの位置関係で定められる領域から電子透かし情報を検出することによって、射影変換が施された動画像を元の動画像に変換する際に用いるマーカを、精度よく、高速に動画像から検出することができる。

また、人間の目で知覚されることなく、射影変換を伴った画像からも電子透かしを精度よく、高速に検出できるようにマーカを埋め込み、検出する方法を提供できる。

また、カメラ付き携帯電話などＣＰＵ性能が低いモバイル端末でもストレスなくマーカ検出ができる。

また、本実施の形態に係るマーカ埋め込み装置、及びマーカ検出装置は、電子透かしの埋め込み領域を特定する目的以外に、画像認識を利用した同様なアプリケーション（例えば、カメラで撮影したオブジェクトに関連したWeb情報に自動的にアクセスされるなどのサービス）においても、認識の前処理として利用可能である。ただし、対象オブジェクトは平面的な物体であり、かつ、事前にマーカを埋め込み可能な場合に限られる。もちろん、このような利用を想定する場合、電子透かし情報重畳部および射影変換補正部および電子透かし情報検出部は必要なく、出力部において埋め込み済画像上のマーカの位置情報を出力すべきである。

また、認識モジュールは、受け取ったマーカの位置情報を基にオブジェクトの切り出しや幾何学的変換の補正を行うことで、認識精度を向上させることができる。

また、マーカの位置情報を基に、オブジェクトとカメラとの相対的な空間位置関係を算出し、認識結果と合わせて利用することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、本実施の形態においては、濃淡の変化は図２右のように変化する場合について説明したが、これに限定されるものではなく、マーカの内側から外側へと単調に増加若しくは減少するものであれば何でもよい。

また、本実施の形態においては、マーカのパターンを図２に示すパターンとする場合について説明したが、これに限定されるものではない。例えば、マーカのパターンが内側から外側へ単調に増加又は減少するパターンであるパターンであれば、図２と異なる形状であってもよい。

また、本実施の形態においては、マーカ及び電子透かしを埋め込む際に用いる時間的変動周波数の波形をｓｉｎ波とする場合について説明したが、これに限定されるものではなく、例えば、波形を矩形波等としてもよい。また、「マーカと電子透かしとの時間周波数が異なる」という条件を満たすのであれば、マーカ及び電子透かしのいずれか一方は直流成分（時間的変動を与えない）としても良い。

また、本実施の形態においては、時間周波数フィルタ部により、マーカ成分画像と、電子透かし成分画像と、マーカ成分画像及び電子透かし成分画像を除いたその他成分画像とに分離する場合について説明したが、これに限定されるものではない。例えば、処理時間短縮のため、マーカ成分画像のみ分離し、電子透かし成分画像とその他成分画像とを分離しなくてもよい。その場合は、第１周波数通過フィルタのみを用いればよい。

また、本実施の形態においては、真の四辺形と判断する基準をエッジ方向逆転発生数とする場合について説明したが、これに限定されるものではない。例えば、マーカパターンとそうでないものを区別可能な指標であればなんでもよい。具体的には、特許文献２の評価値を用いてもよい。

また、本実施の形態においては、四辺形候補の各々を追跡する方法として、特許文献６の方法を利用する場合について説明したが、これに限定されるものではない。例えば、他の追跡方法を利用してもよい。

また、本実施の形態においては、エッジ方向逆転発生数が閾値を超えた四辺形候補をマーカとして検出する場合について説明したが、これに限定されるものではない。例えば、現時点でエッジ方向逆転の発生数が閾値を超えておらず、真の四辺形がいまだ特定されていない場合は、特許文献２と同じ評価値を利用して一意に、真の四辺形を定めてもよい。

また、本実施の形態においては、マーカは四辺形であるとして説明したがこれに限定されるものではない。例えば、マーカ形状は、多角形であれば何でもよい。ただし、その辺の数、若しくは辺同士の長さの比に応じて、一番初めに行うべきエッジ探索スキャンの数と方向を変えなくてはならない。また、多角形候補もマーカ形状の多角形の種類となる。

また、本実施の形態においては、マーカおよび電子透かしの埋め込み位置は、それぞれ対象画像全体に配置するとして説明してきたが、これに限定されるものではない。例えば、電子透かしを画像いっぱいに埋め込むのではなく特定の部分領域に埋め込んでもよい。この場合、マーカもそれに合わせて埋め込み位置を調整すれば良い。例えば、対象画像に二人の人物が映っているとして、それぞれの顔の領域に２種類の異なる電子透かしを埋めるといったことも可能である。このようにすることで、一枚の画像コンテンツからそれぞれの人物に関連した情報サイトへとユーザを誘導できる。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した本実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成するものとする。

１０ 入力部
２０ 演算部
３０ マーカ重畳部
４０ 電子透かし情報重畳部
５０ 埋め込み済画像出力部
９０ 出力部
１００ マーカ埋め込み装置
２００ マーカ検出装置
２１０ 入力部
２２０ 演算部
２３０ 時間周波数フィルタ部
２４０ マーカ検出部
２４２ 辺候補抽出部
２４４ 多角形候補構成部
２４６ マーカ決定部
２５０ 射影変換補正部
２６０ 電子透かし情報検出部
２９０ 出力部

Claims (10)

1. 入力された動画像の各フレームの画像について、前記画像の知覚されにくい色成分において、予め定められた多角形の枠状パターンであって、かつ、前記枠状パターンの内側から外側へ、濃淡の強度が単調に増加し又は減少する枠状パターンを有するマーカを、予め定められた領域に重畳するマーカ重畳部と、
   前記動画像の各フレームの画像について、前記マーカ重畳部により前記画像に重畳された前記マーカとの位置関係において定められる前記画像の領域に電子透かし情報を重畳する電子透かし情報重畳部と、
   前記動画像の各フレームに対する、前記マーカと前記電子透かし情報とを重畳した画像を出力する埋め込み済み画像出力部と、
   を含む、マーカ埋め込み装置であって、
   前記マーカ重畳部は、前記動画像の各フレームの画像について、予め定められた第１時間周波数で前記画像ごとに重畳の強さを周期的に変化させて前記マーカを重畳するマーカ埋め込み装置。
2. 前記電子透かし情報重畳部は、前記動画像の各フレームの画像について、前記第１時間周波数と異なる予め定められた第２時間周波数で前記画像ごとに重畳の強さを周期的に変化させて前記電子透かし情報を重畳する請求項１記載のマーカ埋め込み装置。
3. 入力された動画像の各フレームの画像について、予め定められた多角形の枠状パターンであって、かつ、前記枠状パターンの内側から外側へ、濃淡の強度が単調に増加し又は減少する枠状パターンを有するマーカを重畳するときに用いた予め定められた第１時間周波数で変化する成分を検出するためのフィルタを用いて、前記画像から前記マーカを表す成分からなるマーカ成分画像を分離する時間周波数フィルタ部と、
   前記動画像の各フレームの画像について、前記時間周波数フィルタ部により分離された前記画像の前記マーカ成分画像について、前記マーカ成分画像の前記枠状パターン内となるように予め定められた位置の特定画素より、予め定められた隣接画素方向の各々に向かってエッジ成分を探索し、前記隣接画素方向の各々に対し、前記隣接画素方向に探索されたエッジ成分の画素の各々について、前記エッジ成分の画素から、予め定められた隣接画素方向の各々に向かって連続するエッジ成分の画素を探索し、探索された、連続するエッジ成分の画素を辺候補として抽出する辺候補抽出部と、
   前記動画像の各フレームの画像について、前記辺候補抽出部により抽出された各辺候補の組み合わせにより、前記予め定められた多角形に対応する多角形候補の各々を構成する多角形候補構成部と、
   前記多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、前記画像に重畳された前記マーカを決定するマーカ決定部と、
   前記動画像の各フレームの画像について、前記マーカ決定部により決定されたマーカに基づいて、前記画像に対して射影変換を行う射影変換補正部と、
   前記動画像の各フレームの画像について、前記射影変換補正部による射影変換により得られた画像における、前記マーカ決定部により決定された前記画像のマーカとの位置関係で定められる領域から電子透かし情報を検出する電子透かし情報検出部と、
   を含む、マーカ検出装置。
4. 前記マーカ決定部は、前記多角形候補構成部により構成された多角形候補の各々について、並列処理で、前記動画像の各フレームの画像について構成された前記多角形候補を追跡して、前記多角形候補の属性を時系列に比較し、前記多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、前記画像に重畳された前記マーカを決定する請求項３記載のマーカ検出装置。
5. 前記マーカ決定部は、前記多角形候補構成部により構成された多角形候補の各々について、並列処理で、前記動画像の各フレームの画像について構成された前記多角形候補を追跡して、前記多角形候補の属性を時系列に比較し、前記多角形候補に含まれるエッジ成分の画素の各々のエッジの向きの逆転の発生数を取得し、前記多角形候補の各々について取得された前記エッジの向きの逆転の発生数に基づいて、前記多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、前記画像に重畳された前記マーカを決定する請求項４記載のマーカ検出装置。
6. マーカ重畳部と、電子透かし情報重畳部と、埋め込み済み画像出力部と、を含む、マーカ埋め込み装置における、マーカ埋め込み方法であって、
   前記マーカ重畳部により、入力された動画像の各フレームの画像について、前記画像の知覚されにくい色成分において、予め定められた多角形の枠状パターンであって、かつ、前記枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを、予め定められた領域に重畳するステップと、
   前記電子透かし情報重畳部により、前記動画像の各フレームの画像について、前記マーカ重畳部により前記画像に重畳された前記マーカとの位置関係において定められる前記画像の領域に電子透かし情報を重畳するステップと、
   前記埋め込み済み画像出力部により、前記動画像の各フレームに対する、前記マーカと前記電子透かし情報とを重畳した画像を出力するステップと、
   を含む、マーカ埋め込み方法であって、
   前記マーカ重畳部により前記マーカを重畳するステップは、前記動画像の各フレームの画像について、予め定められた第１時間周波数で前記画像ごとに重畳の強さを周期的に変化させて前記マーカを重畳するマーカ埋め込み方法。
7. 時間周波数フィルタ部と、辺候補抽出部と、多角形候補構成部と、マーカ決定部と、射影変換補正部と、電子透かし情報検出部と、を含むマーカ検出装置における、マーカ検出方法であって、
   前記時間周波数フィルタ部により、入力された動画像の各フレームの画像について、予め定められた多角形の枠状パターンであって、かつ、前記枠状パターンの内側から外側へ、濃淡の強度が単調に増加、又は減少する枠状パターンを有するマーカを重畳するときに用いた予め定められた第１時間周波数で変化する成分を検出するためのフィルタを用いて、前記画像から前記マーカを表す成分からなるマーカ成分画像を分離するステップと、
   前記辺候補抽出部により、前記動画像の各フレームの画像について、前記時間周波数フィルタ部により分離された前記画像の前記マーカ成分画像について、前記マーカ成分画像の前記枠状パターン内となるように予め定められた位置の特定画素より、予め定められた隣接画素方向の各々に向かってエッジ成分を探索し、前記隣接画素方向の各々に対し、前記隣接画素方向に探索されたエッジ成分の画素の各々について、前記エッジ成分の画素から、予め定められた隣接画素方向の各々に向かって連続するエッジ成分の画素を探索し、探索された、連続するエッジ成分の画素を辺候補として抽出するステップと、
   前記多角形候補構成部により、前記動画像の各フレームの画像について、前記辺候補抽出部により抽出された各辺候補の組み合わせにより、前記予め定められた多角形に対応する多角形候補の各々を構成するステップと、
   前記マーカ決定部により、前記多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、前記画像に重畳された前記マーカを決定するステップと、
   前記射影変換補正部により、前記動画像の各フレームの画像について、前記マーカ決定部により決定されたマーカに基づいて、前記画像に対して射影変換を行うステップと、
   前記電子透かし情報検出部により、前記動画像の各フレームの画像について、前記射影変換補正部による射影変換により得られた画像における、前記マーカ決定部により決定された前記画像のマーカとの位置関係で定められる領域から電子透かし情報を検出するステップと、
   を含む、マーカ検出方法。
8. 前記マーカ決定部により、マーカを決定するステップは、前記多角形候補構成部により構成された多角形候補の各々について、並列処理で、前記動画像の各フレームの画像について構成された前記多角形候補に対し、前記多角形候補の属性を時系列に比較して、前記多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、前記画像に重畳された前記マーカを決定する請求項７記載のマーカ検出方法。
9. 前記マーカ決定部により、マーカを決定するステップは、前記多角形候補構成部により構成された多角形候補の各々について、並列処理で、前記動画像の各フレームの画像について構成された前記多角形候補に対し、前記多角形候補の属性を時系列に比較し、前記多角形候補に含まれるエッジ成分の画素の各々のエッジの向きの逆転の発生数を取得し、前記多角形候補の各々について取得された前記エッジの向きの逆転の発生数に基づいて、前記多角形候補構成部により構成された多角形候補の各々のうちの何れか一つを選択し、選択された多角形候補に基づいて、前記画像に重畳された前記マーカを決定する請求項８記載のマーカ検出方法。
10. 請求項６記載のマーカ埋め込み方法、又は請求項７〜９の何れか１項記載のマーカ検出方法における各ステップをコンピュータに実行させるためのプログラム。