JP5878451B2 - マーカー埋め込み装置、マーカー検出装置、マーカー埋め込み方法、マーカー検出方法、及びプログラム - Google Patents

Description

本発明は、静止画や動画像に対して射影変換が施された場合においても元の静止画や動画像への逆変換を容易にするためのマーカー埋め込み装置、マーカー検出装置、マーカー埋め込み方法、マーカー検出方法、及びプログラムに関するものである。

画像、映像といったコンテンツの流通において、コンテンツの識別や管理、更にコンテンツの著作権保護及び管理、並びに関連情報提供などの目的のため、人間の目に知覚されないようにコンテンツ内に別の情報を埋め込む電子透かし技術を用いる方法が知られている。特に、画像・映像コンテンツに対する電子透かし技術においては、画素値の微小変更に基づく方法が一般的である。具体的方法としては例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分を独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある（例えば、特許文献１）。

また、電子透かしにおいては、デジタルコンテンツを表すデジタル信号が、電子透かしの埋め込み後に受けるさまざまな改変に対して耐性を持つこと、すなわちさまざまな改変を受けた上で電子透かしを検出できることが必要である。特に電子透かしが耐性を持つべき重要な改変としては、幾何学的変換を挙げられる。幾何学的変換への耐性は、対象となる画像、映像といったコンテンツをカメラで再撮影して、そのコンテンツに埋め込まれた電子透かしを検出する場合に必須の要件となっている。なぜなら、コンテンツを撮影する距離やアングルの違いに応じて、コンテンツに対して幾何学的変換が生じるからである。

幾何学的変換に対して耐性を持たせる方法としては、電子透かしが埋め込まれている画像の縁を検出し、画像の四隅の位置を特定することで逆射影変換を行って変換前の状態を復元する手法がある（特許文献２）。この方法だと、射影変換による変形を伴った画像からも電子透かしを検出できるが、画像の縁を安定的に検出するためには画像の周囲に黒い枠もしくは白い枠で囲う必要がある。これは人間の目で知覚されるため、コンテンツ自体のデザイン性を大きく損ねてしまう問題がある。

一方、電子透かしを空間的な繰り返しパターンとして埋め込み、検出時にはそのパターンの自己相関を利用して補正する方法（特許文献３）、画像の周波数空間上に人間に不可視なかたちでマーカーを埋め込み、それを使って補正する方法（特許文献４、特許文献５）がある。これらは人間の目で知覚されることなく、幾何学的変換を伴った画像から電子透かしを検出できるが、対応可能なのは回転、スケール変換などに代表されるアフィン変換であり、射影変換には対応できない問題がある。

特開２００３−２１９１４８号公報 特許第４０２００９３号公報 特表２００３−５１０９３１号公報 特許第３９４９６７９号公報 特開２０１０−２３２８８６号公報

上述したように、特許文献１〜５に記載されている発明や技術では、コンテンツのデザイン性を損なうことなく、射影変換が施された画像や映像に対して逆射影変換により元の画像や映像に変換することができないという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、コンテンツのデザイン性を損なわずに、射影変換が施された画像や映像を元の画像や映像に変換する際に用いるマーカーを画像や映像に埋め込むマーカー埋め込み装置及びマーカー埋め込み方法と、当該マーカーを画像や映像から検出するマーカー検出装置及びマーカー検出方法と、プログラムとを提供することにある。

上記問題を解決するために、本発明のマーカー埋め込み装置は、一又は複数の連続する画像を入力する画像入力部と、前記画像の最も知覚されにくい色成分に対して、前記画像上の予め定められた部分領域を定める位置に、前記色成分の濃淡が同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した濃淡パターンを有する複数のマーカーを重畳するマーカー重畳部と、前記色成分に前記マーカーが重畳された前記画像を出力する画像出力部とを備え、前記４箇所の共通した濃淡パターンが配置される位置は、予め定められた複比をなす位置である、ことを特徴とする。

また、本発明は、上記のマーカー埋め込み装置において、前記部分領域に前記画像に関する情報を重畳する情報重畳部を更に備えることを特徴とする。

また、本発明のマーカー検出装置は、一又は複数の連続する画像を入力する画像入力部と、前記画像の最も知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカーが位置すると判定するマーカー検出部と、前記画像上において検出された複数の前記マーカーの位置に基づいて前記画像に対して射影変換を行う射影変換補正部とを備えることを特徴とする。

また、本発明は、上記のマーカー検出装置において、検出された前記マーカーにより特定される部分領域から前記画像に関する情報を検出する情報検出部を更に備えることを特徴とする。
また、本発明は、上記のマーカー検出装置において、前記マーカー検出部は、前記マーカーが有する前記濃淡パターンに応じて定められたボックスフィルタであって複数の大きさのボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における画素であって前記ボックスフィルタを用いて算出される算出値の最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャン方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカーを検出することを特徴とする。
また、本発明は、上記のマーカー検出装置において、前記画像の前記色成分における積分画像を算出する積分画像算出部を更に備え、前記マーカー検出部は、前記積分画像に基づいて、前記画像における前記マーカーの位置を検出することを特徴とする。

また、本発明のマーカー埋め込み方法は、画像にマーカーを重畳するマーカー埋め込み装置が行うマーカー埋め込み方法であって、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の最も知覚されにくい色成分に対して、前記画像上の予め定められた部分領域を定める位置に、前記色成分の濃淡が同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した濃淡パターンを有する複数のマーカーを重畳するマーカー重畳ステップと、前記色成分に前記マーカーが重畳された前記画像を出力する画像出力ステップと、を有し、前記４箇所の共通した濃淡パターンが配置される位置は、予め定められた複比をなす位置である、ことを特徴とする。

また、本発明は、上記のマーカー埋め込み方法において、前記部分領域に前記画像に関する情報を重畳する情報重畳ステップを更に有することを特徴とする。

また、本発明のマーカー検出方法は、画像に重畳されたマーカーを検出するマーカー検出装置が行うマーカー検出方法であって、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の最も知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカーが位置すると判定するマーカー検出ステップと、前記画像上において検出された複数の前記マーカーの位置に基づいて前記画像に対して射影変換を行う射影変換補正ステップとを有することを特徴とする。

また、本発明は、上記のマーカー検出方法において、検出された前記マーカーにより特定される部分領域から前記画像に関する情報を検出する情報検出ステップとを更に有することを特徴とする。
また、本発明は、上記のマーカー検出方法において、前記マーカー検出ステップでは、前記マーカーが有する前記濃淡パターンに応じて定められたボックスフィルタであって複数の大きさのボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における画素であって前記ボックスフィルタを用いて算出される算出値の最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャン方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカーを検出することを特徴とする。
また、本発明は、上記のマーカー検出方法において、前記画像の前記色成分における積分画像を算出する積分画像算出ステップを更に有し、前記マーカー検出ステップでは、前記積分画像に基づいて、前記画像における前記マーカーの位置を検出する。

また、本発明は、上記のマーカー埋め込み方法における各ステップをコンピュータに実行させるためのプログラムである。
また、本発明は、上記のマーカー検出方法における各ステップをコンピュータに実行させるためのプログラムである。

この発明によれば、画像の最も知覚されにくい色成分にマーカーを埋め込むことにより、人間の目で知覚されにくいマーカーを実現する。また、マーカーが有する濃淡パターンにより検出される４箇所の点から射影変換の影響を受けない複比を算出することにより、当該マーカーの画像上における位置を検出することができる。このマーカーを予め定められた位置に複数重畳しておくことにより、射影変換が施された画像を元に戻す逆射影変換を求めることができるので、射影変換が施された画像を元の画像に変換することができる。

本発明において用いるマーカーの一例を示す図である。 本発明において画像にマーカーを埋め込む領域の一例を示す図である。 本発明において用いるＢｏｘフィルタの一例を示す図である。 本発明の実施の形態におけるマーカー埋め込み装置１の構成を示す概略ブロック図である。 同実施の形態におけるマーカーが有する特徴的な濃淡パターンの一例を示す図である。 同実施の形態におけるマーカー埋め込み装置１が行うマーカー埋め込み処理を示すフローチャートである。 同実施の形態におけるマーカー検出装置２の構成を示す概略ブロック図である。 同実施の形態においてマーカー検出部２２が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。 同実施の形態におけるマーカー検出装置２が行うマーカー検出処理を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態におけるマーカー埋め込み装置、マーカー検出装置、マーカー埋め込み方法、マーカー検出方法、及びプログラムを説明する。

マーカー埋め込み装置は、射影変換が施された画像や映像を元の画像や映像に変換する際に用いるマーカーとして、図１に示すような同心円状の濃淡パターンを用いる。図１は、本発明において用いるマーカーの一例を示す図である。同図に示すように、マーカーは同心円状の縞模様で構成されており、中心の円の色差（又は輝度など）を基準として、同心円の中心点から外周方向に向かって−１、＋２、−２、＋２、−１の比に応じた色差を有する等間隔の濃淡パターンである。マーカー埋め込み装置は、画像や映像上の所定の領域の四隅にマーカーを重畳する。マーカー埋め込み装置は、マーカーを画像や映像に埋め込む際に、画像又は映像をＲＧＢ色空間からＹＣｂＣｒ（又はＹＰｂＰｒ）色空間へ変換し、視覚特性において人間に最も知覚されにくいＣｂ成分にマーカーを埋め込む。なお、ＲＧＢ色空間においては、ＲＧＢの各成分のうち人間に最も知覚されにくいＢ成分に対してマーカーを埋め込むようにしてもよい。また、画像又は映像が他の色空間で表現されている場合には当該色空間の色成分のうち最も人間に知覚されにくい色成分に対してマーカーを埋め込むようにしてもよい。以下では、Ｃｂ成分にマーカーを埋め込む場合について説明する。

図２は、本発明において画像にマーカーを埋め込む領域の一例を示す図である。同図において、画像と同じサイズの所定の領域（部分領域）の四隅にマーカーを埋め込む例を示している。このように四隅にマーカーが埋め込まれた画像は、射影変換されたとしても、各マーカーを検出し、各マーカーの位置で把握できる領域を所定の領域に変換する逆射影変換を施すことにより、元の画像に戻すことができる。また、図２に示されている例では、画像と同じサイズの所定の領域の四隅にマーカーを埋め込んでおり、画像においてマーカーが埋め込まれた領域以外の領域が電子透かしを埋め込む領域となる。

電子透かしの検出において、マーカー検出装置は、マーカーが埋め込まれた画像をカメラ撮影して得られた撮影画像のＣｂ成分から埋め込まれたマーカー全てを検出する。マーカー検出装置は、撮影画像におけるマーカーの位置に基づいて、撮影画像に対して逆射影変換を行うことにより、画像の形状及び大きさに撮影画像を変換する復元を行う。復元により得られた画像から電子透かしを検出する等の処理を行うことにより、射影変換等の幾何学的変換に対する電子透かしの耐性を得ることができる。

以下、本発明において用いられるマーカーについて説明する。マーカーは、射影変換等の幾何学的変換によってマーカーの形状が変化していても、マーカー検出装置が安定してマーカーを検出できる必要がある。そのため、射影変換不変量である複比（cross ratio）を利用する。具体的には、図１に示されるように、マーカーの中心（同心円の中心点）を通る直線Ｌ上に４つの点（Ａ、Ｂ、Ｃ、及びＤ）を定義し、この４つの点（Ａ、Ｂ、Ｃ、及びＤ）をＢｏｘフィルタ（ボックスフィルタ）を用いて検出する。ここで、４つの点（Ａ、Ｂ、Ｃ、及びＤ）が、次式（１）を満たすようにマーカー上の各点の位置を定める。

式（１）において、ｎは任意の実数である。式（１）を満たすとき、４つの点（Ａ、Ｂ、Ｃ、及びＤ）の位置から算出される複比は次式（２）で表され、この複比は射影変換によらず一定の値となる。例えばｎ＝３の場合、複比は（（３×５）／（４^２）＝１５／１６）になる。

ここで、図１に示したような縞模様を有するマーカーを検出するためのＢｏｘフィルタについて説明する。図３は、本発明において用いるＢｏｘフィルタの一例を示す図である。同図において、横方向をＸ方向とし、縦方向をＹ方向としている。同図に示されているＢｏｘフィルタは、９画素×９画素のＢｏｘフィルタであり、「０」、「−１」、「＋２」は、ハッチングで分けられている各画素（領域）に対する重み係数である。すなわち（（ｘ、ｙ）；１≦ｘ≦９，１≦ｙ≦３）と（（ｘ，ｙ）；１≦ｘ≦９，７≦ｙ≦９）との画素においては、Ｃｂ成分に対して０を乗じる重み付けをする。また、（（ｘ，ｙ）；１≦ｘ≦３，４≦ｙ≦６）と、（（ｘ，ｙ）；７≦ｘ≦９，４≦ｙ≦６）との画素においては、Ｃｂ成分に対して（−１）を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の画素においてはＣｂ成分に対して（＋２）を乗じる重み付けをする。

このＢｏｘフィルタを用いて画像の各画素に対するラスタスキャンによりマーカーを検索した際に、例えば、マーカー上の点Ａを含む「＋２」の縞が（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の領域に位置し、マーカー上の点Ａを含む縞に接する外周側の「−１」の縞が（（ｘ，ｙ）；１≦ｘ≦３，４≦ｙ≦６）に位置し、マーカー上の点Ａを含む縞に接する内周側の「−２」の縞が（（ｘ，ｙ）；７≦ｘ≦９，４≦ｙ≦６）に位置したときに、当該Ｂｏｘフィルタを用いて算出される値は、周囲の画素に比べて大きくなる。マーカーを検出する際には、算出される値が周囲に比べて大きくなる点（画素）を検出し、検出した点（画素）のうちラスタスキャンを行った方向に隣接する４点から複比を算出する。算出した複比が、マーカーの複比と一致するか、マーカーの複比との差分が所定範囲内である場合に、算出した複比に対応する４点がマーカー上の４つの点（Ａ、Ｂ、Ｃ、及びＤ）であると判定することにより、マーカーを検出する。

図３に示したようなＢｏｘフィルタを用いて撮影画像をラスタスキャンすることにより順次得られる値であってＣｂ成分に基づいて算出される値の極値（近傍で最も大きい値、又は最も小さい値）を検出する。そして、検出した極値であってスキャン方向に連続する４つの極値に対応する点（画素）を点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’とする。そして、検出した極値に対応する４つの点（Ａ’、Ｂ’、Ｃ’、及びＤ’）から次式（３）により複比を算出する。

式（３）を用いて算出した複比が、画像に予め埋め込まれたマーカーにおける複比と等しい場合に、４つの点（Ａ’、Ｂ’、Ｃ’、及びＤ’）は、マーカーの中心を通っている直線上の点であってマーカーが有する特徴的な濃淡パターンに対応する点であることになる。このようにＢｏｘフィルタを用いてマーカー上の４つの特徴点（Ａ、Ｂ、Ｃ、及びＤ）の候補点を撮影画像上から検出し、検出した候補点における複比がマーカーにおける複比と等しい場合に、候補点はマーカー上の４つの特徴点（Ａ、Ｂ、Ｃ、及びＤ）であると判定する。このことにより、撮影画像において、元の画像に予め埋め込まれたマーカーを検出し、その位置を特定することができる。

以下、本発明に係るマーカー埋め込み装置とマーカー検出装置との具体的な構成例について説明する。
図４は、本発明の実施の形態におけるマーカー埋め込み装置１の構成を示す概略ブロック図である。マーカー埋め込み装置１は、入力される画像コンテンツ（静止画）又は映像コンテンツ（動画像）に対して、画像コンテンツ又は映像コンテンツ上の予め定められた矩形領域の四隅に上述の特徴を有するマーカーを埋め込む。更に、マーカー埋め込み装置１は、マーカーを四隅に配置した矩形領域内に予め定められた電子透かしを埋め込み出力する。マーカー埋め込み装置１は、同図に示すように、画像入力部１１、マーカー重畳部１２、電子透かし重畳部１３、及び、埋め込み済み画像出力部１４を備えている。

画像入力部１１は、予め用意された画像コンテンツ又は映像コンテンツを入力する。なお、映像コンテンツが入力される場合は、映像の時系列に連続する各フレーム画像を一枚ずつ入力する。また、入力される画像コンテンツ又は映像コンテンツは、デジタルデータとして入力される。

マーカー重畳部１２は、画像入力部１１に入力された画像又は映像の各フレーム画像に対して、予め定められた矩形領域の四隅に適当な大きさでマーカーを重畳する。重畳するマーカーは、図１に示した濃淡パターンを有するマーカーである。また、マーカーのサイズは、予め定められたサイズであってもよいし、当該矩形領域に重畳する電子透かしのサイズに応じて定めるようにしてもよい。

マーカー重畳部１２が画像に埋め込むマーカーは、同心円状のパターンであること、及び、当該同心円パターンの中心を通る任意の直線上で共通した特徴的な濃淡パターンが４箇所存在することの２つの構成を有している。後者の構成については、例えば、図１に示されているマーカーでは、点Ａ、点Ｂ、点Ｃ、及び点Ｄの周辺で図５に示されるような濃淡の変化が存在している。

図５は、本実施の形態におけるマーカーが有する特徴的な濃淡パターンの一例を示す図である。同図において、横軸はマーカーの中心を通る直線に対応し縦軸は当該直線上においてマーカーの中心を基準としたときの濃淡を示している。図１に示されているマーカーには、図５に示されている特徴的な濃淡パターンが４箇所（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）存在している。例えば、点Ａでは（−１，＋２，−２）、点Ｂでは（−２，＋２，−１）となっており、着目している点（又は領域）に対して正（＋）の濃淡が与えられており、着目している点（又は領域）に隣接する点（又は領域）に対して負（−）の濃淡が与えられている。なお、図１に示されているマーカーは、一例であって、上述の２つの構成を有する濃淡パターンからなるマーカーであれば、図１に示されているマーカーと異なる形状であってもよい。

マーカーを画像に重畳する重畳方式として、具体的には、マーカー重畳部１２は、入力された画像をＲＧＢ色空間の信号から、ＹＣｂＣｒ色空間の信号に変換する。マーカー重畳部１２は、画像上の予め定められた矩形領域の四隅にマーカーを重ね合わせ、マーカーが重ね合わされた位置（画素）のＣｂ成分にマーカーの濃淡値を足し込む。図１に示されているマーカーを用いる場合には、同図に示されている数値がＣｂ成分に足し込む値である。ここでは、値が正値（プラス）である場合には加算を行い、値が負値（マイナス）である場合には減算を行う。なお、マーカー重畳による濃淡の強度を強めるために、パラメータとして事前に設定した固定値ａを係数としてマーカーの濃淡値に対して掛け合わせてから画像のＣｂ成分に足し込んでもよい。すなわち、マーカーの濃淡値を固定値ａ倍した値を画像のＣｂ成分に足し込むようにしてもよい。また、画像コンテンツや映像コンテンツに対する幾何学的変換として、±４５度以上の回転が加わった場合において、マーカーを検出する際に四隅のマーカーの対応が正しくとれるようにするために、四つのマーカーのうち一つのマーカーの正負を反転させて足し込むようにする。以下では、図２に示したマーカー重畳例のように、右下のマーカーの濃淡の正負を反転したものを重畳する場合について説明する。

電子透かし重畳部１３は、マーカー重畳部１２によって画像に重畳された四つのマーカーが示す矩形領域内に電子透かし情報を重畳する。重畳方式は、重畳する電子透かしの方式に従うこととする。電子透かしの方式には、特許文献１に示されている方式などのさまざまな方式が提案されているが、いずれの方式を採用してもよい。また、電子透かし重畳部１３によって重畳される電子透かしは、それ自体が幾何学的変換に対する耐性がなくてもよい。

埋め込み済み画像出力部１４は、マーカー重畳部１２と電子透かし重畳部１３とにおいて処理が施された画像を、マーカー及び電子透かしが重畳された「埋め込み済み画像」として出力する。画像入力部１１に映像コンテンツが入力された場合には、埋め込み済みの画像をフレームとして、一連の映像シーケンスに繋ぎ合わせて一つの映像コンテンツとして出力する。埋め込み済み画像出力部１４が出力する先は、例えば、ＨＤＤや、ＤＶＤ−ＲＯＭなどの電子記録媒体や、ディスプレイ装置などである。出力先が電子記録媒体の場合には当該電子記録媒体に埋め込み済み画像を記録させ、出力先がディスプレイ装置である場合には当該ディスプレイ装置に埋め込み済み画像を表示させることになる。

図６は、本実施の形態におけるマーカー埋め込み装置１が行うマーカー埋め込み処理を示すフローチャートである。
マーカー埋め込み装置１は、マーカー埋め込み処理を開始すると、マーカーを埋め込む対象としての画像が画像入力部１１に入力される（ステップＳ１１）。
マーカー重畳部１２は、画像入力部１１に入力された画像のＣｂ成分に対して、４つのマーカーを所定の矩形領域の四隅に重畳し、４つのマーカーを重畳した画像を電子透かし重畳部１３に出力する（ステップＳ１２）。
電子透かし重畳部１３は、マーカー重畳部１２から入力された画像上の所定の矩形領域内、すなわち四隅にマーカーが配置されている矩形領域内に所定の電子透かし情報を重畳し、電子透かし情報を重畳した画像を埋め込み済み画像出力部１４に出力する（ステップＳ１３）。
埋め込み済み画像出力部１４は、電子透かし重畳部１３から入力された画像を外部の装置に出力する（ステップＳ１４）。
埋め込み済み画像出力部１４は、全ての画像に対して処理が完了したか否かを判定し（ステップＳ１５）、全ての画像に対して処理が完了している場合（ステップＳ１５：ＹＥＳ）にはマーカー埋め込み処理を終了する。一方、全ての画像に対して処理が完了していない場合（ステップＳ１５：ＮＯ）には処理をステップＳ１１に戻し、ステップＳ１１からステップＳ１５の処理を繰り返して行う。

上述のように、マーカー埋め込み装置１において、画像入力部１１に入力された画像コンテンツ又は映像コンテンツは、マーカー重畳部１２、電子透かし重畳部１３、及び、埋め込み済み画像出力部１４において一連の処理を施されて、画像コンテンツ又は映像コンテンツ内の予め定められた矩形領域の四隅にマーカーが重畳され、当該矩形領域内に電子透かしが重畳されて出力される。

図７は、本実施の形態におけるマーカー検出装置２の構成を示す概略ブロック図である。マーカー検出装置２は、入力される画像コンテンツ又は映像コンテンツに対して、所定のマーカーが４つ重畳されているか否かを判定する。マーカー検出装置２は、４つのマーカーが検出された場合に当該マーカーに基づいて画像コンテンツ又は映像コンテンツに対して重畳されている電子透かしを検出し、検出した電子透かしが示す情報を出力する。マーカー検出装置２は、同図に示すように、画像入力部２１、マーカー検出部２２、射影変換補正部２３、電子透かし検出部２４、及び、検出結果出力部２５を備えている。

画像入力部２１には、検出対象の電子透かしが埋め込まれた画像コンテンツ又は映像コンテンツをカメラ等で撮影したデジタルデータ、並びに、検出対象の電子透かしが埋め込まれた画像コンテンツ又は映像コンテンツが加工（例えば、射影変換）されたデジタルデータが入力される。なお、埋め込まれている電子透かしが、検出の際に時系列的に連続する複数の画像を必要とする場合には、必要となる枚数の画像がまとめて時系列順に画像入力部２１に入力される。

マーカー検出部２２は、画像入力部２１に入力された画像に対して、当該画像上にマーカーが重畳されている位置を特定する。画像に埋め込まれているマーカーが図１に示されているマーカーである場合について、具体的な方法を説明する。マーカー検出部２２は、入力された画像をＲＧＢ色空間の信号からＹＣｂＣｒ色空間の信号に変換し、当該画像のＣｂ成分を抽出する。マーカー検出部２２は、予め用意された複数の大きさのＢｏｘフィルタごとに、Ｃｂ成分の画像に対して水平方向の走査を繰り返して行うことによる左上から右下に向かってのラスタスキャンを、Ｂｏｘフィルタを用いて行う。ここでは、図８に示すように３つの異なる大きさのＢｏｘフィルタが予め用意されている場合について説明する。

図８は、本実施の形態においてマーカー検出部２２が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。Ｂｏｘフィルタは、例えば、３画素×３画素、５画素×５画素、７画素×７画素、…、１５画素×１５画素のＢｏｘフィルタを予め用意する。なお、各Ｂｏｘフィルタの大きさや、Ｂｏｘフィルタの個数は、対象とするコンテンツ及びコンテンツに重畳されるマーカーのサイズに応じて予め定めるようにしてもよい。マーカー検出部２２は、各Ｂｏｘフィルタを用いたラスタスキャンにおいて画素ごとに値を算出する。

ここで、スキャン方向と、当該スキャン方向に垂直な方向と、Ｂｏｘフィルタの大きさ方向とからなる３次元スペース上において、それぞれの方向に隣接する２６近傍として定義する。マーカー検出部２２は、現在のスキャン位置（画素）の算出値と２６近傍の算出値を比べて、スキャン位置の算出値が最大値となる場合に当該スキャン位置の算出値を極大値として検出する。マーカー検出部２２は、スキャン方向に連続する４つの極大値に対応する点を、点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’として式（３）を用いて複比を算出する。マーカー検出部２２は、式（３）を用いて算出した複比と、マーカーに対して定められている式（２）で算出される複比とを比較し、等しい場合にマーカーが４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）で定められる位置に存在すると判定し、マーカーの中心点を記憶する。

マーカー検出部２２は、この処理を画像全体に対して行うことにより、電子透かしが埋め込まれた矩形領域の左上、右上、左下に対応するマーカーの位置を特定する。検出されたマーカーの中心点が４つ以上存在する場合には、マーカー検出部２２は、検出した中心点に対応する極大値の合計が最大になる３つの中心点を選択するなどして、３つの中心点を選択する。

また、マーカー検出部２２は、矩形領域の右下に対応するマーカーについて以下のように行う。なお、矩形領域の右下に対応するマーカーは、その濃淡パターンが他の３箇所のマーカーの濃淡パターンと逆になっているため、上述のＢｏｘフィルタにより算出される値はマーカーの特徴点において近傍の画素より小さくなる。マーカー検出部２２は、現在のスキャン位置（画素）の算出値と２６近傍の算出値とを比べて、スキャン位置の算出値が最小となる場合に当該スキャン位置の算出値を極小値として検出する。マーカー検出部２２は、スキャン方向に連続する４つの極小値に対応する点を、点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’として式（３）を用いて複比を算出する。マーカー検出部２２は、式（３）を用いて算出した複比と、マーカーに対して定められている式（２）で算出される複比とを比較し、等しい場合にマーカーが４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）で定められる位置に存在すると判定し、マーカーの中心点を記憶する。このとき、極小値に基づいて検出された点が２点以上存在する場合は、極小値のうち最も小さい値に対応する１点を選択するなどして、１つの中心点を選択する。

マーカー検出部２２は、検出した３つの点が、矩形領域の左上、右上、左下のいずれに対応するかについて、４つのマーカーの重心、及び右下のマーカーとの位置関係から対応付けをする。
以上の処理により、マーカー検出部２２は、電子透かしが埋め込まれた矩形領域の四隅を示すマーカーの位置を全て特定することができる。なお、埋め込まれたマーカーが、図１に示されている形状以外のものであっても、本実施の形態におけるマーカーの構成である「共通した特徴的な濃淡パターン」を抽出できるフィルタを用いることによって、同様にマーカーの位置を検出することができる。なお、マーカー検出部２２は、マーカーの位置が３つ以下しか検出できなかった場合、電子透かしが埋め込まれていない、又は、マーカーの検出に失敗したと判定してそれ以降の処理を行わない。

射影変換補正部２３は、マーカー検出部２２が検出した４つのマーカーの位置に基づいて、入力された画像に対して逆射影変換を行う。このとき、射影変換補正部２３は、４つのマーカーの位置が、マーカー埋め込み装置１が４つのマーカーを埋め込んだ矩形領域の四隅の位置になるように逆射影変換を行う。このとき、射影変換補正部２３は、例えば、特許文献２に記載されている技術と同じ技術を適用することにより、逆射影変換を行う。

電子透かし検出部２４は、射影変換補正部２３による逆射影変換によって得られた画像上のマーカーが四隅に配置された矩形領域から、マーカー埋め込み装置１の電子透かし重畳部１３が画像に重畳した電子透かしを検出する。このとき、埋め込まれている電子透かしが、時系列的に複数の画像を必要とする場合には、マーカー検出部２２及び射影変換補正部２３が必要な枚数の画像分の処理を繰り返して行い、逆射影変換により補正された必要数の画像を得てから電子透かしを検出する。電子透かし検出部２４は、検出した電子透かしが示す情報を検出結果出力部２５に出力する。

検出結果出力部２５は、電子透かし検出部２４が出力する情報、すなわち電子透かしが示す電子透かし情報をデジタルデータとして外部に出力する。

図９は、本実施の形態におけるマーカー検出装置２が行うマーカー検出処理を示すフローチャートである。
マーカー検出装置２は、マーカー検出処理を開始すると、マーカーを検出する対象としての画像が画像入力部２１に入力される（ステップＳ２１）。
マーカー検出部２２は、画像入力部２１に入力された画像のＣｂ成分の画像において、Ｂｏｘフィルタを用いてマーカーを検出する（ステップＳ２２）。
マーカー検出部２２は、検出したマーカーが３個以下であるか否かを判定し（ステップＳ２３）、検出したマーカーが３個以下である場合（ステップＳ２３：ＹＥＳ）、マーカー処理を終了する。
一方、検出したマーカーが３個以下でない場合（ステップＳ２３：ＮＯ）、射影変換補正部２３は、マーカー検出部２２が検出した４つのマーカーの位置に基づいて、入力された画像に対して、検出されたマーカーが示す矩形領域を所定の矩形領域に一致させる逆射影変換を行う（ステップＳ２４）。
電子透かし検出部２４は、射影変換補正部２３による逆射影変換によって得られた画像上のマーカーが示す矩形領域において電子透かしを検出する（ステップＳ２５）。
電子透かし検出部２４は、検出した電子透かしが示す電子透かし情報が正しいか否かを判定し（ステップＳ２６）、電子透かし情報が正しい場合（ステップＳ２６：ＹＥＳ）、当該電子透かし情報を出力し（ステップＳ２７）、マーカー検出処理を終了する。
一方、電子透かし情報が正しくない場合、電子透かし検出部２４は、処理をステップＳ２１に戻して、ステップＳ２１からステップＳ２６までの処理を繰り返して行う。

上述のように、マーカー検出装置２において、画像入力部２１に入力された画像コンテンツ又は映像コンテンツは、マーカー検出部２２によって検出された４つのマーカーに基づいて逆射影変換が施され、逆射影変換された画像から電子透かしが検出される。このように、射影変換に対する耐性を有するマーカーに基づいた逆射影変換を行うことにより、射影変換に対して耐性がない電子透かしを重畳した画像コンテンツ又は映像コンテンツに対して射影変換が施された場合においても、電子透かしを検出することができる。

以上説明した、マーカー埋め込み装置１とマーカー検出装置２とを用いることで、視覚特性において人間に最も知覚されにくいＣｂ成分に、複比が検出可能なマーカーを埋め込み、当該マーカーをＢｏｘフィルタにより検出することが可能となる。
マーカーの中心を通る直線上に４箇所の共通した特徴的な濃淡パターンを定めていることにより、当該特徴的な濃淡パターンをフィルタ処理により検出することができる。また、マーカーの中心を通る直線上の４箇所の点で定められる複比は、射影変換によってマーカーが変形したとしても、射影変換後のマーカーにおける当該４箇所の点から算出される複比と一致する。この複比を用いたマーカーの検出を行うことにより、射影変換が施された画像からマーカーを検出することができる。
また、フィルタ処理においては、マーカーが有する特徴的な濃淡パターンに対応するＢｏｘフィルタを用いたラスタスキャンを行うようにしたので、特徴的な濃淡パターンの領域がＢｏｘフィルタの領域と重なった場合に算出される値が近傍の値に比べて大きくなる。これにより、マーカーの位置の特定を容易にすることができる。特定したマーカーの位置に基づいて逆射影変換を行うことにより、電子透かし等の情報を埋め込んだ画像コンテンツや映像コンテンツを幾何学的変換前の状態に復元することができる。
その結果、電子透かし等の情報を埋め込んだ画像コンテンツや映像コンテンツをカメラ等で撮影した際に生じる射影変換が施された画像に対し逆射影変換を施して、埋め込まれた電子透かし等の画像に関する情報を取得することができる。

なお、本実施の形態では、図２に示されているように、電子透かしを埋め込む対象の画像の四隅にマーカーを重畳し、画像のほとんどの領域を電子透かしを重畳する領域にする場合を例として示した。しかし、これに限ることなく、対象の画像において特定の部分領域を電子透かしを重畳する領域とするようにしてもよい。この場合、部分領域の四隅にマーカーを重畳するようにしてもよい。例えば、対象の画像に二人の人物が映っているとして、それぞれの人物の顔に対応する部分領域に２種類の異なる電子透かしを埋めるといったことも可能である。このようにすることで、一枚の画像コンテンツからそれぞれの人物に対応した情報を検出することが可能となる。更に、検出した情報に基づいて他のコンテンツ（例えば、Ｗｅｂ情報サイト）にユーザを誘導するようにしてもよい。
電子透かし等の情報を複数埋め込む場合、マーカー検出部２２は、複数の５つ以上マーカーを検出することになるが、この場合、４つのマーカーで定まる領域が重複しないマーカーの組み合わせを順に選択するなどして、複数の領域を検出するようにしてもよい。

また、本実施の形態では、マーカー検出装置２が逆射影変換の後に電子透かしを検出する構成について説明したが、電子透かし以外の情報を検出するようにしてもよい。例えば、電子透かしの埋め込み領域を特定する目的以外に、画像認識を利用した同様なアプリケーション（例えば、カメラで撮影したオブジェクトに関連したＷｅｂ情報サイトにアクセスするための情報を提供するアプリケーション）においても、画像認識の前処理として利用可能である。ただし、情報を埋め込む領域を含むオブジェクトは平面的な物体であり、かつ印刷等により時算にマーカーを埋め込むことが可能な場合に限られる。もちろん、このような利用を想定する場合、マーカー埋め込み装置１における電子透かし重畳部１３や、マーカー検出装置２における射影変換補正部２３及び電子透かし検出部２４は不要であり、検出結果出力部２５は、埋め込み画像上のマーカーの位置情報を出力するようにしてもよい。認識モジュールは、出力されたマーカーの位置情報に基づいて、オブジェクトの切り出しや幾何学変換の補正を行うことにより、認識精度を向上させることができる。また、マーカーの位置情報に基づいて、オブジェクトとカメラとの相対的な空間位置関係を算出し、認識結果と合わせて利用することにより、認識精度を向上させるようにしてもよい。

また、４つのマーカーにより特定される領域が矩形領域である場合を例にして説明したが、矩形領域以外であってもよく、４つのマーカーにより特定できる領域に電子透かし等の情報を重畳するようにしてもよい。この場合、４つのマーカーにより特定される領域の形状及び大きさは予め定められ、定められた形状及び大きさに基づいて、マーカー重畳部１２及び射影変換補正部２３は処理を行うことになる。
また、４つのマーカーにより領域を特定する場合を例にして説明したが、４つ以上のマーカーにより特定できる多角形の領域に電子透かし等の情報を重畳するようにしてもよい。

また、本実施の形態では、矩形領域を特定する４つのマーカーにおける複比が同じ場合について説明したが、４つのマーカーそれぞれの複比を異なるようにしてもよい。この場合、±４５度以上の回転が加わった場合においても、各マーカーの元の位置を把握することができるので、図２に示したように一箇所のマーカーの濃淡を反転させずともよい。

また、上記の実施の形態において説明したＢｏｘフィルタを用いたラスタスキャンにおいて、当該ラスタスキャンを行う前に対象画像の積分画像（Integral Image）を算出しておくことにより、フィルタリングによる計算量を大幅に削減することができ、処理を高速化することができる（参考文献：八木康史、斉藤秀雄編「コンピュータビジョン 最先端ガイド２」、アドコムメディア株式会社、４６頁、２０１０年６月）。具体的には、積分画像から各重み係数を乗じる領域ごとのＣｂ成分の合計値を算出する積分画像算出部を画像入力部２１とマーカー検出部２２との間に設ける。マーカー検出部２２は、積分画像から得られる各領域のＣｂ成分の合計値に対して重み係数を乗じた値の和を算出する。これにより、Ｂｏｘフィルタの大きさに応じて増加する演算量を抑えることができ、マーカー検出の処理に要する演算量を削減することができる。

なお、本発明におけるマーカー埋め込み装置又はマーカー検出装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりマーカー埋め込み処理、マーカー検出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１ マーカー埋め込み装置
２ マーカー検出装置
１１ 画像入力部
１２ マーカー重畳部
１３ 電子透かし重畳部（情報重畳部）
１４ 埋め込み済み画像出力部
２１ 画像入力部
２２ マーカー検出部
２３ 射影変換補正部
２４ 電子透かし検出部（情報検出部）
２５ 検出結果出力部

Claims (14)

1. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の最も知覚されにくい色成分に対して、前記画像上の予め定められた部分領域を定める位置に、前記色成分の濃淡が同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した濃淡パターンを有する複数のマーカーを重畳するマーカー重畳部と、
   前記色成分に前記マーカーが重畳された前記画像を出力する画像出力部と
   を備え、
   前記４箇所の共通した濃淡パターンが配置される位置は、予め定められた複比をなす位置である、
   ことを特徴とするマーカー埋め込み装置。
2. 請求項１に記載のマーカー埋め込み装置であって、
   前記部分領域に前記画像に関する情報を重畳する情報重畳部を
   更に備えることを特徴とするマーカー埋め込み装置。
3. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の最も知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカーが位置すると判定するマーカー検出部と、
   前記画像上において検出された複数の前記マーカーの位置に基づいて前記画像に対して射影変換を行う射影変換補正部と
   を備えることを特徴とするマーカー検出装置。
4. 請求項３に記載のマーカー検出装置であって、
   検出された前記マーカーにより特定される部分領域から前記画像に関する情報を検出する情報検出部を
   更に備えることを特徴とするマーカー検出装置。
5. 請求項３又は請求項４のいずれかに記載のマーカー検出装置であって、
   前記マーカー検出部は、
   前記マーカーが有する前記濃淡パターンに応じて定められたボックスフィルタであって複数の大きさのボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における画素であって前記ボックスフィルタを用いて算出される算出値の最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャン方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカーを検出する
   ことを特徴とするマーカー検出装置。
6. 請求項３から請求項５のいずれか一項に記載のマーカー検出装置であって
   前記画像の前記色成分における積分画像を算出する積分画像算出部を更に備え、
   前記マーカー検出部は、前記積分画像に基づいて、前記画像における前記マーカーの位置を検出する
   ことを特徴とするマーカー検出装置。
7. 画像にマーカーを重畳するマーカー埋め込み装置が行うマーカー埋め込み方法であって、
   一又は複数の連続する画像を入力する画像入力ステップと、
   前記画像の最も知覚されにくい色成分に対して、前記画像上の予め定められた部分領域を定める位置に、前記色成分の濃淡が同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した濃淡パターンを有する複数のマーカーを重畳するマーカー重畳ステップと、
   前記色成分に前記マーカーが重畳された前記画像を出力する画像出力ステップと、
   を有し、
   前記４箇所の共通した濃淡パターンが配置される位置は、予め定められた複比をなす位置である、
   ことを特徴とするマーカー埋め込み方法。
8. 請求項７に記載のマーカー埋め込み方法であって、
   前記部分領域に前記画像に関する情報を重畳する情報重畳ステップを
   更に有することを特徴とするマーカー埋め込み方法。
9. 画像に重畳されたマーカーを検出するマーカー検出装置が行うマーカー検出方法であって、
   一又は複数の連続する画像を入力する画像入力ステップと、
   前記画像の最も知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカーが位置すると判定するマーカー検出ステップと、
   前記画像上において検出された複数の前記マーカーの位置に基づいて前記画像に対して射影変換を行う射影変換補正ステップと
   を有することを特徴とするマーカー検出方法。
10. 請求項９に記載のマーカー検出方法であって、
    検出された前記マーカーにより特定される部分領域から前記画像に関する情報を検出する情報検出ステップと
    を更に有することを特徴とするマーカー検出方法。
11. 請求項９又は請求項１０のいずれかに記載のマーカー検出方法であって、
    前記マーカー検出ステップでは、
    前記マーカーが有する前記濃淡パターンに応じて定められたボックスフィルタであって複数の大きさのボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における画素であって前記ボックスフィルタを用いて算出される算出値の最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャン方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカーを検出する
    ことを特徴とするマーカー検出方法。
12. 請求項９から請求項１１のいずれか一項に記載のマーカー検出方法であって、
    前記画像の前記色成分における積分画像を算出する積分画像算出ステップを更に有し、
    前記マーカー検出ステップでは、前記積分画像に基づいて、前記画像における前記マーカーの位置を検出する
    ことを特徴とするマーカー検出方法。
13. 請求項７又は請求項８のいずれかに記載のマーカー埋め込み方法における各ステップをコンピュータに実行させるためのプログラム。
14. 請求項９から請求項１２のいずれか一項に記載のマーカー検出方法における各ステップをコンピュータに実行させるためのプログラム。

Images