JP6006675B2 - マーカ検出装置、マーカ検出方法、及びプログラム - Google Patents

Description

本発明は、電子透かしなどを検出するために静止画像や動画像などに埋め込まれたマーカを、静止画像や動画像に対して射影変換が施された場合においても検出するマーカ検出装置、マーカ検出方法、及びプログラムに関する。

画像、映像といったコンテンツの流通において、コンテンツの識別や管理、更にコンテンツの著作権保護及び管理、並びに関連情報提供などの目的のため、人間の目に知覚されないようにコンテンツ内に別の情報を埋め込む電子透かし技術を用いる方法が知られている。特に、画像・映像コンテンツに対する電子透かし技術においては、画素値の微小変更に基づく方法が一般的である。具体的方法としては例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分を独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある（例えば、特許文献１）。

また、電子透かしにおいては、デジタルコンテンツを表すデジタル信号が、電子透かしの埋め込み後に受けるさまざまな改変に対して耐性を持つこと、すなわちさまざまな改変を受けた上で電子透かしを検出できることが必要である。特に電子透かしが耐性を持つべき重要な改変としては、幾何学的変換を挙げられる。幾何学的変換への耐性は、対象となる画像、映像といったコンテンツをカメラで再撮影して、そのコンテンツに埋め込まれた電子透かしを検出する場合に必須の要件となっている。なぜなら、コンテンツを撮影する距離やアングルの違いに応じて、コンテンツに対して幾何学的変換が生じるからである。

幾何学的変換に対して耐性を持たせる方法としては、電子透かしが埋め込まれている画像の縁を検出し、画像の四隅の位置を特定することで逆射影変換を行って変換前の状態を復元する手法がある（特許文献２）。この方法だと、射影変換による変形を伴った画像からも電子透かしを検出できるが、画像の縁を安定的に検出するためには画像の周囲に黒い枠もしくは白い枠で囲う必要がある。これは人間の目で知覚されるため、コンテンツ自体のデザイン性を大きく損ねてしまう問題がある。

一方、電子透かしを空間的な繰り返しパターンとして埋め込み、検出するときにはそのパターンの自己相関を利用して補正する方法（特許文献３）、画像の周波数空間上に人間に不可視なかたちでマーカを埋め込み、それを使って補正する方法（特許文献４、特許文献５）がある。これらは人間の目で知覚されることなく、幾何学的変換を伴った画像から電子透かしを検出できるが、対応可能なのは回転、スケール変換などに代表されるアフィン変換であり、射影変換には対応できない問題がある。

特開２００３−２１９１４８号公報 特許第４０２００９３号公報 特表２００３−５１０９３１号公報 特許第３９４９６７９号公報 特開２０１０−２３２８８６号公報

上述したように、特許文献１〜５に記載されている発明や技術では、コンテンツのデザイン性を損なうことなく、射影変換が施された画像や映像に対して逆射影変換により元の画像や映像に変換することができないという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、逆射影変換を行うための情報を、コンテンツのデザイン性を損なわずに画像や映像に埋め込まれたマーカから取得するマーカ検出装置、マーカ検出方法、及びプログラムを提供することにある。

本発明の一態様は、一又は複数の連続する画像を入力する画像入力部と、前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出部と、を備え、前記マーカ検出部は、前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出部と、前記マーカ位置候補検出部が検出した前記マーカごとに、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタを用いて、該マーカの中心点を起点した前記ラスタスキャンの方向に対し垂直方向にスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記中心点に近い４つの画素の位置関係から算出した複比に基づいて、該マーカの検出に対して再判定を行うマーカ位置候補再判定部と、前記第１のボックスフィルタと前記第２のボックスフィルタとを用いて、前記画像の前記色成分をスキャンして得られる各画素の近傍における最大値又は最小値に対応する画素に基づいて円検出を行い、得られた円領域に基づいて、前記マーカ位置候補検出部が検出した前記マーカを絞り込むマーカ位置候補限定部とを有することを特徴とするマーカ検出装置である。

また、本発明の一態様は、一又は複数の連続する画像を入力する画像入力部と、前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出部とを備え、前記マーカ検出部は、前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出部と、前記マーカ位置候補検出部が検出した前記マーカごとに、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタを用いて、該マーカの中心点を起点した前記ラスタスキャンの方向に対し垂直方向にスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記中心点に近い４つの画素の位置関係から算出した複比に基づいて、該マーカの検出に対して再判定を行うマーカ位置候補再判定部とを有することを特徴とするマーカ検出装置である。

また、本発明の一態様は、一又は複数の連続する画像を入力する画像入力部と、前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出部とを備え、前記マーカ検出部は、前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出部と、前記第１のボックスフィルタと、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタとを用いて、前記画像の前記色成分をスキャンして得られる各画素の近傍における最大値又は最小値に対応する画素に基づいて円検出を行い、得られた円領域に基づいて、前記マーカ位置候補検出部が検出した前記マーカを絞り込むマーカ位置候補限定部とを有することを特徴とするマーカ検出装置である。

また、本発明の一態様は、前述のマーカ検出装置において、前記画像において検出された複数の前記マーカの位置に基づいて前記画像に対して射影変換を行う射影変換補正部と、前記射影変換補正部により射影変換された画像において、検出された前記マーカにより特定される部分領域から前記画像に関する情報を検出する情報検出部とを更に備えることを特徴とする。
また、本発明の一態様は、前述のマーカ検出装置において、前記画像において検出された前記マーカの位置を出力する情報出力部を更に備えることを特徴とする。
また、本発明の一態様は、前述のマーカ検出装置において、前記画像の前記色成分における積分画像を算出する積分画像算出部を更に備え、前記マーカ検出部は、前記積分画像に基づいて、前記画像における前記マーカの位置を検出することを特徴とする。

また、本発明の一態様は、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出ステップと、を有し、前記マーカ検出ステップは、前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出ステップと、前記マーカ位置候補検出ステップにおいて検出した前記マーカごとに、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタを用いて、該マーカの中心点を起点した前記ラスタスキャンの方向に対し垂直方向にスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記中心点に近い４つの画素の位置関係から算出した複比に基づいて、該マーカの検出に対して再判定を行うマーカ位置候補再判定ステップと、前記第１のボックスフィルタと前記第２のボックスフィルタとを用いて、前記画像の前記色成分をスキャンして得られる各画素の近傍における最大値又は最小値に対応する画素に基づいて円検出を行い、得られた円領域に基づいて、前記マーカ位置候補検出ステップにおいて検出した前記マーカを絞り込むマーカ位置候補限定ステップとを有することを特徴とするマーカ検出方法である。

また、本発明の一態様は、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出ステップと、を有し、前記マーカ検出ステップは、前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出ステップと、前記マーカ位置候補検出ステップにおいて検出した前記マーカごとに、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタを用いて、該マーカの中心点を起点した前記ラスタスキャンの方向に対し垂直方向にスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記中心点に近い４つの画素の位置関係から算出した複比に基づいて、該マーカの検出に対して再判定を行うマーカ位置候補再判定ステップとを有することを特徴とするマーカ検出方法である。

また、本発明の一態様は、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出ステップと、を有し、前記マーカ検出ステップは、前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出ステップと、前記第１のボックスフィルタと、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタとを用いて、前記画像の前記色成分をスキャンして得られる各画素の近傍における最大値又は最小値に対応する画素に基づいて円検出を行い、得られた円領域に基づいて、前記マーカ位置候補検出ステップにおいて検出した前記マーカを絞り込むマーカ位置候補限定ステップとを有することを特徴とするマーカ検出方法である。

また、本発明の一態様は、前述のマーカ検出方法において、前記画像において検出された複数の前記マーカの位置に基づいて前記画像に対して射影変換を行う射影変換補正ステップと、前記射影変換補正ステップにおいて射影変換された画像において、検出された前記マーカにより特定される部分領域から前記画像に関する情報を検出する情報検出ステップとを更に有することを特徴とする。
また、本発明の一態様は、前述のマーカ検出方法において、前記画像において検出された前記マーカの位置を出力する情報出力ステップを更に有することを特徴とする。
また、本発明の一態様は、前述のマーカ検出方法において、前記画像の前記色成分における積分画像を算出する積分画像算出ステップを更に有し、前記マーカ検出ステップでは、前記積分画像に基づいて、前記画像における前記マーカの位置を検出することを特徴とする。

また、本発明の一態様は、前述のマーカ検出方法における各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、画像の知覚されにくい色成分において、マーカが有する濃淡パターンにより検出される４箇所の点から射影変換の影響を受けない複比を算出することにより、当該マーカの画像における位置を検出することができる。複数のマーカを検出することにより、画像に施された射影変換に対する逆射影変換を行うための情報を取得することが可能となる。

本実施形態において用いられるマーカの一例を示す図である。 本実施形態において画像にマーカを埋め込む領域の一例を示す図である。 本実施形態において横方向のスキャンに用いるＢｏｘフィルタの一例を示す図である。 本実施形態において縦方向のスキャンに用いるＢｏｘフィルタの一例を示す図である。 本実施形態において行う縦方向のスキャンの一例を示す図である。 本実施形態で行う円検出の一例を示す概略図である。 本実施形態におけるマーカ埋め込み装置１の構成例を示すブロック図である。 本実施形態におけるマーカが有する特徴的な濃淡パターンの一例を示す図である。 本実施形態におけるマーカ埋め込み装置１が行うマーカ埋め込み処理を示すフローチャートである。 本実施形態におけるマーカ検出装置２の構成例を示すブロック図である。 本実施形態におけるマーカ位置候補検出部２２１が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。 本実施形態におけるマーカ検出装置２が行うマーカ検出処理を示すフローチャートである。 図１２に示したマーカ検出処理におけるステップＳ２２のマーカ検出処理を示すフローチャートである。

以下、図面を参照して、本発明の実施形態におけるマーカ検出装置、マーカ検出方法、及びプログラムを説明する。

本実施形態におけるマーカ埋め込み装置及びマーカ検出装置は、射影変換が施された画像や映像を元の画像や映像に変換する際に、元の画像や映像に対して施された変換を検出するために図１に示すような同心円状の濃淡パターンを用いる。図１は、本実施形態において用いられるマーカの一例を示す図である。同図に示すように、マーカは同心円状の縞模様で構成されておりマーカの中心の円の色差（又は輝度など）を基準にして、同心円の中心点から外周方向に向かって−１、＋２、−２、＋２、−１の比に応じた色差を有する等間隔の濃淡パターンである。マーカ埋め込み装置は、画像や映像上の所定の領域の四隅にマーカを重畳する。また、マーカ埋め込み装置は、マーカを画像や映像に埋め込む際に、画像又は映像をＲＧＢ色空間からＹＣｂＣｒ（又はＹＰｂＰｒ）色空間へ変換し、視覚特性において人間に最も知覚されにくいＣｂ成分、又はその次に知覚されにくいＣｒ成分にマーカを埋め込む。なお、ＲＧＢ色空間においては、ＲＧＢの各成分のうち人間に知覚されにくいＢ成分に対してマーカを埋め込むようにしてもよい。また、画像又は映像が他の色空間で表現されている場合には当該色空間の色成分のうち最も人間に知覚されにくい色成分、又はその次に知覚されにくい色成分などに対してマーカを埋め込むようにしてもよい。以下では、Ｃｂ成分にマーカを埋め込む場合について説明する。

図２は、本実施形態において画像にマーカを埋め込む領域の一例を示す図である。同図において、画像と同じサイズの所定の矩形領域の四隅にマーカを埋め込む例を示している。このように四隅にマーカが埋め込まれた画像は、射影変換されたとしても、各マーカを検出し、各マーカの位置で把握できる領域を所定の領域に変換する逆射影変換を施すことにより、元の画像に戻すことができる。また、図２に示されている例では、画像と同じサイズの所定の領域の四隅にマーカを埋め込んでおり、画像においてマーカが埋め込まれた領域以外の領域が電子透かしを埋め込む領域となる。

電子透かしの検出において、マーカ検出装置は、マーカが埋め込まれた画像をカメラ撮影して得られた撮影画像のＣｂ成分から埋め込まれたマーカ全てを検出する。マーカ検出装置は、撮影画像におけるマーカの位置に基づいて、撮影画像に対して逆射影変換を行うことにより、画像の形状及び大きさに撮影画像を変換する復元を行う。復元により得られた画像から電子透かしを検出する等の処理を行うことにより、射影変換等の幾何学的変換に対する電子透かしの耐性を得ることができる。

以下、本実施形態において用いられるマーカについて説明する。マーカは、射影変換等の幾何学的変換によってマーカの形状が変化していても、マーカ検出装置が安定してマーカを検出できる必要がある。そのため、射影変換不変量である複比（cross ratio）を利用する。具体的には、図１に示されるように、マーカの中心（同心円の中心点）を通る直線Ｌ上に４つの点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）を定義し、この４つの点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）をＢｏｘフィルタ（ボックスフィルタ）を用いて検出する。ここで、４つの点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）が、次式（１）を満たすようにマーカ上の各点の位置を定める。

式（１）において、ｎは任意の実数である。式（１）を満たすとき、４つの点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）の位置から算出される複比は次式（２）で表され、この複比は射影変換によらず一定の値となる。例えばｎ＝３の場合、複比は（（３×５）／（４^２）＝１５／１６）になる。

ここで、図１に示したような縞模様を有するマーカを検出するためのＢｏｘフィルタについて説明する。図３は、本実施形態において横方向のスキャンに用いるＢｏｘフィルタの一例を示す図である。同図において、横方向をＸ方向とし、縦方向をＹ方向としている。同図に示されているＢｏｘフィルタは、９画素×９画素のＢｏｘフィルタであり、「０」、「−１」、「＋２」は、ハッチングで分けられている各画素（領域）に対する重み係数である。左上の角の画素の座標（ｘ，ｙ）を（０，０）とすると、（（ｘ、ｙ）；１≦ｘ≦９，１≦ｙ≦３）と（（ｘ，ｙ）；１≦ｘ≦９，７≦ｙ≦９）との画素においては、Ｃｂ成分に対して「０」を乗じる重み付けをする。また、（（ｘ，ｙ）；１≦ｘ≦３，４≦ｙ≦６）と、（（ｘ，ｙ）；７≦ｘ≦９，４≦ｙ≦６）との画素においては、Ｃｂ成分に対して「−１」を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の画素においてはＣｂ成分に対して「＋２」を乗じる重み付けをする。

このＢｏｘフィルタを用いて画像の各画素に対するラスタスキャンによりマーカを検索した際に、例えば、マーカ上の点Ａを含む「＋２」の縞が（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の領域に位置し、マーカ上の点Ａを含む縞に接する外周側の「−１」の縞が（（ｘ，ｙ）；１≦ｘ≦３，４≦ｙ≦６）に位置し、マーカ上の点Ａを含む縞に接する内周側の「−２」の縞が（（ｘ，ｙ）；７≦ｘ≦９，４≦ｙ≦６）に位置したときに、当該Ｂｏｘフィルタを用いて算出される値は、周囲の画素に比べて大きくなる。マーカを検出する際には、算出される値が周囲に比べて大きくなる点（画素）を検出し、検出した点（画素）のうちラスタスキャンを行った方向に隣接する４点から複比を算出する。
算出した複比が、マーカの複比と一致するか、マーカの複比との差分が所定範囲内である場合に、算出した複比に対応する４点がマーカ上の４つの点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）であると判定することにより、マーカを検出する。

図３に示したようなＢｏｘフィルタを用いて撮影画像をラスタスキャンすることにより順次得られる値であってＣｂ成分に基づいて算出される値の極値（近傍で最も大きい値、又は最も小さい値）を検出する。そして、検出した極値であってスキャン方向に連続する４つの極値に対応する点（画素）を点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’とする。そして、検出した極値に対応する４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）から次式（３）により複比を算出する。

式（３）を用いて算出した複比が、画像に予め埋め込まれたマーカにおける複比と等しい場合に、４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）は、マーカの中心を通っている直線上の点であってマーカが有する特徴的な濃淡パターンに対応する点であることになる。このようにＢｏｘフィルタを用いてマーカ上の４つの特徴点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）の候補点を撮影画像上から検出し、検出した候補点における複比がマーカにおける複比と等しい場合に、候補点はマーカ上の４つの特徴点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）であると判定する。このことにより、撮影画像において、元の画像に予め埋め込まれたマーカを検出し、その位置を特定することができる。

更に、Ｂｏｘフィルタを用いたラスタスキャンにより検出されたマーカの位置を起点として、図４に示すＢｏｘフィルタを用いてラスタスキャンの方向に直交する方向（垂直方向）、すなわち、縦方向にスキャンを行う。図４は、本実施形態において縦方向のスキャンに用いるＢｏｘフィルタの一例を示す図である。同図においては、図３と同様に、横方向をＸ方向とし、縦方向をＹ方向としている。図４に示されているＢｏｘフィルタは、９画素×９画素のＢｏｘフィルタであり、「０」、「−１」、「＋２」は、ハッチングで分けられている各画素（領域）に対する重み係数である。同図に示すように、左上の角の画素の座標（ｘ，ｙ）を（０，０）とすると、（（ｘ，ｙ）；１≦ｘ≦３，１≦ｙ≦９）と（（ｘ，ｙ）；７≦ｘ≦９，１≦ｙ≦９）との画素においてはＣｂ成分に対して「０」を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，１≦ｙ≦３）と（（ｘ，ｙ）；４≦ｘ≦６，７≦ｙ≦９）との画素においてはＣｂ成分に対して「−１」を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の画素においてはＣｂ成分に対して「＋２」を乗じる重み付けを行う。

このＢｏｘフィルタを用いて、検出されたマーカの中心点を起点として縦方向の上側に向かって行うスキャンと、縦方向の下側に向かって行うスキャンとを行う。図５は、本実施形態において行う縦方向のスキャンの一例を示す図である。同図に示すように、図３に示したＢｏｘフィルタを用いて検出したマーカの中心点を基点として、撮影画像を上向きと下向きとの縦方向にスキャンすることにより得られる値であってＣｂ成分に基づいて算出される値の極値（近傍で最も大きい値、又は最も小さい値）を検出する。そして、検出した極値に対応する点（画素）を点Ａ’’、点Ｂ’’、点Ｃ’’、及び点Ｄ’’とする。検出した極値に対応する４つの点（点Ａ’’、点Ｂ’’、点Ｃ’’、及び点Ｄ’’）から次式（４）により複比を算出する。

式（４）を用いて算出した複比が、画像に予め埋め込まれたマーカにおける複比と等しい場合に、４つの点（点Ａ’’、点Ｂ’’、点Ｃ’’、及び点Ｄ’’）は、マーカの中心の通っている直線上の点であってマーカが有する特徴的な濃淡パターンに対応する点であると判定することができ、ラスタスキャンにより検出されたマーカの位置（中心点）に対する再判定（検定）を行うことができる。この再判定において、４つの点（点Ａ’’、点Ｂ’’、点Ｃ’’、及び点Ｄ’’）から算出される複比が式（２）で算出される値と一致しない場合、ラスタスキャンにより検出されたマーカの位置は、誤検出されたものとして除外される。また、４つの点（点Ａ’’、点Ｂ’’、点Ｃ’’、及び点Ｄ’’）から算出される中心点が、縦方向のスキャンの基点とした位置（横方向のスキャンで検出された中心点）と一致しない場合も、誤検出されたものとして除外される。

更に、Ｂｏｘフィルタを用いた横方向及び縦方向のスキャンにより検出された極値に対応する画素の位置（座標）に基づいた円検出を行う。このとき、Ｂｏｘフィルタを用いて検出したマーカが円検出により得られた円からはみ出ている場合、当該マーカは誤検出されたものとして除外される。マーカは画像が射影変換された場合には円形状を維持していない場合があるが、ハフ（Hough）変換などを用いた円検出を行うことにより、マーカを包含した円を検出することが可能である。これを利用して、Ｂｏｘフィルタを用いたスキャンで検出されたマーカに対してスクリーニング処理を行うことにより、誤検出されるマーカを除外して、マーカの検出精度を向上させることができる。マーカを検出する精度の向上は、電子透かし埋め込み領域の特定及び逆射影変換の精度の向上につながるため、電子透かしの読み出し性能を改善することができる。

図６は、本実施形態で行う円検出の一例を示す概略図である。同図に示すように、Ｂｏｘフィルタを用いて検出された極値の位置に基づいて円検出を行い、検出したマーカが検出された円の内側の領域内に位置しているか否かを判定することにより、スクリーニング処理を行う。

以下、本実施形態におけるマーカ埋め込み装置とマーカ検出装置との具体的な構成例について説明する。
図７は、本実施形態におけるマーカ埋め込み装置１の構成例を示すブロック図である。マーカ埋め込み装置１は、入力される画像コンテンツ（静止画）又は映像コンテンツ（動画像）に対して、画像コンテンツ又は映像コンテンツ上の予め定められた矩形領域の四隅に上述の特徴を有するマーカを埋め込む。更に、マーカ埋め込み装置１は、マーカを四隅に配置した矩形領域内に予め定められた電子透かしを埋め込み出力する。マーカ埋め込み装置１は、同図に示すように、画像入力部１１、マーカ重畳部１２、電子透かし重畳部１３、及び、埋め込み済み画像出力部１４を備えている。

画像入力部１１は、予め用意された画像コンテンツ又は映像コンテンツを入力する。なお、映像コンテンツが入力される場合は、映像の時系列に連続する各フレーム画像を一枚ずつ入力する。また、入力される画像コンテンツ又は映像コンテンツは、デジタルデータとして入力される。

マーカ重畳部１２は、画像入力部１１に入力された画像又は映像の各フレーム画像に対して、予め定められた矩形領域の四隅に適当な大きさでマーカを重畳する。重畳するマーカは、図１に示した濃淡パターンを有するマーカである。また、マーカのサイズは、予め定められたサイズであってもよいし、当該矩形領域に重畳する電子透かしのサイズに応じて定めるようにしてもよい。

マーカ重畳部１２が画像に埋め込むマーカは、同心円状のパターンであること、及び、当該同心円パターンの中心を通る任意の直線上で共通した特徴的な濃淡パターンが４箇所存在することの２つの構成を有している。後者の構成については、例えば、図１に示されているマーカでは、点Ａ、点Ｂ、点Ｃ、及び点Ｄの周辺で図８に示されるような濃淡の変化が存在している。

図８は、本実施形態におけるマーカが有する特徴的な濃淡パターンの一例を示す図である。同図において、横軸はマーカの中心を通る直線に対応し縦軸は当該直線上においてマーカの中心を基準としたときの濃淡を示している。図１に示されているマーカには、図８に示されている特徴的な濃淡パターンが４箇所（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）存在している。例えば、点Ａでは（−１，＋２，−２）、点Ｂでは（−２，＋２，−１）となっており、着目している点（又は領域）に対して正（＋）の濃淡が与えられており、着目している点（又は領域）に隣接する点（又は領域）に対して負（−）の濃淡が与えられている。なお、図１に示されているマーカは、一例であって、上述の２つの構成を有する濃淡パターンからなるマーカであれば、図１に示されているマーカと異なる形状であってもよい。

マーカを画像に重畳する重畳方式として、具体的には、マーカ重畳部１２は、入力された画像をＲＧＢ色空間の信号から、ＹＣｂＣｒ色空間の信号に変換する。マーカ重畳部１２は、画像上の予め定められた矩形領域の四隅にマーカを重ね合わせ、マーカが重ね合わされた位置（画素）のＣｂ成分にマーカの濃淡値を足し込む。図１に示されているマーカを用いる場合には、同図に示されている数値がＣｂ成分に足し込む値である。ここでは、値が正値（プラス）である場合には加算を行い、値が負値（マイナス）である場合には減算を行う。なお、マーカ重畳による濃淡の強度を強めるために、パラメータとして事前に設定した固定値ａを係数としてマーカの濃淡値に対して掛け合わせてから画像のＣｂ成分に足し込んでもよい。すなわち、マーカの濃淡値を固定値ａ倍した値を画像のＣｂ成分に足し込むようにしてもよい。

また、画像コンテンツや映像コンテンツに対する幾何学的変換として、±４５度以上の回転が加わった場合において、マーカを検出する際に四隅のマーカの対応が正しくとれるようにするために、四つのマーカのうち一つのマーカの正負を反転させて足し込むようにする。以下では、図２に示したマーカ重畳例のように、右下のマーカの濃淡の正負を反転したものを重畳する場合について説明する。

電子透かし重畳部１３は、マーカ重畳部１２によって画像に重畳された四つのマーカが示す矩形領域内に電子透かし情報を重畳する。重畳方式は、重畳する電子透かしの方式に従うこととする。電子透かしの方式には、特許文献１に示されている方式などのさまざまな方式が提案されているが、いずれの方式を採用してもよい。また、電子透かし重畳部１３によって重畳される電子透かしは、それ自体が幾何学的変換に対する耐性がなくてもよい。

埋め込み済み画像出力部１４は、マーカ重畳部１２と電子透かし重畳部１３とにおいて処理が施された画像を、マーカ及び電子透かしが重畳された「埋め込み済み画像」として出力する。画像入力部１１に映像コンテンツが入力された場合には、埋め込み済みの画像をフレームとして、一連の映像シーケンスに繋ぎ合わせて一つの映像コンテンツとして出力する。埋め込み済み画像出力部１４が出力する先は、例えば、ＨＤＤや、ＤＶＤ−ＲＯＭなどの電子記録媒体や、ディスプレイ装置などである。出力先が電子記録媒体の場合には当該電子記録媒体に埋め込み済み画像を記録させ、出力先がディスプレイ装置である場合には当該ディスプレイ装置に埋め込み済み画像を表示させることになる。

図９は、本実施形態におけるマーカ埋め込み装置１が行うマーカ埋め込み処理を示すフローチャートである。マーカ埋め込み装置１は、マーカ埋め込み処理を開始すると、マーカを埋め込む対象としての画像が画像入力部１１に入力される（ステップＳ１１）。
マーカ重畳部１２は、画像入力部１１に入力された画像のＣｂ成分に対して、４つのマーカを所定の矩形領域の四隅に重畳し、４つのマーカを重畳した画像を電子透かし重畳部１３に出力する（ステップＳ１２）。

電子透かし重畳部１３は、マーカ重畳部１２から入力された画像上の所定の矩形領域内、すなわち四隅にマーカが配置されている矩形領域内に所定の電子透かし情報を重畳し、電子透かし情報を重畳した画像を埋め込み済み画像出力部１４に出力する（ステップＳ１３）。
埋め込み済み画像出力部１４は、電子透かし重畳部１３から入力された画像を外部の装置に出力する（ステップＳ１４）。

埋め込み済み画像出力部１４は、全ての画像に対して処理が完了したか否かを判定し（ステップＳ１５）、全ての画像に対して処理が完了している場合（ステップＳ１５：ＹＥＳ）にはマーカ埋め込み処理を終了する。一方、全ての画像に対して処理が完了していない場合（ステップＳ１５：ＮＯ）には処理をステップＳ１１に戻し、ステップＳ１１からステップＳ１５の処理を繰り返して行う。

上述のように、マーカ埋め込み装置１において、画像入力部１１に入力された画像コンテンツ又は映像コンテンツは、マーカ重畳部１２、電子透かし重畳部１３、及び、埋め込み済み画像出力部１４において一連の処理を施されて、画像コンテンツ又は映像コンテンツ内の予め定められた矩形領域の四隅にマーカが重畳され、当該矩形領域内に電子透かしが重畳されて出力される。

図１０は、本実施形態におけるマーカ検出装置２の構成例を示すブロック図である。マーカ検出装置２は、入力される画像コンテンツ又は映像コンテンツに対して、所定のマーカが４つ重畳されているか否かを判定する。マーカ検出装置２は、４つのマーカが検出された場合に当該マーカに基づいて画像コンテンツ又は映像コンテンツに対して重畳されている電子透かしを検出し、検出した電子透かしが示す情報を出力する。マーカ検出装置２は、同図に示すように、画像入力部２１、マーカ検出部２２、射影変換補正部２３、電子透かし検出部２４、及び、検出結果出力部２５を備えている。マーカ検出部２２は、マーカ位置候補検出部２２１、マーカ位置候補再判定部２２２、及び、マーカ位置候補限定部２２３を有している。

画像入力部２１には、検出対象の電子透かしが埋め込まれた画像コンテンツ又は映像コンテンツをカメラ等で撮影したデジタルデータ、並びに、検出対象の電子透かしが埋め込まれた画像コンテンツ又は映像コンテンツが加工（例えば、射影変換）されたデジタルデータが入力される。なお、埋め込まれている電子透かしが、検出の際に時系列的に連続する複数の画像を必要とする場合には、必要となる枚数の画像がまとめて時系列順に画像入力部２１に入力される。

マーカ検出部２２は、画像入力部２１に入力された画像に対して、当該画像上にマーカが重畳されている位置を特定する。画像に埋め込まれているマーカが図１に示されているマーカである場合について説明する。マーカ検出部２２では、入力された画像がＲＧＢ色空間の信号からＹＣｂＣｒ色空間の信号に変換され、当該画像のＣｂ成分に対してマーカの検出が行われる。

マーカ位置候補検出部２２１は、予め用意された複数の大きさのボックスフィルタごとに、Ｃｂ成分の画像に対して水平方向の走査を繰り返して行うことによる左上から右下に向かってのラスタスキャンを、Ｂｏｘフィルタを用いて行う。ここでは、図１１に示すように３つの異なる大きさのＢｏｘフィルタが予め用意されている場合について説明する。

図１１は、本実施形態におけるマーカ位置候補検出部２２１が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。Ｂｏｘフィルタは、例えば、３画素×３画素、５画素×５画素、７画素×７画素、１５画素×１５画素のＢｏｘフィルタを予め用意する。なお、各Ｂｏｘフィルタの大きさや、Ｂｏｘフィルタの個数は、対象とするコンテンツ及びコンテンツに重畳されるマーカのサイズに応じて予め定めるようにしてもよい。マーカ位置候補検出部２２１は、各Ｂｏｘフィルタを用いたラスタスキャンにおいて画素ごとに値を算出する。

ここで、スキャン方向と、当該スキャン方向に垂直な方向と、Ｂｏｘフィルタの大きさ方向とからなる３次元スケールスペース上において、それぞれの方向に隣接する領域を２６近傍として定義する。マーカ位置候補検出部２２１は、現在のスキャン位置（画素）の算出値と２６近傍の算出値を比べて、スキャン位置の算出値が最大値となる場合に当該スキャン位置の算出値を極大値として検出する。マーカ位置候補検出部２２１は、スキャン方向に連続する４つの極大値に対応する点を、点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’として式（３）を用いて複比を算出する。マーカ位置候補検出部２２１は、式（３）を用いて算出した複比と、マーカに対して定められている式（２）で算出される複比とを比較し、等しい場合にマーカが４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）で定められる位置に存在すると判定し、マーカの中心点を記憶する。マーカ位置候補検出部２２１は、Ｂｏｘフィルタを用いたマーカの中心点を検出する処理を画像全体に対して行う。なお、スキャン方向又はスキャン方向に垂直な方向のいずれかと、Ｂｏｘフィルタの大きさ方向とからなる２次元スケールスペース上における８近傍の算出値を比べて極大値を検出するようにしてもよい。

また、マーカ位置候補検出部２２１は、矩形領域の右下に対応するマーカについて以下のように行う。なお、矩形領域の右下に対応するマーカは、その濃淡パターンが他の３箇所のマーカの濃淡パターンと逆になっているため、上述のＢｏｘフィルタにより算出される値はマーカの特徴点において近傍の画素より小さくなる。マーカ位置候補検出部２２１は、現在のスキャン位置（画素）の算出値と２６近傍の算出値とを比べて、スキャン位置の算出値が最小となる場合に当該スキャン位置の算出値を極小値として検出する。マーカ位置候補検出部２２１は、スキャン方向に連続する４つの極小値（最小値）に対応する点を、点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’として式（３）を用いて複比を算出する。マーカ位置候補検出部２２１は、式（３）を用いて算出した複比と、マーカに対して定められている式（２）で算出される複比とを比較し、等しい場合にマーカが４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）で定められる位置に存在すると判定し、マーカの中心点を記憶する。

なお、マーカ位置候補検出部２２１は、検出した４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）に基づいて算出した複比と、マーカに対して定められている式（２）で算出される複比との差が一致せずとも所定の範囲内であれば、検出した４つの点で定められる位置にマーカが存在すると判定するようにしてもよい。以上の処理により、マーカ位置候補検出部２２１は、マーカ検出装置２に入力された画像においてマーカが重畳されている位置の候補であるマーカ位置候補を検出する。このとき、マーカ位置候補検出部２２１は、検出したマーカ位置候補が４点以上存在していてもそのまま候補として記憶し、マーカ位置候補再判定部２２２に出力する。

マーカ位置候補再判定部２２２は、マーカ位置候補検出部２２１により検出されたマーカ位置候補が妥当であるか否かを判定する。具体的には、マーカ位置候補再判定部２２２は、マーカ位置候補が示す点を起点にした縦方向のスキャンを行うことにより、マーカが有する特徴的な濃淡パターンに対応する点（特徴点）の検出を行う。このとき、マーカ位置候補再判定部２２２は、例えば、図４に示したようなＢｏｘフィルタを用いて縦方向のスキャンを行う。また、マーカ位置候補再判定部２２２は、マーカ位置候補検出部２２１と同様に複数のサイズのＢｏｘフィルタを用いて、現在のスキャン位置（画素）の算出値と８近傍における算出値を比べて、スキャン位置の算出値が最大値となる場合に当該スキャン位置の算出値を極大値として検出する。

すなわち、マーカ位置候補再判定部２２２は、図５に示したように、マーカ位置候補が示す点を縦方向のスキャンの起点にして、起点に対して近い２点の極大値に対応する点を上方向と下方向とのそれぞれに対して検出する。図５においては、上方向で起点に対して近い２点は点Ａ’’と点Ｂ’’とであり、下方向で起点に対して近い２点は点Ｃ’’と点Ｄ’’とである。マーカ位置候補再判定部２２２は、縦方向のスキャンにより検出した４つの点（点Ａ’’、点Ｂ’’、点Ｃ’’、及び点Ｄ’’）から式（４）を用いて複比を算出する。なお、図１に示したマーカを反転したマーカに対応するマーカ位置候補に対しては、マーカ位置候補再判定部２２２は極小値に対応する点を検出して同様の処理を行う。

マーカ位置候補再判定部２２２は、算出した複比がマーカに対して定められている式（２）で算出される複比とを比較する。マーカ位置候補再判定部２２２は、２つの複比が等しい場合にマーカ位置候補が妥当であると判定する。マーカ位置候補再判定部２２２は、２つの複比が等しくない場合、マーカ位置候補が誤検出されたものとして除外する。このとき、マーカ位置候補再判定部２２２は、２つの複比の差が所定の範囲内にある場合にマーカ位置候補が妥当であると判定するようにしてもよい。

また、マーカ位置候補再判定部２２２は、縦方向のスキャンにより検出した４つの点の位置に基づいてマーカの中心点を算出し、算出した中心点とマーカ位置候補とが一致するか否かを判定するようにしてもよい。このとき、マーカ位置候補再判定部２２２は、２つの点が一致する又は２つの点の距離が所定の範囲内にある場合には、マーカ位置候補が妥当であると判定する。このように、マーカ位置候補再判定部２２２が縦方向の複比と中心点の位置とを用いた再判定をマーカ位置候補に対して行うことにより、マーカ位置候補検出部２２１において誤検出されたマーカ位置候補を除外することができる。

マーカ位置候補限定部２２３は、図３に示したような横方向の変化を検出するＢｏｘフィルタと、図４に示したような縦方向の変化を検出するＢｏｘフィルタとのそれぞれを画像のＣｂ成分に対して用いて極大値と極小値との点を検出する。すなわち、マーカ位置候補限定部２２３は、マーカが有する特徴的な濃淡パターンに対応する特徴点を画像のＣｂ成分から検出する。このとき、マーカ位置候補限定部２２３は、マーカ位置候補検出部２２１及びマーカ位置候補再判定部２２２と同様に複数の大きさのＢｏｘフィルタを用いるマルチスケールで画像のＣｂ成分をスキャンする。

マーカ位置候補限定部２２３は、検出した点の和集合を求め、図６に示したような円検出を行う。このとき、マーカ位置候補限定部２２３は、マーカ位置候補検出部２２１及びマーカ位置候補再判定部２２２と同様に、複数の大きさのＢｏｘフィルタを用いた横方向及び縦方向のスキャンにより極値（近傍における最大値又は最小値）を算出する。円検出については様々な公知の方法があるが、例えば、参考文献１に記載されているハフ（Hough）変換を用いるようにしてもよい。
［参考文献１］：ディジタル画像処理編集委員会監修、「ディジタル画像処理」、財団法人画像情報教育振興協会（ＣＧ−ＡＲＴＳ協会）、２１１頁−２１４頁、２００４年７月

マーカ位置候補限定部２２３は、円検出で得られた円に基づいて、マーカを検出する領域として限定する。具体的には、マーカ位置候補限定部２２３は、得られた円の内側の領域に位置するマーカ位置候補を残し、得られた円の外側の領域に位置するマーカ位置候補を除外する。これにより、マーカ位置候補限定部２２３は、マーカ位置候補検出部２２１が横方向のスキャンにより検出されたマーカ位置候補に対してスクリーニングを行う。あるいは、マーカ位置候補限定部２２３は、マーカ位置候補再判定部２２２による再判定の結果残ったマーカ位置候補に対してスクリーニングを行う。このように、マーカ位置候補限定部２２３が円検出に基づいたマーカ位置候補に対するスクリーニングを行うことにより、マーカ位置候補の検出精度を高くすることができる。

マーカ位置候補限定部２２３は、検出したマーカ位置を、濃淡パターンの反転しているマーカ位置以外の３つのマーカ位置が矩形領域の左上、右上、左下のいずれに対応するかについて、４つのマーカの重心と右下のマーカ（反転しているマーカ）との位置関係から対応付けをする。なお、検出したマーカ位置が５つ以上存在する場合、マーカ位置候補限定部２２３は、極大値の合計がより大きいマーカ位置から３つを選択し、極小値の合計がより小さいマーカ位置から１つを選択することにより、４つのマーカを特定する。

以上の処理により、マーカ検出部２２は、電子透かしが埋め込まれた矩形領域の四隅を示すマーカの位置を全て特定することができる。なお、埋め込まれたマーカが、図１に示されている形状以外のものであっても、本実施形態におけるマーカの構成である「共通した特徴的な濃淡パターン」を抽出できるフィルタを用いることによって、同様にマーカの位置を検出することができる。なお、マーカ検出部２２は、マーカの位置が３つ以下しか検出できなかった場合、電子透かしが埋め込まれていない、又は、マーカの検出に失敗したと判定してそれ以降の処理を行わない。

射影変換補正部２３は、マーカ検出部２２が検出した４つのマーカの位置に基づいて、入力された画像に対して逆射影変換を行う。このとき、射影変換補正部２３は、４つのマーカの位置が、マーカ埋め込み装置１が４つのマーカを埋め込んだ矩形領域の四隅の位置になるように逆射影変換を行う。このとき、射影変換補正部２３は、例えば、特許文献２に記載されている技術と同じ技術を適用することにより、逆射影変換を行う。

電子透かし検出部２４は、射影変換補正部２３による逆射影変換によって得られた画像上のマーカが四隅に配置された矩形領域から、マーカ埋め込み装置１の電子透かし重畳部１３が画像に重畳した電子透かしを検出する。このとき、埋め込まれている電子透かしが、時系列的に複数の画像を必要とする場合には、マーカ検出部２２及び射影変換補正部２３が必要な枚数の画像分の処理を繰り返して行い、逆射影変換により補正された必要数の画像を得てから電子透かしを検出する。電子透かし検出部２４は、検出した電子透かしが示す情報を検出結果出力部２５に出力する。

検出結果出力部２５は、電子透かし検出部２４が出力する情報、すなわち電子透かしが示す電子透かし情報をデジタルデータとして外部に出力する。

図１２は、本実施形態におけるマーカ検出装置２が行うマーカ検出処理を示すフローチャートである。マーカ検出装置２において、マーカ検出処理が開始されると、マーカ及び電子透かし情報を検出する対象としての画像（又は映像の各フレーム画像）が画像入力部２１に入力される（ステップＳ２１）。
マーカ検出部２２は、画像入力部２１に入力された画像のＣｂ成分の画像において、Ｂｏｘフィルタを用いてマーカの中心点を検出するマーカ検出処理を行う（ステップＳ２２)。

マーカ検出部２２は、検出したマーカが３個以下であるか否かを判定し（ステップＳ２３）、検出したマーカが３個以下である場合（ステップＳ２３：ＹＥＳ）、マーカ処理を終了する。
一方、検出したマーカが３個以下でない場合（ステップＳ２３：ＮＯ）、射影変換補正部２３は、マーカ検出部２２が検出した４つのマーカの位置に基づいて、入力された画像に対して、検出されたマーカが示す部分領域を所定の大きさを有する矩形領域に一致させる逆射影変換を行う（ステップＳ２４）。

電子透かし検出部２４は、射影変換補正部２３による逆射影変換によって得られた画像上のマーカが示す矩形領域において電子透かしを検出する（ステップＳ２５）。
電子透かし検出部２４は、検出した電子透かしが示す電子透かし情報が正しいか否かを判定し（ステップＳ２６）、電子透かし情報が正しい場合（ステップＳ２６：ＹＥＳ）、当該電子透かし情報を出力し（ステップＳ２７）、マーカ検出処理を終了する。
一方、電子透かし情報が正しくない場合、電子透かし検出部２４は、処理をステップＳ２１に戻して、ステップＳ２１からステップＳ２６までの処理を繰り返して行う。

図１３は、図１２に示したマーカ検出処理におけるステップＳ２２のマーカ検出処理を示すフローチャートである。マーカ検出部２２においてマーカ検出処理（ステップＳ２２）が開始されると、マーカ位置候補検出部２２１は、マーカが有する特徴的な濃淡パターンに対応する点を検出するために、複数の大きさのＢｏｘフィルタを用いたラスタスキャンを画像のＣｂ成分に対して行う。マーカ位置候補検出部２２１は、検出した点から、スキャン方向に連続する４つの点の位置関係から得られる複比が式（２）を満たす組を検出し、当該４つの点から推定されるマーカの中心点をマーカ位置候補とする（ステップＳ２２１）。

マーカ位置候補再判定部２２２は、マーカ位置候補検出部２２１が検出したマーカ位置候補ごとに、複数の大きさのＢｏｘフィルタを用いた縦方向のスキャンをマーカ位置候補が示す点を起点として上向きと下向きとそれぞれ行う。マーカ位置候補再判定部２２２は、縦方向のスキャンにより検出した最近傍の４つの特徴点に基づいて、複比及びマーカの中心点を算出する。マーカ位置候補再判定部２２２は、算出した複比及び中心点に基づいて、当該複比及び中心点に対応するマーカ位置候補に対する再判定を行い、マーカ位置候補の絞り込みを行う（ステップＳ２２２）。

マーカ位置候補限定部２２３は、マーカの特徴的な濃淡パターンに対応する点を検出する横方向のＢｏｘフィルタ（例えば図３）及び縦方向のＢｏｘフィルタ（例えば図４）を用いて、画像のＣｂ成分をマルチスケールでスキャンして極値に対応する点を検出する。マーカ位置候補限定部２２３は、検出した点に基づいた円検出を行う。マーカ位置候補限定部２２３は、検出した円の内側に位置するマーカ位置候補を抽出することにより、マーカ位置候補の絞り込みを行う（ステップＳ２２３）。

マーカ検出部２２において、マーカ位置候補検出部２２１が検出したマーカ位置候補のうち、マーカ位置候補再判定部２２２とマーカ位置候補限定部２２３とにより絞り込まれたマーカ位置候補を中心点とするマーカが、画像から検出されたマーカとして扱われる。これにより、マーカを検出する対象の画像や映像に含まれる濃淡によっては、マーカが埋め込まれていない位置をマーカが埋め込まれている位置として誤検出することがあっても、マーカ位置候補再判定部２２２とマーカ位置候補限定部２２３とによるスクリーニングにより、誤検出された位置を除外することができ、マーカ検出の精度を向上させることができる。

上述のように、マーカ検出装置２において、画像入力部２１に入力された画像コンテンツ又は映像コンテンツは、マーカ検出部２２によって検出された４つのマーカに基づいて逆射影変換が施され、逆射影変換された画像から電子透かしが検出される。このように、射影変換に対する耐性を有するマーカに基づいた逆射影変換を行うことにより、射影変換に対して耐性がない電子透かしを重畳した画像コンテンツ又は映像コンテンツに対して射影変換が施された場合においても、電子透かしを検出することができる。

以上説明した、マーカ埋め込み装置１とマーカ検出装置２とを用いることで、視覚特性において人間に最も知覚されにくいＣｂ成分に、複比が検出可能なマーカを埋め込み、当該マーカをＢｏｘフィルタにより検出することが可能となる。
マーカの中心を通る直線上に４箇所の共通した特徴的な濃淡パターンを定めていることにより、当該特徴的な濃淡パターンをフィルタ処理により検出することができる。また、マーカの中心を通る直線上の４箇所の点で定められる複比は、射影変換によってマーカが変形したとしても、射影変換後のマーカにおける当該４箇所の点から算出される複比と一致する。この複比を用いたマーカの検出を行うことにより、射影変換が施された画像からマーカを検出することができる。

また、フィルタ処理においては、マーカが有する特徴的な濃淡パターンに対応するＢｏｘフィルタを用いたラスタスキャンを行うようにしたので、特徴的な濃淡パターンの領域がＢｏｘフィルタの領域と重なった場合に算出される値が近傍の値に比べて大きくなる。これにより、マーカの位置の特定を容易にすることができる。特定したマーカの位置に基づいて逆射影変換を行うことにより、電子透かし等の情報を埋め込んだ画像コンテンツや映像コンテンツを幾何学的変換前の状態に復元することができる。
その結果、電子透かし等の情報を埋め込んだ画像コンテンツや映像コンテンツをカメラ等で撮影した際に生じる射影変換が施された画像に対し逆射影変換を施して、埋め込まれた電子透かし等の画像に関する情報を取得することができる。

なお、本実施形態では、図２に示されているように、電子透かしを埋め込む対象の画像の四隅にマーカを重畳し、画像のほとんどの領域を電子透かしを重畳する領域にする場合を例として示した。しかし、これに限ることなく、対象の画像において特定の部分領域を電子透かしを重畳する領域とするようにしてもよい。この場合、部分領域の四隅にマーカを重畳するようにしてもよい。例えば、対象の画像に二人の人物が映っているとして、それぞれの人物の顔に対応する部分領域に２種類の異なる電子透かしを埋めるといったことも可能である。このようにすることで、一枚の画像コンテンツからそれぞれの人物に対応した情報を検出することが可能となる。更に、検出した情報に基づいて他のコンテンツ（例えば、Ｗｅｂ情報サイト）にユーザを誘導するようにしてもよい。
電子透かし等の情報を複数埋め込む場合、マーカ検出部２２は、複数の５つ以上マーカを検出することになるが、この場合、４つのマーカで定まる領域が重複しないマーカの組み合わせを順に選択するなどして、複数の領域を検出するようにしてもよい。

また、本実施形態では、マーカ検出装置２が逆射影変換の後に電子透かしを検出する構成について説明したが、電子透かし以外の情報を検出するようにしてもよい。例えば、電子透かしの埋め込み領域を特定する目的以外に、画像認識を利用した同様なアプリケーション（例えば、カメラで撮影したオブジェクトに関連したＷｅｂ情報サイトにアクセスするための情報を提供するアプリケーション）においても、画像認識の前処理として利用可能である。この場合、検出したマーカに基づいて特定した部分領域の画像における位置又はマーカの位置を示す情報を出力する情報出力部を、マーカ検出装置２が備えるようにしてもよい。ただし、情報を埋め込む領域を含むオブジェクトは平面的な物体であり、かつ印刷等により時算にマーカを埋め込むことが可能な場合に限られる。もちろん、このような利用を想定する場合、マーカ埋め込み装置１における電子透かし重畳部１３や、マーカ検出装置２における射影変換補正部２３及び電子透かし検出部２４は不要であり、検出結果出力部２５は、埋め込み画像上のマーカの位置情報を出力するようにしてもよい。認識モジュールは、出力されたマーカの位置情報に基づいて、オブジェクトの切り出しや幾何学的変換の補正を行うことにより、認識精度を向上させることができる。また、マーカの位置情報に基づいて、オブジェクトとカメラとの相対的な空間位置関係を算出し、認識結果と合わせて利用することにより、認識精度を向上させるようにしてもよい。

また、４つのマーカにより特定される領域が矩形領域である場合を例にして説明したが、矩形領域以外であってもよく、４つのマーカにより特定できる領域に電子透かし等の情報を重畳するようにしてもよい。この場合、４つのマーカにより特定される領域の形状及び大きさは予め定められ、定められた形状及び大きさに基づいて、マーカ重畳部１２及び射影変換補正部２３は処理を行うことになる。また、４つのマーカにより領域を特定する場合を例にして説明したが、４つ以上のマーカにより特定できる多角形の領域に電子透かし等の情報を重畳するようにしてもよい。

また、本実施形態では、矩形領域に対応する部分領域を特定する４つのマーカにおける複比が同じ場合について説明したが、４つのマーカそれぞれの複比を異なるようにしてもよい。この場合、±４５度以上の回転が加わった場合においても、各マーカの元の位置を把握することができるので、図２に示したように一箇所のマーカの濃淡を反転させずともよい。

また、上記の実施形態において説明したＢｏｘフィルタを用いたラスタスキャンにおいて、当該ラスタスキャンを行う前に対象画像の積分画像（Integral Image）を算出しておくことにより、フィルタリングによる計算量を大幅に削減することができ、処理を高速化することができる（参考文献２：八木康史、斉藤秀雄編「コンピュータビジョン 最先端ガイド２」、アドコムメディア株式会社、４６頁、２０１０年６月）。具体的には、積分画像から各重み係数を乗じる領域ごとのＣｂ成分の合計値を算出する積分画像算出部を画像入力部２１とマーカ検出部２２との間に設ける。マーカ検出部２２は、積分画像から得られる各領域のＣｂ成分の合計値に対して重み係数を乗じた値の和を算出する。これにより、Ｂｏｘフィルタの大きさに応じて増加する演算量を抑えることができ、マーカ検出の処理に要する演算量を削減することができる。

また、上記の実施形態では、マーカ位置候補検出部２２１が検出したマーカ位置候補を、マーカ位置候補再判定部２２２とマーカ位置候補限定部２２３とが絞り込む構成について説明したが、マーカ位置候補再判定部２２２又はマーカ位置候補限定部２２３のいずれか一方でマーカ位置候補を絞り込むようにしてもよい。また、マーカ位置候補再判定部２２２とマーカ位置候補限定部２２３とによる絞り込みの順序は、図１３のフローチャートに示した順序でなくともよい。例えば、マーカ位置候補限定部２２３における円検出による絞り込みを行った後に、マーカ位置候補再判定部２２２における縦方向のスキャンによる絞り込みを行うようにしてもよい。

また、マーカ位置候補限定部２２３がＢｏｘフィルタを用いて特徴点を検出する処理において、マーカ位置候補検出部２２１による横方向のＢｏｘフィルタ処理の結果や、マーカ位置候補再判定部２２２による縦方向のＢｏｘフィルタ処理の結果を流用するようにしてもよい。これにより、マーカ位置候補限定部２２３における演算量を削減しつつ、マーカの検出精度を維持することができる。

上述した実施形態におけるマーカ埋め込み装置１（図７）及びマーカ検出装置２(図１０)をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、射影変換を施すことによって得られた画像から元の画像に戻す逆射影変換が必要不可欠な用途にも適用できる。

１…マーカ埋め込み装置
２…マーカ検出装置
１１…画像入力部
１２…マーカ重畳部
１３…電子透かし重畳部
１４…埋め込み済み画像出力部
２１…画像入力部
２２…マーカ検出部
２３…射影変換補正部
２４…電子透かし検出部（情報検出部）
２５…検出結果出力部
２２１…マーカ位置候補検出部
２２２…マーカ位置候補再判定部
２２３…マーカ位置候補限定部

Claims (13)

1. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出部と、
   を備え、
   前記マーカ検出部は、
   前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出部と、
   前記マーカ位置候補検出部が検出した前記マーカごとに、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタを用いて、該マーカの中心点を起点した前記ラスタスキャンの方向に対し垂直方向にスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記中心点に近い４つの画素の位置関係から算出した複比に基づいて、該マーカの検出に対して再判定を行うマーカ位置候補再判定部と、
   前記第１のボックスフィルタと前記第２のボックスフィルタとを用いて、前記画像の前記色成分をスキャンして得られる各画素の近傍における最大値又は最小値に対応する画素に基づいて円検出を行い、得られた円領域に基づいて、前記マーカ位置候補検出部が検出した前記マーカを絞り込むマーカ位置候補限定部と
   を有する
   ことを特徴とするマーカ検出装置。
2. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出部と
   を備え、
   前記マーカ検出部は、
   前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出部と、
   前記マーカ位置候補検出部が検出した前記マーカごとに、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタを用いて、該マーカの中心点を起点した前記ラスタスキャンの方向に対し垂直方向にスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記中心点に近い４つの画素の位置関係から算出した複比に基づいて、該マーカの検出に対して再判定を行うマーカ位置候補再判定部と
   を有する
   ことを特徴とするマーカ検出装置。
3. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出部と
   を備え、
   前記マーカ検出部は、
   前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出部と、
   前記第１のボックスフィルタと、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタとを用いて、前記画像の前記色成分をスキャンして得られる各画素の近傍における最大値又は最小値に対応する画素に基づいて円検出を行い、得られた円領域に基づいて、前記マーカ位置候補検出部が検出した前記マーカを絞り込むマーカ位置候補限定部と
   を有する
   ことを特徴とするマーカ検出装置。
4. 請求項１から請求項３のいずれか一項に記載のマーカ検出装置において、
   前記画像において検出された複数の前記マーカの位置に基づいて前記画像に対して射影変換を行う射影変換補正部と、
   前記射影変換補正部により射影変換された画像において、検出された前記マーカにより特定される部分領域から前記画像に関する情報を検出する情報検出部と
   を更に備えることを特徴とするマーカ検出装置。
5. 請求項１から請求項３のいずれか一項に記載のマーカ検出装置において、
   前記画像において検出された前記マーカの位置を出力する情報出力部
   を更に備えることを特徴とするマーカ検出装置。
6. 請求項１から請求項５のいずれか一項に記載のマーカ検出装置において、
   前記画像の前記色成分における積分画像を算出する積分画像算出部を更に備え、
   前記マーカ検出部は、
   前記積分画像に基づいて、前記画像における前記マーカの位置を検出する
   ことを特徴とするマーカ検出装置。
7. 一又は複数の連続する画像を入力する画像入力ステップと、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出ステップと、
   を有し、
   前記マーカ検出ステップは、
   前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出ステップと、
   前記マーカ位置候補検出ステップにおいて検出した前記マーカごとに、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタを用いて、該マーカの中心点を起点した前記ラスタスキャンの方向に対し垂直方向にスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記中心点に近い４つの画素の位置関係から算出した複比に基づいて、該マーカの検出に対して再判定を行うマーカ位置候補再判定ステップと、
   前記第１のボックスフィルタと前記第２のボックスフィルタとを用いて、前記画像の前記色成分をスキャンして得られる各画素の近傍における最大値又は最小値に対応する画素に基づいて円検出を行い、得られた円領域に基づいて、前記マーカ位置候補検出ステップにおいて検出した前記マーカを絞り込むマーカ位置候補限定ステップと
   を有する
   ことを特徴とするマーカ検出方法。
8. 一又は複数の連続する画像を入力する画像入力ステップと、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出ステップと、
   を有し、
   前記マーカ検出ステップは、
   前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出ステップと、
   前記マーカ位置候補検出ステップにおいて検出した前記マーカごとに、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタを用いて、該マーカの中心点を起点した前記ラスタスキャンの方向に対し垂直方向にスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記中心点に近い４つの画素の位置関係から算出した複比に基づいて、該マーカの検出に対して再判定を行うマーカ位置候補再判定ステップと
   を有する
   ことを特徴とするマーカ検出方法。
9. 一又は複数の連続する画像を入力する画像入力ステップと、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する点を４つ検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出ステップと、
   を有し、
   前記マーカ検出ステップは、
   前記マーカが有する前記濃淡パターンに応じて定められた第１のボックスフィルタであって複数の大きさの第１のボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出された画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカが位置するか否かを判定するマーカ位置候補検出ステップと、
   前記第１のボックスフィルタと、前記マーカが有する前記濃淡パターンに応じて定められ前記第１のボックスフィルタと異なる第２のボックスフィルタであって複数の大きさの第２のボックスフィルタとを用いて、前記画像の前記色成分をスキャンして得られる各画素の近傍における最大値又は最小値に対応する画素に基づいて円検出を行い、得られた円領域に基づいて、前記マーカ位置候補検出ステップにおいて検出した前記マーカを絞り込むマーカ位置候補限定ステップと
   を有する
   ことを特徴とするマーカ検出方法。
10. 請求項７から請求項９のいずれか一項に記載のマーカ検出方法において、
    前記画像において検出された複数の前記マーカの位置に基づいて前記画像に対して射影変換を行う射影変換補正ステップと、
    前記射影変換補正ステップにおいて射影変換された画像において、検出された前記マーカにより特定される部分領域から前記画像に関する情報を検出する情報検出ステップと
    を更に有することを特徴とするマーカ検出方法。
11. 請求項７から請求項９のいずれか一項に記載のマーカ検出方法において、
    前記画像において検出された前記マーカの位置を出力する情報出力ステップ
    を更に有することを特徴とするマーカ検出方法。
12. 請求項７から請求項１１のいずれか一項に記載のマーカ検出方法において、
    前記画像の前記色成分における積分画像を算出する積分画像算出ステップを更に有し、
    前記マーカ検出ステップでは、
    前記積分画像に基づいて、前記画像における前記マーカの位置を検出する
    ことを特徴とするマーカ検出方法。
13. 請求項７から請求項１２のいずれか一項に記載のマーカ検出方法における各ステップをコンピュータに実行させるためのプログラム。

Images