JP6152787B2 - 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法 - Google Patents

Description

本発明は、情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法に関する。

近年、テレビ受像機又はデジタルサイネージ端末等の表示画面に表示されている映像又は音声等を媒介して、その映像又は音声等のコンテンツに関連した情報を配信する、Online To Offline（Ｏ２Ｏ）等のビジネスが盛り上がりを見せている。

例えば、映像を媒介して情報が配信される場合、ユーザは、スマートフォン又はタブレット等のスマートデバイスにより映像を撮影することで、コンテンツに関連した情報を取得することができる。音声を媒介して情報が配信される場合、ユーザは、スマートデバイスにより音声を録音することで、コンテンツに関連した情報を取得することができる。このようなビジネスによれば、映像又は音声を媒介して、ユーザをネットワーク上のサービス又は実際の店舗等へ誘導することが可能になる。

このビジネスを実現する技術として、映像又は音声の認識技術、映像又は音声の中に別の情報を人が知覚できないような形態で埋め込む電子透かし技術等がよく利用されている。映像の認識技術によれば、１次元の信号である音声よりも多くの特徴量を利用できるため、短い時間で高い精度の認識結果を得ることができる。また、映像の電子透かし技術によれば、短い時間で音声よりも多くの情報を埋め込むことができる。

このような観点からは、映像を利用した技術は音声を利用した技術より有利であると考えられる。その一方で、映像は音声とは異なり、撮像装置と被写体である表示画面との位置関係によって空間的な歪みが生じ、その歪みが映像の認識精度や電子透かしの検出精度の低下につながる。このため、空間的な歪みを前処理で補正することが望ましい。

前処理に関連して、印刷物をカメラで撮影した矩形画像を補正するために四隅の点を検出する方法が知られている（例えば、特許文献１を参照）。この方法では、矩形画像の注目点の近傍の輝度の重み付き和が縁判定閾値を超えた場合に、縁であることが検出される。また、矩形画像の近傍点範囲と最適な近傍点範囲幅と重み係数行列列数から求められた重み付き和が枠判定閾値を超えた場合に、枠であることが検出される。そして、検出された縁又は枠に基づいて四隅の座標が検出される。

前処理に関連して、撮影画像から原画像領域を抽出する画像領域判定方法も知られている（例えば、特許文献２を参照）。この画像領域判定方法では、撮影画像に含まれる原画像領域のエッジラインの端点が暫定頂点として求められ、暫定頂点の周辺の画像にフーリエ変換処理が施されて、低周波数成分の位相角が算出される。そして、算出された位相角に基づいて暫定頂点の位置ずれが調整されて最終検出頂点が求められ、最終検出頂点の座標値をもとに原画像領域が抽出される。

また、動画像データの画質が劣化しないように透かし情報を動画像データに埋め込む電子透かし埋め込み装置も知られている（例えば、特許文献３を参照）。この電子透かし埋め込み装置は、動画像データ中の各画像に重畳される透かしパターンの面積を、時系列に沿って、電子透かし情報に含まれるシンボルの値に応じて周期的に変化させる。そして、電子透かし埋め込み装置は、各画像とその画像に対応する透かしパターンとが重なる領域に含まれる各画素の値を、透かしパターンに含まれる画素が持つ所定の値に応じて修正する。

撮影した動画像からリアルタイムに電子透かし検出を行うことを可能とする電子透かし埋め込み方法も知られている（例えば、特許文献４を参照）。この電子透かし埋め込み方法では、透かし情報とフレーム表示時刻と透かしパターン切り替え情報を用いて透かしパターンが生成され、透かしパターンが動画像データのフレーム画像に重畳される。そして、このような処理を順次繰り返して得られる透かし入りフレーム画像群を結合して、透かし入り動画像データが生成される。

デフリッカー操作に対してロバストな透かし埋め込み方法も知られている（例えば、特許文献５を参照）。この透かし埋め込み方法では、各画像が少なくとも第１及び第２の画像領域に分割され、第１の画像領域の大域的特性を増加させるとともに第２の画像領域の大域的特性を減少させることにより、透かしサンプルの一方の値が画像に埋め込まれる。逆に、第１の画像領域の大域的特性を減少させるとともに第２の画像領域の大域的特性を増加させることにより、透かしサンプルの他方の値が画像に埋め込まれる。

動画像への電子透かし情報の埋め込みにより発生するフリッカーを抑制する電子透かし埋め込み装置も知られている（例えば、特許文献６を参照）。この電子透かし埋め込み装置は、第１の値を持つ複数の画素を含み、一定の周期で面積が変動し、かつ、面積の周期変動における位相が電子透かし情報に含まれるシンボルの値に応じて変化する、電子透かしパターンを生成する。また、電子透かし埋め込み装置は、第２の値を持つ複数の画素を含み、上述の周期とは異なる周波数特性で面積が変動する、フリッカー抑制パターンを生成する。そして、電子透かし埋め込み装置は、時系列の画像の各々の画像領域に対して電子透かしパターンを重畳するとともにフリッカー抑制パターンを重畳し、パターンが重畳された画像領域内の各画素の値を、第１の値及び第２の値に応じて修正する。

特開２００５−２７７７３２号公報 特開２００５−１８２１６４号公報 特開２０１２−１４２７４１号公報 国際公開第２００７／０１５４５２号パンフレット 国際公開第２００４／０６６６２６号パンフレット 特開２０１３−０３０９７４

上述した従来の電子透かし技術には、以下のような問題がある。
特許文献１の四隅の点を検出する方法では、よく使用されるハフ変換による直線検出とは異なり、比較的少ない演算量で画像の四隅の座標を検出でき、特許文献２の画像領域判定方法では、高速フーリエ変換等を利用することで演算量を少なく抑えることができる。このため、パーソナルコンピュータ（ＰＣ）と比べてCentral processing Unit（ＣＰＵ）の性能が低いスマートデバイス等の端末でも、軽快に処理を実行できると考えられる。

しかしながら、映像を表示する表示装置の表示画面を含む範囲を撮影した画像から表示画面に対応する部分を検出する場合、表示画面に表示された映像の輝度や色と、表示画面以外の背景部分の輝度や色とが類似していることもあり得る。この場合、表示画面の周囲に存在する表示装置の枠等、別の矩形を表示画面の境界として誤検出する可能性が高くなる。また、検出精度を保つために、表示画面に表示される映像の周辺部に枠の画像を合成して表示することも考えられるが、枠の画像が目立って美観が損なわれるという問題がある。

また、正しい表示画面の境界を検出するために、空間的な周波数特性を有する２次元パターンを映像に埋め込んでおき、表示画面を含む範囲を撮影した画像からフーリエ変換により周波数特性を抽出する方法も考えられる。

しかしながら、印刷される画像ではなく表示画面に表示される映像の場合、このような静的な２次元パターンは、曇りガラスのようなノイズとしてかえって目立つと考えられる。目立たない程度に２次元パターンを弱めるとその検出が困難になるため、空間的な周波数特性を映像に適用することは困難である。

なお、かかる問題は、スマートデバイスにより撮影された映像からテレビ受像機又はデジタルサイネージ端末の表示画面を検出する場合に限らず、他の撮像装置により撮影された映像から他の表示装置の表示画面を検出する場合においても生ずるものである。

１つの側面において、本発明は、人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定することを目的とする。

１つの案では、情報埋め込み装置は、記憶部、生成部、重畳部、及び出力部を含む。
記憶部は、表示画面に表示される第１の映像情報を記憶し、生成部は、時間的に変化する埋め込み情報を生成する。重畳部は、第１の映像情報の中の少なくとも表示画面の端部に対応する映像部分に、埋め込み情報を重畳することで、埋め込み情報が重畳された第２の映像情報を生成する。そして、出力部は、第２の映像情報を出力する。

実施形態によれば、人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定することが可能になる。

情報埋め込み装置の機能的構成図である。 第１の情報埋め込み処理のフローチャートである。 情報検出装置の機能的構成図である。 第１の情報検出処理のフローチャートである。 所定のパターンの埋め込み情報を示す図である。 所定のパターンの埋め込み情報を検出する処理を示す図である。 ４個の周波数に基づく埋め込み情報を示す図である。 ４個の周波数に基づく埋め込み情報を検出する処理を示す図である。 周波数ｆ１の周波数成分が検出されない場合を示す図である。 生成部の第１の機能的構成図である。 第２の情報埋め込み処理のフローチャートである。 第２の情報検出処理のフローチャートである。 正面及び斜め方向から撮影した表示画面を示す図である。 表示画面の４個の部分に対する埋め込み情報を示す図である。 表示画面の４個の部分から埋め込み情報を検出する処理を示す図である。 周波数ｆ４の周波数成分が検出されない場合を示す図である。 生成部の第２の機能的構成図である。 第３の情報埋め込み処理のフローチャートである。 第３の情報検出処理のフローチャートである。 時間的に変化する透かしパターンを示す図である。 情報処理装置のハードウェア構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
特許文献１の四隅の点を検出する方法では、よく使用されるハフ変換による直線検出とは異なり、比較的少ない演算量で画像の四隅の座標を検出でき、特許文献２の画像領域判定方法では、高速フーリエ変換等を利用することで演算量を少なく抑えることができる。このため、パーソナルコンピュータ（ＰＣ）と比べてCentral processing Unit（ＣＰＵ）の性能が低いスマートデバイス等の端末でも、軽快に処理を実行できると考えられる。

しかしながら、映像を表示する表示装置の表示画面を含む範囲を撮影した画像から表示画面に対応する部分を検出する場合、表示画面に表示された映像の輝度や色と、表示画面以外の背景部分の輝度や色とが類似していることもあり得る。この場合、表示画面の周囲に存在する表示装置の枠等、別の矩形を表示画面の境界として誤検出する可能性が高くなる。また、検出精度を保つために、表示画面に表示される映像の周辺部に枠の画像を合成して表示することも考えられるが、枠の画像が目立って美観が損なわれるという問題がある。

また、正しい表示画面の境界を検出するために、空間的な周波数特性を有する２次元パターンを映像に埋め込んでおき、表示画面を含む範囲を撮影した画像からフーリエ変換により周波数特性を抽出する方法も考えられる。

しかしながら、印刷される画像ではなく表示画面に表示される映像の場合、このような静的な２次元パターンは、曇りガラスのようなノイズとしてかえって目立つと考えられる。目立たない程度に２次元パターンを弱めるとその検出が困難になるため、空間的な周波数特性を映像に適用することは困難である。

なお、かかる問題は、スマートデバイスにより撮影された映像からテレビ受像機又はデジタルサイネージ端末の表示画面を検出する場合に限らず、他の撮像装置により撮影された映像から他の表示装置の表示画面を検出する場合においても生ずるものである。

図１は、実施形態の情報埋め込み装置の機能的構成例を示している。図１の情報埋め込み装置１０１は、記憶部１１１、生成部１１２、重畳部１１３、及び出力部１１４を含む。

記憶部１１１は、表示画面に表示される第１の映像情報を記憶する。生成部１１２及び重畳部１１３は、第１の映像情報から第２の映像情報を生成し、出力部１１４は、第２の映像情報を出力する。

図２は、図１の情報埋め込み装置１０１が行う情報埋め込み処理の例を示すフローチャートである。

生成部１１２は、時間的に変化する埋め込み情報を生成する（ステップ２０１）。重畳部１１３は、第１の映像情報の中の少なくとも表示画面の端部に対応する映像部分に、埋め込み情報を重畳することで、埋め込み情報が重畳された第２の映像情報を生成する（ステップ２０２）。そして、出力部１１４は、第２の映像情報を出力する（ステップ２０３）。

表示画面は、テレビ受像機やデジタルサイネージ端末等の表示装置の表示画面であり、第２の映像情報は、その表示画面に表示される。表示画面の端部は、表示画面の周辺部分の一部又は全部に対応する。表示装置がテレビ受像機である場合、出力部１１４は、第２の映像情報を放送事業者の放送装置へ出力することができ、表示装置がデジタルサイネージ端末である場合、出力部１１４は、第２の映像情報を配信事業者の配信サーバへ出力することができる。

図３は、情報埋め込み装置１０１により埋め込まれた情報を検出する情報検出装置の機能的構成例を示している。図３の情報検出装置３０１は、記憶部３１１、分割部３１２、解析部３１３、及び特定部３１４を含む。

記憶部３１１は、時間的に変化する埋め込み情報が重畳された第２の映像情報を表示する表示画面を含む範囲を撮影した第３の映像情報を記憶する。

第２の映像情報を表示する表示装置がテレビ受像機である場合、第３の映像情報は、テレビ受像機の表示画面をカメラ等の撮像装置により撮影することで取得できる。また、表示装置がデジタルサイネージ端末である場合、第３の映像情報は、デジタルサイネージ端末の表示画面を撮像装置により撮影することで取得できる。

分割部３１２及び解析部３１３は、第３の映像情報から埋め込み情報を検出し、特定部３１４は、表示画面に対応する画像部分を特定する。

図４は、図３の情報検出装置３０１が行う情報検出処理の例を示すフローチャートである。

分割部３１２は、第２の映像情報に含まれる画像（フレーム等）を複数の領域に分割する（ステップ４０１）。解析部３１３は、複数の領域のうち少なくとも１つ以上の領域の特徴量の時間的な変化を解析することで、１つ以上の領域から埋め込み情報を検出する（ステップ４０２）。特定部３１４は、１つ以上の領域の位置に基づいて、画像内の表示画面に対応する画像部分を特定する（ステップ４０３）。

図１の情報埋め込み装置１０１及び図３の情報検出装置３０１によれば、人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定することが可能になる。

図５は、埋め込み情報の例を示している。図５の埋め込み情報は、所定のパターン５０１に従って時間的に変化する特徴量を表しており、表示装置の表示画面の全体に対応する映像部分に重畳される。特徴量としては、例えば、映像情報に含まれる時系列の複数の画像の各々における画素値の統計値を用いることができ、画素値としては、輝度信号、色（ＲＧＢ等）、色差信号等を用いることができる。また、画素値の統計値としては、平均値、最大値、最小値、中央値、最頻値等を用いることができる。

画素値の統計値を特徴量として用いた場合、重畳部１１３は、画像に含まれる複数の画素の画素値の統計値がパターン５０１に従って時間的に変化するように、それらの画素値を変更する。このとき、画像内のどの領域においても統計値が同じパターン５０１に従って一様に変化するように、画素値を変更することが望ましい。パターン５０１としては、例えば、低周波数で変化する波状パターンを用いることができる。

例えば、特許文献３の技術を利用すれば、画素値を変更する画素の数を波状パターンに従って増減することで、映像情報にそのパターンの埋め込み情報を重畳することができる。各時刻における画像に埋め込み情報を重畳するために、画像合成の一例であるアルファブレンドを用いた場合、原画像Ｘと埋め込み情報の画像Ｙとを合成した画像Ｚは、次式により表される。
Ｚ＝（１−α）Ｘ＋αＹ （１）

式（１）の原画像Ｘ、画像Ｙ、及び画像Ｚは、画素値の２次元配列を表す。表示装置がテレビ受像機である場合、原画像Ｘは、テレビ受像機が受信した放送番組の映像に含まれる画像であり、表示装置がＰＣである場合、原画像Ｘは、ＰＣの表示画面に表示される映像に含まれる画像である。また、表示装置がデジタルサイネージ端末である場合、原画像Ｘは、デジタルサイネージ端末の表示画面に表示される映像に含まれる画像である。

式（１）のαは、画像Ｙを重畳する比率を表し、０から１までの範囲の実数である。α＝０のとき、画像Ｚは原画像Ｘに一致し、α＝１のとき、画像Ｚは埋め込み情報の画像Ｙに一致する。αの値が大きいほど画像Ｙの比率が大きくなるため、埋め込み情報の検出精度は高くなるが、人の目に知覚されやすくなる。そこで、事前評価等によってαを適切な値に調整することが望ましい。

人の視覚には、時間方向の急激な輝度や色の変化は認識しやすい反面、時間方向の緩やかな変化は認識しにくいという特徴がある。そこで、時間方向に緩やかに変化する低周波数の波状パターンを用いることで、人の目に知覚されにくい埋め込み情報を表示画面に重畳表示することができる。この場合、表示画面に表示された画像や映像の視聴が妨げられたり、美観が損なわれたりする心配はない。波状パターンの周波数としては、数Ｈｚを用いてもよい。

波形としては、正弦波、三角波等のように、フーリエ変換等の周波数解析により検出できる形状が用いられる。波の振幅としては、表示画面６０２の階調に応じた振幅を用いることができる。例えば、表示画面６０２の輝度の階調が２５６階調（８ビット）である場合、輝度の振幅が２５６であるような波状パターンを用いてもよい。

図６は、図５の埋め込み情報を検出する情報検出処理の例を示している。情報検出装置３０１の記憶部３１１は、例えば、撮像装置により撮影された映像情報を記憶している。情報検出装置３０１は、入力インタフェースを介して映像情報を記憶部３１１に入力することができる。映像情報に含まれる各時刻の画像６０１には、表示画面６０２の画像が含まれており、表示画面６０２には、埋め込み情報が重畳された映像情報が表示される。

分割部３１２は、各時刻の画像６０１を複数の領域６０３に分割する。解析部３１３は、時系列の複数の画像に対して、各領域６０３の特徴量を計算して記憶部３１１に格納する処理を行う。そして、解析部３１３は、所定数の画像を処理した時点で、記憶部３１１に格納されている特徴量に対して、領域６０３毎にフーリエ変換等の周波数解析を行い、時間方向における周波数特性を求める。これにより、各領域６０３における特徴量の振幅又は強度の分布を示すスペクトルが求められる。所定数としては、例えば、１つの埋め込み情報の時間長に対応する複数の画像の数を用いてもよい。

図６に示されているように、画像６０１内で表示画面６０２の画像が映っている画像部分６０４に含まれる各領域６０３では、特徴量の波状パターンの周波数における振幅又は強度が大きくなる。一方、表示画面６０２以外の背景部分のように、埋め込み情報が重畳されていない各領域６０３では、その周波数における振幅又は強度が０に近くなる。したがって、解析部３１３は、特徴量のスペクトルに基づいて、画像部分６０４に含まれる各領域６０３から埋め込み情報を検出することができる。

解析部３１３は、例えば、領域６０３毎に、スペクトル中の埋め込み情報の周波数における振幅又は強度を二値化することで、各領域６０３から埋め込み情報を検出する。このとき、解析部３１３は、閾値処理によって振幅又は強度の二値化を行ってもよい。閾値処理においては、特徴量の波状パターンの振幅又は強度より小さい値を閾値として用いることができる。特徴量の波状パターンの振幅又は強度の５０％に相当する値を閾値として用いてもよい。

解析部３１３は、閾値処理において、領域６０３の埋め込み情報の周波数における振幅又は強度が閾値以上であれば、その領域６０３に論理値“１”を割り当て、振幅又は強度が閾値未満であれば、その領域６０３に論理値“０”を割り当てる。

解析部３１３は、撮像装置のカメラパラメータ又は撮影環境によって特徴量の波状パターンの振幅又は強度が小さくなることを想定した閾値を用いてもよい。また、解析部３１３は、画像６０１全体における振幅又は強度の分布を参照して、判別分析法等の適応的な処理により二値化を行ってもよい。

特定部３１４は、二値化された振幅又は強度のうち大きな方の値を有する領域６０３の位置に基づいて、表示画面６０２に対応する画像部分６０４を特定する。例えば、論理値“１”と論理値“０”を用いて二値化が行われた場合、論理値“１”を有する領域６０３の集合が、画像部分６０４として特定される。

表示画面６０２を撮像装置で撮影する場合、上下反転又は左右反転で撮影することは考えにくい。そこで、表示画面６０２の形状が矩形である場合、特定部３１４は、単純に、画像部分６０４の左上頂点６１１、右上頂点６１２、左下頂点６１３、及び右下頂点６１４の座標を、画像部分６０４を示す座標として求めることができる。

これらの４頂点の座標を利用することで、撮像装置と表示画面６０２との位置関係による射影歪みを補正したり、画像部分６０４を切り出したりすることが可能になり、後段における映像の認識精度や電子透かしの検出精度が改善される。

ところで、画像６０１の形状が矩形である場合、分割部３１２は、各領域６０３としてＭ画素×Ｎ画素（Ｍ及びＮは１以上の整数）の矩形領域を用いることができる。この矩形領域の大きさをより小さくすることで、画像部分６０４を示す座標をより正確に求めることができる。ただし、領域６０３の大きさを小さくすればするほど領域６０３の数が増えるため、周波数解析の計算回数も増える。また、望ましい座標の精度は、映像の認識方法や電子透かしの埋め込み方法にも依存する。

例えば、特許文献４の電子透かし埋め込み方法では、映像に含まれる各フレームを複数のブロックに分割して、フレーム画像に透かしパターンが重畳される。この場合、ブロックの境界がずれると電子透かしの検出精度が低くなるため、座標の誤差を数画素以内に収めることが望ましい。したがって、この電子透かし埋め込み方法を用いる場合は、領域６０３の大きさを示すＭ及びＮの値として、数画素程度の値が用いられる。

また、特許文献５の透かし埋め込み方法では、各画像が２つの画像領域に分割されるが、１つの画像領域の大きさは、特許文献４のブロックに比べると大きい。このため、多少の誤差があっても、透かし検出器が求める画像領域の大域的特性に対する影響は少ないと考えられる。したがって、この透かし埋め込み方法を用いる場合は、領域６０３の大きさを示すＭ及びＮの値として、数画素よりも大きな値を用いることができる。

ただし、ブロック又は画像領域の数に比例して、単位時間当たりの映像情報に埋め込める情報量も多くなるため、利用用途に応じて領域６０３の大きさを調整することが望ましい。

実施形態の情報検出処理は、特許文献３又は特許文献５のように比較的位置ずれに強い電子透かし検出方法の前処理だけでなく、特許文献４のように高精度な座標に基づく電子透かし検出方法の前処理としても適用可能である。

図５の埋め込み情報を映像情報に重畳することで、その映像情報を表示する表示画面を含む範囲を撮影した映像情報から、表示画面に対応する画像部分を特定することができる。しかし、実際には、表示画面の周囲にある照明等の外乱により、周波数解析を行っても特定の周波数の信号が検出されないことがある。例えば、水銀灯等の下で表示画面を撮影すると、撮影された映像情報にノイズが発生するが、そのノイズの周波数特性が重畳された埋め込み情報と類似している場合には、埋め込み情報の信号とノイズが干渉して、その信号を検出することが難しくなる。

そこで、情報検出処理のノイズに対する耐性を高めるために、単一の周波数ではなく、複数の異なる周波数に基づく埋め込み情報を利用することが考えられる。

図７は、４個の周波数に基づく埋め込み情報の例を示している。図７の埋め込み情報は、パターン７１１に従って時間的に変化する特徴量を表しており、表示装置の表示画面の全体に対応する映像部分に重畳される。

パターン７１１は、周波数ｆ１で変化するパターン７０１、周波数ｆ２で変化するパターン７０２、周波数ｆ３で変化するパターン７０３、及び周波数ｆ４で変化するパターン７０４を合成することで生成される。例えば、４個のパターンの和、平均等を求めることで、それらのパターンを合成することができる。

周波数ｆ１〜周波数ｆ４としては、数Ｈｚを用いてもよい。ただし、４個の周波数は互いに異なっている。パターン７０１〜パターン７０４の波形としては、正弦波、三角波等を用いることができ、波の振幅としては、表示画面６０２の階調に応じた振幅を用いることができる。

重畳部１１３は、画像に含まれる複数の画素の画素値の統計値がパターン７１１に従って時間的に変化するように、例えば、式（１）の画像合成により、それらの画素値を変更する。重畳部１１３は、特許文献６の電子透かし埋め込み方法を用いて、パターン７０１〜パターン７０４の情報を映像情報に重畳してもよい。

図８は、図７の埋め込み情報を検出する情報検出処理の例を示している。この場合、解析部３１３は、各領域６０３における特徴量の振幅又は強度の分布を示すスペクトルを求める。そして、解析部３１３は、例えば、領域６０３毎に、スペクトル中の周波数ｆ１〜周波数ｆ４における振幅又は強度（周波数成分）を合成して二値化することで、各領域６０３から埋め込み情報を検出する。例えば、４個の周波数における周波数成分の和、平均等を求めることで、それらの周波数成分を合成することができる。

特定部３１４は、埋め込み情報が検出された領域６０３の位置に基づいて、頂点６１１〜頂点６１４の座標を、表示画面６０２に対応する画像部分６０４を示す座標として求める。

撮影環境が良好な場合、画像部分６０４に含まれる各領域６０３からすべての周波数成分が検出される。しかし、撮影環境が良好でない場合、画像６０１の背景部分に発生するノイズの影響により、いずれかの周波数成分が検出されないことがある。このような場合であっても、他の周波数成分に基づいて画像部分６０４を特定することができる。

例えば、図９に示すように、周波数ｆ１の周波数成分が検出されない場合であっても、周波数ｆ２〜周波数ｆ４の周波数成分に基づいて、頂点６１１〜頂点６１４の座標を求めることができる。したがって、図７の埋め込み情報を用いることで、情報検出処理のノイズに対する耐性が向上する。４個の周波数に基づく埋め込み情報の代わりに、２個、３個、又は５個以上の周波数に基づく埋め込み情報を用いてもよい。

図１０は、複数の異なる周波数に基づく埋め込み情報を生成する生成部１１２の機能的構成例を示している。図１０の生成部１１２は、パターン生成部１００１及び合成部１００２を含む。パターン生成部１００１は、それぞれ異なる周波数で時間的に変化する複数のパターンを生成し、合成部１００２は、それらのパターンを合成して埋め込み情報を生成する。

図１１は、複数の異なる周波数に基づく埋め込み情報を用いた場合の情報埋め込み処理の例を示すフローチャートである。

生成部１１２のパターン生成部１００１は、それぞれ異なる周波数で時間的に変化する複数のパターンを生成し（ステップ１１０１）、合成部１００２は、それらのパターンを合成して埋め込み情報を生成する（ステップ１１０２）。

図１１のステップ１１０３及びステップ１１０４の処理は、図２のステップ２０２及びステップ２０３の処理と同様である。

図１２は、複数の異なる周波数に基づく埋め込み情報を用いた場合の情報検出処理の例を示すフローチャートである。

情報検出装置３０１の分割部３１２は、第２の映像情報に含まれる画像を複数の領域に分割する（ステップ１２０１）。

解析部３１３は、各領域の特徴量を計算し（ステップ１２０２）、領域毎に周波数解析を行って、各領域における特徴量の振幅又は強度の分布を示すスペクトルを求める（ステップ１２０３）。そして、解析部３１３は、領域毎に、スペクトル中の複数の周波数における周波数成分を合成し（ステップ１２０４）、合成した結果に基づいて各領域から埋め込み情報を検出する（ステップ１２０５）。

特定部３１４は、埋め込み情報が検出された領域の位置に基づいて、画像内の表示画面に対応する画像部分を特定する（ステップ１２０６）。

図１１の情報埋め込み処理及び図１２の情報検出処理によれば、人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定することが可能になる。また、いずれかの周波数成分が検出されない場合であっても、他の周波数成分に基づいて表示画面に対応する画像部分を特定することができ、情報検出処理のノイズに対する耐性が向上する。

ところで、撮影環境によっては、表示画面の四隅の座標だけでなく、表示画面の中心の座標を後段の処理で用いることが望ましい場合がある。

例えば、図１３（Ａ）に示すように、表示画面を正面から撮影した場合、頂点１３０１及び頂点１３０３を通る直線１３１１と、頂点１３０２及び頂点１３０４を通る直線１３１２の両方から等距離にある直線１３１３を求めることができる。この場合、表示画面の中心１３０５は直線１３１３上からあまりずれることはなく、頂点１３０１〜頂点１３０４の座標に基づいて中心１３０５の座標を求めることができる。

一方、図１３（Ｂ）に示すように、表示画面を斜め方向から撮影した場合、頂点１３２１及び頂点１３２３を通る直線１３３１と、頂点１３２２及び頂点１３２４を通る直線１３３２の両方から等距離にある直線１３３３を求めることができる。しかし、表示画面の中心１３２５は、射影歪みによって直線１３３３上の点１３２６から大きくずれており、頂点１３２１〜頂点１３２４の座標に基づいて中心１３２５の座標を求めることは困難である。

画像処理において射影歪みに対する高精度な補正は演算量が多いため、スマートデバイスにとっては負荷が大きい。このため、簡易的な演算で射影歪みを補正することも考えられるが、中心のずれを補正することは難しい。映像の認識技術や電子透かしの検出技術では、画像をブロック分割して画像処理を行うことが多いため、中心のずれが処理精度に大きく影響する。

そこで、表示画面を斜め方向から撮影した場合も中心のずれを補正できるように、表示画面の四隅の座標とともに中心の座標を求めることが望ましい。そのためには、表示画面の複数の部分にそれぞれ異なる周波数の情報を埋め込むことが考えられる。

図１４は、表示画面の４個の部分にそれぞれ異なる周波数の情報を埋め込む埋め込み情報の例を示している。図１４の埋め込み情報は、周波数ｆ１で変化するパターン７０１、周波数ｆ２で変化するパターン７０２、周波数ｆ３で変化するパターン７０３、及び周波数ｆ４で変化するパターン７０４を含む。

表示装置の表示画面６０２は、左上部分、右上部分、左下部分、及び右下部分の４個の部分に分割され、パターン７０１の情報は左上部分に対応する映像部分に重畳され、パターン７０２の情報は右上部分に対応する映像部分に重畳される。パターン７０３の情報は左下部分に対応する映像部分に重畳され、パターン７０４の情報は右下部分に対応する映像部分に重畳される。

重畳部１１３は、表示画面６０２の各部分に含まれる複数の画素の画素値の統計値がパターン７０１〜パターン７０４のいずれかに従って時間的に変化するように、例えば、式（１）の画像合成により、それらの画素値を変更する。このとき、１つの部分内のどの領域においても統計値が同じパターンに従って一様に変化するように、画素値を変更することが望ましい。

なお、表示画面６０２の分割部分の形状としては、矩形、多角形、円等を用いることができる。表示画面６０２を、それぞれ異なる形状の複数の部分に分割してもよい。

図１５は、図１４の埋め込み情報を検出する情報検出処理の例を示している。この場合、解析部３１３は、各領域６０３における特徴量の振幅又は強度の分布を示すスペクトルを求める。そして、解析部３１３は、例えば、領域６０３毎に、スペクトル中の周波数ｆ１〜周波数ｆ４の各々における周波数成分を二値化することで、各領域６０３から埋め込み情報を検出する。

このとき、表示画面６０２に対応する画像部分６０４のうち、パターン７０１の情報が重畳された画像部分１５０１に含まれる各領域６０３では、周波数ｆ１の周波数成分が大きくなるため、その周波数成分が二値化される。同様に、パターン７０２の情報が重畳された画像部分１５０２に含まれる各領域６０３では、周波数ｆ２の周波数成分が二値化される。パターン７０３の情報が重畳された画像部分１５０３に含まれる各領域６０３では、周波数ｆ３の周波数成分が二値化される。パターン７０４の情報が重畳された画像部分１５０４に含まれる各領域６０３では、周波数ｆ４の周波数成分が二値化される。

このように、各領域６０３から埋め込み情報が検出されたか否かだけではなく、検出された埋め込み情報の周波数も検出されるため、周波数に基づいて各領域６０３を分類することができる。

特定部３１４は、埋め込み情報が検出された領域６０３の位置と、検出された埋め込み情報の周波数とに基づいて、画像部分１５０１〜画像部分１５０４を特定し、表示画面６０２の頂点６１１〜頂点６１４及び中心１５１１の座標を求める。中心１５１１の座標は、画像部分１５０１の右下頂点、画像部分１５０２の左下頂点、画像部分１５０３の右上頂点、又は画像部分１５０４の左上頂点の座標として求めることができる。

撮影環境が良好でない場合、画像６０１の背景部分に発生するノイズの影響により、いずれかの周波数成分が検出されないことがある。このような場合であっても、他の周波数成分に基づいて画像部分６０４を特定することができる。

例えば、図１６に示すように、周波数ｆ４の周波数成分が検出されず、画像部分１５０４が特定されない場合であっても、周波数ｆ１〜周波数ｆ３の周波数成分が検出されれば、画像部分１５０１〜画像部分１５０３が特定される。そこで、画像部分１５０１〜画像部分１５０３の位置に基づいて、頂点６１１〜頂点６１３及び中心１５１１の座標を求めることができる。さらに、表示画面６０２の形状が既知であれば、頂点６１１〜頂点６１３の座標から頂点６１４の座標を推定することができる。

したがって、図１４の埋め込み情報を用いることで、情報検出処理のノイズに対する耐性が向上する。表示画面を４個の部分に分割してそれぞれ異なる周波数の情報を埋め込む代わりに、表示画面を２個、３個、又は５個以上の部分に分割してそれぞれ異なる周波数の情報を埋め込んでもよい。

図１７は、表示画面の複数の部分にそれぞれ異なる周波数の情報を埋め込む場合の生成部１１２の機能的構成例を示している。図１７の生成部１１２は、パターン生成部１００１を含む。パターン生成部１００１は、それぞれ異なる周波数で時間的に変化する複数のパターンを生成する。

図１８は、表示画面の複数の部分にそれぞれ異なる周波数の情報を埋め込む場合の情報埋め込み処理の例を示すフローチャートである。

生成部１１２のパターン生成部１００１は、それぞれ異なる周波数で時間的に変化する複数のパターンを生成する（ステップ１８０１）。

重畳部１１３は、第１の映像情報の中で表示画面の複数の部分に対応する複数の映像部分に、複数のパターンの情報をそれぞれ重畳することで、埋め込み情報が重畳された第２の映像情報を生成する（ステップ１８０２）。そして、出力部１１４は、第２の映像情報を出力する（ステップ１８０３）。

図１９は、表示画面の複数の部分にそれぞれ異なる周波数の情報を埋め込む場合の情報検出処理の例を示すフローチャートである。

図１９のステップ１９０１〜ステップ１９０３の処理は、図１２のステップ１２０１〜ステップ１２０３の処理と同様である。

情報検出装置３０１の解析部３１３は、ステップ１９０３において特徴量のスペクトルを求めた後、領域毎に、スペクトル中の最も大きな周波数成分から埋め込み情報を検出する（ステップ１９０４）。

特定部３１４は、埋め込み情報が検出された領域の位置と、検出された埋め込み情報の周波数とに基づいて、画像内の表示画面に対応する画像部分を特定する（ステップ１９０５）。

図１８の情報埋め込み処理及び図１９の情報検出処理によれば、人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定することが可能になる。また、いずれかの周波数成分が検出されない場合であっても、他の周波数成分に基づいて表示画面に対応する画像部分を特定することができ、情報検出処理のノイズに対する耐性が向上する。

さらに、表示画面の四隅の座標だけでなく中心の座標も特定できるため、斜め方向からの撮影によって映像が歪んだ場合でも、四隅と中心の座標を用いて歪みを補正することが可能になる。表示画面の分割部分の形状を変更すれば、表示画面内の中心以外の点の座標を特定することも可能になる。

次に、図１の情報埋め込み装置１０１及び図３の情報検出装置３０１を他の技術に適用する例について説明する。他の技術としては、例えば、映像の認識技術や電子透かしの検出技術が挙げられる。

情報埋め込み装置１０１及び情報検出装置３０１を電子透かしの検出技術に適用する場合、電子透かしとともに埋め込み情報が映像情報に重畳される。そして、その映像情報から電子透かしを検出する際には、埋め込み情報に基づいて特定された画像部分から電子透かしが検出される。

電子透かしには様々な方式があるが、ここでは一例として、特許文献３の方式を用いて説明する。特許文献３の電子透かし埋め込み装置は、図２０に示すように、映像情報に含まれる各画像に、１つ以上の透かしブロックを含む透かしパターンを重畳する。そして、電子透かし埋め込み装置は、その透かしパターンの面積を、時系列に沿って、電子透かし情報に含まれるシンボルの値に応じて周期的に変化させる。

図２０は、時刻ｔから時刻（ｔ＋８）までの時間的に連続する９枚の画像の例を示している。時刻ｔの画像２００１には、矩形状の透かしパターン２０１１が重畳されている。時刻ｔから時刻（ｔ＋４）にかけて、透かしブロック２０１２の数が減ることにより、画像に重畳される透かしパターンの面積が減少する。そして、時刻（ｔ＋４）の画像２００２において、透かしパターンは消失する。また、時刻（ｔ＋４）以降、透かしパターンの面積は増加し、時刻（ｔ＋８）の画像２００３において、再び透かしパターンの面積が最大となる。

このような透かしパターンの面積の増減によって、シーンの経過とともに画像全体の明るさや色が変化するため、その変化を利用して電子透かし情報を映像情報に埋め込むことができる。

こうして電子透かし情報が埋め込まれた映像情報は、テレビ受像機、ＰＣ、又はデジタルサイネージ端末等の表示画面に表示される。そして、その表示画面をスマートデバイスにより撮影し、撮影した映像情報を解析することにより、埋め込まれた電子透かし情報を検出することができる。このような電子透かし技術を用いることにより、テレビ番組や広告と連動したコンテンツをスマートデバイスの画面に表示することが可能になる。

ただし、実際の撮影環境では、図６に示したように、撮影された映像情報の画像６０１には被写体の表示画面６０２の他に背景部分も一緒に映っているため、その背景部分には、照明機器からの光等によってノイズが発生する可能性がある。

特許文献３の電子透かし埋め込み装置は、特定の周波数特性を持つ透かしパターンを映像情報に重畳することで電子透かし情報を埋め込み、電子透かし検出装置は、その周波数特性をフーリエ変換等の周波数解析によって抽出し、元の電子透かし情報を復元する。このため、背景部分に発生するノイズの周波数特性が透かしパターンと類似している場合には、電子透かし情報を検出することが難しくなる。したがって、電子透かし情報の検出精度を改善するために、ノイズの影響をできる限り排除することが望ましい。

そこで、情報検出装置３０１により特定された画像部分の情報を利用して、電子透かし検出のための周波数解析の対象をその画像部分内の画素に限定すれば、背景部分のノイズの影響を排除して周波数解析を行うことができる。この場合、電子透かし検出装置は、各画像を複数の領域に分割して、領域毎に周波数解析を行い、表示画面に対応する画像部分内の各領域の解析結果を採用し、それ以外の領域の解析結果を破棄してもよい。あるいは、電子透かし検出装置は、重み付け処理により、画像部分内の各領域の解析結果の重みを、それ以外の領域の解析結果の重みより大きく設定した上で、全領域の解析結果の総和を求めてもよい。

これにより、表示画面以外の背景部分にノイズが発生した場合でも、ノイズの影響を排除して、電子透かし情報の検出精度を高めることができる。

図１の情報埋め込み装置１０１及び図３の情報検出装置３０１の構成は一例に過ぎず、情報埋め込み装置又は情報検出装置の用途や条件に応じて、一部の構成要素を省略又は変更してもよい。

図２、図４、図１１、図１２、図１８、及び図１９のフローチャートは一例に過ぎず、情報埋め込み装置又は情報検出装置の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、図２のステップ２０２、図１１のステップ１１０３、及び図１８のステップ１８０２において、表示画面の全体に対応する映像部分ではなく、表示画面の周辺部分の一部又は全部に対応する映像部分のみに埋め込み情報を重畳してもよい。

また、図１２の情報検出処理において、複数の周波数における周波数成分を合成することなく埋め込み情報を検出する場合は、図１２のステップ１２０４の処理を省略することができる。

図１の情報埋め込み装置１０１及び図３の情報検出装置３０１は、例えば、図２１に示すような情報処理装置（コンピュータ）を用いて実現可能である。

図２１の情報処理装置は、ＣＰＵ２１０１、メモリ２１０２、入力装置２１０３、出力装置２１０４、補助記憶装置２１０５、媒体駆動装置２１０６、及びネットワーク接続装置２１０７を備える。これらの構成要素はバス２１０８により互いに接続されている。

メモリ２１０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ２１０２は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。

ＣＰＵ２１０１（プロセッサ）は、例えば、メモリ２１０２を利用してプログラムを実行することにより、図１の生成部１１２及び重畳部１１３、又は図３の分割部３１２、解析部３１３、及び特定部３１４として動作する。ＣＰＵ２１０１は、図１０及び図１７のパターン生成部１００１及び合成部１００２としても動作する。

入力装置２１０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示や情報の入力に用いられる。出力装置２１０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。

補助記憶装置２１０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２１０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置２１０５にプログラム及びデータを格納しておき、それらをメモリ２１０２にロードして使用することができる。補助記憶装置２１０５は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。

媒体駆動装置２１０６は、可搬型記録媒体２１０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２１０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２１０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体２１０９にプログラム及びデータを格納しておき、それらをメモリ２１０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２１０２、補助記憶装置２１０５、又は可搬型記録媒体２１０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置２１０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２１０７を介して受け取り、それらをメモリ２１０２にロードして使用することができる。ネットワーク接続装置２１０７は、図１の出力部１１４として用いることができる。

なお、情報処理装置が図２１のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザからの指示や情報を入力する必要がない場合は、入力装置２１０３を省略してもよい。オペレータ又はユーザへの問い合わせ又は指示、及び処理結果を出力する必要がない場合は、出力装置２１０４を省略してもよい。また、可搬型記録媒体２１０９を利用しない場合は、媒体駆動装置２１０６を省略してもよい。

情報処理装置が情報検出装置３０１として用いられる場合、カメラのような撮像装置を構成要素として含んでいてもよい。また、情報検出装置３０１がスマートフォンのような通話機能を有する携帯端末である場合、マイク及びスピーカのような通話用の装置を構成要素として含んでいてもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図２１を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
表示画面に表示される第１の映像情報を記憶する記憶部と、
時間的に変化する埋め込み情報を生成する生成部と、
前記第１の映像情報の中の少なくとも前記表示画面の端部に対応する映像部分に、前記埋め込み情報を重畳することで、前記埋め込み情報が重畳された第２の映像情報を生成する重畳部と、
前記第２の映像情報を出力する出力部と、
を備えることを特徴とする情報埋め込み装置。
（付記２）
前記埋め込み情報は、所定周波数で時間的に変化する情報であることを特徴とする付記１記載の情報埋め込み装置。
（付記３）
前記生成部は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含む複数の情報を合成して、前記埋め込み情報を生成することを特徴とする付記１記載の情報埋め込み装置。
（付記４）
前記重畳部は、前記第１の映像情報の中の前記表示画面の全体に対応する映像部分に前記埋め込み情報を重畳することを特徴とする付記１乃至３のいずれか１項に記載の情報埋め込み装置。
（付記５）
前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含み、前記映像部分は、少なくとも第１の映像部分と第２の映像部分とを含み、前記重畳部は、前記第１の映像部分に前記第１の情報を重畳し、前記第２の映像部分に前記第２の情報を重畳することを特徴とする付記１記載の情報埋め込み装置。
（付記６）
時間的に変化する埋め込み情報が重畳された第１の映像情報を表示する表示画面を含む範囲を撮影した第２の映像情報を記憶する記憶部と、
前記第２の映像情報に含まれる画像を複数の領域に分割する分割部と、
前記複数の領域のうち少なくとも１つ以上の領域の特徴量の時間的な変化を解析することで、前記１つ以上の領域から前記埋め込み情報を検出する解析部と、
前記１つ以上の領域の位置に基づいて、前記画像内の前記表示画面に対応する画像部分を特定する特定部と、
を備えることを特徴とする情報検出装置。
（付記７）
前記埋め込み情報は、所定周波数で時間的に変化する情報であり、前記解析部は、前記特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記埋め込み情報を検出することを特徴とする付記６記載の情報検出装置。
（付記８）
前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含む複数の情報を合成することで生成され、前記解析部は、前記特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記埋め込み情報を検出することを特徴とする付記６記載の情報検出装置。
（付記９）
前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含み、前記第１の情報は、前記第１の映像情報の中の第１の映像部分に重畳され、前記第２の情報は、前記第１の映像情報の中の第２の映像部分に重畳され、前記解析部は、前記特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記第１の情報を検出するとともに、前記１つ以上の領域とは異なる１つ以上の領域から前記第２の情報を検出することを特徴とする付記６記載の情報検出装置。
（付記１０）
時間的に変化する埋め込み情報を生成し、
表示画面に表示される第１の映像情報の中の少なくとも前記表示画面の端部に対応する映像部分に前記埋め込み情報を重畳することで、前記埋め込み情報が重畳された第２の映像情報を生成し、
前記第２の映像情報を出力する、
ことを特徴とする情報埋め込み方法。
（付記１１）
時間的に変化する埋め込み情報が重畳された第１の映像情報を表示する表示画面を含む範囲を撮影した第２の映像情報に含まれる画像を複数の領域に分割し、
前記複数の領域のうち少なくとも１つ以上の領域の特徴量の時間的な変化を解析することで、前記１つ以上の領域から前記埋め込み情報を検出し、
前記１つ以上の領域の位置に基づいて、前記画像内の前記表示画面に対応する画像部分を特定する、
ことを特徴とする情報検出方法。

１０１ 情報埋め込み装置
１１１、３１１ 記憶部
１１２ 生成部
１１３ 重畳部
１１４ 出力部
３０１ 情報検出装置
３１２ 分割部
３１３ 解析部
３１４ 特定部
５０１、７０１〜７０４、７１１ パターン
６０１、２００１〜２００３ 画像
６０２ 表示画面
６０３ 領域
６０４、１５０１〜１５０４ 画像部分
６１１ 左上頂点
６１２ 右上頂点
６１３ 左下頂点
６１４ 右下頂点
１００１ パターン生成部
１００２ 合成部
１３０１〜１３０４、１３２１〜１３２４ 頂点
１３１１〜１３１３ 直線
１３０５、１３２５、１５１１ 中心
１３２６ 点
２０１１ 透かしパターン
２０１２ 透かしブロック
２１０１ ＣＰＵ
２１０２ メモリ
２１０３ 入力装置
２１０４ 出力装置
２１０５ 補助記憶装置
２１０６ 媒体駆動装置
２１０７ ネットワーク接続装置
２１０８ バス
２１０９ 可搬型記録媒体

Claims (10)

1. 表示画面に表示される第１の映像情報を記憶する記憶部と、
   所定周波数で時間的に変化する埋め込み情報を生成する生成部と、
   前記第１の映像情報の中の少なくとも前記表示画面の端部に対応する映像部分に、前記埋め込み情報を重畳することで、前記埋め込み情報が重畳された第２の映像情報を生成する重畳部と、
   前記第２の映像情報を出力する出力部と、
   を備えることを特徴とする情報埋め込み装置。
2. 前記第１の映像情報は、時系列の複数の画像を含むことを特徴とする請求項１記載の情報埋め込み装置。
3. 表示画面に表示される第１の映像情報を記憶する記憶部と、
   少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含む複数の情報を合成して、時間的に変化する埋め込み情報を生成する生成部と、
   前記第１の映像情報の中の少なくとも前記表示画面の端部に対応する映像部分に、前記埋め込み情報を重畳することで、前記埋め込み情報が重畳された第２の映像情報を生成する重畳部と、
   前記第２の映像情報を出力する出力部と、
   を備えることを特徴とする情報埋め込み装置。
4. 表示画面に表示される第１の映像情報を記憶する記憶部と、
   少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含む、埋め込み情報を生成する生成部と、
   前記第１の映像情報の中の少なくとも前記表示画面の端部に対応する第１の映像部分に前記第１の情報を重畳し、前記第１の映像情報の中の少なくとも前記表示画面の端部に対応する第２の映像部分に前記第２の情報を重畳することで、前記埋め込み情報が重畳された第２の映像情報を生成する重畳部と、
   前記第２の映像情報を出力する出力部と、
   を備えることを特徴とする情報埋め込み装置。
5. 時間的に変化する埋め込み情報が重畳された第１の映像情報を表示する表示画面を含む範囲を撮影した第２の映像情報を記憶する記憶部と、
   前記第２の映像情報に含まれる画像を複数の領域に分割する分割部と、
   前記複数の領域のうち少なくとも１つ以上の領域の特徴量の時間的な変化を解析することで、前記１つ以上の領域から前記埋め込み情報を検出する解析部と、
   前記１つ以上の領域の位置に基づいて、前記画像内の前記表示画面に対応する画像部分を特定する特定部と、
   を備えることを特徴とする情報検出装置。
6. 前記埋め込み情報は、所定周波数で時間的に変化する情報であり、前記解析部は、前記特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記埋め込み情報を検出することを特徴とする請求項５記載の情報検出装置。
7. 時間的に変化する埋め込み情報が重畳された第１の映像情報を表示する表示画面を含む範囲を撮影した第２の映像情報を記憶する記憶部と、
   前記第２の映像情報に含まれる画像を複数の領域に分割する分割部と、
   前記複数の領域のうち少なくとも１つ以上の領域の特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記埋め込み情報を検出する解析部と、
   前記１つ以上の領域の位置に基づいて、前記画像内の前記表示画面に対応する画像部分を特定する特定部とを備え、
   前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含む複数の情報を合成することで生成されることを特徴とする情報検出装置。
8. 時間的に変化する埋め込み情報が重畳された第１の映像情報を表示する表示画面を含む範囲を撮影した第２の映像情報を記憶する記憶部と、
   前記第２の映像情報に含まれる画像を複数の領域に分割する分割部と、
   前記複数の領域のうち少なくとも１つ以上の領域の特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記埋め込み情報を検出する解析部と、
   前記１つ以上の領域の位置に基づいて、前記画像内の前記表示画面に対応する画像部分を特定する特定部とを備え、
   前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含み、前記第１の情報は、前記第１の映像情報の中の第１の映像部分に重畳され、前記第２の情報は、前記第１の映像情報の中の第２の映像部分に重畳され、前記解析部は、前記１つ以上の領域から前記第１の情報を検出するとともに、前記１つ以上の領域とは異なる１つ以上の領域から前記第２の情報を検出することを特徴とする情報検出装置。
9. 所定周波数で時間的に変化する埋め込み情報を生成し、
   表示画面に表示される第１の映像情報の中の少なくとも前記表示画面の端部に対応する映像部分に前記埋め込み情報を重畳することで、前記埋め込み情報が重畳された第２の映像情報を生成し、
   前記第２の映像情報を出力する、
   ことを特徴とする情報埋め込み方法。
10. 時間的に変化する埋め込み情報が重畳された第１の映像情報を表示する表示画面を含む範囲を撮影した第２の映像情報に含まれる画像を複数の領域に分割し、
    前記複数の領域のうち少なくとも１つ以上の領域の特徴量の時間的な変化を解析することで、前記１つ以上の領域から前記埋め込み情報を検出し、
    前記１つ以上の領域の位置に基づいて、前記画像内の前記表示画面に対応する画像部分を特定する、
    ことを特徴とする情報検出方法。