JP5729464B2 - 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置 - Google Patents

位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置 Download PDF

Info

Publication number
JP5729464B2
JP5729464B2 JP2013505684A JP2013505684A JP5729464B2 JP 5729464 B2 JP5729464 B2 JP 5729464B2 JP 2013505684 A JP2013505684 A JP 2013505684A JP 2013505684 A JP2013505684 A JP 2013505684A JP 5729464 B2 JP5729464 B2 JP 5729464B2
Authority
JP
Japan
Prior art keywords
pixel
position information
region
picture
reference position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013505684A
Other languages
English (en)
Other versions
JPWO2012127611A1 (ja
Inventor
昌平 中潟
昌平 中潟
健介 倉木
健介 倉木
高橋　潤
潤 高橋
阿南　泰三
泰三 阿南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2012127611A1 publication Critical patent/JPWO2012127611A1/ja
Application granted granted Critical
Publication of JP5729464B2 publication Critical patent/JP5729464B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0601—Image watermarking whereby calibration information is embedded in the watermark, e.g. a grid, a scale, a list of transformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、例えば、電子データ化された画像上の所定の基準位置を特定するための位置情報を付加する位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムに関する。また本発明は、例えば、そのような位置情報が付加された画像から所定の基準位置を検出する位置検出装置に関する。
近年、インターネットなどを介して、映画あるいは音楽などの電子データ化されたコンテンツを配信するサービスが提供されている。これらのコンテンツは、デジタル著作権管理（Digital Rights Management、DRM）技術によって暗号化された上で配信される。また、DRM技術によって、これらのコンテンツを不正に複製したり、あるいは配布することが禁止されている。
しかし、視聴者がコンピュータのディスプレイまたはテレビジョンモニタに表示された映像コンテンツをビデオカメラなどの撮影機器を用いて撮影することによって映像コンテンツを不正に複製し、複製された映像コンテンツを不正に流通させる事件が発生している。ディスプレイに表示された映像コンテンツは、暗号化されていないため、撮影により複製された映像コンテンツの流通を防ぐことは難しい。
そこで、予め視聴者の識別番号などの情報を電子透かしとしてコンテンツに埋め込む技術が開発されている。電子透かしは、例えば、ディスプレイに表示されたその電子透かしが埋め込まれた映像コンテンツをビデオカメラで撮影して不正に複製したとしても、複製された映像コンテンツの中に依然として残っている。このようなアナログキャプチャによって不正に複製された映像コンテンツの流通後において、その複製された映像コンテンツから電子透かしを検出することにより、映像コンテンツの不正利用を行った視聴者の識別番号が特定可能となっている。したがって、映像コンテンツがアナログキャプチャにより不正に複製されて投稿サイトなどにアップロードされた場合でも、映像コンテンツの管理者は、アップロードされた映像コンテンツに埋め込まれている情報から流出元を特定することができる。
また、電子透かしの技術は、電子広告（デジタルサイネージ）にも応用可能である。例えば、ユーザが、街頭スクリーンまたはテレビに映った電子透かし情報が埋め込まれた広告動画をカメラにより撮影した動画像から電子透かし情報を検出することで、その広告動画で紹介された商品の詳細情報といった付加情報を得ることができる。
ところで、表示装置に表示された映像コンテンツを撮影機器を用いて撮影することによって再度電子化された動画像データでは、その撮影の際に元の映像コンテンツに含まれる画像の領域が拡大または縮小したり、その画像領域の位置がずれることがある。そのため、そのような再電子化された動画像データでは、電子透かし情報が埋め込まれた領域のサイズ及び位置も元のサイズ及び位置と異なることがある。そこで、電子透かし情報を精度良く検出できるようにするために、画像内の矩形画像の縁を検出する技術が提案されている（例えば、特許文献１を参照）。また、動画像データの各画像の所定の位置の画素の輝度値を、時間軸に沿って所定のパターンで変化させる技術が提案されている（例えば、特許文献１または非特許文献１を参照）。
特開２００５−２７７７３２号公報
鈴木他、「再撮耐性電子透かしの時空間座標特定方法」、第８回情報科学技術フォーラム、2009年、I-033、pp.307-308
しかしながら、再電子化された動画像データに含まれる画像内に元の矩形画像の縁が映っていなかったり、その縁での近傍画素間の輝度変化が不明りょうなこともある。このような場合、電子透かし情報を検出する装置は、その矩形画像の縁を検出できず、その結果として電子透かし情報が埋め込まれた領域を正確に特定できないおそれがあった。また、各画素の輝度値変化を調べてそのような輝度値変化が付与された画素の位置を検出するためには、少なくとも、輝度値変化のパターンの一周期分の画像が必要となる。しかし、不正利用者が映像コンテンツをビデオカメラを用いて撮影する際に、手ブレなどによりビデオカメラの位置が変動すると、画像間で輝度値変化が付与された画素の位置も変動してしまう。その結果、電子透かし情報を検出する装置は、輝度値変化が付与された画素の位置を正確に検出できないおそれがあった。
そこで本明細書は、表示装置に表示された動画像データを撮影することにより得られた再撮影動画像データの各ピクチャ上の基準位置を検出するための位置情報を付加する位置情報付加装置を提供することを目的とする。また本明細書は、動画像データに付加された位置情報を検出してピクチャ上の基準位置を検出する位置検出装置を提供することを他の目的とする。
一つの実施形態によれば、位置情報付加装置が提供される。この位置情報付加装置は、電子データ化された動画像データに含まれる複数のピクチャのそれぞれに対して複数の基準位置を設定する基準位置設定部と、複数のピクチャのそれぞれに対して、複数の基準位置の少なくとも何れかに基づいて定められる第１の位置に第１の位置情報付加領域と、第１の位置と異なる第２の位置に第２の位置情報付加領域とを設定する領域設定部と、第１の位置情報付加領域に、第１の時間周期でピクチャ上を移動する第１の動きパターンを埋め込み、かつ、第２の位置情報付加領域に、第２の時間周期でピクチャ上を移動する第２の動きパターンを埋め込む位置情報埋め込み部とを有する。
また他の実施形態によれば、電子データ化された動画像データに含まれ、基準位置に対して第１の位置関係にある第１の位置情報付加領域に第１の時間周期で移動する第１の動きパターンが埋め込まれ、かつ基準位置に対して第２の位置関係にある第２の位置情報付加領域に第２の時間周期で移動する第２の動きパターンが埋め込まれているピクチャ上の基準位置を検出する位置検出装置が提供される。この位置検出装置は、ピクチャの各画素に対して、その画素を含む領域に映っているパターンの動き及びそのパターンの空間的な特徴の少なくとも何れかを表す特徴量を求める特徴量抽出部と、ピクチャ上の所定の領域について、その所定の領域に対して第１の位置関係にある領域内の画素の特徴量と、その所定の領域に対して第２の位置関係にある領域内の画素の特徴量とに基づいて、その所定の領域についての基準位置の確からしさの度合いを表す評価値を求める評価値算出部と、評価値が最も高くなる所定の領域に基づいて基準位置を検出する基準位置検出部とを有する。
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
ここに開示される位置情報付加装置は、再撮影動画像データの各ピクチャ上の基準位置の検出を可能とする位置情報を付加できる。また位置検出装置は、動画像データに付加された位置情報を検出してピクチャ上の基準位置を検出できる。
図１は、第１の実施形態による位置情報付加装置の概略構成図である。 図２は、第１の実施形態による、動画像データに位置情報を付加するために実現される処理部の機能を示すブロック図である。 図３（Ａ）〜図３（Ｃ）は、それぞれ、ピクチャ上に設定された基準位置の一例を示す図である。 図４（Ａ）及び図４（Ｂ）は、それぞれ、図３（Ａ）に示された基準位置に基づいて設定される位置情報付加領域の一例を表す図である。 図５（Ａ）は、図４（Ａ）に示された位置情報付加領域と動きパターンの移動方向との関係の一例を示す図であり、図５（Ｂ）は、図４（Ｂ）に示された位置情報付加領域と動きパターンの移動方向との関係の一例を示す図である。また図５（Ｃ）は、図５（Ａ）に示された各位置情報付加領域に埋め込まれる動きパターンの一例を表す図であり、図５（Ｄ）は、図５（Ｂ）に示された各位置情報付加領域に埋め込まれる動きパターンの一例を表す図である。 図６（Ａ）〜図６（Ｄ）は、それぞれ、時刻t〜(t+3)における、図５（Ｃ）に示された位置情報付加領域の動きパターンの時間変化を表す図である。 図７は、透かしパターンの一周期分の時間変化の一例を示す図である。 図８は、図７に対応する、透かしパターンの面積の時間変化と透かしパターンを含む領域内の画素値の平均値の時間変化との対応関係を表すグラフである。 図９は、透かしパターンの時間経過と埋め込まれるビットの値の関係の一例を示す図である。 図１０は、位置情報付加装置の処理部上で実行されるコンピュータプログラムにより制御される、位置情報付加処理の動作フローチャートである。 図１１は、第２の実施形態による電子透かし検出装置の概略構成図である。 図１２は、第２の実施形態による電子透かし検出装置の処理部の機能を示すブロック図である。 図１３（Ａ）は、図４（Ａ）及び図５（Ａ）に示された動きパターンが埋め込まれたピクチャから求められた動きベクトルの概念図である。図１３（Ｂ）は、図４（Ａ）及び図５（Ａ）に示された一つの基準位置の周囲に設定された４個の位置情報付加領域に埋め込まれた動きパターンに対応する参照パターンの概念図である。図１３（Ｃ）は、ピクチャの各画素について求められた基準位置評価値を表す図である。そして図１３（Ｄ）は、図１３（Ｃ）に対応する、検出された基準位置を表す図である。 図１４（Ａ）は、ピクチャ上の動きベクトルの分布の一例を示す図である。図１４（Ｂ）は、行ごとの、左上から右下へ向かう方向の動きベクトルの数及び右下から左上へ向かう方向の動きベクトルの数の分布を表すグラフを表す。図１４（Ｃ）は、垂直方向の位置情報付加領域の境界を表す図であり、図１４（Ｄ）は、水平方向の位置情報付加領域の境界を表す図である。図１４（Ｅ）は、水平方向の位置情報付加領域の境界及び垂直方向の位置情報付加領域の境界と、基準位置との関係を表す図である。 図１５は、ピクチャに対して設定されるブロックの一例を示す図である。 図１６は、電子透かし検出処理の動作フローチャートである。 図１７は、第３の実施形態による電子透かし検出装置の処理部の機能を示すブロック図である。 図１８（Ａ）は、ピクチャに埋め込まれた動きパターンの一例を示す図である。図１８（Ｂ）は、図１８（Ａ）に示されたピクチャに対して左上から右下へ向かう方向の動きパターンのピッチに対応する最も高い周波数成分の分布の一例を表す図である。図１８（Ｃ）は、図１８（Ａ）に示されたピクチャに対して右上から左下へ向かう方向の動きパターンのピッチに対応する最も高い周波数成分の分布の一例を表す図である。 図１９は、注目画素とその注目画素のテクスチャ特徴量の算出に用いられる画素との位置関係の一例を示す図である。 図２０は、第４の実施形態による電子透かし検出装置の処理部の機能を示すブロック図である。
以下、図を参照しつつ、様々な実施形態による、位置情報付加装置について説明する。この位置情報付加装置は、動画像データに含まれる、電子透かし情報が埋め込まれる所定区間内の各ピクチャに対して設定された領域内で、時間経過に伴って位置が変動する動きパターンを位置情報として付加する。そして位置情報付加装置は、その領域に対する相対的な位置が予め設定された所定の領域に電子透かし情報を埋め込む。
なお、以下では、便宜上、電子透かし情報が埋め込まれる画素及び領域を、それぞれ、透かし画素及び透かし領域と呼ぶ。また、動画像データに含まれるピクチャは、フレームであってもよく、あるいはインターレース方式に従って生成されるフィールドであってもよい。
図１は、第１の実施形態による電子透かし埋め込み装置の概略構成図である。この電子透かし埋め込み装置１は、位置情報付加装置の一例である。電子透かし埋め込み装置１は、インターフェース部１１と、記憶部１２と、処理部１３とを有する。そして電子透かし埋め込み装置１は、インターフェース部１１を介して取得した動画像データに対して位置情報及び電子透かし情報を埋め込む。
インターフェース部１１は、例えば、電子透かし埋め込み装置１を、ビデオカメラなどの入力装置（図示せず）または液晶ディスプレイなどの表示装置（図示せず）と接続するための信号インターフェース及びその制御回路を有する。あるいは、インターフェース部１１は、電子透かし埋め込み装置１を、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。あるいはまた、インターフェース部１１は、無線配信される動画像データを受信するためのアンテナと電子透かし埋め込み装置１を接続し、アンテナを介して受信した動画像データを復号するための回路を有する。
インターフェース部１１は、入力装置から、または通信ネットワークあるいはアンテナを介して動画像データを取得し、その動画像データを処理部１３へ渡す。
さらに、インターフェース部１１は、キーボードまたはマウスといったユーザインターフェース装置を電子透かし埋め込み装置１に接続するために、ユニーバーサルシリアルバスなどのバス規格に従ったインターフェース回路を有してもよい。そしてインターフェース部１１は、ユーザインターフェース装置または通信ネットワークから、動画像データに電子透かし情報として埋め込むデータを取得し、そのデータを処理部１３へ渡す。
電子透かし情報は、例えば、視聴者の識別番号、動画像データの配信元の識別番号、及び電子透かし埋め込み装置１が組み込まれた画像表示装置の識別番号の少なくとも一つを含む。また本明細書において、電子透かし情報に含まれる視聴者の識別番号などを表す複数の数値又は記号は、ビット列で表される。
さらに、インターフェース部１１は、電子透かし情報が埋め込まれた動画像データを処理部１３から受け取り、その電子透かし情報が埋め込まれた動画像データを液晶ディスプレイといった表示装置へ出力する。または、インターフェース部１１は、電子透かし情報が埋め込まれた動画像データを、通信ネットワークを介して電子透かし埋め込み装置１と接続された他の機器へ送信してもよい。
記憶部１２は、例えば、半導体メモリ、磁気ディスク装置、または光ディスク装置のうちの少なくとも何れか一つを有する。そして記憶部１２は、電子透かし埋め込み装置１で実行されるコンピュータプログラムと、位置情報及び電子透かし情報を埋め込むために使用する各種のパラメータ、例えば、基準位置及び透かし領域の範囲を記憶する。また記憶部１２は、電子透かし情報が埋め込まれる前の動画像データの一部及び電子透かし情報を、処理部１３により電子透かし情報が埋め込まれた動画像データが作成されるまで一時的に記憶してもよい。さらに記憶部１２は、電子透かし情報が埋め込まれた動画像データを記憶してもよい。
処理部１３は、１個または複数個のプロセッサと、ランダムアクセスメモリといったメモリ回路と、周辺回路を有する。そして処理部１３は電子透かし埋め込み装置１全体を制御する。さらに処理部１３は、動画像データに位置情報及び電子透かし情報を埋め込む。
図２は、動画像データに位置情報及び電子透かし情報を埋め込むために実現される処理部１３の機能を示すブロック図である。処理部１３は、基準位置設定部２１と、領域設定部２２と、動き設定部２３と、位置情報埋め込み部２４と、透かし情報埋め込み部２５とを有する。処理部１３が有するこれらの各部は、処理部１３が有するプロセッサ上で実行されるコンピュータプログラムによって実装される機能モジュールである。また処理部１３が有するこれらの各部は、それぞれ別個の演算回路として電子透かし埋め込み装置１に実装されてもよく、あるいはそれらの演算回路が集積された一つの集積回路として電子透かし埋め込み装置１に実装されてもよい。
基準位置設定部２１は、動画像データのうち、電子透かし情報が埋め込まれる所定の区間に含まれる各ピクチャに対して複数の基準位置を設定する。基準位置と透かし画素または透かし領域との間の位置関係は予め定められており、その位置関係は電子透かし検出装置も既知となっている。そのため、電子透かし検出装置は、電子透かし情報が埋め込まれた動画像データに含まれるピクチャ上で基準位置を検出できると、その基準位置に基づいて透かし画素または透かし領域も特定できる。なお所定区間は、動画像データの先頭のピクチャから終端のピクチャまでとしてもよく、あるいは、動画像データの一部の区間であってもよい。
本実施形態では、基準位置設定部２１は、記憶部１２に予め記憶されている基準位置の座標に従って各ピクチャに対して基準位置を設定する。あるいは、基準位置設定部２１は、インターフェース部１１を介して、他の機器から基準位置の座標を表す情報を取得し、その情報に従って各ピクチャに対して基準位置を設定してもよい。あるいは、基準位置設定部２１は、図示しないユーザインターフェースを介して基準位置の座標の情報を取得し、その情報に従って各ピクチャに対して基準位置を設定してもよい。そして基準位置設定部２１は、領域設定部２２に対して基準位置の座標を通知する。
図３（Ａ）〜図３（Ｃ）は、それぞれ、ピクチャ上に設定された基準位置の一例を示す図である。図３（Ａ）では、ピクチャ３００に対して、左上方、右上方、左下方、右下方の４点に基準位置３０１〜３０４が設定されている。これら４個の基準位置は、例えば、長方形の各頂点となるように設定される。また図３（Ｂ）では、ピクチャ３１０に対して、３点の基準位置３１１〜３１３が設定されている。この３点の基準位置３１１〜３１３は、例えば、それぞれが三角形の頂点となるように配置されている。さらに図３（ｃ）では、ピクチャ３２０に対して、２点の基準位置３２１、３２２が設定されている。この２点の基準位置３２１、３２２は、例えば、長方形の対角に位置する二つのコーナーの位置に配置されている。なお、３個以上の基準位置がピクチャ上に設定される場合、それら基準位置は多角形の頂点の位置に限らず、例えば、ピクチャ上の一つの直線に沿って配置されてもよい。
また基準位置は、ピクチャ上の任意の位置に設定可能である。ただし、ビデオカメラなどで電子透かし情報が埋め込まれた動画像データが撮影された際に、その撮影により得られたピクチャ内に少なくとも二つの基準位置が映るように、ピクチャの各辺よりもピクチャの中心に近い位置に基準位置が設定されることが好ましい。
領域設定部２２は、基準位置に基づいて位置情報を埋め込むピクチャ上の複数の領域を、それぞれ位置情報付加領域として設定する。
図４（Ａ）及び図４（Ｂ）は、それぞれ、図３（Ａ）に示された基準位置に基づいて設定される位置情報付加領域の一例を表す図である。図４（Ａ）では、ピクチャ４００上に４個の基準位置４０１〜４０４が設定されている。そして各基準位置を中心として、それぞれ４個の矩形領域が位置情報付加領域として設定されている。例えば、ピクチャ４００の左上方に設定された基準位置４０１の左上方に、基準位置４０１を右下の頂点とする矩形の位置情報付加領域４１１が設定されている。また、基準位置４０１の右上方に、基準位置４０１を左下の頂点とする矩形の位置情報付加領域４１２が設定されている。同様に、基準位置４０１の左下方に、基準位置４０１を右上の頂点とする矩形の位置情報付加領域４１３が設定され、基準位置４０１の右下方に、基準位置４０１を左上の頂点とする矩形の位置情報付加領域４１４が設定されている。また、図４（Ｂ）では、４個の基準位置４２１〜４２４をそれぞれ頂点とする矩形領域４３１と、矩形領域４３１の外周を囲う領域４３２とが位置情報付加領域として設定される。
なお、位置情報付加領域は、三角形であってもよく、あるいは、円形であってもよい。例えば、領域設定部２２は、図３（Ｂ）に示された３個の基準位置をそれぞれ頂点とする三角形の領域と、その三角形の領域を囲う領域とを位置情報付加領域としてもよい。また、領域設定部２２は、図３（Ｃ）に示された２個の基準位置を結ぶ直線にてピクチャを二つの領域に分割し、その二つの領域をそれぞれ位置情報付加領域としてもよい。さらに、領域設定部２２は、図３（Ｃ）に示された２個の基準位置を直径の両端とする円形の領域と、その円形の領域を囲うリング状の領域とをそれぞれ位置情報付加領域としてもよい。さらに、位置情報付加領域同士は接していなくてもよい。さらにまた、基準位置が、何れかの位置情報付加領域に含まれているか、何れの位置情報付加領域からも離れて位置するように、各位置情報付加領域は設定されてもよい。
また、位置情報付加領域のサイズは、位置情報付加領域内に位置情報として埋め込まれる動きパターンよりも大きく、かつ、複数の位置情報付加領域同士が重ならないサイズであればよい。そのため、図４（Ｂ）に示されるように、ピクチャ上の任意の点が何れかの位置情報付加領域に含まれていてもよく、あるいは、図４（Ａ）に示されるように、ピクチャ上に位置情報付加領域と重ならない領域が含まれていてもよい。
領域設定部２２は、位置情報付加領域ごとに、位置情報付加領域の位置及び範囲を表す情報を動き設定部２３へ通知する。位置情報付加領域の位置及び範囲を表す情報は、例えば、位置情報付加領域が多角形であれば、位置情報付加領域のそれぞれについての各頂点の座標、あるいは少なくとも一つの頂点と、複数の辺の長さなどを含み、位置情報付加領域が円形であれば、円の中心の座標と半径を含む。
動き設定部２３は、複数の位置情報付加領域のそれぞれに対して埋め込まれる動きパターンについての時間経過に応じた移動方向及び移動量を設定する。その際、動き設定部２３は、複数の位置情報付加領域のうちの少なくとも二つを一つの組とする。そして動き設定部２３は、例えば、その組に含まれる複数の位置情報付加領域に対して、それぞれ異なる移動方向を設定する。なお、同じ組に含まれる複数の位置情報付加領域に対してそれぞれ異なる動きパターンが埋め込まれる場合には、動き設定部２３は、その組に含まれる各位置情報付加領域に対して同一の移動方向を設定してもよい。なお、動き設定部２３は、各位置情報付加領域に対して、同一の移動量を設定する。あるいは、動き設定部２３は、位置情報付加領域ごとに、動きパターンの単位時間当たりの移動量を異ならせてもよい。
動き設定部２３は、各位置情報付加領域の動きパターンの移動方向及び移動量を表す情報、例えば、連続する２枚のピクチャ間での動きパターンの移動方向及び移動量を表すベクトルと、対応する位置情報付加領域の重心の座標を位置情報埋め込み部２４へ通知する。
位置情報埋め込み部２４は、各位置情報付加領域に対して、動き設定部２３により設定された移動方向に沿って移動する動きパターンを埋め込む。
図５（Ａ）は、図４（Ａ）に示された位置情報付加領域と動きパターンの移動方向との関係の一例を示す図であり、図５（Ｂ）は、図４（Ｂ）に示された位置情報付加領域と動きパターンの移動方向との関係の一例を示す図である。
図５（Ａ）では、ピクチャ５００には基準位置５０１〜５０４をそれぞれ中心として、位置情報付加領域の組が４組設定されている。例えば、ピクチャ５００の左上方の基準位置５０１の周囲には、４個の位置情報付加領域５１１〜５１４が設定されている。各位置情報付加領域内に示された矢印は、その位置情報付加領域に埋め込まれる動きパターンの移動方向を表す。例えば、基準位置５０１の左上方に設定された位置情報付加領域５１１には、矢印５２１に示されるように、時間経過に応じて左上から右下へ向けて移動する動きパターンが埋め込まれる。また、基準位置５０１の右上方に設定された位置情報付加領域５１２には、矢印５２２に示されるように、時間経過に応じて左下から右上へ向けて移動する動きパターンが埋め込まれる。さらに、基準位置５０１の左下方に設定された位置情報付加領域５１３には、矢印５２３に示されるように、時間経過に応じて右上から左下へ向けて移動する動きパターンが埋め込まれる。そして基準位置５０１の右下方に設定された位置情報付加領域５１４には、矢印５２４に示されるように、時間経過に応じて右下から左上へ向けて移動する動きパターンが埋め込まれる。
図５（Ｂ）では、ピクチャ５００に二つの位置情報付加領域５３１、５３４が設定されている。そしてピクチャ５００の中心付近に設定された位置情報付加領域５３１には、矢印５４１に示されるように、時間経過に応じて右下から左上へ向けて移動する動きパターンが埋め込まれる。また位置情報付加領域５３１の外周に設定された位置情報付加領域５３２には、矢印５４２に示されるように、時間経過に応じて左上から右下へ向けて移動する動きパターンが埋め込まれる。
図５（Ｃ）は、図５（Ａ）に示された各位置情報付加領域に埋め込まれる動きパターンの一例を表す図であり、図５（Ｄ）は、図５（Ｂ）に示された各位置情報付加領域に埋め込まれる動きパターンの一例を表す図である。
図５（Ｃ）に示されるように、各位置情報付加領域には、動きパターンの移動方向と略平行な方向に沿って画素値が周期的に変化する縞状の動きパターンが埋め込まれる。例えば、位置情報付加領域５１１及び５１４には、左上から右下へ向かう方向に沿って画素値が周期的に変化する縞状の動きパターン５５１が埋め込まれる。また、位置情報付加領域５１２及び５１３には、左下から右上へ向かう方向に沿って画素値が周期的に変化する縞状の動きパターン５５２が埋め込まれる。
また図５（Ｄ）に示されるように、位置情報付加領域５３１、５３２には、それぞれ、左上から右下へ向かう方向、すなわち、動きパターンが移動する方向に沿って画素値が周期的に変化する縞状の動きパターン５６１が埋め込まれる。
なお、図５（Ｃ）及び図５（Ｄ）において、動きパターンに含まれる暗い領域は、動きパターンに含まれる明るい領域よりも、ピクチャの対応する画素の値に加算される画素値が小さいことを表す。例えば、暗い領域に含まれる画素については、'0'が加算され、一方、明るい領域に含まれる画素については、'1'が加算される。
なお、この例では、位置情報付加領域５３１に埋め込まれる動きパターンは、位置情報付加領域５３２に埋め込まれる動きパターンと同一である。しかし、位置情報付加領域５３１に埋め込まれる動きパターンは、位置情報付加領域５３２に埋め込まれる動きパターンと異なっていてもよい。例えば、位置情報付加領域５３１に埋め込まれる動きパターンの縞のピッチは、位置情報付加領域５３２に埋め込まれる動きパターンの縞のピッチよりも大きくてもよい。さらに、各位置情報付加領域に埋め込まれる動きパターンは、縞状のパターンのように、周期性を持つパターンでなくてもよいが、動きパターンは、その動きパターンの移動方向に沿って画素値が変化するパターンであることが好ましい。
図６（Ａ）〜図６（Ｄ）は、それぞれ、時刻t〜(t+3)における、図５（Ｃ）に示された位置情報付加領域５１１〜５１４の動きパターン５５１及び５５２を表す図である。図６（Ａ）〜図６（Ｄ）に示されるように、動きパターン５５１は、左上から右下へ向かう軸に沿って移動していることが分かる。また動きパターン５５２は、左下から右上へ向かう軸に沿って移動していることが分かる。
位置情報埋め込み部２４は、例えば、以下の式に従って、動きパターンが埋め込まれた位置情報付加領域内の各画素の値を算出する。
ここでF(x,y,t)は、時刻tにおけるピクチャの水平座標x、垂直座標yの画素値である。なお、画素値は、ピクチャがグレー画像である場合、例えば、画素の輝度値であり、ピクチャがカラー画像である場合、例えば、赤色成分、青色成分あるいは緑色成分のうちの何れか一つの色成分の値である。またW(x,y,t)は、時刻tにおける、動きパターンに含まれる、水平座標x、垂直座標yの画素値である。さらにα(x,y,t)は、信号強度調整パラメータであり、時刻tにおける、水平座標x、垂直座標yについての画素に加算される値を調整するために使用される。
α(x,y,t)は、例えば、動きパターンが埋め込まれた動画像データの画質の劣化を抑制するように、埋め込み対象となる画素及びその周囲の画素の値あるいはそれらの画素の値の時間変化に応じて設定される。例えば、注目するピクチャにおける、位置情報付加領域内に、空のような一様な画素値を持つ像が映っている場合、埋め込まれるパターンの画素値の最大値と最小値の差が小さくても動きパターンが知覚される可能性がある。一方、位置情報付加領域内に、近傍画素間で画素値が大きく変化するような複雑な模様が映っている場合には、埋め込まれるパターンの画素値の最大値と最小値の差を相対的に大きくすることで、電子透かし検出装置による動きパターンの検出精度を向上できる。
そこで、位置情報埋め込み部２４は、例えば、位置情報付加領域内の画素値の分散を求め、その分散値が小さいほどα(x,y,t)を小さくする。あるいは、位置情報埋め込み部２４は、位置情報付加領域内の画素値の最大値と最小値の差が小さいほどα(x,y,t)を小さくしてもよい。
また、位置情報付加領域内の像が静止している場合のように、時間経過に応じた像の変化が小さい場合、時間経過に応じて移動する動きパターンは知覚され易い。一方、位置情報付加領域内の像が急激に動いていると、埋め込まれるパターンの画素値の最大値と最小値の差を相対的に大きくすることで、電子透かし検出装置による動きパターンの検出精度を向上できる。
そこで、位置情報埋め込み部２４は、例えば、位置情報付加領域について、時間的に連続する複数のピクチャ間でブロックマッチングを行って動きベクトルを求め、動きベクトルが小さいほどα(x,y,t)を小さくしてもよい。その際、位置情報埋め込み部２４は、位置情報付加領域内に複数のブロックが設定される場合には、ブロックごとに求めた動きベクトルの平均値に基づいてα(x,y,t)を決定してもよい。なお、電子透かし情報が埋め込まれる動画像データが、MPEG-2、MPEG-4といった動き補償を行う動画像符号化方法に従って圧縮された形式で処理部１３がその動画像データを受け取ることがある。このような場合、処理部１３が動画像データを復号した後に、位置情報埋め込み部２４は、動きパターンを埋め込む。その際、位置情報埋め込み部２４は、その圧縮された動画像データに含まれる動きベクトルに基づいて、上記のようにα(x,y,t)を決定してもよい。
またα(x,y,t)は、予め定められた固定値、例えば1であってもよい。
なお、画素値が0〜255で表される場合、α(x,y,t)は、その最小値に設定された場合でも、W(x,y,t)が0でない値を持つ場合に、（１）式の右辺の第２項の絶対値が1以上の値となるように決定される。またα(x,y,t)は、その最大値に設定された場合でも、（１）式の右辺の第２項の絶対値が、動きパターンが知覚されない程度の値、例えば、3以下となるように決定される。
また、W(x,y,t)は、例えば、次式に従って決定される。
ここで、Riはi番目の位置情報付加領域の範囲であり、Pi(x,y)は位置情報付加領域Riに埋め込まれる動きパターンに含まれる水平座標x、垂直座標yの画素値である。画素値が0〜255の範囲内の値である場合、Pi(x,y)は、例えば、0〜3程度の値に設定される。そして(vx[i],vy[i])は、それぞれ、動きパターンの移動方向の水平成分及び垂直成分である。
一例として、動きパターンは、水平成分及び垂直成分の周期を(Tx[i],Ty[i])とすると、Pi(x,y)は任意の(x,y)に関して次式を満たすように設定される。
位置情報埋め込み部２４は、位置情報が埋め込まれたピクチャを透かし情報埋め込み部２５へ渡す。
透かし情報埋め込み部２５は、位置情報埋め込み部２４から受け取ったピクチャに対して電子透かし情報を埋め込む。透かし情報埋め込み部２５は、電子透かし情報を埋め込むために、動画像データに適した様々な電子透かし情報の埋め込み方法の何れかを利用できる。例えば、透かし情報埋め込み部２５は、その動画像データに含まれる時系列順に並んだ複数のピクチャに対して、電子透かし情報の先頭のビットから順に、一つのビットずつ埋め込む。例えば、透かし情報埋め込み部２５は、各ピクチャのそれぞれの所定位置の透かし画素の画素値を、電子透かし情報の先頭のビットから順に、そのビットの値に応じた画素値にする。なお、透かし画素は、例えば、位置情報付加領域に含まれない何れかの画素とすることができる。あるいは、ピクチャの任意の画素が何れかの位置情報付加領域に含まれる場合、透かし画素は、何れかの位置情報付加領域内に設定されてもよい。ただし、この透かし画素と各基準位置との位置関係は固定である。例えば、透かし画素とそれぞれの基準位置間の水平座標の差及び垂直座標の差が予め設定された値となるように、透かし画素は決定される。
あるいは、透かし情報埋め込み部２５は、電子透かし情報が埋め込まれる区間内に、電子透かし情報に含まれるビットごとに複数のピクチャを含むサブ区間を設定してもよい。そして透かし情報埋め込み部２５は、そのサブ区間において各ピクチャに設定される透かし領域に重畳される透かしパターンを生成し、その透かしパターンの面積をビットの値に応じて周期的に変化させてもよい。この場合、透かし情報埋め込み部２５は、埋め込まれるビットの値に応じて、透かしパターンの面積の周期的な時間変動の位相またはその時間変動の周期を変える。これにより、ピクチャの一部に設定され、透かしパターンが含まれる透かし領域内の平均画素値も周期的に増減するので、透かし領域内の平均画素値の周期的な時間変動の位相またはその時間変動の周期も変動する。
なお、透かし領域は、面積が最大となるときの透かしパターンが含まれ、かつ一定のサイズを持つように設定される。すなわち、透かし領域は、透かしパターンの面積に関わらず、ピクチャ上で透かしパターンが重畳される領域を含む。さらに、透かし領域は、例えば、位置情報付加領域に含まれない何れかの領域とすることができる。あるいは、ピクチャの任意の画素が何れかの位置情報付加領域に含まれる場合、透かし領域は、何れかの位置情報付加領域内に設定されてもよい。透かし領域が位置情報付加領域内に設定される場合、基準位置を検出するための動きパターンが移動することで生じる時間方向の画素値変化の周期と、透かしパターンの周期が一致すると、電子透かし検出装置が透かしパターンを検出できなくなるおそれがある。そこで、透かし情報埋め込み部２５は、透かしパターンの時間方向の変動周期を、動きパターンの時間方向の周期と異ならせることが好ましい。
またこの場合も、透かし領域と基準位置との位置関係は固定である。例えば、基準位置が複数設定されている場合、透かし領域の中心とそれぞれの基準位置間の水平座標の差及び垂直座標の差が予め設定された値となるように、透かし領域は決定される。
図７は、透かしパターンの一周期分の時間変化の一例を示す図である。この例では、透かしパターンは複数の透かしブロックを有し、各透かしブロックに含まれる画素は、負の値、例えば、'-2'を持つ。そのため、各透かしブロックは影状となり、その結果、透かしパターンに含まれる画素が重畳されることにより、その重畳された画素の値は元の画素値よりも低くなる。
図７において、時刻tから時刻(t+8)までの時間的に連続する９枚のピクチャが示されている。時刻tのピクチャ７０１には、矩形状の透かしパターン７１１が重畳されている。そして時刻tから時刻(t+4)にかけて、透かしブロック７１２の数が減ることにより、ピクチャに重畳される透かしパターンの面積が減少する。そして時刻(t+4)におけるピクチャ７０２において透かしパターンは消失する。また、時刻(t+4)以降、透かしパターンの面積は増加し、時刻(t+8)におけるピクチャ７０３にて、再び透かしパターンの面積が最大となる。
図８は、図７に対応する、透かしパターンの面積の時間変化と透かしパターンを含む領域内の画素値の平均値の時間変化との対応関係を表すグラフである。図８における上側のグラフにおいて、横軸は時間を表し、縦軸は透かしパターンの面積を表す。そしてグラフ８０１は、各時刻t〜(t+8)における、透かしパターンの面積を表す。一方、下側のグラフにおいて、横軸は時間を表し、縦軸は画素値を表す。そしてグラフ８０２は、各時刻t〜(t+8)における、透かし領域内の平均画素値を表す。
グラフ８０１に示されるように、時刻t〜(t+8)において、透かしパターンの面積は、三角波状に変化する。またこの例では、透かしパターンの各画素は負の値を持つ。そのため、グラフ８０２に示されるように、透かし領域内の平均画素値は透かしパターンの面積が減少するにつれて増加し、逆に透かしパターンの面積が増加するにつれて減少する。そのため、平均画素値も時系列に沿って三角波状に変化し、平均画素値の変化を表す三角波の位相は、透かしパターンの面積の変化を表す三角波の位相に対して反転する。
上述したように、一例として、動画像データに埋め込まれるビットの値は、透かしパターンの面積の変動周期、すなわち、透かし領域内の平均画素値の変動周期によって表される。
図９は、透かしパターンの時間経過と埋め込まれるビットの値の関係の一例を示す図である。図９における上側、中央、下側の各グラフの横軸は時間を表し、縦軸は透かし領域内の平均画素値を表す。そしてグラフ９０１及び９０２は、それぞれ、ビットの値が'0'または'1'である場合の時間経過に対する透かし領域内の平均画素値の変動を表す。この例では、ビットの値が'1'である場合の周期T1は、ビットの値が'0'である場合の周期T2の1/2となっている。なお、埋め込まれた値の検出を容易にするために、一つのビットが埋め込まれる区間の長さは、ビットの値によらず、同一であることが好ましい。例えば、図９における、複数のビットに対する透かし領域内の平均画素値の時間変動を表すグラフ９０３に示されるように、ビットの値が'0'である場合、一つの区間９１０には2周期の平均画素値の変動が含まれ、一方、ビットの値が'1'である場合、一つの区間９１１には4周期の平均画素値の変動が含まれる。
あるいは、動画像データに埋め込まれるビットの値は、透かしパターンの面積の時間変動における位相によって表されてもよい。透かし情報埋め込み部２５は、例えば、ビットの値が'0'であるときの透かしパターンの面積の時間変動の位相に対して、ビットの値が'1'であるときの透かしパターンの面積の時間変動の位相を反転させてもよい。
透かし情報埋め込み部２５は、ピクチャごとに透かし領域を設定する。そして透かし情報埋め込み部２５は、透かしパターンに含まれる画素と重なるピクチャ上の画素の値を、その透かしパターンに含まれる画素の値で修正する。例えば、透かしパターンに含まれる各画素が'-2'の値を持つ場合、透かし情報埋め込み部２５は、透かしパターンと重なる領域に含まれる各画素の値から'2'減算する。逆に、透かしパターンに含まれる各画素が'2'の値を持つ場合、透かし情報埋め込み部２５は、透かしパターンと重なる領域に含まれる各画素の値に'2'加算する。
上記のように、透かし情報埋め込み部２５は、動画像データに対して時系列方向に複数のビットを埋め込むことができる。この場合、透かし情報埋め込み部２５は、動画像データに埋め込まれる一つのビットに対応する区間が終了する度に、ビットごとの区切りを示す所定のパターンを、次のビットに対応する区間が始まるまでのピクチャに重畳してもよい。
また、透かし情報埋め込み部２５は、動画像データ中の各ピクチャに、電子透かし情報に含まれる複数のビットを埋め込んでもよい。例えば、各ピクチャの複数の透かし画素が、電子透かし情報に含まれるビットの値を表すために用いられる。あるいは、動画像データ中の各ピクチャには、複数の透かし領域及び各透かし領域に含まれる透かしパターンが設定される。そして、各透かし領域とその透かし領域内に重畳される透かしパターンが一つのビットに対応する。
透かし情報埋め込み部２５は、電子透かし情報を上記のように動画像データに埋め込む。そして透かし情報埋め込み部２５は、電子透かし情報が埋め込まれた動画像データを記憶部１２に記憶する。あるいは、透かし情報埋め込み部２５は、電子透かし情報が埋め込まれた動画像データを、インターフェース部１１を介して他の機器へ出力してもよい。
図１０は、この実施形態による電子透かし埋め込み装置の処理部上で実行されるコンピュータプログラムにより制御される、電子透かし埋め込み処理の動作フローチャートである。
処理部１３の基準位置設定部２１は、ピクチャ上に少なくとも一つの基準位置を設定する（ステップＳ１０１）。そして基準位置設定部２１は、各基準位置を表す情報を領域設定部２２へ通知する。領域設定部２２は、基準位置に基づいて複数の位置情報付加領域を設定する（ステップＳ１０２）。そして領域設定部２２は、各位置情報付加領域を表す情報を動き設定部２３へ通知する。
動き設定部２３は、各位置情報付加領域に埋め込まれる動きパターンの移動方向を設定する（ステップＳ１０３）。そして動き設定部２３は、位置情報付加領域ごとに、動きパターンの移動方向を表す情報を位置情報埋め込み部２４へ通知する。位置情報埋め込み部２４は、電子透かし情報が埋め込まれる所定区間内に含まれる複数のピクチャについて、動きパターン及び移動方向に応じて位置情報付加領域内の画素値を修正する（ステップＳ１０４）。そして位置情報埋め込み部２４は、動きパターンが埋め込まれたピクチャを透かし情報埋め込み部２５へ渡す。
透かし情報埋め込み部２５は、動きパターンが埋め込まれたピクチャに電子透かし情報を埋め込む（ステップＳ１０５）。その後処理部１３は、電子透かし埋め込み処理を終了する。
なお、処理部１３は、ステップＳ１０５の処理を行った後に、ステップＳ１０１〜Ｓ１０４の処理を行ってもよい。
以上に説明してきたように、第１の実施形態に係る電子透かし埋め込み装置は、時間経過に応じて位置が変化する動きパターンを、電子透かし情報が埋め込まれる位置の基準となる基準位置を特定するために各ピクチャに埋め込む。そのため、電子透かし検出装置は、この電子透かし埋め込み装置により電子透かし情報が埋め込まれた動画像データをビデオカメラなどにより撮影することにより得られる再撮影動画像データにおいても動きパターンを見つけることで基準位置を特定できる。そのため、基準位置を特定するために、再撮影動画像データの各ピクチャに、元の動画像データのピクチャの外縁が映っていなくてもよい。さらに、電子透かし情報が埋め込まれた動画像データを再撮影する際に、手ブレなどが発生しても、動きパターンを検出することにより基準位置が特定可能である。そして基準位置が特定されれば、電子透かし検出装置は、電子透かし情報が埋め込まれた透かし画素または透かし領域も特定できる。このように、この電子透かし埋め込み装置は、再撮影動画像データにおいても、各ピクチャにおける電子透かし情報が埋め込まれた位置を特定可能な位置情報を付与できる。
以下に、第１の実施形態による電子透かし埋め込み装置により動画像データに埋め込まれた電子透かし情報を検出する電子透かし検出装置について説明する。
図１１は、第２の実施形態による電子透かし検出装置の概略構成図である。電子透かし検出装置２は、インターフェース部３１と、記憶部３２と、処理部３３とを有する。そして電子透かし検出装置２は、インターフェース部３１を介して取得した動画像データの各ピクチャの基準位置を検出し、その基準位置に基づいて特定される透かし画素または透かし領域の画素の値を解析することにより、埋め込まれた電子透かし情報を検出する。
なお、以下に説明する、各実施形態またはその変形例による電子透かし検出装置は、それぞれ、位置検出装置の一例である。また以下では、電子透かし情報が埋め込まれた動画像データを透かし重畳動画像データと呼ぶ。
インターフェース部３１は、例えば、電子透かし検出装置２を、ビデオカメラなどの動画像データ入力装置（図示せず）と接続するための信号インターフェース及びその制御回路を有する。あるいは、インターフェース部３１は、電子透かし検出装置２を、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
インターフェース部３１は、動画像データ入力装置または通信ネットワークを介して透かし重畳動画像データを取得し、その動画像データを処理部３３へ渡す。
さらに、インターフェース部３１は、検出された電子透かし情報を処理部３３から受け取り、その電子透かし情報を、通信ネットワークを介して電子透かし検出装置２と接続された他の機器へ送信してもよい。
記憶部３２は、例えば、半導体メモリ、磁気ディスク装置、または光ディスク装置のうちの少なくとも何れか一つを有する。そして記憶部３２は、電子透かし検出装置２で実行されるコンピュータプログラム、透かし重畳動画像データから電子透かし情報を検出するために使用する各種のパラメータを記憶する。また記憶部３２は、検出された電子透かし情報を記憶してもよい。さらに記憶部３２は、透かし重畳動画像データを記憶してもよい。
処理部３３は、１個または複数個のプロセッサと、ランダムアクセスメモリといったメモリ回路と、周辺回路を有する。そして処理部３３は、透かし重畳動画像データの各ピクチャに埋め込まれた動きパターンの移動方向を検出することで基準位置を求め、その基準位置に基づいて透かし画素または透かし領域を特定する。そして処理部３３は、電子透かし情報を検出する。さらに処理部３３は、電子透かし検出装置２全体を制御する。
図１２は、透かし重畳動画像データから基準位置を検出し、かつ電子透かし情報を検出するために実現される処理部の機能を示すブロック図である。
処理部３３は、動きベクトル算出部４１と、評価値算出部４２と、基準位置検出部４３と、透かし情報抽出部４４とを有する。
動きベクトル算出部４１は、透かし重畳動画像データのピクチャを取得する度に、その最新のピクチャである現ピクチャ及び過去のピクチャから、各画素に映っている像の移動量及び移動方向を表す動きベクトルを求める。なお、動きベクトル算出部４１は、特徴量抽出部の一例である。
動きベクトル算出部４１は、例えば次式に従って、時刻tにおけるピクチャ（現ピクチャ）の各画素と、時刻(t-1)におけるピクチャの動きベクトル候補に相当する画素数だけずらした画素との間で、画素値の差分絶対値d(x,y,vx,vy,t)を求める。
ここでG(a,b,τ)は、時刻τにおけるピクチャの水平座標a、垂直座標bの画素値である。またvx、vyは、それぞれ、動きベクトル候補の水平方向成分及び垂直方向成分である。ここで、(vx、vy)が座標(x,y)の画素に映っている像の動きベクトルを表していれば、差分絶対値d(x,y,vx,vy,t)は理想的には0となる。したがって、動きベクトル算出部４１は、差分絶対値に基づいて求める評価値が最小となるような動きベクトル候補(vx、vy)を、座標(x,y)の画素の動きベクトルとして求める。
上述したとおり、（２）式における右辺第２項の絶対値は、動きパターンが知覚されないような小さな値、例えば、3以下に設定されている。したがって、差分値の絶対値d(x,y,vx,vy,t)が（２）式の右辺の第２項の絶対値よりも大きい場合、その差分値は、埋め込まれた動きパターンによるものではなく、元のピクチャに映っている像のエッジに起因する可能性が非常に高い。そのため、そのような大きな差分絶対値d(x,y,vx,vy,t)は、埋め込まれた動きパターンの動きベクトルの算出に関しては考慮しないことが好ましい。そこで動きベクトル算出部４１は、（４）式の代わりに、次式に従って差分絶対値d'(x,y, vx,vy,t)を算出してもよい。
ここでWmaxは、動きベクトルを算出するために考慮する差分絶対値の上限値であり、例えば、（２）式の右辺第２項の絶対値の最大値、あるいはその最大値に所定のオフセット値（例えば、1または2）を加算した値に設定される。この例では、動きベクトル算出部４１は（５）式に従って算出された差分絶対値を用いて、動きベクトルを算出する。
動きベクトル算出部４１は、現ピクチャの画素ごとに、動きベクトル候補(vx, vy)の各成分を動きベクトル候補について予め定められた範囲内で様々に変更しつつ、動きベクトル候補(vx, vy)の評価値D(x,y,vx,vy,t)を次式に従って算出する。
なお、Rは、注目する画素の周囲に設定される、動きベクトルの探索ブロックの大きさを表すパラメータであり、その探索ブロックは、横(2R+1)画素x縦(2R+1)画素となる。例えば、Rは、4、8、または16に設定される。
動きベクトル算出部４１は、画素ごとに、動きベクトル候補(vx, vy)の中で評価値D(x,y,vx,vy,t)が最小となる候補を動きベクトルとして求める。すなわち、動きベクトル候補の範囲をVとすると、動きベクトル(Vx(x,y,t),Vy(x,y,t))は次のように求まる。
なお、（７）式の右辺は、範囲Vに含まれる動きベクトル候補(vx,vy)の中で評価値D(x,y,vx,vy,t)が最小となる候補を表す。また、動きベクトル候補の範囲は、例えば、連続する２枚のピクチャ間での、動きパターンの移動量の最大値に相当する範囲に設定される。
動きベクトル算出部４１は、現ピクチャの各画素について求めた動きベクトルを評価値算出部４２へ渡す。
評価値算出部４２は、現ピクチャの画素ごとに、基準位置である確からしさを表す基準位置評価値を算出する。
本実施形態では、基準位置と位置情報付加領域の位置関係、及び位置情報付加領域に埋め込まれた動きパターンの動きベクトルは、電子透かし検出装置２にとって既知である。そのため、基準位置を原点として決定される、位置情報付加領域に含まれる各画素の動きベクトルを表す参照パターンが求められ、その参照パターンは予め記憶部３２に記憶される。
そして評価値算出部４２は、現ピクチャの画素ごとに、その画素及び周囲の画素の動きパターンと、参照パターンとのパターンマッチングによりその画素の基準位置評価値を算出する。
例えば、評価値算出部４２は、次式のように、注目画素及びその周囲の画素の動きベクトルと参照パターン内の各画素の動きベクトルとの正規化相互相関値を、時刻tにおけるピクチャの水平座標x、垂直座標yの画素の基準位置評価値E(x,y,t)として算出する。
ここで、(Rx(x,y),Ry(x,y))は、参照パターンの画素(x,y)が含まれる位置情報付加領域における動きパターンの動きベクトルの水平方向成分及び垂直方向成分を表す。また(Vx(x,y),Vy(x,y))は、現ピクチャの画素(x,y)における動きパターンの水平方向成分及び垂直方向成分を表す。Sは、参照パターンのサイズを表すパラメータであり、この例では、参照パターンは水平方向に(2S+1)画素、垂直方向に(2S+1)画素を持つ。またVabs(x,y,t)及びRabsは、それぞれ、次式で表される。
基準位置に対して所定の位置関係にある位置情報付加領域内の動きパターンの動きベクトルと、現ピクチャの注目画素に対してその所定の位置関係にある領域内の画素の動きベクトルとが一致するほど、その注目画素の基準位置評価値E(x,y,t)は高くなる。そして現ピクチャの注目画素及びその周囲の画素の動きベクトルの分布が、参照パターンの動きベクトルの分布と完全に一致している場合、基準位置評価値E(x,y,t)は1となる。
評価値算出部４２は、現ピクチャの各画素の基準位置評価値を基準位置検出部４３へ渡す。
基準位置検出部４３は、現ピクチャの各画素の基準位置評価値に基づいて基準位置を検出する。本実施形態では、基準位置検出部４３は、基準位置評価値E(x,y,t)が最も高くなる画素を一つの基準位置とする。また基準位置検出部４３は、現ピクチャから、先に検出された基準位置を中心とする所定範囲を除いた残りの領域で最も基準位置評価値E(x,y,t)が高い画素を別の基準位置として検出する。以後、同様に、基準位置検出部４３は、既に検出された基準位置をそれぞれ中心とする所定範囲を除いた残りの領域で、基準位置評価値E(x,y,t)が最も高い画素を基準位置として検出する。そして基準位置検出部４３は、一つのピクチャに設定されている基準位置の数だけ、基準位置の検出を繰返し実行する。なお、所定範囲は、例えば、検出された基準位置を中心とし、互いの距離が最短である二つの基準位置間の距離の1/2を半径とする円形領域とすることができる。
また基準位置検出部４３は、残りの領域内での基準位置評価値E(x,y,t)の最大値が予め定められた閾値未満となった時点で、基準位置の検出を中止してもよい。例えば、その閾値は、基準位置評価値E(x,y,t)の取り得る最大値の1/2に設定される。
図１３（Ａ）は、図４（Ａ）及び図５（Ａ）に示された動きパターンが埋め込まれたピクチャから求められた動きベクトルの概念図である。図１３（Ｂ）は、図４（Ａ）及び図５（Ａ）に示された一つの基準位置の周囲に設定された４個の位置情報付加領域に埋め込まれた動きパターンの動きベクトルに対応する参照パターンの概念図である。図１３（Ｃ）は、ピクチャの各画素について求められた基準位置評価値を表す図である。そして図１３（Ｄ）は、図１３（Ｃ）に対応する、検出された基準位置を表す図である。なお、図１３（Ａ）及び図１３（Ｂ）に示された矢印は、動きベクトルを表す。また図１３（Ｃ）において、基準位置評価値が高い画素ほど白く表されている。
図１３（Ａ）に示されるように、ピクチャ１３００では、埋め込まれた動きパターンによる動きベクトル１３０１だけでなく、ピクチャ１３００に映っている像、あるいは透かしパターンに起因する動きベクトル１３０２も検出される。しかし、基準位置の周囲の動きベクトルの分布は、図１３（Ｂ）に示される参照パターン１３１０に含まれる動きベクトルの分布と類似する。そのため、図１３（Ｃ）に示されるように、基準位置１３２１〜１３２４における基準位置評価値がその他の画素に対する基準位置評価値よりも高くなる。したがって、図１３（Ｄ）に示されるように、基準位置検出部４３は、基準位置評価値が高い４点を検出することにより、正確に各基準位置１３２１〜１３２４を検出できる。
なお、変形例によれば、評価値算出部４２及び基準位置検出部４３は、既知である動きベクトルの分布の統計的性質に基づいて、現ピクチャの行ごと、列ごとに、基準位置評価値を算出し、その基準位置評価値に基づいて基準位置を検出してもよい。
図１４（Ａ）〜（Ｅ）を参照しつつ、この変形例による基準位置の検出について説明する。図１４（Ａ）に示される現ピクチャ１４００には、図４（Ｂ）及び図５（Ｂ）に示された二つの動きパターンが埋め込まれているとする。また図１４（Ａ）において、現ピクチャ１４００上に示された各矢印は、その矢印の位置における動きベクトルを表す。
この場合、図１４（Ａ）に示されるように、中央の位置情報付加領域１４１１では、動きパターンが右下から左上へ向かって移動するので、右下から左上へ向かう動きベクトルを持つ画素が多数分布する。同様に、その周囲の位置情報付加領域１４１２では、動きパターンが左上から右下へ向かって移動するので、左上から右下へ向かう動きベクトルを持つ画素が多数分布する。そこで評価値算出部４２は、現ピクチャ１４００において左上から右下へ向かう動きベクトルを持つ画素の行ごと、列ごとの分布と右下から左上へ向かう動きベクトルを持つ画素の行ごと、列ごとの分布を調べる。
まず評価値算出部４２は、行ごとに、左上から右下へ向かう動きベクトルを持つ画素の数、すなわち、左上から右下へ向かう動きベクトルの頻度を求める。同様に、評価値算出部４２は、行ごとに、右下から左上へ向かう動きベクトルを持つ画素の数を求める。さらに評価値算出部４２は、列ごとに、左上から右下へ向かう動きベクトルを持つ画素の数を求める。同様に、評価値算出部４２は、列ごとに、右下から左上へ向かう動きベクトルを持つ画素の数を求める。
図１４（Ｂ）に示されたグラフ１４２１は、行ごとの、左上から右下へ向かう動きベクトルを持つ画素の数を表すグラフである。横軸は画素数を表し、縦軸はピクチャ１４００の垂直位置を表す。また、グラフ１４２２は、行ごとの、右下から左上へ向かう動きベクトルを持つ画素の数を表すグラフであり、横軸は画素数を表し、縦軸はピクチャ１４００の垂直位置を表す。グラフ１４２１及びグラフ１４２２から明らかなように、垂直位置１４３１及び１４３２にて、頻度が高い方の動きベクトルが入れ替わる。すなわち、垂直位置１４３１よりも上側及び垂直位置１４３２よりも下側では、左上から右下へ向かう動きベクトルの頻度が高い。一方、垂直位置１４３１と垂直位置１４３２に挟まれた領域では、右下から左上へ向かう動きベクトルの頻度が高い。このように、垂直位置１４３１及び１４３２は、それぞれ、位置情報付加領域１４１１と１４１２の境界を表していると推定される。そこで、評価値算出部４２は、現ピクチャの各行または各列について、その行または列を境界とする第１の領域と第２の領域を設定する。評価値算出部４２は、第１の領域内に含まれる、一方の位置情報付加領域内の動きベクトルと同じ向きの動きベクトルを持つ画素の数と、第２の領域内に含まれる、他方の位置情報付加領域内の動きベクトルと同じ向きの動きベクトルを持つ画素の数とに応じて基準位置評価値を求める。
例えば、評価値算出部４２は、上側の位置情報付加領域の境界位置の候補をy1’、下側の位置情報付加領域の境界位置の候補をy2’(ただし、左上端を原点として、y1'<y2')とする。この場合において、二つの境界位置の候補の外側の領域に分布する左上から右下方向の動きベクトルの行ごとの頻度の平均値をA(y1',y2')、二つの境界位置の候補に挟まれた領域に分布する右下から左上方向の動きベクトルの行ごとの頻度の平均値をB(y1',y2')とする。この時、行(y1',y2')に対する基準位置評価値は[A(y1',y2')+ B(y1',y2')]となる。
同様に、評価値算出部４２は、左側の位置情報付加領域の境界位置の候補をx1’、右側の位置情報付加領域の境界位置の候補をx2’(ただし、左上端を原点として、x1'<x2')とする。この場合において、二つの境界位置の候補の外側の領域に分布する左上から右下方向の動きベクトルの列ごとの頻度の平均値をC(x1',x2')、二つの境界位置の候補に挟まれた領域に分布する右下から左上方向の動きベクトルの列ごとの頻度の平均値をD(x1',x2')とする。この時、列(x1',x2')に対する基準位置評価値は[C(x1',x2')+ D(x1',x2')]となる。
評価値算出部４２は、各行、各列の基準位置評価値を基準位置検出部４３へ通知する。
基準位置検出部４３は、基準位置評価値が最大となる行及び列を、それぞれ、位置情報付加領域の境界位置として求める。
この例では、位置情報付加領域１４１１の上側と下側の境界位置(y1,y2)は次式で求められる。
なお、（１０）式の右辺は、(y1',y2')の組のうち、[A(y1',y2')+ B(y1',y2')]の最大値に対応する組を出力する関数である。
この結果、図１４（Ｃ）に示されるように、垂直方向の位置情報付加領域の境界１４４１及び１４４２が求められる。
同様に、位置情報付加領域１４１１の左側と右側の境界位置(x1,x2)は次式で求められる。
なお、（１１）式の右辺は、(x1',x2')の組のうち、[C(x1',x2')+ D(x1',x2')]の最大値に対応する組を出力する関数である。
この結果、図１４（Ｄ）に示されるように、水平方向の位置情報付加領域の境界１４５１及び１４５２が求められる。
図１４（Ｅ）に示されるように、基準位置検出部４３は、水平方向の位置情報付加領域の境界１４４１、１４４２と、垂直方向の位置情報付加領域の境界の交点１４５１、１４５２を、それぞれ基準位置１４６１〜１４６４として検出する。
なお、透かし重畳動画像データが再撮影動画像データである場合、再撮影動画像データの各ピクチャには、元のピクチャが傾いて映っていることがある。このような場合には、位置情報付加領域の境界線も、本来の境界線の方向に対して傾く。そこで評価値算出部４２は、図１５に示されるように、再撮影動画像データに含まれるピクチャを複数のブロックに分割し、ブロックごとに、行または列の特定方向の動き方向ベクトルの頻度を算出してもよい。例えば、図１５では、ピクチャ１５００は水平方向に沿って６個のブロック１５０１〜１５０６に分割されている。そして評価値算出部４２は、基準位置評価値として、ブロックごとに、各行の右下から左上方向の動きベクトルの頻度及び左上から右下方向の動きベクトルの頻度を求める。同様に、評価値算出部４２は、列ごとの動きベクトルの頻度を算出する際には、ピクチャを垂直方向に沿って複数のブロックに分割し、そのブロックごとに各列の動きベクトルの頻度を算出すればよい。
この場合、基準位置検出部４３は、ピクチャを水平方向に沿って分割した複数のブロックのそれぞれについて算出された動きベクトルの行ごとの頻度の分布から、（１０）式に基づいて、ブロックごとに、位置情報付加領域の境界位置の垂直方向の座標を求める。また基準位置検出部４３は、例えば、各ブロックの境界位置の水平座標を、そのブロックの水平方向の中点の座標とする。そして基準位置検出部４３は、各ブロックの境界位置に対して最小二乗法を適用することにより、略水平方向の位置情報付加領域の境界線を求める。同様に、基準位置検出部４３は、ピクチャを垂直方向に沿って分割した複数のブロックのそれぞれについて算出された動きベクトルの列ごとの頻度の分布から、（１１）式に基づいて、ブロックごとに、位置情報付加領域の境界位置の水平方向の座標を求める。また基準位置検出部４３は、例えば、各ブロックの境界位置の垂直座標を、そのブロックの垂直方向の中点の座標とする。そして基準位置検出部４３は、各ブロックの境界位置に対して最小二乗法を適用することにより、略垂直方向の位置情報付加領域の境界線を求める。
そして基準位置検出部４３は、略水平方向の境界線と略垂直方向の境界線の交点を基準点とする。
あるいは、評価値算出部４２は、再撮影動画像データである透かし重畳動画像データに対しても、ピクチャ全体で行ごと及び列ごとの特定方向の動きベクトルの頻度の分布を求めてもよい。この場合、基準位置検出部４３は、（１０）式または（１１）式に基づいて、位置情報付加領域の境界の大まかな位置を求める。
そして基準位置検出部４３は、略水平方向の位置情報付加領域の境界線を正確に求めるために、例えば、ピクチャの水平方向の中点近傍の列において、大まかな境界位置近傍に境界候補点を設定する。そして基準位置検出部４３は、境界候補点の位置を垂直方向に移動させつつ、各境界候補点について、境界候補点の上側に隣接する画素の動きベクトルと、境界候補点の下側に隣接する画素の動きベクトルの内積を求める。境界候補点が位置情報付加領域の真の境界上に位置する場合、境界候補点の上側と下側とで動きベクトルの向きが異なるので、そのベクトルの内積値は最小となる。そこで基準位置検出部４３は、内積値が最小となる境界候補点を、位置情報付加領域の真の境界上の点として検出する。その後、基準位置検出部４３は、列を一つずつずらしながら、上記と同様に、上側に隣接する画素の動きベクトルと下側に隣接する画素の動きベクトルとの内積が最小となる境界候補点を位置情報付加領域の真の境界上の点として検出する。これにより、基準位置検出部４３は、その境界上の点の集合を略水平方向の位置情報付加領域の境界線として求める。
同様に、基準位置検出部４３は、ピクチャの垂直方向の中点近傍の行において、大まかな境界位置近傍に境界候補点を設定する。そして基準位置検出部４３は、その境界候補点の位置を水平方向にずらしながら、各境界候補点について、境界候補点の左側に隣接する画素の動きベクトルと、境界候補点の右側に隣接する画素の動きベクトルの内積を求める。そして基準位置検出部４３は、内積値が最小となる境界候補点を、位置情報付加領域の真の境界上の点として検出する。基準位置検出部４３は、行をずらしながら、左側に隣接する画素の動きベクトルと右側に隣接する画素の動きベクトルとの内積が最小となる境界候補点を位置情報付加領域の真の境界上の点として順次検出することで、略垂直方向の位置情報付加領域の境界線を求める。
そしてこの場合も、基準位置検出部４３は、略水平方向の境界線と略垂直方向の境界線の交点を基準点とする。
基準位置検出部４３は、各基準位置の座標を透かし情報抽出部４４へ通知する。
透かし情報抽出部４４は、基準位置に基づいて電子透かし情報が埋め込まれている透かし画素または透かし領域を特定し、透かし画素または透かし領域の画素値を解析することで、埋め込まれている電子透かし情報を抽出する。
透かし情報抽出部４４は、例えば、基準位置として検出された複数の画素からの距離の比が、元のピクチャにおける各基準位置から透かし画素または透かし領域までの距離の比と等しくなる現ピクチャ上の画素を、透かし画素または透かし領域の中心として検出する。例えば、透かし画素が二つの基準位置の中点に設定されている場合、透かし情報抽出部４４は、基準位置検出部４３により基準位置として検出された二つの画素の中点を透かし画素とする。
そして透かし情報抽出部４４は、現ピクチャの透かし画素が電子透かし情報に含まれるビット値に応じた値を持っている場合、その透かし画素の値に応じたビット値を検出する。
また、電子透かし情報に含まれる各ビットの値が、透かし重畳動画像データの各ピクチャに重畳された透かしパターンの面積の周期的な変動により表されている場合、透かし情報抽出部４４は、各ピクチャの透かし領域内の平均画素値を算出する。なお、一つのピクチャに複数の透かし領域が設定されている場合、透かし情報抽出部４４は、透かし領域ごとに平均画素値を算出する。
透かし情報抽出部４４は、透かし領域ごとに、透かし領域内の平均画素値を時系列順に並べた１次元ベクトルを作成する。そして透かし情報抽出部４４は、その１次元ベクトルを一つのビットの値に相当する区間単位で周波数変換することにより、その区間における平均画素値の時間変動に対するスペクトルを求める。なお、周波数変換として、例えば、高速フーリエ変換または離散コサイン変換が用いられる。また透かし情報抽出部４４は、区間の区切りを示す所定のパターンを、例えばパターンマッチングにより検出することで、その区間を特定できる。
透かし情報抽出部４４は、各透かし領域についての区間ごとのスペクトルから透かしパターンの面積の周期的な変化による透かし領域内の平均画素値の時間変動に相当する周波数成分のみを抽出する。そして埋め込まれたビットの値が透かし領域内の平均画素値の時間変動の位相により表されている場合、透かし情報抽出部４４は、抽出した周波数成分から位相情報を求める。そして透かし情報抽出部４４は、例えば、その位相に対応するビットの値を、位相とシンボルの値との関係を表す参照テーブルを参照することにより求める。
また、ビットの値が透かしパターンの面積の時間変動の周期により表されている場合、透かし情報抽出部４４は、ビットの取り得るそれぞれの値に相当する周波数成分のうち、最も強い周波数成分を求め、その最も強い周波数成分に対応する周期を求める。そして透かし情報抽出部４４は、周期とビットの値との関係を表す参照テーブルを参照して、検出された周期に対応するビットの値を埋め込まれたビットの値とする。これらの参照テーブルは、予め記憶部３２に記憶されており、処理部３３は、記憶部３２からその参照テーブルを読み出して使用する。
透かし情報抽出部４４は、所定の順序、例えば、時系列順に抽出したビットの値を並べることにより、電子透かし情報を再生する。また、透かし重畳動画像データの一つのピクチャに複数のビットが埋め込まれている場合には、透かし情報抽出部４４は、予め設定された、そのピクチャに埋め込まれたビットの順序に従って各ビットの値を並べることにより、電子透かし情報を再生する。
透かし情報抽出部４４は、電子透かし情報を記憶部３２に記憶する。あるいは、透かし情報抽出部４４は、電子透かし情報を、インターフェース部３１を介して他の機器へ出力してもよい。
図１６は、電子透かし検出装置２の処理部３３上で実行されるコンピュータプログラムにより制御される、電子透かし検出処理の動作フローチャートである。
処理部３３の動きベクトル算出部４１は、透かし重畳動画像データのピクチャを取得する度に、現ピクチャの各画素について、一つ前のピクチャとの間で動きベクトルを算出する（ステップＳ２０１）。そして動きベクトル算出部４１は、各画素の動きベクトルを評価値算出部４２へ通知する。
評価値算出部４２は、基準位置に対して所定の位置関係にある位置情報付加領域内の動きパターンの動きベクトルと、注目画素に対してその所定の位置関係にある領域内の画素の動きベクトルとが一致するほど高くなる基準位置評価値を求める（ステップＳ２０２）。評価値算出部４２は、基準位置評価値を基準位置検出部４３へ通知する。
基準位置検出部４３は、基準位置評価値に基づいて、現ピクチャ上の基準位置を検出する（ステップＳ２０３）。基準位置検出部４３は、検出された基準位置を透かし情報抽出部４４へ通知する。
透かし情報抽出部４４は、基準位置に基づいて、現ピクチャ上の透かし画素または透かし領域を特定する（ステップＳ２０４）。そして透かし情報抽出部４４は、特定された透かし画素または透かし領域の画素値を解析することにより電子透かし情報を抽出する（ステップＳ２０５）。そして処理部３３は、電子透かし検出処理を終了する。
以上に説明してきたように、この実施形態による電子透かし検出装置は、動きパターンの移動方向及び移動量を表す動きベクトルと一致する動きベクトルを持つ画素の分布に基づいて基準位置を検出する。そしてこの電子透かし検出装置は、その基準位置に基づいて電子透かし情報が埋め込まれた透かし画素または透かし領域を特定する。そのため、この電子透かし検出装置は、透かし重畳動画像データのピクチャに、元のピクチャの外縁が映っていなくても、透かし画素または透かし領域を特定できる。また電子透かし情報が埋め込まれた動画像データがビデオカメラなどで再撮影される際に手ブレが生じていても、時間的に連続する２枚のピクチャ間ではその手ブレによる像の移動量は小さい。そのため、手ブレによる動きベクトルへの影響は小さいので、この電子透かし検出装置は、動画像データの再撮影の際に手ブレが生じていても、基準位置を検出できる。
次に、第３の実施形態による電子透かし検出装置について説明する。この第３の実施形態による電子透かし検出装置は、透かし重畳動画像データに含まれる各ピクチャから動きパターンに対応するテクスチャの特徴量を抽出し、その特徴量に基づいてピクチャ上の基準位置を検出する。
この第３の実施形態による電子透かし検出装置は、第２の実施形態による電子透かし検出装置と比較して、処理部による基準位置の検出に関する処理のみが異なる。そこで以下では、基準位置の検出に関する点について説明する。
図１７は、第３の実施形態による、透かし重畳動画像データから基準位置を検出し、かつ電子透かし情報を検出するために実現される処理部の機能を示すブロック図である。
処理部３３は、テクスチャ特徴量抽出部５１と、評価値算出部５２と、基準位置検出部５３と、透かし情報抽出部５４とを有する。
テクスチャ特徴量抽出部５１は、透かし情報重畳動画像データのピクチャを取得する度に、最新のピクチャである現ピクチャから位置情報付加領域に埋め込まれた動きパターンの空間的な特徴を表すテクスチャ特徴量を抽出する。このテクスチャ特徴量抽出部５１は、特徴量抽出部の一例である。
例えば、図５（Ａ）または図５（Ｂ）に示されるように、動きパターンが１次元の縞状のパターンである場合、テクスチャ特徴量は、画素値が変化する方向に沿った、その縞のピッチに対応する周波数成分とすることができる。
以下では、図１８（Ａ）〜図１８（Ｃ）を参照しつつテクスチャ特徴量の抽出について説明する。図１８（Ａ）に示されるように、現ピクチャ１８００には、４点の基準位置１８０１〜１８０４の周囲に設定された各位置情報付加領域に、１次元の縞状の動きパターンが埋め込まれている。例えば、基準位置１８０１の左上及び右下の位置情報付加領域１８１１、１８１４には、左上から右下へ向かう方向に沿って画素値が変化する動きパターンが埋め込まれている。一方、基準位置１８０１の右上及び左下の位置情報付加領域１８１２、１８１３には、右上から左下へ向かう方向に沿って画素値が変化する動きパターンが埋め込まれている。
そこで、テクスチャ特徴量抽出部５１は、現ピクチャの画素ごとに、その画素を中心とする左上から右下へ向かう一列の画素を含む窓を設定する。そしてテクスチャ特徴量抽出部５１は、その窓内に含まれる画素列に対して１次元のフーリエ変換を行うことで、画素ごとに、左上から右下へ向かう方向の周波数成分を算出する。なお、窓の長さは、例えば、位置情報付加領域の対角方向の長さに設定される。
同様に、テクスチャ特徴量抽出部５１は、現ピクチャの画素ごとに、その画素を中心とする右上から左下へ向かう一列の画素を含む窓を設定する。そしてテクスチャ特徴量抽出部５１は、その窓内に含まれる画素列に対して１次元のフーリエ変換を行うことで、画素ごとに、右上から左下へ向かう方向の周波数成分を算出する。
なお、テクスチャ特徴量抽出部５１は、注目画素を中心とする２次元の窓を設定し、その窓内含まれる画素の配列に対して２次元フーリエ変換を行って、左上から右下へ向かう方向の周波数成分及び右上から左下へ向かう方向の周波数成分を算出してもよい。この場合、２次元の窓のサイズは、例えば、位置情報付加領域のサイズと等しくなるように設定される。
なお、動きパターンの最大画素値と最小画素値の差は、動きパターンが知覚されないように小さい値（例えば、3以下）に設定されている。そのため、現ピクチャ上の注目画素について、近傍画素との画素値の差が動きパターンの最大画素値と最小画素値の差よりも大きい場合には、注目画素及びその周囲には、現ピクチャ上の像のエッジが映っている可能性がある。そこでテクスチャ特徴量抽出部５１は、近傍画素間の差分値が動きパターンの最大画素値と最小画素値の差よりも大きい場合には、注目画素の値をその近傍画素の画素値で置換するか、あるいは注目画素及びその近傍画素の平均画素値で置換する前処理を実行してもよい。この前処理により、像のエッジが除去される。その後にテクスチャ特徴量抽出部５１は、各画素について設定された窓内の画素列に対してフーリエ変換してもよい。
テクスチャ特徴量抽出部５１は、現ピクチャの各画素について算出された、各動きパターンの画素値が変化する方向の周波数成分をテクスチャ特徴量として評価値算出部５２へ通知する。
なお、抽出されるテクスチャ特徴量は、上記の例に限定されない。テクスチャ特徴量は、位置情報付加領域に埋め込まれた動きパターンの空間的な特徴を表す特徴量であればよい。例えば、テクスチャ特徴量抽出部５１は、動きパターンを表すテンプレートと注目画素を中心とする、そのテンプレートと同じサイズの領域との間での正規化相互相関値をテクスチャ特徴量として求めてもよい。
評価値算出部５２は、現ピクチャの各画素について、その画素及び周囲の画素のテクスチャ特徴量に基づいて基準位置評価値を算出する。
図１８（Ｂ）は、図１８（Ａ）に示された動きパターンが埋め込まれたピクチャに対して左上から右下へ向かう方向の動きパターンのピッチに対応する最も高い周波数成分の分布の一例を表す図である。また図１８（Ｃ）は、図１８（Ａ）に示された動きパターンが埋め込まれたピクチャに対して右上から左下へ向かう方向の動きパターンのピッチに対応する最も高い周波数成分の分布の一例を表す図である。図１８（Ｂ）及び図１８（Ｃ）では、白い画素ほど動きパターンのピッチに応じた周波数成分が大きいことを表している。
図１８（Ｂ）では、基準位置１８０１〜１８０４の左上及び右下の領域において、左上から右下へ向かう方向の周波数成分が大きくなることが示されている。そして、基準位置１８０１〜１８０４のそれぞれの左上または右下に位置する位置情報付加領域の中心に相当する画素において、その周波数成分は最大となる。また図１８（Ｃ）では、基準位置１８０１〜１８０４の右上及び左下の領域において、右上から左下へ向かう方向の周波数成分が大きくなることが示されている。そして、基準位置１８０１〜１８０４のそれぞれの右上または左下に位置する位置情報付加領域の中心に相当する画素において、その周波数成分は最大となる。
そこで、評価値算出部５２は、現ピクチャの注目画素に対する基準位置評価値を、その注目画素が基準位置であるとした場合に、その周囲の位置情報付加領域の中心に相当する画素の周波数成分に基づいて決定する。
図１９は、注目画素とその注目画素のテクスチャ特徴量の算出に用いられる画素との位置関係の一例を示す図である。上記のように、この例では、基準位置の左上及び右下の位置情報付加領域では、左上から右下へ向かう方向に画素値が変化する動きパターンが埋め込まれている。そこで、評価値算出部５２は、注目画素１９０１に対して、左上方向または右下方向へ向かって位置情報付加領域の対角方向長さの1/2だけ離れた点１９０２、１９０３を参照点に設定する。そして評価値算出部５２は、参照点１９０２、１９０３における、左上から右下へ向かう方向の動きパターンのピッチに対応する周波数成分の値fA,fBを参照する。
また、基準位置の右上及び左下の位置情報付加領域では、右上から左下へ向かう方向に画素値が変化する動きパターンが埋め込まれている。そこで、評価値算出部５２は、注目画素１９０１に対して、右上方向または左下方向へ向かって位置情報付加領域の対角方向長さの1/2だけ離れた点１９０４、１９０５を参照点に設定する。そして評価値算出部５２は、参照点１９０４、１９０５における、右上から左下へ向かう方向の動きパターンのピッチに対応する周波数成分の値fC,fDを参照する。
評価値算出部５２は、注目画素１９０１の基準位置評価値Tを次式で算出する。
T=min(fA,fB,fC,fD)
なお、関数min(fA,fB,fC,fD)は、(fA,fB,fC,fD)のうちの最小値を出力する関数である。
この基準位置評価値Tが大きいほど、注目画素が基準位置である確からしさも高くなる。
評価値算出部５２は、現ピクチャの各画素について求めた基準位置評価値Tを基準位置検出部５３へ渡す。
基準位置検出部５３は、現ピクチャの各画素の基準位置評価値Tに基づいて基準位置を検出する。
上述したように、基準位置評価値Tが高いほど、その基準位置評価値Tに対応する画素が基準位置である確からしさも高くなる。
そこで基準位置検出部５３は、第２の実施形態による電子透かし検出装置の基準位置検出部４３と同様に、基準位置評価値Tが最も高くなる画素から順に、基準位置として検出する。
基準位置検出部５３は、検出した基準位置を透かし情報抽出部５４へ通知する。透かし情報抽出部５４は、第２の実施形態による電子透かし検出装置の透かし情報抽出部４４と同様に、基準位置に基づいて透かし画素または透かし領域を特定する。そして透かし情報抽出部５４は、透かし画素または透かし領域の画素値を解析することにより、埋め込まれた電子透かし情報を抽出する。
この第３の実施形態による電子透かし検出装置も、図１６に示された電子透かし検出処理の動作フローチャートと同様のフローに従って、現ピクチャ上の基準位置を検出し、電子透かし情報を抽出できる。ただし、ステップＳ２０１の手順では、テクスチャ特徴量抽出部５１が、現ピクチャの画素ごとにテクスチャ特徴量を求め、ステップＳ２０２の手順では、評価値算出部５２が、テクスチャ特徴量に基づいて基準位置評価値を求める。
この実施形態によれば、電子透かし検出装置は、１枚のピクチャから基準位置を検出できる。そのため、この電子透かし検出装置は、動画像データの再撮影の際に手ブレが生じていても、その手ブレによらず基準位置を正確に検出できる。
次に、第４の実施形態による電子透かし検出装置について説明する。この第４の実施形態による電子透かし検出装置は、透かし重畳動画像データに含まれる各ピクチャから、動きパターンの動きベクトル及び動きパターンのテクスチャに対応するテクスチャ特徴量を検出することで、ピクチャ上の基準位置を検出する。
この第４の実施形態による電子透かし検出装置は、第２の実施形態による電子透かし検出装置と比較して、処理部による基準位置の検出に関する処理のみが異なる。そこで以下では、基準位置の検出に関する点について説明する。
図２０は、第４の実施形態による、透かし重畳動画像データから基準位置の検出及び電子透かし情報を検出するために実現される処理部の機能を示すブロック図である。
処理部３３は、動きベクトル算出部６１と、テクスチャ特徴量抽出部６２と、評価値算出部６３と、基準位置検出部６４と、透かし情報抽出部６５とを有する。
動きベクトル算出部６１は、第２の実施形態による電子透かし検出装置の動きベクトル算出部４１と同様に、透かし重畳動画像データのピクチャを取得する度に、現ピクチャの各画素における動きベクトルを算出する。また、テクスチャ特徴量抽出部６２は、第３の実施形態による電子透かし検出装置のテクスチャ特徴量抽出部５１と同様に、現ピクチャの各画素についてテクスチャ特徴量を求める。
評価値算出部６３は、第２の実施形態による電子透かし検出装置の評価値算出部４２と同様に、動きベクトルに基づいて、現ピクチャの各画素の第１の基準位置評価値を算出する。さらに評価値算出部６３は、第３の実施形態による電子透かし検出装置の評価値算出部５２と同様に、テクスチャ特徴量に基づいて、現ピクチャの各画素の第２の基準位置評価値を算出する。
そして評価値算出部６３は、例えば、画素ごとに、第１の基準位置評価値及び第２の基準位置評価値を、それぞれ所定の範囲（例えば、0〜1）内の値となるように正規化する。そして基準位置検出部６３は、その正規化された第１及び第２の基準位置評価値の平均値または合計を総合評価値として算出する。
基準位置検出部６４は、評価値算出部６３により算出された現ピクチャの画素ごとの総合評価値に基づいて基準位置を決定する。
基準位置検出部６４は、第２の実施形態による電子透かし検出装置の基準位置検出部４３と同様に、総合評価値が最も高い画素から順に、基準位置として検出する。
透かし情報抽出部６５は、検出された基準位置に基づいて、現ピクチャ上で電子透かし情報が埋め込まれた透かし画素または透かし領域を特定し、その透かし画素または透かし領域の画素値を解析することにより、埋め込まれた電子透かし情報を抽出する。
この第４の実施形態による電子透かし検出装置も、図１６に示された電子透かし検出処理の動作フローチャートと同様のフローに従って、現ピクチャ上の基準位置を検出し、電子透かし情報を抽出できる。ただし、ステップＳ２０１の手順では、動きベクトル算出部６１が現ピクチャの画素ごとに動きベクトルを求めるとともに、テクスチャ特徴量抽出部６２が現ピクチャの画素ごとにテクスチャ特徴量を求める。また、ステップＳ２０２の手順では、評価値算出部６３が、動きベクトルから求められた第１の基準位置評価値とテクスチャ特徴量から求められた第２の基準位置評価値に基づいて総合評価値を求める。そしてステップＳ２０３の手順では、基準位置検出部６４は、総合評価値が最も高い画素から順に、基準位置として検出する。
この実施形態による電子透かし検出装置も、時間的に連続する２枚のピクチャに基づいて基準位置を検出できるので、動画像データの再撮影の際に手ブレが生じていても、その手ブレによらず基準位置を正確に検出できる。またこの電子透かし検出装置は、埋め込まれた動きパターンの時間方向の変動に関する特徴量である動きベクトルと、動きパターンの空間的な特徴量であるテクスチャ特徴量の両方を基準位置の検出に用いるので、基準位置の検出精度を向上できる。
上記の各実施形態による電子透かし埋め込み装置は、例えば、セットトップボックス、サーバあるいはパーソナルコンピュータに組み込まれる。そして電子透かし埋め込み装置が組み込まれた装置は、例えば、通信ネットワークあるいはアンテナを介して受信したコンテンツである動画像データに対して、動画像データを再生する際に上記の電子透かし埋め込み処理を実行する。その装置は、動画像データが所定の圧縮方式に従って圧縮されている場合、その動画像データに含まれる各画像をその所定の圧縮方式に従って復号する。そしてその装置は、その動画像データに含まれる各画像を時系列順に、その装置が有するバッファメモリに保存する。そしてその装置は、バッファメモリから時系列順に画像を読み出して、電子透かし埋め込み処理を実行し、電子透かし情報が埋め込まれた画像をディスプレイに表示させる。
さらに、本明細書に開示された位置情報付加装置は、電子透かし埋め込み装置以外の、画像上の任意の位置を特定するための情報を付加することが求められる装置にも適用可能である。この場合、位置情報付加装置において、上記の実施形態における、透かし情報埋め込み部は省略されてもよい。同様に、本明細書に開示された位置検出装置は、電子透かし検出装置以外の、画像上の任意の位置を検出する装置にも適用可能である。この場合、位置検出装置において、上記の実施形態における、透かし情報抽出部は省略されてもよい。
さらに、上記の実施形態による電子透かし埋め込み装置の処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、磁気記録媒体または光記録媒体など、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。同様に、上記の各実施形態による電子透かし検出装置の処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
１ 電子透かし埋め込み装置
１１ インターフェース部
１２ 記憶部
１３ 処理部
２１ 基準位置設定部
２２ 領域設定部
２３ 動き設定部
２４ 位置情報埋め込み部
２５ 透かし情報埋め込み部
２ 電子透かし検出装置
３１ インターフェース部
３２ 記憶部
３３ 処理部
４１、６１ 動きベクトル検出部
５１、６２ テクスチャ特徴量抽出部
４２、５２、６３ 評価値算出部
４３、５３、６４ 基準位置検出部
４４、５４、６５ 透かし情報抽出部

Claims (8)

  1. 電子データ化された動画像データに含まれる複数のピクチャのそれぞれに対して複数の基準位置を設定する基準位置設定部と、
    前記複数のピクチャのそれぞれに対して、前記複数の基準位置の少なくとも何れかに基づいて定められる第１の位置に第１の位置情報付加領域と、前記第１の位置と異なる第２の位置に第２の位置情報付加領域とを設定する領域設定部と、
    前記第１の位置情報付加領域に、第１の方向に沿って第１のピッチを持ち、かつ、前記第１の方向に沿って第１の移動速度で前記ピクチャ上を移動する第１の動きパターンを埋め込み、かつ、前記第２の位置情報付加領域に、第２の方向に沿って第２のピッチを持ち、かつ、前記第２の方向に沿って第２の移動速度で前記ピクチャ上を移動する第２の動きパターンを埋め込む位置情報埋め込み部と、
    を有する位置情報付加装置。
  2. 前記第２の動きパターンは前記第１の動きパターンと空間的に異なるパターンである、請求項１に記載の位置情報付加装置。
  3. 前記第１の方向は前記第２の方向と異なる、前記請求項１または２に記載の位置情報付加装置。
  4. 電子データ化された動画像データに含まれる複数のピクチャのそれぞれに対して複数の基準位置を設定し、
    前記複数のピクチャのそれぞれに対して、前記複数の基準位置の少なくとも何れかに基づいて定められる第１の位置に第１の位置情報付加領域と、前記第１の位置と異なる第２の位置に第２の位置情報付加領域とを設定し、
    前記第１の位置情報付加領域に、第１の方向に沿って第１のピッチを持ち、かつ、前記第１の方向に沿って第１の移動速度で前記ピクチャ上を移動する第１の動きパターンを埋め込み、
    前記第２の位置情報付加領域に、第２の方向に沿って第２のピッチを持ち、かつ、前記第２の方向に沿って第２の移動速度で前記ピクチャ上を移動する第２の動きパターンを埋め込む、
    ことを含む位置情報付加方法。
  5. 電子データ化された動画像データに含まれる複数のピクチャのそれぞれに対して複数の基準位置を設定し、
    前記複数のピクチャのそれぞれに対して、前記複数の基準位置の少なくとも何れかに基づいて定められる第１の位置に第１の位置情報付加領域と、前記第１の位置と異なる第２の位置に第２の位置情報付加領域とを設定し、
    前記第１の位置情報付加領域に、第１の方向に沿って第１のピッチを持ち、かつ、前記第１の方向に沿って第１の移動速度で前記ピクチャ上を移動する第１の動きパターンを埋め込み、
    前記第２の位置情報付加領域に、第２の方向に沿って第２のピッチを持ち、かつ、前記第２の方向に沿って第２の移動速度で前記ピクチャ上を移動する第２の動きパターンを埋め込む、
    ことをコンピュータに実行させるコンピュータプログラム。
  6. 電子データ化された動画像データに含まれ、基準位置に対して第１の位置関係にある第１の位置情報付加領域に第１の方向に沿って第１のピッチを持ち、かつ、前記第１の方向に沿って第１の移動速度で移動する第１の動きパターンが埋め込まれ、かつ前記基準位置に対して第２の位置関係にある第２の位置情報付加領域に第２の方向に沿って第２のピッチを持ち、かつ、前記第２の方向に沿って第２の移動速度で移動する第２の動きパターンが埋め込まれているピクチャ上の前記基準位置を検出する位置検出装置であって、
    前記ピクチャの各画素に対して、当該ピクチャの一つ前のピクチャ上で画素値の差が最小となる画素との位置の差に基づいて当該画素を含む領域に映っているパターンの動きベクトルを特徴量として求める特徴量抽出部と、
    前記ピクチャ上の所定の領域について、当該所定の領域に対して前記第１の位置関係にある領域内の画素の前記特徴量と、当該所定の領域に対して前記第２の位置関係にある領域内の画素の前記特徴量とに基づいて、当該所定の領域についての前記基準位置の確からしさの度合いを表す評価値を求める評価値算出部と、
    前記評価値が最も高くなる前記所定の領域に基づいて前記基準位置を検出する基準位置検出部と、
    を有し、
    前記評価値算出部は、前記第１の動きパターンの動きベクトルである第１の基準特徴量と前記ピクチャ上の画素である前記所定の領域に対して前記第１の位置関係にある領域内の画素の前記特徴量との一致度合いが高く、かつ、前記第２の動きパターンの動きベクトルである第２の基準特徴量と前記所定の領域に対して前記第２の位置関係にある領域内の画素の前記特徴量との一致度合いが高いほど、前記評価値を高くし、
    前記基準位置検出部は、前記評価値が最大となる前記所定の領域を前記基準位置として検出する、位置検出装置。
  7. 電子データ化された動画像データに含まれ、基準位置に対して第１の位置関係にある第１の位置情報付加領域に第１の方向に沿って第１のピッチを持ち、かつ、前記第１の方向に沿って第１の移動速度で移動する第１の動きパターンが埋め込まれ、かつ前記基準位置に対して第２の位置関係にある第２の位置情報付加領域に第２の方向に沿って第２のピッチを持ち、かつ、前記第２の方向に沿って第２の移動速度で移動する第２の動きパターンが埋め込まれているピクチャ上の前記基準位置を検出する位置検出装置であって、
    前記ピクチャの各画素に対して、当該画素を含む領域における前記第１の方向の周波数成分及び前記第２の方向の周波数成分とを特徴量として求める特徴量抽出部と、
    前記ピクチャ上の所定の領域について、当該所定の領域に対して前記第１の位置関係にある領域内の画素の前記特徴量と、当該所定の領域に対して前記第２の位置関係にある領域内の画素の前記特徴量とに基づいて、当該所定の領域についての前記基準位置の確からしさの度合いを表す評価値を求める評価値算出部と、
    前記評価値が最も高くなる前記所定の領域に基づいて前記基準位置を検出する基準位置検出部と、
    を有し、
    前記評価値算出部は、前記ピクチャ上の画素である前記所定の領域に対して前記第１の位置関係にある領域内の画素の前記特徴量のうち、前記第１の動きパターンの前記第１の方向の周波数成分に対応する周波数成分が高く、かつ、前記所定の領域に対して前記第２の位置関係にある領域内の画素の前記特徴量のうち、前記第２の動きパターンの前記第２の方向の周波数成分に対応する周波数成分が高いほど、前記評価値を高くし、
    前記基準位置検出部は、前記評価値が最大となる前記所定の領域を前記基準位置として検出する、位置検出装置。
  8. 電子データ化された動画像データに含まれ、基準位置に対して第１の位置関係にある第１の位置情報付加領域に第１の方向に沿って第１のピッチを持ち、かつ、前記第１の方向に沿って第１の移動速度で移動する第１の動きパターンが埋め込まれ、かつ前記基準位置に対して第２の位置関係にある第２の位置情報付加領域に第２の方向に沿って第２のピッチを持ち、かつ、前記第２の方向に沿って第２の移動速度で移動する第２の動きパターンが埋め込まれているピクチャ上の前記基準位置を検出する位置検出装置であって、
    前記ピクチャの各画素に対して、当該ピクチャの一つ前のピクチャ上で画素値の差が最小となる画素との位置の差に基づいて当該画素を含む領域に映っているパターンの動きベクトルを特徴量として求める特徴量抽出部と、
    前記ピクチャ上の所定の領域について、当該所定の領域に対して前記第１の位置関係にある領域内の画素の前記特徴量と、当該所定の領域に対して前記第２の位置関係にある領域内の画素の前記特徴量とに基づいて、当該所定の領域についての前記基準位置の確からしさの度合いを表す評価値を求める評価値算出部と、
    前記評価値が最も高くなる前記所定の領域に基づいて前記基準位置を検出する基準位置検出部と、
    を有し、
    前記基準位置は、前記第１の位置情報付加領域と前記第２の位置情報付加領域の境界上にあり、
    前記評価値算出部は、前記所定の領域である前記ピクチャの行または列について、当該行または列を境界とする第１の領域と第２の領域を設定し、前記第１の領域内に含まれる、前記第１の動きパターンの動きベクトルである第１の基準特徴量と一致する前記特徴量を持つ画素の行または列ごとの平均数と、前記第２の領域内に含まれる、前記第２の動きパターンの動きベクトルである第２の基準特徴量と一致する前記特徴量を持つ画素の行または列ごとの平均数との合計を前記評価値として求め、
    前記基準位置検出部は、前記評価値が最大となる行及び列の交点を前記基準位置として検出する、位置検出装置。
JP2013505684A 2011-03-22 2011-03-22 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置 Active JP5729464B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/056792 WO2012127611A1 (ja) 2011-03-22 2011-03-22 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置

Publications (2)

Publication Number Publication Date
JPWO2012127611A1 JPWO2012127611A1 (ja) 2014-07-24
JP5729464B2 true JP5729464B2 (ja) 2015-06-03

Family

ID=46878806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013505684A Active JP5729464B2 (ja) 2011-03-22 2011-03-22 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置

Country Status (3)

Country Link
US (2) US9582842B2 (ja)
JP (1) JP5729464B2 (ja)
WO (1) WO2012127611A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026039A1 (ja) * 2010-08-27 2012-03-01 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
JP5751071B2 (ja) * 2011-07-28 2015-07-22 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法、及びプログラム
JP6152787B2 (ja) * 2013-11-29 2017-06-28 富士通株式会社 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法
CN103731759B (zh) * 2013-12-09 2017-03-22 乐视网信息技术（北京）股份有限公司 一种水印添加方法及装置
EP3115876B1 (en) * 2014-03-05 2019-01-02 Shimadzu Corporation Information display processing device and control program for information display processing device
JP6432182B2 (ja) * 2014-07-02 2018-12-05 富士通株式会社 サービス提供装置、方法、及びプログラム
WO2016009490A1 (ja) * 2014-07-14 2016-01-21 富士通株式会社 電子透かし情報検出装置および電子透かし情報検出方法
US9952821B2 (en) * 2015-09-01 2018-04-24 Electronics And Telecommunications Research Institute Screen position sensing method in multi display system, content configuring method, watermark image generating method for sensing screen position server, and display terminal
US9961231B2 (en) 2015-10-06 2018-05-01 Canon Kabushiki Kaisha Image processing method that attempts decoding of additional information using a plurality of decoding methods, and apparatus therefor
CN106991423B (zh) * 2016-01-21 2019-06-07 腾讯科技（深圳）有限公司 识别规格图片中是否包含水印的方法及装置
JP6784122B2 (ja) * 2016-09-29 2020-11-11 富士通株式会社 電子透かし埋込プログラム、電子透かし埋込装置、及び電子透かし埋込方法
JP6729708B2 (ja) * 2016-10-12 2020-07-22 富士通株式会社 信号調整プログラム、信号調整装置、及び信号調整方法
US9959586B1 (en) * 2016-12-13 2018-05-01 GoAnimate, Inc. System, method, and computer program for encoding and decoding a unique signature in a video file as a set of watermarks
US11917240B2 (en) * 2018-08-14 2024-02-27 Inscape Data, Inc. Dynamic content serving using automated content recognition (ACR) and digital media watermarks
KR102648198B1 (ko) 2019-01-14 2024-03-19 삼성디스플레이 주식회사 잔상 보상부 및 이를 포함하는 표시 장치
CN111340677B (zh) * 2020-02-27 2023-10-27 北京百度网讯科技有限公司 视频水印检测方法、装置、电子设备、计算机可读介质
US11381399B2 (en) * 2020-04-01 2022-07-05 Ford Global Technologies, Llc Enhanced vehicle operation
CN115244942A (zh) * 2020-11-30 2022-10-25 谷歌有限责任公司 将安全水印集成到内容中
CN113177876A (zh) * 2021-04-09 2021-07-27 作业帮教育科技（北京）有限公司 一种图片的处理方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10513324A (ja) * 1995-02-06 1998-12-15 セントラル リサーチ ラボラリーズ リミティド 符号化情報用方法および装置
JP2005510921A (ja) * 2001-11-28 2005-04-21 ソニー エレクトロニクス インク 任意の歪みに対する耐性を有するウォータマークの検出方法及び検出装置
WO2005074249A1 (ja) * 2004-02-02 2005-08-11 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み装置、電子透かし検出装置、及びそれらの方法、並びにプログラム
WO2007015452A1 (ja) * 2005-08-04 2007-02-08 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム
WO2007102403A1 (ja) * 2006-03-07 2007-09-13 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み方法及び装置及びプログラム及び電子透かし検出方法及び装置及びプログラム
JP2009100296A (ja) * 2007-10-17 2009-05-07 Mitsubishi Electric Corp 電子透かし埋め込み装置、電子透かし検出装置、それらの方法およびそれらのプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771795B1 (en) * 2000-09-07 2004-08-03 Sarnoff Corporation Spatio-temporal channel for image watermarks or data
JP3861623B2 (ja) * 2001-06-05 2006-12-20 ソニー株式会社 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム
US7433489B2 (en) * 2001-11-28 2008-10-07 Sony Electronics Inc. Method to ensure temporal synchronization and reduce complexity in the detection of temporal watermarks
JP4020093B2 (ja) 2004-03-24 2007-12-12 日本電信電話株式会社 縁検出方法及び装置及びプログラム及び記憶媒体及び枠検出方法及び装置及びプログラム及び記憶媒体
US8320606B1 (en) * 2008-08-29 2012-11-27 Adobe Systems Incorporated Video watermarking with fast detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10513324A (ja) * 1995-02-06 1998-12-15 セントラル リサーチ ラボラリーズ リミティド 符号化情報用方法および装置
JP2005510921A (ja) * 2001-11-28 2005-04-21 ソニー エレクトロニクス インク 任意の歪みに対する耐性を有するウォータマークの検出方法及び検出装置
WO2005074249A1 (ja) * 2004-02-02 2005-08-11 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み装置、電子透かし検出装置、及びそれらの方法、並びにプログラム
WO2007015452A1 (ja) * 2005-08-04 2007-02-08 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム
WO2007102403A1 (ja) * 2006-03-07 2007-09-13 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み方法及び装置及びプログラム及び電子透かし検出方法及び装置及びプログラム
JP2009100296A (ja) * 2007-10-17 2009-05-07 Mitsubishi Electric Corp 電子透かし埋め込み装置、電子透かし検出装置、それらの方法およびそれらのプログラム

Also Published As

Publication number Publication date
US20140016817A1 (en) 2014-01-16
US20160117791A1 (en) 2016-04-28
US9607348B2 (en) 2017-03-28
US9582842B2 (en) 2017-02-28
WO2012127611A1 (ja) 2012-09-27
JPWO2012127611A1 (ja) 2014-07-24

Similar Documents

Publication Publication Date Title
JP5729464B2 (ja) 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置
JP5472471B2 (ja) 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
US10325338B2 (en) Information embedding device, information detecting device, information embedding method, and information detecting method
EP4208843A1 (en) Detecting a sub-image region of interest in an image using pilot signals
KR20070112130A (ko) 그래픽 객체를 검출하기 위한 방법 및 전자 디바이스
US20160142700A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
CN111179159B (zh) 消除视频中目标影像的方法、装置、电子设备及存储介质
JP2014165617A (ja) 電子透かし埋め込み方法および電子透かし検出方法
Zhou et al. Projection invariant feature and visual saliency-based stereoscopic omnidirectional image quality assessment
US8208030B2 (en) Method and unit for motion detection based on a difference histogram
KR101215666B1 (ko) 오브젝트 색상 보정 방법, 시스템 및 컴퓨터 프로그램 제품
US11776137B2 (en) Systems and methods for detecting motion during 3D data reconstruction
KR101106910B1 (ko) 큰 스틸 사진 처리 방법 및 디바이스와 컴퓨터 판독가능 저장 매체
JP2011250013A (ja) 画質評価方法、画質評価装置、及びプログラム
KR101982258B1 (ko) 오브젝트 검출 방법 및 오브젝트 검출 장치
US20130128992A1 (en) Methods and Apparatus for Preparation of Casual Stereoscopic Video
Lu et al. Flash: Video-embeddable ar anchors for live events
JP2012114665A (ja) 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム
US9413477B2 (en) Screen detector
US20140093121A1 (en) Image processing apparatus and method
Wan et al. Improved spread transform dither modulation based on robust perceptual just noticeable distortion model
Chen et al. Real-time and screen-cam robust screen watermarking
KR101904108B1 (ko) 평면 모델링을 통한 깊이 영상의 가변적 블록 부호화 방법 및 장치
US8284984B2 (en) Method and system for image registration
Chung et al. A region-based selective optical flow back-projection for genuine motion vector estimation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150323

R150 Certificate of patent or registration of utility model

Ref document number: 5729464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150