WO2007015452A1

WO2007015452A1 - 電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム

Info

Publication number: WO2007015452A1
Application number: PCT/JP2006/315126
Authority: WO
Inventors: Takao Nakamura; Susumu Yamamoto; Ryo Kitahara; Takashi Miyatake; Atushi Katayama; Hisato Miyachi
Original assignee: Nippon Telegraph And Telephone Corporation
Priority date: 2005-08-04
Filing date: 2006-07-31
Publication date: 2007-02-08
Also published as: CN101866475A; KR20070073839A; KR20080087047A; TW200733001A; JP5425115B2; TWI480842B; JP2011078141A; US20110228972A1; JPWO2007015452A1; JP5550760B2; EP1928180A1; CN101866475B; KR100876006B1; US7970164B2; CN101609546A; US20080089552A1; KR100901142B1; TW201203188A; CN101609546B; CN101053256B

Abstract

　本発明の電子透かし埋め込み方法は、動画像データの各フレーム画像及びフレーム表示時刻を順次取得するステップと、透かし情報とフレーム表示時刻と透かしパターン切り替え情報を用いて、透かしパターンを生成するステップと、透かしパターンを前記フレーム画像に重畳し、上記の処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成するステップを有する。また、電子透かし検出方法は、フレーム画像を順次取得するステップと、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成するステップと、差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力し、電子透かし検出処理を続行する場合は、新たなフレーム画像を取得し直し、上記の処理を繰り返すステップとを有する。

Description

明細書

電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム

技術分野

[0001] 本発明は、電子透かし埋め込み技術及び電子透かし検出技術に関し、特に、映像コンテンツに、副情報を人に知覚されないように埋め込み電子透力し埋め込み技術、及びこの副情報を読み取る技術である電子透かし検出技術に関する。

背景技術

[0002] 今日、電子透かし技術は、コンテンツの著作権保護 ·管理システムや、コンテンツ関連サービス提供システムなどに用いられて、る。

[0003] 画像、映像、もしくは音声といったコンテンツの流通の際、コンテンツ識別'管理や著作権保護'管理、関連情報提供などの目的のため、コンテンツ内に知覚できないように別の情報を埋め込む電子透力技術を用いる方法がある。

[0004] 例えば、印刷物など静止画をカメラ入力し、入力画像力も電子透力を検出して関連情報を得るような利用の方法がある (例えば、非特許文献 1参照)。

[0005] さらに、カメラ入力及び電子透かし検出をリアルタイムで連続的に行い、検出性能を向上させるという方法もある（例えば、非特許文献 2参照)。

非特許文献 1：中村、片山、宫地、山下、山室：「カメラ付き携帯電話機を用いたサービス仲介のための電子透かし検出方式」、情報科学技術フォーラム FIT2003, N-020, 2003年 9月

非特許文献 2 :中村、宫武、林、片山、山室：「カメラ入力画像からのリアルタイム電子透かし検出方式」、情報科学技術フォーラム FIT2004, J-036, 2004年 9月

発明の開示

発明が解決しょうとする課題

[0006] しカゝしながら、例えばテレビ画面などの動画像をカメラ付携帯電話機などで撮影し、撮影した動画力もリアルタイムに電子透かし検出処理を行うような方法がな力つた。このような方法があれば、 TVで放送中の画面から関連する情報を取得することができ、動画コンテンツとリアルタイムに連携可能な様々な情報サービスを実現することができる。しかし、カメラ撮影に伴う DZA変換や A/D変換などで生じるノイズに対して、十分な耐性を実現することが困難であるという問題がある。また、カメラ撮影時にキヤプチヤしたフレーム画像のどの部分が電子透力しの検出対象であるかを特定することが困難であると、う問題もある。

[0007] 本発明は、上記の点に鑑みなされたもので、従来存在しなかった、テレビなどの動画像をカメラで撮影し、撮影した動画カゝらリアルタイムに電子透かし検出を行うことを可能とする後術を提供することを目的とする。さらに、キヤプチヤしたフレーム画像中のどの部分力も電子透力しの検出を行えばよいかを特定して、様々な撮影角度や背景画像の条件下でも確実に電子透かし検出を行うことが可能な技術を提供することも目的とする。

課題を解決するための手段

[0008] 上記の課題は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透力し埋め込み方法であって、

フレーム画像群からなる動画像データ、透かレ隋報、透かしパターンの時間変化を指定する透かしパターン切り替え情報を入力するステップと、

フレーム画像取得手段にぉ、て、動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得ステップと、

透かしパターン生成手段において、前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成ステップと、

透かしパターン重畳手段にお!、て、前記透かしパターンを前記フレーム画像に重畳する透かしパターン重畳ステップと、

前記フレーム画像取得手段での処理、前記透かしパターン生成手段での処理、及び前記透かしパターン重畳手段での処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成ステップと、を有することを特徴とする電子透力埋め込み方法により解決できる。

[0009] 前記透かしパターン生成ステップにおいて、前記透かしパターンの切り替えのタイミングが、一定の時間周期で繰り返されるようにしてもょ、。

[0010] また、前記透かしパターン生成ステップは、

前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用

V、て、該透力し情報に対応する透かしパターンを生成するステップと、

さらに、前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かしパターンの時間変化状態を検出時に推定するための位相判定用透かしパターンを生成し、その位相判定用透かしパターンを前記透力し情報に対応する透かしパターンに多重化して得られるパターンを透かしパターンとするステップとを有する、こととしてもよ、。

[0011] また、本発明は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透力し埋め込み方法であって、

フレーム画像群からなる動画像データ、透かレ隋報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を入力するステップと、フレーム画像取得手段にお、て、前記動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得ステップと、

前記フレーム画像取得ステップ力前記透かしパターン重畳ステップを順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成ステップと、

を有することを特徴とする電子透力埋め込み方法によっても解決できる。

[0012] 前記電子透かし埋め込み方法において、前記透かしパターン生成ステップは、前記透力し情報を用いて基本透かしパターンを生成する基本透かしパターン生成ステップと、

前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前の透かしパターンに対して前記基本透かしパターンで定まる位相変動をカ卩えて新たな透かしパターンを生成するステップと、を有することとしてもよ!/、。

[0013] 前記透かしパターン生成ステップは、

前記透力し情報を用いて基本透かしパターンを生成する基本透かしパターン生成ステップと、

前記基本透かしパターンの画素値に基づいて符号パターンを生成する符号パターン生成ステップと、

前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前のフレームカもの時間差分に対応する透かしパターン切り替え位相変動値を求める透かしパターン切り替え位相変動値算出ステップと、

前記透かしパターン切り替え位相変動値に前記符号パターン生成ステップで生成された前記符号パターンの各要素の符号を付与して、これを直前の透かし位相バターン力の位相差分として現在のフレームに対する透か Lf立相パターンを生成する透かし位相パターン生成ステップと、

前記透かし位相パターンに基づいて透かしパターンを生成する透かし位相パターン画像化ステップと、を有することとしてもよい。

[0014] また、前記透かしパターン生成ステップは、前記透かし位相パターンから前記透かしパターンを生成する際に、前記基本透かしパターンの各画素値に基づ、て透かしノターンの対応する画素値の振幅を増減するステップを有することとしてもよい。

[0015] また、前記透かしパターン生成ステップは、前記基本透かしパターンが表す位相差分変動を、画像の複数の成分から得られる座標系における回転量に対応させ、位相差分変動で回転されて得られる新たな複数の成分値をもとに、前記透かしパターンを生成するステップを有する、こととしてもよい。

[0016] 前記電子透かし埋め込み方法にお!、て、前記画像の複数の成分として、画像の Cb -Cr成分を用いることができる。 [0017] また、前記透かしパターン生成ステップは、

前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用 V、て、該透力し情報をデータブロックに分割するステップと、

前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロック ID及び該データブロック IDのデータブロック情報を元に透かしパターンを生成するステップと、を有することとしてもよい。

[0018] また、前記透かしパターン生成ステップは、

前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロック ID及び該データブロック IDのデータブロック情報を元に前記透かしパターンを生成する際に、前記データブロック IDが位相判定用透力情報を兼ねるようにして透かしパターンを生成するステップと、を有することとしてもよ、。

[0019] 前記透かしパターン重畳ステップは、前記透かしパターンを前記フレーム画像以下のサイズにスケール変更して該フレーム画像の内部に重畳するステップを有する、こととしてもよ、。

[0020] 前記電子透かし埋め込み方法において、前記透かしパターン生成ステップは、前記透力し情報を用いて基本透かしパターンを生成するステップと、

さらに、電子透かし検出時の検出対象領域抽出のための位置合わせのためのパターンを基本透かしパターンに追加するステップと、

前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて基本透かしパターンを変更することで透かしパターンを生成するステップとを有することとしてもよい

[0021] 前記電子透かし埋め込み方法において、前記透かしパターン生成ステップは、前記透かし情報を既存の 2次元コードにより基本透かしパターンに変調し、前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて該基本透かしパターン力も透かしパターンを生成するステップを有することとしてもよい。

[0022] また、前記電子透かし埋め込み方法において、前記電子透かし埋め込み装置は複数の透かしパターン生成手段を有し、前記電子透力し埋め込みステップにおヽて、各々の前記透かしパターン生成手段は異なる透かしパターンを生成し、前記透かしパターン重畳手段は、前記透かしパターンをフレーム画像内に複数重畳する、こととしてちよい。

[0023] 前記透かしパターン重畳ステップは、動きの多いフレーム画像ほど透かしパターンの振幅を増幅するステップを有する、こととしてもよい。

[0024] また、前記透かしパターン重畳ステップは、以前に入力したフレーム画像を記憶手段に保持しておき、今回入力したフレーム画像と以前のフレーム画像との差分画像を生成し、該差分画像の画素値に基づ、て基本透かしパターンの振幅を増幅するステツプを有する、こととしてもよい。

[0025] また、前記電子透かし埋め込み方法において、前記透かしパターン重畳ステップは

、透かしパターン全体の振幅を増幅するステップを有する、こととしてもよい。

[0026] 更に、前記透かしパターン重畳ステップは、フレーム画像中の動きの大きい画素領域に対応する透かしパターンの画素領域を増幅するステップを有する、こととしてもよい。

[0027] また、上記の課題は、動画像力も電子透力を検出する電子透かし検出装置における電子透かし検出方法であって、

動画像入力手段にぉヽて、フレーム画像を順次取得する動画像入力ステップと、差分画像生成手段において、今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成ステップと、

電子透かし検出手段において、前記差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出ステップとを有し、

前記電子透力しの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段で新たなフレーム画像を取得し直し、上記の各ステップを繰り返す、ことを特徴とする電子透かし検出方法によって解決することができる。

[0028] 前記電子透かし検出方法において、前記電子透かし検出ステップで得られた透かし情報力もデータブロック IDとデータブロック情報を得て、検出透かレ f青報バッファの該データブロック IDの情報に検出したデータブロック情報を記録し、全てのデータブロック IDについて検出が完了した場合に電子透かし検出成功の旨を出力する、ようにしてもよい。

[0029] また、前記動画像入力ステップは、前記フレーム画像と該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するステップを有し、

前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、今回のフレーム表示時刻と、以前に取得したフレーム画像のフレーム表示時刻の時間間隔から検出要否を判定する判定ステップを更に有し、

判定ステップにおいて検出不要と判定された場合は前記動画像入力手段において新たなフレーム画像を取得し直し、検出要と判定した場合は前記差分画像生成ステツプ以降の処理を続行する、こととしてもよい。

[0030] また、前記電子透かし検出方法は、電子透力埋め込み時の透かしパターン切り替え情報を用いて、フレームのキヤプチャタイミングを設定するキヤプチャタイミング制御ステップを有し、

前記動画像入力手段にぉ、て、前記キヤプチャタイミングに基づ、てフレーム画像を順次取得する、ようにしてもよい。

[0031] また、前記電子透かし検出方法は、電子透力埋め込み時の透かしパターン切り替え情報を用いて、差分画像を得るためのフレーム間の時間間隔を表す差分タイミングを設定するステップを有し、

前記動画像入力手段にぉヽて、前記フレーム画像と該フレーム表示時刻を順次取得し、前記差分画像生成手段において、今回取得したフレーム画像と、前記差分タイミングで指定される時間だけ以前に取得したフレーム画像の差分画像を生成する、こととしてちよい。

[0032] また、前記電子透かし検出方法において、前記電子透かし検出ステップは、前記差分画像に埋め込まれて、る透かしパターンの位相を判定し、透かしパターンの位相が逆相の場合は、検出した透力し情報のビット反転を行って、電子透かしの検出状況を出力するステップを有する、こととしてもよい。

[0033] 前記差分画像生成ステップにおいて前記差分画像を差分画像蓄積バッファにカロ算し、前記電子透かし検出ステップにおいて、前記差分画像蓄積バッファからの電子透かし検出を行って透かレ f青報を検出して、検出状況を出力する、ようにしてもよい。

[0034] また、前記電子透かし検出方法は、前記差分画像に埋め込まれて!/、る透かしバターンの位相を判定するステップと、順次処理される差分画像の全てで当該位相が同相となるように差分画像を変更するステップを有し、これらのステップで得られた差分画像を用いて前記差分画像生成ステップ及び前記電子透かし検出ステップを実行する、こととしてもよい。

[0035] 前記電子透かし検出ステップは、検出の際に算出される相関値を検出処理の度に記憶手段に蓄積し、蓄積された相関値を用いて検出成功力否かを判定するステップを有する、こととしてもよい。

[0036] また、前記電子透かし検出ステップは、検出の際に算出される相関値の絶対値を検出処理の度に記憶手段に蓄積し、蓄積された該相関値の絶対値を用いて検出成功か否かを判定するステップを有する、こととしてもよ!/、。

[0037] また、前記電子透かし検出方法において、埋め込み時に用いた透かしパターン切り替え情報と、フレーム画像取得時に得られるフレーム表示時刻の関係から、差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。

[0038] 前記差分画像中に埋め込まれた透かしパターンで表現された透力し情報中の予め定めたビット位置のビット値を検出し、該ビット値に基づ、て該差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよ、。

[0039] また、前記電子透かし検出方法は、位相判定用透かしを検出して前記差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよ!/、。

[0040] また、前記電子透かし検出方法は、透かし検出処理によって算出される相関値の正負の極性を利用して前記差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。

[0041] また、前記電子透かし検出方法は、前記差分画像からの電子透かし検出を行って透かし情報であるデータブロック情報及びデータブロック IDを検出し、データブロック

ID検出時の相関値の正負の極性を利用して前記差分画像に埋め込まれている透かしパターンの位相を判定するステップを有する、こととしてもよ、。

[0042] 前記差分画像生成ステップは、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し、さらに、該差分画像中の特定成分から位相値と振幅値を求め、該位相値が所与の複数のグループのいずれに属するかを判定し、その判定結果と該振幅値を元に該差分画像を修正して出力するステップを有する、こととしてもよい。

[0043] また、前記電子透かし検出方法にお!、て、前記差分画像生成ステップは、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像 (A)を生成し、該今回取得したフレーム画像を該画像記憶手段に格納するステップを有し、

前記電子透かし検出方法は、今回取得した差分画像 (A)に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段力読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づ！ヽて差分画像 (B)を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計測ステップを有し、

前記電子透かし検出ステップは、前記差分画像 (B)からの電子透かし検出を行つて、電子透かしの検出状況を出力するステップを有する、ようにしてもよい。

[0044] また、前記位相差分計測ステップは、

前記差分画像 (A)から位相パターンを生成する際に、位相値と共に振幅値を求めて位相パターンの要素値とするステップと、

前記今回取得した位相パターンと前記以前に取得した位相パターンの位相差を計測し、位相差に基づいて符号を決定するステップと、

さらに前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値と、符号に基づいて前記差分画像 (B)を生成するステップと、を有することとしてもよい。

[0045] また、前記位相差分計測ステップは、

前記差分画像 (A)力も前記位相パターンを生成する際に、前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値に対して単調増加する値を振幅とし、前記符号と組み合わせて得られる値に基づ!、て前記差分画像 (B)を生成するステップを有する、ようにしてもよい。

[0046] また、前記電子透かし検出方法にお!、て、前記差分画像生成ステップにおける前記差分画像中の特定成分が複数の成分であることとしてもよい。

[0047] また、前記位相差分計測ステップにお、て、前記差分画像 (A)力も位相パターンを得る際に、該差分画像 (A)中の複数の成分から得られる座標系おける位相及び振幅を利用する、ようにしてもよい。

[0048] 前記差分画像中の特定成分として Cb成分及び Cr成分を使用することができる。

[0049] また、前記電子透かし検出方法は、前記差分画像 (B)を差分画像蓄積バッファに加算するステップを更に有し、

電子透かし検出ステップは、前記差分画像蓄積バッファからの電子透かし検出を行つて透かレ f青報を検出して、検出状況を出力するステップを有する、こととしてもよい

[0050] また、前記電子透かし検出方法は、順次取得される前記フレーム画像に対し、今回のフレーム画像中の検出対象領域を抽出し、歪みを補正し、サイズを正規化して検出対象領域画像を生成するステップを有し、

前記差分画像生成ステップにおいて、今回取得した検出対象領域画像と、以前に取得した検出対象領域画像の差分画像を生成する、こととしてもよ!ヽ。

[0051] また、前記電子透かし検出方法は、順次取得される前記差分画像から検出対象領域を抽出して検出対象領域画像を生成するステップを有し、

前記電子透かし検出ステップにお、て、前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する、こととしてもよい。

[0052] また、前記電子透かし検出方法は、前記フレーム画像を順次取得した後に、前記フレーム画像から特徴領域を抽出して歪み補正及びサイズ正規化を行って特徴領域画像を生成する特徴領域抽出ステップと、

今回取得した特徴領域画像と、以前に取得した特徴領域画像の差分画像を生成する前記差分画像生成ステップと、

前記差分画像から検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出ステップと、

前記検出対象領域力の電子透かし検出を行う前記電子透かし検出ステップと、を有することとしてもよい。

[0053] 前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、該差分画像の画素値を絶対値化して検出対象領域を探索するステップを有する、こととしてもよい。

[0054] また、前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、埋め込み時の基本透かしパターンに付加された位置合わせパターンを用いて検出対象領域を探索するステップを有する、こととしてもよい。

[0055] また、前記検出対象領域抽出ステップは、過去の電子透かし検出試行で検出状況が良好であったときの検出対象領域の近傍の領域に限定した探索を行って、今回の検出対象領域抽出処理を行うステップを有する、こととしてもよい。

[0056] また、前記検出対象領域抽出ステップは、前記位置合わせパターンを用いて、前記差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよヽ

[0057] また、前記検出対象領域抽出ステップは、前記差分画像を記憶手段に加算蓄積し、蓄積した該差分画像中から検出対象領域を探索し、抽出するステップを有する、こととしてもよ、。

[0058] また、前記検出対象領域抽出ステップは、前記差分画像を前記記憶手段に加算蓄積する際に、該差分画像中の透かしパターンの位相を揃えて、加算蓄積を行うステツプを有する、こととしてもよい。

[0059] また、上記の課題は、動画像力も電子透力を検出する電子透かし検出装置における電子透かし検出方法であって、

動画像入力手段にぉ、て、フレーム画像を順次取得するフレーム画像取得ステツプと、

特徴領域抽出手段において、フレーム画像中の特徴領域を抽出し特徴領域画像を取得する特徴領域抽出ステップと、

差分画像生成手段において、今回取得した特徴領域画像と、特徴領域画像バッファから読み出した以前に取得した特徴領域画像の差分画像を生成して差分画像 (A )を取得すると共に、該今回取得した特徴領域画像を該特徴領域画像バッファに格納する差分画像生成ステップと、

位相差分計測手段において、今回取得した差分画像 (A)に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターンバッファ力も読み出した以前に取得した位相パターンの位相差を計測し、位相差と振幅に基づ！ヽて差分画像 (B) を生成すると共に、該今回取得した差分画像 (A)を該位相パターンバッファに格納する位相差分計測ステップと、

検出対象領域抽出手段において、前記差分画像 (B)を各画素毎に画素値の加算蓄積を行い、加算蓄積によって得られる差分画像 (B)蓄積バッファから検出対象領域を抽出し、検出対象領域画像を取得する検出対象領域抽出ステップと、

電子透かし検出手段において、前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出ステップと、

電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、上記動画像入力手段で新たなフレーム画像を取得し直し上記各ステップを繰り返すステップと、

を有することを特徴とする電子透かし検出方法によっても解決できる。

[0060] 前記検出対象領域抽出ステップは、加算蓄積によって得られる前記差分画像 (B) 蓄積バッファから検出対象領域を抽出する際に、前記差分画像 (B)蓄積バッファの画素値の絶対値をとつたものから検出対象領域を抽出し、絶対値を取る前の差分画像 (B)蓄積バッファの検出対象領域の画像を検出対象領域画像として得るステップを有する、こととしてもよい。

[0061] 前記検出対象領域抽出ステップにおいて、複数の検出対象領域を抽出し、

前記電子透かし検出ステップにおいて、前記複数の検出対象領域の各々に対して電子透かし検出試行を行い、検出結果を出力する、よう〖こしてもよい。

[0062] また、前記電子透かし検出ステップは、透かレ f青報を検出する際に、既存の 2次元コードの復号処理を用いて透力情報を検出するステップを有する、こととしてもよい [0063] また、前記電子透かし検出方法にお!、て、差分処理によって生成される前記差分画像に対して、さらにフィルタ処理を施し、フィルタ処理を施した差分画像を出力するステップを有する、こととしてもよい。前記フィルタ処理として、非線形フィルタを用いることができる。

[0064] また、前記電子透かし検出方法において、入力とする動画像が、カメラで撮影され、キヤプチャされた映像信号である、こととしてもよい。

[0065] また、検出対象領域抽出状況、電子透かし検出状況、データブロック検出状況のうちのいずれか又は複数の処理状況に応じたフィードバック出力を画面あるいは、音声を出力する外部出力手段により行うステップを有してもよい。

[0066] また、前記検出対象領域抽出ステップにお!、て、検出対象領域のサイズ及び位置を表す検出対象領域情報を更に生成し、前記電子透かし生成方法は、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズとなるようにズームパラメタを設定し、当該ズームパラメタを前記動画像入力手段に与えてズーム処理を行うズーム処理ステップを有する、こととしてもよい。

[0067] 前記ズーム処理ステップは、前記電子透かし検出ステップにおける検出状況が良好であった場合に、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズになるようにズームパラメタを設定し、前記動画像入力手段に与えてズーム処理を行うステップを有して構成してもよ、。

[0068] 入力とする動画像が、表示ディスプレイ上に表示されている状態をカメラでリアルタィムに撮影され、キヤプチャされたものであり、

電子透かし検出によって得られた透力情報に基づいて、表示されている動画像に関連する情報を取得するステップを有する、こととしてもよい。

[0069] また、本発明によれば、上記の方法の実施に適した電子透かし埋め込み装置、電子透かし検出装置、プログラム、及びプログラムを記録した記録媒体が提供される。発明の効果

[0070] 本発明によれば、テレビなどの動画像をカメラで撮影し、撮影した動画力ゝらリアルタィムに電子透かし検出を行うことを可能とする後術を提供できる。また、キヤプチヤしたフレーム画像中のどの部分力も電子透力しの検出を行えばよいかを特定して、様々な撮影角度や背景画像の条件下でも確実に電子透かし検出を行うことが可能な技術を提供できる。

図面の簡単な説明

[図 1A]実施の形態の概要 Aの電子透かし埋め込み方法のフローチャートである。

[図 1B]実施の形態の概要 Aの電子透かし検出方法のフローチャートである。

[図 2A]実施の形態の概要 Aの電子透力し埋め込み装置の構成図である。

[図 2B]実施の形態の概要 Aの電子透かし検出装置の構成図である。

[図 3A]実施の形態の概要 Bの電子透力し埋め込み方法のフローチャートである。

[図 3B]実施の形態の概要 Bの電子透かし検出方法のフローチャートである。

[図 4A]実施の形態の概要 Bの電子透力し埋め込み装置の構成図である。

[図 4B]実施の形態の概要 Bの電子透かし検出装置の構成図である。

[図 5A]実施の形態の概要 Cの電子透かし埋め込み方法のフローチャートである。

[図 5B]実施の形態の概要 Cの電子透かし検出方法のフローチャートである。

[図 6A]実施の形態の概要 Cの電子透かし埋め込み装置の構成図である。

[図 6B]実施の形態の概要 Cの電子透かし検出装置の構成図である。

[図 7]本発明の第 1の実施の形態における電子透力し埋め込み装置の構成図である

[図 8]本発明の第 1の実施の形態における電子透力し埋め込み装置の動作のフローチャートである。

[図 9]本発明の第 1の実施の形態におけるフレーム画像取得部の処理を説明するための図である。

[図 10]本発明の第 1の実施の形態における透かしパターン生成部の構成図である。

[図 11]本発明の第 1の実施の形態における透かしパターン生成部の動作のフローチヤートである。

[図 12]本発明の第 1の実施の形態における基本透かしパターン生成部の処理の例を説明するための図（その 1)である。

[図 13]本発明の第 1の実施の形態における基本透かしパターン生成部の処理の例を説明するための図（その 2)である。 [図 14A]本発明の第 1の実施の形態における透かしパターン切り替え情報の例を説明するための図である。

[図 14B]本発明の第 1の実施の形態における透かしパターン切り替え情報の例を説明するための図である。

[図 14C]本発明の第 1の実施の形態における透かしパターン切り替え情報の例を説明するための図である。

[図 15]本発明の第 1の実施の形態における透かしパターン切り替え部の処理を説明するための図（その 1)である。

[図 16]本発明の第 1の実施の形態における透かしパターン切り替え部の処理を説明するための図（その 2)である。

[図 17]本発明の第 1の実施の形態における透かしパターン重畳部の処理を説明するための図である。

[図 18]本発明の利用シーンを説明するための図である。

圆 19]本発明の第 1の実施の形態における電子透かし検出装置の構成図である。圆 20]本発明の第 1の実施の形態における電子透かし検出装置の動作のフローチヤートである。

圆 21]本発明の第 1の実施の形態における検出対象領域抽出部の処理を説明するための図である。

圆 22]本発明の第 1の実施の形態における差分画像生成部の処理を説明するための図である。

圆 23]本発明の第 1の実施の形態における電子透かし検出部の処理の例を説明するための図である。

圆 24]本発明の第 1の実施の形態における効果を説明するための図である。

圆 25]本発明の第 2の実施の形態における電子透かし検出装置の構成図である。圆 26]本発明の第 2の実施の形態における電子透かし検出装置の動作のフローチヤートである。

圆 27]本発明の第 2の実施の形態における検出要否判定部の処理を説明するための図である。圆 28A]本発明の第 2の実施の形態における効果を説明するための図である。

圆 28B]本発明の第 2の実施の形態における効果を説明するための図である。

圆 29]本発明の第 3の実施の形態における電子透かし検出装置の構成図である。圆 30]本発明の第 3の実施の形態における電子透かし検出装置の動作のフローチヤートである。

[図 31]本発明の第 3の実施の形態におけるキヤプチャタイミング制御部の処理を説明するための図（その 1)である。

[図 32]本発明の第 3の実施の形態におけるキヤプチャタイミング制御部の処理を説明するための図（その 2)である。

圆 33A]本発明の第 3の実施の形態における効果を説明するための図である。

圆 33B]本発明の第 3の実施の形態における効果を説明するための図である。

[図 34A]本発明の第 4の実施の形態における基本透かしパターン生成部の処理を説明するための図である。

[図 34B]本発明の第 4の実施の形態における基本透かしパターン生成部の処理を説明するための図である。

圆 35]本発明の第 4の実施の形態における電子透かし検出部の動作のフローチヤ一トである。

圆 36]本発明の第 4の実施の形態における効果を説明するための図（その 1)である圆 37]本発明の第 4の実施の形態における効果を説明するための図（その 2)である圆 38]本発明の第 4の実施の形態における効果を説明するための図（その 3)である

[図 39]本発明の第 5の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。

[図 40]本発明の第 5の実施の形態における電子透かし検出部の動作のフローチヤ一トである。

圆 41]本発明の第 6の実施の形態における電子透かし検出部の構成図である。 [図 42]本発明の第 6の実施の形態における電子透かし検出部の動作のフローチヤ一トである。

圆 43]本発明の第 6の実施の形態における差分画像位相判定部の処理を説明するための図である。

圆 44]本発明の第 6の実施の形態における差分画像蓄積バッファを説明するための図である。

圆 45]本発明の第 7の実施の形態における電子透かし検出部の構成図である。

[図 46]本発明の第 7の実施の形態における電子透かし検出部の動作のフローチヤ一トである。

圆 47]本発明の第 7の実施の形態における相関値バッファに関する処理の内容を説明するための図である。

圆 48A]本発明の第 7の実施の形態における検出可否判定部の処理の内容を説明するための図である。

圆 48B]本発明の第 7の実施の形態における検出可否判定部の処理の内容を説明するための図である。

圆 49]本発明の第 8の実施の形態における透かしパターン生成部の構成図である。

[図 50]本発明の第 8の実施の形態における透かしパターン生成部の動作のフローチヤートである。

圆 51]本発明の第 8の実施の形態における透力情報分割部の処理を説明するための図である。

[図 52A]本発明の第 8の実施の形態における基本透かしパターン生成部の処理を説明するための図である。

[図 52B]本発明の第 8の実施の形態における基本透かしパターン生成部の処理を説明するための図である。

圆 53]本発明の第 8の実施の形態における電子透かし検出装置の構成図である。圆 54]本発明の第 8の実施の形態における電子透かし検出装置の動作のフローチヤートである。

圆 55]本発明の第 8の実施の形態における検出データブロック蓄積部の構成図である。

[図 56]本発明の第 8の実施の形態における検出データブロック蓄積部の動作のフロ一チャートである。

圆 57]本発明の第 8の実施の形態における検出データブロック蓄積部の処理を説明するための図（その 1)である。

圆 58]本発明の第 8の実施の形態における検出データブロック蓄積部の処理を説明するための図（その 2)である。

[図 59]本発明の第 9の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。

[図 60]本発明の第 9の実施の形態における電子透かし検出部の動作のフローチヤ一トである。

圆 61]本発明の第 10の実施の形態における電子透かし検出部の構成図である。

[図 62]本発明の第 10の実施の形態における電子透かし検出部の動作のフローチヤートである。

圆 63]本発明の第 11の実施の形態における電子透かし検出部の構成図である。

[図 64]本発明の第 11の実施の形態における電子透かし検出部の動作のフローチヤートである。

圆 65]本発明の第 12の実施の形態における電子透かし検出装置の構成図である。圆 66]本発明の第 12の実施の形態における電子透かし検出装置の動作のフローチヤートである。

圆 67]本発明の第 12の実施の形態における電子透かし検出装置のフィードバック出力の例（その 1)である。

圆 68]本発明の第 12の実施の形態における電子透かし検出装置のフィードバックの出力の例（その 2)である。

圆 69]本発明の第 12の実施の形態における電子透かし検出装置のフィードバック出力の例である。

[図 70]本発明の第 13の実施の形態における透かしパターン重畳部の処理を説明するための図である。圆 71]本発明の第 13の実施の形態における電子透かし検出装置の構成図である。圆 72]本発明の第 13の実施の形態における電子透かし検出装置の動作のフローチヤートである。

圆 73]本発明の第 13の実施の形態における差分画像生成部の処理を説明するための図である。

[図 74]本発明の第 13の実施の形態における検出対象領域抽出部の処理を説明するための図である。

圆 75]本発明の第 13の実施の形態の効果を説明するための図（その 1)である。圆 76]本発明の第 13の実施の形態の効果を説明するための図（その 2)である。圆 77]本発明の第 13の実施の形態の効果を説明するための図（その 3)である。圆 78]本発明の第 13の実施の形態の効果を説明するための図（その 4)である。

[図 79]本発明の第 14の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。

[図 80]本発明の第 14の実施の形態における検出対象領域抽出部の処理を説明するための図である。

圆 81A]本発明の第 14の実施の形態の効果を説明するための図である。

圆 81B]本発明の第 14の実施の形態の効果を説明するための図である。

[図 82]本発明の第 14の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。

[図 83]本発明の第 15の実施の形態における検出対象領域抽出部の処理を説明するための図である。

圆 84]本発明の第 16の実施の形態における電子透かし検出装置の構成図である。圆 85]本発明の第 16の実施の形態における電子透かし検出装置の動作のフローチヤートである。

圆 86]本発明の第 16の実施の形態における特徴領域抽出部の処理を説明するための図（その 1)である。

圆 87]本発明の第 16の実施の形態における特徴領域抽出部の処理を説明するための図（その 2)である。圆 88]本発明の第 16の実施の形態における特徴領域抽出部の処理を説明するための図（その 3)である。

圆 89]本発明の第 16の実施の形態における特徴領域抽出部の処理を説明するための図（その 4)である。

圆 90]本発明の第 16の実施の形態における特徴領域抽出部の処理を説明するための図（その 5)である。

圆 91]本発明の第 16の実施の形態における差分画像生成部の処理を説明するための図（その 1)である。

圆 92]本発明の第 16の実施の形態における差分画像生成部の処理を説明するための図（その 2)である。

圆 93]本発明の第 16の実施の形態における差分画像生成部の処理を説明するための図（その 3)である。

圆 94]本発明の第 17の実施の形態における特徴領域抽出部の処理を説明するための図である。

[図 95]本発明の第 17の実施の形態における検出対象領域抽出部の処理を説明するための図である。

圆 96]本発明の第 18の実施の形態における検出対象領域抽出の処理を説明するための図（その 1)である。

圆 97]本発明の第 18の実施の形態における検出対象領域抽出の処理を説明するための図（その 2)である。

圆 98]本発明の第 18の実施の形態における検出対象領域抽出の処理を説明するための図（その 3)である。

圆 99]本発明の第 18の実施の形態における検出対象領域抽出の処理を説明するための図（その 4)である。

圆 100]本発明の第 19の実施の形態における電子透かし検出装置の構成図である。圆 101]本発明の第 19の実施の形態における電子透かし検出装置の動作のフローチャートである。

圆 102]本発明の第 19の実施の形態における検出対象領域抽出部の処理を説明するための図（その 1)である。

圆 103]本発明の第 19の実施の形態における検出対象領域抽出部の処理を説明するための図（その 2)である。

圆 104]本発明の第 19の実施の形態における電子透かし検出装置の構成図である。圆 105]本発明の第 19の実施の形態における電子透かし検出装置の動作のフローチャートである。

圆 106]本発明の第 19の実施の形態における検出対象領域抽出部の処理を説明するための図（その 1)である。

圆 107]本発明の第 19の実施の形態における差分画像生成部の処理を説明するための図（その 2)である。

[図 108]本発明の第 20の実施の形態における透かしパターン重畳部の処理を説明するための図（その 1)である。

[図 109]本発明の第 20の実施の形態における透かしパターン重畳部の処理を説明するための図（その 2)である。

圆 110]本発明の第 20の実施の形態における差分画像生成部の処理を説明するための図である。

[図 111]本発明の第 20の実施の形態における検出対象領域抽出部の処理を説明するための図（その 1)である。

[図 112]本発明の第 20の実施の形態における検出対象領域抽出部の処理を説明するための図（その 2)である。

圆 113]本発明の第 20の実施の形態における電子透かし検出装置のフィードバック出力の例（その 1)である。

圆 114]本発明の第 20の実施の形態における電子透かし検出装置のフィードバック出力の例（その 2)である。

圆 115]本発明の第 20の実施の形態における電子透かし検出装置のフィードバック出力の例（その 3)である。

圆 116]本発明の第 20の実施の形態における電子透かし検出装置のフィードバック出力の例（その 4)である。 [図 117]本発明の第 21の実施の形態における透かしパターン切り替え情報の例を説明するための図である。

[図 118]本発明の第 21の実施の形態における透かしパターン切り替え部の処理を説明するための図である。

[図 119]本発明の第 21の実施の形態における透かしパターン切り替え部の処理を説明するための図である。

圆 120]本発明の第 21の実施の形態における差分画像生成部の処理の例を説明するための図である。

[図 121]本発明の第 21の実施の形態の原理を説明するための図（その 1)である。

[図 122]本発明の第 21の実施の形態の原理を説明するための図（その 2)である。

[図 123]本発明の第 21の実施の形態の原理を説明するための図（その 3)である。圆 124]本発明の第 21の実施の形態の効果を説明するための図である。

圆 125]本発明の第 22の実施の形態における差分画像生成部の処理を説明するための図である。

[図 126A]本発明の第 22の実施の形態におけるフィルタ処理の例を説明するための図である。

[図 126B]本発明の第 22の実施の形態におけるフィルタ処理の例を説明するための図である。

[図 127]本発明の第 23の実施の形態における透力し重量部の処理を説明するための図である。

圆 128]本発明の第 23の実施の形態における透かしパターン振幅調整の例を説明するための図である。

圆 129]本発明の第 24の実施の形態における電子透かし検出装置の構成図である。圆 130]本発明の第 24の実施の形態における電子透かし検出装置の動作のフローチャートである。

圆 131A]本発明の第 24の実施の形態の効果を説明するための図である。

圆 131B]本発明の第 24の実施の形態の効果を説明するための図である。

圆 132]本発明の第 25の実施の形態における透かしパターン切替情報の例を説明するための図である。

[図 133]本発明の第 25の実施の形態における透かしパターン切り替え部の処理を説明するための図（その 1)である。

[図 134]本発明の第 25の実施の形態における透かしパターン切り替え部の処理を説明するための図（その 2)である。

圆 135]本発明の第 25の実施の形態における電子透かし検出装置の構成図である。圆 136]本発明の第 25の実施の形態における電子透かし検出装置の動作のフローチャートである。

圆 137]本発明の第 25の実施の形態における差分画像生成部の処理を説明するための図である。

圆 138]本発明の第 25の実施の形態における位相差分計測部の処理の内容を説明するための図（その 1)である。

圆 139]本発明の第 25の実施の形態における位相差分計測部の処理の内容を説明するための図（その 2)である。

圆 140A]本発明の第 25の実施の形態における位相差分計測部の処理の内容を説明するための図（その 3)である。

圆 140B]本発明の第 25の実施の形態における位相差分計測部の処理の内容を説明するための図（その 3)である。

圆 141]本発明の第 25の実施の形態の効果を説明するための図（その 1)である。圆 142]本発明の第 25の実施の形態の効果を説明するための図（その 2)である。圆 143]本発明の第 25の実施の形態の効果を説明するための図（その 3)である。圆 144]本発明の第 25の実施の形態の効果を説明するための図（その 4)である。圆 145]本発明の第 25の実施の形態の効果を説明するための図（その 5)である。圆 146]本発明の第 25の実施の形態の効果を説明するための図（その 6)である。圆 147]本発明の第 25の実施の形態の効果を説明するための図（その 7)である。圆 148]本発明の第 25の実施の形態の効果を説明するための図（その 8)である。圆 149]本発明の第 25の実施の形態の効果を説明するための図（その 9)である。圆 150]本発明の第 25の実施の形態の効果を説明するための図（その 10)である。圆 151]本発明の第 25の実施の形態の効果を説明するための図（その 11)である。圆 152]本発明の第 25の実施の形態の効果を説明するための図（その 12)である。圆 153]本発明の第 25の実施の形態の効果を説明するための図（その 13)である。圆 154]本発明の第 25の実施の形態の効果を説明するための図（その 14)である。圆 155]本発明の第 25の実施の形態の効果を説明するための図（その 15)である。圆 156]本発明の第 25の実施の形態の効果を説明するための図（その 16)である。圆 157]本発明の第 25の実施の形態の効果を説明するための図（その 17)である。圆 158]本発明の第 25の実施の形態の効果を説明するための図（その 18)である。圆 159]本発明の第 25の実施の形態の効果を説明するための図（その 19)である。

[図 160]本発明の第 25の実施の形態の効果を説明するための図（その 20)である。圆 161]本発明の第 25の実施の形態の効果を説明するための図（その 21)である。

[図 162]本発明の第 26の実施の形態における電子透力し埋め込み装置の構成図である。

[図 163]本発明の第 20の実施の形態における電子透力し埋め込み装置の動作のフローチャートである。

[図 164]本発明の第 26の実施の形態におけるフレーム画像取得部の処理を説明するための図である。

圆 165]本発明の第 26の実施の形態における透かしパターン生成部の構成図である

[図 166]本発明の第 26の実施の形態における透かしパターン生成部の動作のフローチャートである。

[図 167]本発明の第 26の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。

[図 168]本発明の第 26の実施の形態における透かしパターン切り替え部の構成図である。

[図 169]本発明の第 26の実施の形態における透かしパターン切り替え部の動作のフローチャートである。

[図 170]本発明の第 26の実施の形態における透かしパターン切り替え情報の例を説明するための図である。

[図 171]本発明の第 26の実施の形態における透かしパターン切り替え部の処理を説明するための図である。

[図 172]本発明の第 26の実施の形態における透かし位相パターン画像ィ匕部の処理を説明するための図である。

[図 173]本発明の第 26の実施の形態における透かしパターン重畳部の処理説明するための図である。

圆 174]本発明の第 26の実施の形態における電子透かし検出装置の構成図である。圆 175]本発明の第 26の実施の形態における電子透かし検出装置の動作のフローチャートである。

圆 176]本発明の第 26の実施の形態における特徴領域抽出部の処理を説明するための図である。

圆 177]本発明の第 26の実施の形態における差分画像生成部の処理を説明するための図ある。

圆 178]本発明の第 26の実施の形態における位相差分計測部の処理の内容を説明するための図（その 1)である。

圆 179]本発明の第 26の実施の形態における位相差分計測部の処理の内容を説明するための図（その 2)である。

圆 180A]本発明の第 26の実施の形態における位相差分計測部の処理の内容を説明するための図（その 3)である。

圆 180B]本発明の第 26の実施の形態における位相差分計測部の処理の内容を説明するための図（その 3)である。

圆 181]本発明の第 26の実施の形態における差分画像 (B)蓄積バッファを説明するための図である。

圆 182]本発明の第 26の実施の形態における検出対象領域抽出部の処理を説明するための図である。

[図 183]本発明の第 26の実施の形態における電子透かし検出部の処理の例を説明するための図である。符号の説明

100 電子透かし埋め込み装置

110 フレーム画像取得部

120 透かしパターン生成部

121 基本透かしパターン生成部

122 透かしパターン切り替え部

123 透かし報分解部

130 透かしパターン重畳部

140 動画像データ再構成部

200 電子透かし検出装置

210 動画像入力部

220 検出対象領域抽出部

230 差分画像生成部

240 電子透かし検出部

241 差分画像位相判定部

242 透かし情報検出部

243 相関演算部

244 検出可否判定部

246 データブロック ID検出部

247 データブロック情報検出部

248 データブロック ID = n用差分画像蓄積バッファ

249 相関演算部

250 検出対象領域画像バッファ

251 データブロック ID=n用相関値バッファ

255 差分画像蓄積バッファ

260 検出要否判定部

265 フィードバック出力部

270 キヤプチャタイミング制御部 280 検出データブロック蓄積部

281 検出データブロックバッファリング部

282 検出完了確認部

283 検出透力し情報バッファ

290 特徴領域抽出部

301 フレーム画像ノッファ

302 特徴領域画像バッファ

303 差分フレーム画像バッファ

304 特徴領域差分画像バッファ

310 ズーム処理部

360 位相差分計測部

370 位相パターンバッファ

390 差分画像 (B)蓄積バッファ

1221 符号パターン生成部

1222 透かしパターン切り替え位相変動値算出部

1223 透かし位相差分パターン生成部

1224 透かし位相パターン生成部

1225 透かし位相パターン画像ィ匕部

発明を実施するための最良の形態

[0073] 以下、図面と共に本発明の実施の形態を説明する。

[0074] [実施の形態の概要]

まず、実施の形態の概要について説明する。図 1A〜図 2Bは実施の形態の概要 A を示す図である。

[0075] 図 1Aに、実施の形態の概要 Aの電子透力し埋め込み方法のフローチャートを示す。この方法は、動画像に電子透力を埋め込む電子透力埋め込み装置における電子透かし埋め込み方法であり、まず、フレーム画像群からなる動画像データ、透かし情報、透かしパターン切り替え情報が電子透力し埋め込み装置に入力される (ステツプ Al)。次に、電子透かし埋め込み装置は、動画像データの各フレーム画像及び該フレーム表示時刻を順次取得し (ステップ A2)、透力し情報とフレーム表示時刻と透かしパターン切り替え情報を用いて、透かしパターンを生成し (ステップ A3)、透かしパターンをフレーム画像に重畳する (ステップ A4)。そして、電子透かし埋め込み装置は、ステップ 2〜ステップ 4を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する (ステップ A5)。

[0076] 図 1Bに、実施の形態の概要 Aの電子透かし検出方法のフローチャートを示す。この方法は、動画像力も電子透力を検出する電子透かし検出装置における電子透かし検出方法であって、まず、フレーム画像を順次取得する (ステップ A6)。次に、電子透かし検出装置は、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し (ステップ A7)、差分画像からの電子透かし検出を行って、電子透力しの検出状況を出力する (ステップ A8)そして、電子透かし検出装置は、電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、動画像入力手段で新たなフレーム画像を取得し直し、上記の処理を繰り返す (ステツプ A9)。

[0077] 図 2Aに、実施の形態の概要 Aの電子透カゝし埋め込み装置の構成図を示す。この電子透力し埋め込み装置は、入力されたフレーム画像群力もなる動画像データの各フレーム画像及び該フレーム表示時刻を順次取得するフレーム画像取得手段 A110 と、入力された透力し情報とフレーム表示時刻と入力された透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成手段 A120と、透かしパターンをフレーム画像に重畳する透かしパターン重畳手段 A130と、フレーム画像取得手段 A110から透かしパターン重畳手段までの処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段 A140と、を有する。

[0078] 図 2Bに、実施の形態の概要 Aの電子透かし検出装置の構成図を示す。この電子透かし検出装置は、フレーム画像を順次取得する動画像入力手段 A210と、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段 A230と、差分画像からの電子透かし検出を行って、電子透力しの検出状況を出力する電子透かし検出手段 A240と、を有する。 [0079] 図 3A〜図 4Bは実施の形態の概要 Bを示す図である。図 3Aに、実施の形態の概要 Bの電子透力し埋め込み方法のフローチャートを示す。この方法は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、まず、フレーム画像群からなる動画像データ、透かし情報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報が入力される。そして、電子透かし埋め込み装置は、動画像データの各フレーム画像及び該フレーム画像の表示時刻を順次取得する (ステップ Bl)。そして、電子透かし埋め込み装置は、透力し情報とフレーム画像表示時刻と透かしパターン切り替え情報を用いて、透かしパターンを生成し (ステップ B2)、透かしパターンをフレーム画像に重畳する（ステツプ B3)。そして、電子透かし埋め込み装置は、ステップ B1〜ステップ B3を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する（ステップ B4)。

[0080] 図 3Bに、実施の形態の概要 Bの電子透かし検出方法のフローチャートを示す。この方法は、動画像力も電子透力を検出する電子透かし検出装置により電子透かし検出方法であって、まず、フレーム画像を順次取得する (ステップ Bl l)。電子透かし検出装置は、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像 (A)を生成し、該今回取得したフレーム画像を該画像記憶手段に格納する (ステップ B12)。電子透かし検出装置は、今回取得した差分画像 (A)に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段力も読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づヽて差分画像 (B)を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する (ステップ B13)。そして、電子透かし検出装置は、差分画像（ B)からの電子透かし検出を行って、電子透力しの検出状況を出力し (ステップ B14) 、電子透かし検出処理を続行する場合は、新たなフレーム画像を取得し直し上記処理を繰り返す (ステップ B15)。

[0081] 図 4Aに、実施の形態の概要 Bの電子透力し埋め込み装置の構成図を示す。この電子透力し埋め込み装置は、入力されたフレーム画像群力もなる動画像データの各フレーム画像及び該フレーム画像の表示時刻を順次取得するフレーム画像取得手段 Bl 10と、入力された透力し情報とフレーム画像表示時刻と透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を用いて、透かしバターンを生成する透かしパターン生成手段 B120と、透かしパターンをフレーム画像に重畳する透かしパターン重畳手段 B130と、透かし入りフレーム画像群を結合して透かし入り動画像データを生成し、出力する動画像データ再構成手段 B140と、を有する。

[0082] 図 4Bに、実施の形態の概要 Bの電子透かし検出装置の構成図を示す。この電子透かし検出装置は、フレーム画像を順次取得する動画像入力手段 B210と、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像 (A)を生成し、該今回取得したフレーム画像を該画像記憶手段 B250に格納する差分画像生成手段 B230と、今回取得した差分画像 (A)に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段 B370から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づ!/、て差分 W (B)を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計算手段 B360と、差分画像 (B)からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段 B240と、を有する。

[0083] 図 5A〜図 6Bは実施の形態の概要 Cを示す図である。図 5Aに、実施の形態の概要 Cの電子透力し埋め込み方法のフローチャートを示す。この方法は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、まず、フレーム画像群からなる動画像データ、透かし情報、透かしパターン切り替え情報が電子透力埋め込み装置に入力される (ステップ Cl)。そして、電子透かし埋め込み装置は、動画像データの各フレーム画像及び該フレーム表示時刻を順次取得し (ステップ C2)、透力し情報とフレーム表示時刻と透かしパターン切り替え情報を用いて、透かしパターンを生成する (ステップ C3)。電子透かし埋め込み装置は、透かしパターンをフレーム画像以下のサイズにスケール変更してフレーム画像の内部に重畳し (ステップ C4)、ステップ C2〜ステップ C4を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する (ステップ C5

) o [0084] 図 5Bに、実施の形態の概要 Cの電子透かし検出方法のフローチャートを示す。この方法は、動画像力も電子透力を検出する電子透かし検出装置における電子透かし検出方法であって、まず、フレーム画像を順次取得する (ステップ C6)。電子透かし検出装置は、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し (ステップ C7)、差分画像から検出対象領域を抽出して検出対象領域画像を生成する (ステップ C8)。そして、電子透かし検出装置は、検出対象領域画像からの電子透かし検出を行って、電子透力しの検出状況を出力し (ステップ C9)、検出状況により電子透かし検出処理を続行する場合は、新たなフレーム画像を取得し直し、上記の処理を繰り返す (ステップ C10)。

[0085] 図 6Aに、実施の形態の概要 Cの電子透力し埋め込み装置の構成図を示す。この電子透かし埋め込み装置は、動画像データの各フレーム画像及びフレーム表示時刻を順次取得するフレーム画像取得手段 C110と、入力された透力情報と透かしパターン切り替え情報とフレーム表示時刻とを用いて、透かしパターンを生成する透かしパターン生成手段 C120と、透かしパターンをフレーム画像以下のサイズにスケール変更してフレーム画像の内部に重畳する透かしパターン重畳手段 C130と、上記処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段 C140と、を有する。

[0086] 図 6Bに、実施の形態の概要 Cの電子透かし検出装置の構成図を示す。この電子透かし検出装置は、フレーム画像を順次取得する動画像入力手段 C210と、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段 C230と、差分画像から検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出手段 C220と、検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段 C240と、を有する。

[0087] [第 1の実施の形態]

く電子透かし埋め込み装置〉

図 7は、本発明の第 1の実施の形態における電子透かし埋め込み装置の構成を示す。 [0088] 同図に示す電子透力し埋め込み装置 100は、フレーム画像取得部 110、透かしパターン生成部 120、透かしパターン重畳部 130、動画像データ再構成部 140を有している。

[0089] フレーム画像取得部 110には、原動画像データが入力され、透かしパターン生成部 120には、透力し情報と透かしパターン切り替え情報が入力される。また、動画像データ再構成部 140は、透かし入り動画像データを出力する

以下に、電子透かし埋め込み装置 100の動作を説明する。

[0090] 図 8は、本発明の第 1の実施の形態における電子透力し埋め込み装置の動作のフローチャートである。

[0091] ステップ 110) フレーム画像取得部 110は、図 9に示すように、原動画像データからフレーム画像及び当該フレーム表示時刻を一枚ずつ順次取得する。ここで、フレーム表示時刻とは、例えば、タイムコードと再生時のフレームレートから定まる動画像の先頭からの絶対的な時刻を表すものでもよいし、あるいは、フレーム毎に付与される通し番号など、再生時のフレーム間の相対的な時間間隔が測れるようなものでもよ、。フレーム画像取得部 110は、入力動画像データが MPEGなどの符号ィ匕データである場合は、復号を行ってフレーム画像を取得する。

[0092] ステップ 120) 透かしパターン生成部 120には、透力し情報と透かしパターン切り替え情報が入力され、透かし情報、フレーム表示時刻、透かしパターン切り替え情報を用いて透かしパターンを生成する。

[0093] ステップ 130) 透かしパターン重畳部 130において、透かしパターン生成部 120で生成された透かしパターンを前述のフレーム画像に重畳して透かし入りフレーム画像を生成する。

[0094] ステップ 140) 最後に、動画像データ再構成部 140において、順次生成される透かし入りフレーム画像の列を、動画像データとして再構成して透かし入り動画像データとして出力する。この際、必要ならば MPEGエンコードなどの符号ィ匕を行ってもよい

[0095] 次に、透かしパターン生成部 120について詳細に説明する。

[0096] 図 10は、本発明の第 1の実施の形態における透かしパターン生成部の構成を示す [0097] 透かしパターン生成部 120は、基本透かしパターン生成部 121と、透かしパターン切り替え部 122を有する。

[0098] 図 11は、本発明の第 1の実施の形態における透かしパターン生成部の動作のフロ一チャートである。

[0099] ステップ 121) 基本透かしパターン生成部 121は、透かレ f青報が入力されると、当該透力し情報を 2次元パターンである基本透かしパターンに変換する。

[0100] この変換の仕方は、図 12に示すように、通常の静止画向け電子透力し技術で用いられている方法、例えば、「中村、片山、山室、曽根原：「カメラ付携帯電話機を用いたアナログ画像からの高速電子透かし方式」、信学論 (D-II)、 Vol. J87-D-II, No.12, pp.2145-2155, 2004年 12月」（以下、文献 1と記す）に記載されている方法を用いることができる。その方法には、透かレ f青報のビット値を拡張系列によって直接スぺクトラム拡散変調して得られる系列の値に応じて、画素値の大小を対応付ける方法（図 12 ：変調方法 (A— 1) )、ブロックの波形パターンを切り替える方法 (図 12：変調方法 (A 2) )、あるいは系列の項の値を 2ブロックに対応付けて画素値の変化の有無で値を表す方法 (図 12：変調方法 (A— 3) )、波形パターンの位相変化の有無で表す方法（図 12 :変調方法 (A— 4) )などがある。なお、（図 12 :A— 3) , (図 12 : A— 4)のような変調の際には、系列の項に対応する 2ブロックの位置を、 1ブロックずつずらしてダブらせながら変調できる。

[0101] あるいは、図 13の例に示すように、透かし情報をある程度の長さのシンボルに区切り（図 13では、 1ビットずつ 1シンボルとして区切っている）、各シンボルの取り得る値毎に異なる独立な拡散系列を対応付け、それらを連結、あるいは、重畳して多重化（図示せず)して得られる系列の値を、図 12の場合と同様に 2次元パターンに変換する、といったやり方も考えられる。なお、これらの基本透かしパターンは、カメラキヤプチヤ時の解像度が低くなる場合も考慮して、ブロックの大きさを大きくとったり、波形パターンを低周波パターンとしておくことが望ましい。また、図 12及び図 13では、透力し情報をスペクトラム拡散変調した結果を直接画素パターンィ匕しているが、文献 2「T. Ν akamura, H. Ogawa, A. fomioka, Y. Ί akashima, Improved digital watermark robust ness against translation and/ or cropping of an image area", IEICE Trans. Fundamen tals, vol. E83-A, No.l, pp.68- 76, Jan. 2000」（以下、文献 2と記す）のように周波数空間で同様に行い、逆直交変換で画像パターンィ匕してもよい。いずれにせよ、画像に対して加法的に重畳されるタイプの電子透力し方式であればどのようなものでも構わない。

[0102] 以下、説明のため、基本透かしパターンの各画素値は正負の値を持ち、画素値の平均値は 0であるものとする。任意の基本透かしパターンの平均値をシフトすれば、このようにすることが容易であるのは自明である。

[0103] ステップ 122) 透かしパターン生成部 120は、続いて透かしパターン切り替え部 12 2において、フレーム表示時刻とパターン切り替えの情報の関係から、基本透かしパターンの位相反転の要否を判定する。

[0104] ステップ 123) 位相反転が必要である場合は、基本透かしパターンの位相を反転し、透かしパターンとして出力する。

[0105] ステップ 124) 位相反転が不要な場合は、基本透かしパターンをそのまま透かしパターンとして出力する。

[0106] 図 14A〜Cは、本発明の第 1の実施の形態における透かしパターン切り替え情報の例を示す。透かしパターン切り替え情報は、動画像の再生時の時間軸に対して基本透かしパターンの位相をどのように変更するかを表す情報であり、図 14Aのように一定時間で基本透かしパターンが反転するように指示したり、図 14Bのようにある時間単位でランダムに反転するように指示したり、あるいは、図 14Cのように複雑なタイミングで反転するように指示することもできる。ランダム切り替えなど、複雑なパターンを用いることで解析が困難となるから、著作権保護などセキュリティ目的で本発明を用いる場合、電子透かしに対する攻撃に対して安全性が増す。なお、図 14A〜Cの例は、位相 0と πの 2値を矩形的にとるケースのみを示している力例えば、サイン力ーブなど、滑ら力に位相が変化するものを用いてもよい。

[0107] 図 15は、本発明の第 1の実施の形態における透かしパターン切り替え部の処理を説明するための図である。同図では、前述の変調方法 (Α— 1)を用いた場合について示す。透かしパターン切り替え部 122は、透かしパターン切り替え情報とフレーム表示時刻、基本透かしパターンを入力とし、図 15のように透かしパターン切り替え情報が 1Z10秒毎に反転を指示するようなものであったとする。また、原動画像は、 30 フレーム Z秒で再生されるものとすると、 3フレームおきに位相反転することとなる。このときフレーム画像取得部 110で取得したフレーム表示時刻 tを透かしパターン切り替え情報の時間軸上にとったときに、透かしパターン切り替え情報で表される位相は πとなっているとすると、この場合は、基本透かしパターンの位相を反転したものを当該フレーム表示時刻に対する透かしパターンとする。

[0108] なお、基本透かしパターンは正負の画素値を持ち、平均値が 0であるので、位相反転は各画素値に 1を掛け算することによって得られる。また、フレーム表示時刻 t'を透かしパターン切り替え情報の時間軸上にとったときの位相が 0である場合は、基本透かしパターンの位相変化量を 0、すなわち変化を与えず、そのまま透かしパターンとして出力する。

[0109] なお、図 16に示すように、透かしパターン切り替え部 122における位相変調は画素値の振幅に対して行われるものであるので、例えば、変調方法 (A— 2)のようにブロック毎に波形パターンを用いた基本透かしパターンの場合は、波形の向きは変化せず、画素値が反転する形となる。また、透かしパターン切り替え情報で表される透かしパターンの位相変化は、透かし入り動画像の画質劣化を抑えるため、ある程度の時間区間（例えば、 1秒間）の範囲で、正位相と逆位相への偏りがないことが望ましい。即ち、図 14のグラフ表示の横軸を位相偏り 0として時間区間で積分した値が 0となることが望ましい。

[0110] 反転 *非反転のみの透かしパターン切り替えの場合について言えば、時間区間内の反転，非反転の時間の合計が略同じとなるようにすることが望ましい。

[0111] 次に、透かしパターン重畳部 130について詳細に説明する。

[0112] 図 17は、本発明の第 1の実施の形態における透かしパターン重畳部の処理を説明するための図である。

[0113] 透かしパターン重畳部 130は、フレーム画像と、当該フレーム表示時刻に基づいて生成された透かしパターンを入力する。透かしパターン重畳部 130では、まず、透かしパターンをフレーム画像のサイズまで引き伸ばして、その後フレーム画像に加算して、透かし入りフレーム画像を得る。加算の前に透かしパターンの振幅を適宜増減してから加算することで、電子透力しの耐性と画質劣化のトレードオフバランスを調整することも可能である。また、透かしパターンをフレーム画像に加算する際に、どのような成分に加算する力も様々な態様が有り得る。例えば、フレーム画像の輝度値に加算する、あるいは、 RGB表色系の Blue成分に加算する。 CMYK表色系の Yellow成分に加算する。 HSV表色系の Hue成分に加算する、 YCbCr表色系の Cb成分に加算するなど、様々である。また、透かしパターンの 1画素が一つの値ではなぐ 2つの値を持つような、複数成分を利用する透かしパターンの場合も有り得るが、その場合は、例えば、 RGB表色系の Red成分及び Green成分に透かしパターンの各プレーンの画素値をそれぞれ加算するなどして複数の成分を変更することも有り得る。

[0114] 最後に、動画像データ再構成部 140について詳細に説明する。

[0115] 動画像データ再構成部 140は、上記の処理により順次生成される透かし入りフレーム画像を動画像データとして再構成して透かし入り動画像データとして出力する。再構成の際には、 MPEGエンコードなどの符号ィ匕を行ってもよい。

[0116] 以上が本実施の形態における透力し埋め込み装置 100の説明である。

[0117] ここで、本実施の形態の利用シーンについて説明する。

[0118] 図 18は、本発明の第 1の実施の形態における利用シーンを説明するための図である。

[0119] 上記で説明した透かし入り動画像データ力例えば、テレビ放送などによってテレビ表示装置上で再生されている（1)。視聴者が視聴番組に関連する情報サービスを利用する際には、例えば、カメラ付携帯電話機などのカメラをテレビの表示画面に向けて撮影を始める（2)。撮影によって携帯電話機上にビデオフレームがリアルタイムに順次キヤプチャ入力され、このフレーム群力も電子透力しの検出を行う（3)。検出した電子透力しの情報を元に、例えば、ネットワーク上の情報資源を取得するなどの関連情報サービスを利用することができる (4)。

[0120] く電子透かし検出装置〉

次に、電子透かし検出装置について説明する。

[0121] 図 19は、本発明の第 1の実施の形態における電子透かし検出装置の構成を示す。 [0122] 同図に示す電子透かし検出装置 200Aは、動画像入力部 210、検出対象領域抽出部 220、差分画像生成部 230、電子透かし検出部 240、検出対象領域画像バッファ 250を有している。動画像入力部 210には、テレビなどにディスプレイ表示されたァナログ動画像、あるいは、 MPEGエンコードされたディジタル動画像が入力され、電子透かし検出部 240は、検出結果を出力する。

[0123] 図 20は、本発明の第 1の実施の形態における電子透かし検出装置の動作のフローチャートである。

[0124] ステップ 201) 動画像入力部 210において、アナログまたはディジタル動画像が入力されると、順次フレーム画像を取得する。アナログ動画像の入力の際は、カメラゃスキヤナ、あるいは、アナログビデオ信号などが入力され、フレーム画像を取得し、また、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。

[0125] ステップ 202) 次に、検出対象領域抽出部 220において、順次入力される各フレーム画像中の透かし検出の対象となる検出対象領域を抽出して、検出対象領域画像を取得する。

[0126] ステップ 203) 次に、差分画像生成部 230において、現在取得した検出対象領域画像と検出対象領域画像バッファ 250に蓄積されている以前に取得した検出対象領域画像との差分画像を生成する。

[0127] ステップ 204) また、差分画像生成部 230は、次の検出試行に備えて、検出対象領域画像バッファ 250に今回の検出対象領域画像をバッファリングしておく。

[0128] ステップ 205) 電子透かし検出部 240において、差分画像力も電子透かし検出を試み、検出結果を出力する。電子透かし検出が成功しな力つた場合は、動画像入力部 210において、次のフレーム画像を取得し、上記の処理を順次繰り返す。

[0129] 次に、検出対象領域抽出部 220の処理を詳細に説明する。

[0130] 図 21は、本発明の第 1の実施の形態における検出対象領域抽出部の処理を説明するための図である。

[0131] 検出対象領域抽出部 220は、フレーム画像を入力とする。図 21では、カメラ入力の例を示す。カメラ入力の場合、撮影角度によって生じる平面射影変換や、手振れなどによってフレーム画像中の検出対象領域が様々な形で幾何歪みを被って変化する。そのため、検出対象領域抽出部 220では、キヤプチヤしたフレーム画像毎に TVの表示領域などを、例えば、「片山、中村、山室、曽根原：「電子透力読み取りのための i アプリ高速コーナー検出アルゴリズム」、信学論（D- II) , Vol. J88-D-II, No. 6, pp.103 5-1046, 2005年 6月」（以下、文献 3と記す)のような縁検出'コーナー検出などの手法によって検出する。続いて行う差分画像生成のために、検出した表示領域の平面射影歪みを補正し、さらに画像サイズを正規化して一定としたものを検出対象領域画像として出力する。なお、 NTSCなどのアナログビデオ信号入力や、 MPEGなどのディジタル動画像入力の場合には、フレームに生じる歪みや、フレーム画像中の一部のみを切り出すといった処理は不要であり、フレーム画像をそのまま検出対象領域画像として出力すればよい。

[0132] 次に、差分画像生成部 230について詳細に説明する。

[0133] 図 22は、本発明の第 1の実施の形態における差分画像生成部の処理を説明するための図である。

[0134] 差分画像生成部 230は、検出対象領域画像を入力とする。差分画像生成部 230 は、現在入力された検出対象領域画像と、検出対象領域画像バッファ 250に蓄積されている、以前に取得した検出対象領域画像の差分画像を生成する。最も簡単には、直前の検出対象画像がバッファリングされており、差分対象とすることが考えられる力検出対象領域画像には複数の画像がバッファリングされており、適宜差分対象を選んで差分画像を生成するとしてもよい。また、次の検出試行に備えて、検出対象領域画像バッファ 250に今回の検出対象領域画像をバッファリングしておく。この際、検出対象領域画像バッファ 250中の時間的に古くなつた検出対象領域画像は破棄してもよい。

[0135] なお、最初の検出対象領域画像が入力されたタイミングでは、検出対象領域画像ノッファ 250は空である力この場合は差分をとらずに最初の検出対象領域画像自体を差分画像として出力して電子透かし検出を試みてもよいし、あるいは電子透かし検出をスキップして次のフレームキヤプチャ処理を行ってもよい。

[0136] 次に、電子透かし検出部 240について詳細に説明する。

[0137] 電子透かし検出部 240は、差分画像を入力とし、差分画像から電子透かし検出を試みる。

[0138] 図 23は、本発明の第 1の実施の形態における電子透かし検出部の処理の例を説明するための図である。同図は、電子透力し埋め込み時の変調方法 (B— 1)に対応する検出時の復調方法である。

[0139] まず、差分画像の埋め込みに用いた成分チャネルを取り出す。それが輝度であるとすると輝度成分、を取り出す。そして、埋め込み時の透かしパターンのブロックの個数に差分画像をブロック分割する。

[0140] 次に、ブロック内の輝度値の合計を求め、ブロック順に並べて一次元の系列である検出対象系列を得る。変調情報 (B— 2)のような場合は、ブロック内の波形パターンのエネルギーを求め、複数の波形パターンのうちどのパターンが支配的かという指標値を算出して一次元に並べる（文献 1)。

[0141] 次に、埋め込み時には 1ビットシンボルを系列の区間毎に変調していたことに対応して、検出対象系列のシンボル位置毎の区間を取り出し、各区間についてシンボル値〃 0〃を表す拡散系列及び〃 1〃を表す拡散系列との相関演算を行う。各シンボル位置につ、て相関値 (の絶対値）が最大となるシンボル値が検出した透力し情報となる。図 23の例では、 1シンボル目力〇"、 2シンボル目が" 1"、が検出した透力し情報となる。また、この際に得られた相関値 (の絶対値)が予め定めた閾値以上となるなど、十分に大きい場合は電子透力しの検出に成功したとする。なお、変調方法 (A— 1) 〜 (A— 4)の検出方法については、文献 1のように相関値の正負でビット値を決定すればよい

電子透かし検出部 240で電子透力しの検出が成功した場合には、検出した透かし情報を出力して検出処理を終了して関連情報サービスの提供に状態遷移してもよいし、め O ヽは、「J. Re imoto, Y. Ayatsuka, し yberし ode: Designing Augmented Realit y Environments with Visual Tags", Designing Augmented Reality Environments (DA RE 2000), 2000年」（以下、文献 4と記す)等のように、撮影画像と CG (コンピュータグラフイクス)などを合成する拡張現実感的なアプリケーションの場合は、続けて連続的に電子透かし検出を続けてもよい。電子透かし検出に成功しな力つた場合は、引き続き動画像入力部 210のフレームキヤプチャ処理に復帰し、検出試行を繰り返す。あるいは、動画像の入力が終了したら検出処理を終了する。

[0142] く本実施の形態の効果〉

本実施の形態によれば、動画像への電子透力し埋め込みの際に、フレーム毎に透かしパターンを切り替えて埋め込みを行うことによって、単純にフレーム画像に静止画アルゴリズムの適用を繰り返すことで固定の透かしパターンが埋め込まれるような埋め込み方と比較して、固定パターンを避けることができるので画質劣化を低く抑えることができる。特に、切り替え速度が高速な場合、人間の視覚特性においては時間周波数が高い場合は視覚感度が低下するという時間周波数特性に関する知見を適用すれば、画質劣化がより知覚しにくくなる（「樋渡編、画像工学ノ、ンドブック、朝倉書店、 ISBN4-254-20033-1, pp.10-56, 1986年」（以下、文献 5と記す））。

[0143] また、電子透かし検出処理においては、キヤプチャされたフレーム画像の時間差分をとり差分画像からの電子透かし検出を行っている。図 24に示すように、一般に動画像は時間方向のフレーム間相関が高いことが知られており、差分をとることで激しい動きを伴う部分などを除いて原画像成分の大半はキャンセルされる。これと同時に、透かしパターンが逆転して!/、る 2つのフレーム間の差分の場合は、埋め込み時の透力しパターンの振幅の倍の振幅の透かしパターンが得られることとなる。これによつて画像に対して加法的に透かしパターンを重畳するタイプの電子透力し方式共通の課題であった、透かし信号に対する大きな雑音成分である原画信号を抑圧し、さらに透かし信号の振幅を倍にすることができるので、検出時の透かし信号の SZN比を大幅に向上することができ、電子透力しの耐性が向上する

さらに、差分画像を生成する前に、キヤプチヤしたフレーム画像中の検出対象領域抽出を行い、歪みを補正し、正規化することで、カメラ入力のように撮影角度による平面射影変換歪みや、カメラの移動、視点移動などに伴う平行移動など、キヤプチャフレーム中の検出対象領域の様々な歪み要因をキャンセルでき、カメラ入力からの電子透かし検出を実現することができる。さらに、この補正を各キヤプチャフレーム毎に対して行うことで、カメラを手で持っているような場合に生じるカメラ自体の移動に伴う撮影フレーム毎の異なる歪み要因をキャンセルことができるため、差分画像生成によつて確実に原画信号を抑圧することができ、カメラ付携帯電話機を手で持って撮影するような場合でも問題なく検出成功することが可能である。

[0144] [第 2の実施の形態]

本実施の形態では、電子透かし検出装置について説明する。

[0145] 本実施の形態は、以下に説明する部分を除いて、前述の第 1の実施の形態と同一である。

[0146] 図 25は、本発明の第 2の実施の形態における電子透かし検出装置の構成を示す。

同図に示す電子透かし検出装置 200Bは、前述の第 1の実施の形態における図 15 の構成に検出要否判定部 260を付加した構成である。

[0147] 図 26は、本発明の第 2の実施の形態における電子透かし検出装置の動作のフローチャートである。

[0148] ステップ 301) 電子透かし検出装置 200Bの動画像入力部 210は、アナログまたは、ディジタル動画像を入力し、順次フレーム画像を取得すると同時に、当該フレーム表示時刻を取得する。フレーム表示時刻は、例えば、 MPEGエンコードされた動画像などの場合ではタイムコードやフレームレートなどを元に取得できる。カメラなどの場合は表示系との同期が取れないことが考えられる。この場合は動画像入力部 210 内にタイマを持ち、キヤプチャ時の時刻を取得する、あるいは直前のキヤプチヤからの遅延時間を取得するなどの方法で当該キヤプチャフレームのフレーム表示時刻を得ることができる。

[0149] ステップ 302) 次に、検出対象領域抽出部 220において、順次入力される各フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域を取得する。

[0150] ステップ 303) 次に、検出要否判定部 260において、現在取得した検出対象領域画像に対応するフレーム表示時刻と、検出対象領域画像バッファに蓄積されている以前に取得した検出対象領域画像に対応するフレーム表示時刻を、埋め込み時と同じ透かしパターン切り替え情報を参照しながら比較し、 2枚の検出対象領域画像中の透かしパターンが同相となっている場合は検出不要とし、ステップ 304の処理に移行する。同相でな、と判定した場合はステップ 305に移行する。

[0151] ステップ 304) 検出不要である場合は、検出対象領域画像バッファ 250に今回の検出対象領域画像及び対応するフレーム表示時刻をバッファリングした上で動画像入力部 210のキヤプチャ処理に復帰する（ステップ 301に移行する）。

[0152] ステップ 305) 差分画像生成部 230に今回の検出対象領域画像を送る。差分画像生成部 230は、現在取得した検出対象領域画像と、検出対象領域画像バッファ 2 50に蓄積されている以前に取得した検出対象領域画像との差分画像を生成する。

[0153] ステップ 306) また、差分画像生成部 230は、次の検出試行に備えて、検出対象領域画像バッファ 250に今回の検出対象領域画像及びフレーム表示時刻をバッファリングしておく。この際、検出対象領域画像バッファ中の時間的に古くなつた検出対象領域画像及びフレーム表示時刻は破棄するなどしておく。

[0154] ステップ 307) 続いて、電子透かし検出部 240において、差分画像力の電子透かし検出を試み、検出結果を出力する。

[0155] ステップ 308) 電子透かし検出が成功したかを判定し、成功しな力つた場合は、動画像入力部 210において次のフレーム画像を取得して上記の処理を順次繰り返す（ステップ 301に移行する）。成功した場合には、処理を終了する。

[0156] 上記の検出要否判定部 260は、フレーム表示時刻、検出対象領域画像、透かしパターン切り替え情報を入力とする。検出要否判定部 260は、現在取得した検出対象領域画像に対応するフレーム表示時刻と、検出対象領域画像バッファ 250に蓄積されている以前に取得した検出対象領域画像に対応するフレーム表示時刻を、埋め込み時と同じ透かしパターン切り替え情報を参照しながら比較し、 2枚の検出対象領域画像中の透かしパターンが同相となっている力否かで検出要否を判定し、検出不要の場合は、動画像入力部 210のキヤプチャ処理に復帰する。検出要と判定した場合は差分画像生成部 230に検出対象領域画像を送る。

[0157] 図 27は、本発明の第 2の実施の形態における検出要否判定部の処理を説明するための図である。

[0158] 例として、透かしパターン切り替え情報が「1Z10秒毎に切り替え」であり、動画像は 30フレーム Z秒で再生されているとする。また、検出対象領域画像バッファ 250に蓄積されて、る以前のフレームのフレーム表示時刻を tとする。今回取得したフレーム表示時刻が tOまたは tlの場合は、 t0— t= 3Z30秒、あるいは、 tl t= 5Z30秒はそれぞれ ΐΖΐο秒毎反転において透かしパターンが逆相になることを表し、差分画像からの電子透かし検出可能性が高いことがわ力るため、「検出要」と判定する。また、今回取得したフレーム表示時刻が t2の場合は、 t2— t=6Z30秒が 1Z10秒毎反転にお、て透かしパターンが同相になることを表し、差分画像からの電子透かし検出可能性が低いことがわ力るため、「検出不要」と判定する。

[0159] この例のように、フレーム表示時刻は動画像の先頭力もの絶対時間である必要はなぐ再生されている動画像のキヤプチャタイミング間の遅延時間が得られればよい。

[0160] く本実施の形態の効果〉

本実施の形態によれば、第 1の実施の形態の効果に加え、検出要否判定を行うことで無駄な電子透かし検出処理を省くことで効率的な検出処理を行うことができる。図 28A、 Bに示すとおり、キヤプチヤのタイミングを評価して透かしパターンが逆相となつている場合のみ差分画像を生成して検出試行を行うので、検出が困難な同相の場合を避けることができ、無駄な検出試行を省くことができる。処理量を減らした分は、キャプチヤのフレームレートを高めることによる検出性能向上や、ユーザインタフェースを高度化するなどによって検出装置の利便性を向上させるといった効果が得られる。

[0161] [第 3の実施の形態]

[0162] 本実施の形態は、以下に説明する部分を除いて、第 1の実施の形態と同一である。

[0163] 図 29は、本発明の第 3の実施の形態における電子透かし検出装置の構成を示す。

[0164] 同図に示す電子透かし検出装置 200Cは、第 1の実施の形態における図 19の構成に、キヤプチャタイミング制御部 270を付加した構成である。

[0165] キヤプチャタイミング制御部 270は、透かしパターン切り替え情報を入力とし、キヤプチヤタイミング信号を動画像入力部 210に送る。また、差分タイミング信号を差分画像生成部 230に送る。

[0166] 図 30は、本発明の第 3の実施の形態における電子透かし検出装置の動作のフローチャートである。

[0167] ステップ 401) 動画像入力部 210は、キヤプチャタイミング制御部 270から入力されたキヤプチャタイミング信号で指定されるキヤプチャ時間間隔でアナログまたはディジタル動画像を入力し、順次フレーム画像を取得する。

[0168] ステップ 402) 検出対象領域抽出部 220において、順次入力される各フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。

[0169] ステップ 403) 次に、差分画像生成部 230において現在取得した検出対象領域画像と、検出対象領域画像バッファ 250に蓄積されている、差分タイミング信号で示される時間的に前の検出対象領域画像との差分画像を生成する。

[0170] ステップ 404) また、差分画像生成部 230は、次の検出試行に備えて、検出対象領域画像バッファ 250に今回の検出対象領域画像をバッファリングしておく。

[0171] ステップ 405) 続いて、電子透かし検出部 240において、差分画像力の電子透かし検出を試み、検出結果を出力する。

[0172] ステップ 406) 電子透かし検出が成功しな力つた場合は、動画像入力部 210において、次のフレーム画像を取得して、上記の処理を順次繰り返す (ステップ 401に移行する）。成功した場合は処理を終了する。

[0173] 図 31は、本発明の第 3の実施の形態におけるキヤプチャタイミング制御部の処理を説明するための図である。例として透かしパターン切り替え情報が「1Z10秒毎に切り替え」であり、動画像は 30フレーム Z秒で再生されているとする。この場合は、キヤプチヤタイミング信号を 1Z10秒毎に発信し、それを受信した動画像入力部 210で 1 Z10秒間隔でキヤプチャを行うようにする。あるいは、最初に「1Z10秒間隔でキヤプチヤすること」という情報をキヤプチャタイミング信号として送り、動画像入力部 210 内部でタイミングを取りながら lZio秒間隔でキヤプチャ動作をするようにしてもよい

[0174] また、差分タイミング信号として、「1Z10秒 (の奇数倍)離れた検出対象領域画像の差分をとる」という指示を差分画像生成部 230に送るものとする。カメラ入力などの場合、キヤプチヤの時間間隔だけを指定したとしても実際にキヤプチャされるフレーム群が異なるケースが有り得る（図 31のキヤプチャ例 Aとキヤプチャ例 Bの違い）。しかし、どちらのキヤプチャ例の場合も、 1Z10秒毎のキヤプチヤによって必ず逆相の透かしパターンが埋め込まれたフレームを交互にキヤプチャ可能である。これによつて連続するどの 2枚の差分からも電子透かし検出の可能性が高いようにできる。つまり、キャプチヤの開始タイミングによらない。

[0175] また、図 32に示すように「1Z30秒間隔でキヤプチヤし、差分は lZlO (の奇数倍）離れた検出対象領域画像間で行う」ように指示を行!ヽ、検出対象領域画像バッファ 2 50には、 1Z30秒でキヤプチャされたフレーム力得られた直近 3枚分の検出対象領域画像力 Sバッファリングされているとすると、 1Z30秒毎に入力される新たな検出対象領域画像と、 1Z10秒前、即ち、 3枚前の検出対象領域画像との差分を順次とることで、毎回の透かし検出試行において、検出可能性が全て高いようにできる。

[0176] なお、入力が MPEGなどのディジタルの場合や、アナログビデオ信号など、入力のフレーム表示時刻を正確に得られる場合は、同期を合わせることができるのは自明であるので、上記と同様の処理によって各検出試行で検出可能性が高くなるようにできる。

[0177] く本実施の形態の効果〉

本実施の形態によれば、第 1の実施の形態の効果にカ卩え、図 33A、 Bに示すように、透かしパターン切り替えタイミングと同期をとつたタイミングでキヤプチャ及び差分画像生成を行うことにより、常に透かしパターンが逆相となるものについての差分をとつて検出を行うことができるので、全ての検出試行で透かしパターンが強調された差分画像からの検出となり、検出可能性を高くすることができる。これにより、検出可能性の低い無駄な試行を行うことがなくなるので、電子透かし検出に至るまでに必要な時間を短縮でき、キャップチヤを開始してから素早く検出を成功させることができる。また、拡張現実感的なアプリケーションなど、透かし検出が成功しても検出を続行する場合は、検出成功状態が途切れることなく持続するので、ユーザインタフェースが改善され、利便性が向上するという効果も得られる。

[0178] [第 4の実施の形態]

本実施の形態では、透かしパターンの位相の反転によって検出された透力し情報のビットが反転するタイプの変調方法を用いた場合でも正し、透力情報を検出するための方法にっ、て説明する。

[0179] 本実施の形態は、以下に説明する部分を除いて、第 1〜第 3の実施の形態と同様である。

[0180] 図 34A、 Bは、本発明の第 4の実施の形態における基本透かしパターン生成部の処理内容を示す。同図は、第 1の実施の形態における図 10に示す電子透力し埋め込み装置 100の透かしパターン生成部 120の基本透かしパターン生成部 121の処理内容を示している。

[0181] 第 1〜第 3の実施の形態における基本透かしパターン生成部 121では、入力された透力し情報のみを基本透かしパターンに変調していた。本実施の形態では、入力された透力し情報に、透力し情報のビット反転判定用のフラグビットを 1ビット追加して基本透かしパターンを生成する。あるいは、第 1の実施の形態乃至第 3の実施の形態と比較して透力し情報のビット長を 1ビット少ないものを想定してビット反転判定用のフラグビットを追加し、第 1乃至第 3の実施の形態と同じビット長の情報を元に基本透かしパターンを生成するとしてもよい。図 34の例では、ビット反転判定用のフラグビットとしてビット値 "0 "が正位相、即ち、ビット反転なしを表すものとして付加される。

[0182] 図 35は、本発明の第 4の実施の形態における電子透かし検出部の動作のフローチヤートである。

[0183] ステップ 501) 電子透かし検出部 240は、差分画像を入力として、まず、第 1乃至第 3の実施の形態の場合と同様に差分画像からの電子透かし検出を試みる。

[0184] ステップ 502) 電子透力しが検出できた場合は、ステップ 504に移行し、検出できな、場合はステップ 503に移行する。

[0185] ステップ 503) 検出できない場合は、次のフレームキヤプチヤに復帰する。

[0186] ステップ 504) 電子透力しが検出できた場合、検出した情報中のビット反転判定フラグの値を見て、その値が正位相を表すものであるかどうかを評価する。正位相を表すものである場合は、ステップ 506に移行し、逆位相を表す場合はステップ 505に移行する。

[0187] ステップ 505) ビット反転判定フラグが逆位相を表すものであった場合は、ビット反転判定フラグを除いた情報のビットを反転したものを検出した透かレ f青報として検出結果を出力する。

[0188] ステップ 506) 正位相を表すものであった場合は、検出情報力もビット反転判定用フラグを除いた情報を検出した透力し情報とし、検出結果を出力する。

[0189] なお、第 3の実施の形態のように、埋め込み時の透かしパターン切り替え情報と、キャプチヤ時のフレーム表示時刻を用いることで、現在の差分画像中の透かしパターンの位相を判定することも可能であるのは明らかである。

[0190] く本実施の形態の効果〉

本実施の形態の効果を図 36〜図 38を用いて説明する。

[0191] 電子透かし埋め込み時の変調方法が第 1の実施の形態で述べた図 12の変調方法

(A— 1)の場合、検出の際には差分画像の画素値から検出対象系列を得て、これと拡散系列との相関をとつて、相関値の正負でビット値 "0"、〃1"を検出することになる。図 36に変調方法 (A—1)の場合の復調を説明する。変調によって得られた基本透かしパターンは適宜位相を反転して動画像のフレーム画像に埋め込まれる。透かし入り動画像が符号ィ匕されたり、アナログ表示をキヤプチヤしたりする過程で埋め込まれた透かしパターンには様々なノイズが加わることになるので、差分画像から得られる検出対象系列は、埋め込み時の変調された透力情報と比較して信号が変化して、る。しかし、埋め込み時に用いた拡散系列との相関をとれば、ビット" 1Ίこ相当する区間の相関値は正の大きな値を取り、ビッド 0"に相当する区間の相関値は負の大きな値を取るはずである。これによつて埋め込まれたビット情報の復調を行うことになる。

[0192] し力しながら、図 37に示すように、基本透かしパターンの位相は、透かしパターン切り替え部 122によって時間方向で正位相 ·逆位相に切り替えられて、るので、例えば、図 37の (ィ）と（口）のフレーム力得られる差分画像を考えると、（ィ）には基本透かしパターンの逆相、（口）には基本透かしパターンの同相が埋め込まれているので、（口） - (ィ)で得られる差分画像は基本透かしパターンとして同相、即ち正位相となり、透力し情報は正しく検出できる。し力しながら、キヤプチヤのタイミングによっては (ハ）と（二）のフレーム力もの差分画像のケースも有り得る。この場合 (ハ）は基本透かしパターンと同相、（二）は基本透かしパターンと逆相であるため、差分画像は基本透かしパターンの逆相の形となる。このとき、透かし検出を行うと、図 36で述べた検出対象系列の各項の値が正負逆転しているため、相関値の符号が反転してしまう。即ち、透力し情報" 01"を埋め込んだにも関わらず、そのビット反転である" 10"を正しく検出、といった問題が生じる。

[0193] 本実施の形態は、この問題を避けるためのものであり、図 38のように埋め込まれて V、る透力し情報にビット反転判定フラグを追加して、る。これに検出時の透力し情報力 Sビット反転してしまっている力否かを判定できる。即ち、差分画像が基本透かしバターンと同相であるか逆相であるかを判定できる。検出情報のビット反転フラグが正位相を表す値だった場合にはそのままビット値で透力し情報とし、逆相を表す値となつている場合は、検出情報のビット値を反転して透力し情報とすることで、キヤプチヤで得られた 2枚のフレームの取り方によらず、常に正しい透力し情報を検出することができる。この方法は、極性利用型の変調方法であれば全て適用することが可能である。

[0194] なお、第 1の実施の形態で述べた変調方法 (A— 2)〜(A— 4)、（B— 2)〜(B— 4) については、差分画像の画素値 (の単純な総和）を元に検出対象系列を構成するものではなぐ差分画像の取り方によらず常に一定の透力情報を検出できる。また、変調方法 (B— 1)のように、相関値の正負で情報を表すものではなぐどの拡散系列と大きな相関絶対値を取ったかによつて情報を変復調することが可能なタイプの変調方法では、差分画像が正位相の場合は正の相関値、逆相の場合は負の相関値が出ることについては (A— 1)と同様である力相関値の絶対値が大きいものを検出シンボルとすれば差分画像が正位相あるいは逆相であっても、常に問題なく検出ができるため、このような工夫は必要ない。まとめると以下のようになる。

[0195] 〈2次元パターン変復調の種別〉

(1)パターン振幅利用型:画像中のパターンの振幅を元に検出対象系列を構成するため、差分画像が反転すると検出対象系列が反転する (変調方法 (A— 1) , (B- 1 ) )

(2)パターン形状利用型:画像中のパターン形状を元に検出対象系列を構成するため、差分画像が反転しても検出対象系列が反転しな、 (変調方法 (A— 2)〜 (A— 4)、変調方法 (B— 2)〜(B— 4) )

くスペクトラム拡散変復調の種別〉

(a)極性利用型：拡散系列との相関値の正負の極性で情報を表現して、る方法（変調方法 (A— 1)〜(A— 4) ) (b)極性非利用型:複数の拡散系列のうちの最大絶対相関値をとる系列の種類によって情報を表現して、る方法 (変調方法 (B— 1)〜 (B— 4) )

差分画像が反転した場合にビット値が反転するのは（1)かつ（a)、すなわち例示した中では変調方法 (A— 1)の場合のみである。

[0196] [第 5の実施の形態]

本実施の形態では、第 4の実施の形態にぉヽて用いた位相判定用フラグを用いずに位相同期信号の多重透かし埋め込みを用いる例を説明する。

[0197] 本実施の形態は、以下に説明する部分を除いて、前述の第 1乃至第 3の実施の形態と同一である。

[0198] 図 39は、本発明の第 5の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。同図は、電子透力埋め込み装置 100における透かしパターン生成部 120の基本透かしパターン生成部 121の処理の内容を示す。第 1 乃至第 3の実施の形態における基本透かしパターン生成部 121では、入力された透力し情報のみを基本透かしパターンに変調していた。本実施の形態では、入力された透力し情報のみではなぐ検出時の差分画像の透かしパターンの位相を特定するための位相同期信号も埋め込まれるように基本透かしパターンを生成する。

[0199] 図 39の例では、変調方法 (A—1)を用いて第 1乃至第 3の実施の形態と同様に、基本透かしパターン（甲）を得て、さらに、常に "0"の値を取る位相同期信号を変調方法 (B— 1)で変調して得られる基本透かしパターン（乙）を位相判定用透かしパターンとして生成し、両者を重畳によって多重化したものを基本透かしパターンとして埋め込みに用いることとする。

[0200] 本実施の形態における電子透かし検出装置 200における電子透かし検出部 240 の処理の流れにっ、て説明する。

[0201] 図 40は、本発明の第 5の実施の形態における電子透かし検出部の動作のフローチヤートである。

[0202] ステップ 601) 電子透かし検出部 240は、差分画像を入力として、まず、第 1乃至第 3の実施の形態の場合と同様に差分画像からの電子透かし検出を試みる。

[0203] ステップ 602) 電子透力しが検出できない場合は、ステップ 603に移行し、検出できた場合はステップ 604に移行する。

[0204] ステップ 603) 次のフレームキヤプチヤに復帰する。

[0205] ステップ 604) 電子透力しが検出できた場合は、位相同期信号の検出を試みる。

位相同期信号は変調方法 (B—1)で埋め込まれているので、"0 "を表す拡散系列との相関値の絶対値が大きければ位相同期信号を検出でき、相関値の正負の極性で差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相か逆相かを判定できる。

[0206] ステップ 605) 位相同期信号の検出時の相関値が正の場合は同相、負の場合は逆相と判定する。同相と判定した場合はステップ 606に移行し、逆相と判定した場合はステップ 607に移行する。

[0207] ステップ 606) 同相と判定した場合は、検出した透かレ f青報をそのまま検出結果として出力する。

[0208] ステップ 607) 逆相と判定した場合は、検出した透かレ f青報のビットを反転した上で検出結果として出力する。

[0209] く本実施の形態の効果〉

第 4の実施の形態では透力し情報の一部をビット反転判定用フラグとして用いたのに対し、本実施の形態では、差分画像中の透かしパターンの位相を判定するための位相同期信号を透力し情報と共に多重化して埋め込んでいる。この際、位相同期信号がパターン振幅利用型かつ、極性非利用型の変調により埋め込まれるので、検出時に極性を用いて差分画像中の透かしパターンの位相を判別することができる。これにより、第 4の実施の形態と同様にキヤプチヤで得られた 2枚のフレームの取り方によらず、常に正しい透力情報を検出することができる。

[0210] また、第 4の実施の形態と比較すると、ビット反転判定用フラグを用いないため、透力情報のビット長を 1ビット短くする必要がない。なお、パターン形状利用型であつても差分画像の反転を特定できるものなら位相同期信号埋め込みに用いても構わない。

[0211] [第 6の実施の形態]

本実施の形態では、差分画像中の透かしパターンの埋め込み時の基本透かしパターンと同相カゝ否かを判定し、必要に応じて位相反転して蓄積する例を説明する。

[0212] 本実施の形態では、以下に説明する部分を除いて、第 1〜第 5の実施の形態と同一である。以下、説明を簡易にするため、第 1の実施の形態との差分を述べる。

[0213] 図 41は、本発明の第 6の実施の形態における電子透かし検出部の構成を示す。

[0214] 同図に示す電子透かし検出装置 200の電子透かし検出部 240は、差分画像位相判定部 241と透力し情報検出部 242と差分画像蓄積バッファ 255から構成される。

[0215] 図 42は、本発明の第 6の実施の形態における電子透かし検出部の動作のフローチヤートである。

[0216] ステップ 701) 差分画像位相判定部 241は、差分画像が入力されると、入力された当該差分画像中の透かしパターンの位相を判別する。

[0217] ステップ 702) 差分画像位相判定部 241は、入力された差分画像中の透かしバターンの位相力埋め込み時の基本透かしパターンと同相か逆相かを判定する。同相であった場合はステップ 703に移行し、逆相であった場合はステップ 704に移行する

[0218] ステップ 703) 同相であった場合は、今回入力された差分画像をそのまま差分画像蓄積バッファ 255に加算し、ステップ 705に移行する。

[0219] ステップ 704) 逆相であった場合は、今回入力された差分画像を位相反転させて差分画像蓄積バッファ 255に加算する。

[0220] ステップ 705) 次に、透力し情報検出部 242において、差分画像蓄積バッファ 255 に蓄積された加算された差分画像からの透かレ f青報の検出を試みる。

[0221] ステップ 706) 検出に成功した場合はステップ 708に移行し、成功しなカゝつた場合はステップ 707に移行する。

[0222] ステップ 707) 成功しな力つた場合は動画像入力部 210において次のフレームキャプチヤを行う処理に復帰する。

[0223] ステップ 708) 成功した場合は、検出結果を出力する。

[0224] 次に、差分画像位相判定部 241につ、て説明する。

[0225] 図 43は、本発明の第 6の実施の形態における差分画像位相判定部の処理を説明するための図である。 [0226] 差分画像位相判定部 241は、差分画像が入力されると、当該差分画像中の透かしパターンの位相力、埋め込み時の基本透かしパターンと同相か逆相かを判定する。判定の方法としては、差分画像から第 4の実施の形態に示したビット反転判定フラグを検出し、その値で同相 Z逆相を判定する方法や、第 5の実施の形態に示した位相同期信号を検出し、その値で同相 Z逆相を判定する方法などが有り得る。あるいは、第 1の実施の形態の変調方法 (B—1)のような、パターン振幅利用型かつ、極性非利用型の変調を用いて透力し情報を変調している場合は、各シンボル毎の検出処理において検出された絶対値最大の相関値の総和力プラスの場合は同相、マイナスの場合は逆相と判別することなどが可能である。

[0227] 差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相だと判定した場合は、今回入力された差分画像をそのまま差分画像蓄積バッファ 255に加算する。逆相だと判定した場合は、今回入力された差分画像の位相を反転させて差分画像蓄積バッファ 255に加算する。位相反転するには、例えば輝度成分であれば画像全体の画素値の正負を逆転させたり、あるいは今回の差分画像を生成するのに用いた検出対象領域画像が X, Yの 2枚で、今回の差分画像が X— Yで求められたのだとすると、位相反転するには Y— Xの差分画像を用いればょヽ。

[0228] また、第 3の実施の形態のように、埋め込み時の透かしパターン切り替え情報を用いて透かしパターン切り替えタイミングの同期が取れる場合には、切り替えタイミングから、例えば、隣あった透かしパターンの切り替えは逆相になる力一つおきなら同相になるという原理を利用して、以下の差分画像蓄積時に全て同相となるように一つおきに位相反転しながら蓄積すればょ、。

[0229] 上記の処理によって図 44に示すように、差分画像蓄積バッファ 255には、常に基本透かしパターンと同相な透かしパターンを持つ差分画像が次々に加算されて!、ることになる。なお、ここで、「差分画像を加算」とは、画像の各座標毎の画素値を加算して得られる同サイズの画像を得ることを指す。

[0230] なお、前述の第 3の実施の形態を利用した蓄積の場合、差分画像蓄積バッファ 25 5に蓄積された結果は、埋め込み時の基本透かしパターンと同相あるいは逆相のいずれかの状態がそろった形で加算されたものとして得られるが、差分画像蓄積バッファ 255からの検出に第 4の実施の形態または、第 5の実施の形態のような工夫を用いれば、逆相による問題を回避できる。

[0231] く本実施の形態の効果〉

本実施の形態では、差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相カゝ否かを判定し、必要に応じて位相反転することで、差分画像蓄積バッファ 255に常に正位相な状態で順次加算を行い、加算された差分画像力ゝら透カゝし情報検出を試行している。

[0232] これにより、 1枚の差分画像中の透かしパターンが微弱で十分に検出できない場合でも、複数の差分画像を統合して検出を行うこととなるので、検出が可能となる。図 4 4に示すとおり、透かしパターンは常に正位相な形で加算されていくので、差分画像蓄積バッファ 255には原理上加算した回数分増幅された透かしパターンが得られる。しかし、一般に原動画像の差分は各々のタイミングで異なるので、透かしパターンに対するノイズである原動画像の差分信号は加算回数分増幅されな!ヽ。これによつて透かし信号の SZN比が向上し、第 1乃至第 5の実施の形態と比べて電子透力しの耐性が向上する。

[0233] また、この耐性向上を、画質劣化を抑えるように用いることもできる。即ち、第 1乃至第 5の実施の形態のように 1枚の差分画像力も検出を可能とするための透力し埋め込み強度よりさらに弱い強度でも差分画像蓄積によって検出ができるため、画質改善を実現できる。

[0234] [第 7の実施の形態]

本実施の形態では、 1枚の差分画像からは十分な検出性能が得られな!、場合でも検出可能とする方法について説明する。

[0235] 本実施の形態は、以下に説明する部分を除いて、第 1乃至第 6の実施の形態と同一である。以下、説明を簡易にするため、第 1の実施の形態との差分を述べる。

[0236] 図 45は、本発明の第 7の実施の形態における電子透かし検出部の構成を示す。

[0237] 同図に示す電子透かし検出装置 200の電子透かし検出部 240は、相関演算部 24 3と、検出可否判定部 244及び、相関値バッファ 245を有する。

[0238] 図 46は、本発明の第 7の実施の形態における電子透かし検出部の動作のフローチヤートである。

[0239] ステップ 801) 電子透かし検出部 240は、差分画像を入力とし、相関演算部 243 において、通常の電子透かし検出処理と同様に差分画像から検出対象系列を得て、拡散系列との相関値を求める。なお、この際、入力された差分画像のみ力も透かレ f青報の検出が成功した場合は、透力し情報を検出結果として出力して処理を終了してもよ!/、。相関値は変調方法 (A— 1)〜 (A— 4)のようなビット毎拡散方式であれば透力情報のビット数分、変調方法 (B— 1)〜（B— 4)のようなシンボル毎拡散方式であればシンボル数 Xシンボル値の値域分得られる。

[0240] ステップ 802) 相関演算部 243で得られた相関値群は相関値バッファ 245に各項加算される。

[0241] ステップ 803) 次に、検出可否判定部 244において、相関値バッファ 245に格納された相関値群に対して閾値判定を行い、透力し情報の検出可否の判定を行う。

[0242] ステップ 804) 検出できた場合はステップ 806に移行し、検出できない場合はステップ 805〖こ移行する。

[0243] ステップ 805) 透力し情報の検出ができない場合は、動画像入力部 210の次のフレームキヤプチヤに復帰する。

[0244] ステップ 806) 閾値判定にノスしたら、検出成功として相関値バッファ 245の内容を元に検出した透力し情報を構成して検出結果を出力する。

[0245] 次に、相関値バッファ 245に関する処理の内容を説明する。

[0246] 図 47は、本発明の第 7の実施の形態における相関値バッファに関する処理の内容を説明するための図である。

[0247] 相関演算部 243では、差分画像から検出対象系列を取り出し、変調時に用いた拡散系列との相関を計算する。変調方法 (A— 1)〜 (A—4)のようなビット毎拡散方式であれば、透力し情報のビット数分、変調方法 (B— 1)〜（B— 4)のようなシンボル毎拡散方式であれば、シンボル数 Xシンボル値の値域分得られる（図 47では 1シンポル = 1ビット、各シンボル毎に "0 "または" 1 "の 2値をとるようなシンボルが 4つある例を示す)。

[0248] 変調方法 (A— 1)のように差分の位相によってビットが反転する可能性があるものについては、第 4の実施の形態、または、第 5の実施の形態のような方法で正位相に揃えて力も相関をとるようにする。また、変調方法 (B— 1)〜(B— 4)の場合は、差分の位相が反転している場合は相関値がマイナスをとるので、絶対値化しておく。相関演算部 243で得られた相関値群は、相関値バッファ 245に各相関値の項ごとに加算される。

[0249] また、第 3の実施の形態のように、埋め込み時の透かしパターン切り替え情報を用いて透かしパターン切り替えタイミングの同期がとれる場合には、切り替えタイミングから、例えば、隣り合った透かしパターンの切り替えは逆相になる力一つおきなら同相になる、という原理を利用して、一つおきに相関値の極性を反転させて蓄積することで常に相関値の極性を揃えて加算蓄積することもできる。

[0250] 図 48A、 Bは、本発明の第 7の実施の形態における相関値バッファに関する処理の内容を説明するための図である。

[0251] 検出可否判定部 244は、相関値バッファ 245に蓄えられた相関値に対して閾値判定を行い、検出成功か否かを判定する。変調方法 (Α—1)〜(Α—4)のようなビット毎拡散方式の場合は、各ビット位置毎の相関値の絶対値がすべて閾値以上なら検出成功と判定したり、図 48A、 Bのように各ビット位置毎の相関値の絶対値和をとり、その結果に対して閾値判定をしてもよい。また、変調方法 (B— 1)〜（B— 4)のようなシンボル毎拡散方式であれば、各シンボル位置毎の相関値の最大値がすべて閾値以上なら検出成功と判定する、などとすればよい。なお、閾値の値を相関値蓄積バッファ 245への加算回数に応じて変化させたり、閾値判定前に相関蓄積バッファ 245の各項値を加算回数で割り算するなどを適宜行うものとする。

[0252] なお、上記の第 3の実施の形態を利用した蓄積の場合、相関値バッファ 245に蓄積された結果に対して、第 4の実施の形態、または、第 5の実施の形態のような工夫を用いれば、極性反転による問題を回避できる。

[0253] く本実施の形態の効果〉

本実施の形態では、差分画像力もの検出の際に算出される相関値について加算蓄積した結果を元に検出可否を判定している。これにより、 1回の検出試行では検出力 S困難であった場合でも、複数枚の差分画像力の検出結果を統合することにより検出可能とすることができ、検出性能が向上する。

[0254] [第 8の実施の形態]

本実施の形態では、以下に説明する部分を除いて、前述の第 1乃至第 7の実施の形態と同一である。以下、説明を簡単にするため第 1の実施の形態との差分を述べる

[0255] 図 49は、本発明の第 8の実施の形態における透かしパターン生成部の構成を示す。同図に示す電子透力し埋め込み装置 100の透かしパターン生成部 120は、基本透かしパターン生成部 121、透かしパターン切り替え部 122、透かし情報分解部 123から構成される。

[0256] 図 50は、本発明の第 8の実施の形態における透かしパターン生成部の動作のフロ一チャートである。

[0257] ステップ 901) 透かしパターン生成部 120に透力し情報、透かしパターン切り替え情報、フレーム表示時刻が入力されると、透力し情報分解部 123において、透かし情報をより短いビット情報であるデータブロック情報に細分する。

[0258] ステップ 902) 透かし情報分割部 123は、フレーム表示時刻を参照して今回のフレーム画像に埋め込むべきデータブロックが何番目かを示すデータブロック IDと、当該データブロック IDのデータブロックのビット情報であるデータブロック情報を基本透かしパターン生成部 121に送る。

[0259] ステップ 903) 基本透かしパターン生成部 121では、データブロック IDとデータブロック情報力も基本透かしパターンを生成する。

[0260] ステップ 904) 最後に、透かしパターン切り替え部 122において、フレーム表示時刻と透かしパターン切り替え情報の関係から、基本透かしパターンの位相反転の要否を判定する。

[0261] ステップ 905) 基本透かしパターンの位相反転が必要である場合は、ステップ 906 に移行し、必要でな!、場合にはステップ 907に移行する。

[0262] ステップ 906) 必要がある場合には基本透かしパターンの位相を変更し、透かしパターンとして出力し、処理を終了する。

[0263] ステップ 907) 基本透かしパターンとして出力し、処理を終了する。 [0264] 次に、透かレ f青報分割部 123について詳細に説明する。

[0265] 図 51は、本発明の第 8の実施の形態における透力し情報分割部の処理を説明するための図である。

[0266] 同図の例では、透かしパターン切り替え情報が「1Z10秒毎に反転」を指示するものであるとし、原動画像データが 30フレーム Z秒のフレームレートであるとし、透かし情報が 16ビットであるとしている。透かレ f青報分割部 123は、透かレ f青報を予め定めたビット長のデータブロックに分割する。図 51の例では、 16ビットの透力し情報を 4ビットのデータブロック 4つに分割している。

[0267] また、各データブロックが何番目のものかを表すデータブロック IDを（図 51の a, b, c, d)を同時に取得する。そして透かしパターン切り替え情報を参照しながら、今回のフレームに埋め込むべきデータブロックを選択し、選択されたデータブロック情報とデ一タブロック IDを基本透かしパターン生成部 121に送る。図 51の例では、「透かしパターン反転一周期（6Z30秒）毎にデータブロックを切り替え」という処理の内容を示しており、 6フレーム毎にデータブロックを切り替えている。

[0268] なお、データブロックが最後のデータブロックまで到達した場合は、先頭に戻って循環的に選択を行う。また、最後のデータブロックを選択した場合は、透かレ f青報の終端であることを示す終端情報も基本透かしパターン生成部 121に送るようにしてもよい。

[0269] 図 51では、透かしパターンの一反転周期毎にデータブロックを順次切り替える例を示しているが、 3反転周期毎にする、反転周期と別のデータブロック切り替え周期毎とする、データブロックの切り替えを順次ではなくランダムに選択するなど、様々なバリエーシヨンが有り得る。

[0270] 次に、基本透かしパターン生成部 121について説明する。

[0271] 図 52A、 Bは、本発明の第 8の実施の形態における基本透かしパターン生成部の処理を説明するための図である。

[0272] 基本透かしパターン生成部 121は、第 1乃至第 6の実施の形態とは異なり、透かし情報そのものではなぐ透かし情報を細分したデータブロックと該データブロックの順番を表すデータブロック IDを変調して基本透かしパターンを生成する。 [0273] また、透かレ f青報分割部 123から最後のデータブロックを表す終端情報を受け付けた場合は、〃1Ίこするなどして、検出時にデータブロックの終端の判別ができるようしてもよいが、常に固定のデータブロック数、例えば、 4つのみを前提としている場合には不要である。

[0274] また、第 4乃至第 6の実施の形態のように、検出時の差分画像の位相を判別するための情報の埋め込みを同時に行ってもよい。

[0275] 図 53は、本発明の第 8の実施の形態における電子透かし検出装置の構成を示す。

[0276] 同図に示す電子透かし検出装置 200Dと第 1の実施の形態における装置 200Αとの差異は、電子透かし検出部 240以降の処理である。

[0277] 図 54は、本発明の第 8の実施の形態における電子透かし検出装置の動作のフローチャートである。

[0278] ステップ 1001) 動画像入力部 210において、動画像をキヤプチヤしてフレーム画像を順次取得する。

[0279] ステップ 1002) 検出対象領域抽出部 220において、現在キヤプチヤしたフレーム画像中の検出対象領域画像を抽出する。

[0280] ステップ 1003) 差分画像生成部 230において、現在取得した検出対象領域画像と、以前に取得した検出対象領域画像との差分画像を生成する。

[0281] ステップ 1004) 電子透かし検出部 240は、第 1の実施の形態と同様に差分画像力もの電子透かし検出試行により、埋め込まれている情報の検出を試みる。

[0282] ステップ 1005) 検出成功した場合は、ステップ 1006に移行する、検出成功しなかつた場合はステップ 1001に移行する。

[0283] ステップ 1006) 検出成功した場合、第 1の実施の形態とは異なり、検出した情報は透力し情報そのものではなぐその一部であるデータブロック情報と対応するデータブロック IDであるので、これらの情報を検出データブロック蓄積部 280に送る。検出データブロック蓄積部 280は、今回検出したデータブロック IDで示される位置の検出透力し情報バッファのデータ値に、検出データブロック情報の値を設定する。

[0284] ステップ 1007) 全ての検出透かし情報バッファ中のデータブロックの検出が成功したらステップ 1008に移行する。電子透かし検出部 240で差分画像力もの電子透かし検出に失敗したり、検出データブロック蓄積部 280において未だバッファリングされていないデータブロックが存在する場合は、動画像入力部 210におけるキヤプチヤに復帰し、検出処理を続行する。

[0285] ステップ 1008) 検出透力し情報バッファの値を、検出した透力し情報として検出結果を出力する。

[0286] 図 55は、本発明の第 8の実施の形態における検出データブロック蓄積部の構成を示す。同図に示す検出データブロック蓄積部 280は、検出データブロックバッファリング部 281、検出完了確認部 282、検出透かレ f青報バッファ 283を有する。

[0287] 上記の検出データブロック蓄積部 280の動作を説明する。

[0288] 図 56は、本発明の第 8の実施の形態における検出データブロック蓄積部の動作のフローチャートである。図 57、図 58は、検出データブロック蓄積部の処理の内容を示す。

[0289] ステップ 1101) 検出データブロック蓄積部 280は、検出データブロック IDと、検出データブロック情報が入力される。

[0290] ステップ 1102) まず、検出透かしデータブロックバッファリング部 281において、検出透かし情報バッファ 283中の、入力された検出データブロック IDで示されるデータ位置のデータ値を、入力された検出データブロック情報の値にセットする。

[0291] 検出透力し情報バッファ 283は、図 57のように、初期状態では全てのデータブロック IDのデータブロックが未検出という状態になっており、検出データブロック ID及び検出データブロック情報が入力される度に、順次未検出から検出済みの状態に変化する。なお、既に検出済みのデータブロック IDが入力された場合は、検出透かレ f青報バッファ 283の当該データブロック IDのデータ値を、検出データブロック情報で上書してもょ、し、上書きせずに何もしなくても構わな、。

[0292] 図 57は、データブロックの個数が予め定まっている場合の処理の内容を示している。また、埋め込みの際にデータブロックの終端フラグを埋め込んでいるような場合、図 58のように、初期状態では、データブロックが全部で何個あるのかは分力ない。しかし、終端フラグの立っているデータブロック IDを入力すると、全部で何個のデータブロックであるかが判明するので、未検出のデータブロックを特定することができる。これ以降は、データブロックの個数が定まっている場合の処理と同様に処理すればよい。終端情報を利用することで、任意長の透かレ f青報の埋め込み ·検出を取り扱うことが可能となる。

[0293] ステップ 1103) 次に、検出完了確認部 282において、検出透かし情報バッファ 28 3中の全てのデータブロックが検出済みとなった力否かを判定し、全て検出済みとなつた場合はステップ 1104に移行し、未検出のデータブロックが残っている場合にはステップ 1105に移行する。

[0294] ステップ 1104) 全て検出済みとなった場合は、検出透かレ f青報バッファ 283のデ一タ値を検出した透力し情報として検出結果を出力する。

[0295] ステップ 1105) 未検出のデータブロックが残っている場合には、動画像入力部 21 0のフレームキヤプチヤに復帰し、検出試行を続行する。

[0296] なお、本実施の形態では、主に、第 1の実施の形態との差分を述べたが、本実施の形態の工夫を、第 2乃至第 7の実施の形態の工夫と組み合わせて実施することが容易であるのは自明である。例えば、データブロック毎に、第 6の実施の形態のように差分画像を蓄積したり、第 7の実施の形態のように相関値を蓄積したりして検出することで検出性能が向上することなどは自明である。

[0297] く本実施の形態の効果〉

本実施の形態では、透力情報をデータブロックに分割して時間的にデータブロックを切り替えながら透かし埋め込みを行、、検出側では検出したデータブロックを順次蓄積し、全てのデータブロックの検出済みとなった場合に透かし検出成功としている。これにより、一枚の差分画像に対する透力しアルゴリズムの埋め込み情報長限界を超えた、より長い情報長の透かし情報の埋め込み '検出が可能となる、あるいは、各フレームの埋め込む情報長を減らして耐性向上を実現することができる。

[0298] また、終端情報の埋め込み '検出により、任意長の情報を取り扱うことができ、より長 V、情報を必要とするアプリケーションが実現できるなど、利用範囲が広がる。

[0299] [第 9の実施の形態]

本実施の形態では、データブロック IDをパターン振幅利用型かつ、極性非利用型の変調で透力し情報に多重化して埋め込みを行う例を説明する。 [0300] 本実施の形態は、以下に説明する部分を除いて、前述の第 8の実施の形態と同一である。

[0301] 本実施の形態における電子透力し埋め込み装置内 100の基本透かしパターン生成部 121の処理の内容を説明する。

[0302] 図 59は、本発明の第 9の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。

[0303] 本実施の形態では、基本透かしパターンの入力であるデータブロック情報とデータブロック IDについて、まず、データブロック情報について第 5の実施の形態と同様に

、変調方法 (A— 1)で変調して基本透かしパターン（甲）を得る。

[0304] 次に、データブロック IDについては、第 5の実施の形態の位相同期信号（常に同じ値)の代わりに、多値のデータブロック ID (必要ならデータブロック終端情報も合わせて）を変調方法 (B— 1)を用いて基本透かしパターン（乙）を得る。

[0305] 最後に基本透かしパターン（甲）と基本透かしパターン（乙）を重畳して合成し、基本透かしパターンを得る。

[0306] 図 60は、本発明の第 9の実施の形態における電子透かし検出部の動作のフローチヤートである。

[0307] ステップ 1201) 電子透かし検出部 240は、差分画像を入力として、まず、第 8の実施の形態の場合と同様に差分画像からのデータブロック情報検出を試みる。

[0308] ステップ 1202) データブロック情報が検出できた場合は、ステップ 1204に移行し、検出できなかった場合は、ステップ 1203に移行する。

[0309] ステップ 1203) 動画像入力部 210の次のフレームキヤプチヤに復帰する。

[0310] ステップ 1204) データブロック情報が検出できた場合は、続いて、データブロック I Dの検出を試みる。

[0311] ステップ 1205) データブロック IDは変調方法（B— 2)で埋め込まれているので、まず、相関演算の絶対値を用いてデータブロック IDを検出することができ、そのときの相関値の正負の極性で差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相か逆相かを判定できる。データブロック IDの検出時の相関値が正の場合は、正位相、負の場合は逆相と判定する。正位相と判定した場合はステップ 1207 に移行し、逆相と判定した場合は、ステップ 1206に移行する。

[0312] ステップ 1206) 逆相の場合は、検出したデータブロック情報のビットを反転した上で、データブロック IDと共に出力する。

[0313] ステップ 1207) 正位相と判定した場合は、検出したデータブロック情報をそのままとし、データブロック IDと共に出力する。

[0314] なお、本実施の形態では、第 8の実施の形態と同様に、本実施の形態の工夫を第

1乃至第 7の工夫と組み合わせて実施することが容易であるのは自明である。例えば

、データブロック毎に第 6の実施の形態のように差分画像を蓄積したり、第 7の実施の形態のように相関値を蓄積したりして検出することで検出性能が向上することなどは自明である。

[0315] く本実施の形態の効果〉

本実施の形態では、データブロック IDをパターン振幅利用型かつ、極性非利用型の変調で透力し情報に多重化して埋め込みを行っている。これにより、各フレームに埋め込まれるデータブロック情報の情報長を長くできる。

[0316] さらに、データブロック ID検出時の相関の極性を利用して透かしパターンの位相判定を行えるため、別途ビット反転判定用のフラグなどを用意する必要もなぐさらに、情報長の拡大に寄与できる。即ち、データブロック IDの極性非利用型変調を用いることにより、データブロック IDの検出と同時に透かしパターンの位相判定も可能となるので、一石二鳥である。

[0317] なお、パターン形状利用型であっても差分画像の反転を特定できるものならデータブロック ID埋め込みに用いて構わな、。

[0318] [第 10の実施の形態]

本実施の形態では、位相を合わせた差分画像蓄積を行う例を説明する。

[0319] 本実施の形態は、以下に説明する部分を除いて、第 1乃至第 9の実施の形態と同一である。以下、説明を簡易にするため第 8の実施の形態との差分を述べる。

[0320] 本実施の形態における電子透かし検出装置 200内の電子透かし検出部 240について説明する。

[0321] 図 61は、本発明の第 10の実施の形態における電子透かし検出部の構成を示す。 [0322] 同図に示す電子透かし検出部 240は、差分画像位相判定部 241、データブロック I D検出部 246、データブロック情報検出部 247、及び複数のデータブロック ID=n用差分画像蓄積バッファ 248から構成される。

[0323] 図 62は、本発明の第 10の実施の形態における電子透かし検出部の動作のフローチャートである。

[0324] ステップ 1301) 電子透かし検出部 240は、差分画像が入力されると、データプロック ID検出部 246において、データブロック IDの検出を試みる。

[0325] ステップ 1302) 次に、差分画像位相判定部 241において、差分画像中の透かしパターンの位相を前述の第 6の実施の形態のようにして検出する。

[0326] ステップ 1303) 差分画像位相判定部 241は、正位相である場合は、ステップ 130

4に移行し、逆位相である場合はステップ 1305に移行する。

[0327] ステップ 1304) 正位相である場合は、今回の差分画像を検出データブロック IDに対応する差分画像バッファ 248に加算し蓄積し、ステップ 1306に移行する。

[0328] ステップ 1305) 逆位相である場合は、正位相となるように差分画像を変更した上で、検出データブロック IDに対応する差分画像バッファ 248に蓄積する。図 61に示すように、電子透かし検出部 240は、差分画像バッファ 248をデータブロック IDの種類分有している。

[0329] ステップ 1306) 次に、データブロック情報検出部 247において、今回検出したデ一タブロック IDに対応する差分画像蓄積バッファ 248からのデータブロック情報の検出を試みる。

[0330] ステップ 1307) 検出成功した場合は、ステップ 1308に移行し、検出成功しなかつた場合は、ステップ 1309に移行する。

[0331] ステップ 1308) 検出成功した場合は、今回のデータブロック IDと検出したデータブロック情報を出力する。

[0332] ステップ 1309) 検出成功しな力つた場合は、動画像入力部 210のキヤプチャ処理に復帰する。

[0333] く本実施の形態の効果〉

本実施の形態によれば、データブロックを用いた透力情報長拡大時に、差分画像蓄積による耐性向上も同時に実現でき、検出性能が向上する。

[0334] [第 11の実施の形態]

本実施の形態では、相関値を蓄積する例を説明する。

[0335] 本実施の形態は、以下に説明する部分を除いて、第 1乃至第 10の実施の形態と同一である。以下、説明を簡易にするため第 8の実施の形態との差分を述べる。

[0336] 図 63は、本発明の第 11の実施の形態における電子透かし検出部の構成を示す。

[0337] 同図に示す電子透かし検出部 240は、データブロック ID検出部 246、検出可否判定部 244、相関演算部 249、データブロック ID=n用相関値バッファ 251を有する。同図に示すように、電子透かし検出部 240は、データブロック ID=n用相関値バッファ 251をデータブロック IDの種類分持っている。

[0338] 上記の構成の電子透かし検出部 240の動作を説明する。

[0339] 図 64は、本発明の第 11の実施の形態における電子透かし検出部の動作のフローチャートである。

[0340] ステップ 1401) 電子透かし検出部 240は、差分画像が入力されると、まず、データブロック ID検出部 246において、データブロック IDの検出を試みる。

[0341] ステップ 1402) 次に、相関演算部 249において、データブロック情報検出試行を行うことで算出される相関値を求める。

[0342] ステップ 1403) 求められた相関値を検出データブロック IDに対応する相関値バッファ 251に加算蓄積する。なお、この際、入力された差分画像のみ力もデータブロック情報の検出が成功した場合は、データブロック IDと共に出力して処理を終了してもよい。

[0343] ステップ 1404) 次に、検出可否判定部 244において、今回検出したデータブロック IDに対応する相関値バッファ 251について、第 7の実施の形態と同様に閾値判定によりデータブロック情報の検出可否を判定する。

[0344] ステップ 1405) 検出可能と判定した場合はステップ 1406に移行し、検出成功しな力つた場合は、ステップ 1407に移行する。

[0345] ステップ 1406) 検出可能と判定された場合には、今回の相関値バッファ 251の値力もデータブロック情報を構成し、今回のデータブロック IDと共に出力する。 [0346] ステップ 1407) 検出成功しな力つた場合は、動画像入力部 210のキヤプチャ処理に復帰する。

[0347] く本実施の形態の効果〉

本実施の形態によれば、データブロックを用いた透力し情報長拡大時に、相関値ノッファ 251による耐性向上も同時に実現でき、検出性能が向上する。

[0348] [第 12の実施の形態]

本実施の形態では、電子透かし検出処理の状況をリアルタイムにフィードバック出力する例を説明する。

[0349] 本実施の形態は、以下に説明する部分を除いて、第 1乃至第 11の実施の形態と同一である。以下説明を簡易にするため第 1の実施の形態との差分を述べる。

[0350] 図 65は、本発明の第 12の実施の形態における電子透かし検出装置の構成を示す。同図に示す電子透かし検出装置 200Eと第 1の実施の形態との相違は、現在のキャプチャフレーム画像、現在の検出対象領域抽出状況情報、現在の電子透かし検出の検出状況情報を随時入力し、第 1の実施の形態相当の電子透かし検出処理と並列にフィードバック情報を生成し出力するフィードバック出力部 265を有する点である。

[0351] 図 66は、本発明の第 12の実施の形態における電子透かし検出装置の動作のフロ一チャートである。

[0352] 同図において、ステップ 1501〜ステップ 1506は、図 20のステップ 201〜ステップ 206の処理と同様であるので説明は省略する力以下のステップ 1507の処理をこれらの処理と並列に行うものである。

[0353] ステップ 1507) フィードバック出力部 265において、現在フレーム画像、現在の検出対象領域抽出状況情報、現在の電子透かし検出の検出状況情報を随時入力し、第 1の実施の形態相当の電子透かし検出処理と並列にフィードバック情報を生成し出力する。

[0354] 図 67, 68, 69は、本発明の第 12の実施の形態における電子透かし検出装置のフイードバック出力の例である。

[0355] 電子透かし検出装置 200Eの動画像入力部 210で得られたキヤプチャフレーム画像をリアルタイムに描画するプレビュー画面を持ち、検出対象領域抽出部 220で得られた検出対象領域をプレビュー画面上に合成し（図 67の a)、電子透かし検出部 240 で得られた検出強度、例えば、復調時の相関値の大きさをグラフィカルに表示したり（図 67の b)、検出強度に応じて音色や音量を変えて音声出力したりする。

[0356] また、データブロックを用いている場合には、図 68のように現在までにバッファリングできたデータブロックの検出状況を合成したりする。

[0357] あるいは、図 69のように、撮影角度によって生じる平面射影歪みの程度がきっかつたり、離れた位置力も撮影しているため、キヤプチャフレーム画像中の検出対象領域の画素面積が小さすぎたりして、電子透かしの検出が困難になっている場合には、撮影角度の調整や、ズームアップが必要であるというメッセージを表示し、ユーザに調整を促すようにしたりする。

[0358] く本実施の形態の効果〉

本実施の形態では、電子透かし検出処理の状況を、リアルタイムにフィードバック出力することで、インタラクティブ性が増すことによって利便性が向上する。特に、検出しゃすい状況になるようにユーザを促すことにより、検出性能の向上が期待できる。

[0359] [第 13の実施の形態]

本実施の形態は、以下に説明する部分を除いて、第 1乃至第 12の実施の形態と同一である。以下、説明を簡易にするために第 1の実施の形態との差分を述べる。

[0360] 本実施の形態における電子透力し埋め込み装置 100内の透かしパターン重畳部 1 30の処理につ!、て説明する。

[0361] 図 70は、本発明の第 13の実施の形態における透かしパターン重畳部の処理を説明するための図である。

[0362] 透かしパターン重畳部 130は、フレーム画像と、当該フレーム表示時刻に基づいて生成された透かしパターンを入力する。透かしパターン重畳部 130では、まず、透かしパターンをフレーム画像以下の所与のサイズまでサイズ変更して、その後フレーム画像の中央領域に加算して、透かし入りフレーム画像を得る。

[0363] 次に、本実施の形態における電子透かし検出装置 200Fについて説明する。

[0364] 図 71は、本発明の第 13の実施の形態における電子透かし検出装置の構成を示す [0365] 同図に示す電子透かし検出装置 200Fは、テレビなどにディスプレイ表示されたァナログ動画像をカメラによりリアルタイムビデオキヤプチヤしたものや、あるいは、 MPE

Gエンコードされたようなディジタル動画像が入力される動画像入力部 210、差分画像生成部 230、検出対象領域抽出部 220、電子透かし検出部 240、及びフレーム画像バッファ 301から構成される。

[0366] 上記の構成における動作を説明する。

[0367] 図 72は、本発明の第 13の実施の形態における電子透かし検出装置の動作のフロ一チャートである。

[0368] ステップ 1501) 動画像入力部 210において、アナログまたはディジタル動画像を入力し、順次フレーム画像を取得する。アナログ動画像の入力の際はカメラゃスキヤナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。

[0369] ステップ 1502) 次に、差分画像生成部 230において、現在取得したフレーム画像と、フレーム画像バッファ 301に蓄積されている、以前に取得したフレーム画像との差分を取り、差分フレーム画像を生成する。

[0370] ステップ 1503) また、次の検出試行に備えて、フレーム画像バッファ 301に今回のフレーム画像をバッファリングしておく。

[0371] ステップ 1504) 次に、検出対象領域抽出部 220において、差分フレーム画像中の、透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する

[0372] ステップ 1505) 続いて、電子透かし検出部 240において、検出対象領域画像から電子透かし検出を試み、検出結果を出力する。

[0373] ステップ 1506) 電子透かし検出が成功しな力つた場合は、動画像入力部 210において次のフレーム画像を取得して上記の処理を順次繰り返す。

[0374] 次に、上記の差分画像生成部 230の処理を詳細に説明する。

[0375] 図 73は、本発明の第 13の実施の形態における差分画像生成部の処理を説明するための図である。 [0376] 差分画像生成部 230は、現在取得したフレーム画像と、フレーム画像バッファ 301 に蓄積されている、以前に取得したフレーム画像との差分を取り、差分フレーム画像を生成する。ここで、上記 2枚のフレーム画像を撮影しているときのカメラの動きが殆ど無いとする。図 73のように、差分フレーム画像では透かしパターンの切り替えによつて生じた差分の変化の大き!/、部分と、変化の無!、背景部分が区別可能となる。

[0377] 次に、検出対象領域抽出部 220の処理を詳細に説明する。

[0378] 図 74は、本発明の第 13の実施の形態における検出対象領域抽出部の処理を説明するための図である。

[0379] 検出対象領域抽出部 220は、差分フレーム画像を入力とし、差分フレーム画像中の、透かし検出の対象となる検出対象領域を抽出して、検出対象領域画像を取得する。図 74では、差分フレーム画像を絶対値化して、文献 3の縁検出方法を用いて検出対象領域の歪みパラメータを検出し、絶対値化する前の元の差分フレーム画像の歪み補正、サイズ正規ィ匕を行って検出対象領域画像としている。このようにして得られた検出対象領域画像は埋め込み時の基本透かしパターンとノイズによる影響などを除いて同一であるから、電子透力しの検出が可能になることは、第 1乃至第 12の実施の形態の内容から明らかである。

[0380] また、本実施の形態は、第 1乃至第 12の各々の工夫を任意に組み合わせても実施できることも自明である。

[0381] く本実施の形態の効果〉

本実施の形態における効果を図 75〜図 77を用いて説明する。

[0382] まず、第 1乃至第 12の実施の形態における電子透力し埋め込みにおいては、入力された動画像のフレームサイズと同じサイズの透かしパターンが重畳されて、た。また、電子透かし検出時は、カメラでキヤプチヤしたフレーム中のテレビ受像機の表示領域の縁を検出するなどして検出対象領域を抽出していた。しかし、図 75に示すように、テレビ受像機の形状など動画像の再生環境は一定ではな、ことが考えられるため、図 75 (A)のように、正しく表示画面領域を検出対象領域として抽出した場合は電子透力しの検出に成功する力図 75 (B)の例のようにテレビ受像機の外側を縁検出してしまったり、図 75 (C)の例のようにテレビ受像機の表示画面の外側に付けられた枠状の意匠を検出してしまったりして、検出対象領域を正しく抽出できないことが有り得る。

[0383] この場合、差分画像上では透かしパターン差分画像の内側に縮小された形になつてしまい、正しくブロック分割ができないことから第 1乃至第 12の方法では、電子透かしの検出に失敗してしまう。

[0384] また、図 76の例に、もともとの動画像がアスペクト比 16 : 9のワイド映像であったとし、これをアスペクト比 4 : 3のモニタに表示することを考える。この場合、一般によく用いられる表示の仕方として、ワイド画面の左右の端を切り取って表示したり、あるいは、 1 6： 9のワイド画面が 4： 3の画面に収まるように縮小して画面上に押し込める、と!、つたことがある。このようにして表示された場合に、検出対象領域抽出によって表示画面の縁が正しく検出できたとしても、そもそも表示されて、る映像自体が一部切り取られていたり、余計な余白がついていたりするため、図 75の例と同様に、電子透かし検出に失敗してしまう。また、画面の端が切り取られるという問題については、ワイド映像のみならず、例えば、ブラウン管表示の際に、映像信号の端の部分はそもそも表示されないという、いわゆるオーバースキャンによって映像信号の一部が切り取られ、電子透力しの検出が困難になることが考えられる。

[0385] 本実施の形態は、この問題を解決するためのものであり、透かしパターンをフレーム画像のサイズよりも小さくし、フレーム画像の中央領域に重畳する。これによつて、例えば、ワイド画面を 4 : 3表示する際のフレーム画像の欠けを見込んで、確実に表示される領域のみに透かしパターンを重畳することができる。しかしこのままでは検出時に検出対象領域と透かしパターンの領域が一致しない。このため、本実施の形態では、図 73のように、キヤプチヤしたフレーム画像間の差分フレーム画像を生成し、図 7 4のように差分フレーム画像力も検出対象領域を抽出するようにする。カメラ撮影時にカメラの動きが殆どな、とすると、差分フレーム画像では透かしパターンの切り替えによって、検出対象領域のみが差分 (の絶対値)が大きい状態になる。これによつて縁を用いた矩形認識技術などにより検出対象領域を抽出し、図 77及び図 78のように、電子透かし検出が可能となる。

[0386] [第 14の実施の形態] 本実施の形態は、以下に説明する部分を除いて、第 13の実施の形態と同一である

[0387] 図 79は、本発明の第 14の実施の形態における基本透かしパターン生成部の処理の例を説明するためのである。

[0388] 本実施の形態における透かしパターン生成部 120の基本透かしパターン生成部 1 21は、第 1乃至第 12の実施の形態と同様にして生成される基本透かしパターンに、プラス/マイナスの画素値を用いて枠を付加し、これを基本透かしパターンとする。

[0389] 図 80は、本発明の第 14の実施の形態における検出対象領域抽出部の処理を説明するための図である。

[0390] 検出対象領域抽出部 220は、差分フレーム画像を入力とし、差分フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。図 80では、差分フレーム画像に対して、文献 3の縁検出方法を用いて検出対象領域の歪みパラメータを検出し、歪み補正、サイズ正規化を行って検出対象領域画像としている。このようにして得られた検出対象領域画像は埋め込み時の基本透かしパターンとノイズによる影響などを除いて同一であるから、電子透力しの検出が可能となることは、第 1乃至第 12の実施の形態の内容から明らかである。

[0391] また、本実施の形態は、第 1乃至第 13の実施の形態の各々の工夫を任意に組み合わせても実施できることも自明である。

[0392] く本実施の形態の効果〉

本実施の形態の効果を、図 81A、 Bを用いて説明する。まず、第 13の実施の形態における検出対象領域抽出処理は、差分フレーム画像の絶対値を用いて縁検出などを行うことで領域抽出をしていた。この際、縁部分のエッジのコントラストは、差分フレーム画像の絶対値ィ匕であるため、ノイズの影響などを無視すれば、埋め込み時の透かしパターン振幅の 2倍の差がある。

[0393] 本実施の形態では、基本透かしパターンとして、第 1乃至第 12の実施の形態における基本透かしパターンにプラス/マイナスの画素値を持つ枠を付加する。また、検出対象領域抽出時には、差分フレーム画像のまま、縁認識などを行うことで領域抽出を行う。このため、縁部分のエッジのコントラストは、埋め込み時の透かしパターン振幅の 4倍となり、第 13の実施の形態と比べてエッジの検出がしゃすくなる。このため、検出対象領域の抽出がより確実に高い信頼度で行えるようになり、電子透かしの検出性能向上を実現できる。

[0394] [第 15の実施の形態]

本実施の形態は、以下に説明する部分を除いて、第 14の実施の形態と同一である

[0395] 本実施の形態の電子透力し埋め込み装置における透かしパターン生成部 120内の基本透かしパターン生成部 121の処理について説明する。

[0396] 図 82は、本発明の第 15の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。

[0397] 本実施の形態における基本透かしパターン生成部 121は、第 1乃至第 12の実施の形態と同様にして生成される基本透かしパターンに、プラス Zマイナスの画素値を用いて位置合わせマーカを付カ卩し、これを基本透かしパターンとする。第 14の実施の形態における枠も位置合わせマーカの一例と考えられる。図 82では、位置合わせマ一力として QRコード (登録商標）などの 2次元コードで用いられているコーナーを見つけるための位置あわせマーカを付加する。なお、図 82の基本透かしパターンは、実は QRコード (登録商標）そのものの画素値をプラス Zマイナス化したものであるが、このように 2次元コードそのものを基本透かしパターンとして用いても問題な、。

[0398] 次に、本実施の形態における検出対象領域抽出部 220について説明する。

[0399] 図 83は、本発明の第 15の実施の形態における検出対象領域抽出部の処理を説明するための図である。

[0400] 検出対象領域抽出部 220は、差分フレーム画像を入力とし、差分フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。図 83では、差分フレーム画像に対して通常の QRコード (登録商標）読み取り時の位置合わせマーカ検出と同様の方法により、検出対象領域を抽出している。

[0401] なお、本実施の形態のように 2次元コードを基本透かしパターンとして、る場合について、電子透かし検出部 240は、 2次元コードの読み取り処理を行うものと考えれば問題なく透力し情報を検出できることは明らかである。また、本実施の形態は、第 1乃至第 12の実施の形態の各々の工夫を任意に組み合わせても実施できることも自明である。

[0402] く本実施の形態の効果〉

本実施の形態では、第 14の実施の形態で枠であった位置合わせマーカを、コーナ一を特定するマーカとした場合の例について示した。本実施の形態の場合も、第 14 の実施の形態と同様差分フレーム画像中の明暗のコントラスト差が埋め込み時の透かしパターン振幅の 4倍となり、検出性能が向上する。

[0403] また、本実施の形態により、透かしパターン生成の方法として既存の 2次元コードのパターンを容易に転用できることがわかる。これによつて電子透力し埋め込み '検出装置の一部を既存の部品を使いまわすことによるコスト削減効果も得られる。

[0404] [第 16の実施の形態]

本実施の形態では、特徴領域の歪みの補正、サイズ正規化を行った特徴領域画像間の差分画像から検出対象領域を抽出する例を説明する。

[0405] 本実施の形態は、以下に説明する部分を除いて、第 13乃至第 15の実施の形態と同一である。

[0406] 本実施の形態の電子透かし検出装置について説明する。

[0407] 図 84は、本発明の第 16の実施の形態における電子透かし検出装置の構成を示す。同図に示す電子透かし検出装置 200Gは、動画像入力部 210、特徴領域抽出部 2 90、差分画像生成部 230、検出対象領域抽出部 220、電子透かし検出部 240、及び、特徴領域画像バッファ 302から構成される。

[0408] 次に、上記の構成における電子透かし検出装置の動作を説明する。

[0409] 図 85は、本発明の第 16の実施の形態における電子透かし検出装置の動作のフロ一チャートである。

[0410] ステップ 1601) 動画像入力部 210において、テレビなどのディスプレイ表示されたアナログ動画像をカメラによりリアルタイムビデオキヤプチヤしたものや、あるいは、 MPEGエンコードされたようなディジタル動画像が入力されると、順次フレーム画像を取得する。アナログ動画像の入力の際は、カメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。

[0411] ステップ 1602) 次に、特徴領域抽出部 290において、フレーム画像中の特徴領域を抽出する。特徴領域抽出には、文献 3の縁認識による矩形領域検出などの技術を用いる。抽出された特徴領域はカメラ撮影角度などによって生じる歪みを補正し、サイズを正規化した上で特徴領域抽出画像として出力される。

[0412] ステップ 1603) 次に、差分画像生成部 230において、現在取得した特徴領域画像と、特徴領域画像バッファ 302に蓄積されている、以前に取得した特徴領域画像との差分を取り、特徴領域差分画像を生成する。

[0413] ステップ 1604) また、次の検出試行に備えて、特徴領域画像バッファ 302に今回の特徴領域画像をバッファリングしておく。

[0414] ステップ 1605) 次に、検出対象領域抽出部 220において、特徴領域差分画像中の、透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する

[0415] ステップ 1606) 続いて、電子透かし検出部 240において、検出対象領域画像からの電子透かし検出を試み、検出結果を出力する。

[0416] ステップ 1607) 電子透かし検出が成功しな力つた場合は、動画像入力部 210において次のフレーム画像を取得して上記の処理を順次繰り返す。

[0417] 次に、上記の特徴領域抽出部 290の処理の内容を説明する。

[0418] 図 86〜図 90は、本発明の第 16の実施の形態における特徴抽出部の処理を説明するための図である。

[0419] 特徴領域抽出部 290は、フレーム画像を入力とし、フレーム画像中の特徴領域を抽出する。特徴領域抽出には、文献 3の縁認識による矩形領域検出などの技術を用いる。抽出された特徴領域は、カメラ撮影角度などによって生じる歪みを補正し、サイズを正規化した上で特徴領域抽出画像として出力される。文献 3のような矩形領域抽出技術を用いることで、図 86や図 90のように、テレビの表示領域を特徴領域として検出したり、図 87や図 89のようにテレビの筐体の外側を特徴領域としたり、あるいは、図 88のようにテレビの表示画面の外側にある枠状の意匠を特徴領域として検出したり、あるいは図示しないがテレビの背景にある矩形領域などを特徴領域とするケースなど、入力されたフレーム画像の内容によって、特徴領域がどのような領域となるかは様々なケースがあり得るが、重要な点は、撮影角度の違いによらず、同一の対象を撮影している場合には、各フレーム画像カゝら検出される特徴領域が実質的に同じであるようになっていれば、歪みを補正し、サイズを正規化して得られる特徴領域画像は、図 86〜図 90のようにキヤプチャ時刻によって刻々と変化する撮影角度などに対して同じ状態で得られるということである。

[0420] 上記の「撮影角度の違いによらず、同一の対象を撮影している場合には、各フレーム画像力検出される特徴領域が実質的に同じ」という条件を満たしてさえいれば、特徴領域が図 86や、図 90の例のように、どのような状態で検出されても構わない。このような条件を満たすフレーム画像中からの安定的な特徴領域抽出方法であれば、文献 3のような縁線を利用した矩形領域検出に限らず、どのような方法を用いてもよい。

[0421] 次に、差分画像生成部 230の処理の内容について説明する。

[0422] 図 91〜図 93は、本発明の第 16の実施の形態における差分画像生成部の処理を説明するための図である。

[0423] 差分画像生成部 230は、現在取得した特徴領域画像と、特徴領域画像バッファ 30 2に蓄積されている、以前に取得した特徴領域画像との差分を取り、特徴領域差分画像を生成する。また、次の検出試行に備えて、特徴領域画像バッファ 302に今回の特徴領域画像をバッファリングしておく。図 91〜図 93に示したとおり、特徴領域抽出処理により、キヤプチャフレーム間のカメラ移動などに伴う歪みの違いは吸収されるため、特徴領域画像の時間差分で得られる特徴領域差分画像は、透かしパターン切り替えによって生じる部分の変化量が大きぐその他の部分は殆ど差分がないという形になる。これにより、第 13乃至第 15の検出対象領域抽出処理と同様に、特徴領域差分画像から検出対象領域を抽出し、歪みを補正するなどした上で、電子透かし検出を試みれば電子透力し情報の検出が可能となる。

[0424] く本実施の形態の効果〉

本実施の形態では、第 13乃至第 15の実施の形態の効果に加え、前提としていた「撮影時のカメラに殆ど動きがない場合」という制約なしでも電子透かし検出が可能となる。これはまずキヤプチャフレーム画像毎に特徴領域を抽出した上で歪みを補正することでフレーム間の歪みの違!、を吸収してしま、、その後の差分画像生成で確実に透かしパターン部分の差分を位置ずれなく行うからである。これにより、カメラつき携帯電話機を片手で持ってテレビに向けてキヤプチヤするなどといった際に生じる手ぶれなどの影響を受けずに、電子透かし検出性能が向上することになる。

[0425] [第 17の実施の形態]

本実施の形態では、電子透かし検出状況が良好であったときの位置の近傍のみを探索することにより特徴領域'検出対象領域の抽出を行う例を説明する。

[0426] 本実施の形態は、以下に説明する部分を除いて、第 13乃至第 16の実施の形態と同一である。以下、第 16の実施の形態との差分を中心に説明する。

[0427] 最初に、電子透かし検出装置 200Gにおける特徴領域抽出部 290の処理の内容を説明する。

[0428] 図 94は、本発明の第 17の実施の形態におけると特徴領域抽出部の処理を説明するための図である。

[0429] 本実施の形態における特徴領域抽出部 290は、前回の電子透かし検出試行で検出状況が良好であったときの特徴領域の位置や形状を覚えておき (何らかの方法で記憶しておく）、今回入力されたフレーム画像力もの特徴領域の探索の際には、前回の特徴領域の近傍のみ力探索を行う。差分演算を行う 2枚のキヤプチャ時間間隔では、カメラの移動はそれほど大きくないため、前回検出状況が良好であったときには今回のフレーム画像にぉ、てもその近傍に正解の特徴領域が存在する。この原理を利用し、特徴領域探索範囲を狭めることでより安定的な特徴領域抽出を実現する。

[0430] なお、「検出状況が良好」とは、例えば、文献 1の検出信頼度指標値がある程度有意な値であるが未だ電子透かし検出が成功していない状態であるとか、あるいは、第 8の実施の形態などのデータブロック毎検出の場合に、あるデータブロックの検出に成功した、などといった状態、即ち、電子透かし検出部 240の検出状況から、電子透力しの存在が有意に明らかである、といった場合を指すものとする。また、探索時の近傍の大きさを、差分をとる 2枚のキヤプチャ時間間隔によって変動させるようにしてもよい。例えば、キヤプチャ時間間隔が短い場合、カメラの移動量は少ないと予想できるため、近傍を小さくとる。逆に、キヤプチャ時間間隔が長い場合、カメラの移動量が大きい場合もありうると予想できるため、近傍を大きくとる、などとしてもよい。

[0431] 本実施の形態における、検出対象領域抽出部 220の処理の内容を説明する。

[0432] 図 95は、本発明の第 17の実施の形態における検出対象領域抽出部の処理を説明するための図である。

[0433] 検出対象領域を抽出する際にも特徴領域抽出部 290と同様に、前回の電子透かし検出試行で検出状況が良好であったときの検出対象領域の位置や形状を覚えておき (何らかの方法で記憶しておく）、今回入力された特徴領域差分画像からの検出対象領域の探索の際には、前回の特徴領域の近傍力探索を行う。これによつて検出対象領域の探索も安定的になる。

[0434] なお、第 16の実施の形態に本実施の形態を適用した場合、カメラ移動などによる歪み要因は特徴領域抽出処理により吸収されているため、図 95のように前回と今回の検出対象領域はほぼ同一となり、近傍サイズを小さめにとつても構わない。検出対象領域の抽出に失敗する要因として考えられるものは、動画像自体が動きのあるシーンの場合に、差分に透かしパターンだけでなく動画像の動き成分もノイズとして現れてしまうようなケースであるが、近傍サイズを小さくしておけば検出対象領域の探索が非常に安定的になる。

[0435] また、第 13乃至第 15の実施の形態に本実施の形態を適用した場合は、そもそも力メラの動きが大きい場合は電子透力しの検出が困難であるので、この場合も同じく近傍領域を小さくとってよぐ検出対象領域の探索が非常に安定的になる。

[0436] また、本実施の形態を第 1乃至第 12の実施の形態における電子透かし検出装置における検出対象領域抽出部 220に適用することも容易である。この場合、前回の電子透かし検出試行で検出状況が良好であったとき、前回の検出対象領域の近傍から、今回のフレーム画像中の検出対象領域を探索するようにすればよい。

[0437] なお、本実施の形態では、「前回の電子透かし検出試行において検出状況が良好であった」場合を利用する例を示したが、前回に限らず「時間的に近い良好な電子透かし検出試行時」の特徴領域、あるいは、検出対象領域を利用するようにしてもよい。

[0438] また、一定時間電子透かし検出情報が良好ではない状態が続いた場合は、近傍探索を行わず、第 13乃至第 16の実施の形態と同様に処理を行うようにしてもよい。

[0439] く本実施の形態の効果〉

本実施の形態では、第 13乃至第 15の実施の形態の効果に加え、特徴領域あるいは検出対象領域の安定性、信頼性が向上するため、電子透かし検出性能の向上を実現できる。特に、特徴領域あるいは検出対象領域の検出方法があまりロバストでない場合に、大きな効果があり、電子透かし検出性能の大幅な向上をもたらす。

[0440] [第 18の実施の形態]

本実施の形態は、以下に説明する部分を除いて、第 14乃至第 17の実施の形態と同一である。以下、第 14の実施の形態との差分を中心に説明する。

[0441] 本実施の形態の電子透かし検出装置における検出対象領域抽出部 220の処理について説明する。

[0442] 図 96〜図 99は、本発明の第 18の実施の形態における検出対象領域抽出部の処理を説明するための図である。

[0443] 差分フレーム画像からの検出対象領域抽出処理は、第 14の実施の形態の透かしノターンが埋め込まれた動画像のフレーム間差分画像力も行われる。この際、第 14 の実施の形態では、予め検出対象領域抽出を高精度に行うために、基本透かしバターンに対して外側：明、内側：暗の枠パターンが付加されている（なお、明'喑は画素値の大小を表すために用いており、輝度値のみに限定されるべきものではないことは、第 1の実施の形態で述べたとおりである)。検出対象領域抽出部 220では、差分フレーム画像中から検出対象領域探索の際に、枠部分の画素値変化を調べる。図 96 の例では、検出対象領域の外側：明、内側：暗となっているので、検出対象領域画像中の透かしパターンは、埋め込み時の基本パターンと同相（正位相）であると判断し、第 4の実施の形態などで用いたように、電子透かし検出処理にこの位相情報を利用することができる。図 97は、位相が逆転している例を示す。検出対象領域の縁部分を調べることで、正位相 Z逆相が判定できることがわかる。

[0444] また、本実施の形態を第 15の実施の形態に適用した場合の例を図 98、図 99に示す。この例では、 QRコード (登録商標）の位置合わせマーカの基礎パターンと、検出対象領域から見つけた位置合わせパターンが正の相関を持つときは正位相と判断し (図 98)、負の相関を持つとき逆相と判定する（図 99)。また、逆相であった場合は、検出対象領域画像の位相を反転してから電子透かし検出を試行してもよ!/ヽ。反転をする理由は、既存の 2次元コードの読み取り方法は、位相反転したコードの認識に対応して、、な、ことが多、ため、既存の 2次元コード読み取り処理を使、まわす際に必要だからである。

[0445] 本実施の形態を第 16の実施の形態に適用する場合は、検出対象領域抽出部 220 の入力が、差分フレーム画像ではなく特徴領域差分画像となることのみで、それ以外は上記と同様の処理を行えばよいことは自明である。

[0446] く本実施の形態の効果〉

本実施の形態では、検出対象領域の抽出信頼性向上のために基本透かしパターンに付加された枠や位置合わせマーカなどのパターンを用いて、抽出した検出対象領域の当該パターン部分の位相が基本透かしパターンの時と同相力否かによって、検出対象領域画像中の透かしパターンの正位相 Z逆相を判定して、る。この位相情報を用いて第 4の実施の形態などで示した検出性能向上が図れる。

[0447] また、本実施の形態によれば、枠や位置合わせマーカなどのパターン力検出対象領域抽出信頼度向上と位相情報取得の二役をこなすので、一石二鳥である。即ち、位相合わせのために透力し情報にフラグを付加することによって透かレ f青報のビット長を短くしたり、透かレ f青報にとってはノイズとなる位相判定信号を多重化する必要がなくなるので、電子透かし検出性能が向上する。

[0448] [第 19の実施の形態]

本実施の形態は、以下に示す部分を除いて第 13乃至第 18の実施の形態と同一である。

[0449] 図 100は、本発明の第 19の実施の形態における電子透かし検出装置の構成を示す。

[0450] 同図に示す電子透かし検出装置 200Hは、動画像入力部 210、差分画像生成部 2 30、検出対象領域抽出部 220、電子透かし検出部 240、フレーム画像バッファ 301 、差分フレーム画像バッファ 303から構成される。

[0451] 第 13の実施の形態との違いは、検出対象領域抽出部 220の処理内容と、新たに差分フレーム画像バッファ 303を設けた点である。

[0452] 図 101は、本発明の第 19の実施の形態における電子透かし検出装置の動作のフローチャートである。

[0453] ステップ 1701) 動画像入力部 210において、アナログまたはディジタル動画像を入力し、順次フレーム画像を取得する。アナログ動画像の入力の際はカメラゃスキヤナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。

[0454] ステップ 1702) 次に、差分画像生成部 230において、現在取得したフレーム画像と、フレーム画像バッファ 301に蓄積されている、以前に取得したフレーム画像との差分を取り、差分フレーム画像を生成する。

[0455] ステップ 1703) 今回入力されたフレーム画像を差分フレームバッファ 301にバッファリングする。

[0456] ステップ 1704) 今回得られた差分フレーム画像を差分フレームバッファ 301に加算蓄積する。

[0457] ステップ 1705) 差分フレームバッファ 301中の加算蓄積された差分フレーム画像から、透かし検出の対象となる検出対象領域を抽出して、検出対象領域画像を取得する。

[0458] この際、図 102に示すように、差分フレーム画像の画素値を絶対値化してから差分フレーム画像バッファ 303に加算蓄積し、差分フレーム画像バッファ 303に加算蓄積された差分フレーム画像から検出対象領域を抽出し、今回の差分フレーム画像の当該検出対象領域の画像を歪み補正、サイズ正規化を行って検出対象領域画像としてもよい。この方法だと、差分フレーム画像の絶対値画像を加算蓄積するので、入力された差分フレーム画像中の透かしパターンの位相によらず、加算蓄積によって検出対象領域と背景領域のコントラストが高まり、検出対象領域の抽出信頼度が増す。

[0459] あるいは、第 3の実施の形態のように、透かしパターン切り替え情報で表される透かしパターンの切り替えタイミングと同期をとつて差分フレーム画像を生成できる場合などでは、得られた差分フレーム画像中の透かしパターン力基本透かしパターンと同相 Z逆相のどちらであるかはキヤプチヤの開始タイミングなどにより判別はできないが、今回得られた差分フレーム画像は以前に得られた差分フレーム画像と同相力否か判別可能である (例えば、図 31の例では、同じ位相状態が差分画像一つ置きに得られる)。これを用いて図 103のように差分フレーム画像バッファ 303に蓄積する差分画像の位相を揃え、差分フレーム画像バッファ 303に加算蓄積し (結果としては基本透かしパターンと同相のもののみが加算される力逆相のもののみが加算されるかのどちらかである）、差分フレーム画像バッファ 303に加算蓄積された差分フレーム画像を絶対値化してから検出対象領域を抽出し、差分フレーム画像バッファ 303にカロ算蓄積された差分フレーム画像の当該検出対象領域の画像を歪み補正、サイズ正規ィ匕を行って検出対象領域画像としてもよい。この方法だと、加算蓄積によって透かしパターンも強調され、検出対象領域抽出信頼度の向上のほか、電子透かし検出性能が向上すると!、う効果も得られる。

[0460] ステップ 1706) 続いて、電子透かし検出部 240において、検出対象領域画像から電子透かし検出を試み、検出結果を出力する。

[0461] ステップ 1707) 電子透かし検出が成功しな力つた場合は、動画像入力部 210において次のフレーム画像を取得して上記の処理を順次繰り返す。

[0462] また、本実施の形態を第 16の実施の形態に適用した場合の電子透かし検出装置について説明する。

[0463] 図 104は、本発明の第 19の実施の形態における電子透かし検出装置の構成を示す。

[0464] 同図に示す電子透かし検出装置 2001は、動画像入力部 210、特徴領域抽出部 29 0、差分画像生成部 230、検出対象領域抽出部 220、電子透かし検出部 240、特徴領域バッファ 302、特徴領域差分画像バッファ 304から構成される。

[0465] 第 16の実施の形態との違いは、検出対象領域抽出部 220の処理内容と新たに特徴領域差分画像バッファ 304を用意した点である。

[0466] 図 105は、本発明の第 19の実施の形態における電子透かし検出装置の動作のフローチャート（第 16の実施の形態に適用）である。

[0467] ステップ 1801) 動画像入力部 210において、テレビなどのディスプレイ表示されたアナログ動画像をカメラによりリアルタイムビデオキヤプチヤしたものや、あるいは、 MPEGエンコードされたようなディジタル動画像が入力されると、順次フレーム画像を取得する。アナログ動画像の入力の際は、カメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。

[0468] ステップ 1802) 次に、特徴領域抽出部 290において、フレーム画像中の特徴領域を抽出する。特徴領域抽出には、文献 3の縁認識による矩形領域検出などの技術を用いる。抽出された特徴領域はカメラ撮影角度などによって生じる歪みを補正し、サイズを正規化した上で特徴領域抽出画像として出力される。

[0469] ステップ 1803) 次に、差分画像生成部 230において、現在取得した特徴領域画像と、特徴領域画像バッファ 302に蓄積されている、以前に取得した特徴領域画像との差分を取り、特徴領域差分画像を生成する。

[0470] ステップ 1804) また、次の検出試行に備えて、特徴領域画像バッファ 302に今回の特徴領域画像をバッファリングしておく。

[0471] ステップ 1805) 検出対象領域抽出部 220において、特徴領域差分画像を特徴領域差分画像バッファ 304に蓄積する。

[0472] この際、図 106、図 107に示すように、特徴領域差分画像バッファ 304に蓄積する特徴領域差分画像の位相を揃え、特徴領域差分画像バッファ 304に加算蓄積するようにする。位相の揃え方は、上記の透かしパターン切り替えタイミングとの同期のほ力第 6の実施の形態や第 17の実施の形態に示したような方法を利用することができる。この結果、特徴領域差分画像バッファ 304には、基本透かしパターンと同相のもののみが加算されるか、逆相のもののみが加算されるかのどちらかになる。

[0473] ステップ 1806) 次に、特徴領域差分画像バッファ 304に加算蓄積された特徴領域差分画像から透かし検出の対象となる中の検出対象領域を抽出し、歪み補正、サィズ正規化を行って検出対象領域画像を取得する。

[0474] ステップ 1807) 続いて、電子透かし検出部 240において、検出対象領域画像からの電子透かし検出を試み、検出結果を出力する。

[0475] ステップ 1808) 電子透かし検出が成功しな力つた場合は、動画像入力部 210において次のフレーム画像を取得して上記の処理を順次繰り返す。 [0476] 上記のように、位相を揃えた加算蓄積により、一枚の差分画像のみよりも相対的に検出対象領域の透かしパターンが際立っため、検出対象領域の抽出信頼度が向上するほか、第 6の実施の形態と同様、電子透力しの検出性能が向上する。

[0477] く本実施の形態の効果〉

本実施の形態では、差分フレーム画像あるいは、特徴領域差分画像を蓄積して、相対的に透かしパターンの強度を強めて力も検出対象領域を抽出することにより、検出対象領域の抽出信頼性向上を実現している。

[0478] また、特に、差分画像中の透かしパターンの位相を揃えて加算蓄積を行うことで検出対象の信頼性向上のみならず、電子透力しの検出性能向上を同時に実現できる。一般に透かしパターンは人間に知覚できない程度に微弱な振幅で画像に付加されるため、一枚の差分画像の中では明確に検出対象領域を特定できないことがありうる。本実施の形態は上記の工夫によりこの問題を解決できる。

[0479] [第 20の実施の形態]

本実施の形態は、以下に説明する部分を除いて、第 1乃至第 19の実施の形態と同一である。以下、第 13の実施の形態との差分を中心に説明する。

[0480] 本実施の形態の電子透かし埋め込み装置 100内の透かしパターン重畳部 130の処理について説明する。

[0481] 図 108、図 109は、本発明の第 20の実施の形態における透かしパターン重畳部の処理を説明するための図である。

[0482] 透かしパターン重畳部 130は、フレーム画像と、当該フレーム表示時刻に基づいて、生成された透かしパターンを入力する。このとき、一枚のフレーム画像に複数の透かしパターンが重畳できるように、必要に応じて透かしパターンが複数枚生成されているものとする。例えば、異なる 3つの情報を表す 3枚の透かしパターンが与えられているとする。透かしパターン重畳部 130では、各々の透かしパターンの振幅を適宜調整し、各透かしパターンの表す情報と関連付けたいフレーム画像中のオブジェクトに合わせての位置、サイズを調整してフレーム画像に重畳する。図 108では、フレーム画像中の相異なる 3つのオブジェクト領域に透かしパターンを重畳する例を示している。あるいは、図 109のように、画像全体に相当する透かしパターンの中に、オブジェタトに対応する透かしパターンを入れ子のように重畳する、としてもよい。この場合、入れ子になっている内側の透かしパターンの値で外側の透かしパターンの値を上書きするようにしてもよい。また、図 109では、第 14の実施の形態や第 15の実施の形態のように、透かしパターンに検出対象領域抽出用のマーカなどが付けられているとする。

[0483] 次に、本実施の形態における電子透かし検出装置の差分画像生成部 230の処理について説明する。

[0484] 図 110は、本発明の第 20の実施の形態における差分画像生成部の処理を説明するための図である。

[0485] 差分画像生成部 230の処理自体は、第 13の実施の形態と完全に同じである力入力されるフレーム画像中の透かしパターン領域が複数個存在するため、図 110のように、差分フレーム画像には複数の透かしパターン領域が得られる。

[0486] 次に、本実施の形態における検出対象領域抽出部 220の処理について説明する。

[0487] 図 111、図 112は、本発明の第 20の実施の形態における検出対象領域抽出部の処理を説明するための図である。第 13の実施の形態と同様に、差分フレーム画像の画素値の絶対値をとつて矩形領域を探索すると、図 111のように 3つの検出対象領域を見つけることができる。 3つの検出対象領域毎に検出対象領域画像を生成し、それぞれ電子透かし検出試行を行うようにする。

[0488] また、図 109のような透かしパターン重畳を行った場合の検出対象領域抽出部 220 の処理の内容を図 112を用いて説明する。差分フレーム画像中で透かしパターン領域が入れ子になっていたとしても、第 14の実施の形態や第 15の実施の形態のような位置合わせのためのマーカなどを用いれば、入れ子構造の検出対象領域を見つけることができ、それぞれ毎に検出対象領域画像を生成して電子透かし検出試行を行うようにする。なお、図 112において、外側の透かしパターンの中には、内側の透かしパターンが入れ子になっており、この領域については外側の透かしパターンの模様が残っていないが、電子透力し方式自体が持つロバスト性により、パターンの欠損に対しても対応できるため、電子透かし検出は可能である。

[0489] 次に、本実施の形態における電子透かし検出装置 200のフィードバック出力の例を示す。

[0490] 図 113〜図 116は、本発明の第 20の実施の形態における電子透かし検出装置のフィードバック出力の例を示す。

[0491] 検出対象領域毎に得られた検出状況は、電子透かし検出装置 200の表示画面上で、検出対象領域の位置やサイズなどに合わせてプレビュー画面に合成される。図 1 13では、 3つの検出対象領域からの電子透かし検出状況を、もともとの透かしパターンに関連付けられたオブジェクト位置に合成して表示している。

[0492] また、図 114では、入れ子になった 2つの検出対象領域からの電子透かし検出状況の合成の例を示して 1、る。このように複数の電子透かし検出対象領域が得られた場合、それぞれの電子透かし検出状況を同時にフィードバックすることが可能である

[0493] また、図 115や図 116のように、表示画面の一部分をズームインして撮影している場合には、その撮影部分のみの電子透かし検出状況を出力できる。これを用いれば、例えば、表示画面中の複数のオブジェクトからいくつかを選択するような指示を電子透かし検出を用 Vヽて実現できる。

[0494] なお、本実施の形態は、第 1乃至第 19の実施の形態における工夫を任意に組み合わせても実施できることは自明である。

[0495] く本実施の形態の効果〉

本実施の形態によれば、動画像の 1フレーム中に複数の透かしパターンを重畳して埋め込みを行い、カメラキヤプチヤで得られるフレーム画像中の複数の検出対象領域を抽出して各々電子検出を行う。これによりフレーム画像中のオブジェクトに関連付けた電子透力しの埋め込み ·検出が可能となり、利便性が向上する。また、撮影時に特定のオブジェクトにズームインしてキヤプチャ ·検出を行うことで、画面中の特定のオブジェクトを選択するようなユーザインタフェースに利用できる。

[0496] [第 21の実施の形態]

本実施の形態では、透力しの情報を透かしパターンの位相差分変動として埋め込みを行う例を説明する。

[0497] 本実施の形態は、以下に説明する部分を除いて、第 1乃至第 20の実施の形態と同一である。以下、第 1の実施の形態との差分を中心に説明する。

[0498] 本実施の形態における電子透力し埋め込み装置 100における透かしパターン生成部 120について説明する。

[0499] 図 117は、本発明の第 21の実施の形態における透かしパターン切り替え情報の例を説明するための図である。

[0500] 本実施の形態における透かしパターン切り替え情報は、パターンの反転について直接的に指示する情報ではなぐ透かしパターンの周期と周期中の切り替えポイントを示すような情報である。

[0501] 図 118、図 119は、本発明の第 21の実施の形態における透かしパターン切り替え部の処理を説明するための図である。

[0502] 透かしパターン切り替え部 122では、まず、入力された基本透かしパターンの濃淡値を、位相差分変動パターンに変換する。変換のプロセスは、例えば、図 118のように 2値の基本透かしパターンである場合は、明 ·暗に対応する二つの位相差分変動値を求め、基本透かしパターン上の明 ·暗それぞれの画素値を持つ画素位置に位相差分変動値を対応付けることにより得られる。ここで 2値の位相変動差分値をどのようにして求めるかであるが、図 118のように、透かしパターン切り替え情報が「3ZlO秒で一周期となるように 1Z10秒毎に断続的に切り替え」である場合には、 3Z10秒が一周期で切り替えタイミングが 1Z10秒であるから、 1Z10秒に 2 π Ζ3だけ位相を変化させれば、 3Z10秒後に元の位相に戻るため、位相差分変動値を 2 π Ζ3、及びその反対方向の 2 π Ζ3の 2値を用いるようにする。

[0503] 上記のようにして位相差分変動パターンを得た後、透かしパターン切り替え部 122 は、入力されたフレーム表示時刻を透かしパターン切り替え情報の時間軸にとり、切り替えタイミング毎に、直前の透かし位相のパターンに位相差分変動パターンをカロえる。図 118の例では、時刻 tO, tl, t2のタイミングで、透かし位相パターンに位相差分変動パターンが加えられる。なお、動画像の先頭フレームなどにおける、透かし位相パターンの初期値は、 0及び上記の差分変動値の、ずれかを透かし位相パターンの各要素が任意に取るようにして設定されるものとする。

[0504] 上記のようにして透かし位相パターンを取得した後、透かしパターン切り替え部 122 は、透かし位相パターンを透かしパターンに変換する。変換の仕方としては、例えば

、図 119に示すように、透かし位相パターンの各要素値を、画像の 2つ以上の成分、図では、 YcbCr表色系における Cbと Crを直交軸においた座標系における原点（0, 0 )を中心とした半径 r (rは所与の値)の円上の点に対応付ける。この結果得られる Cb — Crの座標系の Cb座標、 Cr座標を、当該透かし位相パターンの要素に対応する透力しパターンの画素値として、全ての透かしパターンの画素値を求める。このようにして得られた透かしパターンは、各画素複数の成分値を持つパターンとなる。

[0505] なお、本実施の形態では、 Cb、 Crを例として用いた力 RGB表色系の R—Gを用いたり、あるいは、 XYZ表色系における X— Yを用いたり、 HSV表色系の H-Sを用いたりなど、様々な方法がありうる。

[0506] また、各軸毎の変動量に対する視覚感度が異なる場合には、適宜スケールを補正して各軸の変動量と視覚感度が一致するようにしてもよい。本実施の形態では、 YCb Cr表色系では、 Yに比べて知覚されづら、と、う理由で Cbと Cr成分を用いた例を示している。

[0507] また、複数の画像成分ではなぐ単一の成分、例えば、輝度成分などを用いて本実施の形態を実施するには、第 1の実施の形態の変調方法 (A— 2)のように、基本透かしパターンに波形パターンを用いて、波形パターンの位相を変動させることで、本実施の形態と同様に位相差分変動を用いた電子透かし埋め込みが実現できる。

[0508] このようにして得られた透かしパターン力順次フレーム画像に重畳されることにより、透かし入り動画像が得られることについては第 1の実施の形態と同様である。

[0509] 本実施の形態における電子透かし検出装置 200内の差分画像生成部 230の処理について説明する。

[0510] 図 120は、本発明の第 21の実施の形態における差分画像生成部の処理を説明するための図である。差分画像生成部 230は、第 1の実施の形態と同様の処理を行つて差分画像を得た後、さらに、差分画像に修正を加える。修正の仕方の例は、図 12 0のように、差分画像の各画素について Cb、 Cr成分値 (cb,cr)を得て、これを埋め込み時と同様に Cb-Crの直交座標系にプロットしたときの局座標表現 (R, 0 )を得る。次に、 0が図中の丸印の角度（π Ζ6, π /2, π /6, 5 π /6, 7 π /ら, 3 π 2, 11 π Ζ6)のどれかに一番近いかを判定し、一番近力つた角度に割り当てられた符号 (+または一）を得る。最後に原点からの距離 Rにこの符号を掛けたものを求めて、差分画像の当該画素の画素値として上書きする。これを全ての差分画像の画素に対して行う。

[0511] 差分画像生成部 230以降の処理については第 1の実施の形態と同様である。

[0512] 次に、本実施の形態の原理について説明する。

[0513] 説明の前提として、本実施の形態における電子透かし検出装置においては、図 12 1のように、第 3の実施の形態と同様、透かしパターン切り替え情報に基づいてキヤプチヤタイミング、差分タイミングが指定されているとする。図 121では、差分は 1Z10離れた検出対象領域画像の差分を取るように指定されている。第 4の実施の形態などで述べたとおり、第 1乃至第 20の実施の形態で説明した電子透力し埋め込み '検出方法では、差分取得のタイミングによって、得られた差分画像中の透かしパターンが埋め込み時と同相か逆相かのどちらかになり、各種工夫により対応する必要があった

[0514] 図 122と図 123を用いて本実施の形態の原理を説明する。図 122は、埋め込み時の位相差分変動パターン値が 2 π Ζ3の場合について、 1Z10秒離れた 2枚のフレームに埋め込まれた Cb-Cr成分値、即ち、埋め込み時の位相パターンに相当する値と、差分によって得られる Cb-Cr値のありうるパターン全てを列挙したものである。このように、埋め込み時の位相差分変動値が 2 π Ζ3であれば、差分画像中の Cb-Cr成分値は、 π Ζ6, 5 π /6, 3 π Ζ2の 3つのうちのどれかの位相を持つ。

[0515] 位相差分変動値が 2 π Ζ3であった場合について、図 123に示す。この場合、差分画像中の Cb- Cr成分値は、 7 π Ζ6, π /2, 11 π Ζ6の 3つのうちのどれかの位相を持つ。即ち、位相差分変動値に応じて、差分画像中の Cb-Cr成分値は、 2つのグループに分類できる。これを用いれば、図 120のように検出時の Cb-Cr成分の位相が 2つのグループのどちらに属するかを判定することで、キヤプチヤのタイミングによらず、常に埋め込み時の位相差分変動値を一定に得ることができる。位相差分変動値は、透力し情報を拡散した系列の項の値に対応しているので、結局キヤプチャタイミングによらず差分力も得られる透かしパターン（図 120中に修正された差分画像中の透かしパターンに相当）は反転することがなぐ埋め込み時の基本透かしパターンと同相、ということになる。

[0516] この「差分力も得られる透かしパターン力タイミングによらず常に一定」と!、う特性は、極めて重要である。例えば、第 1の実施の形態の変調方法 (A—1)は、差分画像中の透かしパターンが反転すると、検出透かし除法のビットが反転するため、位相を特定するために第 4の実施の形態や第 5の実施の形態のような工夫を必要として、た。

[0517] また、第 1の実施の形態のその他の変調方法も、例えば、第 6の実施の形態や第 1 9の実施の形態のように、透力し情報や検出対象領域の検出性能向上のために差分画像を蓄積する際に、位相を合わせる必要があるため、各種工夫を用いていたが、本実施の形態を用いることで、この問題は一切解消し、差分の取り方によらず透かしパターンは一定であるから、当然検出透力情報のビット反転は起きないし、差分画像の加算蓄積の際に位相を気にすることなく単純に加算をするだけで済む。

[0518] また、第 8の実施の形態のように透力し情報をデータブロックに分割して時間方向で順次埋め込みを行うような場合に、第 1の実施の形態のような変調方法では、図 12 4に示すようにデータブロックの境界に跨った差分画像では、正しくない透力し情報を検出してしまう危険性があった。そのため安全を確保するためにはデータブロック区間の間に透力を埋め込まない区間を挟む必要があり、これによつて単位時間当たりの透かレ f青報長が減ってしまうという問題があった。

[0519] しかし、本実施の形態を用いれば、透力しの情報は位相差分変動によって表されるので、直前のデータブロック終端での位相パターンに、今回のデータブロック情報を表す位相差分変動を与えて埋め込みを行えば、検出時にデータブロック境界に跨つた差分画像を得ても、その差分力正しくデータブロック情報を検出することができる。これによつて無用なブランクを挟み込まず連続的にデータブロックを切り替えて埋め込み'検出をすることができるので、単位時間当たりの透力し情報量を増大させることちでさる。

[0520] なお、本実施の形態を、第 1乃至第 20の実施の形態の各々の工夫を任意に組み合わせても実施できることは自明である。

[0521] く本実施の形態の効果〉本実施の形態によれば、透力しの情報を位相差分変動として埋め込みを行うので、差分画像の取得タイミングによらず、一定の透かしパターンの含むように差分画像を得ることができる。これによつて透力し情報のビット反転を防いだり、差分画像蓄積時に位相を合わせる必要がなくなり、単純に差分画像を加算蓄積するようにすればよいので、装置構成の単純化、処理の高速化、及び位相同期信号を不要とすることに透力し情報長増大や耐性向上を実現できる。また、第 8の実施の形態のようなデータブロック利用型の場合に、データブロック間に無用なブランクを挟まなくても検出情報の信頼性を担保できるので、単位時間当たりの透力し情報長の増大を実現できる。

[0522] [第 22の実施の形態]

本実施の形態は、以下に説明する部分を除いて、第 1乃至第 21の実施の形態と同一である。

[0523] 以下、第 1の実施の形態との差分を説明する。

[0524] 電子透かし検出装置 200の差分画像生成部 230の処理につ、て説明する。

[0525] 図 125は、本発明の第 22の実施の形態における差分画像生成部の処理を説明するための図である。

[0526] 本実施の形態においては、差分画像生成部 230において、検出対象領域画像の差分画像を生成した後、さらに、差分画像に対してフィルタ処理を施して出力する。

[0527] 図 126A、 Bは、本発明の第 22の実施の形態におけるフィルタ処理の例を説明するための図である。説明のために差分画像を一次元信号として表している。図 126Aでは、差分画像の画素値の絶対値が所与の閾値以上の場合、閾値にクリッピングするという非線形フィルタ処理を施す。また、同図 Bでは、差分画像の画素値の絶対値が所与の閾値以上の場合、画素値を 0にすると、う非線形フィルタ処理を施す。

[0528] く本実施の形態の効果〉

本実施の形態によれば、動きのある動画像を撮影した場合に生じる大きな差分成分をフィルタ処理によって抑圧することができる。一般に透かしパターンは微弱な振幅で埋め込まれているので、画像自体の動きに起因する差分成分は、差分画像上の大きな絶対値を持つ差分画素値として現れる。そのため、本実施の形態のような非線形フィルタを用いれば、動画の動きによる差分成分を抑圧し、また、透かしパターンの成分は抑圧しないので、透かしパターンの SZN比が向上するので、動きがある動画像からの検出性能を向上させることが可能となる。

[0529] [第 23の実施の形態]

本実施の形態は、以下に説明する部分を除いて、第 1乃至第 22の実施の形態と同一である。以下、第 1の実施の形態との差分を説明する。

[0530] 図 127は、本発明の第 23の実施の形態における透かしパターン重要部の処理を説明するための図である。

[0531] 本実施の形態における透かしパターン重畳部 130は、順次入力されるフレーム画像を過去数枚分蓄積する機能を有し、新たに入力された今回のフレーム画像と、以前のフレーム画像との差分画像を生成する。以前のフレーム画像は直前のものでも良いし、数フレーム前のものでもよい。次に、透かしパターンは、第 1乃至第 22の実施の形態のように適宜スケーリングされる。次に、差分画像に基づいて、透かしパターンの振幅を調整する。その後の処理は第 1乃至第 22の実施の形態と同様にフレーム画像に対して振幅が調整された透かしパターンを重畳するのみである。

[0532] 図 128は、本発明の第 23の実施の形態における透かしパターンの振幅調整の例を説明するための図である。同図（1)では、差分画像の画素値の絶対値の総和を求め、この総和の値に基づいて透かしパターン全体の振幅を調整する。調整の仕方は、例えば、総和値に対して比例する値で振幅を増幅するなど、総和値が大きいほど振幅が大きくなるようにする。あるいは、同図（2)のように、差分画像の各座標の画素値に基づ、て、透かしパターンの対応する座標の画素値の振幅を調整する方法もありうる。この場合は、例えば、差分画像の画素値の絶対値が大きいほど、対応する位置の透かしパターンの振幅を大きくするようにする。同図（1)、（2)とも、差分画像に大きな絶対値を持つ画素が多いほど、即ち、動画像の動きが激しいほど、透かしバターンの振幅が増幅されるようになっている。また、同図（1)を施した後にさらに同図（2 )を施すなど、増幅の仕方をより複雑にしてもよい。

[0533] く本実施の形態の効果〉

本実施の形態によれば、動きのある動画像に透かしパターンを重畳する際に、差分画像中の大きな絶対値を持つ画素が多い、即ち、動きの激しいフレームについては、動きの少ないフレームに対するよりも、より振幅の大きい透かしパターンを重畳することになる。一般に動きの激しい動画シーンでは、静止しているシーンに比べノイズが知覚しづら!/、ので、上記のように動きの激し、フレームで透かしパターンの振幅を強めても、透かし埋め込みによる画質劣化が知覚できないようにすることが可能である。

[0534] また、特に動きの多いシーンでは、検出時の差分画像に大きな絶対値を持つ画素が多いので、透かし検出に対してはノイズが多いという問題があった力本実施の形態のように、動きの激しいシーンは予め強めに透かしパターンを埋め込んでおくことで、 SZN比が向上して透かしの検出性能が向上する。

[0535] [第 24の実施の形態]

本実施の形態は、以下に説明する部分を除いて、第 1乃至第 23の実施の形態と同一である。以下、第 1の実施の形態との差分を中心に説明する。

[0536] 図 129は、本発明の第 24の実施の形態における電子透かし検出装置の構成を示す。

[0537] 同図に示す電子透かし検出装置 200Jは、動画像入力部 210、検出対象領域抽出部 220、差分画像生成部 230、電子透かし検出部 240、検出対象領域画像バッファ 250、ズーム処理部 310から構成される。同図に示す構成は、第 1の実施の形態の電子透かし検出装置 100Aにズーム処理部 310を付加した構成である。

[0538] 図 130は、本発明の第 24の実施の形態における動作のフローチャートである。

[0539] 同図に示すフローチャートにおけるステップ 1901〜ステップ 1906までの動作は図 20のステップ 201〜ステップ 206と同一であるのでその説明は省略する。

[0540] ステップ 1907) 電子透かし検出部 210の検出状況が良好でない場合は、ステツプ 1901に移行し、良好である場合は、ステップ 1908の処理を行う。

[0541] ステップ 1908) ズーム処理部 310において、検出対象領域の大きさや位置を表す検出対象領域情報と電子透かし検出部 240の検出状況を用いて、検出状況が良好であった場合に、検出対象領域が所与のサイズとなるようにズームパラメタを生成し、動画像入力部 210に与え、ステップ 1901の処理に移行する。これにより、動画像入力部 210では、与えられたズームパラメタに基づいて、カメラやスキャナなどを自動的にズームさせる。

[0542] ここで、「検出状況が良好」とは、第 17の実施の形態と同様に、例えば、文献 1の検出信頼度指標値がある程度有意な値であるが、まだ電子透力しの検出が成功していない状態であるとか、あるいは、第 8の実施の形態などのデータブロック毎検出の場合に、あるデータブロックの検出に成功した、などといった状態、即ち、電子透かし検出部 240の検出状況から、電子透力しの存在が有意に明らかである、といった場合を指すものとする。例えば、検出対象領域の面積がフレーム画像の面積の 40%以上となるように、今回の検出対象領域情報で表される検出対象領域が 40%未満であつた場合に、自動的にズームインして 40%以上となるようにする。あるいは、ある検出試行時において検出状況が良好であり、かつ検出対象領域の面積が 20%であった場合、検出試行毎に徐々にズームインさせることで表示を滑らかに変化させてユーザィンタフェースを改善してもよ、。

[0543] また、ズームインする際に、あまりにズームインしすぎると検出対象領域の縁検出に失敗するような場合は、検出対象領域がフレーム画像ヽっぱいになるまでズームインせずに、所与のサイズ (例えば、フレーム画像の 50%)までズームするようにしてもよい。さらに、所与のサイズではなぐ現在の検出対象領域情報で定まる検出対象領域の頂点や辺がフレーム画像に収まるように、適宜ズーム率を変化させても良い（例えば、フレーム画像の中央に検出対象領域がある場合と、端にある場合とでは、後者の方がズームインの程度が低くなる)。

[0544] なお、上記では、第 1の実施の形態との差分について説明したが、第 13乃至第 15 の実施の形態との組み合わせや、第 16の実施の形態の特徴領域を所与のサイズとなるようにズームインすることや、第 17の実施の形態において近傍探索の範囲をズーム率の変化に応じて同様にズームさせて組み合わせることや、第 20の実施の形態において、複数の透かしパターンのうち一つを撮影画像の中央にフレーミングして検出試行することで自動ズームにより特定の画像領域に結び付けられた透カゝし情報を検出することなどは容易に実現可能である。

[0545] く本実施の形態の効果〉

本実施の形態によれば、撮影時のフレーム画像中の検出対象領域の画素サイズ力、さい場合に、自動的にズームインしてより大きな画素サイズの検出対象領域を取得することができる。一般に画素サンプルが少なくなると電子透かし検出が困難になるため、ズームインして検出対象領域の画素サンプル数を増大させることで、電子透力しの検出性能を向上させることができる。

[0546] また、電子透力しの検出状況に基づいて、検出状況が良好の時のみズームインすることにより、例えば、図 131Aのように検出状況が良好な場合、ズームインによって検出対象領域の画素サンプル数を増大させて検出性能を向上させることができると同時に、同図 Bのように本来の検出対象領域ではない領域を誤って検出対象領域としている場合には、電子透かし検出状況が良好とならないため、ズームインしない、即ち、確実に電子透力の存在が明らかな検出対象領域の場合のみ、検出性能が向上するようにズームインするので、無用なズームインをせずに済み、ユーザピリティの向上を図ることができる。

[0547] [第 25の実施の形態]

本実施の形態では、透力しの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像 (A)を生成し、さらに時間的に隣接した差分画像 (A)の位相差分を計測し、位相差を用いて得られる差分画像 (B)から電子透かし検出を行うことにより、検出時のキヤプチャタイミング及びキヤプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出を可能するものである。

[0548] 本実施の形態は、以下に説明する部分を除いて、第 1乃至第 24の実施の形態と同一である。以下、第 1の実施の形態との差分を中心に説明する。本実施の形態における電子透力し埋め込み装置の構成は、第 1の実施の形態と同様の構成である。

[0549] 図 132は、本発明の第 25の実施の形態における透かしパターン切り替え情報の例を説明するための図である。

[0550] 本実施の形態における電子透力し埋め込み装置 100における透かしパターン生成部 120の透かしパターン切り替え情報は、パターンの反転について直接的に指示する情報ではなぐ 6Z30秒で一周期となる正弦波など、連続的な関数で表現されるものであり、具体的には正弦波の周期を示すような情報である。実際には入力される動画像は特定のフレームレート、例えば 30フレーム/秒のような離散的なフレーム画像群として与えられるので、図 132の下図のように、正弦波上を離散的にサンプリングして埋め込みに用いることになる。なお、本実施の形態では以下に示すように、正弦波の周期に対する位相の値を用いる。

[0551] 図 133は、本発明の第 25の実施の形態における透かしパターン切り替え部の処理を説明するための図である。透かしパターンに切り替え部 122では、まず入力された基本透かしパターンの濃淡値を、符号パターンに変換する。符号パターンは、基本透かしパターンの各濃淡値の +または-の符号を取り出し、大きさを 1とした値を各要素値として持つ配列である。

[0552] 次に、透かしパターン切り替え部 122において、入力されたフレーム表示時刻を透かしパターン切り替え情報の時間軸にとり、フレーム表示時刻に対応する透かしパターン切り替え情報の周期に対する位相（以下透かしパターン切り替え位相と呼ぶ）を取得する。そして直前のフレームに対する透かしパターン切り替え位相との間の位相変動値を求め（図 133では + π /3)、この位相変動値に符号パターンの要素値を掛けたものを透かし位相パターンの各要素値の位相変動量とする。透かし位相パターンは符号パターンと同じサイズの配列であり、各要素は 0〜2 πの位相値をとる。透かし位相パターンの各要素の初期値は任意の値でかまわない。

[0553] 上記のようにして透かし位相パターンを取得した後、透かしパターン切り替え部 122 は位相パターンを透かしパターンに変換する。変換の仕方としては、例えば図 134に示すように、透かし位相パターンの各要素値を、画像の 2つ以上の成分、図では YCb Cr表色系における Cbと Crを直行軸においた座標系における原点（0, 0)を中心とした半径 r(rは所与の値)の円上の、角度が位相パターン要素値の点に対応付ける。この結果得られる Cb— Cr座標系の Cb座標、 Cr座標を、当該位相パターンの要素に対応する透かしパターンの画素値として、すべての透かしパターンの画素値を求める。このようにして得られた透かしパターンは、各画素複数の成分値を持つパターンとなる。なお、本実施の形態では Cb, Crを例として用いた力 RGB表色系の R—Gを用いたり、あるいは XYZ表色系における X— Yを用いたり、 HSV表色系の Hue-Saturatio nを用いたり（この場合は Hue-Saturationを直交座標にとるのではなぐ位相値を直接 Hue値に設定し、所与の Saturation値を持つようにしても良い）など、様々な方法があり得る。

[0554] また、各軸毎の変動量に対する視覚感度が異なる場合には、適宜スケールを補正して各軸の変動量と視覚感度が一致するようにしても良、(例えば図 134にお、て円ではなく楕円を用いるなど)。本実施の形態では YCbCr表色系では、 Yに比べて知覚されづら、と、う理由で Cbと Cr成分を用いた例を示して、る。

[0555] また、複数の画像成分ではなく、単一の成分、例えば輝度成分などを用いて本実施の形態を実施するには、第 1の実施の形態の変調方法 (A— 2)のように、基本透かしパターンに波形パターンを用いて、波形パターンの位相を変動させることで、本実施の形態と同様に位相差分変動を用いた電子透かし埋め込みが実現できる。

[0556] このようにして得られた透かしパターン力透かしパターン重畳部 130において順次フレーム画像に重畳されることにより、透かし入り動画像が得られることについては第 1の実施の形態と同様である。

[0557] なお、 Cb— Crを用いた場合は、透かしパターンの振幅を調整するとは、 Cb— Cr座標系における振幅（図 134における点 aOと原点との距離)を増減することになる。また、 Hue- Saturationを用いる場合は Saturationを増減することにあたる。また、基本透力しパターンが 2値ではなく多値の場合は、基本透かしパターンの画素値の絶対値の大きさに応じて、対応する透かしパターンの画素値の振幅を増減させても良、。

[0558] 図 135は、本発明の第 25の実施の形態における電子透かし検出装置の構成図である。

[0559] 本実施の形態における電子透かし検出装置 200は、動画像入力部 210、検出対象領域抽出部 220、差分画像生成部 230、位相差分計測部 360、電子透かし検出部 240、検出対象領域画像バッファ 250、位相パターンバッファ 370を有する。

[0560] 図 136は、本発明の第 25の実施の形態における電子透かし検出装置の動作のフローチャートである。

[0561] 第 1の実施の形態との相違について説明すると、図 137のように第 1の実施の形態と同様にして差分画像生成部 230で出力された差分画像 (本実施の形態では差分画像 (A)と表記)を位相差分計測部 360に入力し、位相差分計測部 360にお、て差分画像 (A)から位相パターンを生成し (ステップ 2040)、現在取得した位相パターンと、以前に取得した位相パターンとの位相差を測定し、位相差に基づいて新たに差分画像 (B)を構成して出力する (ステップ 2050)。電子透かし検出部 240は差分画像 (B)を入力し、第 1の実施の形態と同様に差分画像 (B)から電子透かし検出を行う (ステップ 2070)。

[0562] 図 138は、本発明の第 25の実施の形態における位相差分計測部の処理の内容を説明するための図である。

[0563] 位相差分計測部 360は差分画像 (A)を入力とする。位相差分計測部 360は、差分画像 (A)を埋め込み時と同様にブロック分割し、各ブロック毎に Cb成分、 Cr成分の総和をそれぞれ求め、その結果 (Cb, Cr)を Cb— Cr座標系の点として表した際の振幅 R と位相 Θを求め、これらを位相パターンの当該ブロック位置に対応する要素の値として設定する。位相パターンは各要素位置毎に振幅と位相をとるような配列であり、その各要素は差分画像の各ブロックと対応付けられている。

[0564] 次に位相差分計測部 360は、図 139のように、位相パターンバッファ 370に蓄積されている以前に取得した位相パターンと、現在取得した位相パターンを比較し、各要素の位相差に基づいてプラスまたはマイナスの符号を決定し、さらに二つの位相パターンのそれぞれの振幅が大きいほど大きな値をとるような単調増加関数を用いて新たな振幅を決定し、上記符号と上記振幅を値として持つ差分画像 (B)の各要素値を決定する。

[0565] 図 140A、 Bは、本発明の第 25の実施の形態における位相差分計測部の処理の内容を説明するための図である。

[0566] 現在取得した位相パターンのある要素の位相値 Θと、以前に取得した位相パターンの対応する要素の位相値 Θ 'の位相差 Θ— Θ 'を求め、その値が 0〜 πの範囲内であれば符号 "を、— π〜0の範囲内であれば符号"—"を選択するようにする。また、現在取得した位相パターンのある要素の振幅値 Rと、以前に取得した位相パターンの対応する要素の振幅値から、新たな振幅値 ρを求めるのに用いる単調増加関数の例としては、例えば p (R, R') =R+R'であるとか、 (R, R') =RXR'などを用いることができる。振幅値 R, R'に対して単調増加とする理由は、透かし信号が強く残つている、すなわち振幅 R, R'が大きいものほど重みをつけることによって電子透かしの検出性能を改善するためである。

[0567] 全ての要素について符号選択と新たな振幅値を求める処理を終えた後、差分画像

(B)を電子透かし検出部に送り、差分画像 (B)からの透かし検出を試みる。なお、今回取得した位相パターンは、後の検出試行に利用するため、位相パターンバッファ 3 70に蓄積しておく。

[0568] 次に、検出時のキヤプチャタイミングが異なる例をいくつか用いて、本実施の形態の原理を説明する。

[0569] 図 141のキヤプチャ例 Aは 1Z15秒毎、すなわち 1フレームおきにフレームキヤプチャを行う例である。隣接キヤプチャフレーム (図 141中では（1) , (2) , (3) , (4) ,…等と表記)間で得られる差分画像 (A) (図 141中では (a)、（b)、（c)、…などと表記）中の透力しパターンの Cb— Cr値を考えると、図 133における符号パターンが正の要素については図 142のように、負の要素については図 143のように Cb— Cr成分値をべタトルとみなした場合の差分を求めた結果となって、る。これは差分画像の計算が Cb成分、 Cr成分の各項の差分計算に対応するためであり（これにより原画像成分が大幅に抑圧される）、差分画像 (A)中では、図 142や図 143のような複数の位相が得られることは第 21の実施の形態で述べたとおりである。

[0570] 本実施の形態では差分画像 (A)を得た後、さらに差分画像 (A)の Cb— Cr成分の位相値を元に位相パターンを生成し、時間的に隣接して、る位相パターン間の位相差を計測している（図 141中では位相パターン間の位相差分データを（ひ）、 ( β ) Λ γ )、…などと表記)。その状況を図 144(符号パターンが正の場合)及び図 145(符号パターンが負の場合)に示す。図 144及び図 145では、位相の差を求めることによつて、位相パターンの位相差から埋め込み時の透かしパターンの位相差 2 π Ζ3が、どのような隣接キヤプチャフレーム間でも等しく得られることが分かる。

[0571] 本実施の形態では、位相差の正負を用いて差分画像 (Β)の符号を定めて電子透かし検出を行うが、今述べたとおり位相差が埋め込み時の符号パターンと対応付けられているため、電子透力しの検出が可能であることは自明である。すなわちキヤプチャフレームのどのタイミング力もでも同様に電子透かし検出を行うことができる。

[0572] 図 146に、キヤプチャ例 Α (図 141)とは異なるキヤプチャ例 Bを示す。キヤプチャ例 Bはキヤプチャ例 Aと同じく 1 Z 15秒毎のキヤプチヤであるが、キヤプチャ開始のタイミングがずれている場合である。キヤプチャ例 Bの場合、まず差分画像 (A)を生成すると、キヤプチャ例 A (図 141)とは各キヤプチャフレームに埋め込まれている透かしパターンの位相がずれているため、差分画像 (A)中の透かしパターンの Cb— Cr値 (位相パターンの位相値）の組み合わせは、図 147及び図 148のようにキヤプチャ例 Aの場合（図 142及び図 143)と比較して異なっている。このことから、差分画像 (A)中の透力しパターンの Cb— Cr値 (位相パターンの位相値）の組み合わせのみ力も透かし情報を検出する第 21の実施の形態の場合では、符号パターン" + "または"—"を分類することができるが、二つのグループのどちら力 V +〃である力、あるいは〃一〃であるかが分力ない、ということが分かる。

[0573] し力しながら本実施の形態では、さらに図 149及び図 150のように隣接する差分画像 (A)の位相差を計測することで、常に埋め込み時の符号パターン要素と同じ符号を検出することができる。すなわち本実施の形態によれば、キヤプチャ例 Aとキヤプチャ例 Bの差はなぐ任意のキヤプチャ開始タイミングにおいて同様に電子透かし検出を行うことができる。

[0574] 図 151に、キヤプチャ例 A, Bとは異なる、キヤプチャ例 Cを示す。キヤプチャ例ま、キヤプチヤのタイミングが 1Z30秒間隔であったり 1Z15秒間隔であったり一定でない場合である。キヤプチャ例 Cの場合、まず差分画像 (A)を生成すると、図 152及び図 153のようにキヤプチャ例 A及びキヤプチャ例 Bとは異なる組み合わせで、差分画像 (A)中の Cb— Cr値 (位相パターン中の位相値）が得られる。またキヤプチャ例じのようにキヤプチヤの時間間隔が各々異なる場合には、差分画像 (A)中の Cb— Cr値（位相パターン中の位相値)を 2つに分類することが困難なため、第 21の実施の形態のような方法では検出が困難となる。

[0575] し力しながら本実施の形態では、さらに図 154及び図 155のように隣接する差分画像 (A)の位相差を計測する。この際、位相差の値はキヤプチャ時間間隔が変動することによりまちまちであるが、位相差から定まる符号 (0〜 π→ +、一 π〜0→—）は、キヤプチャ時間間隔によらず一定で、かつ埋め込み時の符号パターンと同じ値をとる。これにより、本実施の形態によればキヤプチャ例 Cのようにキヤプチャ時間間隔が変動する場合においても、問題なく電子透かし検出を行うことができる。

[0576] 図 156に、キヤプチャ例 A, B, Cとは異なる、キヤプチャ例 Dを示す、動画像のカメラキヤプチヤなどの場合では、シャッター速度が遅い場合に 1枚のキヤプチャフレームに複数の動画像フレームが多重に露出されて合成されてしまうことがある。例えば図 156のキヤプチャ例 Dでは、 1Z30秒毎に表示されている動画フレームが多重露出により 1枚のキヤプチャフレームに合成されている。しかし、この合成で得られるキヤプチャフレーム中の透かしパターンの位相は多重化された各々の動画像フレーム中の位相の合成であるから (複数フレームの Cb、 Cr成分各項を適当な比率で重み平均することで合成画像が得られるので）、図 157のように、多重化された各々の動画像フレーム中の位相の中間の値をとる (図 157は 2枚のフレームが丁度 1: 1の比率で多重露出により合成された例を示している力例えば 2:1などでもその内分比率に応じた中間値をとることは明らかである)。キヤプチャ例 Dの場合、まず差分画像 (A)を生成すると、図 158及び図 159のようにキヤプチャ例 A, B, Cとは異なる組み合わせで、差分画像 (A)中の Cb— Cr値 (位相パターン中の位相値）が得られる。キヤプチャ例 Dのように多重露出されたキヤプチャフレームの場合、差分画像 (A)中の Cb— Cr値 (位相パターン中の位相値)を 2つに分類することが困難なため、第 21の実施の形態のような方法では検出が困難となる。

[0577] し力しながら本実施の形態では、さらに図 160及び図 161のように隣接する差分画像 (A)の位相差を計測することで、常に埋め込み時の符号パターン要素と同じ符号を検出することができる。すなわち本実施の形態によればキヤプチャ時のタイミングが動画像のフレーム表示タイミングより細力、任意の時間ずれにぉ、て、仮にキヤプチャフレーム中に複数の動画像フレームが多重露出されて合成されている場合であつても、同様に電子透かし検出を行うことができる。

[0578] この「差分力も得られる透かしパターンがキヤプチャタイミング及びキヤプチャ時間間隔、あるいはシャッター速度などによらず常に一定」という特性は極めて重要である。例えば第 1の実施の形態の変調方法 (A—1)は差分画像中の透かしパターンが反転すると検出透かレ f青報のビットが反転するため、位相を特定するために第 4または第 5の実施の形態のような工夫を必要として、た。 [0579] また、第 1の実施の形態のその他の変調方法も、例えば、第 6または、第 9の実施の形態のように、透力し情報や検出対象領域の検出性能向上のために差分画像を蓄積する際に、位相を合わせる必要があるため各種工夫を用いていた力本実施の形態を用いることでこの問題は一切解消し、差分のとり方によらず透かしパターンは一定であるから、当然検出透力情報のビット反転は起きないし、差分画像 (本実施の形態における差分画像 (B) )の加算蓄積の際に位相を気にすることなく単純に加算をするだけで済む。

[0580] また、第 8の実施の形態のように透力し情報をデータブロックに分割して時間方向で順次埋め込みを行うような場合に、第 1の実施の形態のような変調方法では、図 12 4に示すようにデータブロックの境界にまたがった差分画像では、正しくない透力し情報を検出してしまう危険性があった。そのため安全を確保するためにはデータブロック区間の間に透力しを埋め込まない区間を挟む必要があり、これによつて単位時間あたりの透かレ f青報長が減ってしまうという問題があった。

[0581] しかし、本実施の形態を用いれば、透力しの情報は位相差分変動によって表されるので、直前のデータブロック終端での位相パターンに、今回のデータブロック情報を表す位相差分変動を与えて埋め込みを行えば、検出時にデータブロック境界にまた力 Sつた差分画像を得ても、その差分力正しくデータブロック情報を検出することができる。これによつて無用なブランクを挟み込まず連続的にデータブロックを切り替えて埋め込み ·検出をすることができるので、単位時間あたりの透力し情報量を増大させることちでさる。

[0582] さらに第 21の実施の形態では困難であった、キヤプチャ間隔が変動した場合、及び多重露出により複数の動画像フレームが合成されたキヤプチャフレームとなる場合においても、本実施の形態によれば先に述べたとおり問題なく検出可能であり、かつ上記各実施の形態との組み合わせによる効果も享受することができる。

[0583] なお、本実施の形態を、第 1乃至第 24の実施の形態の各々の工夫を任意に組み合わせても実施できることは自明である。すなわち本実施の形態における位相差分計測部の処理を各実施の形態における対応する箇所 (電子透かし検出部や検出対象領域抽出部の前など）に挿入して処理を行えば先に述べた効果を実現することができる。他実施の形態との組み合わせの場合は、本実施の形態における差分画像（ B)を、差分画像あるいは検出対象領域画像と読み替えればよい。以下、各実施の形態に対して本実施の形態の工夫を適用する場合について簡単に説明すると、

•実施の形態 1, 2,3, 4, 5, 6, 7, 8, 9, 10,11, 12, 21,22, 23, 24:電子透力検出装置の差分画像生成部の出力を差分画像 (A)として位相差分計測部に入力し、差分画像 (B)を得てこれを電子透かし検出部に入力する；

'実施の形態 13, 14, 15, 16, 17, 18, 19, 20:検出対象領域抽出部の出力である検出対象領域画像を、本実施の形態の差分画像 (A)として位相差分計測部に入力し、差分画像 (B)を得てこれを電子透かし検出部に入力する；

のようにすれば良い。

[0584] く第 25の実施の形態の効果〉

本実施の形態によれば、透力しの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像 (A)を生成し、さらに時間的に隣接した差分画像 (A)の位相差分を計測し、位相差を用いて得られる差分画像 (B)から電子透かし検出を行うので、先に述べたとおり、検出時のキヤプチャタイミング及びキヤプチャ時間間隔、ある Vヽはシャッター速度などによらず常に同一条件で電子透かし検出が可能となる。これによって透力し情報のビット反転を防いだり、差分画像蓄積時に位相を合わせる必要がなくなり、単純に差分画像を加算蓄積するようにすれば良いので、装置構成の単純化、処理の高速化、及び位相同期信号を不要とすることによって透かレ f青報長増大ゃ耐性向上を実現できる。

[0585] また、第 8の実施の形態のようなデータブロック利用型の場合に、データブロック間に無用なブランクを挟まなくても検出情報の信頼性を担保できるので、単位時間あたりの透力し情報長の増大を実現できる。また、検出装置のキヤプチャタイミングが変動する場合や、カメラ撮影などにより複数の動画像フレームが多重露出によって合成されてキヤプチヤされる場合でも、一切の問題なく電子透かし検出が可能であるため、電子透かし検出装置 200における動画像入力部 210の構成を簡単にしたり（正確なクロックでキヤプチヤしなくてもよい）、カメラのようなアナログ光学的読み取りの場合における電子透かし検出性能を向上させることが可能となる。 [0586] [第 26の実施の形態]

本実施の形態では、透力しの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像 (A)を生成し、さらに時間的に隣接した差分画像 (A)の位相差分を計測し、位相差を用いて得られる差分画像 (B)を生成し、差分画像 (B)を加算蓄積して検出対象領域を抽出し、検出対象領域画像から電子透かし検出を行うので、先に述べたとおり、検出時のキヤプチャタイミング及びキヤプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出を可能とし、撮影角度によって生じる歪みの影響を補正し、かつ蓄積によって透力しの耐性を向上させ、より安定的な電子透かし検出を実現するものである。

[0587] 図 162は、本発明の第 26の実施の形態における電子透かし埋め込み装置の構成図である。

[0588] 同図に示す電子透力し埋め込み装置 100は、フレーム画像取得部 110、透かしパターン生成部 120、透かしパターン重畳部 130、動画像データ再構成部 140から構成される。本実施の形態の電子透かし埋め込み装置 100は、原動画像データ、透かし情報、透かしパターン切り替え情報を入力とする。

[0589] 図 163は、本発明の第 26の実施の形態における電子透力し埋め込み装置の動作のフローチャートである。

[0590] ステップ 100) まずフレーム画像取得部 110で図 164のように原動画像データからフレーム画像及び該フレーム画像の表示時刻を一枚ずつ順次取得する。ここでフレーム画像表示時刻とは、例えばタイムコードと再生時のフレームレートから定まる動画像の先頭力もの絶対的な時刻を表すものでも良いし、あるいは再生時のフレーム間の相対的な時間間隔が測れるようなものでも良い。フレーム画像取得部 110は、入力動画像データが MPEGなどの符号ィ匕データである場合は、復号を行うなどしてフレーム画像を取得する。

[0591] ステップ 110) 続いて透かしパターン生成部 120において、透かし情報、フレーム表示時刻、透かしパターン切り替え情報を用いて透かしパターンを生成する。

[0592] ステップ 120) 次に透かしパターン重畳部 130において、該透かしパターンをフレーム画像に重畳して透かし入りフレーム画像を生成する。 [0593] ステップ 130) 最後に動画像データ再構成部 140において、順次生成される透かし入りフレーム画像の列を、動画像データとして再構成して透かし入り動画像データとして出力する。この際、必要ならば MPEGエンコードなどの符号ィ匕を行っても良い。

[0594] 図 165は、本発明の第 26の実施の形態における透かしパターン生成部の構成図であり、図 166は、本発明の第 26の実施の形態における透かしパターン生成部の動作のフローチャートである。

[0595] 透かしパターン生成部 120は、基本透かしパターン生成部 121と透かしパターン切り替え部 122を有し、透かし情報、透かしパターン切り替え情報、フレーム表示時刻を入力とする。

[0596] ステップ 2100) まず基本透かしパターン生成部 121において、透かし情報を 2次元パターンである基本透かしパターンに変換する。この変換の仕方は、第 1の実施の形態に示したように様々な方法があり得るが、本実施の形態では説明を簡単にするために、第 1の実施の形態の変調方法を用いることとする。

[0597] 図 167に基本透かしパターン生成部 121の処理の例を示す。本実施の形態では、透力情報のビット値を拡散系列によって直接スペクトラム拡散変調して得られる系列の値に応じて、画素値の大小を対応付ける方法を用いる。このとき基本透かしバタ一ンの各画素値は正または負の値をとるものとする。

[0598] ステップ 2110) 透かしパターン生成部 120は、続いて透かしパターン切り替え部 1 22において、フレーム表示時刻と透かしパターン切り替え情報の関係から、基本透かしパターンの位相反転の要否を判定し、必要に応じて基本透かしパターンの位相を変更し、透かしパターンとして出力する。

[0599] 図 168は、本発明の第 26の実施の形態における透かしパターン切り替え部の構成図である。

[0600] 透かしパターン切り替え部 122は、符号パターン生成部 1221、透かしパターン切り替え位相変動値算出部 1222、透かし位相差分パターン生成部 1223、透かし位相パターン生成部 1224、透かし位相パターン画像ィ匕部 1225を有する。

[0601] 図 169は、本発明の第 26の実施の形態における透かしパターン切り替え部の動作のフローチャートである。 [0602] ステップ 2200) 透かしパターン切り替え部 122は、まず符号パターン生成部 122

1にお、て、基本透かしパターンを符号パターンに変換する。

[0603] ステップ 2210) 次に透かしパターン切り替え位相変動値算出部 1222において、フレーム表示時刻で表される直前のフレームと今回のフレームの時間差に基づいて

、透かしパターン切り替え情報で表される透かしパターン切り替え位相の差分値を求め、これを透かしパターン切り替え位相変動値とする。

[0604] ステップ 2220) 次に透かし位相差分パターン生成部 1223において、符号パターンで表される符号を持ち、透かしパターン切り替え位相変動値を絶対値として持つ、透かし位相差分パターンを生成する。

[0605] ステップ 2230) 次に透かし位相パターン生成部 1224において、直前のフレームに対する透かし位相パターンの各要素値に対し、今回の透かし位相差分パターンを位相差として与えて、今回の透か Lf立相パターンを得る。

[0606] ステップ 2240) 最後に透かし位相パターン画像ィ匕部 1225において、透かし位相パターンを画像パターンに変換し、その結果を透かしパターンとして出力する。

[0607] 図 170は、本発明の第 26の実施の形態における透かしパターン切り替え情報の例を説明するための図である。

[0608] 本実施の形態における電子透力し埋め込み装置 100における透かしパターン生成部 120の透かしパターン切り替え情報はパターンの反転について直接的に指示する情報ではなぐ 6Z30秒で一周期となる正弦波など、連続的な関数で表現されるものであり、具体的には正弦波の周期を示すような情報である。実際には入力される動画像は特定のフレームレート、例えば 30フレーム/秒のような離散的なフレーム画像群として与えられるので、図 170の下図のように、正弦波上を離散的にサンプリングして埋め込みに用いることになる。なお、本実施の形態では以下に示すように、正弦波の周期に対する位相の値を用いる。

[0609] 図 171は、本発明の第 26の実施の形態における透かしパターン切り替え部の処理を説明するための図である。

[0610] 透かしパターン切り替え部 122では、まず入力された基本透かしパターンの濃淡値を、符号パターンに変換する。符号パターンは、基本透かしパターンの各濃淡値の +または—の符号を取り出し、大きさを 1とした値を各要素値として持つ配列である。

[0611] 次に、入力されたフレーム表示時刻を透かしパターン切り替え情報の時間軸にとり、フレーム表示時刻に対応する透かしパターン切り替え情報の周期に対する位相 ( 以下透かしパターン切り替え位相と呼ぶ）を取得する。そして直前のフレームに対する透かしパターン切り替え位相との間の位相変動値を求め（図 171では + π Z3)、これを透かしパターン切り替え位相変動値とし、この透かしパターン切り替え位相変動値に符号パターンの要素値を掛けたものを透かし位相差分パターンとする。そして直前のフレームに対応する透かし位相パターンの各要素値に対して透かし位相パターンの各要素値を位相変動量として与え、今回の透かし位相パターンとする。透かし位相パターンは符号パターンと同じサイズの配列であり、各要素は 0〜2 πの位相値をとる。透かし位相パターンの各要素の初期値は任意の値で力まわな、。

[0612] 上記のようにして透かし位相パターンを取得した後、透かし位相パターン画像ィ匕部 1225において透かし位相パターンを透かしパターンに変換する。変換の仕方としては、例えば図 172に示すように、透かし位相パターンの各要素値を、画像の 2つ以上の成分、図では YCbCr表色系における Cbと Crを直行軸にぉ、た座標系における原点（0, 0)を中心とした半径 r (rは所与の値)の円上の、角度が位相パターン要素値の点に対応付ける。この結果得られる Cb— Cr座標系の Cb座標、 Cr座標を、当該位相パターンの要素に対応する透かしパターンの画素値として、すべての透かしパターンの画素値を求める。このようにして得られた透かしパターンは、各画素複数の成分値を持つパターンとなる。

[0613] なお、本実施の形態では Cb, Crを例として用いた力 RGB表色系の R—Gを用いたり、あるいは XYZ表色系における X—Yを用いたり、 HSV表色系の Hue- Saturationを用いたり（この場合は Hue- Saturationを直交座標にとるのではなぐ位相値を直接 Hu e値に設定し、所与の Saturation値を持つようにしても良い）など、様々な方法があり得る。

[0614] また、各軸毎の変動量に対する視覚感度が異なる場合には、適宜スケールを補正して各軸の変動量と視覚感度が一致するようにしても良、(例えば図 134にお、て円ではなく楕円を用いるなど)。本実施の形態においては YCbCr表色系では、 Yに比べて知覚されづらいという理由で Cbと Cr成分を用いた例を示している。また、複数の画像成分ではなぐ単一の成分、例えば輝度成分などを用いて本実施の形態を実施するには、第 1の実施の形態の変調方法 (A— 2)のように、基本透かしパターンに波形ノターンを用いて、波形パターンの位相を変動させることで、本実施の形態と同様に位相差分変動を用いた電子透力埋め込みが実現できる。

[0615] このようにして得られた透かしパターンを、図 173に示すように、透かしパターン重畳部 130において適宜透かしパターンの振幅を変更して、順次フレーム画像に重畳することにより、透かし入り動画像が得られることについては第 1の実施の形態と同様である。この際、透かしパターンをフレーム画像以下のサイズにスケーリングし、フレーム画像の中央に重畳するものとする。なお、 Cb— Crを用いた場合は、透かしパターンの振幅を調整するとは、 Cb— Cr座標系における振幅（図 172における点 aOと原点との距離）を増減することになる。また、 Hue- Saturationを用いる場合は Saturation を増減することにあたる。

[0616] また、基本透かしパターンが 2値ではなく多値の場合は、基本透かしパターンの画素値の絶対値の大きさに応じて、対応する透かしパターンの画素値の振幅を増減させても良い。最後に動画像データ再構成部 140において、上記の処理により順次生成される透かし入りフレーム画像を動画像データとして再構成して透かし入り動画像データとして出力する。再構成の際には MPEGエンコードなどの符号ィ匕を行っても良い。

[0617] 以上が本実施の形態における電子透力埋め込み装置の説明である。

[0618] 次に、本実施の形態における電子透かし検出装置について説明する。

[0619] 図 174は、本発明の第 26の実施の形態における電子透かし検出装置の構成図である。

[0620] 電子透かし検出装置 200は、動画像入力部 210、特徴領域抽出部 290、差分画像生成部 230、位相差分計算部 360、検出対象領域抽出部 220、電子透かし検出部 2 40、特徴領域画像バッファ 302、位相パターンバッファ 370、差分画像 (B)蓄積バッファ 390を有する。

[0621] 電子透かし検出装置 200は、 TVなどにディスプレイ表示されたアナログ動画像、あるいは MPEGエンコードされたようなディジタル動画像を入力とする。

[0622] 図 175は、本発明の第 26の実施の形態における電子透かし検出装置の動作のフローチャートである。

[0623] ステップ 2300) 動画像入力部 210において、アナログまたはディジタル動画像を入力し順次フレーム画像を取得する。アナログ動画像の入力の際はカメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であればデコード処理などを行ってフレーム画像を取得する。

[0624] ステップ 2310) 次に特徴領域抽出部 290において、第 16の実施の形態などと同様にキヤプチヤしたフレーム画像中の特徴領域を抽出して特徴領域画像を得る。

[0625] ステップ 2320) 次に差分画像生成部 230において、現在取得した特徴領域画像と、特徴領域画像バッファ 302に蓄積されている以前に取得した特徴領域画像との差分画像を生成し、差分画像 (A)として出力する。

[0626] ステップ 2330) また、次の検出試行に備えて、特徴領域画像バッファ 302に今回の特徴領域画像をバッファリングしておく。

[0627] ステップ 2340) 続、て位相差分計測部 360にお、て、差分画像 (A)を位相パターンに変換する。

[0628] ステップ 2350) 位相差分計測部 360において、現在取得した位相パターンと、位相パターンバッファ 370に蓄積されている以前に取得した位相パターンとの位相差を計測し、この位相差と上記 2つの位相パターンの振幅値に基づ、て新たに差分画像 (B)を生成する。

[0629] ステップ 2360〜2380) 次に検出対象領域抽出部 220において、今回の差分画像 (B)を差分画像 (B)蓄積バッファ 390に加算蓄積し、蓄積された差分画像 (B)力も検出対象領域を抽出し、検出対象領域画像を得る。

[0630] ステップ 2390) 最後に、電子透かし検出部 240において、検出対象領域画像からの電子透かし検出を試み、検出結果を出力する。

[0631] ステップ 2400) 電子透かし検出が成功しな力つた場合は、動画像入力部 210において次のフレーム画像を取得して上記の処理を順次繰り返す。

[0632] 図 176は、本発明の第 26の実施の形態における特徴領域抽出部の処理を説明するための図である。

[0633] 特徴領域抽出部 290はフレーム画像を入力とし、フレーム画像中の特徴領域を第 16の実施の形態などと同様に抽出し、特徴領域画像を得る。

[0634] 図 177は、本発明の第 26の実施の形態における差分画像生成部の処理を説明するための図である。差分画像生成部 230は特徴領域画像を入力とする。差分画像生成部 230は、現在入力された特徴領域画像と、特徴領域画像バッファ 302に蓄積されている、以前に取得した特徴領域画像の差分画像を生成し、差分画像 (A)として出力する。差分処理は、 R, G, Bや Y, Cb, Crなどの各成分毎の引き算によって行われる。また、次の検出試行に備えて、特徴領域画像バッファ 302に今回の特徴領域画像をバッファリングしておく。

[0635] 図 178は、本発明の第 26の実施の形態における位相差分計算部の処理の内容を説明するための図である。

[0636] 位相差分計測部 360は差分画像 (A)を入力とする。位相差分計測部 360は、差分画像 (A)の各画素毎に Cb成分、 Cr成分をそれぞれ求め、その結果 (cb, cr)を Cb— Cr座標系の点として表した際の振幅 Rと位相 Θを求め、これらを位相パターンの当該画素位置に対応する要素の値として設定する。位相パターンは各要素位置毎に振幅と位相をとるような配列であり、その各要素は差分画像の各画素と対応付けられている。

[0637] 次に位相差分計測部 360は、図 179のように、位相パターンバッファ 370に蓄積されている以前に取得した位相パターンと、現在取得した位相パターンを比較し、各要素の位相差に基づいてプラスまたはマイナスの符号を決定し、さらに二つの位相パターンのそれぞれの振幅が大きいほど大きな値をとるような単調増加関数を用いて新たな振幅を決定し、上記符号と上記振幅を値として持つ差分画像 (B)の各要素値を決定する。

[0638] 図 180A、 Bに位相差による符号選択方法の例を示す。現在取得した位相パターンのある要素の位相値 Θと、以前に取得した位相パターンの対応する要素の位相値 Θ 'の位相差 Θ— Θ 'を求め、その値が 0〜 πの範囲内であれば符号 "を、 π〜0 の範囲内であれば符号〃—〃を選択するようにする。また、現在取得した位相パターンのある要素の振幅値 Rと、以前に取得した位相パターンの対応する要素の振幅値 R' から、新たな振幅値 pを求めるのに用いる単調増加関数の例としては、例えば p (R , R') =R+R'であるとか、 (R, R') =RXR'などを用いることができる。振幅値 R, R'に対して単調増加とする理由は、透かし信号が強く残っている、すなわち振幅 R, R'が大きいものほど重みをつけることによって電子透力しの検出性能を改善するためである。全ての要素について符号選択と新たな振幅値を求める処理を終えた後、差分画像 (B)を出力する。また、次の検出試行に備えて、位相パターンバッファ 370に今回の位相パターンをバッファリングしておく。

[0639] 次に検出対象領域抽出部 220の処理の内容を説明する。

[0640] 検出対象領域抽出部 220は差分画像 (B)を入力とする。検出対象領域抽出部 22 0は、入力された差分画像 (B)を差分画像 (B)蓄積バッファ 390に加算蓄積する。

[0641] 図 181は、本発明の第 26の実施の形態における差分画像 (B)蓄積バッファを説明するための図である。差分画像 (B)蓄積バッファ 390は、差分画像 (B)と同じサイズの画素配列であり、新たに入力された差分画像 (B)の各画素毎に、差分画像 (B)蓄積バッファ 390の対応する画素位置に画素値を加算する。

[0642] 図 182は、本発明の第 26の実施の形態における検出対象領域抽出部の処理を説明するための図である。検出対象領域抽出部 220では、上記のように差分画像 (B) を差分画像 (B)蓄積バッファ 390に加算蓄積した後、差分画像 (B)蓄積バッファ 390 の画素値を絶対値ィ匕して、その中から第 13の実施の形態などと同様にして検出対象領域を抽出する。そして絶対値化前の差分画像 (B)蓄積バッファ 390の検出対象領域の画像を、所与のサイズの矩形となるように歪み補正し、さらにサイズ正規ィ匕して、検出対象領域画像を生成して出力する。

[0643] 上記のような処理による検出対象領域抽出部 220の効果を説明する。位相差分計測部 360において得られる差分画像 (B)について考えると、透かしパターンが埋め込まれて!/、る画素領域にっ、ては、透かしパターン埋め込まれて!/、な!/、画素領域に比べ画素値の絶対値が一般に大き、。これは透かしパターンが各キヤプチャフレーム毎に異なるため、透かしパターンが埋め込まれている画素領域については差分画像 (A)の画素値の絶対値が大き、が、透かしパターンが埋め込まれて、な、画素領域については、原画成分が時間相関が高いため、差分画像 (A)の画素値の絶対値が小さいためである。また、位相差分計測部 360において、位相差分を用いて差分画像）の画素値の符号を決定しているため、第 25の実施の形態で述べたとおり、キヤプチャタイミングによらず、透かしパターンが埋め込まれて、る画素領域にっ、ては同一画素位置で常に同一の符号である。そのため差分画像 (B)蓄積バッファ 390 で加算蓄積すると、加算の度に絶対値が大きくなるようになる。しかし透かしパターンが埋め込まれてヽな、画素領域にっ、ては、符号が同一とはならずにまちまちであり、先に述べた画素値の絶対値が小さいことと合わせて、加算蓄積によって画素値の絶対値はそれほど大きくならず、相対的に透かしパターンが埋め込まれている画素領域とのコントラストが、加算蓄積の度に大きくなつていく。このため、加算蓄積によつて得られる差分画像 (B)バッファ 390の画素値を絶対値化すれば、透かしパターンの正負の違、が無くなり、背景領域である透かしパターンが埋め込まれてヽな、画素領域中に、透かしパターンが埋め込まれた画素領域が高いコントラストで浮かび上がる。これにより透かしパターンが埋め込まれた領域を検出対象領域として確実に抽出することができる。

[0644] さらに加算蓄積によって図 181のように透かしパターンが相対的に強まることから、次に述べる電子透かし検出において検出性能を改善し、より高、耐性をもつ電子透かし検出を実現することができる。

[0645] 最後に電子透かし検出部 240は検出対象領域画像を入力とし、検出対象領域画像からの電子透かし検出を試みる。図 183を用いて電子透かし検出部 240の処理例を説明する。図 183は電子透力埋め込み時の変調方法 (A—1)に対応する検出時の復調方法である（文献 1)。

[0646] まず検出対象領域画像を埋め込み時の透かしパターンのブロックの個数にブロック分割する。次にブロック内の画素値の合計を求め、ブロック順に並べて一次元の系列である検出対象系列を得る。次に、埋め込み時の 1ビットに対応する区間を検出対象系列から取り出し、拡散系列の対応する区間と相関演算を行う。相関値がプラスの大きな値であればビット値〃 1 "を検出、マイナスの大きな値であればビット値" 0〃を検出として、全てのビットについて検出処理を行う。また必要に応じて検出処理を終えた透力し情報に誤り訂正 ·検出復号処理などを施しても良い。電子透かしの検出に成功しな力つた場合は引き続き動画像入力部 210のフレームキヤプチャ処理に復帰し、検出試行を繰り返す。あるいは動画像の入力が終了したら検出処理を終了する。

[0647] く第 26の実施の形態の効果〉

本実施の形態によれば、第 25の実施の形態と同様にどのようなタイミングで動画像をキヤプチヤしても問題がな!ヽとヽぅ効果に加え、差分画像 (A)から差分画像 (B)を各画素毎に得て、差分画像 (B)を加算蓄積し、絶対値化したものから検出対象領域を抽出して電子透かし検出を行うことにより、さらに第 19の実施の形態の効果を兼ね備えることができる。

[0648] また、透力しの情報を位相差分変動として埋め込みを行うため、差分画像 (B)の加算蓄積においてはそのまま画素値の加算で良ぐさらに透力し情報のビットが反転しないため、第 19の実施の形態と比較してもより簡易でかつ効率的な電子透力方式となっている。

[0649] また、本実施の形態によれば、様々な工夫によりキヤプチヤしたフレームレーム画像中のどの部分力も電子透かし検出を行えば良いかを特定して、さまざまな撮影角度や背景画像の条件下でも、確実に電子透かし検出可能とすることができ、さらに電子透力しの検出性能を向上させている。これによつてテレビなどの動画像をカメラで撮影し、撮影した動画力リアルタイムに電子透かし検出処理を確実に行うことが可能となる。

[0650] また、上記の形態における電子透かし埋め込み装置 100、電子透かし検出装置 20 0の各動作をプログラムとして構築し、電子透かし埋め込み装置、電子透かし検出装置として用いられるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。また、当該プログラムを CD—ROM、電子メモリ等のコンピュータ読み取り可能な記録媒体に格納して利用することも可能である。

[0651] なお、本発明は、上記の実施の形態に限定されることなぐ特許請求の範囲内において種々変更 ·応用が可能である。また、本発明は、電子透かし技術に適用可能であり、本発明は上記の実施の形態のみに限定されるものではなぐ例えば 3次元表示システム、 3次元撮影システムや音声情報などへの適用、赤外線などの知覚不可能な信号領域への適用などさまざまな適用が可能である。

[0652] [効果]

本発明の実施の形態によれば、動画像のフレームに対して時間的に切り替わる透かしパターンの埋め込みを行うことにより、動画像の各フレームに対して固定のパターンを埋め込むのではなぐ高速に切り替わるパターンを埋め込むことになり、人間の視覚特性における時間周波数特性について高周波に対する視覚感度が低いことが知られて、るから、透力し埋め込みによる画質劣化を低減することができる。

[0653] また、検出の際には、カメラなどアナログ入力デバイス力も連続して入力されるフレーム画像に対して、時間的に近接した 2枚のキヤプチャフレーム画像の差分画像を生成して電子透かし検出を行うことから、電子透かし信号にとって雑音となる原画像信号を大幅にキャンセルすることができ、電子透かし検出性能の向上を実現できる。

[0654] また、埋め込み時の透かしパターンの切り替えタイミングが検出側で既知であれば、キヤプチヤした 2枚のフレームの時刻を用いて、差分画像に透かしパターンが残存するものを選択でき、無駄な電子透かし検出を行う必要がなくなる。さらに、検出側のカメラのキヤプチャタイミング、あるいは、差分画像取得時の 2枚の画像の時間差を、透かしパターン切り替えタイミングに合わせて制御することで、常に差分画像中に透かしパターンが残存するようにでき、効率的な電子透かし検出が可能となる。

[0655] また、差分画像中の透かしパターンの位相を判定することで、透かしパターンの位相の反転によって検出透力し情報のビットが反転するタイプの変調方法を用いた場合でも、正しい透力し情報を検出することができる。この際、透力し情報中の 1ビットを位相判定用のフラグとして用いてもよいし、あるいは、透力し情報とは別個の位相判定用電子透かしを用いても良い。

[0656] また、連続したキヤプチヤによって順次得られる差分情報を、位相を合わせた上で加算蓄積することで、透かしパターンの強度を相対的に増加させ、蓄積バッファからの電子透かし検出を試みることで、 1枚の差分画像からでは十分な検出性能が得られない場合でも、検出可能とすることができる。なお、位相を合わせるためには上記位相反転用のフラグを用いたり、透力情報とは別個の位相判定用透力を用いる方法の他、スペクトラム拡散変調における相関値の符号極性を用いる方法も有り得る [0657] また、電子透かし検出の際に算出される相関値を順次加算蓄積し、蓄積された相関値を評価して検出可否判定を行うことで、 1枚の差分画像からでは十分な検出性能が得られない場合でも検出可能とすることができる。この際、差分画像の位相を合わせることで、相関値が常に同じ位相で蓄積されるようにしたり、相関値の絶対値を蓄積するようにしてもよヽ。

[0658] また、埋め込み情報を小データブロックに分割し、時間方向でデータブロックを切替えて埋め込みを行い、検出時はデータブロック毎に検出を行って得られたデータブロックを連結することで、より長い透力し情報を埋め込み ·検出が可能となる。さらに、一つの差分画像に対するときの処理と同様に、小データブロック毎検出ごとに差分位相判定を行ったり、データブロックの順番を表すデータブロック IDを埋め込みによつて位相判定を兼ねたり、位相を合わせた差分画像蓄積を行ったり、相関値の蓄積を行ったりして、更に電子透力しの検出性能を向上させることも可能である。

[0659] さらに、カメラからのリアルタイム検出処理を行う状況下では、電子透かし検出処理の状況を、リアルタイムにフィードバック出力することで、インタラクティブ性が増すことによって利便性が向上する。特に、検出しやすい状況となるようにユーザを促すことにより、検出性能の向上が期待できる。

[0660] さらに、透かレ f青報を透かしパターンの位相差分変動として埋め込み行うことにより、差分画像の取得タイミングによらず、一定の透かしパターンを含むように差分画像を得ることができる。これによつて透かレ f青報のビット反転を防いだり、差分画像蓄積時や相関値蓄積時に位相を合わせる必要がなくなり、単純に加算蓄積するようにすればよいので、装置構成の単純化、処理の高速化、及び位相同期信号を不要とすることに透力し情報長増大や耐性向上を実現できる。また、データブロック利用型の場合に、データブロック間に無用なブランクを挟まなくても検出情報の信頼性を担保できるので、単位時間あたりの透力し情報長の増大を実現できる。

[0661] また、本発明の実施の形態によれば、動画像のフレームに対して時間的に切り替わる透かしパターンの埋め込みを行う際に、動画像データのフレームサイズより小さい透かしパターンを重畳する。また、検出時にはキヤプチヤで得られたフレーム画像間の差分画像を生成し、差分の大きな領域、即ち、電子透かし検出対象となる領域を差分画像中から抽出することで、撮影角度や背景画像によらず安定的な電子透かし検出を実現できる。

[0662] また、キヤプチャフレーム毎に特徴領域の歪みを補正、サイズ正規化を行って得られる特徴領域画像間の差分画像から検出対象領域を抽出することにより、撮影中にカメラが動いても安定的に検出対象領域を抽出することが可能となる。

[0663] さらに、埋め込み時に異なる情報を表すような複数の透かしパターンを画像中のォブジェクトなどと関連付けて配置して重畳し、検出時には差分画像中から複数の検出対象領域を抽出するようにして、同時に複数の電子透力し情報を検出したり、ォブジェクト毎に異なる情報を抽出することが可能となる。

[0664] また、透力しの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像 (A)を生成し、更に時間的に隣接した差分画像 (A)の位相差分を計測し、位相差を用、て得られる差分画像 (B)から電子透かしの検出を行うので、検出時のキヤプチヤタイミング及びキヤプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出が可能となる。

[0665] さらに、透力しの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像 (A)を生成し、さらに時間的に隣接した差分画像 (A)の位相差分を計測し、位相差を用いて得られる差分画像 (B)を生成し、差分画像 (B)を加算蓄積して検出対象領域を抽出し、検出対象領域画像から電子透かし検出を行うので、先に述べたとおり、検出時のキヤプチャタイミング及びキヤプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出が可能となるほか、撮影角度によつて生じる歪みの影響を補正し、かつ蓄積によって透力しの耐性を向上させ、より安定的な電子透かし検出を実現することが可能となる。

[0666] また、埋め込み時の透かしパターンの切り替えタイミングが検出側で既知であれば、キヤプチヤした 2枚のフレームの時刻を用いて、差分画像に透かしパターンが残存するものを選択でき、無駄な電子透かし検出を行う必要がなくなる。さらに、検出側のカメラのキヤプチャタイミング、あるいは、差分画像取得時の 2枚の画像の時間差を、透かしパターン切り替えタイミングに合わせて制御することで、常に差分画像中に透かしパターンが残存するようにでき、効率的な電子透かし検出が可能となる。

[0667] また、本発明の実施の形態によれば、動画像のフレームに対して時間的に切り替わる透かしパターンの埋め込みを行う際に、動画像データのフレームサイズより小さい透かしパターンを重畳する。また、検出時にはキヤプチヤで得られたフレーム画像間の差分画像を生成し、差分の大きな領域、即ち、電子透かし検出対象となる領域を差分画像中から抽出することで、撮影角度や背景画像によらず安定的な電子透かし検出を実現できる。

[0668] また、キヤプチャフレーム毎に特徴領域を抽出し、特徴領域の歪みを補正、サイズ正規化を行って得られる特徴領域画像間の差分画像から検出対象領域を抽出することにより、撮影中にカメラが動いても安定的に検出対象領域を抽出することが可能となる。

[0669] また、検出対象領域や特徴領域の探索時に、以前に電子透かし検出状況が良好であった時の位置の近傍のみを探索することで、より安定的な領域抽出が可能となる

[0670] また、差分画像を加算蓄積し、加算蓄積した差分画像中から検出対象領域を抽出することで、更に安定的な領域抽出や、電子透かし検出性能の向上が可能となる。

[0671] さらに、埋め込み時に異なる情報を表すような複数の透かしパターンを画像中のォブジェクトなどと関連付けて配置して重畳し、検出時には差分画像中から複数の検出対象領域を抽出するようにして、同時に複数の電子透力し情報を検出したり、ォブジェクト毎に異なる情報を抽出することが可能となる。

[0672] また、撮影時のフレーム画像中の検出対象領域の画素サイズが小さい場合に、自動的にズームインしてより大きな画素サイズの検出対象領域を取得することができる

。一般に画素サンプルが少なくなると電子透かし検出が困難になるため、ズームインして検出対象領域の画素サンプル数を増大させることで、電子透かしの検出性能を向上させることができる。

[0673] 以上述べたとおり、本発明の実施の形態によれば、様々な工夫により電子透力しの検出性能を向上させることで、テレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出処理を行うことが可能となる。 [0674] また、キヤプチヤしたフレーム画像中のどの部分力で電子透かし検出を行えばよいかを特定して、様々な撮影角度や背景画像の条件下でも確実に電子透かし検出を可能とすることができ、さらに、電子透力しの検出性能を向上させている。これによつて、テレビなどの動画像をカメラで撮影し、撮影した動画カゝらリアルタイムに電子透かし検出処理を確実に行うことが可能となる。

[0675] 本発明の実施の形態によって、例えば、テレビで視聴中の映像をカメラ付携帯電話機で撮影して、視聴番組関連情報を取得したり、あるいはクイズ番組や視聴者アンケートの選択肢を透かし検出によって選択し、その結果を通信によって放送局に送ることで、リアルタイムに番組内容にフィードバックするようなインタラクティブテレビ放送を実現したり、あるいは、従来はバーコードなどを必要としていた拡張現実感システムにおいて、不可視な電子透力しを用いることでバーコードを不要として不自然さを解消したり、あるヽはテレビゲームなどにぉ、て操作対象のオブジェクトを透かし検出で特定するなどによってゲーム操作に用いたり、あるいは街頭のオーロラビジョンなどで上記と同様なアプリケーションを実施したり、あるいは PC (パーソナルコンピュータ）などの表示画面に透かしを埋め込み、これをカメラ付携帯電話機で撮影することで、 P Cから携帯電話機へ情報を送って機器の連携を行ったり、あるいは静止画像を複製して任意の n枚 (nは 2以上の整数）にし、 nフレームの動画像と見做して本発明を適用し、アニメーション GIFなどの方法で符号ィ匕しておき、これをブラウザ画面などで表示することで、表示画面上の静止画像に対しても透力し埋め込み ·検出ができるようにしたり、あるいは、 PC上で HTMLなどのハイパーテキストを解析してブラウザなどに表示する際に、ハイパーリンクの張られたオブジェクトの表示領域に本発明を用いてノ、ィパーリンク情報を埋め込み、 PCの表示画面上をカメラ付携帯電話機で撮影して携帯電話機でブラウズをしたり、あるいは、携帯電話機の表示画面を用いて上記の応用を行うことによる携帯電話機間連携や携帯電話機→PC連携など、極めて広範囲な応用分野を持つ。さらに、従来からの電子透かし技術の適用目的である、著作権管理、著作権保護などにも適用可能であることは明らかである。

[0676] 本国際出願は 2005年 8月 4日に出願した日本国特許出願 2005— 226755号、 2 005年 8月 4曰に出願した曰本国特許出願 2005— 226756号、及び 2005年 9月 22 日に出願した日本国特許出願 2005— 275965号に基づく優先権を主張するものであり、 2005— 226755号、 2005— 226756号、及び 2005— 275965号の全内容を本国際出願に援用する。

Claims

請求の範囲

[1] 動画像に電子透力を埋め込む電子透力埋め込み装置における電子透かし埋め込み方法であって、

前記フレーム画像取得手段での処理、前記透かしパターン生成手段での処理、及び前記透かしパターン重畳手段での処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成ステップと、

を有することを特徴とする電子透かし埋め込み方法。

[2] 前記透かしパターン生成ステップにおいて、前記透かしパターンの切り替えのタイミングが、一定の時間周期で繰り返される、請求項 1記載の電子透かし埋め込み方法

[3] 前記透かしパターン生成ステップは、

前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用 V、て、該透力し情報に対応する透かしパターンを生成するステップと、

さらに、前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かしパターンの時間変化状態を検出時に推定するための位相判定用透かしパターンを生成し、その位相判定用透かしパターンを前記透力し情報に対応する透かしパターンに多重化して得られるパターンを透かしパターンとするステップとを有する、請求項 1または 2に記載の電子透かし埋め込み方法。

[4] 動画像に電子透力を埋め込む電子透力埋め込み装置における電子透かし埋め込み方法であって、

を有することを特徴とする電子透かし埋め込み方法。

[5] 前記透かしパターン生成ステップは、

前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前の透かしパターンに対して前記基本透かしパターンで定まる位相変動をカ卩えて新たな透かしパターンを生成するステップと、

を有する請求項 4記載の電子透かし埋め込み方法。

[6] 前記透かしパターン生成ステップは、

前記透かし位相パターンに基づいて透かしパターンを生成する透かし位相パターン画像化ステップと、

を有する請求項 4記載の電子透かし埋め込み方法。

[7] 前記透かしパターン生成ステップは、

前記透かし位相パターン力も前記透かしパターンを生成する際に、前記基本透かしパターンの各画素値に基づいて透かしパターンの対応する画素値の振幅を増減するステップを有する請求項 6記載の電子透力埋め込み方法。

[8] 前記透かしパターン生成ステップは、

前記基本透かしパターンが表す位相差分変動を、画像の複数の成分から得られる座標系における回転量に対応させ、位相差分変動で回転されて得られる新たな複数の成分値をもとに、前記透かしパターンを生成するステップを有する、請求項 4乃至 7 のうちいずれか 1項に記載の電子透力し埋め込み方法。

[9] 前記画像の複数の成分として、画像の Cb-Cr成分を用いる、請求項 8記載の電子透かし埋め込み方法。

[10] 前記透かしパターン生成ステップは、

前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロック ID及び該データブロック IDのデータブロック情報を元に透かしパターンを生成するステップと、を有する請求項 1乃至 9のうちいずれか 1項に記載の電子透力し埋め込み方法。

[11] 前記透かしパターン生成ステップは、

前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロック ID及び該データブロック IDのデータブロック情報を元に前記透かしパターンを生成する際に、前記データブロック IDが位相判定用透力情報を兼ねるようにして透かしパターンを生成するステップと、

を有する請求項 3または 10に記載の電子透力埋め込み方法。

[12] 前記透かしパターン重畳ステップは、前記透かしパターンを前記フレーム画像以下のサイズにスケール変更して該フレーム画像の内部に重畳するステップを有する、請求項 1乃至 11のうちいずれか 1項に記載の電子透力し埋め込み方法。

[13] 前記透かしパターン生成ステップは、

前記透力し情報を用いて基本透かしパターンを生成するステップと、

前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて基本透かしパターンを変更することで透かしパターンを生成するステップと、

を有する請求項 12に記載の電子透力埋め込み方法。

[14] 前記透かしパターン生成ステップは、

前記透かし情報を既存の 2次元コードにより基本透かしパターンに変調し、前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて該基本透かしパターン力も透かしパターンを生成するステップを有する、請求項 12または 13に記載の電子透かし埋め込み方法。

[15] 前記電子透かし埋め込み装置は複数の透かしパターン生成手段を有し、前記電子透かし埋め込みステップにお!/ヽて、

各々の前記透かしパターン生成手段は異なる透かしパターンを生成し、前記透かしパターン重畳手段は、前記透かしパターンをフレーム画像内に複数重畳する、請求項 12乃至 14のうちいずれか 1項に記載の電子透力し埋め込み方法。

[16] 前記透かしパターン重畳ステップは、動きの多いフレーム画像ほど透かしパターンの振幅を増幅するステップを有する、請求項 1乃至 15のうちいずれ力 1項に記載の電子透かし埋め込み方法。

[17] 前記透かしパターン重畳ステップは、以前に入力したフレーム画像を記憶手段に保持しておき、今回入力したフレーム画像と以前のフレーム画像との差分画像を生成し、該差分画像の画素値に基づ、て基本透かしパターンの振幅を増幅するステツプを有する、請求項 16記載の電子透かし埋め込み方法。

[18] 前記透かしパターン重畳ステップは、透かしパターン全体の振幅を増幅するステツプを有する、請求項 16または 17に記載の電子透力し埋め込み方法。

[19] 前記透かしパターン重畳ステップは、フレーム画像中の動きの大きい画素領域に対応する透かしパターンの画素領域を増幅するステップを有する、請求項 16または

17に記載の電子透かし埋め込み方法。

[20] 動画像力も電子透力を検出する電子透かし検出装置における電子透かし検出方法であって、

前記電子透力しの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段で新たなフレーム画像を取得し直し、上記の各ステップを繰り返す、ことを特徴とする電子透かし検出方法。

[21] 前記電子透かし検出ステップで得られた透力情報力データブロック IDとデータブロック情報を得て、検出透力し情報バッファの該データブロック IDの情報に検出したデータブロック情報を記録し、全てのデータブロック IDにつ、て検出が完了した場合に電子透かし検出成功の旨を出力する、請求項 20に記載の電子透かし検出方法 [22] 前記動画像入力ステップは、前記フレーム画像と該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するステップを有し、

判定ステップにおいて検出不要と判定された場合は前記動画像入力手段において新たなフレーム画像を取得し直し、検出要と判定した場合は前記差分画像生成ステツプ以降の処理を続行する、請求項 20または 21に記載の電子透かし検出方法。

[23] 前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、フレームのキヤプチャタイミングを設定するキヤプチャタイミング制御ステップを有し、

前記動画像入力手段にぉ、て、前記キヤプチャタイミングに基づ、てフレーム画像を順次取得する、請求項 20乃至 22のうちいずれ力 1項に記載の電子透かし検出方法。

[24] 前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、差分画像を得るためのフレーム間の時間間隔を表す差分タイミングを設定するステップを有し、

前記動画像入力手段にぉヽて、前記フレーム画像と該フレーム表示時刻を順次取得し、前記差分画像生成手段において、今回取得したフレーム画像と、前記差分タイミングで指定される時間だけ以前に取得したフレーム画像の差分画像を生成する、請求項 20乃至 22のうちいずれか 1項に記載の電子透かし検出方法。

[25] 前記電子透かし検出ステップは、前記差分画像に埋め込まれている透かしパターンの位相を判定し、透かしパターンの位相が逆相の場合は、検出した透かし情報のビット反転を行って、電子透かしの検出状況を出力するステップを有する、請求項 20 乃至 24のうちいずれか 1項に記載の電子透かし検出方法。

[26] 前記差分画像生成ステップにおいて前記差分画像を差分画像蓄積バッファにカロ算し、前記電子透かし検出ステップにおいて、前記差分画像蓄積バッファからの電子透かし検出を行って透かレ f青報を検出して、検出状況を出力する、請求項 20乃至 25のうちいずれか 1項に記載の電子透かし検出方法。

[27] 前記電子透かし検出方法は、前記差分画像に埋め込まれている透かしパターンの位相を判定するステップと、順次処理される差分画像の全てで当該位相が同相となるように差分画像を変更するステップを有し、これらのステップで得られた差分画像を用いて前記差分画像生成ステップ及び前記電子透かし検出ステップを実行する、請求項 26に記載の電子透かし検出方法。

[28] 前記電子透かし検出ステップは、検出の際に算出される相関値を検出処理の度に記憶手段に蓄積し、蓄積された相関値を用いて検出成功力否かを判定するステップを有する、請求項 20乃至 27のうちいずれ力 1項に記載の電子透かし検出方法。

[29] 前記電子透かし検出ステップは、検出の際に算出される相関値の絶対値を検出処理の度に記憶手段に蓄積し、蓄積された該相関値の絶対値を用いて検出成功力否かを判定するステップを有する、請求項 20乃至 27のうちいずれか 1項に記載の電子透かし検出方法。

[30] 埋め込み時に用いた透かしパターン切り替え情報と、フレーム画像取得時に得られるフレーム表示時刻の関係から、差分画像中の透かしパターンの位相を判定するステツプを有する、請求項 25または 27に記載の電子透かし検出方法。

[31] 前記差分画像中に埋め込まれた透かしパターンで表現された透力情報中の予め定めたビット位置のビット値を検出し、該ビット値に基づ、て該差分画像中の透かしパターンの位相を判定するステップを有する、請求項 25または 27に記載の電子透かし検出方法。

[32] 位相判定用透力ゝしを検出して前記差分画像中の透かしパターンの位相を判定するステップを有する、請求項 25または 27に記載の電子透かし検出方法。

[33] 透かし検出処理によって算出される相関値の正負の極性を利用して前記差分画像中の透かしパターンの位相を判定するステップを有する、請求項 25または 27に記載の電子透かし検出方法。

[34] 前記差分画像力もの電子透かし検出を行って透力し情報であるデータブロック情報及びデータブロック IDを検出し、データブロック ID検出時の相関値の正負の極性を利用して前記差分画像に埋め込まれている透かしパターンの位相を判定するステップを有する、請求項 25または 27に記載の電子透かし検出方法。

[35] 前記差分画像生成ステップは、

今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し、さらに、該差分画像中の特定成分から位相値と振幅値を求め、該位相値が所与の複数のグループの、ずれに属するかを判定し、その判定結果と該振幅値を元に該差分画像を修正して出力するステップを有する、請求項 20乃至 34のうちいずれか 1項に記載の電子透かし検出方法。

[36] 前記差分画像生成ステップは、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像 (A)を生成し、該今回取得したフレーム画像を該画像記憶手段に格納するステップを有し、

前記電子透かし検出ステップは、前記差分画像 (B)からの電子透かし検出を行つて、電子透かしの検出状況を出力するステップを有する、請求項 20乃至 34のうちいずれ力 1項に記載の電子透かし検出方法。

[37] 前記位相差分計測ステップは、

さらに前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値と、符号に基づ!/、て前記差分画像 (B)を生成するステップと、

を有する請求項 36記載の電子透かし検出方法。

[38] 前記位相差分計測ステップは、

前記差分画像 (A)力も前記位相パターンを生成する際に、前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値に対して単調増加する値を振幅とし、前記符号と組み合わせて得られる値に基づ!、て前記差分画像 (B)を生成するステップを有する、請求項 37記載の電子透かし検出方法。

[39] 前記差分画像生成ステップにおける前記差分画像中の特定成分が複数の成分である、請求項 35記載の電子透かし検出方法。

[40] 前記位相差分計測ステップにお、て、前記差分画像 (A)から位相パターンを得る際に、該差分画像 (A)中の複数の成分から得られる座標系おける位相及び振幅を利用する、請求項 36乃至 38のうちいずれか 1項に記載の電子透かし検出方法。

[41] 前記差分画像中の特定成分が Cb成分及び Cr成分である、請求項 39または 40記載の電子透かし検出方法。

[42] 前記電子透かし検出方法は、前記差分画像 (B)を差分画像蓄積バッファに加算するステップを更に有し、

電子透かし検出ステップは、前記差分画像蓄積バッファからの電子透かし検出を行つて透かレ隋報を検出して、検出状況を出力するステップを有する、請求項 36乃至 4

1のうちいずれか 1項に記載の電子透かし検出方法。

[43] 前記電子透かし検出方法は、順次取得される前記フレーム画像に対し、今回のフレーム画像中の検出対象領域を抽出し、歪みを補正し、サイズを正規化して検出対象領域画像を生成するステップを有し、

前記差分画像生成ステップにおいて、今回取得した検出対象領域画像と、以前に取得した検出対象領域画像の差分画像を生成する、請求項 20乃至 42のうちヽずれ力 1項に記載の電子透かし検出方法。

[44] 前記電子透かし検出方法は、順次取得される前記差分画像から検出対象領域を抽出して検出対象領域画像を生成するステップを有し、

前記電子透かし検出ステップにお、て、前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する、請求項 20乃至 42のうちいずれ力 1項に記載の電子透かし検出方法。

[45] 前記フレーム画像を順次取得した後に、前記フレーム画像力特徴領域を抽出して歪み補正及びサイズ正規化を行って特徴領域画像を生成する特徴領域抽出ステップと、

前記検出対象領域力の電子透かし検出を行う前記電子透かし検出ステップと、を有する請求項 20乃至 42のうちいずれ力 1項に記載の電子透かし検出方法。

[46] 前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、該差分画像の画素値を絶対値化して検出対象領域を探索するステップを有する、請求項 44または 45に記載の電子透かし検出方法。

[47] 前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、埋め込み時の基本透かしパターンに付加された位置合わせパターンを用

V、て検出対象領域を探索するステップを有する、請求項 44または 46に記載の電子透かし検出方法。

[48] 前記検出対象領域抽出ステップは、過去の電子透かし検出試行で検出状況が良好であったときの検出対象領域の近傍の領域に限定した探索を行って、今回の検出対象領域抽出処理を行うステップを有する、請求項 44乃至 47のうちいずれか 1項に記載の電子透かし検出方法。

[49] 前記検出対象領域抽出ステップは、前記位置合わせパターンを用いて、前記差分画像中の透かしパターンの位相を判定するステップを有する、請求項 47に記載の電子透かし検出方法。

[50] 前記検出対象領域抽出ステップは、前記差分画像を記憶手段に加算蓄積し、蓄積した該差分画像中から検出対象領域を探索し、抽出するステップを有する、請求項 4

4乃至 49のうちいずれか 1項に記載の電子透かし検出方法。

[51] 前記検出対象領域抽出ステップは、前記差分画像を前記記憶手段に加算蓄積する際に、該差分画像中の透かしパターンの位相を揃えて、加算蓄積を行うステップを有する、請求項 50に記載の電子透かし検出方法。

[52] 動画像力も電子透力を検出する電子透かし検出装置における電子透かし検出方法であって、

を有することを特徴とする電子透かし検出方法。

前記検出対象領域抽出ステップは、

加算蓄積によって得られる前記差分画像 (B)蓄積バッファから検出対象領域を抽出する際に、前記差分画像 (B)蓄積バッファの画素値の絶対値をとつたものカも検出対象領域を抽出し、絶対値を取る前の差分画像 (B)蓄積バッファの検出対象領域の画像を検出対象領域画像として得るステップを有する、請求項 52記載の電子透かし検出方法。

[54] 前記検出対象領域抽出ステップにおいて、複数の検出対象領域を抽出し、

前記電子透かし検出ステップにおいて、前記複数の検出対象領域の各々に対して電子透かし検出試行を行い、検出結果を出力する、

請求項 43乃至 53のうちいずれか 1項に記載の電子透かし検出方法。

[55] 前記電子透かし検出ステップは、透力情報を検出する際に、既存の 2次元コードの復号処理を用いて透力し情報を検出するステップを有する、請求項 20乃至 54のうちいずれか 1項に記載の電子透かし検出方法。

[56] 差分処理によって生成される前記差分画像に対して、さらにフィルタ処理を施し、フィルタ処理を施した差分画像を出力するステップを有する、請求項 20乃至 55のうちいずれか 1項に記載の電子透かし検出方法。

[57] 前記フィルタ処理として、非線形フィルタを用いる、請求項 56記載の電子透かし検出方法。

[58] 入力とする動画像が、カメラで撮影され、キヤプチャされた映像信号である、請求項 20乃至 57のうちいずれか 1項に記載の電子透かし検出方法。

[59] 検出対象領域抽出状況、電子透かし検出状況、データブロック検出状況のうちのいずれか又は複数の処理状況に応じたフィードバック出力を画面あるいは、音声を出力する外部出力手段により行うステップを有する、請求項 20乃至 58のうちいずれ力 1項に記載の電子透かし検出方法。

[60] 前記検出対象領域抽出ステップにおいて、検出対象領域のサイズ及び位置を表す検出対象領域情報を更に生成し、前記電子透かし生成方法は、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズとなるようにズームパラメタを設定し、当該ズームパラメタを前記動画像入力手段に与えてズーム処理を行うズーム処理ステップを有する、請求項 43乃至 59のうちいずれか 1項に記載の電子透かし検出方法。

[61] 前記ズーム処理ステップは、前記電子透かし検出ステップにおける検出状況が良好であった場合に、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズになるようにズームパラメタを設定し、前記動画像入力手段に与えてズーム処理を行うステップを有する、請求項 60記載の電子透かし検出方法。

[62] 入力とする動画像が、表示ディスプレイ上に表示されている状態をカメラでリアルタィムに撮影され、キヤプチャされたものであり、

電子透かし検出によって得られた透力情報に基づいて、表示されている動画像に関連する情報を取得するステップを有する、請求項 20乃至 61のうちいずれか 1項に記載の電子透かし検出方法。

[63] 動画像に電子透かしを埋め込む電子透かし埋め込み装置であって、

フレーム画像群からなる動画像データ、透かレ隋報、透かしパターンの時間変化を指定する透かしパターン切り替え情報を入力する手段と、

動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得手段と、

前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用 Vヽて、透かしパターンを生成する透かしパターン生成手段と、

前記透かしパターンを前記フレーム画像に重畳する透かしパターン重畳手段と、前記フレーム画像取得手段での処理、前記透かしパターン生成手段での処理、及び前記透かしパターン重畳手段での処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段と、

を有することを特徴とする電子透かし埋め込み装置。

[64] 前記透かしパターン生成手段において、前記透かしパターンの切り替えのタイミンダカ一定の時間周期で繰り返される、請求項 63記載の電子透かし埋め込み装置。

[65] 前記透かしパターン生成手段は、

前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用 V、て、該透力し情報に対応する透かしパターンを生成し、

さらに、前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かしパターンの時間変化状態を検出時に推定するための位相判定用透かしパターンを生成し、その位相判定用透かしパターンを前記透力し情報に対応する透かしパターンに多重化して得られるパターンを透かしパターンとする、請求項 63または 64に記載の電子透かし埋め込み装置。

[66] 動画像に電子透かしを埋め込む電子透かし埋め込み装置であって、

フレーム画像群からなる動画像データ、透かレ隋報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を入力する手段と、

前記動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得手段と、

Vヽて、透かしパターンを生成する透かしパターン生成手段と、

を有することを特徴とする電子透かし埋め込み装置。

[67] 前記透かしパターン生成手段は、

前記透力し情報を用いて基本透かしパターンを生成する基本透かしパターン生成手段と、

前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前の透かしパターンに対して前記基本透かしパターンで定まる位相変動をカ卩えて新たな透かしパターンを生成する手段と、

を有する請求項 66記載の電子透かし埋め込み装置。

[68] 前記透かしパターン生成手段は、

前記基本透かしパターンの画素値に基づいて符号パターンを生成する符号パターン生成手段と、

前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前のフレームカもの時間差分に対応する透かしパターン切り替え位相変動値を求める透かしパターン切り替え位相変動値算出手段と、

前記透かしパターン切り替え位相変動値に前記符号パターン生成手段で生成された前記符号パターンの各要素の符号を付与して、これを直前の透かし位相パターン力の位相差分として現在のフレームに対する透かし位相パターンを生成する透かし位相パターン生成手段と、

前記透かし位相パターンに基づいて透かしパターンを生成する透かし位相パターン画像化手段と、

を有する請求項 66記載の電子透かし埋め込み装置。

[69] 前記透かしパターン生成手段は、

前記透かし位相パターン力も前記透かしパターンを生成する際に、前記基本透かしパターンの各画素値に基づいて透かしパターンの対応する画素値の振幅を増減する、請求項 68記載の電子透かし埋め込み装置。

[70] 前記透かしパターン生成手段は、

前記基本透かしパターンが表す位相差分変動を、画像の複数の成分から得られる座標系における回転量に対応させ、位相差分変動で回転されて得られる新たな複数の成分値をもとに、前記透かしパターンを生成する、請求項 66乃至 69のうちいずれ力 1項に記載の電子透かし埋め込み装置。

[71] 前記画像の複数の成分として、画像の Cb-Cr成分を用いる、請求項 70記載の電子透かし埋め込み装置。

[72] 前記透かしパターン生成手段は、

前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用 V、て、該透力し情報をデータブロックに分割する手段と、

前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロック ID及び該データブロック IDのデータブロック情報を元に透かしパターンを生成する手段と、

を有する請求項 63乃至 71のうちいずれ力 1項に記載の電子透力し埋め込み装置。

[73] 前記透かしパターン生成手段は、

前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用、て、該透力し情報をデータブロックに分割する手段と、

前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロック ID及び該データブロック IDのデータブロック情報を元に前記透かしパターンを生成する際に、前記データブロック IDが位相判定用透力情報を兼ねるようにして透かしパターンを生成する手段と、

を有する請求項 65または 72に記載の電子透力埋め込み装置。

[74] 前記透かしパターン重畳手段は、前記透かしパターンを前記フレーム画像以下のサイズにスケール変更して該フレーム画像の内部に重畳する、請求項 63乃至 73のうち、ずれか 1項に記載の電子透かし埋め込み装置。

[75] 前記透かしパターン生成手段は、

前記透かし情報を用いて基本透かしパターンを生成する手段と、

さらに、電子透かし検出時の検出対象領域抽出のための位置合わせのためのパターンを基本透かしパターンに追加する手段と、

前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて基本透かしパターンを変更することで透かしパターンを生成する手段と、

を有する請求項 74に記載の電子透かし埋め込み装置。

[76] 前記透かしパターン生成手段は、

前記透かし情報を既存の 2次元コードにより基本透かしパターンに変調し、前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて該基本透かしパターン力も透かしパターンを生成する、請求項 74または 75に記載の電子透力し埋め込み装置。

[77] 前記電子透かし埋め込み装置は複数の透かしパターン生成手段を有し、

各々の前記透かしパターン生成手段は異なる透かしパターンを生成し、前記透かしパターン重畳手段は、前記透かしパターンをフレーム画像内に複数重畳する、請求項 74乃至 76のうちいずれ力 1項に記載の電子透かし埋め込み装置。

[78] 前記透かしパターン重畳手段は、動きの多いフレーム画像ほど透かしパターンの振幅を増幅する、請求項 63乃至 77のうちいずれ力 1項に記載の電子透力し埋め込み装置。 [79] 前記透かしパターン重畳手段は、以前に入力したフレーム画像を記憶手段に保持しておき、今回入力したフレーム画像と以前のフレーム画像との差分画像を生成し、該差分画像の画素値に基づ、て基本透かしパターンの振幅を増幅する、請求項 78 記載の電子透かし埋め込み装置。

[80] 前記透かしパターン重畳手段は、透かしパターン全体の振幅を増幅する、請求項 7 8または 79に記載の電子透力埋め込み装置。

[81] 前記透かしパターン重畳手段は、フレーム画像中の動きの大きい画素領域に対応する透かしパターンの画素領域を増幅する、請求項 78または 79に記載の電子透かし埋め込み装置。

[82] 動画像力電子透力を検出する電子透かし検出装置であって、

フレーム画像を順次取得する動画像入力手段と、

今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段と、

前記差分画像力の電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段と、

前記電子透力しの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段での処理、前記差分画像生成手段での処理、及び電子透かし検出手段での処理を繰り返す手段と、

を有することを特徴とする電子透かし検出装置。

[83] 前記電子透かし検出手段で得られた透力情報力もデータブロック IDとデータプロック情報を得て、検出透力し情報バッファの該データブロック IDの情報に検出したデ一タブロック情報を記録し、全てのデータブロック IDについて検出が完了した場合に電子透かし検出成功の旨を出力する、請求項 82に記載の電子透かし検出装置。

[84] 前記動画像入力手段は、前記フレーム画像と該フレーム画像の表示時刻であるフレーム表示時刻を順次取得し、

前記電子透かし検出装置は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、今回のフレーム表示時刻と、以前に取得したフレーム画像のフレーム表示時刻の時間間隔力検出要否を判定する検出要否判定手段を更に有し、前記検出要否判定手段において検出不要と判定された場合は前記動画像入力手段において新たなフレーム画像を取得し直し、検出要と判定した場合は前記差分画像生成手段の処理以降の処理を続行する、請求項 82または 83に記載の電子透かし検出装置。

[85] 前記電子透かし検出装置は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、フレームのキヤプチャタイミングを設定するキヤプチャタイミング制御手段を有し、

前記動画像入力手段は、前記キヤプチャタイミングに基づ、てフレーム画像を順次取得する、請求項 82乃至 84のうちいずれか 1項に記載の電子透かし検出装置。

[86] 前記電子透かし検出装置は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、差分画像を得るためのフレーム間の時間間隔を表す差分タイミングを設定する手段を有し、

前記動画像入力手段は、前記フレーム画像と該フレーム表示時刻を順次取得し、前記差分画像生成手段は、今回取得したフレーム画像と、前記差分タイミングで指定される時間だけ以前に取得したフレーム画像の差分画像を生成する、請求項 82 乃至 84のうちいずれか 1項に記載の電子透かし検出装置。

[87] 前記電子透かし検出装置は、前記差分画像に埋め込まれている透かしパターンの位相を判定する差分位相判定手段を有し、

前記差分位相判定手段による判定の結果、透かしパターンの位相が逆相の場合は、検出した透かレ f青報のビット反転を行って、電子透かしの検出状況を出力する、請求項 82乃至 86のうちいずれか 1項に記載の電子透かし検出装置。

[88] 前記差分画像生成手段は、前記差分画像を差分画像蓄積バッファに加算し、前記電子透かし検出手段は、前記差分画像蓄積バッファからの電子透かし検出を行って透力し情報を検出して、検出状況を出力する、請求項 82乃至 87のうちいずれ力 1項に記載の電子透かし検出装置。

[89] 前記差分画像に埋め込まれている透かしパターンの位相を判定し、順次処理される差分画像の全てで当該位相が同相となるように差分画像を変更し、得られた差分画像を用いて前記差分画像生成手段での処理及び前記電子透かし検出手段での処理を実行する、請求項 88に記載の電子透かし検出装置。

[90] 前記電子透かし検出手段は、検出の際に算出される相関値を検出処理の度に記憶手段に蓄積し、蓄積された相関値を用いて検出成功力否かを判定する、請求項 8 2乃至 89のうちいずれか 1項に記載の電子透かし検出装置。

[91] 前記電子透かし検出手段は、検出の際に算出される相関値の絶対値を検出処理の度に記憶手段に蓄積し、蓄積された該相関値の絶対値を用いて検出成功力否かを判定する、請求項 82乃至 89のうちいずれか 1項に記載の電子透かし検出装置。

[92] 前記差分位相判定手段は、埋め込み時に用いた透かしパターン切り替え情報と、フレーム画像取得時に得られるフレーム表示時刻の関係から、差分画像中の透かしパターンの位相を判定する、請求項 87または 89に記載の電子透かし検出装置。

[93] 前記差分位相判定手段は、前記差分画像中に埋め込まれた透かしパターンで表現された透力し情報中の予め定めたビット位置のビット値を検出し、該ビット値に基づいて該差分画像中の透かしパターンの位相を判定する、請求項 87または 89に記載の電子透かし検出装置。

[94] 前記差分位相判定手段は、位相判定用透かしを検出して前記差分画像中の透かしパターンの位相を判定する、請求項 87または 89に記載の電子透かし検出装置。

[95] 前記差分位相判定手段は、透かし検出処理によって算出される相関値の正負の極性を利用して前記差分画像中の透かしパターンの位相を判定する、請求項 87または 89に記載の電子透かし検出装置。

[96] 前記差分位相判定手段は、前記差分画像からの電子透かし検出を行って透かし情報であるデータブロック情報及びデータブロック IDを検出し、データブロック ID検出時の相関値の正負の極性を利用して前記差分画像に埋め込まれている透かしパターンの位相を判定する、請求項 87または 89に記載の電子透かし検出装置。

[97] 前記差分画像生成手段は、

今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し、さらに、該差分画像中の特定成分から位相値と振幅値を求め、該位相値が所与の複数のグループの、ずれに属するかを判定し、その判定結果と該振幅値を元に該差分画像を修正して出力する、請求項 82乃至 96のうちいずれ力 1項に記載の電子透かし検出装置。

[98] 前記差分画像生成手段は、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像 (A)を生成し、該今回取得したフレーム画像を該画像記憶手段に格納し、

前記電子透かし検出装置は、今回取得した差分画像 (A)に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段力読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づ！ヽて差分画像 (B)を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計測手段を有し、

前記電子透かし検出手段は、前記差分画像 (B)からの電子透かし検出を行って、電子透力しの検出状況を出力する、請求項 82乃至 96のうちいずれか 1項に記載の電子透かし検出装置。

[99] 前記位相差分計測手段は、

前記差分画像 (A)から位相パターンを生成する際に、位相値と共に振幅値を求めて位相パターンの要素値とする手段と、

前記今回取得した位相パターンと前記以前に取得した位相パターンの位相差を計測し、位相差に基づいて符号を決定する手段と、

さらに前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値と、符号に基づ!/、て前記差分画像 (B)を生成する手段と、

を有する請求項 98記載の電子透かし検出装置。

[100] 前記位相差分計測手段は、

前記差分画像 (A)力も前記位相パターンを生成する際に、前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値に対して単調増加する値を振幅とし、前記符号と組み合わせて得られる値に基づ!、て前記差分画像 (B)を生成する、請求項 99記載の電子透かし検出装置。

[101] 前記差分画像生成手段における前記差分画像中の特定成分が複数の成分である

、請求項 97記載の電子透かし検出装置。

[102] 前記位相差分計測手段は、前記差分画像 (A)から位相パターンを得る際に、該差分画像 (A)中の複数の成分から得られる座標系おける位相及び振幅を利用する、請求項 98乃至 100のうちいずれか 1項に記載の電子透かし検出装置。

[103] 前記差分画像中の特定成分が Cb成分及び Cr成分である、請求項 101または 102 記載の電子透かし検出装置。

[104] 前記電子透かし検出装置は、前記差分画像 (B)を差分画像蓄積バッファに加算する手段を更に有し、

前記電子透かし検出手段は、前記差分画像蓄積バッファからの電子透かし検出を行って透かレ f青報を検出して、検出状況を出力する、請求項 98乃至 103のうちいずれか 1項に記載の電子透かし検出装置。

[105] 前記電子透かし検出装置は、順次取得される前記フレーム画像に対し、今回のフレーム画像中の検出対象領域を抽出し、歪みを補正し、サイズを正規化して検出対象領域画像を生成する検出対象領域抽出手段を有し、

前記差分画像生成手段は、今回取得した検出対象領域画像と、以前に取得した検出対象領域画像の差分画像を生成する、請求項 82乃至 104のうちいずれか 1項に記載の電子透かし検出装置。

[106] 前記電子透かし検出装置は、順次取得される前記差分画像力検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出手段を有し、

前記電子透かし検出手段は、前記検出対象領域画像からの電子透かし検出を行う、請求項 82乃至 104のうちいずれか 1項に記載の電子透かし検出装置。

[107] 前記電子透かし検出装置は、前記フレーム画像を順次取得した後に、前記フレーム画像から特徴領域を抽出して歪み補正及びサイズ正規化を行って特徴領域画像を生成する特徴領域抽出手段を有し、

前記差分画像生成手段は、今回取得した特徴領域画像と、以前に取得した特徴領域画像の差分画像を生成し、

検出対象領域抽出手段は、前記差分画像から検出対象領域を抽出して検出対象領域画像を生成し、

前記電子透かし検出手段は、前記検出対象領域画像からの電子透かし検出を行う、請求項 82乃至 104のうちいずれか 1項に記載の電子透かし検出装置。 [108] 前記検出対象領域抽出手段は、前記差分画像から前記検出対象領域を抽出する際に、該差分画像の画素値を絶対値化して検出対象領域を探索する、請求項 106 または 107に記載の電子透かし検出装置。

[109] 前記検出対象領域抽出手段は、前記差分画像から前記検出対象領域を抽出する際に、埋め込み時の基本透かしパターンに付加された位置合わせパターンを用いて検出対象領域を探索する、請求項 106または 108に記載の電子透かし検出装置。

[110] 前記検出対象領域抽出手段は、過去の電子透かし検出試行で検出状況が良好であつたときの検出対象領域の近傍の領域に限定した探索を行って、今回の検出対象領域抽出処理を行う、請求項 106乃至 109のうちいずれか 1項に記載の電子透かし検出装置。

[111] 前記検出対象領域抽出手段は、前記位置合わせパターンを用いて、前記差分画像中の透かしパターンの位相を判定する、請求項 109に記載の電子透かし検出装置。

[112] 前記検出対象領域抽出手段は、前記差分画像を記憶手段に加算蓄積し、蓄積した該差分画像中から検出対象領域を探索し、抽出する、請求項 106乃至 111のうちいずれか 1項に記載の電子透かし検出装置。

[113] 前記検出対象領域抽出手段は、前記差分画像を前記記憶手段に加算蓄積する際に、該差分画像中の透かしパターンの位相を揃えて、加算蓄積を行う、請求項 112 に記載の電子透かし検出装置。

[114] 動画像力電子透力を検出する電子透かし検出装置であって、

フレーム画像を順次取得する動画像入力手段と、

フレーム画像中の特徴領域を抽出し特徴領域画像を取得する特徴領域抽出手段と、

今回取得した特徴領域画像と、特徴領域画像バッファから読み出した以前に取得した特徴領域画像の差分画像を生成して差分画像 (A)を取得すると共に、該今回取得した特徴領域画像を該特徴領域画像バッファに格納する差分画像生成手段と、今回取得した差分画像 (A)に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターンバッファ力も読み出した以前に取得した位相パターンの位相差を計測し、位相差と振幅に基づいて差分画像 (B)を生成すると共に、該今回取得した差分画像 (A)を該位相パターンバッファに格納する位相差分計測手段と、前記差分画像 (B)を各画素毎に画素値の加算蓄積を行い、加算蓄積によって得られる差分画像 (B)蓄積バッファから検出対象領域を抽出し、検出対象領域画像を取得する検出対象領域抽出手段と、

前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段と、

電子透力しの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段で新たなフレーム画像を取得し直し上記各手段の処理を繰り返す手段と、

を有することを特徴とする電子透かし検出装置。

[115] 前記検出対象領域抽出手段は、

加算蓄積によって得られる前記差分画像 (B)蓄積バッファから検出対象領域を抽出する際に、前記差分画像 (B)蓄積バッファの画素値の絶対値をとつたものカも検出対象領域を抽出し、絶対値を取る前の差分画像 (B)蓄積バッファの検出対象領域の画像を検出対象領域画像として得る、請求項 114記載の電子透かし検出装置。

[116] 前記検出対象領域抽出手段は、複数の検出対象領域を抽出し、

前記電子透かし検出手段は、前記複数の検出対象領域の各々に対して電子透かし検出試行を行い、検出結果を出力する、請求項 105乃至 115のうちいずれか 1項に記載の電子透かし検出装置。

[117] 前記電子透かし検出手段は、透力情報を検出する際に、既存の 2次元コードの復号処理を用いて透力し情報を検出する、請求項 82乃至 116のうちいずれか 1項に記載の電子透かし検出装置。

[118] 差分処理によって生成される前記差分画像に対して、さらにフィルタ処理を施し、フィルタ処理を施した差分画像を出力する、請求項 82乃至 117のうちいずれか 1項に記載の電子透かし検出装置。

[119] 前記フィルタ処理として、非線形フィルタを用いる、請求項 118記載の電子透かし検出装置。 [120] 入力とする動画像が、カメラで撮影され、キヤプチャされた映像信号である、請求項 82乃至 119のうち、ずれか 1項に記載の電子透かし検出装置。

[121] 検出対象領域抽出状況、電子透かし検出状況、データブロック検出状況のうちの V、ずれか又は複数の処理状況に応じたフィードバック情報を画面あるいは、音声として出力する出力手段を有する、請求項 82乃至 120のうちいずれか 1項に記載の電子透かし検出装置。

[122] 前記検出対象領域抽出手段は、検出対象領域のサイズ及び位置を表す検出対象領域情報を更に生成し、前記電子透かし生成装置は、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズとなるようにズームパラメタを設定し、当該ズームパラメタを前記動画像入力手段に与えてズーム処理を行うズーム処理手段を有する、請求項 105乃至 121のうちいずれ力 1項に記載の電子透かし検出装置。

[123] 前記ズーム処理手段は、前記電子透かし検出手段における検出状況が良好であつた場合に、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズになるようにズームパラメタを設定し、前記動画像入力手段に与えてズーム処理を行う、請求項 122記載の電子透かし検出装置。

[124] 入力とする動画像が、表示ディスプレイ上に表示されている状態をカメラでリアルタィムに撮影され、キヤプチャされたものであり、

電子透かし検出によって得られた透力情報に基づいて、表示されている動画像に関連する情報を取得する手段を有する、請求項 82乃至 123のうちいずれか 1項に記載の電子透かし検出装置。

[125] コンピュータを、動画像に電子透力しを埋め込む電子透力し埋め込み装置として機能させるための電子透かし埋め込みプログラムであって、コンピュータを、

フレーム画像群からなる動画像データ、透かレ隋報、透かしパターンの時間変化を指定する透かしパターン切り替え情報を入力する手段、

動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得手段、

前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用 V、て、透かしパターンを生成する透かしパターン生成手段、前記透かしパターンを前記フレーム画像に重畳する透かしパターン重畳手段、前記フレーム画像取得手段での処理、前記透かしパターン生成手段での処理、及び前記透かしパターン重畳手段での処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段、

として機能させるための電子透力し埋め込みプログラム。

[126] 請求項 125に記載の電子透力し埋め込みプログラムを格納したコンピュータ読み取り可能な記録媒体。

[127] コンピュータを、動画像に電子透力しを埋め込む電子透力し埋め込み装置として機能させる電子透かし埋め込みプログラムであって、コンピュータを、

フレーム画像群からなる動画像データ、透かレ隋報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を入力する手段、

前記動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得手段、

前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用 V、て、透かしパターンを生成する透かしパターン生成手段、

前記透かしパターンを前記フレーム画像に重畳する透かしパターン重畳手段、前記フレーム画像取得手段での処理、前記透かしパターン生成手段での処理、及び前記透かしパターン重畳手段での処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段、

として機能させるための電子透力し埋め込みプログラム。

[128] 請求項 127に記載の電子透力し埋め込みプログラムを格納したコンピュータ読み取り可能な記録媒体。

[129] コンピュータを、動画像力も電子透力を検出する電子透かし検出装置として機能させる電子透かし検出プログラムであって、コンピュータを、

フレーム画像を順次取得する動画像入力手段、

今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段、

前記差分画像力の電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段、

前記電子透力しの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段での処理、前記差分画像生成手段での処理、及び電子透かし検出手段での処理を繰り返す手段、

として機能させる電子透かし検出プログラム。

[130] 請求項 129に記載の電子透かし検出プログラムを格納したコンピュータ読み取り可能な記録媒体。

[131] コンピュータを、動画像力も電子透力を検出する電子透かし検出装置として機能させる電子透かし検出プログラムであって、コンピュータを、

フレーム画像を順次取得する動画像入力手段、

フレーム画像中の特徴領域を抽出し特徴領域画像を取得する特徴領域抽出手段今回取得した特徴領域画像と、特徴領域画像バッファから読み出した以前に取得した特徴領域画像の差分画像を生成して差分画像 (A)を取得すると共に、該今回取得した特徴領域画像を該特徴領域画像バッファに格納する差分画像生成手段、今回取得した差分画像 (A)に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターンバッファ力も読み出した以前に取得した位相パターンの位相差を計測し、位相差と振幅に基づいて差分画像 (B)を生成すると共に、該今回取得した差分画像 (A)を該位相パターンバッファに格納する位相差分計測手段、前記差分画像 (B)を各画素毎に画素値の加算蓄積を行い、加算蓄積によって得られる差分画像 (B)蓄積バッファから検出対象領域を抽出し、検出対象領域画像を取得する検出対象領域抽出手段、

前記検出対象領域画像力の電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段、

電子透力しの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段で新たなフレーム画像を取得し直し上記各手段の処理を繰り返す手段、

として機能させる電子透かし検出プログラム。

請求項 131に記載の電子透かし検出プログラムを格納したコンピュータ読み取り可能な記録媒体。