JP3919758B2 - 電子透かし検出装置及びその方法 - Google Patents

電子透かし検出装置及びその方法 Download PDF

Info

Publication number
JP3919758B2
JP3919758B2 JP2004058224A JP2004058224A JP3919758B2 JP 3919758 B2 JP3919758 B2 JP 3919758B2 JP 2004058224 A JP2004058224 A JP 2004058224A JP 2004058224 A JP2004058224 A JP 2004058224A JP 3919758 B2 JP3919758 B2 JP 3919758B2
Authority
JP
Japan
Prior art keywords
signal
orthogonal transform
image
orthogonal
embedded image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004058224A
Other languages
English (en)
Other versions
JP2005252491A (ja
Inventor
央 小暮
朋夫 山影
渉 浅野
晋一郎 古藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004058224A priority Critical patent/JP3919758B2/ja
Publication of JP2005252491A publication Critical patent/JP2005252491A/ja
Application granted granted Critical
Publication of JP3919758B2 publication Critical patent/JP3919758B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、例えば記録媒体を介して提供されるディジタル動画像信号の不正な複製を防止するのに有効な電子透かし検出装置及びその方法に関する。
ディジタルVTR、あるいはDVD(ディジタルバーサタイルディスク)のようなディジタル画像データを記録及び再生する装置の普及により、これらの装置で再生が可能な数多くのディジタル動画像が提供されるようになってきている。またインターネット、放送衛星、通信衛星等を介したディジタルテレビ放送を通じて様々なディジタル動画像が流通し、ユーザは高品質のディジタル動画像を利用することが可能となりつつある。
ディジタル動画像は、ディジタル信号レベルで簡易に高品質の複製を作成することが可能であり、何らかの複製禁止あるいは複製制御を施さない場合には、無制限に複製されるおそれがある。従って、ディジタル動画像の不正な複製(コピー)を防止し、あるいは正規ユーザによる複製の世代数を制御するために、ディジタル動画像に複製制御のための情報を付加し、この付加情報を用いて不正な複製を防止し、複製を制限する方法が考えられている。
このようにディジタル動画像に別の付加情報を重畳する技術として、電子透かし(digital watermarking)が知られている。電子透かしは、ディジタルデータ化された音声、音楽、動画、静止画等のコンテンツに対して、コンテンツの著作権者や利用者の識別情報、著作権者の権利情報、コンテンツの利用条件、その利用時に必要な秘密情報、あるいは上述した複製制御情報などの情報(これらを透かし情報と呼ぶ)を知覚が容易ではない状態となるように埋め込み、後に必要に応じて透かし情報をコンテンツから検出することによって利用制御、複製制御を含む著作権保護を行ったり、二次利用の促進を行ったりするための技術である。
電子透かしの一つの方式として、スペクトラム拡散技術を応用した方式が知られている。この方式では、以下の手順により透かし情報をディジタル動画像に埋め込む。
[ステップE1]
画像信号にPN(Pseudorandom Noise)系列を乗積してスペクトラム拡散を行う。
[ステップE2]
スペクトル拡散後の画像信号を周波数変換(例えば、DCT変換)する。
[ステップE3]
特定の周波数成分の値を変更することで透かし情報を埋め込む。
[ステップE4]
逆周波数変換(例えば、IDCT変換)を施す。
[ステップE5]
スペクトル逆拡散を施す(ステップE1と同じPN系列を乗積する)。
一方、こうして透かし情報が埋め込まれたディジタル動画像からの透かし情報の検出は、以下の手順により行う。
[ステップD1]
画像信号にPN(Pseudorandom Noise)系列(ステップE1と同じPN系列)を乗積してスペクトル拡散を行う。
[ステップD2]
スペクトル拡散後の画像信号を周波数変換(例えばDCT変換)する。
[ステップD3]
特定の周波数成分の値に着目し、埋め込まれた透かし情報を抽出する。
一方、入力画像信号から特定周波数成分信号を抽出し、この特定周波数成分信号を位相制御し、位相制御された信号の相関値を算出して透かし情報を検出する技術も提案されている(例えば、特許文献1、特許文献2参照)。
特開2002−325233公報(請求項2、図7参照) 特開2002−218404公報(請求項1、図1参照)
不正利用の防止を目的として電子透かしを適用する場合、ディジタル著作物に対して通常に施されると想定される各種の操作や意図的な攻撃によって、透かし情報が消失したり改竄されたりしないような性質(ロバスト性)を持つ必要がある。透かし情報を埋め込んだディジタル画像に対して透かし情報を検出できなくする攻撃としては、画像の切り出し、スケーリング(拡大/縮小)等が考えられる。
このような攻撃を受けた画像が入力された場合、従来の技術では、まず、透かし情報の検出時に埋め込み時のステップE1で用いたPN系列を推定する処理を行って、PN系列の同期を回復した後、ステップD1〜D3の処理を行って、埋め込まれた透かし情報を抽出する。しかしながら、画像信号だけからPN系列の同期を回復するには、複数の候補で処理を試みて、うまく検出できたものを採用するという探索を行う必要がある。このために、演算量や回路規模が増加するという問題がある。また、攻撃を受けた画像では透かし情報が弱まっており、画像の切り出しやスケーリングが分かり、それに対応した検出を行っても透かし情報が検出できなくなるとい問題がある。
本発明は、画像の切り出し、スケーリング等の攻撃によって弱まった透かし情報を演算量や回路規模の増大を伴うことなく、より正確に検出できる電子透かし検出装置及びその方法を提供することを目的とする。
請求項1に係る発明は、電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出装置において、前記埋め込み済み画像信号から特定周波数成分を抽出する抽出手段と、前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像について、それぞれの前記直交変換像の振幅を圧縮する圧縮手段と、それぞれ振幅圧縮した前記直交変換像を合成する合成手段と、前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、を具備することを特徴とする電子透かし検出装置である。また、請求項2に係る発明は、電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出装置において、前記埋め込み済み画像信号から特定周波数成分を抽出する抽出手段と、前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像を合成する合成手段と、前記合成した直交変換像の振幅を圧縮する圧縮手段と、前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、を具備することを特徴とする電子透かし検出装置である。
請求項に係る発明は、電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出装置において、前記埋め込み済み画像信号の直交変換像を算出する第1直交変換手段と、前記算出された直交変換像から特定周波数成分を抽出する抽出手段と、前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像とについて、それぞれの前記直交変換像の振幅を圧縮する圧縮手段と、それぞれ振幅圧縮された前記直交変換像を合成する合成手段と、前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、を具備することを特徴とする電子透かし検出装置。また、請求項に係る発明は、電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出装置において、前記埋め込み済み画像信号の直交変換像を算出する第1直交変換手段と、前記算出された直交変換像から特定周波数成分を抽出する抽出手段と、前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像を合成する合成手段と、前記合成した直交変換像の振幅を圧縮する圧縮手段と、前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、を具備することを特徴とする電子透かし検出装置である。
本発明によれば、画像の切り出し、スケーリング等の攻撃に対して、演算量や回路規模の増大を伴うことなく、透かし情報を正確に検出できる。
(電子透かし埋め込み装置の基本構成)
まず、電子透かし埋め込み装置について説明する。
図27は、電子透かし埋め込み装置の基本構成を示すブロック図である。
電子透かし埋め込み装置には、透かし情報が埋め込みされるべき画像信号(以下、「埋め込み対象画像信号」という)110として、動画像または静止画のディジタル化された画像信号が入力される。この埋め込み対象画像信号110は輝度信号及び色差信号の両方を含んでいてもよいが、輝度信号のみであってもよい。埋め込み対象画像信号110は3分岐され、特定周波数成分抽出部111と特徴量抽出部115及び透かし情報重畳部116に入力される。
特定周波数成分抽出部111は、周波数領域のディジタルフィルタ、例えば所定のカットオフ周波数を有するハイパスフィルタ、あるいは所定の通過域中心周波数を有するバンドパスフィルタによって構成され、入力動画像信号110から特定の周波数成分、例えば比較的高い周波数成分を抽出する。以下では、特定周波数成分抽出部111からの出力信号を「特定周波数成分信号」という。
特定周波数成分抽出部111から出力される特定周波数成分信号は、位相変換器112及び振幅変換器113によって位相と振幅が変換される。本実施形態では位相変換器112が前段、振幅変換器113が後段にそれぞれ配置されているが、逆に振幅変換器113が前段、位相変換器112が後段にそれぞれ配置されていてもよい。入力画像信号110に埋め込みべきディジタル情報である透かし情報114は、位相変換器112及び振幅変換器113の少なくとも一方に与えられる。
位相変換器112は、特定周波数成分信号に対して予め定められた固有の位相変換量の位相変換を施すように構成される。具体的には、位相変換器112は単一または複数のディジタル位相シフタによって実現され、位相変換量は位相シフタの位相シフト量となる。図28は位相変換器112による位相シフトの様子を示す図であり、この例では特定周波数成分信号が波形を保って単純に位相シフトされる。位相変換器112に透かし情報114が入力される場合には、位相変換器112の位相変換量(位相シフト量)が透かし情報114に従って制御される。
振幅変換器113は、入力される特定周波数成分信号に対して、予め定められた固有の振幅変換量の振幅変換を施すように構成される。振幅変換器113は具体的には単一または複数の排他的論理和回路やディジタル乗算器であり、振幅変換量は入力される特定周波数成分信号に乗じる係数となる。振幅変換器113に透かし情報114が入力される場合には、振幅変換器113の振幅変換量(係数)が透かし情報114に従って制御される。
さらに、特徴量抽出部115により埋め込み対象画像信号110の特徴量、例えば画像の複雑度を表すアクティビィティが抽出される。この特徴量の情報は振幅変換器113に入力される。振幅変換器113では、入力された特徴量に応じて特定周波数成分の振幅変換量(係数)が制御される。具体的には、特徴量がアクティビィティの場合、アクティビィティが大きいほど係数が大きく設定される。なお、特徴抽出部115は必須ではなく、省略してもよい。
位相変換器112及び振幅変換器113によって位相変換と振幅変換を受けた特定周波数成分信号は、ディジタル加算器からなる透かし情報重畳部116によって埋め込み信号として供給され、埋め込み対象画像信号110に重畳される。すなわち、特定周波数成分抽出部111によって抽出された特定周波数成分信号は、位相変換器112及び振幅変換器113によって電子透かし埋め込み装置に固有の位相変換及び振幅変換を受けると共に、位相変換量及び振幅変換量の一方または両方が透かし情報114によって制御されるため、透かし情報重畳部116においては透かし情報114が埋め込み対象画像信号110に埋め込まれることになる。
なお、特定周波数成分抽出部111によって抽出され、かつ位相変換器112及び振幅変換器113によって位相及び振幅が変換された特定周波数成分信号は、複数チャネル存在してもよく、その場合は複数チャネルの特定周波数成分信号が透かし情報重畳部116において埋め込み対象画像信号110に重畳される。
こうして透かし情報が埋め込まれた画像信号(以下、「埋め込み済み画像信号」という)100は、例えばDVDシステムのようなディジタル画像記録再生装置によって記録媒体に記録されたり、あるいはインターネット、放送衛星、通信衛星等の伝送媒体を介して伝送される。
以下、この埋め込み済み画像信号100を検出する場合であって、特に、特定周波数成分信号の位相変換量(位相シフト量)が透かし情報114に従って制御されている埋め込み済み画像信号100の電子透かし検出装置の各実施形態について図面を参照して順番に説明する。
(第1の実施形態)
図1、図8、図15、図16を用いて第1の実施形態に係る電子透かし検出装置について説明する。
(1)電子透かし検出装置の構成
図1に、本実施形態に係る電子透かし検出装置の構成を示す。
図1の電子透かし検出装置には、上記で説明した電子透かし埋め込み装置によって特定周波数成分信号の位相変換量(位相シフト量)が透かし情報114に従って制御されている埋め込み済み画像信号100が記録媒体あるいは伝送媒体を介して入力される。なお、透かし情報として、ディジタル信号の”1”または”0”が埋め込まれているとする。
埋め込み済み画像信号100は、抽出器12により特定成分のみ抽出される。この抽出器は、上記した電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタ、例えば所定のカットオフ周波数を有するHPF(ハイパスフィルタ)、あるいは所定の通過域中心周波数を有するBPF(バンドパスフィルタ)であり、入力動画像信号100から特定の周波数成分、例えば比較的高い周波数成分の信号を抽出する。
抽出器12によって抽出された信号は、第1直交変換器11によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は合成器13により複素合成される。ここでは抽出された信号の直交変換像と入力画像の直交変換像で複素合成を行う。
複素合成後の合成信号に対して第2直交変換器14により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。
なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよく、振幅圧縮の手法としては、振幅を1に固定、振幅の指数対数値を利用するといった方法が考えられる。
第2直交変換後の合成信号は推定器15の入力に与えられる。この変換後の合成信号から透かし情報を推定器15が推定する方法について図15、図16に基づいて説明する。なお、上記したように透かし情報として、ディジタル信号の”1”または”0”が埋め込まれているとする。
図15に示すように、変換後の合成信号を位相シフトさせながら、元の位相シフトさせていない変換後の合成信号との相関を求める。この相互相関値と位相シフト量との関係が図16である。
そして、図16に示すように、相互相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。すなわち、埋め込み済み画像信号100がスケーリング攻撃を受けていると、特定周波数成分信号の持つ位相シフト量が電子透かし埋め込み装置において特定周波数成分信号に与えられた位相シフト量と異なった値になる。ここで、抽出器は全ての周波数成分を抽出する場合も考えられる。
そこで、本実施形態においては推定器15によって位相シフト量を連続的あるいは段階的に制御し、それに伴って出力される相互相関値のピークを探索し、探索されたピークの極性から透かし情報を推定して検出する相互相関値のピークは、透かし情報の値に応じて正・負のいずれかの値をとり、例えば図16の例では正の場合は透かし情報は”1”、負の場合は透かし情報は”0”と判定される。このようにして、スケーリング攻撃を受けた画像に対しても透かし情報推定器15により検出された透かし情報101が出力される。
このように本実施形態によると、埋め込み済み画像信号から特定周波数成分信号を抽出し、この特定周波数成分信号と埋め込み済み画像信号との位相限定相関を行って透かし情報を検出する。この場合、位相を変化させながら相関演算を行うことで、相関値のピークが探索できるので、スケーリング攻撃を受けた埋め込み済み画像信号からも容易に透かし情報の検出が可能となる。
(2)位相限定相関手法
上記相関手法は「位相限定相関手法」と呼ばれており、図20を用いて手法を説明する。位相限定相関:POC(Phase Only Correlation)は、元になる登録画像50と照合すべき入力画像101の相関(類似性)を算出する手法である。
第1に、ディジタル信号化された登録画像50をフーリエ変換で数学的にそれぞれ処理することで、振幅52(濃淡データ)と位相53(像の輪郭データ)に分解する。また、ディジタル信号化された入力画像101をフーリエ変換で数学的にそれぞれ処理することで、振幅52(濃淡データ)と位相53(像の輪郭データ)に分解する。
第2に、分解した登録画像50の位相53を振幅圧縮する。これは、入力画像101の位相53と照合するため、すなわち、この2つの情報のうち形状情報が含まれない振幅情報は使わずに、位相情報のみを用いて相関を画像処理するアルゴリズムのためである。振幅圧縮の手法としては、例えば、振幅を1に固定する。同様に、分解した入力画像101の位相53も振幅圧縮する。
第3に、登録画像50と入力画像101の2つの位相情報から合成画像54を作成して、合成画像に対して逆フーリエ変換を行うことで相関画像55を得る。
POCは、振幅情報を用いた従来の2次元相関法や特徴抽出法とは全く異なり、外乱に強く、大きな誤りが無いという特徴を持っている。
(3)直交変換における演算量
ここで、本実施形態の直交変換にFFT(Fast Fourier Transform)を用いた場合の、直交変換における演算量について説明する。入力画像がN行M列の場合を想定するものとする。
2次元FFTの演算量は以下の通りである。
Figure 0003919758
また、本実施形態では3つの直交変換(2つの画像の第1直交変換・第2直交変換)を用いるために、以下の演算量が必要となる。
Figure 0003919758
(4)不正コピー防止方法の手順
次に、図8に示すフローチャートを用いて本実施形態に係る不正コピー防止方法の手順について説明する。
埋め込み済み画像信号は、抽出ステップS32により特定成分のみ抽出される。この抽出ステップは上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出ステップS31によって抽出された信号は、第1直交変換ステップS32によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は合成ステップS33により複素合成される。ここでは抽出された信号同士で複素合成を行う。
複素合成後の信号に対して第2直交変換ステップS34により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよい。
第2直交変換後のデータは推定ステップS35の入力に与えられる。透かし情報の推定ステップS35は、図15、図16に示されるように相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。
(第2の実施形態)
次に、図2、図9、図12を用いて本発明の第2の実施形態に係る電子透かし検出装置について説明する。
(1)電子透かし検出装置の構成
図2に、本実施形態に係る電子透かし検出装置の構成を示す。
図2の電子透かし検出装置には、図1の電子透かし検出装置と同様に、上記の電子透かし埋め込み装置によって特定周波数成分信号の位相変換量(位相シフト量)が透かし情報114に従って制御されている埋め込み済み画像信号100が記録媒体あるいは伝送媒体を介して入力される。
埋め込み済み画像信号100は第1直交変換器11によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は抽出器12により特定成分のみ抽出される。この抽出器は上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタ、例えば所定のカットオフ周波数を有するHPF(ハイパスフィルタ)、あるいは所定の通過域中心周波数を有するBPF(バンドパスフィルタ)であり、入力動画像信号100から特定の周波数成分、例えば比較的高い周波数成分の信号を抽出する。
抽出器12によって抽出された信号は、合成器13により複素合成される。ここでは抽出された信号の直交変換像と入力画像の直交変換像で複素合成を行う。
複素合成後の信号に対して第2直交変換器14により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。
なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよく、振幅圧縮の手法としては、振幅を1に固定、振幅の指数対数値を利用するといった方法が考えられる。
第2直交変換後のデータは推定器15の入力に与えられる。透かし情報の推定器15は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。このようにして、スケーリング攻撃を受けた画像に対しても透かし情報推定器15により検出された透かし情報101が出力される。ここで、抽出器は全ての周波数成分を抽出する場合も考えられる。
このように本実施形態によると、埋め込み済み画像信号に直交変換を施してから特定周波数成分信号を抽出し、この特定周波数成分信号と埋め込み済み画像信号の直交変換像との位相限定相関を行って透かし情報を検出する。抽出処理、緒高変換処理は線形処理なので順序の入れ替えを行っても処理結果は変更されず、演算量の少ない処理順序を用いることで、演算量を減らすことが可能となる。
(2)不正コピー防止方法の手順
次に、図9に示すフローチャートを用いて本実施形態に係る不正コピー防止方法の手順について説明する。
埋め込み済み画像信号は第1直交変換ステップS31によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は抽出ステップS32により特定成分のみ抽出される。この抽出ステップは上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出ステップS32によって抽出された信号は、合成ステップS33により複素合成される。ここでは直交変換された信号同士で複素合成を行う。
複素合成後の信号に対して第2直交変換ステップS34により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよい。
第2直交変換後のデータは推定ステップS35の入力に与えられる。透かし情報の推定ステップS35は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。図12に示すように、入力画像信号を分割ステップS30で処理することで、少なくとも2つに分割した画像信号を後段(ここでは第1直交変換ステップS31)の入力とすることも考えられる。
(第3の実施形態)
次に、図3、図10、図24〜26を用いて本発明の第3の実施形態に係る電子透かし検出装置について説明する。
(1)電子透かし検出装置の構成
図3に、本実施形態に係る電子透かし検出装置の構成を示す。
図3の電子透かし検出装置には、図1の電子透かし検出装置と同様に、電子透かし埋め込み装置によって特定周波数成分信号の位相変換量(位相シフト量)が透かし情報114に従って制御されている埋め込み済み画像信号100が記録媒体あるいは伝送媒体を介して入力される。
埋め込み済み画像信号100は抽出器12により特定成分のみ抽出される。この抽出器は上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出器12によって抽出された信号は、第1直交変換器11によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は合成器13により複素合成される。ここでは抽出された信号の直交変換像と入力画像の直交変換像で複素合成を行う。
複素合成後の信号に対して第2直交変換器14により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。
なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよく、振幅圧縮の手法としては、振幅を1に固定、振幅の指数対数値を利用するといった方法が考えられる。
第2直交変換後のデータは第2累積器18の入力に与えられる。第2累積器18は、ある特定の累積期間にわたって入力信号を累積して第2の累積信号を出力する。累積期間は、例えば15秒、30秒、1分のように選ばれる。第2累積器18は累積期間にわたり累積して第2の累積信号を出力すると、リセットされる。
第2の累積信号は推定器15の入力に与えられる。透かし情報の推定器15は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。このようにして、スケーリング攻撃を受けた画像に対しても透かし情報推定器15により検出された透かし情報101が出力される。ここで、抽出器は全ての周波数成分を抽出する場合も考えられる。
このように本実施形態によると、相関信号を累積することにより入力画像にロバストな相関結果が算出されると考えられ、累積期間を長期間化することで入力画像にロバストで高い検出率を実現することが可能となる。
(2)第2累積器の累積パターン
第2累積器の累積パターンとしては、例えば図24に記載したように全てのフィールド(もしくはフレーム)で加算する場合、図25、図26に記載したようにフィールド毎(もしくはフレーム毎)に加減算を織り交ぜることで周期的に加減算を行う場合などが考えられる。この累積パターンは電子透かし信号の埋め込み側の埋め込みパターンと関連して、入力信号に対する透かし信号の相関が大きくなるように決定される。
(3)不正コピー防止方法の手順
次に、図10に示すフローチャートを用いて本実施形態に係る不正コピー防止方法の手順について説明する。
埋め込み済み画像信号は第1直交変換ステップS31によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は抽出ステップS32により特定成分のみ抽出される。この抽出ステップ32は上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出ステップS32によって抽出された信号は、合成ステップS33により複素合成される。ここでは直交変換された信号同士で複素合成を行う。
複素合成後の信号に対して第2直交変換ステップS34により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよい。
第2直交変換後のデータは第2累積ステップS38の入力に与えられる。第2累積ステップS38は、第1累積ステップS37の累積期間である特定の累積期間にわたって、入力信号を累積して第2の累積信号を出力する。第2累積ステップS38は累積期間にわたり累積して第2の累積信号を出力すると、リセットされる。
第2の累積信号は推定ステップS35の入力に与えられる。透かし情報の推定ステップS35は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。
(第4の実施形態)
次に、図4、図11を用いて本発明の第4の実施形態に係る電子透かし検出装置について説明する。
(1)電子透かし検出装置の構成
図4に、本実施形態に係る電子透かし検出装置の構成を示す。
図4の電子透かし検出装置には、図1の電子透かし検出装置と同様に、電子透かし埋め込み装置によって特定周波数成分信号の位相変換量(位相シフト量)が透かし情報114に従って制御されている埋め込み済み画像信号100が記録媒体あるいは伝送媒体を介して入力される。
埋め込み済み画像信号100は抽出器12により特定成分のみ抽出される。この抽出器は上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出器12によって抽出された信号は、第1直交変換器11によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は合成器13により複素合成される。ここでは抽出された信号の直交変換像と入力画像の直交変換像で複素合成を行う。
複素合成後の信号に対して第2直交変換器14により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよく、振幅圧縮の手法としては、振幅を1に固定、振幅の指数対数値を利用するといった方法が考えられる。
第2直交変換後のデータは正規化器19に入力される。正規化器19により正規化された信号は第2累積器18の入力に与えられる。
第2累積器18はある特定の累積期間にわたって、入力信号を累積して第2の累積信号を出力する。累積期間は、例えば15秒、30秒、1分のように選ばれる。第2累積器18は累積期間にわたり累積して第2の累積信号を出力すると、リセットされる。
第2の累積信号は推定器15の入力に与えられる。透かし情報の推定器15は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。このようにして、スケーリング攻撃を受けた画像に対しても透かし情報推定器15により検出された透かし情報101が出力される。ここで、抽出器は全ての周波数成分を抽出する場合も考えられる。
このように本実施形態によると、相関信号を正規化してから累積することにより、入力画像にロバストな相関結果が算出されると考えられ、累積期間を長期間化することで入力画像にロバストで高い検出率を実現することが可能となる。
(2)不正コピー防止方法の手順
次に、図11に示すフローチャートを用いて本実施形態に係る不正コピー防止方法の手順について説明する。
埋め込み済み画像信号は抽出ステップS32により特定成分のみ抽出される。この抽出ステップは上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出ステップS32によって抽出された信号は、第1直交変換ステップS31によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は抽出ステップS32により特定成分のみ抽出される。この抽出ステップは上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出ステップS32によって抽出された信号は、合成ステップS33により複素合成される。ここでは抽出された信号同士で複素合成を行う。
複素合成後の信号に対して第2直交変換ステップS34により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよい。
第2直交変換後のデータは正規化ステップS39に入力される。
正規化ステップS39により正規化された信号は第2累積ステップS38の入力に与えられる。第2累積ステップS38は、第1累積ステップS37の累積期間である第1の期間より長い第2の期間にわたって、入力信号を累積して第2の累積信号を出力する。第2累積ステップS38は第2の期間にわたり累積して第2の累積信号を出力すると、リセットされる。第2の累積信号は推定ステップS35の入力に与えられる。透かし情報の推定ステップS35は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。
(第5の実施形態)
次に、図5、図12、図23〜26を用いて本発明の第5の実施形態に係る電子透かし検出装置について説明する。
(1)電子透かし検出装置の構成
図5に、本実施形態に係る電子透かし検出装置の構成を示す。
図5の電子透かし検出装置には、図1の電子透かし検出装置と同様に、電子透かし埋め込み装置によって特定周波数成分信号の位相変換量(位相シフト量)が透かし情報114に従って制御されている埋め込み済み画像信号100が記録媒体あるいは伝送媒体を介して入力される。
埋め込み済み画像信号100は、第1累積器17に入力される。第1累積器17は、例えば数ライン、1フィールド、数フィールド、1フレーム、数フレームなどの画像の特性が大きく変化しない短い期間にわたって入力信号を累積して第1の累積信号を出力する。第1累積器17は累積期間にわたり累積して第1の累積信号を出力すると、リセットされる。
第1累積器17で累積された信号は抽出器12により特定成分のみ抽出される。この抽出器は上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出器12によって抽出された信号は、第1直交変換器11によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は合成器13により複素合成される。ここでは抽出された信号の直交変換像と入力画像の直交変換像で複素合成を行う。
複素合成後の信号に対して第2直交変換器14により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよく、振幅圧縮の手法としては、振幅を1に固定、振幅の指数対数値を利用するといった方法が考えられる。
第2直交変換後のデータは推定器15の入力に与えられる。透かし情報の推定器15は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。このようにして、スケーリング攻撃を受けた画像に対しても透かし情報推定器15により検出された透かし情報101が出力される。ここで、抽出器は全ての周波数成分を抽出する場合も考えられる。
このように本実施形態によると、入力画像を累積することにより、例えば入力画像と埋め込み信号(透かし信号)を分離することが出来るように、埋め込み側・検出側を調整することで、入力画像にロバストな相関結果が算出されると考えられ、入力画像にロバストで高い検出率を実現することが可能となる。
(2)入力画像の累積手法
ここで、図23を用いて入力画像の累積手法の例を説明する。
入力画像は埋込有画像60、埋込無画像61で構成されているものとすると、入力画像の累積時に埋込有画像60と埋込無画像61の差分をとることにより、埋め込み信号だけからなる埋込画像62が算出される。この埋込画像62を入力として本手法を用いることにより、入力画像にロバストな相関結果が算出されると考えられ、入力画像にロバストで高い検出率を実現することが可能となる。
(3)第1累積器の累積パターン
第1累積器の累積パターンとしては、例えば図24に記載したように全てのフィールド(もしくはフレーム)で加算する場合、図25、図26に記載したようにフィールド毎(もしくはフレーム毎)に加減算を織り交ぜることで周期的に加減算を行う場合などが考えられる。この累積パターンは電子透かし信号の埋め込み側の埋め込みパターンと関連して、入力信号に対する透かし信号の相関が大きくなるように決定される。
(4)不正コピー防止方法の手順
次に、図12に示すフローチャートを用いて本実施形態に係る不正コピー防止方法の手順について説明する。
埋め込み済み画像信号は抽出ステップS32により特定成分のみ抽出される。この抽出ステップは上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出ステップS32によって抽出された信号は、第1直交変換ステップS31によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は合成ステップS33により複素合成される。ここでは抽出された信号同士で複素合成を行う。
複素合成後の信号に対して第2直交変換ステップS34により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよい。
第2直交変換後のデータは推定ステップS35の入力に与えられる。透かし情報の推定ステップS35は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。
(第6の実施形態)
次に、図6、図13、図21を用いて本発明の第6の実施形態に係る電子透かし検出装置について説明する。
(1)電子透かし検出装置の構成
図6に、本実施形態に係る電子透かし検出装置の構成を示す。
図6の電子透かし検出装置には、図1の電子透かし検出装置と同様に、電子透かし埋め込み装置によって特定周波数成分信号の位相変換量(位相シフト量)が透かし情報114に従って制御されている埋め込み済み画像信号100が記録媒体あるいは伝送媒体を介して入力される。
埋め込み済み画像信号100は、分割器19に入力される。分割器19では入力画像を少なくとも2つ以上の画像に分割して、分割された画像は抽出器12により特定成分のみ抽出される。この抽出器は上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出器12によって抽出された信号は、第1直交変換器11によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は合成器13により複素合成される。ここでは抽出された信号の直交変換像と入力画像の直交変換像で複素合成を行う。
複素合成後の信号に対して第2直交変換器14により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよく、振幅圧縮の手法としては、振幅を1に固定、振幅の指数対数値を利用するといった方法が考えられる。
第2直交変換後のデータは推定器15の入力に与えられる。透かし情報の推定器15は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。
このようにして、スケーリング攻撃を受けた画像に対しても透かし情報推定器15により検出された透かし情報101が出力される。ここで、抽出器は全ての周波数成分を抽出する場合も考えられる。
このように本実施形態によると、入力画像を分割することにより、2次元直交変換など処理量を削減できると考えられるので、位相限定相関の演算量を削減することが可能となる。行毎に分割する場合には、分割数は最大で画像の行数分まで考えられ、1行毎に分割して1次元の処理(1次元位相限定相関)を行数分累積する場合なども考えられる。
同様にして、列毎に分割するなどの方法も考えられ、列毎に分割する場合には、分割数は最大で画像の列数分まで考えられ、1列毎に分割して1次元の処理(1次元位相限定相関)を列数分累積する場合なども考えられる。
(2)位相限定相関手法の流れ
入力画像を分割した際の位相限定相関手法の流れについて図21を用いて説明する。
ここでは画像を2つに分割した場合を考えると、まず、入力画像101は2つの分割画像56に分割される。そして、それぞれの分割画像56に対して位相限定相関処理を行う。元になる登録画像50と照合すべき入力画像56の相関(類似性)を算出するために、ディジタル信号化された画像をフーリエ変換で数学的に処理することで、振幅52(濃淡データ)と位相53(像の輪郭データ)に分解する。
振幅圧縮の手法としては、振幅を1に固定するとすると、この2つの情報のうち形状情報が含まれない振幅情報は使わずに、位相情報のみを用いて相関を画像処理する(2つの位相情報から合成画像54を作成して、合成画像に対して逆フーリエ変換を行うことで相関画像55を得る)。得られた2つの相関画像55を累積することで入力画像101に対する相関画像を算出している。
(3)直交変換における演算量
ここで、本実施形態の直交変換にFFT(Fast Fourier Transform)を用いた場合の、直交変換における演算量について説明する。入力画像がN行M列の場合を想定するものとするものであり、1画面を分割(N行をQ個、P行に分割)した場合の演算量は、以下の通りである。
Figure 0003919758
この式において、1画面をN個に分割して、1次元の処理を行数分行ったとすると(Q=128、P=1(N=128)、M=512)、演算量は以下のようになる。
Figure 0003919758
また、1画面を分割しない場合は(Q=1、P=128(N=128)、M=512)、演算量は以下のようになる。
このように、分割数を多くすることで演算量を削減することが可能となる。
Figure 0003919758
(4)不正コピー防止方法の手順
次に、図13に示すフローチャートを用いて本実施形態に係る不正コピー防止方法の手順について説明する。
埋め込み済み画像信号は分割ステップS30により少なくとも2つの画像に分割される。
分割ステップS30では少なくとも2つ以上の画像に分割して、分割された画像信号は抽出ステップS32により特定成分のみ抽出される。この抽出ステップは上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出ステップS32によって抽出された信号は、第1直交変換ステップS31によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は合成ステップS33により複素合成される。ここでは抽出された信号同士で複素合成を行う。
複素合成後の信号に対して第2直交変換ステップS34により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよい。
第2直交変換後のデータは推定ステップS35の入力に与えられる。透かし情報の推定ステップS35は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。
(第7の実施形態)
次に、図7、図14を用いて本発明の第7の実施形態に係る電子透かし検出装置について説明する。
(1)電子透かし検出装置の構成
図7に、本実施形態に係る電子透かし検出装置の構成を示す。
図7の電子透かし検出装置には、図1の電子透かし検出装置と同様に、電子透かし埋め込み装置によって特定周波数成分信号の位相変換量(位相シフト量)が透かし情報114に従って制御されている埋め込み済み画像信号100が記録媒体あるいは伝送媒体を介して入力される。
埋め込み済み画像信号100は分割器19に入力される。分割器19では入力画像を少なくとも2つ以上の画像に分割して、分割された画像は第1累積器17に入力される。
第1累積器17は、例えば数ライン、1フィールド、数フィールド、1フレーム、数フレームなどの画像の特性が大きく変化しない短い特定の期間にわたって入力信号を累積して第1の累積信号を出力する。第1累積器17は累積期間にわたり累積して第1の累積信号を出力すると、リセットされる。
第1累積器17で累積された信号は抽出器12により特定成分のみ抽出される。この抽出器は上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出器12によって抽出された信号は、第1直交変換器11によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は合成器13により複素合成される。ここでは抽出された信号の直交変換像と入力画像の直交変換像で複素合成を行う。複素合成後の信号に対して第2直交変換器14により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよく、振幅圧縮の手法としては、振幅を1に固定、振幅の指数対数値を利用するといった方法が考えられる。
第2直交変換後のデータは推定器15の入力に与えられる。透かし情報の推定器15は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。このようにして、スケーリング攻撃を受けた画像に対しても透かし情報推定器15により検出された透かし情報101が出力される。
ここで、抽出器は全ての周波数成分を抽出する場合もあり、また、直交変換・合成処理は2次元画像に対して2次元の処理(2次元フーリエ変換など)を行う場合、2次元画像を1行毎に分割して1次元の処理(1次元フーリエ変換)を行数分累積する場合なども考えられる。
このように本実施形態によると、入力画像を分割することにより、位相限定相関の演算量を削減できると考えられ、また、入力画像と埋め込み信号(透かし信号)を分離するように埋め込み側・検出側を調整して累積することで、入力画像にロバストな相関結果が算出されると考えられ、入力画像にロバストで高い検出率を実現することが可能となる。
次に、図14に示すフローチャートを用いて本実施形態に係る不正コピー防止方法の手順について説明する。
埋め込み済み画像信号は分割ステップS30により少なくとも2つの画像に分割される。分割ステップS30では少なくとも2つ以上の画像に分割して、分割された画像信号は第1累積ステップS37に入力される。
第1累積ステップS37は、例えば数ライン、1フィールド、数フィールド、1フレーム、数フレームなどの画像の特性が大きく変化しない短い特定の期間にわたって入力信号を累積して第1の累積信号を出力する。第1累積ステップS37は特定期間にわたり累積して第1の累積信号を出力すると、リセットされる。
第1累積ステップS37で累積された信号は、抽出ステップS32により特定成分のみ抽出される。この抽出ステップは上述した対となる電子透かし埋め込み装置で用いられている特定周波数成分抽出器と同じ周波数領域のディジタルフィルタである。
抽出ステップS32によって抽出された信号は、第1直交変換ステップS31によりフーリエ変換などの直交変換処理をされる。
直交変換処理後の信号は合成ステップS33により複素合成される。ここでは抽出された信号同士で複素合成を行う。
複素合成後の信号に対して第2直交変換ステップS34により直交変換(逆直交変換)を行う。ここでの直交変換は第1直交変換での変換と対になっている必要があり、第1直交変換でフーリエ変換を用いた場合には、第2直交変換はフーリエ変換または逆フーリエ変換を行う。なお、複素合成後の信号に対して、振幅圧縮処理を施してから第2直交変換を行ってもよい。
第2直交変換後のデータは推定ステップS35の入力に与えられる。透かし情報の推定ステップS35は、相互相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。
(透かし情報推定器の具体例1)
次に、電子透かし検出装置における透かし信号推定器15の具体例について図17、図18を用いて説明する。
図17に示すように、推定器15は、この例では閾値設定器31、透かし検出器32及び透かし判定器33を有する。
閾値設定器31は、前段の第2累積器18から累積期間の情報を取得し、累積期間に応じて図18に示すように透かし情報の検出判定の閾値を変化させて透かし判定器33に与える。一方、透かし検出器32は前段の第2累積器18からの累積信号を入力して透かし情報の検出を行い、透かし情報とレベル(累積信号のピーク振幅の絶対値)を透かし判定器33に出力する。
透かし判定器33は、閾値設定器31から与えられる閾値と透かし検出器32から与えられるレベルの比較を行う。すなわち、透かし判定器33はレベルが閾値以上であれば透かし情報が検出されたと判断し、透かし検出器32から入力される透かし情報を出力する。一方、レベルが閾値未満であれば透かし判定器33は透かし情報が埋め込まれていないと判断し、「透かし無し」という情報を出力する。閾値は、基本的には累積期間が長くなるほど閾値が低くなるように設定されるが、逆でもよい。透かし判定器33の判定は、予め定められた間隔(例えば15秒、30秒、1分など)毎に、その期間に応じた閾値で行ってもよいし、累積しながらその都度連続的に変化する閾値で行ってもよい。
このように本実施形態では、累積期間を長くしたときに透かし情報の検出のための判定閾値を下げることで、透かし情報を検出できる確率が高くなるので、透かし情報検出に要する演算量や回路規模を増やすことなく、検出性能を向上させることが可能となる。
(透かし情報推定器の具体例2)
次に、電子透かし検出装置における透かし信号推定器15の他の具体例について図19を用いて説明する。
図19に示すように、推定器15は、透かし検出方法の異なる少なくとも二つの透かし検出器41A,41Bと、透かし判定器42を有する。透かし検出器41A,41Bは、それぞれが独立に透かし情報の検出を行う。透かし判定器42は、透かし検出器41A,41Bのそれぞれの検出結果が一致しているかの判定を行う。
透かし検出器41Aは、第2累積器18により累積した信号を入力し、第1の検出方法を用いて透かし情報の検出を行って透かし判定器42に出力する。透かし検出器41Bも同様に、第2の検出方法を用いて透かし情報を検出して透かし判定器42に出力する。透かし判定器42は、二つの透かし検出器41A,41Bからの透かし情報が一致しているかの比較を行い、一致していれば電子透かしが検出されたと判断し、透かし情報をそのまま出力する。一方、一致していなければ電子透かしが埋め込まれていないと判断し、「透かし無し」という情報を出力する。
例えば、透かし検出器41Aにより第1の検出方法で”A”が検出され、透かし検出器41Bにより第2の検出方法でも”A”が検出された場合、二つの検出結果が一致しているので最終的に”A”という透かし情報が検出される。一方、第1の検出方法で”B”が検出され、第2の検出方法では”C”が検出された場合、二つの検出結果が異なるので最終的な透かし情報の推定ができず、電子透かしが埋め込まれていないと判断する。検出方法が3つ以上の場合にも、本実施形態と同様の考えを適用できる。
このように本実施形態では、複数の検出方法での透かし情報の検出結果を比較することで、透かしの情報の正確な検出ができ、誤検出の確率を下げることが可能となる。
(入力画像の間引きの具体例)
次に、電子透かし検出装置における入力画像の間引きの具体例について図22を用いて説明する。
この例の入力画像101は、最初の処理において、1列毎に(図22斜線部)間引きした間引画像57を後段の新たな入力画像とする場合の例である。このように画像を間引きすることにより、算出される相関係数の精度は低下すると考えられるが、電子透かしの検出には十分であり、効果的に演算量が削減できる。この例では1列毎に間引いた例であるが、1行毎に間引く場合、数列毎に間引く場合、数行毎に間引く場合など様々な間引き方法が考えられる。
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本発明は、ディジタルVTR、または、DVDのようなディジタル画像データを記録及び再生する装置に好適である。
本発明の第1の実施形態に係る電子透かし検出装置の構成を示すブロック図である。 第2の実施形態に係る電子透かし検出装置の構成を示すブロック図である。 第3の実施形態に係る電子透かし検出装置の構成を示すブロック図である。 第4の実施形態に係る電子透かし検出装置の構成を示すブロック図である。 第5の実施形態に係る電子透かし検出装置の構成を示すブロック図である。 第6の実施形態に係る電子透かし検出装置の構成を示すブロック図である。 第7の実施形態に係る電子透かし検出装置の構成を示すブロック図である。 第1の実施形態に係る電子透かし検出方法の手順を示すフローチャートである。 第2の実施形態に係る電子透かし検出方法の手順を示すフローチャートである。 第3の実施形態に係る電子透かし検出方法の手順を示すフローチャートである。 第4の実施形態に係る電子透かし検出方法の手順を示すフローチャートである。 第5の実施形態に係る電子透かし検出方法の手順を示すフローチャートである。 第6の実施形態に係る電子透かし検出方法の手順を示すフローチャートである。 第7の実施形態に係る電子透かし検出方法の手順を示すフローチャートである。 特定周波数成分信号の位相シフトについて説明する図である。 電子透かし検出装置における相関値のピーク探索と透かし情報検出例を示す図である。 電子透かし検出装置に含まれる透かし推定器の第1の具体例を示すブロック図である。 電子透かし検出装置に含まれる透かし推定器の第2の具体例を示すブロック図である。 電子透かし検出装置に含まれる透かし推定器の第3の具体例を示すブロック図である。 位相限定相関手法の概念を説明するための図である。 入力画像の分割の概念を説明するための図である。 入力画像の間引きの概念を説明するための図である。 入力画像の累積の概念を説明するための図である。 第2累積器の累積パターンの第1の例の図である。 第2累積器の累積パターンの第2の例の図である。 第2累積器の累積パターンの第3の例の図である。 電子透かし埋め込み装置の基本構成を示すブロック図である。 位相変換器による特定周波数成分信号の位相シフトについての説明図である。
符号の説明
10 分割器
11 第1直交変換器
12 抽出器
13 合成器
14 第2直交変換器
15 推定器
100 透かし信号埋め込み済み画像信号
101 透かし信号

Claims (22)

  1. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出装置において、
    前記埋め込み済み画像信号から特定周波数成分を抽出する抽出手段と、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像について、それぞれの前記直交変換像の振幅を圧縮する圧縮手段と、
    それぞれ振幅圧縮した前記直交変換像を合成する合成手段と、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、
    前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、
    を具備する
    ことを特徴とする電子透かし検出装置。
  2. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出装置において、
    前記埋め込み済み画像信号から特定周波数成分を抽出する抽出手段と、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像を合成する合成手段と、
    前記合成した直交変換像の振幅を圧縮する圧縮手段と、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、
    前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、
    を具備する
    ことを特徴とする電子透かし検出装置。
  3. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出装置において、
    前記埋め込み済み画像信号の直交変換像を算出する第1直交変換手段と、
    前記算出された直交変換像から特定周波数成分を抽出する抽出手段と、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像とについて、それぞれの前記直交変換像の振幅を圧縮する圧縮手段と、
    それぞれ振幅圧縮された前記直交変換像を合成する合成手段と、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、
    前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、
    を具備する
    ことを特徴とする電子透かし検出装置。
  4. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出装置において、
    前記埋め込み済み画像信号の直交変換像を算出する第1直交変換手段と、
    前記算出された直交変換像から特定周波数成分を抽出する抽出手段と、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像を合成する合成手段と、
    前記合成した直交変換像の振幅を圧縮する圧縮手段と、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、
    前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、
    を具備する
    ことを特徴とする電子透かし検出装置。
  5. 前記埋め込み済み画像信号を累積して第1の累積信号を生成する第1累積手段を具備し、
    この第1の累積信号を前記抽出手段または前記第1直交変換手段に出力する
    ことを特徴とする請求項1から4の少なくとも一項に記載の電子透かし検出装置。
  6. 前記第2直交変換手段の後段に配置され、前記第2直交変換信号を累積して第2の累積信号を生成する第2累積手段をさらに具備し、
    前記推定手段は、前記第2累積手段から出力された第2の累積信号に出現するピークから前記透かし情報を推定する
    ことを特徴とする請求項1から4の少なくとも一項に記載の電子透かし検出装置。
  7. 前記第2直交変換手段の後段に配置され、前記第2直交変換信号を振幅で正規化して正規化相関信号を生成する正規化手段と、
    前記正規化手段から出力された正規化相関信号を累積して第2の累積信号を生成する第2累積手段とをさらに具備し、
    前記推定手段は、前記第2の累積信号に出現するピークから前記透かし情報を推定する
    ことを特徴とする請求項1から4の少なくとも一項に記載の電子透かし検出装置。
  8. 前記埋め込み済み画像信号を少なくとも2つの画像信号に分割する分割手段を具備し、
    この分割した画像信号を前記抽出手段または前記第1直交変換手段にそれぞれ出力する
    ことを特徴とする請求項1から4の少なくとも一項に記載の電子透かし検出装置。
  9. 前記埋め込み済み画像信号を少なくとも2つの画像に分割する分割手段と、
    前記分割された画像信号をそれぞれ累積して累積信号をそれぞれ生成する第1累積手段を具備し、
    前記分割画像のそれぞれの第1の累積信号を前記抽出手段または前記第1直交変換手段に出力する
    ことを特徴とする請求項1から4の少なくとも一項に記載の電子透かし検出装置。
  10. 前記推定手段は、前記第2累積手段による第2の累積信号の累積期間に応じて変更される閾値によりレベル判定して前記透かし情報を推定する
    ことを特徴とする請求項6または7記載の電子透かし検出装置。
  11. 前記推定手段は、少なくとも2つの推定方法により前記透かし情報の推定を行い、
    前記少なくとも2つの検出方法による検出結果の一致または不一致を調べ、一致していれば前記透かし情報が有りと判定し、不一致であれば前記透かし情報無しと判定する
    ことを特徴とする請求項1から9の少なくとも一項に記載の電子透かし検出装置。
  12. 前記推定手段は、前記ピークの極性を判定することによって前記透かし情報を推定する
    ことを特徴とする請求項1から9の少なくとも一項に記載の電子透かし検出装置。
  13. 前記埋め込み済み画像信号の画素を間引いた信号を新たな埋め込み済み画像信号とする間引き手段を具備し、
    この間引いた埋め込み済み画像信号を前記抽出手段または前記第1直交変換手段に出力する
    ことを特徴とする請求項1から4の少なくとも一項に記載の電子透かし検出装置。
  14. 前記第1直交変換手段または前記第2直交変換手段における直交変換は、フーリエ変換である
    ことを特徴とする請求項1から4の少なくとも一項に記載の電子透かし検出装置。
  15. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出方法において、
    前記埋め込み済み画像信号から特定周波数成分を抽出する抽出ステップと、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換ステップと、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像について、それぞれの前記直交変換像の振幅を圧縮する圧縮ステップと、
    それぞれ振幅圧縮した前記直交変換像を合成する合成ステップと、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換ステップと、
    前記第2直交変換ステップにより変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定ステップと、
    を具備する
    ことを特徴とする電子透かし検出方法。
  16. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出方法において、
    前記埋め込み済み画像信号から特定周波数成分を抽出する抽出ステップと、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換ステップと、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像を合成する合成ステップと、
    前記合成した直交変換像の振幅を圧縮する圧縮ステップと、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換ステップと、
    前記第2直交変換ステップにより変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定ステップと、
    を具備する
    ことを特徴とする電子透かし検出方法。
  17. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出方法において、
    前記埋め込み済み画像信号の直交変換像を算出する第1直交変換ステップと、
    前記算出された直交変換像から特定周波数成分を抽出する抽出ステップと、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換ステップと、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像とについて、それぞれの前記直交変換像の振幅を圧縮する圧縮ステップと、
    それぞれ振幅圧縮された前記直交変換像を合成する合成ステップと、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換ステップと、
    前記第2直交変換ステップにより変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定ステップと、
    を具備する
    ことを特徴とする電子透かし検出方法。
  18. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出方法において、
    前記埋め込み済み画像信号の直交変換像を算出する第1直交変換ステップと、
    前記算出された直交変換像から特定周波数成分を抽出する抽出ステップと、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換ステップと、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像を合成する合成ステップと、
    前記合成した直交変換像の振幅を圧縮する圧縮ステップと、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換ステップと、
    前記第2直交変換ステップにより変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定ステップと、
    を具備する
    ことを特徴とする電子透かし検出方法。
  19. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出方法をコンピュータによって実現するためのプログラムにおいて、
    前記埋め込み済み画像信号から特定周波数成分を抽出する抽出手段と、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像について、それぞれの前記直交変換像の振幅を圧縮する圧縮手段と、
    それぞれ振幅圧縮した前記直交変換像を合成する合成手段と、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、
    前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、
    を実現する
    ことを特徴とする電子透かし検出方法のプログラム。
  20. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出方法をコンピュータによって実現するためのプログラムにおいて、
    前記埋め込み済み画像信号から特定周波数成分を抽出する抽出手段と、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像を合成する合成手段と、
    前記合成した直交変換像の振幅を圧縮する圧縮手段と、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、
    前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、
    を実現する
    ことを特徴とする電子透かし検出方法のプログラム。
  21. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出方法をコンピュータによって実現するためのプログラムにおいて、
    前記埋め込み済み画像信号の直交変換像を算出する第1直交変換手段と、
    前記算出された直交変換像から特定周波数成分を抽出する抽出手段と、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像とについて、それぞれの前記直交変換像の振幅を圧縮する圧縮手段と、
    それぞれ振幅圧縮された前記直交変換像を合成する合成手段と、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、
    前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、
    を実現する
    ことを特徴とする電子透かし検出方法のプログラム。
  22. 電子透かし埋め込み装置によって、埋め込み対象画像における特定周波数成分の位相が透かし情報に従って変換されて埋め込み済み画像信号が生成されている場合に、前記埋め込み済み画像信号の前記透かし情報を検出する電子透かし検出方法をコンピュータによって実現するためのプログラムにおいて、
    前記埋め込み済み画像信号の直交変換像を算出する第1直交変換手段と、
    前記算出された直交変換像から特定周波数成分を抽出する抽出手段と、
    前記抽出された抽出信号と前記埋め込み済み画像信号の直交変換像をそれぞれ算出する第1直交変換手段と、
    前記算出された抽出信号の直交変換像と前記埋め込み済み画像信号の直交変換像を合成する合成手段と、
    前記合成した直交変換像の振幅を圧縮する圧縮手段と、
    前記合成された合成信号に直交変換若しくは逆直交変換を行う第2直交変換手段と、
    前記第2直交変換手段により変換された合成信号に出現するピークに基づいて前記透かし情報を推定する推定手段と、
    を実現する
    ことを特徴とする電子透かし検出方法のプログラム。
JP2004058224A 2004-03-02 2004-03-02 電子透かし検出装置及びその方法 Expired - Fee Related JP3919758B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004058224A JP3919758B2 (ja) 2004-03-02 2004-03-02 電子透かし検出装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004058224A JP3919758B2 (ja) 2004-03-02 2004-03-02 電子透かし検出装置及びその方法

Publications (2)

Publication Number Publication Date
JP2005252491A JP2005252491A (ja) 2005-09-15
JP3919758B2 true JP3919758B2 (ja) 2007-05-30

Family

ID=35032587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004058224A Expired - Fee Related JP3919758B2 (ja) 2004-03-02 2004-03-02 電子透かし検出装置及びその方法

Country Status (1)

Country Link
JP (1) JP3919758B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4343179B2 (ja) 2006-02-17 2009-10-14 株式会社東芝 電子透かし検出方法及び装置
JP4691147B2 (ja) * 2008-08-08 2011-06-01 株式会社東芝 電子透かし検出装置、方法及びプログラム

Also Published As

Publication number Publication date
JP2005252491A (ja) 2005-09-15

Similar Documents

Publication Publication Date Title
JP4519678B2 (ja) 電子透かし検出方法及び装置、電子透かし埋め込み方法及び装置
JP4343179B2 (ja) 電子透かし検出方法及び装置
JP4118279B2 (ja) 電子透かし検出装置及びその方法
US7426641B2 (en) Digital watermark detection method and apparatus
KR100586051B1 (ko) 전자 워터마킹 검출방법 및 장치
JP2002325233A (ja) 電子透かし埋め込み方法及び装置並びに電子透かし検出方法及び装置
JP4901678B2 (ja) 電子透かし埋め込み装置及び電子透かし検出装置
US20080273744A1 (en) Digital watermarking method and apparatus
JP3919758B2 (ja) 電子透かし検出装置及びその方法
JP4691147B2 (ja) 電子透かし検出装置、方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100223

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110223

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120223

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120223

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130223

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140223

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees