JP4158732B2 - 電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シート - Google Patents

電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シート Download PDF

Info

Publication number
JP4158732B2
JP4158732B2 JP2004084691A JP2004084691A JP4158732B2 JP 4158732 B2 JP4158732 B2 JP 4158732B2 JP 2004084691 A JP2004084691 A JP 2004084691A JP 2004084691 A JP2004084691 A JP 2004084691A JP 4158732 B2 JP4158732 B2 JP 4158732B2
Authority
JP
Japan
Prior art keywords
evaluation
print density
digital watermark
print
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004084691A
Other languages
English (en)
Other versions
JP2005277544A (ja
Inventor
嘉史 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2004084691A priority Critical patent/JP4158732B2/ja
Publication of JP2005277544A publication Critical patent/JP2005277544A/ja
Application granted granted Critical
Publication of JP4158732B2 publication Critical patent/JP4158732B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は,印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シートに関するものである。
従来より,電子透かし技術を利用した印刷文書への情報埋め込み方法及び検出方法が知られている(例えば,特許文献1,2参照。)。これらの技術は,印刷物としては最も広く利用される白黒の二値による印刷装置において,文字以外の秘密情報(埋め込み情報あるいは機密情報などとも言われる。)を埋め込み,さらに埋め込まれた情報を検出するための装置および方法に関するものである。
特開2003−101762号公報 特開2003−209676号公報
ところで,上記のような情報埋め込み方法/検出方法においては、秘密情報を埋め込む際に利用するプリンタや,秘密情報を検出する際に利用するスキャナ等,ハードウェアの性能や設定方法による検出精度への影響が大きい。印刷文書への電子透かし埋め込み/検出技術を用いる場合,プリンタ,スキャナの様々な組み合わせが考えられ,プリンタの印刷設定(省トナーモード設定等)やスキャナ特性等によっては電子透かしの検出精度に影響を及ぼす可能性もあると考えられる。かかる観点から、プリンタの印刷設定やスキャナのスキャン特性等の影響を受けることなく,印刷文書に対する電子透かしの精度の高い埋め込み/検出を行うことの可能な電子透かし技術が希求されている。
本発明は,従来の電子透かし技術が有する上記問題点に鑑みてなされたものであり,本発明の目的は,プリンタの印刷設定やスキャナのスキャン特性等の影響を受けることなく,印刷文書に対する電子透かしの精度の高い埋め込み/検出を行うことの可能な,新規かつ改良された電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シートを提供することである。
上記課題を解決するため,本発明の第1の観点によれば,印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価システムが提供される。本発明の電子透かし評価システムは,印刷濃度評価用マーク(252,253)が付与された評価用シートフォーマット(251)に電子透かしを埋め込む電子透かし埋め込み部(200)と,電子透かしが埋め込まれた評価用シートフォーマットを評価用シート(250)として印刷する印刷処理部(201)と,評価用シートのスキャン画像を取得するスキャン処理部(203)と,評価用シートのスキャン画像に付与された印刷濃度評価用マークをもとに,電子透かしに適した印刷濃度かどうかを判断する濃度判断部(204)と,濃度判断部(204)の判断に応じて,印刷処理部(201)の印刷濃度を変更する印刷濃度変更部(202)と,備えたことを特徴とする(請求項1)。
かかるシステムによれば,印刷濃度評価用マークを付与した評価用シートを印刷し,この印刷濃度評価用マークをもとに,電子透かしに適した印刷濃度かどうか判断することができる。そして,印刷濃度の評価に応じて,印刷濃度を変更し,変更した印刷濃度を印刷処理にフィードバックすることができる。このようにして,印刷処理部の印刷設定やスキャン処理部のスキャン特性等の影響を受けることなく,印刷濃度を自動的に評価し変更することによって,印刷文書に対する電子透かしの精度の高い埋め込み/検出を行うことが可能である。
本発明の電子透かし評価システムにおいて,以下のような応用が可能である。
印刷濃度変更部(202)は,評価用シートフォーマット(251)および電子透かしの解像度またはサイズを変更し,電子透かしを表現するドットサイズを変更することによって,印刷処理部(201)の印刷濃度を変更するようにしてもよい(請求項2)。かかるシステムによれば,電子透かしの埋め込みにおいて,印刷処理部の印刷濃度特性に拠らない最適な印刷濃度設定が可能である。
印刷濃度評価用マークは,(ディザや誤差拡散等によって)濃度が段階的に変化するように印刷された印刷濃度評価用インジケータ(253)を含み,濃度判断部(204)は,所定の閾値で2値化された印刷濃度評価用インジケータの面積計測により,印刷濃度を評価するようにしてもよい(請求項3)。
印刷濃度評価用マークは,印刷濃度評価用マークの領域を指し示すインデックスマーク(ロゴマーク252)を含み,濃度判断部(204)は,インデックスマークを利用したテンプレートマッチングにより印刷濃度評価用マークの領域の取得を行うようにしてもよい(請求項4)。
さらに,評価用シートのスキャン画像から電子透かしを検出する電子透かし信号検出部(205)と,電子透かし埋め込み部が埋め込んだ電子透かしと,電子透かし信号検出部が検出した電子透かしとを比較して信号検出精度の判定を行う電子透かし信号検出精度判定部(206)と,を備えるようにしてもよい(請求項5)。
そしてこの場合,印刷濃度変更部(202)は,濃度判断部(204)の判断に加え,信号検出精度判定部(206)の判定結果に応じて,印刷処理部(201)の印刷濃度を変更するようにしてもよい(請求項6)。印刷濃度評価と同時に電子透かし信号検出精度評価を行い,これを利用して印刷濃度を変更することができる。
あるいは,印刷濃度変更部(202)は,濃度判断部(204)の判断に代えて,信号検出精度判定部(206)の判定結果に応じて,印刷処理部(201)の印刷濃度を変更するようにしてもよい。すなわち,本発明の他の電子透かし評価システムは,評価用シートフォーマット(251)に電子透かしを埋め込む電子透かし埋め込み部(200)と,電子透かしが埋め込まれた評価用シートフォーマットを評価用シート(250)として印刷する印刷処理部(201)と,評価用シートのスキャン画像を取得するスキャン処理部(203)と,評価用シートのスキャン画像から電子透かしを検出する電子透かし信号検出部(205)と,電子透かし埋め込み部が埋め込んだ電子透かしと,電子透かし信号検出部が検出した電子透かしとを比較して信号検出精度の判定を行う電子透かし信号検出精度判定部(206)と,信号検出精度判定部(206)の判定結果に応じて,印刷処理部(201)の印刷濃度を変更する印刷濃度変更部(202)と,備えたことを特徴とする(請求項7)。この場合,濃度判断部(204)や印刷濃度評価用マーク(252,253)は不要となる。そして,印刷濃度評価に代えて電子透かし信号検出精度評価を行い,これを利用して印刷濃度を変更することができる。
濃度判断部(400)は,電子透かしの印刷濃度および信号検出精度を定量的な電子透かし評価値として出力するようにしてもよい(請求項8)。電子透かしの印刷濃度および信号検出精度,すなわち,電子透かしの埋め込み・検出性能を客観的な値として出力することができる。
濃度判断部(400)は,電子透かしの印刷濃度の評価結果に関する第1の評価値と,電子透かしの信号検出精度に関する第2の評価値とをパラメータとする所定の関数により,電子透かし評価値を算出するようにしてもよい(請求項9)。具体的には,例えば,印刷濃度評価結果について最適な濃度とのズレの度合いに応じて,電子透かし検出精度評価結果については精度の高さに応じて,それぞれ0(悪い)−1(普通)−2(良い)の3段階評価値に分類し,両者の3段階評価結果を足し合わせるなどして0(悪い)−2(普通)−4(良い)の5段階評価値に分類すること等により,性能評価結果を客観的・定量的な値として出力するようにしてもよい。
本発明の他の電子透かし評価システムは,印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価システム(20)であって,目視により印刷濃度評価が可能な印刷濃度評価用マークが付与された評価用シートフォーマット(251)に電子透かしを埋め込む電子透かし埋め込み部(200)と,電子透かしが埋め込まれた評価用シートフォーマットを評価用シート(250)として出力する印刷処理部(201)と,出力された評価用シートに付与された印刷濃度評価用マークを目視したユーザからの印刷濃度指定に応じて,印刷処理部(201)の印刷濃度を変更する印刷濃度変更部(202)と,を備えたことを特徴とする(請求項10)。
かかるシステムによれば,目視による濃度判定手段を備えることで,電子透かしに最適な印刷濃度かどうかをスキャン処理することなく,目視にて判定することができる。
また,この電子透かし透かし評価システムにおいて,印刷濃度評価用マーク(353)は,(ディザや誤差拡散などによって)濃度が段階的に変化するように印刷された印刷濃度評価用インジケータ(253)と,印刷濃度評価用インジケータ上に付加された印刷濃度評価用インジケータガイド(353)と,を含み,印刷濃度評価用インジケータの長さと,印刷濃度評価用インジケータガイドの長さとを目視して比較することにより印刷濃度を評価できるようにしてもよい(請求項11)。
上記課題を解決するため,本発明の第2の観点によれば,印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価方法が提供される。本発明の電子透かし評価方法は,印刷濃度評価用マーク(252,253)が付与された評価用シートフォーマットに電子透かしを埋め込む電子透かし埋め込み工程(S202)と,電子透かしが埋め込まれた評価用シートフォーマットを評価用シートとして印刷する印刷処理工程(S203)と,評価用シートのスキャン画像を取得するスキャン処理工程(S206)と,評価用シートのスキャン画像に付与された印刷濃度評価用マークをもとに,電子透かしに適した印刷濃度かどうかを判断する濃度判断工程(S210)と,濃度判断工程における判断に応じて,印刷処理工程における印刷濃度を変更する印刷濃度変更工程(S213)と,を含むことを特徴とする(請求項12)。
かかる方法によれば,印刷濃度評価用マークを付与した評価用シートを印刷し,この印刷濃度評価用マークをもとに,電子透かしに適した印刷濃度かどうか判断することができる。そして,印刷濃度の評価に応じて,印刷濃度を変更し,変更した印刷濃度を印刷処理にフィードバックすることができる。このようにして,印刷処理部の印刷設定やスキャン処理部のスキャン特性等の影響を受けることなく,印刷濃度を自動的に評価し変更することによって,印刷文書に対する電子透かしの精度の高い埋め込み/検出を行うことが可能である。
本発明の電子透かし評価方法において,以下のような応用が可能である。
印刷濃度変更工程(S213)において,評価用シートフォーマットおよび電子透かしの解像度またはサイズを変更し,電子透かしを表現するドットサイズを変更することによって,印刷処理部工程における印刷濃度を変更する(S102〜S104)ようにしてもよい(請求項13)。かかるシステムによれば,電子透かしの埋め込みにおいて,印刷処理工程における印刷濃度特性に拠らない最適な印刷濃度設定が可能である。
印刷濃度評価用マークは,(ディザや誤差拡散等によって)濃度が段階的に変化するように印刷された印刷濃度評価用インジケータ(253)を含み,濃度判断工程(S210)において,所定の閾値で2値化された印刷濃度評価用インジケータの面積計測により,印刷濃度を評価するようにしてもよい(請求項14)。
印刷濃度評価用マークは,印刷濃度評価用マークの領域を指し示すインデックスマーク(ロゴマーク252)を含み,濃度判断工程(S210)において,インデックスマークを利用したテンプレートマッチングにより印刷濃度評価用マークの領域の取得を行うようにしてもよい(請求項15)。
さらに,評価用シートのスキャン画像から電子透かしを検出する電子透かし信号検出工程(S211)と,電子透かし埋め込み部が埋め込んだ電子透かしと,電子透かし信号検出部が検出した電子透かしとを比較して信号検出精度の判定を行う電子透かし信号検出精度判定工程(S212)と,を含むようにしてもよい(請求項16)。
そしてこの場合,印刷濃度変更工程(S213)において,濃度判断工程(S210)における判断に加え,信号検出精度判定工程(S212)における判定結果に応じて,印刷処理工程(S203)における印刷濃度を変更するようにしてもよい(請求項17)。印刷濃度評価と同時に電子透かし信号検出精度評価を行い,これを利用して印刷濃度を変更することができる。
あるいは,印刷濃度変更工程(S213)において,濃度判断工程(S210)における判断に代えて,信号検出精度判定工程(S212)における判定結果に応じて,印刷処理工程(S203)における印刷濃度を変更するようにしてもよい。すなわち,本発明の他の電子透かし評価方法は,評価用シートフォーマットに電子透かしを埋め込む電子透かし埋め込み工程(S202)と,電子透かしが埋め込まれた評価用シートフォーマットを評価用シートとして印刷する印刷処理工程(S203)と,評価用シートのスキャン画像を取得するスキャン処理工程(S206)と,評価用シートのスキャン画像から電子透かしを検出する電子透かし信号検出工程(S211)と,電子透かし埋め込み工程において埋め込んだ電子透かしと,電子透かし信号検出工程において検出した電子透かしとを比較して信号検出精度の判定を行う電子透かし信号検出精度判定工程(S212)と,信号検出精度判定工程における判定結果に応じて,印刷処理工程における印刷濃度を変更する印刷濃度変更工程(S213)と,を含むことを特徴とする(請求項18)。この場合,濃度判断工程(S210)や印刷濃度評価用マーク(252,253)は不要となる。そして,印刷濃度評価に代えて電子透かし信号検出精度評価を行い,これを利用して印刷濃度を変更することができる。
濃度判断工程において,電子透かしの印刷濃度および信号検出精度を定量的な電子透かし評価値として出力する(S415)ようにしてもよい(請求項19)。電子透かしの印刷濃度および信号検出精度,すなわち,電子透かしの埋め込み・検出性能を客観的な値として出力することができる。
濃度判断工程(S415)において,電子透かしの印刷濃度の評価結果に関する第1の評価値と,電子透かしの信号検出精度に関する第2の評価値とをパラメータとする所定の関数により,電子透かし評価値を算出する(S413〜S414)ようにしてもよい(請求項20)。具体的には,例えば,印刷濃度評価結果について最適な濃度とのズレの度合いに応じて,電子透かし検出精度評価結果については精度の高さに応じて,それぞれ0(悪い)−1(普通)−2(良い)の3段階評価値に分類し,両者の3段階評価結果を足し合わせるなどして0(悪い)−2(普通)−4(良い)の5段階評価値に分類すること等により,性能評価結果を客観的・定量的な値として出力するようにしてもよい。
本発明の他の電子透かし評価方法は,印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価方法であって,目視により印刷濃度評価が可能な印刷濃度評価用マークが付与された評価用シートフォーマットに電子透かしを埋め込む電子透かし埋め込み工程(S202)と,電子透かしが埋め込まれた評価用シートフォーマットを評価用シートとして出力する印刷処理部(S303)と,出力された評価用シートに付与された印刷濃度評価用マークを目視したユーザからの印刷濃度指定に応じて,印刷処理工程における印刷濃度を変更する印刷濃度変更工程(S304〜S306)と,を含むことを特徴とする(請求項21)。
かかる方法によれば,目視による濃度判定手段を備えることで,電子透かしに最適な印刷濃度かどうかをスキャン処理することなく,目視にて判定することができる。
また,この電子透かし透かし評価システムにおいて,印刷濃度評価用マークは,(ディザや誤差拡散などによって)濃度が段階的に変化するように印刷された印刷濃度評価用インジケータと,印刷濃度評価用インジケータ上に付加された印刷濃度評価用インジケータガイドと,を含み,印刷濃度評価用インジケータの長さと,印刷濃度評価用インジケータガイドの長さとを目視して比較する(S304)ことにより印刷濃度を評価できるようにしてもよい(請求項22)。
上記課題を解決するため,本発明の第3の観点によれば,印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価用シート(250)が提供される。本発明の電子透かし評価用シートは,(ディザや誤差拡散等によって)濃度が段階的に変化するように印刷された印刷濃度評価用インジケータ(253)を含む印刷濃度評価用マーク(252,253)が付与されたことを特徴とする(請求項23)。
かかる電子透かし評価用シートによれば,印刷濃度評価用マークを付与した評価用シートを印刷し,この印刷濃度評価用マークをもとに,電子透かしに適した印刷濃度かどうか判断することができる。そして,印刷濃度の評価に応じて,印刷濃度を変更し,変更した印刷濃度を印刷処理にフィードバックすることができる。このようにして,印刷処理部の印刷設定やスキャン処理部のスキャン特性等の影響を受けることなく,印刷濃度を自動的に評価し変更することによって,印刷文書に対する電子透かしの精度の高い埋め込み/検出を行うことが可能である。
本発明の電子透かし評価用シートにおいて,以下のような応用が可能である。
印刷濃度評価用マークは,印刷濃度評価用マークの領域を指し示すインデックスマーク(ロゴマーク252)を含むようにしてもよい(請求項24)。インデックスマークを利用したテンプレートマッチングにより印刷濃度評価用マークの領域の取得を行うことができる。
印刷濃度評価用マークは,目視により印刷濃度評価が可能であるものであってもよい(請求項25)。電子透かしに最適な印刷濃度かどうかをスキャン処理することなく,目視にて判定することができる。
印刷濃度評価用マークは,印刷濃度評価用インジケータ上に付加された印刷濃度評価用インジケータガイド(353)を含み,印刷濃度評価用インジケータの長さと,印刷濃度評価用インジケータガイドの長さとを目視して比較することにより印刷濃度を評価できるようにしてもよい(請求項26)。
また,本発明の他の観点によれば,コンピュータを,上記電子透かし評価システムとして機能させるためのプログラムと,そのプログラムを記録した,コンピュータにより読み取り可能な記録媒体が提供される。ここで,プログラムはいかなるプログラム言語により記述されていてもよい。また,記録媒体としては,例えば,CD−ROM,DVD−ROM,フレキシブルディスクなど,プログラムを記録可能な記録媒体として現在一般に用いられている記録媒体,あるいは将来用いられるいかなる記録媒体をも採用することができる。
なお上記において,構成要素に付随して括弧書きで記した参照符号は,理解を容易にするため,後述の実施形態および図面における対応する構成要素を一例として記したに過ぎず,本発明がこれに限定されるものではない。
以上説明したように,本発明によれば,プリンタの印刷設定やスキャナのスキャン特性等の影響を受けることなく,印刷濃度を自動的に評価し変更することによって,印刷文書に対する電子透かしの精度の高い埋め込み/検出を行うことが可能である。
以下に添付図面を参照しながら,本発明にかかる電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シートの好適な実施形態について詳細に説明する。なお,本明細書および図面において,実質的に同一の機能構成を有する構成要素については,同一の符号を付することにより重複説明を省略する。
(第1の実施形態)
第1の実施形態では,プリンタの印刷濃度やスキャナ特性等によって電子透かしの埋め込み・検出精度に影響を受ける可能性があるという課題に対して,透かし埋め込み元画像と電子透かし情報として埋め込まれる画像の解像度と画像サイズを上げることにより,電子透かしを表現するドット面積を拡大・縮小可能なものにして印刷濃度を変更することで,プリンタ機種毎に異なる印刷濃度設定に依存しない,安定した精度で電子透かしの埋め込み・検出が行えるようにする。
図1は,本実施形態にかかる電子透かし評価システムの構成を示す説明図である。
電子透かし評価システム10は,図1に示したように,電子透かし埋め込み部100と,印刷処理部101と,印刷画像解像度・濃度変更部102を備えて構成されている。また,透かし入り印刷文書150および透かし埋め込み元画像151は,性能評価システム10における処理対象となる媒体またはデータである。
以下に,各構成要素について詳細に説明する。
(電子透かし埋め込み部100)
電子透かし埋め込み部100は,ユーザの指定した透かし埋め込み元画像(本実施形態では白黒2値画像とする)151に,電子透かしを埋め込む機能部である。電子透かしの埋め込みの方法については,濃淡を表現するためのディザのようなドットパターンの中で,ある特定のドットパターンに意味を持たせることで情報埋め込みを可能にすることや,画像内の特定の空間周波数領域への透かし情報埋め込みを可能にすること等により,画像の中に目に見えない情報,すなわち,印刷物への電子透かしとして埋め込みを行う。
(印刷処理部101)
印刷処理部101は,電子透かし埋め込み部100によって,透かし埋め込み元画像151に透かしが埋め込まれた画像を印刷して,透かし入り印刷文書150を出力する機能部である。本実施形態では,印刷処理部101は,白黒2値印刷にて印刷を行うものとする。
(印刷画像解像度・濃度変更部102)
印刷画像解像度・濃度変更部102は,電子透かし埋め込み部100が透かし埋め込み元画像に電子透かしを埋め込む際に,透かし埋め込み元画像151や電子透かしとして埋め込まれる画像に対して,解像度・画像サイズを拡大して,電子透かしを表現するドットの面積を拡大・縮小することによって印刷濃度の変更を行う機能部である。
印刷濃度の変更方法の一例について,図2,図3を参照しながら説明する。
図2,図3示すように,透かし埋め込み元画像,電子透かし画像それぞれの解像度・画像サイズを上げ,さらに電子透かし画像について,電子透かしを表現するドット面積を拡大・縮小可能なものにすることで,印刷濃度を変更できるようにする。図2において,(a)は解像度600dpiの埋め込み元画像を示している。(b)は解像度を600dpiから1200dpiに変更したものである。(c)は解像度は1200dpiのままで画像のサイズを2倍に拡大したものである。また同様に,図3において,(a)は解像度600dpiの電子透かしドットパターンを示している。(b)は解像度を600dpiから1200dpiに変更したものである。(c)は解像度は1200dpiのままで画像のサイズを2倍に拡大したものである。
そして,印刷濃度を上げる場合は,図2(d1),図3(d1)に示したように,電子透かしを表現するドットを拡大して透かし埋め込み元画像に埋め込む。また,印刷濃度を下げる場合は,図2(d2),図3(d2)に示したように,ドットを縮小して透かし埋め込み元画像に埋め込む。このようにして,生成された透かし入り画像を印刷する際には,それぞれ指定された電子透かしの印刷濃度で,透かし入り印刷文書が印刷出力される。
本実施形態は以上のように構成されている。
次いで,本実施形態の動作について,図4を参照しながら説明する。
(ステップS100)
ステップS100では,ユーザが,電子透かし評価システムの電子透かし埋め込み部100に対して,電子透かしを埋め込みたい電子透かし埋め込み元画像の指定と埋め込み情報の指定,透かしが埋め込まれた画像を印刷する際の印刷濃度の指定を行い,電子透かしの埋め込み・印刷を実行させる操作を行う。本実施形態では,電子透かしの埋め込み元画像は白黒2値画像とする。
(ステップS101)
ステップS101では,電子透かし埋め込み部100が,ユーザによって指定された電子透かし埋め込み元画像と埋め込み情報を元に,電子透かし埋め込み元画像に対して透かし情報として埋め込まれる,電子透かし画像の生成を行う。ここではまだ電子透かし埋め込み元画像には電子透かし画像を埋め込まず,それぞれの画像を分離した状態で電子透かし埋め込み部100のメモリ上に保存しておく。
印刷物への電子透かしの埋め込み方法については,濃淡を表現するためのディザによるドットパターン等に意味を持たせることで情報埋め込みを可能にすることや,画像内の特定の空間周波数領域への情報埋め込みを可能にすること等により,印刷物への電子透かしの埋め込みが行われる。
ステップS102〜S104は,印刷濃度を上げるまたは下げるようユーザによって印刷濃度が指定された場合に実行される処理であり,印刷濃度を変更しない場合はS102〜S104の処理は行わずにステップS105に進む。
(ステップS102)
ステップS102では,印刷画像解像度・濃度変更部102が,ステップS101で電子透かし埋め込み部100のメモリ上に保存した,電子透かし埋め込み元画像の解像度を上げる。図2に示した印刷濃度変更例では,電子透かし埋め込み元画像の解像度600dpiを,2倍の1200dpiに上げている。
(ステップS103)
ステップS103では,印刷画像解像度・濃度変更部102が,ステップS102で解像度を上げられた電子透かし埋め込み元画像について,解像度を上げたことにより縮小して印刷されることのないように,解像度を上げた倍率分だけ画像サイズを拡大させる。図2に示した印刷濃度変更例では,解像度を2倍に上げられたことから,画像サイズについても縦横サイズを2倍に拡大させることにより,印刷時には600dpiで印刷した場合と同じサイズで印刷することができる。
(ステップS104)
ステップS104では,印刷画像解像度・濃度変更部102が,ステップS102,S103によって解像度・画像サイズを上げられた電子透かし埋め込み元画像と同様の手順によって,ステップS101で電子透かし埋め込み部100のメモリ上に保存した電子透かし画像について解像度・画像サイズを上げ,これにより電子透かしを表現するドットのサイズの微調整が可能になるため,ユーザによって指定された電子透かしの印刷濃度設定に応じて電子透かしの印刷濃度の変更を行うために,電子透かし画像における電子透かしを表現するドットサイズを拡大・縮小する。ここで電子透かしの印刷濃度を上げる場合は,電子透かし画像における電子透かしを表現するドットのサイズを拡大し,印刷濃度を下げる場合は,ドットのサイズを縮小する。
図3に示した印刷濃度変更例では,電子透かし画像の解像度・画像サイズの変更により,1ドットで表現されていたものが2×2ドットで表現され,この2×2ドットで表現されたものを,3×3ドットや1×1ドットの表現に変更することで,電子透かしの濃度を変更することができる。電子透かしを表現するドットサイズの変更により,図2に示した印刷濃度変更例のように,1×1ドットのようなドットサイズ(小)の透かしが埋め込まれて印刷された場合は,薄い濃度設定の印刷文書が出力され,また3×3ドットのようなドットサイズ(大)で透かしが埋め込まれ印刷された場合は,濃い濃度設定の印刷文書が出力される。
(ステップS105)
ステップS105では,電子透かし埋め込み部100が,電子透かし埋め込み部100のメモリ上に保存された電子透かし埋め込み元画像と電子透かし画像について,電子透かし埋め込み元画像に電子透かし画像を埋め込むことによって電子透かし入り画像を生成し,さらに生成された電子透かし入り画像を印刷処理部101によって印刷して,透かし入り印刷文書を出力する。
電子透かし埋め込み元画像と電子透かし画像については,印刷濃度を上げるまたは下げるようユーザによって印刷濃度が指定された場合において,ステップS102〜S104で実行される解像度・画像サイズを上げる処理や,電子透かし画像における電子透かしを表現するドットサイズを拡大・縮小する処理が行われるが,印刷濃度を変更するためのこれらの処理を行わずに透かしの埋め込み・印刷を行って出力された透かし入り印刷文書と比べて,電子透かしの印刷濃度以外は全く同一のものが出力される。
(第1の実施形態の効果)
以上説明したように,本実施形態によれば,電子透かし埋め込み元画像と電子透かし画像の解像度・画像サイズを上げることにより,電子透かしを表現するドット面積の拡大・縮小の微調整を行えるようにして,印刷時の電子透かしの印刷濃度を設定可能にすることにより,透かし印刷文書の印刷内容に影響を与えることなく透かしの印刷濃度だけ変更することができ,かつプリンタの機種毎に異なる印刷濃度設定に依存しない印刷濃度変更を可能にし,安定した精度での電子透かしの埋め込み・検出が行えるようになる。
(第2の実施形態)
第2の実施形態では,プリンタの印刷濃度やスキャナ特性等によって電子透かしの埋め込み・検出精度に影響を受ける可能性があるという課題に対して,プリンタの印刷濃度を自動で評価を行い最適印刷濃度に変更させることにより,安定した精度での電子透かしの埋め込み・検出が行えるようにする。
図5は,本実施形態にかかる性能評価システムの構成を示す説明図である。
性能評価システム20は,図5に示したように,電子透かし埋め込み部200と,印刷処理部201と,印刷濃度変更部202と,スキャン処理部203と,スキャン画像最適濃度判断部204と,電子透かし信号検出部205と,電子透かし信号検出精度判定部206を備えて構成されている。また,評価用シート250,評価用シートフォーマット251,電子透かし埋め込み信号254,および電子透かし検出信号255は,性能評価システム20における処理対象となる媒体,データ,または信号などである。本実施形態では,評価用シートフォーマット251をはじめとする透かし埋め込み元画像や印刷元となる画像は,全て白黒の2値画像とし,印刷処理部201についても白黒2値印刷にて出力されるものとする。
以下に,各構成要素について詳細に説明する。
(電子透かし埋め込み部200)
電子透かし埋め込み部200は,評価用シートフォーマット251等の透かし埋め込み元画像に電子透かしを埋め込む機能部である。また評価用シートフォーマット251に電子透かしを埋め込む場合においては,埋め込まれた電子透かしの信号を出力して,電子透かし埋め込み信号254として電子透かし信号検出精度判定部206に送信する。透かし情報として評価用シートフォーマット251等の透かし埋め込み元画像に埋め込まれる情報については,埋め込み元画像の内容を示すテキストデータや画像データ等の電子データとする。
電子透かしの埋め込みの方法については,上記第1の実施形態と同様に,濃淡を表現するためのディザのようなドットパターンの中で,ある特定のドットパターンに意味を持たせることで情報埋め込みを可能にすることや,画像内の特定の空間周波数領域への透かし情報埋め込みを可能にすること等により,画像の中に目に見えない情報,すなわち印刷物への電子透かしとして埋め込みを行う。
(印刷処理部201)
印刷処理部201は,電子透かし埋め込み部200によって透かしが埋め込まれた評価用シートフォーマット251等の透かし入り画像を印刷して,評価用シート250等の透かし入り印刷文書を出力する機能部である。評価用シート250等の透かし入り印刷文書は,白黒2値印刷にて印刷されるものとする。
(印刷濃度変更部202)
印刷濃度変更部202は,印刷処理部201によって透かし入り画像を印刷する際の印刷濃度を変更させる機能部である。印刷濃度の変更方法については,印刷処理部201の印刷濃度設定を,スキャン画像最適濃度判断部204によって検出された最適な印刷濃度に変更させる。または第1の実施形態における印刷画像解像度・濃度変更部102と同様に,評価用シートフォーマット251と電子透かし画像の解像度・画像サイズを上げることにより,電子透かしを表現するドット面積の拡大・縮小の微調整を行えるようにして,印刷時の電子透かしの印刷濃度を設定可能にすることにより,透かしの印刷濃度をスキャン画像最適濃度判断部204によって検出された最適な印刷濃度に変更させる。
(スキャン処理部203)
スキャン処理部203は,印刷処理部201によって印刷出力された評価用シート250等の透かし入り印刷文書をスキャンして,スキャン画像を取得する機能部である。
(スキャン画像最適濃度判断部204)
スキャン画像最適濃度判断部204は,評価用シート250のスキャン画像から,最適な印刷濃度を検出する機能部である。印刷濃度の検出方法については,評価用シート250のスキャン画像に含まれた印刷濃度評価用インジケータ253を,テンプレートマッチング等により検出して,さらにインジケータの面積を計測することによって,インジケータの面積から印刷濃度を判断して最適な印刷濃度を検出する。この印刷濃度の検出方法については,図8A,図8B,図9を参照しながらさらに後述する。ここで判断基準となるインジケータの最適面積のデータについては,評価システム側で予め基準となる最適面積データを保持しており,さらに濃い印刷濃度での最適面積,薄い印刷濃度での最適面積等の情報を保持しておくことにより,電子透かしの埋め込みに適した濃度設定での印刷濃度調整も可能となる。
(電子透かし信号検出部205)
電子透かし信号検出部205は,スキャン処理部203によってスキャンされた評価用シート250のスキャン画像から,電子透かし検出信号255を抽出する機能部である。抽出された電子透かし検出信号255は,電子透かし信号検出精度判定部206に送信される。電子透かしの信号の検出方法については,スキャン処理部203によってスキャンされた評価用シート250のスキャン画像について,電子透かし埋め込み部200によって埋め込まれた方式に対応した方法で,濃淡を表現するためのディザによるドットパターンを解析することで意味のある情報を検出する方法や,画像内の特定の空間周波数領域を解析することで意味のある情報を検出する方法等により,評価用シート250に埋め込まれている電子透かしの信号を抽出する。
(電子透かし信号検出精度判定部206)
電子透かし埋め込み部200によって評価用シートフォーマット251に埋め込まれた電子透かし埋め込み信号254と,電子透かし検出部205によって評価用シート250のスキャン画像から抽出された電子透かし検出信号255を比較して,信号が一致する比率を計測する等によって信号検出精度を求め,規定の検出精度(例えば一致率95%以上)を満たしているかを判定する機能部である。判定結果はスキャン画像最適濃度判定部204に送信される。これにより最適な印刷濃度と判定された場合でも,検出精度を満たしていないものについては設定濃度から除外される。また,いずれの印刷濃度でも検出精度を満たせない場合に,ユーザにエラーメッセージで通知する等といった処理を行うこともできる。
(評価用シート250)
評価用シート250は,印刷処理部201の印刷濃度やスキャン処理部203のスキャン特性等による透かし検出精度への影響についての評価を行うために用いる印刷文書である。評価用シート250は,図6に示したように,透かしが埋め込まれた検出精度評価用フォーマット251,電子透かしロゴマーク252,印刷濃度評価用インジケータ253が含まれた画像を印刷処理部201から印刷したものであり,これらをスキャン処理部203でスキャンして得られたスキャン画像について,印刷濃度評価や信号検出精度評価を行うことによって最適印刷濃度が求められる。なお,評価用シート250は,印刷濃度設定変更部202により,異なる印刷濃度設定で複数枚出力される場合もある。
(評価用シートフォーマット251)
評価用シートフォーマット251は,評価用シート250作成のためのフォーマット画像である。この画像に信号検出精度評価のための電子透かしが埋め込まれ,電子透かしロゴマーク252,印刷濃度評価用インジケータ253が付加されて印刷することにより,評価用シート250が作成される。評価用シートフォーマット251をはじめとする評価用シート250の印刷元となる画像は,全て白黒の2値画像とする。
(電子透かしロゴマーク252)
電子透かしロゴマーク252は,評価用シート250作成のために評価用シートフォーマット251に付加される画像であり,図6に示した“ABC XXX−Code”のような電子透かしが埋め込まれていることを示すロゴマーク画像とし,印刷濃度評価用インジケータ253を取得するためのテンプレートとして利用することもできる。その際,電子透かしロゴマーク252の領域には電子透かしを埋め込まないようにする。またインジケータの領域座標を固定位置とする等で,ロゴマークのテンプレートマッチングを行わなければ,ロゴマークを付加しない場合もある。
(印刷濃度評価用インジケータ253)
印刷濃度評価用インジケータ253は,評価用シート250作成のために評価用シートフォーマット251に付加される画像であり,図6に示したように,白から黒までの輝度値をディザや誤差拡散によって段階的に変化させた画像である。評価用シート250をスキャン処理部203でスキャンして得られた印刷濃度評価用インジケータ253のスキャン画像を元に印刷濃度を計測することができ,最適な印刷濃度を検出する。評価用シートフォーマット251への付加の際には,電子透かしロゴマーク252の一部としてロゴマークデザインの領域内に含まれるようにし,印刷濃度評価用インジケータ253には電子透かしが埋め込まれないようにする。評価用シート250における印刷濃度評価用インジケータ253のディザや誤差拡散の単位は,印刷濃度の計測におけるスキャン解像度と同等の解像度で表現されるものとし,印刷濃度の計測には影響が無いものとする。
(電子透かし埋め込み信号254)
電子透かし埋め込み信号254は,電子透かし埋め込み部200によって,評価用シートフォーマット251に埋め込まれた電子透かしの信号である。電子透かし信号検出精度判定部206において,電子透かし検出信号255と比較し,信号が一致する比率を計測すること等によって,電子透かしの検出精度を計測することができる。
(電子透かし検出信号255)
電子透かし検出信号255は,電子透かし検出部205によって,評価用シートフォーマット251のスキャン画像から抽出された電子透かしの信号である。電子透かし信号検出精度判定部206において,電子透かし埋め込み信号254と比較し,信号が一致する比率を計測すること等によって,電子透かしの検出精度を計測することができる。
本実施形態は以上のように構成されている。
次いで,本実施形態の動作について,図7を参照しながら説明する。
(ステップS201)
ステップS201では,開始ボタンを押す等のユーザ入力により処理を開始する。ユーザによるスキャン画像最適濃度判断部204に対する印刷濃度設定(透かし検出精度優先/透かし印刷濃度優先)を行う場合は,予め設定を行っておく。
(ステップS202)
ステップS202では,電子透かし埋め込み部200が,評価用シートフォーマット251に電子透かしの埋め込みを行う。またその際に,電子透かし埋め込み部200によって評価用シートフォーマット251に埋め込まれた電子透かしの信号を,電子透かし埋め込み信号254として電子透かし信号検出精度判定部206に送信する。実施形態1のステップS102〜S105と同様の手段で印刷濃度変更部202による電子透かしの印刷濃度の変更を行う場合は,電子透かし埋め込み元画像には電子透かし画像を埋め込まず,それぞれの画像を分離した状態で電子透かし埋め込み元画像と電子透かし画像の解像度・画像サイズを上げることにより,電子透かしを表現するドット面積の拡大・縮小の微調整を行えるようにして,ドット面積の拡大・縮小することによって印刷時の電子透かしの印刷濃度を変更させた後,電子透かし埋め込み元画像への電子透かし画像の埋め込みを行う。
(ステップS203)
ステップS203では,印刷処理部201が,評価用シートフォーマット251を印刷して評価用シート250を出力する。評価用シートフォーマット251の印刷時には,図6に示した“ABC XXX−Code”のような電子透かしロゴマーク252と,白から黒までの輝度値をディザや誤差拡散等によって段階的に変化させた画像の印刷濃度評価用インジケータ253が評価用フォーマット251の画像に追加された後,印刷処理部201によって印刷される。
また印刷濃度変更部202によって,異なる印刷濃度設定で複数枚の評価用シート250を印刷処理部201から印刷することにより,それぞれの評価結果を比較して精度の向上を図ることもできる。この場合,以下に説明するステップS204〜S212は,印刷処理部201によって印刷出力された評価用シート250が複数枚の場合,全ての評価用シート250に対して繰り返し処理を行う。
(ステップS204)
ステップS204では,印刷処理部201によって印刷出力された評価用シート250を,ユーザがスキャン処理部203にセットする。
(ステップS205)
ステップS205では,スキャン処理部203に評価用シート250をセットしたら,ユーザはスキャン開始ボタンを押す等の入力を行い,スキャン処理部203によるスキャン処理を開始させる。
(ステップS206)
ステップS206では,スキャン処理部203が評価用シート250をスキャンし,評価用シート250のスキャン画像を取得する。図8A,図8Bに,ステップS206〜S210の処理についての詳細について示す。図8A,図8Bでは,例として8ビットグレースケール(8bit Gray)でスキャンを行うものとする。
(ステップS207)
ステップS207では,図8A(a)に示した評価用シート250のスキャン画像を2値化処理する。ここでは,一例として,8ビットグレースケールでスキャンした画像に対する閾値を128として2値化を行うものとする。図8A(b)は2値化した評価用シート250のスキャン画像を示している。2値化処理により,インジケータが黒の矩形に変換される。
(ステップS208)
ステップS208では,図8A(c)に示したように,2値化した評価用シート250のスキャン画像の中からテンプレートマッチング等によって,“ABC XXX−Code”等の電子透かしロゴマーク252を検出する。
(ステップS209)
図8Bは図8Aの後工程を示す説明図である。ステップS209では,図8B(a)に示したように,検出した電子透かしロゴマーク252に含まれる印刷濃度評価用インジケータ253から,ラベリング処理等を行い,2値化され黒色の矩形に変換されたインジケータの面積の計測を行う。なお,ここでは印刷濃度評価用インジケータ253の領域座標取得の例として電子透かしロゴマーク252を利用する場合について説明するが,インジケータの領域座標が固定の位置である場合,ロゴマークのテンプレートマッチング等を行う必要は無いため,ロゴマークについては必須ではない。
(ステップS210)
ステップS210では,スキャン画像最適濃度判断部204が,計測された印刷濃度評価用インジケータ253の面積と,予め設定された最適印刷濃度スキャン時の面積とを比較し,最適な印刷濃度を検出し,印刷濃度変更部202に最適印刷濃度の情報を送信する。ここで,図8B(b1)に示したように,印刷濃度評価用インジケータ253の面積が予め設定された最適印刷濃度スキャン時の面積より小さい場合は印刷濃度が低いと判定し,印刷濃度を上げるよう制御する。図8B(b2)に示したように,印刷濃度評価用インジケータ253の面積が予め設定された最適印刷濃度スキャン時の面積と実質的に同じ場合は印刷濃度が最適と判定し,そのままの印刷濃度を保つよう制御する。図8B(b3)に示したように,印刷濃度評価用インジケータ253の面積が予め設定された最適印刷濃度スキャン時の面積より大きい場合は印刷濃度が高いと判定し,印刷濃度を下げるよう制御する。このようにして,最適な印刷濃度を検出する。
ここで判断基準となるインジケータの最適面積のデータについては,評価システム側で予め基準となる最適面積データを保持しており,さらに濃い印刷濃度での最適面積,薄い印刷濃度での最適面積等の情報を保持しておくことにより,電子透かしの埋め込みに適した濃度設定での印刷濃度調整も可能となる。これにより使用トナー量を減らすために印刷濃度設定がなるべく低くできるように判定したり,用紙に地紋等がある場合等に濃い印刷濃度設定にできるような判定にしたり等,ユーザの印刷濃度指定に応じた印刷濃度判定を行うことも可能である。
ユーザの印刷濃度指定に応じた印刷濃度判定について,図9を参照しながら説明する。図9に示した一例では,まず,図9(a)に示したように,検出した電子透かしロゴマーク252に含まれる印刷濃度評価用インジケータ253から,ラベリング処理等を行い,2値化され黒色の矩形に変換されたインジケータの面積の計測を行う。そして,図9(b)に示したように,スキャン画像最適濃度判断部204が,計測された印刷濃度評価用インジケータ253の面積と,予め設定された最適印刷濃度スキャン時の面積とを比較し,最適な印刷濃度を検出する。この際,濃い印刷濃度のユーザ設定の場合,図9(c1)に示したように,規定の面積が拡大する。また,例えば精度優先指定のユーザ設定の場合などは,図9(c2)に示したように,図8Bの場合と同様の予め設定された規定の面積とする。また,薄い印刷濃度のユーザ設定の場合,図9(c3)に示したように,規定の面積が縮小する。
(ステップS211)
ステップS211では,電子透かし検出部205が,評価用シートフォーマット251のスキャン画像から電子透かし検出信号255を検出して電子透かし信号検出精度判定部206に送信する。
(ステップS212)
ステップS212では,電子透かし信号検出精度判定部206が,電子透かし埋め込み部200によって評価用シートフォーマット251に埋め込まれた電子透かし埋め込み信号254と,電子透かし検出部205によって評価用シートフォーマット251のスキャン画像から検出された電子透かし検出信号255を比較して,信号が一致する比率を計測する等によって信号検出精度を求め,規定の検出精度(例えば一致率95%以上)を満たしているかどうかを判定し,判定結果をスキャン画像最適濃度判定部204に送信する。これは,印刷濃度評価用インジケータ253による印刷濃度設定において,規定の電子透かしの信号検出精度を満たせない場合が考えられるためであり,最適な印刷濃度と判定された場合でも,検出精度を満たしていなければ設定濃度から除外される。また,いずれの印刷濃度でも検出精度を満たせない場合には,ユーザにエラーメッセージで通知する等といった処理を行うこともできる。
(ステップS213)
ステップS213では,印刷濃度変更部202が,ステップS210によって得られた最適印刷濃度情報とステップS212によって得られた電子透かし信号検出精度判定結果を元に,最適な印刷濃度への設定の変更を行う。濃度の異なる複数枚の評価用シート250を印刷して評価を行った場合は,それぞれの結果の平均値や最頻値,中央値等を計測したものを最適な印刷濃度設定として変更を行う。また最適な印刷濃度であっても規定の信号検出精度を満たせない場合は,信号検出精度を満たす印刷濃度に変更する等を行い,いずれの印刷濃度でも規定の信号検出精度を満たせなかった場合は,ユーザに対して精度を満たせなかった旨を示すエラーメッセージを通知する。
印刷濃度変更部202による印刷濃度の設定変更方法については,1つは印刷処理部201の装置側での印刷濃度設定を変更することにより印刷濃度を変更する方法と,もう1つの方法として,第1の実施形態における印刷画像解像度・濃度変更部102と同様に,評価用シートフォーマット251と電子透かし画像の解像度・画像サイズを上げることにより,電子透かしを表現するドット面積の拡大・縮小の微調整を行えるようにして,印刷時の電子透かしの印刷濃度を設定可能にすることにより最適な印刷濃度に変更させる方法がある。
(第2の実施形態の効果)
以上説明したように,本実施形態によれば,客観的な評価を行うための評価用シートを印刷・スキャンし,印刷濃度評価や電子透かし信号検出精度評価を行うことで最適な印刷濃度設定を検出・設定することにより,ユーザは評価用シートを印刷・スキャンするだけで電子透かしに最適な印刷濃度の設定を行えるようになる。またプリンタとスキャナの様々な組み合わせにおいて評価を行う場合においても,同様の方法で電子透かしに最適な印刷濃度の設定を容易に行うことができる。
(第3の実施形態)
第3の実施形態では,プリンタの印刷濃度やスキャナ特性等によって電子透かしの埋め込み・検出精度に影響を受ける可能性があるという課題に対して,プリンタの印刷濃度の設定を,客観的に適切な値かどうかをユーザの目視にて容易に判断可能にすることにより,スキャナを用いることなく容易に安定した精度での電子透かしの埋め込み・検出が行えるようにする。
図10は,本実施形態にかかる性能評価システムの構成を示す説明図である。
性能評価システム30は,図10に示したように,電子透かし埋め込み部200と,印刷処理部201と,印刷濃度変更部202を備えて構成されている。また,評価用シート350および評価用シートフォーマット251は,性能評価システム30における処理対象となる媒体またはデータである。
以下に,各構成要素について詳細に説明する。なお,上記第2の実施形態と実質的に同様の構成部分については重複説明を省略する。
(評価用シート350)
評価用シート350は,図11に示したように,上記第2の実施形態の評価用シートフォーマット251に,電子透かしロゴマーク252,印刷濃度評価用インジケータ253と,さらに印刷濃度評価用インジケータガイド353,印刷濃度評価用インジケータライン354を追加して印刷したものである。
(印刷濃度評価用インジケータガイド353)
印刷濃度評価用インジケータガイド353は,印刷濃度設定が適切な場合の印刷濃度評価用インジケータ253の長さを示した画像であり,印刷処理部201の印刷濃度設定が適切かどうかをユーザの目視によって客観的に確認できる。印刷濃度評価用インジケータガイド353は,第2,第4の実施形態の説明図でのガイドとは異なり,評価用シート350に実際に印刷されるユーザ可視のガイドである。
印刷濃度評価用インジケータガイド353は,図11に示したように,印刷濃度評価用インジケータ253上に付加される。そして,図12(a)に示したように,印刷濃度インジケータガイド352と,印刷濃度インジケータライン353を印刷して,目視で印刷濃度の確認を行う。図12(b1)に示したように,印刷濃度評価用インジケータ253が印刷濃度評価用インジケータガイド353より長く見える場合は印刷濃度が濃いと判断する。また,図12(b2)に示したように,印刷濃度評価用インジケータ253が印刷濃度評価用インジケータガイド353とほぼ同じ長さに見える場合は印刷濃度が適切と判断する。また,図12(b3)に示したように,印刷濃度評価用インジケータ253が印刷濃度評価用インジケータガイド353より短く見える場合は印刷濃度が薄いと判断する。
(印刷濃度評価用インジケータライン354)
印刷濃度評価用インジケータライン354は,印刷濃度評価用インジケータ253の長さをユーザが目視にて確認する際に,印刷濃度評価用インジケータ253の長さの視認性を向上させるための画像である。
図11,図12に示したように印刷濃度評価用インジケータ253上に付加され,印刷濃度評価用インジケータライン354が目視できる範囲を印刷濃度評価用インジケータ253の長さとすることで視認性を向上させ,印刷濃度評価用インジケータガイド353との比較を行うことにより印刷濃度の判定を行う。すなわち,印刷濃度評価用インジケータライン354を目視で確認できる長さと,印刷濃度評価用インジケータガイド353が近いものであれば,適切な印刷濃度設定であるということが分かる。インジケータラインについては,目視判定のためのインジケータをより見やすくするための一例であるため,その他の方法でインジケータを見やすくする方法も考えられる。
本実施形態は以上のように構成されている。
次いで,本実施形態の動作について,図13を参照しながら説明する。
なお,上記第2の実施形態と実質的に同様の動作については重複説明を省略する。
(ステップS303)
ステップS303では,第2の実施形態のステップS203と同様に,印刷処理部201が,評価用シートフォーマット251を印刷して評価用シート250を出力する。評価用シートフォーマット251の印刷時には,電子透かしロゴマーク252と,印刷濃度評価用インジケータ253に加えて,印刷濃度評価用インジケータガイド353,印刷濃度評価用インジケータライン354を評価用フォーマット251の画像を追加して印刷処理部201によって印刷される。
また印刷濃度変更部202によって,異なる印刷濃度設定で複数枚の評価用シート250を印刷処理部201から印刷することにより,複数の印刷濃度条件を同時に評価して精度の向上を図ることもできる。印刷濃度の設定方法については,印刷処理部201の側での印刷濃度設定とともに,第1の実施形態における解像度・画像サイズを上げることにより,電子透かしを表現するドット面積の拡大・縮小の微調整を行えるようにして,ドット面積の拡大・縮小することによって印刷時の電子透かしの印刷濃度を変更させる方法を利用することもできる。
(ステップS304)
ステップS304では,ユーザが,印刷出力された印刷濃度評価用インジケータ253を目視確認し,印刷濃度評価用インジケータ253に含まれる,印刷濃度評価用インジケータライン354の長さと印刷濃度評価用インジケータガイド353を比較する。印刷濃度確認方法については,図12に示したように,ユーザは,印刷濃度評価用インジケータガイド353の範囲外にまで印刷濃度評価用インジケータライン354が見える場合は印刷濃度が濃すぎると判断し,逆に印刷濃度評価用インジケータガイド353内で印刷濃度評価用インジケータライン354が見えなくなる場合は印刷濃度が薄すぎると判断する。
(ステップS305)
ステップS305では,ユーザが,印刷出力された印刷濃度評価用インジケータ253を目視確認した結果,印刷濃度評価用インジケータライン354が印刷濃度評価用インジケータガイド353より長かった,すなわち印刷濃度が濃いと判断した場合,ユーザが透かし印刷濃度設定を薄い印刷濃度に設定変更する。
(ステップS306)
ステップS306では,ユーザが,印刷出力された印刷濃度評価用インジケータ253を目視確認した結果,印刷濃度評価用インジケータライン354が印刷濃度評価用インジケータガイド353より短かった,すなわち印刷濃度が薄かった場合,ユーザが透かし印刷濃度設定を濃い印刷濃度に設定変更する。
(第3の実施形態の効果)
以上説明したように,本実施形態によれば,評価用シートに含まれ,ユーザの目視にて確認することのできる印刷濃度評価用のインジケータやインジケータラインとインジケータガイドの長さを比較することにより,電子透かしに適切な印刷濃度かどうかをユーザが目視で容易に,かつプリンタからの出力だけで知ることができる。
(第4の実施形態)
第4の実施形態では,プリンタの印刷濃度やスキャナ特性等によって電子透かしの埋め込み・検出精度に影響を受ける可能性があるという課題に対して,電子透かしの印刷・検出性能を,評価システムによって客観的な数値として示すことにより,プリンタの印刷濃度の設定等,ユーザによって設定が行われた場合でも,安定した精度での電子透かしの埋め込み・検出が行えることを容易に確認することができる。
図14は,本実施形態にかかる性能評価システムの構成を示す説明図である。
性能評価システム40は,図14に示したように,電子透かし埋め込み部200と,印刷処理部201と,印刷濃度変更部202と,スキャン処理部203と,スキャン画像最適濃度判断部204と,電子透かし信号検出部205と,電子透かし信号検出精度判定部206と,電子透かし埋め込み・検出性能値出力部400を備えて構成されている。また,評価用シート250,評価用シートフォーマット251,電子透かし埋め込み信号254,電子透かし検出信号255,および電子透かし埋め込み・検出性能値450は,性能評価システム40における処理対象となる媒体,データ,または信号などである。
以下に,各構成要素について詳細に説明する。なお,上記第2の実施形態と実質的に同様の構成部分については重複説明を省略する。
(電子透かし埋め込み・検出性能値出力部400)
電子透かし埋め込み・検出性能値出力部400は,スキャン画像最適濃度判断部204と,電子透かし信号検出精度判定部206の結果から電子透かし埋め込み・検出性能値450を算出して出力する機能部である。
電子透かし埋め込み・検出性能値450の算出方法の例について,図15に示す。ここでの例として,スキャン画像最適濃度判断部204と信号検出精度判定部206の結果を,それぞれ良い(2)−普通(1)−悪い(0)の3段階に分類し,両者の結果を足し合わせることで総合し,良い(4)〜普通(2)〜悪い(0)の5段階評価値で算出するなどして,客観的な性能値を算出する。
(電子透かし埋め込み・検出性能値450)
電子透かし埋め込み・検出性能値450は,スキャン画像最適濃度判断部204と,電子透かし信号検出精度判定部206の結果から,電子透かし埋め込み・検出精度の性能を数値化したものである。
本実施形態は以上のように構成されている。
次いで,本実施形態の動作について,図16を参照しながら説明する。
なお,上記第2の実施形態と実質的に同様の動作については重複説明を省略する。
(ステップS413)
ステップS413では,電子透かし埋め込み・検出性能値出力部400が,印刷濃度評価用インジケータ253の面積と,最適な印刷濃度の場合の面積との比較を行った結果について,適切な印刷濃度かどうかの判定を客観的な数値として算出する。印刷濃度の評価値の算出方法については,図15(a)に示したように,最適な印刷濃度の場合との面積のズレの度合いに応じて,良い(2)−普通(1)−悪い(0)の3段階に分類する等の方法が考えられる。例えば,規定の面積とほぼ一致した場合は,良い(2)と判定する。また,規定の面積とのずれが許容範囲内であれば,普通(1)と判定する。また,規定の面積とのずれが許容範囲を超える場合,悪い(0)と判定する。
(ステップS414)
ステップS414では,電子透かし埋め込み・検出性能値出力部400が,電子透かし埋め込み信号254と電子透かし検出信号255を比較して検出精度を計測した結果について,適切な検出精度かどうかの判定を客観的な数値として算出する。検出精度の評価値の算出方法については,図15(b)に示したように,最適な検出精度とのズレの度合いに応じて,良い(2)−普通(1)−悪い(0)の3段階に分類する等の方法が考えられる。例えば,電子透かしの信号検出精度が基準値以上の結果だった場合,良い(2)と判定する。また,電子透かしの信号検出精度が基準値以下で,許容範囲内であれば,普通(1)と判定する。また,電子透かしの信号検出精度が基準値以下で,許容範囲外であれば,悪い(0)と判定する。
(ステップS415)
ステップS415では,電子透かし埋め込み・検出性能値出力部400が,ステップS413によって算出された印刷濃度の評価値と,ステップS414によって算出された検出精度の評価値を総合して,電子透かし埋め込み・検出性能値450を算出する。印刷濃度の評価値の算出方法については,図15に示したように,印刷濃度の評価値である(0)〜(2)の3段階評価値と,検出精度の評価値である(0)〜(2)の3段階評価値とを足し合わせることによって両者の結果を総合し,良い(4)〜普通(2)〜悪い(0)の5段階評価値で算出する等の方法が考えられる。
(第4の実施形態の効果)
以上説明したように,本実施形態によれば,評価システムによって電子透かしの印刷濃度や検出精度を数値として出力することにより,ユーザは電子透かし埋め込み・検出の性能を容易に知ることができる。またユーザが設定したプリンタの印刷濃度設定が,安定した精度での電子透かしの埋め込み・検出が行えるかどうかについて容易に確認することもできる。
以上,添付図面を参照しながら本発明にかかる電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シートの好適な実施形態について説明したが,本発明はかかる例に限定されない。当業者であれば,特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば,以下のような変形例・利用形態が考えられる。
(1)ロゴマークを利用することで,印刷物への電子透かしの評価システムとしてだけでなく,通常の電子透かし埋め込み/検出システムの一部に組み込んで評価を行うこともできる。その場合,評価シートの元画像となる評価シートフォーマットの形式は問わず,実際の処理に用いられる画像を元に評価を行うこともできる。
(2)印刷処理部とスキャン処理部を一体化することで,評価における印刷〜スキャンの処理を自動化することもできる。また,その際には全処理を自動化することも可能となるため,電源投入時に自動的に最適印刷濃度にキャリブレーションすること等も可能となる。
(3)印刷濃度の評価については,評価用インジケータを用いた印刷濃度評価方法以外にも,ディザや誤差拡散によって印刷濃度の異なる文字を印刷して,スキャンまたは目視確認できるかを判定する等の方法も考えられる。
(4)電子透かし埋め込み・検出性能値の出力において,印刷濃度の評価結果に応じて,「印刷濃度設定を上げてください。」等のメッセージを表示させることも可能であり,電子透かし埋め込み・検出性能値の出力形式については,必ずしも数値だけでなく,文字や画像等による表現方法なども考えられる。
(5)電子透かし埋め込み・検出性能値の出力において,ユーザ等による設定に応じて,印刷濃度評価結果の値と電子透かし信号検出精度評価結果の値それぞれ優先する側に重み付けを行って評価値を出力することもできる。
(6)印刷濃度を手動または自動変更する設定を設け,手動の場合は「印刷濃度設定を上げてください。」等のメッセージによって,ユーザ自身の操作によって印刷濃度を変更することもできる。
(7)評価用シートに関しては印刷処理部,スキャン処理部で処理できる媒体であれば,サイズや厚み,材質等を問わない。
(8)透かしの埋め込み処理は必ずしも評価の度に行う必要は無く,予め透かし入り画像と電子透かし埋め込み信号を用意しておき,透かし入り画像を印刷処理部が印刷しても良い。
(9)評価の開始方法には必ずしもユーザからの入力が必要とは限らず,電源投入時に自動的に評価シートが出力され,評価シートがスキャナにセットされると自動的にスキャンを開始して評価を行うこともできる。
(10)画像の解像度と画像サイズを上げることにより,ドット面積を拡大・縮小可能なものにして印刷濃度を変更するという方法を用いて,ディザや誤差拡散によるインジケータの濃度階調を精細化して,印刷濃度評価の精度を向上させることもできる。
本発明は,印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シートに利用可能である。
第1の実施形態の構成を示す説明図である。 印刷濃度変更例を示す説明図である。 印刷濃度変更例を示す説明図である。 第1の実施形態の動作を示す説明図である。 第2の実施形態の構成を示す説明図である。 評価用シートを示す説明図である。 第2の実施形態の動作を示す説明図である。 最適印刷濃度の検出方法を示す説明図である。 最適印刷濃度の検出方法を示す説明図である。 透かし印刷濃度のユーザ指定があった場合を示す説明図である。 第3の実施形態の構成を示す説明図である。 評価用シートを示す説明図である。 目視による印刷濃度確認方法を示す説明図である。 第3の実施形態の動作を示す説明図である。 第4の実施形態の構成を示す説明図である。 電子透かし埋め込み・検出性能値の算出方法を示す説明図である。 第4の実施形態の動作を示す説明図である。
符号の説明
10 電子透かし評価システム
100 電子透かし埋め込み部
101 印刷処理部
102 印刷画像解像度・濃度変更部
20 性能評価システム
200 電子透かし埋め込み部
201 印刷処理部
202 印刷濃度変更部
203 スキャン処理部
204 スキャン画像最適濃度判断部
205 電子透かし信号検出部
206 電子透かし信号検出精度判定部
250 評価用シート
251 評価用シートフォーマット
252 電子透かしロゴマーク
253 印刷濃度評価用インジケータ
254 電子透かし埋め込み信号
255 電子透かし検出信号
30 性能評価システム
352 評価用シート
353 印刷濃度評価用インジケータガイド
354 印刷濃度評価用インジケータライン
40 性能評価システム
400 電子透かし埋め込み・検出性能値出力部
450 電子透かし埋め込み・検出性能値

Claims (15)

  1. 印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価装置であって,
    印刷濃度評価用マークが付与された評価用シートフォーマットに電子透かしを埋め込む電子透かし埋め込み部と,
    前記電子透かしが埋め込まれた評価用シートフォーマットを評価用シートとして印刷する印刷処理部と,
    前記評価用シートのスキャン画像を取得するスキャン処理部と,
    前記評価用シートのスキャン画像に付与された前記印刷濃度評価用マークをもとに,前記電子透かしに最適な印刷濃度を検出する濃度判断部と,
    前記濃度判断部が検出した最適な印刷濃度に,前記印刷処理部の印刷濃度を変更する印刷濃度変更部と,
    備えたことを特徴とする,電子透かし評価装置
  2. 前記印刷濃度変更部は,
    前記評価用シートフォーマットおよび前記電子透かしの解像度またはサイズを変更し,前記電子透かしを表現するドットサイズを変更することによって,前記印刷処理部の印刷濃度を変更することを特徴とする,請求項1に記載の電子透かし評価装置
  3. 前記印刷濃度評価用マークは,濃度が段階的に変化するように印刷された印刷濃度評価用インジケータを含み,
    前記濃度判断部は,所定の閾値で2値化された前記印刷濃度評価用インジケータの面積計測により,印刷濃度を評価することを特徴とする,請求項1または2に記載の電子透かし評価装置
  4. 前記印刷濃度評価用マークは,前記印刷濃度評価用マークの領域を指し示すインデックスマークを含み,
    前記濃度判断部は,前記インデックスマークを利用したテンプレートマッチングにより前記印刷濃度評価用マークの領域の取得を行うことを特徴とする,請求項1〜3のいずれかに記載の電子透かし評価装置
  5. さらに,
    前記評価用シートのスキャン画像から電子透かしを検出する電子透かし信号検出部と,
    前記電子透かし埋め込み部が埋め込んだ電子透かしと,前記電子透かし信号検出部が検出した電子透かしとを比較して信号検出精度の判定を行う電子透かし信号検出精度判定部と,
    を備えたことを特徴とする,請求項1〜4のいずれかに記載の電子透かし評価装置
  6. 前記印刷濃度変更部は,前電子透かし信号検出精度判定部が判定した前記信号検出精度が、規定の信号検出精度を満たさない場合には、前記規定の信号検出精度を満たす印刷濃度に,前記印刷処理部の印刷濃度を変更することを特徴とする,請求項5に記載の電子透かし評価装置
  7. 印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価装置であって,
    評価用シートフォーマットに電子透かしを埋め込む電子透かし埋め込み部と,
    前記電子透かしが埋め込まれた評価用シートフォーマットを評価用シートとして印刷する印刷処理部と,
    前記評価用シートのスキャン画像を取得するスキャン処理部と,
    前記評価用シートのスキャン画像から電子透かしを検出する電子透かし信号検出部と,
    前記電子透かし埋め込み部が埋め込んだ電子透かしと,前記電子透かし信号検出部が検出した電子透かしとを比較して信号検出精度の判定を行う電子透かし信号検出精度判定部と,
    前記電子透かし信号検出精度判定部が判定した前記信号検出精度が、規定の信号検出精度を満たさない場合には、前記規定の信号検出精度を満たす印刷濃度に,前記印刷処理部の印刷濃度を変更する印刷濃度変更部と,
    備えたことを特徴とする,電子透かし評価装置
  8. 記電子透かしの印刷濃度および信号検出精度のそれぞれに対する電子透かし評価値を,それぞれの最適な値からのズレの度合いに応じて複数段階に分類して出力する電子透かし埋め込み・検出性能値出力部をさらに備えることを特徴とする,請求項1〜7のいずれかに記載の電子透かし評価装置
  9. 前記電子透かし埋め込み・検出性能値出力部は,
    前記電子透かしの印刷濃度の評価結果に関する第1の評価値と,前記電子透かしの信号検出精度に関する第2の評価値とを足し合わせることによって,前記第1の評価値および前記第2の評価値を総合して電子透かし埋め込み・検出性能値を出力することを特徴とする,請求項8に記載の電子透かし評価装置
  10. 印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価装置であって,
    目視により印刷濃度評価が可能な印刷濃度評価用マークが付与された評価用シートフォーマットに電子透かしを埋め込む電子透かし埋め込み部と,
    前記電子透かしが埋め込まれた評価用シートフォーマットを評価用シートとして出力する印刷処理部と,
    前記出力された評価用シートに付与された前記印刷濃度評価用マークを目視したユーザからの印刷濃度指定に応じて,前記印刷処理部の印刷濃度を変更する印刷濃度変更部と,
    を備えたことを特徴とする,電子透かし評価装置
  11. 印刷濃度評価用マークは,
    濃度が段階的に変化するように印刷された印刷濃度評価用インジケータと,
    前記印刷濃度評価用インジケータ上に付加された印刷濃度評価用インジケータガイドと,
    を含み,
    前記印刷濃度評価用インジケータの長さと,前記印刷濃度評価用インジケータガイドの長さとを目視して比較することにより印刷濃度を評価できることを特徴とする,請求項10に記載の電子透かし評価装置
  12. 印刷文書に対する電子透かしの埋め込み/検出の評価を行うための電子透かし評価用シートであって,
    濃度が段階的に変化するように印刷された印刷濃度評価用インジケータを含む印刷濃度評価用マークが付与されたことを特徴とする,電子透かし評価用シート。
  13. 前記印刷濃度評価用マークは,前記印刷濃度評価用マークの領域を指し示すインデックスマークを含むことを特徴とする,請求項12に記載の電子透かし評価用シート。
  14. 前記印刷濃度評価用マークは,目視により印刷濃度評価が可能であることを特徴とする,請求項12または13に記載の電子透かし評価用シート。
  15. 前記印刷濃度評価用マークは,前記印刷濃度評価用インジケータ上に付加された印刷濃度評価用インジケータガイドを含み,
    前記印刷濃度評価用インジケータの長さと,前記印刷濃度評価用インジケータガイドの長さとを目視して比較することにより印刷濃度を評価できることを特徴とする,請求項14に記載の電子透かし評価用シート。
JP2004084691A 2004-03-23 2004-03-23 電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シート Expired - Fee Related JP4158732B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004084691A JP4158732B2 (ja) 2004-03-23 2004-03-23 電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シート

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004084691A JP4158732B2 (ja) 2004-03-23 2004-03-23 電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シート

Publications (2)

Publication Number Publication Date
JP2005277544A JP2005277544A (ja) 2005-10-06
JP4158732B2 true JP4158732B2 (ja) 2008-10-01

Family

ID=35176778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004084691A Expired - Fee Related JP4158732B2 (ja) 2004-03-23 2004-03-23 電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シート

Country Status (1)

Country Link
JP (1) JP4158732B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4994987B2 (ja) * 2007-07-27 2012-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP4974963B2 (ja) * 2008-05-14 2012-07-11 キヤノン株式会社 画像形成装置及びドットパターン較正方法ならびにプログラム
JP2010056672A (ja) 2008-08-26 2010-03-11 Oki Data Corp 画像処理装置
JP2013123197A (ja) * 2011-12-12 2013-06-20 Ricoh Co Ltd 画像処理装置及び画像処理方法
CN109741232A (zh) * 2018-12-29 2019-05-10 微梦创科网络科技(中国)有限公司 一种图像水印检测方法、装置及电子设备
JP7463087B2 (ja) 2019-12-12 2024-04-08 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2005277544A (ja) 2005-10-06

Similar Documents

Publication Publication Date Title
JP2007282200A (ja) 情報埋込装置、情報埋込方法、情報埋込プログラム、情報抽出装置、情報抽出方法、情報抽出プログラム及び記録媒体
JP2009182512A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2009111980A (ja) 閉ループ処理における文書の真偽判定
JP2020010163A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記録媒体
US11341597B2 (en) Image processing method, image processing apparatus, and storage medium
JP4158732B2 (ja) 電子透かし評価システム,電子透かし評価方法,および電子透かし評価用シート
JP4416782B2 (ja) 画像処理装置、決定装置、変更装置、および画像処理方法
JP4111190B2 (ja) 画像処理装置
JP2006303728A (ja) 透かし情報埋め込み装置,透かし情報埋め込み方法およびコンピュータプログラム
US8189235B2 (en) Apparatus, method and program product that calculates a color blending ratio so security dots reproduced in a monochrome image are substantially undetectable
JP4928998B2 (ja) 画像形成装置、及び画像形成方法
TWI494896B (zh) 防偽浮水印圖像及其製造方法
JP4263156B2 (ja) 画像処理装置、方法およびプログラム
JP4155213B2 (ja) 電子透かし埋め込み装置,電子透かし検出装置,電子透かし埋め込み方法,および電子透かし検出方法
JP4626565B2 (ja) 画像処理装置、画像形成装置およびプログラム
JP4935467B2 (ja) 画像処理装置
JP2005252382A (ja) 改ざん検証データ入り文書およびその画像、文書出力装置およびその方法、ならびに文書入力装置およびその方法
JP4360412B2 (ja) 画像処理装置、方法及びプログラム
US11523031B2 (en) Image processing apparatus, control method of image processing apparatus, and storage medium
JP3720748B2 (ja) 画像処理装置及びその制御方法並びにコンピュータプログラム及び記録媒体
JP2010245882A (ja) 画像読取装置及び画像形成装置
JP2010002952A (ja) 画像処理装置及び画像処理プログラム
JP4373907B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2009303153A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP4935466B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080707

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees