JP3599795B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP3599795B2
JP3599795B2 JP23246094A JP23246094A JP3599795B2 JP 3599795 B2 JP3599795 B2 JP 3599795B2 JP 23246094 A JP23246094 A JP 23246094A JP 23246094 A JP23246094 A JP 23246094A JP 3599795 B2 JP3599795 B2 JP 3599795B2
Authority
JP
Japan
Prior art keywords
color
image
means
signal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP23246094A
Other languages
English (en)
Other versions
JPH07123244A (ja
Inventor
直史 山本
晴子 川上
秀和 関沢
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP5-219294 priority Critical
Priority to JP21929493 priority
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to JP23246094A priority patent/JP3599795B2/ja
Publication of JPH07123244A publication Critical patent/JPH07123244A/ja
Application granted granted Critical
Publication of JP3599795B2 publication Critical patent/JP3599795B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
本発明は、画像情報が含む冗長度を利用して視覚的に違和感を与えないように画像情報に別の情報を埋め込む画像処理装置、また画像情報に埋め込まれた別の情報を画像情報から抽出する画像処理装置に関する。
【0002】
【従来の技術】
従来、カラー画像にテキストデータなどを重畳して記録する技術が中村、松井ら(“カラー濃度パターンによる画像へのテキストデータの合成符号化法”,画像電子学会誌,第17巻 第4号(1988)pp194−198)により知られている。この技術によれば、画像データが多くの冗長性を持つことに着目し、カラー濃度パターン法を用いて画像データの冗長部分に他のデータ、例えばテキストデータを合成して重畳させる。しかし、一般にカラー濃度パターン法によると解像度が荒くなり、高精細画像を表現することができないという欠点がある。また、情報の重畳による画素配列のばらつきから生じる色むら等による画質劣化も生じる等の欠点がある。
【0003】
一方、濃度パターン法に比べてより高精細表示が可能なディザ画像記録を応用した例として、田中、中村、松井: 2k元ベクトルによる組成的ディザ画像への文字情報の埋め込み”,画像電子学会誌,第19巻第5号(1990)pp337−343が知られている。この技術においても、文字情報などを埋め込む場合に画質劣化が生じるという欠点がある。また、この技術は、誤差拡散記録法等の高精細記録技術には適用できないという欠点がある。
【0004】
さらに、上述した各技術によれば、実際に印字された画像から文字情報などを抽出することは原理的に可能であっても、実際の一般的な記録ではディザパターン情報は紙等に正確には記録されず、またその様な情報を読み取ることも困難である。このため、埋め込まれた特定情報などを読み取ることは極めて困難となる。可能なことは、印字される基となる画像データ(伝送情報やフロッピーディスク内データ)から抽出することのみである。上記技術に基づいて実際の記録画像から文字情報などのコード化された特定情報を読み取るためには、人間の視力限界を越えた記録が可能な極めて高精度のプリンタを用いて記録し、さらに高精度の読取装置で読み取らない限り困難である。
【0005】
また、上記手法では、記録時のノイズや読み取り時のノイズが生じるので、文字情報などコード化された情報を画像情報から分離して読み取ることが困難となる。さらに、カラー記録された画像情報は、高精度の記録装置で記録されても各色の画点が重なり合うため、正確な画素形状が形成されにくい。この場合、各色の画点データを画像情報から分離させて読み取ることは極めて困難となるなどの欠点があった。
【0006】
また、特開平4−294682号公報には、黄インクに情報を付加する技術が述べられている。この技術によれば、原画像が黄色成分のみを含む画素だけで画像が構成されている場合は問題がない。しかし、他の色を含む場合、単に黄色を加えることでは視覚的に目立たないような記録ができる保証はない。さらに、シアンのみやマゼンタのみなどの黄色成分を含まない場合には特定情報を付加できないという問題があった。
【0007】
【発明が解決しようとする課題】
本発明の目的は、上述した問題点に鑑み、画像情報を出力した結果が視覚的に違和感を与えず、かつ画質劣化が生じないように、別の情報をその画像情報に埋め込む画像処理装置を提供することである。
【0008】
本発明の他の目的は、別の情報が埋め込まれた画像情報から当該別の情報を容易に抽出することができる画像処理装置を提供することである。また、この際に視力限界以上の記録装置や読取装置を不要にする。
【0009】
【課題を解決するための手段】
本発明の第1の発明は、カラー画像とは別の情報を表すデータ信号を発生する手段と、カラー画像の色差及び彩度のいずれかを前記データ信号により変化させることにより前記カラー画像に前記別の情報を埋め込む画像処理手段とを具備したことを特徴とする画像処理装置である。この色差及び彩度のいずれかの変化は、カラー画像の3原色成分の合計が処理により変わらないように行われる。
【0010】
ここで、色差方向の変化は、例えば前記画像処理手段がカラー画像の3原色成分信号を輝度信号、第1、第2の色差信号に変換する手段と、第1の色差信号に対して前記別の情報を埋め込む手段とを具備することにより実現される。そして、前記第2の色差信号は赤−緑の色差信号、第1の色差信号は黄−青の色差信号であることが好ましい。
【0011】
また、彩度方向の変化は、例えば前記画像処理手段が、カラー画像の3原色成分信号を輝度信号、第1、第2の色差信号に変換する手段と、第1及び第2の色差信号により表される彩度に対して前記別の情報を埋め込む手段とを具備することにより実現される。
【0012】
また、前記画像処理手段はカラー画像の減法混色あるいは加法混色の3原色信号を前記データ信号に応じて変化させることにより前記カラー画像に前記別の情報を埋め込むものであってもよい。この埋め込みは、発生された前記デ−タ信号をカラ−画像の色差及び彩度のいずれかの変化量に変換する手段と、この変化量を前記カラ−画像に追加する手段とにより行うことも好ましい。
【0013】
さらに、前記画像処理手段により処理され別の情報が埋め込まれた第2のカラー画像を記録媒体に記録する手段を具備してもよい。
【0014】
また、好ましくは、前記画像処理手段はカラー画像に基づき輝度の高域成分を検出する手段と、検出された高域成分に応じて前記別の情報を埋め込む量を加減する手段とを具備する。
【0015】
本発明の第2の発明は、第1のカラー画像の色差及び彩度のいずれかをこの第1のカラー画像とは別の情報を表すデータ信号により変化させることにより前記カラー画像に前記別の情報が埋め込まれた第2のカラー画像を入力する入力手段と、この入力手段により入力された前記第2のカラー画像から前記別の情報を抽出する抽出手段とを具備することを特徴とする画像処理装置である。
【0016】
色差方向に変化させた場合は、前記抽出手段は、入力された前記第2のカラー画像を読み取る読取手段と、この読取手段により読み取られた前記第2のカラー画像を輝度信号、第1、第2の色差信号に変換する手段と、前記変換手段により変換された第1の色差信号から前記データ信号を分離させて取り出す分離手段とを具備するとよい。彩度方向に変化させた場合は、前記抽出手段は、入力された前記第2のカラー画像を読み取る読取手段と、この読取手段により読み取られた前記第2のカラー画像を輝度信号、第1、第2の色差信号に変換する手段と、前記変換手段により変換された第1及び第2の色差信号により表される彩度から前記データ信号を分離させて取り出す分離手段とを具備するとよい。
【0017】
また、前記抽出手段は、入力された前記第2のカラー画像信号から重複した第2のカラー画像を検出する手段と、前記検出手段により検出された前記重複した第2のカラー画像に対して平均化を行う手段とを具備するとよい場合がある。また、前記抽出手段は、入力された前記第2のカラー画像に対して所定の周波数帯域のバンドパス処理をする手段を具備するとよい場合がある。
【0018】
本発明の第3の発明は、カラー画像とは別の情報を表すデータ信号を発生する手段と、前記発生手段により発生されたデータ信号に応じた複数の周波数成分を有する縞模様を前記カラー画像に付加することにより前記カラー画像に前記別の情報を埋め込む画像処理手段とを具備することを特徴とする画像処理装置である。この色差及び彩度のいずれかの変化は、カラー画像の3原色成分の合計が処理により変わらないように行われる。
【0019】
また、前記画像処理手段は、前記縞模様を構成する前記複数の周波数成分を平面上に配置する手段と、平面上に配置された複数の周波数成分に基づき前記縞模様を前記カラー画像に付加する手段とを具備することが好ましい。
【0020】
ここで、前記配置手段は、前記平面上において配置される周波数成分が所定の点から距離が遠くなるに従って前記周波数成分の周波数を高くする手段を具備するとよい。また、前記配置手段は、前記複数の周波数成分と共に対応するダミーの周波数成分を前記平面上において配置する手段を具備するとよい。
【0021】
前記配置手段は、前記複数の周波数成分のうちの一部を前記平面上において同心円状または同心楕円状に配置してもよいし、前記複数の周波数成分のうちの一部を前記平面上において格子状に配置してもよい。格子状に配置する場合は、前記複数の周波数成分のうちの一部に位相差を与えて配置する。
【0022】
前記配置手段は前記平面上において前記複数の周波数成分のスタート位置を示すスタートビットを配置し、前記複数の周波数成分のうちの一部を非規則的に配置するのでもよい。また、前記複数の周波数成分のうち高周波数を有するものほど振幅を大きくして配置するのもよい。
【0023】
また、前記付加手段により縞模様が付加される前のカラー画像に対して前記複数の周波数成分の周波数帯域に相当する帯域を除去するバンド除去フィルタがあってもよい。
【0024】
また、第3の発明の画像処理手段は、例えばカラー画像の3原色成分信号を輝度信号、第1、第2の色差信号に変換する手段と、第1の色差信号に対して前記縞模様を付加することにより前記別の情報を埋め込む手段とを具備することにより、色差方向への変化を行う。そして、例えばカラー画像の3原色成分信号を輝度信号、第1、第2の色差信号に変換する手段と、第1及び第2の色差信号により表される彩度に対して前記別の情報を埋め込む手段とを具備することにより、彩度方向への変化を行う。
【0025】
この第3の発明の画像処理手段により処理され別の情報が埋め込まれた第2のカラー画像を記録媒体に記録し、その後この記録媒体に記録された前記第2のカラー画像から前記別の情報を抽出するようにした画像処理装置においては、この抽出手段が前記第2のカラー画像をフーリエ変換する手段を具備することが好ましい。
【0026】
色差方向の変化を読み取るためには、前記抽出手段が、入力された前記第2のカラー画像を読み取る読取手段と、この読取手段により読み取られた前記第2のカラー画像を輝度信号、第1、第2の色差信号に変換する手段と、前記変換手段により変換された第1の色差信号から前記データ信号を分離させて取り出す分離手段とを具備することが好ましい。彩度方向の変化を読み取るためには、前記抽出手段が、入力された前記第2のカラー画像を読み取る読取手段と、この読取手段により読み取られた前記第2のカラー画像を輝度信号、第1、第2の色差信号に変換する手段と、前記変換手段により変換された第1及び第2の色差信号により表される彩度から前記データ信号を分離させて取り出す分離手段とを具備することが好ましい。
【0028】
本発明の第5の発明は、文字情報とは別の情報を表すデータ信号を発生する手段と、文字情報を画像として展開する際の配列間隔を前記データ信号により変化させることにより前記文字情報の画像に前記別の情報を埋め込む情報処理手段とを具備することを特徴とする画像処理装置である。
【0029】
【作用】
一般に輝度情報に対して、色差や彩度情報は視力限界が低い。言い換えれば色差や彩度は細かく、微妙な変化に対しては輝度より鈍い特性がある。一方、カラー記録では各色の濃度(輝度を含む信号)情報で輝度の視力限界まで記録するプリンタが最も高画質となる。(なお、人間にとって視力限界以上の記録には目に見えなくなるため不要となる。)このように輝度の視力限界に近くまで記録した場合には色差や彩度情報は人間の目に見えない記録がなされている。本発明は、この見えない記録がなされている部分、すなわち高い周波数での色差や彩度成分に情報をコード化して重畳すれば見えないコード情報の記録が可能となることに着目してなされたもので、画質劣化を伴わない記録を可能としたものである。
【0030】
すなわち本発明は、輝度情報以外の色差もしくは彩度方向に画像情報とは別の情報を埋め込む。またこの時、より画質劣化を少なくするために入力画素の色度及び変化率によって埋め込む情報の強度を可変にすることも効果的である。
【0031】
また、このような画像処理により得られる画像を記録媒体に記録した後、記録された画像を読み取り、その読み取った信号の平均化やバンドパス処理を行って埋め込まれた別の情報を検出し、さらには色差や彩度情報に変換してこれを検出する。
【0032】
つまり、一般的な画像情報は色差や彩度が視力限界以上での周波数帯にはほとんど存在しないため、色差や彩度情報に変換してバンドパス処理することで画像情報に埋め込まれた別の情報を極めて高精度に分離して読み取ることが可能になる。
【0033】
【実施例】
以下図面を参照して本発明の一実施例につき説明する。図1は本発明の第1実施例に係る画像処理装置のブロック図である。
【0034】
入力端子等からなる入力系101にはカラー画像を記録/印刷する際の黄色、マゼンタ、シアンの濃度を表す色信号Y,M,Cが供給される。入力系101に入力された第1の色信号Y,M,Cが第1変換回路102に供給される。
【0035】
上記Y,M,Cの濃度を表す色信号は、本装置をプリンタとして用いる場合にはY,M,Cのインク量信号となる。第1変換回路102は供給される第1の色信号Y,M,Cに基づいて第1の変換処理を行い、これらから輝度信号I、及び2つの色差信号C1,C2を生成する。輝度信号Iは第2変換回路106に直接に供給される。2種類の色差信号C1,C2のうち、色差信号C1は第2変換回路106に直接に供給され、色差信号C2は加算器105を介して第2変換回路106に供給される。
【0036】
一方、本実施例はコード発生器103も有する。コード発生器103はカラー画像に埋め込むべき画像情報とは別の情報(以下、特定情報と称する)を保持し、情報を圧縮、暗号化等してコードとして発生し、パターン発生回路104に供給する。パターン発生回路104はこのコードに基づいてコードを構成する各ビットデータの“0”,“1”に応じた図2(a)に示すような矩形波からなるパターン信号を加算器105に供給する。このパターン信号が複数ラインにわたって繰り返し発生されると、図2(b)に示すような縞模様のパターンが発生される。なお、パターン信号の幅が1走査線の長さ以下の場合には、同一パターン信号が主走査方向に繰り返し発生されてもよい。
【0037】
加算器105は第1変換回路102からの色差信号C2に、パターン発生回路104からのパターン信号を加算する。加算結果としての信号CC2が、第2変換回路106に供給される。第2変換回路106は第1変換回路102からの輝度信号I,色差信号C1,および加算器105からの信号CC2に基づいて、第1の変換処理の逆変換である第2の変換処理を行い、これらの信号から特定の情報が埋め込まれたカラー画像を記録/印刷する際の黄色、マゼンタ、シアンの濃度を表す第2の色信号Y’,M’,C’を生成する。第2の色信号Y’,M’,C’は誤差拡散処理回路107に供給される。誤差拡散処理回路107は供給される第2の色信号Y’,M’,C’を誤差拡散処理し、誤差拡散パターンを発生する。発生した誤差拡散パターンは出力系108に供給される。出力系108は例えばプリンタ、カラーコピー、ファクシミリであり、供給される誤差拡散パターンに応じてカラー画像(ここでは、加算器105により特定情報のパターンが埋め込まれている)を出力する。なお、誤差拡散処理回路107は必ずしも設ける必要はない。この場合は、第2変換回路106から出力された第2の色信号Y’,M’,C’が出力系108に直接供給され、出力系108は第2の色信号Y’,M’,C’に基づいてカラー画像を出力する。
【0038】
次に、第1実施例の動作を説明する。
【0039】
カラー画像を印刷する際のインク量に相当する第1の色信号Y,M,Cが入力系101より第1変換回路102に供給される。第1の色信号の値は、カラー画像が白の場合はY=M=C=0、黒の場合はY=M=C=1となるように決定される。入力系101から供給される第1の色信号は第1変換回路102により輝度信号I、色差信号C1,C2に変換される。第1の色信号Y,M,Cから輝度信号I、色差信号C1,C2への変換は次式に従って行われる。
【0040】
I =1−(Y+M+C)/3 …(1)
C1=M−C …(2)
C2=Y−M …(3)
ここで、Iは輝度に相当する量を表しており、C1はシアンから赤方向に相当する色差を表し、C2は青から黄方向に相当する色差を表す。尚、C1,C2座標系にベタ6色を配置すると図21のようになり、この図から黄−青方向を表すには(Y−M)を赤−シアン方向を表すには(M−C)を用いればよいことが分かる。
【0041】
こうして、生成された輝度信号Iおよび色差信号C1は第2変換回路106に供給されるとともに、色差信号C2は加算器105に供給される。
【0042】
一方、画像情報に埋め込まれるべき特定情報は、プリントを行う日付、時刻、出力系108を構成するプリンタのメーカ名、型名、及び機体番号等の出力系108の詳細に関する情報であるとする。このように印刷物がどの機械により印刷されたか示す情報を印刷物に忍び込ませることより、印刷物が偽造された場合、偽造者を発見することができ、その結果、偽造防止の効果があがる。コード発生器103はプリントを行う日付と時刻を生成するためのクロック発生器を内蔵しており、また、予めメーカー名、型名、及び機体番号がセットされたメモリを具備している。特定情報はコード発生器103によりコードの形で発生される。
【0043】
特定情報は例えば上位ビットから順に17bitを日付(十進数により6桁で表示する)、11bitを時刻、10bitをメーカー名、34bitを型名および機体番号に割り付けて構成され、全体で72bit(9Byte相当)のデータを有するものとする。コード発生器103はデータを圧縮/暗号化することにより特定情報のデータを9Byte以下のコードデータに変換する。
【0044】
パターン発生回路104は、上記コードに基づき、例えば図2(a)に示すような単純なONとOFFで構成される矩形波からなるパターン信号を加算器105に供給する。
【0045】
加算器105は第1変換回路102からの青から黄方向の色差信号C2に、このパターン信号を重畳する。パターン信号は複数の走査線にわたって発生される。これにより、図2(b)に示すようにY−M色差に関して縞模様のパターンがカラー画像に重畳される。パターン信号は振幅の中間レベルが色差信号の0レベルとなるように重畳される。このため、図2(a)の振幅を±α/2とすると、パターン信号が重畳された色差信号CC2は次式で表される。
【0046】
CC2=C2±α/2 …(4)
符号の+はコードのビットが“1”の場合、−は“0”の場合である。
【0047】
なお、図2(b)に示すパターンはカラー画像に重畳された場合、視覚的に違和感を与えるようなものであってはならない。従って、振幅αやパターンの周期τ(図2(a)参照)の設定については、人間の視覚限界を考慮に入れて検討することが必要である。この場合、パターンはその振幅が小さいほど、またその周期が短いほど、人の目には目立たないものとなる。
【0048】
図3は300dpiの高い周波数での印字が可能なプリンタを用いて出力したサンプルを被験者に観察してもらい、輝度方向、色差(青−黄)方向、及び彩度方向に階調変化を与えた場合における人間の階調識別能の調査結果をそれぞれ表したグラフである。このグラフでは、周波数が横軸に取られ、階調識別能が縦軸に取られる。このグラフから明らかなように、人間の階調識別能は輝度方向の変化よりも色差(青−黄)方向の変化の方に関してはかなり低い。さらに、色差(青−黄)方向の変化よりも彩度方向の変化の方に関してかなり低い。
【0049】
さらに、図3から明らかなように、周波数が2cycle/mmを越えたあたりから、いずれの場合も視覚的に急激に感度が低くなっている。すなわち、上記パターンの周波数を2cycle/mmを越える高周波数とすれば、視覚的に識別可能な階調数は輝度方向では60階調程度、色差方向や彩度方向に至っては20階調以下になる。このため、上記振幅αをかなり大きくしても人の目に違和感を与える恐れがない。また、上記パターンの振幅は大きいほど、ノイズに埋もれてしまう可能性が少ない。従って、SN比の高いセンサを使用しなくても、パターンを容易に抽出することができる。また、埋め込まれるパターンの周波数を3cycle/mm以上にすれば、より一層視覚的に識別できないものとすることができる。この場合、3cycle/mm以上の周波数が再現可能なプリンタ、すなわち解像度が6dot/mm(=150dpi)以上の画点の再現が可能なプリンタであれば十分である。特に、高精度のプリンタでなくても良い。すなわち、通常のカラー画像の再現が可能であればそれ以上の高精細記録は特に必要としない。
【0050】
上記加算器105によって生成された信号CC2は第2変換回路106に供給される。次に、輝度信号I,色差信号C1,および信号CC2は第2変換回路106によって、第2の色信号Y’,M’,C’へ変換される。ここで、第2の色信号への変換は下式に従って行われる。
【0051】
Y’=1−I+(C1+2CC2)/3 …(5)
M’=1−I+(C1−CC2)/3 …(6)
C’=1−I−(2C1+CC2)/3 …(7)
このようにして、第2変換回路106により、特定情報が埋め込まれたカラー画像を表す色信号Y’,M’,C’が得られる。
【0052】
なお、(5)〜(7)式に(1)〜(4)式のI,C1,C2,CC2を代入すると、次の関係が得られる。
【0053】
Y+M+C=Y’+M’+C’ …(8)
(8)式は、本発明では、特定情報を埋め込む前と、埋め込んだ後の色信号の合計、すなわち、インキ量の総和は変わらないことを示す。
【0054】
出力系108として表現できる階調数の限られたプリンタを用いる場合は、多値の誤差拡散法を用いて疑似階調表現を行う必要がある。このため、特定情報に相当するパターンを画像情報に埋め込み、第2の変換回路106により印刷のための色信号を求めた後、誤差拡散処理回路107によって誤差拡散パターンが発生される。こうして誤差拡散法を利用した階調表現を行うと、埋め込まれた特定情報は視覚的により一層識別できないものとなる。
【0055】
出力系108において、このようにして発生された特定情報に相当するパターンが画像情報に埋め込まれて出力(印字)される。
【0056】
次に、上記手順で出力された特定情報の読み取り処理について説明する。
【0057】
本画像処理装置の読み取り部には、上記埋め込み処理部の処理によって印字された画像から特定情報を抽出するためのスキャナ(図示せず)が設けられる。このスキャナはRGB(Blue,Green,Yellow)色分解系フィルタを搭載している。
【0058】
まず、埋め込まれている特定情報パターンを画像パターンから安定して分離し、確実に特定情報を抽出するために、複数の走査線にわたって読み取った画像情報の平均をとる。ここでは、128ラインを読み取って平均化し、1ライン分の画素データを得る。このようにすることで、画像に現れている複雑なパターンは主走査方向では平均化されず、副走査毎に同一内容の画像が平均化されるため、高度のS/N比で特定情報が検出される。しかし、この場合、原稿401(図4)を読み取る走査方向を記録時の走査方向と全く一致させることはまず不可能で、大抵の場合は斜めになってしまうことが多い。記録時と読み取り時とで走査線の方向が少しでもずれてしまうと、上記した平均化の効果が反映されない。そこで図4に示すように、原稿401よりも一回り大きいサイズの補助シート402の上に原稿401を重ねて読み取りを行う。反射型のスキャナの場合、原稿台上に原稿401を載せてから、補助シート402を重ねる。原稿401が白地の場合には補助シート402を黒とし、原稿401が黒地の場合には補助シート402を白とする。補助シート402は主走査方向において、必ず原稿よりも先に読み取られるように配置される。これにより、走査の際、原稿401の端の部分が黒と白との違いにより識別される。従って、走査するたびごとに原稿の端の位置が識別され、平均化処理の効果を高めることができる。
【0059】
次に、図5のフローチャートを参照して上記手順で埋め込まれた特定情報の読み取り処理を説明する。
【0060】
はじめに主走査方向の画素サンプル数WIDTH、および副走査方向のライン数HIGHTをセットする(ステップA01)。このとき、主走査方向のサンプル数WIDTHは主走査方法の読み取り範囲が原稿の幅よりも小さくなるようにする。また、例えばライン数HIGHT=128が設定される。主走査方向のカウント数をn、副走査方向のカウント数をmとする。まず、mを“0”にセットし(ステップA02)、nを“0”にセットする(ステップA03)。後述するn番目の画素の画素値の合計Dnを“0”にする(ステップA04)。nが“WIDTH−1”に等しいかを判別する(ステップA05)。NOならば、現在のnに“1”を加算して(ステップA06)、ステップA04を繰り返す。YESならば、ステップA07へ進む。
【0061】
ステップA07で、1画素分のRGB信号を取り込み、ステップA08でR,G,Bの和を3で割ってRGB信号の平均値を求め、n=0(すなわち、0番目)の画素の明るさデータI0を求める。次に、nを“1”にセットする(ステップA09)。上記と同様に、1画素分のRGB信号を取り込み(ステップA10)、R,G,Bの和を3で割ってRGB信号の平均値を求め、n番目の画素の明るさデータInを求める(ステップA11)。
【0062】
次に、n番目の画素の明るさデータInとn−1番目の画素の明るさデータIn−1との差ΔInを求める(ステップA12)。このΔInが予め設定された閾値“TH”よりも大きいか否かを判別する(ステップA13)。NOならば、現在のnに“1”を加算して(ステップA14)、ステップA10〜A12を繰り返す。YESならば、ステップA15へ進む。ここで、差ΔIn=In−In−1を微分値と考えたとき、この微分値が大きく変化するような、すなわちΔInが閾値THより大きな値をとるような点にあるn番目の画素が、原稿の左端と判定でき、これを実際に平均化に使用するための対象とする。なお、ΔInが閾値THより大きな値をとるようになるまでは、スタートの対象は1番目の画素とされている。
【0063】
ステップA15で、スタートの対象である画素のRGB信号を取り込む。次に、GとBとの色差DDi(i=1〜n)(G−B方向の色差成分)を求める(ステップA16)。求められた色差DDを各画素毎に合計Dn(最初はDn=0)に加算する。これにより、合計Dnが更新される(ステップA17)。nが“WIDTH”に等しいか否かを判別する(ステップA18)。NOならば、現在のnに“1”を加算して(ステップA19)、ステップA15〜A17を繰り返す。YESならば、ステップA20に進む。ステップA20でmが“HIGHT−1”に等しいか否かを判別する。NOならば、現在のmに“1”を加算して(ステップA21)、ステップA03〜A19を繰り返す。YESならば、ステップA22に進む。これにより、各ラインにおけるn番目の画素に係る色差DDの合計が求められる。
【0064】
ステップA22で現在のnを“0”に設定する。現在の合計Dnをライン数“HIGHT”で割って平均を求め、この平均をDnとする(ステップA23)。nが“WIDTH−1”に等しいか否かを判別する(ステップA24)。NOならば、現在のnに“1”を加算して(ステップA25)、ステップA23を繰り返す。YESならば終了する。
【0065】
このようにして、画素ごとの色差の平均が求められる。
【0066】
この後、特定情報のパターンの周波数成分を抽出するため、求められた色差の平均(平均値データ)をバンドパスフィルタによりフィルタリングさせる。画像情報は平均化するとDC成分を中心とした周波数成分となり、特定情報のパターンは高周波成分となるので、バンドパスフィルタによりDC成分すなわち平均化された画像情報を除去することにより、埋め込まれていた特定情報のみを抽出することができる。また、追加する周波数を抽出できるならば、DC成分除去のためにハイパスフィルタを用いることも可能である。
【0067】
なお、スキャナの解像度としては、上記印字された原稿を1画点単位で読み取ることができるものであれば十分である。従って、通常の画像を再現できるスキャナであれば、上記手順で容易に特定情報を抽出することができる。
【0068】
次に、本発明の第1実施例を写真入りのIDカードなどに応用する場合の埋め込み場所の例を示す。特定情報をIDカードに埋め込む場合、例えば図20(a)に示すように、埋め込まれた特定情報の一部が写真にかかることが望ましい。これは、第3者が写真の貼り替えをしIDカードを偽造した場合、これを発見できるようにするためである。なお、特定情報を埋め込む範囲としては、図20(a)に示すもの以外にも、図20(b)〜20(d)に示すようなバリエーションが挙げられる。
【0069】
上記IDカードなどへの埋め込み場所の限定は第1実施例に限らず、後述する第2実施例〜第5実施例においても適用可能である。
【0070】
埋め込まれる特定情報は、最大で20桁(例えば身分証明書類を含めて最も桁数が多い一般のクレッジットカードの番号が16桁、暗唱番号が4桁)、すなわち約65bitのデータ容量が必要であるが、本例のように72bitあれば十分対応できる容量である。さらにパターンの埋め込み位置などを特定情報の一部に含めれば、より多くの特定情報を記録させることができる。
【0071】
以上説明したように、本発明の第1実施例によれば、視覚的に違和感を与えずに、より小さな面積により多くの特定情報を埋め込むことができる。また、その特定情報を容易に抽出することができる。
【0072】
なお、第1実施例において、第1、第2変換回路を用いずに、色信号に直に特定情報を埋め込んでもよい。すなわち、(5)〜(7)式のI,C1,C2,CC2に(1)〜(4)式を代入することにより、次の関係が得られるので、これを満足するように第1の色信号Y,M,Cから第2の色信号Y’,M’,C’を求めてもよい。
【0073】
Y’=Y+α/3 …(9)
M’=M−α/6 …(10)
C’=C−α/6 …(11)
(9)〜(11)式の+,−,−は、−,+,+となる場合をも表現するものとする(デ−タが“1”なら−で、“0”ならば+である)。
【0074】
この直接色信号に情報を追加する場合の装置の構成を図22に示す。まず、第1実施例と同様にコ−ド発生器2202から特定情報が発生し、パタ−ン発生回路2203にて矩形パタ−ンを生成する。この時色差方向に与える振幅値を±α/2とする。これを信号変換回路2204に入力して、カラ−信号に直接重畳できる形に変換する。例えば色差方向に変調をかけて追加したい場合のY,M,Cに与える変動量をDY,DM,DCとするとそれぞれ次の式で表すことができる。
【0075】
DY=+(−)α/3
DM=−(+)α/6
DC=−(+)α/3
以上の式によって求めた値を加算器2205に供給し、追加情報を含む色信号Y’,M’,C’を得る。以上の2202〜2205の工程を行うコ−ド発生・追加部2207を外付けのROMやボ−ドに纏めて、一般のプリンタや複写機に差し込むことにより、一般のプリンタ等に本発明の機能を持たせることも可能である。
【0076】
また、読み取りの際に128ラインの平均をとるので、128ライン毎に異なるパターンを埋め込むこともできる。
【0077】
以下、本発明の他の実施例を説明する。他の実施例において、同一部分は同一参照数字を付して詳細な説明は省略する。
【0078】
第1実施例では、特定情報を埋め込む際、色差方向に階調変化が与えられた。図3に示したように、彩度方向に階調変化を与えて特定情報を埋め込むメリットは人間の視覚感度は輝度方向の階調変化よりも色差(青−黄)方向の階調変化に対しては低いので、違和感を与えることなく、特定情報を埋め込むことができることであったが、色差方向の階調変化よりも彩度方向の階調変化に対してはさらに感度が低いことがわかっている。そのため、次に、色差方向ではなく、彩度方向に階調変化を与えて特定情報を埋め込む第2実施例を説明する。
【0079】
図6は本発明の第2実施例に係る画像処理装置における埋め込み処理部を示すブロック図である。
【0080】
図6に示すように、本埋め込み処理部には入力系601が設けられる。入力系601からは、カラー画像に相当する第1の色信号Y,M,Cが第1変換回路602に供給される。第1変換回路602は入力系601から供給される第1の色信号Y,M,Cに基づいて、変換を行い、輝度信号Iおよび2つの色差信号C1,C2をそれぞれ生成する。なお、ここまでの構成は、第1実施例の場合と同じである。輝度信号Iは第2変換回路607及びパターン発生回路606に供給される。また、色差信号C1は第1加算器603及びパターン発生回路606に供給される。色差信号C2は第2加算器604及びパターン発生回路606に供給される。
【0081】
また、本埋め込み部には、第1実施例の場合と同様に、コード発生器605が設けられる。コード発生器605はカラー画像に埋め込むべき特定情報を保管し、その特定情報をコードの形で発生し、パターン発生回路606に供給する。パターン発生回路104はコード発生器103から供給されてきたコード及び第1変換回路602から供給されてきた輝度信号I、色差信号C1,C2に基づいて矩形波状の2つのパターン信号を発生し、第1加算器603及び第2加算器604にそれぞれ供給する。なお、パターン信号を発生する過程において、画像の彩度が算出される。
【0082】
第1加算器603は第1変換回路602からの色差信号C1に、パターン発生回路606からのパターン信号を加算(または、減算)する。加算結果としての信号CC1が、第2変換回路607に供給される。また、第2加算器604は第1変換回路602からの色差信号C2に、パターン発生回路606からのパターン信号を加算(または、減算)する。加算結果としての信号CC2が、第2変換回路607に供給される。第2変換回路607は第1変換回路602からの輝度信号I,加算器603からの信号CC1及び加算器604からの信号CC2に基づいて、変換を行い、第2の色信号Y’,M’,C’を生成する。第2の色信号Y’,M’,C’は誤差拡散処理回路608に供給される。誤差拡散処理回路608は供給される第2の色信号Y’,M’,C’を誤差拡散処理し、誤差拡散パターンを発生する。発生した誤差拡散パターンは出力系609に供給される。出力系609は例えばプリンタであり、供給される誤差拡散パターンに応じて画像を出力する。なお、上記誤差拡散処理回路608を用いずにシステム構成することも可能である。この場合は、第2変換回路607から第2の色信号Y’,M’,C’が出力系609に直接供給される。そして出力系609は第2の色信号Y’,M’,C’に相当する画像を出力する。
【0083】
次に、第2実施例の動作を説明する。
【0084】
まず、第1実施例の場合と同様に、カラー画像に相当する第1の色信号Y,M,Cが、入力系601より第1変換回路602に供給される。第1変換回路602においては、上記入力系601から供給される第1の色信号Y,M,Cが、第1実施例で説明した(1)〜(3)式に従って、輝度信号I、色差信号C1,C2に変換される。上記第1変換回路602からは、輝度信号I、色差信号C1,C2がパターン発生回路606に供給される。
【0085】
一方、コード発生器605において、特定情報がコードの形で発生され、パターン発生回路606に供給される。次に、パターン発生回路606において、上記コードに基づき、2つの色差方向に関するパターン信号が発生される。発生したパターン信号は第1加算器603において色さ信号C1に、第2加算器604において色差信号C2にそれぞれ加算される。この場合、パターン発生回路606において、色差信号C1及びC2から、色差信号C1、C2がなすベクトルと同じ成分をもつ一定量の特定情報を埋め込む。すなわち、埋め込む特定情報の量(振幅)を±α/2とすると、色差信号C1,C2にパターン信号を加算した後の信号CC1、CC2はそれぞれ次式に表す通りである。
【0086】
CC1=C1±α・C1/(2Cc) …(12)
CC2=C2±α・C2/(2Cc) …(13)
ここでCcは入力画像の彩度を表す。Ccは次式によって求める。
【0087】
Cc=SQRT{(C1) +(C2) } …(14)
この後、出力系に供給するための色信号Y’,M’,C’を求める手順は第1実施例と同様である。
【0088】
なお、入力されたカラー画像がべた一色のモノクロ的な画像である場合、色差信号C1、C2は共に0であるため、彩度Ccも0となり、画面内のほとんど画点について色差方向を定めることができない。このため、上記特定情報を埋め込むことが困難になる。そこで、このように色差信号C1、C2が共にある一定の範囲内の値にとどまり、入力画像がモノクロ的画像であると見做された場合は、Y−Mの色差方向に対して特定情報を埋め込むように処理を切り替える。すなわち、画面内における彩度Ccの分布を求め、その分布の及ぶ範囲が予め設定した値に収まるならば、色差信号C1は変化させず、色差信号C2のみを変化させる。すなわち、色差信号C2にパターン信号を加算した後の信号CC2は次式に表す通りである。
【0089】
CC2=C2±α/2 …(15)
これは、第1実施例の処理と同じである。
【0090】
もしくは、そこでこのようにC1、C2が共にある一定の範囲内の値にとどまり、入力画像がモノクロ的画像であると見なされた場合は特定情報の埋め込みを行わないようにすることも可能である。
【0091】
また、無彩色近傍では人の目にとって敏感に感じることがある。このため、特に無彩色近傍においては特定情報の埋め込みを行わないようにすれば、人の目で識別されにくくできる。
【0092】
埋め込む特定情報の振幅や周期の設定については、人間の視覚限界を考慮に入れて検討することが必要である。この場合、現れるパターンはその振幅が小さいほど、またその周期が短いほど、人の目には目立たないものとなる。
【0093】
さらに、第1実施例においても説明した図3から明らかなように、周期を短くしておけば、振幅をかなり大きくしても人の目で識別される恐れがない。また、上記パターンの振幅そのものが大きいので、ノイズに埋もれてしまう可能性が少ない。従って、SN比の高いセンサを使用しなくても、パターンを容易に抽出することができる。
【0094】
上記加算器603によって生成された信号CC1は第2変換回路607に供給される。また、加算器604によって生成された信号CC2は第2変換回路604に供給される。次に、輝度信号I,色差信号C1,及び信号CC2は第2変換回路607によって、第2の色信号Y’,M’,C’へ変換される。この場合の変換は第1実施例でも説明した(5)〜(7)式に従って行われる。但し、(5)〜(7)式中のC1をCC1に代えて考える。
【0095】
こうして、特定情報が画像情報に埋め込まれた後の画像が得られる。
【0096】
上記求めた第2の色信号Y’,M’,C’は誤差拡散処理回路608に供給される。誤差拡散処理回路608においては、誤差拡散パターンが生成される。
【0097】
出力系609においては、図2(b)に示すように、主走査方向に向かって、特定情報に相当する9バイトのデータが繰り返して埋め込まれ、副走査方向に向かって、全く同一のパターンが繰り返して埋め込まれる。このようにして特定情報は画像情報に埋め込まれて印字されることになる。
【0098】
ここで、さらに多くの特定情報の埋め込みができる技術を説明する。この技術においては、入力画像の色度に応じて埋め込む特定情報の量を変化させるように制御する。
【0099】
図7は同一周期のパターンに対する色度別の感度を被験者を用いて調査した結果の分布を表した概略図である。図7において、横軸に色差がとられ、縦軸に輝度がとられる。また、塗り漬した色の薄い領域ほど感度が高いことを表している。同図から色差が低く、中間的な輝度を持つ色の部分に対してパターンを埋め込むと、同パターンが人の目でかなり識別されやすいことがわかる。従って、特に、塗り漬しのない核に相当する感度の高い色度領域内の色に対しては、パターンの埋め込みをしないか、もしくは振幅を小さく押さえ、感度が低くなるに従って埋め込むパターンの振幅を大きくするように制御する必要がある。
【0100】
これに対処するためには、図6のブロック図において、パターン発生器606の内部にパターン信号の付加量を決定づける振幅係数を記憶するメモリ(図示せず)を設ける。パターン発生器606は第1変換回路602から供給されてくる輝度信号I、色差信号C1,C2に応じて、適当な振幅係数を上記メモリから取り出す。この場合、例えばLUT(Look Up Table )が参照される。そして、パターン発生器606は取り出したメモリの振幅係数に従って、色差信号C1,C2にそれぞれ付加すべきパターン信号の振幅を変化させる。すなわち、無彩色近傍などの感度の高い領域ではパターン信号の付加をしないか、もしくはその振幅を小さく抑えるように、パターン発生器606にパターン信号を発生させる。これにより、発生したパターン信号はそれぞれ加算器603,604において色差信号C1,C2に付加される。振幅係数をβとすると、色差信号CC1,CC2は次のように表される。
【0101】
CC1=C1±α・β・C1/(2Cc) …(16)
CC2=C2±α・β・C2/(2Cc) …(17)
このようにして、視覚的に一層識別されにくくなり、より多くの特定情報の埋め込みが可能となる。
【0102】
次に、上記手順で出力された特定情報の読み取り処理について説明する。
【0103】
本システムの読み取り部には、上記埋め込み処理部の処理によって印字された画像から特定情報を読み取るためのスキャナ(図示せず)がう設けられる。スキャナはRGB(Blue,Green, Yellow)色分解系フィルタを搭載している。
【0104】
特定情報の読み取りの手順は第1実施例の場合と同様である。ただし、第1実施例における説明の中で、一部異なる箇所がある。図5を参照すると、第1実施例ではステップA16において、GとBとの色差DD(G−B方向の色差成分)を求める。一方、第2実施例ではステップA16において、SQRT{(G−B)+(R−G)}を計算して彩度DDを求める。
【0105】
また、第1実施例ではステップA17において、色差DDが合計Dnに加算される。一方、第2実施例ではステップA17において、彩度DDが合計Dnに加算される。上記以外の手順は第1実施例の場合と同様である。これにより、画素ごとの彩度の平均が求められる。
【0106】
この後、パターンの周波数成分を抽出するため、求められた色差の平均(平均値データ)をバンドパスフィルタによりフィルタリングさせる。これにより、DC成分すなわち平均化された基の画像情報が除去され、埋め込まれていた特定情報のみを抽出することができる。
【0107】
なお、スキャナの解像度としては、上記印字された原稿を1画点単位で読み取ることができるものであれば十分である。したがって、通常の画像を再現できるスキャナがあれば、上記手順で容易に特定情報を抽出することができる。
【0108】
以上説明したように、本第2実施例によれば、第1実施例の場合に比べて、視覚的により一層識別しにくくし、より多くの特定情報を埋め込むことができる。また特定情報を容易に抽出することができる。
【0109】
なお、第2実施例において、第1、第2変換回路を用いずに、色信号に直に特定情報を埋め込んでもよい。すなわち、(5)〜(7)式及び(1)〜(4)式から次の関係を得られるので、これを満足するように第1の色信号Y,M,Cから第2の信号Y’,M’,C’を求めてもよい。但し、この場合、(5)〜(7)式におけるC1をCC1に代えて計算する。
Y’=Y±α(2Y−M−C)/(6・SQRT{(M−C)+(Y−M)})…(18)
M’=M±α(2M−C−Y)/(6・SQRT{(M−C)+(Y−M)})…(19)
C’=C±α(2C−Y−M)/(6・SQRT{(M−C)+(Y−M)})…(20)
これを前述した図22の構成図を用いて説明すると、信号変換回路2204で次式のように各変動量を求めることになる。
DY=±α(2Y−M−C)/(6・SQRT{(M−C)+(Y−M)})
DM=±α(2M−C−Y)/(6・SQRT{(M−C)+(Y−M)})
DC=±α(2C−Y−M)/(6・SQRT{(M−C)+(Y−M)})
次に第3実施例を説明する。
【0110】
一般に、画像の中の濃度変化が平坦な部分においては、微々たる変化を与えただけでその部分が目立つが、濃度変化が激しい部分では、多少の変化を与えても視覚的に目立たない性質がある。本実施例では、このような特性が利用される。すなわち、濃度変化が大きい部分には特定情報の埋め込みを強くし、平坦な部分では特定情報の埋め込みを弱くする。
【0111】
図8は本発明の第3実施例に係る画像処理装置における埋め込み処理部を示すブロック図である。
【0112】
図8に示すように、本埋め込み処理部には入力系801が設けられる。入力系801からはカラー画像に相当する第1の色信号Y,C,K(ブラック)が第1変換回路802に供給される。第1変換回路802は入力系801から供給される第1の色信号Y,M,C,Kに基づいて、変換を行い、輝度信号Iおよび2つの色差信号C1,C2をそれぞれ生成する。輝度信号Iは第2変換回路809,高域抽出回路807,及びパターン発生回路806に供給される。また、色差信号C1は第1加算器803及びパターン発生回路806に供給される。色差信号C2は第2加算器804及びパターン発生回路806に供給される。
【0113】
また、本埋め込み処理部にはコード発生部805が設けられる。コード発生器805はカラー画像に埋め込むべき特定情報を保管し、その特定情報をコードの形で発生し、パターン発生回路806に供給する。パターン発生回路806はコード発生器103から供給されてきたコード及び第1変換回路802から供給されてきた輝度信号I、色差信号C1,C2に基づいて図2(a)に示すような矩形波状のパターン信号を発生し、かけ算器808a、808bに供給する。そして、高域抽出回路805は第1変換回路802から供給される輝度信号Iに応じて、良く知られた高域成分抽出処理を行い、高域成分の強さに従ってパターン信号の振幅を決定づける係数kをLUT等を用いて求め、かけ算器808a、808bに供給する。かけ算器808a、808bはパターン発生回路806からのパターン信号(s)と高域抽出回路807からの係数kとを掛け合わせ、その出力を第1加算機803及び第2加算機804にそれぞれ供給する。
【0114】
第1加算器803は第1変換回路802からの色差信号C1に、かけ算器808aからの信号を加算(又は、減算)する。加算結果としての信号CC1が、第2変換回路809に供給される。また、第2加算器804は第1変換回路802からの色差信号C2に、かけ算器808bからの信号を加算(又は、減算)する。加算結果としての信号CC2が、第2変換回路809に供給される。第2変換回路809は第1変換回路802からの輝度信号I,加算器803からの信号CC1及び加算器804からの信号CC2に基づいて、変換を行い、第2の色信号Y’,M’,C’,K’を生成する。第2の色信号Y’,M’,C’,K’は誤差拡散処理回路810に供給される。誤差拡散処理回路810は供給される第2の色信号Y’,M’,C’,K’を誤差拡散処理し、誤差拡散パターンを発生する。発生した誤差拡散パターンは出力系811に供給される。出力計811は例えばプリンタであり、供給される誤差拡散パターンに応じて画像を出力する。
【0115】
次に、第3実施例の動作を説明する。
【0116】
まず、カラー画像に相当する第1の色信号Y,M,C,Kが、入力系801より第1変換回路802に供給される。第1変換回路802においては上記入力系801から供給される第1の色信号Y,M,C,Kが、輝度信号I、色差信号C1,C2に変換される。上記第1変換回路802からは輝度信号I、色差信号C1,C2がパターン発生回路806に供給される。
【0117】
本実施例における(1)〜(3)式に対応する変換式は、
I=1−((Y+M+C)/3+K)
C1=M−C
C2=Y−M
となり、(5)〜(7)式に対応する変換式は、
Y’=1−(I+K)+(CC1+2CC2)/3
M’=1−(I+K)+(CC1−CC2)/3
C’=1−(I+K)−(2CC1+CC2)/3
K’=K
となる。つまり、スミ量Kは輝度信号に影響するが、色差信号C1,C2には直接関係せず、本発明のように変換の前後で輝度を変えないためには、上述した式になる。
【0118】
一方、コード発生器805において、特定情報がコードの形で発生され、パターン発生回路806に供給される。次に、パターン発生回路606において、上記コードに基づき、2つのパターン信号が発生される。この場合、パターン発生回路806において、色差信号C1およびC2から、色差信号C1、C2がなすベクトルと同じ成分をもつ一定量の特定情報を埋め込む。また、特定情報を埋め込む前と後との色差信号の変換関係は第2実施例で説明した式(12)〜(14)と同様である。上記パターン発生回路806は第2実施例の場合と同様に、パターン信号の付加量を決定づける振幅係数を記憶するメモリ(図示せず)が備えられる。パターン発生器806は第1変換回路802から供給されてくる輝度信号I、色差信号C1,C2に応じて、適当な振幅係数を上記メモリから取り出す。この場合、例えばLUTが参照される。そして、パターン発生器806は取り出したメモリの振幅係数に従って、色差信号C1,C2にそれぞれ付加すべきパターン信号の振幅を変化させる。すなわち、無彩色近傍などの感度の高い領域ではパターン信号の付加をしないか、もしくはその振幅を小さく抑えるように、パターン発生器806にパターン信号を発生させる。
【0119】
上記発生したパターン信号はかけ算器808a,808bにおいて、高域抽出回路807からの係数kにより、その振幅がさらに制御されて、第1加算器803及び第2加算器804に供給される。この場合、例えば、高域成分が少なく抽出されるところでは、係数kによって振幅が小さく抑えられる。そして、かけ算後のパターン信号は第1加算器803において色差信号C1に、第2加算器804において色差信号C2にそれぞれ加算される。そして、第2変換回路809において、出力系に供給するための色信号Y’,M’,C’,K’が求められる。その後、誤差拡散処理回路810で疑似中間調表現処理され、出力系811へ出力される。
【0120】
特定情報の読み取りの手順は、第1実施例の場合と同様である。
【0121】
以上説明したように、この第3実施例では、画像の中で高域成分が多く変化の頻繁な部分では埋め込むパターンの振幅を大きくし、高域成分が少なく変化の少ない部分では埋め込むパターンの振幅を小さくする。これにより、第2実施例の場合に比べて、視覚的により一層識別しにくくし、より多くの特定情報を埋め込むことができる。また特定情報を容易に抽出することができる。
【0122】
なお、視覚感度に応じて振幅を変えることは本実施例では必ずしも必要ではない。
【0123】
また、この第3実施例において、第1,第2変換回路を用いずに、色信号に直に特定情報を埋め込むには、下記の式を満足するように第1の色信号Y,M,C,Kから第2の色信号Y’,M’,C’,K’を求めればよい。また、この埋め込みは、第1、第2実施例で図22を用いて説明したと同様、信号変換回路2204において下式における変化量を求め、この変化量を入力系2201からの色信号に加えることにより行われる。
【0124】
Y’=Y+(−)α/3
M’=M−(+)α/6
C’=C−(+)α/6
K’=K
第1実施例から第3実施例では副走査方向には全く同じ情報を埋め込んだが、128ラインの平均をとっているので、128ライン毎に別々の情報を埋め込むことにより、情報量を増やしてもよい。さらに、1つの特定情報の単位は7Byteに限らず、いくらでもよい。
【0125】
また、第2実施例の視度感度に応じたパターン信号の振幅制御、第3実施例の高域量に応じたパターン信号の振幅制御は全実施例において実施可能である。
【0126】
なお、第1〜第3実施例中の、色信号に直接特定情報を埋め込む場合の構成図を図22に示す。ここでバンド除去回路は後述する図9のバンド除去回路903と同じ働きをするものであり、なくてもよい。また情報加工部は第4実施例で導入されるものであり、ここでは不要である。
【0127】
次に、第4実施例を説明する。
【0128】
上述の実施例では一定の周期で埋め込みデータを振幅変調して得られたパターンを画像に重畳したが、本実施例では2次元フーリエ変換面上の多数の周波数成分を特定情報データに応じて多重し、多重周波数成分を有する2次元的な縞模様をカラー画像信号に追加する。
【0129】
図9は本発明の第4実施例に係る画像処理祖装置における埋込み処理部示すブロック図である。
【0130】
図9に示すように、本埋め込み処理部には入力系901が設けられる。入力系901からはカラー画像に相当する第1の色信号Y,M,Cが第1変換回路902に供給される。第1変換回路902は入力系901から供給される第1の色信号Y,M,Cに基づいて、第1の変換を行い、輝度信号Iおよび2つの色差信号C1,C2をそれぞれ生成する。第1の変換は第1実施例と同様である。輝度信号Iは第2変換回路908に供給される。また、上記2種類の色差信号C1,C2のうち、色差信号C1は第2変換回路908に供給され、色差信号C2はバンド除去回路903、加算器903を介して第2変換回路908に供給される。バンド除去回路903は第1変換回路902からの色差信号C2に例えば8×8の移動平均処理を行い、画像情報以外の情報を取り除く。すなわち、バンド除去動作はローパスフィルタ動作である。これは、入力系901から供給された画像信号が既に本方式により特定の情報(高周波数成分)が既に埋め込まれている場合もあるので、直流付近の成分からなる画像情報のみを取り出すためである。
【0131】
また、本埋め込み処理部にはコード発生器904が設けられる。コード発生器904はカラー画像に埋め込むべき特定情報を保管し、その特定情報をコードの形で発生し、情報加工部905に供給する。情報加工部905はコード発生器904から供給されるコード暗号化や圧縮化等の処理をし、処理結果をパターン発生回路906に供給する。パターン発生回路906は情報加工部905から供給されてきたコードに基づいた多重周波数成分を有するパターン信号を発生し、加算器907に供給する。
【0132】
加算器907はバンド除去回路903からの色差信号C2にパターン発生回路906からのパターン信号を加算(又は、減算)する。加算結果としての信号CC2が、第2変換回路908に供給される。第2変換回路908は第1変換回路902からの輝度信号I,色差信号C1,および加算器907からの信号CC2に基づいて、第2の変換を行い、第2の色信号Y’,M’,C’を生成する。第2の変換処理は第1実施例と同様である。第2の色信号Y’,M’,C’は出力系909に供給される。出力系909は例えばプリンタ、ファクシミリ、カラー複写機であり、供給される第2の色信号Y’,M’,C’に応じて画像を出力する。
【0133】
次に第4実施例の動作を説明する。
【0134】
まず、入力した第1の色信号Y,M,Cを輝度信号I、及び色差信号C1,C2に変換する。このときの変換式は前述した式(1)〜(3)による。なお、色信号は0〜1の値で表し、Y=M=C=0は白、Y=M=C=1は黒を表す。
【0135】
ここで、入力された原稿もしくは画像データがあらかじめ本実施例に基づく技術により特定情報を記録したものである場合を想定する。この場合、印字後の原稿もしくは画像データから古い情報を除去し、本来の画像データのみを抽出する必要がある。バンド除去回路903により色差C2に対してたとえば8×8の移動平均を求めて、その値を改めてC2の画像データとすることにより、画像信号のみを取り出す。なお、平均化する画素数はプリンタの画素数に従属している。または、上記色差方向についてフーリエ変換を行って、埋め込んである特定情報を抽出し、抽出した周期成分のみを除去することにより画像データのみを求めてもよい。
【0136】
この画像データに対して加算器907により特定情報の埋め込みを行い、第2変換回路908を経て色信号Y’,M’,C’として出力部909に供給する。ここで、I,C1,C2から色信号Y’,M’,C’への変換は第1実施例において説明した式(5)〜(7)に従って行われる。
【0137】
次に、特定情報の埋め込み手順を詳細に説明する。特定情報は第1実施例と同様にコード等の数値で表現されている。この値は暗号化もしくは圧縮化などの処理をあらかじめ情報加工部905において行う。第1実施例において参照した図2から明かなように、人間の階調識別能(識別階調数で表現される。)は輝度方向の変化に対して高く、色差(Y−B)方向の変化に対してはより低いことがわかる。本実施例でも、この特性を利用して特定情報の埋め込みを行う。
【0138】
パターン発生回路906は多重周波数成分を有する縞模様のパターン信号を発生するために、図10(a)に示すように主走査方向の軸および副走査方向の軸により構成されるフーリエ変換面を定義し、面上に所定の規則で配置された多数の点を有する。この多数の点に埋め込み情報のコードを構成する各ビットデータが所定の規則に従って配置される。各点は周期と振幅を有する。画像データの埋め込み位置に応じて各ビットデータの周期と振幅が加算されて埋め込みパターンが発生される。
【0139】
情報加工部905によって暗号化や圧縮化等の処理がされたコードはパターン発生回路906に供給される。パターン発生回路906に上記コードが供給されると、そのコードを構成する複数のビットが順番に上記フーリエ変換面の所定の位置にそれぞれ配置される。なお、各ビットの配置場所や配置順序は任意に決めることができる。ここでは、各ビットの配置位置は放射状に伸びる複数の線上に一定間隔で設けられているとする。すなわち、ビットの配置位置は原点を中心とする同心円状となる。この線と主走査方向軸とがなす角度をθとすると、角度θの値は0≦θ<πの範囲で与えられ、全範囲をn等分すると、θ=k/n・π(k=0〜n−1)である。n(分割数)は周期WLが短くなればなるほど大きな値に設定することができる。
【0140】
なお、周期WLは各ビットの位置と減点との距離に対応し、ナイキスト周波数に相当する周期(2ドット/cycle)に近くなるほど、分割数nを大きくすることができる。各ビットは各放射線上で視界限界周波数からナイキスト周波数までの間を均等に配置される。なお、フーリエ変換面はその原点からの距離が周期を表し、原点に近い程、周期は長く、原点からはなれる程、周期は短くなる。ナイキスト周波数はプリンタが表現できる高周波数成分の上限値である。
【0141】
ビットデータの配置の開始位置を特定するために、図10(a)に示すように、周期が視覚限界に相当する位置には1つを除いて特定情報とは無関係に常にオフまたはオン(図10(a)の例では常にオフ:0である)のビットを配置し、例外の1位置に常時オン、またはオフ(図10(a)の例では常にオン:0である)のドット(図10(a)のSとかかれた白丸)を配置する。この他の視覚限界ドットと区別されているドットをスタートビット(コードデータの各ビットの配置開始ビット)とする。
【0142】
このスタートビットから放射方向に順次ビットを配置し、ナイキスト周波数に相当するビット位置まで達したら、θを順次減少させて、次の放射線上に同様に配置する。図10(a)の丸内の数字はビットの配置順番を示す。これは、特定情報コードの上位ビットから順番に配置しても、反対に下位ビットから順番に配置してもよい。
【0143】
このように、たとえば比較的劣化の起こりにくい低周波のパターンにフーリエ変換面上のスタート開始位置確認のためのダミービット、すなわち特定情報に依存しないようなスタートビットSを常時ON(またはOFF)に設定しておく。スタートビットSの他の例を図10(b)および10(c)に示す。いずれもフーリエ変換面での視覚限界付近のみのビットの配置を示した図であり、図10(a)に準ずるものである。図10(b)は図10(a)の場合とは逆に、スタートビットを常時OFFに、それ以外の視覚限界位置のビットを常時ONにした場合を示す。図10(c)は視覚限界位置のすべてのビットを常時ONにし、しかしスタートビットに相当する位置のみ(図示白二重丸)について振幅WIを他より大きく、例えば2倍とすることにより視覚限界位置の他のビットと区別してもよい。
【0144】
パターン発生回路906はこのようにフーリエ変換面上に配置された特定情報の全ビットデータの周期、振幅をカラー画像の埋め込む画素の位置x,yに応じて加算して特定情報パターンΣΣβ(θ,WL)を発生する。Σはθ(0≦θ<180°),WL(視覚限界からナイキスト周波数まで)に関する合計である。
【0145】
ΣΣβ(θ,WL)=(WI/2)・cos(cosθ・x・2π/WL+sinθ・y・2π/WL) …(21)
ただし、WI/2は各ビットの振幅であり、ビットが0であれば、WI/2=0であり、1のビットの周波数成分のみが加算される。
【0146】
従って、加算器907の出力はCC2は次のように表される。
【0147】
CC2=C2+ΣΣβ(θ,WL) …(22)
次に周期WL,角度θ,および振幅WIの値の設定について説明する。まず、周期WLの取りうる範囲はおおまかに言えば、特定情報を埋め込む色差方向についての“視覚限界”からプリンタのナイキスト周波数までである。ただし、ここでいう“視覚限界”とは便宜上の表現であり、実際は濃度変化に対する感度が極度に落ちる地点の周波数を表している。“視覚限界”はプリンタに依存しない値である。ちなみに、色差(Y−B)方向についての視覚限界は2cycle/mmである。ここで、この値を具体的にプリンタの制御量に換算してみる。たとえば使用するプリンタが400dpi解像度であれば、視覚限界の1周期はおよそ8画素分に相当する。したがって、上記解像度のプリンタならば、周期WLの取りうる範囲は2〜8画素に相当する。つまり、ナイキスト周波数はプリンタが表現できる最大の周波数であるため、2画素に相当する。
【0148】
振幅WIの値は出力系のMTF(modulation transfer function)特性や周期構造に対する視覚特性などを考慮して設定する。図2に示すような識別能力を想定すると、例えば周期WLが8画素ならばWIは1/64、2画素ならば1/4というように周波数が高い成分ほど振幅WIの値を大きく設定して、データの効率化を図る。こうするのは、出力系のMTF特性の影響を受けて、高周波成分が特に劣化しやすい点を考慮したためである。
【0149】
この他、埋め込まれるパターンの周期範囲と分割数は出力系の表現可能な階調数、読み取り系などのSN比、読み取り時のサンプリング画素数などに従属する。また、角度θ(又は、分割数)も、読み取り系のSN比やサンプリング画素数などに従属する。
【0150】
なお、本実施例では、これらの周期や角度はフーリエ変換面上で等間隔に配置する場合について示したが、埋め込まれた特定情報の読み取り時にデータがマッチングしにくい等の支障がなければ、配置は必ずしも等間隔である必要はない。すなわち、図10(a)の例では同心円状に配置したが、完全な円ではなく、同心の楕円状に配置してもよい。
【0151】
一般のカラー原稿のほとんどは色差成分に高周波の周期成分を含まない。しかしながら、ごく希に線画や網点画像などでこの周期成分を含むものもある。これらの画像に特定情報を埋め込んだ場合、読み取り時に誤って実際には埋め込んでいない成分を埋め込んだものと見做してしまう場合もある。これを防ぐために、複数の周期成分を1つのビットとして取り扱うことが有効である。すなわち、あるビットに対して同じ内容であるダミーのビットを少なくとも1個設ける。ただし、こうすると、埋め込むことができる特定情報の量はダミービットの数に応じて減少する((ダミービットの数+1)分の1になる)。
【0152】
図11(a)および11(b)は上記の考えに基づくフーリエ変換面上のビット配置を示す。図11では説明の簡略化のため、常時オフのビットは図示省略する。番号が同じビットは同一のビットと見なすビットであることを表し、番号にダッシュがついているビットはダミービットである。図11(a)は放射線状に並んだ隣接する2ライン単位で同一ビットを配置した場合(2成分を1単位とした場合)の例を示す。すなわち、1ラインには通常通りビットを配置し、隣接ラインには逆の順番にダミービットを配置している。図11(b)は3ラインを1ブロックとし、ブロック単位で同一ビットを配置した場合(1ブロックに対して2ダミーブロックを配置した場合)の例を示す。いずれの場合も、通常ビットとダミービットが同一の放射線上もしくは同一の円周上に乗らない方が好ましい。また、二つの成分を同一ビットとして取り扱う場合は、読み取り時に平均化を行い、閾値処理を行うなどして、ビットの有無を確認するのが好ましい。また、ダミービットが2つ以上(同一のビットが3つ以上)ならば、多数決をとるという手順をとってもよい。
【0153】
ビットを上記のように扱うことにより、読み取り時の誤りを防止することができる。例えば、原稿が網点画像や線画である場合、まれに色差方向などに高い周波数成分を伴うことがあり、誤判定の原因となる。これを軽減させるために、複数の成分を一単位として取り扱う。
【0154】
なお、本実施例でも上述の実施例と同様に、第1変換回路902、第2変換回路908を用いずに、以下に示すように第2の色信号Y’,M’,C’に直接特定情報を埋め込むこともできる(図23)。この場合、追加する周期成分の量βの算出手順は前述した通りである。
【0155】
Y’=Y+(ΣΣβ)2/3 …(23)
M’=M−(ΣΣβ)/3 …(24)
C’=C−(ΣΣβ)/3 …(25)
次に、上記手順で印字された特定情報の読み取り処理について説明する。
【0156】
上記特定情報の読み取りには、RGB(Blue,Green,Yellow )色分解系フィルタを搭載したスキャナが用いられる。
【0157】
以下、図12のフローチャートを参照して、特定情報の抽出処理を説明する。なお、抽出するサイズはたとえば64×64画素程度もあれば十分である。ちなみに、上記サイズは400dpi に換算すると4×4mmであり、画像のほんのごく一部ですむ。言い換えると、本実施例では画像全体に特定情報パターンを重畳しなくても一部の領域のみに重畳し、その領域が既知であればよい。まず、RGB信号を入力する(ステップB01)。平均化を行うにあたっての分割数nをセットする(ステップB02)。mを1にセットする(ステップB03)。読み取り開始位置及び読み取りサイズをセットする(ステップB04)。読み取り対象の領域を切り出す(ステップB05)。入力したRGB信号のうち、色差G−Bのみを抽出するため、DD=G−Bをセットする(ステップ06)。追加したC2の成分を抽出したY,M,Cインクで追加する場合、C1=M−Cとして追加するが、読み取り信号はRGBモードではMの補色BのGとYの相当の差を求めるとC2に捕食する成分が算出できる。色差信号に対して二次元フーリエ変換を行い(ステップ07)、視覚限界の周波数(2cycle/mm)の成分に基づいて、スタートビット位置の確認を行う(ステップB08)。同スタート位置を手がかりに、ビットにおける周波数成分の有無を確認し、成分がない場合は“0”、あることを確認できた場合は“1”としてビット毎にチェックし、入力したデータを確認する(ステップB09)。mが分割数nに等しいか否かを判別する(ステップB10)。NOであれば、mに“1”を加算して(ステップB11)、ステップB04〜B09を繰り返す。YESであれば、ステップB12に進む。
【0158】
ステップB12では、データの信頼性を高めるため、複数の領域をサンプリングして、フーリエ変換面上で周期成分ごとに平均化する。また、このとき必要があれば、サンプリングを行う領域を広くとる。さらに、閾値処理をして、ビットの有無を確認する(ステップB13)。そして、特定情報を算出する(ステップB14)。読み取ったデータが暗号化されている場合は暗号解読を、圧縮されている場合は伸長の処理を行う(ステップB15)。なお、ステップB2,B3,B10,B11,及びB12はフーリエ変換面においてダミービットを備えていない場合(図10のように全てのビットに別々の情報を割り付ける場合)には省略される。
【0159】
以上説明したように、第4実施例によれば、埋め込むべき特定情報の量が多い場合であっても、視覚的に違和感を与えないようにすることができる。また、読み取り時に、画像が多少傾いても、間違いなく周期成分を検出でき、誤読み取りが少ない。
【0160】
なお、第4実施例は色差方向に特定情報を埋め込む場合について説明したが、第2実施例のように彩度方向に埋め込むように変形することや、第3実施例のように、視覚感度や輝度成分の高周波数成分に応じて埋め込むパターンの振幅を調整するように変形することが可能である。
【0161】
ここで、上記第1〜第4実施例は減法混色(Y,M,C)の色信号を扱う場合について説明したが、これらを加法混色(R,G,B)系に応用することもできる。つまり、スキャナで読み取ったRGB信号に対して特定情報をそのまま追加する。
【0162】
まず、色差(Y−B)へ追加する場合は、図1の入力系101からのY,M,Cの色信号がR,G,Bの色信号となり、誤差拡散処理回路10又あるいは主力系108へのY’,M’,C’がR’,G’,B’となる。そして、第1変換回路102における変換は、
I=(R+G+B)/3
C1=R−G
C2=G−B
となり、第2変換回路106における変換は、式(4)を前提として、
R’=I+(2C1+CC2)/3
G’=I+(−C1+CC2)/3
B’=I+(−C1−2CC2)/3
となる。また、図22のように直接埋め込むときは、入力系からの信号をR,G,B,出力系への信号をR’,G’,B’としたときの信号変換回路2204で生成される変化量DR,DG,DBは、
DR=+(−)α/6
DG=+(−)α/6
DB=−(+)α/3
となる。
【0163】
そして、彩度へ追加する場合は、図6において上記と同様な置き換えを行い、第2変換回路607における変換は、式(12)〜(14)を前提として、
R’=I+(2CC1+CC2)/3
G’=I+(−CC1+CC2)/3
B’=I+(−CC1−2CC2)/3
となる。また、図22にように直接埋め込むときの加算器2205で加える変化量は、
DR=±α・(2R−G−B)/(6・SQRT{(R−G)+(G−B)})
DG=±α・(2G−B−R)/(6・SQRT{(R−G)+(G−B)})
DB=±α・(2B−R−G)/(6・SQRT{(R−G)+(G−B)})
となる。
【0164】
次に第5実施例を説明する。
【0165】
第4実施例においては、周期成分をフーリエ変換面で同心円状または同心楕円状に配置する場合について説明した。一方、第5実施例においては格子状に配置した場合について説明する。
【0166】
なお、特定情報の埋め込みに関するおおまかな手順は第4実施例の場合と同様である。また、本実施例における埋め込み処理部は第4実施例で使用した図9と同じ構成となる。ただし、情報加工部905内部の処理が異なる。また、第1変換回路および第2変換回路を用いずに、色信号に直接特定情報を埋め込むことができることも、第4実施例の場合と同様である。
【0167】
第5実施例の動作を説明する。まず、図13に示すように、各ビットデータをフーリエ変換面上で格子状に配置する。各配置位置の主走査方向の周期がWL1、副走査方向の周期がWL2である場合、追加される情報の周期成分の量を表す式は次の通りである。ΣはWL1,WL2に関する合計である。
【0168】
ΣΣβ(WL1,WL2)
=(WI/2)・cos(x・2π/WL1+y・2π/WL2+β(WL1,WL2))
ここで、βは0≦β<2πの範囲で変化する位相差を表し、各周波数成分毎にその値を変えて、周期構造同士の重ね合わせの影響を軽減させる。ただし、WL1,WL2のいずれかがナイキスト周波数に相当する場合は、βの値がπ/2または3/2πに近い値にならないように設定し、周期成分の消失を防ぐ。
【0169】
なお、図13に示すように、WL1,WL2がともにナイキスト周波数に近く、劣化の起こりやすい位置には、周期成分は追加するものとする。
【0170】
なお、特定情報の抽出処理に関しては、第4実施例の場合と同様である。
【0171】
以上説明したように、第5実施例によれば、特定情報の量が比較的少ない場合には簡便に扱うことができる。なお、各周期成分間に傘ね合わせが生じやすく、比較的目障りな低周波数の周期成分が発生しやすくなる。これを防ぐために、各周期成分に対して0〜2πの範囲の位相差を与えて、重ね合わせの発生を抑える。これにより、画質の劣化を防ぐことができる。
【0172】
次に、第6実施例を説明する。
【0173】
図14は本発明の第6実施例に係る画像処理装置における埋め込み処理部を示すブロック図である。第6実施例では、本発明をカラープリンタに応用した場合を説明する。
【0174】
図14に示すように、本埋め込み処理部、すなわち、カラープリンタには入力系1401が設けられる。入力系1401からは、グラフィックデータ又はテキストデータが第1の色信号Y,M,Cとしてビットマップ展開部1402に供給される。ビットマップ展開部1402は入力系1401から供給される第1の色信号Y,M,Cに基づいて、ビットマップ展開を行い、加算器1407に供給する。また、本埋め込み処理部にはコード発生器1403が設けられる。コード発生器1403は入力系1401から供給されるグラフィックデータ等に埋め込むべき特定情報を保管し、その特定情報をコードの形で発生し、情報加工部1404に供給する。情報加工部1404はコード発生部1403から供給されるコードに対して暗号化や圧縮化等の処理をし、処理結果をパターン発生回路1406に供給する。一方、本埋め込み処理部には、高精細モード/通常モードの選択ができる切り替えモードセレクタ1405が設けられている。モードセレクタ1405からはいずれかのモードを示す信号がパターン発生回路1406に供給される。パターン発生回路1406は情報加工部1404から供給されてきたコード及びモードセレクタ1405からのモード指定信号に基づいてパターン信号を発生し、加算器1407に供給する。
【0175】
加算器1407はビットマップ展開部1402からの第1の色信号Y,M,Cに、パターン発生回路1406からのパターン信号を加算(又は、減算)する。パターン信号が加算された色信号Y’,M’,C’は誤差拡散処理回路1408に供給される。誤差拡散処理回路1408の出力は出力系1409に供給される。出力系1409は第2の色信号Y’,M’,C’に応じて、図形やテキストをプリントアウトする。
【0176】
次に、第6実施例の動作を説明する。
【0177】
本実施例では、図形等のグラフィックデータ又はテキストデータをビットマップ等に展開してパターンを得たときに、これに所定の周期成分を有するパターンを重畳する。このとき付加されるパターンは例えば書類の機密性を表すデータをコード化したものに基づいている。なお、パターンはこれまでの実施例でも説明したフーリエ変換面を使用して発生される。
【0178】
パターンの付加されるべきデータが、文字や2値グラフィック等の2値のデータである場合、印字される原稿における非印字部が完全な白紙、印字部がベタである可能性は高い。この場合、非印字部、印字部のいずれに対してパターン付加を行っても、その振幅は半量に減少されるので、付加パターンの抽出がしづらくなる。この問題を解消するために、パターンの付加と同時に、地肌(原稿の非印字部)に少量のインク量を与えるようにする。すなわち、パターン付加時に、非印字部に所定のインク量Y0,M0,C0を与える。この場合の各インク量は第4実施例で説明したナイキスト周波数の位置における周期成分の振幅WIの1/6程度が適当である。なお、Y0以外のインク量をさらにその半量にしてもよい。ただし、この場合は地肌が黄味がかってしまう可能性がある。地肌における輝度のバランスよりもカラーバランスを重視する場合は、地肌のインク量をY0=M0=C0としておく。上記インク量の変換式は次の通りとなる。
【0179】
Y’=Y0+(ΣΣβ)2/3 …(27)
M’=M0−(ΣΣβ) /3 …(28)
C’=C0−(ΣΣβ) /3 …(29)
なお、使用するプリンタが2値プリンタ又は表現可能な階調数の少ないプリンタである場合、パターンを付加したデータに対して誤差拡散処理回路1408によって誤差拡散処理をする。
【0180】
さらに、本実施例では、図示しないコントロールパネル上に高精細モード/通常モードを選択できるモードセレクタ1405が設けられている。ここでは、高精細モードが選択されているときにだけ、パターンの発生・付加の処理をさせるように設定してもよい。
【0181】
特にグラフィック画像に対してパターンを付加する場合には、線画が多くなる。この場合、入力時にバンド除去を行うと、情報そのものの劣化にもつながることになる。従って、図15に示すように、フーリエ変換面において線画像特有の周期成分(主走査方向、副走査方向軸に沿った成分)を配置しないようにする。
【0182】
なお、特定情報の抽出処理に関しては、第4実施例の場合と同様である。
【0183】
以上説明したように、第6実施例によれば、文字や2値グラフィック等の2値のデータを扱う場合であっても、無理なく特定情報の埋め込み、抽出を行うことができる。
【0184】
次に、第7実施例を説明する。
【0185】
図16は本発明の第7実施例に係る画像処理装置における埋め込み処理部を示すブロック図である。第7実施例では、本発明をカラーファクシミリに応用した場合を説明する。
【0186】
図16に示すように、本埋め込み処理部は2台のカラーファクシミリ、すなわち送信部161及び受信部162から成る。送信部161には入力系1601が設けられる。入力系1601からはデータが第1の色信号Y,M,Cとして圧縮/コード化部1602に供給される。圧縮/コード化部1602はデータを圧縮又はコード化して加算器1605にデータを供給する。一方、コード発生器1603は特定情報Aを保管し、その特定情報Aをコードの形で発生し、情報加工部1604に供給する。情報加工部1604はコード発生器1603から供給されるコードに対して暗号化や圧縮化等の処理をし、加算器1605に供給する。加算器1605は圧縮/コード化部1602からのデータに、情報加工部1604からのコード(特定情報A)を加算(又は、減算)する。コード(特定情報A)が加算されたデータは受信部162の情報分離部1606に転送される。
【0187】
情報分離部1606は転送されてきたデータから特定情報Aを分離させ、データ本体を伸長/展開部1607に、特定情報Aを情報合成部1610に供給する。伸長/展開部1607はデータ本体を伸長/展開処理して加算器1612に供給する。一方、コード発生器1608は受信部162の機体番号を表すコードや部署番号を表すコード(特定情報B)を発生して情報加工部1609に供給する。情報加工部1609はコード発生器1608から供給されるコード(特定情報B)に対して暗号化や圧縮化等の処理をし、情報合成部1610に供給する。情報合成部1610は情報分離部1606からの特定情報Aと情報加工部1609からの特定情報Bを合成して、パターン発生回路1611に供給する。パターン発生回路1611は合成されたコードに基づいてパターンを発生し、加算器1612に供給する。加算器1612は伸長/展開部1607からのデータに、パターン発生回路1611からのパターンを加算して、誤差拡散処理回路1613に供給する。誤差拡散処理回路1613は加算器1612からのデータを出力系1614に供給する。出力系1614は上記データを出力する。
【0188】
次に、第7実施例の動作を説明する。
【0189】
例えば2台のファクシミリ間でデータ(カラー情報)を転送するときには、送信側において特定情報を付加したい場合と受信側において特定情報を付加したい場合とが考えられる。まず、単純な手法としては、第4実施例で説明したようにデータにパターンを重畳してから送信部から送信し、受信部でそのまま受信するということが考えられる。しかしながら、カラー情報自体は容量が非常に大きいので、そのデータを圧縮して転送する場合も十分考えられる。また、データをコード化して転送する場合も有り得る。図16はこうした諸条件に対応して構築された場合の例を示している。
【0190】
データはあらかじめ送信部161の圧縮/コード化部1602においてコード化又は圧縮の処理が行われる。次にコード化された特定情報は加算器1605において、図17(a)及び17(b)に示すように、ヘッダ又はトレーラとして転送すべきデータ本体に連結される。このとき、データ本体と特定情報との境目にスタートビット又はエンドビットを目印として設けておく。ここで付加される特定情報としては、例えば送信部の機体を識別するための番号やデータの属性等を表すもの(例えば秘密事項の区分)、発信部署を示す番号をコード化又は暗号化したものが考えられる。一方、受信部162においては、受信した特定情報を含むデータを、いったんデータ本体と特定情報に分離し、必要があれば受信部の機体番号や部署番号を表す特定情報(コード)と転送されてきた特定情報(コード)とを合成する。合成後の特定情報はパターン発生回路においてパターンとして発生される。そして、このパターンを、第6実施例で説明したビットマップ展開と同様な処理をした後のデータに対して付加する。以下、誤差拡散等の処理を経て出力される。なお、上記手順において、受信部で特定情報の付加を行わずに、送信部でのみ特定情報の付加を行う場合も考えられる。
【0191】
なお、特定情報の抽出処理に関しては、第4実施例の場合と同様である。
【0192】
以上説明したように、第7実施例によれば、カラーファクシミリ間において、送信側における特定情報と受信側における特定情報の両方を転送データに付加することができる。また、送信側における特定情報のみを転送データに付加することもできる。
【0193】
次に、第8実施例を説明する。
【0194】
第6実施例ではカラープリンタに応用した場合を説明したが、第8実施例では、モノクロプリンタに応用した場合を説明する。なお、本実施例においては、第6実施例でも参照した図14を参照して説明する。
【0195】
図14は本発明の第8実施例に係る画像処理装置における埋め込み処理部を示すブロック図である。
【0196】
図14に示すように、本埋め込み処理部、すなわちモノクロプリンタには入力系1401が設けられる。入力系1401からは、テキストデータが第1の色信号K(図中ではY,M,Cとなっているが、Kであるものとみなす。)としてビットマップ展開部1402に供給される。ビットマップ展開部1402は入力系1401から供給される第1の色信号Kに基づいて、ビットマップの展開を行い、加算器1407に供給する。一方、コード発生器1403,情報加工部1404,モードセレクタ1405の構成は第6実施例の場合と同様である。ただし、パターン発生回路1406におけるフーリエ変換面は後述するように第6実施例の場合とは異なる。加算器1407,誤差拡散処理1408の構成は第6実施例の場合と同様である。出力系1409は供給される第2の色信号に応じて、モノクロの文字等を印字する。また、本実施例におけるモノクロプリンタは第6実施例におけるカラープリンタよりも高い解像度を有する。
【0197】
次に、第8実施例の動作を説明する。
【0198】
モノクロプリンタにおいては、色差方向や彩度方向に変調をかけることが困難である。しかしながら、モノクロプリンタはカラープリンタ以上に高い解像度、例えば、600dpi以上の解像度を要する。パターン発生回路1406においてパターンの発生する際には、フーリエ変換面が使用される。ただし、このフーリエ変換面においては輝度方向の変化に対する感度が高いので、視界限界の周波数は比較的高い。すなわち、視界限界の周波数8[cycle/mm]よりも高い周波数の成分を付加しなければならない。従って、図18に示すように、周期成分の配置可能範囲は制限される。なお、データに対するパターンの付加はカラープリンタの場合と同様に、ビットマップ展開の処理をした後に行われる。
【0199】
なお、上記手法では本来の非印字部が灰色がかって好ましくないと思われる場合は、印字される文字列に対して、ごく微量に行間隔や文字間隔を変えることにより、特定情報を埋め込む手法が考えられる。使用されるプリンタが高解像度である場合には、文字同士が縦横にずれていない限り、1ドット程度のずれならばほとんど目立たない。これを利用して行間と文字間を、行毎又は桁毎に変化させることによって特定情報を埋め込む。例えば、図19に示すように、行間L0,L1や文字間m0,m1を変化させる。また、例えば一般のA4版の文書であれば、10ポイント程度の大きさの文字を、40×36個を頁全体に配置されるものとする。この場合、すべての行間及び文字間を利用すると、39×35=74ビットものデータを埋め込むことができる。プリンタの解像度が高いほどさらに多くの特定情報を埋め込むことができる。
【0200】
なお、行間、文字間を、行毎又は桁毎に変化させることによって特定情報を埋め込む手法はテキストデータをビットマップに展開しないプリンタ、例えばサーマルプリンタ等でも適用可能である。すなわち、ヘッドの送りピッチ(文字ピッチ)、記録紙の送りピッチ(行ピッチ)を機械的に変調させても同様の効果を有する。
【0201】
以上詳述したように、本発明には、第1実施例から第8実施例を通して以下のような効果がある。
【0202】
本発明によれば、一般に輝度情報に対して、色差や彩度情報は視力限界が低い。言い換えれば色差や彩度は細かく、微妙な変化に対しては輝度より鈍い特性がある。一方、カラー記録では各色の濃度(輝度を含む信号)情報で輝度の視力限界で記録するプリンタが最も高画質となる。(なお、人間にとって視力限界以上の記録に対しては目に見えなくなるため不要となる。)このように輝度の視力限界に近くまで記録した場合には色差や彩度情報は人間には識別できないものとなる。本発明は、この識別できない記録がなされている部分、すなわち高い周波数での色差や彩度成分に情報をコード化して埋め込めば、視覚的に違和感を与えないように記録することができる。すなわち画質劣化を伴わない記録が可能となる。
【0203】
また、一般的な画像情報は色差や彩度が視力限界以上での周波数帯にはほとんど存在しないため、色差や彩度情報に変換してバンドパス処理することで画像情報から埋め込まれた特定情報(コード情報)を極めて高精度に分離して読み取ることが可能とになる。
【0204】
このように本発明を適用することによって、通常のプリンタ等に出力する際、視覚的に違和感を与えることなく、特定情報を記録することが可能になる。また、読み取りの時に使用するスキャナが視覚限界を越える高精度の分解能を備えていなくても、記録されたパターンを十分に読み取ることができる。例えば、通常の複写機で使用されている解像度のスキャナを使用することができる。
【0205】
また、一般的な画像情報において、視力限界を越える周波数帯には色差や彩度はほとんど存在しないため、画像情報を色差信号または彩度信号に変換してバンド除去処理することにより、記録された特定情報を極めて高精度に分離して抽出することが可能となる。これにより、読み取り時に画像情報と特定情報との取り違いを防止することができる。
【0206】
また、本発明によれば、人の目で識別できないバーコードの記録が可能となる。このため、例えば極めて小さな商品であって通常バーコードを付けることができず、もしくはバーコードを付けることでデザイン的に不都合であったものにも、バーコードを付けることが可能となる。
【0207】
また、本発明によれば、カラー画像の画質劣化を生じることなく、特定情報をカラー画像情報に記録することができ、カラー画像情報に記録した特定情報を高精度に分離して読み取ることもできる。
【0208】
また、本発明によれば、カラーの文字原稿やグラフィック画像に対しても無理なく特定情報の埋め込みができ、さらには、カラー画像以外のモノクロ画像やモノクロの文字原稿であっても、特定情報の目だたない埋め込みが可能である。従って、本発明をカラープリンタのみならず、カラーファクシミリやモノクロプリンタへの応用が可能である。
【0209】
本発明は上述した実施例に限定されない。例えば、第4実施例で説明した既に画像に別の情報が重畳されている場合に、その古い情報を取り除くためのバンド除去回路は第1〜第3実施例等の実施例に共通して使用可能である。また、埋め込む情報として出力系の詳細に関する例を説明したが、これもあくまでも一例であり、どのような情報を重畳してもよい。また、フーリエ変換面を用いて多重周波数情報を埋め込む第4〜第8実施例において、2次元フーリエ変換面に限らず、1次元フーリエ変換面を用いてもよい。
【0210】
【発明の効果】
以上のように本発明によれば、視覚的に違和感を与えることなく、また画像劣化を生じさせることなく、カラー画像等に別の情報を埋め込むことができる。また、埋め込まれた別の情報を高精度かつ容易に分離して読み取ることができる。
【図面の簡単な説明】
【図1】本発明の第1実施例に係る画像処理装置における埋め込み処理部を示すブロック図。
【図2】図1に示すパターン発生回路によって発生されるパターンを示す図。
【図3】輝度方向、色差方向、及び彩度方向に変化に対する人間の階調識別能を示すグラフ。
【図4】特定情報が埋め込まれた画像情報が印字される原稿および読み取り時に使用されるシートを示す図。
【図5】本発明の第1実施例に係る画像処理装置における読み取り処理部の処理を示すフローチャート。
【図6】本発明の第2実施例に係る画像処理装置における埋め込み処理部を示すブロック図。
【図7】同一周期のパターンに対する人間の色度別の感度の分布を示すグラフ。
【図8】本発明の第3実施例に係る画像処理装置における埋め込み処理部を示すブロック図。
【図9】本発明の第4および第5実施例に係る画像処理装置における埋め込み処理部を示すブロック図。
【図10】図9に示す第4実施例において使用されるフーリエ変換面上のビット配置を示す図。
【図11】図9に示す第4実施例において使用されるフーリエ変換面上の誤判定防止のためのビット配置を示す図。
【図12】本発明の第4および第5実施例に係る画像処理装置における読取り処理部の処理を示すフローチャート。
【図13】図9に示す第5実施例において使用されるフーリエ変換面上のビット配置を示す図。
【図14】本発明の第6実施例および第8実施例に係る画像処理装置における埋め込み処理部を示すブロック図。
【図15】図14に示す第6実施例において使用されるフーリエ変換面上のビット配置を示す図。
【図16】本発明の第7実施例に係る画像処理装置における埋め込み処理部を示すブロック図。
【図17】図16に示す第7実施例において転送されるデータフォーマットを示す図。
【図18】図14に示す第8実施例において使用されるフーリエ変換面上のビット配置を示す図。
【図19】図14に示す第8実施例において出力される文字原稿上の文字列を示す図。
【図20】第1〜第8実施例において、本発明を写真入りのIDカードなどに応用する場合の例を示す図。
【図21】色差の座標系における各色の関係を示す図。
【図22】第1〜第3実施例の変形例を示すブロック図。
【図23】第4実施例の変形例を示すブロック図。
【符号の説明】
101,601,801,901、2201、2301…入力系
102,602,802,902…第1変換回路
103,605,805,904、2202、2303…コード発生器
104,606,806,906、2203、2305…パターン発生回路
106,607,809,908…第2変換回路
107,608,810…誤差拡散処理回路
108,609,811,909、2206、2308…出力系
807…高域抽出回路
903…バンド解除回路
905…情報加工部
2204、2306…信号変換回路
2205、2307…加算器

Claims (15)

  1. カラー画像とは別の情報を表すデータ信号を発生する手段と、
    カラー画像の3原色成分の合計が処理により変わらないようにカラー画像の色差及び彩度のいずれかを前記データ信号により変化させることにより前記カラー画像に前記別の情報を埋め込む画像処理手段とを具備したことを特徴とする画像処理装置。
  2. 前記画像処理手段は、カラー画像の3原色成分信号を輝度信号、第1、第2の色差信号に変換する手段と、第1の色差信号に対して前記別の情報を埋め込む手段とを含むものであることを特徴とする請求項1記載の画像処理装置。
  3. 前記第2の色差信号は赤−シアンの色差信号、第1の色差信号は黄−青の色差信号であることを特徴とする請求項2記載の画像処理装置。
  4. 前記画像処理手段は、カラー画像の3原色成分信号を輝度信号、第1、第2の色差信号に変換する手段と、第1及び第2の色差信号により表される彩度に対して前記別の情報を埋め込む手段とを含むものであることを特徴とする請求項1記載の画像処理装置。
  5. 前記画像処理手段は、カラー画像の減法混色あるいは加法混色の3原色信号を前記データ信号に応じて変化させることによりカラー画像の色差及び彩度のいずれかを変化させて、前記カラー画像に前記別の情報を埋め込むものであることを特徴とする請求項1記載の画像処理装置。
  6. 前記画像処理手段は、前記デ−タ信号をカラ−画像の色差及び彩度のいずれかの変化量に変換する手段と、この変化量を前記カラ−画像に追加する手段とを含むものであることを特徴とする請求項1記載の画像処理装置。
  7. 前記画像処理手段により処理され別の情報が埋め込まれた第2のカラー画像を記録媒体に記録する手段をさらに具備することを特徴とする請求項1記載の画像処理装置。
  8. 第1のカラー画像の色差及び彩度のいずれかをこの第一のカラー画像とは別の情報を表すデータ信号により変化させることにより前記カラー画像に前記別の情報が埋め込まれた第2のカラー画像を入力する入力手段と、
    この入力手段により入力された前記第2のカラー画像から前記別の情報を抽出する抽出手段とを具備することを特徴とする画像処理装置。
  9. 前記抽出手段は、入力された前記第2のカラー画像を読み取る読取手段と、この読取手段により読み取られた前記第2のカラー画像を輝度信号、第1、第2の色差信
    号に変換する手段と、前記変換手段により変換された第1の色差信号から前記データ信号を分離させて取り出す分離手段とを含むものであることを特徴とする請求項8記載の画像処理装置。
  10. 前記抽出手段は、入力された前記第2のカラー画像を読み取る読取手段と、この読取手段により読み取られた前記第2のカラー画像を輝度信号、第1、第2の色差信号に変換する手段と、前記変換手段により変換された第1及び第2の色差信号により表される彩度から前記データ信号を分離させて取り出す分離手段とを含むことを特徴とする請求項8記載の画像処理装置。
  11. 前記抽出手段は、入力された前記第2のカラー画像信号から重複した第2のカラー画像を検出する手段と、前記検出手段により検出された前記重複した第2のカラー画像に対して平均化を行う手段とを含むものであることを特徴とする請求項8記載の画像処理装置。
  12. 前記抽出手段は、入力された前記第2のカラー画像に対して所定の周波数帯域のバンドパス処理をする手段を具備するものであることを特徴とする請求項8記載の画像処理装置。
  13. 前記画像処理手段は、カラー画像に基づき輝度の高域成分を検出する手段と、検出された高域成分に応じて前記別の情報を埋め込む量を加減する手段とを具備することを特徴とする請求項1記載の画像処理装置。
  14. カラー画像とは別の情報を表すデータ信号を発生する手段と、
    カラー画像の3原色成分の合計が処理により変わらないように前記発生する手段により発生されたデータ信号に応じた複数の周波数成分を有する縞模様を前記カラー画像に付加することにより前記カラー画像に前記別の情報を埋め込む画像処理手段とを具備することを特徴とする画像処理装置。
  15. 前記画像処理手段は、前記縞模様を構成する前記複数の周波数成分を平面上に配置する手段と、平面上に配置された複数の周波数成分に基づき前記縞模様を前記カラー画像に付加する手段とを具備するものであることを特徴とする請求項14記載の画像処理装置。
JP23246094A 1993-09-03 1994-09-02 画像処理装置 Expired - Lifetime JP3599795B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP5-219294 1993-09-03
JP21929493 1993-09-03
JP23246094A JP3599795B2 (ja) 1993-09-03 1994-09-02 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23246094A JP3599795B2 (ja) 1993-09-03 1994-09-02 画像処理装置

Publications (2)

Publication Number Publication Date
JPH07123244A JPH07123244A (ja) 1995-05-12
JP3599795B2 true JP3599795B2 (ja) 2004-12-08

Family

ID=26523038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23246094A Expired - Lifetime JP3599795B2 (ja) 1993-09-03 1994-09-02 画像処理装置

Country Status (1)

Country Link
JP (1) JP3599795B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3949679B2 (ja) * 1995-05-08 2007-07-25 ディジマーク コーポレイション ステガノグラフィシステム
EP0852441B1 (en) 1996-06-20 2010-08-25 International Business Machines Corporation Data hiding method
CA2265647C (en) * 1996-10-16 2003-09-23 International Business Machines Corporation Method and system for managing access to data through data transformation
JP3649537B2 (ja) * 1996-11-27 2005-05-18 日本アイ・ビー・エム株式会社 データハイディング方法及びデータ抽出方法
US7400727B2 (en) 1997-07-03 2008-07-15 Matsushita Electric Industrial Co., Ltd. Information embedding method, information extracting method, information embedding apparatus, information extracting apparatus, and recording media
JP3599621B2 (ja) 1999-11-19 2004-12-08 キヤノン株式会社 画像処理装置、画像処理方法及び記憶媒体
JP4401578B2 (ja) 2001-01-16 2010-01-20 キヤノン株式会社 情報処理装置及び方法及び記憶媒体
JP3774651B2 (ja) 2001-09-25 2006-05-17 キヤノン株式会社 画像処理装置及び方法並びにコンピュータプログラム及び記録媒体
JP3647405B2 (ja) 2001-09-26 2005-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
US7408680B2 (en) 2001-09-26 2008-08-05 Canon Kabushiki Kaisha Image processing apparatus and method
US7187476B2 (en) 2001-10-01 2007-03-06 Canon Kabushiki Kaisha Image processing apparatus and method, computer program, and recording medium
CA2435659A1 (en) 2002-07-23 2004-01-23 Kabushiki Kaisha Toshiba Image processing method
JP2007104176A (ja) * 2005-10-03 2007-04-19 Matsushita Electric Ind Co Ltd 画像合成装置および画像照合装置、画像合成方法ならびに画像合成プログラム
JP4956366B2 (ja) * 2007-10-16 2012-06-20 キヤノン株式会社 画像処理装置
JPWO2009087764A1 (ja) * 2008-01-09 2011-05-26 Zak株式会社 ウェーブレット変換した2次元バーコードの情報符号化方法
JP5162430B2 (ja) * 2008-12-10 2013-03-13 理想科学工業株式会社 画像処理装置および画像処理方法
CN102771109B (zh) * 2010-02-22 2016-10-26 杜比实验室特许公司 通过盖写视频数据进行视频传递和控制的方法、设备和系统

Also Published As

Publication number Publication date
JPH07123244A (ja) 1995-05-12

Similar Documents

Publication Publication Date Title
US6388767B1 (en) Image processing, copying, and printing apparatus having a part of a processing unit and a part of another unit formed as one inseparable unit
US6721440B2 (en) Low visibility watermarks using an out-of-phase color
US7310167B2 (en) Color converting device emphasizing a contrast of output color data corresponding to a black character
US6993149B2 (en) Embedding digital watermarks in spot colors
US8094869B2 (en) Fragile and emerging digital watermarks
US6704444B2 (en) Color image processing apparatus and color image processing method
US4953013A (en) Color image processing device
EP0733958B2 (en) Image processing apparatus
JP3258301B2 (ja) 符号化メッセージデータを有する出力カラー画像生成方法及び複数メッセージデータ項目の符号化方法
US5541741A (en) Image processing with anti-forgery provision
JP4227048B2 (ja) 画像処理システム
US6526155B1 (en) Systems and methods for producing visible watermarks by halftoning
EP0495914B2 (en) Color digital halftoning with vector error diffusion
US7061652B2 (en) Image processing apparatus and method using image information and additional information or an additional pattern added thereto or superposed thereon
US4974171A (en) Page buffer system for an electronic gray-scale color printer
JP3997720B2 (ja) 画像処理装置及び画像形成装置
US6268939B1 (en) Method and apparatus for correcting luminance and chrominance data in digital color images
US6239886B1 (en) Method and apparatus for correcting luminance and chrominance data in digital color images
CN100469097C (zh) 一种利用半色调图像挂网隐藏及提取图文信息的方法
US8055084B2 (en) Image processing device, image compression method, image compression program, and recording medium
US5668636A (en) Embedded data controlled digital highlight color copier
US7580155B2 (en) Tools to embed information into digital visual works
US7340092B2 (en) Image processing device, image processing method, program for executing image processing, and computer readable recording medium on which the program is stored
US6959385B2 (en) Image processor and image processing method
US5696842A (en) Image processing system for adaptive coding of color document images

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070924

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080924

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080924

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090924

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090924

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100924

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110924

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110924

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120924

Year of fee payment: 8