JP4137933B2 - 画像処理装置、プログラム、及び記録媒体 - Google Patents

画像処理装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP4137933B2
JP4137933B2 JP2005316543A JP2005316543A JP4137933B2 JP 4137933 B2 JP4137933 B2 JP 4137933B2 JP 2005316543 A JP2005316543 A JP 2005316543A JP 2005316543 A JP2005316543 A JP 2005316543A JP 4137933 B2 JP4137933 B2 JP 4137933B2
Authority
JP
Japan
Prior art keywords
image information
specific image
unit
specific
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005316543A
Other languages
English (en)
Other versions
JP2007124497A (ja
Inventor
嘉之 中井
明彦 谷口
耀一 嶋澤
浩一 角田
勝己 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2005316543A priority Critical patent/JP4137933B2/ja
Priority to US11/542,585 priority patent/US7860303B2/en
Priority to EP06022527A priority patent/EP1780609A3/en
Priority to CNA2006101366275A priority patent/CN1959545A/zh
Publication of JP2007124497A publication Critical patent/JP2007124497A/ja
Application granted granted Critical
Publication of JP4137933B2 publication Critical patent/JP4137933B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G21/00Arrangements not provided for by groups G03G13/00 - G03G19/00, e.g. cleaning, elimination of residual charge
    • G03G21/04Preventing copies being made of an original
    • G03G21/043Preventing copies being made of an original by using an original which is not reproducible or only reproducible with a different appearence, e.g. originals with a photochromic layer or a colour background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/0084Determining the necessity for prevention
    • H04N1/00843Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote
    • H04N1/00846Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote based on detection of a dedicated indication, e.g. marks or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00864Modifying the reproduction, e.g. outputting a modified copy of a scanned original
    • H04N1/00867Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00864Modifying the reproduction, e.g. outputting a modified copy of a scanned original
    • H04N1/00867Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message
    • H04N1/0087Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message with hidden additional data, e.g. data invisible to the human eye
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • H04N1/4413Restricting access, e.g. according to user identity involving the use of passwords, ID codes or the like, e.g. PIN
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • H04N1/4433Restricting access, e.g. according to user identity to an apparatus, part of an apparatus or an apparatus function
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Description

本発明は、画像処理装置、プログラム、及び記録媒体に関し、より詳細には、画像データに対してその複写を禁止するための特定画像情報を付加可能とした画像処理装置、その装置に組み込まれる特定画像付加用のプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
印刷原稿の不正な複写を防止するために、原稿を印刷する際に地紋などの特定画像情報を付与する手法が用いられている。この特定画像情報は、複写防止情報、或いはアンチコピー情報などとも呼ばれる。
例えば、PC等で動くアプリケーションからプリンタに画像データを送り、プリンタにて画像データを印刷出力するときに、印刷画像の複写を防止するための特定画像情報を上述の画像データとともにプリンタに送ることにより、プリンタでは、印刷画像のどこかにその特定画像情報を埋め込んで印刷出力させるようにする。そして、その特定画像情報が埋め込まれた印刷画像を、複写機を用いて複写しようとすると、その特定画像情報を検出した複写機が、複写印刷を出力しないようにしたり、或いは、“コピー禁止”等の文字を印刷して出力する、等の動作を行うようにする。
上述のような特定画像情報は、ユーザが識別できない形状で印刷画像に埋め込まれている場合の他に、複写を牽制するために、特定画像情報であることをユーザが識別できる形状で印刷画像に埋め込まれている場合がある。しかしながら、いずれにしても、複写機がこれら特定画像情報が埋め込まれた画像情報を複写するときに、複写機は画像情報に特定画像情報が存在していることを検出し、その検出結果に従って、予め定められた処理、例えば、上述のように複写自体を停止したり、“コピー禁止”等の文字を入れて複写画像を出力する処理を行う。
上述のような複写を禁止するための技術に関し、例えば特許文献1には、特定のパターンを付加した原稿を簡単に作成できるようにした複写機が開示されている。ここでは複写機は、原稿画像に特定マークを付加して画像を再生するための特定マークの発生手段と、読み取った原稿画像における特定のマークの有無を検出するマーク有無検出手段と、そのマーク有無検出手段で原稿画像における特定のマークを検出した場合に、複写動作を通常とは異ならせるようにする制御手段を備えている。
また、特許文献2には、特定マークの検出を容易に且つ精度よく行うことができる再生画像を得るようにした複写機が開示されている。ここでは、マーク付加手段により特定のマークを付加した画像を再生する機能を有する複写機において、マーク付加手段が径の異なる複数の同心円により構成された特定のマークを原稿画像に付加するようにしている。
特許文献1及び2に記載の技術を含め、特定画像情報を付加する方法としては、電子透かしのように周波数領域に情報を紛れ込ませる方法、バーコードなどを非画像エリアに付加する方法、ウォーターマークのような情報を画像エリアに付加する方法などがある。
特開平7−38737号公報 特開平7−36325号公報
従来技術による、特定画像情報を印刷画像に埋め込んで印刷出力を行うシステムでは、電子透かしは元画像情報によってはデコード困難な領域に付加情報を埋め込んでしまうと埋め込んだ情報が利用できなくなるという課題があり、バーコードなどを非画像エリアに付加する方法は、画像エリアが狭くなるという課題があり、ウォーターマークは原稿が醜くなるとともにトナーの消費量が多くなるという課題があった。
また、このような従来技術のシステムでは、印刷画像を読み込んで特定画像情報が含まれているかを検出する際に、印刷画像の特徴によっては誤認識が多くなる。例えば、或る原稿に特定画像情報が印刷されていないにも拘わらず、その原稿を複写した際にその原稿の特徴が特定画像情報の特徴と合致してしまい印刷動作をストップすることがある。また、その原稿の特徴が特定画像情報の特徴と合致していなくても何度も繰り返し複写することで擦れたり所謂ゴミや異物といったものが印刷され、それが特定画像情報の特徴と合致してしまい、その原稿に特定画像情報が印刷されていないにも拘わらず、印刷動作をストップしてしまうこともある。このように、ユーザの使用形態によって特定画像情報の検出精度が異なり、場合によっては検出できなくなることがある。
本発明は、上述のごとき実情に鑑みてなされたもので、画像情報の複写を禁止するために使用する特定画像情報を画像データに付加するに際し、その特定画像情報だけを確実に検出することができるような画像を出力することが可能な画像処理装置、その画像処理装置に組み込むためのプログラム、及び、そのプログラムを記録したコンピュータ読み取り可能な記録媒体を、提供することをその目的とする。
上述の課題を解決するために、本発明の第1の技術手段は、入力された画像データに画像処理を施し、画像を出力する画像処理装置において、前記画像処理を施す画像データを入力する複数の画像データ入力経路と、前記画像データに対して画像処理を施す際に、該画像データに対して特定の画像であることを意味する特定画像情報を付加する特定画像情報付加手段と、前記特定画像情報の色及び数を設定する特定画像情報設定手段とを備え、前記特定画像情報設定手段は、前記複数の画像データ入力経路のそれぞれに対し、予め前記特定画像情報の色及び数を設定しておくことを特徴としたものである。
の技術手段は、第1の技術手段において、前記特定画像情報設定手段は、前記特定画像情報の色及び数をユーザに選択させる付加特性選択手段を有することを特徴としたものである。
の技術手段は、第1又はの技術手段において、前記特定画像情報設定手段は、前記特定画像情報の色及び数の設定に応じて、前記特定画像情報の大きさを異ならしめて設定することを特徴としたものである。
の技術手段は、第1乃至第のいずれかの技術手段において、前記特定画像情報設定手段は、前記特定画像情報を付加する位置をユーザに選択させる位置選択手段を有することを特徴としたものである。
の技術手段は、第1乃至第のいずれかの技術手段において、前記特定画像情報付加手段は、前記特定画像情報を複数組み付加する手段であり、該複数組みの特定画像情報は、それぞれの特定画像情報が所定の間隔で配置される情報であることを特徴としたものである。
の技術手段は、第1乃至第のいずれかの技術手段における画像処理装置に組み込み、該画像処理装置における演算処理装置を、各手段として機能させるためのプログラムである。
の技術手段は、第の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、画像情報の複写を禁止するために使用する特定画像情報を画像データに付加するに際し、その特定画像情報だけを確実に検出することができるような画像を出力することが可能となる。
図1は、本発明の画像処理装置が適用されるデジタル複合機の構成例を説明するためのブロック図で、図2は、図1の画像処理装置における本発明に主として係わる構成のみを示すブロック図で、図3は、図2の画像処理装置における判定部の構成例を示すブロック図である。図1で例示するデジタル複合機1は、複写機、プリンタ装置、ファクシミリ装置、及びスキャナ装置の機能を備えた複合機として構成されたものである。
デジタル複合機1は、演算を行うCPU及び演算に伴う一時的な情報を記憶するRAM等からなる機器制御部14を備えている。機器制御部14には、デジタル複合機1を制御するための制御プログラムを記憶しているROMが含まれる。また、機器制御部14には、デジタル複合機1が行う処理を管理するための管理情報(各種の制御情報)を記憶するメモリである管理部17が接続されている。また、機器制御部14には、記録用紙に記録された画像を読み取って画像データを生成する画像読取部11が接続される。この画像読取部11には、原稿画像を画像データとして取り込むためのCCD11aと、原稿の有無を検知する原稿検知センサ11bとが設けられる。
また、機器制御部14には、記録用紙上に画像データを形成する画像形成部として機能する画像形成部13が接続される。この画像形成部13には、画像データを一時的に記憶するメモリ13aと、メモリ13aが記憶した画像データから画像を形成して記録用紙に記録する印字部(LSU)13bと、印字部13bで画像形成するための給紙用のトレイ13c,13dとが設けられる。そして、デジタル複合機1は、画像読取部11が生成した画像データをメモリ13aに一旦記憶させた後、印字部13bで画像を形成することができる。このようにして、デジタル複合機1は複写機として機能する。
また、図1で例示する機器制御部14には、ファクシミリ通信を行うFAXモデム18が接続されており、FAXモデム18は公衆回線網N3に接続されている。デジタル複合機1は、画像読取部11が生成した画像データを、FAXモデム18に接続された公衆回線網N3を介して他のファクシミリ装置4へファクシミリ通信にて送信することができる。また、デジタル複合機1は、公衆回線網N3を介して他のファクシミリ装置4から送信された画像データをFAXモデム18で受信し、受信した画像データから画像形成部13で画像を形成することができる。このようにして、デジタル複合機1はファクシミリ装置として機能する。
また、機器制御部14には、デジタル複合機1が外部と情報を送受信するための通信部(送受信手段)15が接続されている。通信部15は、社内LAN等の通信ネットワークN1に接続可能であり、通信ネットワークN1には1又は複数のパーソナルコンピュータ(PC)5が接続可能である。デジタル複合機1が単独で動作している通常の状態では、通信部15は通信ネットワークN1に接続されており、通信ネットワークN1を介してPC5との間で情報を交換する。
デジタル複合機1は、画像読取部11が生成した画像データを通信部15からPC5へ送信することができる。このようにして、デジタル複合機1はスキャナ装置として機能する。また、デジタル複合機1は、PC5から送信された画像データを通信部15で受信し、受信した画像データから画像形成部13で画像を形成することができる。このようにして、デジタル複合機1はプリンタ装置として機能する。
通信ネットワークN1は、更にインターネット等の広域通信ネットワークN2に接続されている。通信部15は、電子メールに画像データを添付して送信するなどの方法により、広域通信ネットワークN2に接続されたインターネットファクシミリ装置2や外部PC3との間で、通信ネットワークN1及び広域通信ネットワークN2を介して画像データを受信することができる。このようにして、デジタル複合機1はインターネットファクシミリ装置として機能する。
また、機器制御部14には、使用者からの操作を受け付ける操作部12が接続されている。操作部12は、使用者の操作により制御命令などの情報が入力されるタッチパネル又はテンキー等の入力部12aと、操作のために必要な情報を表示する液晶パネル等の表示部12bとからなっている。操作部12には、このデジタル複合機1の管理者や利用者(すなわち操作者)を認証するための認証コードが入力される。また、認証コードは、FAXモデム18や通信部15を介して外部機器から入力する場合もある。
機器制御部14には、ハードディスク(HD)16が接続されている。ハードディスク16は、画像読取部11が生成した画像データ等の画像処理に係る画像データを記憶する。また、機器制御部14には消去手段19が接続される。消去手段19は、機器制御部14による制御に従って、ハードディスク16に記録保持されているデータを消去する。
さらに、機器制御部14には、本発明に関わる特定画像情報を付加する処理を実現する画像処理部20が接続される。この画像処理部20は、特定の画像であることを意味する特定画像情報を画像データに対して付加するための特定画像情報付加手段20bを有している。なお、特定画像情報は、画像記録処理でいうと、特定の画像が記録された記録物であることを意味する情報である。
特定画像情報付加手段20bは、画像データに付加すべき特定画像情報を予め保持しておき(若しくは他のアクセス可能なメモリに保持させておき)、機器制御部14による特定画像情報の付加に関する制御に従って特定画像情報を画像データに付加し、メモリ13aに保持させる。画像処理部20で処理された画像データは、印字部13bで最終的に出力される形態の印刷データとなる。特定画像情報は、上述のように複写を禁止する(或いは複写禁止であることをユーザに認知させて牽制を行う)ために使用されるものであり、例えばカラー複合機であれば黄色の特定画像情報を視認できないように付加する。また、モノクロ複合機であれば(或いはカラー複合機であってもモノクロ出力の場合には)濃度調整した黒(グレー)を視認できないように付加する。
本発明では、特定画像情報付加手段20bに加え、特定画像情報の色及び/又は数を設定する特定画像情報設定手段20cを備えるものとする。特定画像情報設定手段20cは、例えば図示したように画像処理部20に備えられる。そして、特定画像情報設定手段20cは、機器制御部14による設定制御に従って特定画像情報の色や数を設定しておき、特定画像情報付加手段20bは、画像データに付加すべき予め保持した特定画像情報に対し、特定画像情報設定手段20cで設定された色や数に基づいて特定画像情報を画像データに付加する。また、本発明では、特定画像情報を、設定された色や数をもつ画像として画像処理(記録再現等)させる手段を有するものとする。
また、特定画像情報設定手段20cは、特定画像情報の色及び/又は数を操作部12などからユーザに選択させる付加特性選択手段を有することが好ましい。さらに、特定画像情報設定手段20cは、特定画像情報を付加する位置をユーザに選択させる位置選択手段を有することが好ましい。この位置選択手段では、例えば、特定画像情報を用紙に万遍なく配置するのか隅だけに配置するのかなどといったことを操作部12などからユーザ選択できるものとする。なお、ユーザ設定可能なユーザは管理者ユーザであることが好ましい。また、特定画像情報設定手段20cは、特定画像情報の色及び/又は数の設定に応じて、自動的に特定画像情報の大きさを異ならしめて設定するよう構成してもよい。
上述のような構成を有する本実施形態の画像形成装置は、画像読取部11で読み取った画像データや、FAXモデム18や通信部15を介して外部から入力した画像データを印字部13bで画像形成する際に、例えば後に例示するような特定画像情報を付加する。
このように、画像処理を施す画像データを入力する複数の画像データ入力手段を備えておき、特定画像情報設定手段20cは、複数の画像データ入力手段のそれぞれに対し、予め特定画像情報の色及び/又は数を設定しておく。ここで、複数の画像データ入力手段としては、画像データの入力経路の違いだけでよい
特定画像情報の設定及び付加処理においては、上述した好ましい形態などを適宜採用して処理を実行すればよい。例えば、特定画像情報としての所定のパターン(コピー禁止)画像は、YMCKのトナーの色の単色から選択可能で、1枚の出力用紙に付加するパターン色は複数個であり同じ色であるようにしてもよい。また、モノクロコピー(FAX,プリンタ)モードで印字した場合は付加するパターンの色を黒にし、カラーモードで印字した場合は、YMCKの4色から選択可能であるようにしてもよい。さらに、再生紙でも検出できるよう黄色のパターンを選択した場合は黒のパターンを選択した場合より濃くするかドットを大きくするようにしてもよい。画像データをモノクロ2値で印字する場合は画像データを印字する濃度値より、付加パターンの濃度値を薄くするなどしてもよい。
また、所定のパターン画像は、同じ画像を少なくともM+N個以上付加するようにしてもよい。実際に検出するときに、そのパターンをNパターン検出することで付加情報を付加した原稿であることを識別することで、付加したパターンの1部分だけを検出するだけで良くなるので、付加パターンを目立たないパターンにすることが可能となる。また、黒で印字する時の付加印字パターンのプリミティブを大きさを黄色で印字する時より小さくすることで、再生紙に印字した時も検出することができるだけでなく、目立ち難い薄く小さなパターンにすることが可能となる。
また、付加するパターン画像は、1セット2コピーの時に有益となるよう、少なくとも給紙用紙の4隅に付加するようにしてもよいし、2in1の時に有益となるよう、原稿用紙の4隅に付加するようにしてもよい。しかしながら、付加するパターン画像は、給紙用紙全面に付加することで、切り貼りしても検知可能となる。また、付加するパターン画像の数は、セキュリティ強度によって可変するようにしてもよい。
一方で、画像処理部20は、画像読取部11で読み取られてメモリ13aに保存された画像データに特定画像情報が含まれるか否かを検出する特定画像情報検出手段20aを有している。特定画像情報検出手段20aの検出結果、画像データに特定画像情報が含まれていれば、機器制御部14は、その画像データの複写を禁止する(画像形成部13における画像形成を無効にする)制御を行う。
このように、本発明では画像処理部20などに画像無効化手段を備えることが好ましい。換言すると、この画像無効化手段は、特定画像情報検出手段20aで特定画像情報が存在すると判定されたときには、画像読取部11で読み取った画像情報を無効にする手段である。また、原稿によっては、文字が込み入ったものやゴミと呼ばれる出力(印刷やFAX出力等)部分があるので、付加する所定の画像は、上述したように同じパターンをM+N以上付加するよう特定画像情報設定手段20cで設定して画像形成しておき、特定画像情報検出手段20aは、識別する場合に、付加したパターンをM個識別した時点で検出するようにしておくことが好ましい。このM個という情報は、当然、付加する数のうちのパーセンテージで決定しておいてもよい。
本発明では、特定画像情報設定手段20cによる特定画像情報の色や数(や位置)の設定により、特定画像情報の検出時に、ユーザの使用形態に依らず特定画像情報の検出精度を上げることができる。
図2及び図3を参照して、本発明に係る特定画像情報の付加や検出について、より具体的に説明する。デジタル複合機1は、主として、利用者が原稿をセットするなどして印刷等を行うための操作パネル12と、原稿のデータを入力するスキャナ,FAX,プリンタ等の画像入力部10と、画像入力部10で入力した画像データを一時的に格納するメモリ13aと、同じく画像入力部10で入力された原稿の画像データに、特定画像が出力されているか(特定画像情報が含まれているか)を判定する特定画像情報検出手段(判定部)20aと、メモリ13aに格納された画像データに対し、所定の条件(例えばアクセス権や処理経路の条件)に基づき特定画像情報を付加する特定画像情報付加部(特定画像情報付加手段を具備)20bと、1又は複数種類の特定画像情報を格納し特定画像情報付加部20bで付加を実行する際に該当する種類の特定画像情報を特定画像情報付加部20bに供給する特定画像情報管理部17aと、特定画像情報管理部17aで供給する特定画像情報に対してその色や数や位置などの設定(付加条件)を行い記憶する付加条件管理部17b(特定画像情報設定手段20aを含む)と、メモリ13aに格納された画像データに対し、上述の所定の条件が合った場合に、付加条件管理部17bで管理されその中から選択された色や数や位置に基づき、特定画像情報付加部20bで特定画像情報を付加して(重ね合わせて)出力する出力部(プリンタ13b等)と、それらを制御する機器制御部14とで構成される。
このような構成により、画像処理部20は、入力された画像データを展開処理し、印刷実行データとして画像メモリ13aに記憶保持させる。また、画像処理部20では、特定画像情報設定手段20cで色や数を設定し、設定された色や数をもつ特定画像情報を、特定画像情報付加手段20bにより画像データに付加して、印刷実行データを生成する。そして、プリンタ13bは、画像メモリ13aに記録保持された印刷実行データを使用して、記録紙等に対する画像形成を行う。
判定部20aは、主として、画像データを入力する入力部21と、入力した画像データから特定画像情報を検出する検出部23と、検出部23で検出した特定画像情報の数をカウントするカウンタを有しカウント値や座標等を管理する管理部22と、検出部23での判定条件(特定画像情報の数等)を設定する判定条件設定部24と、検出部23で検出された数が判定条件を満たすか否かを判定して結果情報として機器制御部14に通知する判定結果通知部25とで構成される。
次に、本発明に係る特定画像情報について具体例を挙げて説明する。図4及び図5は、本発明に係る特定画像情報付加処理の一例を概略的に説明するための図である。
ここで説明する例では、特定画像情報33は、管理者やベンダが入力されると想定した画像データ31の特徴(例えば罫線32)として予め定めた特徴に重ならない特徴をもった情報であるものとする。すなわち、ここで例示する特定画像情報付加手段20bでは、特定画像情報検出手段20a(或いは他の機器に具備された同様の特定画像情報検出手段)によって特定画像であることを確認できるように、出力される画像31に所定の画像(アンチコピー)33を付加する際に、所定の画像33の有する特徴と出力される画像31の特徴32が重ならないように付加する。
ここで、予め定めた特徴は、図4で例示するように、画像データ中に含まれる線分のうち多くの線分がもつと定めた所定角度(線分の角度)に関する特徴であることが好ましい。そして、特定画像情報33は、その所定角度と異なる角度をもった所定長の直線(出力結果も符号33で図示)を出力するための情報とする。すなわち、入力されると想定した画像データ31の特徴と、付加する特定画像情報33の特徴とで、お互いの特徴が重ならないように角度(この例ではほぼ45°)を付けて付加する。このように、アンチコピー画像を原稿画像に対して斜めになるように付加するなど、原稿画像の特徴とアンチコピーの特徴が異なるような形で付加されることにより、後述の特定画像情報検出手段20a(或いは他の機器に具備された同様の特定画像情報検出手段)での検出精度を向上させることが可能となる。
また、特定画像情報付加手段20bは、特定画像情報33で図示するように、特定画像情報を複数組み付加する手段であり、この複数組みの特定画像情報は、所定長の直線を複数一直線上に周期的に配置したものを、一直線と垂直な方向に等間隔で複数列配列させる情報であることが好ましい。
また、特定画像情報33で図示するように一つの直線は実線であってもよいが、点線或いは破線であってもよい。点線又は破線であった場合、特定画像情報の一構成要素は、複数のドット或いは短線となる。また、図5では、画像データ34が横向きの場合を例示しており、画像データ34に含まれる罫線35、並びに特定画像情報36についても、図4のそれと同様である。
また、特定画像情報33で図示するように、特定画像情報付加手段20bは、特定画像情報を複数組み付加する手段であり、その複数組みの特定画像情報は、それぞれの特定画像情報が所定の間隔で配置される情報であることが好ましい。ここで、特定画像情報33を複数組み付加することで上述の直線を構成要素とする破線が形成され、その破線が斜めに複数本配置されるように付加する。
図6及び図7は、特定画像情報の特徴を設定するため設定例を説明するための図で、特徴設定時にデジタル複合機1の表示部12bが表示する表示画面の一例を示すものである。本発明では、特定画像情報設定手段20cの一部として、予め定めた特徴に重ならない特徴を設定する特徴設定手段を備えることが好ましく、これらの設定は、少なくとも一般利用者には実行できないように、例えば初期設定としてベンダや管理者にのみ実行可能としておく必要がある。
図6に示すGUI画面例40aでは、特定画像情報の特徴の設定条件を設定するための項目として、角度入力欄43、数(特定画像情報を何組付加するかを示す数)入力欄44、位置(特定画像情報を原稿のどのような位置に付加するかを示す位置)入力欄45、色(特定画像情報をどの色で付加するかを示す色)入力欄46、出荷先(デジタル複合機1をどの国や地域に出荷するかを示す出荷場所)入力欄42、及び次項へ進むための次項ボタン47を設けている。その他、図6の例では、特定画像情報を付加するか否かを設定するためのチェックボックス41も備えている。
角度入力欄43は、画像データに多く含まれると予想した線分の角度と異なる角度を入力或いは選択入力し、その入力した角度をもった直線或いは直線群を、特定画像情報として付加するための設定欄である。本発明では斜め線を付加することが可能であるが、例えば海外では罫線が入ったものが少ないが日本では罫線や写真が入ったものが多いので、罫線などが度重なるコピーなどによって擦れてきたときに、それをマークと誤認識して複写機がストップしてしまうといったことを未然に防ぐために、特定画像情報として例えば45°の直線を付加するようにする。実際、罫線や文字のアンダーラインや削除ラインは文書中に頻繁に出てくるが、角度を付けた線は少ない。その点を鑑みて、斜め線のマークとすることで、文章が擦れた場合の誤認識を未然に防ぐとよい。このように、原稿の特徴というのは縦線とか横線とかの線画が含まれることが多く、それに対応するため、それに対してダブらないように斜めの線を付加画像として付加する。このように、本発明では、お互いの特徴が重ならないように付加する条件(角度)を設定する手段を有することが好ましい。
出荷先入力欄42は、仕向け地(デジタル複合機1の使用地域)を入力(選択入力)するための設定欄であり、ここに入力された仕向け地は、予めベンダが指定した特定画像情報における角度とリンクしており、角度を設定しなくても仕向け地を設定することで、間接的に角度を設定可能とするためのものである。例えば、米国は罫線が少ないので、45°よりもう少し小さい角度にリンクさせておいてもよい。このように、上述の特徴設定手段は、予め定めた特徴に重ならない特徴を、画像処理装置の使用地域を設定することで、それに応じて設定する手段を有し、仕向け地に応じてお互いの特徴が重ならないように角度を付けて付加するようにしておくことが好ましい。
数入力欄44では、複数組みの特定画像情報の組数(上述のM+N)を入力、或いは選択入力する欄であるが、併せて、画像を無効化するための検出レベルに相当する上述のMの数も設定できるようにしておいてもよい。その他、数に加え、1つの特定画像情報(マーク)間の距離や位置関係などによっても検出するようにしてもよい。また、例えば、ユーザが写真モードを選択してコピーする場合には、パーセンテージを下げる、パターンが所定数の組あるか、一定の間隔で所定数(3つなど)検出されたとかが、管理者により初期設定可能とするとよい。
位置入力欄45では、特定画像情報を付加する位置を選択設定する欄である。位置としては、全体や四隅、両端、外枠などの中から選択設定できるようにするとよい。全体(全面)に付加するのは、印刷された紙が一部切り取られてコピーされた場合であっても、マーク検出及びそれに基づくコピー防止に対応できるようにするためである。
色入力欄46では、複数の色から特定画像情報をどの色で付加するかユーザが選択可能となっている。図7に示すGUI画面例40bでは、色設定の項目として、コピー用色入力欄48a、ファックス用色入力欄48b、プリンタ用色入力欄48c、及び前項(GUI画面40a)に戻るためのもどるボタン49を設けている
その他、図示していないが、職種の設定欄を設けておき、職種によっても付加する角度を変更してもよい。例えば、デザイナが利用するような複写機においては、斜め線が多いと考えられ、場合によっては真っ直ぐの線とするか、或いは複数の角度の線を組み合わせて1組のマークを形成するなどすればよい。
チェックボックス41は、特定画像情報を付加するか否かを設定するための設定欄であり、このように、特性画像情報付加手段20bで特定画像情報の付加を実行するか否かを判定するための付加条件を設定する付加条件設定手段を備えることが好ましい。この付加条件設定手段も図2の付加条件管理部17bなどで実現すればよい。このチェックボックス41のごとき設定欄は、PC側のプリンタドライバによって対応欄をチェックするとか、機器の操作部12で操作するとか、手動で行うようにすればよい。
このような付加条件としては、自動的に設定するものであってもよく、例えば、親展処理であるか否か、ユーザ認証によりアクセス権判定を行った結果、特定のアクセス権レベルの利用者の出力物(印刷物等)であるか否か、といった判定に基づき、付加を実行するか否かを決定するようにしてもよい。例えば、部長が印刷する場合には重要な原稿であると自動的に判断して、自動的に付加画像の付加を行うとか、一旦ホールドしてパスワードなどの入力を待って出力する場合、すなわちホールドプリント機能(親展プリント機能)を使用する場合には、他人に見られたくない原稿であると判断して自動的に付加画像の付加を行う。
そして、デジタル複合機1では、画像読取部11で読み取った画像データや、FAXモデム18や通信部15を介して外部から入力した画像データを印字部13bで画像形成する際に、予め定められた付加条件に従って、その付加条件に該当する画像データに対して付加条件に応じ、さらに設定された色、数、及び位置で定められた形態で、特定画像情報を付加する。特定画像情報の付加条件は、付加条件管理部17bで設定保持しておく。例えば、画像処理部20のメモリ若しくは画像処理部20がアクセス可能なメモリに設定保持させておくとよい。
図8は、本発明に係る特定画像情報の他の例を説明するための図である。本発明では、図8の特定画像情報50で図示するように、列52における上述した所定長の直線51が、垂直な方向に隣接する列53の直線51とは重ならないように配置されることが好ましい。すなわち、本発明では、所定の周期で発生される所定の画像の中で、隣接する並びの所定の情報が重ならないように(千鳥状となるように)付加することが好ましい。このような形状で付加することにより、この出力物を見た者に特定画像情報が付加されていることを視認させ難くすることができる。
図9は、本発明に係る特定画像情報の他の例を説明するための図である。本発明では、特定画像情報に類似した画像64を、一部の組みの特定画像情報の代わりに付加する類似画像付加手段を備えることが好ましい。図9の特定画像情報60で図示するように、列62には2つの特定画像情報61を付加し、その他に類似画像64(この例ではギザギザのライン)を付加しており、また、他の列63においても4つの特定画像情報61を付加し、その他に類似画像64を付加している。このように、本発明では、付加される所定の画像以外に所定の画像に類似した画像も合わせて付加することが好ましい。このような形状で付加することにより、この出力物を見た者に特定画像情報が付加されていることをカムフラージュすることで視認させ難くすることができる。
また、本発明では、原稿の特徴を検出して、その特徴に応じて、付加するパターンの色や数や角度を変更するようにしてもよい。この形態にあっては、デジタル複合機1は、入力された画像データの特徴を抽出する画像特徴抽出手段を備え、特定画像情報設定手段20cは、特定画像情報の特徴が、その画像特徴抽出手段で抽出された画像データの特徴に重ならないように、複数種類の特定画像情報(予め定めた各特徴に対応)の中から付加する特定画像情報の色や数や角度を選択して決定する決定手段を有するようにする。
ここで、図1で説明した機器制御部14について補足的に説明する。図1の制御部14は、実際には、CPU,MPU等の中央演算処理装置と、特定画像情報付加プログラムを含むファームウェアが格納されたROM(但し書き換え可能なROMであることが好ましい)と、ファームウェアを中央演算処理装置が読み出して実行する実行領域としてのRAMなどにより構成される。このように、本発明は特定画像情報付加及び設定プログラムとしての形態も採用できる。このプログラムとしては、少なくとも本実施形態に係る特定画像情報付加及び設定処理を中央演算処理装置に実行させるためのプログラムであればよい。つまり、このプログラムは、デジタル複合機1等の画像形成装置やその他の画像処理装置に組み込み、その装置における中央演算処理装置を、上述した特定画像情報付加手段20b及び特定画像情報設定手段20c(付加特性選択手段や位置選択手段も含む)や、その他、上述する、特定画像情報検出手段20a、画像読取手段の一部、画像無効化手段、特徴設定手段、類似画像付加手段、付加条件設定手段、画像特徴抽出手段等の各手段として、機能させるためのプログラムである。
次に、機器制御部14の例として、それを備えた、図10に示す一般的な情報処理装置の構成例を説明する。情報処理装置70は、各種情報を入力するためのキーボード,マウス,記録媒体読取装置,他の機器からの入力用のネットワーク機器などの入力装置74、各種情報を表示するためのCRT(Cathode−ray Tube),LCD(Liquid Crystal Display),PDP(Plasma Display Panel)などのディスプレイである表示装置75(入力装置74と併せてタッチパネルを構成してもよい)、ネットワーク接続装置(ネットワークに接続して通信を行うためのネットワークボード等の通信機器)などの通信装置や印刷装置,記録媒体用記録装置などの外部出力装置等の出力装置76、さらには、プログラムを記録したハードディスクやROM73、そこに格納されたプログラムを実行するためのCPU71、及びその実行領域としてのRAM72をその主要な構成要素とし、それらがバス77により接続されているものとして例示している。このプログラムは、ユーザが各種設定時などに使用する際に容易となるように、表示装置75用のGUI(グラフィカルユーザインターフェース)を備えるようにするとよい。そして、これら装置で取り扱われる情報は、その処理時に一時的にRAM72に蓄積され、その後、各種ROM73やハードディスクに格納され、必要に応じて、CPU71によって読み出し、修正・書き込みが行われる。
さらに、本発明は、上述のごとき画像処理装置に組み込まれるプログラム、或いはデータを記録したコンピュータ読み取り可能な記録媒体としての形態も採用できる。このような記録媒体としては、具体的には、CD−ROM、光磁気ディスク、DVD−ROM、FD、フラッシュメモリ、及びその他各種ROMやRAM等が想定できる。そして、上述のごときプログラムを記録媒体に記録して流通させることにより、本発明に係る機能の実現を容易にする。このプログラムは、例えば、コンピュータ等の情報処理装置に、上述のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出して画像処理装置の制御部に転送するなどして、プログラムを画像処理装置において実行可能に格納することができる。そして、必要に応じて読み出すことにより、本発明に係わる機能を実行することができる。
本発明の画像処理装置が適用されるデジタル複合機の構成例を説明するためのブロック図である。 図1の画像処理装置における本発明に主として係わる構成のみを示すブロック図である。 図2の画像処理装置における判定部の構成例を示すブロック図である。 本発明に係る特定画像情報付加処理を概略的に説明するための図である。 本発明に係る特定画像情報付加処理を概略的に説明するための図である。 特定画像情報の特徴を設定するため設定例を説明するための図である。 特定画像情報の特徴を設定するため設定例を説明するための図である。 本発明に係る特定画像情報の他の例を説明するための図である。 本発明に係る特定画像情報の他の例を説明するための図である。 一般的な情報処理装置の一構成例を示す図である。
符号の説明
1…デジタル複合機、2…インターネットファクシミリ装置、3…外部PC、4…ファクシミリ装置、5…PC、10…画像入力部、11…画像読取部、11a…CCD、11b…原稿検知センサ、12…操作部、12a…入力部、12b…表示部、13…画像形成部、13a…メモリ、13b…印字部、13c,13d…トレイ、14…機器制御部、14a…制御部、14b…判定部、15…通信部、16…ハードディスク、17…管理部、17a…特定画像情報管理部、17b…付加条件管理部、18…FAXモデム、19…消去手段、20…画像処理部、20a…特定画像情報検出手段、20b…特定画像情報付加手段、20c…特定画像情報設定手段、21…入力部、22…管理部、23…検出部、24…判定条件設定部、25…判定結果通知部。

Claims (7)

  1. 入力された画像データに画像処理を施し、画像を出力する画像処理装置において、前記画像処理を施す画像データを入力する複数の画像データ入力経路と、前記画像データに対して画像処理を施す際に、該画像データに対して特定の画像であることを意味する特定画像情報を付加する特定画像情報付加手段と、前記特定画像情報の色及び数を設定する特定画像情報設定手段とを備え、前記特定画像情報設定手段は、前記複数の画像データ入力経路のそれぞれに対し、予め前記特定画像情報の色及び数を設定しておくことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、前記特定画像情報設定手段は、前記特定画像情報の色及び数をユーザに選択させる付加特性選択手段を有することを特徴とする画像処理装置。
  3. 請求項1又は2に記載の画像処理装置において、前記特定画像情報設定手段は、前記特定画像情報の色及び数の設定に応じて、前記特定画像情報の大きさを異ならしめて設定することを特徴とする画像処理装置。
  4. 請求項1乃至3のいずれか1項に記載の画像処理装置において、前記特定画像情報設定手段は、前記特定画像情報を付加する位置をユーザに選択させる位置選択手段を有することを特徴とする画像処理装置。
  5. 請求項1乃至4のいずれか1項に記載の画像処理装置において、前記特定画像情報付加手段は、前記特定画像情報を複数組み付加する手段であり、該複数組みの特定画像情報は、それぞれの特定画像情報が所定の間隔で配置される情報であることを特徴とする画像処理装置。
  6. 請求項1乃至5のいずれか1項に記載の画像処理装置に組み込み、該画像処理装置における演算処理装置を、各手段として機能させるためのプログラム。
  7. 請求項6に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2005316543A 2005-10-31 2005-10-31 画像処理装置、プログラム、及び記録媒体 Active JP4137933B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005316543A JP4137933B2 (ja) 2005-10-31 2005-10-31 画像処理装置、プログラム、及び記録媒体
US11/542,585 US7860303B2 (en) 2005-10-31 2006-10-02 Image processing apparatus, program, and recording medium
EP06022527A EP1780609A3 (en) 2005-10-31 2006-10-27 Image processing apparatus, program and recording medium
CNA2006101366275A CN1959545A (zh) 2005-10-31 2006-10-31 图像处理装置和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005316543A JP4137933B2 (ja) 2005-10-31 2005-10-31 画像処理装置、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2007124497A JP2007124497A (ja) 2007-05-17
JP4137933B2 true JP4137933B2 (ja) 2008-08-20

Family

ID=37692643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005316543A Active JP4137933B2 (ja) 2005-10-31 2005-10-31 画像処理装置、プログラム、及び記録媒体

Country Status (4)

Country Link
US (1) US7860303B2 (ja)
EP (1) EP1780609A3 (ja)
JP (1) JP4137933B2 (ja)
CN (1) CN1959545A (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236200A (ja) * 2007-03-19 2008-10-02 Ricoh Co Ltd 画像処理装置、画像処理方法、およびプログラム
JP4448156B2 (ja) * 2007-07-05 2010-04-07 キヤノン株式会社 装置、方法およびプログラム
JP5104401B2 (ja) * 2008-02-29 2012-12-19 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法および画像形成装置
JP2009267899A (ja) * 2008-04-28 2009-11-12 Kyocera Mita Corp 画像読取装置、画像形成装置及び画像読取プログラム
JP5264311B2 (ja) 2008-06-18 2013-08-14 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP5039721B2 (ja) * 2009-01-29 2012-10-03 京セラドキュメントソリューションズ株式会社 画像形成装置、画像読取装置
CN111903116B (zh) * 2018-03-20 2022-08-05 惠普发展公司,有限责任合伙企业 用于打印图像的方法和设备、以及机器可读存储介质
JP6908001B2 (ja) * 2018-05-22 2021-07-21 京セラドキュメントソリューションズ株式会社 情報処理システム、情報処理装置、画像形成装置
CN112130776A (zh) * 2019-06-25 2020-12-25 株式会社理光 图像处理装置、打印系统、记录媒介及潜像嵌入方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3397843B2 (ja) 1993-07-23 2003-04-21 株式会社リコー 複写機
JPH0736325A (ja) 1993-07-23 1995-02-07 Ricoh Co Ltd 複写機
JP3647372B2 (ja) * 2000-12-28 2005-05-11 キヤノン株式会社 画像処理装置およびその方法
JP3941525B2 (ja) * 2002-01-30 2007-07-04 カシオ計算機株式会社 印刷制御装置、および、プログラム
JP4000970B2 (ja) 2002-09-18 2007-10-31 富士ゼロックス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2004209913A (ja) * 2003-01-08 2004-07-29 Seiko Epson Corp 印刷制御装置、印刷制御方法、印刷制御プログラム、色変換テーブル作成装置、色変換テーブル作成方法および色変換テーブル作成プログラム
JP2004336539A (ja) * 2003-05-09 2004-11-25 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した機械読取可能な記録媒体
JP3993845B2 (ja) * 2003-08-28 2007-10-17 シャープ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP4290089B2 (ja) * 2003-10-10 2009-07-01 キヤノン株式会社 情報処理装置及び情報処理方法
JP3913237B2 (ja) * 2003-10-10 2007-05-09 キヤノン株式会社 情報処理装置および情報処理装置の制御方法

Also Published As

Publication number Publication date
EP1780609A2 (en) 2007-05-02
CN1959545A (zh) 2007-05-09
EP1780609A3 (en) 2011-01-26
US20070097413A1 (en) 2007-05-03
JP2007124497A (ja) 2007-05-17
US7860303B2 (en) 2010-12-28

Similar Documents

Publication Publication Date Title
JP4141472B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4137933B2 (ja) 画像処理装置、プログラム、及び記録媒体
JP4183262B2 (ja) 画像処理装置、画像処理装置の制御方法及びコンピュータ可読記憶媒体
JP6157435B2 (ja) 画像形成装置及び画像形成方法
JP4115490B2 (ja) 特定画像情報の付与方法及び画像形成装置
JP4903670B2 (ja) 画像処理装置、画像形成装置及びプログラム
JP2006303870A (ja) 画像形成装置及び方法
US7952732B2 (en) Image processing apparatus
JP4318677B2 (ja) 画像処理装置、プログラム、及び記録媒体
JP2008283290A (ja) 画像出力装置およびその制御方法
JP4831769B2 (ja) 画像形成装置、情報処理装置、及び画像形成方法
JP4675172B2 (ja) 画像処理装置
JP4137949B2 (ja) 管理情報の付加方法及び画像形成装置
JP2010081598A (ja) コピー保護文書をプレビューするシステム及び方法
JP2007150659A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体
JP4409466B2 (ja) 画像処理装置及び画像処理プログラム
JP2007135091A (ja) 画像処理装置、パターン検出方法、プログラム、及び記録媒体
JP2007184817A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007184767A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6926564B2 (ja) 画像処理装置及びプログラム
US20140204406A1 (en) Image forming apparatus, host apparatus, image forming method, print control method, and computer-readable recording medium
JP4674539B2 (ja) 印刷指示装置、その指示方法およびプログラム
JP2008017215A (ja) データ出力装置、データ出力方法、およびデータ出力プログラム
JP2010212859A (ja) 画像形成装置
JP2009212764A (ja) 画像処理装置、画像形成装置及び画像処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080319

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080603

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080604

R150 Certificate of patent or registration of utility model

Ref document number: 4137933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5