JP4158794B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4158794B2
JP4158794B2 JP2005231690A JP2005231690A JP4158794B2 JP 4158794 B2 JP4158794 B2 JP 4158794B2 JP 2005231690 A JP2005231690 A JP 2005231690A JP 2005231690 A JP2005231690 A JP 2005231690A JP 4158794 B2 JP4158794 B2 JP 4158794B2
Authority
JP
Japan
Prior art keywords
identification information
data
information
output image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005231690A
Other languages
English (en)
Other versions
JP2007049430A (ja
Inventor
勝巳 南野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Priority to JP2005231690A priority Critical patent/JP4158794B2/ja
Publication of JP2007049430A publication Critical patent/JP2007049430A/ja
Application granted granted Critical
Publication of JP4158794B2 publication Critical patent/JP4158794B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、画像処理方法及び画像処理装置に関し、詳しくは、紙幣や有価証券などの偽造行為を抑制するために、入力画像に基づいて生成した出力画像に装置の識別情報を追跡パターンとして付加する画像処理方法及び画像処理装置に関するものである。
近年、画像処理技術などが飛躍的に向上して原稿に忠実な複写物を得ることが可能になったため、複写機、スキャナ、プリンタ等が紙幣や有価証券などの特定画像を複写するといった偽造行為に使用されることが問題となっている。そのため、これらの装置には、紙幣や有価証券などの特定画像を複写するといった偽造行為を抑制することを目的として、偽造行為に使用された装置を特定するための情報(追跡パターン)を記録紙に付加する機能が設けられている(例えば、特許文献1参照。)。
この特許文献1に記載されている画像処理装置は、原稿から読取ったフルカラー画像信号(入力画像)を電気的に処理してC(シアン)、M(マゼンタ)、Y(イエロー)、K(ブラック)の各出力画像信号(出力画像)を生成し、生成した出力画像信号に追跡パターンとして装置の製造番号などの識別情報を付加して記録紙に印刷するものである。したがって、記録紙上の追跡パターンから識別情報を解析することにより、その記録紙を得るために使用された装置を特定することができる。なお、この画像処理装置では、追跡パターンを人間の目には識別し難いものとするために、追跡パターンがイエロー(Y)のトナーで記録紙に印刷されるようになっている。
特開平4−294682号公報
しかしながら、記録紙に基づいて識別情報の内容が解析できれば、装置の記憶手段(メモリ)に記憶されている識別情報を特定し、特定した記憶手段の識別情報が改変されるおそれがあった。そして、記憶手段の識別情報が改変されると、不正に改変された識別情報の追跡パターンが出力画像に付加されるため、偽造行為に使用された装置を特定することができなくなり、結果として、紙幣や有価証券などの特定画像(入力画像)に忠実な出力画像が違法出力されるのを抑制することができなくなるという問題があった。
なお、上記のように出力画像を印刷出力する装置だけでなく、出力画像に識別情報を電子透かし情報として埋め込み、出力画像を電子メールに添付して送信したり、或いは、出力画像をLAN等のネットワークを介して送信(転送)することにより、出力画像を出力することができる装置においても同様の問題があった。
本発明は、かかる課題に鑑みてなされたものであり、入力画像に基づいて生成した出力画像に自装置の識別情報を追跡パターンとして付加した場合に、不正に改変された追跡パターンが出力画像に付加されるおそれが少ない画像処理方法及び画像処理装置を提供することを目的とする。また、本発明は、入力画像に基づいて生成した出力画像に自装置の識別情報を追跡パターンとして付加した場合に、不正に改変された追跡パターンが出力画像に付加されるおそれが少なく、且つ、万一、改変された追跡パターンが付加された場合には入力画像に忠実な出力画像が違法出力されるのを防止することができる画像処理装置を提供することを目的とする。さらにまた、本発明は、入力画像に基づいて生成した出力画像に自装置の識別情報を追跡パターンとして付加した場合に、不正に改変された追跡パターンが出力画像に付加されるおそれが極めて少ない画像処理装置を提供することを目的とする。
上記目的を達成するために、請求項1記載の画像処理装置は、入力画像に基づいて出力画像を生成する第1生成手段と、入力画像に忠実な出力画像を得るための処理に必要な自装置固有の情報を予め記憶する第1記憶手段と、前記第1記憶手段が記憶している自装置固有の情報に基づいて識別情報を生成する第2生成手段と、生成した前記出力画像に生成した前記識別情報を追跡パターンとして付加する付加手段と、を備え、前記第1記憶手段が記憶する自装置固有の情報は、前記入力画像の各画素にそれぞれ対応する複数ビットのデータからなるものであり、前記第2生成手段は、前記第1記憶手段が記憶している自装置固有の情報を構成する複数ビットのデータのうち、他のビットデータに比べて出力画像に対する影響が大きい上位ビット又は下位ビットのデータを含む一部のビットのデータに基づいて識別情報を生成することを特徴としている。
請求項2記載の画像処理装置は、請求項1に記載の画像処理装置において、前記第2生成手段は、前記出力画像が生成された際に、前記識別情報を生成するものであり、前記第2生成手段が生成して、前記付加手段が前記出力画像に付加する識別情報が書き込まれる第2記憶手段と、生成した前記出力画像に前記第2記憶手段に書き込まれた識別情報を前記付加手段が付加し終えた際に、前記第2記憶手段に書き込まれた識別情報を削除する削除手段と、を備えることを特徴としている。
請求項3記載の画像処理装置は、請求項1又は2に記載の画像処理装置において、前記第1記憶手段が記憶している自装置固有の情報に基づいて生成された照合用情報を予め記憶する照合用情報記憶手段と、前記第2生成手段が生成した前記識別情報と前記照合用情報記憶手段が記憶している照合用情報とを照合する照合手段と、を備え、前記付加手段は、前記照合手段による照合結果が一致した場合にのみ、前記第1生成手段が生成した前記出力画像に生成した前記識別情報を追跡パターンとして付加することを特徴としている。
請求項に記載の画像形成装置によれば、追跡パターンとして出力画像に付加される識別情報と、識別情報を生成するために第1記憶手段が予め記憶している自装置固有の情報とが異なるため、出力画像に付加された追跡パターンから第1記憶手段が記憶している自装置固有の情報を特定することは困難である。したがって、第1記憶手段が記憶している自装置固有の情報が改変されて、結果として、不正に改変された識別情報が追跡パターンとして出力画像に付加されるおそれが少ないという利点がある。
また、万一、第1記憶手段が記憶している自装置固有の情報が改変された場合には、その情報に基づいて生成された識別情報(改変された識別情報)が追跡パターンとして出力画像に付加されることになるが、第1記憶手段が元々記憶している自装置固有の情報は、入力画像に忠実な出力画像を得るための処理に必要な情報(例えば、シェーディングデータや光量補正データ)であるため、自装置固有の情報が改変された場合には装置の性能が低下して入力画像に忠実な出力画像を得ることができなくなる。したがって、万一、改変された識別情報が追跡パターンとして付加された場合には、入力画像に忠実な出力画像が違法出力されるのを防止することができる。また、出力画像が生成された際に、入力画像に忠実な出力画像を得るための処理に必要な自装置固有の情報を構成する複数ビットのデータのうち、他のビットのデータに比べて出力画像に対する影響が大きい上位ビット又は下位ビットのデータを含む一部のビットのデータに基づいて識別情報が生成されるので、自装置固有の情報が改変された場合には、装置の性能が大幅に低下して入力画像に忠実な出力画像を得ることができなくなる。したがって、万一、自装置固有の情報が改変されたことにより、改変された識別情報が追跡パターンとして出力画像に付加された場合には、入力画像に忠実な出力画像が違法出力されるのを効果的に防止することができる。
請求項に記載の画像処理装置によれば、自装置固有の情報に基づいて生成された第2記憶手段の識別情報は、出力画像に付加されるとともに第2記憶手段からは削除されるため、第2記憶手段に書き込まれた識別情報を基に第1記憶手段が記憶している自装置固有の情報が特定されるのを防止することができる。
請求項に記載の画像処理装置によれば、生成された識別情報と照合用情報記憶手段が記憶している照合用情報とが一致した場合にのみ、出力画像に識別情報が付加されるので、第1記憶手段が記憶している自装置固有の情報と、照合用情報記憶手段が記憶している照合用情報との両方が改変されない限り、改変された識別情報が追跡パターンとして出力画像に付加されることない。したがって、不正に改変された識別情報が追跡パターンとして出力画像に付加されるおそれが極めて少ないという利点がある。
以下、本発明の実施の形態に係る画像処理方法及び画像処理装置について、図面に基づき説明する。図1は、本発明の実施の形態に係る画像処理装置1の構成例を示したブロック図である。図2は、原稿から読取った入力画像(以下、「入力画像データ」という。)に基づいて生成した出力画像(以下、「出力画像データ」という。)を印刷出力する場合のデータ転送の流れを示したブロック図である。
この画像処理装置1は、図示するように、制御部(MPU:Microprocessing Unit)2、ROM(Read Only Memory)3、RAM(Random Access Memory)4、原稿読取部5、コーデック(CODEC:Coder and Decoder)6、画像メモリ7、識別情報生成部8、画像処理部9、プリンタ10、操作部11、報知部12、通信部13、及びLAN I/F(Local Area Network Interface)14を備えたものであって、各部2乃至14は、バス15によって通信可能に接続されている。
制御部2は、画像処理装置1の各部の動作を制御する。ROM(第1メモリ)3は、制御部2によりこの画像処理装置1の各部の動作が制御されるための各種プログラムや自装置固有の情報を記憶する読み出し専用の不揮発性メモリであり、自装置固有の情報を予め記憶する第1記憶手段として機能する。ここで、自装置固有の情報には、入力画像に忠実な出力画像を得るための処理に必要な情報であるシェーディングデータ17や光量補正データ18などの他に、画像処理装置1のシリアルナンバー(不図示)等も含まれるが、本実施形態においては、自装置固有の情報が入力画像に忠実な出力画像を得るための処理に必要な情報、すなわち、シェーディングデータ17又は光量補正データ18である場合について主に説明する。また、このROM3は、自装置の動作プログラムを予め記憶するプログラム記憶手段としても機能する。
ROM3が記憶するシェーディングデータ17は、原稿読取部5が原稿から読取った入力画像データに対して所謂シェーディング補正を行う際に使用する主走査方向に1ライン分のデータであり、画像処理装置1の工場出荷時にROM3に書き込まれたデータである。なお、シェーディング補正される入力画像データは、R(レッド)、G(グリーン)、B(ブルー)の3成分のデジタル画像信号からなるカラー画像データであるため、ROM3は、RGB3成分のシェーディングデータ17を各色成分毎に記憶している。すなわち、ROM3は、3ライン分のシェーディングデータ17を記憶している。
同じくROM3が記憶する光量補正データ18は、プリンタ10が感光体ドラム(不図示)の表面に静電潜像を形成するための光書き込み光源として使用する複数のLED(Light Emitting Diode)素子間の光量のバラツキ、言い換えれば、各LED素子に印加する電流及び各LED素子の点灯時間を補正するためのデータであって、主走査方向に1ライン分のデータであり、シェーディングデータ17とともに、工場出荷時にROM3に書き込まれたものである。なお、プリンタ10で印刷出力される出力画像データは、本実施形態においては、C(シアン)、M(マゼンタ)、Y(イエロー)、K(ブラック)の4成分の色彩データからなるため、ROM3は、CMYK4成分の光量補正データ18を各色成分毎に記憶している。すなわち、ROM3は、4ライン分の光量補正データ18を記憶している。
なお、ROM3は、シェーディングデータ17や光量補正データ18、シリアルナンバーの他に、自装置1の各種機能を実現するために必要な、例えば割込み処理プログラムなどの動作プログラム(制御プログラム)19や、後述するが、識別情報生成部8が自装置固有の情報に基づいて生成した自装置1の識別情報が、正規なものであるか否かを照合するために使用する照合用情報20を記憶している。すなわち、ROM3は、自身が記憶している自装置固有の情報(シェーディングデータ17、光量補正データ18、又はシリアルナンバー)に基づいて生成された照合用情報20を予め記憶する照合用情報記憶手段としても機能する。
RAM(第2メモリ)4は、画像処理装置1の処理動作に用いる設定情報や動作情報等の各種データを読み出し及び書き込み可能な状態で記憶するものであり、識別情報生成部8が生成した識別情報、言い換えれば、識別情報生成部8が生成して、後述する識別情報付加回路31が出力画像データに付加する識別情報が書き込まれる第2記憶手段として機能する。
原稿読取部5は、原稿のカラー及びモノクロの双方の入力画像データを読取るものであり、図示しないが、例えばフラット・ベッド・スキャナ(FBS:Flat Bed Scanner)や自動原稿給送装置(ADF:Automatic Document Feeder)を有して構成されるものである。この原稿読取部5は、図2に示すように、カラーラインセンサ22、AFE(Analog Front End)回路23、A/Dコンバータ24、シェーディング補正回路25、及び入力色空間変換回路26を具備している。
カラーラインセンサ22は、原稿の画像を読取るものであり、フラット・ベッド・スキャナに内蔵されている。このカラーラインセンサ22は、図示しないが、R、G、Bの3つのラインセンサにより構成されており、原稿の読み取りが行なわれると、カラーラインセンサ22により原稿から読み取られて電気信号に変換されたR、G、Bの3つの色成分のアナログ画像信号が所定の出力先に出力される。
AFE回路23は、カラーラインセンサ22から出力されたアナログ画像信号を増幅する所謂ゲイン調整を行う。A/Dコンバータ24は、AFE回路23においてゲイン調整されたアナログ画像信号の各色成分のデータをA/D変換(Analog to Digital Conversion)する。なお、本実施の形態においては、このようにしてA/D変換されて取得されたRGB表色系のカラー画像データ(入力画像データ)の各画素データは、8ビット(256階調)のデータとして所定の出力先に出力されるようになっている。また、本実施形態においては、上記のように原稿から取得される入力画像データがカラー画像データである場合について説明するが、入力画像データは、モノクロ画像データであってもよい。
シェーディング補正回路25は、A/Dコンバータ24から出力された原稿の入力画像データに対して、光量ムラや光学部品の影響、及びカラーラインセンサ22の画素感度のバラツキを補正するために、前記ROM3が記憶しているシェーディングデータ17を用いてシェーディング補正を行う。但し、原稿などに光を照射する光源には、白色蛍光灯や冷陰極管等が使用されるため、その光量は時間の経過とともに変化し、シェーディングデータ17を取得したときの光源の光量と、原稿読取り時の光源の光量とが異なる場合がある。したがって、工場出荷時に取得したROM3のシェーディングデータ17をそのまま使用すると、適切なシェーディング補正を行うことができないおそれがある。そのため、シェーディング補正回路25は、フラット・ベッド・スキャナの内部に主走査方向に沿って長く設けた白基準板(不図示)の画像をカラーラインセンサ22が読取って得たデータに基づいてROM3のシェーディングデータ17を修正するための修正データを取得することができるようになっている。そして、シェーディング補正回路25は、実際の原稿読取時には、ROM3が記憶しているシェーディングデータ17と、原稿読取り開始前に予め取得した修正データとに基づいて、A/Dコンバータ24から出力された入力画像データに対してシェーディング補正を行う。
なお、本実施形態においては、シェーディング補正回路25が入力画像データに対してシェーディング補正を行うために用いるシェーディングデータ17がROM3に記憶されているが、シェーディングデータ17を予め記憶する第1メモリ(第1記憶手段)は読取り専用の不揮発性メモリであればROM3に限定されるものではなく、例えば、シェーディング補正回路25に読み出し専用の領域を有するシェーディングメモリを設けてそのメモリにシェーディングデータ17を記憶させるようにしてもよい。
入力色空間変換回路26は、RGB表色系の入力画像データを、例えばL*a*b*表色系の入力画像データに色空間変換する。なお、ここで使用する表色系はL*a*b*表色系に限定されるものではなく、例えば、YCrCb表色系などであってもよい。
コーデック6は、画像データを符号化(エンコード)・復号(デコード)するものである。ここでは、原稿読取部5から出力された原稿の入力画像データをJPEG、MH、MR、MMR、JBIG方式等により符号化し、プリンタ10において画像データを用紙に印刷出力するために、符号化されている画像データを復号する。画像メモリ7は、コーデック6により符号化された画像データ、ファクシミリ受信した画像データ等を格納する。
プリンタ10は、原稿読取部5から出力された入力画像データに基づいて画像処理部9において生成された出力画像データを印刷出力するものであり、本実施形態においては、感光体ドラムの表面に静電潜像を形成するための光書き込み光源として、LED素子を直線上に複数配列させたLEDアレイを用いる所謂LEDプリンタである。このプリンタ10は、図2に示すように、LEDプリントヘッド28を備えている。
このLEDプリントヘッド28は、図示しないが、前記LEDアレイの他に、画像処理部9から画素クロックに同期して転送される1ライン分の出力画像データを順次格納するシフトレジスタ、画像処理部9から出力される水平同期信号に同期してシフトレジスタに格納された1ライン分の出力画像データをラッチするメモリであるラッチ部等を有して構成されている。LEDアレイは、ラッチ部に格納された1ライン分の出力画像データに従って発光動作を行うことにより、感光体ドラムの表面に静電潜像を形成する。なお、LEDアレイを構成する各LED素子の発光動作は、ラッチ部に格納された1ライン分の出力画像データ、並びにROM3が記憶している光量補正データ18に基づいて制御されるようになっている。そして、プリンタ10は、感光体ドラムの表面に形成された静電潜像にトナーを付着させて可視のトナー画像とし、該トナー画像を用紙に転写することにより、出力画像データを印刷出力する。
なお、本実施形態においては、出力画像データを印刷出力する際にLED素子の発光動作を補正するために用いる光量補正データ18がROM3に予め記憶されているが、光量補正データ18を記憶する第1メモリ(第1記憶手段)は読取り専用の不揮発性メモリであればROM3に限定されるものではなく、例えば、LEDプリントヘッド28に読み出し専用の補正データ記憶メモリを設けてそのメモリに光量補正データ18を記憶させるようにしてもよい。
識別情報生成部8は、ROM3が記憶している自装置固有の情報に基づいて識別情報を生成する第2生成手段として機能するものであり、出力画像データ(出力画像)が生成された際に、識別情報を生成する。生成された識別情報は、RAM4に書き込まれる。なお、この識別情報生成部8が生成する識別情報と、ROM3が記憶している自装置固有の情報とは、内容が異なる情報である。また、この識別情報に基づいて追跡パターンが生成されるようになっており、生成された追跡パターンは、出力画像データとともに記録紙に印刷出力されるようになっている。そして、その印刷出力された追跡パターンは、出力画像データを出力(ここでは、記録紙に印刷出力)した装置を特定するために使用されるようになっている。すなわち、出力画像データを印刷出力する場合には、追跡パターンは、自装置1を特定する際に、例えば記録紙から抽出される画像である。識別情報生成部8により生成された識別情報は、RAM4に書込まれた後、印刷出力した際に人間の目には認識し難いものとなるように、Y(イエロー)成分の色彩データ(追跡パターン)として画像処理部9へ入力されるようになっている。
この識別情報生成部8が生成した識別情報は、上記のように、出力画像データを出力した装置を特定することを可能とするために、追跡パターンとして出力画像データに付加されるようになっている。言い換えれば、識別情報に基づいて生成された追跡パターンが出力画像データに付加されるようになっている。したがって、識別情報生成部8が生成する自装置1を特定するための識別情報と、例えば自装置1のシリアルナンバーとを対応付けた情報が、この画像処理装置1を製造したメーカー等によって保存・管理されるようになっている。なお、シリアルナンバーと識別情報とを対応付けて表示できるようにしてもよい。また、識別情報生成部8が行う処理動作を、ROM3のプログラムに基づいて制御部2が行うようにしてもよい。
画像処理部9は、入力画像データに基づいて出力画像データを生成する第1生成手段として機能し、生成した出力画像データに識別情報生成部8が生成した識別情報を付加してプリンタ10へ出力するものであって、図2に示すように、画像処理回路29、出力色空間変換回路30、識別情報付加回路31、及び2値化回路32を具備している。
画像処理回路29は、原稿読取部5から出力されたL*a*b*表色系の入力画像データに対して、明度調整、色彩調整、彩度調整の色調整の他、拡大/縮小処理、とじしろ処理、回転処理、ミラー処理、枠消去処理などの画像処理を必要に応じて行うものである。
出力色空間変換回路30は、入力画像データ(入力画像)に基づいて出力画像データ(出力画像)を生成するものである。具体的には、画像処理回路29において必要な画像処理が行われたL*a*b*表色系の入力画像データをC、M、Y、K等の各色彩データに変換する色空間変換を行うことにより、各色彩データからなる出力画像データを生成する。
識別情報付加回路31は、画像処理部9の出力色空間変換回路30が生成した出力画像データ(出力画像)に、識別情報生成部8が生成した識別情報、すなわち、RAM4に書き込まれた識別情報を追跡パターンとして付加する付加手段として機能するものである。具体的には、出力色空間変換回路30が生成したCMYKの各色彩データからなる出力画像データのうちのY成分の色彩データと、識別情報生成部8から識別情報のY成分の色彩データとして入力された追跡パターンとを合成することにより、出力画像データに追跡パターンを付加する処理を行う。なお、本実施形態においては、記録紙に印刷出力される追跡パターンを人間の目には認識し難いものとするためにY成分の色彩データとしているが、追跡パターンを他の色成分の色彩データとして出力画像データに付加するようにしてもよい。
2値化回路32は、識別情報付加回路31により追跡パターンが付加された出力画像データを誤差拡散処理等により2値化するものである。このようにして2値化された出力画像データは、図外の印刷画像データ生成回路において強度変調信号に変換され、プリンタ10のLEDプリントヘッド28へと出力される。なお、本実施形態においては、多値の出力画像データに識別情報の追跡パターンを付加した後、その出力画像データを2値化して印刷出力する場合について説明するが、出力画像データを2値化処理した後に、識別情報に基づいて生成された追跡パターンを付加するようにしてもよい。
操作部11は、図示しないが、原稿読取部5に原稿の読取動作の開始を指示するためのスタートキー、ファクシミリ番号やコピー部数等を入力するためのテンキー、各種設定を行うためのカーソルキーなど、報知部12と連動した各種操作キーを備えている。報知部12は、各種の設定状態や自装置1の動作状態などを文字や図形などで表示するタッチパネル式の液晶表示装置(LCD:Liquid Crystal Display)や、点灯又は消灯で表示するLEDランプ、所定の警告音を鳴動するスピーカなどを備えている。
通信部13は、原稿のカラー画像データ又はモノクロ画像データを外部装置(不図示)との間でファクシミリ通信により送受信するためのものであり、モデム及びNCU(Network Control Unit)を備えている。モデムは、例えばITU−T(国際電気通信連合電気通信標準化部門)の勧告V.34規格又はこれと同様のものに従った送受信データの変調及び復調を行うものである。NCUは、電話回線を制御して電話をかけたり、切ったりする回線網制御装置であり、PSTN(Public Switched Telephone Network)34に接続されている。
LAN I/F14は、LAN(Local Area Network)35と画像処理装置1とを通信可能に接続するインターフェースである。LAN35には、クライアントPC36が設置されており、クライアントPC36から画像処理装置1が有する各種機能を利用することができるようになっている。例えば、クライアントPC36から転送した画像データを画像処理装置1のプリンタ10において印刷出力させたり、画像処理装置1で処理された画像データをクライアントPC36へ転送させることができる。
また、LAN35には、図示しないがメールサーバ、ルータ等も設置されており、画像処理装置1は、メールサーバ、ルータ、インターネット等を通じて他のインターネットファクシミリ装置(不図示)と画像データが添付された電子メールを送信又は受信するインターネットファクシミリ通信を行うことができる。
上記構成を備える画像処理装置1は、コピー機能やファクシミリ通信機能、インターネットファクシミリ通信機能のほか、紙幣や有価証券等の特定画像を複製するといった偽造行為を抑制するために、原稿読取部5において原稿から読取った入力画像データに基づいて出力画像データを生成するとともに、生成した出力画像データに自装置1を特定するための識別情報を追跡パターンとして付加する機能を備えている。
以下、原稿読取部5に原稿がセットされて原稿の読取り開始命令があった場合に、画像処理装置1において行われる処理動作ステップについて、図2、図3、及び図4(a)に基づき説明する。なお、図3のフローチャートに基づき以下に説明する画像処理装置1の各部の処理動作ステップ(S1〜S11)は、ROM3に格納されている動作プログラムに基づいて制御部2が発行する命令に従って行われる。
まず、制御部2は、操作部11のスタートキーが押下されたか否かに基づいて、原稿の読取り開始命令があったか否かを判断する(S1)。ここで、原稿の読取り開始命令があったと判断した場合には(S1:YES)、原稿から入力画像データを取得する(S2)。具体的には、原稿読取部5のカラーラインセンサ22により、原稿の画像を読取ってアナログ画像信号を生成する。このようにしてカラーラインセンサ22から出力されたアナログ画像信号は、AFE回路23においてゲイン調整された後、A/Dコンバータ24によりA/D変換されて、RGB表色系のカラー画像データ(入力画像データ)としてシェーディング補正回路25へと入力される。
これに対し、シェーディング補正回路25は、ROM3が予め記憶しているシェーディングデータ17及び原稿読取り開始前に予め取得した修正データを用いて、入力画像データに対してシェーディング補正を行う。そして、シェーディング補正されたRGB表色系の入力画像データは、入力色空間変換回路26によりL*a*b*表色系の入力画像データに変換された後、画像処理部9へと出力される。
続いて、画像処理部9は、原稿読取部5から出力された入力画像データに基づいて、出力画像データを生成する(S3)。このステップでは、具体的には、画像処理回路29により、入力色空間変換回路26から出力されたL*a*b*表色系の入力画像データに対して必要な画像処理を行った後、出力色空間変換回路30により、画像処理が行われたL*a*b*表色系の入力画像データに基づいてCMYKの各色彩データからなる出力画像データを生成する。
一方、識別情報生成部8は、画像処理部9の出力色空間変換回路30により出力画像データが生成された際に、ROM3が記憶している自装置固有の情報(本実施形態においては、シェーディングデータ17又は光量補正データ18)に基づいて識別情報を生成する(S4)。具体的には、ROM3が記憶しているシェーディングデータ17又は光量補正データ18に基づく識別情報として、予め規定されたハッシュ関数を用いてROM3が記憶しているシェーディングデータ17又は光量補正データ18に対するハッシュ値を算出する処理(ハッシュ値算出処理)を行う。
例えば、A3(日本工業規格A列3番)サイズの原稿を600dpiの解像度で読取る場合、主走査方向の画素数は7016画素となる。そのため、ROM3は、例えば各8ビットで主走査方向に約7000画素分のシェーディングデータ17をRGBの3ライン分記憶している。また、ROM3は、例えば各4ビットで主走査方向に約7000画素分の光量補正データ18をCMYKの4ライン分記憶している。すなわち、ROM3が記憶している自装置固有の情報は、入力画像データ(入力画像)の各画素にそれぞれ対応する複数ビットのデータからなるものである。
これに対して、識別情報生成部8は、出力画像データが生成された際に、ROM3が記憶している自装置固有の情報を構成する複数ビットのデータのうち、他のビットのデータに比べて出力画像に対する影響が大きい上位ビット又は下位ビットのデータを含む一部のビットのデータに基づいて識別情報を生成する。例えば、自装置固有の情報としてシェーディングデータ17を用いる場合には、8ビットあるうちの、出力画像に与える影響が下位ビットのデータに比べて大きい、例えば上位3ビットのデータのみを抽出し、抽出した上位3ビットのデータに対してハッシュ値を算出して識別情報とする。なお、エンディアンの違いにより、出力画像に与える影響が上位ビットのデータに比べて下位ビットのデータの方が大きい場合には、下位ビットのデータを含む一部のビットのデータに基づいて識別情報を生成する。
ところで、ハッシュ関数の特徴は公知であるが、ここでは、任意の桁数の自装置固有の情報から、一定の桁数の識別情報(ハッシュ値)を算出することができ、算出された識別情報から元のデータである自装置固有の情報を取り出すことができず(一方向性)、自装置固有の情報のごく一部だけが改変された場合でも、算出される識別情報は異なるものとなり、違う元データ(自装置固有の情報)から同じハッシュ値(識別情報)が算出される可能性は極めて低いという特徴を有している。さらに、同じハッシュ値となる、複数の異なる元データを作成することは非常に困難である。
なお、識別情報を生成するための処理は、自装置固有の情報のビット数(データ量)を減らすことができる処理であれば特に限定されるものではなく、例えば、暗号化処理、圧縮処理、単純間引き処理などであってもよい。但し、生成された識別情報に基づいて、基となった自装置固有の情報を特定することが困難な処理を行って識別情報を生成するのが好適である。また、ここでは、自装置固有の情報の上位ビットのみのデータに基づいて識別情報を生成する場合について説明したが、自装置固有の情報の上位ビットのみのデータに一部下位ビットのデータを加えたデータや、自装置固有の情報の全ビットのデータに基づいて識別情報を生成するようにしてもよい。
このようにして識別情報生成部8により識別情報が生成されると、制御部2は、識別情報生成部8が生成した識別情報をRAM4に書き込む(S5)。言い換えれば、識別情報生成部8が生成した識別情報がRAM4に書き込まれる。そして、照合手段として機能する制御部2は、生成したRAM4の識別情報とROM3が記憶している照合用情報20とを照合する(S6)。そして、照合結果が一致するか否か、すなわち、識別情報生成部8が生成したRAM4の識別情報と、ROM3が記憶している照合用情報20とが一致するか否かを判断する(S7)。ここで、制御部2による照合結果が一致した場合(S7:YES)にのみ、識別情報付加回路31は、出力色空間変換回路30が生成した出力画像データに識別情報生成部8が生成したRAM4の識別情報を追跡パターンとして付加する(S8)。
そして、識別情報付加回路31により追跡パターンが付加(合成)された出力画像データは、2値化回路32により2値化された後、強度変調信号としてプリンタ10のLEDプリントヘッド28へ出力される。これに対し、プリンタ10は、画像処理部9から入力された強度変調信号(出力画像データ)並びにROM3の光量補正データ18に基づいて、LEDプリントヘッド28が備える各LED素子の発光動作を制御して、出力画像データを印刷出力する(S9)。
続いて、削除手段として機能する制御部2は、生成した出力画像データに、RAM4に書き込まれた識別情報を識別情報付加回路31が付加し終えた際に、RAM4に書き込まれた識別情報を削除する(S10)。
一方、制御部2は、照合結果が一致しなかった場合(S7:NO)、すなわち、RAM4に書き込まれた識別情報と、ROM3が記憶している照合用情報20のいずれか一方が改変された場合、エラー処理を実行する(S11)。具体的には、画像処理部9において生成された出力画像データを削除して出力画像データの印刷出力(コピー)を禁止するコピー禁止処理と、報知部12が備える液晶表示装置に警告メッセージを表示するとともにスピーカから所定の警告音を鳴動させる報知処理と、改変行為が行われたことを外部装置(例えば、コールセンターの通信端末装置)にファクシミリ通信やインターネットファクシミリ通信、電子メール等により通知する外部通知処理のいずれかを行う。なお、これら3つの処理を全て同時に、或いは、いずれか2つの処理を同時に行うようにしてもよい。
以上の説明から明らかなように、画像処理装置1によれば、シェーディングデータ17や光量補正データ18などの自装置固有の情報に基づいて生成された識別情報が、入力画像データに基づいて生成された出力画像データに追跡パターンとして付加され、RAM4に書き込まれた識別情報は、出力画像データに付加されると削除される。そのため、出力画像データに付加された追跡パターン、すなわち、出力画像データとともに記録紙に印刷出力された追跡パターンを解析して識別情報を特定し、画像処理装置1を製造したメーカーが保存・管理するシリアルナンバーと照合することにより、出力画像データを出力した画像処理装置1を特定することが可能である。したがって、紙幣や有価証券などの特定画像を複写するといった偽造行為を抑制することができる。
また、この画像処理装置1において、実際に出力画像データに付加される追跡パターンと、その追跡パターンを付加するために画像処理装置1が記憶している自装置固有の情報との内容が異なる。そのため、出力画像データに付加された追跡パターンに基づいて自装置固有の情報を特定する(探し出す)ことは困難であり、自装置固有の情報を改変することは困難である。また、識別情報生成部8が識別情報を生成する処理に使用するプログラムを解析することにより、自装置固有の情報が改変されるおそれがあるが、この改変行為は、自装置固有の情報を特定するよりも困難である。したがって、自装置固有の情報が改変されて、結果として、改変された識別情報が出力画像データに付加されるおそれが少ないという利点がある。
なお、ここでは、識別情報生成部8により生成されたRAM4の識別情報とROM3が記憶する照合用情報20とを照合し、照合結果が一致する場合にのみ識別情報を追跡パターンとして出力画像データに付加する場合について説明したが、上記のように、出力画像データとともに印刷出力された追跡パターンを基に自装置固有の情報を特定するのは困難であり、従来の装置に比べて改変された識別情報の追跡パターンが出力画像データに付加されるおそれはかなり低い。そのため、照合処理(S6及びS7の処理動作ステップ)を行うことなく、識別情報生成部8が生成したRAM4の識別情報を追跡パターンとして出力画像データに付加するようにしてもよい。
ただし、上記のように照合処理を行って照合結果が一致した場合にのみ、生成した識別情報を追跡パターンとして出力画像データに付加するようにした場合、ROM3が記憶している自装置固有の情報と照合用情報20との両方が改変されない限り、改変された識別情報の追跡パターンが出力画像データに付加されることがなく、入力画像データに忠実な出力画像データが違法出力されるのを効果的に防止することができるので好適である。
また、万一、自装置固有の情報と、照合用情報20との両方が改変された場合には、出力画像データの違法出力を防止することができないと考えられるが、自装置固有の情報は、入力画像データに忠実な出力画像データを得るための処理に必要な情報(シェーディングデータ17や光量補正データ18等)であるため、改変された場合には、入力画像データに忠実な出力画像データが生成されなくなり、結果として、出力画像データの違法出力を防止することができる。
図5において、(a)は白紙原稿の画像を読取った後の、シェーディング補正前の主走査方向に1ライン分の入力画像データの信号波形、(b)は改変されていない正規のシェーディングデータ17を用いて同図(a)の入力画像データをシェーディング補正して得られる信号波形、(c)は改変されたシェーディングデータ17を用いて同図(a)の入力画像データをシェーディング補正して得られる信号波形をそれぞれ例示したものである。
これらの図から明らかなように、識別情報を生成するために必要な自装置固有の情報であるROM3のシェーディングデータ17が改変されることにより、画像処理装置1の性能が低下し、入力画像データの画質が劣化して結果として入力画像データに忠実な出力画像データを得ることができなくなる。これにより、万一、改変された識別情報の追跡パターンが付加された出力画像データが出力された場合には、得られた出力画像データの画像は、入力画像データの画像に対して画質が大きく劣化したものとなり、紙幣や有価証券等の特定画像を複写するといった偽造行為が行われるのを防止することができる。
また、本実施形態においては、各8ビットのシェーディングデータ17のうち、上位3ビットのデータを使用して識別情報が生成されるようになっている。そのため、識別情報を改変するためには、自装置固有の情報である各8ビットのシェーディングデータ17のうちの上位3ビットのデータを改変する必要がある。ここで、各8ビットのシェーディングデータ17のうちの上位数ビットのデータが改変された場合の画質劣化と、下位数ビットのデータが改変された場合の画質劣化とを比較すると、上位数ビットのデータが改変された方がシェーディングデータ17の値が大きく変化するため、入力画像データ、言い換えれば、出力画像データの画質を劣化させる効果は大きい。
すなわち、本実施形態において説明したように、自装置固有の情報であるシェーディングデータ17の上位ビットのデータ(ここでは、上位3ビットのデータ)を使用して識別情報を生成するのが好適である。なお、本実施形態においては、シェーディングデータ17の上位ビットのデータとして、上位3ビットのデータを識別情報を生成するために使用する場合について説明したが、上位2ビットのデータを使用したり、上位4ビットのデータを使用したり、或いは、上位数ビットのデータと下位ビットのデータとを使用して識別情報を生成するようにしてもよい。また、本実施形態においては、識別情報を生成するための自装置固有の情報としてシェーディングデータ17を使用する場合について主に説明したが、光量補正データ18を使用する場合についても同様に識別情報を生成することができる。
なお、ここでは、自装置固有の情報に基づいて出力画像データに付加する識別情報を生成する場合について説明したが、変形例として、識別情報生成部8において、出力画像データが生成された際に、ROM3が記憶している自装置固有の情報と、同じくROM3が記憶している自装置の動作プログラム19上の情報とに基づいて識別情報を生成するようにしてもよい(図4(b)参照。)。例えば、シェーディングデータ17の上位3ビットのデータと動作プログラム19上の情報とを連結し、連結したデータにハッシュ値算出処理を行って識別情報を生成する。
図6は、原稿読取部5におけるライン単位の読取り動作と、1ラインの読取り終了時に入力される割込み信号との関係を例示したものである。原稿読取部5のカラーラインセンサ22によって読取られてA/D変換されて得られた1ライン分の入力画像データは、図外のFIFO(First In First Out)メモリに一旦格納される。そして、このように1ラインの読取りが終了した際に割込み信号が入力されると、FIFOメモリに格納されている1ライン分の入力画像データは、次ライン分の入力画像データの読取りが開始されるまでの間に、所定の出力先(例えば、シェーディング補正回路25)へDMA転送される。このように、原稿読取部5では、1ライン分の入力画像データの読取りと、その1ライン分の入力画像データをDMA転送する処理とが交互に繰り返し行われて、原稿全体の読取りが行われる(図6(a)参照。)。
これに対し、識別情報を生成するために使用される動作プログラム19(ここでは、割込み処理プログラム)上の情報の改変、例えば、割込み処理プログラムの一部を削除することや、割込み処理プログラムの一部の内容を入れ替えること等が行なわれると、自装置1は動作しなくなる。また、他の改変として、割込み処理プログラムに余計な処理を実行するプログラムを追加することが行なわれると、図6(b)に示すように、割込み処理に要する時間が長くなる(割込み処理完了が遅れる。)。その結果、FIFOメモリに格納された1ライン分の入力画像データのDMA転送が完了していない状態で次ライン分の入力画像データがFIFOメモリに書き込まれる。つまり、FIFOメモリに格納されている入力画像データの一部に対して、次ライン分の入力画像データが上書きされることになる。したがって、入力画像データに忠実な出力画像データを得ることができなくなり、紙幣や有価証券等の偽造行為が行われるのを防止することができる。なお、動作プログラム19上の情報が改変されて割込み信号が入力されるタイミングが正規のタイミングよりも早くなる場合についても、不具合が生じる。
このように、識別情報を生成するための情報として動作プログラム19上の情報を使用するようにすることで、識別情報を改変するために、万一、動作プログラム19上の情報が改変された場合には、上記例示したように画像処理装置1が有する本来の機能が果たせなくなって、入力画像データに忠実な出力画像データの違法出力が行われるのを防止することができる。
なお、上記説明したように、出力画像データが生成された際に、ROM3が記憶している自装置固有の情報と、自装置の動作プログラム19上の情報とに基づいて識別情報を生成する場合には、識別情報を生成するために使用する自装置固有の情報は、入力画像データに忠実な出力画像データを得るための処理に必要な情報(シェーディングデータ17や光量補正データ18)に限定されるものではなく、例えば、画像処理装置1のシリアルナンバー等であってもよい。
また、本実施形態においては、改変されると装置の性能が低下して入力画像データに忠実な出力画像データを得ることができなくなる自装置固有の情報として、シェーディングデータ17や光量補正データ18を使用し、改変されると装置の機能が低下して同様に入力画像データに忠実な出力画像データを得ることができなくなる自装置固有の情報として、動作プログラム19を使用する場合について説明したが、識別情報を生成するために使用する情報は、所定ビット数以上で且つ改変されると装置の性能又は機能が低下する種類の情報であれば、上記のものに限定されるものではない。
また、本実施形態においては、入力画像データに基づいて生成した出力画像データをプリンタ10で印刷出力する場合について説明したが、生成した出力画像データをLAN35上のクライアントPC36へ出力(転送)したり、或いは、生成した出力画像データをファクシミリ通信やインターネットファクシミリ通信により外部装置(不図示)へ出力(送信)するような場合にも本発明は適用可能である。
このような場合、画像処理部9においてL*a*b*表色系の出力画像データを生成するとともに、生成した出力画像データに自装置1の識別情報を追跡パターンとして付加した後、追跡パターンが付加された出力画像データをJPEGファイルやTIFFファイルなどとして出力するようにすればよい。その際、生成された出力画像データに対して、識別情報生成部8が生成した識別情報の追跡パターンを識別情報付加回路31において電子透かし情報として埋め込むようにしてもよい。
また、本実施の形態で示した画像処理装置1の構成は、本発明に係る画像処理装置の一態様にすぎず、本発明の要旨を逸脱しない範囲内で適宜設計変更できることは勿論であり、入力画像データに基づいて生成した出力画像データに追跡パターンとして自装置の識別情報を付加する機能を備えた装置であれば、例えば、複写機、ファクシミリ装置、スキャナ単体の装置、プリンタ単体の装置等としても実現可能である。
本発明は、例えば、入力画像データに基づいて生成した出力画像データに追跡パターンとして自装置の識別情報を付加する機能を備えた装置に適用可能である。
本発明の実施の形態に係る画像処理装置の構成例を示したブロック図である。 原稿から読取った入力画像データに基づいて生成した出力画像データを印刷出力する場合のデータ転送の流れを示したブロック図である 原稿の読取り開始命令が入力された際に、画像処理装置において行われる処理動作を示したフローチャートである。 識別情報を生成して出力画像データに付加する処理について説明するための図である。 シェーディングデータが改変されていない場合のシェーディング補正後の入力画像データと、シェーディングデータが改変されている場合のシェーディング補正後の入力画像データとを例示した図である。 原稿読取部におけるライン単位の読取り動作と、1ラインの読取り終了時に入力される割込み信号との関係を例示したものである。
符号の説明
1 画像処理装置
2 制御部
3 ROM
4 RAM
5 原稿読取部
8 識別情報生成部
9 画像処理部
10 プリンタ
17 シェーディングデータ
18 光量補正データ
19 動作プログラム
20 照合用情報
25 シェーディング補正回路
28 LEDプリントヘッド
30 出力色空間変換回路
31 識別情報付加回路

Claims (3)

  1. 入力画像に基づいて出力画像を生成する第1生成手段と、入力画像に忠実な出力画像を得るための処理に必要な自装置固有の情報を予め記憶する第1記憶手段と、前記第1記憶手段が記憶している自装置固有の情報に基づいて識別情報を生成する第2生成手段と、生成した前記出力画像に生成した前記識別情報を追跡パターンとして付加する付加手段と、を備え、
    前記第1記憶手段が記憶する自装置固有の情報は、前記入力画像の各画素にそれぞれ対応する複数ビットのデータからなるものであり、
    前記第2生成手段は、前記第1記憶手段が記憶している自装置固有の情報を構成する複数ビットのデータのうち、他のビットデータに比べて出力画像に対する影響が大きい上位ビット又は下位ビットのデータを含む一部のビットのデータに基づいて識別情報を生成することを特徴とする画像処理装置。
  2. 前記第2生成手段は、前記出力画像が生成された際に、前記識別情報を生成するものであり、
    前記第2生成手段が生成して、前記付加手段が前記出力画像に付加する識別情報が書き込まれる第2記憶手段と、生成した前記出力画像に前記第2記憶手段に書き込まれた識別情報を前記付加手段が付加し終えた際に、前記第2記憶手段に書き込まれた識別情報を削除する削除手段と、を備えることを特徴とする請求項1記載の画像処理装置。
  3. 前記第1記憶手段が記憶している自装置固有の情報に基づいて生成された照合用情報を予め記憶する照合用情報記憶手段と、前記第2生成手段が生成した前記識別情報と前記照合用情報記憶手段が記憶している照合用情報とを照合する照合手段と、を備え、
    前記付加手段は、前記照合手段による照合結果が一致した場合にのみ、前記第1生成手段が生成した前記出力画像に生成した前記識別情報を追跡パターンとして付加することを特徴とする請求項1又は2に記載の画像処理装置。
JP2005231690A 2005-08-10 2005-08-10 画像処理装置 Expired - Fee Related JP4158794B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005231690A JP4158794B2 (ja) 2005-08-10 2005-08-10 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005231690A JP4158794B2 (ja) 2005-08-10 2005-08-10 画像処理装置

Publications (2)

Publication Number Publication Date
JP2007049430A JP2007049430A (ja) 2007-02-22
JP4158794B2 true JP4158794B2 (ja) 2008-10-01

Family

ID=37851899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005231690A Expired - Fee Related JP4158794B2 (ja) 2005-08-10 2005-08-10 画像処理装置

Country Status (1)

Country Link
JP (1) JP4158794B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4977528B2 (ja) * 2007-05-29 2012-07-18 株式会社サキコーポレーション 外観検査装置およびシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115517A (ja) * 1998-10-06 2000-04-21 Canon Inc 電子透かしを行なうことが可能な情報処理装置及び前記情報処理装置を接続可能な通信ネットワーク
JP2002033901A (ja) * 2000-07-17 2002-01-31 Matsushita Electric Ind Co Ltd 画像入力装置、画像出力装置、印刷物、記録媒体及びファイル変換装置
JP2002278390A (ja) * 2001-03-21 2002-09-27 Minolta Co Ltd 画像形成装置
JP2002290705A (ja) * 2001-03-26 2002-10-04 Minolta Co Ltd 画像形成装置、画像形成方法、画像形成プログラム、および、そのような画像形成プログラムを記録した記録媒体
JP2002325175A (ja) * 2001-04-26 2002-11-08 Kyocera Corp カラー画像形成装置
JP2005039686A (ja) * 2003-07-18 2005-02-10 Japan Science & Technology Agency 電子透かし埋め込みシステム・電子透かし検証システム

Also Published As

Publication number Publication date
JP2007049430A (ja) 2007-02-22

Similar Documents

Publication Publication Date Title
JP4211792B2 (ja) 画像処理装置
US8687242B2 (en) Image processing apparatus for obtaining image data comprising a code generation section, an encryption section, a pattern generation section, and an addition section
JP2001197297A (ja) 画像処理装置及びコンピュータ読取可能な記憶媒体
JP4763027B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
JP4217706B2 (ja) 画像処理装置及び画像処理方法
US8630019B2 (en) Image processing apparatus, method of controlling the image processing apparatus, and storage medium
JP2007201850A (ja) 画像形成装置、画像形成方法およびプログラム
US8928938B2 (en) Image forming apparatus, image forming method and recording medium
US20110102823A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP2007005972A (ja) 画像処理装置
JP3332435B2 (ja) 画像処理装置及びその方法
JP4158794B2 (ja) 画像処理装置
JP4470958B2 (ja) 画像処理装置
JP4653006B2 (ja) 潜像画像、背景画像の濃度信号値を決定する方法及び装置及びプログラム
JP3367959B2 (ja) 画像処理装置及び方法
JP2009152902A (ja) 画像処理装置および複写機の制御方法
JP3247446B2 (ja) 画像処理装置及び画像処理方法
JP3311006B2 (ja) 画像処理装置及び方法
JP3715946B2 (ja) 画像処理装置及びその方法
JP2008072520A (ja) 画像形成装置、画像データ処理方法及び画像データ処理部
JP3264523B2 (ja) 画像処理装置
JP2007243704A (ja) 画像形成装置及び画像形成方法
JP5104401B2 (ja) 画像処理装置、画像処理方法および画像形成装置
JP3559746B2 (ja) 画像処理装置及び画像処理方法及び記憶媒体
JPH0951425A (ja) 画像処理装置及び方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080707

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees