JP4150844B2 - 画像処理装置および画像処理プログラム - Google Patents
画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- JP4150844B2 JP4150844B2 JP2001204714A JP2001204714A JP4150844B2 JP 4150844 B2 JP4150844 B2 JP 4150844B2 JP 2001204714 A JP2001204714 A JP 2001204714A JP 2001204714 A JP2001204714 A JP 2001204714A JP 4150844 B2 JP4150844 B2 JP 4150844B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image data
- area
- outer edge
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Dot-Matrix Printers And Others (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、文字などを先鋭に再現するために画像データを補正する画像処理装置および画像処理プログラムに関する。さらに詳細には、網点領域あるいは所定濃度を有するベタ領域(以下、これらを総称して「下地領域」という)上の文字などを、白い縁取りや色濁りを発生させることなく、先鋭に再現することができる画像処理装置および画像処理プログラムに関するものである。
【0002】
【従来の技術】
画像をCCDセンサを用いて読み取り、画素に分解して画像処理を行うデジタル複写機などにおいては、文字や細線を先鋭に再現するためにエッジ強調処理が行われている。このエッジ強調処理は、エッジの内側部分(以下、「内エッジ」という)の濃度をより高くし、エッジの外側部分(以下、「外エッジ」という)の濃度をより低くする処理である。このような処理により、エッジ領域が鮮明となり、文字や細線が先鋭に再現されるようになっている。
【0003】
ところが、下地領域上に形成された文字などに対してエッジ強調処理を行うと、図28に示すように、文字の周囲に白い縁取りが形成されてしまうという問題があった。このため、そのような問題を解決するための対策が採られている。その対策技術の1つとして、例えば特開2000−307869号公報に開示されたものがある。この技術では、網点上の文字などに対してエッジ強調処理を行う場合、外エッジ領域にはエッジ強調処理を行わないことにより、文字の周囲に白い縁取りが形成されるのを防止するようにしている。
【0004】
【発明が解決しようとする課題】
しかしながら、上記した特開2000−307869号公報に開示された技術では、網点上に形成された文字の先鋭度が低下したり、色濁りが発生するという問題があった。これは、外エッジ領域にエッジ強調処理を施さないため、この領域に対しては網点領域と同様にスムージング処理が施されてしまうからである。その結果、網点上の文字がぼけてしまうとともに、色濁りが発生して高品質な再現画像を得ることができなかったのである。なお、所定濃度を有するベタ領域上に形成された文字などでも同様のことが言える。
【0005】
そこで、本発明は上記した問題点を解決するためになされたものであり、下地領域上に形成された文字などを、白い縁取りや色濁りを発生させずに鮮明に再現することができる画像処理装置および画像処理プログラムを提供することを課題とする。
【0006】
【課題を解決するための手段】
上記問題点を解決するためになされた本発明に係る画像処理装置は、画像データを取得する画像データ取得手段と、前記画像データ取得手段で取得された画像データに基づき注目画素がエッジ領域の外側部分である外エッジ領域に属するか否かを判別する外エッジ判別手段と、前記画像データ取得手段で取得された画像データに基づき注目画素が下地領域に属するか否かを判別することにより下地領域を検出する下地領域判別手段と、前記外エッジ判別手段にて外エッジ領域に属すると判別された注目画素に対して第1の補正処理を施す第1補正手段と、前記外エッジ判別手段にて外エッジ領域に属すると判別された注目画素に対して、注目画素の濃度を、その注目画素の周辺の前記下地領域判別手段にて下地領域であると検出された領域における平均濃度に置換する第2の補正処理を施す第2補正手段と、前記外エッジ判別手段にて外エッジ領域に属すると判別された注目画素のうち、前記下地領域判別手段にて下地領域には属さないと判別された注目画素に対しては前記第1補正手段による第1の補正処理を施すと決定し、前記下地領域判別手段にて下地領域に属すると判別された注目画素に対しては前記第2補正手段による第2の補正処理を施すと決定する補正処理決定手段と、を有することを特徴とする。なお、ここでいう「下地領域」には、所定濃度を有するベタ領域の他、網点領域も含まれる。
【0007】
この画像処理装置では、まず、画像データ取得手段により画像データが取得される。ここで、画像データ取得手段は、自ら画像を読み取って画像データを取得してもよいし、スキャナ等により画像が読み取られてデータ化されたものを取得してもよい。さらには、画像データが入力された記録媒体、あるいはネットワーク等から画像データを取得するようにしてもよい。すなわち、画像データ取得手段は、スキャナ等であってもよいし、データ読み取り装置あるいは入力ポートやモデム等であってもよく、画像データを取得できるすべてのデバイスを含む。
【0008】
このようにして、画像データ取得手段で画像データが取得されると、外エッジ判別手段により、その画像データに基づき注目画素がエッジ領域の外側部分である外エッジ領域に属するか否かが判別される。また、下地領域判別手段により、画像データ取得手段で取得された画像データに基づき、注目画素が下地領域に属するか否かが判別される。そして、この判別結果から下地領域が検出される。すなわち、下地領域に属すると判別された画素の分布領域が下地領域として検出されるのである。なお、上記した各領域の判別は、公知の方法により行えばよい。また、外エッジ判別手段は、内エッジ領域を検出することにより、外エッジ領域を判別するものでもよい。
【0009】
そして、外エッジ判別手段にて外エッジ領域に属すると判別された注目画素に対して、第1補正手段による第1の補正処理、あるいは第2補正手段による第2の補正処理が施される。ここで、第1の補正処理を施すのか、あるいは第2の補正処理を施すのかは、補正処理決定手段によって決定される。すなわち、補正処理決定手段により、外エッジ判別手段にて外エッジ領域に属すると判別された注目画素のうち、下地領域判別手段にて下地領域には属さないと判別された注目画素に対しては第1補正手段による第1の補正処理を施すと決定される。一方、外エッジ領域に属すると判別された注目画素のうち、下地領域判別手段にて下地領域に属すると判別された注目画素に対しては第2補正手段による第2の補正処理を施すと決定される。
【0010】
ここで、第1補正手段による第1の補正処理としてエッジ減衰処理を行い、第2補正手段による第2の補正処理として、注目画素の濃度をその周辺濃度に置換する置換処理を行えばよい。なお、周辺濃度とは、注目画素に隣接する所定領域内における画素の代表的な濃度(例えば、平均濃度など)である。こうすることにより、外エッジ領域には属するが下地領域には属さないと判別された注目画素(紙面上に形成される通常の文字など)に対してはエッジ減衰処理が施される。なお、内エッジ領域に対しては、通常通りエッジ強調を施せばよい。従ってこのような画像処理により、文字などのエッジ部分がより鮮明となり、文字などを先鋭に再現することができる。また、下地が存在しないから、文字などの周囲に白い縁取りが形成されることもない。
【0011】
一方、外エッジ領域にも下地領域にも属すると判別された注目画素(下地上に形成される文字など)に対しては置換処理が行われる。そしてこの置換処理は、注目画素の濃度をその周辺濃度に置換するものである。これにより、下地領域上の外エッジ領域における画像の濃度が、周辺画像の濃度と等しくなる。従って、下地上の文字や細線などの周囲に白い縁取りが発生しない。また、そのような注目画素に対してスムージング処理が施されることはないので、再現された下地上の文字や細線などの先鋭度が低下することもないし、色濁りが発生することもない。
【0012】
特に、置換処理は、下地領域判別手段にて下地領域であると検出された領域における平均濃度に置換する処理とするのが望ましい。これにより、下地上に描かれた文字などの境界部分、つまり外エッジ領域における濃度が下地の濃度とほぼ等しくなり、文字などの周囲に白い縁取りが形成されるような事態を確実に防止することができるからである。なお、ここでいう「濃度」には、濃度値の他、濃度と相関性のある値(例えば、明度など)も含まれる。
【0013】
ここで、平均濃度としては、注目画素を中心とする所定マトリクス内(例えば、5×5サイズ程度)において、下地領域に属すると判別された画素の濃度の平均値を用いればよい。従って、所定マトリクス内に文字領域が含まれる場合には、その領域を除外して算出した平均濃度を用いることになる。また、マトリクスサイズは、文字などが描かれている下地の状態に応じて設定すればよい。例えば、下地が網点である場合には、網点を構成する白孤立点の影響が無視できる程度の大きさに設定すればよい。また、下地の濃度が変化している場合には、マトリクスサイズを大きくしすぎないようにする。置換した濃度が近接する下地の濃度と大きく異なってしまうことを防止するためである。
【0014】
また、本発明に係る画像処理装置は、画像データを取得する画像データ取得手段と、前記画像データ取得手段で取得された画像データに基づき注目画素がエッジ領域の外側部分である外エッジ領域に属するか否かを判別する外エッジ判別手段と、前記画像データ取得手段で取得された画像データに基づき注目画素が下地領域に属するか否かを判別することにより下地領域を検出する下地領域判別手段と、前記外エッジ判別手段にて外エッジ領域に属すると判別され、かつ、前記下地領域判別手段にて下地領域に属すると判別された注目画素の濃度を、その注目画素の周辺画素の前記下地領域判別手段にて下地領域であると検出された領域における平均濃度に基づき算出される値に置換する置換処理を行い、前記外エッジ判別手段にて外エッジ領域に属すると判別され、かつ、前記下地領域判別手段にて下地領域に属さないと判別された注目画素に対しては、前記置換処理を行わない補正処理手段と、を有することを特徴とする。
【0015】
この画像処理装置でも、まず、画像データ取得手段により画像データが取得される。そうすると、外エッジ判別手段により、画像データ取得手段で取得された画像データに基づき、注目画素がエッジ領域の外側部分である外エッジ領域に属するか否かが判別される。また、下地領域判別手段により、画像データ取得手段で取得された画像データに基づき、注目画素が下地領域に属するか否かが判別される。そして、この判別結果から下地領域が検出される。
【0016】
そして、補正処理手段により、外エッジ判別手段にて外エッジ領域に属すると判別され、かつ、下地領域判別手段にて下地領域に属すると判別された注目画素の濃度が、その注目画素の周辺画素の前記下地領域判別手段にて下地領域であると検出された領域における平均濃度に基づいて算出された値に置換される。このため、下地領域上の外エッジ領域、すなわち下地上の文字などの周囲に白い縁取りが発生しない。また、そのような注目画素に対しては、スムージング処理が施されることはないので、再現された下地上の文字や細線などの先鋭度が低下することもないし、色濁りが発生することもない。
一方、外エッジ判別手段にて外エッジ領域に属すると判別され、かつ、下地領域判別手段にて下地領域に属さないと判別された注目画素の濃度は、補正処理による濃度の置換が行われない。従って、外エッジ領域には属するが下地領域には属さないと判別された注目画素(紙面上に形成される通常の文字など)に対しては、濃度置換処理が行われないため、文字などは先鋭に再現することができ、文字などの周囲に白い縁取りが形成されることもない。
【0017】
ここで、置換手段は、注目画素の周辺画素における濃度に基づき算出される値として、下地領域判別手段にて下地領域として検出された領域における平均濃度を用いることが望ましい。これにより、下地上に描かれた文字などの境界部分、つまり外エッジ領域の濃度が下地の濃度とほぼ等しくなり、より高品質な再現画像が得られるからである。なお、平均濃度の算出方法は、上記した方法で行えばよい。
【0018】
ここで、上記した画像領域判別装置は、ハードウェアで構成される場合に限られず、ソフトウェアによる処理によっても実現することができる。従って、以下に示すように、画像処理プログラムとして存在する場合もある。
【0019】
すなわち、その一例として本発明に係る画像処理プログラムは、コンピュータに、画像データを取得する画像データ取得ステップと、前記画像データ取得ステップで取得された画像データに基づき注目画素がエッジ領域の外側部分である外エッジ領域に属するか否かを判別する外エッジ判別ステップと、前記画像データ取得ステップで取得された画像データに基づき注目画素が下地領域に属するか否かを判別することにより下地領域を検出する下地領域判別ステップと、前記外エッジ判別ステップにて外エッジ領域に属すると判別された注目画素のうち、前記下地領域判別ステップにて下地領域に属すると判別された注目画素に対して、その注目画素の濃度を、その注目画の周辺の前記下地領域判別ステップにて下地領域であると検出された領域における平均濃度に置換する置換処理を施し、前記下地領域判別ステップにて下地領域に属すると判別されなかった注目画素に対して、前記置換処理を施さない補正処理ステップと、を実行させるものである。
また、別の一例として本発明に係る画像処理プログラムは、コンピュータに、画像データを取得する画像データ取得ステップと、前記画像データ取得ステップで取得された画像データに基づき注目画素がエッジ領域の外側部分である外エッジ領域に属するか否かを判別する外エッジ判別ステップと、前記画像データ取得ステップで取得された画像データに基づき注目画素が下地領域に属するか否かを判別することにより下地領域を検出する下地領域判別ステップと、前記外エッジ判別ステップにて外エッジ領域に属すると判別された注目画素のうち、前記下地領域判別ステップにて下地領域には属さないと判別された注目画素に対しては、第1の補正処理を施し、前記下地領域判別ステップにて下地領域に属すると判別された注目画素に対しては、注目画素の濃度を、その注目画素の周辺の前記下地領域判別ステップにて下地領域であると検出された領域における平均濃度に置換する第2の補正処理を施す補正処理ステップと、を実行させるものであってもよい。
【0020】
これらの画像処理プログラムにより、コンピュータを作動させる、すなわちソフトウエアがコンピュータに読み込まれ、コンピュータとソフトウェアとが協働して上記した画像処理装置を実現することができる。そして、上記した画像処理装置と同様の効果を得ることができる。
【0021】
なお、補正処理ステップにおいて、外エッジ判別ステップにて外エッジ領域に属すると判別された注目画素のうち、下地領域判別ステップにて下地領域には属さないと判別された注目画素に対してエッジ減衰処理を施すようにしてもよい。これにより、非下地領域に形成された文字、つまり通常の紙面上に形成された文字などが非常に鮮明に再現されるからである。
【0022】
【発明の実施の形態】
以下、本発明を具体化した最も好適な実施の形態について図面に基づき詳細に説明する。本実施の形態に係るカラー画像処理装置の概略構成を図1に示す。このようなカラー画像処理装置は、デジタル複写機、プリンタ、およびファクシミリ等に適用することができる。
【0023】
本実施の形態に係るカラー画像処理装置には、CCDセンサ11と、画像合成部12と、A/D変換部13と、シェーディング補正部14と、各ライン間の補正を行うライン間補正部15と、各色の色収差の補正を行う色収差補正部16と、変倍・移動処理部17と、色変換部18と、色補正部19と、領域判別部20と、MTF補正部21と、プリンタI/F22とが備わっている。
【0024】
CCDセンサ11は、スキャナにより原稿を走査して得られる反射光を受光し、それを光電変換してアナログのRGB信号を得るものである。画像合成部12は、CCDセンサ11で取得されたアナログのRGB信号それぞれについてのodd(奇数)成分とeven(偶数)成分とを合成するものである。A/D変換部13は、画像合成部12で合成されたアナログのRGB信号をデジタル信号に変換するものである。なお、画像合成部12およびA/D変換部13は、RGB信号のR,G,Bの各信号に対応して設けられている。
【0025】
シェーディング補正部14は、画像上の主走査方向の光量ムラを除去するものである。具体的には、原稿の読み取り動作前に、シェーディング補正用の白色板からの反射光をCCDセンサ11で受光し、そこで得られたアナログデータをデジタルデータに変換してからそのデジタルデータをメモリに記憶する。そして、原稿の読み取り時に、メモリに記憶されたデジタルデータを基準値として原稿の読み取りデータを補正するようになっている。
【0026】
変倍・移動処理部17は、メモリの書き込みおよび読み出し動作の制御を行うことにより、画像の拡大・縮小処理および画像の移動処理を行うものである。色変換部18は、規格化された表色系への変換を行うものであり、ここではRGB信号に基づいてLabデータを作成するようになっている。そして、色変換部18で作成されたLabデータは、色補正部19および領域判別部20に入力されるようになっている。色補正部19は、Labデータに基づき、実際に用いる4色のトナーの分光特性、記録プロセスを考慮して所望する色で記録が可能な記録濃度信号CMYKを作成するものである。
【0027】
領域判別部20は、各画素ごとに画像属性を判別するものであり、各属性に対応する信号を生成して、それらの信号に基づき最終的にはMTF補正部21に対する制御信号(CMPX,KMPX)を生成するようになっている。この領域判別部20には、図2に示すように、カラー信号作成部30と、各種信号作成部31と、網点/カラー領域信号作成部32と、網点/ベタ領域中文字領域信号作成部33と、MTF制御信号作成部34とが備わっている。そして、各種信号作成部31には、エッジ信号作成部25とベタ領域信号作成部26とが含まれ、ラインメモリ27が付設されている。
【0028】
ここで、カラー信号作成部30は、色変換部18で作成されたLabデータに基づいて、カラー信号(COLOR)および黒色領域信号(_BLACK)を作成するものである。そして、カラー信号作成部30は、図3に示されるように、変換部35と、カラー判定用閾値テーブル36および黒判定用閾値テーブル37と、2つの比較器38,39とから構成されている。
【0029】
変換部35は、色変換部18で作成されたデータ(a7−0,b7−0)を用い、変換式(√(a2 +b2 ))により彩度データ(W7−0)を作成するものである。カラー判定用閾値テーブル36は、明度データ(L7−0)に基づきカラー信号(COLOR)を生成するための閾値を作成するものである。また、黒判定用閾値テーブル37は、明度データ(L7−0)に基づき黒色領域信号(_BLACK)を生成するための閾値を作成するものである。ここにおいて、カラー信号(COLOR)および黒色領域信号(_BLACK)を生成するための閾値を明度データ(L7−0)に基づいて作成しているのは、彩度量が明度に非線形的に依存しているためである。
【0030】
このような構成によりカラー信号作成部30は、比較器38において、明度データ(W7−0)とカラー判定用閾値テーブル36によって作成された閾値とを比較することにより、カラー信号(COLOR)を作成するようになっている。また、比較器39において、彩度データ(W7−0)と黒判定用閾値テーブル37によって作成された閾値とを比較することにより、黒色領域信号(_BLACK)を作成するようになっている。
【0031】
図2に戻って、各種信号作成部31は、明度データ(L7−0)に基づいて、網点判別用孤立点信号(WAMI,KAMI)、ベタ領域信号(_BETA)、文字領域検出用エッジ信号(_EDGL)、文字領域検出用内エッジ信号(_INEDG)、および文字エッジ領域信号(_EDG)を作成するものである。そして、各種信号作成部31は、これらの信号を生成すべくエッジ信号作成部25とベタ領域信号作成部26とを備えている。
【0032】
エッジ信号作成部25は、網点判別用孤立点信号(WAMI,KAMI)、文字領域検出用エッジ信号(_EDGL)、文字領域検出用内エッジ信号(_INEDG)、および文字エッジ領域信号(_EDG)を作成するようになっている。そのため、エッジ信号作成部25には、図4に示すように、マトリクス作成部41と、特徴量抽出フィルタ部42と、2つのセレクタ43,44と、4つの比較器45〜48と、外/内エッジ判定部49と、2つのOR回路50,51とを含んでいる。
【0033】
マトリクス作成部41は、入力画像データから5×5サイズのマトリクスデータを作成するものである。そして、マトリクス作成部41で作成されたマトリクスデータに対して特徴量抽出フィルタ部42によるフィルタ処理が施されるようになっている。ここで、特徴量抽出フィルタ部42には、1次微分フィルタ(主走査方向と副走査方向)52,53と、2次微分フィルタ(+型と×型)54,55と、外/内エッジ判別フィルタ56と、孤立点検出フィルタ57とが備わっている。本実施の形態では、主走査方向1次微分フィルタ52として図5に示すものを使用し、副走査方向1次微分フィルタとして図6に示すものを使用している。また、+型2次微分フィルタとして図7に示すものを使用し、×型2次微分フィルタとして図8に示すものを使用している。さらに、外/内エッジ判別フィルタ56として図9に示すものを使用している。
【0034】
また、孤立点検出フィルタ57として図10に示すものを使用している。この孤立点検出フィルタ57には、白孤立点検出フィルタ57aと黒孤立点検出フィルタ57bとが含まれている。そして、白孤立点検出フィルタ57aにより、注目画素V33の明度値が、周辺8画素の明度値よりも大きく、かつ8方向の2画素平均の明度値よりも大きい場合に、網点判別用孤立点信号(WAMI)が”H”アクティブとされる。
【0035】
つまり、注目画素V33の明度値が次の条件を満たす場合に、注目画素V33が白孤立点である(WAMI=”H”)と判別されるようになっている。その条件は、
V33>MAX(V22,V23,V24,V32,V34,V42,V43,V44)
かつ、V33>(V11+V22)/2+OFFSET
かつ、V33>(V13+V23)/2+OFFSET
かつ、V33>(V15+V24)/2+OFFSET
かつ、V33>(V31+V32)/2+OFFSET
かつ、V33>(V35+V34)/2+OFFSET
かつ、V33>(V51+V42)/2+OFFSET
かつ、V33>(V53+V43)/2+OFFSET
かつ、V33>(V55+V44)/2+OFFSET
である。
【0036】
また、黒孤立点検出フィルタ57bにより、注目画素V33の明度値が、周辺8画素の明度値よりも小さく、かつ8方向の2画素平均の明度値よりも小さい場合に、網点判別用孤立点信号(KAMI)が”H”アクティブとされる。
【0037】
つまり、注目画素V33の明度値が次の条件を満たす場合に、注目画素V33が黒孤立点である(KAMI=”H”)と判別されるようになっている。その条件は、
V33<MIN(V22,V23,V24,V32,V34,V42,V43,V44)
かつ、V33+OFFSET<(V11+V22)/2
かつ、V33+OFFSET<(V13+V23)/2
かつ、V33+OFFSET<(V15+V24)/2
かつ、V33+OFFSET<(V31+V32)/2
かつ、V33+OFFSET<(V35+V34)/2
かつ、V33+OFFSET<(V51+V42)/2
かつ、V33+OFFSET<(V53+V43)/2
かつ、V33+OFFSET<(V55+V44)/2
である。なお、OFFSETは、孤立点判別の閾値である。
【0038】
図4に戻って、セレクタ43の端子Aには主走査方向1次微分フィルタ52からの出力が入力され、セレクタ43の端子Bには副走査方向1次微分フィルタ53からの出力が入力されている。また、セレクタ44の端子Aには+型2次微分フィルタ54からの出力が入力され、セレクタ44の端子Bには×型2次微分フィルタ55からの出力が入力されている。そして、各セレクタ43,44ではともに、端子A,Bへの入力値のうち大きいものを選択して出力するようになっている。
【0039】
また、比較器45の端子Pにはセレクタ43からの出力(EDG07−00)が入力され、比較器45の端子Qにはエッジリファレンス値(EDGREF07−00)が入力されている。同様に、比較器46の端子Pにはセレクタ43からの出力(EDG07−00)が入力され、比較器46の端子Qにはエッジリファレンス値(EDGREF17−10)が入力されている。一方、比較器47の端子Pにはセレクタ44からの出力(EDG17−10)が入力され、比較器47の端子Qにはエッジリファレンス値(EDGREF27−20)が入力されている。同様に、比較器48の端子Pにはセレクタ44からの出力(EDG17−10)が入力され、比較器48の端子Qにはエッジリファレンス値(EDGREF37−30)が入力されている。
【0040】
そして、比較器45の出力と比較器47の出力とがOR回路50に入力されている。また、比較器46の出力と比較器48の出力とがOR回路51に入力されている。以上のような構成により、OR回路50において、次の条件(1),(2)のいずれかが成立した場合に、文字エッジ領域信号(_EDG)が”L”アクティブとされるようになっている。その条件は、(1)主走査方向1次フィルタ52および副走査方向1次フィルタ53によってフィルタ処理された値の最大値がエッジリファレンス値(EDGREF07−00)よりも大きい場合、(2)+型2次微分フィルタ54および×型2次微分フィルタ55によってフィルタ処理された値の最大値がエッジリファレンス値(EDGREF27−20)よりも大きい場合である。
【0041】
同様に、OR回路51において、次の条件(3),(4)のいずれかが成立した場合に、文字領域検出用エッジ信号(_EDGL)が”L”アクティブとされるようになっている。その条件は、(3)主走査方向1次フィルタ52および副走査方向1次フィルタ53によってフィルタ処理された値の最大値がエッジリファレンス値(EDGREF17−10)よりも大きい場合、(4)+型2次微分フィルタ54および×型2次微分フィルタ55によってフィルタ処理された値の最大値がエッジリファレンス値(EDGREF37−30)よりも大きい場合である。
【0042】
外/内エッジ判定部49には、外/内エッジ判別フィルタ56によるフィルタ処理が施された値と判定リファレンス値(INOUT7−0)とが入力されている。そして、外/内エッジ判定部49においては、図11に示すようにして外/内エッジの判定を行っている。すなわち、INOUT7=0のときには、エッジ検出量が正の値(FL238=0)であって閾値(INOUT6−0)よりも大きい場合に、内エッジであると判定する。また、エッジ検出量が正の値(FL238=0)であって閾値(INOUT6−0)よりも小さい場合、あるいはエッジ検出量が負の値(FL238=1)である場合に、外エッジであると判定する。一方、INOUT7=1のときには、エッジ検出量が正の値(FL238=0)である場合、あるいはエッジ検出量が負の値(FL238=1)であって閾値(INOUT6−0)よりも小さい場合に、内エッジと判定する。また、エッジ検出量が負の値(FL238=1)であって閾値(INOUT6−0)よりも大きい場合に、外エッジであると判定する。そして、外/内エッジ判定部49は、判定対象が内エッジであると判定した場合に、文字領域検出用内エッジ信号(_INEDG)を”L”アクティブとするようになっている。なお、閾値(INOUT6−0)およびエッジ検出量(FL237−230)は絶対値を示す。
【0043】
再び図2に戻って、ベタ領域信号作成部26は、ベタ領域信号(_BETA)を作成するようになっている。言い換えれば、所定濃度を有するベタ領域を検出するようになっているのである。具体的には、図12のフローチャートに示すようにしてベタ領域信号(_BETA)が作成される。すなわち最初に、注目画素の明度(L)が所定明度(th)以下であるか否かが判断される(#1)。そして、注目画素の明度が所定明度(th)以下である場合、言い換えると所定濃度以上の場合には(#1:YES)、まず、注目画素の左側に隣接して連続する同一明度の画素数nlが計数され、その計数値がラインメモリ27に一時的に記憶される(#2)。なお、「同一明度の画素」には、注目画素と明度が等しい画素の他、注目画素の明度に対して所定の範囲内(±数階調内)の明度を有する画素を含めてもよい。
【0044】
続いて同様に、注目画素の右側の同一明度の画素数nr、注目画素の上側の同一明度の画素数nu、注目画素の下側の同一明度の画素数ndがラインメモリ27に一時的に記憶される(#3,#4,#5)。そうすると、主走査方向および副走査方向における連続同一明度画素数nm,nsが次式により算出されて、その算出結果がラインメモリ27に一時的に記憶される(#6)。
【0045】
nm=nr+nl+1
ns=nu+nd+1
【0046】
次に、連続同一明度画素数nm,nsの双方が閾値(thresh)よりも大きいか否かが判断される。なお、閾値としては、記録画素密度に応じて通常の大きさの文字画像を構成する面積の領域を同一明度のベタ領域と判別しない程度の値を設定すればよい。そして、連続同一明度画素数nm,nsの双方が閾値よりも大きい場合には(#7:YES)、その注目画素は同一明度のベタ領域に属すると判別され、ベタ領域信号(_BETA)がアクティブとされる(#8)。一方、連続同一明度画素数nm,nsの少なくとも一方が閾値よりも小さい場合には(#7:NO)、その注目画素は同一明度のベタ領域に属さないと判別され、ベタ領域信号(_BETA)はアクティブとはされない(#9)。また、#1において、注目画素の明度が所定明度以上である場合にも(#1:NO)、その注目画素は同一明度のベタ領域に属さないと判別される(#9)。以後、上記した処理が各画素に対して順次行われて、同一明度のベタ領域が検出される。
【0047】
また図2に戻って、網点/カラー領域信号作成部32は、カラー信号(COLOR)と網点判別用孤立点信号(WAMI,KAMI)とに基づいて、カラー領域信号(_COL_DOT)および網点領域信号(_AMI)を作成するものである。すなわち、網点/カラー領域信号作成部32は、網点領域とカラー領域を判別するものである。そして、領域判別部20において、網点/カラー領域信号作成部32によってカラー領域信号(_COL_DOT)と網点領域信号(_AMI)との両方の信号がアクティブとされた画素が、カラー網点領域に属すると判別されることになる。この網点/カラー領域信号作成部32には、図13に示すように、黒孤立点個数カウント部60と、白孤立点個数カウント部61と、色画素個数カウント部62と、加算器63と、4つの比較器64〜67と、OR回路68とが含まれている。
【0048】
黒孤立点個数カウント部60は、9×45マトリクス領域内に存在する黒孤立点の個数を計数するものである。同様に、白孤立点個数カウント部61は、9×45マトリクス領域内に存在する白孤立点の個数を計数するものである。そして、黒孤立点個数カウント部60からの出力が、加算器63の端子Aおよび比較器65の端子Pにそれぞれ入力されている。一方、白孤立点個数カウント部61からの出力が、加算器63の端子Bおよび比較器66の端子Pにそれぞれ入力されている。また、比較器64の端子Pには、加算器63からの出力が入力されている。ここで、各比較器64〜66の各端子Pには各リファレンス値(CNTREF17−10,27−20,37−30)がそれぞれ入力されている。そして、各比較器64〜66からの出力がOR回路68に入力されている。
【0049】
これにより、OR回路68において、黒孤立点の個数と白孤立点の個数の合計値がリファレンス値(CNTREF17−10)よりも大きい場合、黒孤立点の個数がリファレンス値(CNTREF27−20)よりも大きい場合、白孤立点の個数がリファレンス値(CNTREF37−30)よりも大きい場合のいずれかの条件が少なくとも1つ成立すれば、注目画素が網点領域に属すると判定されて、網点領域信号(_AMI)が”L”アクティブとされる。
【0050】
また、色画素個数カウント部62は、9×45マトリクス領域内に存在する色画素の個数を計数するものである。そして、色画素個数カウント部62からの出力が、比較器67の端子Pに入力されている。ここで、比較器67の端子Qには、リファレンス値(CNTREF47−40)が入力されている。これにより、比較器67において、色画素の個数がリファレンス値(CNTREF47−40)よりも大きい場合に、注目画素が色画素であると判定されて、カラー領域信号(_COL_DOT)が”L”アクティブとされる。
【0051】
このように、網点/カラー領域信号作成部32により、網点領域信号(_AMI)とカラー領域信号(_COL_DOT)とが作成されるので、領域判別部20において、カラー網点領域を判別することができる。
【0052】
図2に戻って、網点/ベタ領域中文字領域信号作成部33は、網点判別用孤立点信号(WAMI,KAMI)およびベタ領域信号(_BETA)と、文字領域検出用エッジ信号(_EDGL)と文字領域検出用内エッジ信号(_INEDG)とに基づいて、網点中文字領域信号(_AMI_MOJI)およびベタ領域中文字領域信号(_BETA_MOJI)を作成するものである。すなわち、網点/ベタ領域中文字領域信号作成部33は、網点あるいはベタ領域内に存在する文字領域を検出するものである。この網点/ベタ領域中文字領域信号作成部33には、図14に示すように、OR回路75と、3つのAND回路78,82,84と、孤立点個数カウント部76と、内エッジ個数カウント部79と、2つの比較器77,80と、連続性検出部81とを含んでいる。
【0053】
ここで、孤立点個数カウント部76は、11×11マトリクス領域内に存在する孤立点の個数を計数するものである。内エッジ個数カウント部79は、3×3マトリクス領域内に存在する内エッジの個数を計数するものである。また、連続性検出部81は、内エッジの連続性、つまり内エッジが連続して存在するか否かを検出するものである。
【0054】
ここにおいて、OR回路75には、網点判別用孤立点信号(WAMI,KAMI)が入力されている。このため、OR回路75においては、「WAMI」と「KAMI」との論理和が算出される。そして、その算出結果が孤立点個数カウント部76に入力されている。さらに、孤立点個数カウント部76からの出力が、比較器77の端子Pに入力されている。一方、比較器77の端子Qにはリファレンス値(CNTREF57−50)が入力されている。
【0055】
また、AND回路78には、文字領域検出用エッジ信号(_EDGL)と文字領域検出用内エッジ信号(_INEDG)とが入力されている。このため、AND回路78においては、「_EDGL」と「_INEDG」との論理積が算出される。そして、その算出結果が内エッジ個数カウント部79に入力されている。さらに、内エッジ個数カウント部79からの出力が、比較器80の端子Pに入力されている。一方、比較器80の端子Qにはリファレンス値(CNTREF67−60)が入力されている。
【0056】
そして、比較器80からの出力が連続性検出部81に入力されている。この連続性検出部81では、注目画素a33が中心に位置する5×5サイズのマトリクスデータ83において、図示する8方向のいずれかで、注目画素a33と同じ論理になっている画素が3つ連続しているか否かを検出することにより、内エッジの連続性を検出するようになっている。具体的には、次式により内エッジの連続性が検出される。
!Y=(a11×a22×a33)+(a13×a23×a33)
+(a15×a24×a33)+(a35×a34×a33)
+(a55×a44×a33)+(a53×a43×a33)
+(a51×a42×a33)+(a31×a32×a33)
なお、式中における「!」は反転処理を、「×」はAND処理を、「+」はOR処理をそれぞれ意味する。
【0057】
このように連続性検出部81において、内エッジの連続性を検出してその検出結果も考慮することにより、画像ノイズ等を文字領域であると誤判別することを防止することができる。すなわち、より正確に文字領域を判別することができる。
【0058】
この連続性検出部81からの出力は、AND回路82,84にそれぞれ入力されるようになっている。また、AND回路82には比較器77からの出力が入力され、AND回路84にはベタ領域信号(_BETA)が入力されている。従って、AND回路82からは、連続性検出部81の出力と比較器77の出力との論理積が網点中文字領域信号(_AMI_MOJI)として出力される。また、AND回路84からは、連続性検出部81の出力とベタ領域信号(_BETA)との論理積がベタ領域中文字領域信号(_BETA_MOJI)として出力される。
【0059】
すなわち、網点/ベタ領域中文字領域信号作成部33は、孤立点の計数値がリファレンス値(CNTREF57−50)より小さく、内エッジの計数値がリファレンス値(CNTREF67−60)よりも大きく、さらに内エッジに連続性があると判断した場合に、注目画素は網点中文字領域に属すると判断する。また、ベタ領域信号(_BETA)がアクティブであって、内エッジの計数値がリファレンス値(CNTREF67−60)よりも大きく、さらに内エッジに連続性があると判断した場合に、注目画素はベタ領域中文字領域に属すると判断する。そして、網点/ベタ領域中文字領域信号作成部33は、注目画素が網点中文字領域に属すると判断した場合に網点中文字領域信号(_AMI_MOJI)をアクティブにし、注目画素がベタ領域中文字領域に属すると判別した場合にベタ領域中文字領域信号(_BETA_MOJI)をアクティブにするようになっている。
【0060】
再び図2に戻って、MTF制御信号作成部34は、カラー領域信号(_COL_DOT)、網点領域信号(_AMI)、網点中文字領域信号(_AMI_MOJI)、ベタ領域中文字領域信号(_BETA_MOJI)、文字領域検出用内エッジ信号(_INEDG)、文字エッジ領域信号(_EDG)、および黒色領域信号(_BLACK)に基づいて、MTF制御部21の動作を制御するMTF制御信号(CMPX2−0,KMPX2−0)を作成するものである。このMTF制御信号作成部34は、ルックアップテーブルで構成されており、7つの領域判別属性信号(_COL_DOT,_AMI,_AMI_MOJI,_BETA_MOJI,_INEDG,_EDG,_BLACK)を入力アドレスとして、MTF制御信号(CMPX,KMPX)を作成するようになっている。
【0061】
図1に戻って、MTF補正部21は、画像の先鋭度などの補正を行うものである。このMTF補正部21は、図15に示すように、CMYKの各色に対応してシアン(C)用補正部90と、マゼンタ(M)用補正部91と、イエロー(Y)用補正部92と、ブラック(K)用補正部93とを備え、各色ごとに補正処理を行うようになっている。そして、CMYの補正処理は、領域判別部20で作成されたMTF制御信号(CMPX2−0)により制御され、Kの補正処理は、MTF制御信号(KMPX2−0)により制御されるようになっている。
【0062】
ここで、各色用補正部の構成についてより詳細に説明する。なお、シアン(C)用補正部90、マゼンタ(M)用補正部91、イエロー(Y)用補正部92、およびブラック(K)用補正部93は、すべて同じ構成を有している。従って、ここでは代表してシアン(C)用補正部90の構成について説明し、その他の補正部についての説明は省略する。このシアン(C)用補正部90には、図15に示すように、マトリクス作成部100と、各種のフィルタを備える文字加工フィルタ部101と、2つのセレクタ102,103と、加算器104とが含まれている。
【0063】
マトリクス作成部100は、5×5マトリクスデータを作成して、そのデータを文字加工フィルタ部101に供給するものである。文字加工フィルタ部101は、エッジ強調量作成フィルタ部110と、スムージングフィルタ部111と、minフィルタ部112と、置換制御部113とから構成されている。このような構成により、文字加工フィルタ部101では、エッジ強調量データ、スムージング処理データ、min処理データ、および置換データを出力するようになっている。
【0064】
ここで、エッジ強調量作成フィルタ部110には、−45度微分フィルタ部120と、0度微分フィルタ部121と、45度微分フィルタ部122と、90度微分フィルタ部123と、これらのフィルタ部によるフィルタ処理が施されたデータのうちの最大値を選択するセレクタ124とが含まれている。なお、本実施の形態では、−45度微分フィルタ部120には図16に示すフィルタが備わり、0度微分フィルタ121部には図17に示すフィルタが備わり、45度微分フィルタ部122には図18に示すフィルタが備わり、90度微分フィルタ部123には図19に示すフィルタが備わっている。
【0065】
また、スムージングフィルタ部111には図20に示すフィルタが備わっており、スムージング処理が実行されるようになっている。さらに、minフィルタ部112では、図21に示すように、5×5マトリクスデータのうちの最小値を注目画素のデータとする処理が実行されるようになっている。
【0066】
置換制御部113には、図22に示すように、2つAND回路114,115と置換フィルタ部116とが備わっている。そして、AND回路114には、ベタ領域中文字領域信号(_BETA_MOJI)と文字領域検出用内エッジ信号(_INEDG)の否定論理信号が入力されている。これにより、AND回路114では、ベタ領域中文字領域における外エッジ領域が検出される。一方、AND回路115には、網点中文字領域信号(_AMI_MOJI)と文字領域検出用内エッジ信号(_INEDG)の否定論理信号が入力されている。これにより、AND回路115では、網点中文字領域における外エッジ領域が検出される。そして、AND回路114,115からの出力信号は置換フィルタ部116に入力され、ここで置換処理が行われるようになっている。
【0067】
この置換フィルタ部116には、図23に示す置換フィルタが備わっている。この置換フィルタは、注目画素a33を中心とする5×5マトリクス領域内における各画素の明度の平均値を算出し、その平均値を注目画素a33の明度に置き換える処理を行うものである。従って、置換フィルタ部116により、網点中文字領域あるいはベタ領域中文字領域(以下、これらを総称して「下地中文字領域」という)における外エッジ領域の明度が置換される。
【0068】
ここで置換フィルタ部116においては、5×5マトリクス領域内に文字領域が含まれる場合、その文字領域を除いた領域のみにおける平均値が算出されるようになっている。置換する明度データを、近隣の下地領域の明度に近づけるためである。例えば、図24に示すように、画素a11,a12,a21,a22,a31,a32,a41,a42,a51,a52が文字領域に属している場合には、画素a13,a14,a15,a23,a24,a25,a33,a34,a35,a43,a44,a45,a53,a54,a55の明度データのみを用いて算出した平均値が、注目画素a33の明度データに置換される。
【0069】
図15に戻って、エッジ強調量作成フィルタ部110からの出力がセレクタ102の端子Aに入力されている。また、セレクタ102の端子Bには”00”が入力され、端子SにはMTF制御信号(CMPX2)が入力されている。これにより、セレクタ102では、MTF制御信号(CMPX2)の内容に従って、端子Aまたは端子Bへの入力値のいずれかが選択されて出力されるようになっている。
【0070】
また、スムージングフィルタ部111からの出力がセレクタ103の端子Aに入力され、minフィルタ部112からの出力がセレクタ103の端子Bに入力され、置換制御部113からの出力がセレクタ103の端子Eに入力されている。さらに、セレクタ103の端子C,Dには、マトリクス作成部100からの出力、すなわち文字加工フィルタ部101による処理が施されていないデータが入力されている。そして、セレクタ103の端子SにMTF制御信号(CMPX1−0)が入力されている。これにより、セレクタ103では、MTF制御信号(CMPX1−0)の内容に従って、端子A〜Eへの入力値のいずれかが選択されて出力されるようになっている。
【0071】
そして、セレクタ102からの出力とセレクタ103からの出力とがそれぞれ加算器104の端子Aと端子Bとに入力されている。これにより、加算器104においては、エッジ強調データ(エッジ強調を行わない場合は”00”)とセレクタ103で選択された処理データとが加算処理され、その加算データがMTF補正部21からの出力(C7−0)となる。その他の色の記録濃度信号(M,Y,K)に対しても、シアン(C)と同様の処理が実行される。
【0072】
このようにしてMTF補正部21において処理が施された各色の画像データ(C7−0,M7−0,Y7−0,K7−0)は、プリンタI/F22を介してプリンタ等の画像出力装置に送信されるようになっている。かくして、画像出力装置において処理後の画像データに基づき再現画像が出力されるのである。
【0073】
次に、上記した構成を有するカラー画像処理装置の全体動作について簡単に説明する。まず、原稿の画像情報が、CCDセンサ11により読み取られる。そして、CCDセンサ11から出力されるアナログの画像データが、A/D変換されてデジタルの画像データとされる。そうすると、そのデジタルの画像データに対し、シェーディング補正、ライン間補正、色収差補正、変倍・移動処理、色変換処理、色補正、領域判別処理、およびMTF補正が順次施される。そして、各種の画像処理が施された画像データに基づき、プリンタI/F22を介してプリンタ等により記録体上に原稿の再現画像が出力される。
【0074】
ここで、領域判別部20においては、注目画素がカラー領域、モノクロ領域、網点領域、文字領域、および下地中文字領域のうちのどの領域に属するかが判別される。なお、網点領域、文字領域、および網点中文字領域については、それらの領域がカラー領域であるかも判別される。そして、カラー網点領域の判別は、網点/カラー領域信号作成部32における網点領域とカラー領域との判別結果に基づき行われる。そこでまず、網点領域の判別方法について説明する。
【0075】
網点領域の判別は、まず、黒孤立点個数カウント部60および白孤立点個数カウント部61において、各種信号作成部31により作成された網点判別用孤立点信号(WAMIおよびKAMI)に基づき、9×45マトリクス内に存在する黒孤立点および白孤立点の個数がそれぞれ計数される。そして、加算器63により、黒孤立点と白孤立点の計数値の加算値が算出される。そうすると、比較器64〜66において、黒孤立点と白孤立点の計数値の加算値、黒孤立点の計数値、および白孤立点の計数値が各リファレンス値(CNTREF17−10,27−20,37−30)と比較される。これら各比較器64〜66における比較結果は、OR回路68に入力される。
【0076】
そして、OR回路68において、黒孤立点の個数と白孤立点の個数との合計値がリファレンス値(CNTREF17−10)よりも大きい場合、黒孤立点の個数がリファレンス値(CNTREF27−20)よりも大きい場合、白孤立点の個数がリファレンス値(CNTREF37−30)よりも大きい場合のいずれかの条件が少なくとも1つ成立すれば、注目画素が網点領域に属すると判定される。そうすると、網点領域信号(_AMI)が”L”アクティブとされる。
【0077】
次に、カラー領域の判別方法について説明する。カラー領域の判別は、まず、色画素個数カウント部62において、カラー信号作成部30により作成されたカラー信号(COLOR)に基づき、9×45マトリクス内に存在する色画素の個数が計数される。そうすると、比較器67において、色画素の計数値がリファレンス値(CNTREF47−40)と比較される。その結果、色画素の個数のリファレンス値(CNTREF47−40)よりも大きい場合に、注目画素がカラー領域に属すると判定される。そうすると、カラー領域信号(_COL_DOT)が”L”アクティブとされる。このようにして、網点/カラー領域信号作成部32において網点領域とカラー領域の判別を行った結果、網点領域信号(_AMI)とカラー領域信号(_COL_DOT)とが共に”L”アクティブとされた場合に、領域判別部20において注目画素はカラー網点領域に属すると判別される。
【0078】
続いて、下地中文字領域の判別方法について説明する。この下地中文字領域の判別は、領域判別部20に備わる網点/下地領域中文字領域信号作成部33において、網点中文字領域の判別とベタ領域中文字領域の判別とに区分されて行われる。まず、網点中文字領域の判別について説明する。網点中文字領域の判別は、まず、OR回路75において、各種信号作成部31により作成された網点判別用孤立点信号(WAMI,KAMI)の論理和が算出される。そして、OR回路75によって算出された論理和が、孤立点個数カウント部76に入力される。そうすると、孤立点個数カウント部76において、11×11マトリクス領域内に存在する白および黒孤立点の個数が計数される。そして、比較器77において、孤立点計数値がリファレンス値(CNTREF57−50)と比較される。この比較結果はAND回路82に入力される。
【0079】
一方、上記処理と並行して、AND回路78において、各種信号作成部31により作成された文字領域検出用エッジ信号(_EDGL)と文字領域検出用内エッジ信号(_INEDG)との論理積が算出される。そして、AND回路78によって算出された論理積が、内エッジ個数カウント部79に入力される。そうすると、内エッジ個数カウント部79において、3×3マトリクス領域内に存在する内エッジの個数が計数される。そして、比較器80において、内エッジ計数値がリファレンス値(CNTREF67−60)と比較される。この比較結果は連続性検出部81に入力される。そうすると、連続性検出部81において、内エッジの連続性が検出される。そして、内エッジの計数値および連続性の有無に関するデータがAND回路82に入力される。
【0080】
最終的にAND回路82において、孤立点計数値(WAMI+KAMI)がリファレンス値(CNTREF57−50)よりも小さく、しかも内エッジ計数値(_EDGL×_INEDG)がリファレンス値(CNTREF67−60)よりも大きくて、かつ内エッジに連続性がある場合には、注目画素は網点中文字領域に属すると判断され、網点中文字領域信号(_AMI_MOJI)が”L”アクティブとされる。なお、網点中文字領域の判別は、注目画素を主走査方向に1画素分ずつ移動させ、主走査方向の最終位置に到達したら副走査方向に1画素分移動させることを繰り返すことにより、入力された画像データの全画素について行われる。
【0081】
次に、ベタ領域中文字領域の判別について説明する。上記した連続性検出部81から出力された内エッジの連続性の有無に関するデータがAND回路84にも入力される。また、AND回路84には、ベタ領域信号作成部26から出力されたベタ領域信号(_BETA_MOJI)が入力されている。そして、AND回路84において、ベタ領域に属しかつ内エッジに連続性がある場合には、注目画素はベタ領域中文字領域に属すると判断され、ベタ領域中文字領域信号(_BETA_MOJI)が”L”アクティブとされる。なお、ベタ領域中文字領域の判別も、注目画素を主走査方向に1画素分ずつ移動させ、主走査方向の最終位置に到達したら副走査方向に1画素分移動させることを繰り返すことにより、入力された画像データの全画素について行われる。
【0082】
そして、領域判別部20で行われた領域判別の結果、すなわち各種の領域属性判別信号に従って、MTF補正部21において各種属性に応じた画像処理が施される。具体的には、下地領域に対してはスムージング処理が施される。また、文字領域の内エッジ領域にはエッジ強調処理が施され、外エッジ領域にはエッジ減衰処理が施される。これにより、下地領域においてはモアレの発生が抑制され、文字領域においては先鋭度が確保される。
【0083】
また、下地領域中文字領域における内エッジ領域にはエッジ強調処理が施される。一方、下地領域中文字領域における外エッジ領域に対しては、置換フィルタ部116による置換処理が施される。例えば、図25に示すような画像であれば、文字領域の外側の領域Rが置換処理の対象となる。そして、この領域Rに属する画素に対し、置換フィルタによる明度の置換処理が施される。すなわち、置換フィルタ内の下地領域における平均明度が、置換フィルタの中心に位置する注目画素の明度に置換されるのである。これにより、領域Rの明度は、下地領域の明度とほぼ等しくなる。従って、図26に示すように、下地領域中に描かれた文字の周囲に白い縁取り(図28参照)が発生しない。また、領域Rに対しては、スムージング処理を行わないため、色濁りが発生することもない。すなわち、MTF補正部21の補正により、下地上に描かれた文字などの画像を、白い縁取りや色濁りを発生させずに、また先鋭度を低下させることなく再現することができる。
【0084】
ここで、上記した説明では、本発明に係る画像処理装置をハードウェアで構成した場合について例示したが、このような装置はソフトウェアによっても実現することができる。そこで、ソフトウェアによって上記の画像処理装置を実現させる場合における処理の流れを、図27に示すフローチャートを用いて説明する。
【0085】
まず、ソフトウェアをコンピュータ(例えば、複写機やプリンタなど)に読み込ませる。読み込みが終了すると、コンピュータと本発明のソフトウェアが協働して以下の処理が実行される。すなわち、まずコンピュータは画像データの入力を待つ(#11)。そして、画像データが入力されると(#11:YES)、コンピュータは各画素ごとに明度データを作成する(#12)。明度データを作成すると、コンピュータはその明度データに基づきエッジ領域に属する画素の判別を行う(#13)。そして、エッジ領域に属すると判別した画素に対しては、#15の処理を実行する(#14:YES)。一方、エッジ領域に属さないと判別した画素に対しては、その他の処理(具体的にはスムージング処理)を施す(#14:NO,#22)。
【0086】
次いで、#15においてコンピュータは、エッジ領域に属すると判別した画素が、内エッジ領域に属するのか、それとも外エッジ領域に属するのかを判別する。続いてコンピュータは、エッジ領域に属すると判別した画素が、下地領域にも属するか否かを判別する(#16)。そして、エッジ領域に属すると判別した画素が外エッジ領域に属すると判別した場合には(#17:YES)、#18の処理を実行する。一方、エッジ領域に属すると判別した画素が外エッジ領域には属さない、言い換えれば内エッジ領域に属すると判別した場合には(#17:NO)、その画素に対してその他の処理(具体的にはエッジ強調処理)を施す(#22)。なお、#22の「その他の処理」には、上記したようにスムージング処理やエッジ強調処理など複数の処理が含まれる。
【0087】
また、コンピュータは、外エッジ領域に属すると判別した画素が、下地領域にも属すると判別した場合には(#18:YES)、その画素の周辺の下地領域における平均濃度を算出する(#19)。そうしてコンピュータは、平均濃度を算出すると、算出した平均濃度をその画素の濃度に置換する(#20)。一方、外エッジ領域に属すると判別した画素が、下地領域には属さないと判別した場合には(#18:NO)、その画素に対してエッジ減衰処理を施す(#21)。
【0088】
このような手順の処理を行うソフトウェアを、上記したハードウェアが構成されていない画像処理装置(コンピュータに相当)に読み込むことにより、上記した画像処理装置と同様の効果を得ることができる。すなわち、下地上の文字などを、白い縁取りや色濁りを発生させずに鮮明に再現することができるのである。なお、このソフトウェアはプログラムとして存在する場合もあるし、プログラムを記録した記録媒体として存在する場合もある。
【0089】
以上、詳細に説明したように本実施の形態に係るカラー画像処理装置によれば、領域判別部20に、エッジ領域を検出しそのエッジ領域が内エッジ領域であるのか、外エッジ領域であるのかを判別するエッジ信号作成部25と、網点あるいは所定濃度の下地領域中の文字領域を検出する網点/ベタ領域中文字領域信号作成部33とが設けられている。これにより、下地領域上に形成された文字領域の内エッジ領域と外エッジ領域と正確に判別することができる。そして、MTF補正部21には、下地領域上に形成された文字領域の外エッジ領域に対して、明度の置換処理を行う置換制御部113が設けられている。このため、下地領域上に形成された文字の周囲に白い縁取りが発生しない。また、文字領域の外エッジ領域に対しては、置換制御部113による置換処理が施されスムージング処理が施されることはないので、下地領域上に形成された文字に色濁りが発生することもない。
【0090】
なお、上記した実施の形態は単なる例示にすぎず、本発明を何ら限定するものではなく、その要旨を逸脱しない範囲内で種々の改良、変形が可能であることはもちろんである。また、上記した実施の形態において例示した具体的な数値(例えば、論理フィルタのサイズなど)は、単なる例示にすぎないことは言うまでもない。
【0091】
【発明の効果】
以上説明した通り本発明によれば、下地領域上に形成された文字などを、白い縁取りや色濁りを発生させずに鮮明に再現することができる画像処理装置および画像処理プログラムが提供されている。
【図面の簡単な説明】
【図1】 実施の形態に係るカラー画像処理装置の概略構成を示すブロック図である。
【図2】 図1の領域判別部の概略構成を示すブロック図である。
【図3】 図2のカラー信号作成部の概略構成を示すブロック図である。
【図4】 図2のエッジ信号作成部の概略構成を示すブロック図である。
【図5】 1次微分フィルタ(主走査方向)を示す図である。
【図6】 1次微分フィルタ(副走査方向)を示す図である。
【図7】 2次微分フィルタ(+型)を示す図である。
【図8】 2次微分フィルタ(×型)を示す図である。
【図9】 外/内エッジ判別フィルタを示す図である。
【図10】 孤立点検出フィルタを示す図である。
【図11】 図4の外/内エッジ判定部における判定方法を説明するための図である。
【図12】 図2のベタ領域信号作成部における処理内容を示すフローチャートである。
【図13】 図2の網点/カラー領域信号作成部の概略構成を示すブロック図である。
【図14】 図2の網点/ベタ領域中文字領域信号作成部の概略構成を示すブロック図である。
【図15】 図1のMTF補正部の概略構成を示すブロック図である。
【図16】 −45度微分フィルタを示す図である。
【図17】 0度微分フィルタを示す図である。
【図18】 45度微分フィルタを示す図である。
【図19】 90度微分フィルタを示す図である。
【図20】 スムージングフィルタを示す図である。
【図21】 minフィルタを示す図である。
【図22】 図15の置換制御部の概略構成を示すブロック図である。
【図23】 置換フィルタを示す図である。
【図24】 置換フィルタによる処理方法を説明するための図である。
【図25】 処理画像の具体的な一例を示す図である。
【図26】 図25の画像に対する処理結果を示す図である。
【図27】 ソフトウェアにより本発明を実現した場合における処理内容を示すフローチャートである。
【図28】 従来の技術における問題点を説明するための図である。
【符号の説明】
11 CCDセンサ
20 領域判別部
21 MTF補正部
25 エッジ信号作成部
26 ベタ領域信号作成部
32 網点/カラー領域信号作成部
33 網点/ベタ領域中文字領域信号作成部
49 外/内エッジ判定部
113 置換制御部
102,103 セレクタ
Claims (5)
- 画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得された画像データに基づき注目画素がエッジ領域の外側部分である外エッジ領域に属するか否かを判別する外エッジ判別手段と、
前記画像データ取得手段で取得された画像データに基づき注目画素が下地領域に属するか否かを判別することにより下地領域を検出する下地領域判別手段と、
前記外エッジ判別手段にて外エッジ領域に属すると判別された注目画素に対して第1の補正処理を施す第1補正手段と、
前記外エッジ判別手段にて外エッジ領域に属すると判別された注目画素に対して、注目画素の濃度を、その注目画素の周辺の前記下地領域判別手段にて下地領域であると検出された領域における平均濃度に置換する第2の補正処理を施す第2補正手段と、
前記外エッジ判別手段にて外エッジ領域に属すると判別された注目画素のうち、
前記下地領域判別手段にて下地領域には属さないと判別された注目画素に対しては前記第1補正手段による第1の補正処理を施すと決定し、
前記下地領域判別手段にて下地領域に属すると判別された注目画素に対しては 前記第2補正手段による第2の補正処理を施すと決定する補正処理決定手段と、
を有することを特徴とする画像処理装置。 - 請求項1に記載する画像処理装置において、
前記第1補正手段による第1の補正処理は、エッジ減衰処理であることを特徴とする画像処理装置。 - 画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得された画像データに基づき注目画素がエッジ領域の外側部分である外エッジ領域に属するか否かを判別する外エッジ判別手段と、
前記画像データ取得手段で取得された画像データに基づき注目画素が下地領域に属するか否かを判別することにより下地領域を検出する下地領域判別手段と、
前記外エッジ判別手段にて外エッジ領域に属すると判別され、かつ、前記下地領域判別手段にて下地領域に属すると判別された注目画素の濃度を、その注目画素の周辺画素の前記下地領域判別手段にて下地領域であると検出された領域における平均濃度に基づき算出される値に置換する置換処理を行い、前記外エッジ判別手段にて外エッジ領域に属すると判別され、かつ、前記下地領域判別手段にて下地領域に属さないと判別された注目画素に対しては、前記置換処理を行わない補正処理手段と、
を有することを特徴とする画像処理装置。 - コンピュータに、
画像データを取得する画像データ取得ステップと、
前記画像データ取得ステップで取得された画像データに基づき注目画素がエッジ領域の外側部分である外エッジ領域に属するか否かを判別する外エッジ判別ステップと、
前記画像データ取得ステップで取得された画像データに基づき注目画素が下地領域に属するか否かを判別することにより下地領域を検出する下地領域判別ステップと、
前記外エッジ判別ステップにて外エッジ領域に属すると判別された注目画素のうち、
前記下地領域判別ステップにて下地領域に属すると判別された注目画素に対して、その注目画素の濃度を、その注目画の周辺の前記下地領域判別ステップにて下地領域であると検出された領域における平均濃度に置換する置換処理を施し、
前記下地領域判別ステップにて下地領域に属すると判別されなかった注目画素に対して、前記置換処理を施さない補正処理ステップと、
を実行させるための画像処理プログラム。 - コンピュータに、
画像データを取得する画像データ取得ステップと、
前記画像データ取得ステップで取得された画像データに基づき注目画素がエッジ領域の外側部分である外エッジ領域に属するか否かを判別する外エッジ判別ステップと、
前記画像データ取得ステップで取得された画像データに基づき注目画素が下地領域に属するか否かを判別することにより下地領域を検出する下地領域判別ステップと、
前記外エッジ判別ステップにて外エッジ領域に属すると判別された注目画素のうち、
前記下地領域判別ステップにて下地領域には属さないと判別された注目画素に対しては、第1の補正処理を施し、
前記下地領域判別ステップにて下地領域に属すると判別された注目画素に対しては、注目画素の濃度を、その注目画素の周辺の前記下地領域判別ステップにて下地領域であると検出された領域における平均濃度に置換する第2の補正処理を施す補正処理ステップと、
を実行させるための画像処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001204714A JP4150844B2 (ja) | 2001-07-05 | 2001-07-05 | 画像処理装置および画像処理プログラム |
| US10/187,950 US7099520B2 (en) | 2001-07-05 | 2002-07-03 | Image processing apparatus, image processing method, and program product for image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001204714A JP4150844B2 (ja) | 2001-07-05 | 2001-07-05 | 画像処理装置および画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003018409A JP2003018409A (ja) | 2003-01-17 |
| JP4150844B2 true JP4150844B2 (ja) | 2008-09-17 |
Family
ID=19041139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001204714A Expired - Fee Related JP4150844B2 (ja) | 2001-07-05 | 2001-07-05 | 画像処理装置および画像処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7099520B2 (ja) |
| JP (1) | JP4150844B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005045404A (ja) * | 2003-07-24 | 2005-02-17 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
| US20050105820A1 (en) * | 2003-11-18 | 2005-05-19 | Xing-Ping Zhou | Method for enhancing monochrome text image |
| JP4189598B2 (ja) | 2004-05-21 | 2008-12-03 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置及び画像処理方法 |
| JP4553297B2 (ja) * | 2004-08-02 | 2010-09-29 | 株式会社リコー | 画像処理装置 |
| US7970187B2 (en) * | 2005-09-06 | 2011-06-28 | Pie Medical Imaging B.V. | Method, apparatus and computer program for contour detection of vessels using x-ray densitometry |
| US20070100223A1 (en) * | 2005-10-14 | 2007-05-03 | Rui Liao | Method and system for cardiac imaging and catheter guidance for radio frequency (RF) ablation |
| JP4871144B2 (ja) * | 2006-01-13 | 2012-02-08 | 株式会社東芝 | 画像処理装置、方法、プログラム |
| JP4775052B2 (ja) * | 2006-03-17 | 2011-09-21 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4637063B2 (ja) * | 2006-07-04 | 2011-02-23 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| KR101062202B1 (ko) * | 2007-02-06 | 2011-09-05 | 삼성전자주식회사 | 화상처리장치, 화상처리방법 및 그 기록매체 |
| KR20090005843A (ko) * | 2007-07-10 | 2009-01-14 | 삼성전자주식회사 | 촬상 장치 및 촬상 장치의 감도 개선 방법 |
| JP5078147B2 (ja) * | 2008-03-04 | 2012-11-21 | 株式会社リコー | 画像処理装置及び画像撮像装置 |
| JP2009278416A (ja) * | 2008-05-15 | 2009-11-26 | Seiko Epson Corp | 画像処理装置、画像処理方法およびコンピュータプログラム |
| KR101114744B1 (ko) * | 2009-02-12 | 2012-03-05 | 전남대학교산학협력단 | 영상으로부터 텍스트를 인식하는 방법 |
| US8111943B2 (en) * | 2009-04-15 | 2012-02-07 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Smart image enhancement process |
| US8280111B2 (en) * | 2010-02-17 | 2012-10-02 | The Boeing Company | Advanced background estimation technique and circuit for a hyper-spectral target detection method |
| JP2012169762A (ja) * | 2011-02-10 | 2012-09-06 | Sony Corp | 画像符号化装置と画像復号化装置およびその方法とプログラム |
| US9424499B2 (en) * | 2014-07-11 | 2016-08-23 | Oce-Technologies B.V. | Method for printing a grayscale raster image by grayscale value dispersion |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2589295B2 (ja) * | 1986-11-14 | 1997-03-12 | キヤノン株式会社 | 画像形成装置 |
| JPH02253765A (ja) * | 1989-03-28 | 1990-10-12 | Toshiba Corp | 画像処理装置 |
| JPH0591328A (ja) * | 1991-09-30 | 1993-04-09 | Ricoh Co Ltd | 画像処理装置 |
| JPH08191392A (ja) * | 1995-01-11 | 1996-07-23 | Mita Ind Co Ltd | 画像処理装置 |
| JP3335830B2 (ja) * | 1995-12-28 | 2002-10-21 | シャープ株式会社 | 画像処理装置 |
| US6072889A (en) * | 1997-12-03 | 2000-06-06 | The Raytheon Company | Method and system for imaging target detection |
| JP3789243B2 (ja) | 1998-12-02 | 2006-06-21 | 株式会社リコー | 画像処理装置および方法 |
| JP4228466B2 (ja) * | 1999-04-23 | 2009-02-25 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置、画像処理方法、および画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体 |
-
2001
- 2001-07-05 JP JP2001204714A patent/JP4150844B2/ja not_active Expired - Fee Related
-
2002
- 2002-07-03 US US10/187,950 patent/US7099520B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US7099520B2 (en) | 2006-08-29 |
| JP2003018409A (ja) | 2003-01-17 |
| US20030007183A1 (en) | 2003-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4150844B2 (ja) | 画像処理装置および画像処理プログラム | |
| US5768403A (en) | Image-area identifying system for a color image processing apparatus | |
| JPH07106646B2 (ja) | 画像処理装置 | |
| JPH0722330B2 (ja) | 画像処理装置の画像領域識別方式 | |
| JP3334042B2 (ja) | 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法、および画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体 | |
| US7003152B1 (en) | Image processing apparatus | |
| JP4013478B2 (ja) | 画像処理装置 | |
| JP3560776B2 (ja) | 色種判別装置 | |
| JP2009044616A (ja) | 画像処理装置および画像処理方法 | |
| US7034962B2 (en) | Image processing apparatus | |
| US6178010B1 (en) | Image processing device | |
| JP4771428B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| JP4228466B2 (ja) | 画像処理装置、画像処理方法、および画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体 | |
| JP3944032B2 (ja) | 画像処理装置およびその方法 | |
| JP2001119575A (ja) | 画像処理装置 | |
| JP3767210B2 (ja) | 原稿種判定装置及び画像処理装置 | |
| JP3064896B2 (ja) | 画像処理装置 | |
| JP4081996B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP4154867B2 (ja) | 画像領域判別装置および画像領域判別プログラム | |
| JP2002057886A (ja) | 画像処理装置及び画像処理方法 | |
| JP2003189091A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP3976995B2 (ja) | 画像処理装置 | |
| JP3448083B2 (ja) | 画像信号処理装置 | |
| JPH11220618A (ja) | カラー画像処理装置及びカラー画像処理方法 | |
| JP2003189092A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20071016 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080603 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080616 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |