JPH1132224A - Image-processing unit - Google Patents

Image-processing unit

Info

Publication number
JPH1132224A
JPH1132224A JP9197946A JP19794697A JPH1132224A JP H1132224 A JPH1132224 A JP H1132224A JP 9197946 A JP9197946 A JP 9197946A JP 19794697 A JP19794697 A JP 19794697A JP H1132224 A JPH1132224 A JP H1132224A
Authority
JP
Japan
Prior art keywords
image
dust
vertical streak
reading
analog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9197946A
Other languages
Japanese (ja)
Other versions
JP3684038B2 (en
Inventor
Hiroyuki Baba
裕行 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP19794697A priority Critical patent/JP3684038B2/en
Publication of JPH1132224A publication Critical patent/JPH1132224A/en
Application granted granted Critical
Publication of JP3684038B2 publication Critical patent/JP3684038B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

PROBLEM TO BE SOLVED: To obtain proper effects for correcting longitudinal stripes without side effects, even when read resolution is changed by automatically revising number of pixels of a maximum longitudinal stripe width through the read resolution. SOLUTION: A shading correction circuit 1 corrects shading by using light level data, and a dirt detection processing circuit 2 detects a position of dirt in the main scanning direction by using the light level data used by the shading correction circuit 1. A dirt correction processing circuit 3 corrects longitudinal stripes of actual image data by using the result of the dirt detection processing circuit 2. The dirt detection processing circuit 2 detects the start position of a defective pixel, due to the dirt according to a prescribed start condition and discriminates the end of the defective pixel, when a prescribed end condition is satisfied. The information of the position of the defective pixels is stored for succeeding correction processing. The dirt correction processing circuit 3 corrects the pixels at the detected position having dirt, by referencing adjacent pixel data and revises a maximum width of longitudinal stripes to be corrected corresponding to the resolution.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、ファクシミリ、複
写機、複合機、プリンタなどに用いられる画像処理装置
に関し、特に原稿読取り光学系の光路上に付着したごみ
の影響を除去できる画像処理装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus used for a facsimile, a copying machine, a multifunction peripheral, a printer, and the like, and more particularly to an image processing apparatus capable of removing the influence of dust attached on an optical path of a document reading optical system. .

【0002】[0002]

【従来の技術】従来から、原稿画像を所定の解像度で読
取り、それによって得られたアナログ画像信号を所定の
ビツト数のディジタル信号に変換し、変換されたディジ
タル画像信号をより低いビツト数の画像信号に変換し
て、出力したり、記憶したり、通信したりする画像処理
装置が知られている。このような画像処理装置の原稿読
取り光学系の光路上にごみが付着すると原稿が正しく読
み取れないという不都合が生じる。ことにスキャナの走
行体のミラー上や読取りセンサ上、あるいは反射ミラー
上にごみが付着すると、出力画像に縦すじが発生する。
2. Description of the Related Art Conventionally, an original image is read at a predetermined resolution, an analog image signal obtained thereby is converted into a digital signal having a predetermined number of bits, and the converted digital image signal is converted into an image having a lower number of bits. 2. Description of the Related Art An image processing apparatus that converts a signal into a signal, outputs the signal, stores the signal, and performs communication is known. If dust adheres to the optical path of the original reading optical system of such an image processing apparatus, there is a problem that the original cannot be read correctly. In particular, when dirt adheres to a mirror of a traveling body of a scanner, a reading sensor, or a reflecting mirror, vertical streaks are generated in an output image.

【0003】発明者は、すでに、フアクシミリ等の画像
処理装置で原稿を読み取ったとき、光路上のごみによつ
て生じる出力画像の縦すじを抑える方法を提唱してい
る。この時、ごみによって出力画像に生じる縦すじの幅
は、ごみが同一の大きさならば、読み取り解像度が高く
なるほど、画素数が増加する。たとえば、200dpi
で2画素幅の縦すじを生じさせるごみは、400dpi
では4画素幅の縦すじとなる。
The inventor has already proposed a method for suppressing a vertical streak of an output image caused by dust on an optical path when a document is read by an image processing apparatus such as a facsimile. At this time, as for the width of the vertical streak generated in the output image due to dust, if the dust has the same size, the number of pixels increases as the reading resolution increases. For example, 200 dpi
Garbage causing vertical streaks with a width of 2 pixels at 400 dpi
In this case, a vertical streak having a width of 4 pixels is formed.

【0004】従来は、修正の対象とする画素幅をあらか
じめ決めて修正を行っていた。これはあまり大きな幅の
縦すじを補正すると、文字が消えてしまう場合が多く、
効果よりも、副作用が大きくなるからである。この従来
技術のように、補正対象の最大画素数が固定の場合、読
み取り解像度が可変の光学系では、読み取りの解像度を
高くすると、実際に補正される最大の縦すじの幅が小さ
くなり、縦すじ補正の効果が減少するという欠点があ
る。
Conventionally, the pixel width to be corrected has been determined in advance and the correction has been performed. This is because if you correct a vertical streak that is too wide, characters often disappear,
This is because side effects are greater than effects. When the maximum number of pixels to be corrected is fixed as in this conventional technique, in an optical system with a variable reading resolution, when the reading resolution is increased, the width of the maximum vertical stripe that is actually corrected becomes smaller, There is a disadvantage that the effect of streak correction is reduced.

【0005】また、従来技術では、欠陥画素を縦すじに
主走査方向に隣接する正常画素データを用いて、あるい
は、1つ画素をおいた2番目の画素を用いて欠陥画素の
画素データを補うようにしていた。例えば、縦すじから
一定画素に離れた画素データを用いて、欠陥画素を補間
している場合、読み取り解像度が高くなると、適切に欠
陥画素を補うことができないという欠点がある。
In the prior art, pixel data of a defective pixel is supplemented by using normal pixel data adjacent to the defective pixel in the main scanning direction in the vertical scanning direction or by using a second pixel having one pixel. Was like that. For example, in a case where defective pixels are interpolated using pixel data separated from the vertical stripe by a certain pixel, if the reading resolution is increased, the defective pixels cannot be compensated appropriately.

【0006】たとえば200dpiの解像度の場合、ご
みの影響がなくなると考えられる縦すじとの距離が1画
素以上先ならば、400dpiではごみの影響が小さく
なるのは3画素以上先のデータになる。つまり同じ1画
素でも解像度によって大きさが異なるので、あらかじめ
想定していたごみの影響が小さくなる距離を得ることが
できないからである。また従来の例では、周囲に文字や
絵がない領域やべた領域で修正の画素幅を限定しなくて
も良いような場所でも自動的に画素幅の限定が行われて
いた。
For example, in the case of a resolution of 200 dpi, if the distance from a vertical streak, which is considered to be free from the influence of dust, is one pixel or more, at 400 dpi, the effect of the dust is reduced to three pixels or more. That is, since the size of one pixel varies depending on the resolution, it is impossible to obtain a distance at which the influence of dust assumed in advance is reduced. Further, in the conventional example, the pixel width is automatically limited even in a region where there is no need to limit the pixel width for correction in an area where there is no character or picture around or a solid area.

【0007】[0007]

【発明が解決しようとする課題】上述のごとく、修正の
対象とする画素幅をあらかじめ決めて修正を行っていた
ため、解像度が変わると、それによって実際に補正され
る縦すじの幅が変動して縦すじ補正の効果が減少した
り、副作用が大きくなったりするという問題があった。
また、欠陥画素を縦すじから一定画素に離れた画素デー
タを用いて補正すると読み取り解像度によって、適切に
欠陥画素を補うことができなくなるという問題がある。
As described above, since the pixel width to be corrected is determined in advance and the correction is performed, when the resolution changes, the width of the vertical stripe actually corrected by the change varies. There is a problem that the effect of vertical streak correction is reduced and side effects are increased.
Further, if a defective pixel is corrected using pixel data separated from the vertical streak by a certain pixel, there is a problem that the defective pixel cannot be properly compensated for depending on the reading resolution.

【0008】本発明はこの点を解決して、比較的簡単な
方法で、解像度が変わってもそれに応じて、修正画素幅
を最適に選択し、また適切な位置から画素を補って、常
に最適の欠陥画素補正が可能で周囲に文字や絵がない領
域やべた領域では修正の画素幅を広げることのできる画
像処理装置の実現を課題とする。
The present invention solves this problem, and in a relatively simple manner, even if the resolution changes, the correction pixel width is optimally selected according to the change, and the pixel is supplemented from an appropriate position to always optimize the correction pixel width. It is an object of the present invention to realize an image processing apparatus capable of correcting a defective pixel and expanding the pixel width of correction in an area where there is no character or picture around or a solid area.

【0009】[0009]

【課題を解決するための手段】上記目的を達成するた
め、本発明は、原稿画像を光学的に所定の読取り解像度
で画像信号として読み取りアナログ画像電気信号に変換
する画像読取手段と、この画像読取手段が変換して出力
するアナログ画像電気信号を所定ビット数のディジタル
画像信号に変換するアナログ/ディジタル変換手段と、
このアナログ/ディジタル変換手段から出力されるディ
ジタル画像信号に基づいて前記画像読取手段の光路上に
位置するごみによる縦すじ画像を検出するごみ検出手段
と、前記ディジタル画像信号上でこのごみ検出手段が検
出した縦すじ画像を正常画素データを用いて補正するご
み成分補正手段を具備する画像処理装置において、この
ごみ成分補正手段が補正対象とする最大の縦すじ幅を前
記画像読取手段が読み取る読取り解像度に応じて自動的
に変化させる補正縦すじ幅選択手段を有することを特徴
とする。
SUMMARY OF THE INVENTION In order to achieve the above object, the present invention provides an image reading means for optically reading an original image as an image signal at a predetermined reading resolution and converting it into an analog image electric signal; Analog / digital conversion means for converting an analog image electrical signal output by the means into a digital image signal having a predetermined number of bits;
A dust detection means for detecting a vertical streak image due to dust located on an optical path of the image reading means based on a digital image signal output from the analog / digital conversion means; and a dust detection means for detecting the dust on the digital image signal. In an image processing apparatus provided with a dust component correcting means for correcting a detected vertical streak image using normal pixel data, a reading resolution at which the image reading means reads a maximum vertical streak width to be corrected by the dust component correcting means. And a correction vertical streak width selection means for automatically changing the width in accordance with the above.

【0010】また、このごみ成分補正手段が縦すじ補正
に用いる正常画素データの画素位置を前記画像読取手段
が読み取る読取り解像度に応じて自動的に変化させる補
正画素位置選択手段を有することを特徴とする。
[0010] The image forming apparatus further comprises a correction pixel position selection means for automatically changing a pixel position of normal pixel data used for vertical streak correction by the dust component correction means in accordance with a reading resolution read by the image reading means. I do.

【0011】さらに、このごみ成分補正手段が補正対象
とする最大の縦すじ幅を外部から設定する補正縦すじ幅
設定手段を有することを特徴とする。
Further, the present invention is characterized in that the dust component correcting means has a corrected vertical streak width setting means for externally setting a maximum vertical streak width to be corrected.

【0012】さらに、前記ごみ成分補正手段が補正する
縦すじ周辺の濃度分布から縦すじ周辺がべた黒か地肌か
のべた領域であることを判定するべた領域検出手段を具
備し、前記べた領域検出手段が縦すじ周辺がべた領域で
あることを判定したときには前記ごみ成分補正手段の補
正対象とする最大の縦すじ幅に対する制限をなくすこと
を特徴とする。
The solid area detecting means further comprises a solid area detecting means for judging from the density distribution around the vertical streaks corrected by the dust component correcting means that the area around the vertical streaks is a solid area of solid black or ground. When the means determines that the area around the vertical streak is a solid area, there is no limitation on the maximum vertical streak width to be corrected by the dust component correcting means.

【0013】[0013]

【発明の実施の形態】以下、本発明にかかる画像処理装
置を添付図面を参照にして詳細に説明する。図1に、本
発明が適用されるシステムの例としてのファクシミリ端
末の構成を表すブロック図を示す。この端末は全2重に
構成にされている。ファクシミリ端末の読取り部は、読
取走査部11、読取処理部12、ラインメモリ15、ラ
インメモリ制御部16で構成され、記録部は、記録走査
部13、記録処理部14、ラインメモリ15、ラインメ
モリ制御部16で構成されている。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an image processing apparatus according to the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a block diagram showing a configuration of a facsimile terminal as an example of a system to which the present invention is applied. This terminal has a full duplex configuration. The reading unit of the facsimile terminal includes a reading scanning unit 11, a reading processing unit 12, a line memory 15, and a line memory control unit 16. The recording unit includes a recording scanning unit 13, a recording processing unit 14, a line memory 15, and a line memory. The control unit 16 is configured.

【0014】読取走査部11で読み取られた画像情報
は、読取処理部12を経て一旦ラインメモリ15に記憶
される。ラインメモリ制御部16は情報圧縮部17のモ
ードに応じて、ラインメモリ15から画像情報の読み出
しを行いながら冗長度を除去して、データバス29を通
して再度RAM24に蓄積する。そして、このRAM2
4を送信バッファとして利用し、通信制御部19を経由
してモデム18に送出する。モデム18で変調された信
号は網制御部28を経由して回線に送り出される。
The image information read by the reading scanning unit 11 is temporarily stored in the line memory 15 via the reading processing unit 12. The line memory control unit 16 removes redundancy while reading image information from the line memory 15 according to the mode of the information compression unit 17, and stores the image information in the RAM 24 again via the data bus 29. And this RAM2
4 is used as a transmission buffer and transmitted to the modem 18 via the communication control unit 19. The signal modulated by the modem 18 is sent out to the line via the network control unit 28.

【0015】逆に、回線から受信された画像情報は、網
制御部28を経てモデム18で復調され、通信制御部1
9を経てデータバス29に出力され、RAM24に蓄積
される。ここでRAM24は受信バッファとして利用さ
れ、蓄積されたデータは再度データバス29を介して順
次、情報復元部17に入力され、情報復元部17で冗長
度を付与された後、ラインメモリ制御部16を経てライ
ンメモリ15に蓄積される。その後、ラインメモリ15
から読み出された画像情報は記録処理部14を経て記録
走査部13で再生される。
Conversely, the image information received from the line is demodulated by the modem 18 via the network control unit 28, and the communication control unit 1
9 and is output to the data bus 29 and stored in the RAM 24. Here, the RAM 24 is used as a reception buffer, and the stored data is sequentially input to the information restoring unit 17 again via the data bus 29, and after the information restoring unit 17 has added redundancy, the line memory control unit 16 Are stored in the line memory 15. Then, the line memory 15
The image information read from is read by the recording scanning unit 13 via the recording processing unit 14.

【0016】画像情報については以上のように、網制御
部28、通信制御部19は単に経由するだけであるが、
通信制御情報は通信制御部19の中で判読理解され、こ
れにしたがって伝送制御、誤り制御などの実行処理が行
われ、ジャーナル情報が必要とされる場合には、不揮発
性の機能を持たせたRAM24に記憶される。
As described above, the image information simply passes through the network control unit 28 and the communication control unit 19,
The communication control information is read and understood in the communication control unit 19, and execution processing such as transmission control and error control is performed in accordance therewith. When journal information is required, a nonvolatile function is provided. It is stored in the RAM 24.

【0017】また、網制御のための呼びだし信号等は、
網制御部28で制御される。さらに情報圧縮、復元を必
要としない画像情報については、読取処理部12、ライ
ンメモリ15から直接データバス29を経て直接外部に
取り出したうえ、画像処理や画像通信に用いることが可
能である。また、画像処理された情報や、画像合成され
た情報を直接入力したり、読み取られた画像情報に重畳
してラインメモリ15に記憶し、記憶再生することも可
能である。このような場合、ラインメモリ15は情報圧
縮部・復元部17と分離して使用できるとともに、読取
走査部11、記録走査部13とは無関係に圧縮された情
報を復元して、ラインメモリ15景湯で出力するような
利用形態も考えられる。
A call signal for network control, etc.
It is controlled by the network control unit 28. Further, image information that does not require information compression and decompression can be directly extracted from the reading processing unit 12 and the line memory 15 to the outside via the data bus 29 and used for image processing and image communication. Further, it is also possible to directly input image-processed information or image-synthesized information, store the information in the line memory 15 while superimposing it on the read image information, and store and reproduce the information. In such a case, the line memory 15 can be used separately from the information compression / decompression unit 17, and the compressed information is decompressed irrespective of the reading scanning unit 11 and the recording scanning unit 13. A use form in which hot water is output is also conceivable.

【0018】全体のシステム制御および情報の流れの管
理、通信制御、網制御の総括的なコントロールはMPU
25で行われる。MPU25で行われるシステム制御の
主な処置は、パネル部20で行われるマンマシンインタ
フェースに関連する制御と、機構制御部22による読取
り部、記録部の機構部分に関連した制御である。
The overall control of system control and information flow management, communication control, and network control is performed by the MPU.
25. The main measures of the system control performed by the MPU 25 are control related to the man-machine interface performed by the panel unit 20 and control related to the reading unit and the recording unit by the mechanism control unit 22.

【0019】本発明は、読取走査部11の光学系におけ
るごみの画像信号に及ぼす影響の除去に関するものであ
る。読取走査部11で多値画像をCCDスキャナ(CI
Sセンサ等)で読み取るとき、CCDの各センサ感度の
ばらつきと、光源の光量のばらつきによる画像の歪みを
修正するために、通常、読み取り画像データに対してシ
ェーデイング補正を行なう。
The present invention relates to the removal of the influence of the dust on the image signal in the optical system of the reading and scanning section 11. The reading / scanning unit 11 converts the multivalued image into a CCD scanner (CI
When reading with an S sensor or the like, shading correction is usually performed on the read image data in order to correct the image distortion due to the variation in the sensitivity of each sensor of the CCD and the variation in the light amount of the light source.

【0020】シェーデイング補正には、基準白板を読み
取った明レベルデータを必要とする。明レベルデータは
基準となる白板を読み取って得ているので、光路上にご
みが付着すると、その部分の画素のレベルが著しく低下
する(暗くなる)。このデータを利用すれば、精度よく
ごみの検知が行なえる。また、この検出結果は、主走査
方向1ライン分しか必要がないので、コストアップを抑
えることができる。
The shading correction requires light level data obtained by reading a reference white board. Since the light level data is obtained by reading a reference white board, if dust adheres on the optical path, the level of the pixel in that portion is significantly reduced (darkens). By using this data, garbage can be detected with high accuracy. In addition, since the detection result needs only one line in the main scanning direction, it is possible to suppress an increase in cost.

【0021】このような目的に使用される縦すじ補正回
路の構成の一実施の形態のブロック図を図2に示す。シ
ェーディング補正回路1では、明レベルデータを使って
補正が行われる。また、ごみ検出処理回路2では、シェ
ーディング補正回路1でも使用する明レベルデータを使
って、ごみの主走査方向の位置を検出する。ごみ補正処
理回路3では、ごみ検出処理回路2の結果を使って、実
際の画データの縦すじ部分を補正する。
FIG. 2 is a block diagram showing one embodiment of the configuration of the vertical streak correction circuit used for such a purpose. The shading correction circuit 1 performs correction using the light level data. The dust detection processing circuit 2 detects the position of dust in the main scanning direction using the light level data used in the shading correction circuit 1. The dust correction processing circuit 3 corrects the vertical streak portion of the actual image data using the result of the dust detection processing circuit 2.

【0022】ごみ検出処理回路2で用いられるごみの検
出方法の一例を図3に示す。図3の開始条件で、まずご
みによる欠陥画素の始まりを検出する。この条件は、あ
る画素の輝度が隣接する画素に対して明レベルデータの
ピーク値の20%以上低下し、かつ輝度が明レベルデー
タのピーク値の50%以下であることである。ごみの検
出があった場合、すぐに図3の終了条件を満たすかどう
かを調べる。終了条件は、ある画素の輝度が隣接する画
素に対して明レベルデータのピーク値の20%以上上昇
し、かつ輝度が明レベルデータのピーク値の50%以上
であることである。
FIG. 3 shows an example of a dust detection method used in the dust detection processing circuit 2. Under the start condition shown in FIG. 3, first, the start of a defective pixel due to dust is detected. This condition is that the luminance of a certain pixel is lower than the adjacent pixel by 20% or more of the peak value of the light level data, and the luminance is 50% or less of the peak value of the light level data. When dust is detected, it is immediately checked whether or not the end condition shown in FIG. 3 is satisfied. The termination condition is that the luminance of a certain pixel is increased by 20% or more of the peak value of the light level data with respect to the adjacent pixel, and the luminance is 50% or more of the peak value of the light level data.

【0023】終了条件を満たすまでの間は、欠陥画素と
いうことになる。この終了条件を満たしたときに、欠陥
画素の終わりであると判断する。つまり、この検出の始
まりと終わりまでの間のすべての画素が、ごみによる欠
陥画素である。縦すじを生じさせる欠陥画素は、1画索
から数画素に亙ることがあるため、このような処理方法
を行なっている。検出結果は主走査方向の位置のみを示
しており、この欠陥画素の位置をバッフアに、次の補正
処理のために保持しておく。
Until the termination condition is satisfied, the pixel is a defective pixel. When this end condition is satisfied, it is determined that the end of the defective pixel is reached. That is, all pixels between the start and the end of this detection are defective pixels due to dust. Such a processing method is performed because the number of defective pixels that cause vertical streaks may range from one area to several pixels. The detection result shows only the position in the main scanning direction, and the position of the defective pixel is held in a buffer for the next correction processing.

【0024】次にごみ補正処理回路3では、図4に一例
を示すように、検出したごみの位置の画素を、隣接する
画素データを参照して補正する。縦すじ補正は、縦すじ
の消去や横線の復元などの効果と、補正が適正にできな
かった場合に生じる文字の可読性の低下の2つの側面を
持つ。補正可能な縦すじの幅を大きくすればするほど効
果を得ることができるが、あまり大きくしすぎると補正
によって、逆に文字が読めなくなることが生じる。
Next, the dust correction processing circuit 3 corrects the pixel at the position of the detected dust with reference to adjacent pixel data, as shown in an example in FIG. Vertical streak correction has two aspects: effects such as erasure of vertical streaks and restoration of horizontal lines, and a reduction in the readability of characters caused when correction is not properly performed. The effect can be obtained as the width of the vertical stripe that can be corrected is increased. However, if the width is too large, the character may become unreadable due to the correction.

【0025】請求項1の発明では、解像度に対応して、
補正する縦すじの最大幅を変更するものである。たとえ
ば、図5に示すような大きさのごみによつて、縦すじが
発生したとする。副作用がある程度抑えられ、効果が得
られる最大の縦すじ幅を、あらかじめ調べて置く。ここ
では、200dpiの場合の最大の縦すじ補正幅は、2
画素幅であるとする。同じごみの大きさでも解像度が4
00dpiになった場合、縦すじの最大幅を4画素幅と
しなければ200dpiと同じ幅の縦すじを補正するこ
とができない。
According to the first aspect of the present invention, corresponding to the resolution,
The maximum width of the vertical stripe to be corrected is changed. For example, it is assumed that vertical streaks are generated by dust having a size as shown in FIG. The maximum vertical streak width at which the side effects are suppressed to some extent and the effect is obtained is checked in advance. Here, the maximum vertical streak correction width in the case of 200 dpi is 2
Let it be the pixel width. 4 resolutions for the same size of garbage
In the case of 00 dpi, the vertical stripe having the same width as 200 dpi cannot be corrected unless the maximum width of the vertical stripe is 4 pixels.

【0026】図6に、解像度による補正選択が行われる
場合の縦すじ補正回路の一実施の形態のブロック図を示
す。読取り解像度が200dpiから400dpiに変
わったとき、図6に示す解像度指示部4から送られる解
像度情報によって、補正処理4は、縦すじの最大補正幅
を2画素から4画素に変更する。
FIG. 6 is a block diagram showing an embodiment of a vertical streak correction circuit in the case where a correction is selected based on resolution. When the reading resolution changes from 200 dpi to 400 dpi, the correction processing 4 changes the maximum correction width of the vertical streak from 2 pixels to 4 pixels based on the resolution information sent from the resolution instruction section 4 shown in FIG.

【0027】また、請求項2の発明は、補正に使用する
画素の位置を解像度に応じて変更するものである。従来
技術では、補正に使用する画素は、縦すじ両端から一定
の位置の画素を使用するようにしていた。
Further, according to the invention of claim 2, the position of a pixel used for correction is changed according to the resolution. In the related art, pixels used for correction are pixels at a fixed position from both ends of the vertical streak.

【0028】図5に示すように、読取り解像度が200
dpiのときには、縦すじ両端から2画素目のデータを
使用して、欠陥画素のデータを補間する。請求項2の発
明では、読取り解像度が400dpiになったと指示さ
れた場合は、ごみの影響が小さくなる画素が、3画素目
のデータとなるので、これに応じて補正処理4は、補正
に使用するデータを2画素目から3画素目に変更するよ
うにする。
As shown in FIG. 5, the reading resolution is 200
In the case of dpi, the data of the defective pixel is interpolated using the data of the second pixel from both ends of the vertical streak. According to the second aspect of the present invention, when it is instructed that the reading resolution has become 400 dpi, the pixel in which the influence of dust is reduced becomes the third pixel data, and accordingly, the correction processing 4 is used for the correction. Is changed from the second pixel to the third pixel.

【0029】請求項3の発明では、補正する縦すじの最
大幅を、使用者が外部から直接設定できるようにした。
この場合、オペレーションパネルを通して、使用者が縦
すじの最大幅を指示し、この値によってごみ補正処理回
路3が縦すじの最大幅を設定され、これにしたがって縦
すじを補正する。この場合の縦すじ補正回路の一実施の
形態のブロック図を図7に示す。
According to the third aspect of the present invention, the maximum width of the vertical stripe to be corrected can be directly set by the user from outside.
In this case, the user designates the maximum width of the vertical streak through the operation panel, and the garbage correction processing circuit 3 sets the maximum width of the vertical streak based on this value, and corrects the vertical streak accordingly. FIG. 7 shows a block diagram of an embodiment of the vertical stripe correction circuit in this case.

【0030】また、請求項4の発明は、縦すじ周辺の濃
度情報に応じて、補正最大幅以上に対して補正処理を行
うか行わないかの判定する処理を付加したもので、その
構成を図8に示す。
According to a fourth aspect of the present invention, a process for determining whether or not to perform a correction process on a width equal to or greater than the maximum correction width in accordance with density information around a vertical streak is added. As shown in FIG.

【0031】べた領域検出回路5で、最大幅以上の補正
処理の有無を判定する。べた領域検出処理には、図9の
マトリクスを使用する。以下に示す条件を満たすときに
は周囲がべた領域にあり補正による副作用が少ないと判
定し、縦すじの最大幅以上の場合でも補正処理を行なう
ように、ごみ補正処理回路3に指示する。
The solid area detection circuit 5 determines whether or not there is a correction process that is equal to or greater than the maximum width. The matrix shown in FIG. 9 is used for the solid area detection processing. When the following condition is satisfied, it is determined that the surroundings are in a solid area and there are few side effects due to the correction, and the dust correction processing circuit 3 is instructed to perform the correction processing even when the width is equal to or more than the maximum width of the vertical stripe.

【0032】判定条件を以下に示す。この条件は該当す
るポイントの周囲の30点の濃度がすべて、地肌の閾値
よりも薄い(明るい)か、べた黒の閾値よりも濃い(暗
い)場合を示している。この条件によつて縦すじ周辺の
状況がわかる。この条件を満たすとき、縦すじ周辺がべ
た黒か地肌であることがわかる。べた黒の場合と地肌の
場合は、補正されても補正による副作用がなく、縦すじ
を取り除くことができる。((a1<th1&a2<t
h1&a3<th1&a4<th1&a5<th1&a
6<th1&a7<th1&a8<th1&a9<th
1&a10<th1&a11<th1&a12<th1
&a13<th1&a14<th1&a15<th1&
a16<th1&a17<th1&a18<th1&a
19<th1&a20<th1&a21<th1&a2
2<th1&a23<th1&a24<th1&a25
<th1&a26<th1&a27<th1&a28<
th1&a29<th1&a30<th1)or(a1
>thh&a2>thh&a3>thh&a4>thh
&a5>thh&a6>thh&a7>thh&a8>
thh&a9>thh&a10>thh&a11>th
h&a12>thh&a13>thh&a14>thh
&a15>thh&a16>thh&a17>thh&
a18>thh&a19>thh&a20>thh&a
21>thh&a22>thh&a23>thh&a2
4>thh&a25>thh&a26>thh&a27
>thh&a28>thh&a29>thh&a30>
thh))ならば、最大幅以上でも補正するように、補
正処理部に指示する。
The judgment conditions are shown below. This condition indicates a case where the densities of all 30 points around the corresponding point are lighter (brighter) than the background threshold or darker (darker) than the solid black threshold. The condition around the vertical streak can be known from this condition. When this condition is satisfied, it can be seen that the area around the vertical streak is solid black or ground. In the case of solid black and the background, even if the correction is made, there is no side effect due to the correction, and vertical streaks can be removed. ((A1 <th1 & a2 <t
h1 & a3 <th1 & a4 <th1 & a5 <th1 & a
6 <th1 & a7 <th1 & a8 <th1 & a9 <th
1 & a10 <th1 & a11 <th1 & a12 <th1
& A13 <th1 & a14 <th1 & a15 <th1 &
a16 <th1 & a17 <th1 & a18 <th1 & a
19 <th1 & a20 <th1 & a21 <th1 & a2
2 <th1 & a23 <th1 & a24 <th1 & a25
<Th1 & a26 <th1 & a27 <th1 & a28 <
th1 & a29 <th1 & a30 <th1) or (a1
> Thh &a2> thh &a3> thh &a4> thh
&A5> thh &a6> thh &a7> thh &a8>
thh &a9> thh &a10> thh &a11> th
h &a12> thh &a13> thh &a14> thh
&A15> thh &a16> thh &a17> thh &
a18> thh &a19> thh &a20> thh & a
21> thh &a22> thh &a23> thh & a2
4> thh &a25> thh &a26> thh & a27
> Thh &a28> thh &a29> thh &a30>
thh)), the correction processing unit is instructed to correct even the maximum width or more.

【0033】ここでa??は各画素の濃度、th1は地
肌とするしきい値、thhはべた黒とするしきい値、&
は「かつ」を示し、orは「または」を示す。たとえ
ば、th1=20/256、thh=200/256の
ような値を設定すればよい。
Where a? ? Is the density of each pixel, th1 is the threshold for the background, thh is the threshold for the solid black, &
Represents “and” and or represents “or”. For example, values such as th1 = 20/256 and thh = 200/256 may be set.

【0034】[0034]

【発明の効果】以上説明したように、本発明の請求項1
の発明は、読み取り解像度によって、最大の縦すじ幅の
画素数を自動的に変更するようにした。これにより、読
み取りの解像度が変わった場合でも、適切な縦すじ補正
の効果を、副作用なく得ることができる。最大の縦すじ
幅を自動的に変更するので、読み取り解像度が変わった
ときに、補正対象となる最大の縦すじの画素幅がかわる
という欠点を解消することができる。
As described above, according to the first aspect of the present invention,
In the invention, the number of pixels having the maximum vertical stripe width is automatically changed depending on the reading resolution. As a result, even when the reading resolution changes, an appropriate vertical streak correction effect can be obtained without side effects. Since the maximum vertical stripe width is automatically changed, it is possible to eliminate the disadvantage that the pixel width of the maximum vertical stripe to be corrected changes when the reading resolution changes.

【0035】本発明の請求項2の発明は、読み取り解像
度によって、補間に使う画素の選択位置を変えるように
した。これにより、読み取り解像度が高くなると、適切
に欠陥画素を補うことができないという従来技術の欠点
を解消することができ、常に最適の欠陥画素補正が可能
になる。
According to the second aspect of the present invention, the selection position of the pixel used for interpolation is changed depending on the reading resolution. As a result, when the reading resolution is increased, it is possible to solve the disadvantage of the related art that the defective pixel cannot be appropriately compensated, and it is possible to always perform the optimal defective pixel correction.

【0036】本発明の請求項3の発明は、補正対象とす
る縦すじの最大幅を使用者が変更できるようにした。こ
れにより、設定されている縦すじの最大値より大きい場
合でも、縦すじ上や縦すじ隣接領域に文字や絵などがな
く、縦すじを補正した方がより良好な画像を得ることが
できる場合には、縦すじの上限を廃止して、それ以上の
幅まで縦すじを取り除くことができ、常に最適の欠陥画
素補正が可能になる。
According to the invention of claim 3 of the present invention, the maximum width of the vertical streak to be corrected can be changed by the user. As a result, even when the vertical streak is larger than the set maximum value, there is no character or picture in the vertical streak or in the region adjacent to the vertical streak, and a better image can be obtained by correcting the vertical streak. In the first method, the upper limit of the vertical streak is eliminated, and the vertical streak can be removed to a width larger than that, so that the optimum defective pixel correction can always be performed.

【0037】本発明の請求項4の発明は、縦すじ周辺の
濃度分布から縦すじ周辺がべた黒か地肌かのべた領域で
あることを判定し、縦すじ周辺がべた領域であるときに
は最大の縦すじ幅に対する制限をなくして補正する。こ
れにより、設定されている縦すじの最大値より大きい場
合でも、縦すじ隣接領域がべた黒か地肌かのべた領域
で、文字や絵などがなく、縦すじを補正した方がより良
好な画像を得ることができる場合には、縦すじの上限を
廃止して、それ以上の幅まで縦すじを取り除くことがで
き、常に最適の欠陥画素補正が可能になる。
According to the invention of claim 4 of the present invention, it is determined from the density distribution around the vertical streak that the area around the vertical streak is a solid area such as solid black or background. Correction is made without any restrictions on the vertical streak width. As a result, even when the vertical streak is larger than the set maximum value, the adjacent area of the vertical streak is a solid area of solid black or background, and there are no characters or pictures. Can be obtained, the upper limit of the vertical streak is abolished, and the vertical streak can be removed to a width larger than that, so that optimum defective pixel correction can always be performed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明が適用されるシステムの例としてのファ
クシミリ端末の構成を表すブロック図。
FIG. 1 is a block diagram illustrating a configuration of a facsimile terminal as an example of a system to which the present invention is applied.

【図2】本発明の縦すじ補正回路の一実施の形態のブロ
ック図。
FIG. 2 is a block diagram of an embodiment of a vertical stripe correction circuit according to the present invention.

【図3】図2に示す実施の形態で用いられるごみの検出
方法の一例を示す説明図。
FIG. 3 is an explanatory diagram showing an example of a dust detection method used in the embodiment shown in FIG. 2;

【図4】図2に示す実施の形態で用いられるごみの補正
方法の一例を示す説明図。
FIG. 4 is an explanatory diagram showing an example of a dust correction method used in the embodiment shown in FIG. 2;

【図5】解像度に対応する縦筋の幅と補正画素の位置を
示す説明図。
FIG. 5 is an explanatory diagram showing a width of a vertical streak corresponding to a resolution and a position of a correction pixel.

【図6】本発明の縦すじ補正回路の他の実施の形態のブ
ロック図。
FIG. 6 is a block diagram of another embodiment of the vertical stripe correction circuit of the present invention.

【図7】本発明の縦すじ補正回路の他の実施の形態のブ
ロック図。
FIG. 7 is a block diagram of another embodiment of the vertical stripe correction circuit of the present invention.

【図8】本発明の縦すじ補正回路の他の実施の形態のブ
ロック図。
FIG. 8 is a block diagram of another embodiment of the vertical stripe correction circuit of the present invention.

【図9】べた領域検出処理が行われる画素周辺のマトリ
クスを示す説明図。
FIG. 9 is an explanatory diagram showing a matrix around pixels on which a solid area detection process is performed.

【符号の説明】[Explanation of symbols]

1 シェーディング補正回路 2 ごみ検出処理回路 3 ごみ補正処理回路 4 解像度指示部 5 べた領域検出回路 11 読取走査部 12 読取処理部 13 記録走査部 14 記録処理部 15 ラインメモリ 16 ラインメモリ制御部 17 情報圧縮部復元部 18 モデム 19 通信制御部 20 パネル部 21、23 インタフェース 22 機構制御部 24 RAM 25 MPU 26 ROM 27 DMAコントローラ 28 網制御部 29 データバス、アドレスバス REFERENCE SIGNS LIST 1 shading correction circuit 2 dust detection processing circuit 3 dust correction processing circuit 4 resolution instructing unit 5 solid area detection circuit 11 reading scanning unit 12 reading processing unit 13 recording scanning unit 14 recording processing unit 15 line memory 16 line memory control unit 17 information compression Unit restoration unit 18 Modem 19 Communication control unit 20 Panel unit 21, 23 Interface 22 Mechanism control unit 24 RAM 25 MPU 26 ROM 27 DMA controller 28 Network control unit 29 Data bus, address bus

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 原稿画像を光学的に所定の読取り解像度
で画像信号として読み取りアナログ画像電気信号に変換
する画像読取手段と、この画像読取手段が変換して出力
するアナログ画像電気信号を所定ビット数のディジタル
画像信号に変換するアナログ/ディジタル変換手段と、
このアナログ/ディジタル変換手段から出力されるディ
ジタル画像信号に基づいて前記画像読取手段の光路上に
位置するごみによる縦すじ画像を検出するごみ検出手段
と、前記ディジタル画像信号上でこのごみ検出手段が検
出した縦すじ画像を正常画素データを用いて補正するご
み成分補正手段を具備する画像処理装置において、 このごみ成分補正手段が補正対象とする最大の縦すじ幅
を前記画像読取手段が読み取る読取り解像度に応じて自
動的に変化させる補正縦すじ幅選択手段を有することを
特徴とする画像処理装置。
1. An image reading means for optically reading a document image as an image signal at a predetermined reading resolution and converting it into an analog image electric signal, and converting the analog image electric signal outputted by the image reading means into a predetermined number of bits. Analog / digital conversion means for converting the digital image signal into a digital image signal;
A dust detection means for detecting a vertical streak image due to dust located on an optical path of the image reading means based on a digital image signal output from the analog / digital conversion means; and a dust detection means for detecting the dust on the digital image signal. An image processing apparatus comprising: a dust component correcting unit that corrects a detected vertical streak image using normal pixel data. A reading resolution by which the image reading unit reads a maximum vertical streak width to be corrected by the dust component correcting unit. An image processing apparatus comprising a correction vertical streak width selection means for automatically changing the width in accordance with the image.
【請求項2】 原稿画像を光学的に所定の読取り解像度
で画像信号として読み取りアナログ画像電気信号に変換
する画像読取手段と、この画像読取手段が変換して出力
するアナログ画像電気信号を所定ビット数のディジタル
画像信号に変換するアナログ/ディジタル変換手段と、
このアナログ/ディジタル変換手段から出力されるディ
ジタル画像信号に基づいて前記画像読取手段の光路上に
位置するごみによる縦すじ画像を検出するごみ検出手段
と、前記ディジタル画像信号上でこのごみ検出手段が検
出した縦すじ画像を正常画素データを用いて補正するご
み成分補正手段を具備する画像処理装置において、 このごみ成分補正手段が縦すじ補正に用いる正常画素デ
ータの画素位置を前記画像読取手段が読み取る読取り解
像度に応じて自動的に変化させる補正画素位置選択手段
を有することを特徴とする画像処理装置。
2. An image reading means for optically reading an original image as an image signal at a predetermined reading resolution and converting the image signal into an analog image electric signal, and converting the analog image electric signal output by the image reading means into a predetermined number of bits. Analog / digital conversion means for converting the digital image signal into a digital image signal;
A dust detection means for detecting a vertical streak image due to dust located on an optical path of the image reading means based on a digital image signal output from the analog / digital conversion means; and a dust detection means for detecting the dust on the digital image signal. In an image processing apparatus including a dust component correcting unit that corrects a detected vertical streak image using normal pixel data, the image reading unit reads a pixel position of normal pixel data used by the dust component correcting unit for vertical streak correction. An image processing apparatus comprising: a correction pixel position selection unit that automatically changes according to a reading resolution.
【請求項3】 原稿画像を光学的に所定の読取り解像度
で画像信号として読み取りアナログ画像電気信号に変換
する画像読取手段と、この画像読取手段が変換して出力
するアナログ画像電気信号を所定ビット数のディジタル
画像信号に変換するアナログ/ディジタル変換手段と、
このアナログ/ディジタル変換手段から出力されるディ
ジタル画像信号に基づいて前記画像読取手段の光路上に
位置するごみによる縦すじ画像を検出するごみ検出手段
と、前記ディジタル画像信号上でこのごみ検出手段が検
出した縦すじ画像を正常画素データを用いて補正するご
み成分補正手段を具備する画像処理装置において、 このごみ成分補正手段が補正対象とする最大の縦すじ幅
を外部から設定する補正縦すじ幅設定手段を有すること
を特徴とする画像処理装置。
3. An image reading means for optically reading a document image as an image signal at a predetermined reading resolution and converting it into an analog image electric signal, and converting the analog image electric signal outputted by the image reading means into a predetermined number of bits. Analog / digital conversion means for converting the digital image signal into a digital image signal;
A dust detection means for detecting a vertical streak image due to dust located on an optical path of the image reading means based on a digital image signal output from the analog / digital conversion means; and a dust detection means for detecting the dust on the digital image signal. An image processing apparatus comprising a garbage component correcting unit for correcting a detected vertical streak image using normal pixel data, wherein a maximum vertical streak width to be corrected by the garbage component correcting unit is externally set. An image processing apparatus comprising setting means.
【請求項4】 前記ごみ成分補正手段が補正する縦すじ
周辺の濃度分布から縦すじ周辺がべた黒か地肌かのべた
領域であることを判定するべた領域検出手段を具備し、 前記べた領域検出手段が縦すじ周辺がべた領域であるこ
とを判定したときには前記ごみ成分補正手段の補正対象
とする最大の縦すじ幅に対する制限をなくすことを特徴
とする請求項1または請求項3に記載の画像処理装置。
4. A solid area detecting means for judging from the density distribution around the vertical streak corrected by the dust component correcting means that the area around the vertical streak is a solid area of solid black or ground, The image according to claim 1 or 3, wherein when the means determines that the area around the vertical streak is a solid area, the restriction on the maximum vertical streak width to be corrected by the dust component correcting means is removed. Processing equipment.
JP19794697A 1997-07-08 1997-07-08 Image processing device Expired - Lifetime JP3684038B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19794697A JP3684038B2 (en) 1997-07-08 1997-07-08 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19794697A JP3684038B2 (en) 1997-07-08 1997-07-08 Image processing device

Publications (2)

Publication Number Publication Date
JPH1132224A true JPH1132224A (en) 1999-02-02
JP3684038B2 JP3684038B2 (en) 2005-08-17

Family

ID=16382941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19794697A Expired - Lifetime JP3684038B2 (en) 1997-07-08 1997-07-08 Image processing device

Country Status (1)

Country Link
JP (1) JP3684038B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281250A (en) * 2001-03-15 2002-09-27 Canon Inc Image signal processing apparatus and method therefor, image reading system, and program and medium
JP2008028684A (en) * 2006-07-20 2008-02-07 Ricoh Co Ltd Image reader, image processor, image forming apparatus, stripe image detecting method, image processing method, program, and recording medium
CN100423529C (en) * 2004-09-21 2008-10-01 株式会社东芝 Image reading apparatus
US8041140B1 (en) 2003-12-30 2011-10-18 Adobe Systems Incorporated Healing by texture synthesis in differential space

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102037445B1 (en) 2013-07-17 2019-10-28 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. Image scanning apparatus and method for correcting vertical streak thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281250A (en) * 2001-03-15 2002-09-27 Canon Inc Image signal processing apparatus and method therefor, image reading system, and program and medium
JP4630477B2 (en) * 2001-03-15 2011-02-09 キヤノン株式会社 Image signal processing method
US8041140B1 (en) 2003-12-30 2011-10-18 Adobe Systems Incorporated Healing by texture synthesis in differential space
CN100423529C (en) * 2004-09-21 2008-10-01 株式会社东芝 Image reading apparatus
JP2008028684A (en) * 2006-07-20 2008-02-07 Ricoh Co Ltd Image reader, image processor, image forming apparatus, stripe image detecting method, image processing method, program, and recording medium

Also Published As

Publication number Publication date
JP3684038B2 (en) 2005-08-17

Similar Documents

Publication Publication Date Title
US8587830B2 (en) Image processing apparatus, image forming apparatus, image processing method and recording medium
AU744258B2 (en) Method and apparatus for image descreening
JPH1132224A (en) Image-processing unit
JP3709636B2 (en) Image processing apparatus and image processing method
JP3907847B2 (en) Image processing device
JP2005286607A (en) Apparatus and program for image processing
US8749835B2 (en) Image processing apparatus and image processing method
CN111738960A (en) Image processing apparatus, image processing method, and image forming apparatus
JP2005031759A (en) Image processor and image processing method to which spatial filter is applied
JPH09179973A (en) Picture processor and its method
JP4437621B2 (en) Region detection apparatus and method
JP3880793B2 (en) Image processing apparatus and image forming apparatus
JP4007849B2 (en) Image data processing apparatus, program, and recording medium
JP2004320817A (en) Image processing apparatus
JP3545464B2 (en) Composite device
KR100193840B1 (en) Video arbitrary magnification conversion method
JP2976386B2 (en) Binary image scaling device
JPH08251385A (en) Image processing unit
JP2001061031A (en) Digital copying machine
JPH11196284A (en) Image communication equipment
JPH05103201A (en) Color facsimile equipment
JP2006081123A (en) Image information apparatus and image transfer method
JPH04220874A (en) Picture processor
JPS63132571A (en) Image read processor
JPH08139876A (en) Equipment for attaining high image quality for transmission image and reception image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050527

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100603

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110603

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110603

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120603

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130603

Year of fee payment: 8

EXPY Cancellation because of completion of term