JP3738951B2 - Image processing device - Google Patents

Image processing device

Info

Publication number
JP3738951B2
JP3738951B2 JP31538199A JP31538199A JP3738951B2 JP 3738951 B2 JP3738951 B2 JP 3738951B2 JP 31538199 A JP31538199 A JP 31538199A JP 31538199 A JP31538199 A JP 31538199A JP 3738951 B2 JP3738951 B2 JP 3738951B2
Authority
JP
Japan
Prior art keywords
original image
image
differentiating
filter
scanning direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31538199A
Other languages
Japanese (ja)
Other versions
JP2001136395A (en
Inventor
章 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP31538199A priority Critical patent/JP3738951B2/en
Publication of JP2001136395A publication Critical patent/JP2001136395A/en
Application granted granted Critical
Publication of JP3738951B2 publication Critical patent/JP3738951B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、原画像のエッジを強調する画像処理装置に関する。
【0002】
【従来の技術】
従来、画像にエッジ強調等のフィルタリング処理を行う画像処理として、主走査方向の1次微分フィルタや3×3、5×5のマトリクスによるラプラシアン・フィルタ処理が一般的であり、比較的安価な画像処理手段として、3×3のラプラシアン・フィルタ処理が用いられることが多い。
【0003】
【発明が解決しようとする課題】
しかし、この3×3のマトリクスによるラプラシアン・フィルタ処理では、エッジ強調度を大きくするとエッジ前後において原画像にはない急峻なエッジが生成されてしまい、処理画像の劣化を招く。
【0004】
例えば、文字及び絵が混在する画像の場合、通常、文字部分のエッジを強調する必要から、文字部分に着目してエッジ強調を実行する。この場合、画像部分に対しても文字部分と同じエッジ強調度で処理されてしまい、絵部分が不自然となる。従って、エッジ強調度をあまり大きくできないという問題がある。
【0005】
このような問題を解決するためには、文字、絵等の画像の種類に応じて、ラプラシアン・フィルタの係数を適応的に変えることが考えらる。しかし、画像種類を判別するための処理が複雑になり、またフィルタの係数を保持するメモリ等を要するため回路規模が大きくなるという問題がある。
【0006】
そこで、本発明は上記事情に鑑み、回路規模を大きくせずかつエッジ強調度を大きくしても比較的良好な処理画像が得られる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
上述の課題を解決するため、本発明は、ライン走査で読み取られた記録媒体上の原画像をエッジ強調する画像処理装置であって、前記原画像の主走査方向に任意のフィルタ係数を設定して前記原画像を主走査方向に一次微分する第1の微分手段と、前記原画像の主走査方向及び副走査方向に任意のフィルタ係数を設定して前記原画像を2次微分する第2の微分手段と、前記第2の微分手段の出力に基づいて前記原画像の濃度の傾き方向の正負を判定する傾き方向判定手段と、前記傾き方向判定手段の判定結果に基づき、前記原画像の濃度の傾き方向が変化する場合は、前記第1の微分手段の出力を選択導出する選択手段と、を具備する。
【0007】
なお、前記第2の微分手段をラプラシアンフィルタで構成することが好ましい。
【0008】
この構成によれば、2次微分によって不必要に強調処理された出力画像の急峻なエッジ部分を、1次微分によって処理された画像で選択的に置き換えることにより、出力画像のエッジ部分前後において原画像にはない、極端に低濃度もしくは高濃度の領域を除去することが可能となる。また、2次微分により得られる原画像の濃度の傾きの変化に基づき、1次微分処理された画像と2次微分処理された画像とを選択導出するため、濃度の傾きを判定する論理回路を追加するのみで、構成することができる。
【0009】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【0010】
図1は本発明の実施の形態に係わる画像処理装置の構成を示すブロック図である。図に示されるように画像処理装置は、原画像の主走査方向及び副走査方向に任意のフィルタ係数を設定して原画像を2次微分する3×3マトリクスのラプラシアン・フィルタ(第2の微分手段)100と、原画像の主走査方向に任意のフィルタ係数を設定して原画像を主走査方向に一次微分する1次微分フィルタ(第1の微分手段)101と、ラプラシアン・フィルタ100の出力に基づいて原画像の濃度の傾き方向の正負を判定する傾き方向判定部(傾き方向判定手段)と、傾き方向判定部102の判定結果に基づき、前記原画像の濃度の傾き方向が変化する場合は、1次微分フィルタ101の出力を選択導出する選択回路(選択手段)とを備える。
【0011】
ラプラシアン・フィルタ100は、3つの画像データの入力部を備え、各入力部にはそれぞれ1ライン走査された画像データが1画素づつ入力される。nライン目の画像データを注目画像ラインとすると、n−1ライン目の画像データは1ライン前の画像データであり、n+1ライン目の画像データは1ライン後の画像データとなる。
【0012】
ラプラシアン・フィルタ100は、任意に設定されたマトリクス係数に従い3ラインの画像データにより主走査方向と副走査方向のエッジ検出とエッジ強調を行う。
【0013】
nライン目の画像データは、1次微分フィルタ101に供給され、主走査方向に対するエッジ検出とエッジ強調が行なわれる。
【0014】
ラプラシアン・フィルタ100により処理された画像信号において、画像濃度の勾配が急激に変化する領域ではラプラシアン・フィルタの出力は正から負または負から正に変化する。
【0015】
傾き方向判定部102は、この正負の反転する画像部分を検出して原画像の濃度の傾き方向の正負を判定し原画像の濃度の傾き方向が変化して正負の反転が起こった場合は、選択回路103に対し選択信号を発生し、これにより選択回路103は1次微分フィルタ101の出力を選択する。一方、原画像の濃度の傾き方向が変化せず正負の反転が発生しなかった場合は、ラプラシアン・フィルタ100の出力が選択される。
【0016】
以下、図2に示したフィルタ処理のマトリクスを参照してラプラシアン・フィルタ100及び1次微分フィルタ101について説明する。図2(a)は、一般的な3×3のマトリクスによるラプラシアン・フィルタの構成を示している。フィルタ係数はエッジ強調に応じて装置を制御するコントローラ等により任意に設定可能である。
【0017】
いま、原画像中のある画素点(i,j)を中心とした任意の平方領域の各点の濃度をラプラシアン・フィルタ処理を用いて新しい濃度f(i,j)とする。これにより、3×3の平方領域の場合、図2(b)のように、画素点(i,j)を中心として画素点(i−1,j−1)から画素点(i+1,j+1)までの9個の画素からなる2次元画像g(i,j)において、f(i,j)=g(i,j)*L4(i,j)の関係となる。
【0018】
ラプラシアン・フィルタはエッジ部分を抽出するために用いられるフィルタであるので、実際にエッジ強調処理として用いるためにはしきい値操作を施す必要が生じる。ここでは図2(c)に示すフィルタ係数を設定する。
【0019】
図2(d)は1次微分フィルタ101の構成を示している。フィルタ係数はエッジ強調に応じて装置を制御するコントローラ等により任意に設定可能である。
【0020】
さらに、図3を参照してフィルタ処理について説明する。図3(a)は入力される原画像の一例を示しており、縦軸は画像の濃度であり、横軸は注目画像ラインの主走査方向を示す。図3(b)は、入力された原画像に対し、図1に示したラプラシアン・フィルタ100によりフィルタ処理を行った結果を示しており、図3(c)は、原画像に対して図1に示した1微分フィルタ101によりフィルタ処理を行った結果を示している。
【0021】
図3(d)はラプラシアン・フィルタ100によるフィルタ処理に基づいて、図1に示した傾き方向判定部102で判定された傾き方向の正負の状態を示している。図中縦軸は傾きのレベルを示しており、レベルが高い程、傾きが急峻であることを表している。
【0022】
傾き方向判定部102は、傾き方向が正から負若しくは負から正に変化する変化点において、1次微分フィルタ101の出力を選択するように図1に示した選択回路103に対して選択信号を発生する。
【0023】
図3(e)は選択回路103から出力されるエッジ強調画像を示している。図示のようにエッジ強調画像は、原画像(図3(a))には存在しないエッジ前後の急峻な濃度勾配を有する画像部分を含まないことが確認される。
【0024】
以上のように、エッジ強調度の高い2次微分フィルタ処理により発生する原画像には存在しないエッジ前後の急峻な勾配部分を、2次微分フィルタ処理により得られる画像の濃度勾配の正負に基づいて識別し、この部分をエッジ強調度の低い1次微分フィルタで処理された画像と置き換えることにより、原画像に忠実にエッジ強調することができる。また、エッジ前後の急峻な勾配部分を識別するための回路を新たに設ける必要がなく、2次微分フィルタ処理で生成される出力を利用しているので、回路構成が大きくなることもない。さらに、2次微分フィルタ処理に基づく傾き方向判定にあっては、正負が変化する変化点を検出するだけの簡易な判定であるため、高速判定が可能である。従って、高速なエッジ強調が可能となる。特に、ライン単位で画像を読み取る画像処理装置では、読み取られたライン画像を逐次処理することができるため、画像を保持するためのメモリ等を追加する必要もない。
【0025】
【発明の効果】
以上説明したように、本発明の画像処理装置は、ライン走査で読み取られた記録媒体上の原画像をエッジ強調する画像処理装置であって、前記原画像の主走査方向に任意のフィルタ係数を設定して前記原画像を主走査方向に一次微分する第1の微分手段と、前記原画像の主走査方向及び副走査方向に任意のフィルタ係数を設定して前記原画像を2次微分する第2の微分手段と、前記第2の微分手段の出力に基づいて前記原画像の濃度の傾き方向の正負を判定する傾き方向判定手段と、前記傾き方向判定手段の判定結果に基づき、前記原画像の濃度の傾き方向が変化する場合は、前記第1の微分手段の出力を選択導出する選択手段と、を具備することにより、回路規模を大きくせずかつエッジ強調度を大きくしても比較的良好な処理画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係わる画像処理装置の構成を示すブロック図。
【図2】本発明に係わるフィルタ処理のマトリクスを示す図。
【図3】本発明に係わるフィルタ処理による処理結果を示す図。
【符号の説明】
100 ラプラシアン・フィルタ
101 1次微分フィルタ
102 傾き方向判定部
103 選択回路
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that emphasizes an edge of an original image.
[0002]
[Prior art]
Conventionally, as image processing for performing filtering processing such as edge enhancement on an image, a Laplacian filter processing using a primary differential filter in the main scanning direction or a 3 × 3, 5 × 5 matrix is generally used. As processing means, 3 × 3 Laplacian filter processing is often used.
[0003]
[Problems to be solved by the invention]
However, in the Laplacian filter processing using this 3 × 3 matrix, when the edge enhancement degree is increased, steep edges that are not present in the original image are generated before and after the edges, resulting in deterioration of the processed image.
[0004]
For example, in the case of an image in which characters and pictures are mixed, it is usually necessary to emphasize the edge of the character portion, and therefore edge enhancement is performed focusing on the character portion. In this case, the image portion is processed with the same edge enhancement as the character portion, and the picture portion becomes unnatural. Therefore, there is a problem that the degree of edge enhancement cannot be increased too much.
[0005]
In order to solve such a problem, it can be considered that the coefficient of the Laplacian filter is adaptively changed according to the type of image such as a character or a picture. However, there is a problem that the processing for discriminating the image type becomes complicated, and the circuit scale becomes large because a memory or the like for holding the filter coefficient is required.
[0006]
In view of the above circumstances, an object of the present invention is to provide an image processing apparatus that can obtain a relatively good processed image without increasing the circuit scale and increasing the edge enhancement degree.
[Means for Solving the Problems]
In order to solve the above-described problem, the present invention is an image processing apparatus that edge-enhances an original image on a recording medium read by line scanning, and sets an arbitrary filter coefficient in the main scanning direction of the original image. A first differentiating means for firstly differentiating the original image in the main scanning direction; and a second differentiating means for secondarily differentiating the original image by setting arbitrary filter coefficients in the main scanning direction and the sub-scanning direction of the original image. And an inclination direction determination unit that determines whether the gradient direction of the density of the original image is positive or negative based on the output of the second differentiation unit, and a gradient of the density of the original image based on the determination result of the gradient direction determination unit. Selecting means for selectively deriving the output of the first differentiating means when the direction changes.
[0007]
The second differentiating means is preferably composed of a Laplacian filter.
[0008]
According to this configuration, the sharp edge portion of the output image unnecessarily enhanced by the second derivative is selectively replaced with the image processed by the first derivative, so that the original image before and after the edge portion of the output image is obtained. It is possible to remove extremely low density or high density areas that are not present in the image. In addition, a logic circuit for determining the gradient of the density is provided to selectively derive the image subjected to the primary differentiation process and the image subjected to the secondary differentiation process on the basis of the change in the density gradient of the original image obtained by the secondary differentiation. It can be configured simply by adding.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0010]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention. As shown in the figure, the image processing apparatus sets up an arbitrary filter coefficient in the main scanning direction and the sub-scanning direction of the original image and performs a 3 × 3 matrix Laplacian filter (second differentiation). Means) 100, a first-order differential filter (first differentiation means) 101 for setting an arbitrary filter coefficient in the main scanning direction of the original image and first-differentiating the original image in the main scanning direction, and an output of the Laplacian filter 100 When the inclination direction of the density of the original image changes based on the determination result of the inclination direction determination unit (inclination direction determination unit) that determines whether the inclination direction of the density of the original image is positive or negative, and the inclination direction determination unit 102 Comprises a selection circuit (selection means) for selectively deriving the output of the primary differential filter 101.
[0011]
The Laplacian filter 100 includes three image data input units, and image data scanned by one line is input to each input unit pixel by pixel. When the image data of the nth line is the target image line, the image data of the (n−1) th line is the image data of the previous line, and the image data of the (n + 1) th line is the image data of the next line.
[0012]
The Laplacian filter 100 performs edge detection and edge enhancement in the main scanning direction and the sub-scanning direction based on image data of three lines according to an arbitrarily set matrix coefficient.
[0013]
The image data of the nth line is supplied to the primary differential filter 101, and edge detection and edge enhancement in the main scanning direction are performed.
[0014]
In the image signal processed by the Laplacian filter 100, the output of the Laplacian filter changes from positive to negative or from negative to positive in a region where the gradient of the image density changes abruptly.
[0015]
The inclination direction determination unit 102 detects the image portion where the positive / negative inversion is detected , determines the positive / negative of the inclination direction of the density of the original image, and the positive / negative inversion occurs when the inclination direction of the density of the original image changes. The selection circuit 103 generates a selection signal, and the selection circuit 103 selects the output of the first-order differential filter 101. On the other hand, when the gradient direction of the density of the original image does not change and the positive / negative inversion does not occur, the output of the Laplacian filter 100 is selected.
[0016]
The Laplacian filter 100 and the first-order differential filter 101 will be described below with reference to the filter processing matrix shown in FIG. FIG. 2A shows a configuration of a Laplacian filter based on a general 3 × 3 matrix. The filter coefficient can be arbitrarily set by a controller or the like that controls the apparatus according to edge enhancement.
[0017]
Now, the density of each point in an arbitrary square area centered on a certain pixel point (i, j) in the original image is set to a new density f (i, j) using Laplacian filter processing. Thus, in the case of a 3 × 3 square area, as shown in FIG. 2B, the pixel point (i−1, j−1) to the pixel point (i + 1, j + 1) with the pixel point (i, j) as the center. In the two-dimensional image g (i, j) composed of up to nine pixels, the relationship is f (i, j) = g (i, j) * L 4 (i, j).
[0018]
Since the Laplacian filter is a filter used for extracting an edge portion, it is necessary to apply a threshold value operation in order to actually use the edge enhancement process. Here, the filter coefficient shown in FIG.
[0019]
FIG. 2D shows the configuration of the first-order differential filter 101. The filter coefficient can be arbitrarily set by a controller or the like that controls the apparatus according to edge enhancement.
[0020]
Further, the filtering process will be described with reference to FIG. FIG. 3A shows an example of the input original image. The vertical axis represents the image density, and the horizontal axis represents the main scanning direction of the target image line. FIG. 3B shows the result of filtering the input original image by the Laplacian filter 100 shown in FIG. 1, and FIG. 3C shows the result of FIG. The result of having performed the filter process by the 1 differential filter 101 shown in FIG.
[0021]
FIG. 3D shows the positive / negative state of the inclination direction determined by the inclination direction determination unit 102 shown in FIG. 1 based on the filter processing by the Laplacian filter 100. In the figure, the vertical axis indicates the slope level, and the higher the level, the steeper the slope.
[0022]
The tilt direction determination unit 102 sends a selection signal to the selection circuit 103 shown in FIG. 1 so as to select the output of the first-order differential filter 101 at a change point where the tilt direction changes from positive to negative or from negative to positive. appear.
[0023]
FIG. 3E shows an edge enhanced image output from the selection circuit 103. As shown in the figure, it is confirmed that the edge-enhanced image does not include an image portion having a steep density gradient before and after the edge that does not exist in the original image (FIG. 3A).
[0024]
As described above, a steep gradient portion before and after the edge that does not exist in the original image generated by the secondary differential filter processing having a high edge enhancement degree is based on the sign of the density gradient of the image obtained by the secondary differential filter processing. By identifying and replacing this portion with an image processed with a first-order differential filter having a low edge enhancement degree, it is possible to perform edge enhancement faithfully to the original image. Further, it is not necessary to newly provide a circuit for identifying a steep gradient portion before and after the edge, and since the output generated by the secondary differential filter processing is used, the circuit configuration does not increase. Furthermore, in the inclination direction determination based on the secondary differential filter process, since it is a simple determination that only detects a change point where the sign changes, high-speed determination is possible. Therefore, high-speed edge enhancement is possible. In particular, an image processing apparatus that reads an image in units of lines can sequentially process the read line images, so there is no need to add a memory or the like for holding the images.
[0025]
【The invention's effect】
As described above, the image processing apparatus of the present invention is an image processing apparatus that edge-enhances an original image on a recording medium read by line scanning, and sets an arbitrary filter coefficient in the main scanning direction of the original image. A first differentiating means for firstly differentiating the original image in the main scanning direction; and a second differentiating means for secondarily differentiating the original image by setting arbitrary filter coefficients in the main scanning direction and the sub-scanning direction of the original image. Differentiating means, inclination direction determining means for determining the sign of the inclination direction of the density of the original image based on the output of the second differentiating means, and density of the original image based on the determination result of the inclination direction determining means When the inclination direction of the first change means changes, the selection means for selecting and deriving the output of the first differentiation means is provided, so that the circuit scale is not increased and the edge enhancement degree is relatively good. Get processed image Door can be.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a filter processing matrix according to the present invention.
FIG. 3 is a view showing a processing result by a filter processing according to the present invention.
[Explanation of symbols]
100 Laplacian Filter 101 Primary Differential Filter 102 Inclination Direction Determination Unit 103 Selection Circuit

Claims (2)

ライン走査で読み取られた記録媒体上の原画像をエッジ強調する画像処理装置であって、
前記原画像の主走査方向に任意のフィルタ係数を設定して前記原画像を主走査方向に一次微分する第1の微分手段と、
前記原画像の主走査方向及び副走査方向に任意のフィルタ係数を設定して前記原画像を2次微分する第2の微分手段と、
前記第2の微分手段の出力に基づいて前記原画像の濃度の傾き方向の正負を判定する傾き方向判定手段と、
前記傾き方向判定手段の判定結果に基づき、前記原画像の濃度の傾き方向が変化する場合は、前記第1の微分手段の出力を選択導出する選択手段と、
を具備したことを特徴とする画像処理装置。
An image processing apparatus for edge enhancement of an original image on a recording medium read by line scanning,
First differentiation means for setting an arbitrary filter coefficient in the main scanning direction of the original image and firstly differentiating the original image in the main scanning direction;
Second differentiation means for secondarily differentiating the original image by setting arbitrary filter coefficients in the main scanning direction and the sub-scanning direction of the original image;
A tilt direction determining unit that determines whether the density of the original image has a gradient direction based on the output of the second differentiating unit;
Selection means for selectively deriving the output of the first differentiating means when the inclination direction of the density of the original image changes based on the determination result of the inclination direction determining means;
An image processing apparatus comprising:
前記第2の微分手段がラプラシアンフィルタであることを特徴とする請求項1に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the second differentiating unit is a Laplacian filter.
JP31538199A 1999-11-05 1999-11-05 Image processing device Expired - Fee Related JP3738951B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31538199A JP3738951B2 (en) 1999-11-05 1999-11-05 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31538199A JP3738951B2 (en) 1999-11-05 1999-11-05 Image processing device

Publications (2)

Publication Number Publication Date
JP2001136395A JP2001136395A (en) 2001-05-18
JP3738951B2 true JP3738951B2 (en) 2006-01-25

Family

ID=18064731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31538199A Expired - Fee Related JP3738951B2 (en) 1999-11-05 1999-11-05 Image processing device

Country Status (1)

Country Link
JP (1) JP3738951B2 (en)

Also Published As

Publication number Publication date
JP2001136395A (en) 2001-05-18

Similar Documents

Publication Publication Date Title
JP2000228722A (en) Method and apparatus for tilt adjustment and layout of photograph, and recording medium
JPH04354470A (en) Picture processing method, scanning/printing system for executing said method and picture selector for said scanning/printing system
JP4085580B2 (en) Image processing device
JP3989341B2 (en) Image processing device
JP3738951B2 (en) Image processing device
JP3100383B2 (en) Character region separation method and apparatus
JPH0730752A (en) Image area discriminating device
JP3881455B2 (en) Image correction apparatus, image correction method, and medium on which image correction method is recorded
JP3361355B2 (en) Image processing device
JPS63246076A (en) Filter processing unit
JP3605773B2 (en) Image area discriminating device
JP2772396B2 (en) Image signal processing device
JPH0662230A (en) Image forming device
JP3007102B2 (en) Image processing device
JP2841942B2 (en) Image input device
JP3222570B2 (en) Image area identification device
JP2581049B2 (en) Image area determination device
JP2777476B2 (en) Image processing device
JP3524261B2 (en) Image processing device
JPH03219774A (en) Picture processor
JPH09200499A (en) Image processor
JPH11355580A (en) Mtf correcting circuit and image processor
JPS6335071A (en) Variable power method
JPH0382269A (en) Character region separation system
JPH11136513A (en) Picture processor

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051027

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101111

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees