JP5273869B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP5273869B2
JP5273869B2 JP2009291126A JP2009291126A JP5273869B2 JP 5273869 B2 JP5273869 B2 JP 5273869B2 JP 2009291126 A JP2009291126 A JP 2009291126A JP 2009291126 A JP2009291126 A JP 2009291126A JP 5273869 B2 JP5273869 B2 JP 5273869B2
Authority
JP
Japan
Prior art keywords
edge
image processing
distance
processing apparatus
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009291126A
Other languages
Japanese (ja)
Other versions
JP2010171959A (en
Inventor
敏明 六尾
ピンリ リー
モンヨウ ユエン
ゾンユ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Publication of JP2010171959A publication Critical patent/JP2010171959A/en
Application granted granted Critical
Publication of JP5273869B2 publication Critical patent/JP5273869B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は画像処理装置および画像処理方法に係り、特に注目画素がエッジ上に位置しているか否かを判定する技術に関する。   The present invention relates to an image processing apparatus and an image processing method, and more particularly to a technique for determining whether a target pixel is located on an edge.

原画像を二値化して印刷するプリンタなどの装置は、印刷する前に、原画像にスクリーニング処理を施す必要がある。スクリーニング処理された後のスクリーニング画像は、連続階調画像からなる原画像と比較すると、離散的なので、直接にスクリーニング画像を処理するのはかなり難しい。従って、従来は、スクリーニング画像を処理する前に、まずスクリーニング画像のエッジ強度(およびエッジ方向)を確認してから処理していた。
例えば特許文献1には、スクリーニング画像において、エッジを検出し、検出されたエッジに対して平滑化処理を行う例が開示されている。
An apparatus such as a printer that binarizes and prints an original image needs to perform a screening process on the original image before printing. Since the screening image after the screening process is discrete compared to the original image composed of the continuous tone image, it is quite difficult to process the screening image directly. Therefore, conventionally, before processing the screening image, the edge strength (and edge direction) of the screening image is first confirmed before processing.
For example, Patent Document 1 discloses an example in which an edge is detected in a screening image and a smoothing process is performed on the detected edge.

中国特許出願公開第1310430号明細書Chinese Patent Application No. 1310430

一般に、画像処理においては、行列形式のフィルタが用いられるが、従来の技術においては、フィルタの中心に位置する注目画素がエッジ上に位置しているか否かの判定を容易かつ正確に行うという点において、課題が残されていた。   In general, a matrix filter is used in image processing. However, in the conventional technique, it is easy and accurate to determine whether or not the pixel of interest located at the center of the filter is located on the edge. However, the problem remained.

本発明は上記の課題を解決するためになされたものであり、注目画素がエッジ上に位置しているか否かの判定を容易かつ正確に行うことができる画像処理装置および画像処理方法を提供することを目的とする。   The present invention has been made to solve the above problem, and provides an image processing apparatus and an image processing method capable of easily and accurately determining whether or not a target pixel is located on an edge. For the purpose.

本発明に係る画像処理装置は、原画像データに対して、N行×N列(Nは3以上の奇数)の
エッジ検出フィルタを適用させる演算を行うことにより、前記原画像データにおけるエッジ位置および前記エッジ位置におけるエッジ方向を検出するエッジ検出手段と、 前記エッジ検出フィルタの中心に位置する注目画素を通り前記エッジ方向に垂直なエッジ基準線と、前記エッジ位置の各画素との距離の平均値を、前記エッジ方向毎に算出する距離算出手段と、前記距離算出手段により算出された前記距離の平均値に基づき、前記注目画素がエッジ上に位置しているか否かの判定を行う判定手段とを備え、前記判定手段は、前記エッジ方向毎に算出された前記距離の平均値のうち全前記エッジ方向に関して最小の値を所定の閾値と比較することにより、前記判定を行う
The image processing apparatus according to the present invention performs an operation to apply an N row × N column (N is an odd number of 3 or more) edge detection filter to the original image data, thereby obtaining an edge position in the original image data and An edge detection means for detecting an edge direction at the edge position; an average value of distances between an edge reference line passing through a pixel of interest located at the center of the edge detection filter and perpendicular to the edge direction; and each pixel at the edge position A distance calculating means for calculating each edge direction, and a determining means for determining whether or not the target pixel is located on an edge based on an average value of the distances calculated by the distance calculating means. wherein the determining means, by comparing the minimum value with respect to all the edge direction in the average value of the distance calculated for each of the edge direction with a predetermined threshold value, Carry out the serial judgment.

本発明に係る画像処理装置は、注目画素がエッジ上に位置しているか否かの判定を容易かつ正確に行うことができる。 The image processing apparatus according to the present invention can easily and accurately determine whether or not a target pixel is located on an edge.

図1は、本発明に係る画像処理装置100を示すブロック図である。FIG. 1 is a block diagram showing an image processing apparatus 100 according to the present invention. 図2は、本発明に係る画像処理装置100のエッジ検出手段110によるエッジ位置およびエッジ方向の検出を示す模式図である。FIG. 2 is a schematic diagram showing detection of an edge position and an edge direction by the edge detection unit 110 of the image processing apparatus 100 according to the present invention. 図3は、本発明に係る画像処理装置100により検出されるエッジ方向を示す模式図である。FIG. 3 is a schematic diagram showing edge directions detected by the image processing apparatus 100 according to the present invention. 図4は、本発明に係る画像処理装置100のエッジ検出手段110により検出されたエッジ位置およびエッジ方向を示す模式図である。FIG. 4 is a schematic diagram showing edge positions and edge directions detected by the edge detection unit 110 of the image processing apparatus 100 according to the present invention. 図5は、本発明に係る画像処理装置100により検出される有効画素のエッジ方向を示す模式図である。FIG. 5 is a schematic diagram showing the edge direction of effective pixels detected by the image processing apparatus 100 according to the present invention. 図6は、本発明に係る画像処理装置100により検出される有効画素のエッジ方向を示す模式図である。FIG. 6 is a schematic diagram showing the edge direction of effective pixels detected by the image processing apparatus 100 according to the present invention. 図7は、本発明に係る画像処理装置100の距離算出手段120により算出される、エッジ基準線と各有効画素との距離を示す模式図である。FIG. 7 is a schematic diagram showing the distance between the edge reference line and each effective pixel calculated by the distance calculation unit 120 of the image processing apparatus 100 according to the present invention.

図1は、本発明に係る画像処理装置100を示すブロック図である。   FIG. 1 is a block diagram showing an image processing apparatus 100 according to the present invention.

図1に示されるように、画像処理装置100は、エッジ検出手段110と距離算出手段120と判定手段130と平滑化手段140とを少なくとも備えている。画像処理装置100に入力された原稿画像は、エッジ検出手段110へ入力される。   As shown in FIG. 1, the image processing apparatus 100 includes at least an edge detection unit 110, a distance calculation unit 120, a determination unit 130, and a smoothing unit 140. The document image input to the image processing apparatus 100 is input to the edge detection unit 110.

エッジ検出手段110は、公知の手法を用いて、N行×N列(Nは3以上の奇数)のエッジ検出フィルタを適用させる演算を行うことにより、入力された原稿画像に関して、エッジ位置およびエッジ方向を検出する。
図2は、エッジ検出手段110によるエッジ位置およびエッジ方向の検出を示す模式図である。図2(a)に示されるように、白色(高輝度)領域と黒色(低輝度)領域とが隣接するような画像においては、図2(b)に示されるように、その境界線が、輝度が急激に変化する位置すなわちエッジ位置として検出され、この境界線を横切って高輝度領域から低輝度領域へ向かう方向がエッジ方向として検出されることとなる。なお、エッジ方向は、例えば図3に示されるように、360°を16分割した方向にそれぞれ対応する0〜15の各値により表される。以下、5行×5列のフィルタ行列を用いた場合を例にとり、フィルタ中央に位置する注目画素がエッジ上にあるか否かを検出する手順を説明する。
図4は、図2(a)の画像に対してエッジ検出手段110により検出されたエッジ位置およびエッジ方向を示す図である。図4(a)に示されるように、図2(a)におけるエッジ位置は、図2(b)の境界線に対応する画素を1とし(有効画素)、それ以外の画素を0とする5行×5列の行列として検出される。また、図4(b)に示されるように、図2(a)におけるエッジ方向は、方向5〜8すなわち紙面(右)上から(左)下へ向かう方向が検出されている。
The edge detection unit 110 performs an operation of applying an N row × N column (N is an odd number greater than or equal to 3) edge detection filter using a known method, whereby the edge position and the edge of the input document image are detected. Detect direction.
FIG. 2 is a schematic diagram showing the detection of the edge position and the edge direction by the edge detection means 110. As shown in FIG. 2A, in an image in which a white (high luminance) region and a black (low luminance) region are adjacent to each other, as shown in FIG. The position where the luminance changes rapidly, that is, the edge position is detected, and the direction from the high luminance region to the low luminance region across this boundary line is detected as the edge direction. For example, as shown in FIG. 3, the edge direction is represented by each value of 0 to 15 corresponding to a direction obtained by dividing 360 ° into 16 parts. The procedure for detecting whether or not the pixel of interest located at the center of the filter is on the edge will be described below, taking the case of using a 5 × 5 filter matrix as an example.
FIG. 4 is a diagram showing edge positions and edge directions detected by the edge detection unit 110 with respect to the image of FIG. As shown in FIG. 4A, the edge position in FIG. 2A is set to 1 for the pixel corresponding to the boundary line in FIG. 2B (effective pixel) and 0 for the other pixels. It is detected as a matrix of rows × 5 columns. Further, as shown in FIG. 4B, the edge direction in FIG. 2A is detected in the direction from 5 to 8, that is, the direction from the top of the paper (right) to the bottom of the left.

次に、図5に示されるように、エッジ検出手段110は、図4(b)のように検出されたエッジ方向のうち、図4(a)においてエッジ位置が1と検出された有効画素に対応するエッジ方向のみを有効エッジ方向として採用する。   Next, as shown in FIG. 5, the edge detection unit 110 applies the effective pixel whose edge position is detected as 1 in FIG. 4A among the edge directions detected as shown in FIG. Only the corresponding edge direction is adopted as the effective edge direction.

次に、図6に示されるように、エッジ検出手段110は、図5の有効エッジ方向を、その値毎に別々の行列として分離する。図5においては、有効エッジ方向として6および8のみが採用されているので、6に対応する行列(図6(a))および8(図6(b))に対応する行列として分離される。   Next, as illustrated in FIG. 6, the edge detection unit 110 separates the effective edge direction in FIG. 5 as a separate matrix for each value. In FIG. 5, since only 6 and 8 are employed as the effective edge directions, they are separated as matrices corresponding to 6 (FIG. 6 (a)) and 8 (FIG. 6 (b)).

次に、図7に示されるように、距離算出手段120は、フィルタの中央に位置する注目画素を通り各エッジ方向に垂直なエッジ基準線(点線)と各有効画素との距離の(絶対値の)平均値を算出する。なお、この距離は、有効画素とエッジ基準線との位置関係に基づき、正または負の符号が付与される。具体的には、有効画素が、エッジ基準線に対して、(左)下すなわち低輝度側に位置している場合には正の符号が、(右)上すなわち高輝度側に位置している場合には負の符号が付与される。また、この距離(の絶対値)は、概ね画素数を単位とするものであれば、どのように定めてもよい。   Next, as shown in FIG. 7, the distance calculating unit 120 (absolute value of the distance between each effective pixel and an edge reference line (dotted line) passing through the target pixel located in the center of the filter and perpendicular to each edge direction. Of) average value. This distance is given a positive or negative sign based on the positional relationship between the effective pixel and the edge reference line. Specifically, when the effective pixel is located (left) down, that is, on the low luminance side with respect to the edge reference line, a positive sign is located (right) above, that is, on the high luminance side. In some cases, a negative sign is given. The distance (absolute value) may be determined in any way as long as the number of pixels is a unit.

すなわち、有効エッジ方向が6に対応する行列(図7(a))においては、5個の有効画素のうち、4個の有効画素がエッジ基準線上すなわち距離が0であり、1個の有効画素が(右)上方向に0.7離れている(この場合、距離は負の符号を有し、−0.7となる)。よって、距離の平均値は、|0+0+0+0+(−0.7)|/5=0.14となる。   That is, in the matrix corresponding to the effective edge direction of 6 (FIG. 7A), of the 5 effective pixels, 4 effective pixels are on the edge reference line, that is, the distance is 0, and 1 effective pixel. (Right) upward 0.7 (in this case, the distance has a negative sign and is −0.7). Therefore, the average value of the distance is | 0 + 0 + 0 + 0 + (− 0.7) | /5=0.14.

また、有効エッジ方向が8に対応する行列(図7(b))においては、1個の有効画素が上方向に1離れている(この場合、距離は負の符号を有し、−1となる)。よって、距離の平均値は、|−1|=1となる。   Further, in the matrix in which the effective edge direction corresponds to 8 (FIG. 7B), one effective pixel is separated by 1 in the upward direction (in this case, the distance has a negative sign, and −1 and Become). Therefore, the average value of the distance is | −1 | = 1.

次に、判定手段130は、全エッジ方向について算出された距離の平均値のうち最小の値を、所定の閾値と比較することにより、注目画素がエッジ上であるか否かを判定するとともに、注目画素がエッジ上であった場合のエッジ方向を決定する。例えば閾値を0.5とすると、図7の例では、距離の平均値のうち最小の値は、有効エッジ方向が6(図7(a))に対応する0.14であり、この値は閾値の0.5より小さい。従って、判定手段130は、注目画素がエッジ上であると判定するとともに、そのエッジ方向が6であると判定する。   Next, the determination unit 130 determines whether or not the target pixel is on the edge by comparing the minimum value among the average values of the distances calculated for all edge directions with a predetermined threshold value, and The edge direction when the target pixel is on the edge is determined. For example, when the threshold value is 0.5, in the example of FIG. 7, the minimum value among the average values of the distance is 0.14 corresponding to the effective edge direction of 6 (FIG. 7A). Less than the threshold of 0.5. Therefore, the determination unit 130 determines that the target pixel is on the edge and determines that the edge direction is 6.

次に、平滑化手段140は、エッジ上にあると判定された注目画素に基づき、公知の手法を用いて、平滑化処理を行う。   Next, the smoothing unit 140 performs a smoothing process using a known method based on the target pixel determined to be on the edge.

以下、同様に、画像処理装置100は、上記の手順を、フィルタを移動させながら(すなわち注目画素を移動させながら)繰り返す。   Similarly, the image processing apparatus 100 repeats the above procedure while moving the filter (that is, moving the target pixel).

このように、本発明に係る画像処理装置100は、エッジ基準線と、エッジ位置の各画素との距離の平均値とに基づき、注目画素がエッジ上に位置しているか否かの判定を行う。従って、判定を容易かつ正確に行うことができる。   As described above, the image processing apparatus 100 according to the present invention determines whether or not the target pixel is located on the edge based on the edge reference line and the average value of the distance between each pixel at the edge position. . Therefore, the determination can be performed easily and accurately.

また、画素とエッジ基準線との位置関係に応じて距離に正または負の符号を付与することにより、注目画素がエッジ上に位置している場合のみならず、エッジ内側に位置している場合やエッジ外側に位置している場合についても判定を行うことができる。   Also, by adding a positive or negative sign to the distance according to the positional relationship between the pixel and the edge reference line, the pixel of interest is located not only on the edge but also on the inner side of the edge It is also possible to make a determination for the case of being located outside the edge.

100 画像処理装置
110 エッジ検出手段
120 距離算出手段
130 判定手段
140 平滑化手段
DESCRIPTION OF SYMBOLS 100 Image processing apparatus 110 Edge detection means 120 Distance calculation means 130 Determination means 140 Smoothing means

Claims (4)

原画像データに対して、N行×N列(Nは3以上の奇数)のエッジ検出フィルタを適用さ
せる演算を行うことにより、前記原画像データにおけるエッジ位置および前記エッジ位置におけるエッジ方向を検出するエッジ検出手段と、
前記エッジ検出フィルタの中心に位置する注目画素を通り前記エッジ方向に垂直なエッジ基準線と、前記エッジ位置の各画素との距離の平均値を、前記エッジ方向毎に算出する距離算出手段と、
前記距離算出手段により算出された前記距離の平均値に基づき、前記注目画素がエッジ上に位置しているか否かの判定を行う判定手段と
を備え
前記判定手段は、前記エッジ方向毎に算出された前記距離の平均値のうち全前記エッジ方向に関して最小の値を所定の閾値と比較することにより、前記判定を行う
画像処理装置。
An edge position in the original image data and an edge direction in the edge position are detected by performing an operation for applying an N row × N column (N is an odd number of 3 or more) edge detection filter to the original image data. Edge detection means;
Distance calculating means for calculating an average value of the distance between the edge reference line passing through the target pixel located at the center of the edge detection filter and perpendicular to the edge direction and each pixel at the edge position for each edge direction;
Determination means for determining whether or not the target pixel is located on an edge based on an average value of the distance calculated by the distance calculation means ;
The image processing apparatus performs the determination by comparing a minimum value with respect to all the edge directions among a mean value of the distances calculated for each edge direction with a predetermined threshold .
請求項1に記載の画像処理装置であって、
前記距離算出手段は、前記画素と前記エッジ基準線との位置関係に応じて前記距離に正または負の符号を付与する
画像処理装置。
The image processing apparatus according to claim 1,
The distance calculation unit is an image processing apparatus that gives a positive or negative sign to the distance according to a positional relationship between the pixel and the edge reference line.
請求項1又は2に記載の画像処理装置であって、
前記判定手段により前記注目画素がエッジ上にあると判定された場合に前記注目画素に基づき平滑化処理を行う平滑化手段
を更に備える画像処理装置。
The image processing apparatus according to claim 1, wherein:
Smoothing means for performing a smoothing process based on the target pixel when the target pixel is determined to be on an edge by the determination unit
An image processing apparatus further comprising:
原画像データに対して、N行×N列(Nは3以上の奇数)のエッジ検出フィルタを適用さN row x N column (N is an odd number greater than 3) edge detection filter is applied to the original image data.
せる演算を行うことにより、前記原画像データにおけるエッジ位置および前記エッジ位置におけるエッジ方向を検出するエッジ検出ステップと、An edge detection step of detecting an edge position in the original image data and an edge direction at the edge position by performing an operation
前記エッジ検出フィルタの中心に位置する注目画素を通り前記エッジ方向に垂直なエッジ基準線と、前記エッジ位置の各画素との距離の平均値を、前記エッジ方向毎に算出する距離算出ステップと、A distance calculation step of calculating an average value of the distance between the edge reference line passing through the target pixel located at the center of the edge detection filter and perpendicular to the edge direction and each pixel at the edge position for each edge direction;
前記距離算出ステップにより算出された前記距離の平均値に基づき、前記注目画素がエッジ上に位置しているか否かの判定を行う判定ステップとA determination step of determining whether or not the pixel of interest is located on an edge based on an average value of the distances calculated in the distance calculation step;
を備え、With
前記判定ステップは、前記エッジ方向毎に算出された前記距離の平均値のうち全前記エッジ方向に関して最小の値を所定の閾値と比較することにより、前記判定を行うステップを備える画像処理方法。The image processing method includes a step of performing the determination by comparing a minimum value with respect to all the edge directions among a mean value of the distances calculated for each of the edge directions with a predetermined threshold.
JP2009291126A 2008-12-23 2009-12-22 Image processing apparatus and image processing method Expired - Fee Related JP5273869B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2008102405346A CN101763628B (en) 2008-12-23 2008-12-23 Screening image boundary position smoothing method and device
CN200810240534.6 2008-12-23

Publications (2)

Publication Number Publication Date
JP2010171959A JP2010171959A (en) 2010-08-05
JP5273869B2 true JP5273869B2 (en) 2013-08-28

Family

ID=42494783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009291126A Expired - Fee Related JP5273869B2 (en) 2008-12-23 2009-12-22 Image processing apparatus and image processing method

Country Status (2)

Country Link
JP (1) JP5273869B2 (en)
CN (1) CN101763628B (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5365817B2 (en) * 2011-11-24 2013-12-11 富士ゼロックス株式会社 Image processing apparatus and image processing program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4916545A (en) * 1988-11-16 1990-04-10 Eastman Kodak Company Electronic graphic arts screener that suppresses Moire patterns using pseudo-random font selection
JPH11331602A (en) * 1998-05-14 1999-11-30 Matsushita Electric Ind Co Ltd Image processor
CN1172263C (en) * 2002-12-30 2004-10-20 北京北大方正电子有限公司 Frequency modulation Internet access method for copying images on multiple position imaging depth equipment
JP2006262204A (en) * 2005-03-17 2006-09-28 Fuji Xerox Co Ltd Image processing apparatus and image processing method
JP4525916B2 (en) * 2005-03-17 2010-08-18 富士ゼロックス株式会社 Image forming apparatus, image forming method, image processing apparatus, and image processing method
CN100338936C (en) * 2005-04-27 2007-09-19 北京北大方正电子有限公司 Double-feedback error diffusion based frequency-modulation screening method
CN100377567C (en) * 2005-10-26 2008-03-26 北京北大方正电子有限公司 FM and AM mixed net point net shape controlling method in multi-position imaging depth device

Also Published As

Publication number Publication date
CN101763628A (en) 2010-06-30
JP2010171959A (en) 2010-08-05
CN101763628B (en) 2011-11-16

Similar Documents

Publication Publication Date Title
EP3305532B1 (en) Image inspection device, image inspection method, program, and ink jet printing system
US9649839B2 (en) Image processing apparatus and image processing method
JP2018103618A (en) Method for detecting and correcting abnormal printing nozzle in ink jet printer and test pattern
US8326079B2 (en) Image defect detection
JP6512965B2 (en) Image processing apparatus and image processing method
EP2761863B1 (en) Detecting printing defects
US9623670B2 (en) Image processing apparatus and image processing method
JP2006350557A5 (en)
CA2586274A1 (en) Mixed code, and method and apparatus for generating the same, and method and apparatus for decoding the same
JP4243454B2 (en) Brightness correction method, selective defect detection method, and recording medium on which these are recorded
JP2017013375A (en) Image processing device and image processing method
US10715683B2 (en) Print quality diagnosis
JP5677276B2 (en) Watermark decoding through spectral analysis of pixel spacing
JP6327533B2 (en) Design and processing of high-capacity 2D color barcodes for camera-based applications
JP2011137895A (en) White-spot detector, image forming apparatus, and white-spot detection program
JP5273869B2 (en) Image processing apparatus and image processing method
JP2014187504A5 (en)
JP2010062989A5 (en)
KR20080007025A (en) Image processing apparatus and image processing method
JP6025803B2 (en) Image processing device
JP2019079283A5 (en)
JP2008258980A (en) Image information processor, and image inclination angle calculation method
JP6732428B2 (en) Image processing device, halftone dot determination method, and program
JP2017083196A (en) Inspection device, inspection method, program, and recording medium
JP2002218247A (en) Image processing method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100602

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130513

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5273869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees