JP5033077B2 - Method and apparatus for inspecting appearance of molded product - Google Patents
Method and apparatus for inspecting appearance of molded product Download PDFInfo
- Publication number
- JP5033077B2 JP5033077B2 JP2008194164A JP2008194164A JP5033077B2 JP 5033077 B2 JP5033077 B2 JP 5033077B2 JP 2008194164 A JP2008194164 A JP 2008194164A JP 2008194164 A JP2008194164 A JP 2008194164A JP 5033077 B2 JP5033077 B2 JP 5033077B2
- Authority
- JP
- Japan
- Prior art keywords
- direction value
- article
- inspection
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、検査対象としての成形品である物品を撮像した画像に基づいて物品における成形むらを判別する外観検査方法およびその装置に関するものである。 The present invention relates to an appearance inspection method and apparatus for discriminating molding unevenness in an article based on an image obtained by imaging an article that is a molded article to be inspected.
従来より、検査対象としての物品の画像を用い、画像処理技術により物品の欠け、ひび、汚れ、異物などの欠陥部を検出する外観検査方法が知られている（たとえば、特許文献１参照）。 2. Description of the Related Art Conventionally, there has been known an appearance inspection method that uses an image of an article to be inspected and detects a defective portion such as a chip, a crack, a dirt, or a foreign object using an image processing technique (see, for example, Patent Document 1).
特許文献１に記載の技術では、エッジ画像や微分２値画像から欠陥候補領域を抽出し、欠陥候補領域の近傍の濃度に基づいて設定した閾値による２値化を行って欠陥候補領域内の画素と他の領域の画素とを分離し、その後、欠陥候補領域内の画素に関する画素数や濃度の情報を用いて、欠陥候補領域が欠陥か否かの判定を行っている。
ところで、成形品においては、欠けがあれば不良品として扱われるが、多少の成形むらは良品と扱うことができるから、成形品の良否判定において成形むらと欠けとを区別することにより、いわゆる無駄ばねを抑制することができる。 By the way, in a molded product, if there is a chip, it is treated as a defective product, but since some molding unevenness can be handled as a non-defective product, so-called waste can be determined by distinguishing between molding unevenness and chipping in determining the quality of a molded product. The spring can be suppressed.
特許文献１においては、欠陥候補領域を絞り込んだ後に、画素数や濃度（濃淡値）の情報を用いて欠陥か否かを判定しているから、成形品の成形むらと欠けとが同程度の画素数の欠陥候補領域を形成している場合には、濃淡値の情報のみで判別しなければならない。しかしながら、成形むらと欠けとが同程度の濃淡値を持つことは、一般に起こりうることであるから、特許文献１の技術は、成形むらを欠けとは区別して認識するという目的の達成には不十分なものである。 In Patent Document 1, after narrowing down the defect candidate area, it is determined whether or not it is a defect using information on the number of pixels and the density (shading value). In the case where defect candidate areas having the number of pixels are formed, it is necessary to make a determination based only on gray value information. However, since it is generally possible that the molding unevenness and the chipping have the same gray value, the technique of Patent Document 1 is not effective in achieving the object of recognizing the molding unevenness separately from the chipping. It is enough.
本発明は上記事由に鑑みて為されたものであり、その目的は、成形むらを欠けと区別できるようにし、良品である成形むらの無駄ばねを抑制することを可能とした成形品の外観検査方法およびその装置を提供することにある。 The present invention has been made in view of the above-mentioned reasons, and its purpose is to make it possible to distinguish molding unevenness from chipping, and to suppress the useless spring of molding unevenness which is a non-defective product. It is to provide a method and apparatus thereof.
請求項１の発明は、検査対象としての成形品である物品の濃淡画像について指定した着目領域から検査領域を生成する検査領域生成過程と、検査領域に含まれる画素の濃度勾配に対応付けた方向値を各画素の画素値とする方向値画像を生成する方向値画像生成過程と、方向値画像のうち物品の成形むらに相当する特定の方向値を持つ画素を着目画素として抽出する着目画素抽出過程と、検査領域において方向値を持つすべての画素の画素数に対する着目画素の画素数の割合を算出する演算過程と、演算過程において求めた割合を欠けに対する範囲として規定した数値範囲と比較し前記割合が当該数値範囲を逸脱しているときに物品に成形むらが存在すると判定する判定過程とを有することを特徴とする。 According to the first aspect of the present invention, an inspection region generation process for generating an inspection region from a region of interest specified for a gray image of an article that is a molded product as an inspection target, and a direction associated with a density gradient of pixels included in the inspection region Direction value image generation process for generating a direction value image with the value as the pixel value of each pixel, and target pixel extraction for extracting, from the direction value image, a pixel having a specific direction value corresponding to uneven molding of the article as the target pixel Comparing the ratio of the number of pixels of the pixel of interest with respect to the number of pixels of all pixels having direction values in the inspection area, and a numerical range that defines the ratio obtained in the calculation process as a range for lack And a determination process for determining that molding unevenness exists in the article when the ratio is out of the numerical range.
請求項２の発明では、請求項１の発明において、前記検査領域生成過程は、前記物品の輪郭線を含む予備検査領域を生成する第１過程と、予備検査領域に含まれる画素を２値化することにより抽出される特徴点の連結領域を囲む検査領域を生成する第２過程とを有することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the inspection area generation step includes a first step of generating a preliminary inspection area including the outline of the article, and binarization of pixels included in the preliminary inspection area. And a second step of generating an inspection area surrounding the connection area of the feature points extracted.
請求項３の発明では、請求項２の発明において、前記検査領域は、前記連結領域に外接する矩形領域であることを特徴とする。 According to a third aspect of the present invention, in the second aspect of the present invention, the inspection area is a rectangular area that circumscribes the connection area.
請求項４の発明では、請求項２の発明において、前記検査領域は、前記連結領域の外周縁に沿って外周縁の外側に設定された境界線に囲まれる領域であることを特徴とする。 According to a fourth aspect of the present invention, in the second aspect of the invention, the inspection region is a region surrounded by a boundary set outside the outer peripheral edge along the outer peripheral edge of the connection region.
請求項５の発明では、請求項１〜４のいずれかの発明において、前記物品は平面視において多角形状であって、前記着目画素抽出過程では、前記検査領域が前記物品の輪郭線のうちのコーナ部分を含む場合には、当該コーナ部分を挟む直線部分の方向値を物品の成形むらに相当する特定の方向値として用い、前記検査領域が前記物品の輪郭線のうち直線部分のみを含む場合には、前記直線部分の方向値を物品の成形むらに相当する特定の方向値として用いることを特徴とする。 According to a fifth aspect of the present invention, in the invention according to any one of the first to fourth aspects, the article has a polygonal shape in a plan view, and in the pixel-of-interest extraction process, the inspection region is a contour line of the article. When the corner portion is included, the direction value of the straight portion sandwiching the corner portion is used as a specific direction value corresponding to the molding unevenness of the article, and the inspection area includes only the straight portion of the outline of the article. Is characterized in that the direction value of the straight line portion is used as a specific direction value corresponding to molding unevenness of the article.
請求項６の発明では、請求項１〜５のいずれかの発明において、前記判定過程では、前記方向値画像において各方向値を持つ画素数の分布に偏りがなく、か各方向値を持つ画素数の総和が規定数未満である場合に、成形むらと判断することを特徴とする。 According to a sixth aspect of the present invention, there is no bias in the distribution of the number of pixels having each direction value in the direction value image in the determination process according to any one of the first to fifth aspects, or the pixels having each direction value. If the sum of the numbers is less than the specified number, it is determined that the molding is uneven.
請求項７の発明は、検査対象としての成形品である物品の濃淡画像を撮像する撮像部と、検査対象である物品の濃淡画像について指定した着目領域から検査領域を生成する検査領域生成部と、 検査領域に含まれる画素の濃度勾配に対応付けた方向値を各画素の画素値とする方向値画像を生成する方向値画像生成部と、方向値画像のうち物品の成形むらに相当する特定の方向値を持つ画素を着目画素として抽出する着目画素抽出部と、検査領域において方向値を持つすべての画素の画素数に対する着目画素の画素数の割合を算出する演算部と、演算部において求めた割合を欠けに対する範囲として規定した数値範囲と比較し前記割合が当該数値範囲を逸脱しているときに物品に成形むらが存在すると判定する判定部とを有することを特徴とする。 The invention of claim 7 includes an imaging unit that captures a grayscale image of an article that is a molded article as an inspection target, and an inspection region generation unit that generates an inspection area from a region of interest specified for the grayscale image of the article that is an inspection target. A direction value image generating unit that generates a direction value image with the direction value associated with the density gradient of the pixel included in the inspection region as the pixel value of each pixel, and a specification corresponding to uneven molding of the article in the direction value image A pixel-of-interest extraction unit that extracts a pixel having a direction value as a pixel of interest, a calculation unit that calculates the ratio of the number of pixels of the pixel of interest to the number of pixels of all pixels having a direction value in the inspection region, and a calculation unit And a determination unit that determines that molding unevenness exists in the article when the ratio is out of the numerical range. .
請求項１の発明によれば、検査領域内において特定の方向値を持つ画素の画素数が、検査領域内において方向値を持つすべての画素の画素数に占める割合を用いて成形むらの有無を判別するから、成形むらと欠けのような欠陥とを分けることにより、良品である成形むらを不良品と判断する無駄ばねを抑制することができる。また、特定の方向値を持つ画素の画素数が検査領域において方向値を持つ画素の画素数に占める割合を用いて成形むらを良品として良否判定を行うから、不良品を良品と誤認することがない。 According to the first aspect of the present invention, the presence or absence of molding unevenness is determined using the ratio of the number of pixels having a specific direction value in the inspection region to the number of pixels of all pixels having the direction value in the inspection region. Therefore, it is possible to suppress a useless spring that determines a non-defective molding unevenness as a defective product by separating the molding unevenness from a defect such as a chip. In addition, since the nonuniformity is determined as non-defective by using the ratio of the number of pixels having a specific direction value to the number of pixels having the direction value in the inspection area, it may be mistaken for a defective product as a non-defective product. Absent.
請求項２の発明によれば、検査領域を特徴点の連結領域を囲む部位に絞り込んでいるから、検査対象となる画素数が少なくなり、短時間での処理が可能になる。 According to the invention of claim 2, since the inspection area is narrowed down to the portion surrounding the connection area of the feature points, the number of pixels to be inspected is reduced, and processing in a short time becomes possible.
請求項３の発明によれば、検査領域を連結領域に外接する矩形領域しているから、連結領域の座標を用いて検査領域を簡単に設定することができる。 According to the invention of claim 3, since the inspection area is a rectangular area circumscribing the connection area, the inspection area can be easily set using the coordinates of the connection area.
請求項４の発明によれば、検査領域の外周縁に沿って外周縁の外側に設定された境界線に囲まれる領域を検査領域に用いるから、検査領域が特徴点の連結領域の近傍のみになり、判定の精度を高めることになる。 According to invention of Claim 4, since the area | region enclosed by the boundary set outside the outer periphery along the outer periphery of an inspection area | region is used for an inspection area | region, an inspection area | region is only in the vicinity of the connection area | region of a feature point. Therefore, the accuracy of the determination is increased.
請求項５の発明によれば、成形むらの特徴を持つ方向値の画素に着目しているから、成形むらを他の欠陥と誤認することがなく、無駄ばねを抑制することができる。 According to the fifth aspect of the present invention, attention is paid to the pixel of the direction value having the characteristic of molding unevenness. Therefore, the useless spring can be suppressed without misidentifying the molding unevenness as another defect.
請求項６の発明によれば、検査領域の画素において各方向値を持つ画素数の分布に偏りがないことと、各方向値を持つ画素数の総和が規定数未満であることとを成形むらの特徴として判定を行うから、成形むらの判定精度が高くなる。 According to the sixth aspect of the invention, there is no unevenness in the distribution of the number of pixels having each direction value in the pixels in the inspection region and the sum of the number of pixels having each direction value being less than the prescribed number. Since the determination is performed as a feature of the above, the determination accuracy of the molding unevenness is increased.
請求項７の発明によれば、検査領域内において特定の方向値を持つ画素の画素数が、検査領域内において方向値を持つすべての画素の画素数に占める割合を用いて成形むらの有無を判別するから、成形むらと欠けのような欠陥とを分けることにより、良品である成形むらを不良品と判断する無駄ばねを抑制することができる。また、特定の方向値を持つ画素の画素数が検査領域において方向値を持つ画素の画素数に占める割合を用いて成形むらを良品として良否判定を行うから、不良品を良品と誤認することがない。 According to the invention of claim 7, the presence or absence of molding unevenness is determined using the ratio of the number of pixels having a specific direction value in the inspection area to the number of pixels of all pixels having the direction value in the inspection area. Therefore, it is possible to suppress a useless spring that determines a non-defective molding unevenness as a defective product by separating the molding unevenness from a defect such as a chip. In addition, since the nonuniformity is determined as non-defective by using the ratio of the number of pixels having a specific direction value to the number of pixels having the direction value in the inspection area, it may be mistaken for a defective product as a non-defective product. Absent.
以下に説明する実施形態では、図１に示す構成の検査装置を用いるものとする。この検査装置は、検査対象としての成形品である物品Ｇを撮像する撮像部２と、撮像部２から出力される濃淡画像に対する画像処理により着目する情報（すなわち、物品Ｇにおける成形むらと物品Ｇの欠け）を抽出する画像処理装置１とにより構成される。本実施形態で検査対象とする物品Ｇは、たとえば配線器具の器体などを想定している。 In the embodiment described below, an inspection apparatus having the configuration shown in FIG. 1 is used. The inspection apparatus includes an imaging unit 2 that captures an article G that is a molded product as an inspection target, and information that is focused by image processing on a grayscale image output from the imaging unit 2 (that is, molding unevenness and article G in the article G). And image processing apparatus 1 that extracts (a lack of). The article G to be inspected in the present embodiment is assumed to be, for example, the body of a wiring device.
画像処理装置１は、プロセッサを備える専用装置として構成することができるが、汎用のコンピュータに後述する機能を実現するプログラムを実行させる構成であってもよい。画像処理装置１には、処理過程において生成される画像を表示するモニタ装置３と、キーボードやマウスのような汎用の入力装置４とが接続される。モニタ装置３は画像出力部３２を介して接続され、入力装置４は入力インターフェイス３３を介して接続される。 The image processing apparatus 1 can be configured as a dedicated apparatus including a processor, but may be configured to cause a general-purpose computer to execute a program that realizes functions to be described later. Connected to the image processing device 1 are a monitor device 3 for displaying an image generated in the course of processing and a general-purpose input device 4 such as a keyboard and a mouse. The monitor device 3 is connected via an image output unit 32, and the input device 4 is connected via an input interface 33.
撮像部２は、図２に示すように、物品Ｇを撮像するＴＶカメラのような撮像装置２１と、物品Ｇを照明する照明装置２２と、撮像装置２１と物品Ｇとの間に配置され照明装置２２から出射した光線を物品Ｇの表面に対して撮像装置２１の光軸と平行な方向に反射するとともに物体Ｇからの反射光を撮像装置２１に入射させるハーフミラー２３とにより構成される。 As shown in FIG. 2, the imaging unit 2 is disposed between the imaging device 21 such as a TV camera that images the article G, the illumination device 22 that illuminates the article G, and the imaging device 21 and the article G. A half mirror 23 that reflects the light beam emitted from the device 22 in the direction parallel to the optical axis of the imaging device 21 with respect to the surface of the article G and causes the reflected light from the object G to enter the imaging device 21.
撮像装置２１は物品Ｇに正対して配置され、、ハーフミラー２３は、撮像装置２１の光軸上において、光軸に対して４５度の角度で交差する形で撮像装置２１と物品Ｇとの間に配置される。したがって、撮像装置２１はハーフミラー２３を通して物品Ｇを撮像する。 The imaging device 21 is arranged to face the article G, and the half mirror 23 is arranged between the imaging device 21 and the article G on the optical axis of the imaging device 21 so as to intersect with the optical axis at an angle of 45 degrees. Arranged between. Therefore, the imaging device 21 images the article G through the half mirror 23.
一方、照明装置２２は、光線の出射方向が撮像装置２１の光軸に直交し、かつ出射光線がハーフミラー２３によって直交方向に向きを変えられる位置に配置される。また、照明装置２２は、物品Ｇの表面を一様に照明することができる面光源を備える。したがって、照明装置２２からの光線により物品Ｇの表面を一様に照明した状態で、撮像装置２１により物品Ｇを撮像することが可能になる。この照明技術は、同軸落射照明として知られている。 On the other hand, the illuminating device 22 is disposed at a position where the emission direction of the light beam is orthogonal to the optical axis of the imaging device 21 and the direction of the emitted light beam can be changed in the orthogonal direction by the half mirror 23. The illumination device 22 includes a surface light source that can uniformly illuminate the surface of the article G. Therefore, the article G can be imaged by the imaging device 21 in a state where the surface of the article G is uniformly illuminated by the light from the illumination device 22. This illumination technique is known as coaxial epi-illumination.
撮像装置２１で撮像された物品Ｇの画像は、画像処理装置１に設けた画像取込部１１を通して画像記憶部１２に濃淡画像として格納される。画像取込部１１は、撮像装置１１から出力された画像をフレーム単位で切り出す機能を有し、さらに撮像装置２１がアナログ出力である場合には、アナログ−デジタル変換を行う機能を有する。画像記憶部１２は、ハードディスク装置を含むが、以下の説明では半導体メモリを想定している。画像記憶部１２には、画像処理装置１における各処理段階において生成される画像を記憶するとともに、画像処理に伴って生じるデータを一時的に保存する作業メモリとしても用いられる。 The image of the article G imaged by the imaging device 21 is stored as a grayscale image in the image storage unit 12 through the image capturing unit 11 provided in the image processing device 1. The image capturing unit 11 has a function of cutting out an image output from the imaging device 11 in units of frames, and further has a function of performing analog-digital conversion when the imaging device 21 is an analog output. The image storage unit 12 includes a hard disk device, but a semiconductor memory is assumed in the following description. The image storage unit 12 stores an image generated at each processing stage in the image processing apparatus 1 and is also used as a working memory that temporarily saves data generated by the image processing.
画像処理装置１は、物品Ｇの欠けの有無と物品Ｇの成形むらの有無とを判別する目的で用いられる。欠けと成形むらとに関して考察したところ、成形品である物品Ｇに欠けが生じる場合にはエッジの方向が成形品の輪郭線とは異なる方向に偏在することが多く、成形むらの場合にはエッジの方向に偏在することが多いという知見が得られた。したがって、成形むらか欠けかの判断を要する領域について、画素の方向値を抽出し、エッジと同じ方向値を持つ画素が、エッジとは異なる方向値を持つ画素よりも多い場合には、欠けではなく成形むらであると判定することができる。本発明は、この知見に基づいて成形品の欠けと成形むらとを判別する技術を提供するものである。 The image processing apparatus 1 is used for the purpose of discriminating whether or not the article G is missing and whether or not the article G is unevenly formed. In consideration of chipping and molding unevenness, when chipping occurs in the article G, which is a molded product, the edge direction is often unevenly distributed in a direction different from the contour line of the molded product. The knowledge that it is often unevenly distributed is obtained. Therefore, if the direction value of the pixel is extracted for an area that needs to be determined whether the molding is uneven or missing, if there are more pixels with the same direction value as the edge than pixels with a direction value different from the edge, It can be determined that there is no molding unevenness. The present invention provides a technique for discriminating between chippings and molding unevenness based on this knowledge.
画像処理装置１において物品Ｇの欠けと成形むらとの判別を行うために、物品Ｇにおいて検査領域を設定する必要がある。検査領域を設定するには、まず画像記憶部１２に格納された濃淡画像をモニタ装置３に表示し、物品Ｇにおいて欠けが存在すると考えられる着目領域Ａ１（図４参照）を設定する。着目領域Ａ１は、あらかじめ定めておくことができるが、モニタ装置３の画面を見ながら入力装置４を操作することによって設定することも可能である。着目領域Ａ１は、物品Ｇにおける輪郭線（一般には、物品Ｇの外周縁となる輪郭線）の一部を含むように設定される。着目領域Ａ１の設定には着目領域指定部１３が用いられる。 In order to discriminate between chipping of the article G and molding unevenness in the image processing apparatus 1, it is necessary to set an inspection region in the article G. In order to set the inspection area, first, the grayscale image stored in the image storage unit 12 is displayed on the monitor device 3, and the attention area A1 (see FIG. 4) that is considered to be missing in the article G is set. The region of interest A1 can be determined in advance, but can also be set by operating the input device 4 while viewing the screen of the monitor device 3. The region of interest A1 is set so as to include a part of the contour line of the article G (generally, the contour line serving as the outer peripheral edge of the article G). The attention area designation unit 13 is used for setting the attention area A1.
着目領域指定部１３において着目領域Ａ１が決められると、着目領域Ａ１から物品Ｇの輪郭線を抽出するために、着目領域Ａ１に含まれる画素について方向値が求められる。方向値は以下の手順で求める。 When the region of interest A1 is determined by the region of interest specifying unit 13, in order to extract the outline of the article G from the region of interest A1, the direction value is obtained for the pixels included in the region of interest A1. The direction value is obtained by the following procedure.
濃淡画像内では、一般に、物品Ｇの輪郭線が存在する部位において濃淡値が大きく変化するから、濃淡値を二値化するか濃度勾配を二値化すれば輪郭線を抽出することができる。また、輪郭線の部位において濃度勾配の方向に直交する方向を輪郭線の方向として用いることが可能である。画像処理では、濃度勾配は微分絶対値として算出することができ、濃度勾配の方向に直交する方向は微分方向値として抽出することができる。 In the grayscale image, generally, the grayscale value changes greatly in the portion where the contour line of the article G exists. Therefore, the contour line can be extracted by binarizing the grayscale value or binarizing the density gradient. Further, it is possible to use a direction orthogonal to the direction of the density gradient at the contour portion as the contour direction. In image processing, the density gradient can be calculated as a differential absolute value, and the direction orthogonal to the direction of the density gradient can be extracted as a differential direction value.
いま、図３に示すように、着目画素Ｐ０について８近傍の画素を用いるとすれば、以下のように計算により微分絶対値および微分方向値を算出することができる。ただし、Ｐ１〜Ｐ８は８近傍の画素の濃淡値である。
微分絶対値＝（ΔＨ２＋ΔＶ２）１／２
微分方向値＝ｔａｎ−１（ΔＶ／ΔＨ）＋π／２
ΔＨ＝（Ｐ４＋Ｐ５＋Ｐ６）−（Ｐ２＋Ｐ１＋Ｐ８）
ΔＶ＝（Ｐ２＋Ｐ３＋Ｐ４）−（Ｐ６＋Ｐ７＋Ｐ８）
微分方向値は、０〜２πの間の任意の値を取り得るから、微分方向値をそのまま用いると処理が複雑になる。そこで、４５度の角度区間ごとに右回りに増加する１〜８の整数値を対応付け、この整数値を方向値として用いる。図３に示す画素Ｐ０を着目画素とすれば、微分方向値が−２２．５〜２２．５度の範囲であるときに方向値を１とし、微分方向値が２２．５〜６７．５度の範囲であるときに方向値を２とするのである。簡略化して言えば、画素Ｐ０から画素Ｐ１に向かう微分方向値を持つときに方向値が１、画素Ｐ０から画素Ｐ２に向かう微分方向値を持つときに方向値が２になる。ここに、画素Ｐ０から他の画素に向かう向きは、明領域を右手として画素Ｐ０から輪郭線に沿って進む向きを意味する。なお、着目画素の周囲の濃度変化が小さい場合には、当該画素には方向値を与えない。つまり、方向値を求めるために微分絶対値を求め、微分絶対値が規定した閾値以下である画素については方向値を与えない。
Now, as shown in FIG. 3, if eight neighboring pixels are used for the target pixel P0, the differential absolute value and the differential direction value can be calculated by the following calculation. However, P1 to P8 are gray values of pixels in the vicinity of 8.
Differential absolute value = (ΔH 2 + ΔV 2 ) 1/2
Differential direction value = tan −1 (ΔV / ΔH) + π / 2
ΔH = (P4 + P5 + P6) − (P2 + P1 + P8)
ΔV = (P2 + P3 + P4) − (P6 + P7 + P8)
Since the differential direction value can take any value between 0 and 2π, the processing becomes complicated if the differential direction value is used as it is. Therefore, an integer value of 1 to 8 that increases clockwise is associated with each 45-degree angle interval, and this integer value is used as a direction value. If the pixel P0 shown in FIG. 3 is the target pixel, the direction value is 1 when the differential direction value is in the range of −22.5 to 22.5 degrees, and the differential direction value is 22.5 to 67.5 degrees. In this range, the direction value is set to 2. In short, the direction value is 1 when it has a differential direction value from the pixel P0 to the pixel P1, and the direction value is 2 when it has a differential direction value from the pixel P0 to the pixel P2. Here, the direction from the pixel P0 toward another pixel means a direction along the contour line from the pixel P0 with the bright region as the right hand. Note that when the change in density around the pixel of interest is small, no direction value is given to the pixel. That is, a differential absolute value is obtained in order to obtain a direction value, and no direction value is given to a pixel whose differential absolute value is equal to or less than a prescribed threshold value.
上述のようにして求めた方向値を各画素の画素値とした画像を方向値画像と呼ぶ。方向値画像では、方向値１〜８にそれぞれ特定色を対応付けてあり、モニタ装置３の画面に方向値画像を表示する際には、各画素の方向値ごとに色分けされた画像が表示される。たとえば、方向値１〜８に対して、それぞれ白、赤、橙、黄、緑、水色、青、紫などの色を対応付ける。方向値画像は、方向値画像生成部１４において画像記憶部１２に格納されている濃淡画像を用いて生成され、濃淡画像とともに画像記憶部１２に格納される。 An image having the direction value obtained as described above as the pixel value of each pixel is referred to as a direction value image. In the direction value image, a specific color is associated with each of the direction values 1 to 8, and when displaying the direction value image on the screen of the monitor device 3, an image color-coded for each direction value of each pixel is displayed. The For example, the direction values 1 to 8 are associated with colors such as white, red, orange, yellow, green, light blue, blue, and purple, respectively. The direction value image is generated by using the grayscale image stored in the image storage unit 12 in the direction value image generation unit 14 and stored in the image storage unit 12 together with the grayscale image.
着目領域Ａ１に含まれる物品Ｇの輪郭線上の画素には方向値が付与されているから、輪郭線追跡部１５において、方向値を追跡することにより輪郭線を抽出する。輪郭線追跡部１５では、まず着目領域Ａ１の内部でラスタスキャンを行うことにより方向値を持つ画素を抽出し、この画素を起点にする。起点の画素が抽出されると、輪郭線上での方向値の特性を利用し、着目画素の方向値に対する隣接画素の方向値がたとえば±２（方向値が負になる場合には９を加算する）の範囲内であるときに、隣接画素を次の着目画素とするという手順で着目領域Ａ１の中で輪郭線を追跡する。なお、着目領域Ａ１には物品Ｇの輪郭線以外のノイズも含まれる可能性があるから、連続した画素の画素数が規定数以下であるときには、輪郭線として採用しない。 Since the direction value is given to the pixels on the contour line of the article G included in the region of interest A1, the contour line tracking unit 15 extracts the contour line by tracking the direction value. The contour tracking unit 15 first extracts a pixel having a direction value by performing a raster scan within the region of interest A1, and uses this pixel as a starting point. When the starting pixel is extracted, the direction value characteristic on the contour line is used, and the direction value of the adjacent pixel with respect to the direction value of the target pixel is, for example, ± 2 (9 is added when the direction value is negative). ) Within the target area A1, the contour line is traced in the target area A1 in the procedure of setting the adjacent pixel as the next target pixel. Note that since the region of interest A1 may include noise other than the contour line of the article G, it is not adopted as the contour line when the number of consecutive pixels is equal to or less than the specified number.
輪郭線追跡部１５において着目領域Ａ１の範囲における物品Ｇの輪郭線を抽出した後、検査領域生成部１６において、着目領域Ａ１の中で抽出した物品Ｇの輪郭線から規定したオフセット分の画素（たとえば、４〜５画素）だけ物品Ｇの外側を境界線とする予備検査領域Ａ２（図４参照）を設定する。 After the contour tracking unit 15 extracts the contour line of the article G in the range of the attention area A1, the inspection area generation section 16 extracts pixels corresponding to the offset defined from the contour line of the article G extracted in the attention area A1 ( For example, the preliminary inspection area A2 (see FIG. 4) is set with the outside of the article G as a boundary line by 4 to 5 pixels).
予備検査領域Ａ２の設定に際しては、着目領域Ａ１の中で抽出した輪郭線の概略形状を指定する。たとえば、物品Ｇの輪郭線が平面視において矩形状であり、かつ物品Ｇの輪郭線の直線部分の延長方向が、濃淡画像の水平方向と垂直方向とに略一致しているときには、輪郭線のうち直線部分かコーナ部分かを指定する。さらに、直線部分であれば、物品Ｇの上下左右のどの輪郭線を着目領域Ａ１に含むのかを指定し、コーナ部分であれば、物品Ｇの４個のコーナ部分のどれを着目領域Ａ１に含むのかを指定する。輪郭線の概略形状の指定には、検査領域生成部１６において用意した選択肢をモニタ装置３の画面に表示し、入力装置４の操作により選択肢を選択する方法を採用すればよい。物品Ｇは平面視において矩形以外の多角形状であってもよいが、以下の説明では矩形状である場合を例として説明する。 When setting the preliminary inspection area A2, the outline shape of the contour line extracted in the attention area A1 is designated. For example, when the contour line of the article G is rectangular in plan view and the extension direction of the straight line portion of the contour line of the article G is substantially coincident with the horizontal direction and the vertical direction of the grayscale image, Specify whether the part is straight or corner. Furthermore, if it is a straight part, it designates which top, bottom, left and right contour lines of the article G are included in the attention area A1, and if it is a corner part, which of the four corner parts of the article G is included in the attention area A1. Specify whether or not. In order to specify the outline shape of the contour line, a method of displaying the options prepared in the inspection region generation unit 16 on the screen of the monitor device 3 and selecting the options by operating the input device 4 may be adopted. The article G may have a polygonal shape other than a rectangle in plan view, but in the following description, a case of a rectangular shape will be described as an example.
着目領域Ａ１から予備検査領域Ａ２を生成するには、まず、上述のようにして指定した物品Ｇの輪郭線に相当する方向値を着目領域Ａ１から抽出し、当該方向値により区切られる領域のうち、指定した側の領域を含むように予備検査領域Ａ２を生成する。 In order to generate the preliminary inspection area A2 from the attention area A1, first, a direction value corresponding to the contour line of the article G designated as described above is extracted from the attention area A1, and among the areas delimited by the direction value. The preliminary inspection area A2 is generated so as to include the designated side area.
たとえば、物品Ｇの右下のコーナ部分を指定した場合には、着目領域Ａ１の中で方向値を持つ画素はＬ字状に並び、かつ着目領域Ａ１において左上の領域が物品Ｇに相当するから、方向値を持つ画素で区切られる領域のうち左上側の領域に予備検査領域Ａ２を設定する。 For example, when the lower right corner portion of the article G is designated, the pixels having the direction value in the attention area A1 are arranged in an L shape, and the upper left area corresponds to the article G in the attention area A1. The preliminary inspection area A2 is set in the upper left area of the area delimited by pixels having direction values.
予備検査領域Ａ２は、着目領域Ａ１よりも狭い領域であるから、着目領域Ａ１について以下の処理を行う場合に比較すると処理対象となる画素数を低減させることができ、短時間で判定結果を得ることが可能になる。あるいはまた、処理時間を同程度とすれば、判定精度を高めることが可能になる。しかしながら、予備検査領域Ａ２は、依然として欠けや成形むらに比較すれば大きい領域になるから、本実施形態では、予備検査領域Ａ２からさらに絞り込んだ検査領域Ａ３（図５参照）を設定している。 Since the preliminary inspection area A2 is an area narrower than the attention area A1, the number of pixels to be processed can be reduced as compared with the case where the following processing is performed on the attention area A1, and a determination result is obtained in a short time. It becomes possible. Alternatively, if the processing time is set to the same level, the determination accuracy can be increased. However, since the preliminary inspection area A2 is still a large area as compared with chipping and molding unevenness, the inspection area A3 (see FIG. 5) further narrowed down from the preliminary inspection area A2 is set in this embodiment.
そのため、本実施形態では、予備検査領域Ａ２に含まれる画素の２値化を行うことにより２値画像を生成する２値画像生成部３１を設けている。２値画像は、画像記憶部１２に格納された濃淡画像のうち予備検査領域Ａ２に含まれる画素から生成され、濃淡画像とともに画像記憶部１２に格納される。また、２値画像を生成する際の閾値は、固定的に設定した閾値を用いることができるが、予備検査領域Ａ２のうち物品Ｇもしくは背景であることが既知である部位の画素の濃淡値に基づいて設定した閾値（浮動閾値）を用いるのが望ましい。 For this reason, in the present embodiment, a binary image generation unit 31 that generates a binary image by binarizing pixels included in the preliminary inspection area A2 is provided. The binary image is generated from the pixels included in the preliminary inspection area A2 in the grayscale image stored in the image storage unit 12, and is stored in the image storage unit 12 together with the grayscale image. In addition, a fixed threshold value can be used as a threshold value when generating a binary image, but it is set to a gray value of a pixel of a part of the preliminary inspection area A2 that is known to be an article G or a background. It is desirable to use a threshold (floating threshold) set based on this.
２値画像生成部３１により生成された２値画像では、欠けあるいは成形むらの存在領域の画素が、他の画素とは区別される特徴点（たとえば、黒画素）として抽出されるから、特定点である画素の連結領域（２値画像において隣接する画素が同じ値である画素）Ｄ１を囲むように検査領域Ａ３を設定する。検査領域Ａ３は、図５（ａ）のように、連結領域Ｄ１に外接する矩形領域（ただし、各辺は画像の水平方向および垂直方向に一致する）として設定するか、図５（ｂ）のように、連結領域Ｄ１の外周縁に沿って所定画素（２〜３画素）だけ外側の境界線に囲まれる領域として設定する。図５（ｂ）のような検査領域Ａ３を設定するには、ラスタスキャンを行って連結領域Ｄ１の輪郭線上の画素を抽出し、抽出した各画素の方向値に直交する方向に所定画素だけ離れた位置の画素を境界線上の画素とすればよい。 In the binary image generated by the binary image generation unit 31, the pixel in the region where the missing or unevenness is present is extracted as a feature point (for example, a black pixel) that is distinguished from other pixels. The inspection area A3 is set so as to surround a connected area (pixels in which adjacent pixels have the same value in the binary image) D1. As shown in FIG. 5A, the inspection area A3 is set as a rectangular area circumscribing the connection area D1 (however, each side coincides with the horizontal and vertical directions of the image), or as shown in FIG. Thus, it sets as an area | region enclosed by the boundary line outside predetermined pixels (2-3 pixels) along the outer periphery of the connection area | region D1. To set the inspection area A3 as shown in FIG. 5B, raster scanning is performed to extract pixels on the outline of the connection area D1, and the pixels are separated by a predetermined pixel in a direction orthogonal to the direction value of each extracted pixel. The pixel at the specified position may be a pixel on the boundary line.
検査領域Ａ３として図５（ａ）のように矩形領域を採用する場合には、検査領域Ａ３の設定が座標値のみで行えるから設定が簡単であり、図５（ｂ）のように連結領域Ｄ１の外周縁に沿った領域を採用する場合には、矩形領域よりも検査領域Ａ３に含まれる画素数を少なくすることができるから、後続する処理の高精度化が可能になる。 When a rectangular area as shown in FIG. 5A is adopted as the inspection area A3, the setting of the inspection area A3 can be performed only by the coordinate value, and the setting is simple. As shown in FIG. 5B, the connection area D1 is set. When the area along the outer peripheral edge is employed, the number of pixels included in the inspection area A3 can be reduced as compared with the rectangular area, so that the accuracy of subsequent processing can be increased.
検査領域Ａ３を設定した後に、検査領域Ａ３に含まれる画素について方向値画像を生成する。検査領域Ａ３は、通常は着目領域Ａ１の範囲内で設定されるから、着目領域Ａ１について方向値画像生成部１４で生成した方向値画像のうち検査領域Ａ３に含まれる範囲の方向値画像を用いることができる。ただし、検査領域Ａ３について、方向値画像生成部１４においてあらためて方向値画像を生成してもよい。 After setting the inspection area A3, a direction value image is generated for the pixels included in the inspection area A3. Since the inspection area A3 is normally set within the range of the attention area A1, the direction value image in the range included in the inspection area A3 is used among the direction value images generated by the direction value image generation unit 14 for the attention area A1. be able to. However, for the examination area A3, the direction value image generation unit 14 may generate a direction value image again.
検査領域Ａ３について方向値画像を生成した後には、成形むらを欠けと区別するために、着目画素抽出部１７では検査領域Ａ３の中で特定の方向値を持つ画素を抽出する。着目画素抽出部１７で抽出する方向値は、検査領域Ａ３が囲む物品Ｇの部位に応じて異なっている。 After the direction value image is generated for the inspection area A3, the pixel extraction unit 17 extracts pixels having a specific direction value in the inspection area A3 in order to distinguish molding unevenness from missing. The direction value extracted by the pixel-of-interest extraction unit 17 differs depending on the part of the article G surrounded by the inspection area A3.
上述したように、成形むらは、物品Ｇの輪郭線と同方向に偏在していることが多く、検査領域Ａ３が物品Ｇの輪郭線のうちの直線部分に着目しているときには、着目画素は、直線部分の方向値を持つ画素になる。方向値の規定範囲の下限が負の値になる場合には９を加算する。たとえば、検査領域Ａ３が物品Ｇの輪郭線のうち右縁に着目しているとき、右縁の方向値は７であるから、着目画素抽出部１７では検査領域Ａ３に含まれる画素のうち方向値が７である画素を抽出する。 As described above, the molding unevenness is often unevenly distributed in the same direction as the contour line of the article G, and when the inspection area A3 focuses on the straight line portion of the contour line of the article G, the target pixel is , The pixel has the direction value of the straight line portion. If the lower limit of the specified range of direction values is a negative value, 9 is added. For example, when the inspection area A3 focuses on the right edge of the contour line of the article G, the direction value of the right edge is 7, so that the target pixel extraction unit 17 uses the direction value among the pixels included in the inspection area A3. Extract a pixel with a value of 7.
一方、検査領域Ａ３が物品Ｇの輪郭線のうちコーナ部分に着目しているときには、物品Ｇの輪郭線のうち着目するコーナ部分を挟む２本の直線部分の方向値を持つ画素を着目画素とする。たとえば、物品Ｇの右下角のコーナ部分であれば、図６（ａ）のように、コーナ部分を挟む２本の直線部分の方向値はそれぞれ５、７であるから、方向値が５、７の方向値を持つ画素を抽出する。ちなみに、検査領域Ａ３に欠けが存在する場合は、図６（ｂ）のように、コーナ部分を挟む２本の直線部分の方向値５、７とは異なる方向値６が多く生じる。 On the other hand, when the inspection area A3 focuses on the corner portion of the contour line of the article G, the pixel having the direction value of the two linear portions sandwiching the corner portion of interest in the contour line of the article G is defined as the target pixel. To do. For example, in the case of the corner portion in the lower right corner of the article G, the direction values of the two linear portions sandwiching the corner portion are 5 and 7, respectively, as shown in FIG. Pixels with direction values of are extracted. Incidentally, when there is a chip in the inspection area A3, as shown in FIG. 6B, many direction values 6 different from the direction values 5 and 7 of the two linear portions sandwiching the corner portion are generated.
着目画素抽出部１７において特定の方向値を持つ着目画素を抽出した後、演算部１８では、検査領域Ａ３において方向値を持つすべての画素の画素数に対する着目画素の割合を算出する。上述したように、成形むらの部位の画素を着目画素としていることにより、演算部１８において求めた割合が大きいほど成形むらである可能性が高くなるから、判定部１９では、あらかじめ欠けである場合の数値範囲を規定しておき、演算部１８で求めた割合が規定した数値範囲を逸脱したときに（つまり、割合が数値範囲より大きいときに）、成形むらが存在すると判断する。 After extracting the pixel of interest having a specific direction value in the pixel-of-interest extraction unit 17, the calculation unit 18 calculates the ratio of the pixel of interest to the number of pixels of all the pixels having the direction value in the inspection area A3. As described above, by using the pixel at the part of the molding unevenness as the pixel of interest, the greater the ratio obtained in the calculation unit 18, the higher the possibility of the molding unevenness. When the ratio obtained by the calculation unit 18 deviates from the specified numerical range (that is, when the ratio is larger than the numerical range), it is determined that there is molding unevenness.
上述した処理により、判定部１９では成形むらの有無を判断することができる。すなわち、判定部１９においてまた、判定部１９では成形むらが検出されたときには、欠けではない良品と判断することになる。なお、上述の例では予備検査領域Ａ２の２値画像に基づいて検査領域Ａ３を設定しているが、予備検査領域Ａ２を検査領域Ａ３に代えて用いてもよい。この場合、処理対象の画素数は多くなるが、上述した処理により成形むらを抽出することが可能である。 With the above-described processing, the determination unit 19 can determine the presence or absence of molding unevenness. That is, the determination unit 19 determines that the non-defective product is not missing when the determination unit 19 detects molding unevenness. In the above example, the inspection area A3 is set based on the binary image of the preliminary inspection area A2, but the preliminary inspection area A2 may be used instead of the inspection area A3. In this case, although the number of pixels to be processed increases, it is possible to extract the molding unevenness by the above-described processing.
１ 画像処理装置
２ 撮像部
３ モニタ装置
４ 入力装置
１１ 画像取込部
１２ 画像記憶部
１３ 着目領域指定部
１４ 方向値画像生成部
１５ 輪郭線追跡部
１６ 検査領域生成部
１７ 着目画素抽出部
１８ 演算部
１９ 判定部
２１ 撮像装置
２２ 照明装置
２３ ハーフミラー
３１ ２値画像生成部
Ｇ 物品
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Imaging part 3 Monitor apparatus 4 Input device 11 Image capture part 12 Image memory | storage part 13 Region of interest designation | designated part 14 Direction value image generation part 15 Contour line tracking part 16 Inspection area | region production | generation part 17 Pixel of interest extraction part 18 Calculation Unit 19 determination unit 21 imaging device 22 illumination device 23 half mirror 31 binary image generation unit G article
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008194164A JP5033077B2 (en) | 2008-07-28 | 2008-07-28 | Method and apparatus for inspecting appearance of molded product |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008194164A JP5033077B2 (en) | 2008-07-28 | 2008-07-28 | Method and apparatus for inspecting appearance of molded product |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010032334A JP2010032334A (en) | 2010-02-12 |
| JP5033077B2 true JP5033077B2 (en) | 2012-09-26 |
Family
ID=41736987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008194164A Active JP5033077B2 (en) | 2008-07-28 | 2008-07-28 | Method and apparatus for inspecting appearance of molded product |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5033077B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4253945A1 (en) * | 2022-03-04 | 2023-10-04 | Kikusui Seisakusho Ltd. | Inspection device and molded product processing system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669296B (en) * | 2020-12-31 | 2023-09-26 | 江苏南高智能装备创新中心有限公司 | Defect detection method, device and equipment of numerical control punch die based on big data |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0718811B2 (en) * | 1989-03-15 | 1995-03-06 | 松下電工株式会社 | Defect inspection method |
| JPH0772909B2 (en) * | 1991-08-27 | 1995-08-02 | 松下電工株式会社 | Welding condition judgment method by visual inspection |
| JP3042941B2 (en) * | 1992-12-08 | 2000-05-22 | 松下電器産業株式会社 | Scratch inspection method by image processing |
| JPH0894541A (en) * | 1994-09-21 | 1996-04-12 | Nachi Fujikoshi Corp | Method for detecting chipped corner of subject for inspection |
| JP4293653B2 (en) * | 1998-10-23 | 2009-07-08 | パナソニック電工株式会社 | Appearance inspection method |
| JP3598878B2 (en) * | 1999-05-26 | 2004-12-08 | 松下電工株式会社 | Defect inspection method and defect inspection device |
| JP2003083911A (en) * | 2001-09-07 | 2003-03-19 | Hitachi Kokusai Electric Inc | Macro inspecting apparatus |
| JP4581424B2 (en) * | 2004-02-24 | 2010-11-17 | パナソニック電工株式会社 | Appearance inspection method and image processing apparatus |
| JP4802614B2 (en) * | 2005-08-25 | 2011-10-26 | パナソニック電工株式会社 | Fine circuit inspection method, fine circuit inspection apparatus, fine circuit inspection program |
| JP4742832B2 (en) * | 2005-11-25 | 2011-08-10 | パナソニック電工株式会社 | Appearance inspection method, appearance inspection apparatus, program |
-
2008
- 2008-07-28 JP JP2008194164A patent/JP5033077B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4253945A1 (en) * | 2022-03-04 | 2023-10-04 | Kikusui Seisakusho Ltd. | Inspection device and molded product processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010032334A (en) | 2010-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7150105B2 (en) | 3D image processing device and 3D image processing method | |
| JP4776308B2 (en) | Image defect inspection apparatus, image defect inspection system, defect classification apparatus, and image defect inspection method | |
| JP6745173B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded device | |
| US9865046B2 (en) | Defect inspection method and defect inspection device | |
| JP6242098B2 (en) | 3D image processing apparatus, 3D image processing method, 3D image processing program, computer-readable recording medium, and recorded apparatus | |
| JP2013134666A (en) | Binary image generation device, classification device, binary image generation method, and classification method | |
| JP2007078540A (en) | Visual inspection method and visual inspection device | |
| JP2018096908A (en) | Inspection device and inspection method | |
| JP6246513B2 (en) | 3D image processing apparatus, 3D image processing method, 3D image processing program, computer-readable recording medium, and recorded apparatus | |
| JP5033077B2 (en) | Method and apparatus for inspecting appearance of molded product | |
| JP2015021763A (en) | Three-dimensional image processor, three-dimensional image processing method, three-dimensional image processing program, and computer-readable recording medium | |
| JP5033076B2 (en) | Appearance inspection method and apparatus | |
| JP2009063388A (en) | Inspection device and method | |
| JP2014062837A (en) | Defect inspection device and defect reviewing device | |
| JP4743231B2 (en) | Appearance inspection method and appearance inspection apparatus | |
| TWI427263B (en) | Method and apparatus of measuring height of projections, and program therefor | |
| JP2017142219A (en) | Image inspection device, image inspection program, recording medium readable by computer and recording apparatus | |
| JPH09281055A (en) | Inspection method for chip | |
| JP6334861B2 (en) | Appearance inspection apparatus, appearance inspection method, appearance inspection program, and computer-readable recording medium | |
| US11041815B2 (en) | Inspection information generation device, inspection information generation method, and defect inspection device | |
| JP4743230B2 (en) | Appearance inspection method and appearance inspection apparatus | |
| JPH06103275B2 (en) | Defect extraction method by visual inspection | |
| JP6207270B2 (en) | 3D image processing apparatus, 3D image processing method, 3D image processing program, computer-readable recording medium, and recorded apparatus | |
| JP5666894B2 (en) | Appearance inspection apparatus and appearance inspection method | |
| JP2010197176A (en) | Method and device for inspecting defect |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100806 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110222 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120629 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5033077 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150706 Year of fee payment: 3 |