JP5802459B2 - Image processing apparatus, method, and program for calculating shape of spiral spring - Google Patents

Image processing apparatus, method, and program for calculating shape of spiral spring Download PDF

Info

Publication number
JP5802459B2
JP5802459B2 JP2011155008A JP2011155008A JP5802459B2 JP 5802459 B2 JP5802459 B2 JP 5802459B2 JP 2011155008 A JP2011155008 A JP 2011155008A JP 2011155008 A JP2011155008 A JP 2011155008A JP 5802459 B2 JP5802459 B2 JP 5802459B2
Authority
JP
Japan
Prior art keywords
hook
spiral spring
contour line
tip point
outer hook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011155008A
Other languages
Japanese (ja)
Other versions
JP2013019845A (en
Inventor
竹内 英世
英世 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuo Hatsujo KK
Original Assignee
Chuo Hatsujo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuo Hatsujo KK filed Critical Chuo Hatsujo KK
Priority to JP2011155008A priority Critical patent/JP5802459B2/en
Publication of JP2013019845A publication Critical patent/JP2013019845A/en
Application granted granted Critical
Publication of JP5802459B2 publication Critical patent/JP5802459B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本願は、渦巻きばねの形状を芯線化(細線化)する技術に関する。ここでいう渦巻きばねとは、平面視したときに、内フックから外フックまで渦巻状に成形されたばねを意味する。   The present application relates to a technique for making a spiral spring into a core (thinning). The spiral spring here means a spring formed in a spiral shape from the inner hook to the outer hook when viewed in plan.

渦巻きばね等の工業製品の品質検査工程では、製品の形状と設計図面に規定された形状との異同を調べ、製品が設計図面のとおりに成形されているか否かが検査される。設計図面に規定された形状とのずれが許容誤差の製品は良品と判定され、設計図面に規定された形状とのずれが許容誤差を超える製品は不良品として廃棄される。渦巻きばねの品質検査工程では、渦巻きばねを撮影し、コンピュータを利用して撮影した画像から渦巻きばねの芯線を抽出し、抽出した芯線と設計図面に規定された形状との異同を検査する。品質検査を適切に行うためには、撮影した画像から渦巻きばねの芯線を精度良く抽出する必要がある。このため、従来から画像処理を用いて物体の形状を芯線化する技術が開発されている(例えば、特許文献1)。   In the quality inspection process of industrial products such as spiral springs, the difference between the shape of the product and the shape defined in the design drawing is examined, and it is inspected whether or not the product is molded according to the design drawing. A product whose deviation from the shape specified in the design drawing is an allowable error is determined as a non-defective product, and a product whose deviation from the shape specified in the design drawing exceeds the allowable error is discarded as a defective product. In the quality inspection process of the spiral spring, the spiral spring is photographed, the core wire of the spiral spring is extracted from an image photographed using a computer, and the difference between the extracted core wire and the shape defined in the design drawing is inspected. In order to perform quality inspection appropriately, it is necessary to accurately extract the core wire of the spiral spring from the captured image. For this reason, a technique for core-forming the shape of an object using image processing has been developed (for example, Patent Document 1).

特開平11−25279号公報Japanese Patent Laid-Open No. 11-25279

特許文献1の技術は、二次元彫刻において行われる線図形(文字等)を芯線化する技術であり、工業製品である機械要素の形状を芯線化する技術ではない。特に、機械要素の一種である渦巻きばねでは、撮影された画像から内フック領域及び外フック領域の位置を正確に特定して芯線化する必要がある。一方、特許文献1の技術は、芯線化する対象が渦巻きばねではないため、内フック領域及び外フック領域の形状特性を考慮していない。その結果、特許文献1の技術では、内フック領域及び外フック領域の位置を正確に特定して芯線化することができない場合がある。本願は、渦巻きばねの撮影画像から内フック領域及び外フック領域の位置を正しく特定することができ、その後の芯線化を適切に行うことを可能とする技術を提供する。   The technique of Patent Document 1 is a technique for making a line figure (characters or the like) performed in two-dimensional engraving into a core, and is not a technique for making the shape of a machine element that is an industrial product into a core. In particular, in a spiral spring that is a kind of mechanical element, it is necessary to accurately identify the positions of the inner hook region and the outer hook region from the photographed image and to make a core. On the other hand, the technique of Patent Document 1 does not consider the shape characteristics of the inner hook region and the outer hook region because the object to be cored is not a spiral spring. As a result, in the technique of Patent Document 1, the positions of the inner hook region and the outer hook region may not be accurately identified and cored. The present application provides a technique that can correctly identify the positions of the inner hook region and the outer hook region from the photographed image of the spiral spring and can appropriately perform the subsequent core wire.

本願は、内フックから外フックまで渦巻状に成形された渦巻きばねの形状を芯線化するための画像処理装置を開示する。この画像処理装置は、渦巻きばねを撮影した撮影画像を入力する画像入力手段と、入力された撮影画像から渦巻きばねの輪郭線を抽出する輪郭線抽出手段と、抽出された輪郭線を極座標変換する座標変換手段と、極座標変換された輪郭線に対して、その輪郭線上を一方向に移動しながら一巡したときの「輪郭線の角座標値列(θ,θ,・・,θ)」を取得する角座標値列取得手段と、取得された「輪郭線の角座標値列」を用いて、内フック領域及び外フック領域を特定するフック領域特定手段と、を有する。 The present application discloses an image processing apparatus for making the shape of a spiral spring formed into a spiral shape from an inner hook to an outer hook into a core. The image processing apparatus includes an image input unit that inputs a captured image of a spiral spring, a contour line extracting unit that extracts a contour line of the spiral spring from the input captured image, and a polar coordinate conversion of the extracted contour line. The coordinate transformation means and the polar coordinate transformed contour line “circular coordinate value sequence of the contour line (θ 1 , θ 2 ,..., Θ n ) when moving in one direction on the contour line. And a hook area specifying means for specifying the inner hook area and the outer hook area using the acquired “corner coordinate value string of the contour line”.

この画像処理装置では、渦巻きばねの撮影画像に対して輪郭線を抽出し、その輪郭線に対して極座標変換を行う。そして、輪郭線上を一方向に移動しながら一巡したときの「輪郭線の角座標値列(θ,θ,・・,θ)」を取得する。輪郭線上を一方向に移動しながら一巡すると、内フック及び外フックの位置で周回方向が変化することとなる(すなわち、時計回りから反時計回り、あるいは、反時計回りから時計回り)。したがって、「輪郭線の角座標値列(θ,θ,・・,θ)」を用いて、内フック領域及び外フック領域の位置を正確に特定することができる。したがって、その後の芯線化を適切に行うことが可能となる。 In this image processing apparatus, a contour line is extracted from a captured image of a spiral spring, and polar coordinate conversion is performed on the contour line. Then, the “contour line angular coordinate value sequence (θ 1 , θ 2 ,..., Θ n )” is acquired when the circuit travels in one direction on the contour line. When one round is made while moving in one direction on the contour line, the turning direction changes at the positions of the inner hook and the outer hook (that is, counterclockwise from clockwise or counterclockwise from clockwise). Therefore, the positions of the inner hook region and the outer hook region can be accurately specified using the “contour line angular coordinate value sequence (θ 1 , θ 2 ,..., Θ n )”. Therefore, it becomes possible to perform subsequent core wire appropriately.

上記の画像処理装置において、例えば、フック領域特定手段は、前記「輪郭線の角座標値列」が極大値又は極小値となる「画素」を含む所定の領域を、内フック領域又は外フック領域として特定してもよい。「輪郭線の角座標値列」の極大値又は極小値を用いると、内フック領域や外フック領域を正確かつ容易に特定することが可能となる。   In the above image processing apparatus, for example, the hook area specifying unit may include a predetermined area including “pixels” in which the “corner coordinate value sequence of the contour line” has a maximum value or a minimum value as an inner hook area or an outer hook area. May be specified. When the maximum value or the minimum value of the “contour line angular coordinate value sequence” is used, the inner hook region and the outer hook region can be accurately and easily specified.

上記の画像処理装置は、特定された内フック領域内の輪郭線から2つの内フック端点を特定し、それら内フック端点の位置から内フック先端点の位置を算出する内フック先端点算出手段と、特定された外フック領域内の輪郭線から2つの外フック端点を特定し、それら外フック端点の位置から外フック先端点の位置を算出する外フック先端点算出手段と、入力された撮影画像内の渦巻きばねを細線化する細線化手段と、細線化手段で細線化された渦巻きばねの端部を、内フック先端点算出手段で算出した内フック先端点と外フック先端点算出手段で算出した外フック先端点とを用いて修正する細線化画像修正手段と、をさらに備えることが好ましい。   The image processing apparatus includes: an inner hook tip point calculating unit that specifies two inner hook end points from the contour line in the specified inner hook region, and calculates the position of the inner hook tip point from the position of the inner hook end point; An outer hook tip point calculating means for specifying two outer hook end points from the contour line in the specified outer hook region and calculating the position of the outer hook tip point from the positions of the outer hook end points; The thinning means for thinning the spiral spring inside and the end of the spiral spring thinned by the thinning means are calculated by the inner hook tip point calculated by the inner hook tip point calculation means and the outer hook tip point calculation means. It is preferable to further comprise a thinned image correcting means for correcting using the outer hook tip point.

このような構成によると、特定された内フック領域から内フック先端点の位置が算出され、また、特定された外フック領域から外フック先端点の位置が算出され、これら算出された内フック先端点及び外フック先端点の位置を用いて細線化画像が修正される。このため、渦巻きばねの両端を正確に細線化することができる。   According to such a configuration, the position of the inner hook tip point is calculated from the specified inner hook region, the position of the outer hook tip point is calculated from the specified outer hook region, and these calculated inner hook tip points are calculated. The thinned image is corrected using the positions of the points and the outer hook tip points. For this reason, both ends of the spiral spring can be accurately thinned.

また、本願は、渦巻きばねの形状を芯線化するための画像処理方法を開示する。この画像処理方法は、コンピュータに、渦巻きばねを撮影した撮影画像を入力する画像入力処理と、入力された撮影画像から渦巻きばねの輪郭線を抽出する輪郭線抽出処理と、抽出された輪郭線を極座標変換する座標変換処理と、極座標変換された輪郭線に対して、その輪郭線上を一方向に移動しながら一巡したときの「輪郭線の角座標値列(θ,θ,・・,θ)」を取得する角座標値列取得処理と、取得された「輪郭線の角座標値列」を用いて、内フック領域及び外フック領域を特定するフック領域特定処理を実行させる。
この方法によっても、渦巻きばねの撮影画像から内フック領域及び外フック領域の位置を正しく特定することができ、その後の芯線化を適切に行うことが可能となる。
Moreover, this application discloses the image processing method for making the shape of a spiral spring into a core line. In this image processing method, an image input process for inputting a captured image of a spiral spring to a computer, a contour extraction process for extracting a contour line of the spiral spring from the input captured image, and an extracted contour line A coordinate conversion process for converting the polar coordinates, and a contour coordinate that has been converted to polar coordinates, when the circle is moved in one direction while moving in one direction, “an angular coordinate value sequence (θ 1 , θ 2 ,. θ n ) ”is acquired, and the hook area specifying process for specifying the inner hook area and the outer hook area is executed using the acquired“ corner coordinate value string of the contour line ”.
Also by this method, it is possible to correctly specify the positions of the inner hook region and the outer hook region from the captured image of the spiral spring, and it is possible to appropriately perform the subsequent core wire.

本願はさらに、渦巻きばねの形状を芯線化するためのプログラムを開示する。このプログラムは、コンピュータに、渦巻きばねを撮影した撮影画像を入力する画像入力処理と、入力された撮影画像から渦巻きばねの輪郭線を抽出する輪郭線抽出処理と、抽出された輪郭線を極座標変換する座標変換処理と、極座標変換された輪郭線に対して、その輪郭線上を一方向に移動しながら一巡したときの「輪郭線の角座標値列(θ,θ,・・,θ)」を取得する角座標値列取得処理と、取得された「輪郭線の角座標値列」を用いて、内フック領域及び外フック領域を特定するフック領域特定処理を実行させる。
このプログラムにより、コンピュータを用いて、渦巻きばねの撮影画像から内フック領域及び外フック領域の位置を正しく特定することができ、その後の芯線化を適切に行うことが可能となる。
The present application further discloses a program for coreizing the shape of the spiral spring. This program includes an image input process for inputting a captured image of a spiral spring to a computer, a contour extraction process for extracting a contour line of the spiral spring from the input captured image, and a polar coordinate conversion of the extracted contour line The coordinate transformation process to be performed, and the “coordinate value sequence of the contour line (θ 1 , θ 2 ,..., Θ n ) when the circular coordinate transformed contour line makes a round while moving in one direction on the contour line. ) ”And the hook area specifying process for specifying the inner hook area and the outer hook area are executed using the acquired“ corner coordinate value string of the contour line ”.
With this program, it is possible to correctly specify the positions of the inner hook region and the outer hook region from the captured image of the spiral spring by using a computer, and it is possible to appropriately perform subsequent core wiring.

画像処理装置の構成を示す図。The figure which shows the structure of an image processing apparatus. 画像処理装置による細線化(芯線化)の流れを示すフローチャート。The flowchart which shows the flow of thinning (core wire) by an image processing apparatus. フック領域を特定する処理の流れを示すフローチャート。The flowchart which shows the flow of the process which pinpoints a hook area | region. 渦巻きばねの撮影画像を示す図。The figure which shows the picked-up image of a spiral spring. 渦巻きばねの撮影画像から抽出された輪郭線を示す図。The figure which shows the outline extracted from the picked-up image of a spiral spring. 輪郭線を極座標変換することで得られた角座標値列のグラフ。The graph of the angular coordinate value sequence obtained by carrying out polar coordinate conversion of the outline. 図6aのグラフの不連続点を接続することで得られる角座標値列のグラフ。FIG. 6B is a graph of angular coordinate value sequences obtained by connecting discontinuous points in the graph of FIG. 6A. 特定された内フック領域を拡大して示す図。The figure which expands and shows the specified inner hook area | region. 特定された外フック領域を拡大して示す図。The figure which expands and shows the specified outer hook area | region. 特定された外フック領域をトリミングする処理を説明するための図。The figure for demonstrating the process which trims the specified outer hook area | region. トリミングされた外フック領域を拡大して示す図。The figure which expands and shows the trimmed outer hook area | region. 外フック端点を特定する処理を説明するための図。The figure for demonstrating the process which specifies an outer hook end point. 撮影画像(二値化画像)を細線化した細線化画像を示す図。The figure which shows the thinning image which thinned the picked-up image (binarized image). 撮影画像(二値化画像)を収縮させた収縮画像を示す図。The figure which shows the shrinkage | contraction image which shrunk the picked-up image (binarized image). 細線化画像と収縮画像から得られる細線化画像を示す図。The figure which shows the thinning image obtained from a thinning image and a shrinkage | contraction image. 図14の細線化画像から「ひげ」を削除する処理と、「フック先端」の補正処理を説明するための図(その1)。The figure for demonstrating the process which deletes the "beard" from the thinning image of FIG. 14, and the correction | amendment process of a "hook tip" (the 1). 図14の細線化画像から「ひげ」を削除する処理と、「フック先端」の補正処理を説明するための図(その2)。FIG. 15 is a diagram (No. 2) for explaining a process of deleting “beard” from the thinned image of FIG. 14 and a process of correcting “hook tip”. 「ひげ」を削除した後の細線化画像を示す図。The figure which shows the thinning image after deleting "beard". 「フック先端」の補正処理後の細線化画像を示す図。The figure which shows the thinning image after the correction process of a "hook tip". 外フック領域の形状が相違する渦巻きばねの一例を示す図。The figure which shows an example of the spiral spring from which the shape of an outer hook area | region differs. 外フック領域の形状が相違する渦巻きばねの他の例を示す図。The figure which shows the other example of the spiral spring from which the shape of an outer hook area | region differs.

(実施例) 図1に示すように、本実施例の画像処理装置10は、渦巻きばね30を撮影し、撮影した画像から渦巻きばね30の細線化画像(芯線化画像)を出力する装置である。画像処理装置10は、ステージ12と、ステージ12上に配置された照明器14と、ステージ12に固定されているCCDカメラ16と、CCDカメラ16に通信線18を介して接続されているコンピュータ22と、コンピュータ22に接続されているディスプレイ20を備えている。 (Example) As shown in FIG. 1, the image processing apparatus 10 of a present Example is an apparatus which image | photographs the spiral spring 30 and outputs the thinning image (core-lined image) of the spiral spring 30 from the image | photographed image. . The image processing apparatus 10 includes a stage 12, an illuminator 14 disposed on the stage 12, a CCD camera 16 fixed to the stage 12, and a computer 22 connected to the CCD camera 16 via a communication line 18. And a display 20 connected to the computer 22.

照明器14は、面光源であり、その発光面上に渦巻きばね30が載置される。CCDカメラ16は、照明器14上に配置されており、照明器14上に載置された渦巻きばね30を撮影する。即ち、渦巻きばね30は照明器14によって下方から照明され、照明器14の透過光(渦巻きばね30の影)がCCDカメラ16によって撮影される。なお、照明器14は、本実施例のような透過照明に限定されず、渦巻きばね30を上方から照明するものでもよい。この場合、渦巻きばね30が全周方向から均等に照明されるように、複数の照明器やリング型の照明器を用いることが好ましい。   The illuminator 14 is a surface light source, and a spiral spring 30 is placed on the light emitting surface thereof. The CCD camera 16 is disposed on the illuminator 14 and photographs the spiral spring 30 placed on the illuminator 14. That is, the spiral spring 30 is illuminated from below by the illuminator 14, and the transmitted light (shadow of the spiral spring 30) of the illuminator 14 is photographed by the CCD camera 16. The illuminator 14 is not limited to transmitted illumination as in the present embodiment, and may illuminate the spiral spring 30 from above. In this case, it is preferable to use a plurality of illuminators or ring-type illuminators so that the spiral spring 30 is illuminated uniformly from the entire circumferential direction.

CCDカメラ16が撮影した画像データは、通信線18を介してコンピュータ22に入力される。コンピュータ22には、後述する各種画像処理を実行するためのプログラムが記憶されている。コンピュータ22は、CCDカメラ16が撮影した撮影画像の画像データを処理し、渦巻きばね30の細線化画像を作成する。コンピュータ22は、作成した渦巻きばね30の細線化画像を、ディスプレイ20に表示する。   Image data captured by the CCD camera 16 is input to the computer 22 via the communication line 18. The computer 22 stores a program for executing various image processing described later. The computer 22 processes the image data of the captured image taken by the CCD camera 16 and creates a thinned image of the spiral spring 30. The computer 22 displays the thinned image of the created spiral spring 30 on the display 20.

図2は、画像処理装置10による渦巻きばね30の細線化の流れを示すフローチャートである。図3は、図2のフローチャートに示すステップS18のフック領域の特定処理、及び、ステップS20のフック先端点算出処理の流れを示すフローチャートである。画像処理装置10は、図2、図3に示す工程、処理を経て、渦巻きばね30の細線化画像を作成する。以下、図2、図3に示すフローチャートに沿って、画像処理装置10による処理の流れを説明する。   FIG. 2 is a flowchart showing a flow of thinning the spiral spring 30 by the image processing apparatus 10. FIG. 3 is a flowchart showing the flow of the hook area specifying process in step S18 and the hook tip point calculating process in step S20 shown in the flowchart of FIG. The image processing apparatus 10 creates a thinned image of the spiral spring 30 through the processes and processes shown in FIGS. Hereinafter, the flow of processing by the image processing apparatus 10 will be described with reference to the flowcharts shown in FIGS. 2 and 3.

先ず、図2のステップS10において、CCDカメラ16により、渦巻きばね30の撮影を行う。CCDカメラ16により撮影された撮影画像は、コンピュータ22に入力される。入力される撮影画像は、例えば、最も黒い画素の濃度値を「255」とし、最も白い画素の濃度値を「0」とする256階調の画像とすることができる。図4に、渦巻きばね30の撮影画像を例示する。図4に示すように、渦巻きばね30は、内フック32から外フック34まで、渦巻状に伸びている。撮影画像は、画素(x,y)毎に濃度値を有する濃度値画像である。   First, in step S10 of FIG. 2, the spiral spring 30 is photographed by the CCD camera 16. The captured image captured by the CCD camera 16 is input to the computer 22. The input captured image can be, for example, a 256-gradation image in which the density value of the blackest pixel is “255” and the density value of the whitest pixel is “0”. FIG. 4 illustrates a captured image of the spiral spring 30. As shown in FIG. 4, the spiral spring 30 extends spirally from the inner hook 32 to the outer hook 34. The photographed image is a density value image having a density value for each pixel (x, y).

次に、図2のステップS12では、ステップS10で撮影された撮影画像を二値化する。すなわち、入力された撮影画像の各画素(x,y)に対して、濃度値が予め設定された設定値以上となる場合は「1」とし、濃度値が予め設定された設定値未満となる場合は「0」とする。これによって、渦巻きばね30に対応する部分の画素群が濃度値「1」となり、それ以外の画素群が濃度値「0」となる。なお、CCDカメラ16により撮影された画像はノイズを含むため、二値化画像もノイズを含んでいる。このため、渦巻きばね30に対応しない部分の画素にも濃度値「1」となるものが存在する。なお、このステップS12から後述するS30までの処理は、コンピュータ22によって実行される。   Next, in step S12 of FIG. 2, the captured image captured in step S10 is binarized. That is, for each pixel (x, y) of the input captured image, when the density value is equal to or greater than a preset set value, “1” is set, and the density value is less than the preset set value. In this case, “0” is set. As a result, the pixel group corresponding to the spiral spring 30 has the density value “1”, and the other pixel groups have the density value “0”. In addition, since the image image | photographed with the CCD camera 16 contains noise, the binarized image also contains noise. For this reason, some pixels that do not correspond to the spiral spring 30 have a density value “1”. The processing from step S12 to S30 described later is executed by the computer 22.

次に、図2のステップS14では、ステップS12で得られた二値化画像を用いて、渦巻きばね30の重心(c,c)を算出する。具体的には、濃度値が「1」となる画素群(すなわち、渦巻きばね30に対応する部分の画素群)の座標値(x、y)から、その重心(c,c)を計算する。図4に示す例では、渦巻きばね30の略中央に重心(c,c)が位置している。 Next, in step S14 of FIG. 2, the center of gravity (c x , c y ) of the spiral spring 30 is calculated using the binarized image obtained in step S12. Specifically, the center of gravity (c x , c y ) is calculated from the coordinate values (x, y) of the pixel group whose density value is “1” (that is, the pixel group corresponding to the spiral spring 30). To do. In the example shown in FIG. 4, the center of gravity (c x , c y ) is located approximately at the center of the spiral spring 30.

次に、図2のステップS16では、ステップS12で得られた二値化画像から輪郭線を抽出する。二値化画像から輪郭線を抽出する処理は、公知の方法(例えば、長谷川純一,輿水大和,中山晶,横井茂樹著,「画像処理の基本技法<技術入門編>」,技術評論社,p.70−73)を用いることができる。図5に、渦巻きばね30の二値化画像から抽出された輪郭線の例が示されている。   Next, in step S16 in FIG. 2, a contour line is extracted from the binarized image obtained in step S12. The process of extracting the contour line from the binarized image is a known method (for example, Junichi Hasegawa, Yamato Usui, Akira Nakayama, Shige Yokoi, “Basic Techniques of Image Processing <Technical Introduction>”, Technical Review, p. .70-73) can be used. FIG. 5 shows an example of the contour line extracted from the binarized image of the spiral spring 30.

なお、本実施例では、ステップS16で抽出される輪郭線は、画素番号i(i=0〜n)と、その画素番号iに対応する画素の座標値(x,y)で表される。画素番号iは、輪郭線上の画素に付与された番号であり、以下の規則に従って付与される。すなわち、輪郭線上に設定された1つの画素を原点として、その画素に画素番号i=0を付与する。原点は、輪郭線上の任意の点に設定することができる。次いで、その原点と隣接する画素に画素番号1を付与する。ここで、原点となる画素には、輪郭線上を時計回りに移動する方向に隣接する画素と、反時計回りに移動する方向に隣接する画素の2通りがある。本実施例では、原点と隣接する画素のうち、反時計回りに移動する方向に隣接する画素に画素番号1を付与する。次いで、画素番号1の画素に隣接する画素に画素番号2を付与し、以下、同様の手順で画素番号を付与する。これによって、輪郭線を構成する全ての画素に画素番号が付与される。上述した説明から明らかなように、画素番号iの画素から画素番号nの画素まで順に移動すると、輪郭線上を一方向に一巡することとなる。なお、本明細書では、画素番号0からnまでの座標値列(x,y),(x,y)・・(x,y)を輪郭線系列(x,y)(i=0〜n)という。 In this embodiment, the contour line extracted in step S16 is represented by the pixel number i (i = 0 to n) and the coordinate value (x i , y i ) of the pixel corresponding to the pixel number i. The The pixel number i is a number assigned to the pixels on the contour line, and is assigned according to the following rules. That is, with one pixel set on the contour as the origin, a pixel number i = 0 is assigned to that pixel. The origin can be set at any point on the contour line. Next, pixel number 1 is assigned to the pixel adjacent to the origin. Here, there are two types of pixels serving as the origin: a pixel adjacent in the clockwise direction on the contour line and a pixel adjacent in the counterclockwise direction. In this embodiment, among the pixels adjacent to the origin, pixel number 1 is assigned to the pixel adjacent in the direction of moving counterclockwise. Next, the pixel number 2 is assigned to the pixel adjacent to the pixel with the pixel number 1, and the pixel number is assigned in the same procedure. Thereby, a pixel number is assigned to all the pixels constituting the contour line. As is clear from the above description, when the pixel number i is sequentially moved from the pixel number i to the pixel number n, the contour line is circulated in one direction. In this specification, coordinate value sequences (x 0 , y 0 ), (x 2 , y 2 ),... (X n , y n ) from pixel numbers 0 to n are represented as contour line series (x i , y i ) (i = 0 to n).

次に、図2のステップS17では、ステップS16で得られた輪郭線系列(x,y)(i=0〜n)を極座標による輪郭線系列(r,θ)(i=0〜n)に変換する。すなわち、図5に示すように、xy座標系による輪郭線系列(x,y)を、ステップS14で算出された重心(c,c)を原点として、動径rと偏角θにより表す。図5に示すように、動径rは、原点(c,c)と輪郭線系列(x,y)の距離である。偏角θは、原点(c,c)と輪郭線系列(x,y)とを結んだ直線と、x軸とのなす角である。したがって、ステップS17によって、xy座標系の輪郭線系列(c,c)(i=0〜n)は、極座標系の輪郭線系列(r,θ)(i=0〜n)に変換される。ここで、極座標系の輪郭線系列(r,θ)から得られる角座標値列θ(i=0〜n)をグラフ化すると、図6aに示すグラフとなる。図6aに示すグラフでは、縦軸が偏角θであり、横軸が画素番号(輪郭線要素番号)iとなっている。図6aから明らかなように、角座標値列θは−180°〜+180°の範囲の数値を有し、−180°と+180°において不連続となっている。 Next, in step S17 of FIG. 2, the contour line series (x i , y i ) (i = 0 to n) obtained in step S16 is converted into a contour line series (r i , θ i ) (i = 0). To n). That is, as shown in FIG. 5, the contour series (x i , y i ) in the xy coordinate system is set with the center of gravity (c x , c y ) calculated in step S14 as the origin and the radius r i and the declination angle. It represents by (theta) i . As shown in FIG. 5, the moving radius r i is the distance between the origin (c x , c y ) and the contour line series (x i , y i ). The deflection angle θ i is an angle formed by a straight line connecting the origin (c x , c y ) and the contour line series (x i , y i ) and the x axis. Therefore, in step S17 , the contour line series (c x , c y ) (i = 0 to n) in the xy coordinate system is changed to the contour line series (r i , θ i ) (i = 0 to n) in the polar coordinate system. Converted. Here, when the angular coordinate value sequence θ i (i = 0 to n) obtained from the contour line series (r i , θ i ) of the polar coordinate system is graphed, the graph shown in FIG. 6A is obtained. In the graph shown in FIG. 6A, the vertical axis is the declination angle θ i , and the horizontal axis is the pixel number (contour line element number) i. As is apparent from FIG. 6a, the angular coordinate value sequence θ i has a numerical value in the range of −180 ° to + 180 °, and is discontinuous at −180 ° and + 180 °.

次に、図2のステップS18,20では、ステップS17で極座標変換された輪郭線系列(r,θ)(i=0〜n)から、フック領域を特定すると共に、フック先端点を算出する処理を行う。これらの処理について、図3に示すフローチャ−トに沿って説明する。 Next, in steps S18 and S20 in FIG. 2, the hook region is specified and the hook tip point is calculated from the contour line series (r i , θ i ) (i = 0 to n) converted in polar coordinates in step S17. Perform the process. These processes will be described along the flowchart shown in FIG.

先ず、図3のステップS34,S36では、図2のステップS17で作成した極座標系の輪郭線系列(r,θ)(i=0〜n)から、内フック領域と外フック領域を抽出する。本実施例では、輪郭線系列(r,θ)(i=0〜n)のうち、角座標値列θ(i=0〜n)の特性を利用して、内フック領域Aと外フック領域Bを特定する。 First, in step S34, S36 in FIG. 3, the contour line of the polar coordinate system created in step S17 in FIG. 2 (r i, θ i) from (i = 0 to n), extracting the inner hook area and an outer hook region To do. In this embodiment, the contour line (r i, θ i) of the (i = 0 to n), by utilizing the characteristics of the angular coordinate value sequence θ i (i = 0~n), an inner hook area A The outer hook area B is specified.

なお、図6aに示すグラフでは、角座標値列θ(i=0〜n)が−180°〜+180°の範囲とされ、角座標値列θには不連続点が存在する。ステップS34以降の処理は、図6aに示すグラフの不連続点をつなぎ合わせた角座標値列(図6b)を用いて行ってもよいし、不連続点を残した角座標値列(図6a)を用いて行ってもよい。 In the graph shown in FIG. 6A, the angular coordinate value sequence θ i (i = 0 to n) is in a range of −180 ° to + 180 °, and the angular coordinate value sequence θ i has discontinuous points. The processing after step S34 may be performed using an angular coordinate value sequence (FIG. 6b) in which discontinuous points of the graph shown in FIG. 6a are connected, or an angular coordinate value sequence (FIG. 6a) in which the discontinuous points are left. ) May be used.

上述したことから明らかなように、輪郭線系列(r,θ)(i=0〜n)は、輪郭線上を原点から反時計回りに移動を開始し、輪郭線を一巡することで画素番号が付与されている。このため、渦巻きばねを内側から見て右巻きにセットした場合では、原点から内フック端点(又は外フック端点)までは反時計回りに移動しながら画素番号が付与され、内フック端点(又は外フック端点)から外フック端点(又は内フック端点)までは時計回りに移動しながら画素番号が付与され、外フック端点(又は内フック端点)から原点までは反時計回りに移動しながら画素番号が付与される。したがって、不連続点を接続したグラフ(図6b)では、原点から内フック端点(又は外フック端点)までは角座標値列θ(i=0〜n)は単調減少(又は単調増加)し、内フック端点(又は外フック端点)から外フック端点(又は内フック端点)までは角座標値列θ(i=0〜n)は単調増加(又は単調減少)し、外フック端点(又は内フック端点)から原点までは角座標値列θ(i=0〜n)は単調減少(又は単調増加)する。したがって、図6bに示すように、角座標値列θ(i=0〜n)の関数は、内フック端点の近傍で極小値をとり、外フック端点の近傍で極大値をとる。 As is clear from the above description, the contour line series (r i , θ i ) (i = 0 to n) starts moving counterclockwise on the contour line from the origin, and goes around the contour line to make a pixel. A number is assigned. For this reason, when the spiral spring is set clockwise when viewed from the inside, a pixel number is assigned while moving counterclockwise from the origin to the inner hook end point (or outer hook end point), and the inner hook end point (or outer hook end point). The pixel number is assigned while moving clockwise from the hook end point to the outer hook end point (or inner hook end point), and the pixel number is moved counterclockwise from the outer hook end point (or inner hook end point) to the origin. Is granted. Therefore, in the graph (FIG. 6b) in which discontinuous points are connected, the angular coordinate value sequence θ i (i = 0 to n) monotonously decreases (or monotonously increases) from the origin to the inner hook end point (or outer hook end point). From the inner hook end point (or outer hook end point) to the outer hook end point (or inner hook end point), the angular coordinate value sequence θ i (i = 0 to n) monotonously increases (or monotonously decreases), and the outer hook end point (or The angle coordinate value sequence θ i (i = 0 to n) monotonously decreases (or monotonously increases) from the inner hook end point) to the origin. Therefore, as shown in FIG. 6b, the function of the angular coordinate value sequence θ i (i = 0 to n) takes a minimum value near the inner hook end point and takes a maximum value near the outer hook end point.

そこで、ステップS34では、角座標値列θ(i=0〜n)が極小値となる部分を含む領域Aを内フック領域として特定する。例えば、図6aに示すように、内フック領域Aとして、極小値に隣接して角座標値θa1が180°となる画素番号a1から角座標値θa2が180°となる画素番号a2までの領域を特定し、この領域(a1〜a2)内に極小値が含まれるようにする。図7には、特定された内フック領域Aの輪郭線系列が示されている。図7より明らかなように、特定された内フック領域Aに内フック端点が含まれている。 Therefore, in step S34, the area A including the portion where the angular coordinate value sequence θ i (i = 0 to n) is the minimum value is specified as the inner hook area. For example, as shown in Figure 6a, as the inner hook regions A, from the pixel number a1 of angular coordinate values theta a1 adjacent the minimum value is 180 ° angular coordinate values theta a2 is up to the pixel number a2 as the 180 ° The region is specified so that the minimum value is included in the region (a1 to a2). FIG. 7 shows a contour line series of the identified inner hook region A. As apparent from FIG. 7, the inner hook end point is included in the identified inner hook region A.

また、ステップS36では、角座標値列θ(i=0〜n)が極大値となる部分を含む領域Bを外フック領域として特定する。例えば、図6aに示すように、外フック領域Bとして、極大値に隣接して角座標値θb1が−180°となる画素番号b1から角座標値θb2が−180°となる画素番号b2までの領域を特定し、この領域(b1〜b2)内に極大値が含まれるようにする。図8には、特定された外フック領域Bの輪郭線系列が示されている。図8より明らかなように、特定された外フック領域Bに外フック端点が含まれている。 In step S36, the region B including the portion where the angular coordinate value sequence θ i (i = 0 to n) is the maximum value is specified as the outer hook region. For example, as shown in FIG. 6a, as the outer hook region B, the pixel number b2 in which the angular coordinate value θ b2 is −180 ° from the pixel number b1 in which the angular coordinate value θ b1 is −180 ° is adjacent to the local maximum value. The region up to is specified, and the maximum value is included in this region (b1 to b2). FIG. 8 shows a contour line series of the identified outer hook region B. As apparent from FIG. 8, the outer hook end point is included in the identified outer hook region B.

なお、図7と図8の比較から明らかなように、外フック領域Bは、内フック領域Aに比較して広い領域となっている。すなわち、特定した外フック領域B(r,θ)(k=b1〜b2)が広い場合には、図9に示すように、外フック領域Bのトリミングを行うことが好ましい。図9に示す例では、極大値imaxから角度α(例えば、40°)の角度範囲を新しい外フック領域B’(r,θ)(k=b1’〜b2’)として新たに切り出している。図10は、トリミング後の外フック領域B’を示している。図10より明らかなように、トリミング後の外フック領域B’は、トリミング前の外フック領域Bと比較して適切な大きさに修正されている。これによって、次のステップS40で行われるフック先端点の算出処理の計算量を少なくすることができる。なお、上述の例では、外フック領域Bが広いため、外フック領域Bをトリミングしたが、内フック領域Aが外フック領域Bより広い場合には、内フック領域Aをトリミングしてもよい。さらには、内フック領域Aと外フック領域Bの両者をトリミングするようにしてもよい。 As is clear from the comparison between FIG. 7 and FIG. 8, the outer hook region B is wider than the inner hook region A. That is, when the specified outer hook region B (r k , θ k ) (k = b1 to b2) is wide, it is preferable to trim the outer hook region B as shown in FIG. In the example shown in FIG. 9, the angle range from the maximum value i max to the angle α (for example, 40 °) is newly cut out as a new outer hook region B ′ (r k , θ k ) (k = b1 ′ to b2 ′). ing. FIG. 10 shows the outer hook region B ′ after trimming. As is clear from FIG. 10, the outer hook area B ′ after trimming is corrected to an appropriate size as compared with the outer hook area B before trimming. Thereby, the calculation amount of the hook tip point calculation process performed in the next step S40 can be reduced. In the above example, since the outer hook region B is wide, the outer hook region B is trimmed. However, when the inner hook region A is wider than the outer hook region B, the inner hook region A may be trimmed. Further, both the inner hook area A and the outer hook area B may be trimmed.

また、図6bに示すグラフでは、内フック領域Aで極小値をとり、外フック領域Bで極大値をとったが、渦巻きばねの巻き方向が逆となれば、当然、内フック領域で極大値をとり、外フック領域で極小値をとることとなる。   In the graph shown in FIG. 6b, the local hook takes a local minimum value in the inner hook region A and the local maximum in the outer hook region B. However, if the winding direction of the spiral spring is reversed, the local maximum in the inner hook region is natural. And take a local minimum in the outer hook area.

次に、ステップS38では、ステップS34で特定した内フック領域A(x,y)(k=a1〜a2)から2つの内フック端点を特定し、その2つの内フック端点から内フック先端点の座標値(xac,yac)を算出する。また、ステップS40では、ステップS36で特定した外フック領域B’(x,y)(k=b1’〜b2’)から2つの外フック端点を特定し、その2つの外フック端点から外フック先端点の座標値(xbc,ybc)を算出する。なお、ステップS38とステップS40の処理は、対象とする領域が内フック領域Aか外フック領域Bかで相違するものの、その処理手順は同一である。このため、ここではステップS40の処理、すなわち、外フック端点を特定し、その特定した外フック端点から外フック先端点の座標値(xbc,ybc)を求める処理の一例について説明する。 Next, in step S38, two inner hook end points are specified from the inner hook area A (x k , y k ) (k = a1 to a2) specified in step S34, and the inner hook tip is determined from the two inner hook end points. The coordinate value (x ac , y ac ) of the point is calculated. In step S40, two outer hook end points are specified from the outer hook regions B ′ (x k , y k ) (k = b1 ′ to b2 ′) specified in step S36, and the two outer hook end points are detected. The coordinate value (x bc , y bc ) of the hook tip point is calculated. The processing in step S38 and step S40 is different depending on whether the target area is the inner hook area A or the outer hook area B, but the processing procedure is the same. Therefore, here, an example of the process of step S40, that is, the process of specifying the outer hook end point and obtaining the coordinate value (x bc , y bc ) of the outer hook tip point from the specified outer hook end point will be described.

図11に示すように、外フック領域B’(x,y)(k=b1’〜b2’)内には外フック端点が2つ存在し、これら2つの外フック端点では輪郭線が略直交している。すなわち、渦巻きばね30は、ばね素線(板材)を渦巻状に成形することで製造されるため、外フック領域Bには2つの外フック端点が存在し、それら2つの外フック端点では輪郭線が略直交する。したがって、まず、ステップS36で特定した輪郭線系列B’(x,y)(k=b1’〜b2’)内から、輪郭線が略直交する点を抽出する。この処理は、例えば、外フック領域B’を構成する各輪郭線系列B’(x,y)(k=b1’〜b2’)のそれぞれに対して、図11に示すようにベクトルp(k)とm(k)を設定し、これらのベクトルp(k)とm(k)が直交するか否かで抽出することができる。p(k)、m(k)は、例えば、次の式(1)で表すことができる。 As shown in FIG. 11, there are two outer hook end points in the outer hook region B ′ (x k , y k ) (k = b1 ′ to b2 ′), and a contour line is formed at these two outer hook end points. It is almost orthogonal. That is, since the spiral spring 30 is manufactured by forming a spring wire (plate material) into a spiral shape, there are two outer hook end points in the outer hook region B, and contour lines are formed at these two outer hook end points. Are substantially orthogonal. Therefore, first, the points at which the contour lines are substantially orthogonal are extracted from the contour line series B ′ (x k , y k ) (k = b1 ′ to b2 ′) specified in step S36. This processing is performed, for example, with respect to each of the contour line series B ′ (x k , y k ) (k = b1 ′ to b2 ′) constituting the outer hook region B ′ as shown in FIG. (K) and m (k) are set, and extraction can be performed based on whether these vectors p (k) and m (k) are orthogonal. p (k) and m (k) can be expressed by the following formula (1), for example.

Figure 0005802459
Figure 0005802459

上記の式(1)から明らかなように、m(k)は、輪郭線上の点(x,y)からN画素だけ前の輪郭線上の各点までの輪郭線系列(xk−N、yk−N),(xk−(N―1),yk−(N―1)),・・,(x,y)が向いている方向を平均したものである。また、p(k)は、輪郭線上の点(x,y)からN画素だけ後ろの輪郭線上の各点までの輪郭線列(x,y),(xk+1,yk+1),・・,(xk+N,yk+N)が向いている方向を平均したものである。なお、本実施例では、ベクトルm(k)、p(k)を算出するために0〜N画素の範囲を用いた。ここで、設定値Nは、ステップS10で撮影された画像内における、渦巻きばね30の素線の板厚に応じて設定することが好ましい。例えば、撮影された画像内において、渦巻きばね30の素線の板厚が約X画素となる場合は、設定値NをX/2とすることができる。このように、撮影された画像内において、渦巻きばね30の板厚が何画素分の長さに相当するかで、m(k)及びp(k)を算出する画素数を設定することが好ましい。 As is apparent from the above equation (1), m (k) is the contour line sequence (x k−N ) from the point (x k , y k ) on the contour line to each point on the contour line N pixels before. , Y k−N ), (x k− (N−1) , y k− (N−1) ),..., (X k , y k ) are averaged. Further, p (k) is a contour line sequence (x k , y k ), (x k + 1 , y k + 1 ) from the point (x k , y k ) on the contour line to each point on the contour line N pixels behind. ,..., (X k + N , y k + N ) are averaged. In this embodiment, a range of 0 to N pixels is used to calculate the vectors m (k) and p (k). Here, the set value N is preferably set according to the thickness of the strand of the spiral spring 30 in the image taken in step S10. For example, in the photographed image, when the thickness of the wire of the spiral spring 30 is about X pixels, the set value N can be set to X / 2. Thus, it is preferable to set the number of pixels for calculating m (k) and p (k) depending on how many pixels the plate thickness of the spiral spring 30 corresponds to in the captured image. .

上述したように、ベクトルm(k)とベクトルp(k)を算出すると、次に、ベクトルp(k)とベクトルm(k)が直交するか否かを判定する。ベクトルp(k)とベクトルm(k)が直交するか否かを判定するには、例えば、ベクトルp(k)とベクトルm(k)から算出されるcosθを用いることができる(下記の式(2)参照)。ここで、θは、ベクトルp(k)とベクトルm(k)のなす角度である。 As described above, when the vector m (k) and the vector p (k) are calculated, it is next determined whether or not the vector p (k) and the vector m (k) are orthogonal. In order to determine whether the vector p (k) and the vector m (k) are orthogonal to each other, for example, cos θ k calculated from the vector p (k) and the vector m (k) can be used (described below) (Refer Formula (2)). Here, θ k is an angle formed by the vector p (k) and the vector m (k).

Figure 0005802459
Figure 0005802459

フックの端点では、ベクトルm(k)とベクトルp(k)は略直交する。ベクトルm(k)とベクトルp(k)が略直交すると、θ≒90°となり、cosθ≒0となる。したがって、cosθ≒0となる2つのkを探索することで、輪郭線系列からフック端点に相当する点(2点)を特定することができる。 At the end point of the hook, the vector m (k) and the vector p (k) are substantially orthogonal. When the vector m (k) and the vector p (k) are substantially orthogonal, θ k ≈90 ° and cos θ k ≈0. Accordingly, by searching for two ks where cos θ k ≈0, it is possible to identify points (two points) corresponding to the hook end points from the contour line series.

なお、本実施例では、輪郭線から2つのベクトルm(k)とp(k)を算出し、cosθを用いてフック端点を算出したが、cosθの代わりに、sinθ又はtanθを用いてフック端点を特定してもよい。また、ベクトルm(k)とp(k)を用いる代わりに、渦巻きばねの外形を表す直線式(近似した直線式)を算出し、直線の直交条件(2つの直線の傾きの積が−1となること)を用いてフック端点を特定してもよい。また、テンプレートマッチング等を用いてフック端点を特定してもよい。   In this embodiment, two vectors m (k) and p (k) are calculated from the contour line, and the hook end point is calculated using cos θ. However, instead of cos θ, the hook end point is used using sin θ or tan θ. May be specified. Also, instead of using the vectors m (k) and p (k), a linear expression (approximate linear expression) representing the outer shape of the spiral spring is calculated, and the orthogonal condition of the straight lines (the product of the inclinations of the two straight lines is −1) May be used to identify the hook endpoint. Further, the hook end point may be specified using template matching or the like.

上記のように特定した外フック端点をP(xpa,ypa(xpb,ypb)と記すこととする。外フック端点P を特定すると、この2つの外フック端点P(xpa,ypa),P(xpb,ypb)の中点を算出し、この算出した中点を外フック先端点の座標値(xbc,ybc)とする。なお、既に説明したように、内フック先端点の座標値(xac,yac)は、上述した外フック先端点の座標値(xbc,ybc)を求める手順と同様の手順で求めることができる。 The outer hook end points specified as described above are denoted as P a (x pa , y pa ) , P b (x pb , y pb ). When the outer hook end points P a and P b are specified, the midpoint between the two outer hook end points P a (x pa , y pa ) and P b (x pb , y pb ) is calculated. The coordinate value (x bc , y bc ) of the outer hook tip point is used. As already described, the coordinate value (x ac , y ac ) of the inner hook tip point is obtained by a procedure similar to the procedure for obtaining the outer hook tip point coordinate value (x bc , y bc ) described above. Can do.

上記のようにして内フック先端点及び外フック先端点の座標値を算出すると、次に、図2のステップS22に進み、ステップS10で撮影された撮影画像内の渦巻きばね30を細線化することで細線化画像を作成する。撮影された画像内の渦巻きばね30を細線化する方法としては、従来公知の方法(例えば、上述した「画像処理の基本技法<技術入門編>」(長谷川純一,輿水大和,中山晶,横井茂樹著/技術評論社)に開示の方法等)を用いることができる。図12は、ステップS22によって作成される細線化画像の一例を示している。ステップS10で撮影された撮影画像内に多くのノイズが含まれている場合は、図12に示すように、ステップS22で得られる細線化画像にも多くのノイズ(いわゆる、「ループ」)が含まれている。   When the coordinate values of the inner hook tip point and the outer hook tip point are calculated as described above, the process proceeds to step S22 in FIG. 2 to thin the spiral spring 30 in the photographed image photographed in step S10. Create a thin line image with. As a method of thinning the spiral spring 30 in the photographed image, a conventionally known method (for example, the above-mentioned “Basic Techniques of Image Processing <Introduction to Technology>” (Junichi Hasegawa, Yamato Usui, Akira Nakayama, Shige Yokoi) The method of disclosure etc.) can be used. FIG. 12 shows an example of a thinned image created in step S22. When a lot of noise is included in the captured image captured in step S10, as shown in FIG. 12, the thinned image obtained in step S22 also includes a lot of noise (so-called “loop”). It is.

次に、図2のステップS24では、まず、ステップS12で得られた二値化画像を収縮して収縮画像(図13)を作成する。次いで、作成した収縮画像(図13)とステップS22で得られた細線化画像(図12)とのAND条件(すなわち、両画像において渦巻きばねとされている点)をとり、新しい細線化画像(図14、図15)を作成する。図14、17より明らかなように、新しい細線化画像では「ループ」状のノイズが切断され、「ひげ」状のノイズのみが残っている。なお、二値化画像から収縮画像を得る方法としては、従来公知の方法(例えば、上述した「画像処理の基本技法<技術入門編>」(長谷川純一,輿水大和,中山晶,横井茂樹著/技術評論社)に開示の方法等)を用いることができる。   Next, in step S24 of FIG. 2, first, the binarized image obtained in step S12 is contracted to create a contracted image (FIG. 13). Next, an AND condition (that is, a point that is a spiral spring in both images) between the created contracted image (FIG. 13) and the thinned image (FIG. 12) obtained in step S22 is taken, and a new thinned image ( 14 and 15) are created. As is apparent from FIGS. 14 and 17, in the new thinned image, the “loop” -like noise is cut and only the “beard” -like noise remains. In addition, as a method of obtaining a contracted image from a binarized image, a conventionally known method (for example, “Basic Techniques of Image Processing <Introduction to Technology>” (by Junichi Hasegawa, Yamato Usui, Akira Nakayama, Shigeki Yokoi / The method disclosed in the technical critics) can be used.

次に、図2のステップS26では、ステップS24で作成された細線化画像に含まれる「ひげ」状のノイズを削除する。図15に示すように、ステップS24で作成された細線化画像には、内フック先端点と外フック先端点の近傍以外にも、多くの「ひげ」状のノイズが含まれている。そこで、内フック先端点の最近傍の「ひげ」状のノイズと外フック先端点の最近傍の「ひげ」状のノイズは、後述する処理で削除することとし、まずは、それ以外の「ひげ」状のノイズを削除する(図16参照)。これによって、内フック先端点近傍及び/又は外フック先端点近傍に1個の「ひげ」状のノイズのみが残ることとなる。   Next, in step S26 of FIG. 2, the “whisker” noise included in the thinned image created in step S24 is deleted. As shown in FIG. 15, the thinned image created in step S <b> 24 includes many “beard” -like noises in addition to the vicinity of the inner hook tip point and the outer hook tip point. Therefore, the “beard” noise closest to the inner hook tip point and the “beard” noise nearest to the outer hook tip point are deleted by the process described later. Noise is deleted (see FIG. 16). As a result, only one “beard” noise remains in the vicinity of the inner hook tip and / or in the vicinity of the outer hook tip.

ステップS24で作成された細線化画像の外フック及び内フック先端点の近傍はY字状に分岐した形状を有する(図15参照)。この細線化画像にステップS26の処理を行うことで、内フック先端点近傍及び外フック先端点近傍のY字状分岐の一方が削除される。例えば、図16に示すように、Y字状に分岐した外フック先端点のうち、ステップS40で算出した外フック先端点の座標値(xbc,ybc)に近い方が残され、遠い方が削除される。図16に示す例では、図中、上側の分岐が残され、下側の分岐が削除される。なお、内フック先端点についても、上記と同様に処理することができる。ステップS26の処理を行うことで、図17に示す細線化画像が得られる。 In the thinned image created in step S24, the vicinity of the outer hook and the inner hook tip point has a Y-shaped branch shape (see FIG. 15). By performing the process of step S26 on the thinned image, one of the Y-shaped branches near the inner hook tip point and the outer hook tip point is deleted. For example, as shown in FIG. 16, among the outer hook tip points branched in a Y shape, the one closer to the coordinate value (x bc , y bc ) of the outer hook tip point calculated in step S40 is left and the farther one Is deleted. In the example shown in FIG. 16, the upper branch is left in the figure, and the lower branch is deleted. In addition, it can process similarly to the above also about an inner hook front-end | tip point. By performing the process of step S26, the thinned image shown in FIG. 17 is obtained.

上記のようにして、細線化画像から全ての「ひげ」状のノイズが削除されると、図2のステップS28に進み、細線化画像の内フック先端点から予め設定されたn個の画素を削除し、削除後に先端となる点とステップS38で算出した内フック先端点(xac,yac)とを接続する。また、細線化画像の外フック先端点から予め設定されたn個の画素を削除し、削除後の先端となる点とステップS40で算出した外フック先端点(xbc,ybc)とを接続する。これによって、ステップS28の処理が終了する。ステップS28の処理により、ひげ状のノイズが全て削除された細線化画像(図18)が得られる。 When all the “beard” -like noises are deleted from the thinned image as described above, the process proceeds to step S28 in FIG. 2, and n pixels set in advance from the inner hook tip point of the thinned image are obtained. The point that becomes the tip after the deletion and the inner hook tip point (x ac , y ac ) calculated in step S38 are connected. Also, n pixels set in advance are deleted from the outer hook tip of the thinned image, and the point that becomes the tip after the deletion is connected to the outer hook tip (x bc , y bc ) calculated in step S40. To do. Thereby, the process of step S28 is completed. By the processing in step S28, a thin line image (FIG. 18) from which all whiskers are removed is obtained.

次に、図2のステップS30では、ステップS28で得られた細線化画像を平滑化して、最終的な細線化画像(芯線画像(図18参照))を作成する。細線化画像を平滑化する方法としては、従来公知の方法(例えば、スプライン補間、最小二乗法、デジタルフィルタによる平滑化法等)を用いることができる。   Next, in step S30 in FIG. 2, the thinned image obtained in step S28 is smoothed to create a final thinned image (core image (see FIG. 18)). As a method for smoothing the thinned image, a conventionally known method (for example, a spline interpolation, a least square method, a smoothing method using a digital filter, or the like) can be used.

上述したように、本実施例の画像処理装置10では、撮影された画像から渦巻きばね30の輪郭線系列(x,y)(i=0〜n)を抽出し、その抽出した輪郭線系列を極座標変換して輪郭線系列(r,θ)(i=0〜n)とする。そして、角座標値列θ(i=0〜n)の特性から、内フック領域A及び外フック領域Bを特定する。このため、正確に内フック領域A及び外フック領域Bを特定することができる。また、内フック領域A及び外フック領域Bを正確に特定することができるため、内フック端点及び外フック端点も正確に特定することができる。 As described above, in the image processing apparatus 10 according to the present embodiment, the contour line series (x i , y i ) (i = 0 to n) of the spiral spring 30 is extracted from the captured image, and the extracted contour line is extracted. The series is subjected to polar coordinate conversion to obtain an outline series (r i , θ i ) (i = 0 to n). And the inner hook area | region A and the outer hook area | region B are specified from the characteristic of angle coordinate value row | line | column (theta) i (i = 0-n). For this reason, the inner hook area A and the outer hook area B can be specified accurately. Further, since the inner hook area A and the outer hook area B can be accurately specified, the inner hook end point and the outer hook end point can also be accurately specified.

また、内フック領域A及び外フック領域Bを特定する処理、及び、内フック端点及び外フック端点を特定する処理は、撮影された画像から抽出された渦巻きばね30の輪郭線系列(x,y)(i=0〜n)を利用して行われる。このため、画像処理するデータ量を少なくすることができ、短時間で処理を完了することができる。 In addition, the process of specifying the inner hook area A and the outer hook area B and the process of specifying the inner hook end point and the outer hook end point are a series of contour lines (x i , y i ) (i = 0 to n). For this reason, the amount of data to be processed can be reduced, and the processing can be completed in a short time.

さらに、正確に算出された内フック先端点及び外フック先端点等を用いて、細線化画像からノイズ成分である「ループ」及び「ひげ」を削除する。このため、細線化画像から適切にノイズ成分が削除され、正確な細線化画像(芯線化画像)を得ることができる。   Further, the “loop” and “beard”, which are noise components, are deleted from the thinned image using the accurately calculated inner hook tip point, outer hook tip point, and the like. For this reason, the noise component is appropriately deleted from the thinned image, and an accurate thinned image (core-lined image) can be obtained.

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。   Specific examples of the present invention have been described in detail above, but these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above.

例えば、上述した実施例では、極座標変換するときの原点として、渦巻きばね30の重心(c,c)を用いたが、本発明は、このような実施形態に限られない。例えば、極座標変換するときの原点は、渦巻きばね30の内側ではなく、渦巻きばね30の外側に設定してもよい。また、本願の技術は、図4に示すフック形状を有する渦巻きばねを芯線化できるだけではなく、種々のフック形状を有する渦巻きばねを芯線化することができる。例えば、図19、20に示すような、切り放しタイプの外フック形状を有する渦巻きばねを芯線化することもできる。 For example, in the above-described embodiment, the center of gravity (c x , c y ) of the spiral spring 30 is used as the origin when performing polar coordinate conversion, but the present invention is not limited to such an embodiment. For example, the origin for the polar coordinate conversion may be set not on the inside of the spiral spring 30 but on the outside of the spiral spring 30. Further, the technique of the present application can not only make the spiral spring having the hook shape shown in FIG. 4 a core wire but also core the spiral springs having various hook shapes. For example, a spiral spring having a cut-off type outer hook shape as shown in FIGS. 19 and 20 can be formed into a core.

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時の請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は、複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。   In addition, the technical elements described in the present specification or the drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the technology exemplified in this specification or the drawings achieves a plurality of objects at the same time, and has technical utility by achieving one of the objects.

10:画像処理装置
12:ステージ
14:照明器
16:CCDカメラ
18:通信線
20:ディスプレイ
22:コンピュータ
30:渦巻きばね
32:渦巻きばねの内フック
34:渦巻きばねの外フック
10: Image processing device 12: Stage 14: Illuminator 16: CCD camera 18: Communication line 20: Display 22: Computer 30: Spiral spring 32: Spiral spring inner hook 34: Spiral spring outer hook

Claims (5)

内フックから外フックまで渦巻状に成形された渦巻きばねの形状を芯線化するための画像処理装置であり、
渦巻きばねを撮影した撮影画像を入力する画像入力手段と、
入力された撮影画像から渦巻きばねの輪郭線を抽出する輪郭線抽出手段と、
抽出された輪郭線を極座標変換する座標変換手段と、
極座標変換された輪郭線に対して、その輪郭線上を一方向に移動しながら一巡したときの「輪郭線の角座標値列(θ,θ,・・,θ)」を取得する角座標値列取得手段と、
取得された「輪郭線の角座標値列」を用いて、内フック領域及び外フック領域を特定するフック領域特定手段と、
特定された内フック領域内の輪郭線から2つの内フック端点を特定し、それら内フック端点の位置から内フック先端点の位置を算出する内フック先端点算出手段と、
特定された外フック領域内の輪郭線から2つの外フック端点を特定し、それら外フック端点の位置から外フック先端点の位置を算出する外フック先端点算出手段と、
入力された撮影画像内の渦巻きばねを細線化する細線化手段と、
細線化手段で細線化された渦巻きばねの端部を、内フック先端点算出手段で算出した内フック先端点と外フック先端点算出手段で算出した外フック先端点とを用いて、細線化された渦巻きばねのノイズ成分を削除することにより修正する細線化画像修正手段と、
を有する画像処理装置。
It is an image processing device for making the shape of a spiral spring formed in a spiral shape from an inner hook to an outer hook into a core wire,
An image input means for inputting a photographed image of the spiral spring;
An outline extraction means for extracting the outline of the spiral spring from the input photographed image;
Coordinate conversion means for converting the extracted contour line into polar coordinates;
The angle at which the “contour line angular coordinate value sequence (θ 1 , θ 2 ,..., Θ n )” is obtained when the contour line transformed in polar coordinates makes a round while moving in one direction on the contour line. Coordinate value sequence acquisition means;
Using the acquired “contour line angular coordinate value sequence”, hook area specifying means for specifying the inner hook area and the outer hook area;
An inner hook tip point calculating means for specifying two inner hook end points from the contour line in the specified inner hook region and calculating the position of the inner hook tip point from the position of the inner hook end points;
Outer hook tip point calculating means for specifying two outer hook end points from the contour line in the specified outer hook region and calculating the position of the outer hook tip point from the positions of the outer hook end points;
Thinning means for thinning the spiral spring in the input captured image;
The end portion of the spiral spring thinned by the thinning means is thinned using the inner hook tip point calculated by the inner hook tip point calculating means and the outer hook tip point calculated by the outer hook tip point calculating means. Thinning image correction means for correcting by removing the noise component of the spiral spring,
An image processing apparatus.
前記細線化画像修正手段は、内フック先端点算出手段で算出した内フック先端点の最近傍の「ひげ」状のノイズと、外フック先端点算出手段で算出した外フック先端点の最近傍の「ひげ」状のノイズを残して、細線化手段で細線化された渦巻きばねに含まれる「ひげ」状のノイズを削除する、請求項1に記載の画像処理装置。 The thinned image correcting means includes a “whisker-like” noise in the vicinity of the inner hook tip point calculated by the inner hook tip point calculating means, and a nearest neighbor of the outer hook tip point calculated by the outer hook tip point calculating means. The image processing apparatus according to claim 1, wherein the “beard” -like noise included in the spiral spring thinned by the thinning means is deleted, leaving the “beard” -like noise . 前記細線化画像修正手段は、The thinned image correcting means includes
前記最近傍の「ひげ」状のノイズ以外の「ひげ」状のノイズが削除された渦巻きばねの内フック部のY字状分岐に対して、当該Y字状分岐のうち算出された内フック先端点に遠い方の先端点を有する分岐を削除し、  For the Y-shaped branch of the inner hook portion of the spiral spring from which the “beard” -shaped noise other than the nearest “beard-shaped noise” has been deleted, the tip of the inner hook calculated from the Y-shaped branch Delete the branch with the tip point farther away from the point,
前記最近傍の「ひげ」状のノイズ以外の「ひげ」状のノイズが削除された渦巻きばねの外フック部のY字状分岐に対して、当該Y字状分岐のうち算出された外フック先端点に遠い方の先端点を有する分岐を削除し、  For the Y-shaped branch of the outer hook portion of the spiral spring from which the “beard” -like noise other than the nearest “beard” -like noise has been deleted, the tip of the outer hook calculated from the Y-shaped branch Delete the branch with the tip point farther away from the point,
Y字状分岐の一方が削除された内フック部及び外フック部のそれぞれに対して、当該フック部の先端から所定数の画素を削除し、削除後の先端となる点と対応する算出されたフック先端点とを接続して渦巻きばねの細線化画像を取得する、請求項2に記載の画像処理装置。  For each of the inner hook portion and the outer hook portion from which one of the Y-shaped branches has been deleted, a predetermined number of pixels are deleted from the tip of the hook portion, and the calculation is performed corresponding to the point that becomes the tip after the deletion. The image processing apparatus according to claim 2, wherein a thinned image of the spiral spring is acquired by connecting the hook tip point.
内フックから外フックまで渦巻状に成形された渦巻きばねの形状を芯線化するための画像処理方法であり、コンピュータに下記の処理、即ち、
渦巻きばねを撮影した撮影画像を入力する画像入力処理と、
入力された撮影画像から渦巻きばねの輪郭線を抽出する輪郭線抽出処理と、
抽出された輪郭線を極座標変換する座標変換処理と、
極座標変換された輪郭線に対して、その輪郭線上を一方向に移動しながら一巡したときの「輪郭線の角座標値列(θ,θ,・・,θ)」を取得する角座標値列取得処理と、
取得された「輪郭線の角座標値列」を用いて、内フック領域及び外フック領域を特定するフック領域特定処理と、
特定された内フック領域内の輪郭線から2つの内フック端点を特定し、それら内フック端点の位置から内フック先端点の位置を算出する内フック先端点算出手段と、
特定された外フック領域内の輪郭線から2つの外フック端点を特定し、それら外フック端点の位置から外フック先端点の位置を算出する外フック先端点算出手段と、
入力された撮影画像内の渦巻きばねを細線化する細線化手段と、
細線化手段で細線化された渦巻きばねの端部を、内フック先端点算出手段で算出した内フック先端点と外フック先端点算出手段で算出した外フック先端点とを用いて、細線化された渦巻きばねのノイズ成分を削除することにより修正する細線化画像修正手段と、
を実行させる画像処理方法。
This is an image processing method for making the shape of a spiral spring spirally formed from an inner hook to an outer hook into a core, and the computer performs the following processing:
Image input processing for inputting a captured image of the spiral spring;
An outline extraction process for extracting the outline of the spiral spring from the input photographed image;
A coordinate conversion process for converting the extracted contour line into a polar coordinate;
The angle at which the “contour line angular coordinate value sequence (θ 1 , θ 2 ,..., Θ n )” is obtained when the contour line transformed in polar coordinates makes a round while moving in one direction on the contour line. Coordinate value sequence acquisition processing,
Using the acquired “contour line angular coordinate value sequence”, the hook area specifying process for specifying the inner hook area and the outer hook area;
An inner hook tip point calculating means for specifying two inner hook end points from the contour line in the specified inner hook region and calculating the position of the inner hook tip point from the position of the inner hook end points;
Outer hook tip point calculating means for specifying two outer hook end points from the contour line in the specified outer hook region and calculating the position of the outer hook tip point from the positions of the outer hook end points;
Thinning means for thinning the spiral spring in the input captured image;
The end portion of the spiral spring thinned by the thinning means is thinned using the inner hook tip point calculated by the inner hook tip point calculating means and the outer hook tip point calculated by the outer hook tip point calculating means. Thinning image correction means for correcting by removing the noise component of the spiral spring,
An image processing method for executing
内フックから外フックまで渦巻状に成形された渦巻きばねの形状を芯線化するためのプログラムであり、コンピュータに下記の処理、即ち、
渦巻きばねを撮影した撮影画像を入力する画像入力処理と、
入力された撮影画像から渦巻きばねの輪郭線を抽出する輪郭線抽出処理と、
抽出された輪郭線を極座標変換する座標変換処理と、
極座標変換された輪郭線に対して、その輪郭線上を一方向に移動しながら一巡したときの「輪郭線の角座標値列(θ,θ,・・,θ)」を取得する角座標値列取得処理と、
取得された「輪郭線の角座標値列」を用いて、内フック領域及び外フック領域を特定するフック領域特定処理と、
特定された内フック領域内の輪郭線から2つの内フック端点を特定し、それら内フック端点の位置から内フック先端点の位置を算出する内フック先端点算出処理と、
特定された外フック領域内の輪郭線から2つの外フック端点を特定し、それら外フック端点の位置から外フック先端点の位置を算出する外フック先端点算出処理と、
入力された撮影画像内の渦巻きばねを細線化する細線化処理と、
細線化処理で細線化された渦巻きばねの端部を、内フック先端点算出処理で算出した内フック先端点と外フック先端点算出処理で算出した外フック先端点とを用いて、細線化された渦巻きばねのノイズ成分を削除することにより修正する細線化画像修正処理と、
を実行させるプログラム。
It is a program for making the shape of a spiral spring formed in a spiral shape from an inner hook to an outer hook into a core, and the computer performs the following processing:
Image input processing for inputting a captured image of the spiral spring;
An outline extraction process for extracting the outline of the spiral spring from the input photographed image;
A coordinate conversion process for converting the extracted contour line into a polar coordinate;
The angle at which the “contour line angular coordinate value sequence (θ 1 , θ 2 ,..., Θ n )” is obtained when the contour line transformed in polar coordinates makes a round while moving in one direction on the contour line. Coordinate value sequence acquisition processing,
Using the acquired “contour line angular coordinate value sequence”, the hook area specifying process for specifying the inner hook area and the outer hook area;
Inner hook tip point calculation processing for specifying two inner hook end points from the contour line in the specified inner hook region and calculating the position of the inner hook tip point from the position of the inner hook end points;
An outer hook tip point calculation process that specifies two outer hook end points from the contour line in the specified outer hook region, and calculates the position of the outer hook tip point from the position of the outer hook end point;
A thinning process for thinning the spiral spring in the input captured image;
The end of the spiral spring thinned by the thinning process is thinned using the inner hook tip point calculated by the inner hook tip point calculation process and the outer hook tip point calculated by the outer hook tip point calculation process. Thinning image correction processing to correct by deleting the noise component of the spiral spring,
A program that executes
JP2011155008A 2011-07-13 2011-07-13 Image processing apparatus, method, and program for calculating shape of spiral spring Active JP5802459B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011155008A JP5802459B2 (en) 2011-07-13 2011-07-13 Image processing apparatus, method, and program for calculating shape of spiral spring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011155008A JP5802459B2 (en) 2011-07-13 2011-07-13 Image processing apparatus, method, and program for calculating shape of spiral spring

Publications (2)

Publication Number Publication Date
JP2013019845A JP2013019845A (en) 2013-01-31
JP5802459B2 true JP5802459B2 (en) 2015-10-28

Family

ID=47691415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011155008A Active JP5802459B2 (en) 2011-07-13 2011-07-13 Image processing apparatus, method, and program for calculating shape of spiral spring

Country Status (1)

Country Link
JP (1) JP5802459B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6009364B2 (en) * 2013-01-28 2016-10-19 中央発條株式会社 Image processing apparatus, method, and program for measuring shape of spiral spring
JP6576859B2 (en) 2016-03-11 2019-09-18 中央発條株式会社 Apparatus, method, and program for measuring shape of spiral spring

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61182509A (en) * 1985-02-08 1986-08-15 Daido Steel Co Ltd Spiral spring shape tester
JPS6280505A (en) * 1985-10-03 1987-04-14 Daido Steel Co Ltd Shape inspecting device for spiral spring
JP2846486B2 (en) * 1991-02-06 1999-01-13 日立精工株式会社 Image input device
JPH0594525A (en) * 1991-10-01 1993-04-16 Ezel Inc Method for erasing branch in thinned graphic
JP3734605B2 (en) * 1997-07-02 2006-01-11 ローランドディー.ジー.株式会社 End point detection method and cutting apparatus for core drawing of line figure
JP3644621B2 (en) * 1997-11-21 2005-05-11 ローランドディー.ジー.株式会社 Connection processing method for core drawing of line figure
JP5132403B2 (en) * 2008-04-17 2013-01-30 中央発條株式会社 Apparatus, method, and program for measuring shape of spiral spring
JP5289066B2 (en) * 2009-01-05 2013-09-11 キヤノン株式会社 Image processing method, image processing apparatus, and computer program

Also Published As

Publication number Publication date
JP2013019845A (en) 2013-01-31

Similar Documents

Publication Publication Date Title
KR100975512B1 (en) Recognition processing method and image processing device using the same
JP5953842B2 (en) Image inspection method and inspection area setting method
US8780223B2 (en) Automatic determination of compliance of a part with a reference drawing
JP6823486B2 (en) Crack detection method
JP2013109691A (en) Image processing device, image processing method, and image processing program
JPWO2014203687A1 (en) Image processing method, image processing apparatus, and image processing program
JP2017033063A (en) Image processing method, image processing device, program, and recording medium
US20110164129A1 (en) Method and a system for creating a reference image using unknown quality patterns
JP5802459B2 (en) Image processing apparatus, method, and program for calculating shape of spiral spring
CN106683105B (en) Image segmentation method and image segmentation device
JP2017130067A (en) Automatic image processing system for improving position accuracy level of satellite image and method thereof
US9305235B1 (en) System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths
JP2011107083A (en) Posture recognition method and 3d vision sensor using the same
JP5401605B2 (en) Template matching processing apparatus and template matching processing program
JP2008116206A (en) Apparatus, method, and program for pattern size measurement
JP5160366B2 (en) Pattern matching method for electronic parts
JP2021039457A (en) Image processing method, edge model creation method, robot system, and article manufacturing method
TWI646233B (en) Appliqué method based on image recognition
JP2009157701A (en) Method and unit for image processing
JP2006293600A (en) Image processing method, image processor, and image composition processor
JP6009364B2 (en) Image processing apparatus, method, and program for measuring shape of spiral spring
JP2007004829A (en) Image processing device
JP7071074B2 (en) Image processing methods, image processing devices, programs, recording media, article manufacturing methods, and robot devices.
JP6314464B2 (en) Image processing apparatus, image processing method, and image processing program
Otoya et al. Real-time non-invasive leaf area measurement method using depth images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150831

R150 Certificate of patent or registration of utility model

Ref document number: 5802459

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150