JP7482686B2 - Measurement device and measurement program - Google Patents

Measurement device and measurement program Download PDF

Info

Publication number
JP7482686B2
JP7482686B2 JP2020090239A JP2020090239A JP7482686B2 JP 7482686 B2 JP7482686 B2 JP 7482686B2 JP 2020090239 A JP2020090239 A JP 2020090239A JP 2020090239 A JP2020090239 A JP 2020090239A JP 7482686 B2 JP7482686 B2 JP 7482686B2
Authority
JP
Japan
Prior art keywords
nugget
input image
plate
image
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020090239A
Other languages
Japanese (ja)
Other versions
JP2021185344A (en
Inventor
健 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Sharyo Ltd
Original Assignee
Nippon Sharyo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Sharyo Ltd filed Critical Nippon Sharyo Ltd
Priority to JP2020090239A priority Critical patent/JP7482686B2/en
Publication of JP2021185344A publication Critical patent/JP2021185344A/en
Application granted granted Critical
Publication of JP7482686B2 publication Critical patent/JP7482686B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Resistance Welding (AREA)
  • Image Analysis (AREA)

Description

本発明は、測定装置および測定プログラムに関するものである。 The present invention relates to a measurement device and a measurement program.

特許文献1では、様々な鋼種および板厚の鋼板1,2を、様々な条件でスポット溶接を行い、そのスポット溶接部3におけるナゲットの板厚方向の断面の画像から、ナゲット径dN等のナゲットの各部の寸法を画像解析で測定することが開示されている。これにより、ナゲットの寸法を自動で測定できるので、作業員が定規等でナゲットの寸法を測定する必要がない。 Patent Document 1 discloses that steel plates 1 and 2 of various steel types and thicknesses are spot welded under various conditions, and the dimensions of each part of the nugget, such as the nugget diameter dN, are measured by image analysis from an image of a cross section of the nugget in the plate thickness direction at the spot welded part 3. This allows the dimensions of the nugget to be measured automatically, eliminating the need for an operator to measure the dimensions of the nugget with a ruler or the like.

特開2015-033706号公報(例えば、段落0029-0035,表2,3)JP 2015-033706 A (for example, paragraphs 0029-0035, tables 2 and 3)

しかしながら、特許文献1には、上記の画像からナゲットの各部の寸法を画像解析で測定する、具体的な手法が開示されていない。従って、上記の画像におけるナゲット以外の物体から寸法を測定したり、ナゲットにおいて寸法を測定すべき位置とズレた位置で寸法を測定する等して、ナゲットの各部の寸法を正確に測定できない虞があるという問題点があった。 However, Patent Document 1 does not disclose a specific method for measuring the dimensions of each part of the nugget from the above image using image analysis. Therefore, there is a risk that the dimensions of each part of the nugget cannot be accurately measured, for example, by measuring the dimensions from an object other than the nugget in the above image, or by measuring the dimensions at a position on the nugget that is shifted from the position at which the dimensions should be measured.

本発明は、上述した問題点を解決するためになされたものであり、スポット溶接することで形成された試験片の断面におけるナゲットの各部の寸法を正確に測定できる測定装置および測定プログラムを提供することを目的としている。 The present invention has been made to solve the above-mentioned problems, and aims to provide a measurement device and a measurement program that can accurately measure the dimensions of each part of a nugget in the cross section of a test piece formed by spot welding.

この目的を達成するために本発明の測定装置は、平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像から前記試験片の断面における各部の寸法を測定する測定手段を備えた装置であって、前記試験片の断面の画像である入力画像を取得する入力画像取得手段と、その入力画像取得手段で取得された入力画像からスポット溶接におけるナゲットを区別して検出するナゲット検出手段と、入力された前記鋼板の板厚を取得する板厚取得手段と、その板厚取得手段で取得された板厚のピクセル数を取得する板厚ピクセル取得手段と、前記入力画像取得手段で取得された入力画像から前記試験片の上端および下端の位置の座標を取得する端部取得手段と、前記入力画像取得手段で取得された入力画像における前記端部取得手段で取得された前記試験片の上端および下端の位置の座標を、前記板厚ピクセル取得手段で取得された板厚のピクセル数分だけ移動させた位置を前記試験片における重ね合わせた鋼板と鋼板との境界である板境界として検出する板境界検出手段とを備え、前記測定手段は、前記ナゲット検出手段で検出されたナゲットから前記入力画像におけるナゲットの各部の寸法を、前記板境界検出手段で検出された板境界を基準に測定するものである。 In order to achieve this object, the measuring device of the present invention is a device equipped with a measuring means for measuring the dimensions of each part in the cross section of a test piece from an image of the cross section of the test piece formed by overlapping flat steel plates and spot welding the plates, and includes an input image acquiring means for acquiring an input image which is an image of the cross section of the test piece, a nugget detection means for distinguishing and detecting nuggets in spot welding from the input image acquired by the input image acquiring means, a plate thickness acquiring means for acquiring the plate thickness of the inputted steel plate, a plate thickness pixel acquiring means for acquiring the number of pixels of the plate thickness acquired by the plate thickness acquiring means, and a plate thickness pixel acquiring means for acquiring the number of pixels of the plate thickness acquired by the input image acquiring means. The test piece is provided with an end acquisition means for acquiring the coordinates of the positions of the upper and lower ends of the test piece from an input image, and a plate boundary detection means for detecting a position obtained by moving the coordinates of the positions of the upper and lower ends of the test piece acquired by the end acquisition means in the input image acquired by the input image acquisition means by the number of pixels of the plate thickness acquired by the plate thickness pixel acquisition means as a plate boundary, which is the boundary between overlapping steel plates in the test piece, and the measurement means measures the dimensions of each part of the nugget in the input image from the nugget detected by the nugget detection means, based on the plate boundary detected by the plate boundary detection means.

また本発明の測定プログラムは、平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像である入力画像を取得する入力画像取得ステップと、その入力画像取得ステップで取得された入力画像からスポット溶接におけるナゲットを区別して検出するナゲット検出ステップと、入力された前記鋼板の板厚を取得する板厚取得ステップと、その板厚入力ステップで取得された板厚のピクセル数を取得する板厚ピクセル取得ステップと、前記入力画像取得ステップで取得された入力画像から前記試験片の上端および下端の位置の座標を取得する端部取得ステップと、前記入力画像取得ステップで取得された入力画像における前記端部取得ステップで取得された前記試験片の上端および下端の位置の座標を、前記板厚ピクセル取得ステップで取得された板厚のピクセル数分だけ移動させた位置を前記試験片における重ね合わせた鋼板と鋼板との境界である板境界として検出する板境界検出ステップと、前記ナゲット検出ステップで検出されたナゲットから前記入力画像におけるナゲットの各部の寸法を、前記板境界検出ステップで検出された板境界を基準に測定する測定ステップとを、コンピュータに実行させるものである。 The measurement program of the present invention causes a computer to execute the following steps: an input image acquisition step for acquiring an input image, which is an image of a cross section of a test piece formed by overlapping flat steel plates and spot welding them; a nugget detection step for distinguishing and detecting nuggets in spot welding from the input image acquired in the input image acquisition step; a plate thickness acquisition step for acquiring the plate thickness of the input steel plate; a plate thickness pixel acquisition step for acquiring the number of pixels of the plate thickness acquired in the plate thickness input step; an end acquisition step for acquiring coordinates of the positions of the upper and lower ends of the test piece from the input image acquired in the input image acquisition step; a plate boundary detection step for detecting positions obtained by moving the coordinates of the positions of the upper and lower ends of the test piece acquired in the end acquisition step in the input image acquired in the input image acquisition step by the number of pixels of the plate thickness acquired in the plate thickness pixel acquisition step as a plate boundary that is the boundary between the overlapping steel plates in the test piece; and a measurement step for measuring the dimensions of each part of the nugget in the input image from the nugget detected in the nugget detection step, based on the plate boundary detected in the plate boundary detection step.

請求項1記載の測定装置によれば、板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の画像である入力画像が取得され、取得された入力画像からスポット溶接におけるナゲットが区別して検出され、更に試験片における重ね合わせた鋼板と鋼板との境界である板境界が検出される。そして検出されたナゲットの各部の寸法が、板境界を基準に測定される。ここでナゲットは、重ね合わせた鋼板と鋼板との境界、即ち板境界を跨ぐように形成されるので、板境界はナゲットに関わる位置とされる。従って、ナゲットの各部の寸法をかかる板境界を基準に測定することで、ナゲットの各部の寸法を正確に測定できるという効果がある。また、板境界が、入力画像から取得された試験片の上端および下端の位置の座標を、入力された板厚のピクセル数分だけ移動させた位置から検出される。これにより、板境界を正確に検出することができるという効果もある。 According to the measuring device of claim 1, an input image is acquired, which is an image of a test piece formed by overlapping plate-shaped steel sheets and spot welding, and a nugget in spot welding is detected from the acquired input image, and further, a plate boundary between the overlapping steel sheets in the test piece is detected. Then, the dimensions of each part of the detected nugget are measured based on the plate boundary. Here, the nugget is formed so as to straddle the boundary between the overlapping steel sheets, i.e., the plate boundary, and therefore the plate boundary is regarded as a position related to the nugget. Therefore, by measuring the dimensions of each part of the nugget based on the plate boundary, it is possible to accurately measure the dimensions of each part of the nugget. In addition, the plate boundary is detected from a position obtained by moving the coordinates of the positions of the upper and lower ends of the test piece acquired from the input image by the number of pixels of the input plate thickness. This also has the effect of accurately detecting the plate boundary.

請求項2記載の測定装置によれば、請求項1記載の測定装置の奏する効果に加え、次の効果を奏する。板境界とナゲットとの交点間の距離から、ナゲット径が算出される。これにより、作業員が定規等で実際に試験片を測定することなく、ナゲットの大きさの基準となるナゲット径を容易かつ正確に測定できるという効果がある。 The measuring device according to claim 2 has the following effect in addition to the effect of the measuring device according to claim 1. The nugget diameter is calculated from the distance between the intersection of the plate boundary and the nugget. This has the effect of allowing an operator to easily and accurately measure the nugget diameter, which is the standard for the size of the nugget, without actually measuring the test piece with a ruler or the like.

請求項3記載の測定装置によれば、請求項1又は2記載の測定装置の奏する効果に加え、次の効果を奏する。板境界と平行な直線である平行直線が複数算出され、その平行直線のうち、平行直線と検出されたナゲットとの交点間の距離がナゲット径の所定の割合である平行直線が特定され、その特定された平行直線と板境界との距離である溶込深さが測定される。これにより、作業員が定規等で実際に試験片を測定することなく、ナゲットの大きさの基準となる溶込深さを容易かつ正確に測定できるという効果がある。 According to the measuring device of claim 3, in addition to the effects of the measuring device of claim 1 or 2, the following effect is achieved. A plurality of parallel lines that are straight lines parallel to the plate boundary are calculated, and among the parallel lines, a parallel line is identified in which the distance between the intersection point of the parallel line and the detected nugget is a predetermined percentage of the nugget diameter, and the penetration depth, which is the distance between the identified parallel line and the plate boundary, is measured. This has the effect of allowing an operator to easily and accurately measure the penetration depth, which is the standard for the size of the nugget, without actually measuring the test piece with a ruler or the like.

請求項4記載の測定装置によれば、請求項1から3のいずれかに記載の測定装置の奏する効果に加え、次の効果を奏する。入力画像には、試験片と共に寸法の基準となる基準物が含まれ、その基準物の所定の寸法と、その寸法に該当する入力画像のピクセル数との関係を表す変換係数が取得され、その変換係数に基づいてナゲットの寸法が測定される。基準物の寸法に応じた変換係数に基づくことで、ナゲットの実際の寸法を容易かつ正確に測定できるという効果がある。 According to the measuring device of claim 4, in addition to the effect of the measuring device of any one of claims 1 to 3, the following effect is achieved. The input image includes a reference object that serves as a dimensional reference along with the test piece, a conversion coefficient that represents the relationship between a predetermined dimension of the reference object and the number of pixels of the input image that corresponds to that dimension is obtained, and the dimensions of the nugget are measured based on the conversion coefficient. By using a conversion coefficient according to the dimensions of the reference object, the actual dimensions of the nugget can be measured easily and accurately.

請求項5記載の測定装置によれば、請求項1から4のいずれかに記載の測定装置の奏する効果に加え、次の効果を奏する。ナゲット検出手段によって、入力画像におけるナゲットと、ナゲット以外の物体とを異なる色で描画した画像であるナゲット領域画像が出力され、そのナゲット領域画像からナゲットの各部の寸法が測定される。ナゲット領域画像において、ナゲットとナゲット以外の物体とが区別して描画されることで、ナゲット領域画像からナゲットを確実に検出できるので、ナゲットの各部の寸法を正確に測定できるという効果がある。 According to the measuring device of claim 5, in addition to the effect of the measuring device of any one of claims 1 to 4, the following effect is achieved. The nugget detection means outputs a nugget area image, which is an image in which the nugget in the input image and objects other than the nugget are drawn in different colors, and the dimensions of each part of the nugget are measured from the nugget area image. Since the nugget and objects other than the nugget are drawn separately in the nugget area image, the nugget can be reliably detected from the nugget area image, and there is an effect that the dimensions of each part of the nugget can be accurately measured.

請求項6記載の測定装置によれば、請求項1から5のいずれかに記載の測定装置の奏する効果に加え、次の効果を奏する。人工知能によって入力画像からスポット溶接におけるナゲットが区別して検出されるので、ナゲットとナゲット以外の物体とが含まれる入力画像から、ナゲットを好適に検出できるという効果がある。 According to the measuring device described in claim 6, in addition to the effect of the measuring device described in any one of claims 1 to 5, the following effect is achieved. Since the nugget in the spot welding is detected separately from the input image by the artificial intelligence, the effect is that the nugget can be suitably detected from the input image that includes the nugget and objects other than the nugget.

請求項7記載の測定プログラムによれば、請求項1記載の測定装置と同様の効果を奏する。また、請求項8記載の測定プログラムによれば、請求項6記載の測定装置と同様の効果を奏する。 The measurement program described in claim 7 provides the same effect as the measurement device described in claim 1. Also, the measurement program described in claim 8 provides the same effect as the measurement device described in claim 6.

測定装置を表す模式図である。FIG. 2 is a schematic diagram showing a measuring device. (a)は、入力画像を表す図であり、(b)は、ナゲット領域画像を表す図であり、(c)は、ナゲットの各部の寸法を表す図である。1A is a diagram showing an input image, FIG. 1B is a diagram showing a nugget region image, and FIG. 1C is a diagram showing the dimensions of each portion of the nugget. (a)は、測定装置の電気的構成を示すブロック図であり、(b)は、学習データを模式的に示した図であり、(c)は、結果テーブルを模式的に示した図であり、(d)は、RAMを模式的に示した図である。1A is a block diagram showing the electrical configuration of the measurement device, FIG. 1B is a schematic diagram showing learning data, FIG. 1C is a schematic diagram showing a result table, and FIG. 1D is a schematic diagram showing a RAM. (a)は、メイン処理のフローチャートであり、(b)は、学習処理のフローチャートである。1A is a flowchart of a main process, and FIG. 1B is a flowchart of a learning process. 判定処理のフローチャートである。13 is a flowchart of a determination process. 検出処理のフローチャートである。13 is a flowchart of a detection process. (a)は、ナゲットの検出開始前の表示装置の表示内容を表す図であり、(b)は、ナゲットの検出開始後の表示装置の表示内容を表す図である。1A is a diagram showing the display content of the display device before nugget detection starts, and FIG. 1B is a diagram showing the display content of the display device after nugget detection starts.

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図1は、測定装置1を表す模式図である。測定装置1は、スポット溶接することで形成された試験片Tの断面の画像を取得し、その画像に基づいて試験片の各部の寸法を測定し、測定された寸法に基づいてスポット溶接された結果が所定の規格(例えばJRIS W 0161)に適合しているかを判定する装置である。 The following describes a preferred embodiment of the present invention with reference to the accompanying drawings. FIG. 1 is a schematic diagram showing a measuring device 1. The measuring device 1 is a device that acquires an image of a cross section of a test piece T formed by spot welding, measures the dimensions of each part of the test piece based on the image, and determines whether the result of spot welding conforms to a predetermined standard (e.g., JRIS W 0161) based on the measured dimensions.

測定装置1には、ユーザからの指示が入力される入力装置2と、表示装置3と、試験片Tの画像である入力画像P(図2(a)参照)を取得するカメラCとが設けられる。表示装置3は、入力画像Pや試験片Tの各部の寸法等を表示する出力装置である。 The measuring device 1 is provided with an input device 2 for inputting instructions from a user, a display device 3, and a camera C for acquiring an input image P (see FIG. 2(a)), which is an image of a test piece T. The display device 3 is an output device for displaying the input image P and the dimensions of each part of the test piece T.

試験片Tは、少なくとも2枚の鋼板Spを重ね合わせてスポット溶接することで形成され、そのスポット溶接された結果が、所定の規格に適合しているかを判定するための部材である。試験片Tにおけるスポット溶接された部分が板厚方向に切断され、その切断面がカメラCに向くように配置される。 The test piece T is formed by overlapping and spot welding at least two steel plates Sp, and is a component for determining whether the spot-welded result complies with a specified standard. The spot-welded portion of the test piece T is cut in the plate thickness direction, and the cut surface is positioned so that it faces the camera C.

その試験片Tと隣り合う位置には、定規Jが配置される。定規Jは、所定間隔(例えば1mm)毎に目盛り線が刻まれた基準物である。定規Jは、その長手方向側が試験片Tの長手方向側と平行になるように配置される。 A ruler J is placed next to the test piece T. The ruler J is a reference object with scale lines engraved at a predetermined interval (e.g., 1 mm). The ruler J is placed so that its longitudinal side is parallel to the longitudinal side of the test piece T.

カメラCの撮像範囲CAは、入力画像P内に試験片Tと定規Jとが含まれるように、なおかつ入力画像Pの水平方向が試験片T(即ち2枚の鋼板Sp)及び定規Jの長手方向と一致するように設定される。次に図2(a)を参照して、カメラCで取得される入力画像Pを説明する。 The imaging range CA of the camera C is set so that the test piece T and the ruler J are included in the input image P, and the horizontal direction of the input image P coincides with the longitudinal direction of the test piece T (i.e., the two steel plates Sp) and the ruler J. Next, the input image P acquired by the camera C will be described with reference to FIG. 2(a).

図2(a)は、入力画像Pを表す図である。入力画像Pには、試験片Tの画像と定規Jとの画像が含まれる。試験片TにおけるナゲットNは、スポット溶接によって2枚以上(本実施形態では2枚)の鋼板Spの重ね合わせた部分が溶融して形成される。以下、試験片Tにおける複数の鋼板Spのうち、入力画像Pにおける最も上側の鋼板Spを「上板」、最も下側の鋼板Spを「下板」とそれぞれいう。 Figure 2(a) is a diagram showing an input image P. The input image P includes an image of a test piece T and an image of a ruler J. The nugget N in the test piece T is formed by melting the overlapping portions of two or more steel plates Sp (two in this embodiment) by spot welding. Hereinafter, of the multiple steel plates Sp in the test piece T, the uppermost steel plate Sp in the input image P is referred to as the "upper plate" and the lowermost steel plate Sp is referred to as the "lower plate."

ナゲットNは、スポット溶接で形成される溶融金属のことであり、上板と下板との重ね合わせた部分が溶融され、上板と下板との境界部である後述の板境界Bを跨ぐように形成される。従って、ナゲットNの外形の形状は、必ずしも単純な直線状や円形状とならず、不定形となる。また、カメラCが配置される照明の色温度やスポット溶接による溶融度合い、更には鋼板Spの鋼種等によって、入力画像Pに撮像されるナゲットNやその周囲の鋼板Spの色味が様々となる。これらによって、従来の画像処理では、入力画像PからナゲットNを正確に検出するのは困難である。 The nugget N is molten metal formed by spot welding, and is formed by melting the overlapping portion of the upper and lower plates so that it straddles the plate boundary B, which is the boundary between the upper and lower plates and will be described later. Therefore, the outer shape of the nugget N is not necessarily a simple straight line or circle, but is an indefinite shape. In addition, the color of the nugget N and the surrounding steel plate Sp captured in the input image P varies depending on the color temperature of the lighting where the camera C is placed, the degree of melting due to spot welding, and even the type of steel of the steel plate Sp. For these reasons, it is difficult to accurately detect the nugget N from the input image P using conventional image processing.

そこで本実施形態では、多数のナゲットNを含む試験片Tの断面の画像と、対応する画像から検出すべきナゲットNの画像とを学習させた学習モデル(人工知能)である、ナゲット判定モデルMを用いて、入力画像PからナゲットNを区別して検出したナゲット領域画像Pnを作成し、そのナゲット領域画像Pnに基づいてナゲットNの寸法が測定される。かかるナゲット判定モデルMによるナゲットNの検出および寸法の測定を、図2(b),(c)を参照して説明する。 Therefore, in this embodiment, a nugget determination model M, which is a learning model (artificial intelligence) that has learned images of the cross section of a test piece T containing a large number of nuggets N and images of nuggets N to be detected from the corresponding images, is used to create a nugget area image Pn that distinguishes and detects the nugget N from the input image P, and the dimensions of the nugget N are measured based on the nugget area image Pn. The detection and measurement of the dimensions of the nugget N using the nugget determination model M will be described with reference to Figures 2(b) and (c).

図2(b)は、ナゲット領域画像Pnを表す図である。図2(b)におけるナゲット領域画像Pnは、図2(a)の入力画像Pをナゲット判定モデルMに入力することで作成された、ナゲットNとナゲットN以外の物体とを区別して描画した画像である。 Figure 2(b) is a diagram showing a nugget region image Pn. The nugget region image Pn in Figure 2(b) is an image that is created by inputting the input image P in Figure 2(a) into the nugget determination model M, and that depicts the nugget N and objects other than the nugget N in a distinguished manner.

ナゲット判定モデルMは、多数のナゲットNを含む試験片Tの断面の画像と、その画像から検出すべきナゲットNの画像である教師画像との組み合わせを学習させた、学習モデルである。本実施形態ではナゲット判定モデルMとして「U-Net」と呼ばれる学習モデルを用いるが、他の学習モデルを用いても良い。 The nugget determination model M is a learning model that is trained to combine an image of a cross section of a test piece T that contains a large number of nuggets N with a teacher image that is an image of the nuggets N to be detected from that image. In this embodiment, a learning model called "U-Net" is used as the nugget determination model M, but other learning models may also be used.

ナゲット判定モデルMには、多数のナゲットNを含む試験片Tの断面の画像と、その画像から検出すべきナゲットNの教師画像とが学習されているので、ナゲット判定モデルMに基づくことで、入力画像PにおけるナゲットNの形状やナゲットN及び鋼板Spの色味が様々であっても、入力画像PからナゲットNを、ナゲットN以外の物体と区別して検出できる。 The nugget determination model M is trained on an image of a cross section of a test piece T containing a large number of nuggets N, and a teacher image of the nugget N to be detected from that image. Therefore, based on the nugget determination model M, even if the shape of the nugget N in the input image P and the color of the nugget N and the steel plate Sp vary, the nugget N can be detected from the input image P and distinguished from objects other than the nugget N.

このようなナゲット判定モデルMによって、入力画像Pから作成されたナゲット領域画像Pnは、図2(b)に示す通り、ナゲット判定モデルMで検出された入力画像PにおけるナゲットNと、ナゲットN以外の物体とが異なる態様で描画される。具体的には、ナゲットNの輪郭線である輪郭Neを境界に、ナゲットN部分とナゲットN以外の部分とが異なる色(例えば、ナゲットN部分が白色、ナゲットN以外の部分画像が黒色)で描画される。 In the nugget region image Pn created from the input image P by such a nugget determination model M, the nugget N in the input image P detected by the nugget determination model M is depicted in a different manner from objects other than the nugget N, as shown in FIG. 2(b). Specifically, the nugget N portion and the portion other than the nugget N are depicted in different colors (for example, the nugget N portion is depicted in white, and the portion other than the nugget N is depicted in black) with the contour Ne, which is the outline of the nugget N, as the boundary.

これにより、ナゲット領域画像PnにおいてナゲットNとナゲットN以外の物体とが明確に区別できるので、ナゲット領域画像PnからナゲットNの位置を、正確かつ容易に検出できる。このように検出されたナゲット領域画像PnからナゲットNの位置に基づいて、ナゲットNの各部の寸法が測定される。ここで図2(c)を参照して、測定装置1で測定されるナゲットNの各部の寸法を説明する。 This allows the nugget N to be clearly distinguished from objects other than the nugget N in the nugget area image Pn, so that the position of the nugget N can be accurately and easily detected from the nugget area image Pn. Based on the position of the nugget N from the nugget area image Pn detected in this manner, the dimensions of each part of the nugget N are measured. Here, the dimensions of each part of the nugget N measured by the measuring device 1 will be described with reference to FIG. 2(c).

図2(c)は、ナゲットNの各部の寸法を表す図である。図2(c)は、図2(a)の入力画像PにナゲットNの各部の寸法を示した画像P'を表している。本実施形態では、ナゲットNの寸法として、ナゲット径Nhdと、上板溶込深さNupと、下板溶込深さNddとを測定する。具体的に、ナゲット径Nhdは、画像P'においてナゲットNの輪郭Neと2枚の鋼板Spを重ね合わせた境界部である板境界Bとの交点である交点B1,B2間の距離である。ナゲット径Nhdは、ナゲットNにおける板境界B方向、即ち鋼板Spの長手方向における大きさの基準とされる。 Figure 2(c) is a diagram showing the dimensions of each part of the nugget N. Figure 2(c) shows an image P' in which the dimensions of each part of the nugget N are shown in the input image P of Figure 2(a). In this embodiment, the dimensions of the nugget N are measured as the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd. Specifically, the nugget diameter Nhd is the distance between intersections B1 and B2 in image P', which are the intersections between the outline Ne of the nugget N and the plate boundary B, which is the boundary between two overlapping steel plates Sp. The nugget diameter Nhd is used as a reference for the size of the nugget N in the plate boundary B direction, i.e., in the longitudinal direction of the steel plate Sp.

上記した通り、入力画像Pにおいては、鋼板Spの重ね合わせ方向、即ち鋼板Spの長手方向は、入力画像Pの水平方向と一致している。よって以下では、入力画像Pにおける鋼板Spの長さ方向を「水平方向」といい、厚さ方向を「垂直方向」という。 As described above, in the input image P, the overlapping direction of the steel plate Sp, i.e., the longitudinal direction of the steel plate Sp, coincides with the horizontal direction of the input image P. Therefore, hereinafter, the length direction of the steel plate Sp in the input image P will be referred to as the "horizontal direction" and the thickness direction will be referred to as the "vertical direction."

上板溶込深さNupは、板境界Bと平行な直線である平行直線であって、該平行直線のナゲットNの輪郭Neとの交点間の距離がナゲット径Nhdの8割の長さとなる平行直線のうち、板境界Bよりも上方の平行直線(即ち図2(c)の交点B3,B4による平行直線)と板境界Bとの距離である。また、下板溶込深さNddは、平行直線におけるナゲットNの輪郭Neとの交点間の距離がナゲット径Nhdの8割の長さとなる平行直線のうち、板境界Bよりも下方の平行直線(即ち図2(c)の交点B5,B6による平行直線)と板境界Bとの距離である。これら上板溶込深さNup及び下板溶込深さNddは、ナゲットNにおける、板境界B及びナゲット径Nhdと直交した方向、即ち垂直方向における大きさの基準とされる。 The upper plate penetration depth Nup is the distance between the plate boundary B and the parallel line that is parallel to the plate boundary B, and the distance between the intersection points of the parallel line with the contour Ne of the nugget N is 80% of the nugget diameter Nhd, and the parallel line above the plate boundary B (i.e., the parallel line by intersection points B3 and B4 in FIG. 2(c)). The lower plate penetration depth Ndd is the distance between the parallel line below the plate boundary B (i.e., the parallel line by intersection points B5 and B6 in FIG. 2(c)) and the plate boundary B, and the parallel line that is parallel to the plate boundary B and the contour Ne of the nugget N is 80% of the nugget diameter Nhd. The upper plate penetration depth Nup and the lower plate penetration depth Ndd are used as the standard for the size of the nugget N in the direction perpendicular to the plate boundary B and the nugget diameter Nhd, i.e., the vertical direction.

本実施形態では、これらナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddが、入力画像Pからナゲット判定モデルMによって作成されたナゲット領域画像Pn(図2(b)参照)に基づいて測定される。ナゲット領域画像Pnには、ナゲットNとナゲットN以外の物体が区別して描画されているので、ナゲットNを確実に検出し、これらの値を正確に測定できる。 In this embodiment, the nugget diameter Nhd, upper plate penetration depth Nup, and lower plate penetration depth Ndd are measured based on a nugget area image Pn (see FIG. 2(b)) created from the input image P by a nugget determination model M. In the nugget area image Pn, the nugget N is depicted separately from objects other than the nugget N, so that the nugget N can be reliably detected and these values can be measured accurately.

次に、図3を参照して、測定装置1の電気的構成を説明する。図3(a)は、測定装置1の電気的構成を示すブロック図である。図3(a)に示す通り、測定装置1は、CPU10と、ハードディスクドライブ(以下「HDD」という)11と、RAM12とを有し、これらはバスライン13を介して入出力ポート14にそれぞれ接続されている。入出力ポート14には更に、上記した入力装置2、表示装置3及びカメラCが接続される。 Next, the electrical configuration of the measuring device 1 will be described with reference to FIG. 3. FIG. 3(a) is a block diagram showing the electrical configuration of the measuring device 1. As shown in FIG. 3(a), the measuring device 1 has a CPU 10, a hard disk drive (hereinafter referred to as "HDD") 11, and a RAM 12, which are each connected to an input/output port 14 via a bus line 13. The input device 2, display device 3, and camera C described above are further connected to the input/output port 14.

CPU10は、バスライン13により接続された各部を制御する演算装置である。HDD11は、書き換え可能な不揮発性の記憶装置であり、測定プログラム11aと、上記のナゲット判定モデルMが記憶されるナゲット判定モデル11bと、学習データ11cと、結果テーブル11dと、判定基準データ11eとがそれぞれ保存される。CPU10によって測定プログラム11aが実行されると、図4(a)のメイン処理が実行される。学習データ11cには、ナゲット判定モデルMを学習するための画像が記憶される。図3(b)を参照して、学習データ11cを説明する。 The CPU 10 is a computing device that controls each part connected by the bus line 13. The HDD 11 is a rewritable non-volatile storage device, and stores the measurement program 11a, the nugget judgment model 11b in which the above-mentioned nugget judgment model M is stored, the learning data 11c, the result table 11d, and the judgment criterion data 11e. When the measurement program 11a is executed by the CPU 10, the main process of FIG. 4(a) is executed. The learning data 11c stores images for learning the nugget judgment model M. The learning data 11c will be described with reference to FIG. 3(b).

図3(b)は、学習データ11cを模式的に示した図である。学習データ11cには、ナゲットNが含まれる試験片Tの画像である入力画像と、その入力画像から検出すべきナゲットNの画像である教師画像とが対応付けられて記憶される。具体的に教師画像は、入力画像に基づいてユーザが作成された画像であって、入力画像から検出すべきナゲットNとナゲットN以外の物体とを異なる色、即ち図2(b)で説明したナゲット領域画像Pnと同様の態様で描画された画像が記憶される。 Figure 3(b) is a schematic diagram of the learning data 11c. In the learning data 11c, an input image, which is an image of a test piece T including a nugget N, and a teacher image, which is an image of the nugget N to be detected from the input image, are stored in association with each other. Specifically, the teacher image is an image created by the user based on the input image, in which the nugget N to be detected from the input image and objects other than the nugget N are drawn in different colors, i.e., in a manner similar to the nugget area image Pn described in Figure 2(b), are stored.

学習データ11cには、ナゲットNの形状やナゲットN及び鋼板Spの色味が様々な入力画像と、その入力画像に対応する教師画像の組み合わせが多数(例えば10000組)記憶される。後述する学習処理で、学習データ11cに記憶された入力画像および教師画像を用いて、ナゲット判定モデルMが学習される。 The learning data 11c stores a large number of combinations (e.g., 10,000 pairs) of input images with various shapes of the nugget N and colors of the nugget N and the steel plate Sp, and teacher images corresponding to the input images. In the learning process described below, the nugget determination model M is trained using the input images and teacher images stored in the learning data 11c.

図3(a)に戻る。結果テーブル11dは、測定されたナゲット径Nhd、上板溶込深さNup及び下板溶込深さNdd等が記憶されるデータテーブルである。図3(c)を参照して結果テーブル11dを説明する。 Returning to FIG. 3(a), the result table 11d is a data table in which the measured nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd are stored. The result table 11d will be explained with reference to FIG. 3(c).

図3(c)は、結果テーブル11dを模式的に示した図である。結果テーブル11dには、入力画像Pから測定された上記のナゲット径Nhdと、上板溶込深さNupと、下板溶込深さNddと、入力装置2から入力された上板の板厚と、入力装置2から入力された下板の板厚と、測定に用いた入力画像Pと、その入力画像Pに対して測定されたナゲット径Nhd、上板溶込深さNup及び下板溶込深さNdd等を描画した結果画像Q(図7(b)参照)と、ナゲット径Nhd、上板溶込深さNup及び下板溶込深さNdd等から、スポット溶接が所定の規格に適合しているかどうかの判定結果(「OK」又は「NG」)とが対応付けられて記憶される。 Figure 3 (c) is a schematic diagram of the result table 11d. The result table 11d stores the nugget diameter Nhd measured from the input image P, the upper plate penetration depth Nup, the lower plate penetration depth Ndd, the plate thickness of the upper plate input from the input device 2, the plate thickness of the lower plate input from the input device 2, the input image P used for the measurement, the result image Q (see Figure 7 (b)) depicting the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd measured for the input image P, and the judgment result ("OK" or "NG") of whether the spot welding complies with a predetermined standard based on the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd, etc., in association with each other.

図3(a)に戻る。判定基準データ11eには、ナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddのそれぞれに対する所定の規格を満たすための基準値が記憶される。鋼板Spの上板または下板の板厚に応じて、所定の規格を満たすナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddが異なるため、鋼板Spの上板または下板の板厚に応じたそれぞれの基準値が判定基準データ11eに記憶される。なお、これら基準値は判定基準データ11eに記憶されるものに限られず、鋼板Spの上板または下板の板厚等から算出しても良い。この場合、例えば、上板溶込深さNupは鋼板Spの上板の板厚の20~90%の値と規定されているため、この規定に基づいて上板溶込深さNupの基準値を算出すれば良い。 Return to FIG. 3(a). The criterion data 11e stores reference values for satisfying the predetermined standards for the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd. Since the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd that satisfy the predetermined standards differ depending on the thickness of the upper or lower plate of the steel plate Sp, the respective reference values according to the thickness of the upper or lower plate of the steel plate Sp are stored in the criterion data 11e. Note that these reference values are not limited to those stored in the criterion data 11e, and may be calculated from the thickness of the upper or lower plate of the steel plate Sp. In this case, for example, the upper plate penetration depth Nup is specified to be 20 to 90% of the thickness of the upper plate of the steel plate Sp, so the reference value of the upper plate penetration depth Nup can be calculated based on this specification.

RAM12は、CPU10が測定プログラム11aの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するためのメモリである。図3(d)を参照して、RAM12を説明する。 RAM 12 is a memory for rewritably storing various work data, flags, etc. when CPU 10 executes measurement program 11a. RAM 12 will be described with reference to FIG. 3(d).

図3(d)は、RAM12を模式的に示した図である。図3(d)に示す通り、RAM12には、図2(a)に示すような入力画像Pが記憶される入力画像メモリ12aと、図2(b)に示すようなナゲット領域画像Pnが記憶されるナゲット領域画像メモリ12bと、上板の板厚の実際の寸法が記憶される上板板厚メモリ12cと、下板の板厚の実際の寸法が記憶される下板板厚メモリ12dと、上板の板厚のピクセル数が記憶される上板板厚ピクセルメモリ12eと、下板の板厚のピクセル数が記憶される下板板厚ピクセルメモリ12fと、変換係数メモリ12gと、ナゲットNの位置が記憶されるナゲット位置メモリ12hと、上記のナゲット径Nhdが記憶されるナゲット径メモリ12iと、板境界Bの位置が記憶される板境界位置メモリ12jと、上板溶込深さNupが記憶される上板溶込深さメモリ12kと、下板溶込深さNddが記憶される下板溶込深さメモリ12mと、結果画像Q(図7(b)参照)が記憶される結果画像メモリ12nとが設けられる。 3(d) is a schematic diagram of the RAM 12. As shown in FIG. 3(d), the RAM 12 includes an input image memory 12a in which an input image P as shown in FIG. 2(a) is stored, a nugget area image memory 12b in which a nugget area image Pn as shown in FIG. 2(b) is stored, an upper plate thickness memory 12c in which the actual dimension of the thickness of the upper plate is stored, a lower plate thickness memory 12d in which the actual dimension of the thickness of the lower plate is stored, an upper plate thickness pixel memory 12e in which the number of pixels of the thickness of the upper plate is stored, and a lower plate thickness pixel memory 12f in which the number of pixels of the thickness of the lower plate is stored. There are provided a plate thickness pixel memory 12f, a conversion coefficient memory 12g, a nugget position memory 12h in which the position of the nugget N is stored, a nugget diameter memory 12i in which the above-mentioned nugget diameter Nhd is stored, a plate boundary position memory 12j in which the position of the plate boundary B is stored, an upper plate penetration depth memory 12k in which the upper plate penetration depth Nup is stored, a lower plate penetration depth memory 12m in which the lower plate penetration depth Ndd is stored, and a result image memory 12n in which a result image Q (see FIG. 7(b)) is stored.

変換係数メモリ12gは、上記した定規Jの目盛り線に基づいて算出された変換係数が記憶されるメモリである。本実施形態において変換係数は、隣り合う目盛り線の実際の距離を、入力画像Pにおける隣り合う目盛り線間のピクセル数で除した値とされる。 The conversion coefficient memory 12g is a memory that stores the conversion coefficients calculated based on the scale lines of the ruler J described above. In this embodiment, the conversion coefficient is the actual distance between adjacent scale lines divided by the number of pixels between the adjacent scale lines in the input image P.

次に図4~7を参照して、測定装置1のCPU10で実行されるメイン処理を説明する。図4(a)は、メイン処理のフローチャートである。メイン処理は、測定装置1の電源投入後に実行される処理である。 Next, the main processing executed by the CPU 10 of the measuring device 1 will be described with reference to Figures 4 to 7. Figure 4(a) is a flowchart of the main processing. The main processing is processing that is executed after the measuring device 1 is powered on.

メイン処理はまず、測定装置1の動作モードを確認する(S1)。本実施形態における測定装置1の動作モードには、学習データ11c(図3(b)参照)に基づいてナゲット判定モデルMへの学習を行う「学習モード」と、カメラCから取得された入力画像Pからナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddを測定し、それらが所定の規格に適合するか判定する「判定モード」とが設けられる。S1の処理では、入力装置2を介してユーザから指定された動作モードが確認される。 The main process first checks the operation mode of the measuring device 1 (S1). In this embodiment, the operation modes of the measuring device 1 include a "learning mode" in which the nugget determination model M is trained based on the learning data 11c (see FIG. 3(b)), and a "determination mode" in which the nugget diameter Nhd, upper plate penetration depth Nup, and lower plate penetration depth Ndd are measured from the input image P acquired from the camera C, and it is determined whether they conform to a predetermined standard. In the process of S1, the operation mode specified by the user via the input device 2 is confirmed.

S1の処理において、動作モードが学習モードの場合は(S1:学習モード)、学習処理(S2)を実行する。ここで、図4(b)を参照して学習処理を説明する。 In the process of S1, if the operation mode is the learning mode (S1: learning mode), the learning process (S2) is executed. Here, the learning process will be explained with reference to FIG. 4(b).

図4(b)は、学習処理のフローチャートである。学習処理は、まず、学習データ11cを用いた機械学習によって、ナゲット判定モデル11bのナゲット判定モデルMを調整する(S10)。具体的には、ナゲット判定モデルMには、入力画像からナゲット領域画像Pnを出力する際の、ナゲットNの検出度合い等を設定するためのパラメータ(係数)が用意されており、パラメータが調整可能に構成される。S10の処理では、学習データ11cにおける全ての入力画像からナゲット判定モデルMを用いて作成されたナゲット領域画像Pnと、該当する学習データ11cの教師画像とを比較し、これらの相違が小さくなるように、ナゲット判定モデルMのパラメータを自動調整する。 Figure 4 (b) is a flowchart of the learning process. In the learning process, first, the nugget determination model M of the nugget determination model 11b is adjusted by machine learning using the learning data 11c (S10). Specifically, the nugget determination model M is provided with parameters (coefficients) for setting the degree of detection of the nugget N when outputting the nugget area image Pn from the input image, and the parameters are configured to be adjustable. In the process of S10, the nugget area image Pn created using the nugget determination model M from all input images in the learning data 11c is compared with the teacher image of the corresponding learning data 11c, and the parameters of the nugget determination model M are automatically adjusted so that the difference between them is reduced.

S10の処理の後、再度学習データ11cにおける全ての入力画像からナゲット判定モデル11bのナゲット判定モデルMを用いて作成されたナゲット領域画像Pnと、該当する学習データ11cの教師画像とを比較し、これらの相違が十分に小さいかを確認する(S11)。S11の処理において、相違が大きい場合は(S11:No)、S10の処理を繰り返す。このようにナゲット判定モデルMへのパラメータの調整を繰り返すことで、ナゲット判定モデルMによるナゲットNの検出精度が向上するので、入力画像PからナゲットNをより好適に検出できる。一方で、S11の処理において、相違が十分に小さい場合は(S11:Yes)、学習処理を終了する。 After the process of S10, the nugget area image Pn created from all input images in the learning data 11c using the nugget determination model M of the nugget determination model 11b is compared again with the teacher image of the corresponding learning data 11c to confirm whether the difference between them is sufficiently small (S11). If the difference is large in the process of S11 (S11: No), the process of S10 is repeated. By repeating the adjustment of the parameters of the nugget determination model M in this way, the detection accuracy of the nugget N by the nugget determination model M is improved, so that the nugget N can be more suitably detected from the input image P. On the other hand, if the difference is sufficiently small in the process of S11 (S11: Yes), the learning process is terminated.

図4(a)に戻る。S1の処理において、動作モードが判定モードの場合は(S1:判定モード)、判定処理(S3)を実行する。図5~7を参照して判定処理を説明する。 Returning to FIG. 4(a), in the process of S1, if the operation mode is the judgment mode (S1: judgment mode), the judgment process (S3) is executed. The judgment process will be explained with reference to FIGS. 5 to 7.

図5は、判定処理のフローチャートである。判定処理は、まず、カメラCから入力画像Pを取得し、入力画像メモリ12aへ保存すると共に、表示装置3へ表示する(S20)。ここで図7(a)を参照して、表示装置3の表示内容を説明する。 Figure 5 is a flowchart of the determination process. In the determination process, first, an input image P is acquired from the camera C, and is stored in the input image memory 12a and displayed on the display device 3 (S20). Here, the display contents of the display device 3 will be described with reference to Figure 7 (a).

図7(a)は、ナゲットNの検出開始前の表示装置3の表示内容を表す図である。図7(a)に示す通り、表示装置3には、入力画面表示エリア3aと、結果画像表示エリア3bと、ナゲット径Nhd等の測定結果が表示される数値表示エリア3cとが設けられる。入力画面表示エリア3aには、図5のS20の処理で取得された入力画像Pが表示される。結果画像表示エリア3bには、入力画像Pに基づく結果画像Qが表示される。 Figure 7(a) is a diagram showing the display contents of the display device 3 before detection of the nugget N begins. As shown in Figure 7(a), the display device 3 is provided with an input screen display area 3a, a result image display area 3b, and a numerical display area 3c in which measurement results such as the nugget diameter Nhd are displayed. The input screen display area 3a displays the input image P acquired in the process of S20 in Figure 5. The result image display area 3b displays a result image Q based on the input image P.

数値表示エリア3cには、上板の板厚を入力する上板エリア3dと、下板の板厚を入力する下板エリア3eと、ナゲットNの検出の開始を指示する検出開始ボタン3fと、ナゲット径Nhdを表示または入力するナゲット径エリア3gと、上板溶込深さNupを表示または入力する上板溶込深さエリア3hと、下板溶込深さNddを表示または入力する下板溶込深さエリア3iと、判定結果が表示される結果エリア3jと、次の入力画像Pの取得を指示する次の読込ボタン3kと、図5の判定処理の終了を指示する終了ボタン3mとが設けられる。 The numerical display area 3c includes an upper plate area 3d for inputting the thickness of the upper plate, a lower plate area 3e for inputting the thickness of the lower plate, a detection start button 3f for instructing the start of detection of the nugget N, a nugget diameter area 3g for displaying or inputting the nugget diameter Nhd, an upper plate penetration depth area 3h for displaying or inputting the upper plate penetration depth Nup, a lower plate penetration depth area 3i for displaying or inputting the lower plate penetration depth Ndd, a result area 3j for displaying the judgment result, a next load button 3k for instructing the acquisition of the next input image P, and an end button 3m for instructing the end of the judgment process of FIG. 5.

このうち、ナゲット径エリア3g、上板溶込深さエリア3h及び下板溶込深さエリア3iにおいては、後述する検出処理で測定されたナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddがそれぞれ表示され、あるいは入力装置2を介してユーザから入力された値が表示される。 Of these, the nugget diameter area 3g, the upper plate penetration depth area 3h, and the lower plate penetration depth area 3i display the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd measured in the detection process described below, respectively, or display values input by the user via the input device 2.

図7(a)においては、ナゲットNの検出が実行される前なので、ナゲット径エリア3g、上板溶込深さエリア3h及び下板溶込深さエリア3iには、ブランク(空白)が表示され、結果画像表示エリア3bには結果画像Qの代わりに、ブランク画像BL(図7(a)では「×」で表す)が表示される。また、数値表示エリア3cでは、検出開始ボタン3fが操作可能であることを表す実線で表示されるのに対して、次の読込ボタン3k及び終了ボタン3mは、操作不可能であることを表す破線で表示される。なお、終了ボタン3mを常に操作可能であることを表す実線で表示しても良い。 In FIG. 7(a), before detection of the nugget N is performed, the nugget diameter area 3g, the upper plate penetration depth area 3h, and the lower plate penetration depth area 3i are displayed blank, and the result image display area 3b displays a blank image BL (represented by an "x" in FIG. 7(a)) instead of the result image Q. In addition, in the numerical value display area 3c, the detection start button 3f is displayed with a solid line indicating that it is operable, while the next load button 3k and the end button 3m are displayed with a dashed line indicating that they are not operable. Note that the end button 3m may be displayed with a solid line indicating that it is always operable.

図5に戻る。S20の処理の後、ユーザから入力装置2を介して上板エリア3d及び下板エリア3e(共に図7(a)参照)に入力した値を、それぞれ上板板厚メモリ12c及び下板板厚メモリ12dに保存する(S21)。 Returning to FIG. 5, after the processing of S20, the values input by the user via the input device 2 into the upper plate area 3d and the lower plate area 3e (both see FIG. 7(a)) are stored in the upper plate thickness memory 12c and the lower plate thickness memory 12d, respectively (S21).

S21の処理の後、検出開始ボタン3fが操作されたかを確認する(S22)。S22の処理において、検出開始ボタン3fが操作されていない場合は(S22:No)、待機し、検出開始ボタン3fが操作された場合は(S22:Yes)、検出処理(S23)を実行する。ここで図6を参照して、S23の検出処理を説明する。 After the process of S21, it is confirmed whether the detection start button 3f has been operated (S22). In the process of S22, if the detection start button 3f has not been operated (S22: No), the process waits, and if the detection start button 3f has been operated (S22: Yes), the detection process (S23) is executed. The detection process of S23 will now be described with reference to FIG. 6.

図6は、検出処理のフローチャートである。検出処理は、入力画像メモリ12aの入力画像PからナゲットNを検出し、検出されたナゲットNに基づいてナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddを測定する処理である。 Figure 6 is a flowchart of the detection process. The detection process is a process of detecting a nugget N from the input image P in the input image memory 12a, and measuring the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd based on the detected nugget N.

検出処理はまず、入力画像メモリ12aの入力画像Pをナゲット判定モデルMに入力してナゲット領域画像Pnを作成し、そのナゲット領域画像Pnをナゲット領域画像メモリ12bへ保存する(S40)。S40の処理の後、ナゲット領域画像メモリ12bのナゲット領域画像PnからナゲットNの位置を取得し、その座標をナゲット位置メモリ12hへ保存する(S41)。 The detection process begins by inputting the input image P in the input image memory 12a into the nugget determination model M to create a nugget area image Pn, which is then stored in the nugget area image memory 12b (S40). After the process of S40, the position of the nugget N is obtained from the nugget area image Pn in the nugget area image memory 12b, and its coordinates are stored in the nugget position memory 12h (S41).

S41の処理の後、入力画像Pにおける試験片Tや定規Jの位置および寸法を取得するため、まず入力画像Pにおける水平方向の直線状の画像を検出する(S42)。水平方向の直線状の画像の検出は、既知の画像処理(例えばハフ変換)によって行われる。 After the process of S41, in order to obtain the positions and dimensions of the test piece T and the ruler J in the input image P, first, a linear image in the horizontal direction is detected in the input image P (S42). The detection of a linear image in the horizontal direction is performed by known image processing (e.g., Hough transform).

S42の処理の後、入力画像Pにおける垂直方向(図2(a)における上下方向)の直線状の画像を検出し、検出された垂直方向の直線状の画像から定規Jの目盛り線を検出する(S43)。入力画像Pにおける垂直方向の直線状の画像の検出は、S42の処理と同様に、既知の画像処理(例えばハフ変換)によって行われる。本実施形態では、検出された垂直方向の直線状の画像のうち、入力画像Pにおける下端付近の垂直方向の直線状の画像が定規Jの目盛り線なので、かかる画像を検出する。 After the process of S42, linear images in the vertical direction (the up and down direction in FIG. 2(a)) are detected in the input image P, and the scale lines of the ruler J are detected from the detected linear images in the vertical direction (S43). The detection of linear images in the vertical direction in the input image P is performed by known image processing (e.g., Hough transform) as in the process of S42. In this embodiment, of the detected linear images in the vertical direction, the linear images in the vertical direction near the bottom end of the input image P are the scale lines of the ruler J, and therefore such images are detected.

S43の処理の後、S43の処理で検出された定規Jの隣り合う目盛り線間の実際の距離とピクセル数とから、変換係数を取得し、変換係数メモリ12gへ保存する(S44)。具体的には、S43の処理で検出された定規Jの隣り合う目盛り線をそれぞれ取得し、隣り合う目盛り線間における水平方向のピクセル数を取得する。そして、隣り合う目盛り線間の実際の距離(例えば1mm)を、隣り合う目盛り線間の水平方向のピクセル数で割ることで取得された値、即ち変換係数を、変換係数メモリ12gへ保存する。 After the process of S43, a conversion coefficient is obtained from the actual distance and number of pixels between adjacent scale lines of ruler J detected in the process of S43, and is stored in conversion coefficient memory 12g (S44). Specifically, adjacent scale lines of ruler J detected in the process of S43 are obtained, and the number of pixels in the horizontal direction between adjacent scale lines is obtained. Then, the actual distance between adjacent scale lines (for example, 1 mm) is divided by the number of pixels in the horizontal direction between adjacent scale lines to obtain the obtained value, i.e., the conversion coefficient, and stored in conversion coefficient memory 12g.

S44の処理の後、S42の処理で検出された入力画像Pの水平方向の直線状の画像から、上板の上端、および下板の下端を検出する(S45)。具体的に、図2(c)を用いてS45の処理を説明すると、入力画像Pにおける上端から1本目の直線状の画像が上板の上端とされ、入力画像Pにおける下端から2本目の水平方向の直線状の画像が、下板の下端とされる。 After the process of S44, the top end of the upper plate and the bottom end of the lower plate are detected from the horizontally linear image of the input image P detected in the process of S42 (S45). To explain the process of S45 specifically using FIG. 2(c), the first linear image from the top end of the input image P is determined to be the top end of the upper plate, and the second horizontally linear image from the bottom end of the input image P is determined to be the bottom end of the lower plate.

図6に戻る。S45の処理の後、上板板厚メモリ12c及び下板板厚メモリ12dの各値を、変換係数メモリ12gの変換係数を用いてピクセル数に変換し、上板板厚ピクセルメモリ12e及び下板板厚ピクセルメモリ12fに保存する(S46)。具体的には、上板板厚メモリ12c及び下板板厚メモリ12dの各値を変換係数メモリ12gの変換係数で除した値を、上板板厚ピクセルメモリ12e及び下板板厚ピクセルメモリ12fそれぞれに保存する。 Returning to FIG. 6, after the processing of S45, each value of the upper plate thickness memory 12c and the lower plate thickness memory 12d is converted to the number of pixels using the conversion coefficient of the conversion coefficient memory 12g, and stored in the upper plate thickness pixel memory 12e and the lower plate thickness pixel memory 12f (S46). Specifically, each value of the upper plate thickness memory 12c and the lower plate thickness memory 12d is divided by the conversion coefficient of the conversion coefficient memory 12g, and the value is stored in the upper plate thickness pixel memory 12e and the lower plate thickness pixel memory 12f, respectively.

S46の処理の後、上板板厚ピクセルメモリ12e及び下板板厚ピクセルメモリ12fと、S46の処理で変換した上板の上端および下板の下端との各値から、板境界Bの座標を算出し、板境界位置メモリ12jへ保存する(S47)。具体的には、上板の上端の座標から上板板厚ピクセルメモリ12eのピクセル数分だけ下方に移動した位置、及び下板の下端の座標から下板板厚ピクセルメモリ12fのピクセル数分だけ上方に移動した位置が板境界Bの位置なので、かかる位置の座標が、板境界位置メモリ12jに保存される。 After the process of S46, the coordinates of plate boundary B are calculated from the upper plate thickness pixel memory 12e and the lower plate thickness pixel memory 12f and the values of the upper end of the upper plate and the lower end of the lower plate converted in the process of S46, and are stored in plate boundary position memory 12j (S47). Specifically, the position moved downward from the coordinates of the upper end of the upper plate by the number of pixels in the upper plate thickness pixel memory 12e, and the position moved upward from the coordinates of the lower end of the lower plate by the number of pixels in the lower plate thickness pixel memory 12f are the positions of plate boundary B, and the coordinates of these positions are stored in plate boundary position memory 12j.

S47の処理の後、ナゲット位置メモリ12h及び板境界位置メモリ12jの各座標と変換係数メモリ12gの変換係数とから、ナゲット径Nhdを測定し、ナゲット径メモリ12iに保存する(S48)。具体的にナゲット径Nhdは、ナゲット位置メモリ12hにおけるナゲットNの輪郭Neと、板境界位置メモリ12jの板境界Bとの交点B1,B2(図2(c)参照)の座標を取得し、取得された交点B1,B2間の長さが即ちナゲット径Nhdとして測定される。更に測定されたナゲット径Nhdに変換係数メモリ12gの変換係数を乗じることで、ナゲット径Nhdの実際の寸法に変換され、かかる寸法がナゲット径メモリ12iに保存される。 After the process of S47, the nugget diameter Nhd is measured from the coordinates of the nugget position memory 12h and the plate boundary position memory 12j and the conversion coefficient of the conversion coefficient memory 12g, and stored in the nugget diameter memory 12i (S48). Specifically, the nugget diameter Nhd is measured by acquiring the coordinates of the intersections B1 and B2 (see FIG. 2(c)) between the outline Ne of the nugget N in the nugget position memory 12h and the plate boundary B in the plate boundary position memory 12j, and the length between the acquired intersections B1 and B2 is measured as the nugget diameter Nhd. Furthermore, the measured nugget diameter Nhd is converted to the actual dimension of the nugget diameter Nhd by multiplying it by the conversion coefficient of the conversion coefficient memory 12g, and this dimension is stored in the nugget diameter memory 12i.

S48の処理の後、板境界位置メモリ12jの板境界Bと平行な直線である平行直線を複数算出する(S49)。S49の処理の後、算出された平行直線のうち、ナゲット位置メモリ12hのナゲットNの輪郭Neとの交点間の距離がナゲット径メモリ12iのナゲット径Nhdの8割である平行直線を特定する(S50)。 After the process of S48, multiple parallel straight lines that are parallel to the plate boundary B in the plate boundary position memory 12j are calculated (S49). After the process of S49, among the calculated parallel straight lines, a parallel straight line is identified whose distance between the intersection points with the contour Ne of the nugget N in the nugget position memory 12h is 80% of the nugget diameter Nhd in the nugget diameter memory 12i (S50).

S50の処理の後、特定された平行直線と板境界位置メモリ12jの板境界Bとの距離と、変換係数メモリ12gの変換係数とから上板溶込深さNup及び下板溶込深さNddを測定し、上板溶込深さメモリ12k及び下板溶込深さメモリ12mへ保存する(S51)。具体的に、S50の処理で特定された平行直線のうち、板境界位置メモリ12jの板境界Bよりも上方の平行直線(具体的には図2(c)における交点B3,B4を通る平行直線)と板境界位置メモリ12jの板境界Bとの距離が、上板溶込深さNupとして測定される。更に測定された上板溶込深さNupに変換係数メモリ12gの変換係数を乗じることで、上板溶込深さNupの実際の寸法に変換され、かかる寸法が上板溶込深さメモリ12kに保存される。 After the process of S50, the upper plate penetration depth Nup and the lower plate penetration depth Ndd are measured from the distance between the identified parallel straight line and the plate boundary B in the plate boundary position memory 12j and the conversion coefficient in the conversion coefficient memory 12g, and are stored in the upper plate penetration depth memory 12k and the lower plate penetration depth memory 12m (S51). Specifically, of the parallel straight lines identified in the process of S50, the distance between the parallel straight line above the plate boundary B in the plate boundary position memory 12j (specifically, the parallel straight line passing through the intersections B3 and B4 in FIG. 2(c)) and the plate boundary B in the plate boundary position memory 12j is measured as the upper plate penetration depth Nup. Furthermore, the measured upper plate penetration depth Nup is converted into the actual dimension of the upper plate penetration depth Nup by multiplying it by the conversion coefficient in the conversion coefficient memory 12g, and this dimension is stored in the upper plate penetration depth memory 12k.

一方、S50の処理で特定された平行直線のうち、板境界位置メモリ12jの板境界Bよりも下方の平行直線(具体的には図2(c)における交点B5,B6を通る平行直線)と板境界位置メモリ12jの板境界Bとの距離が下板溶込深さNddとして測定される。更に測定された下板溶込深さNddに変換係数メモリ12gの変換係数を乗じることで、下板溶込深さNddの実際の寸法に変換され、かかる寸法が下板溶込深さメモリ12mに保存される。 On the other hand, among the parallel straight lines identified in the processing of S50, the distance between the parallel straight line below the plate boundary B in the plate boundary position memory 12j (specifically, the parallel straight line passing through the intersection points B5 and B6 in FIG. 2(c)) and the plate boundary B in the plate boundary position memory 12j is measured as the lower plate penetration depth Ndd. Furthermore, the measured lower plate penetration depth Ndd is multiplied by the conversion coefficient in the conversion coefficient memory 12g to convert it into the actual dimension of the lower plate penetration depth Ndd, and this dimension is stored in the lower plate penetration depth memory 12m.

以上の検出処理では、まず、入力画像メモリ12aの入力画像Pとナゲット判定モデルMとから、入力画像PにおけるナゲットNが検出される。上板板厚メモリ12c及び下板板厚メモリ12dと、上板の上端および下板の下端との各値から板境界Bが測定され、検出されたナゲットNの輪郭Neと板境界Bとからナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddが測定される。ここでナゲットNは、図2(c)に示したように、重ね合わせた鋼板Spと鋼板Spとの境界、即ち板境界Bを跨ぐように形成されるので、板境界BはナゲットNに関わる位置とされる。かかる板境界Bを基準に、ナゲットNにおけるナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddを測定することで、これらの寸法を正確に測定できる。 In the above detection process, first, the nugget N in the input image P is detected from the input image P in the input image memory 12a and the nugget determination model M. The plate boundary B is measured from the upper plate thickness memory 12c and the lower plate thickness memory 12d, and the values of the upper end of the upper plate and the lower end of the lower plate, and the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd are measured from the contour Ne of the detected nugget N and the plate boundary B. Here, as shown in FIG. 2(c), the nugget N is formed so as to straddle the boundary between the overlapped steel plates Sp and the steel plates Sp, i.e., the plate boundary B, so that the plate boundary B is regarded as a position related to the nugget N. By measuring the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd in the nugget N based on the plate boundary B, these dimensions can be measured accurately.

また、入力画像Pにおける上板の上端や下板の下端といった水平方向の直線状の画像や、定規Jの目盛り線といった垂直方向の直線状の画像が、画像処理によって検出される。形状が単純なこれら直線状の画像を画像処理で検出することで、ナゲット判定モデルMのような学習モデルを予め用意し、直線状の画像の検出の際に学習モデルを参照する必要がない。これにより、直線状の画像の検出を容易かつ迅速に行うことができる。 In addition, horizontally linear images such as the top end of the upper plate and the bottom end of the lower plate in the input image P, and vertically linear images such as the scale lines of a ruler J are detected by image processing. By detecting these linear images, which have simple shapes, by image processing, it is not necessary to prepare a learning model such as the nugget determination model M in advance and refer to the learning model when detecting linear images. This makes it possible to easily and quickly detect linear images.

ナゲットNを検出するナゲット判定モデルMは、様々な形状および色味のナゲットNの画像とその画像から検出すべき教師画像とに基づいた学習モデルとして構成される。かかるナゲット判定モデルMに入力画像メモリ12aの入力画像Pを入力することで、入力画像PからナゲットNをナゲットN以外の物体と区別して検出できるので、ナゲットNの誤検出を抑制できる。 The nugget determination model M for detecting nuggets N is configured as a learning model based on images of nuggets N of various shapes and colors and teacher images to be detected from those images. By inputting the input image P of the input image memory 12a to such a nugget determination model M, the nugget N can be detected from the input image P in a manner that distinguishes it from objects other than the nugget N, thereby suppressing erroneous detection of the nugget N.

加えて、ナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddの算出に際して、定規Jの目盛り線に基づく変換係数メモリ12gの変換係数が用いられる。これにより、入力画像Pのピクセル数に基づくナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddから、これらの実際の寸法を正確かつ容易に測定できる。 In addition, when calculating the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd, the conversion coefficients in the conversion coefficient memory 12g based on the scale lines of the ruler J are used. This allows the actual dimensions of the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd, which are based on the number of pixels of the input image P, to be accurately and easily measured.

図5に戻る。S23の検出処理の後、入力画像メモリ12aの入力画像Pに、ナゲット位置メモリ12hのナゲットN、図6のS45の処理で算出された上板の上端および下板の下端、ならびに板境界位置メモリ12jの板境界Bのそれぞれの位置と、ナゲット径メモリ12iのナゲット径Nhd、上板溶込深さメモリ12kの上板溶込深さNup及び下板溶込深さメモリ12mの下板溶込深さNddのそれぞれの寸法情報とを合成した、結果画像Q(図7(b)参照)を生成し、結果画像メモリ12nへ保存する(S24)。 Returning to FIG. 5, after the detection process of S23, the input image P in the input image memory 12a is combined with the nugget N in the nugget position memory 12h, the positions of the upper end of the upper plate and the lower end of the lower plate calculated in the process of S45 of FIG. 6, and the plate boundary B in the plate boundary position memory 12j, and the dimensional information of the nugget diameter Nhd in the nugget diameter memory 12i, the upper plate penetration depth Nup in the upper plate penetration depth memory 12k, and the lower plate penetration depth Ndd in the lower plate penetration depth memory 12m to generate a result image Q (see FIG. 7(b)), which is then stored in the result image memory 12n (S24).

S24の処理の後、ナゲット径メモリ12iのナゲット径Nhd、上板溶込深さメモリ12kの上板溶込深さNup、下板溶込深さメモリ12mの下板溶込深さNdd及び結果画像メモリ12nの結果画像Qを、表示装置3へ表示する(S25)。かかるS25の処理による表示装置3の表示内容を、図7(b)を参照して説明する。 After the process of S24, the nugget diameter Nhd in the nugget diameter memory 12i, the upper plate penetration depth Nup in the upper plate penetration depth memory 12k, the lower plate penetration depth Ndd in the lower plate penetration depth memory 12m, and the result image Q in the result image memory 12n are displayed on the display device 3 (S25). The display contents of the display device 3 as a result of the process of S25 will be described with reference to FIG. 7(b).

図7(b)は、ナゲットNの検出開始後の表示装置3の表示内容を表す図である。図7(b)に示す通り、ナゲットNの検出開始後の表示装置3における結果画像表示エリア3bには、図5のS25の処理により結果画像メモリ12nの結果画像Qが表示される。結果画像表示エリア3bの結果画像Qと、入力画面表示エリア3aの入力画像Pとを比較することで、ナゲットNや板境界B等の位置と、ナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddのそれぞれの寸法情報とを、視覚的に把握できる。 Figure 7(b) is a diagram showing the display contents of the display device 3 after detection of the nugget N has started. As shown in Figure 7(b), after detection of the nugget N has started, the result image Q of the result image memory 12n is displayed in the result image display area 3b of the display device 3 by the process of S25 in Figure 5. By comparing the result image Q in the result image display area 3b with the input image P in the input screen display area 3a, the positions of the nugget N, the plate boundary B, etc., and the respective dimensional information of the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd can be visually grasped.

加えて、図5のS25の処理により、数値表示エリア3cにおけるナゲット径エリア3gにはナゲット径メモリ12iのナゲット径Nhdの値が表示され、上板溶込深さエリア3hには上板溶込深さメモリ12kの上板溶込深さNupの値が表示され、下板溶込深さエリア3iには、下板溶込深さメモリ12mの下板溶込深さNddの値が表示される。 In addition, by processing S25 in FIG. 5, the nugget diameter area 3g in the numerical display area 3c displays the value of the nugget diameter Nhd in the nugget diameter memory 12i, the upper plate penetration depth area 3h displays the value of the upper plate penetration depth Nup in the upper plate penetration depth memory 12k, and the lower plate penetration depth area 3i displays the value of the lower plate penetration depth Ndd in the lower plate penetration depth memory 12m.

従って、作業員は、結果画像表示エリア3bの結果画像QでナゲットNの検出結果の概要を確認しながら、具体的なナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddの値をナゲット径エリア3g、上板溶込深さエリア3h及び下板溶込深さエリア3iで確認できる。これにより、作業員によるナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddの検証を効率良くできる。 Therefore, the worker can check the specific values of the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd in the nugget diameter area 3g, the upper plate penetration depth area 3h, and the lower plate penetration depth area 3i, while checking the overview of the detection result of the nugget N in the result image Q in the result image display area 3b. This allows the worker to efficiently verify the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd.

また図7(b)では、ナゲットNの検出が実行された後なので、ナゲットNの検出の重複を防ぐため、検出開始ボタン3fが操作不可能であることを表す破線で表示される。一方で、ナゲットNの検出が実行され、ナゲット径Nhd等が測定された後なので、次の読込ボタン3kと終了ボタン3mとが、操作可能であることを表す実線で表示される。 In addition, in FIG. 7(b), since the detection of the nugget N has already been performed, the detection start button 3f is displayed with a dashed line indicating that it is inoperable to prevent duplication of the detection of the nugget N. On the other hand, since the detection of the nugget N has already been performed and the nugget diameter Nhd, etc. has been measured, the next load button 3k and the end button 3m are displayed with a solid line indicating that they are operable.

図5に戻る。S25の処理の後、上板板厚メモリ12c、下板板厚メモリ12d、ナゲット径メモリ12i、上板溶込深さメモリ12k及び下板溶込深さメモリ12mに各値が、判定基準データ11eの基準値に適合しているかを判定し、その結果を表示装置3の結果エリア3j(図7(b)参照)に表示する(S26)。 Return to FIG. 5. After the process of S25, it is determined whether each value in the upper plate thickness memory 12c, the lower plate thickness memory 12d, the nugget diameter memory 12i, the upper plate penetration depth memory 12k, and the lower plate penetration depth memory 12m conforms to the reference value of the judgment criteria data 11e, and the result is displayed in the result area 3j (see FIG. 7(b)) of the display device 3 (S26).

具体的には、判定基準データ11eから上板板厚メモリ12c及び下板板厚メモリ12dの板厚に該当するナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddの基準値をそれぞれ取得する。取得された各基準値に、ナゲット径メモリ12iのナゲット径Nhd、上板溶込深さメモリ12kの上板溶込深さNup及び下板溶込深さメモリ12mの下板溶込深さNddが全て適合する場合は、結果エリア3jに「OK」が表示され、1つでも適合しない場合は結果エリア3jに「NG」が表示される。 Specifically, the reference values of the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd corresponding to the plate thicknesses in the upper plate thickness memory 12c and the lower plate thickness memory 12d are obtained from the judgment criteria data 11e. If the nugget diameter Nhd in the nugget diameter memory 12i, the upper plate penetration depth Nup in the upper plate penetration depth memory 12k, and the lower plate penetration depth Ndd in the lower plate penetration depth memory 12m all match the obtained reference values, "OK" is displayed in the result area 3j, and if even one does not match, "NG" is displayed in the result area 3j.

即ち入力画像メモリ12aの入力画像Pから検出されたナゲットNに基づいて、ナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddが測定される。測定されたナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddに基づいて、入力画像Pにおける試験片Tのスポット溶接が所定の規格に適合しているかが判定される。 That is, the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd are measured based on the nugget N detected from the input image P of the input image memory 12a. Based on the measured nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd, it is determined whether the spot welding of the test piece T in the input image P complies with a specified standard.

これにより、測定に用いるナゲットNと判定に用いるナゲットNとを同一とできるので、測定されたナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddに基づくスポット溶接が、所定の規格に適合しているかを正確に判定できる。また、入力画像Pの取得のみで、ナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddの測定と、試験片Tへのスポット溶接の判定とを共に実施できるので、これら測定および判定を容易とし、作業員の手間を軽減できる。 This allows the nugget N used for measurement and the nugget N used for judgment to be the same, so it is possible to accurately judge whether the spot welding complies with the specified standards based on the measured nugget diameter Nhd, upper plate penetration depth Nup, and lower plate penetration depth Ndd. In addition, by simply acquiring the input image P, it is possible to measure the nugget diameter Nhd, upper plate penetration depth Nup, and lower plate penetration depth Ndd, and judge the spot welding to the test piece T, making these measurements and judgments easier and reducing the workload of the workers.

S26の処理の後、入力装置2を介して、ナゲット径エリア3g、上板溶込深さエリア3h又は下板溶込深さエリア3iのうち1つ以上の値が異常な値であるかを確認する(S27)。S27の処理において、ナゲット径エリア3g、上板溶込深さエリア3h又は下板溶込深さエリア3iのうち1つ以上の値が異常な値である場合は(S27:Yes)、作業員が入力装置2を介してナゲット径エリア3g、上板溶込深さエリア3h又は下板溶込深さエリア3iに入力した値で、該当するナゲット径メモリ12i、上板溶込深さメモリ12k及び下板溶込深さメモリ12mを更新し(S28)、S24以下の処理を繰り返す。なお、S28の処理で作業員が入力する値は、作業員自身が入力画像P又は結果画像Qから測定したナゲット径Nhd、上板溶込深さNup又は下板溶込深さNddでも良いし、別途の画像処理ソフトウェアで測定したナゲット径Nhd、上板溶込深さNup又は下板溶込深さNddでも良い。 After the process of S26, it is confirmed via the input device 2 whether one or more values of the nugget diameter area 3g, the upper plate penetration depth area 3h, or the lower plate penetration depth area 3i are abnormal (S27). In the process of S27, if one or more values of the nugget diameter area 3g, the upper plate penetration depth area 3h, or the lower plate penetration depth area 3i are abnormal (S27: Yes), the corresponding nugget diameter memory 12i, the upper plate penetration depth memory 12k, and the lower plate penetration depth memory 12m are updated with the values input by the operator to the nugget diameter area 3g, the upper plate penetration depth area 3h, or the lower plate penetration depth area 3i via the input device 2 (S28), and the process from S24 onwards is repeated. The values input by the worker in the process of S28 may be the nugget diameter Nhd, the upper plate penetration depth Nup, or the lower plate penetration depth Ndd measured by the worker himself from the input image P or the result image Q, or may be the nugget diameter Nhd, the upper plate penetration depth Nup, or the lower plate penetration depth Ndd measured using separate image processing software.

また、S27の処理において、ナゲット径エリア3g等が異常な値であるかどうかの確認に加え、作業員が結果画像表示エリア3bの結果画像Qに表示されるナゲット径Nhd、上板溶込深さNup又は下板溶込深さNddの位置が異常であると判断した場合は、S28の処理を実行して、作業員が入力装置2を介してナゲット径エリア3g等に入力した値で該当するナゲット径メモリ12i等を更新し、加えて、結果画像表示エリア3bの結果画像Qに表示されるナゲット径Nhd等の寸法情報の表示位置を、作業員が入力装置2を介して修正しても良い。この場合、これらの処理の後に、入力装置2を介して修正された結果画像Qを結果画像メモリ12nに保存することでS24の処理を省略し、S25以下の処理を実行すれば良い。 In addition to checking whether the nugget diameter area 3g etc. has an abnormal value in the process of S27, if the worker determines that the position of the nugget diameter Nhd, the upper plate penetration depth Nup, or the lower plate penetration depth Ndd displayed in the result image Q of the result image display area 3b is abnormal, the process of S28 is executed to update the corresponding nugget diameter memory 12i etc. with the value input by the worker in the nugget diameter area 3g etc. via the input device 2, and in addition, the display position of the dimensional information such as the nugget diameter Nhd displayed in the result image Q of the result image display area 3b may be corrected by the worker via the input device 2. In this case, after these processes, the result image Q corrected via the input device 2 is saved in the result image memory 12n, and the process of S24 can be omitted, and the processes from S25 onwards can be executed.

S27の処理において、ナゲット径エリア3g、上板溶込深さエリア3h及び下板溶込深さエリア3iの値がいずれも正常である場合は(S27:No)、上板板厚メモリ12c、下板板厚メモリ12d、ナゲット径メモリ12i、上板溶込深さメモリ12k及び下板溶込深さメモリ12mの各値と、結果画像メモリ12nの結果画像Qと、S26の処理で判定された判定結果とを結果テーブル11dに追加する(S29)。結果テーブル11dに追加された各値や結果画像Qを確認することで、判定処理を実行した後でもスポット溶接が所定の規格に適合しているかの検証や、またナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddの寸法に関する検証等を行うことができる。 In the process of S27, if the values of the nugget diameter area 3g, the upper plate penetration depth area 3h, and the lower plate penetration depth area 3i are all normal (S27: No), the values of the upper plate thickness memory 12c, the lower plate thickness memory 12d, the nugget diameter memory 12i, the upper plate penetration depth memory 12k, and the lower plate penetration depth memory 12m, the result image Q of the result image memory 12n, and the judgment result judged in the process of S26 are added to the result table 11d (S29). By checking the values and the result image Q added to the result table 11d, it is possible to verify whether the spot welding complies with the specified standard even after the judgment process is performed, and to verify the dimensions of the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd.

また、結果テーブル11dに追加された入力画像から対応する教師画像をユーザが作成し、これらを学習データ11cへ追加した上でS3の学習処理を行う。これにより、実際の判定処理に用いられた画像に基づいて、ナゲット判定モデル11bのナゲット判定モデルMが学習されるので、入力画像PからのナゲットNの検出精度をより向上させることができる。 The user also creates corresponding teacher images from the input images added to the result table 11d, and adds these to the learning data 11c before performing the learning process in S3. This allows the nugget determination model M of the nugget determination model 11b to be learned based on the images used in the actual determination process, thereby further improving the detection accuracy of the nugget N from the input image P.

S29の処理の後、次の読込ボタン3k又は終了ボタン3m(共に図7(b)参照)が操作されたかを確認する(S30)。S30の処理において、次の読込ボタン3kが操作された場合は(S30:次の読込ボタン)、次の試験片Tに対する入力画像Pの取得を行うため、S20以下の処理を繰り返す。一方で、S30の処理において、終了ボタン3mが操作された場合は(S30:終了ボタン)、判定処理を終了する。 After the process of S29, it is confirmed whether the Next Read button 3k or the End button 3m (both see FIG. 7(b)) has been operated (S30). If the Next Read button 3k has been operated in the process of S30 (S30: Next Read button), the process from S20 onwards is repeated to acquire an input image P for the next test piece T. On the other hand, if the End button 3m has been operated in the process of S30 (S30: End button), the judgment process is terminated.

図4(a)に戻る。S2又はS3の後、S1以下の処理を繰り返す。 Return to Figure 4(a). After S2 or S3, the process from S1 onwards is repeated.

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。 The present invention has been described above based on the embodiments, but the present invention is in no way limited to the above-mentioned embodiments, and it can be easily imagined that various improvements and modifications are possible within the scope of the invention without departing from its spirit.

上記実施形態では、ナゲット領域画像Pnは、入力画像PにおけるナゲットNとナゲットN以外の物体とを異なる色で描画した。しかし、ナゲット領域画像Pnの態様はこれに限られず、例えば、入力画像PにおけるナゲットNとナゲットN以外の物体とを異なる模様で描画しても良いし、ナゲットNの輪郭線のみ描画しても良い。かかる場合は、学習データ11c(図3(b)参照)における教師画像に、入力画像から検出すべき対応するナゲットNとナゲットN以外の物体との模様や、ナゲットNの輪郭Ne(図2(b)参照)のみからなる画像を記憶させ、S2の学習処理(図5)を実行すれば良い。 In the above embodiment, the nugget area image Pn depicts the nugget N and objects other than the nugget N in the input image P in different colors. However, the form of the nugget area image Pn is not limited to this, and for example, the nugget N and objects other than the nugget N in the input image P may be depicted in different patterns, or only the contour line of the nugget N may be depicted. In such a case, an image consisting only of the pattern of the corresponding nugget N and objects other than the nugget N to be detected from the input image, or the contour Ne of the nugget N (see FIG. 2(b)) may be stored in the teacher image in the learning data 11c (see FIG. 3(b)), and the learning process of S2 (FIG. 5) may be executed.

上記実施形態では、入力画像Pとナゲット判定モデルMとによって、ナゲット領域画像Pnを取得した。しかし、入力画像Pとナゲット判定モデルMとから取得されるのは、ナゲット領域画像Pnに限られず、例えば、入力画像PにおけるナゲットNの位置を表す数値等、画像以外の情報でも良い。かかる場合は、学習データ11c(図3(b)参照)における教師画像の代わりに、入力画像Pから取得したい情報を記憶させ、S2の学習処理を実行すれば良い。 In the above embodiment, the nugget area image Pn was obtained using the input image P and the nugget determination model M. However, what is obtained from the input image P and the nugget determination model M is not limited to the nugget area image Pn, and may be information other than an image, such as a numerical value representing the position of the nugget N in the input image P. In such a case, the information to be obtained from the input image P can be stored instead of the teacher image in the learning data 11c (see FIG. 3(b)), and the learning process of S2 can be executed.

上記実施形態では、図6のS42,S43の処理では、画像処理によって水平方向または垂直方向の直線状の画像を取得した。しかし、直線状の画像の取得は、画像処理に限られず、例えば、直線状の画像が検出できるように学習した学習モデルを作成し、入力画像Pとかかる学習モデルとによって入力画像Pにおける直線状の画像を取得しても良い。 In the above embodiment, in the processes of S42 and S43 in FIG. 6, a horizontally or vertically linear image is obtained by image processing. However, the acquisition of a linear image is not limited to image processing. For example, a learning model that has been trained to be able to detect linear images may be created, and a linear image in the input image P may be obtained by using the input image P and this learning model.

上記実施形態では、図6のS47の処理において、板境界Bを上板板厚メモリ12c、下板板厚メモリ12d、上板の上端および下板の下端の各値から算出したが、これに限られず、画像処理によって板境界Bを取得しても良い。かかる場合は、図6のS42の処理で取得された入力画像Pにおける水平成分の直線状の画像から、板境界Bに該当する画像を取得すれば良い。例えば、図2(c)においては、画像P'における上部から2番目の水平方向の直線状の画像が板境界Bに該当するので、かかる直線状の画像を板境界Bとすれば良い。 In the above embodiment, in the process of S47 in FIG. 6, the plate boundary B is calculated from the values of the upper plate thickness memory 12c, the lower plate thickness memory 12d, the upper end of the upper plate, and the lower end of the lower plate, but this is not limited to the above, and the plate boundary B may be obtained by image processing. In such a case, an image corresponding to the plate boundary B can be obtained from the linear image of the horizontal component in the input image P obtained in the process of S42 in FIG. 6. For example, in FIG. 2(c), the second horizontal linear image from the top in image P' corresponds to the plate boundary B, so this linear image can be taken as the plate boundary B.

上記実施形態では、入力画像PからナゲットNの各部の寸法として、ナゲット径Nhd、上板溶込深さNup及び下板溶込深さNddを測定したが、これに限られず、ナゲットNの他の部分の寸法を測定しても良い。また、入力画像PからナゲットNに関する寸法を測定するものに限られず、例えば、試験片TにおけるナゲットN以外の部分の寸法を検出しても良い。 In the above embodiment, the dimensions of each part of the nugget N were measured from the input image P, namely the nugget diameter Nhd, the upper plate penetration depth Nup, and the lower plate penetration depth Ndd, but this is not limited to this and the dimensions of other parts of the nugget N may be measured. Furthermore, it is not limited to measuring the dimensions of the nugget N from the input image P, and for example, the dimensions of parts of the test piece T other than the nugget N may be detected.

上記実施形態では、重ね合わせた2枚の鋼板Spに形成されるナゲットNのナゲット径Nhdを測定したが、これに限られず、3枚以上の重ね合わせた鋼板Spに形成されるナゲットNのナゲット径Nhdを測定しても良い。例えば、鋼板Spを3枚重ね合わせ、3枚の鋼板Spを跨ぐように形成されるナゲットNのナゲット径Nhdは、一番上の鋼板Sp(即ち上板)と真ん中の鋼板Spとの境界部である上板境界における上板ナゲット径と、一番下の鋼板Sp(即ち下板)と真ん中の鋼板Spとの境界部である下板境界における下板ナゲット径との、2か所存在する。 In the above embodiment, the nugget diameter Nhd of the nugget N formed on two overlapping steel plates Sp was measured, but this is not limited to the above, and the nugget diameter Nhd of the nugget N formed on three or more overlapping steel plates Sp may be measured. For example, when three steel plates Sp are overlapped, the nugget diameter Nhd of the nugget N formed to straddle the three steel plates Sp exists in two places: the upper plate nugget diameter at the upper plate boundary, which is the boundary between the top steel plate Sp (i.e., the upper plate) and the middle steel plate Sp, and the lower plate nugget diameter at the lower plate boundary, which is the boundary between the bottom steel plate Sp (i.e., the lower plate) and the middle steel plate Sp.

そこで図3(a),(c)の結果テーブル11dには、ナゲット径Nhdの代わりに、上板ナゲット径と下板ナゲット径とを記憶し、判定基準データ11eには、鋼板Spの板厚に応じた上板ナゲット径と下板ナゲット径との基準値を記憶する。また、RAM12には、板境界位置メモリ12jの代わりに、上板境界の位置が記憶される上板境界位置メモリと、下板境界の位置が記憶される下板境界位置メモリとを設け、ナゲット径メモリ12iの代わりに、上板ナゲット径が記憶される上板ナゲット径メモリと、下板ナゲット径が記憶される下板ナゲット径メモリとを設ける。 3(a) and (c), the result table 11d stores the upper plate nugget diameter and the lower plate nugget diameter instead of the nugget diameter Nhd, and the judgment criteria data 11e stores the reference values of the upper plate nugget diameter and the lower plate nugget diameter according to the plate thickness of the steel plate Sp. Also, the RAM 12 is provided with an upper plate boundary position memory in which the position of the upper plate boundary is stored and a lower plate boundary position memory in which the position of the lower plate boundary is stored instead of the plate boundary position memory 12j, and an upper plate nugget diameter memory in which the upper plate nugget diameter is stored and a lower plate nugget diameter memory in which the lower plate nugget diameter is stored instead of the nugget diameter memory 12i.

そして、図6のS47の処理において、上板の上端の座標から上板板厚メモリ12cの板厚分だけ下方に移動した位置である上板境界を測定して上板境界位置メモリへ保存し、下板の下端の座標から下板板厚メモリ12dの板厚分だけ上方に移動した位置である下板境界を測定して下板境界位置メモリへ保存する。S48の処理において、ナゲット位置メモリ12hにおけるナゲットNと上板境界との交点間の長さである上板ナゲット径を測定して上板ナゲット径メモリへ保存し、ナゲットNと下板境界との交点間の長さである下板ナゲット径を測定して下板ナゲット径メモリへ保存する。 Then, in the process of S47 in FIG. 6, the upper plate boundary, which is a position moved downward from the coordinates of the upper end of the upper plate by the plate thickness in the upper plate thickness memory 12c, is measured and stored in the upper plate boundary position memory, and the lower plate boundary, which is a position moved upward from the coordinates of the lower end of the lower plate by the plate thickness in the lower plate thickness memory 12d, is measured and stored in the lower plate boundary position memory. In the process of S48, the upper plate nugget diameter, which is the length between the intersection points of nugget N and the upper plate boundary in the nugget position memory 12h, is measured and stored in the upper plate nugget diameter memory, and the lower plate nugget diameter, which is the length between the intersection points of nugget N and the lower plate boundary, is measured and stored in the lower plate nugget diameter memory.

図5のS24の処理において、上板ナゲット径メモリと下板ナゲット径メモリとの各寸法情報を結果画像Qに合成し、S25の処理において、上板ナゲット径メモリ及び下板ナゲット径メモリの各値と、結果画像Qとを表示装置3へ表示し、S26の処理において、上板ナゲット径メモリ及び下板ナゲット径メモリと判定基準データ11eとを用いて判定を行い、その判定結果を表示装置3に表示する。また、S27,S28の処理において、修正された上板ナゲット径と下板ナゲット径とを上板ナゲット径メモリと下板ナゲット径メモリとに保存し、S29の処理において、上板ナゲット径メモリ及び下板ナゲット径メモリの各値と、結果画像Qと、判定結果とを結果テーブル11dへ追加すれば良い。 In the process of S24 in FIG. 5, each dimensional information of the upper plate nugget diameter memory and the lower plate nugget diameter memory is synthesized into a result image Q, in the process of S25, each value of the upper plate nugget diameter memory and the lower plate nugget diameter memory and the result image Q are displayed on the display device 3, in the process of S26, a judgment is made using the upper plate nugget diameter memory and the lower plate nugget diameter memory and the judgment criterion data 11e, and the judgment result is displayed on the display device 3. In addition, in the processes of S27 and S28, the corrected upper plate nugget diameter and lower plate nugget diameter are stored in the upper plate nugget diameter memory and the lower plate nugget diameter memory, and in the process of S29, each value of the upper plate nugget diameter memory and the lower plate nugget diameter memory, the result image Q, and the judgment result are added to the result table 11d.

上記実施形態では、試験片Tと共に入力画像Pに含まれる基準物として、定規Jを例示したが、これに限られず、例えば、官製はがきや名刺等、予め寸法が規定されているものを、適宜基準物に用いても良い。また、定規J等の基準物の配置を省略しても良い。その場合、例えば、試験片Tの長手方向側の辺を所定の長さ(例えば10cm)にしておき、かかる長さと、入力画像Pにおける試験片Tの長手方向側の辺のピクセル数とから変換係数を取得しても良いし、他の手法によって変換係数を取得しても良い。 In the above embodiment, a ruler J is exemplified as a reference object included in the input image P together with the test piece T, but this is not limited thereto, and for example, an official postcard, business card, or other object with predefined dimensions may be used as an appropriate reference object. Also, the placement of a reference object such as a ruler J may be omitted. In that case, for example, the longitudinal side of the test piece T may be set to a predetermined length (e.g., 10 cm), and the conversion coefficient may be obtained from this length and the number of pixels on the longitudinal side of the test piece T in the input image P, or the conversion coefficient may be obtained by other methods.

上記実施形態では、入力画像PをカメラCから取得したが、これに限られず、例えば、スキャナ等のカメラC以外の他の撮像装置から取得しても良いし、HDD12に記憶された画像を入力画像Pとして取得しても良い。 In the above embodiment, the input image P was acquired from the camera C, but this is not limited thereto. For example, the input image P may be acquired from an imaging device other than the camera C, such as a scanner, or an image stored in the HDD 12 may be acquired as the input image P.

上記実施形態では、図7(a),(b)の表示装置3に、入力画面表示エリア3aと、結果画像表示エリア3bと、数値表示エリア3cとを表示したが、これに限られず、例えば、数値表示エリア3cの表示を省略して、入力画面表示エリア3aと結果画像表示エリア3bとのみを表示しても良いし、入力画面表示エリア3aの表示を省略して、結果画像表示エリア3bと数値表示エリア3cとのみを表示しても良いし、入力画面表示エリア3aと結果画像表示エリア3bとを省略して、数値表示エリア3cのみを表示しても良い。 In the above embodiment, the input screen display area 3a, the result image display area 3b, and the numerical display area 3c are displayed on the display device 3 in Figures 7(a) and (b), but this is not limited to this. For example, the display of the numerical display area 3c may be omitted and only the input screen display area 3a and the result image display area 3b may be displayed, or the display of the input screen display area 3a may be omitted and only the result image display area 3b and the numerical display area 3c may be displayed, or the input screen display area 3a and the result image display area 3b may be omitted and only the numerical display area 3c may be displayed.

上記実施形態では、測定プログラム11aが組み込まれた測定装置1を例示したが、これに限られず、パーソナルコンピュータやスマートフォン、タブレット端末等の情報処理装置(コンピュータ)で測定プログラム11aを実行する構成としても良い。 In the above embodiment, a measuring device 1 incorporating the measurement program 11a is exemplified, but this is not limited thereto, and the measurement program 11a may be executed by an information processing device (computer) such as a personal computer, smartphone, tablet terminal, etc.

1 測定装置
11a 測定プログラム
P 入力画像
J 定規(基準物)
N ナゲット
Sp 鋼板
T 試験片
S20 入力画像取得手段、入力画像取得ステップ
S21 板厚取得手段、板厚取得ステップ
S40 ナゲット検出手段、ナゲット検出ステップ
S44 変換係数取得手段
S45 端部取得手段、端部取得ステップ
S46 板厚ピクセル取得手段、板厚ピクセル取得ステップ
S47 板境界検出手段、板境界検出ステップ
S48 測定手段の一部、測定ステップの一部
S49 測定手段の一部、平行直線算出手段
S50 測定手段の一部、直線特定手段
S51 測定手段の一部、測定ステップの一部、溶込深さ測定手段
1 Measuring device 11a Measuring program P Input image J Ruler (reference object)
N: Nugget Sp: Steel plate T: Test piece S20 Input image acquisition means, input image acquisition step
S21 Plate thickness acquisition means, plate thickness acquisition step
S40 Nugget detection means, nugget detection step S44 Conversion coefficient acquisition means
S45 End acquisition means, end acquisition step
S46: Plate thickness pixel acquisition means, plate thickness pixel acquisition step
S47 Plate boundary detection means, plate boundary detection step S48 Part of measurement means, part of measurement step S49 Part of measurement means, parallel straight line calculation means S50 Part of measurement means, straight line specification means S51 Part of measurement means, part of measurement step, penetration depth measurement means

Claims (8)

平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像から前記試験片の断面における各部の寸法を測定する測定手段を備えた測定装置において、
前記試験片の断面の画像である入力画像を取得する入力画像取得手段と、
その入力画像取得手段で取得された入力画像からスポット溶接におけるナゲットを区別して検出するナゲット検出手段と、
入力された前記鋼板の板厚を取得する板厚取得手段と、
その板厚取得手段で取得された板厚のピクセル数を取得する板厚ピクセル取得手段と、
前記入力画像取得手段で取得された入力画像から前記試験片の上端および下端の位置の座標を取得する端部取得手段と、
前記入力画像取得手段で取得された入力画像における前記端部取得手段で取得された前記試験片の上端および下端の位置の座標を、前記板厚ピクセル取得手段で取得された板厚のピクセル数分だけ移動させた位置を前記試験片における重ね合わせた鋼板と鋼板との境界である板境界として検出する板境界検出手段とを備え、
前記測定手段は、前記ナゲット検出手段で検出されたナゲットから前記入力画像におけるナゲットの各部の寸法を、前記板境界検出手段で検出された板境界を基準に測定することを特徴とする測定装置。
A measuring device having a measuring means for measuring dimensions of each part in a cross section of a test piece formed by overlapping flat steel plates and spot welding the test piece from an image of the cross section of the test piece,
an input image acquisition means for acquiring an input image which is an image of a cross section of the test piece;
a nugget detection means for distinguishing and detecting a nugget in spot welding from the input image acquired by the input image acquisition means;
A plate thickness acquisition means for acquiring the input plate thickness of the steel plate;
A board thickness pixel acquisition means for acquiring the number of pixels of the board thickness acquired by the board thickness acquisition means;
an end acquisition means for acquiring coordinates of the positions of the upper and lower ends of the test piece from the input image acquired by the input image acquisition means;
a plate boundary detection means for detecting a position obtained by moving the coordinates of the positions of the upper and lower ends of the test piece acquired by the end acquisition means in the input image acquired by the input image acquisition means by the number of pixels of the plate thickness acquired by the plate thickness pixel acquisition means as a plate boundary that is a boundary between the overlapping steel plates in the test piece;
The measuring device is characterized in that the measuring means measures dimensions of each portion of the nugget in the input image from the nugget detected by the nugget detection means, using the plate boundary detected by the plate boundary detection means as a reference.
前記測定手段は、その板境界検出手段で検出された板境界と、前記ナゲット検出手段で検出されたナゲットとの交点間の距離であるナゲット径を測定することを特徴とする請求項1記載の測定装置。 The measuring device according to claim 1, characterized in that the measuring means measures the nugget diameter, which is the distance between the intersection of the plate boundary detected by the plate boundary detection means and the nugget detected by the nugget detection means. 前記測定手段は、
前記板境界検出手段で検出された板境界と平行な直線である平行直線を複数算出する平行直線算出手段と、
その平行直線算出手段で算出された複数の平行直線のうち、平行直線と前記ナゲット検出手段で検出されたナゲットとの交点間の距離が、前記ナゲット径の所定の割合である平行直線を特定する直線特定手段とを備え、
その直線特定手段で特定された平行直線と前記板境界検出手段で検出された板境界との距離である溶込深さを測定する溶込深さ測定手段とを備えていることを特徴とする請求項2に記載の測定装置。
The measuring means is
a parallel line calculation means for calculating a plurality of parallel lines which are lines parallel to the plate boundary detected by the plate boundary detection means;
a line specifying means for specifying, from among the plurality of parallel lines calculated by the parallel line calculating means, a parallel line whose distance between an intersection point of the parallel line and the nugget detected by the nugget detecting means is a predetermined ratio of the nugget diameter,
The measuring device according to claim 2, further comprising a penetration depth measuring means for measuring a penetration depth which is a distance between the parallel straight line specified by the straight line specifying means and the plate boundary detected by the plate boundary detecting means.
前記入力画像は前記試験片と共に寸法の基準となる基準物が含まれるように撮像され、
その基準物における所定の寸法と、その寸法に該当する前記入力画像のピクセル数との関係を表す変換係数を取得する変換係数取得手段を備え、
前記測定手段は、その変換係数取得手段で取得された変換係数に基づき、前記ナゲットの各部の寸法を測定することを特徴とする請求項1から3のいずれかに記載の測定装置。
The input image is captured so as to include a reference object serving as a dimensional reference together with the test piece;
a conversion coefficient acquisition means for acquiring a conversion coefficient representing a relationship between a predetermined dimension of the reference object and the number of pixels of the input image corresponding to the predetermined dimension;
4. The measuring device according to claim 1, wherein the measuring means measures dimensions of each portion of the nugget based on the conversion coefficient acquired by the conversion coefficient acquisition means.
前記ナゲット検出手段は、前記入力画像におけるナゲットとナゲット以外の物体とを異なる色で描画した画像であるナゲット領域画像を出力するものであり、
前記測定手段は、前記ナゲット検出手段で出力されたナゲット領域画像に基づいて、前記入力画像におけるナゲットの各部の寸法を測定することを特徴とする請求項1から4のいずれかに記載の測定装置。
the nugget detection means outputs a nugget region image which is an image in which a nugget and an object other than the nugget in the input image are drawn in different colors,
5. The measuring device according to claim 1, wherein the measuring means measures dimensions of each portion of the nugget in the input image based on the nugget region image output by the nugget detection means.
前記ナゲット検出手段は、人工知能によって前記入力画像取得手段で取得された入力画像からスポット溶接におけるナゲットを区別して検出するものであることを特徴とする請求項1から5のいずれかに記載の測定装置。 6. The measuring device according to claim 1, wherein the nugget detection means uses artificial intelligence to distinguish and detect nuggets in spot welding from the input image acquired by the input image acquisition means. 平板状の鋼板を重ね合わせてスポット溶接することで形成された試験片の断面の画像である入力画像を取得する入力画像取得ステップと、
その入力画像取得ステップで取得された入力画像からスポット溶接におけるナゲットを区別して検出するナゲット検出ステップと、
入力された前記鋼板の板厚を取得する板厚取得ステップと、
その板厚入力ステップで取得された板厚のピクセル数を取得する板厚ピクセル取得ステップと、
前記入力画像取得ステップで取得された入力画像から前記試験片の上端および下端の位置の座標を取得する端部取得ステップと、
前記入力画像取得ステップで取得された入力画像における前記端部取得ステップで取得された前記試験片の上端および下端の位置の座標を、前記板厚ピクセル取得ステップで取得された板厚のピクセル数分だけ移動させた位置を前記試験片における重ね合わせた鋼板と鋼板との境界である板境界として検出する板境界検出ステップと、
前記ナゲット検出ステップで検出されたナゲットから前記入力画像におけるナゲットの各部の寸法を、前記板境界検出ステップで検出された板境界を基準に測定する測定ステップとを、コンピュータに実行させることを特徴とする測定プログラム。
An input image acquisition step of acquiring an input image which is an image of a cross section of a test piece formed by overlapping flat steel plates and spot welding them;
a nugget detection step of distinguishing and detecting a nugget in spot welding from the input image acquired in the input image acquisition step;
A plate thickness acquisition step of acquiring the input plate thickness of the steel plate;
a plate thickness pixel acquisition step for acquiring the number of pixels of the plate thickness acquired in the plate thickness input step;
an end acquisition step of acquiring coordinates of positions of the upper end and the lower end of the test piece from the input image acquired in the input image acquisition step;
A plate boundary detection step in which the coordinates of the positions of the upper and lower ends of the test piece acquired in the end acquisition step in the input image acquired in the input image acquisition step are moved by the number of pixels of the plate thickness acquired in the plate thickness pixel acquisition step, and the position is detected as a plate boundary that is a boundary between the overlapping steel plates in the test piece;
a measurement step of measuring dimensions of each portion of the nugget in the input image from the nugget detected in the nugget detection step, based on the plate boundary detected in the plate boundary detection step.
前記ナゲット検出ステップは、人工知能によって前記入力画像取得ステップで取得された入力画像からスポット溶接におけるナゲットを区別して検出するものであることを特徴とする請求項7記載の測定プログラム。 8. The measurement program according to claim 7, wherein the nugget detection step distinguishes and detects nuggets in spot welding from the input image acquired in the input image acquisition step by using artificial intelligence.
JP2020090239A 2020-05-25 2020-05-25 Measurement device and measurement program Active JP7482686B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020090239A JP7482686B2 (en) 2020-05-25 2020-05-25 Measurement device and measurement program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020090239A JP7482686B2 (en) 2020-05-25 2020-05-25 Measurement device and measurement program

Publications (2)

Publication Number Publication Date
JP2021185344A JP2021185344A (en) 2021-12-09
JP7482686B2 true JP7482686B2 (en) 2024-05-14

Family

ID=78815738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020090239A Active JP7482686B2 (en) 2020-05-25 2020-05-25 Measurement device and measurement program

Country Status (1)

Country Link
JP (1) JP7482686B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009103662A (en) 2007-10-25 2009-05-14 Tokyu Car Corp Laser welding evaluation method
JP2013253801A (en) 2012-06-05 2013-12-19 Aisin Seiki Co Ltd Inspection position attitude correction system and inspection position attitude correction method
JP2014238387A (en) 2013-05-07 2014-12-18 トヨタ自動車株式会社 Welding quality inspection device
JP2015033706A (en) 2013-08-08 2015-02-19 株式会社神戸製鋼所 Spot laser composite weld joint
JP2020064048A (en) 2018-08-14 2020-04-23 ザ・ボーイング・カンパニーThe Boeing Company Automated supervision and inspection of assembly process

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009103662A (en) 2007-10-25 2009-05-14 Tokyu Car Corp Laser welding evaluation method
JP2013253801A (en) 2012-06-05 2013-12-19 Aisin Seiki Co Ltd Inspection position attitude correction system and inspection position attitude correction method
JP2014238387A (en) 2013-05-07 2014-12-18 トヨタ自動車株式会社 Welding quality inspection device
JP2015033706A (en) 2013-08-08 2015-02-19 株式会社神戸製鋼所 Spot laser composite weld joint
JP2020064048A (en) 2018-08-14 2020-04-23 ザ・ボーイング・カンパニーThe Boeing Company Automated supervision and inspection of assembly process

Also Published As

Publication number Publication date
JP2021185344A (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US20070071310A1 (en) Robot simulation device
JP4282643B2 (en) Strain evaluation apparatus and strain evaluation method
JP6029870B2 (en) Method and apparatus for detecting deformation of concrete surface
JP5861462B2 (en) Inspection standard registration method for solder inspection and board inspection apparatus using the method
JP5142775B2 (en) Welding quality inspection method and apparatus
JP4680161B2 (en) Image evaluation apparatus and method, and program
JP2020017111A (en) Work measurement device, work measurement method and program
US11105615B2 (en) Deformation processing support system and deformation processing support method
JP5957250B2 (en) Crack detection method and crack display device
JP7228951B2 (en) Loss price evaluation system
JP5919212B2 (en) Visual verification support device and control method thereof
EP2387000B1 (en) Image measuring apparatus, program, and teaching method of image measuring apparatus
JP7482686B2 (en) Measurement device and measurement program
KR101379438B1 (en) Monitorinr system and method for wire drawing machine
JP4843516B2 (en) Hardness testing machine
KR100785481B1 (en) Computerized prediction system for dimensional accuracy in large-block erection of ship product
JP5291482B2 (en) Robot teaching program correction device
JP2023074922A (en) Measurement device and measurement program
KR101236847B1 (en) Apparatus for Inspecting Welding Bead and Method thereof
CN114283138A (en) Display screen defect marking method and device, electronic equipment and storage medium
WO2004109268A1 (en) Weld quality evaluation
US10591357B2 (en) Colorimetric value detection system and colorimetric value detection method
JP3080053U (en) Printing device performance inspection device
JP7441920B1 (en) Machine tool worker support device and worker support method
JP7300155B2 (en) Teaching device in solid preparation appearance inspection, and teaching method in solid preparation appearance inspection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240305

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240430

R150 Certificate of patent or registration of utility model

Ref document number: 7482686

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150