JP7491831B2 - Apparatus and method for determining insertion amount - Google Patents

Apparatus and method for determining insertion amount Download PDF

Info

Publication number
JP7491831B2
JP7491831B2 JP2020213990A JP2020213990A JP7491831B2 JP 7491831 B2 JP7491831 B2 JP 7491831B2 JP 2020213990 A JP2020213990 A JP 2020213990A JP 2020213990 A JP2020213990 A JP 2020213990A JP 7491831 B2 JP7491831 B2 JP 7491831B2
Authority
JP
Japan
Prior art keywords
image
pipe
insertion amount
joint
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020213990A
Other languages
Japanese (ja)
Other versions
JP2022099915A (en
Inventor
靖史 井戸本
和眞 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2020213990A priority Critical patent/JP7491831B2/en
Publication of JP2022099915A publication Critical patent/JP2022099915A/en
Priority to JP2024069100A priority patent/JP2024083630A/en
Application granted granted Critical
Publication of JP7491831B2 publication Critical patent/JP7491831B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、管の継手部分の接合状態を判定するための挿入量判定用装置、方法、および当該接合状態を判定するための基準画像生成方法に関する。 The present invention relates to an insertion amount determination device and method for determining the joining state of a pipe joint, and a reference image generation method for determining the joining state.

特許文献1には、管接合部を検査する管検査装置が開示されている。管検査装置は、管の周囲を囲むように環状に配置されるとともに一部が開放された開放端部を備える環状部材と、前記環状部材に取り付けられた検査機器と、を備える。検査機器は例えば撮像装置で構成され、管の外周全周を同時に撮像可能である。管接合部には、マーカー部材が設けられたシール部材が用いられている。マーカー部材は、シール部材の他の部分の色とは異なる着色部材で構成されている。撮像装置で撮影された画像に着色部材の色が認められると、接合状態が不適正であると判断できる。 Patent Document 1 discloses a pipe inspection device for inspecting pipe joints. The pipe inspection device includes an annular member that is arranged in a ring shape to surround the periphery of the pipe and has an open end that is partially open, and an inspection device attached to the annular member. The inspection device is, for example, an imaging device, and is capable of simultaneously capturing images of the entire outer circumference of the pipe. A sealing member provided with a marker member is used at the pipe joint. The marker member is made of a colored member that is different in color from the other parts of the sealing member. If the color of the colored member is recognized in the image captured by the imaging device, it can be determined that the joint condition is improper.

特開2016-50770号公報JP 2016-50770 A

しかしながら、特許文献1の管検査装置は、管接合部におけるシール部材の状態を判定するものである。すなわち、当該管検査装置によっては、受口に対する挿し口の挿入量の適否について判定することはできない。 However, the pipe inspection device in Patent Document 1 is designed to determine the condition of the sealing material at the pipe joint. In other words, this pipe inspection device cannot determine whether the insertion amount of the insertion port into the receiving port is appropriate.

本発明の一態様は、受口に対する挿し口の挿入量の適否について容易に判定可能な判定用画像を生成することが可能な挿入量判定用装置などを実現することを目的とする。 One aspect of the present invention aims to realize an insertion amount determination device that can generate a determination image that allows easy determination of whether the insertion amount of the insertion port into the receiving port is appropriate.

上記の課題を解決するために、本発明の一態様に係る挿入量判定用装置は、第1の管の端部に形成された挿し口を、第2の管の端部に形成された受口に挿入することで構成される継手部分の接合状態を判定するための装置であって、前記第1の管は、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための指標となる指標線を表面に有し、前記第1の管の挿し口が、前記第2の管の受口に挿入されている継手部分の継手画像を撮像する継手画像撮像部と、前記第1の管および前記第2の管の輪郭を前記継手画像から抽出する輪郭抽出部と、前記輪郭に基づいて、前記継手部分における前記第1の管および前記第2の管の間の、所定の方向における屈曲角を算出する屈曲角算出部と、前記屈曲角に応じた、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための、屈曲角に応じて用意された基準画像を取得する基準画像取得部と、前記基準画像を前記継手画像に重畳させることで、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための判定用画像を生成する判定用画像生成部と、を備える。 In order to solve the above problem, an insertion amount determination device according to one aspect of the present invention is a device for determining the joining state of a joint portion formed by inserting a plug formed at an end of a first pipe into a socket formed at an end of a second pipe, the first pipe having an index line on its surface that serves as an index for determining whether the insertion amount of the plug of the first pipe into the socket of the second pipe is appropriate, and the device includes a joint image capture unit that captures a joint image of the joint portion where the plug of the first pipe is inserted into the socket of the second pipe, and a joint image capture unit that captures the contours of the first pipe and the second pipe from the joint image. from the contour extraction unit, a bending angle calculation unit that calculates the bending angle in a predetermined direction between the first pipe and the second pipe at the joint portion based on the contour, a reference image acquisition unit that acquires a reference image prepared according to the bending angle in order to determine whether the insertion amount of the first pipe's insertion port into the second pipe's receiving port is appropriate according to the bending angle, and a judgment image generation unit that generates a judgment image for determining whether the insertion amount of the first pipe's insertion port into the second pipe's receiving port is appropriate by superimposing the reference image on the joint image.

上記の構成によれば、判定用画像生成部は、第1の管と第2の管との継手部分の屈曲角に応じた基準画像が、継手画像に重畳している判定用画像を生成する。基準画像は、受口に対する挿し口の挿入量が適切である場合、第1の管が表面に有する指標線の画像と重畳する。したがって、挿入量判定用装置によれば、受口に対する挿し口の挿入量の適否について容易に判定可能な判定用画像を生成できる。 According to the above configuration, the judgment image generating unit generates a judgment image in which a reference image corresponding to the bending angle of the joint portion between the first pipe and the second pipe is superimposed on the joint image. When the insertion amount of the insertion port into the receiving port is appropriate, the reference image is superimposed on an image of an index line on the surface of the first pipe. Therefore, the insertion amount determining device can generate a judgment image that can easily determine whether the insertion amount of the insertion port into the receiving port is appropriate.

また、本発明の一態様に係る挿入量判定用装置は、前記判定用画像から前記指標線の画像を抽出する指標線抽出部と、抽出した前記指標線の画像に前記基準画像が重畳している場合、前記挿入量が適切であると判定する挿入量判定部とをさらに備えてもよい。 The insertion amount determination device according to one aspect of the present invention may further include an index line extraction unit that extracts an image of the index line from the determination image, and an insertion amount determination unit that determines that the insertion amount is appropriate if the reference image is superimposed on the extracted image of the index line.

上記の構成によれば、挿入量判定部は、指標線抽出部が抽出した指標線の画像と基準画像とにより、受口に対する挿し口の挿入量の適否について判定する。したがって、挿入量の適否を作業者の目視によらず自動的に判定できる。 According to the above configuration, the insertion amount determination unit determines whether the insertion amount of the insertion port into the receiving port is appropriate based on the image of the index line extracted by the index line extraction unit and the reference image. Therefore, the appropriateness of the insertion amount can be determined automatically without relying on the operator's visual inspection.

また、本発明の一態様に係る挿入量判定用装置は、前記判定用画像を表示装置に出力する判定用画像出力部をさらに備えてもよい。 The insertion amount determination device according to one aspect of the present invention may further include a determination image output unit that outputs the determination image to a display device.

上記の構成によれば、判定用画像出力部が表示装置に出力した判定用画像に基づいて、受口に対する挿し口の挿入量の適否を作業者が目視で判定できる。 According to the above configuration, the operator can visually determine whether the insertion amount of the insertion port into the receiving port is appropriate based on the determination image output to the display device by the determination image output unit.

また、本発明の一態様に係る挿入量判定用装置において、前記基準画像は、前記第2の管の軸方向に垂直な第1の方向における前記屈曲角に応じて複数用意されており、前記基準画像取得部は、前記複数の前記基準画像から、前記継手画像における前記第1の方向における前記屈曲角に応じた前記基準画像を選択して取得することが好ましい。 In addition, in the insertion amount determination device according to one aspect of the present invention, it is preferable that a plurality of the reference images are prepared according to the bending angle in a first direction perpendicular to the axial direction of the second pipe, and the reference image acquisition unit selects and acquires the reference image according to the bending angle in the first direction in the joint image from the plurality of the reference images.

上記の構成によれば、基準画像取得部は、第1の方向における、継手部分における屈曲角に応じた適切な基準画像を選択して取得する。このため、判定用画像生成部は、基準画像取得部が取得した適切な基準画像を用いて判定用画像を生成できる。また、屈曲角が適切な範囲外である場合にも、基準画像が指標線に重畳しなくなるため、屈曲角の適否についても判定できる。 According to the above configuration, the reference image acquisition unit selects and acquires an appropriate reference image according to the bending angle at the joint portion in the first direction. Therefore, the judgment image generation unit can generate the judgment image using the appropriate reference image acquired by the reference image acquisition unit. In addition, even if the bending angle is outside the appropriate range, the reference image will not be superimposed on the index line, so it is possible to determine whether the bending angle is appropriate.

また、本発明の一態様に係る挿入量判定用装置において、前記基準画像は、前記第1の方向と、前記第2の管の軸方向および前記第1の方向の両方に垂直な第2の方向と、のそれぞれにおける前記屈曲角に応じて複数用意されていることが好ましい。 In addition, in the insertion amount determination device according to one aspect of the present invention, it is preferable that a plurality of the reference images are prepared according to the bending angle in each of the first direction and the second direction perpendicular to both the axial direction of the second tube and the first direction.

上記の構成によれば、基準画像取得部は、第1の方向および第2の方向の両方における、継手部分における屈曲角に応じた、より適切な基準画像を選択して取得する。このため、判定用画像生成部は、基準画像取得部が取得した、より適切な基準画像を用いて判定用画像を生成できる。 According to the above configuration, the reference image acquisition unit selects and acquires a more appropriate reference image according to the bending angle at the joint portion in both the first direction and the second direction. Therefore, the judgment image generation unit can generate a judgment image using the more appropriate reference image acquired by the reference image acquisition unit.

また、本発明の一態様に係る挿入量判定用装置において、前記基準画像は、前記第1の管の呼び径に応じて複数用意されており、前記基準画像取得部は、前記複数の前記基準画像から、前記継手画像における前記第1の管の呼び径に応じた前記基準画像を選択して取得することが好ましい。 In addition, in the insertion amount determination device according to one aspect of the present invention, it is preferable that a plurality of the reference images are prepared according to the nominal diameter of the first pipe, and the reference image acquisition unit selects and acquires the reference image according to the nominal diameter of the first pipe in the joint image from the plurality of the reference images.

上記の構成によれば、基準画像取得部は、第1の管の呼び径、すなわち継手画像における第1の管の幅に応じた適切な基準画像を選択して取得する。このため、判定用画像生成部は、基準画像取得部が取得した適切な基準画像を用いて判定用画像を生成できる。 According to the above configuration, the reference image acquisition unit selects and acquires an appropriate reference image according to the nominal diameter of the first pipe, i.e., the width of the first pipe in the joint image. Therefore, the judgment image generation unit can generate a judgment image using the appropriate reference image acquired by the reference image acquisition unit.

また、本発明の一態様に係る挿入量判定用装置において、前記基準画像は、前記継手画像における前記第1の管の、少なくとも一方の側面の輪郭部分に重畳する画像であることが好ましい。 In addition, in the insertion amount determination device according to one aspect of the present invention, it is preferable that the reference image is an image that is superimposed on the outline portion of at least one side of the first pipe in the joint image.

上記の構成によれば、判定用画像生成部は、第1の管の画像の、少なくとも一方の側面の輪郭部分において基準画像が指標線の画像に重畳しているか否かに基づいて、挿入量が適切であるか否かを判定することが可能な判定用画像を生成できる。 According to the above configuration, the determination image generating unit can generate a determination image that can determine whether the insertion amount is appropriate based on whether the reference image is superimposed on the image of the index line in the contour portion of at least one side of the image of the first tube.

また、本発明の一態様に係る、接合状態を判定するための方法は、第1の管の端部に形成された挿し口を、第2の管の受口に挿入することで構成される継手部分の接合状態を判定するための方法であって、前記第1の管は、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための指標となる指標線を表面に有し、前記第1の管の挿し口が、前記第2の管の受口に挿入されている継手部分の継手画像を撮像する継手画像撮像ステップと、前記第1の管および前記第2の管の輪郭を前記継手画像から抽出する輪郭抽出ステップと、前記輪郭に基づいて、前記継手部分における前記第1の管および前記第2の管の間の、所定の方向における屈曲角を算出する屈曲角算出ステップと、前記屈曲角に応じた、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための、屈曲角に応じて用意された基準画像を取得する基準画像取得ステップと、前記基準画像を前記継手画像に重畳させることで、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための判定用画像を生成する判定用画像生成ステップと、を含む。 In addition, according to one aspect of the present invention, a method for determining a joining state of a joint portion formed by inserting a spigot formed on an end of a first pipe into a receiving port of a second pipe, the first pipe having an index line on its surface that serves as an index for determining whether the insertion amount of the spigot of the first pipe into the receiving port of the second pipe is appropriate, the method comprising the steps of: capturing an image of a joint portion where the spigot of the first pipe is inserted into the receiving port of the second pipe; and extracting the contours of the first pipe and the second pipe from the joint image. a bending angle calculation step of calculating a bending angle in a predetermined direction between the first pipe and the second pipe at the joint portion based on the contour; a reference image acquisition step of acquiring a reference image prepared according to the bending angle in order to determine whether the insertion amount of the first pipe's insertion port into the second pipe's receiving port is appropriate according to the bending angle; and a judgment image generation step of generating a judgment image for determining whether the insertion amount of the first pipe's insertion port into the second pipe's receiving port is appropriate by superimposing the reference image on the joint image.

上記の構成によれば、上述の挿入量判定用装置と同様の効果を奏する。 The above configuration provides the same effects as the insertion amount determination device described above.

また、本発明の一態様に係る基準画像生成方法は、第1の管の端部に形成された挿し口を、第2の管の受口に挿入することで構成される継手部分の接合状態を判定するための基準画像を生成する基準画像生成方法であって、前記第1の管は、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための指標となる指標線を表面に有し、前記第1の管の挿し口が、前記第2の管の受口に適切な度合いで挿入されている継手部分の3次元モデルを生成するモデル生成ステップと、前記3次元モデルを所定の方向から撮影した場合における画像であるモデル画像を生成するモデル画像生成ステップと、前記モデル画像における前記指標線の画像の位置に基づいて、前記受口に対する前記挿し口の挿入量が適切である場合に前記指標線の画像と重畳する画像である基準画像を生成する基準画像生成ステップと、を含む。 In addition, a reference image generating method according to one aspect of the present invention is a reference image generating method for generating a reference image for judging the joining state of a joint portion formed by inserting a plug formed on an end of a first pipe into a receiving port of a second pipe, the first pipe having an index line on its surface that serves as an index for judging whether the insertion amount of the plug of the first pipe into the receiving port of the second pipe is appropriate, the method including: a model generating step for generating a three-dimensional model of the joint portion in which the plug of the first pipe is inserted to an appropriate degree into the receiving port of the second pipe; a model image generating step for generating a model image which is an image obtained when the three-dimensional model is photographed from a predetermined direction; and a reference image generating step for generating a reference image which is an image superimposed on the image of the index line when the insertion amount of the plug into the receiving port is appropriate, based on the position of an image of the index line in the model image.

上記の構成によれば、継手部分の3次元モデルを用いて基準画像を生成することで、屈曲角および呼び径といった条件ごとの基準画像を容易に生成できる。 According to the above configuration, by generating a reference image using a three-dimensional model of the joint portion, it is possible to easily generate a reference image for each condition, such as the bending angle and nominal diameter.

本発明の各態様に係る挿入量判定用装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記挿入量判定用装置が備える各部(ソフトウェア要素)として動作させることにより前記挿入量判定用装置をコンピュータにて実現させる挿入量判定用装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The insertion amount determination device according to each aspect of the present invention may be realized by a computer. In this case, the control program for the insertion amount determination device, which causes the computer to operate as each unit (software element) of the insertion amount determination device, and the computer-readable recording medium on which the control program is recorded, also fall within the scope of the present invention.

本発明の一態様によれば、受口に対する挿し口の挿入量の適否について容易に判定可能な判定用画像を生成することが可能な挿入量判定用装置を実現できる。 According to one aspect of the present invention, it is possible to realize an insertion amount determination device that can generate a determination image that allows easy determination of whether the insertion amount of the insertion port into the receiving port is appropriate.

管の継手部分の画像の例を示す図である。FIG. 13 is a diagram showing an example of an image of a pipe joint portion. 実施形態1に係る挿入量判定用装置の要部の構成を示すブロック図である。1 is a block diagram showing a configuration of a main part of an insertion amount determining device according to a first embodiment; 輪郭抽出部による第1の管の輪郭の抽出について示す図である。11A and 11B are diagrams illustrating extraction of the contour of a first tube by a contour extraction unit. 輪郭抽出部による第2の管の輪郭の抽出について示す図である。13A and 13B are diagrams illustrating extraction of the contour of a second tube by a contour extraction unit. 第1の管が第2の管に対して紙面の手前側へ屈曲している状態を示す図である。13 is a diagram showing a state in which a first tube is bent toward the front side of the page relative to a second tube; FIG. 第1の管が第2の管に対して紙面の奥側へ屈曲している状態を示す図である。13 is a diagram showing a state in which a first tube is bent toward the back of the page relative to a second tube; FIG. 挿入量が適切であると判定される判定用画像の例を示す図である。13A and 13B are diagrams illustrating examples of determination images in which the insertion amount is determined to be appropriate. 挿入量が適切でないと判定される判定用画像の一例を示す図である。FIG. 13 is a diagram showing an example of a determination image in which an insertion amount is determined to be inappropriate. 挿入量が適切でないと判定される判定用画像の、別の例を示す図である。FIG. 13 is a diagram showing another example of a determination image in which the insertion amount is determined to be inappropriate. 実施形態1に係る演算装置における処理を示すフローチャートである。4 is a flowchart showing a process in the arithmetic device according to the first embodiment. 実施形態2に係る挿入量判定用装置の要部の構成を示すブロック図である。FIG. 11 is a block diagram showing a configuration of a main part of an insertion amount determining device according to a second embodiment. 基準画像の生成手順を示すフローチャートである。13 is a flowchart showing a procedure for generating a reference image. 継手部分の3次元モデルについて説明するための図である。FIG. 11 is a diagram for explaining a three-dimensional model of a joint portion. 継手部分の3次元モデルにおける、屈曲角の変更について説明するための図である。13A and 13B are diagrams for explaining changes in a bending angle in a three-dimensional model of a joint portion.

〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
[Embodiment 1]
Hereinafter, one embodiment of the present invention will be described in detail.

図1は、管の継手部分の継手画像の例を示す図である。図1には、第1の管P1と第2の管P2との継手部分の継手画像が示されている。当該継手部分は、第1の管P1の端部に形成された挿し口を、第2の管P2の端部に形成された受口に挿入することで構成される。第1の管P1および第2の管P2の材質については特に制限されず、金属であっても樹脂であってもよい。 Figure 1 shows an example of a joint image of a pipe joint. Figure 1 shows a joint image of a joint between a first pipe P1 and a second pipe P2. The joint is formed by inserting a spigot formed at the end of the first pipe P1 into a socket formed at the end of the second pipe P2. There are no particular restrictions on the material of the first pipe P1 and the second pipe P2, and they may be metal or resin.

第1の管P1は、表面に指標線LP1を有する。指標線LP1は、第2の管P2の受口に対する第1の管P1の挿し口の挿入量および屈曲角の適否を判定するための指標となる。指標線LP1は、実線または破線である。指標線LP1は、破線である場合には、第1の管P1を周方向におけるどのような位置から撮像した場合であっても、第1の管P1の画像の径方向における両端の、少なくとも一方に指標線LP1を視認可能であるように引かれることが多いが、例外も存在する。以下の説明では、第2の管P2の受口に対する第1の管P1の挿し口の挿入量を指して、単に挿入量と称する場合がある。 The first pipe P1 has an index line LP1 on its surface. The index line LP1 serves as an index for determining the insertion amount of the insertion port of the first pipe P1 into the receiving port of the second pipe P2 and whether the bending angle is appropriate. The index line LP1 is a solid line or a dashed line. When the index line LP1 is a dashed line, it is often drawn so that the index line LP1 is visible on at least one of both ends in the radial direction of the image of the first pipe P1 regardless of the circumferential position from which the first pipe P1 is imaged, but there are exceptions. In the following description, the insertion amount of the insertion port of the first pipe P1 into the receiving port of the second pipe P2 may be simply referred to as the insertion amount.

図2は、実施形態1に係る挿入量判定用装置1の要部の構成を示すブロック図である。図2に示すように、挿入量判定用装置1は、演算装置10、カメラ20、記憶装置30、および表示装置40を備える。 Figure 2 is a block diagram showing the configuration of the main parts of the insertion amount determination device 1 according to the first embodiment. As shown in Figure 2, the insertion amount determination device 1 includes a calculation device 10, a camera 20, a storage device 30, and a display device 40.

演算装置10は、管の挿入量の適否を判定するための処理を実行する。演算装置10は、継手画像撮像部11、輪郭抽出部12、屈曲角算出部13、基準画像取得部14、判定用画像生成部15、指標線抽出部16、および挿入量判定部17を備える。 The calculation device 10 executes a process for determining whether the amount of insertion of the pipe is appropriate. The calculation device 10 includes a joint image capture unit 11, a contour extraction unit 12, a bending angle calculation unit 13, a reference image acquisition unit 14, a judgment image generation unit 15, an index line extraction unit 16, and an insertion amount determination unit 17.

継手画像撮像部11は、カメラ20により、第1の管P1の挿し口が、第2の管の受口P2に挿入されている継手部分の継手画像を撮像する。継手画像の一例は、図1に示したとおりである。輪郭抽出部12は、継手画像撮像部11が撮像した画像における、第1の管P1および第2の管P2の輪郭を抽出する。 The joint image capturing unit 11 uses the camera 20 to capture a joint image of the joint portion where the insertion port of the first pipe P1 is inserted into the receiving port P2 of the second pipe. An example of a joint image is as shown in FIG. 1. The contour extraction unit 12 extracts the contours of the first pipe P1 and the second pipe P2 in the image captured by the joint image capturing unit 11.

図3は、輪郭抽出部12による第1の管P1の輪郭の抽出について示す図である。図3においては、継手画像の例が符号3100で示されている。継手画像をHSV(Hue Saturation Value)変換して得られた彩度(Saturation)画像においては、第1の管P1および第2の管P2の画像と、背景である土の画像とで、彩度に大きな差が生じる。輪郭抽出部12は、彩度が高い領域、すなわち第1の管P1および第2の管P2の画像の領域を彩度画像から除去することで、図3において符号3200で示されている画像を生成する。 Figure 3 is a diagram showing the extraction of the contour of the first pipe P1 by the contour extraction unit 12. In Figure 3, an example of a joint image is indicated by the reference numeral 3100. In a saturation image obtained by HSV (Hue Saturation Value) conversion of the joint image, there is a large difference in saturation between the images of the first pipe P1 and the second pipe P2 and the background image of soil. The contour extraction unit 12 generates an image indicated by the reference numeral 3200 in Figure 3 by removing areas of high saturation, i.e., the areas of the images of the first pipe P1 and the second pipe P2, from the saturation image.

さらに、輪郭抽出部12は、図3において符号3300で示されている、第1の管P1の近傍の背景の画像のみを残して不要な背景を除去した画像を生成する。さらに、輪郭抽出部12は、図3において符号3400で示されている、第1の管P1の領域R1のみを抽出した画像を生成する。輪郭抽出部12は、領域R1の輪郭を、第1の管P1の輪郭として抽出する。 The contour extraction unit 12 further generates an image in which unnecessary background has been removed, leaving only an image of the background near the first pipe P1, as indicated by reference numeral 3300 in FIG. 3. The contour extraction unit 12 further generates an image in which only the region R1 of the first pipe P1 has been extracted, as indicated by reference numeral 3400 in FIG. 3. The contour extraction unit 12 extracts the contour of the region R1 as the contour of the first pipe P1.

図4は、輪郭抽出部12による第2の管P2の輪郭の抽出について示す図である。輪郭抽出部12は、第1の管P1の輪郭の抽出と同様に、図4において符号4100で示されている、彩度画像から第1の管P1および第2の管P2の画像の領域を除去した画像を生成する。続けて輪郭抽出部12は、図4において符号4200で示されている、第2の管P2の近傍の背景の画像のみを残して不要な背景を除去した画像を生成する。さらに、輪郭抽出部12は、図4において符号4300で示されている、第2の管P1の領域R2のみを抽出した画像を生成する。輪郭抽出部12は、領域R2の輪郭を、第2の管P2の輪郭として抽出する。 Figure 4 is a diagram showing the extraction of the contour of the second tube P2 by the contour extraction unit 12. As with the extraction of the contour of the first tube P1, the contour extraction unit 12 generates an image in which the image regions of the first tube P1 and the second tube P2 are removed from the saturation image, as indicated by reference numeral 4100 in Figure 4. The contour extraction unit 12 then generates an image in which unnecessary background is removed and only the image of the background near the second tube P2 is left, as indicated by reference numeral 4200 in Figure 4. Furthermore, the contour extraction unit 12 generates an image in which only the region R2 of the second tube P1 is extracted, as indicated by reference numeral 4300 in Figure 4. The contour extraction unit 12 extracts the contour of the region R2 as the contour of the second tube P2.

屈曲角算出部13は、輪郭抽出部12が抽出した第1の管P1および第2の管P2の輪郭に基づいて、継手部分における第1の管P1および第2の管P2の間の、所定の方向における屈曲角を算出する。本実施形態では、屈曲角算出部13は、第2の管のP2の軸方向に垂直な方向(第1の方向)における、第1の管P1および第2の管P2の間の屈曲角を算出する。 The bend angle calculation unit 13 calculates the bend angle in a predetermined direction between the first pipe P1 and the second pipe P2 at the joint portion based on the contours of the first pipe P1 and the second pipe P2 extracted by the contour extraction unit 12. In this embodiment, the bend angle calculation unit 13 calculates the bend angle between the first pipe P1 and the second pipe P2 in a direction perpendicular to the axial direction of the second pipe P2 (first direction).

図5は、第1の管P1が第2の管P2に対して紙面の手前側へ屈曲している状態を示す図である。図6は、第1の管P1が第2の管P2に対して紙面の奥側へ屈曲している状態を示す図である。図5および図6を参照して、屈曲角算出部13が第1の方向における第1の管P1および第2の管P2の間の屈曲角を算出する方法を説明する。以下の説明では、第1の方向は、紙面に垂直な方向に対応する。 Figure 5 is a diagram showing a state in which the first pipe P1 is bent toward the front side of the paper with respect to the second pipe P2. Figure 6 is a diagram showing a state in which the first pipe P1 is bent toward the back side of the paper with respect to the second pipe P2. With reference to Figures 5 and 6, a method in which the bending angle calculation unit 13 calculates the bending angle between the first pipe P1 and the second pipe P2 in the first direction will be described. In the following description, the first direction corresponds to a direction perpendicular to the paper.

屈曲角算出部13は、輪郭抽出部12が抽出した第1の管P1および第2の管P2の輪郭に基づいて、第1の管P1および第2の管P2の中心線を導出する。次に、屈曲角算出部13は、第1の管P1および第2の管P2の中心線がなす角度θ0を算出する。また、第1の管P1の両側面のそれぞれと、第2の管P2の端面とがなす角度θ1およびθ2(θ1≦θ2)を算出する。また、屈曲角算出部13は、第1の管P1の中心線と、第1の管P1の両側面の輪郭線のそれぞれとがなす角度θ3およびθ4を算出する。さらに、屈曲角算出部13は、予め用意された、角度θ0~θ4と第1の方向における屈曲角との対応関係を示すテーブルを参照して、上述した屈曲角を算出する。 The bending angle calculation unit 13 derives the center lines of the first pipe P1 and the second pipe P2 based on the contours of the first pipe P1 and the second pipe P2 extracted by the contour extraction unit 12. Next, the bending angle calculation unit 13 calculates the angle θ0 formed by the center lines of the first pipe P1 and the second pipe P2. The bending angle calculation unit 13 also calculates the angles θ1 and θ2 (θ1≦θ2) formed by each of the two side surfaces of the first pipe P1 and the end surface of the second pipe P2. The bending angle calculation unit 13 also calculates the angles θ3 and θ4 formed by the center line of the first pipe P1 and each of the contour lines of the two side surfaces of the first pipe P1. Furthermore, the bending angle calculation unit 13 calculates the above-mentioned bending angle by referring to a table prepared in advance that indicates the correspondence between the angles θ0 to θ4 and the bending angle in the first direction.

基準画像取得部14は、屈曲角算出部13が算出した屈曲角に応じた挿入量の適否を判定するための、屈曲角に応じて用意された基準画像CI(図7など参照)を取得する。本実施形態において、基準画像CIは、第2の管P2の軸に対して互いに軸対称な位置に配置され、挿入量が適切である場合における指標線LP1の画像の位置に対応する一対のマーカーである。基準画像CIは、継手部分における挿入量および屈曲角が適切である場合、指標線LP1の画像に重畳する。本実施形態において、基準画像CIは、継手画像における第1の管P1の、少なくとも一方の側面の輪郭部分に重畳する。 The reference image acquisition unit 14 acquires a reference image CI (see FIG. 7, etc.) prepared according to the bending angle in order to determine whether the insertion amount according to the bending angle calculated by the bending angle calculation unit 13 is appropriate. In this embodiment, the reference image CI is a pair of markers arranged in positions symmetrical to each other with respect to the axis of the second pipe P2, and corresponds to the position of the image of the index line LP1 when the insertion amount is appropriate. When the insertion amount and bending angle at the joint part are appropriate, the reference image CI is superimposed on the image of the index line LP1. In this embodiment, the reference image CI is superimposed on the outline portion of at least one side of the first pipe P1 in the joint image.

本実施形態では、基準画像CIは、上述の第1の方向における、第1の管P1および第2の管P2の間の屈曲角に応じて複数用意されている。具体的には、基準画像CIは、上記屈曲角について、-4°~+4°の範囲で1°ごとに用意されている。ただし、挿入量判定用装置1において用意される基準画像CIはこれに限られず、-4°~+4°とは異なる範囲で、1°とは異なる屈曲角ごとに用意されていてもよい。 In this embodiment, multiple reference images CI are prepared according to the bending angle between the first tube P1 and the second tube P2 in the first direction described above. Specifically, the reference images CI are prepared for each 1° of the bending angle in the range of -4° to +4°. However, the reference images CI prepared in the insertion amount determination device 1 are not limited to this, and may be prepared for each bending angle other than 1° in a range other than -4° to +4°.

また、基準画像CIは、上述した第1の方向と、第2の管P2の軸方向および第1の方向の両方に垂直な第2の方向と、のそれぞれにおける屈曲角に応じて複数用意されていることが好ましい。また、基準画像CIは、第1の管P1の呼び径に応じて複数用意されていることがより好ましい。 It is also preferable that multiple reference images CI are prepared according to the bending angles in the first direction and the second direction perpendicular to both the axial direction of the second pipe P2 and the first direction. It is also more preferable that multiple reference images CI are prepared according to the nominal diameter of the first pipe P1.

判定用画像生成部15は、基準画像取得部14が取得した基準画像CIを継手画像に重畳させることで、挿入量の適否を判定するための判定用画像を生成する。判定用画像においては、上記の挿入量が適切である場合、基準画像CIが指標線LP1の画像に重畳する。したがって、基準画像CIが指標線LP1の画像に重畳しているか否かにより、挿入量の適否を容易に判定できる。 The judgment image generating unit 15 generates a judgment image for judging whether the insertion amount is appropriate by superimposing the reference image CI acquired by the reference image acquiring unit 14 on the joint image. In the judgment image, if the above-mentioned insertion amount is appropriate, the reference image CI is superimposed on the image of the index line LP1. Therefore, the appropriateness of the insertion amount can be easily judged depending on whether the reference image CI is superimposed on the image of the index line LP1.

基準画像取得部14は、上記のとおり用意された複数の基準画像CIから、継手画像における第1の方向における屈曲角に応じた基準画像CIを選択して取得する。したがって、判定用画像生成部15は、屈曲角に応じた適切な基準画像CIを用いて判定用画像を生成できる。また、この場合には、挿入量が適切でない場合の他、屈曲角が適切な範囲外である場合にも、基準画像CIが指標線LP1の画像に重畳しなくなるため、屈曲角の適否についても判定できる。また、上述したように、第1の方向および第2の方向のそれぞれにおける屈曲角、および/または第1の管の呼び径に応じて基準画像CIが用意されている場合には、判定用画像生成部15は、より適切な基準画像CIを用いて判定用画像を生成できる。 The reference image acquisition unit 14 selects and acquires a reference image CI corresponding to the bending angle in the first direction in the joint image from the multiple reference images CI prepared as described above. Therefore, the judgment image generation unit 15 can generate a judgment image using an appropriate reference image CI corresponding to the bending angle. In this case, in addition to when the insertion amount is not appropriate, the reference image CI will not be superimposed on the image of the index line LP1 even when the bending angle is outside the appropriate range, so that the appropriateness of the bending angle can also be determined. In addition, as described above, when the reference images CI are prepared according to the bending angles in each of the first and second directions and/or the nominal diameter of the first pipe, the judgment image generation unit 15 can generate a judgment image using a more appropriate reference image CI.

また、上述したとおり、基準画像CIは、継手画像における第1の管P1の、少なくとも一方の側面の輪郭部分に重畳する。このため、判定用画像生成部15は、第1の管P1の画像の、少なくとも一方の側面の輪郭部分において基準画像CIが指標線LP1の画像に重畳しているか否かに基づいて挿入量の適否を判定することが可能な判定用画像を生成できる。 As described above, the reference image CI is superimposed on the outline of at least one side of the first pipe P1 in the joint image. Therefore, the judgment image generating unit 15 can generate a judgment image that can determine whether the insertion amount is appropriate based on whether the reference image CI is superimposed on the image of the index line LP1 in the outline of at least one side of the image of the first pipe P1.

指標線抽出部16は、判定用画像から指標線LP1の画像を抽出する。指標線抽出部16は、例えば継手画像から指標線LP1の色の領域を抽出することで、指標線LP1の画像を抽出する。また、抽出した指標線LP1の画像が、例えば途中で途切れている箇所が存在するなど、不完全である場合には、当該画像を楕円近似することで完全な指標線LP1の画像を再現してもよい。挿入量判定部17は、挿入量の適否を判定する。挿入量判定部17は、指標線抽出部16が抽出した指標線LP1の画像に基準画像CIが重畳している場合に、挿入量が適切であると判定する。すなわち、挿入量判定部17は、指標線抽出部16が抽出した指標線LP1の画像と基準画像CIとにより、挿入量の適否について判定する。したがって、挿入量判定用装置1は、挿入量の適否を作業者の目視によらず自動的に判定できる。 The index line extraction unit 16 extracts an image of the index line LP1 from the image for determination. The index line extraction unit 16 extracts the image of the index line LP1, for example, by extracting an area of the color of the index line LP1 from the joint image. In addition, if the image of the extracted index line LP1 is incomplete, for example, because there is a part that is interrupted in the middle, the image may be approximated by an ellipse to reproduce the complete image of the index line LP1. The insertion amount determination unit 17 determines whether the insertion amount is appropriate. If the reference image CI is superimposed on the image of the index line LP1 extracted by the index line extraction unit 16, the insertion amount determination unit 17 determines whether the insertion amount is appropriate. In other words, the insertion amount determination unit 17 determines whether the insertion amount is appropriate based on the image of the index line LP1 extracted by the index line extraction unit 16 and the reference image CI. Therefore, the insertion amount determination device 1 can automatically determine whether the insertion amount is appropriate without relying on the operator's visual inspection.

図7は、挿入量が適切であると判定される判定用画像の例を示す図である。図7に示す例では、第1の管P1の輪郭部分において、指標線LP1の画像に基準画像CIが重畳している。このため、挿入量判定部17は、挿入量が適切であると判定する。 Figure 7 shows an example of a determination image for which the insertion amount is determined to be appropriate. In the example shown in Figure 7, the reference image CI is superimposed on the image of the index line LP1 at the contour portion of the first tube P1. Therefore, the insertion amount determination unit 17 determines that the insertion amount is appropriate.

図8は、挿入量が適切でないと判定される判定用画像の一例を示す図である。図8に示す例では、第1の管P1の輪郭部分において、指標線LP1の画像に基準画像CIが重畳していない。このため、挿入量判定部17は、挿入量が適切でないと判定する。 Figure 8 shows an example of a determination image for which it is determined that the insertion amount is inappropriate. In the example shown in Figure 8, the reference image CI is not superimposed on the image of the index line LP1 at the contour portion of the first tube P1. Therefore, the insertion amount determination unit 17 determines that the insertion amount is inappropriate.

図9は、挿入量が適切でないと判定される判定用画像の、別の例を示す図である。図9に示す例では、指標線LP1は実線ではなく破線である。このため、図9に示す例では、指標線LP1が、第1の管P1の側面の一方にのみ表れている。図9に示す例においても、指標線LP1の画像に基準画像CIが重畳していない。このため、挿入量判定部17は、挿入量が適切でないと判定する。 Figure 9 is a diagram showing another example of a determination image for which the insertion amount is determined to be inappropriate. In the example shown in Figure 9, the index line LP1 is a dashed line instead of a solid line. Therefore, in the example shown in Figure 9, the index line LP1 appears only on one side of the first tube P1. In the example shown in Figure 9, the reference image CI is not superimposed on the image of the index line LP1. Therefore, the insertion amount determination unit 17 determines that the insertion amount is inappropriate.

また、判定用画像においては、挿入量が適切であっても、屈曲角が適切でない場合には、指標線LP1の画像に基準画像CIが重畳しない。したがって、挿入量判定用装置1によれば、挿入量だけでなく、屈曲角が不適切な場合についても、不適切であると判定することができる。すなわち、挿入量判定用装置1は、挿入量の適否に限られない、継手部分における接合状態についての適否の判定に用いることができる装置である。 In addition, in the judgment image, even if the insertion amount is appropriate, if the bending angle is not appropriate, the reference image CI is not superimposed on the image of the index line LP1. Therefore, with the insertion amount judgment device 1, it is possible to judge that not only the insertion amount but also the bending angle is inappropriate. In other words, the insertion amount judgment device 1 is a device that can be used to judge the suitability of the joining state at the joint part, not limited to the suitability of the insertion amount.

なお、継手画像において、第1の管P1の両側面のいずれにも指標線LP1が表れていない場合には、上述したとおり、指標線LP1の画像を楕円近似することで完全な指標線LP1の画像を再現してもよい。この場合、挿入量判定部17は、再現した完全な指標線LP1の画像に基準画像CIが重畳している場合、挿入量が適切であると判定する。また、基準画像CIの位置は、第1の管P1の、側面の輪郭部分に重畳するものに限定されず、例えば第1の管P1の幅方向における中央部分に重畳するものであってもよい。 If the index line LP1 does not appear on either side of the first pipe P1 in the joint image, the image of the index line LP1 may be approximated by an ellipse to reproduce the complete image of the index line LP1, as described above. In this case, the insertion amount determination unit 17 determines that the insertion amount is appropriate if the reference image CI is superimposed on the reproduced image of the complete index line LP1. In addition, the position of the reference image CI is not limited to being superimposed on the outline of the side of the first pipe P1, and may be superimposed on, for example, the center part in the width direction of the first pipe P1.

カメラ20は、上述したとおり、継手画像撮像部11が継手部分の画像を撮像するための撮像装置である。記憶装置30は、演算装置10による処理に必要な情報を記憶する。例えば記憶装置30は、上述した複数の基準画像CIを記憶する。表示装置40は、演算装置10の制御により、作業者に情報を提示するための画像を表示する。例えば挿入量判定部17は、挿入量の適否についての判定結果を示す画像を表示装置40に表示させる。 As described above, the camera 20 is an imaging device for the joint image capturing unit 11 to capture an image of the joint portion. The storage device 30 stores information necessary for processing by the calculation device 10. For example, the storage device 30 stores the above-mentioned multiple reference images CI. The display device 40 displays an image for presenting information to the worker under the control of the calculation device 10. For example, the insertion amount determination unit 17 causes the display device 40 to display an image showing the determination result as to whether the insertion amount is appropriate.

(演算装置10における処理)
図10は、演算装置10における処理を示すフローチャートである。演算装置10における処理は以下のとおりである。継手画像撮像部11は、継手画像を撮像する(S11、継手画像撮像ステップ)。輪郭抽出部12は、第1の管P1および第2の管P2の輪郭を継手画像から抽出する(S12、輪郭抽出ステップ)。屈曲角算出部13は、第1の管P1および第2の管P2の輪郭に基づいて、屈曲角を算出する(S13、屈曲角算出ステップ)。基準画像取得部14は、屈曲角に応じた基準画像CIを取得する(S14、基準画像取得ステップ)。判定用画像生成部15は、基準画像CIを継手画像に重畳させることで、判定用画像を生成する(S15、判定用画像生成ステップ)。
(Processing in arithmetic device 10)
10 is a flowchart showing the processing in the calculation device 10. The processing in the calculation device 10 is as follows. The joint image capturing unit 11 captures a joint image (S11, joint image capturing step). The contour extraction unit 12 extracts the contours of the first pipe P1 and the second pipe P2 from the joint image (S12, contour extraction step). The bending angle calculation unit 13 calculates the bending angle based on the contours of the first pipe P1 and the second pipe P2 (S13, bending angle calculation step). The reference image acquisition unit 14 acquires a reference image CI according to the bending angle (S14, reference image acquisition step). The judgment image generation unit 15 generates a judgment image by superimposing the reference image CI on the joint image (S15, judgment image generation step).

さらに、指標線抽出部16は、判定用画像から指標線LP1の画像を抽出する(S16)。挿入量判定部17は、指標線LP1の画像に基準画像CIが重畳しているか否かを判定する(S17)。指標線LP1の画像に基準画像CIが重畳している場合(S17でYES)、挿入量判定部17は、挿入量は適切であると判定する(S18)。指標線LP1の画像に基準画像CIが重畳していない場合(S17でNO)、挿入量判定部17は、挿入量は適切でないと判定する(S19)。 Furthermore, the index line extraction unit 16 extracts an image of the index line LP1 from the judgment image (S16). The insertion amount determination unit 17 determines whether or not the reference image CI is superimposed on the image of the index line LP1 (S17). If the reference image CI is superimposed on the image of the index line LP1 (YES in S17), the insertion amount determination unit 17 determines that the insertion amount is appropriate (S18). If the reference image CI is not superimposed on the image of the index line LP1 (NO in S17), the insertion amount determination unit 17 determines that the insertion amount is inappropriate (S19).

以上の処理により、挿入量判定用装置1は、判定用画像を生成する。さらに、挿入量判定用装置1は、判定用画像に基づいて、挿入量の適否を判定する。したがって、挿入量判定用装置1によれば、挿入量の適否について容易に判定できる。なお、ステップS19の後は、誤判定の可能性を考慮してステップS11から処理を再度実行してもよい。また、継手部分における第1の管P1と第2の管P2との接合をいったん解除し、接合させなおしてもよい。 By the above process, the insertion amount determination device 1 generates an image for determination. Furthermore, the insertion amount determination device 1 determines whether the insertion amount is appropriate based on the image for determination. Therefore, the insertion amount determination device 1 can easily determine whether the insertion amount is appropriate. After step S19, the process may be executed again from step S11, taking into account the possibility of an erroneous determination. Also, the connection between the first pipe P1 and the second pipe P2 at the joint portion may be temporarily released and then rejoined.

〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
[Embodiment 2]
Other embodiments of the present invention will be described below. For ease of explanation, the same reference numerals are given to members having the same functions as those described in the above embodiment, and the description thereof will not be repeated.

図11は、実施形態2に係る挿入量判定用装置1Aの要部の構成を示すブロック図である。図11に示すように、挿入量判定用装置1Aは、演算装置10の代わりに演算装置10Aを備える点で挿入量判定用装置1と相違する。演算装置10Aは、指標線抽出部16および挿入量判定部17を備えず、判定用画像出力部18を備える点で演算装置10と相違する。 Figure 11 is a block diagram showing the configuration of the main parts of the insertion amount determination device 1A according to the second embodiment. As shown in Figure 11, the insertion amount determination device 1A differs from the insertion amount determination device 1 in that it includes a calculation device 10A instead of the calculation device 10. The calculation device 10A differs from the calculation device 10 in that it does not include the index line extraction unit 16 and the insertion amount determination unit 17, but includes a determination image output unit 18.

判定用画像出力部18は、判定用画像生成部15が生成した判定用画像を表示装置40に出力する。このため、挿入量判定用装置1Aにおいては、表示装置40に表示された判定用画像に基づいて、挿入量の適否を作業者が目視で判定できる。 The judgment image output unit 18 outputs the judgment image generated by the judgment image generation unit 15 to the display device 40. Therefore, in the insertion amount judgment device 1A, the operator can visually judge whether the insertion amount is appropriate or not based on the judgment image displayed on the display device 40.

演算装置10Aにおける処理は、演算装置10における処理(図10参照)と、ステップS11~S15について同様である。ステップS15の後、演算装置10Aにおいては、判定用画像出力部18が判定用画像を表示装置40へ出力する。演算装置10AはステップS16~S19を実行しない。 The processing in the calculation device 10A is similar to the processing in the calculation device 10 (see FIG. 10) with respect to steps S11 to S15. After step S15, in the calculation device 10A, the judgment image output unit 18 outputs the judgment image to the display device 40. The calculation device 10A does not execute steps S16 to S19.

ただし、挿入量判定用装置1Aにおいて、演算装置10Aは、指標線抽出部16および挿入量判定部17を備えた上で、さらに判定用画像出力部18を備えていてもよい。この場合、挿入量判定用装置1Aにおいては、挿入量判定部17が挿入量の適否を判定するとともに、判定用画像出力部18が判定用画像を表示装置40に出力する。換言すれば、演算装置10Aは、ステップS16~S19を実行した上で、判定用画像を表示装置40へ出力する。このため、挿入量判定部17による判定の適否を作業者が確認できる。 However, in the insertion amount determination device 1A, the calculation device 10A may further include a determination image output unit 18 in addition to the index line extraction unit 16 and the insertion amount determination unit 17. In this case, in the insertion amount determination device 1A, the insertion amount determination unit 17 determines whether the insertion amount is appropriate, and the determination image output unit 18 outputs a determination image to the display device 40. In other words, the calculation device 10A executes steps S16 to S19 and then outputs a determination image to the display device 40. This allows the operator to check whether the determination made by the insertion amount determination unit 17 is appropriate.

また、演算装置10Aが指標線抽出部16、挿入量判定部17および判定用画像出力部18を備える場合、判定用画像出力部18は、挿入量判定部17による判定の結果に応じて、判定用画像における基準画像CIの表示態様を異ならせてもよい。例えば、判定用画像出力部18は、挿入量判定部17による判定の結果に応じて、基準画像CIの色を変化させる。この場合、作業者は、基準画像CIの色により、挿入量判定部17による判定の結果を容易に認識できる。 In addition, when the calculation device 10A includes the index line extraction unit 16, the insertion amount determination unit 17, and the determination image output unit 18, the determination image output unit 18 may change the display mode of the reference image CI in the determination image depending on the result of the determination by the insertion amount determination unit 17. For example, the determination image output unit 18 changes the color of the reference image CI depending on the result of the determination by the insertion amount determination unit 17. In this case, the operator can easily recognize the result of the determination by the insertion amount determination unit 17 from the color of the reference image CI.

〔実施形態3〕
上述した実施形態における基準画像CIの生成方法について、以下に説明する。
[Embodiment 3]
A method for generating the reference image CI in the above-described embodiment will be described below.

図12は、基準画像生成方法を示すフローチャートである。以下の説明では、便宜上、各手順を「基準画像生成装置」が実行するものとする。図12に示すように、基準画像生成装置は、第1の管P1の挿し口が第2の管P2の受口に適切な度合いで挿入されている、継手部分の3次元モデルを生成する(S21、モデル生成ステップ)。基準画像生成装置は、例えばCAD(Computer-Aided Design)を用いて3次元モデルを作成する。基準画像生成装置は、当該3次元モデルを所定の方向から撮影した場合における画像であるモデル画像を生成する(S22、モデル画像生成ステップ)。基準画像生成装置は、モデル画像における指標線LP1の画像の位置に基づいて、第2の管P2の受口に対する第1の管P1の挿し口の挿入量が適切である場合に指標線LP1の画像と重畳する画像である基準画像を生成する(S23、基準画像生成ステップ)。 Figure 12 is a flowchart showing the reference image generating method. In the following description, for convenience, each step is assumed to be performed by a "reference image generating device." As shown in Figure 12, the reference image generating device generates a three-dimensional model of a joint portion in which the insertion port of the first pipe P1 is inserted into the receiving port of the second pipe P2 to an appropriate degree (S21, model generating step). The reference image generating device creates a three-dimensional model using, for example, CAD (Computer-Aided Design). The reference image generating device generates a model image, which is an image obtained when the three-dimensional model is photographed from a predetermined direction (S22, model image generating step). The reference image generating device generates a reference image, which is an image that is superimposed on the image of the index line LP1 when the insertion amount of the insertion port of the first pipe P1 into the receiving port of the second pipe P2 is appropriate, based on the position of the image of the index line LP1 in the model image (S23, reference image generating step).

図13は、継手部分の3次元モデルについて説明するための図である。図13においては、挿入量が適切かつ最小の状態における継手部分のモデルの上面図が符号1301で示されており、当該モデルの側面図が、符号1302で示されている。また、挿入量が適切かつ最大の状態における継手部分のモデルの上面図が符号1303で示されており、当該モデルの側面図が符号1304で示されている。 Figure 13 is a diagram for explaining a three-dimensional model of the joint part. In Figure 13, a top view of the model of the joint part when the insertion amount is appropriate and minimum is indicated by reference numeral 1301, and a side view of the model is indicated by reference numeral 1302. Furthermore, a top view of the model of the joint part when the insertion amount is appropriate and maximum is indicated by reference numeral 1303, and a side view of the model is indicated by reference numeral 1304.

第1の管P1は、指標線LP1の他に、第2指標線LP2を表面に有する。第2指標線LP2は、第2の管P2の端面P21との位置関係により挿入量の適否を判定するための線である。図13の符号1301および1302で示されているように、第2指標線LP2が1点においてのみ端面P21に接し、かつ第2指標線LP2の他の領域に第2の管P2が重畳しない状態が、挿入量が適切かつ最小の状態である。図13の符号1303および1304に示されているように、第2指標線LP2が1点においてのみ端面P21に接し、かつ第2指標線LP2の他の領域に第2の管P2が重畳する状態が、挿入量が適切かつ最大の状態である。 The first tube P1 has a second index line LP2 on its surface in addition to the index line LP1. The second index line LP2 is a line for judging whether the insertion amount is appropriate or not based on the positional relationship with the end face P21 of the second tube P2. As shown by reference numbers 1301 and 1302 in FIG. 13, the insertion amount is appropriate and minimum when the second index line LP2 is in contact with the end face P21 only at one point and the second tube P2 does not overlap with other areas of the second index line LP2. As shown by reference numbers 1303 and 1304 in FIG. 13, the insertion amount is appropriate and maximum when the second index line LP2 is in contact with the end face P21 only at one point and the second tube P2 overlaps with other areas of the second index line LP2.

モデル生成ステップにおいては、基準画像生成装置は、上述した2種類の状態の継手部分の3次元モデルを生成する。モデル画像生成ステップでは、図13の符号1302および1304に示した撮影位置POSから、符号1301および1303に示した撮像範囲RPICを撮像した場合の画像を生成する。撮影位置POSは、第2の管P2の軸方向において端面P21の位置と等しく、径方向において第2の管P2の中心軸から所定の距離だけ離隔した位置である。所定の距離は例えば200mmであるが、これに限られない。 In the model generation step, the reference image generation device generates a three-dimensional model of the joint portion in the two states described above. In the model image generation step, an image is generated when the imaging range RPIC shown by reference numbers 1301 and 1303 is imaged from the imaging position POS shown by reference numbers 1302 and 1304 in FIG. 13. The imaging position POS is a position that is equal to the position of the end face P21 in the axial direction of the second pipe P2 and is separated by a predetermined distance from the central axis of the second pipe P2 in the radial direction. The predetermined distance is, for example, 200 mm, but is not limited to this.

図14は、継手部分の3次元モデルにおける、屈曲角の変更について説明するための図である。上述したとおり、基準画像CIは、継手部分における屈曲角に応じて複数用意される。このため、モデル画像生成ステップでは、基準画像生成装置は、複数の基準画像を生成するために、3次元モデルの屈曲角を変更した複数のモデル画像を生成する必要がある。 Figure 14 is a diagram for explaining the change in the bending angle in the three-dimensional model of the joint part. As described above, multiple reference images CI are prepared according to the bending angle in the joint part. Therefore, in the model image generation step, the reference image generation device needs to generate multiple model images in which the bending angle of the three-dimensional model is changed in order to generate multiple reference images.

本実施形態においては、基準画像生成装置は、所定の回転中心P22の周りで第1の管P1を第2の管P2に対して回転させることで3次元モデルの屈曲角を変更する。回転中心P22は、第2の管P2の中心軸上に存在する。また、第2の管P22の軸方向における回転中心P22の位置は、第2の管P2の内側に配されるバルブ(不図示)の、軸方向における位置に等しい。バルブは、継手部分を密閉するためのシール部材である。継手部分において、第1の管P1および第2の管P2は、バルブを介して互いに当接する。 In this embodiment, the reference image generating device changes the bending angle of the three-dimensional model by rotating the first pipe P1 relative to the second pipe P2 around a predetermined rotation center P22. The rotation center P22 exists on the central axis of the second pipe P2. The position of the rotation center P22 in the axial direction of the second pipe P22 is equal to the position in the axial direction of a valve (not shown) disposed inside the second pipe P2. The valve is a sealing member for sealing the joint portion. In the joint portion, the first pipe P1 and the second pipe P2 abut against each other via the valve.

基準画像生成装置は、それぞれの屈曲角において、挿入量が適切かつ最小の状態、および、挿入量が適切かつ最大の状態の3次元モデルを生成する。基準画像生成装置は、挿入量が適切かつ最小の状態、および、挿入量が適切かつ最大の状態のいずれにおいても指標線LP1と重畳するように、基準画像CIを生成する。 The reference image generating device generates a three-dimensional model for each bending angle in a state where the insertion amount is appropriate and minimal, and in a state where the insertion amount is appropriate and maximal. The reference image generating device generates a reference image CI so that it overlaps with the index line LP1 in both a state where the insertion amount is appropriate and minimal, and a state where the insertion amount is appropriate and maximal.

以上のとおり、基準画像生成装置は、継手部分の3次元モデルを生成し、当該3次元モデルを用いて基準画像CIを生成する。したがって、基準画像生成装置は、継手部分における屈曲角および第1の管P1の呼び径といった条件ごとの基準画像CIを容易に生成できる。 As described above, the reference image generating device generates a three-dimensional model of the joint portion and generates the reference image CI using the three-dimensional model. Therefore, the reference image generating device can easily generate a reference image CI for each condition, such as the bending angle at the joint portion and the nominal diameter of the first pipe P1.

〔ソフトウェアによる実現例〕
挿入量判定用装置1、1Aの制御ブロック(特に継手画像撮像部11、輪郭抽出部12、屈曲角算出部13、基準画像取得部14、判定用画像生成部15、指標線抽出部16、挿入量判定部17、および判定用画像出力部18)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Software implementation example]
The control blocks of the insertion amount determination device 1, 1A (particularly the joint image capturing unit 11, the contour extraction unit 12, the bend angle calculation unit 13, the reference image acquisition unit 14, the determination image generation unit 15, the index line extraction unit 16, the insertion amount determination unit 17, and the determination image output unit 18) may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software.

後者の場合、挿入量判定用装置1、1Aは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 In the latter case, the insertion amount determination device 1, 1A includes a computer that executes the instructions of a program, which is software that realizes each function. This computer includes, for example, one or more processors, and a computer-readable recording medium that stores the program. The object of the present invention is achieved by the processor reading the program from the recording medium and executing it in the computer. The processor can be, for example, a CPU (Central Processing Unit). The recording medium can be a "non-transient tangible medium", such as a ROM (Read Only Memory), tape, disk, card, semiconductor memory, programmable logic circuit, etc. The device may also include a RAM (Random Access Memory) that expands the program. The program may be supplied to the computer via any transmission medium (such as a communication network or broadcast waves) that can transmit the program. One aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims. The technical scope of the present invention also includes embodiments obtained by appropriately combining the technical means disclosed in different embodiments.

1、1A 挿入量判定用装置
11 継手画像撮像部
12 輪郭抽出部
13 屈曲角算出部
14 基準画像取得部
15 判定用画像生成部
16 指標線抽出部
17 挿入量判定部
18 判定用画像出力部
REFERENCE SIGNS LIST 1, 1A Insertion amount determination device 11 Joint image capturing section 12 Contour extraction section 13 Bending angle calculation section 14 Reference image acquisition section 15 Determination image generation section 16 Index line extraction section 17 Insertion amount determination section 18 Determination image output section

Claims (8)

第1の管の端部に形成された挿し口を、第2の管の端部に形成された受口に挿入することで構成される継手部分の接合状態を判定するための装置であって、
前記第1の管は、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための指標となる指標線を表面に有し、
前記第1の管の挿し口が、前記第2の管の受口に挿入されている継手部分の継手画像を撮像する継手画像撮像部と、
前記第1の管および前記第2の管の輪郭を前記継手画像から抽出する輪郭抽出部と、
前記輪郭に基づいて、前記継手部分における前記第1の管および前記第2の管の間の、所定の方向における屈曲角を算出する屈曲角算出部と、
前記屈曲角に応じた、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための、屈曲角に応じて用意された基準画像を取得する基準画像取得部と、
前記基準画像を前記継手画像に重畳させることで、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための判定用画像を生成する判定用画像生成部と、を備える挿入量判定用装置。
A device for determining a joining condition of a joint portion configured by inserting a plug formed on an end of a first pipe into a socket formed on an end of a second pipe, comprising:
the first tube has an index line on a surface thereof serving as an index for determining whether or not the insertion amount of the insertion opening of the first tube is appropriate for the insertion opening of the second tube;
a joint image capturing unit configured to capture a joint image of a joint portion where the insertion port of the first pipe is inserted into the receiving port of the second pipe;
a contour extraction unit that extracts contours of the first pipe and the second pipe from the joint image;
a bend angle calculation unit that calculates a bend angle in a predetermined direction between the first pipe and the second pipe at the joint portion based on the contour;
a reference image acquisition unit that acquires a reference image prepared according to a bending angle in order to determine whether an insertion amount of the spigot of the first pipe into the socket of the second pipe is appropriate according to the bending angle;
and a judgment image generating unit that generates a judgment image for determining whether the insertion amount of the insertion port of the first pipe into the receiving port of the second pipe is appropriate by superimposing the reference image on the joint image.
前記判定用画像から前記指標線の画像を抽出する指標線抽出部と、
抽出した前記指標線の画像に前記基準画像が重畳している場合、前記挿入量が適切であると判定する挿入量判定部と、をさらに備える請求項1に記載の挿入量判定用装置。
an index line extraction unit that extracts an image of the index line from the determination image;
2. The insertion amount determining device according to claim 1, further comprising an insertion amount determining unit that determines that the insertion amount is appropriate when the reference image is superimposed on the extracted image of the index line.
前記判定用画像を表示装置に出力する判定用画像出力部をさらに備える請求項1または2に記載の挿入量判定用装置。 The device for determining the insertion amount according to claim 1 or 2 further comprises a determination image output unit that outputs the determination image to a display device. 前記基準画像は、前記第2の管の軸方向に垂直な第1の方向における前記屈曲角に応じて複数用意されており、
前記基準画像取得部は、前記複数の前記基準画像から、前記継手画像における前記第1の方向における前記屈曲角に応じた前記基準画像を選択して取得する請求項1から3のいずれか1項に記載の挿入量判定用装置。
a plurality of reference images are prepared according to the bending angle in a first direction perpendicular to an axial direction of the second pipe,
The insertion amount determination device according to claim 1 , wherein the reference image acquisition unit selects and acquires the reference image from the plurality of reference images according to the bending angle in the first direction in the joint image.
前記基準画像は、前記第1の方向と、前記第2の管の軸方向および前記第1の方向の両方に垂直な第2の方向と、のそれぞれにおける前記屈曲角に応じて複数用意されている請求項4に記載の挿入量判定用装置。 The insertion amount determination device according to claim 4, wherein a plurality of reference images are prepared according to the bending angle in each of the first direction and the second direction perpendicular to both the axial direction of the second tube and the first direction. 前記基準画像は、前記第1の管の呼び径に応じて複数用意されており、
前記基準画像取得部は、前記複数の前記基準画像から、前記継手画像における前記第1の管の呼び径に応じた前記基準画像を選択して取得する請求項1から5のいずれか1項に記載の挿入量判定用装置。
A plurality of reference images are prepared according to the nominal diameter of the first pipe,
The insertion amount determination device according to any one of claims 1 to 5, wherein the reference image acquisition unit selects and acquires the reference image from the plurality of reference images according to the nominal diameter of the first pipe in the joint image.
前記基準画像は、前記継手画像における前記第1の管の、少なくとも一方の側面の輪郭部分に重畳する画像である請求項1から6のいずれか1項に記載の挿入量判定用装置。 The insertion amount determination device according to any one of claims 1 to 6, wherein the reference image is an image that is superimposed on the contour portion of at least one side of the first pipe in the joint image. 第1の管の端部に形成された挿し口を、第2の管の受口に挿入することで構成される継手部分の接合状態を判定するための方法であって、
前記第1の管は、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための指標となる指標線を表面に有し、
前記第1の管の挿し口が、前記第2の管の受口に挿入されている継手部分の継手画像を撮像する継手画像撮像ステップと、
前記第1の管および前記第2の管の輪郭を前記継手画像から抽出する輪郭抽出ステップと、
前記輪郭に基づいて、前記継手部分における前記第1の管および前記第2の管の間の、所定の方向における屈曲角を算出する屈曲角算出ステップと、
前記屈曲角に応じた、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための、屈曲角に応じて用意された基準画像を取得する基準画像取得ステップと、
前記基準画像を前記継手画像に重畳させることで、前記第2の管の受口に対する前記第1の管の挿し口の挿入量の適否を判定するための判定用画像を生成する判定用画像生成ステップと、を含む方法。
A method for determining a joining condition of a joint portion, the method being configured by inserting a spigot formed on an end of a first pipe into a socket of a second pipe, the method comprising the steps of:
the first tube has an index line on a surface thereof serving as an index for determining whether or not the insertion amount of the insertion opening of the first tube is appropriate relative to the receiving opening of the second tube;
a joint image capturing step of capturing an image of a joint portion where the insertion port of the first pipe is inserted into the receiving port of the second pipe;
a contour extraction step of extracting contours of the first pipe and the second pipe from the joint image;
a bending angle calculation step of calculating a bending angle in a predetermined direction between the first pipe and the second pipe at the joint portion based on the contour;
a reference image acquiring step of acquiring a reference image prepared according to a bending angle in order to determine whether an insertion amount of the insertion port of the first pipe into the receiving port of the second pipe is appropriate according to the bending angle;
and generating an image for judgment by superimposing the reference image on the joint image to generate an image for judgment for judging whether the insertion amount of the insertion port of the first pipe into the receiving port of the second pipe is appropriate.
JP2020213990A 2020-12-23 2020-12-23 Apparatus and method for determining insertion amount Active JP7491831B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020213990A JP7491831B2 (en) 2020-12-23 2020-12-23 Apparatus and method for determining insertion amount
JP2024069100A JP2024083630A (en) 2020-12-23 2024-04-22 Reference image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020213990A JP7491831B2 (en) 2020-12-23 2020-12-23 Apparatus and method for determining insertion amount

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024069100A Division JP2024083630A (en) 2020-12-23 2024-04-22 Reference image generation method

Publications (2)

Publication Number Publication Date
JP2022099915A JP2022099915A (en) 2022-07-05
JP7491831B2 true JP7491831B2 (en) 2024-05-28

Family

ID=82269649

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020213990A Active JP7491831B2 (en) 2020-12-23 2020-12-23 Apparatus and method for determining insertion amount
JP2024069100A Pending JP2024083630A (en) 2020-12-23 2024-04-22 Reference image generation method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024069100A Pending JP2024083630A (en) 2020-12-23 2024-04-22 Reference image generation method

Country Status (1)

Country Link
JP (2) JP7491831B2 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000081186A (en) 1998-09-03 2000-03-21 Kubota Corp Snap tap with saddle
JP2009080004A (en) 2007-09-26 2009-04-16 Mitsubishi Electric Engineering Co Ltd Inspection device
US20090314087A1 (en) 2002-06-17 2009-12-24 Swagelok Company Ultrasonic testing of fitting assembly
JP2010139407A (en) 2008-12-12 2010-06-24 Toyota Motor Corp Inspection method for surface defect
JP2012123589A (en) 2010-12-08 2012-06-28 Kubota Corp Piping construction management system, portable terminal and construction information management server
JP2015190614A (en) 2014-03-31 2015-11-02 株式会社クボタ Earthquake proof joint for branch pipe
JP2017067455A (en) 2015-09-28 2017-04-06 株式会社クボタ Pipe inspection device
JP2018013436A (en) 2016-07-22 2018-01-25 株式会社クボタ Joint state evaluation method and joint state evaluation device
JP2019078033A (en) 2017-10-23 2019-05-23 株式会社クボタ Off-set diagram creation support system, off-set diagram creation support method, flying body used for the off-set diagram creation support system, and off-set diagram creation support device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000081186A (en) 1998-09-03 2000-03-21 Kubota Corp Snap tap with saddle
US20090314087A1 (en) 2002-06-17 2009-12-24 Swagelok Company Ultrasonic testing of fitting assembly
JP2009080004A (en) 2007-09-26 2009-04-16 Mitsubishi Electric Engineering Co Ltd Inspection device
JP2010139407A (en) 2008-12-12 2010-06-24 Toyota Motor Corp Inspection method for surface defect
JP2012123589A (en) 2010-12-08 2012-06-28 Kubota Corp Piping construction management system, portable terminal and construction information management server
JP2015190614A (en) 2014-03-31 2015-11-02 株式会社クボタ Earthquake proof joint for branch pipe
JP2017067455A (en) 2015-09-28 2017-04-06 株式会社クボタ Pipe inspection device
JP2018013436A (en) 2016-07-22 2018-01-25 株式会社クボタ Joint state evaluation method and joint state evaluation device
JP2019078033A (en) 2017-10-23 2019-05-23 株式会社クボタ Off-set diagram creation support system, off-set diagram creation support method, flying body used for the off-set diagram creation support system, and off-set diagram creation support device

Also Published As

Publication number Publication date
JP2022099915A (en) 2022-07-05
JP2024083630A (en) 2024-06-21

Similar Documents

Publication Publication Date Title
CN107845113B (en) Target element positioning method and device and user interface testing method and device
US20060269098A1 (en) Image processing apparatus, image processing method, medium, code reading apparatus, and program
EP1650704A1 (en) Image processing device
JP5156601B2 (en) Shape measuring apparatus and program
WO2014045508A1 (en) Inspection device, inspection method, and inspection program
US6178392B1 (en) Method for combining the computer models of two surfaces in 3-D space
US9319669B2 (en) Image processing device and image processing method
WO2019080061A1 (en) Camera device-based occlusion detection and repair device, and occlusion detection and repair method therefor
CN112485709A (en) Method, device, medium and electronic equipment for detecting internal circuit abnormality
JP7491831B2 (en) Apparatus and method for determining insertion amount
JP6326959B2 (en) Projection system, information processing apparatus, information processing method, and program
KR101348681B1 (en) Multi-sensor image alignment method of image detection system and apparatus using the same
US20200257412A1 (en) Augmented reality model alignment
JP2020122769A (en) Evaluation method, evaluation program, and information processing device
JP5299196B2 (en) Marker detection device and program for marker detection device
KR20200056688A (en) System and method for structural quality inspection using augmented reality
JP2010182330A (en) Method for processing color image and image processor
JP6962242B2 (en) Information processing device, superimposition display program, superimposition display method
US10360719B2 (en) Method and apparatus for obtaining high-quality textures
JP3800208B2 (en) Image processing method
WO2011122262A1 (en) Target-projecting device and target-projecting method
CN112598689B (en) Method for extracting line of weakness under texture background
Liu Automatic Localization and Detection Applicable to Robust Image Watermarking Resisting against Camera Shooting
US20170301134A1 (en) Method for creating three-dimensional documentation
JP7551730B2 (en) Surface estimation method, surface estimation device, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240516

R150 Certificate of patent or registration of utility model

Ref document number: 7491831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150