JP7509338B1 - 計測方法、計測装置、物体の製造方法、物体の品質管理方法、物体の製造設備、演算部、撮像端末、撮像システム、及び情報処理装置 - Google Patents

計測方法、計測装置、物体の製造方法、物体の品質管理方法、物体の製造設備、演算部、撮像端末、撮像システム、及び情報処理装置 Download PDF

Info

Publication number
JP7509338B1
JP7509338B1 JP2024521172A JP2024521172A JP7509338B1 JP 7509338 B1 JP7509338 B1 JP 7509338B1 JP 2024521172 A JP2024521172 A JP 2024521172A JP 2024521172 A JP2024521172 A JP 2024521172A JP 7509338 B1 JP7509338 B1 JP 7509338B1
Authority
JP
Japan
Prior art keywords
image
edge
calculation unit
measurement
edges
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024521172A
Other languages
English (en)
Inventor
勇介 塚本
真一 羽賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Application granted granted Critical
Publication of JP7509338B1 publication Critical patent/JP7509338B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本発明に係る計測方法は、測長用の長さ基準となるパターンが描画されたマーカープレートと共に撮影された物体の画像を、画像中のパターンの画像を用いて、所定の分解能を有する正対画像に変換する第1ステップと、正対画像から物体のエッジを検出する第2ステップと、検出されたエッジに基づいて所定の物理量を算出する第3ステップと、を含み、第2ステップは、正対画像を入力データ、正対画像中のエッジを出力データとする機械学習モデルを、検出するエッジの種類に応じて選択するステップと、第1ステップによって得られた正対画像を選択された機械学習モデルに入力することにより、正対画像中のエッジを検出するステップと、検出されたエッジの連結性に基づいて、エッジの過検出を除去する及び/又はエッジの未検出を補間するステップと、を含む。

Description

本発明は、計測方法、計測装置、物体の製造方法、物体の品質管理方法、物体の製造設備、演算部、撮像端末、撮像システム、及び情報処理装置に関する。
近年、鋼管の規格であるAPI5L規格(非特許文献1参照)が改定され、鋼管の形状検査方法の記載が明確化された。これを踏まえ、今後一層、鋼管の形状検査の管理が厳格化されることが予想される。一方、鋼管の形状検査の項目は多岐にわたり、複雑な手順を含むものもある。例えばオフセット(溶接部の開先ずれ)は、鋼管の外面の複数の位置にダイヤルゲージを当て、ダイヤルゲージの計測値に基づいて算出しなければならない。また、鋼管の曲がりは、鋼管の長さ方向に水糸を張る等して計測された鋼管の浮きに基づいて算出しなければならない。
AMERICAN PETROLEUM INSTITUTE,API SPECIFICATION 5L FORTY-SIXTH EDITION,APRIL 2018. Xavier Soria,Edgar Riba,and Angel Sappa."Dense Extreme Inception Network:Towards a Robust CNN Model for Edge Detection.",The IEEE Winter Conference on Applications of Computer Vision. 2020,Vol.1,p.1912-1921.
このように、鋼管の形状検査の項目や手順は多岐にわたることから、形状検査は工場のオペレータの手作業によるところが大きい。加えて、形状検査は、鋼管の外面、内面、端面、及び長さ方向等、鋼管の複数の面や方向で行う。このため、形状検査には多くの時間を要し、また形状検査を精度よく行うことは難しい。
本発明は、上記課題を解決すべくなされたものであり、その目的は、物体の所定の位置における所定の物理量を短時間で、且つ、精度よく計測可能な計測方法、計測装置、演算部、撮像端末、及び撮像システムを提供することにある。また、本発明の他の目的は、物体の製造歩留まりを向上可能な物体の製造方法を提供することにある。また、本発明の他の目的は、高品質な物体を提供可能な物体の品質管理方法を提供することにある。また、本発明の他の目的は、物体の製造歩留まりを向上可能な物体の製造設備を提供することにある。また、本発明の他の目的は、物体の製造歩留まりを向上させる及び/又は高品質な物体を提供可能な情報処理装置を提供することにある。
[1]本発明に係る計測方法は、物体の所定の位置における所定の物理量を計測する計測方法であって、測長用の長さ基準となるパターンが描画されたマーカープレートと共に撮影された前記物体の画像を、前記画像中の前記パターンの画像を用いて、所定の分解能を有する正対画像に変換する第1ステップと、前記正対画像から前記物体のエッジを検出する第2ステップと、検出された前記エッジに基づいて前記所定の物理量を算出する第3ステップと、を含み、前記第2ステップは、前記正対画像を入力データ、前記正対画像中の前記エッジを出力データとする機械学習モデルを、検出する前記エッジの種類に応じて選択するステップと、前記第1ステップによって得られた前記正対画像を選択された機械学習モデルに入力することにより、前記正対画像中の前記エッジを検出するステップと、検出された前記エッジの連結性に基づいて、前記エッジの過検出を除去する及び/又は前記エッジの未検出を補間するエッジ識別ステップと、を含む。
[2]本発明に係る計測方法は、上記発明[1]において、前記第1ステップの前に、前記マーカープレートと共に前記物体の画像を撮像する撮像ステップを含む。
[3]本発明に係る計測方法は、上記発明[1]又は上記発明[2]において、前記エッジ識別ステップは、前記エッジの画像を二値化するステップと、二値化された前記エッジの画像を複数の処理単位に分割して複数の分割二値画像を生成するステップと、隣接する分割二値画像中における前記エッジを考慮して各分割二値画像中における前記エッジの有効又は無効を判定するステップと、有効と判定された前記エッジに基づいて無効と判定された前記エッジを補間するステップと、を含む。
[4]本発明に係る計測装置は、物体の所定の位置における所定の物理量を計測する計測装置であって、測長用の長さ基準となるパターンが描画されたマーカープレートと、前記マーカープレートと共に、前記物体の画像を撮影する撮像部と、撮影された前記画像中の前記パターンの画像を用いて、前記画像を所定の分解能を有する正対画像に変換する処理と、前記正対画像から前記物体のエッジを検出する処理と、検出された前記エッジに基づいて前記所定の物理量を算出する処理と、を実行する演算部と、を備え、前記演算部は、前記エッジを検出する処理において、前記正対画像を入力データ、前記正対画像中の前記エッジを出力データとする機械学習モデルを、検出する前記エッジの種類に応じて選択する処理と、前記正対画像を選択された機械学習モデルに入力することにより、前記正対画像中の前記エッジを検出する処理と、検出された前記エッジの連結性に基づいて、前記エッジの過検出を除去する及び/又は前記エッジの未検出を補間する処理と、を実行する。
[5]本発明に係る物体の製造方法は、物体の製造ステップと、上記発明[1]~[3]のいずれか1つを用いて、物体の所定の位置における所定の物理量を計測する計測ステップと、を含む。
[6]本発明に係る物体の品質管理方法は、上記発明[1]~[3]のいずれか1つを用いて、物体の所定の位置における所定の物理量を計測する計測ステップと、前記計測ステップによって得られた所定の物理量の計測結果から、前記物体の品質管理を行う品質管理ステップと、を含む。
[7]本発明に係る物体の製造設備は、物体を製造するための製造設備と、前記製造設備により製造された前記物体の所定の位置における所定の物理量を計測するための、上記発明[4]の計測装置と、を備える。
[8]本発明に係る演算部は、物体の所定の位置における所定の物理量を計測するための演算部であって、測長用の長さ基準となるパターンが描画されたマーカープレートと共に撮影された前記物体の画像より算出された正対画像から、前記物体のエッジを検出する処理と、検出された前記エッジに基づいて前記所定の物理量を算出する処理と、を実行すると共に、前記エッジを検出する処理において、前記正対画像を入力データ、前記正対画像中の前記エッジを出力データとする機械学習モデルを、検出する前記エッジの種類に応じて選択する処理と、前記正対画像を選択された前記機械学習モデルに入力することにより、前記正対画像中の前記エッジを検出する処理と、検出された前記エッジの連結性に基づいて、前記エッジの過検出を除去する及び/又は前記エッジの未検出を補間する処理と、を実行する。
[9]本発明に係る演算部は、上記発明[8]において、前記物体の画像より前記正対画像を算出するために、前記画像中の前記パターンを用いて、前記画像を所定の分解能を有する正対画像に変換する処理を実行する。
[10]本発明に係る撮像端末は、物体の所定の位置における所定の物理量を計測するための撮像端末であって、測長用の長さ基準となるパターンが描画されたマーカープレートと共に、前記物体の画像を撮影する撮像部と、撮影された前記画像に対して処理を実行する第2演算部と、を備え、前記第2演算部は、撮影された前記画像を上記発明[8]又は上記発明[9]の演算部である外部の第1演算部へ出力する処理を実行する、及び/又は、上記発明[8]又は上記発明[9]の演算部である。
[11]本発明に係る撮像システムは、物体の所定の位置における所定の物理量を計測するための撮像システムであって、測長用の長さ基準となるパターンが描画されたマーカープレートと、前記マーカープレートが設置された前記物体を撮影する、上記発明[10]の撮像端末と、を備える。
[12]本発明に係る情報処理装置は、上記発明[8]又は上記発明[9]の演算部である外部の第1又は第2演算部により算出された、物体の所定の位置における所定の物理量と、前記物理量が算出された前記物体に関する複数の情報と、から、前記物体の製造条件を変更する処理と、前記物体の品質の程度を判定する処理のうちの1つ以上を実行する第3演算部を備える。
[13]本発明に係る物体の製造設備は、物体を製造するための製造設備と、前記製造設備により製造された前記物体の所定の位置における所定の物理量を計測するための、上記発明[10]の撮像端末と、を備える。
本発明に係る計測方法、計測装置、演算部、撮像端末、及び撮像システムによれば、物体の所定の位置における所定の物理量を短時間で、且つ、精度よく計測することができる。また、本発明に係る物体の製造方法によれば、物体の製造歩留まりを向上させることができる。また、本発明に係る物体の品質管理方法によれば、高品質な物体を提供することができる。また、本発明に係る物体の製造設備によれば、物体の製造歩留まりを向上させることができる。また、本発明に係る情報処理装置によれば、物体の製造歩留まりを向上させる及び/又は高品質な物体を提供することができる。
図1は、本発明の第1の実施形態である計測装置の構成を示す模式図である。 図2は、本発明の第1の実施形態である物理量計測処理の流れを示すフローチャートである。 図3は、図2に示す撮像処理の流れを示すフローチャートである。 図4は、図2に示す射影変換処理の流れを示すフローチャートである。 図5は、撮像処理により撮影された溶接部及びマーカープレートの画像の一例を示す模式図である。 図6は、図5に示したマーカープレートの寸法の一例を示す図である。 図7は、図2に示す検出処理の流れを示すフローチャートである。 図8は、ステップS32の処理によって得られたエッジ画像の一例を示す模式図である。 図9は、図7に示すエッジ識別処理の流れを示すフローチャートである。 図10は、図9に示すステップS334の処理の具体例を説明するための図である。 図11は、図9に示すステップS335の処理の具体例を説明するための図である。 図12は、図9に示すステップS336の処理の具体例を説明するための図である。 図13は、図9に示すステップS336の処理の具体例を説明するための図である。 図14は、図9に示すステップS334~ステップS336の処理結の結果得られたエッジ画像の一例を示す図である。 図15は、ステップS339の処理の結果得られたエッジ画像の一例を示す図である。 図16は、管厚、オフセット、ビード高さ、内面ピーキング、外面ピーキング、及びビード立ち上がり角を説明するための図である。 図17は、管厚を計測する際の計測処理の流れを示すフローチャートである。 図18は、オフセット及びビード高さを計測する際の計測処理の流れを示すフローチャートである。 図19-1は、内面ピーキングを計測する際の計測処理の流れを示すフローチャートである。 図19-2は、外面ピーキングを計測する際の計測処理の流れを示すフローチャートである。 図19-3は、外面ピーキングの計測処理を説明するための図である。 図20は、ビード立ち上がり角を計測する際の計測処理の流れを示すフローチャートである。 図21は、本発明の第2の実施形態である計測装置の構成を示す模式図である。 図22は、図21に示す計測装置の要部構成を示すブロック図である。 図23は、図21に示す計測装置の変形例の要部構成を示すブロック図である。 図24は、図21に示す計測装置で実施される撮像端末と情報処理装置の処理の流れを示すフローチャートである。 図25は、本発明の第3の実施形態である計測装置の要部構成を示すブロック図である。 図26は、図25に示す計測装置で実施される撮像端末と情報処理装置の処理の流れを示すフローチャートである。 図27は、本発明の第4の実施形態である計測装置の要部構成を示すブロック図である。 図28は、図27に示す計測装置で実施される撮像端末と情報処理装置の処理の流れを示すフローチャートである。 図29は、本発明の第5の実施形態である計測装置の要部構成を示すブロック図である。 図30は、図29に示す計測装置で実施される撮像端末、第1情報処理装置、及び第2情報処理装置の処理の流れを示すフローチャートである。 図31は、撮影画像に管厚を計測した位置を重ね合わせた様子を示す模式図である。 図32は、実施例における管厚の計測結果と誤差範囲を示す図である。
以下、図面を参照して、本発明の第1~第5の実施形態である計測装置及びその計測方法について説明する。本実施形態では、計測装置は、溶接鋼管の溶接部の断面形状に関する物理量を計測するが、本発明は、本実施形態に限定されることはなく、エッジがでやすい物体の所定位置における物理量を計測する処理全般に適用することができる。詳しくは後述するが、溶接鋼管の溶接部の断面形状に関する物理量としては、管厚、オフセット、ビード高さ、内面ピーキング、外面ピーキング、ビード立ち上がり角等を例示できる。
〔第1の実施形態〕
[構成]
まず、図1を参照して、本発明の第1の実施形態である計測装置の構成について説明する。図1は、本発明の第1の実施形態である計測装置の構成を示す模式図である。本実施形態では、計測対象を溶接鋼管1の溶接部1cの断面として説明する。図1に示すように、本発明の第1の実施形態である計測装置20は、溶接鋼管1の溶接部1cの断面形状に関する物理量を計測する装置であり、撮像部2、演算部3、表示部4、記憶部5、及びマーカープレート10を備えている。
撮像部2は、溶接鋼管1の断面の画像を撮影する撮像手段であり、モノクロカメラやカラーカメラによって構成されている。撮像部2としては、カラーカメラを用いることが好ましい。撮像部2は、溶接鋼管1の断面を撮影した時に所定の分解能を確保できるよう設計されていることが好ましい。撮像部2の設置位置が所定範囲内で変更可能な場合、その所定範囲内の全ての位置において、所定の分解能を確保できるよう設計されていることが好ましい。また、所定の物理量を計測するための所定の位置が含まれるように、撮像部2により溶接鋼管1の断面の画像は撮影される。
演算部3は、撮像部2が撮影した溶接鋼管1の断面の画像データに対して射影変換等の画像処理を施し、溶接部1cの断面形状に関する物理量を算出する演算手段である。演算部3は、CPU(Central Processing Unit)を搭載したコンピュータ等によって構成されている。
表示部4は、演算部3によって算出された溶接部1cの断面形状に関する物理量を含む情報を表示する表示手段である。表示部4は、液晶ディスプレイ等によって構成されている。表示部4は、演算部3によって算出された物理量に加えて、撮像部2が撮影した溶接鋼管1の断面の画像データや、演算部3で画像処理した結果の画像データ等を同時に表示してもよい。
記憶部5は、演算部3によって算出された溶接部1cの断面形状に関する物理量を含む情報を保存する記憶手段である。記憶部5は、ハードディスクドライブ等によって構成されている。記憶部5は、撮像部2が撮影した溶接鋼管1の断面の画像データや、演算部3で画像処理した結果の画像データ等を保存してもよい。
撮像部2によって溶接鋼管1の断面の画像を撮影する際には、マーカープレート10を溶接鋼管1の断面に設置する。マーカープレート10は、溶接鋼管1の断面における測長を実現するためのものであり、その表面には測長用の長さ基準となる長さが既知のパターン10aが描画されている。パターン10aとしては、一つ又は複数の一辺の長さが既知の正方形のパターンや、一つ又は複数の3次元測量用のマーカーであるARマーカー(例えばAruco)等を用いることが好ましい。
マーカープレート10は、溶接鋼管1の断面や表面に簡単に着脱可能なように磁石等で取り付けることが好ましい。後述する射影変換の精度を向上するために、パターン10aの数はできるだけ多い方が好ましい。溶接部1cとパターン10aとは可能な限り同一平面上となるように配置することが好ましい。通常の運用方法の下では、撮像部2が設置されている場所から溶接鋼管1の断面の画像を撮影した際、マーカープレート10の全体が撮影できるように、マーカープレート10を小さな構造にすることが好ましい。
簡便な物理量計測を実現するために、後述する第2の実施形態等で説明するように、撮像部2、演算部3、及び表示部4をそれらと同等の機能を有する撮像端末6に置き換えてもよい。
[物理量計測処理]
次に、図2~図20を参照して、上記計測装置20を用いた本発明の第1の実施形態である物理量計測処理の流れについて説明する。図2は、本発明の第1の実施形態である物理量計測処理の流れを示すフローチャートである。図2に示すフローチャートは、計測装置20に対して物理量計測処理の実行命令が入力されたタイミングで開始となり、物理量計測処理はステップS1の処理に進む。
ステップS1の処理では、オペレータが、撮像部2を操作することにより、マーカープレート10が設置された溶接鋼管1のビード部1aを含む溶接部1cの画像を撮影する(撮影ステップ)。撮像部2は、撮影された溶接部1c及びマーカープレート10の画像を含む画像データを演算部3に入力する(撮像処理)。この撮像処理の詳細については、図3を参照して後述する。これにより、ステップS1の処理は完了し、物理量計測処理はステップS2の処理に進む。
ステップS2の処理では、演算部3が、撮像部2から入力された画像データを所定の分解能を有する正対画像データに射影変換する(射影変換処理)。この射影変換処理の詳細については、図4~図6を参照して後述する。これにより、ステップS2の処理は完了し、物理量計測処理はステップS3の処理に進む。
ステップS3の処理では、演算部3が、ステップS2の処理によって得られた正対画像データから溶接鋼管1の断面のエッジ位置を検出する(検出処理)。この検出処理の詳細については、図7~図15を参照して後述する。これにより、ステップS3の処理は完了し、物理量計測処理はステップS4の処理に進む。
ステップS4の処理では、演算部3が、ステップS3の処理によって検出されたエッジ位置に基づいて溶接部1cの断面形状に関する物理量を算出する(計測処理)。この計測処理の詳細については、図16~図20を参照して後述する。これにより、ステップS4の処理は完了し、物理量計測処理はステップS5の処理に進む。
ステップS5の処理では、表示部4が、ステップS4の処理において算出された溶接部1cの断面形状に関する物理量を含む情報を表示する。オペレータは、表示部4に表示された情報に基づいて溶接部1cの画像の撮影条件等を変更することができる。これにより、ステップS5の処理は完了し、一連の物理量計測処理は終了する。
<撮像処理>
次に、図3を参照して、上記ステップS1の撮像処理の流れについて説明する。図3は、図2に示す撮像処理の流れを示すフローチャートである。図3に示すフローチャートは、計測装置20に対して物理量計測処理の実行命令が入力されたタイミングで開始となり、撮像処理はステップS11の処理に進む。
ステップS11の処理では、オペレータが、溶接鋼管1のビード部1aを含む溶接部1c付近にマーカープレート10を設置する。この際、オペレータは、溶接部1cとマーカープレート10のパターン10aとが可能な限り同一平面上に位置するようにマーカープレート10を設置することが好ましい。これにより、ステップS11の処理は完了し、撮像処理はステップS12の処理に進む。
ステップS12の処理では、オペレータが、撮像部2を操作することにより、マーカープレート10が設置された溶接鋼管1のビード部1aを含む溶接部1cの画像を撮影する。この際、画像内に所定の物理量を計測するための所定の位置が含まれるように、溶接部1cの画像を撮影する。所定の物理量は、この後の計測処理(ステップS4)で計測される物理量である。さらに、溶接部1cとマーカープレート10に描画された全てのパターン10aとが一度に撮影されることが好ましい。撮像部2は、撮影された溶接部1c及びマーカープレート10の画像を含む画像データを演算部3に入力する。これにより、ステップS12の処理は完了し、一連の撮像処理は終了する。
<射影変換処理>
次に、図4~図6を参照して、上記ステップS2の射影変換処理の流れについて説明する。図4は、図2に示す射影変換処理の流れを示すフローチャートである。図4に示すフローチャートは、撮像処理が終了したタイミングで開始となり、射影変換処理はステップS21の処理に進む。
ステップS21では、演算部3が、撮像部2から入力された画像データ内からマーカープレート10のパターン10aの位置を検出し、画像上のパターン10aの座標(以下、画像座標と表記)を検出する。ここでは、演算部3は、画像データ内から可能な限り多くのパターン10aの位置を検出し、検出に成功したパターン10aの位置(中心位置又は頂点)の画像座標を列挙する。
図5は、撮像処理により撮影された溶接部1c及びマーカープレート10の画像の一例を示す模式図である。図5に示す例では、マーカープレート10は、中央に矩形形状の開口部10bを有する矩形形状の平板によって構成されている。複数のパターン10aは、マーカープレート10の四隅付近にそれぞれ配置されている。マーカープレート10の形状及びパターン10aの位置は、図5に示す形状及び位置に限定されない。
パターン10aの画像座標は、画像左上の頂点を原点とし、画像右方向をx軸の正方向、画像下方向をy軸の正方向とし、各軸方向に沿った画素のピクセル数で表現される。例えば図5中の左上のパターン10aの左上頂点P11の検出に成功した場合、その画像座標は次のように決定される。すなわち、画像の左上の原点から出発してx軸方向に沿ってx11ピクセル進み、y軸方向に沿ってy11ピクセル進むと、左上頂点P11に到達することから、演算部3は、左上頂点P11の画像座標を(x11,y11)とする。同様に、演算部3は、検出に成功した全てのパターンk=1,2,・・・,Kのそれぞれに対して、検出に成功した全ての中心位置又は頂点Pkn(n=1,2,・・・,Nk)の画像座標(xkn,ykn)を列挙する。
少ないパターン10aから多くの画像座標を取得したい場合には、パターン10aの形状としては、長方形等の頂点を有する形状が好ましい。一方、パターン10aの検出処理と画像座標取得処理の容易さを追求する場合、パターン10aの形状は円等の点対称形状とし、その中心位置の画像座標を検出することが好ましい。パターン10aとして、検出手法や画像座標取得手法が既に確立されているものを使用してもよい。これにより、ステップS21の処理は完了し、射影変換処理はステップS22の処理に進む。
図4に戻る。ステップS22の処理では、演算部3が、ステップS21の処理において検出された頂点Pknの個数をカウントし、射影変換が可能か否かを判定する。一般に、射影変換のためには、4点以上で画像座標と実際の三次元空間内の座標との対応が取れている必要がある。このため、検出された頂点Pknの個数が4点未満である場合(ステップS22:No)、演算部3は、射影変換ができないと判断し、画像変換が失敗したことを示すフラグを立てた後に一連の射影変換処理を終了する。射影変換処理において射影変換ができなかった場合、物理量計測処理は検出処理をスキップして計測処理に進む。一方、検出された頂点Pknの個数が4点以上である場合には(ステップS22:Yes)、演算部3は、射影変換が可能であると判断し、射影変換処理をステップS23の処理に進める。
ステップS23の処理では、演算部3が、ステップS21の処理において検出された頂点Pknの画像座標を用いて、撮影した画像データの射影変換のパラメータを推定して画像データに対して射影変換を行う。具体的に、まず、演算部3は、射影変換のパラメータを推定する前に、射影変換後の画像データの分解能rをパラメータとして設定する。また、射影変換の際には、演算部3は、パターン10aの頂点Pknの実際の座標(以下、「物体座標」と表記)を予め設定する。図6は、図5に示したマーカープレート10の寸法の一例を示す図である。マーカープレート10の形状及びパターン10aの位置は、図6に示す形状及び位置に限定されるものではない。
図6に示すように、パターン10aの物体座標は、マーカープレート10の左上を原点とし、マーカープレート10の右方向をX軸の正方向、マーカープレート10の下方向をY軸の正方向とし、各軸方向に沿った長さ(単位は例えば[mm])で表現される。例えば図6中の左上のパターン10aにおける左上頂点P11の物体座標は、次のように決定される。すなわち、マーカープレート10の左上の原点から出発して、X軸方向に沿ってX11[mm]進み、Y軸方向に沿ってY11[mm]進むと、左上頂点P11に到達することから、演算部3は、左上頂点P11の物体座標を(X11,Y11)とする。同様に、演算部3は、検出に成功した全てのパターンk=1,2,・・・,Kのそれぞれに対して、検出に成功した全ての中心位置又は頂点Pkn(n=1,2,・・・,Nk)の物体座標(Xkn,Ykn)を列挙する。
以上により、検出に成功した全ての頂点Pknに関して、物体座標(Xkn,Ykn)と画像座標(xkn,ykn)との対応関係が明確になった。そこで、次に、演算部3は、これらの対応関係から射影変換のパラメータを算出する。射影変換は画像変形処理の一つである。射影変換は、以下に示す数式(1)及び数式(2)によって画像座標(x,y)を別の画像座標(x’,y’)に移動させることで画像データを変形する。数式(1)及び数式(2)中、A,B,C,D,E,F,G,Hは射影変換のパラメータである。
Figure 0007509338000001
Figure 0007509338000002
撮影した画像データに対して適切なパラメータによる射影変換を施すと、射影変換後の画像データの1ピクセルと実際の長さとの対応関係、すなわち、射影変換後の画像データの分解能rを任意に決めることができる。これを利用すれば、溶接鋼管1の溶接部1cを撮影した画像データに射影変換を施すことにより、溶接部の断面形状に関する物理量の計測を画像上で行うことができる。
射影変換のパラメータを算出するには、同一平面上に配置された少なくとも4点以上の「点」を撮影し、それらの物体座標(X,Y)と画像座標(x,y)との対応関係を取得する。本実施形態では、パターン10aの中心位置や頂点を予め取り決めた配置にしておくことによって、物体座標と画像座標との対応関係を取得する。従って、図1に示した撮像部2や後述する図21に示した撮像端末6等を使用してマーカープレート10を撮影する際には、溶接部1cだけではなく、パターン10aの中心位置又は頂点Pknが4つ以上画像データに入るように撮影するのが好ましい。
射影変換のパラメータは以下のようにして算出する。まず、演算部3は、全ての頂点Pknの物体座標(Xkn,Ykn)について、適切な係数a及び定数b,cを用いて座標を一次変換し、射影変換後の画像データにおいて頂点Pknがあるべき座標(xkn’,ykn’)(単位は例えば[pix])を決定する。一次変換は、以下に示す数式(3)及び数式(4)によって行われる。
Figure 0007509338000003
Figure 0007509338000004
係数aは、射影変換後の画像データの分解能rの逆数にあたる。従って、射影変換後の画像データの分解能rを予め決定した上で係数aの値をrの逆数に設定することが好ましい。定数b,cはそれぞれ、射影変換後の画像データにおける物体座標系の原点のx座標及びy座標である。従って、射影変換後の画像データにおいて、物体座標の原点のとるべき座標(x0,y0)を予め決定した上で定数b,cの値をそれぞれb=x0、c=y0と設定することが好ましい。
例えば射影変換後の画像データの分解能rを0.5[mm/pix]とし、射影変換後の画像データにおける物体座標の原点の位置が(0[pix],100[pix])となるようにする場合について考える。この場合には、係数aを、a=1/r=1/0.5[mm/pix]=2[pix/mm]とし、定数b,cを、それぞれ、0[pix]、100[pix]とすればよい。
続いて、演算部3は、数式(1)及び数式(2)のパラメータA,B,C,D,E,F,G,Hの値を算出する。演算部3は、撮影された画像データにおける頂点Pknの画像座標(xkn,ykn)が、数式(1)及び数式(2)によって、射影変換後の画像データにおいて頂点Pknがあるべき座標(xkn’,ykn’)と変換されるように各パラメータの値を決定する。
各パラメータの具体的な算出方法としては幾つかある。例えば頂点Pknの個数がちょうど4個である場合、数式(1)及び数式(2)に前述の座標の値を代入すれば、数式の数と未知数の数が一致するため、連立方程式としてパラメータA,B,C,D,E,F,G,Hについて解けばよい。また、頂点Pknの個数が4個よりも多い場合には、最小二乗法等の公知の数学的手法を用いてパラメータA,B,C,D,E,F,G,Hの値を決定するとよい。射影変換の具体的方法は、ここで示した方法に限定されるものではない。これにより、ステップS23の処理は完了し、射影変換処理はステップS24の処理に進む。
図4に戻る。ステップS24の処理では、演算部3が、ステップS23の処理において推定された射影変換のパラメータを用いて撮像処理で撮影された画像データを射影変換する。射影変換のパラメータとは、ステップS23の処理で決定したパラメータA,B,C,D,E,F,G,Hの組み合わせのことである。射影変換後の画像データは、変換前の画像データにおける輝度値又はRGB値はそのままで、変換前の画像データにおける座標(x,y)を数式(1)及び上記数式(2)を用いて算出された座標(x’,y’)に置き換えることによって生成される。これにより、ステップS24の処理は完了し、一連の射影変換処理は終了する。
本発明では、計測対象である溶接鋼管1の溶接部1cとマーカープレート10とが同一平面上にあることを仮定している。計測対象が平面、若しくは、平面にみなせる程度の曲面である場合には、この仮定が満足される。具体的には、曲面はマーカープレート10の表面に平行な平面に対して2mm程度以内の変動に収まることが好ましい。通常、画像平面(図5に示すxy平面)に垂直な方向(図5に示すz方向)に対して平行な方向の変動は2次元の画像から計測することはできない。このため、計測対象の3次元的な計測を行う場合には、複数方向から計測対象を撮影し、複数枚の画像を取得することが好ましい。一方で、本発明は、計測対象が平面とみなせるという仮定の下、画像平面に対して垂直な方向の計測を省略する。これにより、射影変換による画像補正及び2次元の画像からのシンプルな計測が可能となる。計測対象によっては、1枚の2次元の画像からのよりシンプルな計測が可能となる。
<検出処理>
次に、図7~図15を参照して、上記ステップS3の検出処理の流れについて説明する。図7は、図2に示す検出処理の流れを示すフローチャートである。図7に示すフローチャートは、上記ステップS24の画像変換処理が終了した後、検出する境界線(エッジ)の種別に関する情報が入力されたタイミングで開始となり、検出処理はステップS31の処理に進む。本実施形態では、検出する境界線は、以後の計測処理において算出する物理量に応じて、溶接鋼管1の断面と外面の境界線、溶接鋼管1の断面と内面の境界線、及び溶接鋼管1の断面内における面取り加工部の境界線の中から指定される。
ステップS31の処理では、演算部3が、以後の計測処理において算出する物理量に合わせて、以下の(1)~(3)に示す学習済みのエッジ検出モデルの中から以後の処理において用いるエッジ検出モデルを一つ選択する。エッジ検出モデルは、射影変換処理によって生成された射影変換後の画像データを入力データ、射影変換後の画像データ中における溶接鋼管1のエッジ部分が強調されたエッジ画像の画像データを出力データとする機械学習モデルである。エッジ画像とは、例えば非エッジ部が白色、エッジと推定された部分が黒色となるような二値画像である。あるいは、エッジ画像とは、例えば入力画像の各画素がエッジである確率又は信頼度等の値を0~255の範囲で規格化し、入力画像の各画素の画素値をその確率又は信頼度等の値で置き換えた256階調を有するモノクロ画像である。
(1)溶接鋼管1の断面と外面の境界線を検出するモデル
(2)溶接鋼管1の断面と内面の境界線を検出するモデル
(3)溶接鋼管1の断面内における面取り加工部の境界線(加工面と非加工面の境界を示す線)を検出するモデル
エッジ検出モデルは、射影変換後の画像データとその画像データから抽出されたエッジ画像の画像データとの組からなる複数の教師用データを用いた機械学習によって生成される。エッジ検出モデルは、画像処理やディープラーニング等を用いたエッジ検出手法及びエッジ検出処理に関するパラメータ情報(例えば学習の結果得られる重み情報)であって、溶接鋼管1の断面のエッジ位置を検出するのに特化したものであることが好ましい。特にディープラーニングを用いる場合には、エッジ検出に特化したネットワーク構造(例えば非特許文献2参照)を有するものを利用するのが好ましい。
以後の計測処理で算出する物理量によっては検出する必要がないエッジも存在するため、演算部3は、上記エッジ検出モデルの一部のみを用いて所定の最小限のエッジを検出するとよい。例えば計測処理において管厚を算出する場合には、上記(1)~(3)の全てのエッジ検出モデルを用いる。これに対して、計測処理においてオフセット、ビード高さ、外面ピーキング等を算出する場合には、上記(1)のエッジ検出モデルのみ用いれば十分である。また、内面ピーキングを算出する場合には、上記(2)のエッジ検出モデルのみ用いれば十分である。どのエッジ検出モデルを用いるかは、検出処理の開始時に入力されたエッジの種別に関する情報に応じて決められる。これにより、ステップS31の処理は完了し、検出処理はステップS32の処理に進む。
ステップS32の処理では、演算部3が、上記ステップS24の画像変換処理によって得られた射影変換後の画像データをステップS31の処理において選択したエッジ検出モデルに入力することにより、射影変換後の画像データ中におけるエッジ画像を抽出する。上記ステップS31及びステップS32の処理は、検出すべき境界線の種類の数だけ繰り返し実行される。これにより、ステップS32の処理は完了し、検出処理はステップS33の処理に進む。
ステップS33の処理では、演算部3が、ステップS32の処理において抽出されたエッジ画像からエッジ位置を抽出する(エッジ識別処理)。このエッジ識別処理の詳細については、図8~図15を参照して後述する。これにより、ステップS33の処理は完了し、検出処理はステップS34の処理に進む。
ステップS34の処理では、演算部3が、予め指定されたエッジを全て検出したか否かを判別する。判別の結果、予め指定されたエッジを全て検出した場合(ステップS34:Yes)、演算部3は一連の検出処理を終了する。一方、予め指定されたエッジを全て検出していない場合には(ステップS34:No)、演算部3は検出処理をステップS31の処理に戻す。
(エッジ識別処理)
次に、図8~図15を参照して、上記ステップS33のエッジ識別処理について詳しく説明する。図8にステップS32の処理によって得られたエッジ画像の一例を示す。図8中、破線100は実際のエッジ位置を示し、線101はステップS32の処理においてエッジとして検出された箇所を示す。ステップS32の処理では、溶接鋼管1の外面の性状や背景の状態によってエッジの過検出及び未検出が発生する可能性がある。そこで、エッジ識別処理では、演算部3が、検出されたエッジの連結性に基づいてエッジの過検出を除去すると共にエッジの未検出を補間する。以下の説明では、ステップS24の処理においてエッジがx軸方向に画像を横断するように射影変換することを前提とするが、エッジがy軸方向に画像を横断するように射影変換してもよい。エッジがy軸方向に画像を横断するように射影変換した場合は、以下の説明においてx軸とy軸を入れ替えることでエッジ位置を抽出することができる。
図9は、図7に示すエッジ識別処理の流れを示すフローチャートである。図9に示すフローチャートは、ステップS32の処理が終了したタイミングで開始となり、エッジ識別処理はステップS331の処理に進む。
ステップS331の処理では、演算部3が、ステップS32の処理によって生成されたエッジ画像を二値化する。エッジ画像が二値画像である場合、この処理は不要である。エッジ画像が階調を有するモノクロ画像である場合には、演算部3は、適切な階調の閾値によってエッジ画像を二値化する。この処理で得られる二値化画像は、例えば非エッジ部が白色、エッジと推定された部分が黒色となるような画像である。これにより、ステップS331の処理は完了し、エッジ識別処理はステップS332の処理に進む。
ステップS332の処理では、演算部3が、エッジの有効又は無効を示すフラグ配列を初期化する。詳しくは、ステップS24の処理において生成された射影変換後の画像では、画像のx軸方向を横断するようにエッジが撮影されている。このため、演算部3は、各x座標に対して、エッジのy座標を保存する配列とエッジの有効又は無効を示すフラグの配列を準備し初期化する。エッジのy座標を保存する配列は、画像幅と同数の数値を格納する配列であり、各x座標に対して、後述する処理で計算されたエッジのy座標を記録する。エッジのy座標を保存する配列は欠損値で初期化する。また、エッジの有効又は無効を示すフラグ配列とは、画像幅と同数の真偽値を格納する配列であり、各x座標に対するエッジのy座標の値が正しいか否かを示す。計算されたエッジのy座標の値が正しいと判断できる場合はフラグを有効(真)とし、正しいと判断できない場合はフラグを無効(偽)とする。エッジの有効・無効を示すフラグ配列は無効を示す値(偽)で初期化する。これにより、ステップS332の処理は完了し、エッジ識別処理はステップS333の処理に進む。
ステップS333の処理では、演算部3が、ステップS331の処理によって得られた二値画像(幅W、高さh)を幅1、高さhの短冊状の画像に分割した複数の分割二値画像を生成する。これにより、ステップS333の処理は完了し、エッジ識別処理はステップS334の処理に進む。
以下では、演算部3は、ステップS333の処理によって生成された分割二値画像のx座標の小さいものから順に、ステップS334~ステップS336の処理を実行する。一つの分割二値画像に対してステップS334~ステップS336の処理の実行が完了したら、演算部3は、処理が完了した分割二値画像のx座標を1増数させたx座標位置から分割二値画像を抽出し、再びステップS334~ステップS336の処理の実行を繰り返す。画像座標系のx軸の取り方から、この処理は、短冊状の分割二値画像の生成を元の二値画像の左端から開始して右端に到達するまで繰り返すことを意味する。
ステップS334の処理では、演算部3が、分割二値画像からエッジとなりうる画素を抽出し、抽出された画素に基づいて分割二値画像中にエッジ候補が単数又は複数であるかを判定する。具体的には、まず、演算部3は、分割二値画像の内部に含まれるエッジと判定された画素のy座標を列挙し、エッジ候補点y座標配列{yn}(n=1、2、・・・、Nx)を生成する。Nxはあるx座標から取り出した分割二値画像におけるエッジと判断された画素の個数である。そして、演算部3は、エッジ候補点y座標配列{yn}の最大値と最小値の差Δyを算出し、予め設定した閾値TΔyと比較する。この処理によれば、エッジ候補点y座標配列{yn}全体が一つのエッジを構成しているか否かを簡易的に判断できる。
ステップS334の処理の具体例を図10(a),(b)に示す。図10(a),(b)に示す例では、x=x1の位置から抽出された分割二値画像では黒色のエッジ候補が1つだけ存在する(エッジ候補E1)。この場合、エッジと判断された画素のy座標は互いに近い値をとる可能性が高い。一方、x=x2の位置から抽出された分割二値画像では、エッジ候補が2つある(エッジ候補E2,E3)。この場合、エッジと判断された画素のy座標は広い範囲に散在する可能性が高い。従って、閾値TΔyとして、分割二値画像中でのエッジ一つ分のy座標幅の上限を設定すれば、分割二値画像中にエッジ候補が一つ又は複数存在するかを判定することができる。これにより、ステップS334の処理は完了し、エッジ識別処理はステップS335の処理に進む。
図9に戻る。ステップS335の処理では、演算部3が、ステップS334の処理によって得られたエッジ候補点y座標配列{yn}に基づき、分割二値画像内におけるエッジのy座標を算出する。エッジのy座標は、元の二値画像のあるx座標におけるエッジのy座標を表すため、以下これをyx(x=1、2、・・・、W)と表記する。このステップS335の処理では、分割二値画像中に存在するエッジ候補が単数又は複数かで場合分けして処理を行う。分割二値画像中に存在するエッジ候補が単数である場合、演算部3は、エッジ候補点y座標配列{yn}の平均値ynmを分割二値画像内におけるエッジのy座標yxとする。一方、分割二値画像中に存在するエッジ候補が複数ある場合には、演算部3は、エッジ候補点y座標配列{yn}のうち、左隣の分割二値画像、すなわち直前に処理された分割二値画像内におけるエッジのy座標y(x-1)に最も近いものをエッジのy座標yxとする。左隣の分割二値画像内におけるエッジのy座標y(x-1)が欠損値だった場合、演算部3は処理対象の分割二値画像内におけるエッジのy座標ynも欠損値とする。
分割二値画像中に存在するエッジ候補が複数ある場合の処理の具体例を図11(a),(b)に示す。図11(a),(b)に示す例では、x=x3の位置から抽出した分割二値画像内には複数のエッジ候補点P1~P3が存在するが、このうち左隣であるx=x3-1のx座標位置から得られたエッジのy座標に近いエッジ候補点P2が真のエッジと判定され、そのy座標がエッジのy座標ynとして保存される。他方、エッジ候補点P1,P3は真のエッジではないと判定される。図中のエッジ候補点P1,P3に対応する画素内に×で示している。この処理によって、分割二値画像内に単数のエッジ候補が存在する場合はそのエッジの位置を、複数のエッジが存在する場合はその左隣に最も近く連結していると考えられるエッジの位置を選択することができる。これにより、ステップS335の処理は完了し、エッジ識別処理はステップS336の処理に進む。
図9に戻る。ステップS336の処理では、演算部3は、ステップS335の処理において算出されたエッジのy座標yxがもっともらしいか否かを判定する。ステップS336の処理は、ステップS335の処理と同様、分割二値画像中に存在するエッジ候補が単数又は複数かで場合分けして処理を行う。分割二値画像中に存在するエッジ候補が単数である場合、演算部3は、現在のx座標位置におけるエッジのy座標yxと隣接する左隣のエッジのy座標y(x-1)との差Δys(=|yx―y(x-1)|)と予め設定した閾値TΔysとを比較する。そして、Δys<TΔysである場合、演算部3は、現在のx座標位置におけるエッジのy座標yxを有効と判定する。一方、Δys<TΔysでない場合には、演算部3は、現在のx座標位置におけるエッジのy座標yxを無効と判定する。具体的には、図12(a),(b)に示すように、x=x4の位置とx=x5の位置から抽出されたエッジ候補はいずれも単数であるが、左隣のエッジとのy座標の差ΔysがTΔysより小さいx=x4の位置では、そのエッジは連結しており有効であると判断される。一方で、左隣のエッジとのy座標の差ΔysがTΔys以上であるx=x5の位置では、そのエッジは連結しておらず無効であると判断される。無効な画素は図中に斜線で示している。
一方、分割二値画像中に存在するエッジ候補が複数ある場合には、演算部3は、現在のx座標位置におけるエッジのy座標yxに隣接する左隣のエッジのy座標y(x-1)との差Δym(=|yx―y(x-1)|)と予め設定した閾値TΔymとを比較する。そして、Δym<TΔym、且つ、左隣のエッジのy座標y(x-1)が有効である場合、演算部3は、現在のx座標位置におけるエッジのy座標yxを有効と判定する。一方、そうでない場合には、演算部3は、現在のx座標位置におけるエッジのy座標yxを無効と判定する。具体的には、図13(a),(b)に示すように、x=x6の位置とx=x7の位置から抽出した分割二値化画像中にはエッジ候補が複数あるが、左隣のエッジとのy座標の差ΔysがTΔysより小さいx=x6での位置では、エッジは連結しており有効であると判断される。一方、左隣とのy座標の差ΔysがTΔys以上であるx=x7の位置では、そのエッジは連結しておらず無効であると判断される。無効な画素は図中に斜線で示している。さらに、x=x7の右隣りのx=x7+1に関しては、左隣の得エッジとのy座標の差ΔysがTΔysより小さいものの、x=x7におけるエッジが無効と判断されたことから無効と判定される。
図9に戻る。ステップS336の処理は、処理の過程で急にエッジのy座標が変化したことを検知し、それをステップS32の処理における誤検出によるものと推定して排除する効果がある。従って、閾値TΔys及び閾値TΔymはいずれも連結したエッジに許容されるy座標の最大変動量を設定すればよい。エッジ候補が単数である場合に左隣のエッジが有効であるか否か判定をしない理由は、あるx座標の分割二値画像でエッジが検出されず、その右隣りの分割二値画像で単数のエッジが出現した場合、前者のエッジは必ず無効であるためである。逆に、エッジ候補が複数ある場合に左隣のエッジが有効であるか否か判定する理由は、あるx座標の分割二値画像でエッジが検出されず、その右隣りの分割二値画像で複数のエッジが出現した場合、どのエッジを選択すべきかを決定できないことから、次に単数のエッジ候補が出現するまで判定を保留するためである。この処理は、ステップS32の処理で検出されたエッジが誤検出を含みつつも、ある程度高い確率で分割二値画像内に正しいエッジ候補が単数で出現することを期待しているものである。これにより、ステップS336の処理は完了し、エッジ識別処理はステップS337の処理に進む。
以上のステップS334~ステップS336の処理を全ての分割二値画像に対して完了すると、エッジy座標配列と有効・無効判定を示すフラグ配列の両方に処理結果が格納される。図14に処理結果の概念図を示す。まず、有効・無効判定を示すフラグ配列から、画像を有効区間と無効区間に分割する。このうち有効区間に含まれるエッジy座標配列の値をプロットすると、同図中のエッジ101aのようになる。エッジ101aはステップS32の処理によって検出されたエッジのうち、正しく検出できていると判定されたエッジとなる。一方で、無効区間は、ステップS32の処理でエッジが検出されなかったか、検出はされたが正しいエッジが決定できなかった区間となる。
図9に戻る。ステップS337の処理では、演算部3が、全ての分割二値画像に対してステップS334~ステップS336の処理が完了したか否かを判別する。判別の結果、全ての分割二値画像に対してステップS334~ステップS336の処理が完了した場合(ステップS337:Yes)、演算部3はエッジ識別処理をステップS339の処理に進める。一方、全ての分割二値画像に対してステップS334~ステップS336の処理が完了していない場合には(ステップS337:No)、演算部3は、ステップS338の処理として処理対象の分割二値画像のx座標を1増数した後、エッジ識別処理をステップS333の処理に戻す。
ステップS339の処理では、演算部3が、各無効区間に対してそれに隣接する有効区間のエッジy座標配列{yxn}及びそれらに対応するx座標配列{xn}に基づいて、無効区間のエッジを補間する。nは、補間処理に使用する有効区間内のエッジの座標の個数である。具体的な補間方法としては、例えば無効区間内のエッジ形状が以下の数式(5)に示す二次関数式でモデル化できると仮定し、{xn}及び{yxn}に対し公知のフィッティング手法(最小二乗法等)を適用すればよい。
Figure 0007509338000005
補間処理の結果、無効区間とそれと隣接する有効区間との間にエッジの不連続が生じる場合、演算部3は、さらに線形変換によってエッジの不連続がなくなるようにエッジのy座標を変換してもよい。具体的には、xL≦x≦xRの範囲を持つ無効区間に対して数式(5)による補間処理の結果、無効区間の左端の座標が(xL、yL)、右端の座標が(xR,yR)であるとする。この時、左に隣接する有効区間の右端の座標が(xL―1、yL’)、右に隣接する有効区間の左端の座標が(xR+1、yR’)であり、さらに、yL≠yL’又はyR≠yR’であるとする。このとき、演算部3は、以下に示す数式(6)を用いて無効区間のy座標を線形変換することにより、無効区間と有効区間との間のエッジの不連続を解消することができる。これは、数式(5)によって計算された無効区間のy座標がなすエッジ形状から、その無効区間の両側に隣接する有効区間の端点同士を結んだ直線を差し引くことに相当する。
Figure 0007509338000006
補間処理の前に極めて短い有効区間を無効区間に変更する、又は、極めて短い無効区間を有効区間に変更してそのy座標を適切な値に変更する(例えば近傍の有効区間のエッジy座標の平均値で置き換える等)等の前処理を行ってもよい。図15にステップS339の処理の結果得られたエッジ画像の一例を示す。補間されたエッジ101bとそれまでの処理で得られたエッジ101aを組み合わせることで、誤検出(過検出及び未検出)を排除し正しくエッジを検出することができている。これにより、ステップS339の処理は完了し、一連のエッジ識別処理は終了する。
<計測処理>
次に、図16~図20を参照して、上記ステップS4の計測処理の流れについて詳しく説明する。計測処理では、演算部3が、画像処理によって計測対象の物理量を算出するする。上述の通り、溶接鋼管1のビード部1aを含む溶接部1cを撮影した画像データには射影変換が施されているので、演算部3は、溶接部の断面形状に関する物理量を画像から算出することができる。以下、管厚、オフセット、ビード高さ、内面ピーキング、外面ピーキング、及びビード立ち上がり角を計測する際の演算部3の動作について説明する。
図16(a)に示すように、管厚とは、ビード部1aの中心位置から周方向に所定距離離れた位置における溶接鋼管の母材1bの厚みを示す。図16(b)に示すように、オフセットとは、ビード部1aの周方向の一方の端部の高さ位置とビード部1aの周方向の他方の端部の高さ位置との差(開先の高さのずれ)を示す。図16(c)に示すように、ビード高さとは、ビード部1aの周方向の端部の高さ位置とビード部1aの中心部の高さ位置との差(溶接部の高さ)を示す。図16(d),(e)に示すように、ピーキングとは、突合せ部の尖り具合の指標である。図16(d)に示すように、内面ピーキングは、溶接鋼管の内面に接触させた型紙Kと溶接鋼管の内面との間の隙間の大きさを示す。図16(e)に示すように、外面ピーキングは、溶接鋼管の外面に沿った仮想円(点線部分)に対する実際の外面の凹凸量を示す。図16(f)に示すように、ビード立ち上がり角とは、溶接鋼管の母材1bの表面に対するビード部1aの周方向端部の立ち上がり角(溶接余盛の端の角度)を示す。
図16(a)に示す管厚を計測する際は、図17に示すように、まず、管厚を計測する溶接鋼管の周方向位置を決定する(ステップS411)。次に、演算部3が、ステップS411において決定した位置における溶接鋼管の厚み方向を画像上で特定して管厚を算出する(ステップS412)。そして、演算部3は、算出された管厚に対して補正をかける(ステップS413)。これにより、管厚を計測することができる。
図16(b),(c)に示すオフセット及びビード高さを計測する際は、図18に示すように、まず、オフセット及びビード高さを計測する溶接鋼管の周方向位置を決定する(ステップS421)。次に、演算部3が、ステップS421の処理により決定された位置において画像上でオフセット及びビード高さを算出する(ステップS422)。そして、演算部3は、算出されたオフセット及びビード高さに対して補正をかける(ステップS423)。これにより、オフセット及びビード高さを計測することができる。
図16(d)に示す内面ピーキングを計測する際は、図19-1に示すように、まず、演算部3が、内面ピーキングの計測に使用する型紙Kの形状を画像内に再現する(ステップS431)。この時、演算部3は、画像の撮影方向を考慮した型紙Kの断面傾き補正を加えるとよい。次に、演算部3が、検出処理によって検出された溶接鋼管の内面のエッジに対して型紙Kをあてがった時の型紙Kの位置を算出する(ステップS432)。そして、演算部3は、溶接鋼管の内面のエッジと型紙Kとの隙間を画像上で算出して内面ピーキング値を算出する(ステップS433)。これにより、内面ピーキングを計測することができる。
図16(e)に示す外面ピーキングを計測する際は、図19-2に示すように、まず、演算部3が、外面ピーキングを計測する溶接鋼管の周方向位置(計測位置)を決定する(ステップS431-2)。このとき、図19-3に示すように、計測位置19Cはビード部1aを避けるように決定する。すなわち、計測位置19Cがビード部1a上に位置しないように計測位置19Cを決定する。次に、図19-2に示すように、演算部3が、画像内に仮想円を配置する(ステップS432-2)。仮想円とは、鋼管が真円だと仮定した時の外面エッジ位置に相当する円である。図19-3に示すように、仮想円Lは、点19A,19Bを通るように配置される。この点19A,19Bは、計測位置19Cを通る鋼管の径方向の直線Lcから所定距離dだけ離れた点であり、且つ、検出処理によって検出された溶接鋼管の外面のエッジ上の点である。この時、演算部3は、画像の撮影方向を考慮した仮想円Lの断面傾き補正を加えるとよい。次に、演算部3が、検出処理によって検出された溶接鋼管の外面のエッジに対して、仮想円Lと計測位置19Cとの間の距離p、すなわち、外面ピーキングを計測する(ステップS433-2)。例えば鋼管が真円である場合は、検出処理によって検出された溶接鋼管の外面エッジがビード部を除いて仮想円に一致するため、外面ピーキングはゼロとなる。これにより、外面ピーキングを計測することができる。
図16(f)に示すビード立ち上がり角を計測する際は、図20に示すように、まず、オペレータが、ビード立ち上がり角を計測する溶接鋼管の周方向位置を決定する(ステップS441)。次に、演算部3が、ビード立ち上がり角を計測する位置を起点とし、溶接鋼管の外面及びビード部のエッジに接する接線を探索する(ステップS442)。そして、演算部3は、探索された接線同士のなす角を画像上で算出する(ステップS443)。これにより、ビード立ち上がり角を計測することができる。
以上の説明から明らかなように、本発明の第1の実施形態である計測装置20では、演算部3が、マーカープレート10を含む溶接鋼管1の断面の画像を撮影し、マーカープレート10の画像を用いて断面の画像を所定の分解能を有する正対画像に変換し、正対画像から断面のエッジを検出し、検出されたエッジに基づいて所定の物理量を算出する。また、演算部3は、検出するエッジの種類に対応する、正対画像を入力データ、正対画像中の断面のエッジを出力データとする機械学習モデルを選択し、正対画像を選択された機械学習モデルに入力することにより正対画像中の断面のエッジを検出し、検出されたエッジの連結性に基づいてエッジの過検出を除去すると共にエッジの未検出を補間する。これにより、溶接鋼管1の断面における所定の物理量を短時間で、且つ、精度よく計測することができる。
〔第2の実施形態〕
図21は、本発明の第2の実施形態である計測装置の構成を示す模式図である。図22は、図21に示す計測装置の要部構成を示すブロック図である。図21に示すように、本発明の第2の実施形態である計測装置20は、撮像端末6、情報処理装置7、及びマーカープレート10を備えている。本実施形態では、撮像端末6は、撮像部61、第2表示部62、第2入力部63、第2演算部64、第2通信部65、及び第2記憶部66を備えるコンピュータにより構成されている。
具体的に、撮像端末6は、スマートフォン、タブレット端末、及び通信機能付きのデジタルカメラ等により構成されている。本実施形態では、スマートフォンを撮像端末6とした場合で説明する。撮像部61は、スマートフォンに内蔵されたカメラ等によって構成されている。第2表示部62は、スマートフォンに内蔵されたディスプレイ等によって構成されている。第2入力部63は、スマートフォンに内蔵されたタッチパネル等によって構成されている。第2演算部64は、スマートフォンに内蔵されたCPUやGPU等によって構成されている。第2通信部65は、第2演算部64に設けられており、スマートフォンに内蔵された通信用インターフェイス等によって構成されている。第2記憶部66は、スマートフォンに内蔵されたメモリ等によって構成されている。
撮像端末6が備える、撮像部61、第2表示部62、第2演算部64、及び第2記憶部66は、第1の実施形態の計測装置20が備える、撮像部2、演算部3、表示部4、及び記憶部5と同等の機能を有する。撮像端末6は、撮像部61を備えているため、ネットワーク上の仮想装置(クラウド等)は設定不可である。撮像端末6は、マーカープレート10と共に溶接部1cの物理量を計測する計測装置を構成している。
情報処理装置7は、コンピュータにより構成されている。コンピュータとしては、第1表示部71、第1入力部72、第1演算部73、第1通信部74、及び第1記憶部75を備える一体型のパーソナルコンピュータを例示できる。
第1表示部71は、モニター等によって構成されている。第1入力部72は、キーボード、マウス、及びマイク等によって構成されている。第1演算部73は、CPUやGPU等によって構成されており、第1通信部74も有している。第1通信部74は、第1演算部73に設けられており、通信用インターフェイス等によって構成されている。第1記憶部75は、ハードディスクやソリッドステイとドライブ等によって構成されている。情報処理装置7として、ネットワーク上の仮想装置(クラウド等)を用いてもよい。
撮像端末6と情報処理装置7とは、それぞれが備える第2通信部65と第1通信部74とにより、ネットワーク8を介して互いに通信が可能となっている。ネットワーク8としては、公知のネットワーク技術が利用可能である。例えばインターネット、ローカルエリアネットワーク、又は、インターネットとローカルエリアネットワークを組み合わせたもの等を含む。通信方法は、有線、無線、又は、有線と無線を組み合わせた方法が使用できる。また、撮像端末6と情報処理装置7とは、ネットワーク8を介さずに直接、第2通信部65と第1通信部74とにより通信が可能に構成されていてもよい。この場合も、有線、無線、又は、有線と無線を組み合わせた方法が使用できる。この際のより具体的な通信方法としては、有線通信の例として、通信部同士を接続する信号線を介した所定の通信用信号や、ユニバーサル・シリアル・バス(Universal Serial Bus、以降は略してUSBと呼ぶ。)等が使用できる。一方、無線通信の例としては、Bluetooth(登録商標)等が使用できる。
本実施形態の計測装置20では、溶接部1cの物理量を計測する際、撮像端末6と情報処理装置7とが同じ施設内にあることに限定されるものではない。例えば撮像端末6と情報処理装置7とがそれぞれ自社の異なる施設内にあってもよい。撮像端末6が自社の施設内にあり、情報処理装置7が他社の施設内にあってもよい。撮像端末6が他社の施設内にあり、情報処理装置7が自社の施設内にあってもよい。すなわち、撮像端末6と情報処理装置7とが、互いに通信を行うことができれば、溶接部1cの物理量を計測する際におけるそれぞれの位置は、特に限定されるものではない。
本実施形態の計測装置20では、撮像部61によって撮影した画像データ及び計測された物理量に関する情報等を、撮像端末6の第2記憶部66だけではなく、情報処理装置7の第1記憶部75に記憶させてもよい。すなわち、撮像端末6は、第2通信部65から情報処理装置7の第1通信部74に、計測された物理量を含む情報等の情報を送信し、第2記憶部66よりも大容量の記憶領域を有する第1記憶部75に記録させてもよい。
撮像端末6から情報処理装置7に送信される情報は、計測目的等にそって予め定められた所定の情報である。所定の情報の例としては、撮像部61によって撮影した画像データが含まれる。所定の情報としては、撮像端末6における処理時のパラメータが含まれる。このパラメータには、例えば、マーカープレート10上に配置されたパターン10aに関する情報である、種類、位置、角度、大きさ、及び識別子が含まれる。さらに、パラメータには、上述した、射影変換処理における分解能等が含まれる。これら処理のパラメータは、オペレータが撮像端末6の第2入力部63を操作することによって指定できることが好ましい。
所定の情報には、撮像端末6における処理結果が含まれる。この処理結果には、射影変換のパラメータに関するテキストデータが含まれる。所定の情報には、撮影した日時、場所、撮影者、撮像端末6に関する情報、及び溶接鋼管1に関する情報等の基本情報が含まれる。撮像端末6に関する情報には、例えば、撮像端末6の識別子及びIPアドレス等の情報が含まれる。溶接鋼管1に関する情報には、物体番号、物体名、ロット番号、及び規格等の溶接鋼管1を識別できる情報や、溶接鋼管1を特徴づける情報等が含まれる。溶接鋼管1に関する情報は、例えば、撮像端末6の第2入力部63を用いてオペレータが入力する。
本実施形態の計測装置20は、図23に示すように、撮像端末6及び情報処理装置7とは別に、大規模データベースを利用したデータ記録手段である外部記憶装置9を備えてもよい。外部記憶装置9は、撮像端末6と情報処理装置7とは異なる施設内に設けられている。本実施形態の計測装置20では、外部記憶装置9に所定の情報等を記録しておいてもよい。外部記憶装置9としては、ネットワーク上の仮想装置(クラウド等)を用いてもよい。
図24は、図21に示す計測装置20で実施される撮像端末6と情報処理装置7の処理の流れを示すフローチャートである。図21に示す撮像処理S101、射影変換処理S102、検出処理S103、計測処理S104、及び表示処理S105は、図2に示す撮像処理S1、射影変換処理S2、検出処理S3、計測処理S4、及び表示処理S5と同様である。
本実施形態の計測装置20では、まず、撮像端末6の撮像部61が、所定の位置においてビード部1aを含む溶接部1cとマーカープレート10の画像を撮影する(撮像処理S101)。次に、撮像端末6の第2演算部64が、撮影した画像データに対して射影変換を実行する(射影変換処理S102)。次に、撮像端末6の第2演算部64が、射影変換後の画像データを用いて溶接鋼管1の断面のエッジ位置を検出する(検出処理S103)。次に、撮像端末6の第2演算部64が、検出されたエッジ位置に基づいて溶接部1cの断面形状に関する所定の物理量を計測する(計測処理S104)。次に、撮像端末6の第2表示部62が、計測された所定の物理量の情報等を表示する(表示処理S105)。その後、撮像端末6の第2通信部65が、計測された物理量に関する情報等の所定の情報を情報処理装置7の第1通信部74に送信する(送信処理S106)。
次に、情報処理装置7の第1通信部74が、所定の情報を撮像端末6の第2通信部65から受信する(受信処理S201)。その後、情報処理装置7は、第1記憶部75によって、所定の情報を記録する(記録処理S202)。
本実施形態の計測装置20では、撮像端末6を使用することによって、単純な計測システムにとどまらず、現場でのオペレータの計測支援システムとしての運用も可能となる。例えば撮像端末6の可搬性の高さとマーカープレート10を用いた画像変換処理とを導入した結果、オペレータが自由な位置から溶接部1cの所定の物理量の計測を実施することが可能となる。この場合、ユーザーインターフェースを簡素化することによって、物理量計測のための特別な訓練をオペレータに実施することなく物理量を計測することが可能となる。また、撮像端末6では、処理結果等を第2表示部62にリアルタイムで表示することによって、溶接鋼管1の断面の撮影に適した撮像部61の向きをオペレータが探索して、最適な条件から撮像部61による撮影が可能となり、より好ましい状態となる。
本実施形態の計測装置20では、撮像端末6による物理量計測を行う場合に、オペレータが表示された物理量を含む情報に基づいて、マーカープレート10が設けられた溶接部1cがマーカープレート10と共に撮影された画像データの撮像条件を変更し、最適な撮像位置を探索する手掛かりとすることができる。そのため、現場オペレータの計測支援システムとして有用である。中でも特に、第2表示部62を備えた撮像端末6を用いた場合は、上記有用性がより高くなる。この際、上述の撮像処理S101が実行される場合は、当該撮像処理S101での撮像条件を変更することができる。
〔第3の実施形態〕
図25は、本発明の第3の実施形態である計測装置20の要部構成を示すブロック図である。図25に示すように、本実施形態の計測装置20は、撮像端末6、情報処理装置7、及びマーカープレート10を備えている。撮像端末6は、撮像部61、第2表示部62、第2入力部63、第2演算部64、第2通信部65、及び第2記憶部66を備えるコンピュータにより構成されている。本実施形態では、スマートフォンを撮像端末6とした場合で説明する。撮像端末6は、マーカープレート10と共に溶接部1cの物理量を計測するための計測装置を構成している。情報処理装置7は、第1演算部73、第1通信部74、及び第1記憶部75を少なくとも備えたコンピュータにより構成されている。撮像端末6と情報処理装置7とは、それぞれが備える第2通信部65と第1通信部74とにより、ネットワーク8を介して互いに通信が可能となっている。ネットワーク8は、先に説明した第2の実施形態のネットワーク8と同じ技術を使用できる。また、撮像端末6と情報処理装置7とは、ネットワーク8を介さずに、直接、第2通信部65と第1通信部74とにより通信が可能に構成されていてもよい。この場合も、先に説明した第2の実施形態で直接通信を行う場合と同じ技術を使用できる。
本実施形態の計測装置20では、物理量計測を行う際、撮像端末6と情報処理装置7とが同じ施設内にあることに限定されるものではない。例えば撮像端末6と情報処理装置7とが、それぞれ自社の異なる施設内にあってもよい。撮像端末6が自社の施設内にあり、情報処理装置7が他社の施設内にあってもよい。撮像端末6が他社の施設内にあり、情報処理装置7が自社の施設内にあってもよい。すなわち、撮像端末6と情報処理装置7とが互いに通信を行うことができれば、物理量計測の際におけるそれぞれの位置は特に限定されるものではない。
図26は、図24に示す計測装置で実施される撮像端末6と情報処理装置7の処理の流れを示すフローチャートである。図26に示す撮像処理S111、射影変換処理S212、検出処理S213、計測処理S214、及び表示処理S114は、図3に示す撮像処理S1、射影変換処理S2、検出処理S3、計測処理S4、及び表示処理S5と同様である。
本実施形態の計測装置20では、まず、撮像端末6の撮像部61が、所定の位置において溶接部1cとマーカープレート10の画像を撮影する(撮像処理S111)。次に、撮像端末6の第2通信部65が、情報処理装置7の第1通信部74に画像データの射影変換や物理量計測のための情報を送信する(送信処理S112)。
撮像端末6から情報処理装置7に送信される情報は、情報処理装置7で行う処理等にそって予め定められた所定の情報である。画像データの射影変換や物理量計測のための所定の情報としては、撮像部61によって撮影した画像データが含まれる。所定の情報には、情報処理装置7における処理時のパラメータが含まれる。このパラメータには、マーカープレート10上に配置されたパターン10aに関する情報である、種類、位置、角度、大きさ、及び識別子が含まれる。パラメータには、射影変換処理S212における分解能等が含まれる。これら処理のパラメータは、オペレータが撮像端末6の第2入力部63を操作することによって指定できることが好ましい。
所定の情報には、撮影した日時、場所、撮影者、撮影に使用した機器に関する情報、及び溶接鋼管1に関する情報等の基本情報が含まれる。撮影に使用した機器に関する情報には、例えば機器の識別子及びIPアドレス等の情報が含まれる。溶接鋼管1に関する情報には、例えば物体番号、物体名、ロット番号、及び、規格等の溶接鋼管1を識別できる情報や、溶接鋼管1を特徴付ける情報が含まれる。
次に、情報処理装置7は、第1通信部74によって所定の情報を撮像端末6の第2通信部65から受信する。次に、情報処理装置7の第1演算部73が、撮影した画像データに対して射影変換を実施する(射影変換処理S212)。次に、情報処理装置7の第1演算部73が、射影変換後の画像データを用いて溶接鋼管1の断面のエッジ位置を検出する(検出処理S213)。次に、情報処理装置7の第1演算部73が、検出されたエッジ位置に基づいて溶接部1cの断面形状に関する所定の物理量を計測する(計測処理S214)。次に、情報処理装置7の第1通信部74が、計測された所定の物理量に関する情報を撮像端末6の第2通信部65に送信する(送信処理S215)。その後、情報処理装置7は、撮像端末6から受信した情報及び情報処理装置7が算出した情報を第1記憶部75に記録する(記録処理S216)。
次に、撮像端末6の第2通信部65が、計測された物理量に関する情報を情報処理装置7の第1通信部74から受信する(受信処理S113)。次に、撮像端末6の第2演算部64が、受信したその後、撮像端末6の第2表示部62が、計測された物理量に関する情報を第2表示部62に表示する(表示処理S114)。
情報処理装置7から撮像端末6に送信される計測された物理量に関する情報には、以下のものが含まれる。例えば計測された物理量に関する情報には、処理結果画像データが含まれる。この処理結果画像データとは、撮像端末6の撮像部61によって撮影された画像データ又は画像データを射影変換した画像データに対して物理量の値等が含まれる。この場合、撮像端末6は、受信した画像データをそのまま第2表示部62に表示することができる。さらに、計測された物理量に関する情報には、射影変換のパラメータに関するテキストデータが含まれる。この場合、撮像端末6は、受信したテキストデータを解析した情報を第2表示部62に表示することができる。さらに、撮像端末6は、先に情報処理装置7に送信した画像データを加工して計測された物理量の値を追記した画像データを作成し、第2表示部62に表示することが好ましい。
〔第4の実施形態〕
図27は、本発明の第4の実施形態である計測装置20の要部構成を示すブロック図である。図27に示すように、本実施形態の計測装置20は、撮像端末6、情報処理装置7、及びマーカープレート10を備えている。撮像端末6は、撮像部61、第2演算部64、第2通信部65、及び第2記憶部66を備えるコンピュータによって構成されている。本実施形態では、通信機能を搭載したデジタルカメラを撮像端末6とした場合で説明する。撮像端末6は、マーカープレート10と共に溶接部1cの物理量を計測するための撮像装置を構成している。情報処理装置7は、第1表示部71、第1演算部73、第1通信部74、及び第1記憶部75を少なくとも備えるコンピュータによって構成されている。撮像端末6と情報処理装置7とは、それぞれが備える第2通信部65と第1通信部74とにより、ネットワーク8を介して互いに通信が可能となっている。ネットワーク8は、先に説明した第2の実施形態のネットワーク8と同じ技術を使用できる。また、撮像端末6と情報処理装置7とは、ネットワーク8を介さずに、直接、第2通信部65と第1通信部74とにより通信が可能に構成されていてもよい。この場合も、先に説明した第2の実施形態で直接通信を行う場合と同じ技術を使用できる。
本実施形態の計測装置20は、所定の物理量の計測を行う際、撮像端末6と情報処理装置7とが同じ施設内にあることに限定されるものではない。例えば撮像端末6と情報処理装置7とがそれぞれ自社の異なる施設内にあってもよい。撮像端末6が自社の施設内にあり、情報処理装置7が他社の施設内にあってもよい。また、撮像端末6が他社の施設内にあり、情報処理装置7が自社の施設内にあってもよい。すなわち、撮像端末6と情報処理装置7とが互いに通信を行うことができれば、物理量計測の際におけるそれぞれの位置は特に限定されるものではない。
図28は、図27に示す計測装置20で実施される撮像端末6と情報処理装置7の処理の流れを示すフローチャートである。図28に示す撮像処理S121、射影変換処理S222、検出処理S223、計測処理S224、及び表示処理S225は、図3に示す撮像処理S1、射影変換処理S2、検出処理S3、計測処理S4、及び表示処理S5と同様である。
本実施形態の計測装置20では、まず、撮像端末6の撮像部61が、所定の位置においてビード部1aを含む溶接部1cとマーカープレート10の画像を撮影する(撮像処理S121)。次に、撮像端末6の第2通信部65が、情報処理装置7の第1通信部74に情報を送信する(送信処理S122)。撮像端末6から情報処理装置7に送信される情報には、撮像部61によって撮影した画像データが含まれる。
次に、情報処理装置7の第1通信部74が、撮像端末6の第2通信部65から画像データを含む情報を受信する(受信処理S221)。次に、情報処理装置7の第1演算部73が、受信した画像データに対して射影変換を実行する(射影変換処理S222)。次に、情報処理装置7の第1演算部73が、射影変換後の画像データから溶接鋼管1の断面のエッジ位置を検出する(検出処理S223)。次に、情報処理装置7の第1演算部73が、検出されたエッジ位置に基づいて溶接部1cの断面形状に関する所定の物理量を計測する(計測処理S224)。次に、情報処理装置7の第1表示部71が、計測された所定の物理量に関する情報を表示する(表示処理S225)。その後、情報処理装置7は、撮像端末6から受信した情報及び第1演算部73によって算出した情報を第1記憶部75に記録する(記録処理S226)。
情報処理装置7における処理時のパラメータは、予め設定しておくことが好ましい。具体的には、当該パラメータを、予め一つに決定しておく、複数の選択肢の中から選択する、又は、所定の値を処理毎に設定する、のいずれかが選択できる。パラメータには、マーカープレート10上に配置されたパターン10aに関する情報である、種類、位置、角度、大きさ、及び識別子が含まれる。また、パラメータには、射影変換処理S222における分解能等が含まれる。
情報処理装置7には、撮像端末6によって各画像を撮影したときの基本情報を入力する。基本情報には、撮影した日時、場所、撮影者、撮像端末6に関する情報、溶接鋼管1に関する情報等の基本情報が含まれる。撮像端末6に関する情報は、撮像端末6の識別子及びIPアドレス等の情報が含まれる。撮像端末6に関する情報は、例えば、撮像端末6の第2記憶部66に記憶されており、撮像部61によって撮影した画像データと共に、第2通信部65から情報処理装置7の第1通信部74に送信する。溶接鋼管1に関する情報は、物体番号、物体名、ロット番号、及び規格等の溶接鋼管1を識別できる情報や、溶接鋼管1を特徴づける情報が含まれる。溶接鋼管1に関する情報は、外部装置から通信によって情報処理装置7に送信する。
〔第5の実施形態〕
図29は、本発明の第5の実施形態である計測装置の要部構成を示すブロック図である。本実施形態の計測装置20は、撮像端末6、第1情報処理装置107、第2情報処理装置207、及びマーカープレート10を備えている。以下では、第2情報処理装置207が行う物体の品質の程度を判定する処理として、溶接鋼管1の合否判定を一例に挙げて説明する。
撮像端末6は、撮像部61、第2表示部62、第2入力部63、第2演算部64、第2通信部65、及び第2記憶部66を備えるコンピュータによって構成されている。本実施形態では、スマートフォンを撮像端末6とした場合で説明する。撮像端末6は、マーカープレート10と共に溶接部1cの物理量を計測するための計測装置を構成している。
第1情報処理装置107は、第1表示部171、第1入力部172、第1演算部173、第1通信部174、及び第1記憶部175を少なくとも備えるコンピュータによって構成されている。第1情報処理装置107は、第2の実施形態の計測装置20が備える情報処理装置7に相当するものである。
第2情報処理装置207は、第3表示部271、第3入力部272、第3演算部273、第3通信部274、及び第3記憶部275を少なくとも備えるコンピュータによって構成されている。第3表示部271、第3入力部272、第3演算部273、第3通信部274、及び第3記憶部275は、第1表示部71、第1入力部172、第1演算部173、第1通信部174、及び第1記憶部175と同等の機能を有する。
撮像端末6と第1情報処理装置107と第2情報処理装置207とは、それぞれが備える第2通信部65と第1通信部174と第3通信部274とにより、ネットワーク8を介して互いに通信が可能となっている。ネットワーク8は、先に説明した第2の実施形態のネットワーク8と同じ技術を使用できる。また、撮像端末6と第1情報処理装置107と第2情報処理装置207とは、ネットワーク8を介さずに、直接、第2通信部65と第1通信部174と第3通信部274とにより通信が可能に構成されていてもよい。この場合も、先に説明した第2の実施形態で直接通信を行う場合と同じ技術を使用できる。
本実施形態の計測装置20は、物理量計測を行う際、撮像端末6と第1情報処理装置107と第2情報処理装置207とが、同じ施設内にあることに限定されるものではない。例えば撮像端末6と第1情報処理装置107と第2情報処理装置207とが、それぞれ自社の異なる施設内にあってもよい。撮像端末6と第1情報処理装置107とが自社の異なる施設内にあり、第2情報処理装置207が他社の施設内にあってもよい。撮像端末6と第2情報処理装置207とが自社の施設内にあり、第1情報処理装置107が他社の施設内にあってもよい。撮像端末6と第1情報処理装置107とが他社の施設内にあり、第2情報処理装置207が自社の施設内にあってもよい。撮像端末6と第2情報処理装置207とが他社の施設内にあり、第1情報処理装置107が自社の施設内にあってもよい。撮像端末6が他社の施設内にあり、第1情報処理装置107と第2情報処理装置207とが自社の施設内にあってもよい。すなわち、撮像端末6と第1情報処理装置107と第2情報処理装置207とが、互いに通信を行うことができれば、物理量計測の際におけるそれぞれの位置は、特に限定されるものではない。
図30は、図29に示す計測装置20で実施される撮像端末6、第1情報処理装置107、及び第2情報処理装置207の処理の一例を示すフローチャートである。図30に示す撮像処理S131、射影変換処理S232、検出処理S233、計測処理S234、及び、表示処理S134は、図3に示す撮像処理S1、射影変換処理S2、検出処理S3、計測処理S4、及び表示処理S5と同様である。
本実施形態の計測装置20では、まず、撮像端末6の撮像部61が、所定の位置においてビード部1aを含む溶接部1cとマーカープレート10の画像を撮影する(撮像処理S131)。次に、撮像端末6の第2通信部65が、第1情報処理装置107の第1通信部174と、第2情報処理装置207の第3通信部274とにそれぞれ情報を送信する(送信処理S132)。第1情報処理装置107の第1通信部174は、情報を撮像端末6の第2通信部65から受信する(受信処理S231)。第2情報処理装置207の第3通信部274は、情報を撮像端末6の第2通信部65から受信する(受信処理S331)。
撮像端末6から第1情報処理装置107に送信される情報には、撮像部61によって撮影した画像データが含まれる。撮像端末6から第1情報処理装置107に送信される情報としては、撮像端末6における処理時のパラメータが含まれる。このパラメータには、マーカープレート10上に配置されたパターン10aに関する情報である、種類、位置、角度、大きさ、及び識別子が含まれる。パラメータには、射影変換処理S232における分解能等が含まれる。これら処理のパラメータは、オペレータが撮像端末6の第2入力部63を操作することによって指定できることが好ましい。
撮像端末6から第2情報処理装置207に送信される情報には、撮像端末6によって各画像を撮影したときの基本情報が含まれる。基本情報には、撮影した日時、場所、撮影者、撮像端末6に関する情報、溶接鋼管1に関する情報等の基本情報が含まれる。撮像端末6に関する情報には、第2記憶部66に記憶された撮像端末6の識別子及びIPアドレス等の情報が含まれる。溶接鋼管1に関する情報には、物体番号、物体名、ロット番号、及び規格等の溶接鋼管1を識別できる情報や、溶接鋼管1を特徴づける情報が含まれる。溶接鋼管1に関する情報は、例えば、撮像端末6の第2入力部63を用いてオペレータが入力する。撮像端末6から第2情報処理装置207に送信される情報には、例えば、撮像端末6によって撮影された画像データのIDが含まれる。
次に、第1情報処理装置107の第1演算部173が、受信した画像データに対して射影変換を実施する(射影変換処理S232)。次に、第1情報処理装置107の第1演算部173が、射影変換後の画像データから溶接鋼管1の断面のエッジ位置を検出する(検出処理S233)。次に、第1情報処理装置107の第1演算部173が、検出されたエッジ位置に基づいて溶接部1cの断面形状に関する所定の物理量を計測する(計測処理S234)。第1情報処理装置107の第1通信部174が、計測された所定の物理量に関する情報を、第2情報処理装置207の第3通信部274に送信する(送信処理S235)。その後、第1情報処理装置107は、計測した物理量に関する情報を第1記憶部175に記録する(記録処理S236)。計測された物理量に関する情報には、射影変換のパラメータに関するテキストデータが含まれる。
次に、第2情報処理装置207の第3通信部274が、計測された物理量に関する情報を第1情報処理装置107の第1通信部174から受信する(受信処理S332)。次に、第2情報処理装置207の第3演算部273が、計測された物理量に関する情報等と、溶接鋼管1に関する複数の情報に基づいて、撮像端末6によって撮影された溶接部1cを有する溶接鋼管1の品質の程度を判定する処理や製造条件の変更処理を行う(判定処理S333)。溶接鋼管1に関する複数の情報とは、第2情報処理装置207が予め有している、溶接鋼管1の設計図面や製造後の形状に係る情報、製造条件の変更が計測された物理量に対して及ぼす影響に関する情報、製造設備の操作手順の操作量の決定方法に関する情報、及びこれらの組合せである。また、後述の判定基準もこの複数の情報に含まれる。これら溶接鋼管1に関する複数の情報は、第2情報処理装置207が備える第3記憶部275に格納されていることが好ましい。
溶接鋼管1の品質の程度を判定する処理としては、計測された物理量に関する情報等を判定基準と比較し、溶接鋼管1の合否を判定する処理を例示できる。この処理の結果、溶接鋼管1の品質の程度に関する情報が得られる。より具体的には、溶接鋼管1の合否判定に関する情報が得られる。また、製造条件の変更処理としては、計測された物理量に関する情報等に基づいて、溶接鋼管1を製造する製造設備の製造条件の変更の要否の決定と、具体的な条件変更方法や操作量の算出処理を例示できる。さらに、製造条件の変更処理としては、在庫となっている溶接鋼管1に対する出荷、移動、廃棄、その他の操作に係る命令を決定する処理を例示できる。これらの処理の結果、物体(溶接鋼管1)の製造条件の変更に関する情報が得られる。
次に、第2情報処理装置207の第3通信部274が、溶接鋼管1の合否判定に関する情報と上記製造条件の変更に関する情報のうち1つ以上を含む、計測された物理量を元にした溶接鋼管1の管理情報を撮像端末6の第2通信部65及び図示しない製造設備の制御部に送信する(送信処理S334)。その後、第2情報処理装置207は、溶接鋼管1の合否判定に関する情報を第3記憶部275に記録する(記録処理S335)。
図示しない製造設備の制御部は、第2情報処理装置207の第3通信部274から、溶接鋼管1の合否判定に関する情報を含む、計測された物理量を元にした溶接鋼管1の管理情報を受信する。さらに、図示しない製造設備の制御部は、受信した溶接鋼管1の管理情報に基づき、製造設備の変更や、在庫となっている溶接鋼管1に対する出荷、移動、廃棄、その他の操作に係る命令を実行する。
計測された物理量を元にした溶接鋼管1の管理情報には、溶接鋼管1の製造条件の変更に関する情報として、在庫している溶接鋼管1に対する処理に関する情報等が含まれる。在庫している溶接鋼管1に対する処理に関する情報には、溶接鋼管1に対する番号、名称、ロット番号、保管されている倉庫、位置、出荷予定日、及び出荷予定先等に関する情報が含まれる。さらに、在庫している溶接鋼管1に対する処理に関する情報には、倉庫の仕様、倉庫に格納されている溶接鋼管1のそれぞれに対する等級、出荷予定日、保管位置等に関する情報が含まれる。及び/又は、計測された物理量を元にした溶接鋼管1の管理情報には、溶接鋼管1の製造条件の変更に関する情報として、物体の製造条件を変更する情報等が含まれる。物体の製造条件を変更する情報には、製造プロセスとその条件、各プロセスの実施日、製造中の他の計測結果、製造した溶接鋼管1の番号、名称、ロット番号等の情報が含まれる。さらに、物体の製造条件を変更する情報には、所定の物理量や溶接鋼管1を特徴づける情報を含めた情報や、各プロセス条件の変更のための判断基準等に関する情報が含まれる。
在庫管理と製造条件の変更の事例を用いて管理情報の利用方法について説明する。まず、第3演算部273が、溶接鋼管1に関する情報の一部又は全部をキーにして、第3記憶部275から管理情報を抽出する。次に、第3演算部273は、抽出された管理情報を、計測処理S234において計測された所定の物理量及び溶接鋼管1を特徴づける情報と比較する。比較の結果、判定基準を満たしていれば、第3演算部273は、在庫の移動や製造設備の条件変更等の操作を行わないことを決定する。一方で、判定基準から外れていた場合には、第3演算部273は、溶接鋼管1に対して何らかの操作を行うことを決定する。例えば在庫管理であれば、第3演算部273は、溶接鋼管1を特徴づける情報から得られる所定のルールに沿って、溶接鋼管1の位置を移動させることを決定する。具体的な移動方法としては、適切な等級を示す箇所へ移動する、廃棄予定箇所に移動する等が含まれる。さらに、例えば製造設備の制御であれば、第3演算部273は、溶接鋼管1を特徴づける情報から所定の物理量に影響のある製造設備の条件を抽出し、製造設備の操作手順と操作量を決定する。
次に、溶接鋼管1の合否判定に関する情報が溶接鋼管1の管理情報に含まれている場合は、撮像端末6の第2通信部65が、溶接鋼管1の合否判定に関する情報を第2情報処理装置207の第3通信部274から受信する(受信処理S133)。その後、撮像端末6の第2表示部62は、溶接鋼管1の合否判定に関する情報を表示する(表示処理S134)。本実施形態の計測装置20は、第2情報処理装置207によって判定された溶接鋼管1の合否判定に関する情報を、合否判定した後にリアルタイムで撮像端末6に送信することに限定されるものではない。オペレータが撮像端末6の第2入力部を操作して、合否判定の結果を知りたい溶接鋼管1に対応する画像データのID等の情報を第2情報処理装置207に送信し、溶接鋼管1の合否判定に関する情報を要求する。そして、第2情報処理装置207は、受信した画像データのID等の情報に基づいて、第3記憶部275に記録した画像データのIDに対応する、溶接鋼管1の合否判定に関する情報を撮像端末6に送信する。これにより、オペレータが撮像端末6を用いて溶接鋼管1の物理量計測を行った後、溶接鋼管1を物体として出荷するまでの間の任意のタイミングにて、溶接鋼管1の合否判定等の検品、在庫管理、製造条件変更を実施し、品質や製造の管理を行うことができる。
また、本発明は、物体の製造方法に含まれる計測ステップとして適用することができ、公知又は既存の製造ステップにおいて、物体の断面形状に関する物理量を計測するようにしてもよい。このような物体の製造方法によれば、物体の製造歩留まりを向上させることができる。
さらに、本発明は、物体の品質管理方法に適用することができ、物体の断面形状に関する物理量を計測することにより、物体の品質管理を行うようにしてもよい。具体的には、本発明で物体の断面形状に関する物理量を計測し、計測結果から物体の品質管理を行うことができる。品質管理ステップでは、計測結果に基づき、物理量が予め指定された管理基準を満たしているか否かを判定し、物体の品質を管理する。このような物体の品質管理方法によれば、高品質の溶接鋼管を提供することができる。
[実施例]
最後に、本発明の実施例について説明する。本実施例では、物理量の計測対象として、溶接鋼管の溶接部の断面を選定した。マーカープレート10として、ARマーカーを4つ配置したものを使用した。撮像端末6としてスマートフォンを、情報処理装置7としてグラフィックボードを搭載したノートPCを使用した。撮像端末6と情報処理装置7との間の通信はUSBポートを介したハードディスクによるデータ授受により実現した。物理量計測処理では、溶接鋼管の異なる10個の断面を撮影して管厚を計測した。計測は、溶接余盛を中心に左右それぞれ1箇所ずつ行った。図31は撮影した画像に管厚を計測した位置を重ね合わせた様子を示す模式図である。図31の11は溶接鋼管の外面、12は溶接鋼管の内面、13は溶接鋼管の断面、14は溶接余盛を示す。破線15L,15Rは本発明に係る計測方法を用いて計測した結果、得られた管厚を示す線であり、管厚方向と一致している。図32に管厚の計測結果と誤差範囲を示す。手計測された管厚の計測値に対する本発明の計測値の誤差を評価するため、誤差の絶対値平均をとったところ0.5mmであった。これにより、本発明によれば、管厚等の物理量を精度よく計測できることが確認された。
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明が限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例、及び運用技術等は全て本発明の範疇に含まれる。
本発明によれば、物体の所定の位置における所定の物理量を短時間で、且つ、精度よく計測可能な計測方法、計測装置、演算部、撮像端末、及び撮像システムを提供することができる。また、本発明によれば、物体の製造歩留まりを向上可能な物体の製造方法を提供することができる。また、本発明によれば、高品質な物体を提供可能な物体の品質管理方法を提供することができる。また、本発明によれば、物体の製造歩留まりを向上可能な物体の製造設備を提供することができる。また、本発明によれば、物体の製造歩留まりを向上させる及び/又は高品質な物体を提供可能な情報処理装置を提供することができる。
1 溶接鋼管
1a ビード部
1b 母材
1c 溶接部
2 撮像部
3 演算部
4 表示部
5 記憶部
6 撮像端末
7 情報処理装置
8 ネットワーク
9 外部記憶装置
10 マーカープレート
10a パターン
10b 開口部
11 外面
12 内面
13 断面
14 溶接余盛
19C 計測位置
20 計測装置
61 撮像部
62 第2表示部
63 第2入力部
64 第2演算部
65 第2通信部
66 第2記憶部
71 第1表示部
72 第1入力部
73 第1演算部
74 第1通信部
75 第1記憶部
101a エッジ
107 第1情報処理装置
171 第1表示部
172 第1入力部
173 第1演算部
174 第1通信部
175 第1記憶部
207 第2情報処理装置
271 第3表示部
272 第3入力部
273 第3演算部
274 第3通信部
275 第3記憶部
L 仮想円

Claims (13)

  1. 物体の所定の位置における所定の物理量を計測する計測方法であって、
    測長用の長さ基準となるパターンが描画されたマーカープレートと共に撮影された前記物体の画像を、前記画像中の前記パターンの画像を用いて、所定の分解能を有する正対画像に変換する第1ステップと、
    前記正対画像から前記物体のエッジを検出する第2ステップと、
    検出された前記エッジに基づいて前記所定の物理量を算出する第3ステップと、
    を含み、
    前記第2ステップは、
    前記正対画像を入力データ、前記正対画像中の前記エッジを出力データとする機械学習モデルを、検出する前記エッジの種類に応じて選択するステップと、
    前記第1ステップによって得られた前記正対画像を選択された機械学習モデルに入力することにより、前記正対画像中の前記エッジを検出するステップと、
    検出された前記エッジの連結性に基づいて、前記エッジの過検出を除去する及び/又は前記エッジの未検出を補間するエッジ識別ステップと、
    を含む、計測方法。
  2. 前記第1ステップの前に、前記マーカープレートと共に前記物体の画像を撮像する撮像ステップを含む、請求項1に記載の計測方法。
  3. 前記エッジ識別ステップは、
    前記エッジの画像を二値化するステップと、
    二値化された前記エッジの画像を複数の処理単位に分割して複数の分割二値画像を生成するステップと、
    隣接する分割二値画像中における前記エッジを考慮して各分割二値画像中における前記エッジの有効又は無効を判定するステップと、
    有効と判定された前記エッジに基づいて無効と判定された前記エッジを補間するステップと、
    を含む、請求項に記載の計測方法。
  4. 物体の所定の位置における所定の物理量を計測する計測装置であって、
    測長用の長さ基準となるパターンが描画されたマーカープレートと、
    前記マーカープレートと共に、前記物体の画像を撮影する撮像部と、
    撮影された前記画像中の前記パターンの画像を用いて、前記画像を所定の分解能を有する正対画像に変換する処理と、前記正対画像から前記物体のエッジを検出する処理と、検出された前記エッジに基づいて前記所定の物理量を算出する処理と、を実行する演算部と、
    を備え、
    前記演算部は、前記エッジを検出する処理において、前記正対画像を入力データ、前記正対画像中の前記エッジを出力データとする機械学習モデルを、検出する前記エッジの種類に応じて選択する処理と、前記正対画像を選択された機械学習モデルに入力することにより、前記正対画像中の前記エッジを検出する処理と、検出された前記エッジの連結性に基づいて、前記エッジの過検出を除去する及び/又は前記エッジの未検出を補間する処理と、を実行する、
    計測装置。
  5. 物体の製造ステップと、
    請求項1~3のうち、いずれか1項に記載の計測方法を用いて、物体の所定の位置における所定の物理量を計測する計測ステップと、
    を含む、物体の製造方法。
  6. 請求項1~3のうち、いずれか1項に記載の計測方法を用いて、物体の所定の位置における所定の物理量を計測する計測ステップと、
    前記計測ステップによって得られた所定の物理量の計測結果から、前記物体の品質管理を行う品質管理ステップと、
    を含む、物体の品質管理方法。
  7. 物体を製造するための製造設備と、
    前記製造設備により製造された前記物体の所定の位置における所定の物理量を計測するための、請求項4に記載の計測装置と、
    を備える、物体の製造設備。
  8. 物体の所定の位置における所定の物理量を計測するための演算部であって、
    測長用の長さ基準となるパターンが描画されたマーカープレートと共に撮影された前記物体の画像より算出された正対画像から、前記物体のエッジを検出する処理と、
    検出された前記エッジに基づいて前記所定の物理量を算出する処理と、
    を実行すると共に、
    前記エッジを検出する処理において、
    前記正対画像を入力データ、前記正対画像中の前記エッジを出力データとする機械学習モデルを、検出する前記エッジの種類に応じて選択する処理と、
    前記正対画像を選択された前記機械学習モデルに入力することにより、前記正対画像中の前記エッジを検出する処理と、
    検出された前記エッジの連結性に基づいて、前記エッジの過検出を除去する及び/又は前記エッジの未検出を補間する処理と、
    を実行する、演算部。
  9. 前記物体の画像より前記正対画像を算出するために、前記画像中の前記パターンを用いて、前記画像を所定の分解能を有する正対画像に変換する処理を実行する、請求項8に記載の演算部。
  10. 物体の所定の位置における所定の物理量を計測するための撮像端末であって、
    測長用の長さ基準となるパターンが描画されたマーカープレートと共に、前記物体の画像を撮影する撮像部と、
    撮影された前記画像に対して処理を実行する第2演算部と、
    を備え、
    前記第2演算部は、
    撮影された前記画像を、請求項8又は9に記載の演算部である外部の第1演算部へ出力する処理を実行する、
    及び/又は、請求項8又は9に記載の演算部である、
    撮像端末。
  11. 物体の所定の位置における所定の物理量を計測するための撮像システムであって、
    測長用の長さ基準となるパターンが描画されたマーカープレートと、
    前記マーカープレートが設置された前記物体を撮影する、請求項10に記載の撮像端末と、
    を備える、撮像システム。
  12. 請求項8又は9に記載の演算部である外部の第1又は第2演算部により算出された、物体の所定の位置における所定の物理量と、前記物理量が算出された前記物体に関する複数の情報と、から、前記物体の製造条件を変更する処理と、前記物体の品質の程度を判定する処理のうちの1つ以上を実行する第3演算部を備える、情報処理装置。
  13. 物体を製造するための製造設備と、
    前記製造設備により製造された前記物体の所定の位置における所定の物理量を計測するための、請求項10に記載の撮像端末と、
    を備える、物体の製造設備。
JP2024521172A 2023-02-20 2024-01-23 計測方法、計測装置、物体の製造方法、物体の品質管理方法、物体の製造設備、演算部、撮像端末、撮像システム、及び情報処理装置 Active JP7509338B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023024368 2023-02-20

Publications (1)

Publication Number Publication Date
JP7509338B1 true JP7509338B1 (ja) 2024-07-02

Family

ID=

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008119711A (ja) 2006-11-09 2008-05-29 Nippon Steel Corp 液相拡散接合法による金属製品の製造方法
JP2010249650A (ja) 2009-04-15 2010-11-04 Mitsubishi Heavy Ind Ltd 寸法検査装置及び該装置に用いる被撮像部品
JP2010266202A (ja) 2009-04-13 2010-11-25 Itt:Kk 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム
JP2013130902A (ja) 2011-12-20 2013-07-04 Jvc Kenwood Corp 映像信号処理装置及び映像信号処理方法
JP2013156909A (ja) 2012-01-31 2013-08-15 Hitachi Plant Technologies Ltd 形状モデル生成装置及び作業前後対応画像判定システム
JP2013192101A (ja) 2012-03-14 2013-09-26 Panasonic Corp 画像処理装置およびこれを備えた原稿読取システム
JP5699401B2 (ja) 2008-06-04 2015-04-08 サントーニ エス.ピー.エー. 縦編機

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008119711A (ja) 2006-11-09 2008-05-29 Nippon Steel Corp 液相拡散接合法による金属製品の製造方法
JP5699401B2 (ja) 2008-06-04 2015-04-08 サントーニ エス.ピー.エー. 縦編機
JP2010266202A (ja) 2009-04-13 2010-11-25 Itt:Kk 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム
JP2010249650A (ja) 2009-04-15 2010-11-04 Mitsubishi Heavy Ind Ltd 寸法検査装置及び該装置に用いる被撮像部品
JP2013130902A (ja) 2011-12-20 2013-07-04 Jvc Kenwood Corp 映像信号処理装置及び映像信号処理方法
JP2013156909A (ja) 2012-01-31 2013-08-15 Hitachi Plant Technologies Ltd 形状モデル生成装置及び作業前後対応画像判定システム
JP2013192101A (ja) 2012-03-14 2013-09-26 Panasonic Corp 画像処理装置およびこれを備えた原稿読取システム

Similar Documents

Publication Publication Date Title
Bosche et al. Automated retrieval of 3D CAD model objects in construction range images
TWI607412B (zh) 多維度尺寸量測系統及其方法
JP4811272B2 (ja) 3次元計測を行う画像処理装置および画像処理方法
JP6489566B2 (ja) 3次元計測装置及びその計測支援処理方法
JP7292979B2 (ja) 画像処理装置及び画像処理方法
JP5015721B2 (ja) 欠陥検査装置、欠陥検査プログラム、図形描画装置および図形描画システム
JP2005308553A (ja) 三次元画像計測装置及び方法
JP2004213332A (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具
JP2017167969A (ja) 損傷抽出システム
US11488354B2 (en) Information processing apparatus and information processing method
JP7188201B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN112967312B (zh) 一种面向野外刚体目标的实时鲁棒位移监测方法及系统
JP2007128373A (ja) 画像処理方法、画像処理用のプログラムならびにその記憶媒体、および画像処理装置
TW201415010A (zh) 檢查裝置、檢查方法及檢查程式
JP2005140547A (ja) 3次元計測方法、3次元計測装置、及びコンピュータプログラム
JP7509338B1 (ja) 計測方法、計測装置、物体の製造方法、物体の品質管理方法、物体の製造設備、演算部、撮像端末、撮像システム、及び情報処理装置
Jin et al. A multi-vision-based system for tube inspection
JP7230722B2 (ja) 画像処理装置及び画像処理方法
US20220076399A1 (en) Photographing guide device
WO2023188671A1 (ja) 点検支援システム、点検支援方法、及び、点検支援プログラム
JP2020170257A (ja) 画像処理装置およびその制御方法
JP2005174151A (ja) 三次元画像表示装置及び方法
JP2011022084A (ja) 三次元姿勢測定装置および三次元姿勢測定方法
JP4351090B2 (ja) 画像処理装置および画像処理方法
WO2023090307A1 (ja) ミスアライメント測定システム、溶接鋼管の製造設備、撮像端末、撮像システム、情報処理装置、ミスアライメント測定方法、溶接鋼管の製造方法、及び、溶接鋼管の品質管理方法