JP7200955B2 - ボルト検査装置、ボルト検査システム、ボルト検査方法及びプログラム - Google Patents

Description

本発明は、ボルトの締付け状態を検査するためのボルト検査装置、ボルト検査システム、ボルト検査方法及びプログラムに関する。

例えば橋梁等の構造物の鋼材を接合するために、ボルトが用いられる。ボルトの締付けは、一次締め、マーキング、本締めの順序で行われる。図１８（ａ）に示すように、一次締めは、所定のトルク値でナット６１を回転させて行う。一次締めが終わったボルト６３、ナット６１、座金６４及び母材６５には、マーキング６２が付される。図１８（ｂ）に示すように、本締めは、所定のボルト張力が得られるように、専用のレンチを用いてボルト６３のピンテール６３ａ（図１８（ａ）参照）が破断するまで締め付けることにより行われる。図１８（ｂ）には、ピンテール６３ａが破断された後のボルト６３を示す。本締めでは、ボルト６３、座金６４が回転することなくナット６１のみが回転する。正常にボルトの締付けが行われると、図１８（ｂ）に示すように、ボルト６３、座金６４、母材６５のマーキング６２ａの角度が一致し、ナット６１のマーキング６２ｂのみ角度がずれる。

締付け完了後には、ボルトの締付け状態が検査される。従来からボルトの締付け状態の検査は、目視により行われていた。近年、ボルトをカメラにより撮影し、カメラが生成したボルト画像に基づいて、ボルトの締付け状態を判定するボルト検査装置が提案されている（特許文献１参照）。この検査装置は、ボルト画像に基づいてボルト、ナット、座金及び母材それぞれに付したマーキングのマーキング角度を検出するマーキング角度算出部と、検出したマーキング角度に基づいて、締付け状態を判定する判定部と、を備える。

特開２０１８－９９３２号公報

しかし、従来のボルト検査装置においては、ボルト、ナット、座金及び母材それぞれのマーキング角度を算出する必要があり、そのために複雑な計算処理が必要になるという課題がある。

ところで、マーキング角度を算出しないボルトの検査方法として、従来の目視によるボルトの検査に人工知能を導入し、すなわち機械学習を行った学習済みモデルにボルト画像を入力することで、ボルトを検査することが考えられる。しかし、ボルトの検査項目には、「正常」だけでなく、「ナットの締め忘れ」、「座金共回り（ナットと共に座金が回る）」等も存在する。また、検査項目毎にモデルを作成したのでは、コンピュータの負荷が増大するし、矛盾した検査結果が得られるという共起性の問題も発生し易い。

本発明は、このような事情に鑑みてなされたもので、コンピュータの負荷を軽減でき、検査精度も向上させることができるボルト検査装置及びボルト検査方法を提供することを目的とする。

上記課題を解決するために、本発明の一態様は、ボルトに付されたマーキングの状態を判定するための機械学習を行った学習済みのマーキング判定モデルにボルト画像を入力することで、マーキングの状態を判定するマーキング判定部と、ピンテールの有無を判定するための機械学習を行った学習済みのピンテール判定モデルに前記ボルト画像を入力することで、ピンテールの有無を判定するピンテール判定部と、少なくとも前記マーキング判定部と前記ピンテール判定部の判定結果に基づいて、ボルトの締付け状態を総合判定する総合判定部と、を備えるボルト検査装置である。

本発明の他の態様は、ボルトに付されたマーキングの状態を判定するためのマーキング判定モデルにボルト画像を入力することで、マーキングの状態を判定するマーキング判定ステップと、ピンテールの有無を判定するためのピンテール判定モデルに前記ボルト画像を入力することで、ピンテールの有無を判定するピンテール判定ステップと、少なくとも前記マーキング判定ステップと前記ピンテール判定ステップの判定結果に基づいて、ボルトの締付け状態を総合判定する総合判定ステップと、を備えるボルト検査方法である。

本発明によれば、マーキング判定部がマーキングに着目してマーキングの状態を判定し、ピンテール判定部がピンテールに着目してピンテールの有無を判定し、総合判定部がマーキング判定部とピンテール判定部の判定結果に基づいて締付け状態を総合判定する。すなわち、検査項目に着目して判定モデルを作成するのではなく、ボルトの機能的なまとまりのある部分（マーキング及びピンテール）に着目して判定モデルを作成することで、コンピュータの負荷を軽減でき、検査精度も向上させることができる。

本発明の一実施形態のボルト検査システムの全体構成図である。 本実施形態のボルト検査装置の機能ブロック図である。 本実施形態のボルト検査装置の処理のフローチャートである。 ボルト検出部の処理のフローチャートである。 ボルト検出部の学習モデルの概念図である ボルトタグ付け部の処理のフローチャートである。 検査員による動画の撮影方法を示す模式図である。 ボルト画像に付与された位置情報の概念図である。 ボルト検査部の処理のフローチャートである。 ナット判定モデルの概念図である。 図１１（ａ）はナットが表の状態のボルト画像であり、図１１（ｂ）はナットが裏の状態のボルト画像である。 ５つのクラスに分類されたマーキングの状態を示す図である。 総合判定部のロジックの図である。 検査項目を示す図である。 代表画像抽出部のロジックの概念図である。 端末の表示装置に表示される画像の一例を示す図である。 図１７（ａ）は端末の表示装置に表示される代表画像を示す図であり、図１７（ｂ）は端末の表示装置に表示される４つの判定モデルの判定結果を示す図である。 図１８（ａ）は一次締めの状態のボルトの斜視図であり、図１８（ｂ）は本締めの状態のボルトの斜視図である。

以下、添付図面を参照して、本発明の実施形態のボルト検査装置及びボルト検査システムを詳細に説明する。ただし、本発明のボルト検査装置及びボルト検査システムは種々の形態で具体化することができ、明細書に記載される実施形態に限定されるものではない。本実施形態は、明細書の開示を十分にすることによって、当業者が発明を十分に理解できるようにする意図をもって提供されるものである。
（ボルト検査システムの構成）

まず、図１を参照して、本発明の一実施形態のボルト検査システム４０のハードウェア構成を説明する。本実施形態のボルト検査システム４０は、端末２２と、ボルト検査装置１と、を備える。端末２２は、タブレット、スマートフォン等のカメラ４３付きの携帯情報端末である。ボルト検査装置１は、管理センターのクラウド環境上に設けられるコンピュータである。端末２２とボルト検査装置１との間は、端末・ボルト検査装置間通信機能で接続される。通信機能は、インターネットや内部ネットワークによって構成される。

ボルト検査作業の全体の流れは、以下のとおりである。検査員は、端末２２のカメラ４３を用いてボルトの動画像と静止画像を撮影する。撮影した動画像と静止画像は、端末・ボルト検査装置間通信機能を介してボルト検査装置１に送信される。ボルト検査装置１は、入力された動画像と静止画像に基づいてボルトの締付け状態の判定を行い、判定結果を出力する。ボルト検査装置１が出力する判定結果は、端末・ボルト検査装置間通信機能を介して端末２２に送信される。端末２２の表示装置には、ボルト検査装置１が出力する判定結果が表示される。
（端末の構成）

端末２２のハードウェア構成を説明する。図１に示すように、端末２２は、ＣＰＵ４２、撮影装置としてのカメラ４３、記憶装置４４、通信インターフェース４１、ユーザインターフェース４５を有する。ＣＰＵ４２は、記憶装置４４に格納されたプログラムを実行する。記憶装置４４は、ＲＯＭとＲＡＭを含む。ＲＯＭは、不変のプログラム（ＢＩＯＳ）等を格納する。ＲＡＭは、ＣＰＵ４２が実行するプログラム及びプログラムの実行時に使用されるデータを一次的に格納する。カメラ４３は、ボルトの動画像と静止画像を撮影する。通信インターフェース４１は、所定のプロトコルにしたがってボルト検査装置１との通信を制御する。カメラ４３が撮影した画像は、通信インターフェース４１を介してボルト検査装置１に送信される。ユーザインターフェース４５は、ユーザに入出力機能を提供する。入力機能は、ユーザからの入力を受けるタッチパネル等の入力インターフェースである。出力機能は、プログラムの実行結果をオペレータが視認可能な形式で出力する表示装置２２ａ等の出力インターフェースである。
（ボルト検査装置の構成）

ボルト検査装置１のハードウェア構成を説明する。ボルト検査装置１は、ＣＰＵ５２、ＧＰＵ５３、記憶装置３、補助記憶装置５５、通信インターフェース５１を有する。ＣＰＵ５２は、記憶装置３に格納されたプログラムを実行し、入力されたボルトの動画像と静止画像に基づいてボルトの締付け状態の検査の処理を行う。ＧＰＵ５３は、検査の処理のための画像処理を行う。記憶装置３は、ＲＯＭとＲＡＭを含む。ＲＯＭは、不変のプログラム（ＢＩＯＳ）等を格納する。ＲＡＭは、ＣＰＵ５２が実行するプログラム及びプログラムの実行時に使用されるデータを一次的に格納する。

補助記憶装置５５は、磁気記録装置（ＨＤＤ）、半導体記憶装置（ＳＳＤ）等の大容量の記憶装置から構成される。補助記憶装置５５は、端末２２から受信した画像データや各種の学習モデルを記録するデータベースを格納する。通信インターフェース５１は、所定のプロトコルにしたがって端末２２との通信を制御する。ボルトの締付け状態の判定結果は、端末２２に送信される。

ボルト検査装置１は、入力インターフェースと出力インターフェースを有してもよい。入力インターフェースには、キーボードやマウスが接続され、ユーザからの入力を受け付ける。出力インターフェースには、表示装置やプリンタが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力する。ＣＰＵ５２が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリ等）又はネットワークを介してボルト検査装置１に提供される。
（ボルト検査装置の機能）

ボルト検査装置１の機能を説明する。図２は、ボルト検査装置１の機能ブロック図を示す。図２の機能ブロック図の各部は、制御部２（図１のＣＰＵ、ＧＰＵ等のプロセッサ５２，５３）が記憶装置３に記録されているプログラムを読みだして実行することにより実現される。

本実施形態のボルト検査装置１は、橋梁の構造用鋼材を接合する高力ボルト（以下、単にボルトという）の締付け状態を検査する。上記のように、ボルトは、端末２２のカメラ４３によって撮影される。撮影されたボルトの動画像と静止画像は、ボルト検査装置１に入力される。動画像は、時系列的に出力される３０枚／秒、５０枚／秒等の静止画像から構成される。動画像は、カメラ４３の位置を移動させながらボルトを撮影した動画像であり、ボルトを異なる角度から撮影した複数の静止画像を含む。

ボルトには、橋梁のウェブ部に取り付けられるボルトと橋梁のフランジ部に取り付けられるボルトがある。一般的にウェブ部のボルトの数はフランジ部のボルトの数よりも多い。本実施形態では、端末２２のカメラ４３によってウェブ部のボルトを動画像で撮影し、フランジ部のボルトを静止画像で撮影する。なお、ウェブ部のボルトとフランジ部のボルトを動画像で撮影してもよい。

さらに、端末２２のカメラ４３によってボルトを撮影する替わりに、ドローン等の無人飛行機に搭載された撮影装置によりボルトを撮影してもよい。また、昇降・水平移動可能なロボットに搭載された撮影装置によりボルトを撮影してもよい。これらの端末の撮影装置によって撮影された動画像と静止画像は、端末２２と同様にボルト検査装置１に送信される。

図２に示すように、ボルト検査装置１は、ボルト検出部４と、ボルトタグ付け部５と、ボルト検査部７と、を備える。ウェブ部を撮影したボルトの動画像は、ボルト検出部４に入力される。

図３は、ボルト検査装置１の処理のフローチャートである。図３に示すように、ボルト検出部４は、入力動画像から複数の静止画像１６（図５参照）を抽出し、各静止画像１６から個々のボルトのボルト画像２７（図５参照）を検出する（Ｓ１）。

検出されたボルト画像２７は、ボルトタグ付け部５に入力される。ボルトタグ付け部５では、検出されたボルト画像２７に位置情報を付与する（Ｓ２）。具体的には、ボルトタグ付け部５は、検出されたボルト画像２７に採番を行い、個々のボルト画像２７に行番号と列番号を付与する（図８参照）。

位置情報が付与されたボルト画像２７は、ボルト検査部７に入力される。ボルト検査部７では、同一のボルトを撮影した複数のボルト画像２７に基づいてボルトの締付け状態の判定を行う（Ｓ３）。ボルト検査部７によるボルトの締付け状態の判定は、採番が行われた全てのボルトに対して行われる。

一枚のボルト画像２７は、一つの撮影角度から撮影した画像である。なお、一枚のボルト画像２７からボルトの締付け状態を判定しようとしても、マーキングが隠れていて、マーキングを検出できない場合がある。そこで、本実施形態においては、撮影角度が異なる複数（例えば１０枚、２０枚等）のボルト画像２７に基づいてボルトの締付け状態を判定する。このため、ボルトの締付け状態を判定できる可能性を飛躍的に高めることができ、多数のボルトの締付け状態をほぼ漏れなく判定できるようになる。また、ボルトの形状はどのボルトも似ていて、ボルト画像２７からどのボルトを撮影したのかを認識することは困難である。しかしながら、ボルトタグ付け部５によってボルト画像２７に位置情報を付与することで、複数のボルト画像２７が同一のボルトを撮影したものであることを保証することができる。

再び図２に戻り、ボルト検査部７は、前処理部８と、判定部９と、総合判定部２８と、代表画像抽出部２９と、を備える。前処理部８は、ボルト画像２７に対して特徴量を浮き彫りにさせるための前処理を行う。例えば前処理部８は、ボルト画像２７を２値化する。なお、判定部９の判定内容によっては、前処理部８を省略してもよい。

判定部９は、マーキング判定部９ａと、ピンテール判定部９ｂと、ナット判定部９ｃと、座金判定部９ｄと、を備える。これらの判定部９ａ～９ｄには、複数のボルト画像２７のそれぞれが入力される。

マーキング判定部９ａは、ボルトに付されたマーキングの状態を判定するための機械学習を行った学習済みのマーキング判定モデルに各ボルト画像を入力することで、マーキングの状態を判定する。ピンテール判定部９ｂは、ピンテールの有無を判定するための機械学習を行った学習済みのピンテール判定モデルに各ボルト画像を入力することで、ピンテールの有無を判定する。ナット判定部９ｃは、ナットの表裏を判定するための機械学習を行った学習済みのナット判定モデルに各ボルト画像を入力することで、ナットの表裏を判定する。座金判定部９ｄは、座金の表裏を判定するための機械学習を行った学習済みの座金判定モデルに各ボルト画像を入力することで、座金の表裏を判定する。これらの学習済みモデルの詳細は後述する。

総合判定部２８は、マーキング判定部９ａ、ピンテール判定部９ｂ、ナット判定部９ｃ及び座金判定部９ｄの判定結果に基づいて、検査項目毎にボルトの締付け状態を総合判定する。検査項目には、例えば「正常」、「ナット締め忘れ」、「座金共回り（ナットと共に座金が回る）」が存在する。総合判定部２８は、検査項目毎にボルトの締付け状態が「正常」であるか否か、「ナット締め忘れ」があるか否か、「座金共回り（ナットと共に座金が回る）」があるか否かを総合判定する。総合判定部２８の詳細については後述する。

代表画像抽出部２９は、同一のボルトを撮影した複数のボルト画像２７のうち、総合判定部２８の判定結果に一致するボルト画像２７を代表画像２７ａ（図１５（ｄ）参照）として抽出する。代表画像抽出部２９の詳細については後述する。代表画像２７ａは、補助記憶装置５５に記憶される。

総合判定部２８の判定結果は、表示制御部１１に入力される。表示制御部１１の判定結果出力部１１ａは、端末２２の表示装置２２ａにボルトの配列に合わせてボルトを模した画像を表示させる（図１６参照）。検査項目に異常があるボルト（図１６中斜線で示す３行４列のボルト）の画像には、例えば着色が付けられる。また、表示制御部１１の帳票出力部１１ｂは、表示装置に帳票（図示せず）を表示させる。表示装置は、例えばボルトを撮影した端末２２の表示装置２２ａ（図１６参照）、現場事務所のパソコンの表示装置等である。

図２に示すように、フランジ部を撮影したボルトの静止画像は、ボルト検出部１２に入力される。ボルト検出部１２は、ボルト検出部４と同様に、入力されたボルトの静止画像から個々のボルトのボルト画像を検出する。ボルト検出部１２によって検出されたボルト画像は、ボルトタグ付け部１３に入力される。ボルトタグ付け部１３は、ボルトタグ付け部５と同様に、検出されたボルト画像に位置情報を付与する。タグ付けされたボルト画像は、ボルト検査部７に入力される。ボルト検査部７は、動画像から検出したボルト画像２７と同様に、静止画像から検出したボルト画像（図示せず）に基づいて、ボルトの締付け状態を判定する。

以下に、ボルト検出部４、ボルトタグ付け部５、ボルト検査部７の詳細を順番に説明する。
（ボルト検出部）

図４は、ボルト検出部４の処理のフローチャートである。ボルト検出部４には、ボルトを撮影した動画像が入力される（Ｓ１１）。ボルト検出部４は、入力された動画像から所定の時間間隔毎に複数の静止画像１６（図５参照）を抽出する（Ｓ１２）。次に、ボルト検出部４は、個々のボルトのボルト画像２７を検出するための機械学習を行った学習済みの学習モデル１８（図５参照）に１枚目の静止画像１６を入力する（Ｓ１３）。１枚目の静止画像１６を学習モデル１８に入力することにより、個々のボルトのボルト画像２７が検出される（Ｓ１４）。次に、ボルト検出部４は、Ｓ１３に復帰し、２枚目の静止画像１６を学習モデル１８に入力する。２枚目の静止画像１６を学習モデル１８に入力することにより、個々のボルトのボルト画像２７が検出される（Ｓ１４）。ボルト検出部４は、Ｓ１３、Ｓ１４の工程を静止画像の枚数分繰り返す。すなわち、全ての静止画像を学習モデルに入力していない状態だと、Ｓ１５がＮＯでＳ１３に復帰する。全ての静止画像を学習モデルに入力した状態だと、Ｓ１５がＹＥＳでエンドとなる（Ｓ１５）。

図５は、ボルト検出部４の学習モデル１８の概念図である。学習モデル１８は、畳み込みニューラルネットワーク（convolutional neural network: CNN）等のニューラルネットワークから構成される。図５を参照して、学習モデル１８の機械学習を説明する。まず、複数個のボルトが撮影された学習用静止画像１４を作成する。また、学習用静止画像１４に対し、個々のボルトの領域に分解するための情報、例えば個々のボルトに四角形のタグ１５ａを付け加えて、教師静止画像１５を作成する。学習モデル１８は、学習用静止画像１４とタグ１５ａが付け加えられた教師静止画像１５との相関関係を学習する。学習済みの学習モデル１８は、補助記憶装置５５（図２参照）に記録される。

学習済みの学習モデル１８に各静止画像１６を入力すれば、個々のボルトにタグ１５ａが付与された静止画像１６が得られる。タグ１５ａで囲まれた領域を切り出せば、個々のボルトのボルト画像２７が抽出される。
（ボルトタグ付け部）

図６は、ボルトタグ付け部５（図２参照）の処理のフローチャートである。ボルトタグ付け部５には、ボルト検出部４が動画像から抽出した静止画像が入力される。まず、ボルトタグ付け部５は、静止画像からマーカ画像を検出する（Ｓ２１）。次に、ボルトタグ付け部５は、マーカ２１ａ（図７参照）を識別するための機械学習が行われたマーカ識別用学習モデル（図示せず）にマーカ画像を入力することにより、マーカ２１ａの数字を認識する（Ｓ２２）。

マーカ識別用学習モデルは、畳み込みニューラルネットワーク（convolutional neural network: CNN）等のニューラルネットワークから構成される。マーカ識別用学習モデルは、マーカ２１ａの画像と教示した数字との相関関係を学習した学習済みのモデルである。学習済みのマーカ識別用学習モデルは、補助記憶装置５５（図２参照）に記録される。

次に、ボルトタグ付け部５は、認識したマーカ２１ａの数字、検出したマーカ２１ａの座標、及び検出したボルトの座標に基づいて、ボルト画像２７に位置情報を付与する（Ｓ２３）。

ここで、マーカ（数字）について説明する。図７（ａ）に示すように、橋梁には、予め１～ｎ（図７（ａ）ではｎ＝２７）のマーカ２１ａ（数字）が付与されたマグネット２１が貼り付けられている。ここで、マーカ２１ａ（数字）とボルトの行数とは一致する。端末２２（図７（ｂ））には、予め接合部リストとボルトの個数が記録されている。検査員は、橋梁の設計図面２３（図７（ｃ））を参照しながら端末２２に表示される接合部リストから検査対象の接合部（例えば、Ｊ１９ウェブ部等）を選択する。検査員は、接合部リストから検査対象を選択した後、接合部のボルトを動画像で撮影する。

符号２４（図７（ｄ））は端末２２の表示装置に映っているボルトの画像である。検査員は、端末２２のタッチパネルを操作して撮影範囲を特定し、撮影位置をジグザグ状に移動させながらマーカ２１ａと接合部２５の全体を網羅的に撮影する。具体的には、検査員は、図７（ａ）の左から右に撮影位置を移動させながら上段のマーカ２１ａと接合部２５を撮影し、その後、撮影位置を下方に移動させ、その後、右から左に撮影位置を移動させながら上段よりも下側のマーカ２１ａと接合部２５を撮影し、その後、撮影位置を下方に移動させ、その後、左から右に撮影位置を移動させる。以降はこれを繰り返す。撮影した動画像は、上記のようにボルト検出部４に入力される。

図８は、ボルト画像２７に付与された位置情報の概念図を示す。図８に示すように、例えば右上のボルト画像２７には、接合部（Ｊ１９ウェブ部）、行列番号（１行５列）のタグ付けがなされる。同様に、例えば右下のボルト画像２７には、接合部（Ｊ１９ｗｅｂ）、行列番号（４行５列）のタグ付けが行われる。
（ボルト検査部）

図９は、ボルト検査部７（図２参照）の処理のフローチャートである。ボルト検査部７は、同一のボルトを撮影した複数のボルト画像２７それぞれを４つの判定モデル（マーキング判定モデルＣ１、ピンテール判定モデルＣ２、ナット判定モデルＣ３、座金判定モデルＣ４）に入力する（Ｓ３１）。

まず、ナット判定モデルＣ３を説明する。図１０は、ナット判定モデルＣ３の概念図である。ナット判定モデルＣ３には、各ボルト画像２７のナットの状態をナットが表か裏かの２つのクラスに分類する畳み込みニューラルネットワーク（convolutional neural network: CNN）等のニューラルネットワークが用いられる。

図１１（ａ）はナット６１が表の状態を示し、図１１（ｂ）はナット６１が裏の状態を示す。ナット６１の表には、窪み６１ａがあるのに対して、ナット６１の裏には、窪み６１ａがない。窪み６１ａの有無により、ナット６１の表裏を識別することができる。ナット判定モデルＣ３の学習にあたって、まず、疑似的にナット６１が表の状態とナット６１が裏の状態を作成する（図１０の符号３２を参照）。そして、図１０に示すように、ナットが表の学習用ボルト画像３３ａとナットが裏の学習用ボルト画像３３ｂを多数作成し、ナット判定モデルＣ３に学習用ボルト画像３３ａ，３３ｂと正解ラベル（ナットが表か裏か）の相関関係を学習させる。学習済みのナット判定モデルＣ３にボルト画像２７を入力すれば、ナット６１の表裏を判定することができる。ナット判定モデルＣ３は、各ボルト画像２７に対して、例えば「ナットが表」の確率が０．９５、「ナットが裏」の確率が０．０５を出力する。

ピンテール判定モデルＣ２には、各ボルト画像２７のピンテールの状態をピンテールが有るか無いかの２つのクラスに分類する畳み込みニューラルネットワーク等のニューラルネットワークが用いられる。ピンテール判定モデルＣ２も、ナット判定モデルＣ３と同様に学習する。すなわち、ピンテールが有る学習用ボルト画像とピンテールが無い学習用ボルト画像を多数作成し、ピンテール判定モデルＣ２に学習用ボルト画像と正解ラベル（ピンテールが有るか無いか）との相関関係を学習させる。学習済みのピンテール判定モデルＣ２にボルト画像２７を入力すれば、ピンテールの有無を判定することができる。ピンテール判定モデルＣ２は、各ボルト画像２７に対して、例えば「ピンテールが無し」の確率が０．９、「ピンテールが有り」の確率が０．１を出力する。

座金判定モデルＣ４には、各ボルト画像２７に対してピクセルレベルでクラス分類し、セグメンテーションを行う畳み込みニューラルネットワーク等のニューラルネットワークが用いられる。なお、ボルト画像２７の全体に対して座金の画像の占める面積が少ないので、座金が表か裏かの２つのクラスに分類するニューラルネットワークを用いても、座金が表か裏かの判定精度を向上させることができないおそれがある。また、座金の表と裏とでは質感が異なるので、セグメンテーションを行うことで、座金が表か裏かの判定精度を向上させることができる。座金判定モデルＣ４の学習にあたって、座金の部分と座金以外の背景部分とに分けてピクセル単位で色付けされた学習用データを作成する。座金の部分は、座金が表の場合と座金が裏の場合とに分けて色付けされる。学習済みの座金判定モデルＣ４にボルト画像２７を入力し、ピクセルレベルでクラス分類を行えば、座金の表裏を判定することができる（表のピクセルが多ければ、「座金が表」と判定し、裏のピクセルが多ければ、「座金が裏」と判定する）。座金判定モデルＣ４は、各ボルト画像２７に対して、例えば「座金が表」の確率が０．９５、「座金が裏」の確率が０．０５を出力する。

マーキング判定モデルＣ１には、各ボルト画像２７のマーキングの状態を例えば５つのクラスに分類する畳み込みニューラルネットワーク等のニューラルネットワークが用いられる。図１２に示すように、マーキングの状態は、「ナットのみずれ」（正常にボルト締めが行われた状態であり、ボルト、座金、母材のマーキング角度が一致し、ナットのマーキング角度のみがずれる）、「マーキング無し」（マーキングを付け忘れた状態であり、ボルト、ナット、座金、母材のいずれにもマーキングが無い）、「ナット＆座金ずれ」（ナットと座金が共回りした状態であり、ナットと座金のマーキング角度がボルトと母材のマーキング角度に対してずれる）、「マーキング有り・ずれ無し」（ナットを締め忘れた状態であり、ボルト、ナット、座金、母材の全てにマーキングが有り、これらのマーキング角度にずれが無い）、「判定不能」（カメラの撮影状況からボルト、ナット、座金、母材の少なくとも１つのマーキングが見えない、又はボルト画像が不鮮明である）の５つのクラスに分類される。

マーキング判定モデルＣ１の学習にあたって、まず、疑似的に５つのクラスの状態を作成する。そして、５つのクラスに分類される学習用ボルト画像を多数作成し、マーキング判定モデルＣ１に学習用ボルト画像と正解ラベルの相関関係を学習させる。学習済みのマーキング判定モデルＣ１にボルト画像２７を入力すれば、マーキング状態を５つのクラスに分類することができる。マーキング判定モデルＣ１は、各ボルト画像２７に対して、例えば「ナットのみずれ」の確率が０．６、「マーキング無し」の確率が０．１、「ナット＆座金ずれ」の確率が０．１、「マーキング有り・ずれ無し」の確率が０．１、「判定不能」の確率が０．１を出力する。

学習済みの４つの判定モデル（マーキング判定モデルＣ１、ピンテール判定モデルＣ２、ナット判定モデルＣ３、座金判定モデルＣ４）は、補助記憶装置５５（図２参照）に記憶される。

再び図９に戻り、総合判定部２８は、４つの判定モデル（ピンテール判定モデルＣ２、マーキング判定モデルＣ１、ナット判定モデルＣ３、座金判定モデルＣ４）の判定結果に基づいて、ボルトの締付け状態を総合判定する（Ｓ３２）。

図１３に示すように、４つの判定モデル（ピンテール判定モデルＣ２、マーキング判定モデルＣ１、ナット判定モデルＣ３、座金判定モデルＣ４）の判定結果から２×５×２×２＝４０通りの組合せが得られる。総合判定部２８は、４０通りの組合せを９つの検査項目（「ピンテール切り忘れ」、「ナット締め忘れ」、「正常」、「マーキング状態／ピンテール有無不整合」、「マーキング忘れ」、「座金共回り」、「判定不能」、「ナット裏返し」、「座金裏返し」）のいずれかに該当させる。「正常」以外が異常である。

図１４に示すように、「正常」は、ボルト、座金、母材のマーキングが一直線上にあり、ナットのマーキングのみが回転した状態である。「マーキング忘れ」は、一次締め後にマーキングを付け忘れている状態である。「ナット締め忘れ」は、一次締め後の本締めにおいてナットを締め忘れた状態である。「座金共回り」は、本締めにおいてナットと共に座金が回った状態である。「判定不能」は、カメラの撮影状況からボルト、ナット、座金、母材の少なくも１つのマーキングが見えない、又はボルト画像が不鮮明な状態である。「ピンテール切り忘れ」は、本締めにおいてピンテールが切断されなかった状態である。「ナット裏返し」は、ナットが裏返しになっている状態である。「座金裏返し」は、座金が裏返しになっている状態である。なお、図１４に図示しないが、「マーキング状態／ピンテール有無不整合」は、マーキングの状態とピンテールの有無とが整合しない、例えばボルト、ナット、座金、母材のマーキングが一直線上にあるのに、ピンテールが無い状態である。

図１３に示すように、「正常」は、ピンテール判定モデルＣ２の判定結果において「ピンテールが無し」、マーキング判定モデルＣ１の判定結果において「ナットのみずれ」、ナット判定モデルＣ３の判定結果において「ナットが表」、座金判定モデルＣ４の判定結果において「座金が表」の場合に出力される。

「ピンテール切り忘れ」は、ピンテール判定モデルＣ２の判定結果において「ピンテールが有り」、マーキング判定モデルＣ１の判定結果において「ナットのみずれ」又は「ナット＆座金ずれ」の場合に出力される。

「ナット締め忘れ」は、ピンテール判定モデルＣ２の判定結果において「ピンテールが有り」、マーキング判定モデルＣ１の判定結果において「マーキング有り・ずれ無し」又は「マーキング無し」の場合に出力される。

「マーキング状態／ピンテール有無不整合」は、画像判定特有の検査項目であり、ピンテール判定モデルＣ２の判定結果において「ピンテール無し」、マーキング判定モデルＣ１の判定結果において「マーキング有り・ずれ無し」の場合に出力される。

「マーキング忘れ」は、ピンテール判定モデルＣ２の判定結果において「ピンテール無し」、マーキング判定モデルＣ１の判定結果において「マーキング無し」の場合に出力される。

「座金共回り」は、マーキング判定モデルＣ１の判定結果において「ナット＆座金ずれ」の場合に出力される。

「判定不能」は、画像判定特有の検査項目であり、マーキング判定モデルＣ１の判定結果において「判定不能」の場合に出力される。

「ナット裏返し」は、ナット判定モデルＣ３の判定結果において「ナット裏返し」の場合に出力される。

「座金裏返し」は、座金判定モデルＣ４の判定結果において「ナット裏返し」の場合に出力される。

上記のように、各判定モデル（マーキング判定モデルＣ１、ピンテール判定モデルＣ２、ナット判定モデルＣ３、座金判定モデルＣ４）には、同一のボルトを撮影した複数枚（例えば６０枚）のボルト画像２７が入力される。総合判定部２８は、総合判定にあたって、各判定モデル（ピンテール判定モデルＣ２、マーキング判定モデルＣ１、ナット判定モデルＣ３、座金判定モデルＣ４）の最大確率（すなわち確率が最大値）の判定結果を採用する。

例えば、以下の表１に示すように、１枚目のボルト画像に関してのマーキング判定モデルＣ１の判定結果が０．８（ナットのみずれ）、２枚目のボルト画像に関してのマーキング判定モデルＣ１の判定結果が０．５（マーキング有り・ずれ無し）…であった場合、総合判定部２８は、最大確率である０．８を出力した１枚目のボルト画像の判定結果「ナットのみずれ」を採用する。同様に、総合判定部２８は、ピンテール判定モデルＣ２に関して、最大確率である０．９を出力した５枚目のボルト画像の判定結果「ピンテール無し」を採用し、ナット判定モデルＣ３に関して、最大確率である０．９を出力した４枚目のボルト画像の判定結果「ナットが表」を採用し、座金判定モデルＣ４に関して、最大確率である０．８を出力した３枚目のボルト画像の判定結果「座金が裏」を採用する。なお、表１には、分かり易くするために、各判定モデルに５枚のボルト画像を入力した例を示すが、実際には例えば６０枚程度のボルト画像を入力する。

再び図９に戻り、代表画像抽出部２９は、複数枚のボルト画像２７から代表画像２７ａを抽出する（Ｓ３３）。代表画像抽出部２９は、代表画像２７ａの抽出にあたって、総合判定に該当するボルト画像を抽出する。例えば、表１に示す例では、総合判定に該当するボルト画像は、４枚目のボルト画像と５枚目のボルト画像であるので、４枚目のボルト画像と５枚目のボルト画像を抽出する。さらに、代表画像抽出部２９は、総合判定に該当するボルト画像のうち、４つの判定モデルＣ１～Ｃ４の判定結果の確率の平均を計算し、平均値が最大であるボルト画像を代表画像２７ａとして抽出する。例えば、表１に示す例では、４枚目のボルト画像に関して、４つの判定モデルＣ１～Ｃ４の判定結果の確率の平均が０．６７５である。５枚目のボルト画像に関して、４つの判定モデルＣ１～Ｃ４の判定結果の確率の平均が０．７２５である。このため、代表画像抽出部２９は、５枚目のボルト画像を代表画像２７ａとして抽出する。

図１５は、代表画像抽出部２９のロジックの概念図を示す。上記のように、動画でボルト画像を撮影するので、図１５（ａ）に示す３行３列の１つのボルトに対して、図１５（ｂ）に示すように、複数のボルト画像２７が得られる。次に、図１５（ｃ）に示すように、総合判定部２８は、各ボルト画像２７に対して例えば「正常」と総合判定し、代表画像抽出部２９は、総合判定に該当するボルト画像２７に関して４つの判定モデルＣ１～Ｃ４の判定結果の確率の平均値である０．９５、０．９６、０．９９、０．９５、０．９６．０．６７を算出する。そして、図１５（ｄ）に示すように、代表画像抽出部２９は、確率の平均値が最大である「正常：０．９９」のボルト画像（図１５（ｃ）の左から３番目のボルト画像）を代表画像２７ａとして抽出する。

総合判定の結果は、端末２２の表示装置２２ａに表示される。図１６は、端末２２の表示装置２２ａに表示される画像の一例を示す。表示装置２２ａには、ボルトの配列に合わせてボルトを模した格子状の画像が表示される。検査項目に異常があるボルト（図１６中斜線で示す３行４列のボルト）の画像には、例えば着色が付けられる。端末２２のタッチパネルを用いて異常があるボルトのボタンを押せば、図１７（ａ）に示すように、どのような異常があるのかが表示されると共に、代表画像２７ａが表示される。端末２２のタッチパネルを用いて「確信度 表示」のボタンを押せば、図１７（ｂ）に示すように、４つの判定モデルＣ１～Ｃ４の判定結果が最大確率と共に表示される。

以上に本実施形態のボルト検査装置の構成を説明した。本実施形態のボルト検査装置によれば、以下の効果を奏する。

マーキング判定部９ａがマーキングに着目してマーキングの状態を判定し、ピンテール判定部９ｂがピンテールに着目してピンテールの有無を判定し、総合判定部２８がマーキング判定部９ａとピンテール判定部９ｂの判定結果に基づいて締付け状態を総合判定する。検査項目に着目してモデルを作成するのではなく、ボルトの機能的なまとまりのある部分（マーキング及びピンテール）に着目して判定モデルＣ１，Ｃ２を作成することで、コンピュータの負荷を軽減でき、検査精度も向上させることができる。

ナット判定部９ｃがナットに着目してナットの表裏を判定し、座金判定部９ｄが座金に着目して座金の表裏を判定し、総合判定部２８がマーキング判定部９ａ、ピンテール判定部９ｂ、ナット判定部９ｃ、及び座金判定部９ｄの判定結果に基づいて締付け状態を総合判定するので、検査項目を増やし、検査精度をより向上させることができる。

マーキング判定部９ａ、ピンテール判定部９ｂ、ナット判定部９ｃ及び座金判定部９ｄに、同一のボルトを撮影した複数のボルト画像２７を入力し、総合判定部２８が、マーキング判定部９ａ、ピンテール判定部９ｂ、ナット判定部９ｃ及び座金判定部９ｄそれぞれの最大確率の判定結果に基づいて、ボルトの締付け状態を総合判定するので、検査精度をより向上させることができる。

同一のボルトを撮影した複数のボルト画像２７のうち、代表画像抽出部２９が総合判定に該当するボルト画像２７を代表画像２７ａとして抽出するので、代表画像２７ａを記録に残すことができる。

なお、本発明のボルト検査装置は上記実施形態に具現化されるのに限られることはなく、本発明の要旨を変更しない範囲で他の実施形態に具現化可能である。

例えば、上記実施形態では、橋梁のボルトを検査しているが、橋梁以外の構造物のボルトを検査してもよい。

上記実施形態では、判定モデルを４つの判定モデル（マーキング判定モデル、ピンテール判定モデル、ナット判定モデル、座金判定モデル）から構成しているが、２つの判定モデル（マーキング判定モデル、ピンテール判定モデル）から構成してもよい。

上記実施形態では、マーキング判定モデルの判定結果を５つのクラスに分類しているが、少なくとも２つのクラスに分類してもよい。

１…ボルト検査装置
９ａ…マーキング判定部
９ｂ…ピンテール判定部
９ｃ…ナット判定部
９ｄ…座金判定部
２２…端末
２７…ボルト画像
２７ａ…代表画像
２８…総合判定部
２９…代表画像抽出部
Ｃ１…マーキング判定モデル
Ｃ２…ピンテール判定モデル
Ｃ３…ナット判定モデル
Ｃ４…座金判定モデル

Claims (7)

1. ボルトに付されたマーキングの状態を判定するための機械学習を行った学習済みのマーキング判定モデルにボルト画像を入力することで、マーキングの状態を判定するマーキング判定部と、
   ピンテールの有無を判定するための機械学習を行った学習済みのピンテール判定モデルに前記ボルト画像を入力することで、ピンテールの有無を判定するピンテール判定部と、
   少なくとも前記マーキング判定部と前記ピンテール判定部の判定結果に基づいて、ボルトの締付け状態を総合判定する総合判定部と、を備えるボルト検査装置。
2. 前記ボルト検査装置はさらに、
   ナットの表裏を判定するための機械学習を行った学習済みのナット判定モデルに前記ボルト画像を入力することで、ナットの表裏を判定するナット判定部と、
   座金の表裏を判定するための機械学習を行った学習済みの座金判定モデルに前記ボルト画像を入力することで、座金の表裏を判定する座金判定部と、を備え、
   前記総合判定部が、前記マーキング判定部、前記ピンテール判定部、前記ナット判定部及び前記座金判定部の判定結果に基づいて、ボルトの締付け状態を総合判定することを特徴とする請求項１に記載のボルト検査装置。
3. 前記マーキング判定部、前記ピンテール判定部、前記ナット判定部及び前記座金判定部には、同一のボルトを撮影した複数のボルト画像が入力され、
   前記総合判定部が、前記マーキング判定部、前記ピンテール判定部、前記ナット判定部及び前記座金判定部それぞれの最大確率の判定結果に基づいて、ボルトの締付け状態を総合判定することを特徴とする請求項２に記載のボルト検査装置。
4. 前記ボルト検査装置はさらに、
   前記複数のボルト画像のうち、総合判定に該当するボルト画像を代表画像として抽出する代表画像抽出部を備えることを特徴とする請求項３に記載のボルト検査装置。
5. ボルトに付されたマーキングの状態を判定するためのマーキング判定モデルにボルト画像を入力することで、マーキングの状態を判定するマーキング判定ステップと、
   ピンテールの有無を判定するためのピンテール判定モデルに前記ボルト画像を入力することで、ピンテールの有無を判定するピンテール判定ステップと、
   少なくとも前記マーキング判定ステップと前記ピンテール判定ステップの判定結果に基づいて、ボルトの締付け状態を総合判定する総合判定ステップと、を備えるボルト検査方法。
6. ボルトの締付け状態を検査するためのコンピュータに請求項５に記載のボルト検査方法を実行させるためのプログラム。
7. 請求項１ないし４のいずれか一項に記載のボルト検査装置と、
   ボルトを撮影してボルト画像を生成し、前記ボルト検査装置と通信可能な端末と、を備えるボルト検査システム。

Images