JP7217660B2 - ボルトの締結状態検知装置及び方法、並びにプログラム - Google Patents

Description

本発明は、例えば橋梁工事などにおける工事現場や工場において、鉄骨等の部材の接合に用いられるボルトの締結状態を検知する装置に関する。

ボルトの締結状態を評価する項目としては、所定の適正トルクでボルト締結が行われたか否か、ナットや座金がボルトと共回りしていないか否か、ナットの表裏が正しいか否か、座金が装着されているか否か、座金の表裏が正しいか、ボルト余長（ナットからのボルトの突出長さ）が適正であるか、ボルトがトルシア形の場合ピンテールが適切に切断されているか、などが挙げられる。

従来、ボルトの締結状態を評価する方法としては以下のようなものがある。まず、所定のトルクで一次締めを行った後に、ボルトからナット・座金・プレート（母材）に亘って径方向に直線状のマーキングを行う。次に、最終的な適正トルクで本締めを行う。そして、ボルト・ナット・座金・プレートに付された各マーク間の角度ずれを目視又は分度器を用いて確認し、締結状態を評価する。

具体的には、ボルト・プレート・座金のマーキング間には角度ずれが生じておらず、ナットのマーキングのみが他のマーキングに対して回転している場合、正常であると評価する。一方、プレート・座金のマーキング間には角度ずれが生じておらず、ナットのマーキングがプレート・座金のマーキングに対して回転しているが、ボルトのマーキングもプレート・座金のマーキングに対して回転している場合、ナットとボルトが共回りしている状態であると評価する。また、プレート・ボルトのマーキング間には角度ずれが生じておらず、ナットのマーキングがプレート・ボルトのマーキングに対して回転しているが、座金のマーキングもプレート・ボルトのマーキングに対して回転している場合、ナットと座金が共回りしている状態であると評価する。なお、ボルト・ナット・座金・プレートのマーキング間に角度ずれが生じていない場合は、本締めの作業忘れ状態であると評価する。

しかし、上記の作業は、人手により行われているので評価結果にばらつきが生じるおそれがある。また、１つの接合箇所において多数のボルトが用いられるので、見落としが生じやすいという問題がある。

このような問題を解決するために、特許文献１に記載されたシステムが提案されている。このシステムは、多数の高力ボルトが締結された接合箇所全体をカメラで撮像し、撮像して得られた画像データに基づき各高力ボルトのマーキング状態を検出し、マーキング状態が不良状態であると判定するとアラームを出力するというものである。

特開２０１８－００９９３２号公報

上記特許文献１に記載のシステムでは、それぞれの高力ボルトに対してマーキング角度を算出し、その回転角の平均値・偏差値を算出し、あらかじめ設定した閾値と比較し、締結状態の評価を行う。したがって、適切な評価のためには適切な閾値の設定が重要となる。しかし、当該閾値は、前述のように回転角の平均値・偏差値の評価に用いられるものであり一般的な規格値が定められているものではないので、適切な閾値を導出するのに手間と時間を要するという問題がある。また接合箇所によって使用すべき閾値が異なる場合も想定される。このため、異なる接合箇所を評価する毎に適切な閾値を設定する必要があるので、手間と時間を要するという問題もある。

また、特許文献１に記載のシステムでは、複数の高力ボルトに対してマーキング角度の平均値・偏差値により評価している、換言すれば相対的な値に基づき評価しているので、多数の高力ボルトの締結状態が不適切である場合には、当該多数の高力ボルトについては適切であると評価され、適切な締結状態である少数の高力ボルトについては不適切であると評価される場合がある。また、特許文献１に記載のシステムでは、回転角に基づく判定のみを行っているので、他の評価項目である、座金やナットの表裏間違い、座金忘れ、座金の枚数違い、ボルトの余長不良等については検出できない。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、適切な検知のための手間や時間が不要であり総合的な検知が可能なボルトの締結状態検知装置及び方法並びにプログラムを提供することにある。

上記目的を達成するために、本願発明は、座金及びナットを介して母材に締め付けたボルトの締結状態を検知するボルトの締結状態検知装置であって、母材に対する座金及びナットとボルトの締結部を撮像する撮像手段と、ボルトの締結部が含まれる画像を入力とし当該画像に含まれるボルトの締結状態情報を出力とするよう教師信号を用いて深層学習された学習済みモデルと、前記撮像手段により撮像された撮像画像を前記学習済みモデルに入力して得られたボルトの締結状態情報を、当該ボルトの締結部に対して重畳した状態で利用者に視認されるようリアルタイムに出力する出力手段とを備え、前記学習済みモデルは、ボルトの締結部が含まれる画像を入力として当該画像におけるボルトの締結部の存在領域を出力とするよう深層学習された第１の学習済みモデルと、ボルトの締結部が含まれる画像を第１の学習済みモデルに入力して得られた存在領域に基づき抽出された部分画像を入力とし当該部分画像に含まれるボルトの締結状態情報を出力とするよう深層学習された第２の学習済みモデルとを含むことを特徴とする。

本発明によれば、深層学習された学習済みモデルを用いて、カメラで撮像した撮像画像からボルトの締結状態が検知されるので、適切な検知のための各種パラメータの導出処理や設定処理が不要となるとともに、マーキングの回転角だけでなく総合的な締結状態を検知することができる。また、本発明によれば、締結状態情報がボルトの締結部に対して重畳して利用者に視認されるように出力されるので、多数のボルトが締結されている場合であっても、各ボルトの締結状態を個別に把握することができる。また、本発明によれば、その場で状態判定が可能であり、オフィス等で解析マシンを介する必要がないので、不良の手直しも迅速に行うことができる。

高力ボルトの締結情報検知システムのシステム構成図 締結状態検知装置の機能ブロック図 学習済みモデルの入力となる画像の一例 締結部検出用学習済みモデルの出力の一例 締結状態判定用学習済みモデルの出力の一例 ディスプレイに出力された画像の一例 締結状態検知装置の動作を説明するフローチャート 管理サーバの機能ブロック図 学習用装置の機能ブロック図 学習用データの被写体である試験体の正面図 試験体についての締結状態を説明する表

本発明の一実施の形態に係る高力ボルトの締結状態検知システムについて図面を参照して説明する。図１は本実施の形態に係る高力ボルトの締結状態検知システムのシステム構成図である。

本実施の形態に係る高力ボルトの締結状態検知システムは、例えば、図１に示すように、利用者により携帯される締結状態検知装置１００と、管理サーバ２００と、学習用装置３００とを備えている。締結状態検知装置１００と、管理サーバ２００と、学習用装置３００とは、ネットワーク４００を介して互いに通信可能である。なお、後述するように本実施の形態では、学習済みモデルや検知記録等をネットワーク４００を介して転送するよう構成したが、これらのデータ転送は所定の記憶媒体を介して行うようにしてもよい。この場合には、ネットワーク４００は不要である。また、図１では、締結状態検知装置１００と、学習用装置３００と、管理サーバ２００とを１つずつ図示しているが、複数備えていてもよい。

締結状態検知装置１００は、橋梁等における複数の高力ボルトによる接合箇所を撮像し、撮像画像に基づきリアルタイムに各高力ボルトの締結状態を検知し、締結状態検知装置１００に表示する撮像画像上に、検知した締結状態を所定の態様でリアルタイムに重畳表示させるものである。なお、検知対象である高力ボルトは、六角ボルトであってもよいし、本締めによりピンテールを破断させるトルシア形ボルトであってもよい。

図２は締結状態検知装置１００の機能ブロック図である。締結状態検知装置１００は、図２に示すように、カメラ１１０と、学習済みモデル１２０と、出力制御部１３０と、検知記録記憶部１４０と、ディスプレイ１５０と、タッチパネル１６０と、管理部１７０とを備えている。締結状態検知装置１００は、利用者によって携帯される周知のコンピュータである。典型的にはタブレット端末やスマートフォンと呼ばれる高機能携帯通信端末により構成される。学習済みモデル１２０、出力制御部１３０及び管理部１７０は、ネットワーク４００を介して又は所定の記憶媒体からプログラムをコンピュータにインストールすることにより構成される。

カメラ１１０は、高力ボルトの接合箇所を撮像して撮像画像を出力する周知の撮像手段である。カメラ１１０は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を有する。ディスプレイ１５０は、各種情報を表示する周知の表示手段である。ディスプレイ１５０は、例えばＬＣＤディスプレイや有機ＥＬディスプレイなどにより構成される。タッチパネル１６０は、利用者から各種情報を入力する周知の入力手段である。タッチパネル１６０は、ディスプレイ１５０に付設されており、ディスプレイ１５０に表示された表示画面に対するポインティングデバイスとして機能する。カメラ１１０・ディスプレイ１５０・タッチパネル１６０は、締結状態検知装置１００の筐体に内蔵されていてもよいし、外付けされていてもよい。

学習済みモデル１２０は、カメラ１１０によって撮像された画像であって高力ボルトの締結部が含まれるものを入力とし当該画像に含まれる高力ボルトの締結状態情報を出力とするよう教師信号を用いて深層学習された学習器である。より詳しくは、学習済みモデル１２０は、高力ボルトの締結部が含まれる画像を入力として当該画像における高力ボルトの締結部の存在領域を出力とするよう深層学習された締結部検出用学習済みモデル１２１と、高力ボルトの締結部が含まれる画像を締結部検出用学習済みモデル１２１に入力して得られた存在領域に基づき抽出された部分画像を入力とし当該部分画像に含まれる高力ボルトの締結状態情報を出力とするよう深層学習された締結状態判定用学習済みモデル１２２とを含む。

学習済みモデル１２０は、中間層を複数有するニューラルネットワークなどにより構成された深層学習が可能な周知の学習器からなる。学習済みモデル１２０は、推論エンジンと当該推論エンジンを学習済み状態にするためのパラメータとを内包する。学習済みモデル１２０は、推論エンジンとパラメータとが一体不可分になっていてもよいし、両者を分離可能に構成されていてもよい。

学習済みモデル１２０は、管理サーバ２００からネットワーク４００を介して又は所定の記憶媒体を介して締結状態検知装置１００にインストールされる。当該学習済みモデル１２０は、学習用装置３００により初期学習処理が行われたもの、又は、学習装置３００により初期学習処理が行われた後に管理サーバ２００により再学習処理が行われたものである。

学習済みモデル１２０の入力となる画像の一例を図３に示す。図３は橋梁における高力ボルトを用いた接合箇所の画像の一例である。学習済みモデル１２０の入力となる画像は、高力ボルト１０の締結部を含む。高力ボルト１０の締結部は、高力ボルト１０、ナット１１、座金１２、母材であるプレート１３を含む。

学習済みモデル１２０の締結部検出用学習済みモデル１２１は、カメラ１１０によって撮像された画像を入力として、当該画像に含まれる１つ又は複数の高力ボルト１０の締結部を認識し、当該画像における各締結部が存在する領域情報を出力する。図４に締結部検出用学習済みモデル１２１の出力の一例を示す。

学習済みモデル１２０の締結状態判定用学習済みモデル１２２は、カメラ１１０によって撮像された画像から、締結部検出用学習済みモデル１２１によって認識された各締結部の領域情報に基づき抽出された部分画像を入力とする。すなわち、締結状態判定用学習済みモデル１２２の入力は、個々の締結部の画像である。締結状態判定用学習済みモデル１２２は、入力された部分画像から当該締結部の状態を判定する。詳しくは、締結状態判定用学習済みモデル１２２は、予め学習された締結部についての複数の締結状態に分類するよう、各締結状態についての尤度を出力する。図５に締結状態判定用学習済みモデル１２２の出力の一例を示す。本実施の形態では、図５に示すように、締結部の締結状態について「合格」である状態と、「不合格」である状態の２つに分類し、それぞれの尤度を出力する。

出力制御部１３０は、カメラ１１０により撮像された撮像画像を前記学習済みモデル１２０に入力して得られた高力ボルトの締結状態情報を、当該高力ボルトの締結部に対して重畳した状態で利用者に視認されるようディスプレイ１５０に出力する。より詳しくは、出力制御部１３０は、カメラ１１０により撮像された撮像画像に対して、締結部検出用学習済みモデル１２１で認識された各締結部の存在領域のそれぞれに対して、高力ボルトの締結状態情報を重畳してディスプレイ１５０に出力する。ここで、締結状態情報は、締結状態判定用学習済みモデル１２２で認識された締結状態情報に基づき、所定の態様で出力する。図６にディスプレイ１５０に出力された画像の一例を示す。図６に示すように、本実施の形態では、「合格」である状態の尤度が所定の閾値以上の場合、「合格」であると評価し、当該締結部を囲うように緑の枠線１５２（図６では実線）を撮像画像１５１に重畳して出力する。一方、「不合格」である状態の尤度が所定の閾値以上の場合、「不合格」であると評価し、当該締結部を囲うようにし赤の枠線１５３（図６では内側にハッチングを掛けた実線）を撮像画像１５１に重畳して出力する。他方、締結部検出用学習済みモデル１２１において締結部は認識したが、締結状態判定用学習済みモデル１２２によって認識された締結状態情報では、締結状態の評価ができない場合には、「不明」であると評価する。そして、出力制御部１３０は、当該締結部を囲うように黄色の枠線１５４（図６では点線）を撮像画像１５１に重畳して出力する。なお、「合格」「不合格」の評価用の閾値は、それぞれ別々に且つ任意に設定することができる。

また、出力制御部１３０は、カメラ１１０により撮像された撮像画像と、締結部検出用学習済みモデル１２１で認識された領域情報と、締結状態判定用学習済みモデル１２２で認識された締結状態情報とを、検知記録として検知記録記憶部１４０に記録する。

検知記録記憶部１４０は、不揮発性の周知の記憶手段であり、上述のように検知記録を記憶・保持する。また、検知記録記憶部１４０には、タッチパネル１６０により利用者から入力された修正情報が前記検知記録とともに記憶される。修正情報は、ディスプレイ１５０に出力された締結部の締結状態に誤りがあった場合、又は、ディスプレイ１５０に出力された締結部の締結状態が不明である場合、利用者により正解となる締結状態を入力されるものである。この修正情報は、後述する再学習処理で用いられる。

管理部１７０は、管理サーバ２００にアクセスして管理サーバ２００に管理されている学習済みモデルのバージョンを確認し、当該学習済みモデルが締結状態検知装置１００の学習済みモデル１２０よりも新しい場合、新しい学習済みモデル１２０を管理サーバ２００から取得して締結状態検知装置１００にインストールする。確認のために管理サーバ２００へアクセスする契機は任意である。なお、学習済みモデル１２０が推論エンジンとパラメータとに分離できる場合にはパラメータのみを取得してもよい。また、管理部１７０は、検知記録記憶部１４０に記憶されているデータを管理サーバ２００に送信する。データ送信の契機は任意である。

次に、締結状態検知装置１００の動作について図７のフローチャートを参照して説明する。締結状態検知装置１００は、カメラ１１０で撮像した撮像画像に基づき当該撮像画像に含まれる１又は複数の高力ボルト１０の締結部を認識する（ステップＳ１）。次に、各締結部について以下の処理を行う（ステップＳ２～Ｓ８）。まず、締結部が含まれる部分画像に基づき当該締結部の締結状態を取得する（ステップＳ２）。当該締結状態が、「合格」の尤度が所定の閾値以上であり且つ「不合格」の尤度が所定の閾値未満の場合、「合格」であると評価する（ステップＳ３，Ｓ４）。一方、当該締結状態が、「合格」の尤度が所定の閾値未満であり且つ「不合格」の尤度が所定の閾値以上の場合、「不合格」であると評価する（ステップＳ５，Ｓ６）。前記のいずれでもない場合、「不明」であると評価する（ステップＳ７）。次に、評価に応じて枠線を撮像画像に重畳表示する（ステップＳ８）。

次に、各締結部に対して上記処理が終了すると、締結状態検知装置１００は、検知記録を検知記録記憶部１４０に記憶する（ステップＳ９）。また、締結状態検知装置１００は、タッチパネル１６０から利用者による修正情報の入力があると、当該教師状態を検知記録記憶部１４０に記憶する（ステップＳ１０，Ｓ１１）。

締結状態検知装置１００は、上記の処理を繰り返し実施する。これにより、ディスプレイ１５０には、締結状態が重畳された撮像画像が動画としてリアルタイムに表示される。

次に、管理サーバ２００について図７を参照して説明する。図８は管理サーバ２００の機能ブロック図である。管理サーバ２００は、図８に示すように、学習済みモデル保存部２１０と、検知記録記憶部２２０と、管理部２３０とを備えている。管理サーバ２００は、周知のコンピュータであり、プログラムをインストールすることにより構成される。

学習済みモデル保存部２１０は、学習用装置３００からネットワーク４００を介して又は所定の記憶媒体を介して取得した学習済みモデルを記憶・保存する。また、学習済みモデル保存部２１０は、後述する再学習処理により再学習された学習済みモデルを記憶・保存する。学習済みモデル保存部２１０は、最新の学習済みモデルのみを保存してもよいし、全ての又は直近の幾つかのバージョンの学習済みモデルを保存してもよい。

検知記録記憶部２２０は、締結状態検知装置１００からネットワーク４００を介して又は所定の記憶媒体を介して取得した検知記録を記憶・保存する。前述したように、検知記録は、撮像画像と、各締結部の領域情報及び締結状態情報とを含む。また、検知記録は、利用者から入力された修正情報を含むことができる。

管理部２３０は、学習用装置３００からの学習済みモデルの取得及び記憶処理、締結状態検知装置１００からの要求に応じた最新の学習済みモデルの配信処理、締結状態検知装置１００からの検知記録の取得及び記憶処理を行う。また、管理部２３０は、締結状態検知装置１００から取得した検知記録に修正情報が含まれている場合、再学習処理を行う。具体的には、管理部２３０は、学習済みモデル保存部２１０から最新の学習済みモデル２４０を取り出し、検知記録に含まれる修正情報に基づき再学習用の教師信号を生成し、この教師信号及び前記修正情報に対応する撮像画像を入力として、最新の学習済みモデル２４０を再学習する。そして、管理部２３０は、再学習した学習済みモデル２４０を最新の学習済みモデルとして学習済みモデル保存部２１０に記憶する。

次に、学習用装置３００について図９を参照して説明する。図９は学習用装置３００の機能ブロック図である。学習用装置３００は、学習用データとして動画を入力とし、人手によるアノテーション処理により学習器を学習させる。

入力とする動画は、母材であるプレートに複数の高力ボルトの締結部が配列された試験体を撮像した動画である。試験体は、正常な締結状態である締結部と、種々の異常な締結状態である締結部とを含む。動画は、試験体を角度・距離・画角・照明等の撮像条件を変えて撮像したものである。

図９に示すように、学習用装置３００は、画像前処理部３１０と、アノテーション処理部３２０と、学習対象である学習器３３０とを備えている。

画像前処理部３１０は、学習の前処理として、学習用撮像動画に対して輝度調整などの画像処理を行う。

アノテーション処理部３２０は、学習用撮像動画からフレーム単位で静止画像を抽出し、各静止画像に対してアノテーション処理を行う。アノテーション処理は、表示装置（図示省略）に静止画像を表示し、マウス等の入力装置（図示省略）を用いて利用者から締結部の存在領域及びその締結状態を入力することにより行う。すなわち、この入力されたアノテーション情報が教師信号となる。なお、アノテーション処理部３２０は、静止画像に対して白黒化処理や反転処理や回転処理などを行うことにより、静止画像を水増ししてもよい。

学習対象である学習器３３０は、その学習状態を除き、締結状態検知装置１００の学習済みモデル１２０と同一の構造を学習器である。学習用装置３００により学習された学習器３３０は、学習済みモデルとして締結状態検知装置１００及び管理サーバ２００に提供される。

学習用撮像画像の被写体となる試験体の一例を図１０及び図１１に示す。図１０は試験体の正面図である。図１０では２つの試験体９１及び９２を示している。各試験体９１，９２は、母材であるプレート１３に３列５行のマトリクス状に貫通孔を形成し、各貫通孔に高力ボルト１０を挿通させ、ナット１１、座金１２を介して締結したものである。ここで、締結作業においては、上述したマーキングを行っている。また、各締結部は、図１１に示す条件により締結作業を行っている。図１０及び図１１に示すように、本実施の形態では、マーキングだけでなく、座金の表裏、ナットの表裏、ボルト余長についても学習している。なお、座金は、表面の形状や刻印などが表裏で異なっている。また、ナットも、角部の面取りの有無や刻印などが表裏で異なっている。このため、撮像画像に基づく学習により座金やナットの表裏間違いを検知することができる。

アノテーション処理部３２０におけるアノテーション処理では、画像に含まれる高力ボルト１０の結合部の存在領域、及び、図１１の「合否」欄に記載されている締結状態を教師信号として入力する。

以上のように、本実施の形態に係る高力ボルトの締結状態検知システムによれば、深層学習された学習済みモデルを用いてカメラで撮像した撮像画像から高力ボルトの締結状態が検知されるので、適切な検知のための各種パラメータの導出処理や設定処理が不要となるとともに、マーキングの回転角だけでなく総合的な締結状態を検知することができる。

また、本実施の形態に係る高力ボルトの締結状態検知システムによれば、締結状態情報が高力ボルトの締結部に対して重畳して利用者に視認されるように出力されるので、多数の高力ボルトが締結されている場合であっても、各高力ボルトの締結状態を個別に把握することができる。また、本実施の形態に係る高力ボルトの締結状態検知システムによれば、その場で状態判定が可能であり、オフィス等で解析マシンを介する必要がないので、不良の手直しも迅速に行うことができる。

以上、本発明の一実施の形態に係る高力ボルトの締結状態検知システムについて詳述したが、本発明は上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。例えば、上記実施の形態では、判定対象を高力ボルトとしていたが、他の種類のボルトについても本発明を適用できる。

また、上記実施の形態では、初期の学習処理を学習用装置３００で行い、再学習処理を管理サーバ２００で行い、検知処理を締結状態検知装置１００で行っていたが、各処理の実装形態は不問であり、各処理をどの装置で実施するかは任意である。また、検知精度の更なる向上が不要であるならば、再学習処理は不要としてもよい。また、初期の学習済みモデル１２０が得られた後であれば、以降は学習用装置３００を不要としてもよい。

例えば、管理サーバ２００において初期の学習処理を行うようにしてもよい。また、利用者に携帯される締結状態検知装置１００において初期の学習処理や再学習処理を行うようにしてもよい。なお、この場合、締結状態検知装置１００はスタンドアローンで動作できるので、管理サーバ２００や学習用装置３００を別途、設ける必要はない。

また、上記実施の形態では、学習済みモデルや検知記録のデータの授受にネットワーク４００を用いていたが、所定の記憶媒体を介してデータの授受を行うようにしてもよい。

また、上記実施の形態では、高力ボルトの締結状態情報を当該高力ボルトの締結部に対して重畳した状態で利用者に視認されるよう出力する手段として、撮像画像に締結状態情報を重畳し、この重畳画像をディスプレイ１５０に表示させていたが、他の手段を用いてもよい。例えば、ＡＲゴーグル、ＡＲグラス、スマートグラス、ＡＲヘッドセットなどと呼ばれる装置を用いても本発明を実施できる。この装置は、利用者の向いている方向を撮像する、換言すれば利用者に見えている光景を撮像するカメラと、利用者の向いている方向を検出するセンサと、利用者の目の前方に配置された透光性のゴーグル（眼鏡）と、ゴーグルに反射させて利用者に見えている光景に対して重畳した状態で利用者に視認されるよう情報を表示する出力装置とを備えている。また、カメラで撮影した利用者の手の動きを認識したり、各種入力デバイスを用いたりすることにより、利用者からの情報の入力が可能となっている。このような装置を用いることにより、利用者に見えている光景に含まれる高力ボルトの締結部に対して重畳した状態で視認されるよう、当該高力ボルトの締結状態情報を出力することができる。

また、上記実施の形態では、初期学習用のデータとして試験体を撮像した動画データを用いていたが、試験体を撮像した静止画データを用いてもよいし、実際に建設現場等において撮像した動画データや静止画データを用いてもよいし、これらのデータを任意に組み合わせてもよい。

また、上記実施の形態では、締結状態情報を重畳出力する表示態様として、（ａ）締結部の存在領域を表示する態様として所謂「バウンダリボックス」と呼ばれる矩形の枠線を表示し、（ｂ）この枠線を締結状態情報に応じた色で表示する態様としていたが、他の表示態様であってもよい。例えば、存在領域を表示する態様として、矩形以外の枠線を用いてもよいし、半透明に塗りつぶしを行ってもよいし、存在領域に対して矢印や吹き出しなど存在領域位置を示すような表示を行うようにしてもよい。また、締結状態情報を表示する態様として、存在領域の表示態様を締結状態情報に応じて色を変化させるだけでなく、輝度を変化させたり点滅表示を行ったりしてもよい。また、締結状態情報を表示する態様として、存在領域に重畳させて或いは存在領域の近傍に、文字や記号などで締結状態情報を表示してもよい。この場合、さらに文字や記号の色や輝度を変化させたり点滅表示を行ったりなど種々の表示態様を併用してもよい。

１０…高力ボルト
１１…ナット
１２…座金
１３…プレート
１００…締結状態検知装置
１１０…カメラ
１２０…学習済みモデル
１２１…締結部検出用学習済みモデル
１２２…締結状態判定用学習済みモデル
１３０…出力制御部
１４０…検知記録記憶部
１５０…ディスプレイ
１６０…タッチパネル
１７０…管理部
２００…管理サーバ
２１０…学習済みモデル保存部
２２０…検知記録記憶部
２３０…管理部
２４０…学習済みモデル
３００…学習用装置
３１０…画像前処理部
３２０…アノテーション処理部
３３０…学習器

Claims (7)

1. 座金及びナットを介して母材に締め付けたボルトの締結状態を検知するボルトの締結状態検知装置であって、
   母材に対する座金及びナットとボルトの締結部を撮像する撮像手段と、
   ボルトの締結部が含まれる画像を入力とし当該画像に含まれるボルトの締結状態情報を出力とするよう教師信号を用いて深層学習された学習済みモデルと、
   前記撮像手段により撮像された撮像画像を前記学習済みモデルに入力して得られたボルトの締結状態情報を、当該ボルトの締結部に対して重畳した状態で利用者に視認されるようリアルタイムに出力する出力手段とを備え、
   前記学習済みモデルは、ボルトの締結部が含まれる画像を入力として当該画像におけるボルトの締結部の存在領域を出力とするよう深層学習された第１の学習済みモデルと、ボルトの締結部が含まれる画像を第１の学習済みモデルに入力して得られた存在領域に基づき抽出された部分画像を入力とし当該部分画像に含まれるボルトの締結状態情報を出力とするよう深層学習された第２の学習済みモデルとを含む
   ことを特徴とするボルトの締結状態検知装置。
2. 前記学習済みモデルは、ボルトの締結部が含まれる画像を入力として当該画像におけるボルトの締結部の存在領域を出力とするよう深層学習された第１の学習済みモデルと、ボルトの締結部が含まれる画像を第１の学習済みモデルに入力して得られた存在領域に基づき抽出された部分画像を入力とし当該部分画像に含まれるボルトの締結状態情報を出力とするよう深層学習された第２の学習済みモデルとを含む
   ことを特徴とする請求項１記載のボルトの締結状態検知装置。
3. 前記撮像手段で撮像された撮像画像をリアルタイムに表示する表示手段を備え、
   前記出力手段は、表示手段に表示させる撮像画像に対してボルトの締結状態情報を重畳させる
   ことを特徴とする請求項１又は２に記載のボルトの締結状態検知装置。
4. 利用者に見えている光景に対して重畳した状態で利用者に視認されるよう情報を表示する表示手段を備え、
   前記撮像手段は利用者に見えている光景を撮像し、
   前記出力手段は、前記表示手段を用いて、利用者に見えている光景に含まれるボルトの締結部に対して重畳した状態で視認されるよう、当該ボルトの締結状態情報を出力する
   ことを特徴とする請求項１又は２に記載のボルトの締結状態検知装置。
5. 座金及びナットを介して母材に締め付けたボルトの締結状態をボルトの締結状態検知装置を用いて検知する締結情報検知方法であって、
   撮像手段が、母材に対する座金及びナットとボルトの締結部を撮像する第１のステップと、
   ボルトの締結部が含まれる画像を入力とし当該画像に含まれるボルトの締結状態情報を出力とするよう教師信号を用いて深層学習された学習済みモデルが、前記第１のステップにより撮像された撮像された撮像画像を入力として、当該撮像画像に含まれるボルトの締結状態情報を出力する第２のステップと、
   出力手段が、前記第２のステップにより出力された締結状態情報を、当該ボルトの締結部に対して重畳した状態で利用者に視認されるようリアルタイムに出力する第３のステップとを備え、
   前記学習済みモデルは、ボルトの締結部が含まれる画像を入力として当該画像におけるボルトの締結部の存在領域を出力とするよう深層学習された第１の学習済みモデルと、ボルトの締結部が含まれる画像を第１の学習済みモデルに入力して得られた存在領域に基づき抽出された部分画像を入力とし当該部分画像に含まれるボルトの締結状態情報を出力とするよう深層学習された第２の学習済みモデルとを含む
   ことを特徴とするボルトの締結状態検知方法。
6. コンピュータを、請求項１乃至４何れか１項記載の学習済みモデルとして機能させることを特徴とするプログラム。
7. コンピュータを、請求項１乃至４何れか１項記載の学習済みモデル及び出力手段として機能させることを特徴とするプログラム。
   

Images