JP7419216B2 - 締結部材の状態解析システム及び状態解析方法 - Google Patents

Description

本発明は、締結部材の状態解析システム及び状態解析方法に関する。

機械部品間の締結には、ボルト、ナット等の締結部材が用いられる。締結部材は、締結トルクが付加されることで締結部材に作用する軸力によって機械部品を固定する。締結部材に異常（緩みや破損等）が生じれば、機械部品の固定が解除され、重大な事故に繋がり得る。そのため、締結部材の締結状態を確認し、締結状態の健全性を保持することは、機械部品の信頼性を担保する上で極めて重要である。

締結状態の健全性が損なわれる原因の１つとして、締結部材の軸力の低下が挙げられる。特許文献１には、ボルト頭部の縞模様を締結前後にそれぞれ撮像した画像を重ね合わせてモアレ縞を発生させて、そのモアレ縞から締結部材の変位分布を求め、その変位分布に対する軸力の関係から軸力を算出する方法が開示されている。

特開２０１９－１９７０２５号公報

しかしながら、特許文献１に開示された技術においては、ボルト頭部の縞模様について、モアレ縞を発生させて変位分布を求めるための精度が要求される。また、縞模様の幅やピッチを細かくすることでモアレ縞の感度を向上することも可能であるが、ボルト頭部という限られた部位では感度の向上を図るにも限界がある。

本発明は、上記の課題に鑑みてなされたものであり、締結部材の締結状態をより簡便に解析することを可能とする締結部材の状態解析システム及び状態解析方法を提供することを目的とする。

上記の課題を解決するために、代表的な本発明の締結部材の状態解析システムの一つは、
締結部材を締結前後にそれぞれ撮像した画像から前記締結部材の変形分布画像を生成する画像生成器と、
前記画像生成器が生成した前記変形分布画像を解析し、前記締結部材の締結状態を判定する状態判定器とを備える。

本発明の締結部材の状態解析システムによれば、画像生成器が、締結部材を締結前後にそれぞれ撮像した画像から変形分布画像を生成し、状態判定器が、その変形分布画像を解析し、締結部材の締結状態を判定するので、締結部材の締結状態を簡便に解析することができる。

上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。

実施例１に係る締結部材１００及び被締結部材１３０の一例を示す上面図及び側面図である。 締結部材１００の状態解析システム２００の一例を示す概略構成図である。 変形分布画像生成器２２０が変形分布画像（変位分布データ３１０又はひずみ分布データ３２０）を生成する際の画像相関法の一例を示す概略説明図である。 締結部材１００の締結状態と、ひずみ分布データ３２０との関係を示す概略説明図である。 締結部材１００におけるき裂発生状況と、き裂発生原因との関係を示す概略説明図である。 実施例１に係る締結部材データベース６００の一例を示すデータ構成図である。 実施例１に係る畳み込みニューラルネットワーク７００の一例を示す概略構成図である。 実施例１に係る状態解析システム２００が実施する締結部材１００の状態解析方法の一例を示すフローチャートである。 実施例２に係る畳み込みニューラルネットワーク７００の一例を示す概略構成図である。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

（実施例１）
図１は、実施例１に係る締結部材１００及び被締結部材１３０の一例を示す上面図及び側面図である。

締結部材１００は、ボルト１１０と、ナット１２０とから構成される。

ボルト１１０は、ボルト軸部１１１と、ボルト軸部１１１の基端側にフランジ状に形成された六角柱状のボルト頭部１１２とを備える。ボルト軸部１１１の先端側には、その外周面に雄ねじが切られている。

ボルト頭部１１２は、その上面１１２ａに、所定の模様を有するパターン模様１１３が形成される。パターン模様１１３は、例えば、白黒模様であり、白色塗料を全面に塗布し乾燥させた後、黒色塗料をスプレーにより斑点状に塗布することで形成される。また、パターン模様１１３は、所定の模様が印刷されたシールをボルト頭部１１２の上面１１２ａに貼付することで形成してもよい。

なお、パターン模様１１３は、後述する画像相関法による変形分布画像を生成可能な視覚的に顕在化したパターンであれば任意の模様でよく、不規則な模様でもよいし、例えば、縞模様のような規則的な模様でもよい。また、パターン模様１１３は、塗料の塗布やシールの貼付に限られず、任意の方法で形成されたものでよい。

ナット１２０は、六角柱状の形状をなしており、六角柱状の中央部分が貫通された孔部を備える。孔部の内周面には、雌ねじが切られている。

ボルト１１０及びナット１２０は、例えば、鉄、鋼、ステンレス、ニッケル基合金等の金属材料や樹脂材料を用いて製作される。なお、ボルト１１０及びナット１２０の寸法、材質、形状等の仕様は、被締結部材１３０が要求する締結力や耐久性等を基準に応じて適宜選定されればよい。

被締結部材１３０は、締結部材１００により締結される部材であって、第１の部品１３１と、第２の部品１３２とから構成される。第１の部品１３１及び第２の部品１３２は、任意の機械部品であり、ボルト軸部１１１の外径よりも大きな内径の孔部を有する。なお、ボルト１１０と第１の部品１３１の間、又は、ナット１２０と第２の部品１３２の間には、ワッシャが挿入されてもよい。

上記の構成を有する締結部材１００を用いて被締結部材１３０を締結する締結作業では、ボルト軸部１１１が、第１の部品１３１及び第２の部品１３２の孔部に挿通されて、ボルト頭部１１２の座面１１２ｂが、第１の部品１３１の表面１３１ａに接触する。そして、ボルト１１０の雄ねじは、ナット１２０の雌ねじに螺合され、ナット１２０の座面１２０ａが、第２の部品１３２の表面１３２ａと接触する。

その状態で締結部材１００に所定の締結トルクが付与されると、ボルト１１０とナット１２０との間には、ボルト軸部１１１を介して軸力Ｆ１が作用し、締結作業が終了する。このとき、軸力Ｆ１は、ボルト軸部１１１の軸方向に沿って作用するが、軸力Ｆ１の反作用によりボルト頭部１１２の座面１１２ｂが反力Ｆ２を受けることで、ボルト頭部１１２の外周部分は、ボルト頭部１１２の中心方向に向かうような曲げ変形力Ｆ３を受け、曲げ変形が生じる。

本実施例では、締結作業を実施してから所定の期間が経過した後に、締結トルクによりボルト頭部１１２に曲げ変形が生じたときの変形量（ひずみ）を観察することで締結部材１００の締結状態を判定することを可能とする締結部材１００の状態解析システム及び状態解析方法を説明する。

図２は、締結部材１００の状態解析システム２００の一例を示す概略構成図である。

状態解析システム２００は、例えば、汎用又は専用のコンピュータシステムで構成される。状態解析システム２００は、撮像装置２１０が締結部材１００を撮像した画像を解析し、締結部材１００の締結状態を判定する。

状態解析システム２００は、図２に示すように、締結部材１００を撮像するための撮像装置２１０と、撮像装置２１０が、締結部材１００を締結前後にそれぞれ撮像した画像から締結部材１００の変形分布画像を生成する変形分布画像生成器２２０と、変形分布画像生成器２２０が生成した変形分布画像を解析し、締結部材１００の締結状態を判定する状態判定器２３０と、締結部材１００の締結状態を判定する際に必要となる各種のデータを記憶する記憶部２４０と、状態判定器２３０による締結状態の判定結果を表示する表示装置２５０とを備える。

なお、状態解析システム２００は、変形分布画像生成器２２０と、状態判定器２３０とを少なくとも備えるシステムとして構成されればよい。また、状態解析システム２００は、外部機器との間で各種のデータを有線又は無線の通信網を介して送受信する通信部（不図示）をさらに備えていてもよい。

撮像装置２１０は、例えば、ＣＭＯＳセンサ、ＣＣＤセンサ等を有し、デジタルカメラ等の一般的な光学式撮像装置で構成される。なお、撮像装置２１０は、複数の光学式撮像装置を組み合わせて構成されるステレオ方式を用いてもよい。

撮像装置２１０は、締結部材１００を基準とした所定の撮像位置に配置された状態で締結部材１００を撮像し、その撮像した画像をデジタルデータとして記憶部２４０に保存する。本実施例では、撮像装置２１０は、撮像位置として、ボルト頭部１１２の上方（例えば、ボルト軸部１１１の中心軸の延長線上）に配置されて、ボルト頭部１１２のパターン模様１１３が形成された部位を撮像する。

撮像装置２１０が締結部材１００を撮像する撮像工程は、締結部材１００の締結前後に実施される。すなわち、撮像装置２１０は、締結トルクを付与する前（締結前）に締結部材１００を撮像し、その画像を締結前画像２１１として記憶部２４０に保存する。そして、撮像装置２１０は、締結トルクを付与した後（締結後）に同一の締結部材１００を撮像し、その画像を締結後画像２１２として記憶部２４０に保存する。

なお、締結前後の撮像工程で使用される撮像装置２１０は、同一の撮像装置２１０を用いてもよいし、異なる撮像装置２１０を用いてもよい。異なる撮像装置２１０を用いる場合には、画素数や画角が同程度であることが好ましいが、画素数や画角が異なる装置でもよい。

また、複数の締結部材１００に対して同一のパターン模様１１３を形成する場合には、個々の締結部材１００毎に締結前画像２１１を撮像することを省略してもよい。この場合、撮像装置２１０は、例えば、代表となる締結部材１００を用いて締結前画像２１１を撮像し、当該代表となる締結部材１００の締結前画像２１１を、複数の締結部材１００に対する締結前画像２１１として代用すればよい。

変形分布画像生成器２２０は、例えば、１つ又は複数の演算処理装置（ＣＰＵ、ＭＰＵ、ＧＰＵ等）で構成される。変形分布画像生成器２２０は、撮像装置２１０により締結前後にそれぞれ撮像されて記憶部２４０に保存された締結前画像２１１及び締結後画像２１２から画像相関法により変形分布画像３００を生成する。

図３は、変形分布画像生成器２２０が変形分布画像３００（変位分布データ３１０又はひずみ分布データ３２０）を生成する際の画像相関法の一例を示す概略説明図である。

変形分布画像生成器２２０は、締結前画像２１１及び締結後画像２１２を小領域に区分けした上で、各小領域について締結前画像２１１に含まれるボルト頭部１１２のパターン模様１１３と締結後画像２１２に含まれるボルト頭部１１２のパターン模様１１３との間の移動量（変位）を求める。これにより、変形分布画像生成器２２０は、ボルト頭部１１２に作用する軸力の負荷による変位分布データ３１０を求める。

さらに、変形分布画像生成器２２０は、変位分布データ３１０に基づいて変位分布の勾配を求めることによりひずみ分布データ３２０を求め、ひずみ分布データ３２０を記憶部２４０に保存する。

本実施例では、状態解析システム２００は、変形分布画像３００として、ひずみ分布データ３２０を用いて締結部材１００の締結状態を判定するが、ひずみ分布データ３２０に代えて変位分布データ３１０を用いて締結部材１００の締結状態を判定してもよい。

図４は、締結部材１００の締結状態と、ひずみ分布データ３２０との関係を示す概略説明図である。

図４には、ボルト１１０の代表的な締結状態として、左側から順に、健全、緩み、片側にき裂発生、両側にき裂発生、軸回り全体にき裂発生の５つの場合のひずみ分布データ３２０が、第１乃至第５のひずみ分布データ３２０Ａ～３２０Ｅとして示されている。なお、緩みは、主に非回転緩みを想定しているが、回転緩みを含むものでもよい。

第１のひずみ分布データ３２０Ａは、ボルト１１０に作用する軸力が健全な状態の最小主ひずみを示す。第１のひずみ分布データ３２０Ａでは、ボルト頭部１１２の中心に近いほど大きな圧縮ひずみが導入された分布となる。

第２のひずみ分布データ３２０Ｂは、ボルト１１０に作用する軸力が緩みにより低下した状態の最小主ひずみを示す。第２のひずみ分布データ３２０Ｂでは、健全な状態の第１のひずみ分布データ３２０と比べて全体的に圧縮ひずみの大きさが小さい分布となる。軸力が低下したときの軸力低下度合い（緩みの程度）が大きくなるほど、全体的に圧縮ひずみの大きさが小さい分布となる。

第３のひずみ分布データ３２０Ｃは、ボルト１１０が繰返し片振り曲げ負荷を受けることで、ボルト軸部１１１とボルト頭部１１２の境目(首下部)の片側１点を起点にボルト軸部１１１の中心に向かってき裂４００が進展している状態の最小主ひずみを示す。第３のひずみ分布データ３２０Ｃでは、き裂４００が進展しているき裂進展部周辺では軸力を受け持つことができず、き裂進展部周辺の圧縮ひずみが小さくなるため、ボルト頭部１１２の中心から片方向に偏りの生じた分布となる。

第４のひずみ分布データ３２０Ｄは、ボルト１１０が繰返し両振り曲げ負荷を受けることで、首下部の両側２点を起点にボルト軸部１１１の中心に向かって第１のき裂４０１及び第２のき裂４０２がそれぞれ進展している状態の最小主ひずみを示す。第４のひずみ分布データ３２０Ｄでは、第１のき裂４０１及び第２のき裂４０２がそれぞれ進展している両側のき裂進展部周辺では軸力を受け持つことができず、両側のき裂進展部周辺の圧縮ひずみが小さくなるため、ボルト頭部１１２の中心から両側に偏りの生じた分布となる。

第５のひずみ分布データ３２０Ｅは、ボルト１１０が繰返しねじり負荷を受けることで、首下部の軸回り全体を起点にボルト軸部１１１の中心に向かってき裂４０３が進展している状態の最小主ひずみを示す。第５のひずみ分布データ３２０Ｅでは、き裂４０３が進展している軸回り全体で軸力を受け持つことができず、軸回り全体に存在するき裂進展部周辺の圧縮ひずみが小さくなるため、健全な状態の第１のひずみ分布データ３２０Ａと比べてボルト頭部１１２の外周付近では全体的に圧縮ひずみの大きさが小さい分布となり、軸力が緩みにより低下している状態の第２のひずみ分布データ３２０Ｂと比べてボルト頭部１１２の中心付近では全体的に圧縮ひずみの大きさが大きい分布となる。

図５は、締結部材１００におけるき裂発生状況と、き裂発生原因との関係を示す概略説明図である。

図５には、ボルト１１０にき裂５００～５０３が発生したときの３つのき裂発生状況（片側にき裂、両側にき裂、軸回り全体にき裂）に対して、き裂が発生したときの３つのき裂発原因（繰返し片振り負荷、繰返し両振り負荷、繰返しねじり負荷）がそれぞれ示されている。なお、図４は、き裂４００～４０３がボルト１１０の首下部に発生した場合を示し、図５は、き裂５００～５０３がボルト軸部１１１の雄ねじが切られている部位に発生した場合を示しているが、き裂が発生する部位はこれらに限られない。

締結部材１００におけるき裂発生状況は、図５に示すように、き裂発生原因として、締結部材１００が負荷を受けたときの荷重形態に応じて異なるものである。そして、その違いは、図４に示す第３乃至第５のひずみ分布データ３２０Ｃ～３２０Ｅの特徴にも反映される。

以上のように、締結部材１００に作用する軸力が健全である場合の第１のひずみ分布データ３２０Ａに対して、軸力が緩みにより低下している場合の第２のひずみ分布データ３２０Ｂ、及び、き裂が発生している場合の第３乃至第５のひずみ分布データ３２０Ｃ～３２０Ｅは、ひずみ分布の特徴が異なる。また、締結部材１００におけるき裂発生状況は、図５に示すように、締結部材１００が負荷を受けたときの荷重形態に応じて異なるが、第３乃至第５のひずみ分布データ３２０Ｃ～３２０Ｅは、その荷重形態の違いを反映するように、ひずみ分布の特徴が異なる。

図２に示した状態判定器２３０は、例えば、１つ又は複数の演算処理装置（ＣＰＵ、ＭＰＵ、ＧＰＵ等）で構成される。状態判定器２３０は、上記のように、ひずみ分布の特徴が異なることを利用して、ひずみ分布データ３２０の特徴を解析することにより締結部材１００の締結状態を判定する。

具体的には、状態判定器２３０は、締結部材１００の締結状態として、軸力の低下の有無又は軸力が低下したときの軸力低下度合いを判定し、さらに、軸力が低下したときの軸力低下原因を判定する。また、状態判定器２３０は、締結部材１００の締結状態として、き裂の発生の有無又はき裂が発生したときのき裂発生状況を判定し、さらに、き裂が発生したときのき裂発生原因を判定する。なお、状態判定器２３０が締結部材１００の締結状態として判定する判定項目は、上記のように列挙したうちの少なくとも１つを含むものでよい。

本実施例では、状態判定器２３０は、変形分布画像生成器２２０が生成したひずみ分布データ３２０を、記憶部２４０に記憶された畳み込みニューラルネットワーク７００に入力することにより締結部材１００の締結状態を判定する。

また、状態判定器２３０は、締結部材１００の締結状態を判定したときの判定結果に基づいて、作業者が締結部材１００に対して処置すべき処置内容を決定する。処置内容は、例えば、締結部材１００の交換、締結トルクの再付与、経過観察等である。例えば、判定結果が、き裂の発生を示す場合には、処置内容は、ボルト１１０の交換であり、判定結果が、軸力低下度合いが大きいことを示す場合には、処置内容は、締結トルクの再付与であり、判定結果が、軸力低下度合いが小さいことを示す場合には、処置内容は、経過観察である。

なお、変形分布画像生成器２２０及び状態判定器２３０は、例えば、記憶部２４０に記憶されたプログラムを演算処理装置（ＣＰＵ、ＭＰＵ、ＧＰＵ等）に実行させることで実現されるものでもよいし、例えば、ＦＰＧＡ、ＡＳＩＣ等のハードウェアで実現されるものでもよい。

記憶部２４０は、１つ又は複数のメモリ又はストレージ装置で構成される。記憶部２４０は、各種のデータとして、締結部材データベース６００（詳細は図６参照）と、畳み込みニューラルネットワーク７００（詳細は図７参照）とを記憶する。なお、記憶部２４０は、外部機器に備えられていてもよく、その場合には、通信部を介してアクセス可能であればよい。

図６は、実施例１に係る締結部材データベース６００の一例を示すデータ構成図である。

締結部材データベース６００は、複数の締結部材１００を識別するための識別情報（ＩＤ）をキーにして、締結前画像２１１と、締結後画像２１２と、変形分布画像３００と、締結部材１００の特徴情報と、締結状態の判定結果とを対応付けて記憶する。

締結前画像２１１及び締結後画像２１２は、撮像装置２１０が同一の締結部材１００を締結前後にそれぞれ撮像した画像である。変形分布画像３００は、変形分布画像生成器２２０が締結前画像２１１及び締結後画像２１２から生成した画像であり、変位分布データ３１０及びひずみ分布データ３２０のいずれかでもよいし、両方でもよい。

締結部材１００の特徴情報は、締結部材１００の仕様を定める情報として、例えば、各部の寸法（呼び径、軸径、呼び長さ、全長、二面幅、ねじピッチ等）、材質（種類、物性値等）、形状等を含む。また、締結部材１００の特徴情報は、締結部材１００の使用環境を定める情報として、例えば、温度、湿度、風雨や直射日光に晒される屋外環境か否か、設置位置等を含む。なお、特徴情報は、例えば、状態解析システム２００の管理者により入力されてもよいし、締結部材１００の品番等に基づいて自動入力されてもよい。また、特徴情報は、上記のように例示した情報の一部又は全部でもよいし、他の情報をさらに含むものでもよい。

締結状態の判定結果は、状態判定器２３０が変形分布画像生成器２２０を解析して得られた締結状態の判定結果である。

図７は、実施例１に係る畳み込みニューラルネットワーク７００の一例を示す概略構成図である。

畳み込みニューラルネットワーク７００は、状態判定器２３０が締結部材１００の締結状態を判定する際に用いられる。畳み込みニューラルネットワーク７００は、ひずみ分布データ３２０を入力データとし、当該ひずみ分布データ３２０の生成元である締結部材１００の締結状態を正解データとする複数の学習データに基づいて、入力データ及び正解データの相関関係を機械学習させたものであり、機械学習済みの畳み込みニューラルネットワークモデルである。

畳み込みニューラルネットワーク７００は、入力層７１０と、複数の畳み込み層７２０と、複数のプーリング層７３０と、全結合層７４０と、出力層７５０とを備える。

入力層７１０は、二次元配列に対応する複数のノードを有し、各ノードには、入力データとして、二次元の要素値からなるひずみ分布データ３２０の各要素値を入力する。

畳み込み層７２０及びプーリング層７３０は、例えば、５層程度に階層化され、各層で数百程度のチェンネル数を有する。畳み込み層７２０及びプーリング層７３０は、畳み込み処理及びプーリング処理をそれぞれ繰り返すことで特徴量を抽出し、その抽出した特徴量を二次元配列として全結合層７４０に出力する。なお、畳み込み層７２０及びプーリング層７３０の層数や各層のチェンネル数は適宜変更されてもよい。

全結合層７４０は、一次元配列として構成された複数のノードを有し、畳み込み層７２０及びプーリング層７３０により二次元配列として抽出された特徴量を一次元配列に変換する。なお、全結合層７４０のノード数は、例えば、数百程度であるが、適宜変更されてもよい。

出力層７５０は、全結合層７４０に接続された複数のノードを有し、各ノードは、予め設定された複数の分類クラスに対する確度値を出力する。

出力層７５０の各ノードに対応する分類クラスは、締結部材１００の締結状態を示すものである。分類クラスには、例えば、図７に示すように、締結部材１００の締結状態が健全であることを示す「健全」、軸力の低下を示す「軸力低下有り」、き裂の発生を示す「き裂発生有り」が設定される。

なお、分類クラスには、上記に代えて又は加えて、軸力低下度合いを複数段階で示す「軸力低下(大)」、「軸力低下(中)」及び「軸力低下(小)」が設定されてもよいし、軸力低下原因を示す「緩み」及び「き裂」が設定されてもよい。また、分類クラスには、上記に代えて又は加えて、き裂発生状況を示す「片側にき裂発生」、「両側にき裂発生」及び「軸回りにき裂発生」が設定されてもよいし、き裂発生原因を示す「繰返し片振り曲げ負荷」、「繰返し両振り曲げ負荷」及び「繰返しねじり負荷」が設定されてもよい。

出力層７５０の各ノードにより出力される確度値は、例えば、各分類クラスに対する出力値にソフトマックス関数を適用し、全分類クラスの確度値の総和が１となるように正規化される。この場合、確度値が最大となる分類クラスが畳み込みニューラルネットワーク７００による締結状態の判定結果となり、確度値の大きさが、その判定結果の信頼度を示す。なお、確度値は、分類クラス毎に０～１となるように正規化されてもよい。また、締結部材１００に対して破面診断を別途行い、畳み込みニューラルネットワーク７００の判定結果との整合性を確認するようにしてもよい。

畳み込みニューラルネットワーク７００は、複数の学習データに基づいて特徴量を抽出する際の計算パラメータの調整が事前に必要である。そのため、締結部材１００の締結状態が判明している多数の事例を収集し、ひずみ分布データ３２０を入力データとし、当該ひずみ分布データ３２０の生成元である締結部材１００の締結状態を正解データとする学習データを複数用意し、畳み込みニューラルネットワーク７００の学習工程を実施する。なお、学習データを用意する際、軸力の大きさ、き裂の位置、数、進展度合い等をパラメトリックに変更可能な有限要素解析のシミュレーション結果を活用することで、人工的に作成したひずみ分布データ３２０を学習データとして用いてもよい。

畳み込みニューラルネットワーク７００に対する学習工程では、学習データを構成するひずみ分布データ３２０を、畳み込みニューラルネットワーク７００の入力層７１０に入力データとして入力し、出力層７５０から各分類クラスに対する確度値を出力する。正解データが示す分類クラスは、出力層７５０から出力された確度値と１の差分を、その他のクラスは、出力層７５０から出力された確度値と０の差分(損失)の総和をクロスエントロピー又は平均二乗誤差により評価し、この値が最小となるように、畳み込み層７２０及び全結合層７４０の特徴量を抽出する際の計算パラメータを更新する。上記のような学習処理を複数の学習データを用いて繰り返すことにより、入力データ及び正解データの相関関係を畳み込みニューラルネットワーク９００に機械学習させる。

なお、畳み込みニューラルネットワーク７００が学習データに対し過度に適合した汎化性の低いニューラルネットワークとなることを防ぐために、学習データの一部を検証データとして用いることで、検証データに対する損失が学習処理の繰返しに対し継続的に上昇した場合には、学習工程を打ち切るようにしてもよい。また、畳み込みニューラルネットワーク７００では、畳み込み層７２０及びプーリング層７３０に活性化関数、バッチノーマライゼーション、ドロップアウト等を適用し、畳み込みニューラルネットワーク７００の汎化性を高めているが、これらの手法を適用しなくてもよいし、他の手法を適用してもよい。

表示装置２５０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等で構成される。表示装置２５０は、状態判定器２３０が締結部材１００の締結状態を判定したときの締結状態の判定結果や、締結状態の判定結果に基づいて処置内容を決定したときの処置内容の決定結果を表示する。表示装置２５０は、締結状態の判定結果として、畳み込みニューラルネットワーク７００から出力された各分類クラスに対する確度値を出力してもよいし、確度値が最大となる分類クラスとその最大となる確度値だけを出力してもよい。

図８は、実施例１に係る状態解析システム２００が実施する締結部材１００の状態解析方法の一例を示すフローチャートである。以下では、機械学習済みの畳み込みニューラルネットワーク７００が記憶部２４０に記憶されているものとして説明するが、機械学習済みの畳み込みニューラルネットワーク７００が必ずしも記憶部２４０に記憶される必要がないことは言うまでもない。

ステップＳ８００（撮像工程）では、撮像装置２１０が、パターン模様１１３が形成された締結部材１００に締結トルクを付与する前に、当該締結部材１００を撮像し、その画像を締結前画像２１１として記憶部２４０の締結部材データベース６００に保存する。

ステップＳ８１０では、作業者が、締結部材１００に締結トルクを付与する締結作業を行う。

ステップＳ８２０（撮像工程）では、撮像装置２１０が、締結部材１００に締結トルクが付与されて、所定の判定実施期間が経過した後、当該締結部材１００を撮像し、その画像を締結後画像２１２として記憶部２４０の締結部材データベース６００に保存する。判定実施期間は、例えば、締結部材１００の仕様や締結部材１００が使用される使用環境等に応じて決定される。

締結後画像２１２が、締結部材データベース６００に保存される際、同一の締結部材１００が締結前に撮像されたときの締結前画像２１１に対応付けて保存される。締結前画像２１１及び締結後画像２１２の対応付けは、作業者により指定されてもよいし、締結前画像２１１及び締結後画像２１２に二次元コード等の識別コードが含まれている場合には、当該識別コードに基づいて実施されてもよい。また、両者の対応付けは、撮像装置２１０がＧＰＳ等の位置検出部を備える場合には、締結前画像２１１及び締結後画像２１２をそれぞれ撮像したときの撮像位置（締結部材１００の設置位置）の位置関係を比較することにより実施されてもよい。

ステップＳ８３０（画像生成工程）では、変形分布画像生成器２２０が、記憶部２４０の締結部材データベース６００に保存された締結前画像２１１及び締結後画像２１２を読み出し、締結前画像２１１及び締結後画像２１２から変形分布画像３００としてひずみ分布データ３２０を生成する。

ステップＳ８４０（状態判定工程）では、状態判定器２３０が、変形分布画像生成器２２０が生成したひずみ分布データ３２０を、記憶部２４０に記憶された畳み込みニューラルネットワーク７００の入力層７１０に入力する。そして、状態判定器２３０は、畳み込みニューラルネットワーク７００の出力層７５０から出力された各分類クラスの確度値に基づいて、締結部材１００の締結状態を判定する。

ステップＳ８５０（出力工程）では、表示装置２５０が、ステップＳ８４０での締結状態の判定結果（例えば、各分類クラスに対する確度値）を表示する。

ステップＳ８６０（状態判定工程）では、状態判定器２３０が、ステップＳ８４０での締結状態の判定結果に基づいて締結部材１００に対する処置内容を決定する。

ステップＳ８７０（出力工程）では、表示装置２５０は、ステップＳ８６０での処置内容の決定結果（例えば、締結部材１００の交換、締結トルクの再付与、経過観察等）を表示する。

そして、図８に示す一連の処理（締結部材１００の状態解析方法）が終了する。上記各ステップのうち、ステップＳ８６０、Ｓ８７０は省略されてもよい。また、ステップＳ８５０、Ｓ８７０では、判定結果や決定結果が、表示装置２５０に表示されるものとしたが、記憶部２４０の締結部材データベース６００に履歴データとして保存されてもよい。

なお、締結部材１００により締結される被締結部材１３０が、例えば、インフラ設備（鉄道軌道、道路、橋）、プラント設備（発電所、化学処理設備）、機械設備等を構成する設備構成部材の一部である場合には、設備構成部材には、複数の締結部材１００が用いられる。この場合、図８に示す一連の処理は、各締結部材１００に対して繰返し実施されるようにすればよい。

以上のように、本実施例によれば、変形分布画像生成器２２０が、締結部材１００を締結前後にそれぞれ撮像した締結前画像２１１及び締結後画像２１２からひずみ分布データ３２０を生成し、状態判定器２３０が、そのひずみ分布データ３２０を解析し、締結部材１００の締結状態を判定する。これにより、締結部材１００の締結状態を簡便に解析することができる。

その際、状態判定器２３０が、締結状態として、軸力の低下の有無又は軸力低下度合いを判定するので、締結部材１００に作用する軸力の健全性を診断することができる。さらに、状態判定器２３０が、締結状態として、軸力低下原因を判定する場合には、締結部材１００に対する処置内容を決定したり、締結部材１００の仕様変更やその他の対策を検討したりする際に有益な情報も提示することができる。

また、状態判定器２３０が、締結状態として、き裂の発生の有無又はき裂発生状況を判定するので、締結部材１００の交換が必要か否かを適切に診断することもできる。さらに、状態判定器２３０が、締結状態として、き裂発生原因を判定する場合には、締結部材１００に対する処置内容を決定したり、締結部材１００の仕様変更やその他の対策を検討したりする際に有益な情報も提示することができる。

さらに、状態判定器２３０が、ひずみ分布データ３２０を畳み込みニューラルネットワーク７００に入力することにより締結部材１００の締結状態を判定する。畳み込みニューラルネットワーク７００は、例えば、過去に軸力が低下したりき裂が発生したりしたときの締結部材１００に基づく学習データや、様々な締結状態を想定したシミュレーション結果に基づく学習データ等を用いて機械学習させることが可能である。そのため、締結部材１００の締結状態をより高精度に解析することができる。

（実施例２）
次に実施例２について説明する。図９は、実施例２に係る畳み込みニューラルネットワーク９００の一例を示す概略構成図である。

上述の実施例１に係る状態解析システム２００で用いられる畳み込みニューラルネットワーク７００では、ひずみ分布データ３２０が入力データとして入力され、出力層７５０から締結状態の判定結果が出力されるものとして説明した。これに対し、実施例２に係る状態解析システム２００で用いられる畳み込みニューラルネットワーク９００では、ひずみ分布データ３２０とともに締結部材１００の特徴情報が入力データとして入力され、出力層７５０から締結状態の判定結果が出力される。なお、実施例２に係る状態解析システム２００の各部の構成は、実施例１に係る状態解析システム２００と同様であるため、以下では両者の相違点を中心に説明する。

畳み込みニューラルネットワーク９００が備える全結合層９４０は、畳み込み層７２０及びプーリング層７３０により二次元配列として抽出された特徴量を一次元配列に変換するための複数のノードを有するとともに、締結部材１００の特徴情報が入力される１又は複数のノードを有する。

締結部材１００の特徴情報は、例えば、締結部材１００の仕様を定める各部の寸法、材質、形状等でもよいし、締結部材１００の使用環境を定める温度、湿度、風雨や直射日光に晒される屋外環境か否か、設置位置等でもよい。特徴情報は、上記のように例示した情報の一部又は全部でもよいし、他の情報をさらに含むものでもよく、特徴情報の数に応じて全結合層９４０のノード数が設定される。

特徴情報は、例えば、図６に示す記憶部２４０の締結部材データベース６００から取得されて、全結合層９４０に入力される。特徴情報が全結合層９４０に入力される際、そのままの値を入力してもよいし、代表値を定めて正規化した値を入力してもよいし、例えば、材質等のように、材質の種類に応じたカテゴリ変数を導入し、ワンホットエンコーディングによる値を入力してもよい。

畳み込みニューラルネットワーク９００に対する学習工程では、ひずみ分布データ３２０及び当該ひずみ分布データ３２０の生成元である締結部材１００の特徴情報を入力データとし、当該ひずみ分布データ３２０の生成元である締結部材１００の締結状態を正解データとする複数の学習データに基づいて、入力データ及び正解データの相関関係を畳み込みニューラルネットワーク９００に機械学習させる。その際、ひずみ分布データ３２０は、入力層７１０に入力され、締結部材１００の特徴情報は、全結合層９４０に入力される。

状態判定器２３０は、変形分布画像生成器２２０が生成したひずみ分布データ３２０及び当該ひずみ分布データ３２０の生成元である締結部材１００の特徴情報を畳み込みニューラルネットワーク９００に入力することにより当該締結部材１００の締結状態を判定する。その際、ひずみ分布データ３２０は、入力層７１０に入力され、締結部材１００の特徴情報は、記憶部２４０の締結部材データベース６００から読み出されて全結合層９４０に入力される。

以上のように、本実施例によれば、状態判定器２３０が、ひずみ分布データ３２０に加えて締結部材１００の特徴情報を畳み込みニューラルネットワーク９００に入力することにより締結部材１００の締結状態を判定する。これにより、締結部材１００の特徴情報が締結状態に与える影響が考慮されるので、締結部材１００の締結状態をより高精度に解析することができる。

（実施例３）
次に実施例３について説明する。上述の実施例１及び２では、変形分布画像生成器２２０が、パターン模様１１３が形成された締結部材１００を締結前後にそれぞれ撮像した締結前画像２１１及び締結後画像２１２から締結部材１００の変形分布画像３００を生成するものとして説明した。

これに対し、実施例３では、被締結部材１３０（図１の例では、第１の部品１３１の表面１３１ａ）にもパターン模様を形成し、変形分布画像生成器２２０が、被締結部材１３０を背景にして締結部材１００を締結前後にそれぞれ撮像した締結前画像２１１及び締結後画像２１２から締結部材１００及び被締結部材１３０の変形分布画像３００を生成する。その際、変形分布画像生成器２２０は、締結部材１００及び被締結部材１３０の両方を含む変形分布画像３００を生成してもよいし、締結部材１００を含む変形分布画像３００と、被締結部材１３０を含む変形分布画像３００とを別々に生成してもよい。なお、被締結部材１３０に形成されるパターン模様は、締結部材１００に形成されるパターン模様１１３と同一の模様でもよいし、異なる模様でもよい。また、被締結部材１３０には、その表面１３１ａ全体にパターン模様が形成される必要はなく、締結部材１００に作用する軸力が影響を与える範囲として、少なくとも締結部材１００の周囲に位置する表面１３１ａにパターン模様が形成されていればよい。

状態判定器２３０は、変形分布画像生成器２２０が生成した締結部材１００及び被締結部材１３０の変形分布画像３００を解析し、締結状態を判定する。なお、実施例３に係る状態解析システム２００のその他の構成は、実施例１又は実施例２に係る状態解析システム２００と同様であるため、詳細な説明については省略する。

以上のように、本実施例によれば、状態判定器２３０が、締結部材１００の変形量だけでなく、被締結部材１３０の変形量についても解析することで締結部材１００の締結状態を判定する。これにより、締結部材１００に作用する軸力が被締結部材１３０に与える影響も考慮されるので、締結部材１００の締結状態をより高精度に解析することができる。

（補足事項）
以上、本発明の実施の形態について説明したが、本発明は、上記の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形が可能である。例えば、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、特定の実施例に係る構成の一部を、他の実施例に係る構成に追加又は置換することが可能である。

上記実施例では、状態判定器２３０は、変形分布画像生成器２２０が生成したひずみ分布データ３２０を畳み込みニューラルネットワーク７００、９００に入力して締結部材１００の締結状態を判定するものとして説明した。これに対し、状態判定器２３０は、畳み込みニューラルネットワーク７００、９００を用いることなく、例えば、ひずみ分布データ３２０に対して所定の画像処理を行い、締結部材１００の締結状態を判定するようにしてもよい。画像処理としては、例えば、ひずみ分布データ３２０に表れる軸力やき裂の特徴を抽出するものであれば任意の手法を用いることができ、例えば、パターンマッチング処理、ノイズ除去処理、エッジ強調処理、フィルタ処理等を適宜組み合わせて実行すればよい。

上記実施例では、変形分布画像生成器２２０が、パターン模様１１３が形成されたボルト１１０を締結前後にそれぞれ撮像した締結前画像２１１及び締結後画像２１２から変形分布画像３００を生成するものとして説明した。これに対し、ナット１２０にパターン模様１１３を形成し、変形分布画像生成器２２０が、パターン模様１１３が形成されたナット１２０を締結前後にそれぞれ撮像した締結前画像２１１及び締結後画像２１２から変形分布画像３００を生成するようにしてもよい。この場合、状態判定器２３０は、ナット１２０を生成元とする変形分布画像３００を解析し、締結状態を判定するようにすればよい。また、状態判定器２３０は、ボルト１１０を生成元とする変形分布画像３００と、ナット１２０を生成元とする変形分布画像３００とを解析し、締結状態を判定するようにしてもよい。特に、ボルト軸部１１１の雄ねじが切られている部位にき裂が発生することが予想される場合には、ナット１２０も対象にして締結状態を判定するのが望ましい。

１００…締結部材、１１０…ボルト、１１１…ボルト軸部、１１２…ボルト頭部、１１３…パターン模様、１２０…ナット、１３０…被締結部材、１３１…第１の部品、１３２…第２の部品、２００…状態解析システム、２１０…撮像装置、２１１…締結前画像、２１２…締結後画像、２２０…変形分布画像生成器、２３０…状態判定器、２４０…記憶部、２５０…表示装置、３００…変形分布画像、３１０…変位分布データ、３２０、３２０Ａ～３２０Ｅ……ひずみ変形分布データ、４００～４０３…き裂、５００～５０３…き裂、６００…締結部材データベース、７００…畳み込みニューラルネットワーク、７１０…入力層、７２０…畳み込み層、７３０…プーリング層、７４０…全結合層、７５０…出力層、９００…畳み込みニューラルネットワーク、９４０…全結合層

Claims (14)

1. 締結部材を締結前後にそれぞれ撮像した画像から画像相関法により前記締結部材の変形分布画像を生成する画像生成器と、
   前記画像生成器が生成した前記変形分布画像を解析し、前記締結部材の締結状態を判定する状態判定器とを備える、
   締結部材の状態解析システム。
2. 前記状態判定器は、
   前記締結状態として、前記締結部材に作用する軸力の低下の有無又は前記軸力が低下したときの軸力低下度合いを判定する、
   請求項１に記載の締結部材の状態解析システム。
3. 前記状態判定器は、
   前記締結状態として、前記軸力が低下したときの軸力低下原因を判定する、
   請求項２に記載の締結部材の状態解析システム。
4. 前記状態判定器は、
   前記締結状態として、前記締結部材におけるき裂の発生の有無又は前記き裂が発生したときのき裂発生状況を判定する、
   請求項１乃至請求項３のいずれか一項に記載の締結部材の状態解析システム。
5. 前記状態判定器は、
   前記締結状態として、前記き裂が発生したときのき裂発生原因を判定する、
   請求項４に記載の締結部材の状態解析システム。
6. 前記画像生成器は、
   前記締結部材により締結される被締結部材を背景にして前記締結部材を締結前後にそれぞれ撮像した前記画像から前記締結部材及び前記被締結部材の前記変形分布画像を生成し、
   前記状態判定器は、
   前記画像生成器が生成した前記締結部材及び前記被締結部材の前記変形分布画像を解析し、前記締結状態を判定する、
   請求項１乃至請求項５のいずれか一項に記載の締結部材の状態解析システム。
7. 前記変形分布画像を入力データとし、当該変形分布画像の生成元である前記締結部材の前記締結状態を正解データとする複数の学習データに基づいて、前記入力データ及び前記正解データの相関関係を機械学習させた畳み込みニューラルネットワークを記憶する記憶部をさらに備え、
   前記状態判定器は、
   前記画像生成器が生成した前記変形分布画像を前記畳み込みニューラルネットワークに入力することにより当該締結部材の前記締結状態を判定する、
   請求項１乃至請求項６のいずれか一項に記載の締結部材の状態解析システム。
8. 前記変形分布画像及び当該変形分布画像の生成元である前記締結部材の特徴情報を入力データとし、当該締結部材の前記締結状態を正解データとする複数の学習データに基づいて、前記入力データ及び前記正解データの相関関係を機械学習させた畳み込みニューラルネットワークを記憶する記憶部をさらに備え、
   前記状態判定器は、
   前記画像生成器が生成した前記変形分布画像及び当該変形分布画像の生成元である前記締結部材の特徴情報を前記畳み込みニューラルネットワークに入力することにより当該締結部材の前記締結状態を判定する、
   請求項１乃至請求項６のいずれか一項に記載の締結部材の状態解析システム。
9. 締結部材を締結前後に撮像する撮像工程と、
   前記撮像工程にて前記締結部材を締結前後にそれぞれ撮像した画像から画像相関法により変形分布画像を生成する画像生成工程と、
   前記画像生成工程にて生成した前記変形分布画像を解析し、前記締結部材の締結状態を判定する状態判定工程とを備える、
   締結部材の状態解析方法。
10. 前記状態判定工程は、
    前記締結状態として、前記締結部材に作用する軸力の低下の有無又は前記軸力が低下したときの軸力低下度合い、及び、前記締結部材におけるき裂の発生の有無又は前記き裂が発生したときのき裂発生状況の少なくとも一方を判定する、
    請求項９に記載の締結部材の状態解析方法。
11. 前記状態判定工程は、
    前記締結状態として、前記軸力が低下したときの軸力低下原因、及び、前記き裂が発生したときのき裂発生原因の少なくとも一方を判定する、
    請求項１０に記載の締結部材の状態解析方法。
12. 前記撮像工程は、
    前記締結部材により締結される被締結部材を背景にして前記締結部材を締結前後に撮像し、
    前記画像生成工程は、
    前記撮像工程にて前記被締結部材を背景にして前記締結部材を締結前後にそれぞれ撮像した前記画像から前記締結部材及び前記被締結部材の前記変形分布画像を生成し、
    前記状態判定工程は、
    前記画像生成工程にて生成した前記締結部材及び前記被締結部材の前記変形分布画像を解析し、前記締結状態を判定する、
    請求項９乃至請求項１１のいずれか一項に記載の締結部材の状態解析方法。
13. 前記状態判定工程は、
    前記画像生成工程にて生成した前記変形分布画像を、前記変形分布画像を入力データとし、当該変形分布画像の生成元である前記締結部材の前記締結状態を正解データとする複数の学習データに基づいて前記入力データ及び前記正解データの相関関係を機械学習させた畳み込みニューラルネットワークに入力することにより当該締結部材の前記締結状態を判定する、
    請求項９乃至請求項１２のいずれか一項に記載の締結部材の状態解析方法。
14. 前記状態判定工程は、
    前記画像生成工程が生成した前記変形分布画像及び当該変形分布画像の生成元である前記締結部材の特徴情報を、前記変形分布画像及び当該変形分布画像の生成元である前記締結部材の特徴情報を入力データとし、当該締結部材の前記締結状態を正解データとする複数の学習データに基づいて前記入力データ及び前記正解データの相関関係を機械学習させた畳み込みニューラルネットワークに入力することにより当該締結部材の前記締結状態を判定する、
    請求項９乃至請求項１２のいずれか一項に記載の締結部材の状態解析方法。

Images