JP7194410B2

JP7194410B2 - 診断方法、プログラム、および診断装置

Info

Publication number: JP7194410B2
Application number: JP2017236484A
Authority: JP
Inventors: 慎藤生
Original assignee: Kanazawa University NUC
Current assignee: Kanazawa University NUC
Priority date: 2017-12-08
Filing date: 2017-12-08
Publication date: 2022-12-22
Anticipated expiration: 2037-12-08
Also published as: JP2019105460A

Description

特許法第３０条第２項適用発明推進協会公開技報、平成２９年６月１０日、技報番号２０１７－５０１１９８、国立大学法人金沢大学、遠赤外線カメラを用いた金属の錆の進行度合診断方法

本発明は、診断方法、プログラム、診断装置、および学習済みモデルに関する。

従来、例えば屋根等の対象を診断する場合、専用の工具を用いて対象を打診し、その打音の高低によって対象の腐食状態を診断する打診法という手法が知られている。

このように、検査対象を破壊することなく、検査対象の腐食などを検査する非破壊検査に関連して、超音波を対象に入斜させ、対象からの反射波に基づいて腐食度合を判定するものが知られている（例えば、特許文献１参照）。

特開２０１２－１５９４００号公報

しかしながら、従来の打診法では作業のために足場を組み立てる必要があり、安全面に課題が残されていた。また、打音の聞き分けは熟練者以外には難しいものであった。

本発明は、このような事情を考慮してなされたものであり、非破壊検査の操作性を向上させることができる診断方法、プログラム、診断装置、および提供することを目的の一つとする。

上記問題を解決する本発明の一態様は、コンピュータが、対象物が赤外線カメラにより撮像された赤外線撮像画像を取得する取得ステップと、前記赤外線撮像画像内の温度分布に基づいて、前記対象物に生じた腐食の進行度合いであって、前記対象物の表面に対して法線方向の腐食の進行度合いを診断する診断ステップと、を有し、前記診断ステップにおいて、温度の最小値又は極小値に基づいて、前記進行度合いを診断し、前記極小値を用いる場合に、前記赤外線撮像画像の縦と横と、温度とで表される三次元マップを生成し、前記三次元マップにおいて極小値を示す箇所を、進行度が高いと診断し、前記診断ステップにおいて、前記対象物の表面の対象領域に対する法線方向の腐食の進行度合いの診断結果を、前記対象物の面方向における腐食の出現の仕方を判定した結果に応じて前記診断結果を補正する、診断方法である。

本発明によれば、非破壊検査の操作性を向上させることができる。

実施形態に係る診断装置１の全体構成を示す図である。赤外線画像、可視光画像、および温度分布図の一例を示す図である。赤外線画像、可視光画像、および温度分布図の一例を示す図である。赤外線画像、可視光画像、および温度分布図の一例を示す図である。診断装置１による診断方法の一例を示すフローチャートである。被写体が同一の対象物領域の撮像画像と温度分布を示す図である。

以下、図面を参照し、本発明の診断方法、診断装置、および学習済みモデルの実施形態について説明する。

［全体構成］
図１は、実施形態に係る診断装置１の全体構成を示す図である。図１に示す通り、診断装置１は、例えば、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１５０と、制御部１７０とを備える。

通信部１１０は、セルラー網やＷｉ－Ｆｉ網等を用いて、ネットワークＮＷに接続するためのハードウェア（例えば、アンテナおよび送受信装置）などを有していてもよい。また、通信部１１０は、外部記憶媒体と接続されるコネクタであってもよく、ケーブルを介して撮像装置等の外部装置と接続されるコネクタであってもよい。

入力部１２０は、各種キー、ボタン、ダイヤルスイッチ、マウスなどのうち一部または全部を含む。また、入力部１２０は、例えば、表示部１３０と一体として形成されるタッチパネルＴＰであってもよい。

表示部１３０は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）表示装置などである。

記憶部１５０は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などのフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などである。記憶部１５０には、例えば、赤外線画像１５１、可視光画像１５３、対応情報１５５、対処方法情報１５７などの情報が格納される。赤外線画像１５１には、例えば、遠赤外線カメラで対象物の少なくとも一部が撮像された撮像画像の画像データ（以下、単に赤外線画像と記す）である。可視光画像１５３は、可視カメラで対象物の少なくとも一部が撮像された撮像画像の画像データ（以下、単に可視光画像と記す）である。対応情報１５５は、例えば、以下に説明する学習部１７７により生成される学習済みモデルを含む。対応情報の詳細については後述する。対処方法情報１５７は、診断結果に応じて決められている対処方法を示す情報である。

制御部１７０は、取得部１７１と、除去処理部１７３と、診断部１７５と、学習部１７７と、結果提供部１７９とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

取得部１７１は、通信部１１０を用いて赤外線画像を取得し、赤外線画像１５１として記憶部１５０に格納する。また、取得部１７１は、通信部１１０を用いて可視光画像を取得して可視光画像１５３として記憶部１５０に格納する。

除去処理部１７３は、赤外線画像内において特定の領域を診断の対象から除外する。特定の領域とは、赤外線画像内の温度分布における温度が、腐食以外の影響を大きく受けている領域である。例えば、特定の領域には、被写体である対象物との関係において、対象物の表面において錆の出ている部分、対象物の構造上日陰になっている部分、ネジやビスなど対象物の表面と異なる物質により構成されている部分、対象物領域において他の部分よりも日に当たっている部分（あるいは日に当たっていない部分）等が含まれる。なお、除去する手法については、赤外線画像から特定の領域を削除してもよく、赤外線画像において診断の対象となる領域と診断の対象とならない領域とを区別する情報を生成してもよい。

診断部１７５は、記憶部１５０を参照し、赤外線画像内の温度分布に基づいて、対象物に生じた腐食の進行度合いを診断する。例えば、診断部１７５は、赤外線画像内において温度が低い箇所を、温度が高い箇所よりも進行度合いが高いと診断する。進行度合いは、対象物の表面に対して法線方向に腐食が進行している度合いである。診断部１７５による診断結果は、対象物全体の診断度合いであってもよく、所定箇所（例えば、診断結果が著しく悪い箇所等）の診断度合であってもよい。進行度合いは、例えば、その度合いを数字（例えば、レベルＬ１～Ｌ５）によって段階的に表示し、数字が大きくなるほど、腐食が進行していることを示すものであってもよい。また、診断部１７５は、記憶部１５０の対処方法情報１５７を参照して、診断結果に基づき、対象物に対する対処方法を決定してもよい。対処方法には、例えば、経過観察、交換、修理等が含まれる。

学習部１７７は、腐食の進行度合いを教示データとして、赤外線画像内の温度分布と対応付けて機械学習による学習処理を実行し、学習済みモデルを生成する。なお、教示データは、診断部１７５による診断結果、他の装置により診断された診断結果、人により設定された診断結果等のいずれであってもよい。

結果提供部１７９は、表示部１３０を用いて、診断部１７５による診断結果等を利用者に提供する。結果提供部１７９は、赤外線画像内における対象物に相当する領域（以下、対象物領域と記す）についての診断結果だけを提供してもよく、赤外線画像内の対象物領域において対処が必要な個所を表す対象箇所情報と合わせて提供してもよい。対象箇所情報は、例えば、赤外線画像上において対処が必要な個所を示すものであってもよく、可視光画像上において対処が必要な個所を示すものであってもよく、その両方であってもよい。また、結果提供部１７９は、可視光画像と赤外線画像との両方を並べて表示部１３０に表示してもよく、可視光画像と赤外線画像とを重ねて表示部１３０に表示してもよい。表示部１３０に表示される可視光画像に対応する赤外線画像は、一枚であってもよく、複数枚であってもよい。表示部１３０に表示される赤外線画像は、可視光画像の全部に対応するものであってもよく、可視光画像の一部に対応するものであってもよい。また、結果提供部１７９は、複数の可視光画像や複数の赤外線画像を用いて３６０度画像を生成し、生成した画像内において対処が必要な個所を表してもよい。

［診断例］
次に、図２～４を参照して、診断部１７５による診断方法の一例について説明する。図２～４は、赤外線画像、可視光画像、および温度分布図の一例を示す図である。図２～４は、それぞれ、対象物領域Ａ～Ｃについての情報である。対象物領域Ａ～Ｃは同じ対象物の異なる領域である。図２～４において、（ａ）が赤外線画像であり、（ｂ）が可視光画像であり、（ｃ）が温度分布図である。

例えば、診断部１７５は、赤外線画像内における対象物領域において、周りよりも温度が低い領域を、進行度合いが高い部分であると診断する。例えば、対象物領域Ａについての診断において、診断部１７５は、図２（ｃ）に示す黒色部分はレベルＬ５であり、青色部分はレベルＬ３であり、紫部分はレベルＬ１であると診断する。また、診断部１７５は、所定温度よりも高い部分（例えば、白、黄色、オレンジ、赤、およびピンク色の部分）をレベルＬ１、所定温度よりも低い部分（例えば、紫、青、黒色の部分）をレベルＬ３と診断してもよい。

また、診断部１７５は、最も低い温度の色である黒色部分が、赤外線画像内における対象物領域に含まれている場合、進行度合いがレベルＬ３以上であると診断してもよい。さらに、診断部１７５は、黒色部分の大きさが大きくなるほど腐食が進行していると診断してもよい。例えば、診断部１７５は、黒色部分の大きさが閾値ｔｈ１以上である場合に進行度合いがレベルＬ４であり、黒色部分の大きさが閾値ｔｈ２（＞ｔｈ１）以上である場合に進行度合いがレベルＬ５であると診断してもよい。この「黒色部分の大きさ」は、黒色部分が複数ある場合、それぞれの黒色部分の大きさであってもよく、複数の黒色部分の面積の総和であってもよい。

このように、診断部１７５は、赤外線画像内の絶対温度に基づいて進行度合いを診断してもよく、赤外線画像内の相対温度（温度差、温度の割合）に基づいて進行度合いを診断してもよい。

また、診断部１７５は、他の赤外線画像の温度分布に基づいて、診断結果を補正してもよい。例えば、図２に示す画像と図３に示す画像が、同じ日の同じ時間帯に撮像された画像であったとする。また、図２に示す画像全体の平均温度と図３に示す画像全体の平均温度の差が閾値以上であったとする。この場合、診断部１７５は、図３に示す画像に基づいて、図２に示す画像に基づく診断結果を、腐食の進行度合いが全体的に低くなるように補正してもよい。例えば、補正前において図２（ｃ）に示す黒色部分がレベルＬ５、青色部分がレベルＬ３、紫部分がレベルＬ１と診断していた場合、診断部１７５は、黒色部分がレベルＬ３、青色部分がレベルＬ２、紫部分がレベルＬ１と補正する。

また、診断部１７５は、対象物の表面に対して法線方向の進行度合いの診断結果（以下、一次診断結果と記す）に基づいて、対象物の面方向における腐食の出現の仕方を判定し、判定結果に応じて再診断結果（以下、二次診断結果と記す）を得てもよい。例えば、対象物領域Ａ（図２）では、全体的に腐食が広がっており、対象物領域Ｂ（図３）では、やや大きな腐食がまばらに点在しており、対象物領域Ｃ（図３）では、小さな腐食がまばらに点在している。対象物の面方向における腐食の出現の仕方において腐食が進行している順番は、対象物領域Ａ、対象物領域Ｂ、対象物領域Ｃの順番である。よって、一次診断結果では、全ての対象物領域Ａ～Ｃがレベル５であった場合であっても、二次診断結果として、対象物領域ＡがレベルＬ５、対象物領域ＢがレベルＬ４、対象物領域ＣがレベルＬ３と診断してもよい。

また、診断部１７５は、赤外線画像の温度の最小値に基づいて、進行度合いを診断してもよい。例えば、診断部１７５は、赤外線画像において最も低い温度の色（例えば、黒色）が出現している場合（あるいは、最も低い温度の色が出現している面積が所定値以上である場合等）、腐食が進行していると判定する。

また、診断部１７５は、赤外線画像の温度の極小値に基づいて、進行度合いを診断してもよい。例えば、診断部１７５は、赤外線画像の縦と横を示すｘ軸ｙ軸と、温度を示すｙ軸とで表される三次元マップを生成し、この三次元マップにおいて極小値を示す箇所を、進行度が高い（例えば、レベル３以上）と診断してもよい。なお、三次元マップのｘ軸とｙ軸は、赤外線画像の縦と横に限られず、可視光画像の縦と横を示すものであってもよく、現実世界における対象物の垂直方向と水平方向を示すものであってもよい。

また、診断部１７５は、対応情報１５５に基づいて腐食の進行度合いを診断してもよい。対応情報１５５は、リレーショナルデータベース、統計情報、学習済みモデルのいずれであってもよい。対応情報１５５は、例えば、対象物情報と、環境情報と、温度情報と、進行度合いとを対応付けた情報である。対象物情報には、対象物の厚さ、物質、色、模様、または製品の種類のうち少なくとも一つを示す情報である。製品の種類とは、製品名、品番、型番等を含む。環境情報は、対象物の環境条件を示す情報（例えば、対象物全体の平均温度等）や、対象物の周囲の環境条件を示す情報（例えば、赤外線画像が撮像されたときの天候、気温、湿度等）を含む。

診断部１７５は、通信部１１０あるいは入力部１２０を用いて、対象物情報や環境情報を取得する。診断部１７５は、取得した対象物情報（あるいは／および環境情報）と、赤外線画像内の温度分布における温度あるいは相対温度と、対応情報とに基づいて、腐食の進行度合いを診断する。こうすることにより、対象物情報や環境情報に応じた腐食の診断を行うことができる。

また、対応情報１５５は、上述した情報に、さらに、対処方法を対応付けた情報であってもよい。これにより、診断部１７５は、対応情報１５５を参照して、対象物情報や環境情報に応じた対処方法を決定することができる。

［フローチャート］
次に、図５を参照して、診断装置１による診断方法について説明する。図５は、診断装置１による診断方法の一例を示すフローチャートである。まず、取得部１７１が、通信部１１０を用いて、赤外線画像および可視光画像を取得し、記憶部１５０に格納する（ステップＳ１０１）。ここで、取得部１７１は、対象物を識別する識別情報や、対象物領域を示す識別情報等を画像データに対応付けて、同一の対象物あるいは同一の対象物領域の赤外線画像と可視光画像として記憶部１５０に格納する。除去処理部１７３は、記憶部１５０から赤外線画像を読み出し、赤外線画像内に特定の領域が含まれているか否かを判定する（ステップＳ１０３）。赤外線画像内に特定の領域が含まれている場合、除去処理部１７３は、特定の領域を診断の対象から除外する（ステップＳ１０５）。一方、赤外線画像内に特定の領域が含まれていない場合、除去処理部１７３は、何ら処理を実行しない。

次いで、診断部１７５は、赤外線画像内の温度分布に基づいて、進行度合いを診断する（ステップＳ１０７）。次いで、診断部１７５は、診断結果に基づき、対象物に対する対処方法を決定する（ステップＳ１０９）。そして、結果提供部１７９は、表示部１３０を用いて、診断部１７５による診断結果と対処方法を利用者に提供する（ステップＳ１１１）。

以上説明した実施形態の診断装置１によれば、赤外線画像内の温度分布に基づいて、対象物の表面に対して法線方向の腐食の進行度合いを診断することができる。これにより、利用者は、対象物を撮像するだけで対象物の診断結果を得ることができるため、非破壊検査のユーザビリティーを向上させることができる。また、カメラを搭載した無人航空機等を用いて高いところや狭いところのある対象物も診断することができる。

次に、図６を参照して、診断装置１による診断例について説明する。図６は、被写体が同一の対象物領域の撮像画像と温度分布を示す図である。対象物は、腐食前において板厚が均一の金属板である。撮影時の天候は晴れであり、撮像時における対象物は乾燥している状態である。図６（ａ）は可視光画像５１０であり、図６（ｂ）は赤外線画像５２０であり、図６（ｃ）は温度分布図５３０である。

可視光画像５１０には、腐食していない部分（以下、非サビ部分と記す）５１１，５１２と腐食している部分とが含まれる。なお、可視光画像５１０において、非サビ部分５１１，５１２以外の領域は腐食している。赤外線画像５２０において、非サビ部分５１１に対応する非サビ部分５２１には、周囲の領域よりも温度が低い箇所（以下、低温箇所）５２１Ａ、５２１Ｂが含まれている。また、赤外線画像５２０において、非サビ部分５１２に対応する非サビ部分５２２には、低温箇所５２２Ａが含まれている。また、赤外線画像５２０において、非サビ部分５２１，５２２以外の領域（温度分布図５３０において黄色の部分）の代表箇所であるサビ部分５２３が含まれている。低温箇所５２１Ａ、５２１Ｂの平均温度は１３℃であり、低温箇所５２２Ａの平均温度は１４℃である。一方、サビ部分５２３の平均温度は１９℃である。また、対象物において、低温箇所５２１Ａ，５２１Ｂに対応する部分の板厚は４．６５ｍｍであり、低温箇所５２２Ａに対応する部分の板厚は４．５９ｍｍである。一方、対象物においてサビ部分５２３に対応する部分の板厚は５．５９ｍｍである。

本実施形態に係る診断装置１は、赤外線画像５２０における温度分布に基づいて、非サビ部分５２１，５２２とサビ部分５２３とを板厚の差分（１ｍｍ程度）に相当するサビの進行度合いを診断することが可能である。なお、赤外線画像の温度分布における温度に応じて腐食の進行度合いを設定してもよい。例えば、同じ撮像条件において撮像された赤外線画像において、１９℃の部分は板厚５．５９ｍｍであり、１４℃の部分は板厚４．５９ｍｍであり、１３℃の部分は板厚４．６５ｍｍであると設定してもよい。また、診断装置１は、温度と板厚との関係を示す数式を導出し、導出した数式に基づいて導出される他の温度の板厚もさらに設定してもよい。診断装置１は、設定された条件を参照し、温度分布における温度に応じた腐食度合を決定することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、対象物は、建造物に限られず、なんらかの構造物であってもよい。

１…診断装置、１１０…通信部、１２０…入力部、１３０…表示部、１５０…記憶部、１５１…赤外線画像、１５３…可視光画像、１５５…対応情報、１５７…対処方法情報、１７０…制御部、１７１…取得部、１７３…除去処理部、１７５…診断部、１７７…学習部、１７９…結果提供部

Claims

コンピュータが、
対象物が赤外線カメラにより撮像された赤外線撮像画像を取得する取得ステップと、
前記赤外線撮像画像内の温度分布に基づいて、前記対象物に生じた腐食の進行度合いであって、前記対象物の表面に対して法線方向の腐食の進行度合いを診断する診断ステップと、
を有し、
前記診断ステップにおいて、温度の最小値又は極小値に基づいて、前記進行度合いを診断し、前記極小値を用いる場合に、前記赤外線撮像画像の縦と横と、温度とで表される三次元マップを生成し、前記三次元マップにおいて極小値を示す箇所を、進行度が高いと診断し、
前記診断ステップにおいて、前記対象物の表面の対象領域に対する法線方向の腐食の進行度合いの診断結果を、前記対象物の面方向における腐食の出現の仕方を判定した結果に応じて前記診断結果を補正する、診断方法。
前記診断ステップにおいて、前記赤外線撮像画像内の温度分布と、前記赤外線カメラにより撮像された他の赤外線撮像画像内の温度分布とを比較して、前記赤外線撮像画像に基づく診断結果を補正する、
請求項１に記載の診断方法。
前記診断ステップにおいて、温度が低い箇所を、温度が高い箇所よりも、前記進行度合いが高いと診断する、
請求項１から２のうちのいずれか１項に記載の診断方法。
前記診断ステップにおいて、前記対象物の厚さ、物質、色、模様、又は製品の種類のうち少なくとも一つを示す対象物情報と、前記温度分布における温度或いは相対温度と、前記進行度合いと、を予め対応付けた対応情報を読み出し、
入力された前記対象物情報及び前記温度分布と、前記対応情報と、に基づいて、前記進行度合いを診断する、
請求項１から３のうちのいずれか一項に記載の診断方法。
前記診断ステップにおいて、前記対象物又は前記対象物の周囲の環境条件を示す環境情報と、前記温度分布における温度或いは相対温度と、前記進行度合いと、を予め対応付けた対応情報を読み出し、
前記赤外線撮像画像が撮像されたときの環境条件及び前記温度分布と、前記対応情報と、に基づいて、前記進行度合いを診断する、
請求項１から３のうちいずれか一項に記載の診断方法。
前記コンピュータが、さらに、
前記進行度合いを教示データとし、取得した前記温度分布と対応付けて学習する学習ステップを有し、
前記診断ステップにおいて、前記学習ステップの学習結果の学習済みモデルを前記対応情報として、前記進行度合いを診断する、
請求項４に記載の診断方法。
前記コンピュータが、さらに、
前記診断の結果に基づいて、前記対象物に対する対処方法を決定する決定ステップを有する、
請求項１から６のうちいずれか一項に記載の診断方法。
前記コンピュータが、さらに、
前記診断ステップによる診断結果に基づいて、前記対象物に対する対処が必要な個所を表す対処箇所情報を提供する提供ステップを有する、
請求項１から７のうちいずれか一項に記載の診断方法。
前記コンピュータが、さらに、
前記対象物をカメラにより撮像された可視光撮像画像を取得し、
前記可視光撮像画像において、前記対象物の少なくとも一部の箇所に対応付けて、前記進行度合いを表示する提供ステップを有する、
請求項１から８のうちいずれか一項に記載の診断方法。
コンピュータに、
対象物が赤外線カメラにより撮像された赤外線撮像画像を取得させ、
前記赤外線撮像画像内の温度分布に基づいて、前記対象物に生じた腐食の進行度合いであって、前記対象物の表面に対して法線方向の進行度合いを診断させ、
温度の最小値又は極小値に基づいて、前記進行度合いを診断し、前記極小値を用いる場合に、前記赤外線撮像画像の縦と横と、温度とで表される三次元マップを生成し、前記三次元マップにおいて極小値を示す箇所を、進行度が高いと診断させ、
前記法線方向の進行度合いの診断において、前記対象物の表面の対象領域に対する法線方向の腐食の進行度合いの診断結果を、前記対象物の面方向における腐食の出現の仕方を判定した結果に応じて前記診断結果を補正させる、
プログラム。
対象物が赤外線カメラにより撮像された赤外線撮像画像を取得する取得部と、
前記取得部により取得された前記赤外線撮像画像内の温度分布に基づいて、前記対象物に生じた腐食の進行度合いであって、前記対象物の表面に対して法線方向の進行度合いを診断する診断部と、
を備え、
前記診断部は、温度の最小値又は極小値に基づいて、前記進行度合いを診断し、前記極小値を用いる場合に、前記赤外線撮像画像の縦と横と、温度とで表される三次元マップを生成し、前記三次元マップにおいて極小値を示す箇所を、進行度が高いと診断し、
前記診断部は、前記対象物の表面の対象領域に対する法線方向の進行度合いの診断結果を、前記対象物の面方向における腐食の出現の仕方を判定した結果に応じて前記診断結果を補正する、診断装置。