JP7307691B2 - 損傷特定装置、損傷特定方法および損傷特定プログラム - Google Patents

Description

本発明は、損傷特定装置、損傷特定方法および損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から屋外構造物に発生している損傷を特定する装置に関する。

インフラ構造物の老朽化は加速度的に進んでおり，維持管理・更新の必要性は，今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているＡＩによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。既に構造物の損傷を矩形領域（バウンディングボックス）で検出する（非特許文献１）、損傷の程度やその形状を領域（セグメンテーション）で検出する（非特許文献２）などで、多くの研究が報告されており、これらの技術を利用した目視点検の代替、補助が期待される。

点検・診断業務においては、目視等で確認された損傷をもとに、損傷の危険性の評価、発生原因の推定、対策の検討など、維持・更新に向けた対応を講じる必要がある、このような二次的な判断をするためには、損傷の種類、位置、形状だけでなく、その損傷がどの構造部位に発生しているかという背景情報が重要である。構造物の部位をＡＩ（Artificial Intelligence）によって検出することができれば、損傷の検出結果と合わせることで、損傷の原因、危険性や対策などの二次的な判断の推定にＡＩが活用できる。

また、インフラ構造物の中でも、例えば、橋梁はトンネルや管きょと異なり、屋外構造物であること、撮影地点の制約の都合などから、構造物を比較的全景で撮影する状況が多く、画像内に複数種の部位が含まれることが多い。国土交通省の定める（「橋梁定期点検要領」）では、橋梁の部位・部材として、主桁などを含む２９種の上部構造、梁部などを含む８種の下部構造，支承本体を含む６種の支承部，高欄などを含む８種の路上部位・部材、その他、排水設備等の６種、合計５７種の部位・部材が規定されており、多数の部位・部材が構造物全体に配置されている。同要領では，損傷とその程度の判定、損傷の対策区分の判定、橋梁の健全性評価の各方法についても定められている。損傷の対策区分は損傷の発生部位によっても変わり、例えば床版に遊離石灰や鉄筋露出がある場合、「緊急の対策が必要」と判断される。

土木学会論文集Ｆ６（安全問題） ７３巻（２０１７）２号 「深層畳み込みニューラルネットワークに基づくコンクリート表面のひび割れ検出システム」 第３３回人工知能学会全国大会論文集２０１９ 「目視点検の損傷画像による鉄筋露出セグメンテーションの転移学習」

しかしながら、インフラ構造物に発生している損傷を特定する手法については、現状では、作業員の目視などに頼ることが多く、ベテランの作業員と比較的経験の浅い作業員とでは、損傷の特定に要する時間や正確性に大きな乖離がある。そのため、インフラ構造物に発生している損傷の特定を精度高く行うことができなかった。本発明は、人工知能による機械学習によってインフラ構造物に発生している損傷を精度高く特定することを目的とする。

上記目的を達成するため、本発明に係る損傷特定装置は、
第１屋外構造物の第１画像を取得する画像取得部と、
取得した前記第１画像中の前記第１屋外構造物の境界および前記第１屋外構造物の部位の境界を決定する境界決定部と、
決定した前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する部位特定部と、
特定された前記第１屋外構造物の部位の材料を特定する材料特定部と、
特定された前記第１屋外構造物の種類、特定された前記第１屋外構造物の部位および特定された前記第１屋外構造物の部位の材料に基づいて、特定された前記第１屋外構造物の部位に発生した損傷を決定する損傷決定部と、
決定された前記損傷のそれぞれを識別可能な識別子を付与して、前記第１屋外構造物の種類、前記第１屋外構造物の前記部位および決定された前記損傷とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第２屋外構造物の第２画像の入力を受け付ける受付部と、
前記モデル生成ステップにおいて生成した前記学習済み損傷特定モデルを用いて、前記第２屋外構造物の部位に発生している損傷を特定する損傷特定部と、
を備えた。

上記目的を達成するため、本発明に係る損傷特定方法は、
第１屋外構造物の第１画像を取得する画像取得ステップと、
取得した前記第１画像中の前記第１屋外構造物の境界および前記第１屋外構造物の部位の境界を決定する境界決定ステップと、
決定した前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する部位特定ステップと、
特定された前記第１屋外構造物の部位の材料を特定する材料特定ステップと、
特定された前記第１屋外構造物の種類、特定された前記第１屋外構造物の部位および特定された前記第１屋外構造物の部位の材料に基づいて、特定された前記第１屋外構造物の部位に発生した損傷を決定する損傷決定ステップと、
決定された前記損傷のそれぞれを識別可能な識別子を付与して、前記第１屋外構造物の種類、前記第１屋外構造物の前記部位および決定された前記損傷とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２屋外構造物の第２画像の入力を受け付ける受付ステップと、
前記モデル生成ステップにおいて生成した前記学習済み損傷特定モデルを用いて、前記第２屋外構造物の部位に発生している損傷を特定する損傷特定ステップと、
を含む。

上記目的を達成するため、本発明に係る損傷特定プログラムは、
第１屋外構造物の第１画像を取得する画像取得ステップと、
取得した前記第１画像中の前記第１屋外構造物の境界および前記第１屋外構造物の部位の境界を決定する境界決定ステップと、
決定した前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する部位特定ステップと、
特定された前記第１屋外構造物の部位の材料を特定する材料特定ステップと、
特定された前記第１屋外構造物の種類、特定された前記第１屋外構造物の部位および特定された前記第１屋外構造物の部位の材料に基づいて、特定された前記第１屋外構造物の部位に発生した損傷を決定する損傷決定ステップと、
決定された前記損傷のそれぞれを識別可能な識別子を付与して、前記第１屋外構造物の種類、前記第１屋外構造物の前記部位および決定された前記損傷とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２屋外構造物の第２画像の入力を受け付ける受付ステップと、
前記モデル生成部で生成した前記学習済み損傷特定モデルを用いて、前記第２屋外構造物の部位に発生している損傷を特定する損傷特定ステップと、
をコンピュータに実行させる。

本発明の損傷特定装置によれば、屋外構造物に発生している損傷を、人工知能による機械学習によって、精度高く特定することができる。

本発明の第１実施形態に係る損傷特定装置を含む損傷特定システムについて説明するための図である。 本発明の第１実施形態に係る損傷特定装置の構成を説明するためのブロック図である。 本発明の第１実施形態に係る損傷特定装置の記憶部に格納される材料特定テーブルの一例について説明するための図である。 本発明の第１実施形態に係る損傷特定装置の記憶部に格納される損傷決定テーブルの一例について説明するための図である。 本発明の第１実施形態に係る損傷特定装置により決定される損傷（腐食）について説明するための図である。 本発明の第１実施形態に係る損傷特定装置により決定される損傷（防食機能の劣化）について説明するための図である。 本発明の第１実施形態に係る損傷特定装置により決定される損傷（剥離・鉄筋露出）について説明するための図である。 本発明の第１実施形態に係る損傷特定装置により決定される損傷（漏水・遊離石灰）について説明するための図である。 本発明の第１実施形態に係る損傷特定装置による学習済み損傷特定モデル生成の手順を説明するためのフローチャートである。 本発明の第１実施形態に係る損傷特定装置による損傷特定の手順を説明するためのフローチャートである。 本発明の第１実施形態に係る損傷特定装置により生成された学習済み損傷特定モデルの評価について説明するための図である。 本発明の第１本実施形態に係る損傷特定装置が有する屋外構造物テーブルの一例を説明するための図である。

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術的範囲を以下の記載に限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての損傷特定装置１０４について、図１～図１０を用いて説明する。損傷特定装置１０４は、屋外構造物として、例えば、橋梁などに発生した損傷を特定するために用いられる。図１は、本実施形態に係る損傷特定装置１０４を含む損傷特定システム１００について説明するための図である。

本実施形態の損傷特定装置１０４は、例えば、図１に示すシステム構成を備える損傷特定システム１００を用いて実施されるようになっている。損傷特定システム１００は、例えば、有線または無線の通信網１０１を介して互いに接続されている、屋外構造物１２０を撮像することが可能な機能を備えるドローン１０２と、例えば、管理事務所に設置されたパーソナルコンピュータ１０３と、ＡＩ（人工知能：Artificial Intelligence）として、好ましくは畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）やＰＳＰＮｅｔ（Pyramid Scene Parsing Network）などをアルゴリズムとするニューラルネットワークを実装可能な公知の機械学習ツール（ソフトウェア）が組み込まれた損傷特定装置１０４とを含む。

損傷特定装置１０４は、好ましくはドローン１０２により撮像された屋外構造物１２０の画像を用いて、屋外構造物１２０の種類や部位、材料を特定して、損傷を特定する。パーソナルコンピュータ１０３は、ドローン１０２による屋外構造物１２０の撮像を制御して、屋外構造物の一部または全体を撮像する。撮像された画像は、ドローン１０２からパーソナルコンピュータ１０３へと送信される。パーソナルコンピュータ１０３は、受信した屋外構造物１２０の画像を損傷特定装置１０４に送信すると共に、損傷特定装置１０４から送信される屋外構造物１２０の部位の特定結果を、ディスプレイなどの表示部１０５に表示させる。

図２は、本実施形態に係る損傷特定装置１０４の構成を説明するためのブロック図である。損傷特定装置１０４は、画像取得部２０１、境界決定部２０２、部位特定部２０３、材料特定部２０４、損傷決定部２０５、モデル生成部２０６および記憶部２０９を備える。記憶部２０９には、材料特定テーブル２９１および損傷決定テーブル２９２が格納されている。損傷特定装置１０４は、さらに、受付部２０７および損傷特定部２０８を備える。なお、以下の説明では、屋外構造物１２０として橋梁を例に説明する。

ここで、損傷特定装置１０４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ネットワークインターフェース、およびストレージを有する。ここで、ＣＰＵは、演算制御用のプロセッサであり、プログラムを実行することで図２に示した損傷特定装置１０４の各機能構成を実現する。ＣＰＵは、複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭは、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインターフェースは、ネットワークを介して他の装置などと通信する。なお、ＣＰＵは、１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。また、ネットワークインターフェースは、ＣＰＵとは独立した他のＣＰＵを有して、ＲＡＭの領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭとストレージとの間でデータを転送するＤＭＡＣ（Direct Memory Access Controller）を設けるのが望ましい。さらに、ＣＰＵは、ＲＡＭにデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵは、処理結果をＲＡＭに準備し、後の送信あるいは転送はネットワークインターフェースやＤＭＡＣに任せる。

ＲＡＭは、ＣＰＵが一時記憶のワークエリアとして使用するメモリである。ＲＡＭには、本実施形態の実現に必要なデータを記憶する領域が確保されている。ストレージには、データベースや各種のパラメータ、モジュール、あるいは本実施形態の実現に必要なデータまたはプログラムが記憶されている。例えば、ストレージには、損傷特定装置１０４の全体を制御するための制御プログラムが記憶されている。

さらに、損傷特定装置１０４は、入出力インターフェースをさらに備えてもよい。入出力インターフェースには、表示部、操作部、記憶媒体が接続される。入出力インターフェースには、さらに、音声出力部であるスピーカや、音声入力部であるマイク、あるいはＧＰＳ（Global Positioning System）位置判定部が接続されてもよい。なお、ＲＡＭやストレージには、損傷特定装置が有する汎用の機能や他の実現可能な機能に関するプログラムやデータが記憶されていてもよい。

画像取得部２０１は、橋梁２１１の画像２１０を取得する。画像取得部２０１はが取得する画像２１０は、ドローン１０２により撮像されたものであるが、画像２１０の撮像方法はこれには限定されない。例えば、デジタルカメラやフィルムカメラ、スマートフォンなどの携帯端末に付属するカメラ、人工衛星に搭載されたカメラなどで撮像されたものであってもよい。

画像取得部２０１は、例えば、８８４枚の画像２１０を取得するが、画像取得部２０１が取得する画像２１０の枚数は、これには限定されない。画像取得部２０１が取得する画像２１０の枚数は、多ければ多いほど人工知能による学習精度が向上するため好ましい。さらに、画像２１０の解像度は、高解像度、または低解像度のいずれであってもよい。高解像度の画像であれば人工知能による学習精度が向上するため好ましいが、損傷特定装置１０４の処理能力や、通信網１０１の通信能力などに応じた解像度が選択される。そして、画像取得部２０１は、取得した画像２１０を境界決定部２０２へ送信する。

境界決定部２０２は、取得した画像２１０中の橋梁２１１の部位の境界を決定する。境界決定部２０２は、画像取得部２０１から送信された画像２１０に写っている橋梁２１１を構成する部位の境界を決定する。

境界の決定は、例えば、インスタンスセグメンテーションやセマンティックセグメンテーションなどの手法を用いて行われる。ここで、インスタンスセグメンテーションは、物体ごとに領域を分ける手法である。つまり、それぞれの物体を区別しつつ、物体がある領域をピクセル単位で分割する手法である。また、セマンティックセグメンテーションは、種別ごとに領域を分ける手法である。橋梁２１１の部位は固有の物体として個別に判断できないものが多いことから、本実施形態ではセマンティックセグメンテーションを用いた。

また、境界の決定には、例えば、画像２１０の明暗の相違、影の形状や濃淡、コントラストの違いなどを用いてもよい。さらに、境界の決定の前に、境界決定部２０２は、画像２１０のコントラストや明暗、カラーバランスなどを調整してから境界を決定するようにしてもよい。なお、境界決定部２０２は、決定された境界を境界線として、画像２１０に描画してもよい。このように、境界線を描画することにより、ユーザにとっての視認性が向上するからである。そして、境界決定部２０２は、境界が決定された画像２１０を部位特定部２０３へと送信する。

部位特定部２０３は、決定した境界に基づいて、橋梁２１１の部位を特定する。部位特定部２０３による部位の特定は、例えば、決定された境界によって表される橋梁２１１の部位の形状や大きさなどに基づいて行われる。部位特定部２０３は、特定された部位について、画像２１０中の位置、例えば、部位名データと画像２１０中の座標データ（ｘ，ｙ）とを紐付けて、画像２１０中に記録する。なお、部位名データと座標データとを画像２１０中に記録するのではなく、所定のストレージに記憶しておき、これらのデータを必要に応じて適宜読み出すようにしてもよい。

ここで、部位特定部２０３は、橋梁２１１の部位として、主桁や横桁、縦桁、床版、柱部・壁部、梁部、胸壁、堅壁、支承本体、高欄などを特定する。これらの部位は、橋梁２１１を構成する部位のうち大きな部位や重要な部位である。これの部位のうち、主桁、横桁、縦桁および床版は、上部構造と呼ばれる。また、柱部・壁部および梁部は、橋脚を構成し、胸壁および堅壁は橋台を構成するものであり、これらは下部構造と呼ばれる。さらに、支承本体は、支承部と呼ばれ、高欄は、路上と呼ばれる。なお、これらの部位は、国土交通省の定める「橋梁の定期点検要領」において定義されている。

また、部位特定部２０３は、画像２１０において、上述の部位同士が重なって写っている場合、手前側の部位を優先して特定する。上述の部位同士が重なり合っている場合、手前側に写っている部位の方が、部位の全体が写っているため、機械学習の精度が高くなるからである。

材料特定部２０４は、橋梁２１１の部位の材料を特定する。つまり、橋梁２１１を構成するそれぞれの部位がどのような材料から作られているのかを特定する。材料特定部２０４が特定する材料は、例えば、コンクリートおよび鋼の少なくともいずれか一方を含む。なお、部位の材料が、コンクリートおよび鋼のいずれにも該当しない場合、材料特定部２０４は、例えば、その材料をその他の材料として特定するか、または該当なしとして特定してもよい。

なお、材料特定部２０４による材料の特定方法は、例えば、図３に示す材料特定テーブル２９１を参照して特定する方法がある。図３は、本実施形態に係る損傷特定装置１０４の記憶部２０９に格納される材料特定テーブル２９１の一例について説明するための図である。材料特定テーブル２９１は、図３に示したように、構造物の種類３０１に関連付けて構造物の部位３０２および部位の材料３０３を記憶する。構造物の種類３０１は、例えば、橋梁、電波塔（例えば、日本電波塔など）、ビルなどの屋外に存在する構造物である。構造物の部位は、それぞれの構造物を構成するために必要な小単位や中単位の部位であり、例えば、橋梁２１１であれば、上部構造や下部構造、さらに、これらの下位概念として、主桁、横桁などを含む。部位の材料３０３は、コンクリートおよび鋼である。なお、材料の特定方法は、ここに示した材料特定テーブル２９１を参照する方法には限定されない。

損傷決定部２０５は、屋外構造物１２０の種類として特定された橋梁２１１、橋梁２１１の部位および橋梁２１１の部位の材料に基づいて、橋梁２１１の部位に発生した損傷を決定する。損傷決定部２０５による損傷の決定方法は、例えば、図４に示す損傷決定テーブル２９２を参照して決定する方法がある。

図４は、本実施形態に係る損傷特定装置１０４の記憶部２０９に格納される損傷決定テーブル２９２の一例について説明するための図である。損傷決定テーブル２９２は、部位の材料４０１に関連付けて、損傷４０２を記憶する。部位の材料４０１は、コンクリートおよび鋼を含む。損傷４０２は、部位の材料４０１がコンクリートの場合、剥離、内部構造の露出、漏水・遊離石灰、鉄筋露出および錆汁を含み、部位の材料４０１が鋼の場合、腐食および防食機能低下を含む。そして、損傷決定部２０５は、損傷決定テーブル２９２を参照して、橋梁２１１の部位に発生した損傷を決定する。

図４に示したように、損傷決定テーブル２９２を参照することにより、部位の材料によっては発生しえない損傷を予め排除することができる。例えば、材料が鋼である部位について、部位の一部にチョークによりマーキングを施した場合、チョークを遊離石灰と判断される恐れがあるが、鋼においては、遊離石灰が発生することはないため、材料が鋼である場合、予め遊離石灰という損傷は除外する。また、例えば、材料がコンクリートである部位については、腐食が発生することはないため、材料がコンクリートである場合には、予め腐食という損傷は除外する。ここで、鉄筋露出は、例えば、コンクリートの剥離が相当程度進んで、コンクリート内部の鉄筋が見える状態や、露出した鉄筋が腐食等している状態である。錆汁は、コンクリート内部の鉄筋が腐食してコンクリート表面に染み出たものである。このように、部位の材料４０１がコンクリートの場合であっても、コンクリート内部に含まれる鉄筋等に由来する損傷については、材料４０１がコンクリートの場合であっても、除外せずに、コンクリートの損傷として取り扱う。このように、橋梁２１１の部位とその部位の材料とを紐付けておくことにより、材料によっては発生し得ない損傷を誤って判定することを防止できる。なお、損傷の決定方法は、ここに示した損傷決定テーブル２９２を参照する方法には限定されない。

ここで、損傷決定部２０５により決定される損傷について図５～図８を参照して説明する。図５は、本実施形態に係る損傷特定装置により決定される損傷（腐食）について説明するための図である。

腐食は、塗装やメッキなどによる防食措置が施された普通鋼材では、集中的に錆が発生している状態、または錆が極度に進行し板厚減少や断面欠損（以下「板厚減少等」という）が生じている状態をいう。耐候性鋼材の場合には、保護性錆が形成されず異常な錆が生じている場合や、極度な錆の進行により板厚減少等が著しい状態をいう。

なお、本実施形態においては、板厚減少等をともなう錆の発生を「腐食」とし、板厚減少等を伴わないとみなせる程度の軽微な錆の発生は「防食機能の劣化」とする。板厚減少等の有無の判断が難しい場合には、「腐食」とする。耐候性鋼材で保護錆が生じるまでの期間は、錆の状態が一様でなく異常腐食かどうかの判断が困難な場合があるものの、板厚減少等を伴わないとみなせる程度の場合には「防食機能の劣化」とする。

ボルトの場合も同様に、減肉等を伴う錆の発生を腐食として扱い、減肉等を伴わないとみなせる程度の軽微な錆の発生は「防食機能の劣化」とする。

損傷の程度の判定は、例えば、国土交通省の定める（「橋梁定期点検要領」）においては、程度（ａ～ｅ）は、損傷の深さおよび損傷の面積の組み合わせで判定される。例えば、損傷がなければａと判定され、損傷の深さおよび損傷の面積がいずれも小さい場合、ｂと判定され、損傷の深さが小さく、損傷の面積が大きい場合、ｃと判定される。さらに、損傷の深さが大きく、損傷の面積が小さい場合、ｄと判定される。損傷の深さおよび損傷の面積のいずれもが大きい場合、ｄと判定される（図５の右図の参考写真参照）。

また、深さについて、深さが大きいとは、鋼材表面に著しい膨張が生じている、または明らかな板厚減少等が視認できることであり、深さが小さいとは、錆が表面的であり、著しい板厚減少等は視認できないことである。さらに、大きさについて、面積が大きいとは、部位の全体に錆が生じている、または部位に広がりのある発錆箇所が複数あることであり、面積が小さいとは、損傷箇所の面積が小さく局部的であることである。

次に、防食機能の劣化について説明する。図６は、本実施形態に係る損傷特定装置により決定される損傷（防食機能の劣化）について説明するための図である。まず、鋼部材を対象として、防食機能の劣化の一般的性状や損傷の特徴について説明する。分類１の「塗装」においては、防食塗膜の劣化が特徴となる。分類２の「めっき、金属溶射」においては、防食皮膜が劣化することによる変色、ひびわれ、ふくれ、はがれが生じることが特徴となる。分類３の「耐候性鋼材」においては、保護性錆が形成されていないことが特徴となる。

この損傷に対して、他の損傷との関係について説明する。塗装、溶融亜鉛めっき、金属溶射において、板厚減少等を伴う錆の発生を「腐食」とする。板厚減少等を伴わないとみなせる程度の軽微な錆の発生は、「防食機能の劣化」とする。耐候性鋼材においては、板厚減少を伴う異常錆が生じた場合に「腐食」とし、粗い錆やウロコ状の錆が生じた場合は、「防食機能の劣化」とする。

損傷の程度の判定は、例えば、国土交通省の定める（「橋梁定期点検要領」）においては、程度（ａ～ｅ）は、一般的性状に応じて定められている。例えば、分類１の「塗装」については、損傷がなければａと判定され、一般的性状として、最外層の防食塗膜に変色が生じたり、局所的なうきが生じたりしている場合には、ｃと判定される。また、部分的に防食塗膜が剥離し、下塗りが露出している場合には、ｄと判定される。さらに、防食塗膜の劣化範囲が広く、点錆が発生している場合には、ｅと判定される。

次に、分類２の「めっき、金属溶射」については、損傷がなければａと判定され、局所的に防食皮膜が劣化し、点錆が発生している場合には、ｃと判定される。また、防食皮膜の劣化範囲が広く、点錆が発生している場合には、ｅと判定される。次に、分類３の「耐候性鋼材」については、損傷がなければａと判定され、損傷はないが、補正錆は生成されていない状態の場合には、ｂと判定される。また、錆の大きさが１～５ｍｍ程度で粗い場合には、ｃと判定され、錆の大きさが５～２５ｍｍ程度のうろこ状であれば、ｄと判定される。錆の層状剥離がある場合には、ｅと判定される（図６の右図の参考写真参照）。

図７は、本実施形態に係る損傷特定装置により決定される損傷（剥離・鉄筋露出）について説明するための図である。まず、剥離・鉄筋露出の一般的性状や損傷の特徴について説明する。コンクリート部材の表面が剥離している状態を剥離とし、剥離部で鉄筋が露出している状態を鉄筋露出とする。

この損傷に対して、他の損傷との関係について説明する。「剥離・鉄筋露出」には、露出した鉄筋の腐食や破断などを含むものとし、「腐食」、「破断」などの損傷とはしない。床版に生じた剥離・鉄筋露出も含めるものとする。

損傷の程度の判定は、例えば、国土交通省の定める（「橋梁定期点検要領」）においては、程度（ａ～ｅ）は、一般的性状に応じて定められている。損傷がない場合には、ａと判定される。剥離のみが生じている場合にはｃと判定される。鉄筋が露出しているが、鉄筋の腐食は軽微である場合、ｄと判定される。鉄筋が露出しており、鉄筋が著しく腐食または破断している場合、ｅと判定される（図７の右図の参考写真参照）。

図８は、本実施形態に係る損傷特定装置により決定される損傷（漏水・遊離石灰）について説明するための図である。まず、漏水・遊離石灰について、一般的性状や損傷の特徴について説明する。漏水・遊離石灰は、コンクリートの打継目やひびわれ部等から、水や石灰分の滲出や漏出が生じている状態をいう。

この損傷に対して、他の損傷との関係について説明する。排水不良などでコンクリート部材の表面を伝う水によって発生している析出物は、遊離石灰とは区別する。また、外部から供給されそのままコンクリート部材の表面を流れている水は、漏水・滞水とする。ひびわれ、うき、剥離など他の損傷にも該当するコンクリートの損傷については、それぞれの項目にも該当するものとする。

損傷の程度は、例えば、国土交通省の定める（「橋梁定期点検要領」）においては、程度（ａ～ｅ）は、一般的性状に応じて定められている。損傷がない場合には、ａと判定される。ひびわれから漏水が生じているが、錆汁や遊離石灰はほとんど見られない場合には、ｃと判定される。ひびわれから遊離石灰が生じているが、錆汁はほとんど見られない場合には、ｄと判定される。ひびわれから著しい漏水や遊離石灰（例えば、つらら状）が生じている、または漏水に著しい泥や錆汁の混入が認められる場合には、ｅと判定される（図８の右図の参考写真参照）。なお、損傷決定部２０５は、損傷の決定の他に、損傷の程度を決定してもよい。損傷の程度の決定には、上述のａ～ｅまでのランクを用いてもよいが、ランク分けの方法はこれには限定されない。

モデル生成部２０６は、損傷決定部２０５により決定された損傷に対して、決定された損傷のそれぞれを識別可能な識別子（ＩＤ：Identifier）を付与する。モデル生成部２０６は、識別子として、例えば、損傷の範囲（大きさ）、その損傷の名称、損傷の属性（古い、新しい、色）などを画像２１０に付与する。なお、この識別子は、画像２１０に直接付与しても、所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。

そして、モデル生成部２０６は、付与した識別子、屋外構造物１２０の種類（橋梁２１１）、橋梁２１１の部位および決定された損傷を有する画像２１０（正解画像）と、画像２１０（元の画像）とを人工知能に入力して機械学習させる。人工知能による機械学習が終了すると、モデル生成部２０６は、学習済み損傷特定モデルを生成する。なお、モデル生成部２０６は、生成した学習済み損傷特定モデルを記憶部２０９に保存しておいてもよい。この場合、新たな学習用画像（画像２１０）を取得して、機械学習を行い、学習済み損傷特定モデルを生成するたびに、保存された学習済み損傷特定モデルを更新するようにしてもよい。

また、モデル生成部２０６は、橋梁２１１の部位の材料がコンクリートの場合と鋼の場合とに分けて、学習済み損傷特定モデルを生成してもよい。つまり、モデル生成部２０６は、材料がコンクリートの場合に、橋梁２２１の部位に発生している損傷を特定するための学習済みコンクリート損傷特定モデルを生成してもよい。同様に、モデル生成部２０６は、材料が鋼の場合に、橋梁２２１の部位に発生している損傷を特定するための学習済み鋼損傷特定モデルを生成してもよい。

このように、材料に応じた学習済み損傷特定モデルを生成しておくことで、後に行われる損傷特定において、材料が鋼の場合、コンクリートに発生する損傷を排除した上で、鋼に発生する損傷を特定できる。同様に、材料がコンクリートの場合、鋼に発生する損傷を排除した上で、コンクリートに発生する損傷を特定できる。このように、損傷特定モデルを部位の材料に応じて生成しておくことで、精度が高い損傷の特定を短時間で行うことが可能となる。

人工知能による機械学習は、既知のアルゴリズムを用いて行われる。本実施形態では、例えば、ＰＳＰＮｅｔを用いて行われる。ＰＳＰＮｅｔは、従来のセマンティックセグメンテーションモデルと比較して、広域に分布する特徴をより高性能に検出できるアルゴリズムである。橋梁２１１の画像２１０においては、橋梁２１１の局所的な画像の中に部位が広範に分布していることが多くあり、広域に分布する部位の形状を検出モデルとして適していと考えられる。なお、機械学習において、損失関数は重みなしとした。

また、モデル生成部２０６は、人工知能による機械学習の精度を向上させて、より精度の高い損傷特定モデルを生成するために、人工知能に学習させる画像２１０の枚数を水増しして増加させる。モデル生成部２０６は、例えば、拡大、回転および反転のいずれか１つを用いて水増しデータを得る。

また、モデル生成部２０６は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法である。本実施形態においては、２２種のセマンティックセグメンテーションにてラベル付けしている画像データセットPascal VOC2012 Semantic Segmentation Datasetを用いて転移学習を行った。

受付部２０７は、橋梁２２１の画像２２０の有力を受け付ける。本実施形態では、受け付ける画像２２０は、ドローン１０２により撮像された画像であるが、橋梁２２１の撮像方法はドローン１０２には限定されない。

損傷特定部２０８は、モデル生成部２０６で生成した学習済み損傷特定モデルを用いて、受付部２０７が受け付けた画像２２０中の橋梁２２１の部位に発生している損傷を特定する。損傷特定部２０８においては、受け付けた画像２２０において、学習済み損傷特定モデルを用いて、画像２２０に写っている損傷と学習済み損傷特定モデルにおける損傷との相関関係により、橋梁２２１の部位に発生している損傷が特定される。損傷特定部２０８は、橋梁２２１の部位に発生している損傷として、学習済み損傷特定モデルにおける損傷との相関度が高いものを損傷として特定する。その後、損傷特定装置１０４は、結果画像２３０を出力する。

図９は、本実施形態に係る損傷特定装置１０４による学習済み損傷特定モデル生成の手順を説明するためのフローチャートである。図１０は、本実施形態に係る損傷特定装置１０４による損傷特定の手順を説明するためのフローチャートである。図９および図１０に示したフローチャートは、損傷特定装置１０４の不図示のＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を用いて実行し、図２に示した損傷特定装置１０４の各機能構成を実現する。

まず、図９を参照して、人工知能による機械学習により、学習済み損傷特定モデルを生成する処理について説明する。ステップＳ９０１において、画像取得部２０１は、橋梁２１１の画像２１０を取得する。ステップＳ９０３において、境界決定部２０２は、取得した画像２１０中の橋梁２１１の部位の境界を決定する。ステップＳ９０５において、部位特定部２０３は、橋梁２１１の部位を特定する。ステップＳ９０７において、材料特定部２０４は、部位の材料を特定する。

ステップＳ９０９において、損傷決定部２０５は、橋梁２１１の部位の材料が鋼かコンクリートかを判定する。材料が鋼と判定された場合、損傷決定部２０５は、ステップＳ９１１へ進む。ステップＳ９１１において、損傷決定部２０５は、部位の材料が、鋼であるので、コンクリートに発生する損傷、すなわち、鋼には発生することのない損傷を予め排除して、鋼に発生する損傷を特定する。

ステップＳ９０９において、材料がコンクリートと判定された場合、損傷決定部２０５は、ステップＳ９１３へ進む。ステップＳ９１０３において、損傷決定部２０５は、部位の材料がコンクリートであるので、鋼に発生する損傷、すなわち、コンクリートには発生することのない損傷を予め排除して、コンクリートに発生する損傷を特定する。

ステップＳ９１５において、モデル生成部２０６は、部位や損傷が特定された画像（正解画像）と元画像（画像２１０）とを人工知能に入力して機械学習させる。ステップＳ９１７において、モデル生成部２０６は、取得した画像２１０の全てについて、機械学習が終了したか否かを判断する。機械学習が終了していないと判断した場合（ステップＳ９１７のＮＯ）、損傷特定装置１０４は、ステップＳ９０３へ戻る。機械学習が終了したと判断した場合（ステップＳ９１７のＹＥＳ）、損傷特定装置１０４は、ステップＳ９１９へと進む。ステップＳ９１９において、モデル生成部２０６は、学習済み損傷特定モデルを生成する。なお、モデル生成部２０６は、部位の材料の種類に応じた学習済み損傷特定モデルを生成してもよい。

次に、図１０を参照して、生成した学習済み損傷特定モデルを用いて新たに取得した画像２２０中の橋梁２２１の部位に発生している損傷を特定する処理について説明する。ステップＳ１００１において、受付部２０７は、橋梁２２１の画像２２０の入力を受け付ける。ステップＳ１００３において、損傷特定部２０８は、モデル生成部２０６が生成した学習済み損傷特定モデルを用いて、橋梁２２１の部位に発生している損傷を特定する。ステップＳ１００５において、損傷特定装置１０４は、特定した結果を出力する。ステップＳ１００７において、受付部２０７が受け付けた画像２２０の全てについて、結果の出力が終了したか否かを判断する。全ての画像２２０について、結果の出力が終了していないと判断した場合（ステップＳ１００７のＮＯ）、損傷特定装置１０４は、ステップＳ１００３へ戻る。全ての画像２２０について、結果の出力が終了していると判断した場合（ステップＳ１００７のＹＥＳ）、損傷特定装置１０４は、処理を終了する。

次に、図１１を参照して、損傷特定装置１０４により生成された学習済み損傷特定モデルの評価について説明する。図１１は、本実施形態に係る損傷特定装置により生成された学習済み損傷特定モデルの評価について説明するための図である。学習済み損傷特定モデルの評価は、再現率を用いて行った。

ここで、再現率は、クラスｉに属する画素のうち、正しくｉと判定された画素の割合で表されるものである。再現率は、再現率＝ＴＰ／（ＴＰ＋ＦＮ）と表される。ここで、ＴＰ（True Positive）は、正解が正であるものを正しく正と予測できた数であり、ＦＮ（False Negative）は、正解が正であるものを間違って負と予測した数である。再現率は、検知したいものが検知されているか否かを評価したい場合に用いられる指標であり、見逃しに対してどれだけ強いかを評価できる指標である。

図１１に示したように、それぞれの損傷の再現率は、腐食または防食機能の劣化では、５９．１％、漏水・遊離石灰では、４９．６％、剥離・鉄筋露出では、２６．４％となった。なお、ここでは、評価の指標として、再現率を用いて説明をしたが、評価の指標は再現率には限定されない。評価の指標は、例えば、ＩｏＵ（Intersection over Union）やＭｅａｎＩｏＵなどであってもよい。

なお、上述の説明では、屋外構造物１２０として橋梁２１１を例に説明したが、屋外構造物１２０はこれには限定されず、例えば、電波塔（日本電波塔（東京タワー）、東京スカイツリー（登録商標））やビルなどにも適用できる。この場合、損傷特定装置１０４は、例えば、図１２に示す屋外構造物テーブル１２００を参照して、屋外構造物の種類などを特定する。屋外構造物テーブル１２００は、屋外構造物の種類１２０１に関連付けて部位１２０２を記憶する。損傷特定装置１０４は、屋外構造物テーブル１２００を参照して、それぞれの屋外構造物の種類や部位などを特定する。なお、損傷特定装置１０４は、画像中の屋外構造物の形状（シルエット）、大きさなどから屋外構造物の種類１２０１を特定する。また、屋外構造物の画像に位置情報（例えば、ＧＰＳデータ）などのメタデータを付与しておき、この位置情報なども加味して屋外構造物の種類１２０１を特定してもよい。さらに、橋梁には、例えば、桁橋、トラス橋、アーチ橋、ラーメン橋、斜張橋、吊り橋などが含まれるが、本実施形態の損傷特定装置１０４は、いずれの橋梁であっても適用できる。

本実施形態によれば、屋外構造物の部位に発生した損傷を容易に特定することができるので、屋外構造物の劣化を容易に診断することができる。また、屋外構造物の部位とその部位の材料とを紐付けているため、材料によっては発生し得ない損傷や劣化を予め排除できるので、損傷特定や劣化診断を高い精度で行うことができる。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

Claims (11)

1. 第１屋外構造物の第１画像を取得する画像取得部と、
   取得した前記第１画像中の前記第１屋外構造物の境界および前記第１屋外構造物の部位の境界を決定する境界決定部と、
   決定した前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する部位特定部と、
   特定された前記第１屋外構造物の部位の材料を特定する材料特定部と、
   特定された前記第１屋外構造物の種類、特定された前記第１屋外構造物の部位および特定された前記第１屋外構造物の部位の材料に基づいて、特定された前記第１屋外構造物の部位に発生した損傷を決定する損傷決定部と、
   決定された前記損傷のそれぞれを識別可能な識別子を付与して、前記第１屋外構造物の種類、前記第１屋外構造物の前記部位および決定された前記損傷とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
   第２屋外構造物の第２画像の入力を受け付ける受付部と、
   前記モデル生成部で生成した前記学習済み損傷特定モデルを用いて、前記第２屋外構造物の部位に発生している損傷を特定する損傷特定部と、
   を備えた損傷特定装置。
2. 前記モデル生成部は、特定された前記材料ごとに学習済み損傷特定モデルを生成する請求項１に記載の損傷特定装置。
3. 前記材料特定部は、前記材料として、コンクリートおよび鋼の少なくともいずれか一方を特定する請求項１または２に記載の損傷特定装置。
4. 前記材料特定部が、前記材料としてコンクリートを特定した場合、前記損傷特定部は、前記損傷として、剥離、内部構造の露出、漏水・遊離石灰、鉄筋露出および錆汁の少なくともいずれかを特定し、
   前記モデル生成部は、コンクリート材料用学習済み損傷特定モデルを生成する請求項１～３のいずれか１項に記載の損傷特定装置。
5. 前記材料特定部が、前記材料として鋼を特定した場合、前記損傷特定部は、前記損傷として、腐食および防食機能の低下の少なくともいずれかを特定し、
   前記モデル生成部は、鋼材料用学習済み損傷特定モデルを生成する請求項１～３のいずれか１項に記載の損傷特定装置。
6. 前記境界決定部は、セマンティックセグメンテーションを用いて、前記第１屋外構造物の境界および前記第１屋外構造物の部位の境界を特定する請求項１～５のいずれか１項に記載の損傷特定装置。
7. 前記モデル生成部は、PSPNetを用いて前記学習済み損傷特定モデルを生成する請求項１～６のいずれか１項に記載の損傷特定装置。
8. 前記モデル生成部は、水増しデータとして、拡大、回転および反転のいずれか１つを用いて前記学習済み損傷特定モデルを生成する請求項１～７のいずれか1項に記載の損傷特定装置。
9. 前記モデル生成部は、転移学習を用いて前記学習済み損傷特定モデルを生成する請求項１～８のいずれか1項に記載の損傷特定装置。
10. 第１屋外構造物の第１画像を取得する画像取得ステップと、
    取得した前記第１画像中の前記第１屋外構造物の境界および前記第１屋外構造物の部位の境界を決定する境界決定ステップと、
    決定した前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する部位特定ステップと、
    特定された前記第１屋外構造物の部位の材料を特定する材料特定ステップと、
    特定された前記第１屋外構造物の種類、特定された前記第１屋外構造物の部位および特定された前記第１屋外構造物の部位の材料に基づいて、特定された前記第１屋外構造物の部位に発生した損傷を決定する損傷決定ステップと、
    決定された前記損傷のそれぞれを識別可能な識別子を付与して、前記第１屋外構造物の種類、前記第１屋外構造物の前記部位および決定された前記損傷とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
    第２屋外構造物の第２画像の入力を受け付ける受付ステップと、
    前記モデル生成ステップにおいて生成した前記学習済み損傷特定モデルを用いて、前記第２屋外構造物の部位に発生している損傷を特定する損傷特定ステップと、
    を含む損傷特定方法。
11. 第１屋外構造物の第１画像を取得する画像取得ステップと、
    取得した前記第１画像中の前記第１屋外構造物の境界および前記第１屋外構造物の部位の境界を決定する境界決定ステップと、
    決定した前記境界に基づいて、前記第１屋外構造物の種類および前記第１屋外構造物の部位を特定する部位特定ステップと、
    特定された前記第１屋外構造物の部位の材料を特定する材料特定ステップと、
    特定された前記第１屋外構造物の種類、特定された前記第１屋外構造物の部位および特定された前記第１屋外構造物の部位の材料に基づいて、特定された前記第１屋外構造物の部位に発生した損傷を決定する損傷決定ステップと、
    決定された前記損傷のそれぞれを識別可能な識別子を付与して、前記第１屋外構造物の種類、前記第１屋外構造物の前記部位および決定された前記損傷とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
    第２屋外構造物の第２画像の入力を受け付ける受付ステップと、
    前記モデル生成ステップにおいて生成した前記学習済み損傷特定モデルを用いて、前記第２屋外構造物の部位に発生している損傷を特定する損傷特定ステップと、
    をコンピュータに実行させる損傷特定プログラム。
    

Images