JP7471570B2 - 建物構造物診断システム - Google Patents

Description

本発明は、建物構造物診断システムに関する。

大規模の災害や昨今のリノベーションブームなどを背景に、建物や構造物の外観及び内装を診断するための診断システムについてニーズが高まっている。

例えば、特許文献１には、表示装置に表示している点検対象の設備に係る画像に対して、ひび割れ、剥離、腐蝕の状態などを示す情報（対象設備損傷情報）をユーザの操作に基づいて対応付けるシステムが開示されている。

特開２０１８－５６６１号公報

特許文献１には、入力画面に表示されている画像に撮影されているひび割れの位置を入力する際に、そのひび割れの位置をユーザの指でなぞることが記載されている。
しかし、この方法でひび割れの位置を特定すると、ユーザの誤操作によって間違った位置が登録されることが懸念される。また、ひび割れの位置の全部を指でなぞらなくては正確な位置が登録できないため、作業コストの観点からも未だ改善の余地を残していた。

本発明は、上記の課題に鑑みなされたものであり、建物や構造物に生じた損傷部（ひび割れ等）に関する診断作業の効率を向上させることができる建物構造物診断システムを提供するものである。

本発明によれば、建物又は構造物を撮影した画像を取得する取得手段と、前記取得手段によって取得した画像を表示する表示手段と、前記表示手段によって表示されている画像を編集する編集手段と、前記編集手段による編集が行われた編集画像を診断する診断手段と、を備え、前記編集手段は、前記表示手段によって表示されている画像に撮影されている輪郭を抽出する輪郭抽出処理を実行する輪郭抽出手段と、前記輪郭抽出手段によって抽出された輪郭に基づいて、前記表示手段が表示している画像に撮影されている損傷部を特定する損傷特定手段と、前記損傷特定手段によって特定された損傷部をマーキングする編集処理を行うマーキング手段と、を有しており、前記編集手段は、前記表示手段が表示している画像に撮影されている輪郭を抽出する第一の輪郭抽出処理と、前記第一の輪郭抽出処理によって抽出された輪郭のうち、第一面積以上の領域が含まれる領域を損傷部の候補とする第一処理と、前記第一処理によって特定された損傷部の候補を引き伸ばし、引き伸ばした損傷部の候補と別の損傷部の候補が重複すると、統合して単独の損傷部の候補として特定する第二処理と、前記第二処理によって特定された損傷部の候補を含む画像に撮影されている輪郭を抽出する第二の輪郭抽出処理と、前記第二の輪郭抽出処理によって抽出された輪郭のうち、前記第一面積より大きい第二面積以上の領域が含まれる領域を損傷部の候補とする第三処理と、少なくとも前記第一の輪郭抽出処理、前記第一処理、前記第二処理、前記第二の輪郭抽出処理、前記第三処理を経て特定された損傷部をマーキングする前記編集処理と、を含む一連の処理を、一つのアイコンに対する操作に応じて自動的に行い、前記診断手段は、前記編集処理によってマーキングされた損傷部に関する損傷の度合いについて診断を行う、建物構造物診断システムが提供される。

上記の発明によれば、表示手段に表示されている画像に撮影されている損傷部を、編集手段が自動的に特定してマーキングした上で、診断手段がマーキングされた損傷部について損傷の度合いを診断するので、損傷部の位置を特定する作業やマーキングする作業、その損傷部を診断する作業について効率を向上させることができる。

本発明によれば、建物や構造物に生じた損傷部（ひび割れ等）に関する診断作業の効率を向上させることができる建物構造物診断システムが提供される。

本発明の実施形態におけるシステム構成図である。 通信端末の表示画面の具体例を示す図である。 通信端末の表示画面の具体例を示す図である。 図３に図示されるカメラアイコンに関する説明図である。 通信端末の表示画面の具体例を示す図である。 通信端末の表示画面の具体例を示す図である。 損傷部を特定する一連の処理のフローチャートである。 損傷部を特定する処理による対象画像の変化を示す模式図である。 損傷部を特定する処理による対象画像の変化を示す模式図である。 損傷部を特定する処理による対象画像の変化を示す模式図である。 本発明に係る編集処理前の画像を示す図である。 本発明に係る編集処理後の画像を示す図である。 図１１に示す画像の撮影環境を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。

＜本発明のシステム構成について＞
先ず、本発明のシステム構成について説明する。
図１は、本発明の実施形態におけるシステム構成図である。

本発明に係る建物構造物診断システム１００は、通信端末２０と、サーバ装置３０と、を備える。
なお、通信端末２０及びサーバ装置３０は、ネットワーク１０を介して互いに通信可能に接続している。

ネットワーク１０は、インターネットやローカルネットワーク（ＬＡＮ）等のコンピュータネットワークであり、複数のコンピュータ装置（本実施形態では、通信端末２０とサーバ装置３０）を通信接続する。

通信端末２０は、通信手段（不図示）を有するコンピュータ装置であり、他にも、画像撮影手段２１と、操作入力手段２２と、表示手段２３と、を備える。
画像撮影手段２１は、いわゆるカメラ機能であり、撮影することによって画像を取得する手段である。ただし、画像撮影手段２１によって撮影される画像の被写体は、本発明の実施においては、建物や構造物である必要がある。
操作入力手段２２は、後述する種々の機能を発揮させる為に、ユーザの操作を受け付ける手段である。
表示手段２３は、画像撮影手段２１によって撮影された画像を表示したり、操作入力手段２２の操作を促す案内やアイコン等を表示したり、する手段である。

なお、本実施形態に係る通信端末２０は、いわゆるタッチパネル装置であり、操作入力手段２２を実現するタッチパッドと、表示手段２３を実現する液晶表示装置と、が一体的に構成されているものとして以下説明するが、これらが別々の装置として実現される実施例（例えば、操作入力手段２２がポインティングデバイスとして実現され、表示手段２３が液晶表示装置として実現されている等）によって本発明が実施されてもよい。

サーバ装置３０は、通信手段（不図示）を有するコンピュータ装置であり、他にも、記憶手段３１と、編集手段３２と、診断手段３３と、画像図面対応手段３４と、を備える。
記憶手段３１は、画像撮影手段２１によって撮影された画像や、被写体である建物又は構造物に関する図面（以下、建物構造図面と称する場合がある）を記憶している手段である。
編集手段３２は、表示手段２３に表示されている画像に対して編集処理を行う手段である。編集手段３２による編集処理は、操作入力手段２２が受け付けたユーザの操作に基づくものについては後述するが、その他の編集処理が含まれてもよい。
診断手段３３は、編集手段３２によって編集された画像（以下、編集画像と称する場合がある）を診断する手段である。
画像図面対応手段３４は、画像撮影手段２１によって撮影された画像と、建物構造図面と、を対応付けて、記憶手段３１に記憶させる手段である。

＜通信端末２０の表示画面について＞
次に、通信端末２０（表示手段２３）に表示される表示画面の具体例について説明する。
図２、図３、図５、及び図６は、通信端末２０の表示画面の具体例を示す図である。
図４は、図３に図示されるカメラアイコンＡ１～Ａ５に関する説明図である。

図２は、サーバ装置３０（記憶手段３１）に格納されている建物構造物図面に関する関連情報（外観写真、住所、一つの建物又は構造物あたりの図面数、最終撮影日時）の一覧を表示する通信端末２０の表示画面である。
ユーザは、この表示画面に表示されている関連情報の中から、調査対象の建物又は構造物に関するものを選択すると、その建物又は構造物に関する建物構造物図面を通信端末２０に表示させることができる。

図３は、サーバ装置３０（記憶手段３１）に格納されている建物構造物図面を表示する通信端末２０の表示画面である。
サーバ装置３０は、通信端末２０からアップロードした画像の撮影位置と撮影方向を示すカメラアイコンを、表示されている建物構造物図面の任意の位置（ユーザの操作に基づいて指定された位置）に対応付けて記憶することができる。
なお、カメラアイコンを建物構造物図面に対応付けるタイミングは、そのカメラアイコンに係る画像をアップロードした以後であればいつでもよい。

カメラアイコンは、カメラの形状を模した図形と、その向き（撮影方向）を表す丸型の図形と、の組み合わせからなる。
例えば、カメラアイコンＡ１は建物構造物図面における左上方向を撮影したことを示しており、カメラアイコンＡ２は建物構造物図面における下方向を撮影したことを示しており、カメラアイコンＡ３は建物構造物図面における右下方向を撮影したことを示しており、カメラアイコンＡ４は建物構造物図面における法線方向（実際の建物では天井方向）を撮影したことを示しており、カメラアイコンＡ５は建物構造物図面における左上方向を撮影したことを示している。

カメラアイコンは、図３の表示画面上に（建物構造物図面に重畳して）配置した後に、ユーザの操作に基づいて、その向きを変更することができる。
例えば、右上を向いているカメラアイコン（図４（ａ）参照）の丸型の図形をクリックした状態で、その丸型の図形を時計回りに移動させると、カメラアイコンが全体的に時計回りに回転し、クリックを解除した時点でその向きが決定される（図４（ｂ）では右下の向きに決定されている）。

図３の表示画面上において、カメラアイコンをダブルクリックすると、そのカメラアイコンに関する画像（そのカメラアイコンが示す撮影位置及び撮影方向で撮影された画像）を表示することができる。

図５及び図６は、カメラアイコンに関する画像とその関連情報を表示する表示である。図５は、当該表示画面を上側にスライドした場合における通信端末２０の表示画面であり、図６は、当該表示画面を下側にスライドした場合における通信端末２０の表示画面である。

図５に示す表示画面には、当該表示画面に表示されている画像に対して実行可能な編集処理及び診断処理に関するアイコンが表示されている。
ここで実行可能な編集処理及び診断処理には、以下が含まれてもよい。
（イ）操作入力手段２２に対するユーザの操作に基づいて、通信端末２０が表示している画像のうち特定の箇所を四角の領域で囲って指定する（この四角の領域を、以下の説明では小領域と称する）。
（ロ）操作入力手段２２に対するユーザの操作に基づいて、通信端末２０が表示している画像に対して自由線を描く。
（ハ）操作入力手段２２に対するユーザの操作に基づいて、通信端末２０が表示している画像に対して文字を記入する。
（ニ）対応するアイコンに対する操作に応じて、通信端末２０が表示している画像を回転又は反転させる。
（ホ）対応するアイコンに対する操作に応じて、通信端末２０が表示している画像の損傷部（例えば、ひび割れ部分）を自動的に特定してマーキングする。
（へ）対応するアイコンに対する操作に応じて、（ホ）でマーキングされた損傷部に関する損傷の度合いを、人工知能によって診断する。
（ト）操作入力手段２２に対するユーザの操作に基づいて、通信端末２０が表示している画像に対して描いた自由線や文字、マーキングを消去する。
なお、上記の（ホ）の編集処理については、後で詳細に説明する。

図６に示す表示画面には、当該表示画面に表示されている画像の撮影に関する情報、並びに、当該画像に対する診断項目が表示されている。
ここで表示される情報や診断項目には、以下が含まれてもよい。
（ａ）その画像が撮影された日時
（ｂ）撮影対象（被写体）となる建物や構造物の名称
（ｃ）その画像が対応付けられている建物構造物図面の識別情報
（ｄ）その画像に撮影されている損傷部に関する情報（損傷の種類やサイズ等）
（ｅ）その画像に撮影されている損傷部に関する損傷の度合い（上記の（へ）の診断処理の結果の他に、ユーザが手入力で定めたものを含む）

上記の（ホ）の処理と（へ）の処理とを実行可能に構成されているので、サーバ装置３０（編集手段３２）は、表示手段２３によって表示されている画像に撮影されている輪郭を抽出する輪郭抽出手段と、輪郭抽出手段によって抽出された輪郭に基づいて、表示手段２３が表示している画像に撮影されている損傷部を特定する損傷特定手段と、損傷特定手段によって特定された損傷部をマーキングする編集処理を行うマーキング手段と、を有しているものと言える。そして、サーバ装置３０（診断手段３３）は、少なくともマーキング手段によってマーキングされた損傷部に関する損傷の度合いについて診断を行うものと言える。

なお、上記の診断処理は、一つの画像に撮影されている損傷部に関する損傷の度合いについて診断することのみ言及したが、次のような処理によって撮影対象となる建物全体又は構造物全体の診断についても診断することができる。
すなわち、サーバ装置３０（診断手段３３）は、診断した損傷部に関する損傷の度合いと、建物構造図面に対応付けられた一又は複数の編集画像においてマーキングされている損傷部の数と、に基づいて、当該建物構造図面に係る建物全体又は構造物全体の損傷の度合いを診断してもよい。

＜損傷部を特定してマーキングする処理について＞
次に、サーバ装置３０が損傷部を特定してマーキングする処理（上記の（ホ）の編集処理）について説明する。
図７は、損傷部を特定する一連の処理のフローチャートである。図８～図１０は、損傷部を特定する処理による対象画像の変化を示す模式図である。

サーバ装置３０は、対応するアイコンに対する操作を受け付けると（ステップＳ１１のＹＥＳ）、対象画像に撮影されている輪郭を抽出する（ステップＳ１３）。ただし、対象画像に小領域が設定されている場合には、その小領域内に撮影されている輪郭のみを抽出する。また、対象画像に小領域が設定されていない場合には、その対象画像の範囲内に撮影されている輪郭を抽出する。
更に、サーバ装置３０は、ステップＳ１３において抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、通信端末２０が表示している画像の一部を当該画像に撮影されている損傷部の候補として特定する（以下、この処理を損傷特定処理と称する）（ステップＳ１５）。
サーバ装置３０は、所定の回数の損傷特定処理が終了するまで（ステップＳ１７がＮＯである間）、ステップＳ１３とステップＳ１５を繰り返す。このとき、サーバ装置３０は、損傷特定処理ごとに異なるチューニングパラメータを用いて複数回の損傷特定処理を実行し、損傷特定処理のそれぞれにおいて特定された損傷部の候補に基づいて、当該画像に撮影されている損傷部を定める。
そして、サーバ装置３０は、所定の回数の損傷特定処理が終了すると（ステップＳ１７のＹＥＳ）、その時点で特定された損傷部の候補を、対象画像に撮影されている損傷部としてマーキングする（ステップＳ１９）。

＜損傷部を特定する処理の具体例＞
例えば、図８（ａ）に示す画像が通信端末２０に表示され、当該画像に対してサーバ装置３０が図２に図示する各処理を行って損傷部を特定するケースについて説明する。
ここで本実施形態では、サーバ装置３０は、ユーザによる任意操作によって小領域Ｐ１を設定したものとする。このとき、設定された小領域Ｐ１は、通信端末２０に表示された画像に重畳して図８（ｂ）のように表示される。

なお、本実施形態では、設定された小領域が通信端末２０に表示されるように説明するが、小領域についてはサーバ装置３０が処理可能に設定されれば足り、必ずしもユーザが視認可能に通信端末２０に表示されなくてもよい。
また、本実施形態では、小領域を設定する際に、四角の領域で囲うように説明するが、本発明の実施はこれに限られない。言い換えれば、小領域は通信端末２０に表示されている画像の一部（画像全体より狭い領域）として指定するものであればよく、小領域の形状は四角であることに限られない。

そして、サーバ装置３０は、最終的に損傷部を特定するまで、ステップＳ１３の処理（輪郭抽出処理）と、ステップＳ１５の処理（損傷特定処理）と、を繰り返す。
なお、本実施形態では、輪郭抽出処理と損傷特定処理とをそれぞれ４回繰り返すように、以下説明するが、本発明の実施はこれに限られない。
本発明の実施については、損傷特定処理が複数回実行されれば足り、輪郭抽出処理の実行回数は１回でもよい。また、損傷特定処理は２回以上実行されればよく、４回より少ない実行回数であってもよいし、４回より多い実行回数であってもよい。

先ず、最初に行われる輪郭抽出処理と損傷特定処理について説明する。

サーバ装置３０は、手動で小領域を設定した画像から輪郭を抽出し、抽出した輪郭のうち或る面積以上の領域を損傷部の候補として特定する。なお、この処理の閾値として用いられる面積を、以下の説明では第一面積と称する場合がある。
例えば、図８（ｂ）に例示した画像に対してこの処理を実行した結果を、図９（ａ）に図示する。なお、図９（ａ）において、図８（ｂ）に比べて太線で図示されている箇所（撮影物Ｓ１、撮影物Ｓ２、撮影物Ｓ３）が、この処理によって特定された損傷部の候補である。

次に、サーバ装置３０は、上記の処理によって特定された損傷部の候補に係る領域と、それに隣接するピクセルの明度が似ていれば、隣接するピクセルも損傷部の候補とする。この処理を実行することによって、輪郭抽出処理によって輪郭として抽出できなかったピクセル、又は、輪郭抽出処理によって輪郭のうち第一面積未満のものの中から、新たな損傷部の候補を抽出することができる。
なお、本実施形態では、図９（ａ）に例示した画像に対してこの処理を実行した結果として損傷部の候補となるピクセルの変動はなかったものとする。

続いて、サーバ装置３０は、設定した小領域の明度に基づいて閾値を算出し、当該閾値よりも小さい（明度が暗い）ピクセルを損傷部の候補として残す。ここで、サーバ装置３０が算出する閾値は特に制限されないが、例えば、設定した小領域の明度の平均値と当該明度の標準偏差の差分などを閾値として算出することが好ましい。この処理を実行することによって、輪郭抽出処理によって輪郭として抽出され且つ第一面積以上のものであっても、明度が明るいものについては損傷部の候補から除外することができる。
なお、本実施形態では、図９（ａ）に例示した画像に対してこの処理を実行した結果として損傷部の候補となるピクセルの変動はなかったものとする。

更に、サーバ装置３０は、損傷部の候補を長さ方向に引き伸ばし、引き伸ばした部分に別の損傷部の候補があれば一つの損傷部の候補としてまとめる。
例えば、図９（ａ）に例示した画像に対してこの処理を実行した結果を、図９（ｂ）に図示する。具体的には、図９（ｂ）は、損傷部の候補として特定されている撮影物Ｓ１、撮影物Ｓ２、及び撮影物Ｓ３の撮影領域を長さ方向（各々の撮影物の延在方向）に引き伸ばしている状態を図示するものである。
そして、引き伸ばした撮影物Ｓ１、撮影物Ｓ２、及び撮影物Ｓ３は、互いに延在方向に存在するので、それぞれが統合されて単独の撮影物Ｓ４になる。図１０（ａ）は、統合後の撮影物Ｓ４を図示するものである。
この処理を実行することによって、面積や明度をチューニングパラメータとする処理では拾えないピクセル（本実施形態の事例で言えば、撮影物Ｓ１、撮影物Ｓ２、及び撮影物Ｓ３の間に存在する極小の領域）も、損傷部の候補として特定することができる。
また、ひび割れは、構造物の内部に生じるものであるため、表面上は複数に分かれていても、実際には単独のひび割れであるケースが多々ある。このようなケースであっても、実態に即した特定をすることができる。

次に、２回目に行われる輪郭抽出処理と損傷特定処理について説明する。
サーバ装置３０は、１回目の損傷特定処理を経た画像（図１０（ａ）に図示する画像）に対して、再び輪郭抽出処理を行い、抽出した輪郭のうち、或る面積以上（但し、上記の第一面積より大きい面積）の領域を抽出して損傷部の候補とする。なお、この処理に用いる面積を、以下の説明では第二面積と称する場合がある。
なお、本実施形態では、図１０（ａ）に例示した画像における撮影物Ｓ４は、第二面積以上であるので、上記の処理を実行した結果として損傷部の候補となるピクセルは、図１０（ａ）に例示した画像と同じく撮影物Ｓ４であったものとする。

次に、３回目に行われる輪郭抽出処理と損傷特定処理について説明する。
サーバ装置３０は、２回目の損傷特定処理を経た画像（図１０（ａ）に図示する画像）に対して、再び輪郭抽出処理を行い、抽出した輪郭のうち、或る面積以上（但し、上記の第二面積より大きい面積）、かつアスペクト比が所定値未満の領域を抽出して損傷部の候補とする。ここで所定値は、０を超える値であって１未満であることが好まく、例えば、所定値＝０．５とすることができる。また、この処理に用いる面積を、以下の説明では第三面積と称する場合がある。
なお、本実施形態では、図１０（ａ）に例示した画像における撮影物Ｓ４は、第三面積以上であってアスペクト比が所定値（０．５）以下であるので、上記の処理を実行した結果として損傷部の候補となるピクセルは、図１０（ａ）に例示した画像と同じく撮影物Ｓ４であったものとする。

次に、４回目に行われる輪郭抽出処理と損傷特定処理について説明する。
サーバ装置３０は、３回目の損傷特定処理を経た画像（図１０（ａ）に図示する画像）に対して、再び輪郭抽出処理を行い、抽出した輪郭のうち、或る面積以上（但し、上記の第三面積より大きい面積）の領域を抽出して損傷部の候補とする。なお、この処理に用いる面積を、以下の説明では第四面積と称する場合がある。
そして、サーバ装置３０は、４回目の損傷特定処理において特定された損傷部の候補を、ひび割れであるものとして最終的に判断する。
なお、本実施形態では、図１０（ａ）に例示した画像における撮影物Ｓ４は、第四面積以上であるので、上記の処理を実行した結果として損傷部の候補となるピクセルは、図１０（ａ）に例示した画像と同じく撮影物Ｓ４であったものとする。

以上に説明した輪郭抽出処理と損傷特定処理について、整理する。
１回目に行われる損傷特定処理は、１回目の輪郭抽出処理によって抽出された輪郭のうち、第一面積以上の領域が含まれるか否かをチューニングパラメータとし、当該領域を損傷部の候補とするので、本発明における「第一の損傷特定処理」に相当する処理を含むものと言える。
この処理によって、サーバ装置３０は、抽出した輪郭のうち第一面積未満のものを排除するので、ひび割れとしては微細なものを、損傷部の候補から除くことができる。

２回目の輪郭抽出処理は、１回目の損傷特定処理によって損傷部の候補とされた領域に撮影されている輪郭を抽出している。そして、２回目の損傷特定処理は、１回目の特定処理（第一の損傷特定処理）によって損傷部の候補とされた領域から抽出された輪郭のうち、第二面積以上の領域が含まれるか否かをチューニングパラメータとし、当該領域を損傷部の候補とし、第二面積は、第一面積より大きいので、本発明における「第二の損傷特定処理」に相当する処理を含むものと言える。
この処理によって、サーバ装置３０は、抽出した輪郭のうち第一面積未満のものを排除いた後に第二面積未満のものを排除する。換言すれば、サーバ装置３０は、段階的に判定に用いる面積を広げて、損傷部の候補を段階的に狭めて、その判定精度（ひび割れと判定する妥当性）の向上を図ることができる。

１回目の損傷特定処理における損傷部の候補を引き伸ばす処理は、１回目の損傷特定処理における第一面積をチューニングパラメータとする処理（第一の損傷特定処理）と、２回目の損傷特定処理における第二面積をチューニングパラメータとする処理（第二の損傷特定処理）と、の間に行われる処理である。そして、１回目の損傷特定処理における損傷部の候補を引き伸ばす処理は、他の損傷特定処理によって特定された損傷部の候補を引き伸ばし、引き伸ばした損傷部の候補と別の損傷部の候補が重複すると、統合して単独の損傷部の候補とするので、本発明における「第三の損傷特定処理」に相当する処理であると言える。
この処理によって、複数の損傷部の候補を統合して、それ以降の損傷特定処理に繋げるので、サーバ装置３０は、より包括的な判定によって損傷部の候補を特定することができる。

１回目の特定処理は、１回目の損傷特定処理における第一面積をチューニングパラメータとする処理（他の損傷特定処理）によって損傷部の候補とされた領域に該当するピクセルと、当該ピクセルに隣接するピクセルと、を比較して明度が近似しているか否かをチューニングパラメータとし、明度が近似しているピクセルを損傷部の候補とするので、本発明における「第四の損傷特定処理」に相当する処理を含むであると言える。
この処理によって、面積のみをチューニングパラメータとする処理に比べて、多面的な判定を実現することができ、サーバ装置３０は、特定処理の精度を向上させることができる。

１回目の損傷特定処理は、１回目の損傷特定処理における明度比較をチューニングパラメータとする処理（他の損傷特定処理）によって損傷部の候補とされた領域に含まれるピクセルの明度に基づいて算出した閾値をチューニングパラメータとし、算出した閾値より低い明度のピクセルを損傷部の候補とするので、本発明における「第五の損傷特定処理」に相当する処理であると言える。
この処理によって、面積のみをチューニングパラメータとする処理に比べて、多面的な判定を実現することができ、サーバ装置３０は、損傷特定処理の精度を向上させることができる。

３回目の損傷特定処理（損傷特定手段が実行する損傷特定処理のうち少なくとも一つ）は、アスペクト比が所定値未満の領域であるか否かをチューニングパラメータに含み、当該領域を損傷部の候補とする処理であると言える。
この処理によって、細長い領域であるものをひび割れ候補として残すことができるので、面積のみをチューニングパラメータとする処理に比べて、よりひびの形状として妥当な4ものを損傷部の候補として残すことができ、サーバ装置３０は、損傷特定処理の精度を向上させることができる。

以上に説明したように、サーバ装置３０は、各種処理を組み合わせて実行することによって、画像に撮影されている損傷部を特定してマーキングすることができるので、ユーザが自ら損傷部の位置を特定してマーキングする作業を省くことができる。
特に、図８（ｂ）と図１０（ａ）とを対比すれば明らかであるが、通信端末２０に表示されている画像の一部を囲うように大まかに小領域を設定すれば、損傷部の全体を特定することができるので、ユーザは小領域の設定について細やかに気をつかわずとも、正確に損傷部を特定することができる。

なお、上述の各種処理（特に、輪郭抽出処理及び損傷特定処理）を実現する為に、既知の人工知能処理（機械学習処理）を適用してもよく、本発明の目的に反しない範囲において、その種別は特に制限されない。
また、上述の各種処理の結果として生成される編集画像は教師データとする機械学習によって生成した学習済みモデルを、サーバ装置３０による診断処理に適用してもよい。

＜本発明の実施例について＞
以下、実際の画像に対して本発明に係る編集処理（図７に図示する一連の処理）を実施した事例について説明する。
図１１は、本発明に係る編集処理前の画像を示す図である。図１２は、本発明に係る編集処理後の画像を示す図である。図１３は、図１１に示す画像の撮影環境を示す模式図である。
なお、図１３に図示した矢印Ｂ１は、図１１に示す画像の撮影方向を示すものである。

図１１に示す画像は、アスファルト舗装された地面Ｇ１と、地面Ｇ１より低い位置に存在する地面Ｇ２と、の段差に設けられたコンクリート製の縁石Ｃ１を撮影した画像である。
縁石Ｃ１は、横面Ｃ２の一部にひび割れが生じており、撮影方向（矢印Ｂ１が示す方向）から視て奥行き方向に侵出しており、その様子が上面Ｃ３に生じているひび割れから推定される。

図１１に示す画像には、輪郭として抽出され得るものとして、横面Ｃ２や上面Ｃ３に生じているひび割れの他に、縁石Ｃ１の上縁部Ｃ４や下縁部Ｃ５が撮影されており、多数の細かい線分が撮影されている。
図１２に示す画像において、図１１に比べて濃い色になっている部分が損傷部として特定された部分である。
図１２に示す画像から明らかであるように、本発明に係る編集処理を施せば、損傷部のみが正確に特定され、その他の輪郭として撮影され得る部分は損傷部として特定されない。
従って、本発明は上述した目的を達成したものと言える。

＜変形例＞
以上に説明した本発明の実施形態は、本発明の目的と達成する範囲において、種々の変形が可能である。

本発明の実施は、図１に図示したシステム構成によって実現されるものに限られず、他の構成を採用してもよい。
例えば、通信端末２０が備える手段をサーバ装置３０が備えてもよいし、サーバ装置３０が備える手段を通信端末２０が備えてもよい。
また、図１では、通信端末２０及びサーバ装置３０がそれぞれ１台ずつであるかのように図示したが、一方又は双方共に複数台の装置によって実現されてもよい。
また、図１に図示したシステム構成では、通信端末２０が有する画像撮影手段２１によって診断対象となる画像を取得する実施例としたが、不図示のカメラで撮影した画像を取得してサーバ装置３０に格納する構成に代えてもよい。

図７に基づいて説明した処理手順は、本発明の実施に係る一具体例であって、本発明の目的を達成する範囲において、処理の順序を入れ替える、一部の処理を省く、又は、上述の実施形態で説明していない処理を追加する、等の変更を加えてもよい。

本実施形態は以下の技術思想を包含する。
（１）建物又は構造物を撮影した画像を取得する取得手段と、前記取得手段によって取得した画像を表示する表示手段と、前記表示手段によって表示されている画像を編集する編集手段と、前記編集手段による編集が行われた編集画像を診断する診断手段と、を備え、前記編集手段は、前記表示手段によって表示されている画像に撮影されている輪郭を抽出する輪郭抽出手段と、前記輪郭抽出手段によって抽出された輪郭に基づいて、前記表示手段が表示している画像に撮影されている損傷部を特定する損傷特定手段と、前記損傷特定手段によって特定された損傷部をマーキングする編集処理を行うマーキング手段と、を有しており、前記診断手段は、少なくとも前記マーキング手段によってマーキングされた損傷部に関する損傷の度合いについて診断を行う、建物構造物診断システム。
（２）前記取得手段によって取得した画像の撮影対象である建物又は構造物に関する建物構造図面を記憶している記憶手段と、前記編集画像を前記記憶手段に記憶されている前記建物構造図面に対応付ける画像図面対応手段と、を備え、前記診断手段は、診断した損傷部に関する損傷の度合いと、前記建物構造図面に対応付けられた一又は複数の前記編集画像においてマーキングされている損傷部の数と、に基づいて、当該建物構造図面に係る建物全体又は構造物全体の損傷の度合いを診断する、（１）に記載の建物構造物診断システム。
（３）前記損傷特定手段は、前記輪郭抽出手段によって抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示手段が表示している画像の一部を当該画像に撮影されている損傷部の候補として特定する損傷特定処理を複数回実行し、前記損傷特定処理ごとに異なる前記チューニングパラメータを用いて、前記損傷特定処理のそれぞれにおいて特定された損傷部の候補に基づいて、当該画像に撮影されている損傷部を特定する、（１）又は（２）に記載の建物構造物診断システム。
（４）前記損傷特定手段が実行する第一の前記損傷特定処理は、前記輪郭抽出手段によって抽出された輪郭のうち、第一面積以上の領域が含まれるか否かを前記チューニングパラメータとし、当該領域を損傷部の候補とする、（３）に記載の建物構造物診断システム。
（５）前記輪郭抽出手段は、前記損傷特定処理によって損傷部の候補とされた領域に撮影されている輪郭を抽出し、前記損傷特定手段が実行する第二の前記損傷特定処理は、前記第一の損傷特定処理によって損傷部の候補とされた領域から抽出された輪郭のうち、第二面積以上の領域が含まれるか否かを前記チューニングパラメータとし、当該領域を損傷部の候補とし、前記第二面積は、前記第一面積より大きい、（４）に記載の建物構造物診断システム。
（６）前記損傷特定手段が前記第一の損傷特定処理と前記第二の損傷特定処理の間に行う第三の前記損傷特定処理は、他の前記損傷特定処理によって特定された損傷部の候補を引き伸ばし、引き伸ばした損傷部の候補と別の損傷部の候補が重複すると、統合して単独の損傷部の候補とする、（５）に記載の建物構造物診断システム。
（７）前記損傷特定手段が実行する第四の前記損傷特定処理は、他の前記損傷特定処理によって損傷部の候補とされた領域に該当するピクセルと、当該ピクセルに隣接するピクセルと、を比較して明度が近似しているか否かを前記チューニングパラメータとし、明度が近似しているピクセルを前記損傷部の候補とする、（３）から（６）のいずれか一つに記載の建物構造物診断システム。
（８）前記損傷特定手段が実行する第五の前記損傷特定処理は、他の前記損傷特定処理によって損傷部の候補とされた領域に含まれるピクセルの明度に基づいて算出した閾値を前記チューニングパラメータとし、算出した閾値より低い明度のピクセルを前記損傷部の候補とする、（３）から（７）のいずれか一つに記載の建物構造物診断システム。
（９）前記損傷特定手段が実行する前記損傷特定処理のうち少なくとも一つは、アスペクト比が所定値未満の領域であるか否かを前記チューニングパラメータとし、当該領域を損傷部の候補とする、（３）から（８）のいずれか一つに記載の建物構造物診断システム。

１００ 建物構造物診断システム
１０ ネットワーク
２０ 通信端末
２１ 画像撮影手段
２２ 操作入力手段
２３ 表示手段
３０ サーバ装置
３１ 記憶手段
３２ 編集手段
３３ 診断手段
３４ 画像図面対応手段

Claims (5)

1. 建物又は構造物を撮影した画像を取得する取得手段と、
   前記取得手段によって取得した画像を表示する表示手段と、
   前記表示手段によって表示されている画像を編集する編集手段と、
   前記編集手段による編集が行われた編集画像を診断する診断手段と、
   を備え、
   前記編集手段は、
   前記表示手段によって表示されている画像に撮影されている輪郭を抽出する輪郭抽出処理を実行する輪郭抽出手段と、
   前記輪郭抽出手段によって抽出された輪郭に基づいて、前記表示手段が表示している画像に撮影されている損傷部を特定する損傷特定手段と、
   前記損傷特定手段によって特定された損傷部をマーキングする編集処理を行うマーキング手段と、
   を有しており、
   前記編集手段は、
   前記表示手段が表示している画像に撮影されている輪郭を抽出する第一の輪郭抽出処理と、
   前記第一の輪郭抽出処理によって抽出された輪郭のうち、第一面積以上の領域が含まれる領域を損傷部の候補とする第一処理と、
   前記第一処理によって特定された損傷部の候補を引き伸ばし、引き伸ばした損傷部の候補と別の損傷部の候補が重複すると、統合して単独の損傷部の候補として特定する第二処理と、
   前記第二処理によって特定された損傷部の候補を含む画像に撮影されている輪郭を抽出する第二の輪郭抽出処理と、
   前記第二の輪郭抽出処理によって抽出された輪郭のうち、前記第一面積より大きい第二面積以上の領域が含まれる領域を損傷部の候補とする第三処理と、
   少なくとも前記第一の輪郭抽出処理、前記第一処理、前記第二処理、前記第二の輪郭抽出処理、前記第三処理を経て特定された損傷部をマーキングする前記編集処理と、
   を含む一連の処理を、一つのアイコンに対する操作に応じて自動的に行い、
   前記診断手段は、前記編集処理によってマーキングされた損傷部に関する損傷の度合いについて診断を行う、
   建物構造物診断システム。
2. 前記取得手段によって取得した画像の撮影対象である建物又は構造物に関する建物構造図面を記憶している記憶手段と、
   前記編集画像を前記記憶手段に記憶されている前記建物構造図面に対応付ける画像図面対応手段と、
   を備え、
   前記診断手段は、診断した損傷部に関する損傷の度合いと、前記建物構造図面に対応付けられた一又は複数の前記編集画像においてマーキングされている損傷部の数と、に基づいて、当該建物構造図面に係る建物全体又は構造物全体の損傷の度合いを診断する、
   請求項１に記載の建物構造物診断システム。
3. 前記一連の処理は、他の処理によって損傷部の候補とされた領域に該当するピクセルと、当該ピクセルに隣接するピクセルと、を比較して明度が近似しているか否かを判定し、明度が近似しているピクセルを前記損傷部の候補とする第四処理を含む、
   請求項１又は２に記載の建物構造物診断システム。
4. 前記一連の処理は、他の処理によって損傷部の候補とされた領域に含まれるピクセルの明度に基づいて算出した閾値より低い明度のピクセルを前記損傷部の候補とする第五処理を含む、
   請求項１から３のいずれか一項に記載の建物構造物診断システム。
5. 前記一連の処理は、アスペクト比が所定値未満の領域であるか否かを判定し、当該領域を損傷部の候補とする第六処理を含む、
   請求項１から４のいずれか一項に記載の建物構造物診断システム。

Images