JP7429774B2 - 損傷評価装置、方法及びプログラム - Google Patents

損傷評価装置、方法及びプログラム Download PDF

Info

Publication number
JP7429774B2
JP7429774B2 JP2022519931A JP2022519931A JP7429774B2 JP 7429774 B2 JP7429774 B2 JP 7429774B2 JP 2022519931 A JP2022519931 A JP 2022519931A JP 2022519931 A JP2022519931 A JP 2022519931A JP 7429774 B2 JP7429774 B2 JP 7429774B2
Authority
JP
Japan
Prior art keywords
damage
image
specific
crack
cracks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022519931A
Other languages
English (en)
Other versions
JPWO2021225084A5 (ja
JPWO2021225084A1 (ja
Inventor
修平 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021225084A1 publication Critical patent/JPWO2021225084A1/ja
Publication of JPWO2021225084A5 publication Critical patent/JPWO2021225084A5/ja
Application granted granted Critical
Publication of JP7429774B2 publication Critical patent/JP7429774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は損傷評価装置、方法及びプログラムに係り、特に構造物の施工と関連して発生する構造物の損傷を評価する技術に関する。
従来、新設の構造物の表層部に生じる不具合を目視評価し、施工方法の妥当性検証や施工方法改善に活かしていくことが、提案されている（非特許文献１）。
しかしながら、目視評価のため人により結果がばらつくという問題があり、統一的な基準での自動評価の実現が望まれる。
また、構造物の維持管理及び補修を行うために構造物の点検評価が行われるが、構造物を撮影した画像に基づいて自動的に構造物の損傷を評価する技術が知られている（特許文献１、２）。
特許文献１には、構造物の表面を示す画像を画像解析して構造物の表面のひび割れを検出するとともに、検出したひび割れの特徴量（ひび割れの方向、長さ、幅、エッジの強度、及びエッジの密度等）を検出し、検出した特徴量に基づいて各ひび割れをグルーピングし、ひび割れを塗り潰したひび割れ画像を表示させる際に、グループごとに異なる線種又は色を用いてひび割れ画像を表示させる画像処理方法が記載されている。
また、特許文献２には、時系列的に取得されたトンネル覆工面画像を対比し、数ｍｍ程度変化したひび割れでも認識できるように、今回のトンネル覆工面画像を補正することができるトンネル覆工面画像の補正方法が記載されている。
特許文献２に記載のトンネル覆工面画像の補正方法は、トンネル覆工面における位置不変の設置物又は目地を検出し、異なる時系列画像同士で設置物又は目地の位置を一致させる画像処理を行い、位置が正規化されたトンネル覆工面画像を生成することで、変状の時系列管理に用いるトンネル覆工面画像を補正する。
特開２０２０－３８２２７号公報 特開２０１５－１０５９０５号公報
コンクリート構造物の品質確保の手引き（案）、平成２７年１２月、（p.17-20, 国土交通省東北地方整備局）、インターネット＜http://www.thr.mlit.go.jp/road/sesaku/tebiki/kyoukyaku.pdf＞
ところで、構造物の損傷、劣化には、構造物の施工に起因して発生するものがある。
特許文献１には、構造物の表面のひび割れを、検出したひび割れの特徴量に基づいてグルーピングする記載があるが、構造物の施工に関連して発生する損傷を選別する記載はない。
また、特許文献２には、コンクリート構造物のひび割れとともに、目地を検出する記載があるが、位置不変の目地は、前回のトンネル覆工面画像と今回のトンネル覆工面画像とを一致させる画像処理（アフィン変換）を行うために使用するものであり、損傷を選別するために使用されるものではない。
本発明はこのような事情に鑑みてなされたもので、構造物の施工と関連して発生する構造物の表層の損傷を自動評価することができる損傷評価装置、方法及びプログラムを提供することを目的とする。
上記目的を達成するために第１態様に係る発明は、プロセッサを備えた構造物の損傷評価装置であって、プロセッサは、構造物を撮影した画像を取得する画像取得処理と、取得した画像に基づいて構造物の損傷を検出する損傷検出処理と、取得した画像に基づいて構造物の施工に関連した構造物特徴領域を検出する特徴領域検出処理と、検出した損傷のうち、検出した構造物特徴領域と関連性のある特定損傷を選別する選別処理と、選別した特定損傷の情報を出力する情報出力処理と、を行う。
本発明の第１態様によれば、構造物を撮影した画像に基づいて検出した損傷のうち、構造物の施工に関連した構造物特徴領域と関連性のある特定損傷を自動的に選別し、選別した特定損傷の情報を出力するようにしたため、構造物の施工と関連して発生する構造物の表層の損傷を自動評価することができ、施工方法の妥当性の検証や施工方法の改善に活用することができる。
本発明の第２態様に係る損傷評価装置において、損傷検出処理は、画像を入力すると、構造物の損傷ごとに各損傷の領域を認識結果として出力する第１学習済みモデルが実行することが好ましい。
本発明の第３態様に係る損傷評価装置において、構造物の損傷は、構造物のひび割れであり、特定損傷は、構造物のひび割れのうちの構造物の施工に起因して発生した特定ひび割れである。特定ひび割れは、例えば、コンクリート構造物の表層に発生する沈みひび割れ、三日月ひび割れ等である。
本発明の第４態様に係る損傷評価装置において、特徴領域検出処理は、画像を入力すると、構造物特徴領域を認識結果として出力する第２学習済みモデルが実行することが好ましい。
本発明の第５態様に係る損傷評価装置において、構造物特徴領域は、構造物の施工に起因して発生する特定損傷である特定ひび割れに関連する施工跡を示す領域である。特定ひび割れに関連する施工跡は、例えば、コンクリート構造物の表層のＰコン跡、目地、打ち継ぎ目などである。
本発明の第６態様に係る損傷評価装置において、選別処理は、構造物特徴領域と接触する損傷、又は構造物特徴領域と重なる損傷を特定損傷として選別することが好ましい。
本発明の第７態様に係る損傷評価装置において、選別処理は、構造物特徴領域のサイズを膨張させる膨張処理を含み、膨張処理された構造物特徴領域と接触する損傷、又は膨張処理された構造物特徴領域と重なる損傷を特定損傷として選別することが好ましい。構造物特徴領域のサイズを膨張させる割合又は膨張量は、予め設定された値でもよいし、ユーザが適宜設定した値でもよい。
本発明の第８態様に係る損傷評価装置において、プロセッサは、特定損傷のサイズを特定するサイズ特定処理を行うことが好ましい。
本発明の第９態様に係る損傷評価装置において、構造物の損傷は、構造物のひび割れを含み、特定損傷は、構造物のひび割れのうちの構造物の施工に起因して発生した特定ひび割れであり、サイズ特定処理は、特定ひび割れの画像上の長さと、構造物特徴領域の画像上の長さとの相対長さを算出し、算出した相対長さを特定損傷のサイズとすることができる。
本発明の第１０態様に係る損傷評価装置において、構造物の損傷は、構造物のひび割れを含み、特定損傷は、構造物のひび割れのうちの構造物の施工に起因して発生した特定ひび割れであり、サイズ特定処理は、特定ひび割れの画像上の長さと、構造物特徴領域の画像上の長さと、構造物特徴領域の実寸サイズとに基づいて特定損傷の実寸サイズを算出することが好ましい。
本発明の第１１態様に係る損傷評価装置において、構造物の損傷は、構造物のひび割れを含み、特定損傷は、構造物のひび割れのうちの構造物の施工に起因して発生した特定ひび割れであり、画像には、実寸法が既知のスケール基準を有する構造物が撮影され、サイズ特定処理は、特定ひび割れの画像上の長さと、スケール基準の画像上の長さとに基づいて特定損傷の実寸サイズを算出することが好ましい。
本発明の第１２態様に係る損傷評価装置において、構造物の損傷は、構造物のひび割れを含み、特定損傷は、構造物のひび割れのうちの構造物の施工に起因して発生した特定ひび割れであり、サイズ特定処理は、特定ひび割れの画像上の長さと、画像を撮影したカメラの撮影条件及びカメラ情報とに基づいて特定損傷の実寸サイズを算出することが好ましい。カメラの撮影条件には、例えば、カメラと特定ひび割れとの距離が含まれ、カメラ情報には、例えば、焦点距離、イメージセンサのサイズ、画素数、又は画素ピッチが含まれる。
本発明の第１３態様に係る損傷評価装置において、情報出力処理は、特定損傷の属性に応じて各特定損傷を識別可能に出力することが好ましい。特定損傷の属性には、損傷の長さ、幅、面積などが含まれる。また、特定損傷の属性に応じて各特定損傷を色分け、線種の違いなどにより識別可能にすることが好ましい。
本発明の第１４態様に係る損傷評価装置において、情報出力処理は、特定損傷の属性に応じて、特定損傷に対応する構造物特徴領域を識別可能に出力することが好ましい。
本発明の第１５態様に係る損傷評価装置において、プロセッサは、構造物特徴領域の総数と特定損傷に対応する構造物特徴領域の個数との割合を算出し、情報出力処理は、算出した割合を出力することが好ましい。
本発明の第１６態様に係る損傷評価装置において、プロセッサは、ユーザにより操作される操作部から、検出した損傷の検出結果及び検出した構造物特徴領域の検出結果のうちの少なくとも一方の編集指示を受け付ける編集指示受付処理と、受け付けた編集指示にしたがって検出結果を編集する編集処理と、を行うことが好ましい。
本発明の第１７態様に係る損傷評価装置において、情報出力処理は、特定損傷の情報をディスプレイに出力して表示させ、又はファイルにしてメモリに保存させることが好ましい。
本発明の第１８態様に係る損傷評価装置において、特定損傷の情報は、損傷識別情報、損傷種類及びサイズの項目を有し、特定損傷ごとに各項目に対応する情報が記載された損傷数量表を含むことが好ましい。
第１９態様に係る発明は、プロセッサにより構造物の損傷評価を行う損傷評価方法であって、プロセッサの各処理は、構造物を撮影した画像を取得するステップと、取得した画像に基づいて構造物の損傷を検出するステップと、取得した画像に基づいて構造物の施工に関連した構造物特徴領域を検出するステップと、検出した損傷のうち、検出した構造物特徴領域と関連性のある特定損傷を選別するステップと、選別した特定損傷の情報を出力するステップと、を含む。
第２０態様に係る発明は、構造物の損傷評価を行う方法をコンピュータに実行させる損傷評価プログラムであって、方法は、構造物を撮影した画像を取得するステップと、取得した画像に基づいて構造物の損傷を検出するステップと、取得した画像に基づいて構造物の施工に関連した構造物特徴領域を検出するステップと、検出した損傷のうち、検出した構造物特徴領域と関連性のある特定損傷を選別するステップと、選別した特定損傷の情報を出力するステップと、を含む。
本発明によれば、構造物の施工と関連して発生する構造物の表層の損傷を自動評価することができる。
図１は、構造物の損傷の一例を示す図である。 図２は、損傷検出から特定損傷の選別の流れの一例を示す図である。 図３は、検出したひび割れが、沈みひび割れか否かを選別する方法を説明するために用いた図である。 図４は、本発明に係る損傷評価装置のハードウエア構成の一例を示すブロック図である。 図５は、ＣＰＵ等により構成された損傷検出処理部及び特徴領域検出処理部の実施形態を示す概念図である。 図６は、評価対象の構造物を撮影した画像と特定損傷の情報等の第１表示例を示す図である。 図７は、評価対象の構造物を撮影した画像と特定損傷の情報等の第２表示例を示す図である。 図８は、図７（Ｂ）に示した画像に対して色分けしたひび割れ画像を追加した表示画面例を示す図である。 図９は、構造物の施工に関連した構造物特徴領域と関連性のある特定損傷の他の例を示す図である。 図１０は、構造物の施工に関連した構造物特徴領域と関連性のある特定損傷の更に他の例を示す図である。 図１１は、損傷検出から特定損傷の選別の流れの他の例を示す図である。 図１２は、ひび割れの情報を含む損傷図である。 図１３は、損傷検出結果に含まれる損傷数量表の一例を示す図表である。 図１４は、ひび割れに沿ったポリラインに頂点を追加する方法を示す図である。 図１５は、ひび割れに沿ったポリラインから頂点を削除する方法を示す図である。 図１６は、本発明に係る損傷評価方法の実施形態を示すフローチャートである。
以下、添付図面に従って本発明に係る損傷評価装置、方法及びプログラムの好ましい実施形態について説明する。
［本発明の概要］
図１は、構造物の損傷の一例を示す図であり、図１（Ａ）は、構造物の施工跡を有するコンクリート構造物を撮影した元画像を示し、図１（Ｂ）は、ひび割れ検出結果（ひび割れ画像）を元画像上に重畳表示した合成画像をしている。
本例の構造物の施工跡は、プラスチックコーン（以下、「Ｐコン」という）の跡であり、図１上のＰは、Ｐコン跡を示す。以下、Ｐコン跡Ｐについて説明する。
壁、柱、梁などのコンクリート構造物の施工は、鉄筋及び型枠を組立ててコンクリートを打設するのが一般的である。型枠は、両端にねじ部を有する棒状のセパレータと、そのセパレータの両端部に取り付けられるＰコンとより所望の間隔で固定され、型枠内にコンクリートが流し込まれるが、コンクリートが固まると、型枠及びＰコンが外される。
Ｐコンが外されると、セパレータのねじ部が露出した穴が現れる。この穴をモルタルで塞いだ円形の跡がＰコン跡Ｐである。
図１（Ｂ）のＣ１～Ｃ３は、Ｐコン跡Ｐの周辺のひび割れを示している。ひび割れＣ１～Ｃ３は、図１（Ａ）の元画像から検出されたひび割れの領域を、特定の色で塗り潰したひび割れ画像で表現されている。
Ｐコン跡Ｐの周辺のひび割れＣ１～Ｃ３は、沈みひび割れとして分類され、構造物の施工に起因して発生するひび割れの一つである。沈みひび割れは、コンクリートの打込み後の沈みやブリーディングによる変位を、型枠用セパレータ、表面の型枠などが拘束することによって生じるひび割れである。
本発明の一態様は、構造物を撮影した画像から構造物の損傷を検出し、検出した損傷のうち、構造物の施工に関連性のある損傷（特定損傷）を選別し、選別した特定損傷の情報を出力する。これにより、構造物の施工方法の妥当性の検証や施工方法の改善に活用可能にする。
図１に示す例では、構造物の施工に関連した構造物特徴領域がＰコン跡Ｐの領域であり、Ｐコン跡の領域と関連性のある特定損傷が、沈みひび割れＣ１～Ｃ３である。
図２は、損傷検出から特定損傷の選別の流れの一例を示す図である。
図２（Ａ）に示すように、構造物を撮影した画像に基づいて構造物の損傷（本例では、ひび割れ）を検出する。ひび割れの検出は、人工知能（ＡＩ：artificial intelligence）により行ってもよいし、画像処理アルゴリズムにより行ってもよい。
また、図２（Ｂ）に示すように、構造物を撮影した画像に基づいて構造物の施工に関連した構造物特徴領域（本例では、Ｐコン跡Ｐの領域）を検出する。Ｐコン跡Ｐの領域の検出は、ＡＩにより行ってもよいし、画像処理アルゴリズムにより行ってもよい。また、ユーザの手動による指示入力を受け付けることで検出するようにしてもよい。
続いて、図２（Ｃ）に示すように、検出したひび割れのうち、Ｐコン跡Ｐの領域と関連性のある沈みひび割れ（特定ひび割れ）Ｃ１～Ｃ４を選別し、選別した沈みひび割れＣ１～Ｃ４を、他のひび割れと識別可能に色分け、又は線種を変えて出力する。
図３は、検出したひび割れが、沈みひび割れか否かを選別する方法を説明するために用いた図である。
図３（Ａ）は、それぞれ検出されたひび割れＣ１～Ｃ３とＰコン跡Ｐとを示している。
ひび割れＣ１～Ｃ３が、Ｐコン跡Ｐの領域と関連性のある沈みひび割れか否かの選別は、ひび割れＣ１～Ｃ３が、Ｐコン跡Ｐの領域と接触する場合、又はＰコン跡Ｐの領域と重なる場合に沈みひび割れとして選別する。
この選別方法の場合、ひび割れＣ１～Ｃ３は、いずれもＰコン跡Ｐの領域から離間しているため、沈みひび割れなしと認識される(図３（Ｂ)）。
一方、図３（Ｃ）に示すように、Ｐコン跡Ｐの領域のサイズを、Ｐコン跡Ｐ１の領域のサイズに膨張させる。
Ｐコン跡Ｐの領域の膨張処理は、円形のＰコン跡Ｐの中心から径方向に一定の割合でＰコン跡Ｐの領域を膨張させ、又は円形のＰコン跡Ｐの外形を一定の膨張量（幅）だけ拡大させることで、Ｐコン跡Ｐの領域を膨張させることができる。尚、Ｐコン跡Ｐの領域のサイズを膨張させる割合又は膨張量は、予め設定された値でもよいし、ユーザが適宜設定した値でもよい。
そして、ひび割れＣ１～Ｃ３が、膨張処理されたＰコン跡Ｐ１の領域と接触する場合、又はＰコン跡Ｐ１の領域と重なる場合に沈みひび割れとして選別する（図３（Ｄ））。
この選別方法の場合、ひび割れＣ１～Ｃ３は、いずれもＰコン跡Ｐ１の領域と接触し、又はＰコン跡Ｐ１の領域と重なるため、沈みひび割れとして選別される。
尚、Ｐコン跡の領域は、検出したＰコンの領域を膨張処理により拡大する場合に限らず、本来のＰコン跡の領域よりもやや広い領域をＰコン跡の領域として検出されるようにしてもよい。
また、ひび割れＣ１～Ｃ３とＰコン跡Ｐ１の領域とが最も接近する距離を算出し、その距離が閾値以内の場合に、沈みひび割れとして選別するようにしてもよい。
［損傷評価装置のハードウエア構成］
図４は、本発明に係る損傷評価装置のハードウエア構成の一例を示すブロック図である。
図４に示す損傷評価装置１０としては、パーソナルコンピュータ又はワークステーションを使用することができる。本例の損傷評価装置１０は、主として画像取得部１２と、画像データベース１４と、記憶部１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示制御部２６とから構成されている。
画像取得部１２は、入出力インターフェースに相当し、本例では評価対象の構造物を撮影した画像等を取得する。評価対象の構造物は、例えば、橋梁、トンネル、建物等の壁、柱、梁などを含む。
画像取得部１２が取得する画像は、例えば、カメラを搭載したドローン（無人飛行体）やロボット、又は人手により構造物を撮影した多数の画像（画像群）である。画像群は、構造物の全体を網羅するものであり、かつ隣接する各画像は、重複していることが好ましい。
画像取得部１２により取得した画像群は、画像データベース１４に格納される。
記憶部１６は、ハードディスク装置、フラッシュメモリ等から構成されるメモリであり、記憶部１６には、オペレーティングシステム、損傷評価プログラムの他、構造物を示すＣＡＤ（computer-aided design）データ、及びファイル化された損傷の情報が記憶される。損傷の情報は、損傷画像、損傷図（ＣＡＤデータ）等の損傷評価結果を含む。
評価対象の構造物のＣＡＤデータは、予めＣＡＤデータが存在する場合には、それを使用することができる。構造物のＣＡＤデータが存在しない場合には、画像データベース１４に保存された画像群を元に自動的に作成することができる。
画像データベース１４に格納された画像群が、ドローンに搭載されたカメラで撮影されている場合、画像群の互いに重複する画像間の特徴点を抽出し、抽出した特徴点に基づいて、ドローンに搭載されたカメラの位置及び姿勢を推定し、また、カメラの位置及び姿勢の推定結果から同時に特徴点の３次元位置を推定した３次元点群モデルを生成することができる。
ドローンによりカメラの撮影位置が動いていく画像群の中から、多数の特徴点の動きをトラッキングし、構造物の３次元構造(Structure)とカメラ姿勢(Motion)とを同時に推定するStructure from Motion(ＳｆＭ)手法がある。近年、bundle adjustmentという最適化計算法が開発され、高精度な出力を出せるようになっている。
尚、ＳｆＭ手法を適用する場合に必要なカメラのパラメータ（焦点距離、イメージセンサの画像サイズ、画素ピッチ等）は、記憶部１６に記憶させたものを使用することができる。また、生成した３次元点群モデルに基づいて構造物のＣＡＤデータを生成することができる。
操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等を含み、コンピュータの通常の操作指示を行う操作部として機能する他に、構造物を撮影した画像に基づいて検出された構造物の損傷の検出結果、Ｐコン跡等の構造物特徴領域の検出結果をユーザ操作により編集する操作部として機能する。尚、損傷の検出結果の編集等の詳細については後述する。
ＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを読み出し、各部を統括制御するとともに、構造物を撮影した画像に基づいて構造物の損傷を検出する損傷検出処理、構造物の施工に関連した構造物特徴領域（Ｐコン跡の領域等）を検出する特徴領域検出処理、検出した損傷のうちの構造物特徴領域と関連性のある特定損傷を選別する選別処理、及び選別した特定損傷の情報を出力する情報出力処理等を行う。
構造物を撮影した画像に基づいて損傷を検出する損傷検出処理、及び構造物特徴領域を検出する特徴領域検出処理は、それぞれＡＩにより行うことができる。
ＡＩとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）による学習済みモデルを使用することができる。
図５は、ＣＰＵ等により構成された損傷検出処理部及び特徴領域検出処理部の実施形態を示す概念図である。
図５において、損傷検出処理部及び特徴領域検出処理部は、それぞれ第１学習済みモデル２１Ａ及び第２学習済みモデル２１Ｂから構成されている。
第１学習済みモデル２１Ａ及び第２学習済みモデル２１Ｂは、それぞれ入力層と中間層と出力層とを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
ＣＮＮの入力層には、構造物を撮影した画像１３が入力される。中間層は、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層から入力した画像から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
ＣＮＮの出力層は、中間層により抽出された特徴を示す特徴マップを出力する部分である。本例の第１学習済みモデル２１Ａの出力層は、例えば、画像に写っている構造物の損傷ごとの領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）した推論結果（認識結果）を、損傷検出結果２７Ａとして出力し、同様に本例の第２学習済みモデル２１Ｂの出力層は、例えば、画像に写っている構造物の施工に関連した構造物特徴領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類した推論結果を、構造物特徴領域検出結果２７Ｂとして出力する。
例えば、第１学習済みモデル２１Ａは、ひび割れを検出するように機械学習された学習済みモデルであり、第２学習済みモデル２１Ｂは、Ｐコン跡を検出するように機械学習された学習済みモデルである。
尚、第１学習済みモデル２１Ａ及び第２学習済みモデル２１Ｂは、１つの学習済みモデルで構成し、それぞれ損傷検出結果２７Ａ及び構造物特徴領域検出結果２７Ｂを出力するように構成してもよい。
図４に戻って、ＣＰＵ２０は、第１学習済みモデル２１Ａ及び第２学習済みモデル２１Ｂによりそれぞれ検出された損傷検出結果２７Ａ及び構造物特徴領域検出結果２７Ｂに基づいて、検出された損傷のうち、検出された構造物特徴領域と関連性のある特定損傷を選別する選別処理を行う。本例では、検出されたひび割れのうち、Ｐコン跡と関連性のある沈みひび割れ（特定ひび割れ）を選別する。沈みひび割れの選別は、図３を使用して説明した方法により行うことができ、ここでは詳細な説明は省略する。
ＣＰＵ２０は、選別した特定損傷の情報を、表示制御部２６を介して表示部（ディスプレイ）３０に出力して表示させ、又はファイルにして記憶部（メモリ）１６に保存させる。また、ＣＰＵ２０は、構造物特徴領域の情報も表示制御部２６を介して表示部３０に出力して表示させ、又はファイルにして記憶部１６に保存させることが好ましい。
ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。
表示制御部２６は、表示部３０に表示させる表示用データを作成し、表示部３０に出力する部分であり、本例ではＣＰＵ２０により検出され、選別された特定損傷の情報等を表示部３０に表示させ、操作部１８からのユーザ操作に基づく特定損傷の情報等の編集用の画面等を表示部３０に表示させる。
表示部３０は、コンピュータに接続可能な液晶モニタ等の各種のディスプレイが用いられ、表示制御部２６から入力する構造物を撮影した画像とともに、画像から検出された特定損傷の情報等を表示し、また、操作部１８とともにユーザインターフェースの一部として使用される。
上記構成の損傷評価装置１０のＣＰＵ２０を含むプロセッサは、記憶部１６又はＲＯＭ２４に記憶されている損傷評価プログラムを読み出し、損傷評価プログラムを実行することで、上記の各処理を行う。
＜損傷評価装置の作用＞
次に、図４に示した損傷評価装置１０の作用について、構造物として橋梁を例に説明する。
図６は、評価対象の構造物を撮影した画像と特定損傷の情報等の第１表示例を示す図である。
損傷評価装置１０のＣＰＵ２０、記憶部１６に記憶された損傷評価プログラム、ＲＡＭ２２及びＲＯＭ２４、表示制御部２６等はプロセッサを構成し、プロセッサは、以下に示す各種の処理を行う。
プロセッサは、画像取得部１２から評価対象の構造物（コンクリート構造物の表層）を撮影した画像を取得する画像取得処理を行う。画像データベース１４に構造物の画像が格納されている場合には、プロセッサは、画像データベース１４から評価対象の構造物の画像を読み出す。この場合、プロセッサは、複数枚の画像を取得し、取得した複数枚の画像の各重複領域の画像が一致するように複数枚の画像をパノラマ合成する画像処理を行う。
パノラマ合成されるパノラマ合成画像は、図６（Ａ）に示すようにコンクリート構造物の表面に正射影されたオルソ画像であることが好ましい。
画像から0.1ｍｍ以下のひび割れを検出するには、高解像度の画像が要求されるため、１枚の画像の撮影範囲は小さくなる。ある程度の大きさの構造物の画像を取得するには、複数枚の画像をパノラマ合成することが好ましいが、高解像度のカメラやひび割れ検出が要求されるひび割れ幅が大きい場合には、１枚の画像でもよい。
図５に示した損傷検出処理部及び特徴領域検出処理部として機能する第１学習済みモデル２１Ａ及び第２学習済みモデル２１Ｂは、パノラマ合成画像（画像１３）を入力すると、第１学習済みモデル２１Ａは、入力した画像１３に基づいてひび割れを検出し、検出したひび割れを示す損傷検出結果２７Ａを出力し、第２学習済みモデル２１Ｂは、入力した画像１３に基づいてＰコン跡を検出し、検出したＰコン跡を示す構造物特徴領域検出結果２７Ｂを出力する。
続いて、プロセッサは、損傷検出結果２７Ａと構造物特徴領域検出結果２７Ｂとに基づいて、損傷検出結果２７Ａ（ひび割れ）のうち、構造物特徴領域検出結果２７Ｂ（Ｐコン跡）と関連性のある沈みひび割れを選別する選別処理を行う。この選別処理は、図３を使用して説明したように、ひび割れの領域とＰコン跡の領域との接触、又はひび割れの領域とＰコン跡の領域と重なりを検出し、Ｐコン跡の領域と接触又は重なるひび割れを、沈みひび割れとして選別する。
次に、プロセッサは、特定損傷（沈みひび割れ）のサイズを、対応するＰコン跡ごとに特定するサイズ特定処理を行う。
以下、沈みひび割れのサイズを特定するサイズ特定処理について説明する。
＜第１サイズ特定処理＞
第１サイズ特定処理は、沈みひび割れの画像上の長さと、その沈みひび割れに対応するＰコン跡の画像上の長さ（本例では、Ｐコン跡の直径）との相対長さを算出し、算出した相対長さを沈みひび割れのサイズとする。
第１サイズ特定処理によれば、沈みひび割れのサイズは、Ｐコン跡の直径のＸ倍として特定される。尚、Ｘ倍は、例えば、ゼロ（沈みひび割れなし）、３倍未満、３倍以上５倍未満、５倍以上のように４段階の階級で表すようにしてもよい。
＜第２サイズ特定処理＞
第２サイズ特定処理は、沈みひび割れの画像上の長さと、その沈みひび割れに対応するＰコン跡の画像上の直径と、Ｐコン跡の実寸サイズとに基づいて沈みひび割れの実寸サイズを算出する。
即ち、沈みひび割れの実寸サイズは、上記の（相対長さ（Ｘ倍））×（Ｐコン跡の実寸サイズ）により算出することができる。
Ｐコン跡の実寸サイズは、ユーザが操作部１８により入力した数値、あるいは既定の数値を適用することができる。
＜第３サイズ特定処理＞
第３サイズ特定処理は、実寸法が既知のスケール基準を有する構造物が撮影された画像の場合に適用される。スケール基準は、構造物の表面に張り付けた目盛り付きのスケールでもよいし、構造物の表面に設けられた実寸法が既知の鋼材、ボルトの頭等でもよい。
第３サイズ特定処理は、沈みひび割れの画像上の長さと、実寸法が既知のスケール基準の画像上の長さとに基づいて沈みひび割れの実寸サイズを算出する。
＜第４サイズ特定処理＞
第４サイズ特定処理は、沈みひび割れの画像上の長さと、画像を撮影したカメラの撮影条件及びカメラ情報とに基づいて沈みひび割れの実寸サイズを算出する。
カメラの撮影条件には、例えば、カメラと沈みひび割れとの距離(撮影距離)、カメラの撮影方向と構造物の表面との角度等が含まれ、カメラ情報には、例えば、撮影レンズの焦点距離、イメージセンサのサイズ、画素数、又は画素ピッチ等が含まれる。
いま、カメラの撮影方向と構造物の表面とが直交している場合、撮影距離をＤ、撮影レンズの焦点距離をｆ、沈みひび割れの画像上の長さをイメージセンサ上の長さに換算した長さをｕ、画素ピッチをpとすると、沈みひび割れの実寸サイズＬは、次式、
［数１］
Ｌ＝Ｄ×ｕ×ｐ／ｆ
により算出することができる。
尚、上記第１サイズ特定処理から第４サイズ特定処理において、１つのＰコン跡の領域に関連して複数本の沈みひび割れが選別された場合、複数本の沈みひび割れのうちの最も長い沈みひび割れの長さを、そのＰコン跡に対応する沈みひび割れの長さ（代表長さ）とする。
また、沈みひび割れの情報には、沈みひび割れの長さの他に、沈みひび割れの幅、及び面積を含めることができる。
図６（Ｂ）は、表示部の画面に表示される特定損傷の情報等の第１表示例を示す図である。
図６（Ｂ）に示すように表示部の画面には、沈みひび割れに対応するＰコン跡の領域を、対応する沈みひび割れの属性（サイズ等）に応じて色分けし、パノラマ合成画像（図６（Ｂ））に重畳した画像が表示され、また、各種のＰコン跡に関する情報等が表示されている。
図６（Ｂ）に示す例では、２４個のＰコン跡の領域が、第１サイズ特定処理の結果に基づいて４色（赤色、黄色、緑色、青色）に色分けされている。
図６（Ｂ）上で、Ｐコン跡を示すＰＲ、ＰY、ＰＧ、ＰＢは、以下の沈みひび割れを有するものである。
ＰＲ（赤色）：Ｐコン跡直径の５倍以上の長さの沈みひび割れが発生しているＰコン跡
ＰＹ（黄色）：Ｐコン跡直径の３倍以上５倍未満の長さの沈みひび割れが発生しているＰコン跡
ＰＧ（緑色）：Ｐコン跡直径の３倍未満の長さの沈みひび割れが発生しているＰコン跡
ＰＢ（青色）：沈みひび割れが発生していないＰコン跡
図６（Ｂ）に示すように、Ｐコン跡の総数は２４個であり、上記のように色分けされたＰコン跡ＰＲ、ＰＹ、ＰＧ、ＰＢの個数は、それぞれ２個、６個、７個、９個である。プロセッサは、Ｐコン跡の総数と沈みひび割れに対応するＰコン跡ＰＲ、ＰＹ、ＰＧの個数との割合（発生割合）を算出し、その発生割合（本例では、６３％）も表示させている。
図６（Ｂ）の表示画面によれば、Ｐコン跡の色により、各Ｐコン跡における沈みひび割れの有無、及び沈みひび割れが発生しているＰコン跡の色から、その沈みひび割れのサイズを容易に確認することができ、また、沈みひび割れの発生割合等の情報も報知される。
尚、図６（Ｂ）では、Ｐコン跡を色分け表示するようにしたが、これに限らず、検出したひび割れの全部に色を付してひび割れ画像を表示し、又は選別した沈みひび割れのみに色を付してひび割れ画像を表示し、又はこれらを適宜切り替えて表示するようにしてもよい。
図７は、評価対象の構造物を撮影した画像と特定損傷の情報等の第２表示例を示す図である。
図７（Ａ）は、評価対象の構造物を撮影した６枚の画像を示している。これらの６枚の画像は、それぞれ１つのＰコン跡がほぼ画像中心になるように撮影された画像である。
図７（Ｂ）は、表示部の画面に表示される特定損傷の情報等の第２表示例を示す図である。
図７（Ｂ）に示すように表示部の画面には、６枚の画像が並べて一覧表示され、かつ各画像のＰコン跡には、沈みひび割れの属性（サイズ等）に応じた色が付加されている。Ｐコン跡の色分けは、図６（Ｂ）と同様に行うことができる。
また、ひび割れ検出結果も表示させてもよい。例えば、ひび割れの長さに応じてひび割れ画像を色分けし、ひび割れの幅に応じてひび割れ画像を色分けし、検出したひび割れの全部に色を付してひび割れ画像を表示し、又は選別した沈みひび割れのみに色を付してひび割れ画像を表示し、又はこれらを適宜切り替えて表示するようにしてもよい。
図８は、図７（Ｂ）に示した画像に対して色分けしたひび割れ画像を追加した表示画面例を示す図である。
図８において、Ｐコン跡ＰＲには、３本の沈みひび割れＣＲ、ＣＧ、ＣＹが発生しており、Ｐコン跡ＰＹには、２本の沈みひび割れＣＧ、ＣＹが発生しており、Ｐコン跡ＰＧには、２本の沈みひび割れＣＧが発生している。
尚、沈みひび割れＣＲ、ＣＧ、ＣＹは、各沈みひび割れの属性（長さ）に応じて、例えば、以下のように色分けされている。
ＣＲ（赤色）：Ｐコン跡直径の５倍以上の長さの沈みひび割れ
ＣＹ（黄色）：Ｐコン跡直径の３倍以上５倍未満の長さの沈みひび割れ
ＣＧ（緑色）：Ｐコン跡直径の３倍未満の長さの沈みひび割れ
＜構造物の施工に関連した構造物特徴領域と関連性のある特定損傷の他の例＞
図９は、構造物の施工に関連した構造物特徴領域と関連性のある特定損傷の他の例を示す図である。
図９（Ａ）は、目地及びひび割れを含む評価対象の構造物が撮影された元画像である。
コンクリートの目地は、温度による収縮、膨張等でひび割れが発生しやすいコンクリートに対して、一定の間隔でコンクリートの表層に切り込みを入れることで、他の箇所でのひび割れを防止する役割があるが、目地ではひび割れが誘発される。尚、目地には、目地材（緩衝材）が充填される。
図９（Ａ）に示す元画像から損傷としてひび割れを検出し、構造物の施工に関連した構造物特徴領域として目地の領域を検出する。
検出したひび割れのうち、ひび割れの両端が、目地の領域に接し、又は重なるひび割れを、特定ひび割れ（いわゆる「三日月ひび割れ」）として選別する。
尚、目地の領域は、検出した目地の領域を膨張処理により拡大し、あるいは本来の目地の領域よりもやや広い領域を目地の領域として検出されるようにしてもよい。
また、三日月ひび割れを選別する場合に、ひび割れの両端と目地の領域との最短距離をそれぞれ算出し、算出した各距離が閾値以内の場合に、三日月ひび割れとして選別するようにしてもよい。
図９（Ｂ）において、Ｊは、目地を示し、ＣＹは、目地Ｊに両端が接する三日月ひび割れを示す。図９（Ｂ）は、目地Ｊの領域及び三日月ひび割れＣＹの領域をそれぞれ特定の色で塗り潰した目地画像及びひび割れ画像を、図９（Ａ）の元画像に重畳表示した画面を示す。
図１０は、構造物の施工に関連した構造物特徴領域と関連性のある特定損傷の更に他の例を示す図である。
図１０（Ａ）は、目地及びひび割れを含む評価対象の構造物が撮影された他の元画像である。図１０（Ｂ）は、目地Ｊの領域及び三日月ひび割れＣＹの領域をそれぞれ特定の色で塗り潰した目地画像及びひび割れ画像を、図１０（Ａ）の元画像に重畳表示した画面を示す。
ユーザは、図９（Ｂ）及び図１０（Ｂ）に示す表示画面により、目地Ｊに起因する三日月ひび割れＣＹを容易に認識することができ、目地の施工方法の妥当性の検証や目地の施工方法の改善に活用することができる。
図１１は、損傷検出から特定損傷の選別の流れの他の例を示す図である。
図１１（Ａ）に示すように、構造物を撮影した画像に基づいて構造物の損傷（本例では、ひび割れ）を検出する。ひび割れの検出は、ＡＩにより行ってもよいし、画像処理アルゴリズムにより行ってもよい。
また、図１１（Ｂ）に示すように、構造物を撮影した画像に基づいて構造物の施工に関連した構造物特徴領域（図１１の例では、目地Ｊの領域）を検出する。目地Ｊ領域の検出は、ＡＩにより行ってもよいし、画像処理アルゴリズムにより行ってもよい。また、ユーザの手動による指示入力を受け付けることで検出するようにしてもよい。
続いて、図１１（Ｃ）に示すように、検出したひび割れのうち、目地Ｊの領域と関連性のある三日月ひび割れ（特定ひび割れ）ＣＹを選別し、選別した三日月ひび割れＣＹを、他のひび割れと識別可能に色分け、又は線種を変えて出力する。
尚、三日月ひび割れＣＹは、その両端が目地Ｊの領域に接しており、三日月状に湾曲しており、図１１（Ｃ）の上方に示したひび割れのように、そのひび割れの一端のみが目地Ｊの領域に接しているものは、三日月ひび割れではない。
図１２は、ひび割れの情報を含む損傷図である。
図１２に示す損傷図には、ひび割れＣ１～Ｃ５と、Ｐコン跡Ｐ１、Ｐ２が示されており、特にひび割れＣ１は、Ｐコン跡Ｐ１に発生した沈みひび割れであり、ひび割れＣ４、Ｃ５は、Ｐコン跡Ｐ２に発生した沈みひび割れである。
また、損傷図は、各ひび割れＣ１～Ｃ５に沿ったポリラインによる描画パターンで表現され、ＣＡＤデータとすることができる。
図１３は、損傷検出結果に含まれる損傷数量表の一例を示す図表であり、図１２に示した損傷図に対応している。
図１３に示す損傷数量表には、損傷識別情報（ＩＤ：identification）、損傷種類、サイズ（幅）、サイズ（長さ）、サイズ（面積）の項目を有し、損傷ごとに各項目に対応する情報が記載されている。
ひび割れの場合、各ひび割れＣ１～Ｃ５の長さや幅の定量化が行われ、損傷数量表には、これらの情報が、損傷ＩＤに関連付けられて記載される。
［損傷検出結果の編集］
図５に示した第１学習済みモデル２１Ａは、構造物を撮影した画像１３を入力すると、各損傷領域を損傷検出結果２７Ａとして出力するが、損傷検出結果２７Ａは、誤って検出され、又は不正確に検出される場合がある。
例えば、損傷領域は、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類されるため、正確性に欠ける場合がある。また、２本のひび割れとして検出されたひび割れは、１本のひび割れとして連結した方がよい場合がある。コンクリート内部でひび割れが繋がっていると類推できる場合があるからである。
そこで、ＣＰＵ２０は、ユーザにより操作される操作部１８（例えば、マウス）での操作を通じて損傷検出結果の編集指示を受け付ける編集指示受付処理を行い、受け付けた編集指示にしたがって損傷検出結果を編集する編集処理を行う。
損傷検出結果の編集例としては、線状損傷（ひび割れ）で、ひび割れに沿ったポリラインの端点同士が近いひび割れの場合には、端点同士を連結する編集が考えられる。この場合の編集は、損傷検出処理後にひび割れのポリラインの端点同士の距離を測定し、測定した距離が閾値以下の場合には、端点同士を自動で連結してもよいし、ユーザの指示により自動で連結してもよい。閾値は、デフォルトの値を使用してもよいし、ユーザが設定できるようにしてもよい。
また、ひび割れの長さや幅に対する閾値を設け、閾値より小さい損傷検出結果を自動で削除するようにしてもよい。この損傷検出結果の削除は、損傷検出処理後に自動で削除してもよいし、ユーザの指示により削除してもよい。閾値は、デフォルトの値を使用してもよいし、ユーザが設定できるようにしてもよい。
図１４及び図１５は、それぞれ損傷検出結果の編集例を示す図である。尚、損傷検出結果の編集を行う場合には、ひび割れ画像を塗り潰す色の透明度を高く設定し、構造物の画像が視認し易い状態にすることが好ましい。
図１４は、ひび割れに沿ったポリラインに頂点を追加する方法を示す図である。
ポリラインは、ひび割れに沿った複数の頂点（図１４では、四角で示した頂点）を結んで描画されている。
このポリラインに頂点を追加する場合には、図１４（Ａ）に示すように頂点を追加したいポリラインの線上にマウスのカーソルを合わせ、マウスを右クリックし、コンテキストメニューで［追加］を選択する。これにより、図１４（Ｂ）に示すようにポリラインの線上に新たな頂点を追加することができる。
そして、追加した頂点をドラッグし、本来のひび割れの領域に移動させることで、ひび割れに沿うポリラインを編集することができる。
図１５は、ひび割れに沿ったポリラインから頂点を削除する方法を示す図である。
このポリラインから頂点を削除する場合には、図１５（Ａ）に示すように削除したい頂点にマウスのカーソルを合わせ、マウスで右クリックし（頂点を選択状態にし）、コンテキストメニューで［削除］を選択する。これにより、図１５（Ｂ）に示すようにポリラインから頂点を削除することができる。
図１５（Ｂ）に示すようにポリラインから頂点が削除されると、削除された頂点の前後の頂点の間でポリラインの線が結ばれ、これによりひび割れに沿うポリラインが編集される。
上記の編集機能として、ポリライン全体を、頂点を結ぶ線をクリックする等により選択状態にし、ポリライン全体の一括削除する機能や、ひび割れの検出漏れ箇所に対し、手動でポリラインを新たに追加する機能等を有する。
［損傷評価方法］
図１６は、本発明に係る損傷評価方法の実施形態を示すフローチャートである。
図１６に示す各ステップの処理は、例えば、図４に示した損傷評価装置１０のＣＰＵ２０等により構成されるプロセッサにより行われる。
図１６において、プロセッサは、評価対象の構造物を撮影した画像を画像取得部１２又は画像データベース１４等から取得する（ステップＳ１０）。
損傷検出処理部として機能する第１学習済みモデル２１Ａ（図５）は、ステップＳ１０で取得した画像に基づいて構造物の損傷（ひび割れ）を検出する（ステップＳ１２）。
特徴領域検出処理として機能する第２学習済みモデル２１Ｂ（図５）は、ステップＳ１０で取得した画像に基づいて構造物の施工に関連した構造物特徴領域（Ｐコン跡の領域）を検出する（ステップＳ１４）。
プロセッサは、ステップＳ１２で行われる損傷検出処理により、損傷が検出されたか否かを判別し（ステップＳ１６）、損傷が検出されている場合（「Yes」の場合）には、ステップＳ１８に進む。
ステップＳ１８では、ステップＳ１２で検出された損傷（ひび割れ）のうち、構造物特徴領域と関連性のある特定損傷（沈みひび割れ）を選別し、ステップＳ２０に進む。
ステップＳ２０では、特定損傷が選別されたか否かを判別し、特定損傷が選別されたことが判別されると（「Yes」の場合）、プロセッサは、特定損傷の情報を出力する（ステップＳ２２）。
特定損傷の情報の出力は、例えば、画像上に損傷画像を重畳し、又は損傷画像単独で表示部に表示し、又は損傷図を示すＣＡＤデータをファイル出力することにより行われる。また、特定損傷（沈みひび割れ）のサイズ（長さ）を特定し、特定したサイズに応じて沈みひび割れ画像を色分けし、あるいは線種を変えて出力することが好ましい。
また、ステップＳ２０において、特定損傷が選別されないと判別されると（「No」の場合）、ステップＳ１２で検出された損傷（ひび割れ）に対し、沈みひび割れでないことが識別可能にひび割れの情報を出力する（ステップＳ２４）。例えば、沈みひび割れとは異なる色、又は線種でひび割れ画像を出力する。尚、ステップＳ２４を省略し、特定損傷（沈みひび割れ）以外の情報は出力しないようにしてもよい。
［その他］
本実施形態では、構造物の施工に関連した構造物特徴領域として、Ｐコン跡、目地の例を挙げたが、これに限らず、打ち継ぎ目などの他の構造物特徴領域を検出してもよい。また、構造物特徴領域と関連性のある特定損傷として、沈みひび割れ、三日月ひび割れを例に挙げたが、目地、打ち継ぎ目などから流出した漏水、あるいは漏水等によりコンクリート部材内から流れ出し、水分が蒸発する際に石灰成分が表面に出る遊離石灰等の損傷は、構造物特徴領域（目地、打ち継ぎ目の領域）と関連性のある特定損傷である。
本発明に係る損傷評価装置を実現するハードウエアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。損傷評価装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
また、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る損傷評価装置として機能させる損傷評価プログラム、及びこの損傷評価プログラムが記録された記録媒体を含む。
更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０ 損傷評価装置
１２ 画像取得部
１３ 画像
１４ 画像データベース
１６ 記憶部
１８ 操作部
２０ ＣＰＵ
２１Ａ 第１学習済みモデル
２１Ｂ 第２学習済みモデル
２２ ＲＡＭ
２４ ＲＯＭ
２６ 表示制御部
２７Ａ 損傷検出結果
２７Ｂ 構造物特徴領域検出結果
３０ 表示部
Ｃ１～Ｃ５、ＣＲ、ＣＧ、ＣＹ ひび割れ
Ｊ 目地
Ｐ、Ｐ１、Ｐ２、ＰＢ、ＰＧ、ＰＲ、ＰＹ Ｐコン跡
Ｓ１０～Ｓ２４ ステップ

Claims (17)

  1. プロセッサを備えた構造物の損傷評価装置であって、
    前記プロセッサは、
    前記構造物を撮影した画像を取得する画像取得処理と、
    前記取得した画像に基づいて前記構造物の損傷を検出する損傷検出処理と、
    前記取得した画像に基づいて前記構造物の施工に関連した構造物特徴領域を検出する構造物特徴領域検出処理と、
    前記検出した損傷のうち、前記検出した構造物特徴領域と関連性のある特定損傷を選別する選別処理と、
    前記選別した前記特定損傷の情報を出力する情報出力処理と、を行い、
    前記損傷検出処理は、前記画像を入力すると、前記構造物の損傷ごとに各損傷の領域を認識結果として出力する第１学習済みモデルが実行し、
    前記構造物特徴領域検出処理は、前記画像を入力すると、前記構造物特徴領域を認識結果として出力する第２学習済みモデルが実行する、
    損傷評価装置。
  2. プロセッサを備えた構造物の損傷評価装置であって、
    前記プロセッサは、
    前記構造物を撮影した画像を取得する画像取得処理と、
    前記取得した画像に基づいて前記構造物の損傷を検出する損傷検出処理と、
    前記取得した画像に基づいて前記構造物の施工に関連した構造物特徴領域を検出する構造物特徴領域検出処理と、
    前記検出した損傷のうち、前記検出した構造物特徴領域と関連性のある特定損傷を選別する選別処理と、
    前記選別した前記特定損傷の情報を出力する情報出力処理と、を行い、
    前記選別処理は、前記構造物特徴領域のサイズを膨張させる膨張処理を含み、前記膨張処理された前記構造物特徴領域と接触する損傷、又は前記膨張処理された前記構造物特徴領域と重なる損傷を前記特定損傷として選別する、
    損傷評価装置。
  3. プロセッサを備えた構造物の損傷評価装置であって、
    前記プロセッサは、
    前記構造物を撮影した画像を取得する画像取得処理と、
    前記取得した画像に基づいて前記構造物の損傷を検出する損傷検出処理と、
    前記取得した画像に基づいて前記構造物の施工に関連した構造物特徴領域を検出する特徴領域検出処理と、
    前記検出した損傷のうち、前記検出した構造物特徴領域と関連性のある特定損傷を選別する選別処理と、
    前記選別した前記特定損傷の情報を出力する情報出力処理と、
    前記特定損傷のサイズを特定するサイズ特定処理と、を行い、
    前記構造物の損傷は、前記構造物のひび割れを含み、
    前記特定損傷は、前記構造物のひび割れのうちの前記構造物の施工に起因して発生した特定ひび割れであり、
    前記サイズ特定処理は、前記特定ひび割れの前記画像上の長さと、前記構造物特徴領域の前記画像上の長さとの相対長さを算出し、前記算出した相対長さを前記特定損傷のサイズとする、
    損傷評価装置。
  4. プロセッサを備えた構造物の損傷評価装置であって、
    前記プロセッサは、
    前記構造物を撮影した画像を取得する画像取得処理と、
    前記取得した画像に基づいて前記構造物の損傷を検出する損傷検出処理と、
    前記取得した画像に基づいて前記構造物の施工に関連した構造物特徴領域を検出する特徴領域検出処理と、
    前記検出した損傷のうち、前記検出した構造物特徴領域と関連性のある特定損傷を選別する選別処理と、
    前記選別した前記特定損傷の情報を出力する情報出力処理と、
    前記特定損傷のサイズを特定するサイズ特定処理と、を行い、
    前記構造物の損傷は、前記構造物のひび割れを含み、
    前記特定損傷は、前記構造物のひび割れのうちの前記構造物の施工に起因して発生した特定ひび割れであり、
    前記サイズ特定処理は、前記特定ひび割れの前記画像上の長さと、前記構造物特徴領域の前記画像上の長さと、前記構造物特徴領域の実寸サイズとに基づいて前記特定損傷の実寸サイズを算出する、
    損傷評価装置。
  5. プロセッサを備えた構造物の損傷評価装置であって、
    前記プロセッサは、
    前記構造物を撮影した画像を取得する画像取得処理と、
    前記取得した画像に基づいて前記構造物の損傷を検出する損傷検出処理と、
    前記取得した画像に基づいて前記構造物の施工に関連した構造物特徴領域を検出する特徴領域検出処理と、
    前記検出した損傷のうち、前記検出した構造物特徴領域と関連性のある特定損傷を選別する選別処理と、
    前記選別した前記特定損傷の情報を出力する情報出力処理と、
    前記構造物特徴領域の総数と前記特定損傷に対応する前記構造物特徴領域の個数との割合を算出する処理と、を行い、
    前記情報出力処理は、前記算出した割合を更に出力する、
    損傷評価装置。
  6. 前記構造物の損傷は、前記構造物のひび割れであり、
    前記特定損傷は、前記構造物のひび割れのうちの前記構造物の施工に起因して発生した特定ひび割れである、
    請求項１、２又は５に記載の損傷評価装置。
  7. 前記構造物特徴領域は、前記構造物の施工に起因して発生する前記特定損傷である特定ひび割れに関連する施工跡を示す領域である、
    請求項１から６のいずれか１項に記載の損傷評価装置。
  8. 前記画像には、実寸法が既知のスケール基準を有する前記構造物が撮影され、
    前記サイズ特定処理は、前記特定ひび割れの前記画像上の長さと、前記スケール基準の前記画像上の長さとに基づいて前記特定損傷の実寸サイズを算出する、
    請求項３又は４に記載の損傷評価装置。
  9. 前記サイズ特定処理は、前記特定ひび割れの前記画像上の長さと、前記画像を撮影したカメラの撮影条件及びカメラ情報とに基づいて前記特定損傷の実寸サイズを算出する、
    請求項３又は４に記載の損傷評価装置。
  10. 前記情報出力処理は、前記特定損傷の属性に応じて各特定損傷を識別可能に出力する、
    請求項１から９のいずれか１項に記載の損傷評価装置。
  11. 前記情報出力処理は、前記特定損傷の属性に応じて、前記特定損傷に対応する前記構造物特徴領域を識別可能に出力する、
    請求項１から１０のいずれか１項に記載の損傷評価装置。
  12. 前記プロセッサは、
    ユーザにより操作される操作部から、前記検出した損傷の検出結果及び前記検出した構造物特徴領域の検出結果のうちの少なくとも一方の編集指示を受け付ける編集指示受付処理と、
    前記受け付けた編集指示にしたがって前記検出結果を編集する編集処理と、を行う、
    請求項１から１１のいずれか１項に記載の損傷評価装置。
  13. 前記情報出力処理は、前記特定損傷の情報をディスプレイに出力して表示させ、又はファイルにしてメモリに保存させる、
    請求項１から１２のいずれか１項に記載の損傷評価装置。
  14. 前記特定損傷の情報は、損傷識別情報、損傷種類及びサイズの項目を有し、前記特定損傷ごとに各項目に対応する情報が記載された損傷数量表を含む、
    請求項１から１３のいずれか１項に記載の損傷評価装置。
  15. プロセッサにより構造物の損傷評価を行う損傷評価方法であって、
    前記プロセッサの各処理は、
    前記構造物を撮影した画像を取得するステップと、
    前記取得した画像に基づいて前記構造物の損傷を検出するステップと、
    前記取得した画像に基づいて前記構造物の施工に関連した構造物特徴領域を検出するステップと、
    前記検出した損傷のうち、前記検出した構造物特徴領域と関連性のある特定損傷を選別するステップと、
    前記選別した前記特定損傷の情報を出力するステップと、を含み、
    前記構造物の損傷を検出するステップは、前記画像を入力すると、前記構造物の損傷ごとに各損傷の領域を認識結果として出力する第１学習済みモデルが実行し、
    前記構造物特徴領域を検出するステップは、前記画像を入力すると、前記構造物特徴領域を認識結果として出力する第２学習済みモデルが実行する、
    損傷評価方法。
  16. 構造物の損傷評価を行う方法をコンピュータに実行させる損傷評価プログラムであって、
    前記方法は、
    前記構造物を撮影した画像を取得するステップと、
    前記取得した画像に基づいて前記構造物の損傷を検出するステップと、
    前記取得した画像に基づいて前記構造物の施工に関連した構造物特徴領域を検出するステップと、
    前記検出した損傷のうち、前記検出した構造物特徴領域と関連性のある特定損傷を選別するステップと、
    前記選別した前記特定損傷の情報を出力するステップと、を含み、
    前記構造物の損傷を検出するステップは、前記画像を入力すると、前記構造物の損傷ごとに各損傷の領域を認識結果として出力する第１学習済みモデルが実行し、
    前記構造物特徴領域を検出するステップは、前記画像を入力すると、前記構造物特徴領域を認識結果として出力する第２学習済みモデルが実行する、
    損傷評価プログラム。
  17. 非一時的かつコンピュータ読取可能な記録媒体であって、請求項１６に記載のプログラムが記録された記録媒体。
JP2022519931A 2020-05-07 2021-04-26 損傷評価装置、方法及びプログラム Active JP7429774B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020081971 2020-05-07
JP2020081971 2020-05-07
PCT/JP2021/016627 WO2021225084A1 (ja) 2020-05-07 2021-04-26 損傷評価装置、方法及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021225084A1 JPWO2021225084A1 (ja) 2021-11-11
JPWO2021225084A5 JPWO2021225084A5 (ja) 2023-02-08
JP7429774B2 true JP7429774B2 (ja) 2024-02-08

Family

ID=78467958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022519931A Active JP7429774B2 (ja) 2020-05-07 2021-04-26 損傷評価装置、方法及びプログラム

Country Status (5)

Country Link
US (1) US20230113537A1 (ja)
EP (1) EP4148663A4 (ja)
JP (1) JP7429774B2 (ja)
CN (1) CN115443407A (ja)
WO (1) WO2021225084A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043324A (ja) 2003-07-25 2005-02-17 Matsushita Electric Ind Co Ltd 路面損傷状態点検方法及び路面損傷位置の特定方法
JP2012225889A (ja) 2011-04-22 2012-11-15 Taiheiyo Consultant:Kk コンクリート構造物の劣化診断用画像表示システム
JP2015106238A (ja) 2013-11-29 2015-06-08 公益財団法人鉄道総合技術研究所 コンクリート壁面画像から目地を検出する方法
WO2016013133A1 (ja) 2014-07-25 2016-01-28 西日本高速道路エンジニアリング四国株式会社 トンネル覆工面調査システムおよびトンネル覆工面調査システムに用いる車両
JP2016121953A (ja) 2014-12-25 2016-07-07 西日本高速道路エンジニアリング四国株式会社 トンネル覆工面画像のひび割れ領域抽出のための画像処理方法
JP2016142601A (ja) 2015-01-30 2016-08-08 前田建設工業株式会社 施工品質評価プログラム、施工品質評価方法及び施工品質評価装置
WO2017126367A1 (ja) 2016-01-22 2017-07-27 富士フイルム株式会社 ひび割れ情報編集装置、ひび割れ情報編集方法およびひび割れ情報編集プログラム
WO2018165753A1 (en) 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
WO2019009214A1 (ja) 2017-07-07 2019-01-10 キヤノン株式会社 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
JP2019194562A (ja) 2018-04-26 2019-11-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2020038227A (ja) 2016-06-14 2020-03-12 富士フイルム株式会社 画像処理方法、画像処理装置、及び画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4958306A (en) * 1988-01-06 1990-09-18 Pacific Northwest Research & Development, Inc. Pavement inspection apparatus
JP2015105905A (ja) 2013-12-02 2015-06-08 公益財団法人鉄道総合技術研究所 変状の時系列管理に用いるトンネル覆工面画像の補正方法
KR20190066789A (ko) * 2017-12-06 2019-06-14 서울시립대학교 산학협력단 딥러닝을 이용한 영상 기반 콘크리트 균열 탐지 시스템

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043324A (ja) 2003-07-25 2005-02-17 Matsushita Electric Ind Co Ltd 路面損傷状態点検方法及び路面損傷位置の特定方法
JP2012225889A (ja) 2011-04-22 2012-11-15 Taiheiyo Consultant:Kk コンクリート構造物の劣化診断用画像表示システム
JP2015106238A (ja) 2013-11-29 2015-06-08 公益財団法人鉄道総合技術研究所 コンクリート壁面画像から目地を検出する方法
WO2016013133A1 (ja) 2014-07-25 2016-01-28 西日本高速道路エンジニアリング四国株式会社 トンネル覆工面調査システムおよびトンネル覆工面調査システムに用いる車両
JP2016121953A (ja) 2014-12-25 2016-07-07 西日本高速道路エンジニアリング四国株式会社 トンネル覆工面画像のひび割れ領域抽出のための画像処理方法
JP2016142601A (ja) 2015-01-30 2016-08-08 前田建設工業株式会社 施工品質評価プログラム、施工品質評価方法及び施工品質評価装置
WO2017126367A1 (ja) 2016-01-22 2017-07-27 富士フイルム株式会社 ひび割れ情報編集装置、ひび割れ情報編集方法およびひび割れ情報編集プログラム
JP2020038227A (ja) 2016-06-14 2020-03-12 富士フイルム株式会社 画像処理方法、画像処理装置、及び画像処理プログラム
WO2018165753A1 (en) 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
WO2019009214A1 (ja) 2017-07-07 2019-01-10 キヤノン株式会社 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
JP2019194562A (ja) 2018-04-26 2019-11-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20230113537A1 (en) 2023-04-13
EP4148663A1 (en) 2023-03-15
WO2021225084A1 (ja) 2021-11-11
CN115443407A (zh) 2022-12-06
EP4148663A4 (en) 2023-10-25
JPWO2021225084A1 (ja) 2021-11-11

Similar Documents

Publication Publication Date Title
JP6779698B2 (ja) 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム
JP6173655B1 (ja) 検出装置および検出方法
US20180292329A1 (en) Damage information processing device and damage information processing method
JP7146013B2 (ja) サーバ装置、画像処理方法、及びプログラム
WO2006049174A1 (ja) コンクリート構造物のクラック検査装置及びクラック検査方法
JP6805351B2 (ja) 損傷データ編集装置、損傷データ編集方法、およびプログラム
WO2019150799A1 (ja) 補修長の決定方法及び補修長の決定装置
US11523013B2 (en) Damage diagram creation method, damage diagram creation device, damage diagram creation system, and recording medium
US20210272272A1 (en) Inspection support apparatus, inspection support method, and inspection support program for concrete structure
US20220136979A1 (en) Information processing apparatus, information processing method, and non- transitory computer-readable storage medium
JP2023168548A (ja) 点検支援装置、方法及びプログラム
US20200118247A1 (en) Image composition method, image composition device, and recording medium
WO2011001967A1 (ja) パターン形状評価方法およびパターン形状評価装置
JP7429774B2 (ja) 損傷評価装置、方法及びプログラム
US20220406018A1 (en) Three-dimensional display device, three-dimensional display method, and three-dimensional display program
JP2004021578A (ja) 画像処理方法
JP7233313B2 (ja) 計測支援装置および計測支援方法
WO2021010038A1 (ja) 情報表示装置、方法及びプログラム
JP7184249B2 (ja) 避雷保護範囲生成システムおよびプログラム
KR100443667B1 (ko) 포장도로의 균열검출방법
JP7326446B2 (ja) 画像表示装置、方法及びプログラム
JP4427305B2 (ja) 三次元画像表示装置及び方法
JP2022077872A (ja) 画像計測装置、画像計測方法、および、画像計測プログラム
JP2017224196A (ja) 情報処理装置、情報処理方法及びプログラム
JP2022178076A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230131

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7429774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150