WO2023053705A1 - 点検支援装置、点検支援方法、及びプログラム - Google Patents

点検支援装置、点検支援方法、及びプログラム Download PDF

Info

Publication number
WO2023053705A1
WO2023053705A1 PCT/JP2022/029312 JP2022029312W WO2023053705A1 WO 2023053705 A1 WO2023053705 A1 WO 2023053705A1 JP 2022029312 W JP2022029312 W JP 2022029312W WO 2023053705 A1 WO2023053705 A1 WO 2023053705A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
information
diagram
processor
inspection support
Prior art date
Application number
PCT/JP2022/029312
Other languages
English (en)
French (fr)
Inventor
修平 堀田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023550417A priority Critical patent/JPWO2023053705A1/ja
Publication of WO2023053705A1 publication Critical patent/WO2023053705A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction

Definitions

  • the processor associates the damage graphic with the character string.
  • the processor In the inspection support method for assisting creation of a damage diagram of a structure by a processor according to the twelfth aspect, the processor generates a structural diagram of the target structure on the medium and an image of information including damage information added on the medium by the user. acquiring data; recognizing damage information from the acquired image data; acquiring drawing data corresponding to the structural drawing; aligning the structural drawing of the image data with the drawing data; drawing the damage information as a damage figure at the corresponding position of the drawing data to create a damage figure.
  • the processor stores the structural diagram of the target structure on the medium and the damage information added by the user on the medium.
  • acquiring image data of information including; recognizing damage information from the acquired image data; acquiring drawing data corresponding to the structural drawing; and aligning the structural drawing of the image data with the drawing data. and drawing the damage information as a damage figure at the corresponding position of the drawing data to create a damage figure.
  • a CPU (processor) 20 reads out various programs including a structure inspection support program of the embodiment stored in the storage unit 16 or ROM 24 or the like, develops them in the RAM 22, and performs calculations, thereby performing integrated control of each unit. do. Further, the CPU 20 reads programs stored in the storage unit 16 or the ROM 24 , performs calculations using the RAM 22 , and performs various processes of the structure inspection support apparatus 10 .
  • the display device 30 is, for example, a device such as a liquid crystal display, and can display various information.
  • the inspection support method includes a step of acquiring image data including a structural diagram and damage information (step S1), a step of recognizing damage information from the image data (step S2), and acquiring drawing data. (step S3), aligning the structural diagram and the drawing data (step S4), and drawing the damage figure on the drawing data to create the damage diagram (step S5).
  • damage information 60D, 60E, and 60F indicating the state of regional damage includes patterns (see FIG. 11).
  • Damage information 60D includes a pattern corresponding to "float”
  • damage information 60E includes a pattern corresponding to "free lime”
  • damage information 60F includes a pattern corresponding to "stripping”.
  • 1200A in FIG. 12 is the seventh example, and 1200B is the eighth example.
  • the inspection memo 48 includes the structural drawing 42 and the damage information 60 added by the user U, the photographed image identification information 61, the association information 62, and the additional attribute information 65.
  • the acquired image data 80 of the inspection memo 48 is displayed on the display device 30, for example.
  • the image data acquisition unit 51 acquires the field notebook 40A from the electronic medium 46 as the image data 80.
  • step S2 for the damage information 60 added by the user U, a line drawing and a sketch line representing the position, shape, or attributes (damage type, size, degree of damage, etc.) of the damage in the damage information 60 are obtained by image recognition. Recognize the area.
  • ) is recognized as a character
  • the number “0.15 (0.8)” related to the size is recognized as a character from the additional attribute information 67D
  • the number “0.15 (0.8)” related to the size is recognized from the additional attribute information 67E as a character. )” are recognized as characters.
  • it is predetermined for crack damage that the first number indicates the width (mm) and the number in brackets indicates the length (m).
  • the damage information recognition unit 53 associates the additional attribute information 65 closest to the damage information 60 as the additional attribute information 65 corresponding to the damage information 60.
  • the user can predetermine conditions for associating the damage information 60 and the additional attribute information 65, and can cause the damage information recognition unit 53 to perform processing based on the conditions.
  • the photographed image 103 is obtained from the photographed image identification information 61, and the complementary information for complementing the damage information 60 is obtained from the photographed image 103. preferably.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

損傷図作成の煩雑さを軽減できる点検支援装置、点検支援方法、及びプログラムを提供する。構造物の損傷図の作成を支援するプロセッサを備える点検支援装置において、プロセッサは、媒体上の対象構造物の構造図と、媒体上にユーザにより追加された損傷に関する損傷情報を含む情報の画像データを取得し、取得された画像データから画像認識により損傷情報を認識し、構造図に対応する図面データを取得し、画像データの構造図と図面データとを位置合わせし、図面データの対応位置に損傷情報を損傷図形として描画して損傷図を作成する。

Description

点検支援装置、点検支援方法、及びプログラム
 本発明は、構造物の点検支援装置、点検支援方法、及びプログラムに関する。
 社会的なインフラストラクチャーとして、橋梁、トンネル等の構造物が存在する。これらの構造物には損傷が発生し、その損傷は進行する性質を持つため、定期的に点検を行うことが求められる。構造物を点検した調査員は点検の結果を示す帳票として所定形式の点検調書を作成する。
 特許文献1には、鉄骨構造物の印刷された帳票に、目印や引出線および所望の文字情報が手書きし、その帳票をスキャナによりイメージデータに変換して、鉄骨構造物の目印と、その部分の状態、程度及び処置とが結びつけられた電子化データを得ることを開示する。
特開2007-179340号公報
 ところで、点検調書の一つである構造物の損傷状態を図示する損傷図を作成する場合、例えば、設計図、又CADデータに基づいて対象構造物の構造図を含む図面の印刷物(いわゆる野帳)を準備し、構造物の点検現場では図面の印刷物に手書きでひび割れ等の変状部をメモし、点検後、事務所で変状部等が追加された野帳と撮影画像を見ながら損傷図(CAD図面)を作成する必要があるため作業が煩雑であるという問題がある。
 本発明はこのような事情に鑑みてなされたもので、その目的は、損傷図作成の煩雑さを軽減できる点検支援装置、点検支援方法、及びプログラムを提供することである。
 第1態様の構造物の損傷図の作成を支援するプロセッサを備える点検支援装置において、プロセッサは、媒体上の対象構造物の構造図と、媒体上にユーザにより追加された損傷に関する損傷情報を含む情報の画像データを取得し、取得された画像データから画像認識により損傷情報を認識し、構造図に対応する図面データを取得し、画像データの構造図と図面データとを位置合わせし、図面データの対応位置に損傷情報を損傷図形として描画して損傷図を作成する。
 第2態様において、プロセッサは、損傷図形と文字列とを関連付けする。
 第3態様において、プロセッサは、作成された損傷図に対する編集を受付け、損傷図の編集を許容する。
 第4態様において、プロセッサは、損傷図形をベクトル化しとして描画する。
 第5態様において、プロセッサは、機械学習モデル、又は画像認識アルゴリズムの少なくとも一方により、画像データから画像認識により損傷情報を認識する。
 第6態様において、プロセッサは、損傷図形と、図面データに含まれる寸法情報とから、損傷の実寸法を算出する。
 第7態様において、プロセッサは、画像データから情報に含まれる追加属性情報を文字認識により認識する。
 第8態様において、プロセッサは、損傷情報と追加属性情報とを予め定められた条件に基づいて関連付ける。
 第9態様において、情報は追加属性情報を特定する補助情報を含み、プロセッサは、補助情報に基づいて追加属性情報の位置を特定する。
 第10態様において、情報は対象構造物を撮影した撮影画像の撮影画像識別情報を含み、プロセッサは、撮影画像識別情報から撮影画像を取得し、撮影画像から損傷情報を補完する補完情報を取得する。
 第11態様において、媒体上に対象構造物の過去における過去損傷情報を含み、プロセッサは、損傷情報と過去損傷情報とに基づいて、損傷情報と過去損傷情報の差分を損傷図形として描画する。
 第12態様のプロセッサにより構造物の損傷図の作成を支援する点検支援方法において、プロセッサにより、媒体上の対象構造物の構造図と、媒体上にユーザにより追加された損傷情報を含む情報の画像データを取得するステップと、取得された画像データから損傷情報を認識するステップと、構造図に対応する図面データを取得するステップと、画像データの構造図と図面データとを位置合わせするステップと、図面データの対応位置に損傷情報を損傷図形として描画して損傷図を作成するステップと、を実行する。
 第13態様のプロセッサにより構造物の損傷図の作成を支援する点検支援方法を実行させるプログラムにおいて、プロセッサにより、媒体上の対象構造物の構造図と、媒体上にユーザにより追加された損傷情報を含む情報の画像データを取得するステップと、取得された画像データから損傷情報を認識するステップと、構造図に対応する図面データを取得するステップと、画像データの構造図と図面データとを位置合わせするステップと、図面データの対応位置に損傷情報を損傷図形として描画して損傷図を作成するステップと、を実行させる。
 本発明の点検支援装置、点検支援方法、及びプログラムによれば、損傷図作成の煩雑さを軽減できる。
図1は、構造物の点検支援装置のハードウェア構成の一例を示すブロック図である。 図2は、CPUで実現される処理機能を示すブロック図である。 図3は、記憶部に記憶される情報等を示す図である。 図4は、実施形態の点検支援装置を使用した点検支援方法を示すフロー図である。 図5は、点検支援装置を利用して構造図を紙媒体に印刷をする処理を説明図である。 図6は、ユーザが点検現場で橋梁を点検する作業を説明するための図である。 図7は、点検メモの記載例の一例を示す図である。 図8は、点検メモの記載例を示す図である。 図9は、点検メモの記載例を示す図である。 図10は、点検メモの記載例を示す図である。 図11は、領域系損傷の損傷種類とスケッチのパターンとの関係を示す説明図である。 図12は、点検メモの記載例を示す図である。 図13は、点検メモの画像データを取得する処理を説明する図である。 図14は、撮影画像から補完情報を取得する処理を説明する図である。 図15は、図面データを取得する処理を説明する図である。 図16は、構造図と図面データの位置合わせする処理を説明する図である。 図17は、画像データから損傷図を作成する処理を説明する図である。 図18は、損傷図に旗揚げを行う処理を説明する図である。 図19は、損傷図と損傷リストを利用した編集を説明するための図である。 図20は、過去損傷情報と今回の損傷情報とを利用して差分を損傷図形として描画する処理を説明する図である。
 以下、添付図面に従って本発明に係る構造物の点検支援装置、構造物の点検支援方法及びプログラムの好ましい実施の形態について説明する。ここで、「構造物」は、建造物、例えば、橋梁、トンネル、ダムなどの土木構造物を含み、その他にビル、家屋、建物の壁、柱、梁などの建築物をも包含するものである。
 [構造物の点検支援装置のハードウェア構成]
 図1は、本発明に係る構造物の点検支援装置のハードウェア構成の一例を示すブロック図である。
 図1に示す構造物の点検支援装置10としては、コンピュータ又はワークステーションを使用することができる。本例の構造物の点検支援装置10は、主として入出力インターフェイス12、記憶部16、操作部18、CPU(Central Processing Unit)20と、RAM(Random Access Memory)22と、ROM(Read Only Memory)24と、表示制御部26とから構成されている。構造物の点検支援装置10には、ディスプレイを構成する表示装置30が接続され、CPU20の指令の下、表示制御部26の制御により表示装置30に表示が行われる。表示装置30は、例えばモニタで構成される。
 入出力インターフェイス12は、構造物の点検支援装置10に様々なデータ(情報)を入力することができる。例えば、記憶部16に記憶されるデータが入出力インターフェイス12を介して入力される。
 CPU(プロセッサ)20は、記憶部16、又はROM24等に記憶された実施形態の構造物の点検支援プログラムを含む各種のプログラムを読み出し、RAM22に展開して計算を行うことにより、各部を統括制御する。また、CPU20は、記憶部16、又はROM24に記憶されているプログラムを読み出して、RAM22を使用して計算を行い構造物の点検支援装置10の各種処理を行う。
 図2は、CPU20で実現される処理機能を示すブロック図である。
 CPU20は、画像データ取得部51、損傷情報認識部53、図面データ取得部55、位置合わせ部57及び損傷図作成部59等を有する。各部の具体的な処理機能の説明は後で行う。画像データ取得部51、損傷情報認識部53、図面データ取得部55、位置合わせ部57及び損傷図作成部59はCPU20の一部であり、CPU20が各部の処理を実行する。
 図1に戻って、記憶部(メモリ)16は、ハードディスク装置、フラッシュメモリ等から構成されるメモリである。記憶部16には、オペレーティングシステム、構造物の点検支援方法を実行させるプログラム等、構造物の点検支援装置10を動作させるデータ及びプログラムが記憶されている。また記憶部16は、以下で説明する本実施形態で使用する情報等を記憶する。
 図3は、記憶部16に記憶される情報等を示す図である。記憶部16はCD(Compact Disk)、DVD(Digital Versatile Disk)、ハードディスク(Hard Disk)、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成される。
 記憶部16は、主に、対象構造物の図面データ101、対象構造物を撮影した撮影画像103及び対象構造物の過去損傷情報105等を記憶する。
 対象構造物の図面データ101は、対象構造物の設計時の形状、寸法及び部材を含むデータ(図面、CADデータ)である。図面データ101は、図面データ101を特定できる図面データ識別情報(例えば、ファイル名)に対応付けられて、記憶されている。
 対象構造物を撮影した撮影画像103は、点検現場において、現状の対象構造物を撮影した画像のデータである。撮影画像103は、撮影画像103を特定できる撮影画像識別情報(例えば、ファイル名)に対応付けられて、記憶されている。
 過去損傷情報105は、前回の点検時に作成された損傷情報を含むデータ(例えば、損傷図の形式のデータ)である。過去損傷情報105は、前回の点検時に撮影された過去撮影画像と関連付けられている。過去損傷情報105は、過去損傷情識別情報(例えば、ファイル名)に対応付けられて、記憶されている。ここで、損傷図は、国土交通省や地方自治体の定める形式でもよい。
 図1に戻って、操作部18はキーボード及びマウスを含み、ユーザはこれらのデバイスを介して、点検支援装置10に必要な処理を行わせることができる。タッチパネル型のデバイスを用いることにより、表示装置30は操作部としても機能する。
 表示装置30は、例えば、液晶ディスプレイ等のデバイスであり、各種情報を表示できる。
 次に、点検支援装置10を使用した点検支援方法を示すフローを説明する。図4は、点検支援装置10を使用した点検支援方法を示すフロー図である。
 図4に示すように、点検支援方法は、構造図と損傷情報を含む画像データを取得するステップ(ステップS1)と、画像データから損傷情報を認識するステップ(ステップS2)と、図面データを取得するステップ(ステップS3)と、構造図と図面データとを位置合わせするステップ(ステップS4)と、図面データに損傷図形を描画し損傷図を作成するステップ(ステップS5)と、を備える。
 まず、ユーザによる点検現場での点検について説明し、次に画像データの基礎となる構造図と損傷情報を含む情報を含む媒体について説明する。
 ユーザは点検現場で点検を行う前に、点検対象の損傷図を含む媒体を準備する。図5に示すように、ユーザUは、操作部18を操作することで、点検支援装置10に動作指令を入力する。ここで、ユーザUは、対象構造物を特定するための条件を操作部18から入力し、今回の点検対象の図面データ101を記憶部16(図3参照)から抽出する。点検対象の図面データ101が表示装置30に表示される。ユーザUは、表示された図面データ101が対象構造物に該当するか確認する。図面データ101が対象構造物に該当する場合、ユーザUは、操作部18から出力指示を入力する。印刷装置32が図面データ101を対象構造物の構造図42として紙媒体41に印刷する。これにより、紙媒体41に構造図42が印刷された野帳40が作成される。野帳40には橋梁名及び部材名称が記載されている。
 図6は、ユーザUが点検現場で橋梁を点検する場合を説明するための図である。本発明が適用される構造物70の一例である橋梁は、橋梁71は、主桁72と、横桁73と、対傾構74と、横構75とを有する。主桁72の上部には、コンクリート製の部材である床版76が設けられている。主桁72は、橋台又は橋脚の間に渡され、床版76上の荷重を支える部材である。横桁73は、荷重を複数の主桁72で支えるため、主桁72を連結する部材である。対傾構74及び横構75は、特に横荷重に抵抗するため、主桁72を連結する部材である。
 0600Aに示すように、点検現場では、ユーザUは、野帳40とペン43とを持ちながら、点検対象の構造物70である橋梁に対して外観目視による状態(外観性状)の把握を行う。ユーザUは、外観目視で得た構造物70の損傷77に関する損傷情報60(図7~図12参照)を、野帳40の紙媒体41にペン43により手書きで追加する。紙媒体41には構造図42が印刷されている。ユーザUは、損傷77をデジタルカメラ45で撮影し、客観的なデータとして撮影画像103(不図示)を取得する。ユーザUは、構造物70に対する複数の撮影画像103の位置関係を示すため、撮影画像103に対応する撮影画像識別情報(ファイル名)を、野帳40の紙媒体41に手書きで追加する(図7~図12参照)。
 0600Bにおいては、ユーザUは、紙媒体41の野帳40とペン43に代えて、タブレット等の電子媒体46の野帳40Aと電子ペン47とを持ちながら、点検対象の構造物70である橋梁に対して外観目視による状態把握を行う。ユーザUは、外観目視で得た構造物70の損傷77に関する損傷情報60を、野帳40Aの電子媒体46に電子ペン47により、手書きで追加する。また、ユーザUは、損傷77をデジタルカメラ45で撮影し、客観的なデータとして撮影画像103(不図示)を取得する。ユーザUは、構造物70に対する複数の撮影画像103の位置関係を示すため、撮影画像103に対応する撮影画像識別情報(ファイル名)を、野帳40Aの電子媒体46に手書きで追加する。
 図7は、床版Aの構造図42の印刷された紙媒体41(野帳40)であって、損傷情報60を含む情報が手書きにより追加された紙媒体41、いわゆる点検メモ48の一例を示す。なお、図7には複数の記載様式を含んでいる。
 図7に示すように、床版Aの構造図42が印刷された紙媒体41上には、損傷情報60がユーザにより追加される。野帳40の紙媒体41上には、必要に応じて損傷77を撮影した際の撮影画像識別情報61が損傷情報60と共に追加される。さらに、撮影画像識別情報61と損傷情報60との関連性を示す関連付け情報62及び63、補助情報64(図9参照)、追加属性情報65等を含む。野帳40に手書きの損傷情報60及び撮影画像識別情報61が追加され点検メモ48が作成される。
 図8から図12は、点検メモの個別の記載例を示す図である。
 図8の0800Aは第1例であり、0800Bは第2例を示す。
 0800Aの第1例は、構造物70の損傷77(図6参照)に関するユーザにより追加された損傷情報60と撮影画像識別情報61とを含む点検メモ48に示す。損傷情報60は、ひび割れ、漏水、遊離石灰といった損傷を線図、線種又は領域などで図示したものである。損傷情報60は、損傷情報60A、60B、60C、60D、60E及び60Fを含む。損傷情報60A、60B、60C、60D及び60Eは、ひび割れに関する損傷77の状態を線図で示す。損傷情報60Aは橙線で描かれ、幅0.2mm以上0.3mm未満のひび割れを示す。損傷情報60B、60D及び60Eは青線で描かれ、幅0.2mm未満のひび割れを示す。損傷情報60C赤線で描かれ、幅0.3mm以上のひび割れを示す。損傷情報60Fは領域系の損傷77を黒点線の閉曲線で示す。領域系損傷は、例えば、剥離、鉄筋露出、遊離石灰、漏水及びうき、これらに属さないその他などが含まれる。
 撮影画像識別情報61は損傷77を撮影した撮影画像103のファイル名又はファイル名の一部(以下「ファイル名」という)であり、例えば、数字、文字又は記号、又はそれらの組み合わせである文字により構成される。撮影画像識別情報61は、撮影画像識別情報61A、61B、61C、61D、61E及び61Fを含む。例えば、撮影画像識別情報61Aは、「1510」の文字列を含んでおり、ファイル名”DSCF1510.jpg”の一部を示す。同様に、撮影画像識別情報61B、61C、61D、61E及び61Fは、それぞれ、「1511」、「1512」、「1513」、「1514」及び「1515」を含む。撮影画像識別情報61A、61B、61C、61D、61E及び61Fを識別できる限りにおいて、撮影画像識別情報61に含まれるファイル名の長さ等は自由に決定できる。撮影画像識別情報61がファイル名を含む場合、撮影画像識別情報61に基づいて記憶部16から撮影画像103が抽出される。
 また、撮影画像識別情報61は、ファイル名に代えて、撮影順序を含むことができる。撮影画像識別情報61A及び61Bは、例えば、それぞれ、「1001」及び「1002」を含むことができる。撮影順序は数字、文字それらの組み合わせである文字により構成され、順序が特定できるよう、何らかの規則にしたがって構成されることが好ましい。さらに、撮影順序の「1001」と、ファイル名の「1510」とが関連付けられる。したがって、撮影画像識別情報61に含まられる撮影順序からファイル名が特定され、そのファイル名に基づいて記憶部16から撮影画像103が抽出される。
 0800Bの第2例は、0800Aの第1例と同様に、損傷情報60と撮影画像識別情報61とを含む。一方、0800Bの第2例は、さらに損傷情報60と撮影画像識別情報61とを関連付ける関連付け情報62を含む。
 関連付け情報62は対応する損傷情報60と撮影画像識別情報61とを結ぶ線図である。関連付け情報62は、関連付け情報62A、関連付け情報62B、関連付け情報62C、関連付け情報62D、関連付け情報62E及び関連付け情報62Fを含む。例えば、関連付け情報62Aが、損傷情報60Aと撮影画像識別情報61Aとを関連付ける。関連付け情報62Aは撮影画像識別情報61Aの下方に位置する直線と、この直線の右端から斜め下方に延び損傷情報60Aに到達する直線とで構成される。同様に、関連付け情報62Bが、損傷情報60Bと撮影画像識別情報61Bとを関連付け、関連付け情報62Cが、損傷情報60Cと撮影画像識別情報61Cとを関連付け、関連付け情報62Dが、損傷情報60Dと撮影画像識別情報61Dとを関連付け、関連付け情報62Eが、損傷情報60Eと撮影画像識別情報61Eとを関連付け、関連付け情報62Fが、損傷情報60Fと撮影画像識別情報61Fとを関連付ける。なお、関連付け情報62は損傷情報60と撮影画像識別情報61とを関連付けることができれば、線の形状及び線種は限定されない。
 図9の0900Aは第3例であり、0900Bは第4例を示す。
 0900Aの第3例は、0800Bの第2例と同様に、損傷情報60と撮影画像識別情報61とを含む。一方、0800Bの第2例の関連付け情報62とは異なる関連付け情報63を含む。第3例の関連付け情報63は閉じた線図であり、対応する損傷情報60と撮影画像識別情報61とを囲う。関連付け情報63は損傷情報60及び撮影画像識別情報61を全て囲う必要はなく、関連付け情報63に対応する損傷情報60及び撮影画像識別情報61が含まれていればよい。
 関連付け情報63Aが、損傷情報60Aと撮影画像識別情報61Aとを関連付ける。同様に、関連付け情報63Bが、損傷情報60Bと撮影画像識別情報61Bとを関連付け、関連付け情報63Cが、損傷情報60Cと撮影画像識別情報61Cとを関連付け、関連付け情報63Dが、損傷情報60Dと撮影画像識別情報61Dとを関連付け、関連付け情報63Eが、損傷情報60Eと撮影画像識別情報61Eとを関連付け、関連付け情報63Fが、損傷情報60Fと撮影画像識別情報61Fとを関連付ける。なお、関連付け情報63は損傷情報60と撮影画像識別情報61とを関連付けることができれば、線の形状及び線種は限定されない。
 0900Bの第4例は、0800Bの第2例と同様に、損傷情報60、撮影画像識別情報61及び関連付け情報62を含む。一方、0900Bの第4例は、さらに、撮影画像識別情報61の位置を特定するための補助情報64を含む。補助情報64は撮影画像識別情報61と所定の線で囲む。補助情報64Aが撮影画像識別情報61Aを囲む。同様に、補助情報64Bが撮影画像識別情報61Bを囲み、補助情報64Cが撮影画像識別情報61Cを囲み、補助情報64Dが撮影画像識別情報61Dを囲み、補助情報64Eが撮影画像識別情報61Eを囲み、補助情報64Fが撮影画像識別情報61Fを囲む。なお、補助情報64は撮影画像識別情報61を囲むことができれば、線の形状及び線種は限定されない。
 図10の1000Aは第5例であり、1000Bは第6例を示す。
 1000Aの第5例は、損傷情報60、撮影画像識別情報61及び関連付け情報62を含む。
 損傷情報60は損傷情報60A、60B、60C、60D、60E及び60Fを含む。損傷情報60A、60B及び60Cはひび割れに関する損傷77の状態を示し、損傷情報60D、60E及び60Fは領域系に関する損傷77の状態を示す。損傷情報60Aは橙線で描かれ、損傷情報60Bは青線で描かれ、損傷情報60Cは赤線で描かれる。撮影画像識別情報61は、撮影画像識別情報61A、61B、61C、61D、61E及び61Fを含む。また、関連付け情報62は、関連付け情報62A、関連付け情報62B、関連付け情報62C、関連付け情報62D、関連付け情報62E及び関連付け情報62Fを含む。
 1000Aの第5例は、さらに追加属性情報65を含む。追加属性情報65は、領域系の損傷の種類を示す数字及び記号を含む文字で構成される。損傷の種類の文字の例として、「ハ(H)」は剥離を表し、「ユ(Y)」は遊離石灰を表し、「ロ(R)」は漏水を表し、「ウ(U)」は浮きを表すことが挙げられる。追加属性情報65Aは「ウ(U)」を含み、追加属性情報65Bは「ユ(Y)」を含み、追加属性情報65Cは「ハ(H)」を含む。追加属性情報65Aは撮影画像識別情報61Dと共に、関連付け情報62Dにより損傷情報60Dに関連付けられる。同様に、追加属性情報65Bは撮影画像識別情報61Eと共に、関連付け情報62Eにより損傷情報60Eに関連付けられ、追加属性情報65Cは撮影画像識別情報61Fと共に、関連付け情報62Fにより損傷情報60Fに関連付けられる。
 1000Bの第6例は、1000Aの第5例と同様に、損傷情報60、撮影画像識別情報61及び関連付け情報62を含む。一方、1000Bの第6例は、1000Aの第5例の追加属性情報65以外に、追加属性情報65に相当する情報が、損傷情報60D、60E及び60Fに領域系の損傷の種類を示すスケッチのパターンとして含まれる。
 図11は、損傷情報60に含まれる領域系損傷の種類を示すスケッチのパターンの説明図である。図11に示すように、損傷種類とパターンとは対応付けられる。損傷種類は、「剥離」、「鉄筋露出」、「遊離石灰」、「漏水」、「その他」及び「うき」の6種類を含み、6種類の損傷種類には、それぞれ異なるパターンが対応する。
 図10の1000Bの第6例は、領域系損傷の状態を示す損傷情報60D、60E及び60Fは、パターン(図11参照)を含む。損傷情報60Dは「うき」に対応するパターンを含み、損傷情報60Eは「遊離石灰」に対応するパターンを含み、損傷情報60Fは「剥離」に対応するパターンを含む。
 1000Aの第5例では文字を含む追加属性情報65を示し、1000Bでの第6例では一つの領域系の損傷に対して追加属性情報65と損傷情報60のパターンとを含む例を示した。これに限定されず、図10の1000Bの第6例は、追加属性情報65を含まない場合でもよい。
 図12の1200Aは第7例であり、1200Bは第8例を示す。
 1200Aの第7例は、0800Bの第2例と同様に、損傷情報60と関連付け情報62を含む。損傷情報60A、60B、60C、60D及び60Eはひび割れに関する損傷77の状態を示し、損傷情報60Fは領域系に関する損傷77の状態を示す。
 一方、0800Bの第2例と異なり、1200Aは第7例では一つの損傷情報60に対し二つ撮影画像識別情報61が対応する。二つ撮影画像識別情報61はそれぞれ別の撮影画像103に対応する。例えば、一方の撮影画像103は損傷77の状態がわかるような近接画像であり、他方の撮影画像103は損傷77の位置がわかる遠景画像である。
 1200Aに示すように損傷情報60Aには、撮影画像識別情報61A及び61Bが関連付け情報62Aにより関連付けられる。同様に、損傷情報60Bには、撮影画像識別情報61C及び61Dが関連付け情報62Bにより関連付けられる。損傷情報60Cには、撮影画像識別情報61E及び61Fが関連付け情報62Cにより関連付けられる。損傷情報60Dには、撮影画像識別情報61G及び61Hが関連付け情報62Dにより関連付けられる。損傷情報60Eには、撮影画像識別情報61I及び61Jが関連付け情報62Eにより関連付けられる。損傷情報60Fには、撮影画像識別情報61K及び61Lが関連付け情報62Fにより関連付けられる。
 1200Bの第8例は、0800Bの第2例と同様に、損傷情報60と撮影画像識別情報61と関連付け情報62とを含む。損傷情報60A、60B、60C、60D及び60Eはひび割れに関する損傷77の状態を示し、損傷情報60Fは領域系に関する損傷77の状態を示す。撮影画像識別情報61は、撮影画像識別情報61A、61B、61C、61D、61E及び61Fを含む。
 1200Bの第8例は、さらに追加属性情報67を含む。追加属性情報67は、損傷77のサイズを示す数字で構成される。損傷情報60Aには、撮影画像識別情報61A及び追加属性情報67Aが関連付け情報62Aにより関連付けられる。追加属性情報67Aは、損傷情報60Aに対応するサイズに関する「0.2(1.5)」の数字を含む。ここで数字は、幅0.2mm、長さ1.5mを意味する。ひび割れの損傷に関し最初の数字が幅(mm)を示し、カッコ内の数字は長さ(m)を示す。したがって、追加属性情報67Bから追加属性情報67Eの数字は幅(mm)と長さ(m)を示す。なお、mmはミリメートルを表し、mはメートルを表す。
 追加属性情報67Bは損傷情報60Bに対応するサイズに関する「0.1(0.7)」の数字を含む。追加属性情報67Cは損傷情報60Cに対応するサイズに関する「0.3(2.0)」の数字を含む。追加属性情報67Dは損傷情報60Dに対応するサイズに関する「0.15(0.8)」の数字を含む。追加属性情報67Eは損傷情報60Eに対応するサイズに関する「0.15(0.8)」の数字を含む。
 追加属性情報67Fは、損傷情報60Fに対応するサイズに関する「0.5×0.3」の数字を含む。ここで数字は、長辺0.5m×短辺0.3mを意味する。領域系の損傷に関し最初の数字が長辺(m)を示し、次の数字が短辺(m)を示す。
 図8から図12に点検メモ48の第1例から第8例を例示したが、これらに限定されない。
 図4に戻って、ステップS1では、媒体上の対象構造物の構造図42と、媒体上にユーザにより追加された損傷情報60を含む情報の画像データ80(図13参照)を取得する。CPU20の画像データ取得部51が、媒体上の対象構造物の構造図42と、媒体上にユーザにより追加された損傷情報60とを含む情報の画像データ80を取得する(ステップS1)。
 ステップS1では、図13に示すように、例えば、1000Bに示される第6例の紙媒体41の点検メモ48がスキャナ装置33により読み取られ、読み取られた画像データ80が画像データ取得部51より点検支援装置10に取得される。なお、印刷装置32とスキャナ装置33とは両機能を備える一台の装置として構成できる。
 点検メモ48は、構造図42及びユーザUにより追加された損傷情報60と、撮影画像識別情報61と、関連付け情報62と、追加属性情報65とを含んでいる。取得された点検メモ48の画像データ80が、例えば表示装置30に表示される。電子媒体46の野帳40Aの場合、画像データ取得部51が電子媒体46から野帳40Aを画像データ80として取得する。
 次に、ステップS2では、取得された画像データ80から画像認識により損傷情報を認識する。CPU20の損傷情報認識部53が、取得された画像データ80から画像認識により損傷情報60を認識する(ステップS2)。
 ステップS2では、ユーザUにより追加された損傷情報60に対して、画像認識により損傷情報60における損傷の位置、形状又は属性(損傷種類、サイズ、損傷程度、等)を表す線図、スケッチ線の領域を認識する。
 損傷情報認識部53は、画像データ80から損傷情報60の属性に応じて描かれた異なる色、線種、及びパターンから、損傷情報60の属性の違いを認識する。損傷情報認識部53は、色や線種の違いにより属性の違いを判別できる。なお、損傷情報60に適用される色、線種、及びパターンは予めユーザUにより定められる。
 損傷情報60における属性とは、損傷種類、サイズおよび損傷程度などを含む。(1)損傷種類は、線状の損傷および領域系の損傷などの種類を分類する。線状の損傷は、ひび割れ、亀裂などを含む。領域系の損傷は、漏水、遊離石灰、剥離、鉄筋露出、さび汁、腐食、防食機能の劣化などを含む。(2)サイズは、例えば、ひび割れの幅である。ひび割れの幅は、例えば、0.2mm未満/0.2mm以上0.3mm未満/0.3mm以上、等に分類することができる。(3)損傷程度は、構造物の管理者等により定められた点検要領の基準に従った分類である損傷の進行度のランクa,b,c,d及びeなどを含む。損傷情報60の属性は定期点検において状態把握及び健全性の診断に有用であり、損傷の状態に関する基本的なデータとなる。構造物に対する補修等に利用できる。また、次回定期点検時において、損傷の進行状態を認識するために利用できる。
 損傷情報認識部53は、機械学習モデル、又は画像認識アルゴリズムの少なくとも一方により、画像データ80から画像認識により損傷情報60を認識することが好ましい。損傷情報60の認識精度を高めることができる。機械学習モデルは、公知の技術により学習が施された機械学習モデルである。例えば、損傷情報60に関する教師データを準備し、教師データを利用して機械学習された機械学習モデルを適用できる。画像認識アルゴリズムは、公知のアルゴリズムを適用できる。
 実施形態では、損傷情報認識部53は、画像データ80から損傷情報60A、60B及び60Cがひび割れに関する損傷の状態を示すことを認識し、損傷情報60D、60E及び60Fが領域系に関する損傷の状態を示すことを認識する(なお、損傷情報60A、60B、60C、60D、60E及び60Fの各符号については図10の1000Bを参照)。また、損傷情報認識部53は、損傷情報60D、60E及び60Fの線種、損傷情報60Aは橙線で描かれ、損傷情報60Bは青線で描かれ、損傷情報60Cは赤線で描かれていることを認識する。損傷情報認識部53は損傷情報60A、60B及び60Cの線種の色から損傷の幅の分類を認識する。損傷の幅は、0.2mm未満、0.2mm以上0.3mm未満、0.3mm以上などに分類可能である。線種の色と損傷の幅との関係は、例えば、属性参照情報として記憶部16に記憶され、損傷情報認識部53は、属性参照情報から損傷の幅を認識する。
 また、損傷情報60D、60E及び60Fに含まれるパターンから、損傷情報60Dの損傷種類が「うき」であること、損傷情報60Eの損傷種類が「遊離石灰」であること、損傷情報60Fの損傷種類が「剥離」であることを認識する。図11に示す損傷種類とパターンとの関係を示す情報が属性参照情報として記憶部16に記憶され、損傷情報認識部53は参照情報に基づいて損傷の属性を認識する。
 また、損傷情報認識部53は、画像データ80上での損傷情報60の位置を認識する。損傷情報認識部53は、例えば、画像データ80に含まれる構造図42に対する損傷情報60の相対位置を認識する。損傷情報60の位置は構造図42を基準に特定できる。
 損傷情報認識部53は、画像データ80に含まれる損傷情報60に関連付けられた追加属性情報65を文字認識により認識する。損傷情報60には含まれていない損傷の属性情報を追加属性情報65の文字列により追加で認識する。また、損傷情報60から認識された属性のより詳細な属性を追加属性情報65の文字列により追加で認識する。
 例えば、第6例(図10の1000B)において、損傷情報認識部53は、損傷情報60Dに対応する追加属性情報65Aの「ウ(U)」の文字を認識し、損傷情報60Eに対応する追加属性情報65Bの「ユ(Y)」の文字を認識し、損傷情報60Fに対応する追加属性情報65Cの「ハ(H)」の文字を認識する。
 損傷情報認識部53は、損傷情報60を認識することにより領域系損傷(漏水、遊離石灰、剥離、うき等)のいずれかであること(損傷種類の大分類)を認識し、関連付けられた追加属性情報65の文字列から具体的な損傷種類(漏水、遊離石灰、剥離、うき等)を認識する。これにより、損傷情報60の属性をより高い精度で認識できる。
 また、点検メモ48が第8例(図12の1200B)の場合、損傷情報認識部53は、画像データ80に含まれる損傷情報60に関連付けられた追加属性情報67を文字認識により認識する。損傷情報認識部53は、損傷情報60Aに関連付けられた追加属性情報67Aからサイズに関する「0.2(1.5)」の数字を文字として認識する。同様に、損傷情報認識部53は、追加属性情報67Bからサイズに関する「0.1(0.7)」の数字を文字として認識し、追加属性情報67Cからサイズに関する「0.3(2.0)」の数字を文字として認識し、追加属性情報67Dからサイズに関する「0.15(0.8)」の数字を文字として認識し、追加属性情報67Eからサイズに関する「0.15(0.8)」の数字を文字として認識する。上述したように、ひび割れの損傷に関し最初の数字が幅(mm)を示し、カッコ内の数字は長さ(m)を示すことが、予め定められている。
 これにより、損傷情報認識部53は、損傷情報60の色からひび割れの幅の分類(0.2mm未満/0.2mm以上0.3mm未満/0.3mm以上等)に認識し、追加属性情報67の文字(数字)から詳細なひび幅及び長さを認識する。
 損傷情報認識部53は、画像データ80に含まれる損傷情報60と追加属性情報65とを予め定められた条件に基づいて関連付ける。点検メモ48が第6例の場合(図10の1000B)、損傷情報認識部53は、画像データ80の関連付け情報62に基づいて損傷情報60と追加属性情報65とを関連付ける。関連付け情報62は損傷情報60と追加属性情報65との間をつなぐ線図であり、損傷情報認識部53が関連付け情報62を検出し、対応する追加属性情報65を特定する文字と損傷情報60とを関連付ける。関連付け情報62は線図に限定されず、点検メモ48が第3例(図9の0900A)に示されるような関連付け情報63(閉じた線図)であってもよい。
 また、画像データ80が関連付け情報62及び63を含まない場合、損傷情報認識部53は、損傷情報60に最も近い追加属性情報65を、損傷情報60に対応する追加属性情報65として関連付ける。ユーザは損傷情報60と追加属性情報65とを関連付ける条件を予め決定でき、損傷情報認識部53に条件に基づいて処理をさせることができる。
 損傷情報認識部53は、画像データ80に含まれる補助情報64を検出し、補助情報64に基づいて追加属性情報65の文字を認識する。例えば、点検メモ48が0900Bに示す第4例の補助情報64を、例えば第6例に追加することができる。補助情報64により追加属性情報65を囲うことで、損傷情報認識部53は、補助情報64に基づいて追加属性情報65の位置を特定する。追加属性情報65の位置を特定することで、損傷情報認識部53が追加属性情報65の文字を認識する精度を向上できる。
 画像データ80が補助情報64を含まない場合、例えば、図13に示すように、画像データ80を表示装置30に表示させた際、追加属性情報65の周囲を囲む等の補助情報64に相当するアシスト情報を画像データ80上で入力し、アシスト情報に基づいて追加属性情報65の文字を認識してもよい。
 画像データ80が対象構造物を撮影した撮影画像103の撮影画像識別情報61を含む場合、撮影画像識別情報61から撮影画像103を取得し、撮影画像103から損傷情報60を補完する補完情報を取得することが好ましい。
 損傷情報60及び追加属性情報65(67)だけでなく撮影画像103から補完情報を取得することで、損傷77の状態をより正確に認識できる。
 例えば、図14に示されるように、画像データ80に含まれる撮影画像識別情報61に基づいて、撮影画像103が記憶部16から取得されている状態を示す。画像データ80の撮影画像識別情報61に含まれるファイル名「1512」に対応する撮影画像103が表示装置30に表示される。
 この撮影画像103から画像認識(機械学習モデル、又は画像解析)により、損傷情報認識部53が損傷77の形状及び/又はその属性(種類、サイズ及び程度等)を認識する。
 撮影画像103に基づいてからサイズも認識させる場合、撮影画像103の解像度情報(mm/画素)、または画像データ80内の所定の領域や物体に対する実寸サイズを入力することで、損傷77のサイズを認識できる。撮影画像103から得られた外形性状の属性は、損傷情報60または追加属性情報65を補完し、撮影画像103から得られたサイズの属性は追加属性情報67を補完する。
 次に、ステップS3では、構造図42に対応する図面データ101を取得する。CPU20の図面データ取得部55が、図面データ101を取得する(ステップS3)。
 例えば、画像データ80に橋梁名及び部材名称が含まれている場合、図面データ取得部55は、橋梁名及び部材名称から画像データ80の構造図42に対応する図面データ101を記憶部16から抽出し、取得する。
 図15に示すように、表示装置30に画像データ80と取得された図面データ101を表示できる。ユーザUは、画像データ80の構造図42と図面データ101とが対応するか確認できる。構造図42と図面データ101とが対応しない場合、ユーザUは対象構造物を特定するための条件を操作部18から入力し、図面データ取得部55が条件にしたがって点検対象の図面データ101を記憶部16から抽出できる。
 次に、ステップS4では、画像データ80の構造図42と図面データ101とを位置合わせする。CPU20の位置合わせ部57が、構造図42と図面データ101とを位置合わせする(ステップS4)。
 位置合わせ部57は構造図42に対して原点と複数の基準点(例えば複数の角部)を設定し、同様に図面データ101に対して原点Oと複数の基準点(例えば複数の角部)を設定する。例えば構造図42において、左下の角部を原点Oとし、残りの3つ角部を基準点とする。同様に、図面データ101において、左下の角部を原点Oとし、残りの3つ角部を基準点とする。構造図42における原点から基準点までの相対的位置(方向及び距離)を算出する。同様に、図面データ101における原点から基準点までの相対的位置(方向及び距離)を算出する。図16に示すように、構造図42の原点から基準点までの相対的位置と、図面データ101の原点から基準点までの相対的位置とを一致させる。
 最後に、ステップS5では、図面データ101の対応位置に損傷情報60を損傷図形82として描画して損傷図84を作成する。CPU20の損傷図作成部59が、図面データ101上の対応位置に損傷情報60に応じた所定の線種、色、パターン又はこれらの組み合わせを描画して損傷図84を作成する(ステップS5)。
 図17に示すように、例えば、表示装置30の左上には画像データ80が表示され、表示装置30の左下には図面データ101上に損傷図形82を描画した損傷図84が表示される。
 既述したように、ステップS2において損傷情報認識部53は、画像データ80に含まれる構造図42に対する損傷情報60の相対位置を認識する。これにより、損傷情報60の位置は構造図42を基準に特定できる。
 ステップS4では、画像データ80の構造図42と図面データ101とが位置合わせされる。したがって、損傷情報認識部53が認識した構造図42に対する損傷情報60の相対位置情報を利用することで、図面データ101上に損傷情報60に応じた損傷図形82を描画できる。
 損傷図形82は損傷情報60を損傷情報認識部53の属性情報に基づいてトレースすることで図面データ101上に描画できる。損傷図形82は認識した損傷情報60をベクトル化又はポリゴン化して描画できる。ベクトル化は損傷の始点及び終点を示す線図として描くことができる。
 損傷図形82は損傷図形データとして図面データ101に加えられ、損傷図形データと図面データ101とを備える損傷図84が作成される。損傷図84は損傷図形データと図面データ101とを備えるので、印刷装置32から紙媒体に印刷できる。損傷図84は電子データ(損傷図データ)として出力され、記憶部16に記憶される。次回定期点検時において損傷図84は過去損傷情報105として利用できる。
 CPU20の損傷図作成部59が損傷図形82と、図面データ101に含まれる寸法情報とから、損傷の実寸法を算出する。
 既述したように損傷情報60から認識された線図の長さ又は領域の大きさに基づいて、損傷図形82が対象構造物の実寸情報を有している図面データ101に描画されている。したがって、実寸情報と損傷図形82との対応関係から損傷の実寸のサイズを算出し、損傷図形82に対し、より正確な実寸のサイズ情報に変換できる。
 図17に示すように、スキャナ装置33により読み取った点検メモ48の画像データ80から自動で点検支援装置10により損傷図84を作成できる。表示装置30の右側に示されるように、ユーザUは損傷図84に対して編集メニュー85から編集、追加、及び削除をすることができる。
 次に、図18を参照して旗揚げ機能について説明する。表示装置30には、確定した損傷図84が表示される。損傷図84は損傷図形82と図面データ101とを含んでいる。
 CPU20の損傷図作成部59は、確定した損傷図84の損傷図形82に自動で旗揚げを行う。損傷図作成部59は、損傷図形82に対して、損傷情報認識部53が損傷情報60から認識した線種又はパターンに関連する文字列を対応付けて表示する。例えば、損傷図形82の位置及形状に対して属性を示す文字列(例えば、種類、サイズ、損傷の程度又はそれらの組み合わせ)を対応付けて表示する。または、損傷図形82の位置及び形状に対して属性のうち少なくとも一つ(色や線種の違いで表現)が表示され、残りの属性または全属性については文字列を対応付けて表示する。損傷情報60を表す線の色やパターンの違いにより、損傷の種類やサイズの違いを損傷図形82において表現することが可能となる。予め対応関係(例えば線の色と幅の関係、スケッチと領域ケソン省との関係等)対応関係のデータベースを準備し、その対応関係から、損傷情報60を表す線の意味を解釈することで、文字列に置き換えて表現できる。対応関係のデータベースを編集可能である。
 図18においては、一つの損傷図形82に対して旗揚げの一例を示している。旗揚げ表示86では、損傷情報60から認識された属性に関する文字列が表示されている。旗揚げ表示86は、任意決定された損傷番号の「NO8」と、損傷の種類の「ひび割れ」と、損傷のサイズの「W=0.15mm、L=0.8m」と、任意に決定された写真番号の「写-1004」を含んでいる。
 なお、ユーザUは、旗揚げメニュー87から編集、追加、及び削除をすることができる。編集された結果はリアルタイムに損傷図84の損傷図データに反映される。
 次に、図19に基づいて、損傷図84と損傷リスト88を利用した編集について説明する。図19に示すように、表示装置30には損傷図84と損傷リスト88とが同時に表示されている。損傷図84と損傷リスト88とは損傷の属性の内容が同期されている。例えば、損傷図84における損傷番号1の旗揚げ表示86と損傷リスト88の損傷番号1とが一致し、いずれも「ひび割れ」を表示する。同様に旗揚げ表示86と損傷リスト88の損傷サイズとは一致する。
 ユーザUは、追加ボタンを操作することで損傷図84に損傷図形82を追加できる。追加できる損傷図形82は、「ひび割れ」及び領域系損傷(剥離、遊離石灰等)を含む。損傷図形82が追加されると損傷リスト88に反映され、新たな損傷番号と損傷内容が追加させる。ユーザUは、削除ボタンを操作することで、損傷図84の損傷図形82を削除できる。
 ユーザUは、損傷図84の旗揚げ表示86の内容及び損傷リスト88の内容のいずれについても編集により、修正、追加及び削除ができる。損傷図84と損傷リスト88とは同期しているので、いずれか一方を編集した場合、編集内容は他方に反映さえる。
 ユーザUは、損傷図84をCAD出力することができ、出力先を選択できる。例えば、印刷装置32であり、または汎用画像フォーマットの形式で電子データとして出力できる。また、ユーザUは、損傷リスト88を所定のフォーマットの表形式で出力できる。例えば、ここでは損傷リスト88が写真台帳の形式で出力される。
 実施形態の点検支援装置は対象構造物の過去における過去損傷情報105と今回の損傷情報60とに基づいて損傷情報60と過去損傷情報105との差分を損傷図形82として描画できる。
 図20の2000Aに示すように、ユーザU(不図示)は、過去損傷情報105に基づいて図面データ101に対応する構造図42と損傷図形82(82A、82B、82C、82D、82E及び82F)を紙媒体41に印刷し野帳40を作成する。
 2000Bに示すように、点検現場では、ユーザUは、野帳40とペン43とを持ちながら、点検対象の構造物70である橋梁に対して外観目視による状態把握を行う。ユーザUは、外観目視で得た構造物70の損傷77に関する損傷情報60(60A及び60B)を、野帳40の紙媒体41にペン43により手書きで追加する。
 点検後の野帳40を図4に示すフローにしたがって、損傷図84を作成する。その際、損傷図作成部59は、今回の損傷情報60(60A及び60B)に対応する損傷図形82を、過去損傷情報105に差分として追加する。
 定期点検ごとに差分を追加することで、構造物70の損傷の進行状況を容易に把握できる。
 <その他>
 上記実施形態において、各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部は1つのプロセッサで構成できる。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
 上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
 以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。
10 点検支援装置
12 入出力インターフェイス
16 記憶部
18 操作部
26 表示制御部
30 表示装置
32 印刷装置
33 スキャナ装置
40 野帳
40A 野帳
41 紙媒体
42 構造図
43 ペン
45 デジタルカメラ
46 電子媒体
47 電子ペン
48 点検メモ
51 画像データ取得部
53 損傷情報認識部
55 図面データ取得部
57 位置合わせ部
59 損傷図作成部
60 損傷情報
60A 損傷情報
60B 損傷情報
60C 損傷情報
60D 損傷情報
60E 損傷情報
60F 損傷情報
61 撮影画像識別情報
61A 撮影画像識別情報
61B 撮影画像識別情報
61C 撮影画像識別情報
61D 撮影画像識別情報
61E 撮影画像識別情報
61F 撮影画像識別情報
61G 撮影画像識別情報
61H 撮影画像識別情報
61I 撮影画像識別情報
61J 撮影画像識別情報
61K 撮影画像識別情報
61L 撮影画像識別情報
62 関連付け情報
62A 関連付け情報
62B 関連付け情報
62C 関連付け情報
62D 関連付け情報
62E 関連付け情報
62F 関連付け情報
63 関連付け情報
63A 関連付け情報
63B 関連付け情報
63C 関連付け情報
63D 関連付け情報
63E 関連付け情報
63F 関連付け情報
64 補助情報
64A 補助情報
64B 補助情報
64C 補助情報
64D 補助情報
64E 補助情報
64F 補助情報
65 追加属性情報
65A 追加属性情報
65B 追加属性情報
65C 追加属性情報
67 追加属性情報
67A 追加属性情報
67B 追加属性情報
67C 追加属性情報
67D 追加属性情報
67E 追加属性情報
67F 追加属性情報
70 構造物
71 橋梁
72 主桁
73 横桁
74 対傾構
75 横構
76 床版
77 損傷
80 画像データ
82 損傷図形
84 損傷図
85 編集メニュー
86 旗揚げ表示
87 旗揚げメニュー
88 損傷リスト
101 図面データ
103 撮影画像
105 過去損傷情報

Claims (13)

  1.  構造物の損傷図の作成を支援するプロセッサを備える点検支援装置であって、
     前記プロセッサは、
     媒体上の対象構造物の構造図と、前記媒体上にユーザにより追加された損傷に関する損傷情報を含む情報の画像データを取得し、
     前記取得された前記画像データから画像認識により前記損傷情報を認識し、
     前記構造図に対応する図面データを取得し、
     前記画像データの前記構造図と前記図面データとを位置合わせし、
     前記図面データの対応位置に前記損傷情報を損傷図形として描画して損傷図を作成する、点検支援装置。
  2.  前記プロセッサは、
     前記損傷図形と文字列とを関連付けする、請求項1に記載に点検支援装置。
  3.  前記プロセッサは、作成された前記損傷図に対する編集を受付け、前記損傷図の編集を許容する、請求項1又は2に記載の点検支援装置。
  4.  前記プロセッサは、
     前記損傷図形をベクトル化して描画する、請求項1から3のいずれか一項に記載の点検支援装置。
  5.  前記プロセッサは、
     機械学習モデル、又は画像認識アルゴリズムの少なくとも一方により、前記画像データから画像認識により前記損傷情報を認識する、請求項1から4のいずれか一項に記載の点検支援装置。
  6.  前記プロセッサは、
     前記損傷図形と、前記図面データに含まれる寸法情報とから、前記損傷の実寸法を算出する、請求項1から5のいずれか一項に記載の点検支援装置。
  7.  前記プロセッサは、
     前記画像データから前記情報に含まれる追加属性情報を文字認識により認識する、請求項1から6のいずれか一項に記載の点検支援装置。
  8.  前記プロセッサは、
     前記損傷情報と前記追加属性情報とを予め定められた条件に基づいて、関連付ける請求項7に記載の点検支援装置。
  9.  前記情報は前記追加属性情報を特定する補助情報を含み、
     前記プロセッサは、前記補助情報に基づいて前記追加属性情報の位置を特定する、請求項7又は8に記載の点検支援装置。
  10.  前記情報は前記対象構造物を撮影した撮影画像の撮影画像識別情報を含み、
     前記プロセッサは、
     前記撮影画像識別情報から前記撮影画像を取得し、
     前記撮影画像から前記損傷情報を補完する補完情報を取得する、
     請求項1から9のいずれか一項に記載の点検支援装置。
  11.  前記媒体上に前記対象構造物の過去における過去損傷情報を含み、
     前記プロセッサは、
     前記損傷情報と前記過去損傷情報とに基づいて、前記損傷情報と前記過去損傷情報の差分を前記損傷図形として描画する、請求項1から10のいずれか一項に記載の点検支援装置。
  12.  プロセッサにより構造物の損傷図の作成を支援する点検支援方法であって、
     前記プロセッサにより、
     媒体上の対象構造物の構造図と、前記媒体上にユーザにより追加された損傷情報を含む情報の画像データを取得するステップと、
     前記取得された前記画像データから前記損傷情報を認識するステップと、
     前記構造図に対応する図面データを取得するステップと、
     前記画像データの前記構造図と前記図面データとを位置合わせするステップと、
     前記図面データの対応位置に前記損傷情報を損傷図形として描画して損傷図を作成するステップと、
     を実行する点検支援方法。
  13.  プロセッサにより構造物の損傷図の作成を支援する点検支援方法を実行させるプログラムであって、
     前記プロセッサにより、
     媒体上の対象構造物の構造図と、前記媒体上にユーザにより追加された損傷情報を含む情報の画像データを取得するステップと、
     前記取得された前記画像データから前記損傷情報を認識するステップと、
     前記構造図に対応する図面データを取得するステップと、
     前記画像データの前記構造図と前記図面データとを位置合わせするステップと、
     前記図面データの対応位置に前記損傷情報を損傷図形として描画して損傷図を作成するステップと、
     を実行させるプログラム。
PCT/JP2022/029312 2021-09-30 2022-07-29 点検支援装置、点検支援方法、及びプログラム WO2023053705A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023550417A JPWO2023053705A1 (ja) 2021-09-30 2022-07-29

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021161060 2021-09-30
JP2021-161060 2021-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/606,782 Continuation US20240219312A1 (en) 2021-09-30 2024-03-15 Inspection support device, inspection support method, and program

Publications (1)

Publication Number Publication Date
WO2023053705A1 true WO2023053705A1 (ja) 2023-04-06

Family

ID=85782263

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029312 WO2023053705A1 (ja) 2021-09-30 2022-07-29 点検支援装置、点検支援方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023053705A1 (ja)
WO (1) WO2023053705A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019175015A (ja) * 2018-03-27 2019-10-10 株式会社竹中工務店 被災情報処理装置、及び被災情報処理モデル学習装置
JP2020160056A (ja) * 2019-03-22 2020-10-01 株式会社安藤・間 移動式ひび割れ検出装置、及びひび割れ検出方法
JP2021101190A (ja) * 2015-12-25 2021-07-08 富士フイルム株式会社 損傷情報処理装置、損傷情報処理方法、及び損傷情報処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021101190A (ja) * 2015-12-25 2021-07-08 富士フイルム株式会社 損傷情報処理装置、損傷情報処理方法、及び損傷情報処理プログラム
JP2019175015A (ja) * 2018-03-27 2019-10-10 株式会社竹中工務店 被災情報処理装置、及び被災情報処理モデル学習装置
JP2020160056A (ja) * 2019-03-22 2020-10-01 株式会社安藤・間 移動式ひび割れ検出装置、及びひび割れ検出方法

Also Published As

Publication number Publication date
JPWO2023053705A1 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
Adhikari et al. Image-based retrieval of concrete crack properties for bridge inspection
EP1813934A1 (en) Concrete structure crack inspection device and crack inspection method
US20230112828A1 (en) Inspection support device, inspection support method, and program
JP2022137150A (ja) 損傷情報処理装置、損傷情報処理方法、及び損傷情報処理プログラム
EP3889588A1 (en) Inspection assistance device, inspection assistance method, and inspection assistance program for concrete structure
JP2021047197A (ja) 損傷データ編集装置、損傷データ編集方法、およびプログラム
US20230003663A1 (en) Inspection support device, inspection support method, and inspection support program
US11959862B2 (en) Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system
JP7479528B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2023053705A1 (ja) 点検支援装置、点検支援方法、及びプログラム
Puri et al. Toward automated dimensional quality control of precast concrete elements using design BIM
JP5097629B2 (ja) 地物形状変化検出プログラム、及び、地物形状変化検出システム
US20240219312A1 (en) Inspection support device, inspection support method, and program
US20190378315A1 (en) Apparatus, method of drawing, and storage medium
WO2022070734A1 (ja) 構造物の点検支援装置、構造物の点検支援方法、及びプログラム
JP2001349887A (ja) コンクリート構造物の劣化診断支援システム
EP4116933A1 (en) Three-dimensional display device, method, and program
Anil et al. Representation of damage information for post-earthquake damage assessment of reinforced concrete frames
EP4148663A1 (en) Damage evaluating device, method, and program
WO2022071085A1 (ja) 損傷情報処理装置、損傷情報処理方法、及びプログラム
WO2023203965A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7422845B1 (ja) 損傷図解析装置、損傷図解析方法及びプログラム
US20240078720A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium
KR20230085372A (ko) 스캐너를 이용한 건축구조물 외관조사망도의 입력 자동화 시스템 및 그 방법
JP2022187567A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22875582

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023550417

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE