WO2022107485A1 - 構造物の点検支援装置、構造物の点検支援方法及びプログラム - Google Patents

構造物の点検支援装置、構造物の点検支援方法及びプログラム Download PDF

Info

Publication number
WO2022107485A1
WO2022107485A1 PCT/JP2021/037302 JP2021037302W WO2022107485A1 WO 2022107485 A1 WO2022107485 A1 WO 2022107485A1 JP 2021037302 W JP2021037302 W JP 2021037302W WO 2022107485 A1 WO2022107485 A1 WO 2022107485A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
information
target structure
comment
selection
Prior art date
Application number
PCT/JP2021/037302
Other languages
English (en)
French (fr)
Inventor
修平 堀田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022563621A priority Critical patent/JPWO2022107485A1/ja
Priority to CN202180074971.9A priority patent/CN116508047A/zh
Priority to EP21894359.5A priority patent/EP4250192A1/en
Publication of WO2022107485A1 publication Critical patent/WO2022107485A1/ja
Priority to US18/308,763 priority patent/US20230260098A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Definitions

  • the present invention relates to a structure inspection support device, a structure inspection support method, and a program.
  • the investigator who inspected the structure needs to prepare an inspection record of the prescribed format based on the inspection procedure specified by the manager of the structure as a form showing the result of the inspection.
  • an expert different from the investigator who actually inspected can grasp the progress of damage to the structure and formulate a maintenance plan for the structure. Will be possible.
  • Patent Document 1 discloses a system that can shorten the time required for the preparation of the inspection report.
  • the present invention has been made in view of such circumstances, and provides a structure inspection support device, a structure inspection support method, and a program capable of improving the efficiency of comment work and leveling comments such as findings. That is.
  • the structure inspection support device of the first aspect is a structure inspection support device including a processor, wherein the processor selects information about the target structure including at least one of a photographed image and damage information of the target structure.
  • a selection process for accepting, a creation process for creating a comment for damage to the target structure based on information about the selected target structure, and a display process for displaying the comment on the display are performed.
  • the creation process creates at least one comment on the damage of the target structure based on at least one of the photographed image and the damage information.
  • the creation process is created as a comment for damage to the target structure using machine learning.
  • a database including a database for storing information on a past target structure including at least one of a photographed image of the structure and damage information and a comment on the damage of the structure in association with each other is provided. Based on the information about the target structure and the information about the structure stored in the database, the creation process makes a comment about the damage of the structure similar to the damage of the target structure as a comment about the damage of the structure. create.
  • the selection process accepts the selection of the information about the target structure by selecting the three-dimensional model of the structure associated with the information about the target structure.
  • the selection process automatically accepts selection of information about the target structure for which a comment is created from the target structure.
  • the selection process automatically accepts selection of information about the target structure based on at least one of the captured image and the damage information.
  • the processor accepts editing for the comment and executes an editing process for changing the comment.
  • the editing process accepts a comment candidate selected from a plurality of comment candidates corresponding to the comment as an edit to the comment.
  • the processor executes the related information extraction process for extracting the related information related to the damage of the target structure, and the display process displays the related information on the display.
  • the structure inspection support method of the eleventh aspect is based on a selection step that accepts selection of information about the target structure including at least one of a photographed image and damage information of the target structure, and information about the selected target structure. Then, the processor performs a creation step of creating a comment for damage to the target structure and a display step of displaying the comment on the display.
  • the structure inspection support program of the twelfth aspect is based on a selection function that accepts a selection of information about the target structure including at least one of a photographed image and damage information of the target structure and information about the selected target structure.
  • the computer realizes a creation function for creating a comment for damage to the target structure and a display function for displaying the comment on the display.
  • the structure inspection support device According to the structure inspection support device, the structure inspection support method and the program of the present invention, it is possible to improve the efficiency of comment work and level the comments such as findings.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of an inspection support device for a structure.
  • FIG. 2 is a block diagram showing a processing function realized by a CPU.
  • FIG. 3 is a diagram showing information and the like stored in the storage unit.
  • FIG. 4 is a flow chart showing an inspection support method using an inspection support device for a structure.
  • FIG. 5 is a diagram showing an example of a captured image.
  • FIG. 6 is a diagram showing an example of damage information.
  • FIG. 7 is a diagram showing an example of a three-dimensional model.
  • FIG. 8 is a diagram showing how information about the target structure is selected from the three-dimensional model.
  • FIG. 9 is a block diagram of a creation processing unit that executes processing using the trained model.
  • FIG. 9 is a block diagram of a creation processing unit that executes processing using the trained model.
  • FIG. 10 is a block diagram of a creation processing unit that executes a processing for extracting similar damage.
  • FIG. 11 is a diagram showing an example of a method for extracting similar damage.
  • FIG. 12 is a diagram showing an example of a screen displayed on the display device in the selection step.
  • FIG. 13 is a diagram showing another example of the screen displayed on the display device in the selection step.
  • FIG. 14 is a diagram showing an example of displaying an example of a template of inspection record data on a display device.
  • FIG. 15 is a diagram showing an example in which inspection record data in which text data other than comments such as findings are input is displayed on a display device.
  • FIG. 16 is a diagram showing an example in which the inspection record data in which the text data of the comment is input is displayed on the display device.
  • FIG. 17 is a diagram showing an example of an editing process.
  • the "structure” includes a building, for example, a civil engineering structure such as a bridge, a tunnel, and a dam, and also includes a building such as a building, a house, a building wall, a pillar, and a beam. be.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of an inspection support device for a structure according to the present invention.
  • the structure inspection support device 10 shown in FIG. 1 a computer or a workstation can be used.
  • the structure inspection support device 10 of this example mainly includes an input / output interface 12, a storage unit 16, an operation unit 18, a CPU (Central Processing Unit) 20, a RAM (Random Access Memory) 22, and a ROM (Read Only Memory). It is composed of 24 and a display control unit 26.
  • a display device 30 constituting a display is connected to the structure inspection support device 10, and the display device 30 is displayed under the command of the CPU 20 under the control of the display control unit 26.
  • the display device 30 is composed of, for example, a monitor.
  • the input / output interface 12 can input various data (information) to the inspection support device 10 of the structure.
  • the data stored in the storage unit 16 is input via the input / output interface 12.
  • the CPU (processor) 20 reads out various programs including the inspection support program of the structure of the embodiment stored in the storage unit 16, ROM 24, etc., expands them in the RAM 22, and performs calculations to control each unit in an integrated manner. do. Further, the CPU 20 reads out the program stored in the storage unit 16 or the ROM 24, performs calculations using the RAM 22, and performs various processes of the structure inspection support device 10.
  • FIG. 2 is a block diagram showing a processing function realized by the CPU 20.
  • the CPU 20 has a selection processing unit 51, a creation processing unit 53, a display processing unit 55, and the like. The specific processing functions of each part will be described later. Since the selection processing unit 51, the creation processing unit 53, and the display processing unit 55 are a part of the CPU 20, the CPU 20 can also be referred to as executing the processing of each unit.
  • the storage unit (memory) 16 is a memory composed of a hard disk device, a flash memory, and the like.
  • the storage unit 16 stores data and programs for operating the structure inspection support device 10, such as an operating system and a program for executing a structure inspection support method. Further, the storage unit 16 stores information and the like used in the present embodiment described below.
  • FIG. 3 is a diagram showing information and the like stored in the storage unit 16.
  • the storage unit 16 is composed of a non-temporary recording medium such as a CD (Compact Disk), a DVD (Digital Versatile Disk), a hard disk (Hard Disk), various semiconductor memories, and a control unit thereof.
  • a non-temporary recording medium such as a CD (Compact Disk), a DVD (Digital Versatile Disk), a hard disk (Hard Disk), various semiconductor memories, and a control unit thereof.
  • the storage unit 16 mainly stores information 101 regarding the target structure, the three-dimensional model 103, and inspection record data 105.
  • the information 101 regarding the target structure includes at least one of the photographed image and the damage information of the target structure.
  • the photographed image is an image of a structure.
  • the damage information includes at least one of the location of damage, the type of damage and the degree of damage of the target structure.
  • the information 101 regarding the target structure may include an image (damage image) showing the damage detected from the photographed image of the structure. Damage information may be acquired automatically by image analysis or the like, or manually by the user.
  • the information 101 regarding the target structure may include a plurality of types of data, and may include, for example, a panoramic composite image and a two-dimensional drawing.
  • the panoramic composite image is a group of images corresponding to a specific member, which is composited from the captured image. Damage information (damage image) may also be panoramicly combined.
  • the 3D model 103 is, for example, data of a 3D model of a structure created based on a plurality of captured images.
  • the three-dimensional model 103 includes data of member regions and member names constituting the structure. Each member region and member name may be specified on the three-dimensional model 103.
  • the member area and the member name may be automatically specified for the three-dimensional model 103 from the information on the shape and dimensions of the member. Further, the member region and the member name may be specified with respect to the three-dimensional model 103 based on the user's operation.
  • Information 101 about the target structure and the three-dimensional model 103 may be associated with each other.
  • the information 101 regarding the target structure is stored in the storage unit 16 in association with the positions and members on the three-dimensional model 103.
  • the information 101 about the target structure may be displayed on the 3D model 103.
  • the three-dimensional model 103 may be displayed together with the information 101 regarding the target structure.
  • the inspection record data 105 is, for example, a template for a two-dimensional inspection record (a document file in a designated format).
  • the model may be a format specified by the Ministry of Land, Infrastructure, Transport and Tourism or the local government.
  • the operation unit 18 shown in FIG. 1 includes a keyboard and a mouse, and the user can cause the inspection support device 10 to perform necessary processing via these devices.
  • the display device 30 can function as an operation unit.
  • the display device 30 is, for example, a device such as a liquid crystal display, and can display three-dimensional model data, information 101 about the target structure, inspection record data 105, and comments.
  • FIG. 4 is a flow chart showing a structure inspection support method using a structure inspection support device.
  • the selection processing unit 51 accepts the selection of the information 101 regarding the target structure (selection step: step S1).
  • the information 101 regarding the target structure includes at least one of the captured image and the damage information.
  • Information 101 regarding the target structure is acquired from the stored storage unit 16.
  • the information 101 about the target structure may be acquired from another storage unit through the network via the input / output interface 12.
  • FIG. 5 is a diagram showing an example of a photographed image 107 included in the information 101 regarding the target structure.
  • the photographed images 107A and 107B are a plurality of images obtained by photographing the structure.
  • a photographed image group 107C composed of a plurality of photographed images 107A, 107B, etc. obtained by photographing a plurality of places of a structure is configured. In the specification, it may be simply referred to as a photographed image 107, if necessary.
  • FIG. 6 is a diagram showing an example of damage information 109 included in the information 101 regarding the target structure.
  • the damage information 109 shown in FIG. 6 includes a member (damage position), a type of damage, a size of damage, a degree of damage, and a change over time.
  • the damage information 109 may include at least one of the location of damage, the type of damage, and the degree of damage of the target structure. Further, the damage information 109 may include damage information other than the damage information 109 shown in FIG. 6, for example, the cause of damage.
  • step S1 a preferable selection process in the selection step.
  • the selection process section 51 may accept the selection of the information 101 related to the target structure by selecting the three-dimensional model 103 of the structure associated with the information 101 related to the target structure.
  • FIG. 7 is a diagram showing an example of the three-dimensional model 103.
  • the three-dimensional model 103 can be displayed as a point cloud, a polygon (mesh), a solid model, or the like.
  • the three-dimensional model 103 of FIG. 7 is a diagram in which a photographed image (texture) obtained by photographing a structure is texture-mapped to a polygon of a polygon.
  • the three-dimensional model 103 includes a member name and a member area.
  • the three-dimensional model 103 is composed of, for example, a deck 131, a pier 133, an abutment 135, and the like.
  • Information 101 about the target structure is interconnected with positions, members, and the like on the three-dimensional model 103.
  • the method for creating the 3D model 103 is not limited. There are various models, and for example, a three-dimensional model 103 can be created by using a method of SfM (Structure from Motion). SfM is a method for restoring a three-dimensional shape from a multi-viewpoint image. For example, a feature point is calculated by an algorithm such as SIFT (Scale-Invariant Feature Transform), and the feature point is used as a clue to use the principle of triangular survey. Calculate the three-dimensional position of the point cloud. Specifically, a straight line is drawn from the camera to the feature point using the principle of triangulation, and the intersection of the two straight lines passing through the corresponding feature point becomes the restored three-dimensional point. Then, by performing this operation for each detected feature point, the three-dimensional position of the point cloud can be obtained.
  • the three-dimensional model 103 may be created by using the captured image 107 (photographed image group 107C) shown in FIG.
  • the size is not calculated by SfM, for example, by installing a scaler with known dimensions on the subject and taking a picture, it is possible to associate it with the actual scale.
  • the three-dimensional model 103 showing the overall bird's-eye view is displayed on the display device 30 (not shown) by the display processing unit 55 (not shown).
  • the user manually selects the 3D model 103 on the 3D model 103 via the operation unit 18, and the display processing unit 55 arbitrarily enlarges or reduces the 3D model 103A, or the viewpoint, line of sight, and field of view.
  • the 3D model 103A with any of them changed is displayed. It may be referred to as a 3D model 103 including an overall bird's-eye view and a modified 3D model such as an enlargement.
  • the selection processing unit 51 selects the captured image 107 or the damage information 109, which is the information 101 regarding the target structure. I can accept it. Further, the selection processing unit 51 may accept selection of both the captured image 107 and the damage information 109, which are the information 101 regarding the target structure.
  • the 3D model 103 to which the damage is mapped can be displayed, and the user can select the damage to be commented on the 3D model 103.
  • the selection process unit 51 may automatically accept selection of information 101 about the target structure for which a comment is created from the target structure.
  • the user selects a target member (bridge) or span (tunnel) via the operation unit 18, and the selection process unit 51 selects information 101 regarding the target structure for each member. Automatically accepts selection.
  • the user specifies, for example, a specific member on the three-dimensional model 103, and the selection processing unit 51 relates to the target structure from the members designated on the three-dimensional model 103. It is possible to automatically accept the selection of at least one of the captured image 107 which is the information 101 and the damage information 109.
  • the user may select a member from the member list displayed on the display device.
  • the selection processing unit 51 can automatically accept the selection of at least one of the photographed image 107, which is the information 101 about the target structure, or the damage information 109, from the members designated from the member list.
  • the selection processing unit 51 automatically selects a predetermined number of information 101 regarding the target structure corresponding to the target damage for each damage type among the target members and spans, and accepts the selection. However, if there is no damage in the entire structure, the information 101 about the target structure corresponding to the damage is not selected.
  • the selection process section 51 automatically selects a predetermined number of information 101 about the target structure corresponding to the target damage from the entire target structure and accepts the selection. However, if there is no damage in the entire structure, the information 101 about the target structure corresponding to the damage is not selected.
  • the selection processing unit 51 may select the damage with the most advanced degree of damage from the information 101 regarding the target structure. For example, the selection processing unit 51 selects the damage having the largest damage degree from the result of the damage degree (ranks of a, b, c, d, and e) of the damage information 109, and selects the information 101 regarding the target structure. accept.
  • the selection processing unit 51 may select the damage having the fastest damage progress rate from the information 101 regarding the target structure. For example, the selection processing unit 51 selects the damage having the fastest progress speed from the result of the time change of the damage information 109, and selects the information 101 regarding the target structure.
  • the progress rate may be obtained from the length change / year, the width change / year, the area change / year, and the like.
  • the rate of progression may be determined from the amount of change in damage size per year. For example, the amount of change in crack length per year, that is, the amount of change in length / year may be obtained. Further, the width change amount / year may be obtained from the change amount of the damage width such as the change amount of the crack width per year.
  • the amount of change in the damaged area per year may ask for the year and so on.
  • the selection processing unit 51 may select the damage having the largest damage size from the information 101 regarding the target structure.
  • the selection processing unit 51 may select the longest damage or the widest damage such as cracks and cracks from the result of the captured image 107 or the damage information 109, and may also select peeling, water leakage, and free lime. The largest area of damage, such as corrosion, may be selected.
  • the selection processing unit 51 accepts the selection of information 101 regarding the selected damaged target structure.
  • the selection processing unit 51 from the information 101 regarding the target structure, in the case of a concrete member, fatigue, salt damage, neutralization, alkaline aggregate reaction, frost damage, poor construction, excessive external force, etc.
  • the damage corresponding to the damage cause specified by the user may be selected from fatigue, salt damage, water leakage, material deterioration, coating film deterioration, construction failure, excessive external force, and the like.
  • the selection processing unit 51 accepts the selection of the information 101 regarding the selected damaged target structure.
  • the selection processing unit 51 may select the damage existing at the point of interest.
  • the Ministry of Land, Infrastructure, Transport and Tourism's "Bridge Periodic Inspection Guidelines" (March 2019) describes examples of points of interest that need to be focused on when regularly inspecting concrete bridges.
  • the points of interest are (1) end fulcrum, (2) intermediate fulcrum, (3) span center, (4) span 1/4, (5) joint, (6) segment joint, (7). Examples include a fixing portion and (8) a notch portion.
  • the selection processing unit 51 may automatically accept selection of information 101 regarding the damaged target structure for each point of interest.
  • Points of interest include (1) lining joints and joints, (2) near the top of the lining and (3) near the middle of the lining span.
  • the selection processing unit 51 may automatically accept selection of information 101 regarding the damaged target structure for each point of interest.
  • the selection processing unit 51 may automatically accept selection of information 101 regarding a damaged target structure that satisfies the first selection criterion and the second selection criterion, for example. Further, the selection processing unit 51 may automatically accept selection of information 101 regarding the damaged target structure that satisfies the first selection criterion and the third selection criterion, for example. Although the case where two selection criteria are combined has been described, three or more selection criteria may be combined.
  • the CPU 20 functions as the selection processing unit 51.
  • the creation processing unit 53 creates a comment for damage to the target structure based on the information 101 regarding the selected target structure (creation step: step S2).
  • step S2 a preferable comment creation process in the creation step.
  • the creation process unit 53 creates at least one comment for the damage of the target structure by artificial intelligence (AI). You may.
  • AI artificial intelligence
  • a trained model by a convolutional neural network can be used.
  • CNN convolutional neural network
  • FIG. 9 shows a block diagram of the creation processing unit 53 using the trained model.
  • the creation processing unit 53 using the trained model is configured by a CPU or the like.
  • the creation processing unit 53 includes a plurality of (three in this example) trained models 53A, 53B, and 53C corresponding to a plurality of types of damage.
  • Each trained model 53A, 53B and 53C has an input layer, an intermediate layer and an output layer, and each layer has a structure in which a plurality of "nodes" are connected by "edges".
  • Information 101 regarding the selected target structure is input to the input layer of the CNN.
  • the information 101 regarding the target structure is a photographed image 107 or damage information 109 (for example, at least one of damage type, degree, damage progress, damage cause, and the like).
  • the intermediate layer has a plurality of sets including a convolution layer and a pooling layer, and is a part for extracting features from a photographed image 107 input from an input layer or damage information 109.
  • the convolution layer filters nearby nodes in the previous layer (performs a convolution operation using the filter) and obtains a "feature map".
  • the pooling layer reduces the feature map output from the convolution layer to a new feature map.
  • the "convolution layer” plays a role of feature extraction such as edge extraction from the captured image 107, or a frame allocation of feature extraction such as natural language processing from the damage information 109.
  • the output layer of CNN is a part that outputs a feature map showing the features extracted by the intermediate layer.
  • the output layer of the trained models 53A, 53B, 53C of this example outputs the inference result as the damage detection results 53D, 53E, 53F.
  • the damage detection results 53D, 53E, 53F contain at least one comment for the damage derived from each trained model 53A, 53B, 53C.
  • the trained model 53A is a trained model machine-learned to detect water leakage, planar free lime and rust juice damage, respectively, in the damaged areas and damage of water leakage, planar free lime and rust juice.
  • the damage type and comment for each area are output as the damage detection result 53D.
  • the trained model 53B is a trained model machine-learned to detect damage of peeling and exposed reinforcing bars, and damage detection results 53E for each damaged area of peeling and exposed reinforcing bars, damage type and comment for each damaged area. Is output as.
  • the trained model 53C is a trained model machine-learned to detect cracks and linear free lime damage, and includes damage regions of cracks and linear free lime, damage types and comments for each damaged region.
  • the damage detection result is output as 53F.
  • the output damage detection results 53D, 53E, 53F will be created as comments for damage to the target structure.
  • the trained models 53A, 53B, and 53C of the creation processing unit 53 are not limited to the above embodiments, and have, for example, individual trained models for each damage type, and each trained model has its own damage type.
  • the corresponding damaged area and comment may be configured to be output as a damage detection result.
  • the same number of trained models as the number of damage types to be inspected will be provided.
  • it may have one trained model that can handle all types of damage, and may be configured to output the damage area and the damage type and comment for each damage area as a damage detection result.
  • Appropriate, that is, accurate and error-free comments can be generated based on the information 101 regarding the target structure.
  • the second comment creation process will be described with reference to FIGS. 10 and 11.
  • the creation processing unit 53 bases on the information 101 regarding the target structure and the information 140 regarding the past structure stored in the database 60.
  • Comments on structural damage related to similar damage similar to damage to the target structure may be made as comments on structural damage.
  • the database 60 may be stored in the storage unit 16 or may be stored in another storage unit.
  • the database 60 is a part that stores and manages the information 140 regarding the structure inspected in the past and the comment 142 for the damage of the structure created at that time in association with each other.
  • the information 140 about the structure includes at least one of the captured image and the damage information.
  • the creation processing unit 53 further includes a similar damage extraction unit 53G.
  • Information 101 about the target structure selected in the selection step (step S1) is output to the similar damage extraction unit 53G.
  • the similar damage extraction unit 53G Based on the information 101 regarding the target structure, the similar damage extraction unit 53G has the target structure out of the information 140 regarding the past structure stored in the database 60 and the comment 142 regarding the damage to the structure created at that time. Information 140 and comments 142 about structures similar to Information 101 are extracted.
  • the similar damage extraction unit 53G makes a similar determination based on the damage information of the type of damage, the position of damage, the degree of damage (length, width, area, density, depth, etc.) (mean value, maximum value, etc.). You may go.
  • the similar damage extraction unit 53G may make a similar determination based on the position and degree of damage over time in addition to the damage information.
  • the database 60 at least one of the captured images at a plurality of time points obtained by photographing the same portion of the structure, the damage information at the plurality of time points detected from the photographed images at the plurality of time points, and the information indicating the change over time of the damage information. It is preferable that one is memorized.
  • the similar damage extraction process by the similar damage extraction unit 53G detects the change with time of the damage information based on the information 101 about the target structure at a plurality of time points, and the information indicating the change with time is referred to as the damage of the target structure from the database 60. It can be used as one of the information when extracting similar similar damage.
  • the similar damage extraction unit 53G may make a similar determination in consideration of at least one of information other than the damage information, for example, structural information, environmental information, history information, and inspection information of the structure. good.
  • the similar damage extraction unit 53G extracts the damaged area of similar damage, the damage type and the comment for each damaged area as the similar damage detection result 53H.
  • the similar damage extraction unit 53G extracts information 140 and comments 142 about a structure similar to the information 101 about the target structure based on one or more of the following other information, and extracts the information 140 and the comment 142 as the similar damage detection result 53H. May be good.
  • Other information includes at least one of the following structural information, environmental information, history information and inspection information of the structure.
  • -Structural information Structural type (in the case of bridges: girder bridge, ramen bridge, truss bridge, arch bridge, diagonal bridge, suspension bridge), member type (in the case of bridge: floor slab, bridge pedestal, abutment, girder ...), Materials (steel, reinforced concrete, PC (Prestressed Concrete) ...), etc.
  • -Environmental information Traffic volume (per day, per month, per year, cumulative, etc.), distance from the sea, climate (average temperature, average) Humidity, rainfall, snowfall, etc.)
  • History information Construction conditions (temperature at the time of construction, etc.), age (completion date, service start date, age since then), repair history, disaster history (earthquake, typhoon, flood, etc.)
  • Inspection information Monitoring information (deflection of structure, vibration amplitude, vibration cycle, etc.
  • FIG. 11 is a diagram showing an example of a method for extracting similar damage by the similar damage extraction unit.
  • the information 140 regarding the structure stored in the database 60 is indicated by a cross, and the information 101 regarding the target structure is indicated by a ⁇ mark.
  • the feature vector A indicates the maximum crack width (mm)
  • the feature vector B indicates the number of years after the start of service of the structure.
  • the feature space based on the feature vectors can be a multidimensional space composed of three or more feature vectors, but in FIG. 11, for the sake of simplicity, the two-dimensional space composed of two feature vectors is shown.
  • the similar damage extraction unit 53G has a feature vector (first feature vector) of the damage information of the current diagnosis target indicated by ⁇ and a feature vector of damage information (second feature vector) indicated by ⁇ .
  • the distance to the feature vector) is calculated, and the damage information indicated by the cross mark whose distance is equal to or less than the threshold value (inside the circle shown by the dotted line in FIG. 11) is extracted as similar damage.
  • This threshold can be optimized by statistical methods.
  • the distance may be a distance when the plurality of parameters of the first feature vector and the second feature vector are not weighted (Euclidean distance), or may be a distance when weighted (Mahalanobis distance). What kind of weight is assigned to which parameter may be determined by a statistical method such as principal component analysis.
  • additional search conditions can be specified as points or ranges in the feature space. For example, when a bridge whose completion date is January 1, 1990 or later and a girder bridge whose basic structure is specified are specified, damage similar to that of the structure can be extracted within the specified range.
  • damage information In addition to the above, damage information, structural information, environmental information, history information, inspection information, etc. included in other information can be set as the axis of the feature space, and similar damage can be extracted.
  • the method for extracting similar damage may use a method different from the method for determining by the distance in the feature space.
  • it may be extracted by AI (Artificial Intelligence) for determining the similarity from an image, or AI for determining the similarity by combining a plurality of information among images, damage information, and other information.
  • AI Artificial Intelligence
  • the display processing unit 55 displays the comment created in the creation step (step S2) on the display device 30 constituting the display (display step: step S3).
  • the inspection support program uses the CPU 20 or the like to realize a selection function corresponding to the selection step, a creation function corresponding to the creation step, and a display function corresponding to the display step.
  • step S1 selection step (step S1), the creation step (step S2), and the display step (step S3) will be described.
  • FIG. 12 is a diagram showing an example of a screen displayed on the display device in the selection step (step S1). As shown in FIG. 12, the display device 30 displays the three-dimensional model 103, the enlarged three-dimensional model 103A, and the information 101 regarding the target structure on one screen. The captured image 107 and the damage information 109 are displayed as the information 101 regarding the target structure. Either the captured image 107 or the damage information 109 may be displayed.
  • FIG. 13 is a diagram showing another example of the display displayed on the display device 30.
  • FIG. 13A only the three-dimensional model 103 is displayed on the display device 30.
  • FIG. 13B the enlarged three-dimensional model 103 is displayed on the display device 30.
  • FIG. 13C only the information 101 regarding the target structure is displayed on the display device 30.
  • the captured image 107 is displayed as the information 101 regarding the target structure.
  • the target structure is related.
  • the display of the three-dimensional model 103 (FIG. 13 (A)) is expanded from the display of the information 101 regarding the target structure (FIG. 13 (C)) to the display of the three-dimensional model 103A (FIG. 13 (B)). You may switch to.
  • the information 101 regarding the target structure is selected by executing the selection processing unit 51 of the inspection support device 10 (selection step: step S1).
  • FIG. 14 is a diagram showing an example of a model of the inspection record data 105 displayed on the display device 30.
  • the template inspection record data 105 indicates a state in which no text data has been input.
  • text data corresponding to comments such as material name (material name), symbol, member symbol, degree of damage, necessity of repair, necessity of detailed investigation, cause, finding, etc. are input. ..
  • the text data of comments such as findings is input in the rightmost column.
  • FIG. 15 is a diagram showing an example in which the inspection record data 105 in which text data other than comments such as findings is input is displayed on the display device 30. Based on the information 101 regarding the target structure, the user manually inputs the text data in the corresponding place other than the comment such as the finding of the inspection record data 105.
  • the inspection support device 10 may automatically input text data in a corresponding place other than a comment such as a finding of the inspection record data 105 based on the information 101 regarding the target structure.
  • FIG. 16 is a diagram showing an example in which the inspection record data 105 in which the text data of comments such as findings are input is displayed on the display device 30.
  • the display device 30 includes the automatically created comment. Display the findings column.
  • FIGS. 15 and 16 only three lines are shown, but the method is not limited to three lines.
  • the automatically created comment is displayed in the finding column.
  • the user may modify the content of the created comment via the operation unit 18 (not shown).
  • the CPU 20 accepts editing of a comment and executes an editing process of changing the comment.
  • the creation processing unit 53 may create a comment template and the display processing unit 55 may display the comment template on the display device 30 according to the selected damage. The user may reselect an appropriate comment from the comment template.
  • FIG. 17 is a diagram showing an example of the editing process. As shown in FIG. 17A, a comment created by the inspection support device 10 is displayed in the column of findings. Comments are created using a template that corresponds to the type of damage selected.
  • the comment is presumed to be due to (cause of damage) (type of damage).
  • Type of damage occurs in (position / range), (comment on progress) (comment on response).
  • Includes In FIG. 17 (A), "(crack) is presumed to be due to (fatigue). (Crack) occurs in (main girder) and (progress is fast) (detailed investigation is carried out.)" Is displayed. Has been done. The comments in parentheses are automatically created and the results are entered.
  • comment candidates may be displayed from the pull-down menu and reselected from the comment candidates to other candidates.
  • the pull-down menu candidates for (cause of damage) are “fatigue”, “salt damage”, “neutralization”, “alkali aggregate reaction”, “freezing damage”, and “construction failure”.
  • “Excessive external force”, etc. and in the case of steel parts, “Fatigue”, “Salt damage”, “Water leakage”, “Material deterioration”, “Coating film deterioration”, “Construction failure”, “Excessive external force”, etc. May include.
  • Candidates for the (damage type) pull-down menu include, for example, “crack”, “floor crack”, “leakage”, “free lime”, “peeling”, “reinforcing bar exposure”, “crack”, “corrosion”, etc. It may be included.
  • Candidates for the (position / range) pull-down menu may include “main girder”, “horizontal girder”, “pier”, “abutment”, “bearing”, etc., as well as “whole”, “end”, etc. ..
  • Candidates for the pull-down menu may include "progress is fast”, “progress is slow”, “progress is not a concern”, and the like.
  • Candidates for the pull-down menu in include “Implement detailed investigation”, “Implement follow-up investigation”, “Implement repair”, “Implement countermeasures”, etc. good.
  • Candidates for the pull-down menu are appropriately selected according to the damage.
  • the user may edit the candidate comment in the pull-down menu.
  • the comment of the similar damage extracted by the similar damage extraction process may be displayed on the display device 30 as a template of the findings. Similar to the editing process shown in FIG. 17, the comment of similar damage may be edited with the pull-down menu.
  • the CPU 20 may execute a related information extraction process for extracting related information related to damage to the target structure, and the display processing unit 55 of the CPU 20 may display the related information on the display device 30.
  • Related information related to damage to the target structure includes selected damage inspection data, selected damage past inspection data, and other closely related damage data (damage that is close to the selected damage. Behind the scenes). Inspection data for existing damage, etc.) and similar damage (which may be other structures) may be displayed on the display device 30. The user may edit the comment by displaying the relevant information related to the damage of the target structure.
  • the hardware-like structure of the processing unit that executes various processes is various processors as shown below.
  • the circuit configuration can be changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units.
  • Programmable Logic Device which is a processor, and a dedicated electric circuit, which is a processor having a circuit configuration specially designed to execute a specific process such as ASIC (Application Specific Integrated Circuit). Is done.
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). You may. Further, a plurality of processing units can be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

コメント作業の効率化及び所見等のコメントの平準化が可能な、構造物の点検支援装置、構造物の点検支援方法及びプログラムを提供する。プロセッサを備える構造物の点検支援装置であって、プロセッサは、対象構造物の撮影画像及び損傷情報の少なくとも一方を含む対象構造物に関する情報の選択を受け付ける選択処理と、選択された対象構造物に関する情報に基づいて、対象構造物の損傷に対するコメントを作成する作成処理と、コメントをディスプレイに表示する表示処理と、を行う。

Description

構造物の点検支援装置、構造物の点検支援方法及びプログラム
　本発明は、構造物の点検支援装置、構造物の点検支援方法及びプログラムに関する。
　社会的なインフラストラクチャーとして、橋梁、トンネル等の構造物が存在する。これらの構造物には損傷が発生し、その損傷は進行する性質を持つため、定期的に点検を行うことが求められる。
　構造物を点検した調査員は点検の結果を示す帳票として構造物の管理者等により定められた点検要領に基づいて所定形式の点検調書を作成する必要がある。所定形式で作成された損傷図を見ることにより、実際に点検した調査員とは異なる専門家であっても、構造物の損傷の進行状況を把握し、その構造物の維持管理計画を策定することが可能になる。
　同様に、マンションやオフィスビルなどの構造物においても、定期的にその状態が検査され、検査結果に基づいて補修や修繕が行われる。検査においては、検査報告書が作成される。検査報告書の作成に関し、特許文献１は、検査報告書の作成に要する時間を短縮できるシステムを開示する。
特開２０１９-０８２９３３号公報
　構造物の点検調書には損傷に対する対策区分や健全性等の判定の根拠とその考え方を、所見欄にコメントとして記載する。しかしながら、様々なデータを参照しながらコメントを作成する必要があり、作業が煩雑である。また、作成者の習熟度等の人的な要因でコメントにばらつきが発生する場合もある。
　本発明はこのような事情に鑑みてなされたもので、コメント作業の効率化及び所見等のコメントの平準化が可能な、構造物の点検支援装置、構造物の点検支援方法及びプログラムを提供することである。
　第１の態様の構造物の点検支援装置は、プロセッサを備える構造物の点検支援装置であって、プロセッサは、対象構造物の撮影画像及び損傷情報の少なくとも一方を含む対象構造物に関する情報の選択を受け付ける選択処理と、選択された対象構造物に関する情報に基づいて、対象構造物の損傷に対するコメントを作成する作成処理と、コメントをディスプレイに表示する表示処理と、を行う。
　第２の態様の構造物の点検支援装置において、作成処理は、撮影画像及び損傷情報の少なくとも一方に基づいて、対象構造物の損傷に対する少なくとも一つのコメントを作成する。
　第３の態様の構造物の点検支援装置において、作成処理は、機械学習を用いて対象構造物の損傷に対するコメントとして作成する。
　第４の態様の構造物の点検支援装置において、構造物の撮影画像及び損傷情報の少なくとも一方を含む過去の対象構造物に関する情報と構造物の損傷に対するコメントとを関連付けて記憶するデータベースを備え、作成処理は、対象構造物に関する情報と、データベースに記憶された構造物に関する情報とに基づいて、対象構造物の損傷と類似する類似損傷に関する構造物の損傷に対するコメントを構造物の損傷に対するコメントとして作成する。
　第５の態様の構造物の点検支援装置において、選択処理は、対象構造物に関する情報と関連付けられた構造物の３次元モデルを選択することにより、対象構造物に関する情報の選択を受け付ける。
　第６の態様の構造物の点検支援装置において、選択処理は、対象構造物から、コメントの作成の対象となる対象構造物に関する情報を、自動で選択を受け付ける。
　第７の態様の構造物の点検支援装置において、選択処理は、撮影画像及び損傷情報の少なくとも一方に基づいて、対象構造物に関する情報を、自動で選択を受け付ける。
　第８の態様の構造物の点検支援装置において、プロセッサは、コメントに対する編集を受け付け、コメントを変更する編集処理を実行する。
　第９の態様の構造物の点検支援装置において、編集処理は、コメントに対応する複数のコメント候補から選択されたコメント候補を、コメントに対する編集として受け付ける。
　第１０の態様の構造物の点検支援装置において、プロセッサは、対象構造物の損傷に関連する関連情報を抽出する関連情報抽出処理を実行し、表示処理は関連情報をディスプレイに表示する。
　第１１の態様の構造物の点検支援方法は、対象構造物の撮影画像及び損傷情報の少なくとも一方を含む対象構造物に関する情報の選択を受け付ける選択ステップと、選択された対象構造物に関する情報に基づいて、対象構造物の損傷に対するコメントを作成する作成ステップと、コメントをディスプレイに表示する表示ステップと、をプロセッサにより行う。
　第１２の態様の構造物の点検支援プログラムは、対象構造物の撮影画像及び損傷情報の少なくとも一方を含む対象構造物に関する情報の選択を受け付ける選択機能と、選択された対象構造物に関する情報に基づいて、対象構造物の損傷に対するコメントを作成する作成機能と、コメントをディスプレイに表示する表示機能と、をコンピュータにより実現させる。
　本発明の構造物の点検支援装置、構造物の点検支援方法及びプログラムよれば、コメント作業の効率化及び所見等のコメントの平準化が可能になる。
図１は、構造物の点検支援装置のハードウェア構成の一例を示すブロック図である。 図２は、ＣＰＵで実現される処理機能を示すブロック図である。 図３は、記憶部に記憶される情報等を示す図である。 図４は、構造物の点検支援装置を使用した点検支援方法を示すフロー図である。 図５は、撮影画像の一例を示す図である。 図６は、損傷情報の一例を示す図である。 図７は、３次元モデルの一例を示す図である。 図８は、３次元モデルから対象構造物に関する情報を選択する様子を示す図である。 図９は、学習済みモデルを使用した処理を実行する作成処理部のブロック図である。 図１０は、類似損傷の抽出の処理を実行する作成処理部のブロック図である。 図１１は、類似損傷の抽出方法の一例を示す図である。 図１２は、選択ステップにおける、表示装置に表示される画面の一例を示す図である。 図１３は、選択ステップにおける、表示装置に表示される画面の他の一例を示す図である。 図１４は、点検調書データのひな型の例を、表示装置に表示した例を示す図である。 図１５は、所見等のコメント以外のテキストデータが入力された点検調書データを表示装置に表示した例を示す図である。 図１６は、コメントのテキストデータが入力された点検調書データを表示装置に表示した例を示す図である。 図１７は、編集処理の一例を示す図である。
　以下、添付図面に従って本発明に係る構造物の点検支援装置、構造物の点検支援方法及びプログラムの好ましい実施の形態について説明する。ここで、「構造物」は、建造物、例えば、橋梁、トンネル、ダムなどの土木構造物を含み、その他にビル、家屋、建物の壁、柱、梁などの建築物をも包含するものである。
　［構造物の点検支援装置のハードウェア構成］
　図１は、本発明に係る構造物の点検支援装置のハードウェア構成の一例を示すブロック図である。
　図１に示す構造物の点検支援装置１０としては、コンピュータ又はワークステーションを使用することができる。本例の構造物の点検支援装置１０は、主として入出力インターフェイス１２、記憶部１６、操作部１８、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示制御部２６とから構成されている。構造物の点検支援装置１０には、ディスプレイを構成する表示装置３０が接続され、ＣＰＵ２０の指令の下、表示制御部２６の制御により表示装置３０に表示が行われる。表示装置３０は、例えばモニタで構成される。
　入出力インターフェイス１２は、構造物の点検支援装置１０に様々なデータ（情報）を入力することができる。例えば、記憶部１６に記憶されるデータが入出力インターフェイス１２を介して入力される。
　ＣＰＵ（プロセッサ）２０は、記憶部１６、又はＲＯＭ２４等に記憶された実施形態の構造物の点検支援プログラムを含む各種のプログラムを読み出し、ＲＡＭ２２に展開して計算を行うことにより、各部を統括制御する。また、ＣＰＵ２０は、記憶部１６、又はＲＯＭ２４に記憶されているプログラムを読み出して、ＲＡＭ２２を使用して計算を行い構造物の点検支援装置１０の各種処理を行う。
　図２は、ＣＰＵ２０で実現される処理機能を示すブロック図である。
　ＣＰＵ２０は、選択処理部５１、作成処理部５３、表示処理部５５等を有する。各部の具体的な処理機能の説明は後で行う。選択処理部５１、作成処理部５３及び表示処理部５５はＣＰＵ２０の一部であるので、ＣＰＵ２０が各部の処理を実行とも称することができる。
　図１に戻って、記憶部（メモリ）１６は、ハードディスク装置、フラッシュメモリ等から構成されるメモリである。記憶部１６には、オペレーティングシステム、構造物の点検支援方法を実行させるプログラム等、構造物の点検支援装置１０を動作させるデータ及びプログラムが記憶されている。また記憶部１６は、以下で説明する本実施形態で使用する情報等を記憶する。
　図３は、記憶部１６に記憶される情報等を示す図である。記憶部１６はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成される。
　記憶部１６は、主に、対象構造物に関する情報１０１、３次元モデル１０３及び点検調書データ１０５を記憶する。
　対象構造物に関する情報１０１は、少なくとも対象構造物の撮影画像及び損傷情報の少なくとも一方を含む。撮影画像は構造物を撮影した画像である。損傷情報は、対象構造物の損傷の位置、損傷の種類及び損傷の程度のうちの少なくとも１つを含む。また、対象構造物に関する情報１０１は、構造物の撮影画像から検出した損傷を示す画像（損傷画像）を含んでいてもよい。損傷情報は、画像解析等の自動により、又はユーザによる手動により取得してもよい。
　対象構造物に関する情報１０１は、複数種類のデータを含んでもよく、例えば、パノラマ合成画像及び２次元図面を含んでもよい。パノラマ合成画像は、撮影画像から合成された、特定の部材に対応する画像群である。損傷情報（損傷画像）もパノラマ合成してもよい。
　３次元モデル１０３は、例えば、複数の撮影画像に基づいて作成された構造物の３次元モデルのデータである。３次元モデル１０３は、構造物を構成する部材領域及び部材名のデータを含む。３次元モデル１０３上で、各部材領域と部材名とが特定されていてもよい。
　部材領域と部材名とは、部材の形状及び寸法等に関する情報から、３次元モデル１０３に対して、自動で特定してもよい。また、部材領域と部材名とは、ユーザの操作に基づいて、３次元モデル１０３に対して、特定してもよい。
　対象構造物に関する情報１０１と３次元モデル１０３とは相互に関連付けられてもよい。例えば、対象構造物に関する情報１０１は３次元モデル１０３上の位置及び部材などと相互に関連付けられて記憶部１６記憶される。３次元モデル１０３上で位置を指定することにより、対象構造物に関する情報１０１が３次元モデル１０３上に表示されてもよい。また、対象構造物に関する情報１０１を指定することにより、３次元モデル１０３が対象構造物に関する情報１０１とともに表示されてもよい。
　点検調書データ１０５は、例えば、２次元点検調書のひな型（指定された形式の文書ファイル）である。ひな型は、国土交通省や地方自治体の定める形式でもよい。
　図１に示す操作部１８はキーボード及びマウスを含み、ユーザはこれらのデバイスを介して、点検支援装置１０に必要な処理を行わせることができる。タッチパネル型のデバイスを用いることにより、表示装置３０が操作部として機能できる。
　表示装置３０は、例えば、液晶ディスプレイ等のデバイスであり、３次元モデルデータ、対象構造物に関する情報１０１、点検調書データ１０５及びコメントを表示させることができる。
　図４は、構造物の点検支援装置を使用した構造物の点検支援方法を示すフロー図である。
　＜選択ステップ＞
　選択処理部５１は、対象構造物に関する情報１０１の選択を受け付ける（選択ステップ：ステップＳ１）。上述したように、対象構造物に関する情報１０１は、撮影画像及び損傷情報の少なくとも一方を含む。
　対象構造物に関する情報１０１が、記憶されている記憶部１６から取得される。対象構造物に関する情報１０１が記憶部１６に記憶されていない場合には、対象構造物に関する情報１０１を、入出力インターフェイス１２を介してネットワークを通して、他の記憶部から取得してもよい。
　図５は、対象構造物に関する情報１０１に含まれる撮影画像１０７の一例を示す図である。撮影画像１０７Ａ及び１０７Ｂは、構造物を撮影した複数の画像である。構造物の複数個所を撮影した複数の撮影画像１０７Ａ、１０７Ｂ等により構成された撮影画像群１０７Ｃが構成される。なお、明細書中において、必要に応じて、単に撮影画像１０７と称する場合がある。
　図６は、対象構造物に関する情報１０１に含まれる損傷情報１０９の一例を示す図である。図６に示す損傷情報１０９は、部材（損傷の位置）、損傷の種類、損傷の寸法、損傷の程度及び時間変化を含んでいる。損傷情報１０９は、対象構造物の損傷の位置、損傷の種類及び損傷の程度のうちの少なくとも１つを含でいればよい。また、損傷情報１０９は、図６に示される損傷情報１０９以外の損傷情報、例えば、損傷原因などを含んでもよい。
　次に、選択ステップ（ステップＳ１）における、好ましい選択処理について説明する。
　第１の選択処理は、選択処理部５１により、対象構造物に関する情報１０１と関連付けられた構造物の３次元モデル１０３を選択することにより、対象構造物に関する情報１０１の選択を受け付けてもよい。
　最初に、３次元モデルを説明する。図７は３次元モデル１０３の例を示す図である。３次元モデル１０３は、点群、ポリゴン（メッシュ）、又はソリッドモデル等で表示することができる。図７の３次元モデル１０３は、多角形のポリゴンに、構造物を撮影した撮影画像（テクスチャ）をテクスチャーマッピングした図である。
　図７の例では、３次元モデル１０３は、部材名及び部材領域を含んでいる。３次元モデル１０３は、例えば、床版１３１、橋脚１３３及び橋台１３５などから構成されている。
対象構造物に関する情報１０１は、３次元モデル１０３上の位置及び部材などと相互に関連付けられている。
　３次元モデル１０３の作成に関し、その手法は限定されない。各種のモデルが存在し、例えばＳｆＭ（Structure from Motion）の手法を用いて３次元モデル１０３を作成することができる。ＳｆＭは、多視点画像から３次元形状を復元する手法であり、例えばＳＩＦＴ（Scale-Invariant Feature Transform）等のアルゴリズムにより特徴点を算出し、この特徴点を手掛かりとして、三角測量の原理を用いて点群（point cloud）の３次元位置を算出する。具体的には、三角測量の原理を用いてカメラから特徴点へ直線を引き，対応する特徴点を通る２本の直線の交点が、復元した３次元点となる。そして、検出した特徴点ごとにこの作業を行うことにより、点群の３次元位置を得ることができる。３次元モデル１０３は、図５に示す撮影画像１０７（撮影画像群１０７Ｃ）を利用して作成してもよい。
　なお、ＳｆＭでは大きさは算出されないが、例えば、寸法が既知のスケーラ－（scaler）を被写体に設置して撮影を行うことにより、実スケールとの対応付けを行うことができる。
　次に、第１の選択処理について、図８に基づいて説明する。図８に示すように、全体俯瞰図を示す３次元モデル１０３が、表示処理部５５（不図示）により、表示装置３０（不図示）に表示される。ユーザは、操作部１８を介して、３次元モデル１０３上で、手動により選択することにより、表示処理部５５は、任意に、拡大又は縮小した３次元モデル１０３Ａを、または視点、視線及び視野のいずれかを変更した３次元モデル１０３Ａを表示する。全体俯瞰図及び拡大等変更した３次元モデルを含めて、３次元モデル１０３と称する場合がある。
　ユーザが、操作部１８を介して、３次元モデル１０３Ａ上の特定の位置を指定することにより、選択処理部５１は、対象構造物に関する情報１０１である撮影画像１０７、又は損傷情報１０９の選択を受け付けできる。また、選択処理部５１は、対象構造物に関する情報１０１である撮影画像１０７及び損傷情報１０９の両方の選択を受け付けてもよい。損傷がマッピングされている３次元モデル１０３を表示させ、３次元モデル１０３上でコメント対象の損傷をユーザに選択させることができる。
　次に、第２の選択処理について説明する。第２の選択処理は、選択処理部５１により、対象構造物から、コメントの作成の対象となる対象構造物に関する情報１０１を、自動で選択を受け付けてもよい。
　第２の選択処理の一つの態様は、ユーザが操作部１８を介して対象となる部材（橋梁）、又はスパン（トンネル）を選択し、選択処理部５１が部材毎に対象構造物に関する情報１０１を自動で選択を受け付ける。
　図８に示すように、ユーザは、例えば、３次元モデル１０３上の特定の部材を指定することにより、選択処理部５１は、３次元モデル１０３上で指定された部材の中から対象構造物に関する情報１０１である撮影画像１０７、又は損傷情報１０９の少なくとも一方の選択を自動で受け付けできる。
　３次元モデル１０３上の特定の部材を指定する方法以外に、表示装置に表示された部材リストから、ユーザが部材を選択してもよい。選択処理部５１は、部材リストから指定された部材の中から対象構造物に関する情報１０１である撮影画像１０７、又は損傷情報１０９の少なくとも一方の選択を自動で受け付けできる。
　すなわち、選択処理部５１は、対象の部材及びスパンの中で、損傷種類毎に、対象損傷に対応する対象構造物に関する情報１０１を所定の数だけ自動で選択し、選択を受け付ける。ただし、構造物全体で損傷が存在しない場合、損傷に対応する対象構造物に関する情報１０１は選択されない。
　第２の選択処理の他の態様は、選択処理部５１が、対象構造物の全体から対象損傷に対応する対象構造物に関する情報１０１を所定の数だけ自動で選択し、その選択を受け付ける。ただし、構造物全体で損傷が存在しない場合、損傷に対応する対象構造物に関する情報１０１は選択されない。
　次に、対象構造物に関する情報１０１を自動選択する際の好ましい基準について説明する。
　第１の選択基準として、選択処理部５１は、対象構造物に関する情報１０１から損傷の程度が最も進行している損傷を選択してもよい。選択処理部５１は、例えば、損傷情報１０９の損傷程度（ａ，ｂ，ｃ，ｄ，ｅのランク）の結果から、最も損傷程度が大きい損傷を選択し、対象構造物に関する情報１０１の選択を受け付ける。
　第２の選択基準として、選択処理部５１は、対象構造物に関する情報１０１から損傷の進行速度が最も速い損傷を選択してもよい。選択処理部５１は、例えば、損傷情報１０９の時間変化等の結果から、最も進行速度が速い損傷が選択され、対象構造物に関する情報１０１が選択される。進行速度は、長さ変化／年、幅変化／年又は面積変化／年等から求めてもよい。進行速度は、１年あたりの損傷サイズの変化量から求めてもよい。例えば、１年あたりのひび長さの変化量、すなわち長さ変化量／年で求めてもよい。また１年あたりのひび幅の変化量等、損傷の幅の変化量から幅変化量／年で求めてよい。１年あたりの損傷面積の変化量から面積変化量／年、または鋼部材の腐食による減肉の深さの変化量など、１年あたりの損傷の深さの変化量から、深さの変化量／年などを求めてもよい。
　第３の選択基準として、選択処理部５１は、対象構造物に関する情報１０１から損傷のサイズが最も大きい損傷を選択してもよい。選択処理部５１は、例えば、撮影画像１０７、又は損傷情報１０９の結果から、ひび割れ、亀裂など、最も長い損傷、又は最も幅が太い損傷を選択してもよいし、また剥離、漏水、遊離石灰、腐食など、最も面積が広い損傷を選択してもよい。選択処理部５１は、選択された損傷の対象構造物に関する情報１０１の選択を受け付ける。
　第４の選択基準として、選択処理部５１は、対象構造物に関する情報１０１から、コンクリート部材の場合は、疲労、塩害、中性化、アルカリ骨材反応、凍害、施工不良、過大な外力、などのうち、鋼部材の場合は、疲労、塩害、漏水、材料劣化、塗膜劣化、施工不良、過大な外力、などのうちユーザの指定する損傷原因に該当する損傷を選択してもよい。選択処理部５１は、例えば、損傷情報１０９の結果から、選択処理部５１は、選択された損傷の対象構造物に関する情報１０１の選択を受け付ける。
　第５の選択基準として、選択処理部５１は、着目箇所に存在する損傷を選択してもよい。例えば、国土交通省「橋梁定期点検要領」（平成３１年３月）には、コンクリート橋を定期点検する上で、重点的に着目する必要がある着目箇所の例が記載されている。着目箇所として（１）端支点部、（２）中間支点部、（３）支間中央部、（４）支間１／４部、（５）打継目部、（６）セグメント目地部、（７）定着部及び（８）切欠部が挙げられる。選択処理部５１は、着目箇所毎に損傷の対象構造物に関する情報１０１を自動で選択を受け付けてもよい。
　例えば、国土交通省「道路トンネル定期点検要領」（平成３１年３月）には、道路トンネルの施工法等により、類似した変状が発生する着目箇所の例が記載されている。着目箇所として（１）覆工の目地及び打継ぎ目、（２）覆工の天端付近及び（３）覆工スパンの中間付近が挙げられる。選択処理部５１は、着目箇所毎に損傷の対象構造物に関する情報１０１を自動で選択を受け付けてもよい。
　なお、単独の第１から第５の選択基準では損傷を所定の数に制限できない場合、第１から第５の選択基準を組み合わせて適用してもよい。選択処理部５１は、例えば、第１の選択基準と第２の選択基準を満たす損傷の対象構造物に関する情報１０１を、自動で選択を受け付けてもよい。また、選択処理部５１は、例えば、第１の選択基準と第３の選択基準を満たす損傷の対象構造物に関する情報１０１を、自動で選択を受け付けてもよい。なお、選択基準を２つ組み合わせた場合を説明したが、選択基準を３つ以上組み合わせてもよい。
　上述したように、ＣＰＵ２０が選択処理部５１として機能する。
　＜作成ステップ＞
　図４に示すように、作成処理部５３は、選択された対象構造物に関する情報１０１に基づいて、対象構造物の損傷に対するコメントを作成する（作成ステップ：ステップＳ２）。
　次に、作成ステップ（ステップＳ２）における、好ましい、コメントの作成処理について説明する。
　コメントの第１の作成処理は、選択された対象構造物に関する情報１０１に基づいて、作成処理部５３により対象構造物の損傷に対する、少なくとも一つのコメントを、人工知能（ＡＩ：Artificial intelligence）により作成してもよい。
　ＡＩとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）による学習済みモデルを使用することができる。
　図９は、学習済みモデルを使用した作成処理部５３のブロック図を示す。学習済みモデルを使用した作成処理部５３はＣＰＵ等により構成される。
　図９において、作成処理部５３は、複数種類の損傷に対応した複数（本例では３つ）の学習済みモデル５３Ａ、５３Ｂ及び５３Ｃを含んでいる。
　各学習済みモデル５３Ａ、５３Ｂ及び５３Ｃは、入力層と中間層と出力層とを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
　ＣＮＮの入力層には、選択された対象構造物に関する情報１０１が入力される。対象構造物に関する情報１０１は、撮影画像１０７、又は損傷情報１０９（例えば、損傷種類、程度、損傷の進行性、損傷の原因などのうち少なくとも一つ）である。
　中間層は、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層から入力した撮影画像１０７、又は損傷情報１０９から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、撮影画像１０７からのエッジ抽出等の特徴抽出の役割、又は損傷情報１０９からの例えば自然言語処理等の特徴抽出の枠割を担う。
　ＣＮＮの出力層は、中間層により抽出された特徴を示す特徴マップを出力する部分である。本例の学習済みモデル５３Ａ、５３Ｂ，５３Ｃの出力層は、推論結果を、損傷検出結果５３Ｄ、５３Ｅ、５３Ｆとして出力する。損傷検出結果５３Ｄ、５３Ｅ、５３Ｆは、各学習済みモデル５３Ａ、５３Ｂ，５３Ｃから導き出される損傷に対する、少なくとも一つのコメントを含んでいる。
　例えば、学習済みモデル５３Ａは、漏水、面状遊離石灰及び錆汁の損傷を検出するように機械学習された学習済みモデルであり、漏水、面状遊離石灰、錆汁のそれぞれの損傷領域、損傷領域毎の損傷種類及びコメントを損傷検出結果５３Ｄとして出力する。学習済みモデル５３Ｂは、剥離及び鉄筋露出の損傷を検出するように機械学習された学習済みモデルであり、剥離及び鉄筋露出のそれぞれの損傷領域、損傷領域毎の損傷種類及びコメントを損傷検出結果５３Ｅとして出力する。学習済みモデル５３Ｃは、ひび割れ及び線状遊離石灰の損傷を検出するように機械学習された学習済みモデルであり、ひび割れ及び線状遊離石灰のそれぞれの損傷領域、損傷領域毎の損傷種類及びコメントを損傷検出結果５３Ｆとして出力する。
　上述したように、出力された損傷検出結果５３Ｄ、５３Ｅ、５３Ｆが対象構造物の損傷に対するコメントとして作成されることになる。なお、作成処理部５３の学習済みモデル５３Ａ、５３Ｂ，５３Ｃは、上記の実施形態に限らず、例えば、損傷種類毎に個別の学習済モデルを有し、各学習済みモデルがそれぞれの損傷種類に対応した損傷領域及びコメントを損傷検出結果として出力するように構成してもよい。この場合、点検対象の損傷種類の数と同数の学習済みモデルを備えることになる。また、全損傷種類に対応できる一つの学習済モデルを有し、損傷領域と損傷領域ごとの損傷種類及びコメントを損傷検出結果として出力するように構成してもよい。対象構造物に関する情報１０１に基づき適切な、すなわち、正確で、間違いのないコメントを生成できる。損傷領域と損傷領域ごとの損傷種類及びコメントを損傷検出結果として出力する場合を説明したが、コメントが出力されればよい。
　コメントの第２の作成処理を図１０及び図１１に基づいて説明する。コメントの第２の作成処理は、上述の第１の作成処理以外に、作成処理部５３により、対象構造物に関する情報１０１と、データベース６０に記憶された過去の構造物に関する情報１４０とに基づいて、対象構造物の損傷と類似する類似損傷に関する構造物の損傷に対するコメントを構造物の損傷に対するコメントとして作成してもよい。データベース６０は、記憶部１６に記憶されていてもよく、また、他の記憶部に記憶されていてもよい。
　図１０に示すように、データベース６０は、過去に点検した構造物に関する情報１４０と、その際に作成された構造物の損傷に対するコメント１４２と、を関連付けて記憶及び管理する部分である。構造物に関する情報１４０は、撮影画像及び損傷情報の少なくとも一つを含んでいる。
　作成処理部５３は、さらに、類似損傷抽出部５３Ｇを含んでいる。
　選択ステップ（ステップＳ１）により選択された対象構造物に関する情報１０１は、類似損傷抽出部５３Ｇに出力される。類似損傷抽出部５３Ｇは、対象構造物に関する情報１０１に基づいて、データベース６０に記憶された過去の構造物に関する情報１４０及びその際に作成された構造物の損傷に対するコメント１４２のうち、対象構造物に関する情報１０１と類似する構造物に関する情報１４０及びコメント１４２を抽出する。
　類似損傷抽出部５３Ｇは、損傷の種類、損傷の位置、損傷の程度（長さ、幅、面積、密度、深さなど）（平均値、最大値など）の損傷情報に基づいて類似の判定を行ってもよい。
　また、類似損傷抽出部５３Ｇは、損傷情報に加え、損傷の位置、程度の経時変化に基づいて類似の判定を行ってもよい。この場合、データベース６０には、構造物の同一箇所を撮影した複数時点の撮影画像、複数時点の撮影画像から検出された複数時点の損傷情報及び損傷情報の経時変化を示す情報のうちの少なくとも１つが記憶されていることが好ましい。
　類似損傷抽出部５３Ｇによる類似損傷抽出処理は、複数時点の対象構造物に関する情報１０１に基づいて損傷情報の経時変化を検出し、この経時変化を示す情報を、データベース６０から対象構造物の損傷と類似する類似損傷を抽出する際の情報の１つとして使用することができる。
　さらに、類似損傷抽出部５３Ｇは、損傷情報以外の情報、例えば、構造物の構造情報、環境情報、履歴情報及び検査情報のうちの少なくとも１つを考慮して類似の判定を行うようにしてもよい。
　類似損傷抽出部５３Ｇは、類似する損傷の損傷領域、損傷領域毎の損傷種類及びコメントを類似損傷検出結果５３Ｈとして抽出する。
　なお、対象構造物に関する情報１０１に加えて、以下のその他の情報を、類似損傷抽出部５３Ｇに出力してもよい。類似損傷抽出部５３Ｇは、以下のその他の情報の一つ以上に基づいて、対象構造物に関する情報１０１と類似する構造物に関する情報１４０及びコメント１４２を抽出し、類似損傷検出結果５３Ｈとして抽出してもよい。
　＜その他の情報＞
　その他の情報としては、以下に示す、構造物の構造情報、環境情報、履歴情報及び検査情報のうちの少なくとも１つを含む。
　・構造情報：構造種類（橋梁の場合：桁橋、ラーメン橋、トラス橋、アーチ橋、斜張橋、吊橋）、部材種類（橋梁の場合：床版、橋脚、橋台、桁・・・）、材料（鋼、鉄筋コンクリート、ＰＣ（Prestressed Concrete）・・・）など
　・環境情報：交通量（1日あたり、１月あたり、１年あたり、累積など）、海からの距離、気候（平均気温、平均湿度、降雨量、降雪量など）
　・履歴情報：施工時条件（施工時の気温など）、経年数（竣工日、供用開始日、それらからの経年数）、補修履歴、災害履歴（地震、台風、洪水など）
　・検査情報：モニタリング情報（構造物のたわみ、振動の振幅、振動の周期等）、コア抜き試験情報、非破壊検査情報（超音波、レーダー、赤外線、打音など）
　また、その他の情報には、対象構造物の診断目的を含めることができる。診断目的は、損傷程度の判定、対策区分の判定、健全性の判定、損傷原因の推定、補修要否の判定及び補修工法の選定などである。
　図１１は、類似損傷抽出部による類似損傷の抽出方法の一例を示す図である。
　図１１では、特徴ベクトルＡと特徴ベクトルＢとによる特徴空間において、データベース６０に記憶されている構造物に関する情報１４０と、対象構造物に関する情報１０１とがプロットされている。
　尚、図１１上で、データベース６０に記憶されている構造物に関する情報１４０は、×印で示されており、対象構造物に関する情報１０１は●印で示されている。また、特徴ベクトルＡは、ひび割れ最大幅（ｍｍ）を示し、特徴ベクトルＢは、構造物の供用開始後の年数を示す。特徴ベクトルによる特徴空間は、３つ以上の特徴ベクトルからなる多次元空間とすることができるが、図１１では簡単のために２つの特徴ベクトルからなる２次元空間で図示している。
　類似損傷抽出部５３Ｇは、図１１に示す特徴空間において、●印で示した今回の診断対象の損傷情報の特徴ベクトル（第１特徴ベクトル）と×印で示した損傷情報の特徴ベクトル（第２特徴ベクトル）との距離を算出し、この距離が閾値以下（図１１上で点線で示した円内）の×印で示した損傷情報を類似損傷として抽出する。この閾値は、統計的手法によって最適化することができる。
　また、距離は、第１特徴ベクトル及び第２特徴ベクトルの複数のパラメータに重み付けされていない場合の距離（ユークリッド距離）でもよいし、重み付けされている場合の距離（マハラノビス距離）でもよい。どのパラメータにどのような重みを割り当てるかは、主成分分析などの統計的手法で決定してもよい。
　上記のような判定に加えて、特徴空間における点または範囲として追加検索条件を指定することもできる。例えば、竣工年月日が１９９０年１月１日以降の橋梁、基本構造が桁橋などを指定した場合、指定範囲内で構造物の損傷を対象に類似した損傷を抽出することができる。
　また、上記に加え、その他の情報に含まれる損傷情報、構造情報、環境情報、履歴情報及び検査情報などを特徴空間の軸に設定し、類似損傷を抽出することができる。
　尚、類似損傷抽出の手法は、特徴空間における距離で判定する手法とは別の手法を使用してもよい。例えば、画像から類似度を判定するＡＩ（Artificial Intelligence）や、画像，損傷情報、その他の情報のうち複数の情報を組み合わせて類似度を判定するＡＩなどで抽出してもよい。
　過去の類似損傷からコメントを作成、参照することにより、熟練技術者のノウハウを参考にでき、若手技術者を育成できる。
　＜表示ステップ＞
　図４に示すように、表示処理部５５は、作成ステップ（ステップＳ２）で作成されたコメントを、ディスプレイを構成する表示装置３０に表示する（表示ステップ：ステップＳ３）。
　構造物の点検支援装置１０により作成されたコメントを利用することができるので、ユーザは、コメントの作成作業を効率化できる。人的な要因に影響されず、構造物の点検支援装置１０により所見等のコメントが平準化できる。なお、点検支援プログラムがＣＰＵ２０等により、選択ステップに対応する選択機能、作成ステップに対応する作成機能、及び表示ステップに対応する表示機能を実現させる。
　次に、選択ステップ（ステップＳ１）、作成ステップ（ステップＳ２）、表示ステップ（ステップＳ３）の好ましい実施形態を説明する。
　図１２は、選択ステップ（ステップＳ１）における、表示装置に表示される画面の一例を示す図である。図１２に示すように、表示装置３０に、３次元モデル１０３と、拡大された３次元モデル１０３Ａと、対象構造物に関する情報１０１とが、一画面に表示される。対象構造物に関する情報１０１として、撮影画像１０７と、損傷情報１０９とが表示される。撮影画像１０７と、損傷情報１０９とは、いずれか一方が表示されればよい。
　図１３は、表示装置３０に表示される表示の他の例を示す図である。図１３（Ａ）に示すように、３次元モデル１０３のみが表示装置３０に表示される。図１３（Ｂ）に示すように、拡大された３次元モデル１０３が表示装置３０に表示される。図１３（Ｃ）に示すように、対象構造物に関する情報１０１のみが表示装置３０に表示される。図１３においては、対象構造物に関する情報１０１として撮影画像１０７が表示される。
　図１３に示すように、全体俯瞰図を示す３次元モデル１０３の表示（図１３（Ａ））から、拡大された３次元モデル１０３Ａの表示（図１３（Ｂ））を経て、対象構造物に関する情報１０１の表示（図１３（Ｃ））に、切り替えてもよい。また、対象構造物に関する情報１０１の表示（図１３（Ｃ））から拡大された３次元モデル１０３Ａの表示（図１３（Ｂ））を経て、３次元モデル１０３の表示（図１３（Ａ））に、切り替えてもよい。
　図１２、図１３に示すように、点検支援装置１０の選択処理部５１を実行することにより、対象構造物に関する情報１０１が選択される（選択ステップ：ステップＳ１）。
　図１４は、点検調書データ１０５のひな型の例を、表示装置３０に表示した例を示す図である。ひな型の点検調書データ１０５は、テキストデータが入力されていない状態を示す。点検調書データ１０５には、材料名（材料名称）、記号、部材記号、損傷の程度、補修等の必要性、詳細調査の必要性、原因、所見等のコメントに対応するテキストデータが入力される。図１４の点検調書データ１０５では、所見等のコメントのテキストデータは、最も右の欄に入力される。
　図１５は、所見等のコメント以外のテキストデータが入力された点検調書データ１０５を表示装置３０に表示した例を示す図である。ユーザは、対象構造物に関する情報１０１に基づいて、点検調書データ１０５の所見等のコメント以外の該当箇所にテキストデータを手動で入力する。点検支援装置１０が、対象構造物に関する情報１０１に基づいて点検調書データ１０５の所見等のコメント以外の該当箇所にテキストデータを自動で入力してもよい。
　図１６は所見等のコメントのテキストデータが入力された点検調書データ１０５を表示装置３０に表示した例を示す図である。点検支援装置１０の作成処理部５３が作成ステップ（ステップＳ２）を実行し、表示処理部５５が表示ステップ（ステップＳ３）を実行することにより、表示装置３０が、自動で作成されたコメントを含む所見の欄を表示する。図１５、及び図１６において、３行のみを示しているが、３行には限定されない。
　図１６に示すように、所見の欄に自動で作成されたコメントが表示されている。ユーザは、作成されたコメントを、操作部１８（不図示）を介して、コメントの内容を修正してもよい。ＣＰＵ２０が、コメントに対する編集を受け付け、コメントを変更する編集処理を実行する。
　編集処理を容易にするため、選択された損傷に応じて、作成処理部５３がコメントひな型を作成し、表示処理部５５がコメントひな型を表示装置３０に表示してもよい。ユーザは、コメントひな型から、適切なコメントを選択しなおしてもよい。
　図１７は、編集処理の一例を示す図である。図１７（Ａ）に示すように、所見の欄に、点検支援装置１０により作成されたコメントが表示されている。コメントは、選択された損傷の種類に対応するひな型を用いて作成されている。
　例えば、コメントは、「（損傷原因）による（損傷種類）と推定される。（損傷種類）は（位置・範囲）に生じており、（進行性に関するコメント）（対応に関するコメント）。」の情報を含んでいる。図１７（Ａ）では、「(疲労)による（ひびわれ）と推定される。（ひびわれ）は（主桁）に生じており、（進行が速い。）（詳細調査を実施する。）」が表示されている。（）内のコメントは自動で作成され、その結果が入力されている。
　点検支援装置１０では、図１７（Ｂ）に示すように、プルダウンメニューでコメント候補を表示し、コメント候補から他の候補に選択しなおしてもよい。
　例えば、（損傷原因）のプルダウンメニューの候補は、例えば、コンクリート部材の場合は、「疲労」、「塩害」、「中性化」、「アルカリ骨材反応」、「凍害」、「施工不良」、「過大な外力」など、また鋼部材の場合は、「疲労」、「塩害」、「漏水」、「材料劣化」、「塗膜劣化」、「施工不良」、「過大な外力」、などを含んでもよい。
　（損傷種類）のプルダウンメニューの候補は、例えば、「ひびわれ」、「床版ひびわれ」、「漏水」、「遊離石灰」、「剥離」、「鉄筋露出」、「亀裂」、「腐食」などを含んでもよい。
　（位置・範囲）のプルダウンメニューの候補は、「主桁」、「横桁」、「橋脚」、「橋台」、「支承」など、また「全体」、「端部」、などを含んでもよい。
　（進行性に関するコメント）のプルダウンメニューの候補は、「進行が速い。」、「進行は遅い。」、「進行の懸念はない。」などを含んでもよい。
　（対応に関するコメント）のプルダウンメニューの候補は、「詳細調査を実施する。」、「追跡調査を実施する。」、「補修を実施する。」、「対策措置を実施する。」などを含んでもよい。
　プルダウンメニューの候補は、損傷に応じて適宜選択される。ユーザは、プルダウンメニューの候補のコメントを編集してもよい。
　類似損傷抽出処理で抽出された類似損傷のコメントを所見のひな型として、表示装置３０に表示してもよい。図１７に示す編集処理と同様に、類似損傷のコメントをプルダウンメニューで編集してもよい。
　ＣＰＵ２０が、対象構造物の損傷に関連する関連情報を抽出する関連情報抽出処理を実行し、ＣＰＵ２０の表示処理部５５が関連情報を表示装置３０に表示しもてよい。
　対象構造物の損傷に関連する関連情報として、選択した損傷の点検データ、選択した損傷の過去の点検データ、関係の深い他の損傷のデータ（選択した損傷の近い位置に存在する損傷。裏側に存在する損傷。など）、類似損傷（他の構造物でもよい）の点検データを表示装置３０に表示してもよい。対象構造物の損傷に関連する関連情報を表示することにより、ユーザは、コメントを編集してもよい。
　＜その他＞
　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部は１つのプロセッサで構成できる。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０　点検支援装置
１２　入出力インターフェイス
１６　記憶部
１８　操作部
２０　ＣＰＵ
２２　ＲＡＭ
２４　ＲＯＭ
２６　表示制御部
３０　表示装置
５１　選択処理部
５３　作成処理部
５３Ａ　学習済みモデル
５３Ｂ　学習済みモデル
５３Ｃ　学習済みモデル
５３Ｄ　損傷検出結果
５３Ｅ　損傷検出結果
５３Ｆ　損傷検出結果
５５　表示処理部
６０　データベース
１０１　対象構造物に関する情報
１０３　３次元モデル
１０３Ａ　３次元モデル
１０５　点検調書データ
１０７　撮影画像
１０７Ａ　撮影画像
１０７Ｂ　撮影画像
１０７Ｃ　撮影画像群
１０９　損傷情報
１３１　床版
１３３　橋脚
１３５　橋台
１４０　構造物に関する情報
１４２　コメント
Ｓ１、Ｓ２、Ｓ３　ステップ

Claims (12)

  1. 　プロセッサを備える構造物の点検支援装置であって、
    　前記プロセッサは、
    　対象構造物の撮影画像及び損傷情報の少なくとも一方を含む対象構造物に関する情報の選択を受け付ける選択処理と、
    　選択された前記対象構造物に関する情報に基づいて、前記対象構造物の損傷に対するコメントを作成する作成処理と、
    　前記コメントをディスプレイに表示する表示処理と、
    　を行う、構造物の点検支援装置。
  2. 　前記作成処理は、前記撮影画像及び前記損傷情報の少なくとも一方に基づいて、前記対象構造物の損傷に対する少なくとも一つの前記コメントを作成する、請求項１に記載の構造物の点検支援装置。
  3. 　前記作成処理は、機械学習を用いて前記対象構造物の損傷に対する前記コメントとして作成する、請求項１又は２記載の構造物の点検支援装置。
  4. 　構造物の撮影画像及び損傷情報の少なくとも一方を含む過去の対象構造物に関する情報と構造物の損傷に対するコメントとを関連付けて記憶するデータベースを備え、
    　前記作成処理は、前記対象構造物に関する情報と、前記データベースに記憶された前記構造物に関する情報とに基づいて、前記対象構造物の損傷と類似する類似損傷に関する前記構造物の損傷に対するコメントを前記構造物の損傷に対するコメントとして作成する、請求項１から３のいずれか一項に記載の構造物の点検支援装置。
  5. 　前記選択処理は、前記対象構造物に関する情報と関連付けられた前記構造物の３次元モデルを選択することにより、前記対象構造物に関する情報の選択を受け付ける、請求項１から４のいずれか一項に記載に構造物の点検支援装置。
  6. 　前記選択処理は、前記対象構造物から、前記コメントの作成の対象となる前記対象構造物に関する情報を、自動で選択を受け付ける、請求項１から４のいずれか一項に記載に構造物の点検支援装置。
  7. 　前記選択処理は、前記撮影画像及び前記損傷情報の少なくとも一方に基づいて、前記対象構造物に関する情報を、自動で選択を受け付ける、請求項６に記載の構造物の点検支援装置。
  8. 　前記プロセッサは、前記コメントに対する編集を受け付け、前記コメントを変更する編集処理を実行する、請求項１から７のいずれか一項に記載の構造物の点検支援装置。
  9. 　前記編集処理は、前記コメントに対応する複数のコメント候補から選択されたコメント候補を、前記コメントに対する編集として受け付ける、請求項８に記載の構造物の点検支援装置。
  10. 　前記プロセッサは、前記対象構造物の損傷に関連する関連情報を抽出する関連情報抽出処理を実行し、
    　前記表示処理は前記関連情報をディスプレイに表示する、請求項１から９のいずれか一項に記載の構造物の点検支援装置。
  11. 　対象構造物の撮影画像及び損傷情報の少なくとも一方を含む対象構造物に関する情報の選択を受け付ける選択ステップと、
    　選択された前記対象構造物に関する情報に基づいて、前記対象構造物の損傷に対するコメントを作成する作成ステップと、
    　前記コメントをディスプレイに表示する表示ステップと、
    　をプロセッサにより行う、構造物の点検支援方法。
  12. 　対象構造物の撮影画像及び損傷情報の少なくとも一方を含む対象構造物に関する情報の選択を受け付ける選択機能と、
    　選択された前記対象構造物に関する情報に基づいて、前記対象構造物の損傷に対するコメントを作成する作成機能と、
    　前記コメントをディスプレイに表示する表示機能と、
    　をコンピュータにより実現させる構造物の点検支援プログラム。
PCT/JP2021/037302 2020-11-19 2021-10-08 構造物の点検支援装置、構造物の点検支援方法及びプログラム WO2022107485A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022563621A JPWO2022107485A1 (ja) 2020-11-19 2021-10-08
CN202180074971.9A CN116508047A (zh) 2020-11-19 2021-10-08 结构物的点检辅助装置、结构物的点检辅助方法及程序
EP21894359.5A EP4250192A1 (en) 2020-11-19 2021-10-08 Structure inspection assistance device, structure inspection assistance method, and program
US18/308,763 US20230260098A1 (en) 2020-11-19 2023-04-28 Structure inspection assistance apparatus, structure inspection assistance method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-192303 2020-11-19
JP2020192303 2020-11-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/308,763 Continuation US20230260098A1 (en) 2020-11-19 2023-04-28 Structure inspection assistance apparatus, structure inspection assistance method, and program

Publications (1)

Publication Number Publication Date
WO2022107485A1 true WO2022107485A1 (ja) 2022-05-27

Family

ID=81708834

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037302 WO2022107485A1 (ja) 2020-11-19 2021-10-08 構造物の点検支援装置、構造物の点検支援方法及びプログラム

Country Status (5)

Country Link
US (1) US20230260098A1 (ja)
EP (1) EP4250192A1 (ja)
JP (1) JPWO2022107485A1 (ja)
CN (1) CN116508047A (ja)
WO (1) WO2022107485A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3889356A4 (en) * 2018-11-29 2022-02-23 FUJIFILM Corporation STRUCTURAL REPAIR METHOD SELECTION SYSTEM, REPAIR METHOD SELECTION, AND REPAIR METHOD SELECTION SERVER
US20230215165A1 (en) * 2022-01-05 2023-07-06 Here Global B.V. Method, apparatus, and computer program product for identifying fluid leaks based on aerial imagery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067519A (ja) * 2001-08-24 2003-03-07 Kubota Corp 機械設備のメンテナンス情報管理システム
JP2018181235A (ja) * 2017-04-21 2018-11-15 古河電気工業株式会社 報告書作成装置、風力発電設備点検システム、プログラム、及び風力発電設備の点検報告書の作成方法
JP2019082933A (ja) 2017-10-31 2019-05-30 株式会社日本ソフト 報告書作成システム
WO2020110717A1 (ja) * 2018-11-29 2020-06-04 富士フイルム株式会社 構造物の損傷原因推定システム、損傷原因推定方法、及び損傷原因推定サーバ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067519A (ja) * 2001-08-24 2003-03-07 Kubota Corp 機械設備のメンテナンス情報管理システム
JP2018181235A (ja) * 2017-04-21 2018-11-15 古河電気工業株式会社 報告書作成装置、風力発電設備点検システム、プログラム、及び風力発電設備の点検報告書の作成方法
JP2019082933A (ja) 2017-10-31 2019-05-30 株式会社日本ソフト 報告書作成システム
WO2020110717A1 (ja) * 2018-11-29 2020-06-04 富士フイルム株式会社 構造物の損傷原因推定システム、損傷原因推定方法、及び損傷原因推定サーバ

Also Published As

Publication number Publication date
EP4250192A1 (en) 2023-09-27
US20230260098A1 (en) 2023-08-17
CN116508047A (zh) 2023-07-28
JPWO2022107485A1 (ja) 2022-05-27

Similar Documents

Publication Publication Date Title
Shim et al. Development of a bridge maintenance system for prestressed concrete bridges using 3D digital twin model
US20230260098A1 (en) Structure inspection assistance apparatus, structure inspection assistance method, and program
Adhikari et al. Image-based retrieval of concrete crack properties for bridge inspection
Chen et al. Convolutional neural networks (CNNs)-based multi-category damage detection and recognition of high-speed rail (HSR) reinforced concrete (RC) bridges using test images
Kassotakis et al. Employing non-contact sensing techniques for improving efficiency and automation in numerical modelling of existing masonry structures: A critical literature review
Sadhu et al. A review of data management and visualization techniques for structural health monitoring using BIM and virtual or augmented reality
Omer et al. Inspection of concrete bridge structures: Case study comparing conventional techniques with a virtual reality approach
Bień Modelling of structure geometry in Bridge Management Systems
Valero et al. High level-of-detail BIM and machine learning for automated masonry wall defect surveying
Dayan et al. A scoping review of information-modeling development in bridge management systems
Kong et al. Preserving our heritage: A photogrammetry-based digital twin framework for monitoring deteriorations of historic structures
Bai et al. Image-based reinforced concrete component mechanical damage recognition and structural safety rapid assessment using deep learning with frequency information
Saback de Freitas Bello et al. Framework for bridge management systems (bms) using digital twins
JP2024012527A (ja) 情報表示装置、方法及びプログラム
US20230237641A1 (en) Inspection support device for structure, inspection support method for structure, and program
Markova et al. 3D photogrammetry application for building inspection of cultural heritage objects
Samuel A Human-Centered Infrastructure Asset Management Framework Using BIM and Augmented Reality
Mansuri et al. Artificial intelligence for heritage conservation: a case study of automatic visual inspection system
WO2021199830A1 (ja) 点検支援装置、方法及びプログラム
WO2021176891A1 (ja) ３次元表示装置、方法及びプログラム
Koch et al. Machine vision techniques for condition assessment of civil infrastructure
WO2022209304A1 (ja) モニタリング設計支援装置、モニタリング設計支援方法およびプログラム
Neeli Use of photogrammetry aided damage detection for residual strength estimation of corrosion damaged prestressed concrete bridge girders
Ma et al. Drone aided machine-learning tool for post-earthquake bridge damage reconnaissance
JP2022062915A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894359

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022563621

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180074971.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021894359

Country of ref document: EP

Effective date: 20230619