WO2025258396A1 - 損傷情報処理装置、損傷情報処理装置の作動方法、及びプログラム - Google Patents

損傷情報処理装置、損傷情報処理装置の作動方法、及びプログラム

Info

Publication number
WO2025258396A1
WO2025258396A1 PCT/JP2025/019292 JP2025019292W WO2025258396A1 WO 2025258396 A1 WO2025258396 A1 WO 2025258396A1 JP 2025019292 W JP2025019292 W JP 2025019292W WO 2025258396 A1 WO2025258396 A1 WO 2025258396A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
information
group
processor
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/019292
Other languages
English (en)
French (fr)
Inventor
修平 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of WO2025258396A1 publication Critical patent/WO2025258396A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a damage information processing device, an operating method for the damage information processing device, and a program, and in particular to technology for acquiring information showing changes in damage over time.
  • a damage information processing device is a damage information processing device equipped with a processor, which acquires first damage information, which is damage information from a first time period, and second damage information, which is damage information from a second time period after the first time period; acquires first damage group information in which the first damage information is grouped; and second damage group information in which the second damage information is grouped; and acquires information indicating changes in damage over time based on the first damage group information and the second damage group information.
  • the processor groups the first damage information and the second damage information in accordance with the priority order among multiple methods, including a method of grouping nearby damage, a method of grouping damage nearby different types of damage, a method of grouping damage that matches a predetermined pattern, a method of grouping damage nearby the same related components and/or accessories, and a method of grouping nearby damage after the same construction work, to acquire first damage group information and second damage group information.
  • the processor acquires the results of the user grouping the first damage information and the second damage information as first damage group information and second damage group information.
  • the damage information processing device is any one of the first to fifth aspects, in which the processor edits the first damage group information and the second damage group information in response to a user instruction.
  • the processor acquires statistical information on the change in damage over time as information indicating the change in damage over time.
  • the processor acquires a label corresponding to at least one of the occurrence of a damage group, a change in the degree of damage, and its disappearance as information indicating changes in damage over time.
  • the damage information processing device is the ninth aspect, in which the processor obtains a label based on the first damage group information and the second damage group information.
  • the processor acquires, as a label, a label set by the user for the damage group.
  • the processor edits the label in accordance with a user instruction.
  • the processor displays information indicating changes in damage over time on the display device, changing the display format depending on the state of the changes in damage over time.
  • the processor displays information indicating changes in damage over time on a display device, superimposed on a photographed image of the subject, a composite image based on multiple photographed images, or a line drawing of the subject.
  • the processor displays information showing changes in damage over time in a table format on the display device.
  • the program according to the eighteenth aspect is a program for operating a damage information processing device having a processor, and causes the processor to acquire first damage information, which is damage information from a first time period, and second damage information, which is damage information from a second time period after the first time period; acquire first damage group information in which the first damage information is grouped; and acquire second damage group information in which the second damage information is grouped; and acquire information indicating changes in damage over time based on the first damage group information and the second damage group information.
  • FIG. 1 is a diagram showing the configuration of a damage information processing apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating the functional configuration of the processor.
  • FIG. 3 is a diagram showing an example of information recorded in the recording device.
  • FIG. 4 is a flowchart showing the procedure for processing damage information.
  • FIG. 5 is a diagram showing an example of grouping of damage information.
  • Figure 6 is a table showing crack patterns in bridge substructures.
  • FIG. 7 is a diagram showing crack patterns in a bridge substructure.
  • Figure 8 is a table showing crack patterns in bridge superstructures.
  • FIG. 9 shows crack patterns in a bridge superstructure.
  • FIG. 10 is another diagram showing crack patterns in a bridge superstructure.
  • FIG. 11 is yet another diagram showing crack patterns in a bridge superstructure.
  • FIG. 1 is a diagram showing the configuration of a damage information processing apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating the functional configuration of the processor.
  • FIG. 3 is
  • FIG. 12 is yet another diagram showing crack patterns in a bridge superstructure.
  • FIG. 13 is yet another diagram showing crack patterns in a bridge superstructure.
  • FIG. 14 is yet another diagram showing crack patterns in a bridge superstructure.
  • FIG. 15 is yet another diagram showing crack patterns in a bridge superstructure.
  • FIG. 16 is yet another diagram showing crack patterns in a bridge superstructure.
  • FIG. 17 is a diagram showing an example in which damages present in the same construction site are grouped together.
  • FIG. 18 is a diagram showing an example in which damages present in the same construction site are grouped together.
  • FIG. 19 is another diagram showing an example in which damages existing near related members are grouped together.
  • FIG. 20 is another diagram showing an example in which damages existing near related members are grouped together.
  • FIG. 20 is another diagram showing an example in which damages existing near related members are grouped together.
  • FIG. 21 is a diagram showing an example of statistical information on changes in damage over time.
  • FIG. 22 is a table showing an example of statistical information on changes in damage over time.
  • FIG. 23 is a table showing examples of labels and their definitions.
  • FIG. 24 is a diagram showing an example of labeling of changes over time.
  • FIG. 25 is a diagram showing an example of a display according to statistical information of changes over time.
  • FIG. 26 is a diagram showing an example of a display according to the labels of the change over time.
  • FIG. 27 shows an example of repair damage labeling and display.
  • FIG. 28 shows an example of labeling and displaying recurrent lesions.
  • FIG. 29 is a table showing an example of damage ranking.
  • FIG. 30 is a table showing an example of damage ranking.
  • FIG. 31 is another table showing an example of damage ranking.
  • FIG. 32 is yet another table showing an example of damage ranking.
  • FIG. 33 is a diagram showing the configuration of a damage information processing system according to a modified
  • FIG. 2 is a diagram showing the functional configuration of the processor 110.
  • the processor 110 includes an input/output control unit 112, a panoramic image generation unit 114, a damage information acquisition unit 116, a damage group information acquisition unit 118, and a time-course change information acquisition unit 120.
  • the processor 110 is composed of various processors and electrical circuits (hereinafter referred to as "processors, etc.”), such as a CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), PLD (Programmable Logic Device), etc.
  • processors such as a CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), PLD (Programmable Logic Device), etc.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field Programmable Gate Array
  • PLD Protein Deformation Deformation
  • the functions of each of the above-mentioned parts may be realized by one or more processors, etc., or a single function may be realized by multiple processors.
  • the software is stored in a non-transitory, tangible recording medium such as code ROM 130 that can be read by the computer (for example, the various processors and electrical circuits that make up the processor, and/or a combination thereof) of the software to be executed, and the computer references the software.
  • the software stored on the non-transitory, tangible recording medium includes the program of the present invention (a program that causes a computer to execute the operating method of the damage information processing device of the present invention) and data used when executing it.
  • the code may be recorded on a non-transitory, tangible recording medium such as flash ROM or EEPROM (Electronically Erasable and Programmable Read Only Memory). Note that this "non-transitory, tangible recording medium” does not include non-tangible recording media such as carrier signals or propagation signals themselves.
  • RAM 140 is used as a temporary storage area or working area.
  • the functions of the processor 110 described above may be realized by various types of AI (Artificial Intelligence).
  • AI may, for example, be AI that performs image recognition, segmentation, feature extraction, measurement, etc.
  • An embodiment in which the damage information acquisition unit 116 is configured using a neural network will be described later.
  • the operation unit 150 is composed of devices such as a keyboard, mouse, buttons, and switches (not shown). A user can issue instructions to the processor 110 via these devices, and the processor 110 accepts the instructions and performs processing in accordance with the accepted instructions.
  • the display 175 may be composed of a touch panel device so that the user can issue instructions via the touch panel.
  • the display 175 is composed of such a touch panel device or a device such as a liquid crystal display device, and can display conditions for damage information processing, captured images of the subject, panoramic composite images, damage information, damage group information, information showing changes in damage over time, and the like.
  • the display 175 can also display information recorded in the recording device 180.
  • the input/output interface 170 is composed of terminals and slots for connecting external devices such as a display, printer, and recording medium, and communication interfaces such as Wi-Fi (registered trademark) and Bluetooth (registered trademark).
  • the processor 110 can acquire image data, damage information, and the like from external devices (server devices, recording devices, databases, imaging devices, etc.) via the input/output interface 170.
  • the external devices may be connected to the damage information processing device 100 via a wired or wireless connection.
  • the external devices may be connected via a network such as the Internet, or may be devices present on the cloud.
  • the recording device 180 (recording device, output device) is composed of recording media (non-transitory and tangible recording media) such as semiconductor memories such as hard disks and SSDs (Solid-State Drives), and various types of magneto-optical recording media, and their control units, and records or stores various types of information.
  • recording media non-transitory and tangible recording media
  • semiconductor memories such as hard disks and SSDs (Solid-State Drives), and various types of magneto-optical recording media, and their control units, and records or stores various types of information.
  • FIG. 3 is a diagram showing an example of information recorded in the recording device 180.
  • Photographed images 180A are individual images of a subject (building, structure, etc.)
  • panoramic composite image 180B is an image generated by panoramic stitching of multiple photographed images 180A.
  • Photographed images 180A and panoramic composite image 180B are preferably recorded in association with the date and time the images were photographed.
  • Damage information 180C (first and second damage information, first and second damage group information) is information on damage detected from photographed image 180A or panoramic composite image 180B, and may include information on individual damage (first and second damage information) and grouped damage information (first and second damage group information).
  • Damage information 180C can be recorded for multiple photographing dates and times, and is preferably recorded in association with the date and time the images were photographed.
  • Temporal change information 180D is information indicating changes in damage over time.
  • Processing conditions 180E are processing conditions (for example, whether to use panoramic stitching, damage extraction conditions, grouping method, date and time for comparing changes over time, display format for processing results, etc.).
  • Information recorded in recording device 180 can be displayed on display 175 or output to an external device in response to a user instruction, or automatically without a user instruction.
  • the processor 110 sets processing conditions in response to user operations via the operation unit 150 and the screen of the display 175 (step S100).
  • the processing conditions include, for example, whether or not to perform panoramic stitching, conditions for damage extraction, a grouping method, the date and time for comparing changes over time, and the display mode of the processing results (e.g., the type, color, and thickness of the line indicating the damage, the presence or absence of a frame surrounding the damage, the type and color of the line).
  • the processor 110 may perform processing under predetermined conditions without user operations, as necessary. Note that the processor 110 may also set processing conditions during processing, as necessary.
  • the input/output control unit 112 acquires photographed images of a subject (step S110).
  • the subject may be a wall, pillar, beam, or the like of a bridge, tunnel, building, or the like, or may be a concrete structure, but is not limited to these examples.
  • the images acquired by the input/output control unit 112 are, for example, a large number of images (image group) of the structure photographed by a camera-equipped drone (unmanned aerial vehicle), a robot, or manually. It is preferable that the image group encompasses the entire structure, and that adjacent images sufficiently overlap (e.g., 30% to 50% or more of the individual images).
  • Detecting small cracks (e.g., less than 0.1 mm) from an image requires high-resolution images, so the capture range of a single image is small. Therefore, to obtain an image of a structure of a certain size, it is preferable to combine multiple images into a panorama, but if a high-resolution camera is used to capture the image or if the crack width that needs to be detected is large, a single image or multiple individual images will suffice.
  • the input/output control unit 112 may acquire panoramic images from external devices via the input/output interface 170 or a network, or may read out panoramic images (panoramic composite image 180B) that have been previously recorded on the recording device 180.
  • the processor 110 may acquire damage information from the captured images before combining, and combine the damage information for multiple images.
  • the damage information acquisition unit 116 acquires damage information from the panoramic composite image (step S130).
  • the damage information acquisition unit 116 can acquire the damage information using a trained model constructed by a machine learning technique.
  • the damage information acquisition unit 116 may use, for example, a trained model based on a neural network such as a convolutional neural network (CNN).
  • CNN convolutional neural network
  • a trained CNN model for example, comprises an input layer, an intermediate layer, and an output layer, with each layer having multiple "nodes” connected by “edges.”
  • a panoramic composite image is input to the input layer of the CNN.
  • the intermediate layer has multiple sets of convolutional layers and pooling layers, and is the part that extracts features from the image input to the input layer.
  • the convolutional layer filters nearby nodes in the previous layer (convolution operation using a filter) to obtain a "feature map.”
  • the pooling layer reduces the feature map output from the convolutional layer to create a new feature map.
  • the "convolutional layer” is responsible for extracting features such as edge extraction from the image, while the “pooling layer” is responsible for providing robustness so that the extracted features are not affected by things like translation.
  • the output layer of a CNN is the part that outputs a feature map that shows the features extracted by the intermediate layer. For example, the output layer outputs results (detection, measurement, classification, etc.) for each area of damage in a structure shown in an image, either in pixel units or in units of a group of several pixels.
  • the damage information acquisition unit 116 may be equipped with multiple trained models according to the type of damage, etc. For example, it may be equipped with trained models for cracks and other types of damage, or it may be equipped with a trained model for construction marks (such as P-concrete marks, as described below). These trained models can be constructed by providing training data that pairs images of structures with damage information (results of detection, measurement, classification, etc.) as ground truth data to a CNN or the like and having it learn.
  • the damage information acquisition unit 116 may also acquire damage information using image processing (e.g., extracting features from an image) that is not a machine learning technique. Also, it may acquire information input by the user through operations such as tracing the damage.
  • image processing e.g., extracting features from an image
  • it may acquire information input by the user through operations such as tracing the damage.
  • the damage information acquisition unit 116 can acquire damage information for any given shooting date and time, or for one or more multiple shooting dates and times. For example, it can acquire first damage information that is damage information for a first period of time, and second damage information that is damage information for a second period of time that follows the first period of time.
  • the damage information may be acquired all at once, or may be acquired in multiple installments.
  • the format of the damage information obtained may vary depending on the type of damage.
  • the damage in the case of linear damage such as cracks in concrete or cracks in steel members, the damage can be represented as line segments or vectors (polylines).
  • area information in the case of damage that often spreads, such as water leaks and free lime in concrete, peeling and exposed rebar, and corrosion in steel members, it can be represented as area information (vector information surrounding the damage, polygons).
  • the input/output control unit 112 associates the damage information with the image capture date and time and stores it in the recording device 180 (damage information 180C).
  • the acquired damage information may also be displayed on the display 175.
  • Damage may include, but is not limited to, cracks, lifting, peeling, free lime, corrosion, exposed rebar, etc.
  • the damage group information acquisition unit 118 groups the damage information and acquires the damage group information (step S140).
  • the damage group information acquisition unit 118 can acquire damage group information for any image capture date and time, or for one or more image capture dates and times.
  • the damage group information acquisition unit 118 can acquire first damage group information (information about a first period) in which the above-described first damage information is grouped, and second damage group information (information about a second period) in which the second damage information is grouped. Note that if the damage information has already been grouped, the damage group information acquisition unit 118 can acquire the damage group information, or may acquire damage group information (damage information 180C) from the recording device 180.
  • the damage group information acquisition unit 118 can group the damage information using various methods.
  • the damage group information acquisition unit 118 can group the damage information (first and second damage information) using one or more of the following methods: a method of grouping nearby damage in the same group, a method of grouping damage in the same group of damage that exists in the same group as another type of damage, a method of grouping damage that matches a predetermined pattern in the same group, a method of grouping damage in the same group as the same related component and/or accessory, and a method of grouping damage in the same group after the same construction work.
  • the damage group information acquisition unit 118 can also perform grouping according to a priority order (one example of the "processing conditions" described above) established between multiple methods. For example, the damage group information acquisition unit 118 can automatically perform grouping according to the priority order between multiple methods, including a method of grouping nearby damage together, a method of grouping damage nearby different types of damage together, a method of grouping damage that matches a predetermined pattern together, a method of grouping damage nearby the same related components and/or accessories together, and a method of grouping nearby damage after the same construction work together.
  • the damage group information acquisition unit 118 may set the priority order according to user operation, or it may set it independently of user operation.
  • the damage group information acquisition unit 118 may divide the damage into a specified number of groups.
  • the damage group information acquisition unit 118 may determine the number of groups according to a user instruction, or may determine it independently of a user instruction. Furthermore, when performing grouping, the damage group information acquisition unit 118 may cluster the damage using a machine learning method such as the k-means method or Ward's method.
  • FIG. 5 is a diagram illustrating an example of grouping damage information.
  • Part (a) of FIG. 5 illustrates an example of grouping using a method in which nearby damage is grouped together.
  • cracks can be determined to be "neighbors” if the distance between them is equal to or less than a predetermined threshold.
  • crack groups 500A and 500B exist, and crack 501 is an isolated crack (a crack that does not belong to any group).
  • the input/output control unit 112 can display the grouping results on the display 175 using different colors for each crack group.
  • crack groups 500A and 500B can be displayed with red and blue lines, respectively, and crack 501 can be displayed with a black line.
  • the input/output control unit 112 may display the grouping results in a different display format other than changing the color. In this display, the input/output control unit 112 may also change the line thickness depending on the thickness of the crack (the same applies to the following figures).
  • the input/output control unit 112 may produce a display like that shown in Figure 5 by superimposing lines, figures, etc. indicating damage on a photographed image of the subject or a panoramic composite image, or by superimposing these lines, figures, etc. on a line drawing of the subject (CAD data, etc., CAD: Computer-Aided Design system). The same applies to other figures showing damage detection results, grouping results, changes over time, etc.
  • the input/output control unit 112 may decide whether or not to superimpose and the content of the superimposition depending on user operation, or it may decide this independently.
  • the damage group information acquisition unit 118 can exclude small damage that does not meet a predetermined size (predetermined size) from being grouped or from being calculated as damage information, even if it meets the grouping rules (existing nearby, existing nearby another type of damage, etc.).
  • predetermined size may be set according to a user instruction, or it may be set independently.
  • the input/output control unit 112 may change the manner or degree of distinction displayed for such small damage from other large damage in the result display. For example, it is possible to "display damage of a predetermined size or larger in color, but not display small damage that does not meet the predetermined size in color.”
  • the damage group information acquisition unit 118 may edit the damage information and damage group information in accordance with user instructions, or without user instructions (the same applies to other examples).
  • Part (b) of Figure 5 shows an example of grouping using a method of grouping nearby damage and a method of grouping damage near other types of damage.
  • cracks near two free lime 400 locations are grouped as crack groups 500A and 500B
  • cracks located away from the free lime 400 are grouped as crack group 500C.
  • the input/output control unit 112 can display the grouping results in different colors (examples of different display modes) for each crack group. Note that in the example shown in part (b) of Figure 5, different types of damage (here, free lime and cracks) may be grouped (the same applies to other examples).
  • the damage group information acquisition unit 118 may group damage information by a method of grouping damage that matches a predetermined pattern.
  • the "predetermined pattern” can be set, for example, according to the Ministry of Land, Infrastructure, Transport and Tourism's "Guidelines for Periodic Bridge Inspection.”
  • FIG. 6 is a table showing crack patterns in bridge substructures
  • FIG. 7 is a diagram showing cracks corresponding to the patterns in FIG. 6. Note that the same reference numerals in FIGS. 6 and 7 indicate crack patterns and their corresponding cracks. For example, in FIG. 7, cracks 1A to 4A have occurred in the abutment 510, and crack 5A has occurred in the support 520.
  • the damage group information acquisition unit 118 can group, for example, four cracks 1A in the abutment 510 into the same damage group.
  • the damage group information acquisition unit 118 may group damage that meets both the criteria of "matching a predetermined pattern” and "being located nearby” into the same damage group (an example of grouping based on multiple methods).
  • Figure 8 is a table showing crack patterns in bridge superstructures
  • Figures 9 to 11 are diagrams showing cracks corresponding to the patterns in Figure 8. The contents of Figures 8 to 11 are based on the bridge periodic inspection guidelines.
  • multiple cracks 1D have occurred in member 545A
  • the damage group information acquisition unit 118 can group these cracks 1D into the same damage group.
  • the damage group information acquisition unit 118 can group cracks 1D in members 545B to 545D into the same damage group.
  • the damage group information acquisition unit 118 can assign crack 2D in members 550A to 550D shown in Figure 10 to the same damage group for each member, and can assign crack 4D in members 555A to 555D shown in Figure 11 to the same damage group for each member.
  • the damage group information acquisition unit 118 can classify cracks such as crack 5D (a "crack that occurs vertically on the underside or side of the girder at the support point or bearing" in the bridge periodic inspection guidelines; only one crack is shown in FIG. 12) in member 560 shown in FIG. 12 (yet another diagram showing the crack pattern of a bridge superstructure) as the same damage group, and can classify cracks such as crack 6D (a crack that occurs diagonally on the side of the girder at the support point or bearing; only one crack is shown in FIG. 12) as the same damage group.
  • the damage group information acquisition unit 118 can classify multiple cracks 8D in member 565 shown in FIG.
  • the damage group information acquisition unit 118 can classify multiple cracks 12D in the same damage group for member 575 (girder) shown in Figure 15 (yet another diagram showing the crack pattern of the bridge superstructure), and can classify cracks such as crack 23E in the same damage group for members 580A to 580D shown in Figure 16 (yet another diagram showing the crack pattern of the bridge superstructure).
  • the damage group information acquisition unit 118 can group damage that exists near the same construction trace (e.g., within a threshold distance) into the same damage group. For example, as shown in part (a) of Figure 17 (a diagram showing an example of grouping damage that exists in the same construction trace), if multiple cracks are detected from an image, the damage group information acquisition unit 118 can group cracks C1 to C4 that exist near the P-con trace P into the same damage group, as shown in part (b) of the same figure. In part (b) of Figure 17, the grouped cracks C1 to C4 are displayed with thick lines, and cracks that are not grouped are displayed with thin lines.
  • the damage group information acquisition unit 118 and the input/output control unit 112 display the P-con trace P (construction trace) in a specific color (one form of identification display).
  • the damage group information acquisition unit 118 and the input/output control unit 112 may display these thick lines, thin lines, and P control traces P in different colors (for example, orange, red, and blue, respectively).
  • P-con is an abbreviation for "plastic cone.”
  • the construction of concrete structures such as walls, pillars, and beams typically involves assembling rebar and formwork before pouring concrete.
  • the formwork is fixed at the desired intervals using rod-shaped separators with threads on both ends and "P-con” attached to both ends of the separators.
  • Concrete is poured into the formwork, and once the concrete has hardened, the formwork and P-con are removed. When the P-con is removed, a hole appears, exposing the threaded part of the separator. The circular mark left by filling this hole with mortar is called the "P-con mark.”
  • the damage group information acquisition unit 118 can group damage that exists near “joints,” “formwork traces,” and “construction joints” into the same damage group.
  • "Joints,” “formwork traces,” and “construction joints” are examples of construction traces.
  • the damage group information acquisition unit 118 can group cracks C7 and C8 into the same group as shown in part (b) of the same figure.
  • the damage group information acquisition unit 118 and the input/output control unit 112 can display the grouped cracks C7 and C8 and the ungrouped cracks C5, C6, C9, and joint J in different colors (e.g., orange, red, and blue, respectively).
  • the damage group information acquisition unit 118 can group damage that exists near the same related component or accessory (for example, within a threshold distance) into the same damage group.
  • Figure 19 (a diagram showing an example of grouping damage that exists near related components) shows how crack 5E that occurred in component 585 (a related component of a "bearing") is grouped
  • Figure 20 (another diagram showing an example of grouping damage that exists near related components) shows how crack 16F that occurred in related components 590A-590D (a crack near the PC steel anchorage or deflection section) is grouped.
  • the examples in Figures 19 and 20 are also based on the "Guidelines for Periodic Bridge Inspection.”
  • the damage group information acquisition unit 118 can classify damage that exists near a portion where an accessory is attached as the same damage group. This takes into consideration the possibility that damage to such portions may cause the accessory to fall, etc.
  • Examples of "accessories” include, but are not limited to, tunnel lighting equipment, water spray equipment, traffic lights, tunnel warning signs, smoke vents or jet fans, etc. installed in highway tunnels, and attached portions of pipes installed on the underside of bridges.
  • the processor 110 can detect accessories from photographed images or panoramic composite images using a detector constructed using machine learning techniques, and classify damage that exists in their vicinity (for example, an area where the distance from the accessory is equal to or less than a threshold) as the same damage group.
  • the user may specify an accessory in the photographed images or panoramic composite images, and the damage group information acquisition unit 118 may classify damage that exists near the specified accessory as the same damage group.
  • the damage group information acquisition unit 118 may group damage information by a method of grouping damage that matches a predetermined pattern.
  • the "predetermined pattern" can be set based on, for example, the regularity of the position and/or direction of the damage.
  • the surface of a structure is divided into grid-like regions, and each grid is displayed according to its state of change over time.
  • damage that should be classified into one group may span multiple grid regions and be evaluated separately in each grid region, or damage that should be classified into different groups may be evaluated collectively in one grid region, making it difficult to properly evaluate the state of change in damage over time.
  • the present invention groups damage and displays its state of change over time, allowing the user to properly understand the state of change over time.
  • a user can perform an operation to instruct editing of the damage group information (first damage group information, second damage group information) acquired (including generated) by the damage group information acquisition unit 118.
  • the user can perform an operation to instruct adding, changing, deleting, combining, or separating damage groups, or adding, changing, deleting, combining, or separating individual pieces of damage information in a damage group, via the screen of the operation unit 150 and the display 175.
  • the damage group information acquisition unit 118 edits the damage group information (first damage group information, second damage group information) in response to such an instruction.
  • the injury group information acquisition unit 118 can acquire the result of a user grouping injury information (first injury information, second injury information) as injury group information (first injury group information and second injury group information).
  • the user can group injury information by enclosing it in a predetermined shape (e.g., rectangle, circle, ellipse) or an irregular shape (e.g., by specifying it with the mouse like the "lasso tool" in a document creation tool), or by clicking injuries belonging to the same group with the mouse, and the result can be acquired by the injury group information acquisition unit 118.
  • a predetermined shape e.g., rectangle, circle, ellipse
  • an irregular shape e.g., by specifying it with the mouse like the "lasso tool" in a document creation tool
  • the time-course change information acquisition unit 120 acquires information indicating time-course change of damage (time-course change information) based on the result of grouping the damage information (step S150).
  • the time-course change information acquisition unit 120 associates damage group information (first damage group information, second damage group information) corresponding to different imaging dates and times, and can acquire information indicating time-course change based on the associated damage group information.
  • the time-course change information acquisition unit 120 can determine the timing for acquiring time-course change information.
  • time-course change information may be acquired by setting two dates and times, such as "five years ago and the present" or "five years ago and three years ago," or information showing continuous time-course change may be acquired by setting three or more dates and times, such as "five years ago, four years ago, three years ago, two years ago, one year ago, and the present.”
  • the time-course change information acquisition unit 120 may determine the timing in accordance with a user instruction, or may acquire damage group information at set time intervals without following a user instruction.
  • the time-varying information acquiring unit 120 can associate the damage group information by, for example, the following method.
  • the time-course change information acquisition unit 120 can associate damage information (or damage group information) that exists in the same position (or the closest position within a specified tolerance range).
  • the time-varying information acquisition unit 120 can align them based on the captured image in which the damage was detected or a panoramic composite image of the captured images, and associate the damage information (or damage group information) that exists in the same position (or the closest position within a predetermined tolerance).
  • the time-varying information acquisition unit 120 can align them based on, for example, a specific component, its feature point (edge, corner, etc.), or an attachment of the component (bolt, etc.).
  • the time-varying information acquisition unit 120 may decide which method to use in response to a user instruction, or may decide independently of a user instruction.
  • the time-course information acquisition unit 120 can acquire statistical information on the time-course changes of damage as information indicating the time-course changes of damage (step S150).
  • the "statistical information" may be, for example, one or more of the following: the change in the number of damages in each damage group; the change in the sum of damage sizes (e.g., length, length ⁇ width, area, etc.); the change in damage density (e.g., length per unit area, length ⁇ width, area, etc.); the change in maximum damage size; the rate of change in the number of damages; the rate of change in the sum of damage sizes; the rate of change in damage density; and the rate of change in maximum damage size.
  • the time-course information acquisition unit 120 may determine the type of statistical information to acquire in accordance with a user instruction, or may determine the type of statistical information to acquire independently of a user instruction.
  • the time-course information acquisition unit 120 and the input/output control unit 112 (processor) can display the acquired statistical information on the display 175 (display device) (step S160) and record it in the recording device 180.
  • Figure 21 is a diagram showing an example of how damage changes over time.
  • part (a) shows the state of damage during an inspection five years ago (an example of a "first period")
  • part (b) shows the state of damage during an inspection currently (an example of a "second period”).
  • Five years ago crack groups 500A-500C existed, and currently crack groups 500A-500D exist.
  • the input/output control unit 112 may display the image shown in Figure 21 (displaying information showing changes over time) by superimposing lines, figures, etc. indicating damage on a photographed image of the subject or a panoramic composite image, or by superimposing these lines, figures, etc. on a line drawing of the subject (CAD data, etc.). The same applies to other display examples.
  • FIG. 22 shows the statistical information for the example in FIG. 21 presented in tabular form. This allows the user to easily grasp the state of change over time.
  • the time-varying information acquisition unit 120 and the input/output control unit 112 may graph the data corresponding to such a table and display it on the display 175, or record it in the recording device 180 (time-varying information 180D in FIG. 3).
  • three or more points of data e.g., five years ago, four years ago, three years ago, two years ago, one year ago, and the present
  • the processor 110 may also have the function of predicting future statistical information based on data from multiple periods and the function of displaying the prediction results.
  • Statistical information predictions can be made based on various deterioration prediction curves and deterioration prediction models (theoretical models, regression equations, etc.), and predictions may also be made using machine learning techniques.
  • the processor 110 may also make predictions based on the deterioration curves of the same type of structure.
  • the effects of repairs (such as reductions in the quantity or degree of damage) may also be taken into account when predicting statistical information.
  • the damage information processing device 100 acquires a "label" as information indicating a change over time (step S150), and can output the label to the display 175 or record the label in the recording device 180 (step S150).
  • the time-change information acquisition unit 120 may assign a label to each individual damage based on damage at different times (damage at a first time period, damage at a second time period), or may assign a representative label to a damage group based on the label of each individual damage.
  • the time-change information acquisition unit 120 can acquire a label corresponding to at least one of the occurrence of a damage group, a change in the degree of damage, and disappearance of the damage group, as information indicating a change in damage over time.
  • Figure 23 is a table showing examples of labels and their definitions, where (a) shows an example of a label for an individual injury, and (b) shows an example of a label (representative label) for an injury group.
  • Figure 24 is a diagram showing an example of labeling changes over time. Part (a) of Figure 24 shows the state of damage at the time of inspection in the past (for example, five years ago; first period), and part (b) of the same figure shows the state of damage at the present (second period). It can be seen that the number of cracks has increased compared to five years ago, and that the cracks have also grown in size.
  • individual damage is labeled as "unchanged damage (shown by dotted lines), new damage (shown by thin solid lines), and progressing damage (shown by thick solid lines)."
  • the time-dependent change information acquisition unit 120 and the input/output control unit 112 can distinguish and display each piece of damage on the screen of the display 175 (display device) according to the label.
  • the time-dependent change information acquisition unit 120 and the input/output control unit 112 can display unchangeable damage, new damage, and progressing damage in black, blue, and red, respectively.
  • Displaying damage in different colors depending on the label is one example of "displaying information showing changes in damage over time in a different display format depending on the state of the damage change over time.”
  • Other distinguishing displays may be used, such as changing the line type depending on the label, adding letters, numbers, symbols, etc., or surrounding the area of the damage group with a frame.
  • Such distinguishing displays may be used for some labels (for example, new damage and progressing damage) (the same applies to other examples).
  • Part (c) of Figure 24 shows how labels have been set for the damage groups for the same example as part (b) of the same figure.
  • the damage groups are labeled as "unchanged damage group (shown by dotted lines), new damage group (shown by thin solid lines), and progressing damage group (shown by thick solid lines)."
  • crack groups 500A and 500B are "progressing damage groups”
  • crack group 500C is the "unchanged damage group”
  • crack group 500D is the "new damage group.”
  • the time-dependent change information acquisition unit 120 and input/output control unit 112 can display unchangeable damage, new damage, and progressing damage in black, blue, and red, respectively.
  • FIG. 25 is a diagram showing an example of a display according to statistical information of changes over time. In the example of Fig. 25, it is assumed that the state of damage is the same as that shown in part (c) of Fig. 24.
  • the display format of the damage group at the "present" is different from the example shown in part (c) of Figure 24.
  • part (a) is an example in which the line type and thickness of the crack line are changed depending on the change, but the line color, brightness, etc. may also be changed depending on the change.
  • the time-dependent change information acquisition unit 120 and the input/output control unit 112 can display these crack groups 500A, 500B, 500C, and 500D in red, blue, black, and blue, respectively.
  • Part (b) of Figure 25 shows an example in which the display format of the area surrounding the "current" crack group (damage group) is changed and displayed on the display 175 (display device) according to the statistical information on changes over time.
  • the change amount 0
  • the area surrounding the crack group is coarsely shaded
  • for crack groups 500B and 500D where 0 ⁇ change amount ⁇ 3m, medium shaded
  • for crack group 500A where 3m ⁇ change amount, fine shaded.
  • part (b) is an example in which the type of shaded area surrounding the crack group is changed according to the change amount, but the color of the shaded area (dots), the fill color and brightness of this area, the color, thickness, and type of the line surrounding the area, etc. may also be changed according to the change amount.
  • the fill colors of crack groups 500A to 500D can be red, blue, gray, and blue, respectively.
  • Figure 26 is a diagram showing an example of a display according to labels of changes over time. Part (a) of Figure 26 shows an example of labeling crack groups. Specifically, crack group 500C, which is the "unchanged damage group,” is displayed with a solid line, crack group 500D, which is the “new damage group,” is displayed with a thin solid line, and crack groups 500A and 500B, which are “progressing damage groups,” are displayed with a thick solid line.
  • Part (b) of Figure 26 shows an example in which the display format (fill color) of the area surrounding a crack group is changed depending on the labeling result of the crack group and displayed on the display 175 (display device).
  • the area surrounding the crack group is displayed with coarse shading
  • crack group 500D which is the "new damage group”
  • crack groups 500A and 500D which are "progressing damage groups”
  • part (b) is an example in which the shading type of the area surrounding a crack group is changed depending on the label, but the fill color and brightness of this area, the color, thickness, type of the line surrounding the area, etc. may also be changed depending on the label.
  • the area surrounding the crack group can be displayed with a gray fill color
  • for crack group 500D with a blue fill color
  • for crack groups 500A and 500B with a red fill color.
  • the time-course change information acquisition unit 120 and input/output control unit 112 may also display a legend (for example, "red: progressing damage group, blue: new damage group, black: unchanged damage group") when displaying the labeled time-course change information (this applies to all figures). It is preferable that the heading of this legend (such as "red”) corresponds to the actual display (line type, thickness, color, etc.) rather than text.
  • the input/output control unit 112 can change the display format of the area surrounding the damage group in the captured image, panoramic composite image, or line drawing of the subject (CAD data, etc.) depending on the state of change in the damage over time, and display it on the display 175 (display device), as shown in the examples of parts (b) of Figure 24 and (b) of Figure 26.
  • the damage information processing device 100 can label individual damage based on information about the repaired area and damage information from the first and second time periods, and assign a representative label to the damage group, as described in the following example. Furthermore, it can display the state of change over time in association with damage after repair (the second time period) and "OR damage" before and after repair. Note that "OR damage” means "damage that exists at least once before and after repair.” Displaying the state of change over time in association with "OR damage” takes into account the existence of damage that disappears due to repair and new damage that occurs after repair.
  • Figure 27 is a diagram showing an example of labeling and displaying repair damage.
  • Part (a) of Figure 27 shows the damage before repair (first period), and part (b) of the same figure shows the damage after repair (second period).
  • the damage group information acquisition unit 118 and the time-dependent change information acquisition unit 120 label individual damage based on the damage before and after repair, and assign a representative label to the damage group.
  • the cracks indicated by the dashed dotted line, thin solid line, and thick solid line in parts (a) and (b) of Figure 27 are labeled "unchanged damage,” “new damage,” and “repaired damage,” respectively.
  • "Unchanged damage” is damage that exists both before and after repair
  • "new damage” is damage that newly appears after repair
  • “repaired damage” is damage that has disappeared due to repair.
  • individual cracks are grouped into crack groups 500A to 500D.
  • Part (c) of Figure 27 shows an example of labeling and displaying these crack groups 500A-500D.
  • Crack groups 500A and 500B are labeled “repair damage group” (a label indicating that they are damage groups that have disappeared due to repair)
  • crack group 500C is labeled “unchanged damage group”
  • crack group 500D is labeled “new damage group.”
  • This part also distinguishes crack groups by associating them with an "OR display” of damage before and after repair.
  • OR display refers to the display of cracks that existed at least once before and after repair.
  • the reason for distinguishing crack groups by associating them with an "OR display” takes into account the existence of cracks that disappear due to repair and new cracks that appear after repair.
  • the repair damage group, unchanged damage group, and new damage group can each be displayed in a different color (e.g., red, black, or blue).
  • FIG. 28 is a diagram illustrating an example of labeling and displaying recurrent damage.
  • Part (a) of FIG. 28 illustrates the state of repair areas 600A, 600B, and crack group 500A in the past (first period).
  • the time-varying information acquisition unit 120 can designate as "repair areas” areas that previously contained crack groups (damage groups) that can be determined from past statistical information to be "completely or almost completely free of damage” and/or areas that contained crack groups labeled "repair damage group” (see the table in FIG. 23).
  • the time-varying information acquisition unit 120 may acquire information about the repair areas (e.g., the position, shape, and size of the repair areas) from the recording device 180, via the input/output control unit 112 (processor), or based on user input.
  • Part (b) of Figure 28 shows the state after some time has passed since the repair (the state at a second time point after the first time point).
  • this state no new cracks (damage) have occurred in the repair area 600A, but a new crack group 500B (for example, cracks grouped as "located nearby") has occurred, and a crack group 500C has also occurred in the repair area 600B.
  • the damage group information acquisition unit 118 (processor) groups cracks that have occurred in the same repair area 600B into crack group 500C.
  • Part (c) of Figure 28 shows how crack groups in the second period are labeled and identified based on the state shown in part (a) and part (b) of the same figure.
  • the time-dependent change information acquisition unit 120 and input/output control unit 112 label crack group 500A as the "unchanged damage group” and display it with a dotted line
  • label crack group 500B as the "new damage group” and display it with a solid line
  • label crack group 500C as the "recurrent damage group” and display it with a thick solid line.
  • These dotted lines, solid lines, and thick solid lines may be displayed in different colors (e.g., black, blue, red).
  • the time-dependent change information acquisition unit 120 may acquire the label set by the user for the damage group, or may edit the label in accordance with the user's instructions.
  • the damage information processing device 100 can determine the damage rank of damage included in a damage group and determine the damage rank of the damage group.
  • the damage information acquisition unit 116, damage group information acquisition unit 118, and time-varying information acquisition unit 120 can perform ranking based on the "Bridge Periodic Inspection Guidelines.” As shown in Figures 29 to 32, the "Bridge Periodic Inspection Guidelines" classify the degree of damage for each type of damage into five levels: a, b, c, d, and e (a is the lightest level of damage, b to d are more severe than a, and e is the most severe level).
  • Figure 29 is a table showing the classifications for cracks
  • Figure 30 is a table showing the classifications for deck cracks.
  • Figure 31 is a table showing the classifications for water leakage and free lime
  • Figure 32 is a table showing the classifications for spalling and exposed rebar.
  • the damage information acquisition unit 116, damage group information acquisition unit 118, and time-dependent change information acquisition unit 120 can label as a "damage group with increased damage rank" if the damage progresses and the damage rank increases in the second period, as a "damage group with unchanged rank” if the damage rank remains unchanged, and as a "damage group with decreased rank” if the damage rank decreases in the second period due to repairs.
  • the damage information processing device 100 may display the labels at any timing and their changes over time using diagrams, tables, or graphs.
  • damage information processing according to the present invention is performed by the damage information processing device 100.
  • the functions realized by the damage information processing device 100 can be realized by a system including a server and a user terminal.
  • FIG 33 is a diagram showing the configuration of an injury information processing system 10 according to a modified example.
  • the injury information processing system 10 mainly comprises a server device 200 and a user terminal 300, which are connected via a network NW.
  • the network NW may be the Internet, a cloud, etc.
  • the server device 200 comprises a server device main body 210 (processor) and a database 220.
  • the server device main body 210 comprises a processor and memory with functions similar to those of the damage information processing device 100 in the first embodiment, and the database 220 can store images of subjects (buildings, structures, etc.), damage information, information on changes over time, etc. (see Figure 3).
  • the user terminal 300 comprises a processing unit 310, a memory unit 320, an operation unit 330, and a display unit 340.
  • the operation unit 330 comprises a keyboard 332 and a mouse 334
  • the display unit 340 comprises a monitor 342 (display device, output device).
  • a user can upload information such as images and damage information from the imaging device 350 or recording medium 360 via the network NW, or obtain information from the imaging device 350 or recording medium 360 using the user terminal 300 and upload it to the database 220.
  • the imaging device 350 and recording medium 360 can be connected to the user terminal 300 via a wired or wireless connection.
  • the server device 200 performs processing such as obtaining damage information, damage group information, and change-over-time information based on this information.
  • the user issues instructions to upload images and process damage information via the operation unit 330 and monitor 342.
  • the user terminal 300 transmits these instructions to the server device 200, which then receives (acquires) the results of processing performed by the server device 200 in accordance with the instructions (first and second damage information, first and second damage group information, information indicating changes in damage over time, labels, etc.).
  • the acquired results can be output to the monitor 342 (display device, output device) or the memory unit 320 (output device).
  • the processing and output examples of damage information in this modified example are the same as those in the first embodiment, and the user can obtain the effect of properly understanding the overall changes in damage over time.
  • Damage information processing system 100 Damage information processing device 110 Processor 112 Input/output control unit 114 Panoramic image generation unit 116 Damage information acquisition unit 118 Damage group information acquisition unit 120 Time-varying information acquisition unit 150 Operation unit 160 Speaker 170 Input/output interface 175 Display 180 Recording device 180A Photographed image 180B Panoramic composite image 180C Damage information 180D Time-varying information 190 Bus 200 Server device 210 Server device main body 220 Database 300 User terminal 310 Processing unit 320 Memory unit 330 Operation unit 332 Keyboard 334 Mouse 340 Display unit 342 Monitor 350 Imaging device 360 Recording medium 400 Free lime 500A Crack group 500B Crack group 500C Crack group 500D Crack group 510 Abutment 520 Bearing 530 T-type pier 535 T-type pier 540 Rigid frame pier 545A Member 545B Member 545C Member 545D Member 550A Member 550B Member 550C Member 550D Member 555A Member 555B Member 555C Member 555D Member 560 Member 565 Member 570 Member 5

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本開示の技術に係る一つの実施形態は、損傷情報処理装置、損傷情報処理装置の作動方法、及びプログラムを提供する。本発明の一の態様に係る損傷情報処理装置は、プロセッサを備える損傷情報処理装置であって、プロセッサは、第１の時期の損傷情報である第１の損傷情報と、第１の時期より後の第２の時期の損傷情報である第２の損傷情報と、を取得し、第１の損傷情報がグループ化された第１の損傷グループ情報と、第２の損傷情報がグループ化された第２の損傷グループ情報と、を取得し、第１の損傷グループ情報及び第２の損傷グループ情報に基づいて、損傷の経時変化を示す情報を取得する。

Description

損傷情報処理装置、損傷情報処理装置の作動方法、及びプログラム
　本発明は、損傷情報処理装置、損傷情報処理装置の作動方法、及びプログラムに関し、特に損傷の経時変化を示す情報を取得する技術に関する。
　損傷の経時変化を示す情報を取得する技術に関し、例えば特許文献１には、構造物を撮影した画像における分割領域毎に変状をグループ化して経時比較することが記載されている。
特開２０２２－０５６０８５号公報
　本開示の技術に係る一つの実施形態は、損傷情報処理装置、損傷情報処理装置の作動方法、及びプログラムを提供する。
　本発明の第１の態様に係る損傷情報処理装置は、プロセッサを備える損傷情報処理装置であって、プロセッサは、第１の時期の損傷情報である第１の損傷情報と、第１の時期より後の第２の時期の損傷情報である第２の損傷情報と、を取得し、第１の損傷情報がグループ化された第１の損傷グループ情報と、第２の損傷情報がグループ化された第２の損傷グループ情報と、を取得し、第１の損傷グループ情報及び第２の損傷グループ情報に基づいて、損傷の経時変化を示す情報を取得する。
　本発明の第２の態様に係る損傷情報処理装置は第１の態様において、プロセッサは、第１の損傷グループ情報と第２の損傷グループ情報とを対応付け、対応付けられた第１の損傷グループ情報及び第２の損傷グループ情報に基づいて、損傷の経時変化を示す情報を取得する。
　第３の態様に係る損傷情報処理装置は第１または第２の態様において、プロセッサは、近傍に存在する損傷を同じグループとする手法、別の種類の損傷の近傍に存在する損傷を同じグループとする手法、決められたパターンに合致する損傷を同じグループとする手法、同一の関連部材及び／または付帯物の近傍に存在する損傷を同じグループとする手法、及び同一の施工後の近傍に存在する損傷を同じグループとする手法のうち１または複数の手法を用いて第１の損傷情報及び第２の損傷情報をグループ化して第１の損傷グループ情報及び第２の損傷グループ情報を取得する。
　第４の態様に係る損傷情報処理装置は第１または第２の態様において、プロセッサは、近傍に存在する損傷を同じグループとする手法、別の種類の損傷の近傍に存在する損傷を同じグループとする手法、決められたパターンに合致する損傷を同じグループとする手法、同一の関連部材及び／または付帯物の近傍に存在する損傷を同じグループとする手法、及び同一の施工後の近傍に存在する損傷を同じグループとする手法のうち複数の手法間での優先順位に従って第１の損傷情報及び第２の損傷情報をグループ化して第１の損傷グループ情報及び第２の損傷グループ情報を取得する。
　第５の態様に係る損傷情報処理装置は第１または第２の態様において、プロセッサは、ユーザが第１の損傷情報及び第２の損傷情報をグループ化した結果を第１の損傷グループ情報及び第２の損傷グループ情報として取得する。
　第６の態様に係る損傷情報処理装置は第１から第５の態様のいずれか１つにおいて、プロセッサは、ユーザの指示に応じて第１の損傷グループ情報及び第２の損傷グループ情報を編集する。
　第７の態様に係る損傷情報処理装置は第１から第６の態様のいずれか１つにおいて、プロセッサは、損傷の経時変化を示す情報として、損傷の経時変化の統計情報を取得する。
　第８の態様に係る損傷情報処理装置は第７の態様において、プロセッサは、損傷数の変化量、損傷サイズの総和の変化量、損傷密度の変化量、損傷の最大サイズの変化量、損傷数の変化率、損傷サイズの総和の変化率、損傷密度の変化率、及び損傷の最大サイズの変化率のうち１つ以上を、統計情報として取得する。
　第９の態様に係る損傷情報処理装置は第１から第８の態様のいずれか１つにおいて、プロセッサは、損傷グループの発生、損傷度合いの変化、及び消滅のうち少なくとも１つに応じたラベルを損傷の経時変化を示す情報として取得する。
　第１０の態様に係る損傷情報処理装置は第９の態様において、プロセッサは、第１の損傷グループ情報及び第２の損傷グループ情報に基づいてラベルを取得する。
　第１１の態様に係る損傷情報処理装置は第９の態様において、プロセッサは、ユーザが損傷グループに対して設定したラベルをラベルとして取得する。
　第１２の態様に係る損傷情報処理装置は第９から第１１の態様のいずれか１つにおいて、プロセッサは、ユーザの指示に応じてラベルを編集する。
　第１３の態様に係る損傷情報処理装置は第１から第１２の態様のいずれか１つにおいて、プロセッサは、損傷の経時変化を示す情報を、損傷の経時変化の状態に応じて表示形態を変えて表示装置に表示させる。
　第１４の態様に係る損傷情報処理装置は第１から第１３の態様のいずれか１つにおいて、プロセッサは、損傷の経時変化を示す情報を、被写体の撮影画像、複数の撮影画像に基づく合成画像、または被写体の線画と重畳して表示装置に表示させる。
　第１５の態様に係る損傷情報処理装置は第１４の態様において、プロセッサは、損傷の経時変化の状態に応じて、撮影画像、合成画像、または線画において、損傷グループを囲む領域の表示形態を変えて表示装置に表示させる。
　第１６の態様に係る損傷情報処理装置は第１から第１５の態様のいずれか１つにおいて、プロセッサは、損傷の経時変化を示す情報を表形式で表示装置に表示させる。
　第１７の態様に係る損傷情報処理装置の作動方法は、プロセッサを備える損傷情報処理装置の作動方法であって、プロセッサは、第１の時期の損傷情報である第１の損傷情報と、第１の時期より後の第２の時期の損傷情報である第２の損傷情報と、を取得し、第１の損傷情報がグループ化された第１の損傷グループ情報と、第２の損傷情報がグループ化された第２の損傷グループ情報と、を取得し、第１の損傷グループ情報及び第２の損傷グループ情報に基づいて、損傷の経時変化を示す情報を取得する。
　第１８の態様に係るプログラムは、プロセッサを備える損傷情報処理装置を作動させるプログラムであって、プロセッサに、第１の時期の損傷情報である第１の損傷情報と、第１の時期より後の第２の時期の損傷情報である第２の損傷情報と、を取得させ、第１の損傷情報がグループ化された第１の損傷グループ情報と、第２の損傷情報がグループ化された第２の損傷グループ情報と、を取得させ、第１の損傷グループ情報及び第２の損傷グループ情報に基づいて、損傷の経時変化を示す情報を取得させる。
図１は、第１の実施形態に係る損傷情報処理装置の構成を示す図である。 図２は、プロセッサの機能構成を示す図である。 図３は、記録装置に記録される情報の例を示す図である。 図４は、損傷情報の処理手順を示すフローチャートである。 図５は、損傷情報のグループ化の例を示す図である。 図６は、橋梁下部構造のひびわれパターンを示す表である。 図７は、橋梁下部構造のひびわれパターンを示す図である。 図８は、橋梁上部構造のひびわれパターンを示す表である。 図９は、橋梁上部構造のひびわれパターンを示す図である。 図１０は、橋梁上部構造のひびわれパターンを示す他の図である。 図１１は、橋梁上部構造のひびわれパターンを示すさらに他の図である。 図１２は、橋梁上部構造のひびわれパターンを示すさらに他の図である。 図１３は、橋梁上部構造のひびわれパターンを示すさらに他の図である。 図１４は、橋梁上部構造のひびわれパターンを示すさらに他の図である。 図１５は、橋梁上部構造のひびわれパターンを示すさらに他の図である。 図１６は、橋梁上部構造のひびわれパターンを示すさらに他の図である。 図１７は、同一の施工跡に存在する損傷を同じグループとする例を示す図である。 図１８は、同一の施工跡に存在する損傷を同じグループとする例を示す図である。 図１９は、関連部材の近傍に存在する損傷を同じグループとする例を示す他の図である。 図２０は、関連部材の近傍に存在する損傷を同じグループとする例を示す他の図である。 図２１は、損傷の経時変化の統計情報の例を示す図である。 図２２は、損傷の経時変化の統計情報の例を示す表である。 図２３は、ラベル及びその定義の例を示す表である。 図２４は、経時変化のラベル付けの例を示す図である。 図２５は、経時変化の統計情報に応じた表示の例を示す図である。 図２６は、経時変化のラベルに応じた表示の例を示す図である。 図２７は、補修損傷のラベル付け及び表示の例を示す図である。 図２８は、再発損傷のラベル付け及び表示の例を示す図である。 図２９は、損傷のランク付けの例を示す表である。 図３０は、損傷のランク付けの例を示す表である。 図３１は、損傷のランク付けの例を示す他の表である。 図３２は、損傷のランク付けの例を示すさらに他の表である。 図３３は、変形例に係る損傷情報処理システムの構成を示す図である。
　［グループ化した損傷の経時変化情報の表示］
　構造物の進行している損傷は補修して損傷の進行を抑える必要があり、構造物の点検・診断や補修判断には損傷の経時変化の把握が重要である。しかしながら、個別の損傷のミクロな経時変化（ひび割れ１本毎の経時差分、等）を表示させるだけでは、全体的な傾向や、損傷の進行が大きい要注意領域などを把握するのが難しい。また、過去／現在での撮影条件（カメラ機種、レンズ、Ｆ値、シャッタースピード、ＩＳＯ感度、ストロボや照明の条件、等）や撮影環境条件（明るさ、影、湿度、等）のばらつき、壁面の状態のばらつき（汚れ、濡れ、等）などにより、損傷の検出結果には揺らぎが存在するため、個別の損傷の経時変化は誤差を含む。このため、個別損傷にだけ着目していると、判断を誤る恐れがある。また、「損傷の個別の経時変化だけでなく、要注意な損傷群のマクロな経時変化の傾向を可視化したい」というニーズもある。
　本願発明者は斯かる事情に鑑みて鋭意検討を進め、「損傷をグループ化し、『損傷のグループ』としての経時変化状態を可視化する」との着想を得た。本発明は斯かる着想に基づき創作されたものであり、以下、本発明に係る損傷情報処理装置及び損傷情報処理装置の作動方法の具体的態様を説明する。
　［第１の実施形態］
　［損傷情報処理装置の構成］
　図１は、第１の実施形態に係る損傷情報処理装置１００（損傷情報処理装置）の構成を示す図である。図１に示すように、損傷情報処理装置１００はプロセッサ１１０（プロセッサ）と、ＲＯＭ１３０（ＲＯＭ：Read Only Memory、非一時的かつ有体の記録媒体、メモリ）と、ＲＡＭ１４０（ＲＡＭ：Random Access Memory）と、操作部１５０と、スピーカー１６０と、入出力インタフェース１７０と、記録装置１８０（非一時的かつ有体の記録媒体、メモリ）と、を備え、これらの要素がバス１９０により接続されている。損傷情報処理装置１００は、入出力インタフェース１７０を介してディスプレイ１７５（表示装置、出力装置）と接続され、また他の外部機器（例えば、サーバ装置やデータベース、プリンタ）と接続することもできる。外部機器との接続はネットワーク経由でもよい。
　［プロセッサの構成］
　図２は、プロセッサ１１０の機能構成を示す図である。図２に示すように、プロセッサ１１０は、入出力制御部１１２と、パノラマ画像生成部１１４と、損傷情報取得部１１６と、損傷グループ情報取得部１１８と、経時変化情報取得部１２０と、を備える。
　プロセッサ１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）等の各種のプロセッサや電気回路（以下、「プロセッサ等」という）で構成される。上述した各部の機能を一または複数のプロセッサ等で実現してもよいし、複数のプロセッサで１つの機能を実現してもよい。これらのプロセッサ等がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、プロセッサを構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードＲＯＭ１３０等の非一時的かつ有体の記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。
　非一時的かつ有体の記録媒体に記憶しておくソフトウェアは、本発明に係るプログラム（本発明に係る損傷情報処理装置の作動方法をコンピュータに実行させるプログラム）、及びその実行に際して用いられるデータを含む。ＲＯＭ１３０ではなく、フラッシュＲＯＭやＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等の非一時的かつ有体の記録媒体にコードを記録してもよい。なお、この「非一時的かつ有体の記録媒体」は、搬送波信号や伝播信号そのもののような非有体の記録媒体を含まない。ソフトウェアを用いた処理の際には、ＲＡＭ１４０が一時的記憶領域あるいは作業領域として用いられる。
　上述したプロセッサ１１０の機能は、各種のＡＩ（Artificial Intelligence）により実現されていてもよい。そのようなＡＩは、例えば画像認識やセグメンテーション、特徴抽出、計測等を行うＡＩでもよい。損傷情報取得部１１６をニューラルネットワークで構成する態様については、後述する。
　［操作部の構成］
　操作部１５０は、図示しないキーボード、マウス、ボタン、スイッチ等のデバイスにより構成される。ユーザはこれらのデバイスを介してプロセッサ１１０に対する指示を行うことができ、プロセッサ１１０はその指示を受け付けて、受け付けた指示に応じた処理を行う。ディスプレイ１７５をタッチパネル型のデバイスにより構成して、ユーザがそのタッチパネルを介して指示を行うことができるようにしてもよい。ディスプレイ１７５は、そのようなタッチパネル型のデバイスや液晶表示装置等のデバイスにより構成され、損傷情報処理の条件、被写体の撮影画像、パノラマ合成画像、損傷情報、損傷グループ情報、損傷の経時変化を示す情報等を表示することができる。またディスプレイ１７５には、記録装置１８０に記録された情報を表示することができる。
　［入出力インタフェースの構成］
　入出力インタフェース１７０は、ディスプレイやプリンタ、記録媒体等の外部機器を接続するための端子やスロット、Wi-Fi（登録商標）やBluetooth（登録商標）等の通信インタフェース等により構成される。プロセッサ１１０は、入出力インタフェース１７０を介して外部機器（サーバ装置、記録装置、データベース、撮像装置等）から画像データや損傷情報等を取得することができる。外部機器は損傷情報処理装置１００に対し有線接続されていてもよいし、無線接続されていてもよい。また、外部機器はインターネット等のネットワークを介して接続されていてもよいし、クラウド上に存在する機器でもよい。
　［記録装置の構成］
　記録装置１８０（記録装置、出力装置）は、ハードディスク、ＳＳＤ（Solid-State Drive）等の半導体メモリ、各種の光磁気記録媒体等の記録媒体（非一時的かつ有体の記録媒体）及びそれらの制御部により構成され、各種の情報を記録あるいは保存する。
　図３は、記録装置１８０に記録される情報の例を示す図である。撮影画像１８０Ａは被写体（建造物、構造物等）を撮影した個々の画像であり、パノラマ合成画像１８０Ｂは、複数の撮影画像１８０Ａをパノラマ合成して生成された画像である。撮影画像１８０Ａ及びパノラマ合成画像１８０Ｂは、画像の撮影日時と関連付けて記録することが好ましい。損傷情報１８０Ｃ（第１，第２の損傷情報、第１，第２の損傷グループ情報）は撮影画像１８０Ａあるいはパノラマ合成画像１８０Ｂから検出された損傷の情報であり、個々の損傷についての情報（第１，第２の損傷情報）及びグループ化された損傷情報（第１，第２の損傷グループ情報）を含んでいてよい。損傷情報１８０Ｃは複数の撮影日時について記録することができ、また画像の撮影日時と関連付けて記録することが好ましい。経時変化情報１８０Ｄは損傷の経時変化を示す情報である。処理条件１８０Ｅは、処理の条件（例えば、パノラマ合成の有無、損傷抽出の条件、グループ化の手法、経時変化を比較する日時、処理結果の表示態様等）である。記録装置１８０に記録された情報は、ユーザの指示に応じて、またはユーザの指示によらずに自動的に、ディスプレイ１７５に表示したり、外部機器に出力したりすることができる。
　［損傷情報の処理］
　以下、図４（損傷情報の処理手順を示すフローチャート）を参照しつつ、損傷情報の処理手順を説明する。
　［処理条件の設定］
　プロセッサ１１０は、操作部１５０及びディスプレイ１７５の画面を介したユーザの操作に応じて、処理条件を設定する（ステップＳ１００）。処理条件は例えば、パノラマ合成の有無、損傷抽出の条件、グループ化の手法、経時変化を比較する日時、処理結果の表示態様（例えば損傷を示す線種、色、太さ、損傷を囲む枠の有無、線種、色）等である。プロセッサ１１０は、必要に応じて、ユーザの操作によらずに決められた条件で処理を行ってもよい。なおプロセッサ１１０は、必要に応じて、処理の途中で処理条件の設定を行ってもよい。
　［撮影画像の取得］
　入出力制御部１１２（プロセッサ）は、被写体の撮影画像を取得する（ステップＳ１１０）。被写体は、橋梁、トンネル、建物等の壁、柱、梁などであってよく、またコンクリート構造物であってよいが、これらの例には限定されない。入出力制御部１１２が取得する画像は、例えば、カメラを搭載したドローン（無人飛行体）やロボット、または人手により構造物を撮影した多数の画像（画像群）である。画像群は、構造物の全体を網羅するものであり、かつ隣接する各画像は、十分に（例えば、個々の画像の３０％～５０％、もしくはそれ以上に）重複していることが好ましい。入出力制御部１１２は、入出力インタフェース１７０を介して直接接続された撮像装置や記録媒体から撮影画像を取得してもよいし、入出力インタフェース１７０及びネットワークを介して接続された撮像装置や記録媒体から撮影画像を取得してもよい。また、あらかじめ記録装置１８０に記録されている撮影画像（撮影画像１８０Ａ）を読み出してもよい。
　［パノラマ合成画像の生成］
　パノラマ画像生成部１１４は、複数枚の撮影画像を取得し、取得した複数枚の画像の各重複領域が一致するように、複数枚の画像をパノラマ合成する画像処理を行う。パノラマ合成画像は、被写体の表面に正射影されたオルソ画像（orthoscopic image）であることが好ましい。
　画像から細かな（例えば、0.1ｍｍ以下）のひび割れを検出するには高解像度の画像が要求されるため、１枚の画像の撮影範囲は小さくなる。したがって、ある程度の大きさの構造物の画像を取得するには複数枚の画像をパノラマ合成することが好ましいが、高解像度のカメラを用いて撮影する場合や、検出が要求されるひび割れ幅が大きい場合には、１枚の画像や複数の個別の画像でもよい。
　なお入出力制御部１１２（プロセッサ）は、入出力インタフェース１７０やネットワークを介して外部機器からパノラマ画像を取得してもよいし、あらかじめ記録装置１８０に記録されているパノラマ画像（パノラマ合成画像１８０Ｂ）を読み出してもよい。
　なお、上述のようにパノラマ画像を用いて以下の処理を行うのではなく、プロセッサ１１０が合成前の撮影画像から損傷情報を取得して、複数の画像についての損傷情報を合成してもよい。
　［損傷情報の取得］
　［学習済みモデルによる損傷情報の取得］
　損傷情報取得部１１６（プロセッサ）は、パノラマ合成画像から損傷情報を取得する（ステップＳ１３０）。損傷情報取得部１１６は、機械学習の手法により構築した学習済みモデルを用いて損傷情報を取得することができる。損傷情報取得部１１６は例えば、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）等のニューラルネットワークによる学習済みモデルを用いるものであってもよい。
　ＣＮＮによる学習済みモデルは、例えば入力層と中間層と出力層とを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。ＣＮＮの入力層には、パノラマ合成画像が入力される。中間層は、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層に入力した画像から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は、抽出された特徴が平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
　ＣＮＮの出力層は、中間層により抽出された特徴を示す特徴マップを出力する部分である。出力層は、例えば、画像に写っている構造物の損傷ごとの領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で結果（検出、計測、分類等）を出力する。
　損傷情報取得部１１６は、損傷等の種類に応じた複数の学習済みモデルを備えていてもよい。例えば、ひび割れ用とその他の損傷用の学習済みモデルを備えていて良く、また施工跡（後述するＰコン跡等）用の学習済みモデルを備えていてもよい。これらの学習済みモデルは、構造物の画像と、正解データとしての損傷情報（検出、計測、分類等の結果）とをペアにした学習データをＣＮＮ等に与えて学習させることにより構築することができる。
　なお、損傷情報取得部１１６（プロセッサ）は、機械学習の手法ではない画像処理（例えば、画像から特徴量を抽出する）により損傷情報を取得してもよい。また、ユーザが損傷をトレースする等の操作により入力した情報を取得してもよい。
　損傷情報取得部１１６は、このような手法により、任意の撮影日時について、また１以上複数の撮影日時について損傷情報を取得することができる。例えば、第１の時期の損傷情報である第１の損傷情報と、第１の時期より後の第２の時期の損傷情報である第２の損傷情報と、を取得することができる。複数の撮影日時について損傷情報を取得する場合、それら損傷情報を一度に取得してもよいし、複数回に分けて取得してもよい。
　取得する損傷情報の形式は、損傷の種類に応じて異なっていてもよい。例えば、コンクリートのひび割れや鋼部材の亀裂等の線状の損傷の場合は、損傷を線分やベクトル（ポリライン）として表すことができる。また、コンクリートの漏水や遊離石灰、剥離や鉄筋露出、鋼部材の腐食等のように広がりを持つことが多い損傷の場合は、領域情報（損傷を囲むベクトル情報、ポリゴン）として表すことができる。
　損傷情報を取得したら、入出力制御部１１２（プロセッサ）は、その損傷情報を画像の撮影日時と関連付けて記録装置１８０に保存する（損傷情報１８０Ｃ）。取得した損傷情報をディスプレイ１７５に表示してもよい。
　なお、損傷はひび割れ、浮き、剥離、遊離石灰、腐食、鉄筋露出等であってよいが、これらの例には限定されない。
　［損傷情報のグループ化］
　損傷グループ情報取得部１１８（プロセッサ）は、損傷情報をグループ化して損傷グループ情報を取得する（ステップＳ１４０）。損傷グループ情報取得部１１８は、任意の撮影日時について、また１以上複数の撮影日時について損傷グループ情報を取得することができる。例えば、上述した第１の損傷情報がグループ化された第１の損傷グループ情報（第１の時期についての情報）と、第２の損傷情報がグループ化された第２の損傷グループ情報（第２の時期についての情報）と、を取得することができる。なお損傷グループ情報取得部１１８は、損傷情報が既にグループ化されている場合、その損傷グループ情報を取得することができ、記録装置１８０から損傷グループ情報（損傷情報１８０Ｃ）を取得してもよい。
　［グループ化の手法］
　損傷グループ情報取得部１１８は、様々な手法により損傷情報をグループ化することができる。例えば、損傷グループ情報取得部１１８は、近傍に存在する損傷を同じグループとする手法、別の種類の損傷の近傍に存在する損傷を同じグループとする手法、決められたパターンに合致する損傷を同じグループとする手法、同一の関連部材及び／または付帯物の近傍に存在する損傷を同じグループとする手法、及び同一の施工後の近傍に存在する損傷を同じグループとする手法のうち１または複数の手法を用いて損傷情報（第１，第２の損傷情報）をグループ化することができる。
　また、損傷グループ情報取得部１１８は、複数の手法間で定められた優先順位（上述した「処理条件」の一例）にしたがってグループ化を行うことができる。例えば、損傷グループ情報取得部１１８は、近傍に存在する損傷を同じグループとする手法、別の種類の損傷の近傍に存在する損傷を同じグループとする手法、決められたパターンに合致する損傷を同じグループとする手法、同一の関連部材及び／または付帯物の近傍に存在する損傷を同じグループとする手法、及び同一の施工後の近傍に存在する損傷を同じグループとする手法のうち複数の手法間での優先順位に従って自動的にグループ化を行うことができる。損傷グループ情報取得部１１８は、ユーザの操作に従って優先順位を設定してもよいし、ユーザの操作によらずに設定してもよい。
　グループ化を行う場合、損傷グループ情報取得部１１８は、損傷を指定された数のグループに分けてもよい。損傷グループ情報取得部１１８は、グループの数をユーザの指示に応じて決定してもよいし、ユーザの指示によらずに決定してもよい。また、グループ化において、損傷グループ情報取得部１１８は、k-means法やウォード法等の機械学習の手法を用いて損傷をクラスタリングしてもよい。
　［損傷情報のグループ化の例（１）］
　図５は、損傷情報のグループ化の例を示す図である。図５の（ａ）部分は近傍に存在する損傷を同じグループとする手法によるグループ化の例である。ここで、例えばひび割れ同士の距離が所定の閾値以下である場合に「近傍」と判定することができる。この例では、ひび割れグループ５００Ａ，５００Ｂが存在しており、ひび割れ５０１は孤立したひび割れ（いずれのグループにも属さないひび割れ）である。この場合、入出力制御部１１２はグループ化の結果を、ひび割れグループ毎に異なる色でディスプレイ１７５に表示することができる。例えば、ひび割れグループ５００Ａ，５００Ｂをそれぞれ赤線、青線で表示し、ひび割れ５０１を黒線で表示することができる。入出力制御部１１２は、グループ化の結果を、色を変える以外の、異なる表示態様で表示してもよい。なお入出力制御部１１２は、このような表示において、ひび割れの太さに応じて線の太さを変えて表示してもよい（以降の図においても同様である）。
　入出力制御部１１２は、図５のような表示を、被写体の撮影画像やパノラマ合成画像に損傷を示す線分や図形等を重畳することにより行ってもよいし、被写体の線画（ＣＡＤデータ等、ＣＡＤ：Computer-Aided Design system）にそれら線分や図形等を重畳することにより行ってもよい。損傷の検出結果やグループ化結果、経時変化の様子等を示す他の図についても同様である。入出力制御部１１２は、重畳の有無やその内容をユーザの操作に応じて決めてもよいし、ユーザの操作によらずに決めてもよい。
　なお、損傷グループ情報取得部１１８は、所定のサイズ（決められたサイズ）に満たない小さな損傷については、グループ化のルール（近傍に存在する、別の種類の損傷の近傍に存在する等）に該当してもグループ化の対象や損傷情報の算出対象から除外することができる。この場合「所定のサイズ」はユーザの指示に応じて設定してもよいし、ユーザの指示によらずに設定してもよい。あるいは、入出力制御部１１２は、そのような小さな損傷については結果表示において他の大きな損傷と識別表示の態様や程度を変えてもよい。例えば、「所定のサイズ以上の損傷については着色表示するが、所定のサイズに満たない小さな損傷は着色しない」等の対応が可能である。
　また、損傷グループ情報取得部１１８は、損傷情報や損傷グループ情報について、ユーザの指示に応じて、あるいはユーザの指示によらずに編集を行ってもよい（他の例においても同様である）。
　［損傷情報のグループ化の例（２）］
　図５の（ｂ）部分は、近傍に存在する損傷を同じグループとする手法及び別の種類の損傷の近傍に存在する損傷を同じグループとする手法によるグループ化の例を示す。この例では、２箇所の遊離石灰４００（楕円で示す範囲）の近傍に存在するひび割れをひび割れグループ５００Ａ，５００Ｂとしてグループ化し、遊離石灰４００とは離れた場所にあるひび割れをひび割れグループ５００Ｃとしてグループ化している。図５の（ａ）部分の例と同様に、入出力制御部１１２は、グループ化の結果を、ひび割れグループ毎に異なる色（異なる表示態様の一例）で表示することができる。なお図５の（ｂ）部分に示す例において、種類の異なる損傷（ここでは遊離石灰とひび割れ）をグループ化してもよい（他の例においても同様である）。
　［損傷情報のグループ化の例（３）］
　損傷グループ情報取得部１１８は、決められたパターンに合致する損傷を同じグループとする手法により、損傷情報をグループ化してもよい。この場合、「決められたパターン」は、例えば国土交通省の「橋梁定期点検要領」に従って設定することができる。図６は橋梁下部構造のひび割れパターンを示す表であり、図７は図６のパターンに対応したひび割れを示す図である。なお図６，７において、同一の参照符号は、ひび割れのパターンとそれに対応したひび割れを示す。例えば図７において、橋台５１０にはひび割れ１Ａ～４Ａが生じており、支承部５２０にはひびわれ５Ａが生じている。またＴ型橋脚５３０にはひび割れ２Ｂ～８Ｂが生じており、Ｔ型橋脚５３５にはひび割れ１３Ｂが生じており、ラーメン橋脚５４０にはひび割れ４Ｃ～１２Ｃが生じている。この場合、損傷グループ情報取得部１１８は、例えば橋台５１０における４本のひび割れ１Ａを同じ損傷グループとすることができる。
　なお「決められたパターンに合致する損傷」を同じ損傷グループとする場合、損傷同士が離れていてもよい。損傷グループ情報取得部１１８は、「決められたパターンに合致すること」と「近傍に存在すること」の両方を満たす損傷を同じ損傷グループとしてもよい（複数の手法に基づくグループ化の例）。
　なお、図６，７の内容は「橋梁定期点検要領」に基づいているが、説明の都合上、参照符号の追加や修正を行っている。以降の図に関し「橋梁定期点検要領による」と記載されている場合も同様である。
　［損傷情報のグループ化の例（４）］
　図８は橋梁上部構造のひび割れパターンを示す表であり、図９～図１１は図８のパターンに対応したひび割れを示す図である。図８～図１１の内容は橋梁定期点検要領による。図９に示す例では部材５４５Ａに複数のひび割れ１Ｄが発生しており、損傷グループ情報取得部１１８は、これらひび割れ１Ｄを同じ損傷グループとすることができる。損傷グループ情報取得部１１８は、同様に部材５４５Ｂ～５４５Ｄについてもひび割れ１Ｄを同じ損傷グループとすることができる。
　また損傷グループ情報取得部１１８は、図１０に示す部材５５０Ａ～５５０Ｄにおけるひび割れ２Ｄをそれぞれの部材について同じ損傷グループとすることができ、図１１に示す部材５５５Ａ～５５５Ｄにおけるひび割れ４Ｄをそれぞれの部材について同じ損傷グループとすることができる。
　また損傷グループ情報取得部１１８は、図１２（橋梁上部構造のひびわれパターンを示すさらに他の図）に示す部材５６０におけるひび割れ５Ｄのようなひび割れ（橋梁定期点検要領における「支点部，支承上の桁下面又は側面に鉛直に発生しているひび割れ」；図１２では１本のみ図示）を同じ損傷グループとすることができ、ひび割れ６Ｄのようなひび割れ（支点部，支承上の桁側面に斜めに発生しているひび割れ；図１２では１本のみ図示）を同じ損傷グループとすることができる。損傷グループ情報取得部１１８は、図１３（橋梁上部構造のひびわれパターンを示すさらに他の図）に示す部材５６５については複数のひび割れ８Ｄを同じ損傷グループとすることができ、図１４（橋梁上部構造のひびわれパターンを示すさらに他の図）に示す部材５７０についてはひび割れ９Ｄ，１０Ｄ（図中に３本図示），１１Ｄ（図中に１本図示）をそれぞれ同じ損傷グループとすることができる。
　また損傷グループ情報取得部１１８は、図１５（橋梁上部構造のひびわれパターンを示すさらに他の図）に示す部材５７５（桁）については複数のひび割れ１２Ｄを同じ損傷グループとすることができ、図１６（橋梁上部構造のひびわれパターンを示すさらに他の図）に示す部材５８０Ａ～５８０Ｄについてはひび割れ２３Ｅのようなひび割れを同じ損傷グループとすることができる。
　［損傷情報のグループ化の例（５）］
　損傷情報のグループ化において、損傷グループ情報取得部１１８は、同一の施行跡の近傍（例えば、距離が閾値以内であること）に存在する損傷を同じ損傷グループとすることができる。例えば図１７（同一の施工跡に存在する損傷を同じグループとする例を示す図）の（ａ）部分に示すように、画像から複数のひび割れが検出された場合、損傷グループ情報取得部１１８は、同図の（ｂ）部分に示すように、Ｐコン跡Ｐの近傍に存在するひびわれＣ１～Ｃ４を同じ損傷グループとすることができる。なお図１７の（ｂ）部分において、グループ化されたひび割れＣ１～Ｃ４は太線で表示されており、グループ化されなかったひび割れは細線で表示されている。また損傷グループ情報取得部１１８及び入出力制御部１１２は、図１７の（ｂ）部分において、Ｐコン跡Ｐ（施工跡）を特定の色で塗りつぶして表示（識別表示の一態様）している。損傷グループ情報取得部１１８及び入出力制御部１１２（プロセッサ）は、これら太線と細線、Ｐコン跡Ｐを異なる色（例えば、それぞれ橙色、赤色、青色）で表示してもよい。
　なお「Ｐコン」とは、「プラスチックコーン」の略である。壁、柱、梁などのコンクリート構造物の施工は、鉄筋及び型枠を組立ててコンクリートを打設するのが一般的である。型枠は、両端にねじ部を有する棒状のセパレータと、そのセパレータの両端部に取り付けられる「Ｐコン」により所望の間隔で固定され、型枠内にコンクリートが流し込まれるが、コンクリートが固まると、型枠及びＰコンが外される。Ｐコンが外されると、セパレータのねじ部が露出した穴が現れる。この穴をモルタルで塞いだ円形の跡が「Ｐコン跡」である。
　上述した「Ｐコン跡」についての例と同様に、損傷グループ情報取得部１１８は、「目地」や「型枠跡」、「打ち継ぎ目」の近傍に存在する損傷を同じ損傷グループとすることができる。「目地」や「型枠跡」、「打ち継ぎ目」は施工跡の一例である。具体的には、例えば図１８（同一の施工跡に存在する損傷を同じグループとする例を示す他の図）の（ａ）部分に示すように目地Ｊの周辺にひび割れＣ５～Ｃ９が発生している場合、損傷グループ情報取得部１１８は、同図の（ｂ）部分に示すようにひび割れＣ７，Ｃ８を同じグループとすることができる。また図１８の（ａ）部分及び（ｂ）部分に示すように、損傷グループ情報取得部１１８及び入出力制御部１１２（プロセッサ）は、グループ化されたひび割れＣ７，Ｃ８とグループ化されなかったひび割れＣ５，Ｃ６，Ｃ９、及び目地Ｊを異なる色（例えば、それぞれ橙色、赤色、青色）で表示することができる。
　［損傷情報のグループ化の例（６）］
　損傷情報のグループ化において、損傷グループ情報取得部１１８は、同一の関連部材あるいは付帯物の近傍（例えば、距離が閾値以内であること）に存在する損傷を同じ損傷グループとすることができる。図１９（関連部材の近傍に存在する損傷を同じグループとする例を示す図）は部材５８５（「支承」の関連部材）に生じたひび割れ５Ｅをグループ化する様子を示し、図２０（関連部材の近傍に存在する損傷を同じグループとする例を示す他の図）は関連部材５９０Ａ～５９０Ｄに生じたひび割れ１６Ｆ（ＰＣ鋼材定着部または偏向部付近のひび割れ）をグループ化する様子を示す。なお、図１９，２０の例も「橋梁定期点検要領」による。
　また、損傷グループ情報取得部１１８は、付帯物を添架している部分の近傍に存在する損傷を同じ損傷グループとすることができる。これは、そのような部分の損傷は付帯物の落下等の原因となる可能性があることを考慮したものである。「付帯物」の例としては、高速道路のトンネル部分に設けられたトンネル照明設備、水噴霧設備、信号機やトンネル警報板、排煙口またはジェットファン等や、橋梁の下面に設けられた管路の添架部等を挙げることができるが、これらの例に限定されるものではない。このような損傷を同じ損傷グループとする場合、例えばプロセッサ１１０が機械学習の手法により構築された検出器を用いて撮影画像やパノラマ合成画像から付帯物を検出し、その近傍（例えば、付帯物からの距離が閾値以下の領域）に存在する損傷を同じ損傷グループとすることができる。また、撮影画像やパノラマ合成画像においてユーザが付帯物を指定し、損傷グループ情報取得部１１８が、指定された付帯物の近傍に存在する損傷を同じ損傷グループとしてもよい。
　［損傷情報のグループ化の例（７）］
　上述の例の他、損傷グループ情報取得部１１８は、決められたパターンに合致する損傷を同じグループとする手法により損傷情報をグループ化してもよい。「決められたパターン」は、例えば損傷の位置及び／または方向の規則性に基づいて設定することができる。
　上述した特許文献１では、構造物の表面を格子状に領域分割して、各格子について経時変化状態に応じた表示を行っている。しかしながらこのような手法では、本来１つのグループに分類すべき損傷が複数の格子領域にまたがっていて各格子領域で別々に評価されたり、本来別のグループに分類すべき損傷が１つの格子領域でまとめて評価されたりして、損傷の経時変化状態を適切に評価することが困難であった。これに対し本願発明では、損傷をグループ化してその経時変化の状態を表示するので、ユーザは経時変化の状態を適切に把握することができる。
　［損傷グループ情報の編集］
　第１の実施形態に係る損傷情報処理装置１００において、ユーザは損傷グループ情報取得部１１８が取得（生成を含む）した損傷グループ情報（第１の損傷グループ情報、第２の損傷グループ情報）の編集を指示する操作を行うことができる。例えばユーザは、操作部１５０及びディスプレイ１７５の画面を介して、損傷グループの追加、変更、削除、結合、分離や、損傷グループにおける個々の損傷情報の追加、変更、削除、結合、分離を指示する操作を行うことができる。損傷グループ情報取得部１１８（プロセッサ）は、このような指示に応じて、損傷グループ情報（第１の損傷グループ情報、第２の損傷グループ情報）を編集する。
　［ユーザによるグループ化の結果の取得］
　第１の実施形態に係る損傷情報処理装置１００において、損傷グループ情報取得部１１８は、ユーザが損傷情報（第１の損傷情報、第２の損傷情報）をグループ化した結果を、損傷グループ情報（第１の損傷グループ情報及び第２の損傷グループ情報）として取得することができる。例えば、ユーザは決められた図形（矩形、円形、楕円形等）や不定形の図形（文書作成ツールにおける「投げ縄ツール」のようにマウスで指定する、等）で囲む、同じグループに属する損傷をマウスでクリックする等の操作により損傷情報をグループ化し、その結果を損傷グループ情報取得部１１８が取得することができる。
　［経時変化情報の取得］
　図４のフローチャートに戻って説明を続ける。経時変化情報取得部１２０（プロセッサ）は、損傷情報のグループ化の結果に基づいて、損傷の経時変化を示す情報（経時変化情報）を取得する（ステップＳ１５０）。経時変化情報取得部１２０は、異なる撮影日時に対応する損傷グループ情報（第１の損傷グループ情報、第２の損傷グループ情報）を対応付け、対応付けられた損傷グループ情報に基づいて経時変化を示す情報を取得することができる。
　経時変化情報取得部１２０は、経時変化情報を取得するタイミングを決定することができる。例えば、「５年前と現在」、「５年前と３年前」のように２つの日時を決めて経時変化情報を取得してもよいし、「５年前、４年前、３年前、２年前、１年前、現在」のように３つ以上の日時を決めて連続的な経時変化を示す情報を取得してもよい。経時変化情報取得部１２０は、ユーザの指示に応じてタイミングを決定してもよいし、ユーザの指示によらずに決められた時間間隔で損傷グループ情報を取得してもよい。
　［損傷グループ情報の対応付け］
　上述した経時変化情報の取得においては、異なる日時についての損傷グループ情報がどのように対応しているかを判定する必要がある。経時変化情報取得部１２０は、例えば以下のような手法により損傷グループ情報の対応付けを行うことができる。
　（手法１）
　第１/第２の時期の損傷情報が予め位置合わせ済である場合、経時変化情報取得部１２０は、同じ位置（あるいは、所定の許容範囲内で最も近い位置）に存在する損傷情報（または損傷グループ情報）を対応付けることができる。
　（手法２）
　第１/第２の時期の損傷情報の位置が合っていない場合、経時変化情報取得部１２０は、損傷を検出した撮影画像または撮影画像のパノラマ合成画像に基づいて位置合わせをし、同じ位置（あるいは、所定の許容範囲内で最も近い位置）に存在する損傷情報（または損傷グループ情報）を対応付けることができる。経時変化情報取得部１２０は、例えば特定の部材やその特徴点（エッジ、コーナー等）、あるいは部材の付属物（ボルト等）を基準として位置合わせを行うことができる。
　経時変化情報取得部１２０は、いずれの手法を用いるかをユーザの指示に応じて決定してもよいし、ユーザの指示によらずに決定してもよい。
　［経時変化の統計情報］
　経時変化情報取得部１２０は、損傷の経時変化を示す情報として、損傷の経時変化の統計情報を取得することができる（ステップＳ１５０）。「統計情報」は、例えば各損傷グループにおける損傷数の変化量、損傷サイズ（例えば長さ、長さ×幅、面積等）の総和の変化量、損傷密度（例えば単位面積あたりの長さ、長さ×幅、面積等）の変化量、損傷の最大サイズの変化量、損傷数の変化率、損傷サイズの総和の変化率、損傷密度の変化率、及び損傷の最大サイズの変化率のうち１つ以上であってよい。経時変化情報取得部１２０は、どのような統計情報を取得するかをユーザの指示に応じて決定してもよいし、ユーザの指示によらずに決定してもよい。経時変化情報取得部１２０及び入出力制御部１１２（プロセッサ）は、取得した統計情報をディスプレイ１７５（表示装置）に表示させることができ（ステップＳ１６０）、また記録装置１８０に記録することができる。
　図２１は、損傷の経時変化の例を示す図である。図２１の例において、（ａ）部分は５年前（「第１の時期」の例）の点検における損傷の状態を示し、（ｂ）部分は現在（「第２の時期」の例）の点検における損傷の状態を示すものとする。５年前にはひび割れグループ５００Ａ～５００Ｃが存在しており、現在はひび割れグループ５００Ａ～５００Ｄが存在している。
　入出力制御部１１２は、図２１のような表示（経時変化を示す情報の表示）を、被写体の撮影画像やパノラマ合成画像に損傷を示す線分や図形等を重畳することにより行ってもよいし、被写体の線画（ＣＡＤデータ等）にそれら線分や図形等を重畳することにより行ってもよい。他の表示例においても同様である。
　図２２は、図２１の例についての統計情報を表形式で表した様子を示す図である。これによりユーザは経時変化の様子を容易に把握することができる。経時変化情報取得部１２０及び入出力制御部１１２（プロセッサ）は、このような表に対応するデータをグラフ化してディスプレイ１７５に表示してもよいし、また記録装置１８０に記録してもよい（図３の経時変化情報１８０Ｄ）。なお、統計情報を表形式やグラフ形式で表す際に、２点（過去と現在）ではなく、３点以上のデータ（例えば、５年前、４年前、３年前、２年前、１年前、現在）を用いてもよい。また、プロセッサ１１０は、複数の時期のデータに基づいて将来における統計情報を予測する機能や、予測結果を表示する機能を有していてもよい。統計情報の予測は種々の劣化予測曲線や劣化予測モデル（理論モデル、回帰式等）に基づいて行うことができ、機械学習の手法を用いた予測を行ってもよい。またプロセッサ１１０は、同種の構造物の劣化曲線に基づく予測を行ってもよい。また、統計情報の予測において補修の効果を考慮（損傷の数量や程度の減少等）してもよい。
　なお図２２の例では各グループについての統計情報を示しているが、全グループについての平均値を算出及び表示してもよい。
　異なる日時の損傷情報を個別に比較して経時変化情報を出力する場合、計測結果にノイズやゆらぎが含まれていて全体としての経時変化が適切に取得できない可能性があるが、第１の実施形態によれば、グループ化された損傷情報についての経時変化の統計情報を用いることで、ノイズやゆらぎが相殺され、ユーザは損傷の全体的な経時変化の様子を容易に把握することができる。
　［経時変化に対するラベル付け］
　第１の実施形態に係る損傷情報処理装置１００では、経時変化を示す情報として「ラベル」を取得し（ステップＳ１５０）、ディスプレイ１７５に出力したり記録装置１８０に記録したりすることができる（ステップＳ１５０）。例えば、経時変化情報取得部１２０（プロセッサ）は、異なる時期の損傷（第１の時期、第２の時期の損傷）に基づいて個別の損傷に対しラベルを付けてもよいし、そのような個別の損傷のラベルに基づいて損傷グループに代表ラベルを付けてもよい。経時変化情報取得部１２０は、損傷グループの発生、損傷度合いの変化、及び消滅のうち少なくとも１つに応じたラベルを損傷の経時変化を示す情報として取得することができる。
　［ラベル付けの例］
　図２３はラベル及びその定義の例を示す表である。図２３の（ａ）部分は個別の損傷についてのラベルの例であり、同図の（ｂ）部分は損傷グループについてのラベル（代表ラベル）の例である。
　図２４は経時変化のラベル付けの例を示す図である。図２４の（ａ）部分は過去（例えば５年前；第１の時期）の点検の時点での損傷の様子であり、同図の（ｂ）部分は現在（第２の時期）の損傷の様子である。現在では、５年前と比較してひび割れの数が増加しており、またサイズが大きくなっているひび割れが見て取れる。また（ｂ）部分では、個別損傷に対し「不変損傷（点線で表示）、新規損傷（細い実線で表示）、進行損傷（太い実線で表示）」のラベルが付されている。経時変化情報取得部１２０及び入出力制御部１１２は、ディスプレイ１７５（表示装置）の画面で、個々の損傷をラベルに応じて識別表示することができる。例えば、経時変化情報取得部１２０及び入出力制御部１１２（プロセッサ）は、これら不変損傷、新規損傷、及び進行損傷を、それぞれ黒色、青色、赤色で表示することができる。損傷をラベルに応じて異なる色で表示することは「損傷の経時変化を示す情報を、損傷の経時変化の状態に応じて表示形態を変えて表示させること」の一態様であり、この他ラベルに応じて線種を変える、文字、数字、記号等を付す、損傷グループの領域を枠で囲む等の識別表示を行ってもよい。一部のラベル（例えば、新規損傷及び進行損傷）についてこのような識別表示を行ってもよい（他の例についても同様である）。
　図２４の（ｃ）部分は、同図の（ｂ）部分と同じ例について、損傷グループに対してラベルを設定した様子を示す図である。（ｃ）部分では、損傷グループに対し「不変損傷グループ（点線で表示）、新規損傷グループ（細い実線で表示）、進行損傷グループ（太い実線で表示）」のラベルが付されている。この例では、ひび割れグループ５００Ａ，５００Ｂは「進行損傷グループ」であり、ひび割れグループ５００Ｃは「不変損傷グループ」であり、ひび割れグループ５００Ｄは「新規損傷グループ」である。（ｂ）部分について上述したのと同様に、経時変化情報取得部１２０及び入出力制御部１１２（プロセッサ）は、これら不変損傷、新規損傷、及び進行損傷を、それぞれ黒色、青色、赤色で表示することができる。
　なお、ひび割れグループに対しラベル付けする場合も、個々の損傷に対するラベル付けの場合と同様に、ラベルに応じた識別表示や表示形態の変更（「損傷の経時変化を示す情報を、損傷の経時変化の状態に応じて表示形態を変えて表示させること」の一態様）を行ってもよい。
　［経時変化の統計情報に応じた表示の例］
　図２５は経時変化の統計情報に応じた表示の例を示す図である。なお、図２５の例において、損傷の状態は図２４の（ｃ）部分と同じであるものとする。
　図２５の（ａ）部分では、「現在」（「第２の時期」の一例）の損傷グループの表示形態を、図２４の（ｃ）部分に示す例と変えて表示している。具体的には、図２５の（ａ）部分では、ひび割れグループ５００Ａ～５００Ｄを、ひび割れ長さ総和の変化量（統計情報の一例；値は図２２の（ｂ）部分と同じであるものとする）に応じた線の色で表示している。より具体的には、変化量＝０であるひび割れグループ５００Ｃは点線で表示し、０＜変化量＜３ｍのひび割れグループ５００Ｂ，５００Ｄは細い実線で表示し、３ｍ＜変化量であるひび割れグループ５００Ａは太い実線で表示している。なお、（ａ）部分は変化量に応じてひび割れ線の線種及び太さを変えた例であるが、変化量に応じて線の色や輝度等を変えてもよい。例えば、経時変化情報取得部１２０及び入出力制御部１１２（プロセッサ）は、これらひび割れグループ５００Ａ，５００Ｂ，５００Ｃ，５００Ｄをそれぞれ赤色、青色、黒色、青色で表示することができる。
　図２５の（ｂ）部分は、経時変化の統計情報に応じて、「現在」のひび割れグループ（損傷グループ）を囲む領域の表示形態を変えてディスプレイ１７５（表示装置）に表示した例を示す。具体的には、変化量＝０であるひび割れグループ５００Ｃについてはひび割れグループを囲む領域に粗い網掛をし、０＜変化量＜３ｍのひび割れグループ５００Ｂ，５００Ｄについては中程度の網掛けをし、３ｍ＜変化量であるひび割れグループ５００Ａについては細かい網掛けをして表示している。なお（ｂ）部分は、ひび割れグループを囲む領域の網掛種を変化量に応じて変えた例であるが、網掛け（ドット）の色や、この領域の塗りつぶし色やその輝度、領域を囲む線の色、太さ、線種等を、変化量に応じて変えてもよい。例えば、ひび割れグループ５００Ａ～５００Ｄの塗りつぶし色を、それぞれ赤色、青色、グレー、青色とすることができる。
　［経時変化のラベルに応じた表示の例］
　図２６は経時変化のラベルに応じた表示の例を示す図である。図２６の（ａ）部分は、ひび割れグループにラベル付けした例を示している。具体的には、「不変損傷グループ」であるひび割れグループ５００Ｃは線種を実線とし、「新規損傷グループ」であるひび割れグループ５００Ｄは線種を細い実線とし、「進行損傷グループ」であるひび割れグループ５００Ａ，５００Ｂは線の色を太い実線として表示している。
　図２６の（ｂ）部分は、ひび割れグループのラベル付け結果に応じて、ひび割れグループを囲む領域の表示形態（塗りつぶし色）を変えてディスプレイ１７５（表示装置）に表示した例を示す。具体的には「不変損傷グループ」であるひび割れグループ５００Ｃについてはひび割れグループを囲む領域に粗い網掛をし、「新規損傷グループ」であるひび割れグループ５００Ｄについては中程度の網掛けをし、「進行損傷グループである」ひび割れグループ５００Ａ，５００Ｄについては細かい網掛けをして表示している。なお（ｂ）部分は、ひび割れグループを囲む領域の網掛種をラベルに応じて変えた例であるが、この領域の塗りつぶし色やその輝度、領域を囲む線の色、太さ、線種等を、ラベルに応じて変えてもよい。例えば、ひび割れグループ５００Ｃについてはひび割れグループを囲む領域の塗りつぶし色をグレーとし、ひび割れグループ５００Ｄについては塗りつぶし色を青色とし、ひび割れグループ５００Ａ，５００Ｂは塗りつぶし色を赤色として表示することができる。
　なお、個々の損傷や損傷グループにラベルを付ける場合、経時変化情報取得部１２０及び入出力制御部１１２（プロセッサ）は、ラベル付けした経時変化情報を表示する際に凡例（例えば、「赤色：進行損傷グループ、青色：新規損傷グループ、黒色：不変損傷グループ」等）を合わせて表示してもよい（全ての図について同様である）。この凡例の見出し（「赤色」等）は、文字でなく実際の表示（線種、太さ、色等）に対応していることが好ましい。
　このように、入出力制御部１１２は、図２４の（ｂ）や図２６の（ｂ）部分の例のように、撮影画像、パノラマ合成画像、または被写体の線画（ＣＡＤデータ等）において、損傷の経時変化の状態に応じて損傷グループを囲む領域の表示形態を変えてディスプレイ１７５（表示装置）に表示させることができる。
　［補修を考慮したラベル付け及び表示の例］
　コンクリート構造物等においては補修が行われることがあり、このような補修により損傷の状態が変化する場合がある。具体的には、補修により損傷が消滅する場合や大きさ、形状、程度等が変化する場合がある。また、補修が施された領域において新たに損傷が発生する場合がある。このような事情を考慮し、損傷情報処理装置１００では、以下の例で説明するように、補修領域の情報と、第１，第２の時期の損傷情報とに基づいて個別の損傷にラベルを付け、損傷グループに代表ラベルを付すことができる。また、補修後（第２の時期）の損傷や、補修前後の「ＯＲ損傷」に関連付けて経時変化状態を表示することができる。なお、「ＯＲ損傷」は「補修前後の時点の少なくとも一方に存在する損傷」を意味する。「ＯＲ損傷」に関連付けて経時変化状態を表示するのは、補修により消滅する損傷や、補修後に新たに発生する損傷が存在することを考慮したものである。
　［補修損傷のラベル付け及び表示の例］
　建造物や構造物において補修が行われると、補修箇所に存在していた損傷が消滅する場合がある。このような場合のラベル付け及び表示の例を説明する。
　図２７は補修損傷のラベル付け及び表示の例を示す図である。図２７の（ａ）部分は補修前（第１の時期）の損傷を示し、同図の（ｂ）部分は補修後（第２の時期）の損傷を示す。損傷グループ情報取得部１１８及び経時変化情報取得部１２０（プロセッサ）は、補修前後の損傷に基づいて個別の損傷にラベルを付け、損傷グループに代表ラベルを付ける。具体的には、図２７の（ａ）部分及び（ｂ）部分において一点鎖線、細い実線、太い実線で示されるひび割れについては、それぞれ「不変損傷」、「新規損傷」、「補修損傷」のラベルが付けられる。「不変損傷」は補修前も後も存在している損傷であり、「新規損傷」は補修後に新たに発生した損傷であり、「補修損傷」は補修により消滅した損傷である。また、個々のひび割れが、ひび割れグループ５００Ａ～５００Ｄとしてグループ化される。
　図２７の（ｃ）部分は、これらひび割れグループ５００Ａ～５００Ｄに対するラベル付け及び表示の例を示す。太い点線で示されるひび割れグループ５００Ａ，５００Ｂには「補修損傷グループ」（補修により消滅した損傷グループであることを示すラベル）、一点鎖線で示されるひび割れグループ５００Ｃには「不変損傷グループ」、細い実線で示されるひび割れグループ５００Ｄには「新規損傷グループ」のラベルが付されている。また、同部分では、補修前後の損傷の「ＯＲ表示」に関連付けてひび割れグループを識別表示している。ここで「ＯＲ表示」とは補修前後の時点の少なくとも一方に存在するひび割れを表示することを意味しており、「ＯＲ表示」に関連付けてひび割れグループを識別表示するのは、補修により消滅するひび割れや、補修後に新たに発生するひび割れが存在することを考慮したものである。補修損傷グループ、不変損傷グループ、新規損傷グループは、それぞれ異なる色（例えば、赤色、黒色、青色）で表示することができる。
　［再発損傷のラベル付け及び表示の例］
　図２８は再発損傷のラベル付け及び表示の例を示す図である。図２８の（ａ）部分は、過去（第１の時期）において補修領域６００Ａ，６００Ｂ、及びひび割れグループ５００Ａが存在していた様子を示している。ここで、経時変化情報取得部１２０（プロセッサ）は、過去の統計情報から「損傷が完全に、あるいはほぼなくなった」と判断できるひび割れグループ（損傷グループ）が存在していた領域、及び／またはラベルが「補修損傷グループ」（図２３の表を参照）であるひび割れグループが存在していた領域を「補修領域」とすることができる。経時変化情報取得部１２０は、記録装置１８０から補修領域の情報（補修領域の位置、形状、大きさ等）を取得してもよいし、入出力制御部１１２（プロセッサ）を介して取得してもよいし、ユーザの入力に基づいて取得してもよい。
　図２８の（ｂ）部分は、補修から時間が経過した状態（第１の時期より後の第２の時期における状態）を示している。この状態では、補修領域６００Ａにおいては新たなひび割れ（損傷）は発生していないが、ひび割れグループ５００Ｂ（例えば、「近傍に存在する」としてグループ化されたひび割れ）が新たに発生しており、また補修領域６００Ｂにおいてはひび割れグループ５００Ｃが発生している。ここで、損傷グループ情報取得部１１８（プロセッサ）は、同じ補修領域６００Ｂにおいて発生しているひび割れをひび割れグループ５００Ｃとしてグループ化している。
　図２８の（ｃ）部分は、同図の（ａ）部分に示す状態と（ｂ）部分に示す状態とに基づいて、第２の時期におけるひび割れグループにラベル付け及び識別表示した様子を示す。具体的には、経時変化情報取得部１２０及び入出力制御部１１２（プロセッサ）は、ひび割れグループ５００Ａを「不変損傷グループ」とラベル付けして点線で表示し、ひび割れグループ５００Ｂを「新規損傷グループとラベル付けして実線で表示し、ひび割れグループ５００Ｃを「再発損傷グループ」とラベル付けして太い実線で表示している。これら点線、実線、太い実線を異なる色（例えば、黒色、青色、赤色）で表示してもよい。
　なお、損傷にラベル付けをする場合、経時変化情報取得部１２０はユーザが損傷グループに対して設定したラベルを取得してもよいし、ユーザの指示に応じてラベルを編集してもよい。
　［損傷のランクに応じたラベル付けの例（その１）］
　損傷情報処理装置１００では、損傷グループに含まれる損傷の損傷ランクを判定し、損傷グループの損傷ランクを決定することができる。損傷情報取得部１１６、損傷グループ情報取得部１１８、及び経時変化情報取得部１２０（プロセッサ）は、「橋梁定期点検要領」に基づいてランク付けすることができる。「橋梁定期点検要領」では、図２９～３２に示すように、損傷種類毎の損傷程度がa,b,c,d,eの５段階に区分されている（ａが損傷の程度が最も軽く、ｂ～ｄはａよりも程度が重く、ｅは最も程度が重い）。なお図２９はひび割れについての区分を示す表であり、図３０は床板のひび割れについての区分を示す表である。また、図３１は漏水及び遊離石灰についての区分を示す表であり、図３２は剥離及び鉄筋露出についての区分を示す表である。
　損傷情報取得部１１６、損傷グループ情報取得部１１８、及び経時変化情報取得部１２０（プロセッサ）は、損傷が進行し第２の時期に損傷ランクが上がった場合は「損傷ランク上昇損傷グループ」、損傷ランクが変わらない場合は「ランク不変損傷グループ」、補修により第２の時期に損傷ランクが下がった場合「ランク低下損傷グループ」とラベル付けすることができる。損傷情報処理装置１００では、任意のタイミングにおけるラベルやその経時変化を図や表、グラフにより表示してもよい。
　［変形例］
　次に、本発明の変形例について説明する。上述した第１の実施形態では、本発明における損傷情報処理を損傷情報処理装置１００で行っているが、以下の変形例では、損傷情報処理装置１００により実現される機能を、サーバとユーザ端末を備えるシステムで実現することができる。
　図３３は変形例に係る損傷情報処理システム１０の構成を示す図である。損傷情報処理システム１０は主としてサーバ装置２００とユーザ端末３００とを備え、これらがネットワークＮＷを介して接続されている。ネットワークＮＷはインターネット、クラウド等であってよい。
　サーバ装置２００は、サーバ装置本体２１０（プロセッサ）とデータベース２２０とを備える。サーバ装置本体２１０は、第１の実施形態における損傷情報処理装置１００と同様の機能を有するプロセッサ及びメモリを備え、データベース２２０は、被写体（建造物、構造物等）の画像や損傷情報、経時変化情報等（図３を参照）を保存することができる。
　ユーザ端末３００は、処理部３１０と、記憶部３２０と、操作部３３０と、表示部３４０と、を備える。操作部３３０はキーボード３３２とマウス３３４を備え、表示部３４０はモニタ３４２（表示装置、出力装置）を備える。ユーザは、撮像装置３５０や記録媒体３６０からネットワークＮＷを介して画像や損傷情報等の情報をアップロードし、または撮像装置３５０や記録媒体３６０からユーザ端末３００で情報を取得してデータベース２２０にアップロードすることができる。撮像装置３５０及び記録媒体３６０はユーザ端末３００に対し有線または無線で接続可能である。サーバ装置２００では、これらの情報に基づいて、損傷情報や損傷グループ情報、経時変化情報の取得等の処理が行われる。
　ユーザは、操作部３３０及びモニタ３４２を介して画像のアップロードや損傷情報の処理を指示する。ユーザ端末３００はその指示をサーバ装置２００に送信し、指示に応じてサーバ装置２００が処理した結果（第１，第２の損傷情報、第１，第２の損傷グループ情報、損傷の経時変化を示す情報、ラベル等）を受信（取得）する。取得した結果は、モニタ３４２（表示装置、出力装置）や記憶部３２０（出力装置）に出力することができる。
　変形例における損傷情報の処理や出力例は第１の実施形態と同様であり、ユーザは損傷の全体的な経時変化の様子を適切に把握することができる、等の効果が得られる。
　以上で本発明の実施形態及び変形例について説明してきたが、本発明は上述した態様に限定されず、種々の変形が可能である。
１０　　　損傷情報処理システム
１００　　損傷情報処理装置
１１０　　プロセッサ
１１２　　入出力制御部
１１４　　パノラマ画像生成部
１１６　　損傷情報取得部
１１８　　損傷グループ情報取得部
１２０　　経時変化情報取得部
１５０　　操作部
１６０　　スピーカー
１７０　　入出力インタフェース
１７５　　ディスプレイ
１８０　　記録装置
１８０Ａ　撮影画像
１８０Ｂ　パノラマ合成画像
１８０Ｃ　損傷情報
１８０Ｄ　経時変化情報
１９０　　バス
２００　　サーバ装置
２１０　　サーバ装置本体
２２０　　データベース
３００　　ユーザ端末
３１０　　処理部
３２０　　記憶部
３３０　　操作部
３３２　　キーボード
３３４　　マウス
３４０　　表示部
３４２　　モニタ
３５０　　撮像装置
３６０　　記録媒体
４００　　遊離石灰
５００Ａ　ひび割れグループ
５００Ｂ　ひび割れグループ
５００Ｃ　ひび割れグループ
５００Ｄ　ひび割れグループ
５１０　　橋台
５２０　　支承部
５３０　　Ｔ型橋脚
５３５　　Ｔ型橋脚
５４０　　ラーメン橋脚
５４５Ａ　部材
５４５Ｂ　部材
５４５Ｃ　部材
５４５Ｄ　部材
５５０Ａ　部材
５５０Ｂ　部材
５５０Ｃ　部材
５５０Ｄ　部材
５５５Ａ　部材
５５５Ｂ　部材
５５５Ｃ　部材
５５５Ｄ　部材
５６０　　部材
５６５　　部材
５７０　　部材
５７５　　部材
５８０Ａ　部材
５８０Ｂ　部材
５８０Ｃ　部材
５８０Ｄ　部材
５８５　　部材
５９０Ａ　関連部材
５９０Ｂ　関連部材
５９０Ｃ　関連部材
５９０Ｄ　関連部材
６００Ａ　補修領域
６００Ｂ　補修領域
Ｊ　　　　目地
Ｐ　　　　Ｐコン跡
ステップＳ１００～Ｓ１６０　損傷情報処理装置の作動方法の各ステップ

Claims (19)

  1. 　プロセッサを備える損傷情報処理装置であって、
    　前記プロセッサは、
    　第１の時期の損傷情報である第１の損傷情報と、前記第１の時期より後の第２の時期の損傷情報である第２の損傷情報と、を取得し、
    　前記第１の損傷情報がグループ化された第１の損傷グループ情報と、前記第２の損傷情報がグループ化された第２の損傷グループ情報と、を取得し、
    　前記第１の損傷グループ情報及び前記第２の損傷グループ情報に基づいて、損傷の経時変化を示す情報を取得する損傷情報処理装置。
  2. 　前記プロセッサは、
    　前記第１の損傷グループ情報と前記第２の損傷グループ情報とを対応付け、
    　前記対応付けられた前記第１の損傷グループ情報及び前記第２の損傷グループ情報に基づいて、前記損傷の経時変化を示す情報を取得する請求項１に記載の損傷情報処理装置。
  3. 　前記プロセッサは、近傍に存在する損傷を同じグループとする手法、別の種類の損傷の近傍に存在する損傷を同じグループとする手法、決められたパターンに合致する損傷を同じグループとする手法、同一の関連部材及び／または付帯物の近傍に存在する損傷を同じグループとする手法、及び同一の施工後の近傍に存在する損傷を同じグループとする手法のうち１または複数の手法を用いて前記第１の損傷情報及び前記第２の損傷情報をグループ化して前記第１の損傷グループ情報及び前記第２の損傷グループ情報を取得する請求項１または２に記載の損傷情報処理装置。
  4. 　前記プロセッサは、近傍に存在する損傷を同じグループとする手法、別の種類の損傷の近傍に存在する損傷を同じグループとする手法、決められたパターンに合致する損傷を同じグループとする手法、同一の関連部材及び／または付帯物の近傍に存在する損傷を同じグループとする手法、及び同一の施工後の近傍に存在する損傷を同じグループとする手法のうち複数の手法間での優先順位に従って前記第１の損傷情報及び前記第２の損傷情報をグループ化して前記第１の損傷グループ情報及び前記第２の損傷グループ情報を取得する請求項１または２に記載の損傷情報処理装置。
  5. 　前記プロセッサは、ユーザが前記第１の損傷情報及び前記第２の損傷情報をグループ化した結果を前記第１の損傷グループ情報及び前記第２の損傷グループ情報として取得する請求項１または２に記載の損傷情報処理装置。
  6. 　前記プロセッサは、
    　ユーザの指示に応じて前記第１の損傷グループ情報及び前記第２の損傷グループ情報を編集する請求項１から５のいずれか１項に記載の損傷情報処理装置。
  7. 　前記プロセッサは、前記損傷の経時変化を示す情報として、前記損傷の経時変化の統計情報を取得する請求項１から６のいずれか１項に記載の損傷情報処理装置。
  8. 　前記プロセッサは、
    　損傷数の変化量、損傷サイズの総和の変化量、損傷密度の変化量、損傷の最大サイズの変化量、損傷数の変化率、損傷サイズの総和の変化率、損傷密度の変化率、及び損傷の最大サイズの変化率のうち１つ以上を、前記統計情報として取得する請求項７に記載の損傷情報処理装置。
  9. 　前記プロセッサは、損傷グループの発生、損傷度合いの変化、及び消滅のうち少なくとも１つに応じたラベルを前記損傷の経時変化を示す情報として取得する請求項１から８のいずれか１項に記載の損傷情報処理装置。
  10. 　前記プロセッサは、前記第１の損傷グループ情報及び前記第２の損傷グループ情報に基づいて前記ラベルを取得する請求項９に記載の損傷情報処理装置。
  11. 　前記プロセッサは、ユーザが損傷グループに対して設定したラベルを前記ラベルとして取得する請求項９に記載の損傷情報処理装置。
  12. 　前記プロセッサは、ユーザの指示に応じて前記ラベルを編集する請求項９から１１のいずれか１項に記載の損傷情報処理装置。
  13. 　前記プロセッサは、前記損傷の経時変化を示す情報を、損傷の経時変化の状態に応じて表示形態を変えて表示装置に表示させる請求項１から１２のいずれか１項に記載の損傷情報処理装置。
  14. 　前記プロセッサは、前記損傷の経時変化を示す情報を、被写体の撮影画像、複数の前記撮影画像に基づく合成画像、または前記被写体の線画と重畳して表示装置に表示させる請求項１から１３のいずれか１項に記載の損傷情報処理装置。
  15. 　前記プロセッサは、損傷の経時変化の状態に応じて、前記撮影画像、前記合成画像、または前記線画において、損傷グループを囲む領域の表示形態を変えて表示装置に表示させる請求項１４に記載の損傷情報処理装置。
  16. 　前記プロセッサは、前記損傷の経時変化を示す情報を表形式で表示装置に表示させる請求項１から１５のいずれか１項に記載の損傷情報処理装置。
  17. 　プロセッサを備える損傷情報処理装置の作動方法であって、
    　前記プロセッサは、
    　第１の時期の損傷情報である第１の損傷情報と、前記第１の時期より後の第２の時期の損傷情報である第２の損傷情報と、を取得し、
    　前記第１の損傷情報がグループ化された第１の損傷グループ情報と、前記第２の損傷情報がグループ化された第２の損傷グループ情報と、を取得し、
    　前記第１の損傷グループ情報及び前記第２の損傷グループ情報に基づいて、損傷の経時変化を示す情報を取得する作動方法。
  18. 　プロセッサを備える損傷情報処理装置を作動させるプログラムであって、
    　前記プロセッサに、
    　第１の時期の損傷情報である第１の損傷情報と、前記第１の時期より後の第２の時期の損傷情報である第２の損傷情報と、を取得させ、
    　前記第１の損傷情報がグループ化された第１の損傷グループ情報と、前記第２の損傷情報がグループ化された第２の損傷グループ情報と、を取得させ、
    　前記第１の損傷グループ情報及び前記第２の損傷グループ情報に基づいて、損傷の経時変化を示す情報を取得させるプログラム。
  19. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１８に記載のプログラムが記録された記録媒体。
PCT/JP2025/019292 2024-06-10 2025-05-28 損傷情報処理装置、損傷情報処理装置の作動方法、及びプログラム Pending WO2025258396A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024093643 2024-06-10
JP2024-093643 2024-06-10

Publications (1)

Publication Number Publication Date
WO2025258396A1 true WO2025258396A1 (ja) 2025-12-18

Family

ID=98050551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/019292 Pending WO2025258396A1 (ja) 2024-06-10 2025-05-28 損傷情報処理装置、損傷情報処理装置の作動方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2025258396A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009235696A (ja) * 2008-03-26 2009-10-15 Compensation Seminary Co Ltd 建物の経年変化を調査するためのシステム、方法、及びコンピュータ・プログラム
JP2019020220A (ja) * 2017-07-14 2019-02-07 公益財団法人鉄道総合技術研究所 画像処理装置、及び画像処理方法、ならびにプログラム
JP2021070993A (ja) * 2019-10-31 2021-05-06 パナソニックＩｐマネジメント株式会社 インフラ検査システム、及び、インフラ検査方法
WO2022070731A1 (ja) * 2020-10-02 2022-04-07 富士フイルム株式会社 構造物の診断事例提示装置、方法及びプログラム
JP2023025476A (ja) * 2021-08-10 2023-02-22 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009235696A (ja) * 2008-03-26 2009-10-15 Compensation Seminary Co Ltd 建物の経年変化を調査するためのシステム、方法、及びコンピュータ・プログラム
JP2019020220A (ja) * 2017-07-14 2019-02-07 公益財団法人鉄道総合技術研究所 画像処理装置、及び画像処理方法、ならびにプログラム
JP2021070993A (ja) * 2019-10-31 2021-05-06 パナソニックＩｐマネジメント株式会社 インフラ検査システム、及び、インフラ検査方法
WO2022070731A1 (ja) * 2020-10-02 2022-04-07 富士フイルム株式会社 構造物の診断事例提示装置、方法及びプログラム
JP2023025476A (ja) * 2021-08-10 2023-02-22 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US12209972B2 (en) Inspection support device, inspection support method, and inspection support program
JP6779698B2 (ja) 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム
US11587299B2 (en) Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
CN115443407A (zh) 损伤评价装置、方法及程序
JP7686381B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7830404B2 (ja) 損傷図作成支援装置
WO2019163329A1 (ja) 画像処理装置及び画像処理方法
US20240257315A1 (en) Information processing apparatus, method, and program, and image data structure
JP6894361B2 (ja) コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム
WO2024070532A1 (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
KR102752023B1 (ko) 훼손된 도로 시설물의 탐지 방법 및 그를 이용한 도로 시설물 관리 시스템
US12524907B2 (en) Information processing apparatus, information processing system, information processing method, and non-transitory computer-executable medium
KR102588141B1 (ko) 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법
Majidi et al. Intelligent 3D crack reconstruction using close range photogrammetry imagery
JPWO2020137405A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7339185B2 (ja) 屋外構造物部位特定装置、屋外構造物部位特定方法および屋外構造物部位特定プログラム
CN115861286A (zh) 一种基于机器视觉在转钢过程中板坯转动状态检测方法
US12631566B2 (en) Inspection support device, inspection support method, and program
Jackson Detection of Deficiencies and Data Analysis of Bridge Members with Deep Convolutional Neural Networks
US20240219312A1 (en) Inspection support device, inspection support method, and program
JP2024047548A (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
CN121125977A (zh) 监控设备点位的评估方法、系统、电子设备及程序产品
JP2026077895A (ja) 損傷図作成支援方法、損傷図作成支援プログラム、記録媒体、及び、損傷図作成支援システム
CN121578802A (zh) 一种用于钢结构冷却塔的无人机巡检方法
Natarajan et al. Issues in bridge deck damage evaluation using aerial photos

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25821744

Country of ref document: EP

Kind code of ref document: A1