WO2017130699A1 - ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム - Google Patents

ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム Download PDF

Info

Publication number
WO2017130699A1
WO2017130699A1 PCT/JP2017/000671 JP2017000671W WO2017130699A1 WO 2017130699 A1 WO2017130699 A1 WO 2017130699A1 JP 2017000671 W JP2017000671 W JP 2017000671W WO 2017130699 A1 WO2017130699 A1 WO 2017130699A1
Authority
WO
WIPO (PCT)
Prior art keywords
crack
damage
crack information
information
vector
Prior art date
Application number
PCT/JP2017/000671
Other languages
English (en)
French (fr)
Inventor
樹彦 苅部
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201780006369.5A priority Critical patent/CN108463717B/zh
Priority to JP2017563782A priority patent/JP6682561B2/ja
Priority to EP17743930.4A priority patent/EP3410102B1/en
Publication of WO2017130699A1 publication Critical patent/WO2017130699A1/ja
Priority to US16/016,720 priority patent/US10937138B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Definitions

  • the present invention relates to a crack information detection device, a crack information detection method, and a crack information detection program, and more particularly, to a crack information detection device, a crack information detection method, and a crack information detection program for detecting crack information related to a crack in a structure.
  • a crack detection device generates a crack candidate image by selecting a feature amount related to a pixel value and performing a neural network convergence calculation.
  • the crack determination in the candidate image the determination of the crack candidate image and the connection determination of the pixels in the vicinity thereof are performed. Further, based on the Euclidean distance between adjacent pixels, it is determined that the area is enclave and not cracked.
  • Patent Document 2 describes a labeling process in which the same label (number) is assigned to a cluster of connected black pixels (or white pixels), and different connected components are assigned different labels (numbers). It can be divided into labels for damaged areas such as cracks and labels for dirt.
  • the labeling image subjected to the labeling process is obtained by assigning labels “A”, “B”, and “C” to a set of “1”, that is, “1” chunks, and label “A”.
  • labels “B” and “C” can be identified as a lump portion against dirt or the like.
  • a symbol is attached as a label, it may be a number.
  • a label is assigned to the cracked portion appearing on the image, the number of pixels of the cracked portion is measured from the labeling image, and the crack width and length are measured from the number of pixels and resolution.
  • Patent Document 3 a preprocessed image obtained by removing dirt and unevenness from an original image on a concrete surface is acquired, and four layers of four layers are formed by compressing the acquired preprocessed image by stepwise image compression. Then, a method is described in which corresponding deformations are extracted from the layer image corresponding to the extraction target, all the layer images are integrated, and the detected deformations are collectively displayed.
  • Patent Document 4 describes a defect detection device that detects a defect in an inspection image based on a learning result acquired from a learning image that does not include a defect.
  • Patent Document 1 does not describe that the user specifies only a specific crack and edits the automatic crack detection result with respect to the automatic crack detection result. Therefore, the above cracks cannot be distinguished.
  • Japanese Patent Application Laid-Open No. 2003-228561 includes a description in which graphic editing such as deletion and connection is interactively performed on an input deformed graphic. There is no description of machine learning of deformation extraction based on the above.
  • Patent Document 4 does not describe that the user edits the detected defect information or saves the edited information for machine learning.
  • the present invention has been made in view of such problems, and its purpose is to accumulate a manual editing history for automatically detected damage and to use for improving crack detection accuracy. Another object of the present invention is to provide a crack information detection method and a crack information detection program.
  • a crack information detection apparatus includes a crack information detection unit that detects crack information about a crack in a structure detected by image analysis of a surface image of the structure; Based on the crack information detected by the crack information detection unit, a labeling unit that gives a label for identifying crack information corresponding to the crack, a crack information editing unit that accepts editing of the crack information, a crack information editing result, and a crack A registration unit that registers an operation history and a label required for editing information in a database in association with each other.
  • the crack information detecting apparatus registers the result of editing crack information and the operation history and label required for editing crack information in the database. For this reason, the operation history required for editing can be distinguished for each crack, which can be used to improve the crack detection accuracy by machine learning.
  • the edit result of the crack information includes the deletion position of the pixel constituting the crack information corresponding to the same label, and the pixel constituting the crack information corresponding to the same label. It includes at least one of an additional position and an additional position of a pixel that connects discontinuous crack information corresponding to different labels.
  • the operation history required for editing the crack information is necessary for the number of operations required for deleting the pixels constituting the crack information and the deletion of the pixels constituting the crack information. Including at least one of the operation times.
  • the operation history required for editing the crack information is necessary for adding the pixels constituting the crack information and the number of operations required for adding the pixels constituting the crack information. Including at least one of the operation times.
  • the operation history required for editing the crack information includes the number of operations required for adding pixels connecting discontinuous crack information and the discontinuous crack information. Includes at least one of the operation times required for adding the pixels connecting the.
  • an edit history to be learned is specified based on an operation history of crack information for each label registered in the database, and an edit result corresponding to the specified edit history
  • a machine learning unit that updates a model for detecting crack information by the crack information detecting unit by machine learning of the characteristics of the crack to be detected as a continuous crack or a discontinuous crack is provided.
  • the characteristics of a crack to be detected as a continuous crack or a discontinuous crack include vector data including the width, length, and orientation of the crack.
  • the crack information detecting unit detects crack information about the crack of the structure by the Kruskal method, the prim method, the neural network convergence calculation, the percolation method, or the like.
  • the computer detects a crack information about the crack of the structure detected by image analysis of the surface image of the structure, and based on the detected crack information.
  • the step of assigning a label for identifying the crack information corresponding to the crack, the step of accepting the editing of the crack information, the editing result of the crack information, the operation history required for editing the crack information, and the label are associated with each other in the database. And registering.
  • a crack information detection program for causing a computer to execute this crack information detection method is also included in the aspect of the present invention.
  • the editing result of the crack information and the operation history and label required for editing the crack information are registered in the database in association with each other. For this reason, the operation history required for editing can be distinguished for each crack, which can be used to improve the crack detection accuracy by machine learning.
  • FIG. 1 is a diagram illustrating a bridge as an example of a structure.
  • FIG. 2 is a block diagram showing a configuration of the damage information processing apparatus according to the embodiment of the present invention.
  • FIG. 3 is a flowchart showing a procedure of the damage information processing method according to the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a state in which a curved damage is divided to generate a plurality of damage vectors.
  • FIG. 5 is a diagram for explaining how the start point of the damage vector is determined.
  • FIG. 6 is another diagram for explaining how the start point of the damage vector is determined.
  • FIG. 7 is a diagram illustrating the connection of the separated damage vectors.
  • FIG. 8 is another diagram showing the connection of the separated damage vectors.
  • FIG. 9 is a table showing image information included in the hierarchical structure information.
  • FIG. 10 is a diagram illustrating an example of damage vector information included in the hierarchical structure information (corresponding to hierarchical determination method example 1).
  • FIG. 11A is a diagram for explaining a display example of a damage vector and a label.
  • FIG. 11B is a diagram for explaining partial deletion and partial addition of damage vectors.
  • FIG. 11C is a diagram for explaining a change of a deletion operation flag and an addition operation flag corresponding to partial deletion and partial addition of a damage vector.
  • FIG. 11D is a diagram for explaining a display example of a damage vector and a label.
  • FIG. 12 is another diagram for explaining Example 2 of the damage vector hierarchy determination method.
  • FIG. 12 is another diagram for explaining Example 2 of the damage vector hierarchy determination method.
  • FIG. 13 is a table showing an example of hierarchical structure information (damage vector information) corresponding to Example 2 of the hierarchy determination method.
  • FIG. 14 is a diagram for explaining Example 3 of the damage vector hierarchy determination method.
  • FIG. 15 is another diagram for explaining an example 3 of the damage vector hierarchy determination method, and is a diagram showing an image taken later in time than FIG.
  • FIG. 16 is still another diagram for explaining Example 3 of the damage vector hierarchy determination method, and is a diagram showing an image taken after the time of FIG.
  • FIG. 17 is a table showing an example of hierarchical structure information (damage vector information) corresponding to Example 3 of the hierarchy determination method.
  • FIG. 18 is a diagram for explaining an example 4 of the damage vector hierarchy determination method.
  • FIG. 14 is a diagram for explaining Example 3 of the damage vector hierarchy determination method.
  • FIG. 15 is another diagram for explaining an example 3 of the damage vector hierarchy determination method, and is a diagram showing an image taken later in time than FIG.
  • FIG. 16 is still another diagram for explaining Example 3 of
  • FIG. 19 is a table showing an example of hierarchical structure information (damage vector information) corresponding to Example 4 of the hierarchy determination method.
  • FIG. 20 is a diagram illustrating a state in which a label C1-3 is selected and a deletion instruction is input to a damage vector corresponding to the label.
  • FIG. 21 shows that as a result of the deletion instruction input to the damage vector corresponding to the label C1-3, the display of the label C1-3 is deleted and the display of the damage vector corresponding to the label C1-3 is deleted.
  • FIG. FIG. 22 is a diagram showing an example of hierarchical structure information in which “1” is assigned to the damage vector deletion operation flag corresponding to the label C1-3 as a result of the deletion instruction input.
  • FIG. 23 is a diagram illustrating a state in which labels C1-5 and C8-1 are selected and a combination instruction input of damage vectors corresponding to these labels is performed.
  • FIG. 24A shows the result of the combination instruction input, the line segment of the damage vector obtained by combining the damage vectors corresponding to the labels C1-5 and C8-1, and the label “C1-5 + C8 attached to the additional damage vector.
  • FIG. 11 is a diagram illustrating an example of an update display of “ ⁇ 1”.
  • FIG. 24B shows the result of the combination instruction input, the line segment of the damage vector obtained by combining the damage vectors corresponding to the labels C1-5 and C8-1, and the label “C1-5 + C8 added to the additional damage vector.
  • FIG. 24A shows the result of the combination instruction input, the line segment of the damage vector obtained by combining the damage vectors corresponding to the labels C1-5 and C8-1, and the label “C1-5 + C8 added to the additional damage vector.
  • FIG. 6 is a diagram illustrating an update display example of ⁇ 1 ′′ and an update display example in which display of labels of C1-5 and C8-1 is deleted.
  • FIG. 25 is a diagram illustrating an example of updating the hierarchical structure information in which “1” is assigned to the additional operation flag of the damage vector corresponding to the labels C1-5 and C8-1.
  • FIG. 26 is a diagram illustrating a state in which “C1-5 + C8-1” labels corresponding to additional damage vectors are selected, and a combination release instruction input between the damage vectors corresponding to these labels is performed.
  • FIG. 27 is a diagram illustrating a display example in which the combination of the damage vectors of the labels C1-5 and C8-1 is released as a result of the input of the combination release instruction.
  • FIG. 28 is a diagram illustrating an example of hierarchical structure information in which “0” is assigned to the damage vector addition operation flag corresponding to the labels C1-5 and C8-1.
  • FIG. 29 is a diagram illustrating an example of an instruction for releasing the connection of the damage vector C5-2 that connects C3-1 and C4-1.
  • FIG. 30 is a diagram showing an example of the display after the release of the damage vector C5-2 that connects C3-1 and C4-1.
  • FIG. 31 shows a state in which the deletion flag “1” of the damage vector C5-2 and additional information including the operation history related thereto are recorded in the hierarchical structure information upon completion of the deletion operation on the damage vector C5-2.
  • FIG. 1 is a perspective view showing a structure of a bridge 1 (structure, concrete structure) which is an example of a structure to which a crack information detecting apparatus, a crack information detecting method, and a crack information detecting program according to the present invention are applied.
  • the bridge 1 shown in FIG. 1 has a main girder 3, and the main girder 3 is joined by a joint 3A.
  • the main girder 3 is a member that is passed between the abutment and / or the pier and supports a load of a vehicle or the like on the floor slab 2.
  • a floor slab 2 for driving a vehicle or the like is placed on the upper portion of the main girder 3.
  • the floor slab 2 is made of reinforced concrete.
  • the bridge 1 has members such as a horizontal girder, a tilted frame, and a horizontal frame (not shown) in addition to the floor slab 2 and the main girder 3.
  • the inspector photographs the bridge 1 from below using the digital camera 104 (see FIG. 2) (C direction in FIG. 1), and acquires a surface image of the inspection range.
  • the photographing is performed while appropriately moving in the extending direction of the bridge 1 (A direction in FIG. 1) and the orthogonal direction (B direction in FIG. 1).
  • the digital camera 104 may be installed on a movable body that can move along the bridge 1 to perform imaging.
  • a moving body may be provided with a lifting mechanism and / or a pan / tilt mechanism of the digital camera 104. Examples of the moving body include a vehicle, a robot, and a flying body, but are not limited to these.
  • FIG. 2 is a block diagram illustrating a schematic configuration of a damage information processing apparatus 100 that is an embodiment of the crack information detection apparatus according to the present embodiment.
  • the damage information processing apparatus 100 includes a damage information acquisition unit 102, a damage vector generation unit 110 (corresponding to a crack information detection unit), a hierarchical structure information generation unit 112 (corresponding to a labeling unit), a damage vector extraction unit 114, and a hierarchical structure.
  • An information recording unit 116 (corresponding to a registration unit), a display unit 118, an operation unit 120 (corresponding to a crack information editing unit), and a learning adjustment unit 122 (corresponding to a machine learning unit) are connected to each other and necessary Information can be sent and received from each other.
  • each unit can be realized by a control device such as a CPU (Central Processing Unit) executing a program stored in the memory.
  • the damage information acquisition unit 102 includes a radio communication antenna and an input / output interface circuit, and the hierarchical structure information recording unit 116 includes a non-temporary recording medium such as an HDD (Hard Disk Drive).
  • the display unit 118 includes a display device such as a liquid crystal display, and the operation unit 120 includes an input device such as a keyboard. Note that these are examples of the configuration of the damage information processing apparatus according to the present invention, and other configurations can be adopted as appropriate.
  • an image photographed using the digital camera 104 is input to the image acquisition unit 106 by wireless communication, and damage information is acquired by the image processing unit 108.
  • the digital camera 104, the image acquisition unit 106, and the image processing unit 108 constitute a damage information acquisition unit 102.
  • the damage vector generation unit 110 generates a damage vector (crack vector) by image analysis from the damage information acquired by the damage information acquisition unit 102, and connects the spatially separated damage vectors.
  • the hierarchical structure information generation unit 112 generates hierarchical structure information based on the damage vector generated by the damage vector generation unit 110, and the generated hierarchical structure information is recorded in the hierarchical structure information recording unit 116.
  • the damage vector extraction unit 114 refers to the hierarchical structure information and extracts a damage vector that satisfies a specified condition such as a damage vector belonging hierarchy.
  • the display unit 118 displays an input image, a generated or extracted damage vector, hierarchical structure information, and the like.
  • the display unit 118 also performs image processing necessary for display, such as generating a line segment image from damage vector information.
  • the operation unit 120 receives a user's instruction input regarding the setting of extraction conditions and display conditions of damage vectors and hierarchical structure information, editing of hierarchical structure information, and the like.
  • FIG. 3 is a flowchart showing the procedure of damage information processing according to this embodiment.
  • the damage is a crack generated in the floor slab 2
  • the damage is appropriately described as “crack”.
  • the damage to which the present invention can be applied is not limited to the crack, and free lime, etc. May be damaged.
  • a program for executing this processing by the damage information processing apparatus 100 is recorded on a computer-readable non-transitory tangible medium such as a flash memory built in the damage information processing apparatus 100. Has been.
  • step S100 image input process
  • a plurality of images of the bridge 1 are input in accordance with the inspection range, and information on photographing date and time is added to the input image by the digital camera 104.
  • the shooting date and time of the input image does not necessarily have to be the same for all images, and may be for a plurality of days.
  • a plurality of images may be input at a time, or one image may be input at a time.
  • the image of the bridge 1 may be input via a non-temporary recording medium such as various memory cards instead of wireless communication, or image data that has already been captured and recorded is input via a network. Also good.
  • the image of the bridge 1 input in step S100 may be a captured image as it is or may be a preprocessed image of the captured image.
  • step S110 extracts damage (crack) from the input image (step S110; damage extraction process).
  • the image input process in step S100 and the damage extraction process in step S110 constitute a damage information acquisition process in the damage information processing method of the present invention.
  • step S110 if damage is extracted from the image input in step S100, that is, if the damaged area in the image is identified, it may be considered that the damage information has been acquired, and the detailed characteristics of the damage are described. It doesn't need to be grasped.
  • the damage extraction in step S110 can be performed by various methods.
  • a crack detection method described in Japanese Patent No. 4006007 can be used. This method calculates wavelet coefficients corresponding to the two concentrations to be compared, calculates each wavelet coefficient when each of the two concentrations is changed, creates a wavelet coefficient table, and detects the crack detection target.
  • a wavelet image is created by wavelet transforming an input image of a concrete surface.
  • the average density of neighboring pixels in the local area and the wavelet coefficient corresponding to the density of the target pixel are used as threshold values.
  • a crack detection method comprising a step of determining a crack area and a non-crack area by comparing the wavelet coefficient of the target pixel and the threshold value.
  • step S110 may be performed after the necessary preprocessing is performed on the image input in step S100.
  • step S110 When damage is extracted in step S110 (when damage information is acquired), the damage vector generation unit 110 generates a damage vector (a crack vector) by vectorizing the acquired damage information (step S120; damage vector generation). Process).
  • the extracted damage (crack) is binarized and / or thinned as necessary. “Vectorization” is to obtain a line segment determined by the start point and the end point for damage.
  • the damage (crack) is a curve, multiple damages are made so that the distance between the curve and the line segment is less than the threshold. And a damage vector is generated for each of the plurality of sections. In the example of FIG.
  • the curved damage Cr is divided into four sections Cr1 to Cr4, and the damage vectors Cv1 to Cv4 are generated for each section, so that the damage and the damage vectors Cv1 to Cv4 in the sections Cr1 to Cr4
  • the distances d1 to d4 are equal to or less than the threshold value.
  • the feature point of the floor slab 2 is set as the origin of the coordinate system, and for the damage vector group (vector group), the end point that minimizes the distance from the origin is set as the first start point.
  • the end point and start point can be determined sequentially along the running direction.
  • the point P13 having the shortest distance d from the point P0 is set as the start point of the damage vector C7-1, and hereinafter the point P14 is set as the end point of the damage vector C7-1 (and the damage vectors C7-2, C7). ⁇ 3), and points P15 and P16 can be the end points of the damage vectors C7-2 and C7-3, respectively.
  • the point P17 becomes the start point of the damage vector C8-1
  • the point P18 becomes the start point of the damage vectors C8-2 and C8-3
  • the traveling direction of the damage vector C8-3 (The direction from the point P18 to the point P20) is opposite to the traveling direction of the damage vector C8-1. Therefore, in such a case, as shown in FIG. 6, the point P19 is the start point of the damage vector C8A-1, and the point P18 is the end point of the damage vector C8A-1 (and the start points of the damage vectors C8A-2 and C8A-3).
  • Points P17 and P20 may be the end points of the damage vectors C8A-2 and C8A-3, respectively. Note that the collection of damage vectors in this case is referred to as a vector group C8A.
  • Such processing may be performed by the damage vector generation unit 110 without the user's instruction input, or may be performed by the damage vector generation unit 110 based on the user's instruction input through the operation unit 120. Also good.
  • FIG. 7 is a diagram showing an example of connection of damage vectors.
  • a vector group C3 including damage vectors C3-1 (points P21 and P22 are start points and end points, respectively), and damage vectors C4-1 (points P23 and P24). Indicates a state in which a vector group C4 including a start point and an end point is extracted. Also, the angle formed by the damage vector C3-1 and the line connecting the points P22 and P23 is ⁇ 1, and the angle formed by the line connecting the points P22 and P23 and the damage vector C4-1 is ⁇ 2.
  • the damage vectors C3-1 and C4-1 are connected, and the vector groups C3 and C4 are fused.
  • a new damage vector C5-2 is generated and other damage vectors C5-1 (same as damage vector C3-1) and C5-3 (same as damage vector C4-1).
  • a new vector group including these damage vectors C5-1, C5-2, and C5-3 is defined as a vector group C5.
  • the above-described method is an example of a damage vector concatenation method, and other methods may be used. Further, whether or not the damage vectors are to be linked as described above may be determined by the damage vector generation unit 110 regardless of the user's instruction input, or may be input by the user via the operation unit 120. The damage vector generation unit 110 may determine based on the above.
  • the damage information processing apparatus 100 it is possible to accurately grasp the connection relationship between the damage vectors by appropriately connecting the damage vectors separated spatially (on the surface of the floor slab 2). it can.
  • Hierarchical structure information is information that hierarchically represents the connection relationship between damage vectors, and is composed of image information (see FIG. 9) and damage vector information (see FIGS. 10, 13, 17, and 19). These image information and damage vector information are related through a vector group which is an aggregate of damage vectors (crack vectors). Therefore, the damage vector can be extracted from the damage image by referring to the ID (Identification) of the vector group, and conversely, the image can be extracted based on the damage vector. Since the hierarchical structure information is a database generated in the same item and format regardless of the hierarchy (level) to which the damage vector belongs (see FIGS. 10, 13, 17, and 19), the user can use the hierarchical structure information. Can be easily recognized and grasped.
  • the above-described image information is information about a captured image in which damage is imaged, and defines identification information (ID) of the captured image, image data, image acquisition date and time, etc., for a group of damage vectors.
  • FIG. 9 is a table showing an example of image information.
  • the image ID, image data, acquisition date and time, image width and height, number of channels, bits / pixel, and resolution are defined.
  • the number of channels is 3 channels for RGB (R: red, G: green, B: blue) color images, and 1 channel for monochrome images.
  • FIG. 10 is an example of damage vector information.
  • the damage vector information includes information on a vector group to which the damage vector belongs, specific information on each damage vector, information on other damage vectors linked to each damage vector in the vector group, and additional information. .
  • the information of the vector group includes a group label (identification information).
  • the damage vector specific information includes damage vector label (identification information), hierarchy (level; affiliation hierarchy information), start point and end point (point number and position coordinate), damage vector direction (direction from start point to end point), and Includes length.
  • level 1 is the highest level, and the higher the number, the lower the level. Details of a specific hierarchy determination method will be described later.
  • Other damage vector information includes parent vector, sibling vector, and child vector labels (identification information) as described below.
  • ⁇ Parent vector, sibling vector, and child vector> when the end point of one damage vector is the start point of another damage vector, such one damage vector is referred to as a “parent vector”, and the other damage vector is referred to as a “child vector”.
  • the parent vector is determined to be zero or one for one damage vector, but there may be any number of child vectors equal to or greater than zero for one parent vector.
  • the end point of the parent vector is the start point of a plurality of child vectors
  • the plurality of child vectors are referred to as “sibling vectors”. There may also be any number of sibling vectors greater than zero.
  • the hierarchical structure information includes the labels (identification information) of the parent vector, sibling vector, and child vector
  • the parent vector referring to the vector ID based on any damage vector
  • Sibling vectors and child vectors can be identified sequentially.
  • a parent vector of a certain damage vector can be specified, and a parent vector of the parent vector can be further specified.
  • the connection relationship between the damage vectors can be easily grasped, and the damage vectors can be easily analyzed and searched.
  • the additional information includes damage width, edit history (deletion operation flag, addition operation flag), inspection date, and repair information.
  • “Width” included in the additional information indicates the width of the crack corresponding to each damage vector.
  • the delete operation flag indicates whether or not the vector has been deleted, and is “1” when the delete operation is performed and “0” when the delete operation is not performed. With reference to this deletion operation flag, display and non-display of the damage vector can be switched.
  • the additional operation flag relates to a detection mode of a damage vector, and is “0” when the vector is automatically detected, and “1” when the vector is manually added (by user instruction input). If it is a vector that is manually added and generated by connecting vectors of different labels, it is “2”.
  • the additional information includes an operation history such as the number of deletion operations, a deletion operation time, a deletion pixel position, and a deletion pixel area as an editing history only when the deletion operation flag of the editing history is “1”.
  • the additional information includes only operation history such as the number of additional operations, additional operation time, additional pixel position, and additional pixel area as the editing history only when the additional operation flag of the editing history is “1” or “2”. .
  • the deletion operation flag and / or the additional operation flag are displayed. “1” is assigned. Therefore, when partial addition and partial deletion of a region are performed in combination with respect to a certain damage vector, the corresponding deletion flag is “1” and the addition operation flag is “1”. As a result, the line segment of the additional part of the damage vector is displayed and the line segment of the deleted part is not displayed.
  • the label history is a history of label changes accompanying the operation history update. If there is no operation history, the label history is not recorded.
  • the operation history can include various values that can be measured for editing operations such as the maximum and minimum values of time between operations and the number of operations per unit time.
  • “Number of delete operations” indicates the number of operations from the start to the completion of the delete operation.
  • “Delete operation time” indicates an operation time from the start to the completion of the delete operation.
  • “Deleted pixel position” indicates the pixel position of the damage vector deleted by the above-described deletion operation.
  • “Deleted pixel area” indicates the pixel area of the damage vector deleted by the deletion operation.
  • “Number of additional operations” indicates the number of operations from the start to the completion of the additional operation.
  • “Additional operation time” indicates an operation time from the start to the completion of the additional operation.
  • “Additional pixel position” indicates the pixel position of the damage vector added by the addition operation.
  • “Additional pixel area” indicates the pixel area of the damage vector added by the addition operation.
  • the “inspection date” is set to the date when the image of the damage was captured, but can be edited by the user's instruction input via the operation unit 120. Further, “repair” information can be generated based on a user instruction input (repair type and repair date) via the operation unit 120. Types of repairs include, for example, filling with cement, filling with resin, and leaving (follow-up observation) (represented as R1, R2, and R3 in the table of FIG. 10).
  • FIG. 11A is a diagram showing the vector group C1.
  • the vector group C1 is composed of damage vectors C1-1 to C1-6, and these damage vectors have points P1 to P7 as start points or end points.
  • the hierarchy of the damage vector C1-1 is set to the highest “level 1”, and the damage vectors C1-2 and C1-3 starting from the point P2, which is the end point of the damage vector C1-1, It is assumed that “level 2” is lower than the vector C1-1.
  • the hierarchy of the damage vectors C1-5 and C1-6 starting from the point P4 that is the end point of the damage vector C1-3 is assumed to be “level 3”, which is lower than the damage vector C1-3.
  • the point P3 which is the end point of the damage vector C1-2 is the start point of the damage vector C1-4.
  • the damage vector starting from the point P3 is only the damage vector C1-4 and has no branch.
  • the level of ⁇ 4 is “level 2”, which is the same as C1-2.
  • the hierarchy of each damage vector determined in this way is included in the hierarchical structure information as shown in the table of FIG.
  • each damage vector is labeled with each damage vector by a balloon image starting from an arbitrary position in the vicinity of the start point, end point, or line segment connecting these damage vectors.
  • the information is displayed on the display unit 118 in association with each other.
  • the label of each damage vector is a flag, a band, a plate, a box, a line, a table image, etc. starting from an arbitrary position near the line segment of each corresponding damage vector, or all or a part of them.
  • the combination may be displayed in association with each damage vector.
  • the balloon should be placed at a position that avoids overlapping with the damage vector itself.
  • the label display position and display format are arbitrary.
  • labels are arranged in the vicinity of the damage vector.
  • the label group is displayed in a list in a blank portion of the screen that does not overlap with the damage vector. May be shown by associating them with a line connecting them one-on-one. It should be noted that the individual labels or the list of labels indicated by balloons need only be avoided from being displayed with the same group of damage vectors, and may be displayed with overlapping damage vectors corresponding to different groups. Good.
  • FIG. 12 is a diagram showing the vector group C1 (the connection relationship between the damage vectors is the same as that shown in FIG. 11A).
  • the angle formed with another damage vector is equal to or less than the threshold value (damage vector corresponding to “stem” in the tree structure) belongs to the same hierarchy.
  • the damage vectors C1-1, C1-2, and C1-4 existing within the dotted line are set to “level 1” (the highest level) that is the same hierarchy. .
  • the hierarchy becomes lower each time the damage vector branches as in Example 1, and the damage vector C1-3 (tree structure) (Corresponding to “branches” in FIG. 4) is “level 2”, and damage vectors C1-5 and C1-6 (corresponding to “leaves” in the tree structure) are “level 3”.
  • the hierarchy and type (stem, branch, or leaf) of each damage vector determined in this way are included in the hierarchical structure information as shown in the table of FIG.
  • Example 2 A modification of the above-described hierarchy determination method (example 2) will be described.
  • the damage vector may be determined as “trunk” (level 1) and other damage vectors as “branches” or “leaves”.
  • the damage vector C1-1 having a length of 100 mm is “stem” (level 1).
  • Damage vectors C1-2 and C1-3 are “branches” (level 2)
  • damage vectors C1-4 are “branches” (level 2) or “leaves” (level 3)
  • damage vectors C1-5 and 6 are It can be “leaf” (level 3).
  • the damage vector constituting the “longest crack” instead of the “longest damage vector” is “stem” (level 1), and the damage vector corresponding to the crack branched from the “stem” is “branch” or “ It may be “leaf”.
  • the “longest crack” means “the longest crack as long as both a thick crack and a thin crack are connected”.
  • the width (the width of damage corresponding to the damage vector) may also be considered to determine the type (stem, branch, and leaf) and the hierarchy.
  • the hierarchy may be determined with the damage vector having the maximum “length ⁇ width” as “stem” and the other damage vectors as “branches” or “leaves”.
  • the scratch vector C1-1 having the maximum “length ⁇ width” (100 mm 2 ) is “stem”.
  • Damage vectors C1-2 and C1-3 are “branches” (level 2)
  • damage vectors C1-4 are “branches” (level 2) or “leaves” (level 3)
  • damage vectors C1-5 and 6 are It can be “leaf” (level 3).
  • the damage vector hierarchy is determined in consideration of the length of the damage vector or “length ⁇ width”, so that the hierarchization accuracy can be improved.
  • Example 3 14 to 16 are diagrams showing the vector group C1 (the connection relationship between the damage vectors is the same as that shown in FIGS. 11 and 12).
  • the time before and after the occurrence of the damage vector is determined based on the photographing date and time of the image of the bridge 1, and the damage vector that is generated later in time belongs to the lower hierarchy.
  • a vector group C1A including the damage vector C1-1 is generated in the first photographed image (FIG. 14), and in the next photographed image, the damage vectors C1-2 and C1-3 are newly added.
  • the vector group C1B is generated (FIG. 15), and in the last photographed image, damage vectors C1-4, C1-5, and C1-6 are further generated to form the vector group C1 (FIG. 16). .
  • Example 3 the damage vector C1-1 (the range indicated by the reference symbol Lv1 in FIG. 14) occurring in the first image is set to the highest “level 1”, and the damage occurring in the next image Vectors C1-2 and C1-3 (range indicated by reference symbol Lv2 in FIG. 15) are set to “level 2”, and damage vectors C1-4, C1-5, and C1-6 (FIG. 16) occurring in the last image are set.
  • the hierarchy of each damage vector determined in this way is included in the hierarchical structure information as shown in the table of FIG.
  • FIG. 18 is a diagram showing a crack C2A and a vector group C2 corresponding to the crack C2A.
  • the other one damage vector belongs to the same hierarchy as the one damage vector.
  • one curved crack C2A is divided into a plurality of cracks C2A-1 to C2A-4, and these cracks start at points P8 to P12.
  • the damage vectors C2-1 to C2-4 only one damage vector (damage vectors C2-2 to C2-4) is provided at each end point of the damage vectors C2-1 to C2-3. Not connected.
  • the damage vectors C2-1 to C2-4 are substantially one, and “level 1” (all having the same hierarchy) ( Belongs to the top).
  • the hierarchy of each damage vector determined in this way is included in the hierarchical structure information as shown in the table of FIG.
  • the damage vector affiliation hierarchy determination examples 1 to 4 have been described above. These techniques can be appropriately used according to specific damage modes, and a plurality of techniques can be used in combination as necessary. May be. For example, for a group of damage vectors having a complicated connection pattern, the hierarchy may be determined using Example 1 for some parts and the hierarchy may be determined using Example 4 for other parts. Such a combination of hierarchical methods may be determined by the hierarchical structure information generation unit 112 or may be performed based on a user instruction input via the operation unit 120.
  • the hierarchical structure information includes a vector group to which the damage vector belongs, a label of the damage vector, a hierarchy of the belonging, a label of other damage vectors to be connected (parent vector, sibling vector, and child vector), and the like. Therefore, the damage vector can be extracted by designating desired conditions for these items (see FIGS. 10, 13, 17, and 19). Examples of conditions that can be specified include “hierarchies to which damage vectors belong” and “vectors with a specific vector as a parent vector, sibling vector, or child vector”. Examples of conditions that can be specified are in these examples. It is not limited.
  • damage vector C1-2 is referred to by referring to the “hierarchy (level)” column of the hierarchical structure information.
  • C1-3, and C1-4 are extracted and specified as a condition “damage vector connected to damage vector C1-2 and belonging to a layer higher than damage vector C1-2” as a condition, damage vector C1-1 ( Parent vector) is extracted.
  • damage vector C1-2 and belonging to the same hierarchy as damage vector C1-2 is specified as a condition
  • damage vector C1-3 (sibling vector) and damage vector C1-4 (child vector) Is extracted
  • damage vectors C1-5 and C1-6 child vectors
  • Such damage vector extraction can be performed by the damage vector extraction unit 114 referring to the hierarchical structure information recording unit 116 based on a user instruction input via the operation unit 120.
  • the damage information processing apparatus 100 can easily search, analyze, and evaluate damage vectors.
  • the extracted damage vector can be displayed in the form of individual information and / or line drawing (described later).
  • step S140 the hierarchical structure information generated in step S130 is displayed on the display unit 118 (display process).
  • the hierarchical structure information can be displayed, for example, in the form of tables shown in FIGS. 9, 10, 13, 17, and 19 or by using some information extracted from those tables. Examples of such “partial information” include “information on damage vectors extracted under specified conditions” and “information on specific items such as inspection date and / or repair date”.
  • a line drawing indicating a damage vector may be drawn based on the hierarchical structure information and displayed on the display unit 118.
  • the hierarchical structure information includes information on the start and end points of damage vectors and other damage vectors to be connected.
  • a line drawing showing a vector (see, for example, FIGS. 11A, 11B, 12, and 14 to 16) can be drawn and displayed.
  • An arrow may be attached to the line drawing showing the damage vector so that the direction of the damage vector (direction from the start point to the end point) can be identified (see FIGS. 11A, 11B, 12, 14 to 16).
  • all damage vectors included in the hierarchical structure information may be drawn and displayed, or some damage vectors (for example, extracted under specified conditions as described above) Only) may be displayed.
  • the video of the corresponding label is arranged in the vicinity of the line drawing, or the color and thickness of the damage vector according to specific information included in the hierarchical structure information And display conditions such as line type (solid line, dotted line, etc.) may be changed.
  • Such information can include, for example, damage vector hierarchy (level), type (stem, branch, leaf), date and time of occurrence, delete operation flag, value of additional operation flag, etc., and is included in the hierarchical structure information You may set suitably from the items to be set.
  • One of the damage vector line drawing and the hierarchical structure information described above may be displayed, or both may be displayed simultaneously.
  • an image obtained by imaging damage (cracking) in the above display (for example, the image “img_2015-001” shown in the table of FIG. 9) is displayed so as to be superposed or displayed side by side with the line drawing of the damage vector so that they can be compared. (See, for example, FIG. 18).
  • damage vectors and / or hierarchical structure information are displayed in this manner, damage vector information and the connection relationship between damage vectors can be easily grasped.
  • step S150 the hierarchical structure information is recorded in the hierarchical structure information recording unit 116 (recording process).
  • the hierarchical structure information recorded in the hierarchical structure information recording unit 116 can be used for purposes such as damage analysis and evaluation.
  • some information for example, a damage vector that satisfies a specified condition
  • all the extracted information is included in the original hierarchical structure information, so the extraction result is not necessarily recorded.
  • steps S100 to S150 can be executed by a prim method which is an algorithm for an optimization problem for obtaining a minimum spanning tree of a weighted connected graph by graph theory in addition to the above method.
  • the cost can be set between the detection result pixels in accordance with the concept of graph theory.
  • the cost is a calculation result using reference values such as the direction, width, and distance of the damage vector (crack), and the pixels with the lowest cost are connected.
  • a concept of cost calculation a calculation method can be considered in which the cost increases as the distance between the damage vectors increases, but the cost decreases as the directions of the damage vectors coincide with each other. Even if the distance is far away, when the probability of a single crack is large based on other criteria, a connection result reflecting the information can be obtained. If there is only a sufficiently high cost between pixels in the periphery, it is not necessary to connect the damage vectors.
  • the shape may be bent at an unnatural angle (for example, an acute angle of 90 ° or less), or an unnatural width difference may occur (for example, the connected damage vectors may be 5 pixels or more.
  • the condition may be such that no connection is made.
  • the difference between the distances, the angles, and the widths of the damage vectors can be set so that the cost is reduced when the distances between the two are small, the angles are small, and the widths are small.
  • step S160 based on the user's editing instruction input via the operation unit 120, the hierarchical structure information generation unit 112 corrects the hierarchical structure information recorded in the hierarchical structure information recording unit 116 (editing process). Further, the display of the damage vector and the label on the display unit 118 is updated based on this edit instruction input.
  • This edit instruction input includes the following.
  • the damage vector deletion instruction can be input as follows. For example, when an arbitrary label is click-selected, a line drawing of the selected label and the damage vector corresponding to the selected label is highlighted. The highlighting is performed by changing the design of the line drawing of the label or damage vector (coloring, dotted line, thick line, luminance change, etc.).
  • a dialog box is displayed in the vicinity of the selected label to confirm whether or not to execute the edit operation “Delete” that can be performed on the damage vector. From this dialog box, “Delete” can be executed. Is selected, “1” is assigned to the deletion operation flag of the damage vector corresponding to the selected label, and the deletion instruction input is completed.
  • FIG. 20 shows a state in which a label C1-3 is selected and a deletion instruction is input to the damage vector corresponding to this label.
  • FIG. 21 as a result of the deletion instruction being input to the damage vector corresponding to the label C1-3, the display of the label C1-3 is deleted and the line drawing of the damage vector corresponding to the label C1-3 is displayed. An example of deleted update display is shown.
  • FIG. 22 shows an example of the editing result of the hierarchical structure information in which “1” is assigned to the damage vector deletion operation flag corresponding to the label C1-3 as a result of the deletion instruction input. Even if a deletion instruction is input to a damage vector, hierarchical structure information such as a label corresponding to the damage vector is not deleted. This is for use in machine learning, as will be described later.
  • the damage vector addition instruction can be input as follows. For example, when any two labels are click-selected, the line drawing of the selected label and the corresponding damage vector is highlighted, and editing operations that can be performed on the corresponding damage vector in the vicinity of the label When a dialog box is displayed to confirm whether or not to perform “join”, and if “allow” to perform “join” is selected from the dialog box, each damage vector corresponding to the selected label is added. “2” is assigned to the operation flag, and the instruction for adding the damage vector is completed.
  • FIG. 23 shows a state in which labels for C1-5 and C8-1 are selected, and a damage vector addition instruction for linking the damage vectors corresponding to these labels is input.
  • FIG. 24A shows the result of the instruction input as a result of the line drawing of the additional damage vector that combines the damage vectors corresponding to the labels of C1-5 and C8-1, and the damage vector combined by the additional damage vector.
  • An update display example of the label “C1-5 + C8-1” is shown.
  • FIG. 24B when the damage vectors corresponding to the labels C1-5 and C8-1 are combined in a straight line, the display of the points P6 and P17 may be deleted.
  • FIG. 24A shows the result of the instruction input as a result of the line drawing of the additional damage vector that combines the damage vectors corresponding to the labels of C1-5 and C8-1, and the damage vector combined by the additional damage vector.
  • An update display example of the label “C1-5 + C8-1” is shown.
  • FIG. 24B when the damage
  • the label of the combined damage vector can be anything as long as it is distinguishable from other damage vectors.
  • the vector group of the combined damage vectors may be the same as any vector group of the combined damage vectors (for example, the vector group to which the longer or shorter damage vector belongs) or another new vector group. It may be generated. This is done in the same way as described in ⁇ Concatenating Separate Damage Vectors>.
  • the damage vector of the label C1-5 selected earlier is used as a parent vector
  • the damage vector of the label C8-1 selected later is used as a child vector.
  • the damage vector of label C8-1 is set as a parent vector
  • the damage vector of label C5-1 is set as a child vector.
  • a plurality of damage vectors C1-5 and C8-1 assigned with “2” as the additional operation flag, and an additional damage vector that combines one of these as a parent vector and the other as a child vector Are combined into a single continuous bond damage vector, and this single continuous bond damage vector is given a new label “C1-5 + C8-1” (FIG. 24B). reference).
  • the labels of the damage vectors C1-5 and C8-1 are not deleted, and the damage vector C1-
  • the additional operation flag “2” of 5 and C8-1 is recorded in the hierarchical structure information.
  • the instruction to cancel the connection between damage vectors can be input as follows. For example, when an arbitrary label is selected from the labels of bond damage vectors according to (3) above, the selected label and the corresponding bond damage vector line drawing are highlighted, and the selected label In the vicinity, a dialog box is displayed to confirm whether or not to execute the edit operation “cancel bond” that can be performed on the bond damage vector. From this dialog box, the user can select “cancel bond”. Then, each additional operation flag of each damage vector combined by the combined damage vector corresponding to the selected label is changed from “2” to “0”, and the parent vector / child vector relationship between the two is deleted. The combination release instruction input is completed.
  • FIG. 26 shows a state in which a label “C1-5 + C8-1” corresponding to the bond damage vector is selected, and a bond release instruction is input based on the bond damage vector corresponding to this label.
  • FIG. 27 shows a display example in which the coupling between the damage vectors of the C1-5 and C8-1 labels is canceled as a result of the input of the coupling cancellation instruction.
  • FIG. 28 shows an example of updating hierarchical structure information in which “0” is assigned to the damage vector addition operation flag corresponding to the labels C1-5 and C8-1. It should be noted that the hierarchical structure information is updated so that the relationship between the parent vector and the child vector between the damaged vectors that are released from the combination is also deleted.
  • a label that can distinguish each damage vector after the combination may be newly assigned.
  • the same label as that before the combination is re-applied to each damage vector after the combination is released. It is better to assign.
  • the damage vector to be released from the connection is not limited to the manually specified one.
  • FIG. 29 by selecting the label of the damage vector C5-2 and instructing to release the combination, as shown in FIG. 30, the vector groups C3 and C4 before the combination and the damage vectors belonging to them.
  • the labels C3-1 and C4-1 in front of are restored.
  • labels C3-1 and C4-1 before the execution of the damage vector connection method are changed to labels C5-1 and C5-3 after the execution of the damage vector connection method.
  • the contents of the transition must be recorded in the hierarchical structure information one by one as a label history. Further, in order to machine-learn that the coupling by the damage vector C5-2 is an error, the deletion flag “1” of the damage vector C5-2 is recorded in the hierarchical structure information.
  • step S170 the editing result in S160 is learned, and the damage vector extraction reference is adjusted (adjustment process). This step is performed by the learning adjustment unit 122.
  • the damage vector extraction criteria can be adjusted by changing the cost calculation reference values for the distance, direction, and width of the damage vectors in accordance with the completion of the edit instruction input. Also good.
  • the deletion flag “1” of the damage vector C5-2 is recorded in the hierarchical structure information by the completion of the deletion operation on the damage vector C5-2 (see FIG. 8).
  • the number of operations or operation time required to complete the deletion operation is not less than a predetermined threshold (for example, 10 clicks or more, drag and drop 5 times or more, or 10 minutes or more from the start to the end of the editing operation).
  • the threshold values of the angles ⁇ 1 and ⁇ 2 are reduced by a predetermined amount (for example, 5 °).
  • a pair of damaged vectors that took a particularly large amount of time and number of operations required to delete a connection is used as a deletion learning model, and the characteristics that approximate this deletion learning model (the length, direction, width, both of each vector)
  • the angle formed by the damage vectors to be connected is more acute, the cost regarding the direction between the two becomes higher. That is, a pair of damage vectors having the same characteristics as the deletion learning model is less likely to be connected automatically, and manual editing necessary for overdetection of damage vectors and correction of erroneous automatic connections is reduced.
  • the directions of the damage vectors C1-5 and C8-1 (see FIG. 25) belonging to different vector groups are the same, and these are connected when the editing operation is completed a predetermined number of times or a predetermined time or more.
  • the additional operation flag “2” of the damage vectors C1-5 and C8-1 is recorded in the hierarchical structure information.
  • a pair of these damage vectors C1-5 and C8-1 is used as an additional learning model, and the distance threshold for connecting damage vectors in the same direction is increased by a predetermined amount (for example, 10 pixels).
  • the cost related to the distance between the damage vectors is reduced with respect to the damage vectors having characteristics (length, direction, width, angle formed by both vectors) that are approximate to the additional learning model.
  • the pairs of damage vectors that approximate the features of the additional learning model are more likely to be connected automatically, reducing the trouble of detecting damage vectors and manually connecting damage vectors that were not automatically connected. Is done.
  • the damage information processing apparatus 100 and the damage information processing method according to the present embodiment it is possible to easily grasp the connection relationship between the damage vectors, and analyze and / or search the damage vectors based on the hierarchical structure information. Can be easily performed.
  • the hierarchical structure information can be easily edited without specifying the position of the damage vector having a complicated shape.
  • the damage vector extraction criteria can be modified to realize more accurate automatic damage vector extraction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

自動検出された損傷に対する手動の編集履歴を蓄積して、ひび割れの検出精度の向上に役立てることのできるひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラムを提供する。損傷ベクトル（Ｃ５－２）に対する削除操作の完了によって、この損傷ベクトル（Ｃ５－２）の削除フラグ"１"が階層構造情報に記録されたとする。この場合、削除操作の完了に要した操作回数または操作時間が所定の閾値以上（例えばクリック１０回以上、ドラッグアンドドロップ５回以上、あるいは編集操作の開始から終了までが１０分以上など）であれば、角α１及び角α２の閾値を所定の量（例えば５°）だけ減らす。

Description

ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム
　本発明は、ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラムに関し、特に、構造物のひび割れに関するひび割れ情報を検出するためのひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラムに関する。
　橋梁、トンネル、道路、及びビル等の構造物には各種の損傷（ひび割れ）が発生し、時間と共に損傷が大きくなってゆくため、構造物の安全を確保するには、損傷の状況に応じて補修を行う必要がある。従来、損傷の検査は作業員による目視あるいは器具を用いた検査により行われてきたが、検査時間及びコスト、作業場所の環境等の問題により、近年は撮像装置及び／または画像処理装置により電子的な処理が行われるようになってきている。
　特許文献１によると、ひび割れの検知装置が、画素値に関する特徴量選定とニューラルネット収束演算により、ひび割れ候補画像を生成する。候補画像におけるひび割れ判定では、ひび割れ候補画像の決定と、その近傍範囲内にある画素の連結判定を行っている。また、隣接画素のユークリッド距離に基づき、飛び地であってひび割れではないとする判定を行う。
　特許文献２には、連結する黒画素（または白画素）の塊に対して同じラベル（番号）を割り当て、異なる連結成分どうしは異なるラベル（番号）を割り当てるラベリング処理が記載されており、これにより、ひび割れ等の損傷領域のラベル、汚れなどのラベルに分けることができる。
　また、ラベリング処理されたラベリング画像は、”１”の集合、すなわち”１”の塊に対して、「Ａ」、「Ｂ」及び「Ｃ」というラベルを割り当てたものであり、ラベル「Ａ」はひび割れ部分のラベルで、ラベル「Ｂ」及び「Ｃ」は汚れなどに対する塊部分であることが識別できるようになっている。また、ラベルとして記号を付したが、番号であっても良いものとしている。さらに、画像上に現れたひび割れ部分にラベルを割り当て、そのラベリング画像からひび割れ部分の画素数を計測し、画素数及び分解能からひび割れ幅及び長さを計測する。
　特許文献３には、コンクリート表面の原画像から汚れやムラを取り除いた前処理済画像を取得し、取得した前処理画像を段階的な画像圧縮により圧縮した、４階層の４つのレイヤ画像を形成し、抽出対象に応じたレイヤ画像から対応する変状を抽出し、全てのレイヤ画像を統合し、検出した変状を一括して表示する方法が記載されている。
　特許文献４には、欠陥を含まない学習画像から取得された学習結果に基づいて検査画像における欠陥を検出する欠陥検出装置が記載されている。
特開2011-242365号公報 特開2002-174601号公報 特開2014-6222号公報 特開2010-203845号公報
　これらの電子的な損傷の自動検出処理では、損傷の検出もれ、過検出、誤検出が生じうる。これは損傷の断続的な形状やコンクリート表面の汚れなどが原因である。このため、ユーザーが自動検出結果を確認し、ひび割れ領域の追加や不要な検出領域の削除といった手動の編集や修正を行う必要がある。
　これらの手動の編集履歴を蓄積して機械学習し、ひび割れの検出精度の向上に役立てることが考えられる。
　もっとも、ひび割れによっては、精度よく自動検出されているものもあればそうでないものもある。編集履歴上でこれらのひび割れの区別をつけないと、機械学習の対象を絞った効率的な機械学習ができない。
　特許文献１には、自動的なひび割れ検出結果に対し、ユーザが特定のひび割れのみを指定して自動的なひび割れ検出結果を編集することは記載されていない。よって、上記のようなひび割れの区別はできない。
　特許文献２の技術では、ひび割れと汚れをラベルで識別することはできるが、ラベルによりひび割れ等の欠陥情報を指定したり、その指定した欠陥情報を削除（編集等）することはできない。よって、上記のようなひび割れの区別はできない。
　特許文献３には、入力済の変状図形に対して対話的に削除や連結などの図形編集が行われる記載があるが、編集情報を変状図形とともにベクトル化して管理する記載や、編集情報に基づいて変状抽出を機械学習させる記載はない。
　特許文献４には、検出された欠陥情報をユーザが編集したり、編集情報を機械学習用に保存する記載はない。
　本発明はこのような問題点に鑑みてなされたもので、その目的は、自動検出された損傷に対する手動の編集履歴を蓄積して、ひび割れの検出精度の向上に役立てることのできるひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラムを提供することにある。
　上記の課題を解決するため、本願発明の第１態様に係るひび割れ情報検出装置は、構造物の表面画像の画像解析により検出される構造物のひび割れについてのひび割れ情報を検出するひび割れ情報検出部と、ひび割れ情報検出部が検出したひび割れ情報に基づいて、ひび割れに対応するひび割れ情報を識別するラベルを付与するラベリング部と、ひび割れ情報の編集を受け付けるひび割れ情報編集部と、ひび割れ情報の編集結果とひび割れ情報の編集に要した操作履歴とラベルとを対応づけてデータベースに登録する登録部と、を備える。
　この第１態様に係るひび割れ情報検出装置は、ひび割れ情報の編集結果とひび割れ情報の編集に要した操作履歴とラベルとを対応づけてデータベースに登録する。このため、ひび割れごとに、編集に要した操作履歴を区別でき、機械学習によるひび割れの検出精度の向上に役立てることができる。
　本願発明の第２態様に係るひび割れ情報検出装置において、ひび割れ情報の編集結果は、同一のラベルに対応するひび割れ情報を構成する画素の削除位置、同一のラベルに対応するひび割れ情報を構成する画素の追加位置、および異なるラベルに対応する不連続なひび割れ情報同士を接続する画素の追加位置のうち少なくとも１つを含む。
　本願発明の第３態様に係るひび割れ情報検出装置において、ひび割れ情報の編集に要した操作履歴は、ひび割れ情報を構成する画素の削除に要した操作の回数およびひび割れ情報を構成する画素の削除に要した操作の時間のうち少なくとも１つを含む。
　本願発明の第４態様に係るひび割れ情報検出装置において、ひび割れ情報の編集に要した操作履歴は、ひび割れ情報を構成する画素の追加に要した操作の回数およびひび割れ情報を構成する画素の追加に要した操作の時間のうち少なくとも１つを含む。
　本願発明の第５態様に係るひび割れ情報検出装置において、ひび割れ情報の編集に要した操作履歴は、不連続なひび割れ情報同士を接続する画素の追加に要した操作の回数および不連続なひび割れ情報同士を接続する画素の追加に要した操作の時間のうち少なくとも１つを含む。
　本願発明の第６態様に係るひび割れ情報検出装置において、データベースに登録されたラベルごとのひび割れ情報の操作履歴に基づいて、学習すべき編集履歴を特定し、特定された編集履歴に対応する編集結果から、連続したひび割れまたは不連続なひび割れとして検出すべきひび割れの特徴を機械学習することにより、ひび割れ情報検出部によるひび割れ情報を検出するモデルを更新する機械学習部を備える。
　本願発明の第７態様に係るひび割れ情報検出装置において、連続したひび割れまたは不連続なひび割れとして検出すべきひび割れの特徴は、ひび割れの幅、長さ、および向きを含むベクトルデータを含む。
　本願発明の第８態様に係るひび割れ情報検出装置において、ひび割れ情報検出部は、クラスカル法、プリム法、ニューラルネット収束演算、パーコレイション法などにより、構造物のひび割れについてのひび割れ情報を検出する。
　本願発明の第８態様に係るひび割れ情報検出方法では、コンピュータが、構造物の表面画像の画像解析により検出される構造物のひび割れについてのひび割れ情報を検出するステップと、検出したひび割れ情報に基づいて、ひび割れに対応するひび割れ情報を識別するラベルを付与するステップと、ひび割れ情報の編集を受け付けるステップと、ひび割れ情報の編集結果とひび割れ情報の編集に要した操作履歴とラベルとを対応づけてデータベースに登録するステップと、を実行する。
　このひび割れ情報検出方法をコンピュータに実行させるためのひび割れ情報検出プログラムも本願発明の態様に含まれる。
　本発明によると、ひび割れ情報の編集結果とひび割れ情報の編集に要した操作履歴とラベルとを対応づけてデータベースに登録する。このため、ひび割れごとに、編集に要した操作履歴を区別でき、機械学習によるひび割れの検出精度の向上に役立てることができる。
図１は、構造物の例である橋梁を示す図である。 図２は、本発明の一実施形態に係る損傷情報処理装置の構成を示すブロック図である。 図３は、本発明の一実施形態に係る損傷情報処理方法の手順を示すフローチャートである。 図４は、曲線状の損傷を分割して複数の損傷ベクトルを生成する様子を示す図である。 図５は、損傷ベクトルの始点を決める様子を説明するための図である。 図６は、損傷ベクトルの始点を決める様子を説明するための他の図である。 図７は、分離した損傷ベクトルの連結を示す図である。 図８は、分離した損傷ベクトルの連結を示す他の図である。 図９は、階層構造情報に含まれる画像情報を示す表である。 図１０は、階層構造情報に含まれる損傷ベクトルの情報の例（階層決定手法の例１に対応）を示す図である。 図１１Ａは、損傷ベクトルとラベルの表示例を説明するための図である。 図１１Ｂは、損傷ベクトルの部分的削除と部分的追加を説明するための図である。 図１１Ｃは、損傷ベクトルの部分的削除と部分的追加に対応する削除操作フラグおよび追加操作フラグの変更を説明するための図である。 図１１Ｄは、損傷ベクトルとラベルの表示例を説明するための図である。 図１２は、損傷ベクトルの階層決定手法の例２を説明するための他の図である。 図１３は、階層決定手法の例２に対応した階層構造情報（損傷ベクトル情報）の例を示す表である。 図１４は、損傷ベクトルの階層決定手法の例３を説明するための図である。 図１５は、損傷ベクトルの階層決定手法の例３を説明するための他の図であり、図１４よりも時間的に後に撮影した画像を示す図である。 図１６は、損傷ベクトルの階層決定手法の例３を説明するためのさらに他の図であり、図１５よりも時間的に後に撮影した画像を示す図である。 図１７は、階層決定手法の例３に対応した階層構造情報（損傷ベクトル情報）の例を示す表である。 図１８は、損傷ベクトルの階層決定手法の例４を説明するための図である。 図１９は、階層決定手法の例４に対応した階層構造情報（損傷ベクトル情報）の例を示す表である。 図２０は、Ｃ１－３のラベルが選択され、このラベルに対応する損傷ベクトルに削除指示入力が行われる様子を示す図である。 図２１は、Ｃ１－３のラベルに対応する損傷ベクトルに削除指示入力が行われた結果、Ｃ１－３のラベルの表示が削除されかつＣ１－３のラベルに対応する損傷ベクトルの表示が削除された更新表示例を示す図である。 図２２は、当該削除指示入力が行われた結果、Ｃ１－３のラベルに対応する損傷ベクトルの削除操作フラグに”１”が割り当てられている階層構造情報の一例を示す図である。 図２３は、Ｃ１－５およびＣ８－１のラベルが選択され、これらのラベルに対応する損傷ベクトル同士の結合指示入力が行われている様子を示す図である。 図２４Ａは、当該結合指示入力が行われた結果、Ｃ１－５およびＣ８－１のラベルに対応する損傷ベクトルを結合した損傷ベクトルの線分および当該追加損傷ベクトルに付与されたラベル“Ｃ１－５＋Ｃ８－１”の更新表示例を示す図である。 図２４Ｂは、当該結合指示入力が行われた結果、Ｃ１－５およびＣ８－１のラベルに対応する損傷ベクトルを結合した損傷ベクトルの線分および当該追加損傷ベクトルに付与されたラベル“Ｃ１－５＋Ｃ８－１”の更新表示例、および、Ｃ１－５およびＣ８－１のラベルの表示が削除された更新表示例を示す図である。 図２５は、Ｃ１－５およびＣ８－１のラベルに対応する損傷ベクトルの追加操作フラグに”１”が割り当てられている階層構造情報の更新例を示す図である。 図２６は、追加損傷ベクトルに対応する“Ｃ１－５＋Ｃ８－１”のラベルが選択され、これらのラベルに対応する損傷ベクトル同士の結合解除指示入力が行われている様子を示す図である。 図２７は、当該結合解除指示入力が行われた結果、Ｃ１－５およびＣ８－１のラベルの損傷ベクトル同士の結合が解除された表示例を示す図である。 図２８は、Ｃ１－５およびＣ８－１のラベルに対応する損傷ベクトルの追加操作フラグに”０”が割り当てられている階層構造情報の一例を示す図である。 図２９は、Ｃ３－１とＣ４－１を結合する損傷ベクトルＣ５－２の結合解除の指示の一例を示す図である。 図３０は、Ｃ３－１とＣ４－１を結合する損傷ベクトルＣ５－２の結合解除後の表示の一例を示す図である。 図３１は、損傷ベクトルＣ５－２に対する削除操作の完了によって、この損傷ベクトルＣ５－２の削除フラグ“１”とこれに関連する操作履歴を含む付加情報が階層構造情報に記録された様子を示す図である。
　以下、添付図面を参照しつつ、本発明に係るひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラムの実施形態について説明する。
　＜第１の実施形態＞
　図１は、本発明に係るひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラムが適用される構造物の例である橋梁１（構造物、コンクリート構造物）の構造を示す斜視図である。図１に示す橋梁１は主桁３を有し、主桁３は接合部３Ａで接合されている。主桁３は橋台及び／または橋脚の間に渡され、床版２上の車輌等の荷重を支える部材である。また主桁３の上部には、車輌等が走行するための床版２が打設されている。床版２は鉄筋コンクリート製のものとする。なお橋梁１は、床版２及び主桁３の他に図示せぬ横桁、対傾構、及び横構等の部材を有する。
　＜画像の取得＞
　橋梁１の損傷を検査する場合、検査員はデジタルカメラ１０４（図２参照）を用いて橋梁１を下方から撮影し（図１のＣ方向）、検査範囲について表面画像を取得する。撮影は、橋梁１の延伸方向（図１のＡ方向）及びその直交方向（図１のＢ方向）に適宜移動しながら行う。なお橋梁１の周辺状況により検査員の移動が困難な場合は、橋梁１に沿って移動可能な移動体にデジタルカメラ１０４を設置して撮影を行ってもよい。このような移動体には、デジタルカメラ１０４の昇降機構及び／またはパン・チルト機構を設けてもよい。なお移動体の例としては車輌、ロボット、及び飛翔体を挙げることができるが、これらに限定されるものではない。
　＜損傷情報処理装置の構成＞
　図２は、本実施形態に係るひび割れ情報検出装置の実施態様である損傷情報処理装置１００の概略構成を示すブロック図である。損傷情報処理装置１００は、損傷情報取得部１０２、損傷ベクトル生成部１１０（ひび割れ情報検出部に対応）、階層構造情報生成部１１２（ラべリング部に対応）、損傷ベクトル抽出部１１４、階層構造情報記録部１１６（登録部に対応）、表示部１１８、操作部１２０（ひび割れ情報編集部に対応）、及び学習調整部１２２（機械学習部に対応）を備え、互いに接続されていて、必要な情報を互いに送受信できるようになっている。
　各部の機能は、例えばＣＰＵ（Central Processing Unit）等の制御デバイスがメモリに記憶されたプログラムを実行することで実現できる。また、損傷情報取得部１０２は無線通信用アンテナ及び入出力インタフェース回路を含み、階層構造情報記録部１１６はＨＤＤ（Hard Disk Drive）等の非一時的記録媒体を含んで構成される。また表示部１１８は液晶ディスプレイ等の表示デバイスを含み、操作部１２０はキーボード等の入力デバイスを含む。なおこれらは本発明に係る損傷情報処理装置の構成の一例を示すものであり、他の構成を適宜採用し得る。
　上述のようにデジタルカメラ１０４を用いて撮影された画像は、無線通信により画像取得部１０６に入力されて、画像処理部１０８により損傷情報が取得される。デジタルカメラ１０４、画像取得部１０６、及び画像処理部１０８は損傷情報取得部１０２を構成する。損傷ベクトル生成部１１０は、損傷情報取得部１０２が取得した損傷情報から画像解析により損傷ベクトル（ひび割れベクトル）を生成し、また空間的に分離した損傷ベクトルを連結させる。階層構造情報生成部１１２は損傷ベクトル生成部１１０が生成した損傷ベクトルに基づいて階層構造情報を生成し、生成された階層構造情報は階層構造情報記録部１１６に記録される。損傷ベクトル抽出部１１４は、階層構造情報を参照して、損傷ベクトルの所属階層等の指定された条件を満たす損傷ベクトルを抽出する。表示部１１８は、入力した画像、生成あるいは抽出した損傷ベクトル、階層構造情報等を表示する。表示部１１８はまた、損傷ベクトルの情報から線分の画像を生成する等、表示の際に必要な画像処理を行う。操作部１２０は、損傷ベクトル及び階層構造情報の抽出条件並びに表示条件の設定、及び階層構造情報の編集等に関するユーザの指示入力を受け付ける。
　＜損傷情報処理の手順＞
　次に、上述した構成の損傷情報処理装置１００を用いた損傷情報処理（本発明のひび割れ情報検出方法に対応）について説明する。図３は本実施形態に係る損傷情報処理の手順を示すフローチャートである。なお、本実施形態では損傷が床版２に生じたひび割れである場合について説明し、損傷を適宜「ひび割れ」と記載するが、本発明が適用可能な損傷はひび割れに限らず、遊離石灰等他の損傷でもよい。この処理を損傷情報処理装置１００により実行させるためのプログラム（本発明のひび割れ情報検出プログラムに対応）は、損傷情報処理装置１００に内蔵のフラッシュメモリなどのコンピュータ読み取り可能な非一時的有形媒体に記録されている。
　＜損傷情報取得工程＞
　まず、上述のようにデジタルカメラ１０４で撮影した橋梁１の画像を、無線通信により画像取得部１０６に入力する（ステップＳ１００；画像入力工程）。橋梁１の画像は検査範囲に応じて複数入力され、また入力する画像には、デジタルカメラ１０４により撮影日時の情報が付加されている。なお入力画像の撮影日時は必ずしも全ての画像において同一である必要はなく、複数日に亘っていてもよい。画像は複数の画像を一括して入力してもよいし、一度に１つの画像を入力するようにしてもよい。なお、橋梁１の画像は無線通信でなく各種メモリカード等の非一時的記録媒体を介して入力するようにしてもよいし、既に撮影され記録されている画像のデータをネットワーク経由で入力してもよい。なおステップＳ１００で入力する橋梁１の画像は、撮影画像そのままでもよいし、撮影画像に前処理を施したものでもよい。
　＜損傷抽出工程＞
　次に、画像処理部１０８は、入力した画像から損傷（ひび割れ）を抽出する（ステップＳ１１０；損傷抽出工程）。ステップＳ１００の画像入力工程及びステップＳ１１０の損傷抽出工程は、本発明の損傷情報処理方法における損傷情報取得工程を構成する。なおステップＳ１１０では、ステップＳ１００で入力した画像から損傷が抽出されていれば、即ち画像における損傷の領域が識別されていれば損傷情報が取得できたものと考えてよく、損傷の詳細な特徴が把握されることまでは要しない。
　ステップＳ１１０における損傷の抽出は種々の手法により行うことができるが、例えば特許４００６００７号公報に記載されたひび割れ検出方法を用いることができる。この方法は、対比される２つの濃度に対応したウェーブレット係数を算定すると共に、該２つの濃度をそれぞれ変化させた場合のそれぞれのウェーブレット係数を算定してウェーブレット係数テーブルを作成し、ひび割れ検出対象であるコンクリート表面を撮影した入力画像をウェーブレット変換することによってウェーブレット画像を作成する工程と、ウェーブレット係数テーブル内において、局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数を閾値として、注目画素のウェーブレット係数と該閾値とを比較することによりひび割れ領域とひび割れでない領域を判定する工程とからなるひび割れ検出方法である。
　なおステップＳ１１０における損傷の抽出は、ステップＳ１００で入力した画像に必要な前処理を施してから行うようにしてもよい。
　＜損傷ベクトルの生成＞
　ステップＳ１１０で損傷が抽出されると（損傷情報が取得されると）、損傷ベクトル生成部１１０が、取得した損傷情報をベクトル化して損傷ベクトル（ひび割れベクトル）を生成する（ステップＳ１２０；損傷ベクトル生成工程）。ベクトル化に際しては、抽出した損傷（ひび割れ）を必要に応じ２値化及び／または細線化する。なお「ベクトル化」とは、損傷に対し始点及び終点で定まる線分を求めることであり、損傷（ひび割れ）が曲線状の場合、曲線と線分の距離が閾値以下になるように損傷を複数の区間に分割し、複数の区間のそれぞれについて損傷ベクトルを生成する。図４の例では、曲線状の損傷Ｃｒを４つの区間Ｃｒ１～Ｃｒ４に分割し、それぞれの区間について損傷ベクトルＣｖ１～Ｃｖ４を生成することで、区間Ｃｒ１～Ｃｒ４における損傷と損傷ベクトルＣｖ１～Ｃｖ４との距離ｄ１～ｄ４が閾値以下になるようにしている。
　損傷ベクトルの生成に際しては、例えば床版２の特徴点を座標系の原点とし、損傷ベクトルのグループ（ベクトルグループ）について、原点からの距離が最小になる端点を第１の始点とし、以下損傷ベクトルの走行方向に沿って順次終点、始点を決定することができる。図５の例では、床版２上の点Ｐ０を座標系の原点、図の右方向及び下方向をそれぞれ座標系のＸ軸方向、Ｙ軸方向としたときに、ベクトルグループＣ７の点Ｐ１３，Ｐ１４，Ｐ１５，Ｐ１６のうち点Ｐ０からの距離ｄが最も短くなる点Ｐ１３を損傷ベクトルＣ７－１の始点とし、以下、点Ｐ１４を損傷ベクトルＣ７－１の終点（かつ損傷ベクトルＣ７－２，Ｃ７－３の始点）、点Ｐ１５，Ｐ１６をそれぞれ損傷ベクトルＣ７－２，Ｃ７－３の終点とすることができる。
　しかしながら、同様の手法でベクトルグループＣ８の始点を決定すると、点Ｐ１７が損傷ベクトルＣ８－１の始点、点Ｐ１８が損傷ベクトルＣ８－２，Ｃ８－３の始点となり、損傷ベクトルＣ８－３の走行方向（点Ｐ１８から点Ｐ２０へ向かう方向）が損傷ベクトルＣ８－１の走行方向と逆行してしまう。そこでこのような場合は、図６に示すように点Ｐ１９を損傷ベクトルＣ８Ａ－１の始点とし、以下、点Ｐ１８を損傷ベクトルＣ８Ａ－１の終点（かつ損傷ベクトルＣ８Ａ－２，Ｃ８Ａ－３の始点）、点Ｐ１７，Ｐ２０をそれぞれ損傷ベクトルＣ８Ａ－２，Ｃ８Ａ－３の終点とするようにしてもよい。なおこの場合の損傷ベクトルの集合体をベクトルグループＣ８Ａと表記する。このような処理は損傷ベクトル生成部１１０がユーザの指示入力を介さずに行うようにしてもよいし、操作部１２０を介したユーザの指示入力に基づいて損傷ベクトル生成部１１０が行うようにしてもよい。
　＜分離した損傷ベクトルの連結＞
　上述のようにして損傷ベクトルを生成する場合、損傷が床版２の内部では連続しているが表面では分離していると、分離した損傷ベクトルとして認識されてしまう可能性がある。そこで本実施形態に係る損傷情報処理装置１００では、そのような複数の損傷ベクトルを連結して１または複数のベクトルを生成する。
　図７は損傷ベクトルの連結の例を示す図であり、損傷ベクトルＣ３－１（点Ｐ２１、点Ｐ２２がそれぞれ始点、終点）を含むベクトルグループＣ３と、損傷ベクトルＣ４－１（点Ｐ２３、点Ｐ２４がそれぞれ始点、終点）を含むベクトルグループＣ４とが抽出された状況を示している。また、損傷ベクトルＣ３－１が点Ｐ２２及び点Ｐ２３を結ぶ線分となす角をα１とし、点Ｐ２２及び点Ｐ２３を結ぶ線分が損傷ベクトルＣ４－１となす角をα２とする。このとき、角α１及び角α２が共に閾値以下ならば、損傷ベクトルＣ３－１及びＣ４－１を連結し、またベクトルグループＣ３及びＣ４を融合させる。具体的には、図８に示すように新たな損傷ベクトルＣ５－２を生成してその他の損傷ベクトルＣ５－１（損傷ベクトルＣ３－１と同一）及びＣ５－３（損傷ベクトルＣ４－１と同一）と連結させ、これら損傷ベクトルＣ５－１，Ｃ５－２，及びＣ５－３を含む新たなベクトルグループをベクトルグループＣ５とする。
　なお上述の手法は損傷ベクトル連結手法の一例であり、他の方法を用いてもよい。また、上述のように損傷ベクトル同士を連結させるか否かは、ユーザの指示入力によらずに損傷ベクトル生成部１１０が判断するようにしてもよいし、操作部１２０を介したユーザの指示入力に基づいて損傷ベクトル生成部１１０が判断するようにしてもよい。
　このように本実施形態に係る損傷情報処理装置１００では、空間的に（床版２の表面で）分離した損傷ベクトルを適宜連結させることにより、損傷ベクトル同士の連結関係を正確に把握することができる。
　＜階層構造情報の生成＞
　ステップＳ１２０で損傷ベクトルが生成されると、生成した損傷ベクトルに基づいて、階層構造情報生成部１１２が階層構造情報を生成する（ステップＳ１３０；階層構造情報生成工程）。階層構造情報は損傷ベクトル同士の連結関係を階層的に表現した情報であり、画像情報（図９を参照）及び損傷ベクトル情報（図１０，１３，１７，及び１９を参照）により構成される。これら画像情報及び損傷ベクトル情報は、損傷ベクトル（ひび割れベクトル）の集合体であるベクトルグループを介して関連づけられている。したがって損傷の画像からベクトルグループのＩＤ（Identification）を参照して損傷ベクトルを抽出することもできるし、逆に損傷ベクトルに基づいて画像を抽出することもできる。なお、階層構造情報は損傷ベクトルが所属する階層（レベル）によらず同一の項目及び形式で生成されるデータベースであるので（図１０，１３，１７，及び１９を参照）、ユーザは階層構造情報を容易に認識及び把握することができる。
　＜画像情報＞
　上述した画像情報とは、損傷が撮像された撮影画像についての情報であり、損傷ベクトルのグループについて、撮影画像の識別情報（ＩＤ）及び画像データ、画像取得日時等を規定したものである。図９は画像情報の例を示す表であり、ベクトルグループＣ１（図１１Ａ参照）について、画像のＩＤ、画像データ、取得日時、画像の幅及び高さ、チャンネル数、ビット／ピクセル、解像度が規定されている。チャンネル数はＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）カラー画像なら３チャンネルであり、モノクロ画像なら１チャンネルである。なお図９ではベクトルグループＣ１についてのみ記載しているが、ベクトルグループが複数存在する場合は、各グループについて同様の情報が生成される。
　＜損傷ベクトル情報＞
　図１０は、損傷ベクトル情報の例である。損傷ベクトル情報は、損傷ベクトルが所属するベクトルグループの情報と、各損傷ベクトルの固有情報と、ベクトルグループ内において各損傷ベクトルに連結する他の損傷ベクトルの情報と、付加情報と、から構成される。
　ベクトルグループ（図１０の表の場合ベクトルグループＣ１；図１１Ａ参照）の情報はグループのラベル（識別情報）を含む。損傷ベクトルの固有情報は、損傷ベクトルのラベル（識別情報）、階層（レベル；所属階層情報）、始点及び終点（点番号及び位置座標）、損傷ベクトルの向き（始点から終点へ向かう方向）、及び長さを含む。ここで階層（レベル）は、レベル１が最上位であり、数字が大きくなるほど下位の階層になる。具体的な階層の決定方法については詳細を後述する。他の損傷ベクトルの情報は、以下に説明するように親ベクトル、兄弟ベクトル、及び子ベクトルのラベル（識別情報）を含む。
　＜親ベクトル、兄弟ベクトル、及び子ベクトル＞
　本実施形態において、一の損傷ベクトルの終点が他の損傷ベクトルの始点となっている場合、そのような一の損傷ベクトルを「親ベクトル」といい、他の損傷ベクトルを「子ベクトル」という。親ベクトルは１つの損傷ベクトルについてゼロまたは１つとなるように決めるものとするが、子ベクトルは１つの親ベクトルに対しゼロ以上の任意の数だけ存在していてよい。また、親ベクトルの終点が複数の子ベクトルの始点となっている場合、それら複数の子ベクトルは互いに「兄弟ベクトル」という。兄弟ベクトルも、ゼロ以上の任意の数だけ存在していてよい。
　このように、本実施形態では階層構造情報に親ベクトル、兄弟ベクトル、及び子ベクトルのラベル（識別情報）が含まれるので、任意の損傷ベクトルに基づいて、ベクトルのＩＤを参照して親ベクトル、兄弟ベクトル、及び子ベクトルを順次特定することができる。例えば、ある損傷ベクトルの親ベクトルを特定し、その親ベクトルの親ベクトルをさらに特定することができる。このようにして本実施形態に係る損傷情報処理装置１００では、損傷ベクトル同士の連結関係を容易に把握でき、また損傷ベクトルの分析及び検索を容易に行うことができる。
　＜付加情報＞
　付加情報は、損傷の幅、編集履歴（削除操作フラグ、追加操作フラグ）、点検日、及び補修情報を含む。
　付加情報に含まれる「幅」は、各損傷ベクトルに対応するひび割れの幅を示す。削除操作フラグは削除操作が行われたベクトルであるかどうかを示し、削除操作が行われた場合は“１”、行われていない場合は“０”である。この削除操作フラグを参照して、損傷ベクトルの表示と非表示とを切り替えることができる。追加操作フラグは、損傷ベクトルの検出態様に関連しており、自動で検出されたベクトルである場合は“０”、手動で（ユーザの指示入力により）追加されたベクトルである場合は“１”、手動で追加され異なるラベルのベクトルを接続して生成されたベクトルである場合は“２”である。
　付加情報は、編集履歴の削除操作フラグが“１”の場合に限り、さらに編集履歴として、削除操作回数、削除操作時間、削除画素位置、削除画素面積などの操作履歴を含む。
　また付加情報は、編集履歴の追加操作フラグが“１”または“２”の場合に限り、さらに編集履歴として、追加操作回数、追加操作時間、追加画素位置、追加画素面積などの操作履歴を含む。
　図１１Ｂに例示するように、損傷ベクトルを構成する領域の加除（部分的追加および／または部分的除去）がされた場合、図１１Ｃに例示するように、削除操作フラグおよび／または追加操作フラグに”１”が割り当てられる。よって、ある損傷ベクトルについて領域の部分的追加と部分的削除が組み合わせて行われた場合、対応する削除フラグは“１”かつ追加操作フラグは“１”となる。この結果、損傷ベクトルの追加部分の線分は表示、削除部分の線分は非表示となる。
　ラベル履歴は、操作履歴の更新に伴うラベルの変更の履歴である。操作履歴がない場合、ラベル履歴は記録されない。
　その他、操作履歴には、個々の操作と操作の間の時間の最大値や最小値、単位時間当たりの操作回数など、編集操作に関して測定可能な各種の値を含めることができる。
　「削除操作回数」は、上記削除操作の開始から完了までの操作回数を示す。
　「削除操作時間」は、上記削除操作の開始から完了までの操作時間を示す。
　「削除画素位置」は、上記削除操作によって削除された損傷ベクトルの画素位置を示す。
　「削除画素面積」は、上記削除操作によって削除された損傷ベクトルの画素面積を示す。
　「追加操作回数」は、上記追加操作の開始から完了までの操作回数を示す。
　「追加操作時間」は、上記追加操作の開始から完了までの操作時間を示す。
　「追加画素位置」は、上記追加操作によって追加された損傷ベクトルの画素位置を示す。
　「追加画素面積」は、上記追加操作によって追加された損傷ベクトルの画素面積を示す。
　「点検日」には損傷の画像を撮像した日を設定するが、操作部１２０を介したユーザの指示入力により編集することもできる。また「補修」の情報は、操作部１２０を介したユーザの指示入力（補修の種類及び補修日）に基づいて生成することができる。補修の種類は例えば、セメントで埋める、樹脂で埋める、放置（経過観察）など（図１０の表ではそれぞれＲ１，Ｒ２，Ｒ３と記載している）がある。
　＜損傷ベクトルの階層＞
　次に、損傷ベクトルが所属する階層（レベル）について説明する。損傷ベクトルの階層は、例えば以下の例１～４で説明するように、種々の手法で決定することができる。
　＜階層決定手法（例１）＞
　図１１Ａは、ベクトルグループＣ１を示す図である。ベクトルグループＣ１は、損傷ベクトルＣ１－１～Ｃ１－６により構成されており、これら損傷ベクトルは点Ｐ１～Ｐ７を始点または終点としている。このような状況において例１では、損傷ベクトルが分岐する（ある損傷ベクトルの終点が他の複数の損傷ベクトルの始点となっている）ごとに階層が下位になるとしている。具体的には損傷ベクトルＣ１－１の階層を最も上位の“レベル１”として、損傷ベクトルＣ１－１の終点である点Ｐ２を始点とする損傷ベクトルＣ１－２及びＣ１－３の階層は、損傷ベクトルＣ１－１よりも下位である“レベル２”とする。同様に、損傷ベクトルＣ１－３の終点である点Ｐ４を始点とする損傷ベクトルＣ１－５及びＣ１－６の階層は、損傷ベクトルＣ１－３よりも下位である“レベル３”とする。一方、損傷ベクトルＣ１－２の終点である点Ｐ３は損傷ベクトルＣ１－４の始点であるが、点Ｐ３を始点とする損傷ベクトルは損傷ベクトルＣ１－４だけであり分岐はないので、損傷ベクトルＣ１－４の階層はＣ１－２と同じ“レベル２”とする。このようにして決定した各損傷ベクトルの階層は、図１０の表に示すように階層構造情報に含まれる。
　また図１１Ａに示すように、各損傷ベクトルのラベルは、対応する各損傷ベクトルの始点、終点、またはこれらを結ぶ線分の近傍の任意の位置を起点とする吹き出しの映像によって、各損傷ベクトルと関連付けて表示部１１８にて表示される。このほか、各損傷ベクトルのラベルは、対応する各損傷ベクトルの線分近傍の任意の位置を起点とする旗、帯、プレート、ボックス、線、表などの映像、あるいはこれらの全部または一部の組み合わせによって、各損傷ベクトルと関連付けて表示されてもよい。吹き出しは、損傷ベクトルそのものと重複を避ける位置に配置するとよい。
　また、ラベルの表示位置や表示形式も任意である。図１１Ａでは、損傷ベクトルの近傍にラベルを配置しているが、図１１Ｄのように、損傷ベクトルと重複しない画面の空白部分にラベル群を一覧表にて表示し、各ラベルと各損傷ベクトルとを一対一で結ぶ線で関連づけることで両者の対応を示してもよい。なお、吹き出しなどで示された個々のラベルまたはラベルの一覧表は、同一グループの損傷ベクトルとの重複表示が回避されればよく、異なるグループに対応する損傷ベクトルとは重複して表示されてもよい。
　＜階層決定手法（例２）＞
　図１２は、ベクトルグループＣ１（損傷ベクトル同士の連結関係は図１１Ａに示すものと同一）を示す図である。例２では、連結する損傷ベクトルのうち他の損傷ベクトルとなす角度が閾値以下であるもの（木構造における「幹」に相当する損傷ベクトル）は同一の階層に属するものとしている。具体的には図１２の点線内（参照符号Ｌｖ１で示す範囲）に存在する損傷ベクトルＣ１－１，Ｃ１－２，及びＣ１－４は同一の階層である“レベル１”（最上位）とする。また、それ以外の損傷ベクトルＣ１－３，Ｃ１－５，及びＣ１－６については、例１と同様に損傷ベクトルが分岐するごとに階層が下位になるとしており、損傷ベクトルＣ１－３（木構造における「枝」に相当）を“レベル２”、損傷ベクトルＣ１－５及びＣ１－６（木構造における「葉」に相当）を“レベル３”としている。このようにして決定した各損傷ベクトルの階層及び種別（幹、枝、あるいは葉）は、図１３の表に示すように、階層構造情報に含まれる。
　＜階層決定手法（例２の変形例）＞
　上述した階層決定手法（例２）の変形例について説明する。階層決定手法（例２）のように損傷ベクトルを木構造における幹、枝、及び葉に相当するものとして階層を決定するに際して、一般に「枝」は「幹」よりも短いと考えられるため、最長の損傷ベクトルを「幹」（レベル１）とし、その他の損傷ベクトルを「枝」または「葉」として階層を決定するようにしてもよい。この場合、例えば図１３の表に示す損傷ベクトル情報では、長さ100mmの損傷ベクトルＣ１－１が「幹」（レベル１）となる。損傷ベクトルＣ１－２及びＣ１－３は「枝」（レベル２）とし、損傷ベクトルＣ１－４は「枝」（レベル２）または「葉」（レベル３）、損傷ベクトルＣ１－５，及び６は「葉」（レベル３）とすることができる。
　なお、「最長の損傷ベクトル」ではなく「最長のひび割れ」を構成する損傷ベクトルを「幹」（レベル１）とし、「幹」から分岐しているひび割れに対応する損傷ベクトルを「枝」または「葉」としてもよい。この場合、「最長のひび割れ」とは「太いひび割れも細いひび割れも全て繋がった状態において、ひび割れとして最長である」ことを意味するものとする。
　また、損傷ベクトルの長さに加え幅（損傷ベクトルに対応する損傷の幅）をも考慮して種別（幹、枝、及び葉）及び階層を決定するようにしてもよい。例えば、「長さ×幅」が最大になる損傷ベクトルを「幹」とし、その他の損傷ベクトルを「枝」または「葉」として階層を決定するようにしてもよい。この場合、例えば図１３の表に示す損傷ベクトル情報では、「長さ×幅」が最大（100mm２）である傷ベクトルＣ１－１が「幹」となる。損傷ベクトルＣ１－２及びＣ１－３は「枝」（レベル２）とし、損傷ベクトルＣ１－４は「枝」（レベル２）または「葉」（レベル３）、損傷ベクトルＣ１－５，及び６は「葉」（レベル３）とすることができる。
　上述した変形例のように損傷ベクトルの長さ、または「長さ×幅」を考慮して損傷ベクトルの階層を決定することで、階層化の精度を向上させることができる。
　＜階層決定手法（例３）＞
　図１４～１６は、ベクトルグループＣ１（損傷ベクトル同士の連結関係は図１１，１２に示すものと同一）を示す図である。例３では、損傷ベクトルが生じた時間の先後を橋梁１の画像の撮影日時に基づいて判断し、損傷ベクトルが時間的に後に生じたものであるほど下位の階層に属するものとしている。図１４～１６の場合、最初に撮影した画像では損傷ベクトルＣ１－１を含むベクトルグループＣ１Ａが生じており（図１４）、次に撮影した画像では損傷ベクトルＣ１－２及びＣ１－３が新たに発生してベクトルグループＣ１Ｂとなり（図１５）、最後に撮影した画像ではさらに損傷ベクトルＣ１－４，Ｃ１－５，及びＣ１－６が発生してベクトルグループＣ１となった（図１６）ものとする。
　このような状況において例３では、最初の画像で生じている損傷ベクトルＣ１－１（図１４において参照符号Ｌｖ１で示す範囲）を最も上位の“レベル１”とし、次の画像で生じている損傷ベクトルＣ１－２及びＣ１－３（図１５において参照符号Ｌｖ２で示す範囲）を“レベル２”とし、最後の画像で生じている損傷ベクトルＣ１－４，Ｃ１－５，及びＣ１－６（図１６において参照符号Ｌｖ３で示す範囲）を“レベル３”とする。
　このようにして決定した各損傷ベクトルの階層は、図１７の表に示すように階層構造情報に含まれる。
　＜階層決定手法（例４）＞
　図１８は、ひび割れＣ２Ａ及びこれに対応するベクトルグループＣ２を示す図である。例４では、一の損傷ベクトルに連結している他の損傷ベクトルが１つのみである場合、そのような他の１つの損傷ベクトルは一の損傷ベクトルと同じ階層に属するものとしている。具体的には、図１８に示すように一本の曲線状のひび割れＣ２Ａが複数のひび割れＣ２Ａ－１～Ｃ２Ａ－４に分割されており、これらひび割れが点Ｐ８～点Ｐ１２を始点または終点とする損傷ベクトルＣ２－１～Ｃ２－４にそれぞれ対応している場合を考えると、損傷ベクトルＣ２－１～Ｃ２－３の終点にはそれぞれ１つの損傷ベクトル（損傷ベクトルＣ２－２～Ｃ２－４）しか連結していない。このような場合、例４では損傷ベクトルＣ２－１～Ｃ２－４（図１８において参照符号Ｌｖ１で示す範囲）は実質的に１つであると考え、全て同一の階層である“レベル１”（最上位）に属するものとする。
　このようにして決定した各損傷ベクトルの階層は、図１９の表に示すように階層構造情報に含まれる。
　以上、損傷ベクトルの所属階層決定手法の例１～４について説明したが、これらの手法は具体的な損傷の態様に応じて適宜使い分けることができ、また必要に応じて複数の手法を組み合わせて用いてもよい。例えば連結のパターンが複雑な損傷ベクトルのグループに対し、ある部分は例１を用いて階層を決定し、他の部分は例４を用いて階層を決定するようにしてもよい。このような階層手法の組合せは階層構造情報生成部１１２が判断して行うようにしてもよいし、操作部１２０を介したユーザの指示入力に基づいて行うこともできる。
　＜階層構造情報の項目及び形式＞
　本実施形態では、図１０，１３，１７，及び１９の表に示すように階層構造情報が損傷ベクトルの属する階層によらず同一の項目及び形式なので、損傷ベクトル同士の連結関係を迅速かつ容易に把握することができる。
　＜損傷ベクトルの抽出＞
　次に、損傷ベクトルの抽出について説明する。本実施形態において、階層構造情報には損傷ベクトルが所属するベクトルグループ、損傷ベクトルのラベル、所属階層、連結する他の損傷ベクトル（親ベクトル、兄弟ベクトル、及び子ベクトル）のラベル等が含まれているので（図１０，１３，１７，及び１９参照）、これらの項目について所望の条件を指定して損傷ベクトルを抽出することができる。指定する条件としては、例えば「損傷ベクトルが所属する階層」及び「特定のベクトルを親ベクトル、兄弟ベクトル、あるいは子ベクトルとするベクトル」を挙げることができるが、指定しうる条件はこれらの例に限定されるものではない。
　例えば図１０に示す損傷ベクトル情報の場合、「損傷ベクトルの階層（レベル）がレベル２」を条件として指定すると、階層構造情報の「階層（レベル）」の欄を参照して損傷ベクトルＣ１－２，Ｃ１－３，及びＣ１－４が抽出され、「損傷ベクトルＣ１－２と連結し、損傷ベクトルＣ１－２よりも上位の階層に属する損傷ベクトル」を条件として指定すると、損傷ベクトルＣ１－１（親ベクトル）が抽出される。また、「損傷ベクトルＣ１－２と連結し、損傷ベクトルＣ１－２と同じ階層に属する損傷ベクトル」を条件として指定すると、損傷ベクトルＣ１－３（兄弟ベクトル）及び損傷ベクトルＣ１－４（子ベクトル）が抽出され、「損傷ベクトルＣ１－３と連結し、損傷ベクトルＣ１－３よりも下位の階層に属する損傷ベクトル」を条件として指定すると、損傷ベクトルＣ１－５及びＣ１－６（子ベクトル）が抽出される。このような損傷ベクトルの抽出は、操作部１２０を介したユーザの指示入力に基づいて、損傷ベクトル抽出部１１４が階層構造情報記録部１１６を参照して行うことができる。
　このように、本実施形態に係る損傷情報処理装置１００では損傷ベクトルの検索、分析、及び評価を容易に行うことができる。なお抽出した損傷ベクトルは、個々の情報及び／または線画の形式で表示することができる（後述）。
　＜損傷ベクトル及び階層構造情報の表示＞
　ステップＳ１４０では、ステップＳ１３０で生成された階層構造情報を表示部１１８に表示する（表示工程）。階層構造情報の表示は、例えば図９，１０，１３，１７，及び１９に示す表の形式で行ったり、それらの表から抽出した一部の情報により行ったりすることができる。そのような「一部の情報」の一例としては、「指定した条件で抽出した損傷ベクトルの情報」及び「点検日及び／または補修日等、特定の項目についての情報」を挙げることができる。
　また、階層構造情報に基づいて損傷ベクトルを示す線画を描画し、表示部１１８に表示するようにしてもよい。図１０，１３，１７，１９の表に示すように、階層構造情報には損傷ベクトルの始点及び終点、並びに連結する他の損傷ベクトルの情報が含まれているので、これらの情報に基づいて損傷ベクトルを示す線画（例えば図１１Ａ，１１Ｂ，１２，１４～１６を参照）を描画し、表示することができる。損傷ベクトルを示す線画には、損傷ベクトルの向き（始点から終点へ向かう方向）が識別できるように矢印を付してもよい（図１１Ａ，１１Ｂ，１２，１４～１６を参照）。損傷ベクトルの線画を描画及び表示する場合、階層構造情報に含まれる全ての損傷ベクトルを描画及び表示してもよいし、一部の損傷ベクトル（例えば、上述のように指定された条件で抽出したもの）のみを表示するようにしてもよい。
　なお、損傷ベクトルを示す線画を表示する場合、その線画の近傍に、対応するラベルの映像を配置したり、階層構造情報に含まれる情報のうち特定の情報に応じて損傷ベクトルの色、太さ、及び線種（実線、点線等）等の表示条件を変えるようにしてもよい。そのような情報としては、例えば損傷ベクトルの階層（レベル）、種別（幹、枝、葉）、発生日時、削除操作フラグ、及び追加操作フラグの値等を挙げることができ、階層構造情報に含まれる項目のうちから適宜設定してよい。このように損傷ベクトルの特徴に応じた態様で表示することにより、損傷ベクトル同士の連結関係及び／または時間変化の様子を容易に把握することができる。
　上述した損傷ベクトルの線画と階層構造情報とは、いずれか一方を表示するようにしてもよいし、両方を同時に表示するようにしてもよい。また、上述の表示において損傷（ひび割れ）を撮像した画像（例えば図９の表に示す画像“img_2015-001”）を損傷ベクトルの線画と重ね合わせて、あるいは並べて表示し、両者が比較できるようにしてもよい（例えば図１８を参照）。
　本実施形態では、このようにして損傷ベクトル及び／または階層構造情報を表示するので、損傷ベクトルの情報及び損傷ベクトル同士の連結関係を容易に把握することができる。
　＜損傷ベクトル及び階層構造情報の記録＞
　ステップＳ１５０では、階層構造情報を階層構造情報記録部１１６に記録する（記録工程）。階層構造情報記録部１１６に記録された階層構造情報は、損傷の分析及び評価などの目的に使用することができる。なお階層構造情報から一部の情報（例えば指定した条件を満たす損傷ベクトル）を抽出した場合、そのようにして抽出した情報は全て元の階層構造情報に含まれるため、抽出結果は必ずしも記録しておかなくてもよいが、抽出結果についても階層構造情報記録部１１６に記録しておくことで、必要に応じ迅速に参照することができる。
　なお、ステップＳ１００～Ｓ１５０の工程は、上記の方法以外にも、グラフ理論で重み付き連結グラフの最小全域木を求める最適化問題のアルゴリズムであるプリム法で実行することができる。
　すなわち、例えば、グラフ理論の考え方に従って、検出結果の画素間にコストが設定できるとする。コストは損傷ベクトル（ひび割れ）の方向や幅や距離などの基準値を用いた計算結果であり、コストが最も小さい画素間を接続するものとする。コスト計算の概念として、損傷ベクトル同士の距離が離れるほどコストが大きくなるが、損傷ベクトル同士の方向が互いに一致するほどコストが小さくなるような計算方法が考えられる。距離は遠くとも他の基準で１本のひび割れらしさが大きい場合に、その情報を反映した接続結果を得ることができる。もし、周辺で画素間のコストが十分大きいものしかなければ、損傷ベクトル同士を接続する必要はない。また、接続した結果、不自然な角度（例えば９０°以下の鋭角）で折れ曲がるような形状になったり、不自然な幅の差が生じたりする（例えば接続された損傷ベクトル同士に５画素以上の幅の段差が生じる）場合は、接続しないような条件にしてもよい。このように、損傷ベクトル同士の距離、角度、幅の差について、両者の距離が小さい、角度が小さい、幅の差が小さいと、コストが小さくなるよう設定できる。
　そのほか、特許文献１と同様のニューラルネット収束演算などの各種の機械学習や、本出願人による特願２０１５－１９５７６９号に記載のパーコレイション法、クラスカル法など、各種の手法、あるいは、プリム法、ニューラルネット収束演算、パーコレイション法、クラスカル法など、各種の手法の一部または全部の組み合わせ、あるいはこれら一部または全部の組み合わせの１以上の反復により、１本の損傷ベクトルの抽出を精度よく行うことができる。
　＜損傷ベクトル及び階層構造情報の編集＞
　ステップＳ１６０では、操作部１２０を介したユーザの編集指示入力に基づいて、階層構造情報生成部１１２が階層構造情報記録部１１６に記録された階層構造情報を修正する（編集工程）。また、この編集指示入力に基づいて、表示部１１８による損傷ベクトルとラベルの表示が更新される。
　この編集指示入力は以下のものを含む。
　（１）任意に選択されたラベルに対応する損傷ベクトルを削除すること。この編集指示入力が行われた場合、削除された損傷ベクトルの削除操作フラグに”１”が割り当てられる。
　損傷ベクトルの削除指示入力は、次のようにして行うことができる。例えば、任意のラベルがクリック選択されると、選択されたラベルおよび当該選択されたラベルに対応する損傷ベクトルの線画が強調表示される。強調表示は、ラベルや損傷ベクトルの線画のデザインの変更（着色、点線化、太線化、輝度の変化など）によって行われる。また、選択されたラベルの近傍に、損傷ベクトルについて行うことが可能な編集操作「削除」を実行するか否かを確認するダイアログボックスが表示され、そのダイアログボックスから「削除」の実行を可とする選択がされると、選択されたラベルに対応する損傷ベクトルの削除操作フラグに”１”が割り当てられ、削除指示入力が完了する。
　図２０は、Ｃ１－３のラベルが選択され、このラベルに対応する損傷ベクトルに削除指示入力が行われる様子を示す。図２１では、Ｃ１－３のラベルに対応する損傷ベクトルに削除指示入力が行われた結果、Ｃ１－３のラベルの表示が削除されかつＣ１－３のラベルに対応する損傷ベクトルの線画の表示が削除された更新表示例を示す。また図２２は、当該削除指示入力が行われた結果、Ｃ１－３のラベルに対応する損傷ベクトルの削除操作フラグに”１”が割り当てられた階層構造情報の編集結果の一例である。なお、損傷ベクトルに削除指示入力が行われても、その損傷ベクトルに対応するラベルなどの階層構造情報は削除しない。これは後述のように、機械学習に使用するためである。
　（２）任意に選択されたラベルに対応する損傷ベクトルに対し、当該損傷ベクトルを構成する領域を加除（部分的追加および／または部分的除去）すること。この編集指示入力が行われた場合、選択されたラベルに対応する削除操作フラグおよび／または追加操作フラグに”１”が割り当てられる。また、加除領域を構成する画素の位置および範囲に対応して、階層構造情報に記録された損傷ベクトルの始点、終点、長さ、幅の値が更新される。
　（３）任意に選択された複数のラベルに関連づけられた複数の不連続な損傷ベクトル同士を１つの連続した損傷ベクトルに結合する損傷ベクトルを追加すること。この編集指示入力が行われた場合、結合された各損傷ベクトルの各追加操作フラグにそれぞれ”２”が割り当てられる。
　損傷ベクトルの追加指示入力は、次のようにして行うことができる。例えば、任意の２つのラベルがクリック選択されると、その選択されたラベルおよび対応する損傷ベクトルの線画が強調表示されるとともに、ラベルの近傍に、対応する損傷ベクトルについて行うことが可能な編集操作「結合」を実行するか否かを確認するダイアログボックスが表示され、そのダイアログボックスから「結合」の実行を可とする選択がされると、選択されたラベルに対応する各損傷ベクトルの各追加操作フラグに”２”が割り当てられ、損傷ベクトルの追加指示入力が完了する。
　図２３は、Ｃ１－５およびＣ８－１のラベルが選択され、これらのラベルに対応する損傷ベクトル同士を結合する損傷ベクトルの追加指示入力が行われている様子を示す。図２４Ａは、当該指示入力が行われた結果、Ｃ１－５およびＣ８－１のラベルに対応する損傷ベクトルを結合する追加の損傷ベクトルの線画と、当該追加の損傷ベクトルによって結合した損傷ベクトルに付与されたラベル“Ｃ１－５＋Ｃ８－１”の更新表示例を示す。なお、図２４Ｂに示すように、Ｃ１－５およびＣ８－１のラベルに対応する損傷ベクトルが一直線に結合される場合は、点Ｐ６、Ｐ１７の表示を消去してもよい。図２５は、Ｃ１－５およびＣ８－１のラベルに対応する損傷ベクトルの追加操作フラグに”２”が割り当てられている階層構造情報の更新例である。結合した損傷ベクトルのラベルは、他の損傷ベクトルと区別可能であれば何でもよい。また、結合した損傷ベクトルのベクトルグループは、結合された損傷ベクトルのいずれかのベクトルグループ（例えば長い方または短い方の損傷ベクトルの属するベクトルグループ）と同じでもよいし、別の新たなベクトルグループを生成してもよい。これは＜分離した損傷ベクトルの連結＞で説明したのと同様に行われる。
　なお、この更新された階層構造情報では、先に選択されたラベルＣ１－５の損傷ベクトルを親ベクトルとし、後に選択されたラベルＣ８－１の損傷ベクトルを子ベクトルとしている。ラベルＣ８－１が先に選択され、ラベルＣ１－５が後に選択された場合は、ラベルＣ８－１の損傷ベクトルを親ベクトルとし、ラベルＣ５－１の損傷ベクトルを子ベクトルとする。いずれにせよ、追加操作フラグに”２”が割り当てられた複数の損傷ベクトルＣ１－５およびＣ８－１と、これらのいずれか一方を親ベクトルとしかつ他方を子ベクトルとして結合する追加の損傷ベクトルとは、これらが一直線に結合される場合は、まとめて１つの連続した結合損傷ベクトルとなり、この１つの連続した結合損傷ベクトルには新たなラベル“Ｃ１－５＋Ｃ８－１”が付与される（図２４Ｂ参照）。
　ただし、損傷ベクトルＣ１－５およびＣ８－１を１つの連続した損傷ベクトルとして抽出しなかったことを機械学習するため、損傷ベクトルＣ１－５およびＣ８－１のラベルは削除せず、損傷ベクトルＣ１－５およびＣ８－１の追加操作フラグ“２”を階層構造情報に記録しておく。
　（４）複数のラベルに関連づけられた複数の不連続な損傷ベクトル同士の結合を解除すること。この結合の解除指示入力が行われた場合、結合が解除された各損傷ベクトルの各追加操作フラグにそれぞれ“０”が割り当てられる。
　損傷ベクトル同士の結合の解除指示入力は、次のようにして行うことができる。例えば、上記（３）による結合損傷ベクトルのラベルの中から、任意のラベルが選択されると、その選択されたラベルおよび対応する結合損傷ベクトルの線画が強調表示され、なおかつその選択されたラベルの近傍に、当該結合損傷ベクトルについて行うことが可能な編集操作「結合解除」を実行するか否かを確認するダイアログボックスが表示され、そのダイアログボックスから「結合解除」の実行を可とする選択がされると、選択されたラベルに対応する結合損傷ベクトルによって結合された各損傷ベクトルの各追加操作フラグが”２”から”０”に変更されるとともに、両者の親ベクトル・子ベクトル関係が削除され、結合解除指示入力が完了する。
　図２６は、結合損傷ベクトルに対応する“Ｃ１－５＋Ｃ８－１”のラベルが選択され、このラベルに対応する結合損傷ベクトルによる結合の解除指示入力が行われている様子を示す。図２７は、当該結合の解除指示入力が行われた結果、Ｃ１－５およびＣ８－１のラベルの損傷ベクトル同士の結合が解除された表示例を示す。図２８は、Ｃ１－５およびＣ８－１のラベルに対応する損傷ベクトルの追加操作フラグに”０”が割り当てられた階層構造情報の更新例である。なお、結合が解除された損傷ベクトル間の親ベクトルおよび子ベクトルの関係も削除されるよう階層構造情報が更新される。
　結合される前のラベルと同じラベルを、結合解除後の各損傷ベクトルのそれぞれに再割り当てする代わりに、結合解除後の各損傷ベクトルのそれぞれを区別可能なラベルを新たに割り当ててもよい。ただし、特定の損傷ベクトル同士の結合が誤りであり、手動で結合を解除したことを機械学習するには、結合される前のラベルと同じラベルを、結合解除後の各損傷ベクトルのそれぞれに再割り当てする方がよい。
　また、結合の解除の対象となる損傷ベクトルは、手動で指定されたものに限らない。例えば、図８に示したような損傷ベクトル連結手法によってＣ３－１とＣ４－１を結合した、損傷ベクトルＣ５－２を削除し、Ｃ３－１とＣ４－１の結合の解除を行うこともできる。具体的には、図２９に示すように、損傷ベクトルＣ５－２のラベル選択と、結合解除の指示によって、図３０に示すように、結合前のベクトルグループＣ３、Ｃ４と、それらに属する損傷ベクトルの前のラベルＣ３－１、Ｃ４－１が復活する。これを実現するためには、図３１に示すように、損傷ベクトル連結手法の実施前のラベルＣ３－１、Ｃ４－１から、損傷ベクトル連結手法の実施後のラベルＣ５－１、Ｃ５－３への遷移の内容を、ラベル履歴として階層構造情報に逐一記録しておかなければならない。また損傷ベクトルＣ５－２による結合が誤りであったことを機械学習するため、損傷ベクトルＣ５－２の削除フラグ“１”を階層構造情報に記録しておく。
　（５）ベクトルグループに対応するラベルの表示および選択と、その選択したラベルに対応するベクトルグループの削除、結合、および結合の解除。これは個々の損傷ベクトルに対応するラベルの表示および選択などと同様にして行うことができる。
　＜損傷ベクトル抽出基準の調整＞
　ステップＳ１７０では、Ｓ１６０での編集結果を学習し、損傷ベクトルの抽出基準を調整する（調整工程）。このステップは学習調整部１２２によって行われる。
　例えば、プリム法により損傷ベクトルを抽出する場合、編集指示入力の完了に応じて、損傷ベクトルの距離、方向、幅に関するコストの算出基準値を変更することで、損傷ベクトルの抽出基準を調整してもよい。
　例えば、図３１に示すように、損傷ベクトルＣ５－２(図８参照）に対する削除操作の完了によって、この損傷ベクトルＣ５－２の削除フラグ“１”が階層構造情報に記録されたとする。この場合、削除操作の完了に要した操作回数または操作時間が所定の閾値以上（例えばクリック１０回以上、ドラッグアンドドロップ５回以上、あるいは編集操作の開始から終了までが１０分以上など）であれば、角α１及び角α２の閾値を所定の量（例えば５°）だけ減らす。
　これにより、接続の削除に要した時間や操作回数が特に大きかった損傷ベクトルの対を削除学習モデルとし、以後はこの削除学習モデルと近似する特徴（個々のベクトルの長さ、方向、幅、両ベクトル間の距離）を有するベクトル同士を接続する場合は、接続しようとすべき損傷ベクトル同士のなす角度が鋭角であるほど両者の間の方向に関するコストが大きくなる。つまり、削除学習モデルと同様の特徴を有する損傷ベクトルの対は、より自動的に接続されにくくなり、損傷ベクトルの過検出および誤った自動接続の修正に必要な手動編集の手間が軽減される。
　あるいは、異なるベクトルグループに属する損傷ベクトルＣ１－５、Ｃ８－１（図２５参照）同士の方向が一致しており、これらが所定回数以上または所定時間以上の編集操作の完了により接続され、これらの損傷ベクトルＣ１－５、Ｃ８－１の追加操作フラグ“２”が階層構造情報に記録されたとする。この場合、これらの損傷ベクトルＣ１－５、Ｃ８－１の対を追加学習モデルとし、同一方向の損傷ベクトル同士を接続する距離の閾値を所定の量（例えば１０画素）だけ増やす。
　これにより、以後はこの追加学習モデルと近似する特徴（個々のベクトルの長さ、方向、幅、両ベクトルのなす角度）を有する損傷ベクトル同士について、損傷ベクトル間の距離に関するコストは小さくなる。つまり、追加学習モデルの特徴と近似する損傷ベクトルの対は、より自動的に接続されやすくなり、損傷ベクトルの検出もれおよび自動的に接続されなかった損傷ベクトル同士を手動で接続する手間が軽減される。
　以上説明したように、本実施形態に係る損傷情報処理装置１００及び損傷情報処理方法によれば、損傷ベクトル同士の連結関係を容易に把握でき、また階層構造情報により損傷ベクトルの分析及び／または検索を容易に行うことができる。
　また、ラベルの選択により、損傷ベクトルの削除、結合、結合の解除が行えるため、複雑な形状の損傷ベクトルの位置を正確に指定しなくても、容易に階層構造情報を編集することができる。
　さらに、損傷ベクトルの編集履歴と操作履歴に基づいて、損傷ベクトルの抽出基準を修正し、より正確な損傷ベクトルの自動抽出を実現できる。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１　橋梁
２　床版
３　主桁
３Ａ　接合部
１００　損傷情報処理装置
１０２　損傷情報取得部
１０４　デジタルカメラ
１０６　画像取得部
１０８　画像処理部
１１０　損傷ベクトル生成部
１１２　階層構造情報生成部
１１４　損傷ベクトル抽出部
１１６　階層構造情報記録部
１１８　表示部
１２０　操作部
Ｓ１００　画像入力工程
Ｓ１１０　損傷抽出工程
Ｓ１２０　損傷ベクトル生成工程
Ｓ１３０　階層構造情報生成工程
Ｓ１４０　表示工程
Ｓ１５０　記録工程
Ｓ１６０　編集工程
Ｓ１７０　調整工程

Claims (10)

  1. 　構造物の表面画像の画像解析により検出される構造物のひび割れについてのひび割れ情報を検出するひび割れ情報検出部と、
    　前記ひび割れ情報検出部が検出したひび割れ情報に基づいて、ひび割れに対応するひび割れ情報を識別するラベルを付与するラべリング部と、　
    　前記ひび割れ情報の編集を受け付けるひび割れ情報編集部と、
    　前記ひび割れ情報の編集結果と前記ひび割れ情報の編集に要した操作履歴と前記ラベルとを対応づけてデータベースに登録する登録部と、
    　を備えるひび割れ情報検出装置。
  2. 　前記ひび割れ情報の編集結果は、同一のラベルに対応するひび割れ情報を構成する画素の削除位置、同一のラベルに対応するひび割れ情報を構成する画素の追加位置、および異なるラベルに対応する不連続なひび割れ情報同士を接続する画素の追加位置のうち少なくとも１つを含む請求項１に記載のひび割れ情報検出装置。
  3. 　前記ひび割れ情報の編集に要した操作履歴は、前記ひび割れ情報を構成する画素の削除に要した操作の回数および前記ひび割れ情報を構成する画素の削除に要した操作の時間のうち少なくとも１つを含む請求項２に記載のひび割れ情報検出装置。
  4. 　前記ひび割れ情報の編集に要した操作履歴は、前記ひび割れ情報を構成する画素の追加に要した操作の回数および前記ひび割れ情報を構成する画素の追加に要した操作の時間のうち少なくとも１つを含む請求項２に記載のひび割れ情報検出装置。
  5. 　前記ひび割れ情報の編集に要した操作履歴は、前記不連続なひび割れ情報同士を接続する画素の追加に要した操作の回数および前記不連続なひび割れ情報同士を接続する画素の追加に要した操作の時間のうち少なくとも１つを含む請求項２に記載のひび割れ情報検出装置。
  6. 　前記データベースに登録された前記ラベルごとの前記ひび割れ情報の操作履歴に基づいて、学習すべき編集履歴を特定し、前記特定された編集履歴に対応する編集結果から、連続したひび割れまたは不連続なひび割れとして検出すべきひび割れの特徴を機械学習することにより、前記ひび割れ情報検出部によるひび割れ情報を検出するモデルを更新する機械学習部を備える請求項１～５のいずれか１項に記載のひび割れ情報検出装置。
  7. 　前記連続したひび割れまたは不連続なひび割れとして検出すべきひび割れの特徴は、ひび割れの幅、長さ、および向きを含むベクトルデータを含む請求項６に記載のひび割れ情報検出装置。
  8. 　前記ひび割れ情報検出部は、クラスカル法、プリム法、ニューラルネット収束演算、およびパーコレイション法のうち少なくとも１つにより、前記構造物のひび割れについてのひび割れ情報を検出する請求項１～７のいずれか１項に記載のひび割れ情報検出装置。
  9. 　コンピュータが、
    　構造物の表面画像の画像解析により検出される構造物のひび割れについてのひび割れ情報を検出するステップと、
    　前記検出したひび割れ情報に基づいて、ひび割れに対応するひび割れ情報を識別するラベルを付与するステップと、
    　前記ひび割れ情報の編集を受け付けるステップと、
    　前記ひび割れ情報の編集結果と前記ひび割れ情報の編集に要した操作履歴と前記ラベルとを対応づけてデータベースに登録するステップと、
    　を実行するひび割れ情報検出方法。
  10. 　請求項９に記載のひび割れ情報検出方法をコンピュータに実行させるためのひび割れ情報検出プログラム。
PCT/JP2017/000671 2016-01-26 2017-01-11 ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム WO2017130699A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780006369.5A CN108463717B (zh) 2016-01-26 2017-01-11 龟裂信息检测装置、龟裂信息检测方法及存储介质
JP2017563782A JP6682561B2 (ja) 2016-01-26 2017-01-11 ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム
EP17743930.4A EP3410102B1 (en) 2016-01-26 2017-01-11 Crack information detection device, crack information detection method, and crack information detection program
US16/016,720 US10937138B2 (en) 2016-01-26 2018-06-25 Crack information detection device, method of detecting crack information, and crack information detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016012538 2016-01-26
JP2016-012538 2016-01-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/016,720 Continuation US10937138B2 (en) 2016-01-26 2018-06-25 Crack information detection device, method of detecting crack information, and crack information detection program

Publications (1)

Publication Number Publication Date
WO2017130699A1 true WO2017130699A1 (ja) 2017-08-03

Family

ID=59398852

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/000671 WO2017130699A1 (ja) 2016-01-26 2017-01-11 ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム

Country Status (5)

Country Link
US (1) US10937138B2 (ja)
EP (1) EP3410102B1 (ja)
JP (1) JP6682561B2 (ja)
CN (1) CN108463717B (ja)
WO (1) WO2017130699A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871161A (zh) * 2017-11-07 2018-04-03 中国铁道科学研究院铁道建筑研究所 一种基于神经网络的桥梁整体损伤预警方法
JP2019056668A (ja) * 2017-09-22 2019-04-11 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
WO2020039688A1 (ja) * 2018-08-24 2020-02-27 パナソニックＩｐマネジメント株式会社 符号化装置及び符号化方法
JP2020038132A (ja) * 2018-09-04 2020-03-12 大成建設株式会社 コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
JP2020052786A (ja) * 2018-09-27 2020-04-02 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム、記憶媒体
JP2020170907A (ja) * 2019-04-01 2020-10-15 学校法人五島育英会 監視システム及び監視方法
CN111833316A (zh) * 2020-06-29 2020-10-27 广东科学技术职业学院 路面裂纹识别方法及装置
WO2021199830A1 (ja) * 2020-03-31 2021-10-07 富士フイルム株式会社 点検支援装置、方法及びプログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108431584B (zh) * 2015-12-25 2021-04-27 富士胶片株式会社 损伤信息处理装置及损伤信息处理方法
JP6543729B2 (ja) * 2015-12-25 2019-07-10 富士フイルム株式会社 類似損傷検索装置及び類似損傷検索方法
JP7191823B2 (ja) * 2017-07-07 2022-12-19 キヤノン株式会社 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
CN110998655B (zh) * 2017-07-25 2023-10-20 富士胶片株式会社 损伤图创建方法、损伤图创建装置、损伤图创建系统及记录介质
US20200387792A1 (en) * 2018-03-16 2020-12-10 Mitsubishi Electric Corporation Learning device and learning method
CN109300126B (zh) * 2018-09-21 2022-01-07 重庆建工集团股份有限公司 一种基于空间位置的桥梁病害高精度智能检测方法
EP3865814A4 (en) * 2018-10-12 2021-12-08 Panasonic Intellectual Property Management Co., Ltd. PREDICTION DEVICE AND PREDICTION METHOD
JP7429648B2 (ja) * 2018-12-13 2024-02-08 富士フイルム株式会社 損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム
JP7225810B2 (ja) * 2019-01-11 2023-02-21 富士通株式会社 ひび線抽出装置、ひび線抽出方法、及び、ひび線抽出プログラム
WO2021014754A1 (ja) * 2019-07-23 2021-01-28 富士フイルム株式会社 ひび割れ評価装置、ひび割れ評価方法、及びひび割れ評価プログラム
CN111598845A (zh) * 2020-04-26 2020-08-28 北京科技大学 基于深度学习与neo-6m定位模块的路面裂缝检测与定位的方法
US20220019190A1 (en) * 2020-07-14 2022-01-20 Saudi Arabian Oil Company Machine learning-based methods and systems for deffect detection and analysis using ultrasound scans
KR102359901B1 (ko) * 2020-07-21 2022-02-09 울산과학기술원 머신 러닝을 이용하여 섬유의 종류에 따라 복합재의 손상 위치를 검출하는 방법
CN112465817A (zh) * 2020-12-17 2021-03-09 大连海事大学 一种基于方向滤波器的路面裂缝检测方法
CN113686874B (zh) * 2021-08-16 2022-08-02 沭阳林冉塑业有限公司 一种基于人工智能的机械零件损伤检测方法及系统
CN117677970A (zh) 2022-06-30 2024-03-08 宁德时代新能源科技股份有限公司 图像处理的方法及其装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111735B2 (ja) * 1989-10-25 1995-11-29 東京電力株式会社 ひび割れ測定システム
JP2002257744A (ja) * 2001-03-02 2002-09-11 Takenaka Komuten Co Ltd コンクリートの欠陥検査方法およびコンクリートの欠陥検査装置
JP2011242365A (ja) * 2010-05-21 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> コンクリート構造物画像のひび割れ検知装置、ひび割れ検知方法及びそのプログラム
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2015095143A (ja) * 2013-11-13 2015-05-18 国立大学法人北海道大学 変状評価支援システム
JP2015138467A (ja) * 2014-01-23 2015-07-30 デ・ファクト・スタンダード合同会社 コンクリート構造物維持管理システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5046109A (en) * 1986-03-12 1991-09-03 Nikon Corporation Pattern inspection apparatus
EP0342242A4 (en) * 1987-10-26 1992-07-15 Kabushiki Kaisha Komatsu Seisakusho Method of processing image data on road surface cracks
JP3635795B2 (ja) * 1996-07-31 2005-04-06 石川島播磨重工業株式会社 微細線状欠陥の検出方法及びその装置
JP2002174601A (ja) 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd 壁面損傷検出方法及び装置
JP2004355203A (ja) * 2003-05-28 2004-12-16 Nec Corp データの更新・履歴・集計管理方式
JP4006007B2 (ja) 2004-11-10 2007-11-14 大成建設株式会社 ひび割れ検出方法
CN1888879A (zh) * 2005-06-29 2007-01-03 颜彦 基于图像智能识别的印刷品质量检测与控制系统
US8477154B2 (en) * 2006-03-20 2013-07-02 Siemens Energy, Inc. Method and system for interactive virtual inspection of modeled objects
US20080013107A1 (en) 2006-07-11 2008-01-17 Tokyo Electron Limited Generating a profile model to characterize a structure to be examined using optical metrology
TWI348659B (en) * 2007-10-29 2011-09-11 Ind Tech Res Inst Method and system for object detection and tracking
CN101441180B (zh) * 2007-11-23 2011-09-28 安徽农业大学 树木年轮组成成分快速分析方法
JP5359377B2 (ja) 2009-03-02 2013-12-04 オムロン株式会社 欠陥検出装置、欠陥検出方法および欠陥検出プログラム
US8957960B2 (en) * 2011-11-15 2015-02-17 Mitutoyo Corporation Machine vision system program editing environment including real time context generation features
US8902307B2 (en) 2011-11-15 2014-12-02 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
JP2014190822A (ja) * 2013-03-27 2014-10-06 Dainippon Screen Mfg Co Ltd プリント基板の品質管理装置および品質管理方法
JP6454973B2 (ja) * 2014-03-20 2019-01-23 フリュー株式会社 サーバ、制御プログラム、および記録媒体
JP6283247B2 (ja) 2014-04-02 2018-02-21 キユーピー株式会社 菓子
US9279773B2 (en) * 2014-07-18 2016-03-08 Process Metrix Crack detection and measurement in a metallurgical vessels
JP2016090548A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集方法及びひび割れ情報収集プログラム
CN104914111B (zh) * 2015-05-18 2018-08-03 北京华检智研软件技术有限责任公司 一种带钢表面缺陷在线智能识别检测系统及其检测方法
SG11201709275YA (en) 2015-05-26 2017-12-28 Mitsubishi Electric Corp Detection apparatus and detection method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111735B2 (ja) * 1989-10-25 1995-11-29 東京電力株式会社 ひび割れ測定システム
JP2002257744A (ja) * 2001-03-02 2002-09-11 Takenaka Komuten Co Ltd コンクリートの欠陥検査方法およびコンクリートの欠陥検査装置
JP2011242365A (ja) * 2010-05-21 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> コンクリート構造物画像のひび割れ検知装置、ひび割れ検知方法及びそのプログラム
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2015095143A (ja) * 2013-11-13 2015-05-18 国立大学法人北海道大学 変状評価支援システム
JP2015138467A (ja) * 2014-01-23 2015-07-30 デ・ファクト・スタンダード合同会社 コンクリート構造物維持管理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3410102A4 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019056668A (ja) * 2017-09-22 2019-04-11 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
CN107871161A (zh) * 2017-11-07 2018-04-03 中国铁道科学研究院铁道建筑研究所 一种基于神经网络的桥梁整体损伤预警方法
WO2020039688A1 (ja) * 2018-08-24 2020-02-27 パナソニックＩｐマネジメント株式会社 符号化装置及び符号化方法
JP2020038132A (ja) * 2018-09-04 2020-03-12 大成建設株式会社 コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
KR20200035865A (ko) * 2018-09-27 2020-04-06 캐논 가부시끼가이샤 정보처리장치, 정보처리방법, 및 기억 매체
CN110955476A (zh) * 2018-09-27 2020-04-03 佳能株式会社 信息处理装置、信息处理方法和存储介质
JP2020052786A (ja) * 2018-09-27 2020-04-02 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム、記憶媒体
JP7166862B2 (ja) 2018-09-27 2022-11-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム、記憶媒体
KR102626305B1 (ko) * 2018-09-27 2024-01-18 캐논 가부시끼가이샤 정보처리장치, 정보처리방법, 및 기억 매체
CN110955476B (zh) * 2018-09-27 2024-04-26 佳能株式会社 信息处理装置、信息处理方法和存储介质
JP2020170907A (ja) * 2019-04-01 2020-10-15 学校法人五島育英会 監視システム及び監視方法
JP7235242B2 (ja) 2019-04-01 2023-03-08 学校法人五島育英会 監視システム及び監視方法
WO2021199830A1 (ja) * 2020-03-31 2021-10-07 富士フイルム株式会社 点検支援装置、方法及びプログラム
JP7364786B2 (ja) 2020-03-31 2023-10-18 富士フイルム株式会社 点検支援装置、方法及びプログラム
CN111833316A (zh) * 2020-06-29 2020-10-27 广东科学技术职业学院 路面裂纹识别方法及装置

Also Published As

Publication number Publication date
US20180308230A1 (en) 2018-10-25
CN108463717B (zh) 2021-05-25
US10937138B2 (en) 2021-03-02
CN108463717A (zh) 2018-08-28
JPWO2017130699A1 (ja) 2018-10-11
EP3410102A4 (en) 2018-12-05
EP3410102A1 (en) 2018-12-05
JP6682561B2 (ja) 2020-04-15
EP3410102B1 (en) 2022-07-06

Similar Documents

Publication Publication Date Title
WO2017130699A1 (ja) ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム
JP6576473B2 (ja) ひび割れ情報編集装置、ひび割れ情報編集方法およびひび割れ情報編集プログラム
JP7313517B2 (ja) 損傷情報処理装置、損傷情報処理方法、及び損傷情報処理プログラム
JP4616120B2 (ja) 画像処理装置及び検査装置
US20100246929A1 (en) Method and system for determining a defect during charged particle beam inspection of a sample
JP2018185146A (ja) 損傷図作成装置及び損傷図作成方法
EP3709264B1 (en) Information processing apparatus and accumulated images selecting method
JP2014006222A (ja) コンクリート表面の変状検出方法及び装置
US11144590B2 (en) Similar damage search device and a similar damage search method
JP6333307B2 (ja) 劣化部位検知装置、劣化部位検知方法およびプログラム
CN113012096B (zh) 显示屏子像素定位及亮度提取方法、设备以及存储介质
JP2018036226A (ja) 画像処理プログラム、画像処理方法および画像処理装置
WO2014208193A1 (ja) ウエハ外観検査装置
WO2021014754A1 (ja) ひび割れ評価装置、ひび割れ評価方法、及びひび割れ評価プログラム
CN106127826B (zh) 一种用于投影交互系统的连通域标记方法
Moreu et al. Bridge Cracks Monitoring: Detection, Measurement, and Comparison using Augmented Reality
CN113160169A (zh) 隧道裂隙图像识别方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17743930

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017563782

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017743930

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017743930

Country of ref document: EP

Effective date: 20180827