WO2021152855A1 - 変状管理装置、変状管理方法、および変状管理プログラム - Google Patents

変状管理装置、変状管理方法、および変状管理プログラム Download PDF

Info

Publication number
WO2021152855A1
WO2021152855A1 PCT/JP2020/003809 JP2020003809W WO2021152855A1 WO 2021152855 A1 WO2021152855 A1 WO 2021152855A1 JP 2020003809 W JP2020003809 W JP 2020003809W WO 2021152855 A1 WO2021152855 A1 WO 2021152855A1
Authority
WO
WIPO (PCT)
Prior art keywords
deformation
image
variant
region
information
Prior art date
Application number
PCT/JP2020/003809
Other languages
English (en)
French (fr)
Inventor
恵 入江
啓太 吉田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/003809 priority Critical patent/WO2021152855A1/ja
Priority to JP2020532061A priority patent/JP6749528B1/ja
Publication of WO2021152855A1 publication Critical patent/WO2021152855A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • the present disclosure relates to a deformation management device, a deformation management method, and a deformation management program that associate deformations contained in a structure at different times.
  • changes such as cracks that occur on the surface of structures such as tunnels or bridges have been monitored over time, and necessary measures have been taken based on the state of such changes.
  • the change in deformation can be made, for example, by analyzing images obtained by photographing the surface of a structure such as a tunnel or a bridge at different times.
  • Patent Document 1 contour lines including portions corresponding to cracks detected from images captured at the first time and the second time are extracted, and the center of gravity of the figure composed of the contour lines is defined.
  • a technique for detecting as a feature point and extracting the number of feature points and the distance between the feature points as a feature amount is disclosed.
  • the technique described in Patent Document 1 compares the feature points when the above-mentioned feature amount of the image captured at the first time and the above-mentioned feature amount of the image captured at the second time are close to each other. By doing so, the change in cracks is analyzed.
  • the present disclosure has been made in view of the above, and an object of the present disclosure is to obtain a deformation management device capable of accurately associating a plurality of deformations contained in a structure at different times.
  • the transformation management device of the present disclosure includes an acquisition unit, a setting unit, a determination unit, and an association unit.
  • the acquisition unit includes information on a plurality of first deformations contained in the structure at the first time and a plurality of second deformations contained in the structure at a second time different from the first time. Get information and.
  • the setting unit is based on the information of the plurality of first deformations and the information of the plurality of second deformations, and the setting unit surrounds each of the corresponding first deformations of the plurality of first deformations.
  • a box 1 and a plurality of second lines surrounding each of the corresponding second variants of the plurality of second variants are set.
  • the determination unit includes each of the plurality of first regions including the region surrounded by the corresponding first enclosure among the plurality of first enclosures and the corresponding second of the plurality of second enclosures. At least one first variant and a plurality of second variants of the first variants based on the degree of overlap with each of the second regions, each containing the region surrounded by the box. A plurality of association candidates including at least one second variant among them are determined.
  • the matching unit compares at least one first deformation and at least one second deformation for each of the plurality of matching candidates by pattern matching processing, and based on the result of the comparison, at least one The first variant is associated with at least one second variant.
  • the figure for demonstrating the 1st association candidate set by the setting part which concerns on Embodiment 1. The figure for demonstrating the method of determining the 2nd association candidate by the determination part which concerns on Embodiment 1.
  • the figure for demonstrating the 2nd association candidate set by the setting part which concerns on Embodiment 1. The figure which shows an example of a plurality of association candidates after the integration process by the determination part which concerns on Embodiment 1.
  • the figure for demonstrating the method of generating the association information by the generation part of the association part which concerns on Embodiment 1. A flowchart showing an example of processing by the processing unit of the deformation management device according to the first embodiment.
  • FIG. 1 is a diagram showing an example of the configuration of the structure management system according to the first embodiment.
  • the structure management system 1 according to the first embodiment includes a deformation management device 10 and a display device 11, and manages the structure.
  • the structure managed by the structure management system 1 is a tunnel, but may be a bridge, a road, a building, or the like.
  • the deformation management device 10 manages the deformation included in the inner wall of the tunnel on the assumption that the inner wall of the tunnel is expanded in the XY-axis coordinate system.
  • the XY-axis coordinate system is an example of a Cartesian coordinate system, and is represented by an X-axis and a Y-axis that are orthogonal to each other.
  • the deformation management device 10 includes a communication unit 20, a storage unit 30, and a processing unit 40.
  • the communication unit 20 transmits information to an external device wirelessly or by wire, and receives information transmitted from the external device wirelessly or by wire.
  • the storage unit 30 includes information on a plurality of deformations contained in the inner wall of the tunnel at the first time T1, and a plurality of information contained in the inner wall of the tunnel at the second time T2, which is a time newer than the first time T1. It remembers the information of the deformation.
  • the time interval between the first time T1 and the second time T2 is, for example, a monthly interval or an annual interval.
  • the deformation contained in the inner wall of the tunnel at the first time T1 will be described as the first deformation
  • the deformation contained in the inner wall of the tunnel at the second time T2 will be described as the second deformation.
  • the information of the plurality of first deformations may be described as the first deformation information
  • the information of the plurality of second deformations may be described as the second deformation information.
  • each of the first deformation and the second deformation is shown without distinction, it may be described as a deformation.
  • Deformities managed by the deformation management device 10 are cracks, water leaks, peeling, and the like.
  • the first deformation information includes, for example, vector information indicating a vector of each first deformation.
  • the second deformation information includes, for example, vector information indicating the vector of each second deformation.
  • the deformed vector is represented by using one or more line segments and a plurality of nodes, and the position of each node is indicated by the coordinates of the XY axis coordinate system.
  • the deformation is a crack, but the deformation management device 10 can perform the treatment for water leakage or peeling in the same manner as the treatment for the crack.
  • the first deformation information may be, for example, image information indicating each first deformation in a plurality of pixels.
  • the second deformation information may be, for example, image information indicating each second deformation in a plurality of pixels.
  • image information includes information of a plurality of pixels representing the deformation, and the position of each of the plurality of pixels representing the deformation is indicated by the coordinates of the XY axis coordinate system.
  • FIG. 2 is a diagram showing an example of a first deformation contained in the inner wall of the tunnel at the first time according to the first embodiment and a second deformation included in the inner wall of the tunnel at the second time. ..
  • first time T1 three first deformations 50a, 50b, and 50c occur on the inner wall of the tunnel, and at the second time T2, 2 on the inner wall of the tunnel.
  • Two second variants 60a and 60b have occurred.
  • the second variant 60b is a variant in which two first variants 50b and 50c are connected by a change over time.
  • each of the first variants 50a, 50b, and 50c when each of the first variants 50a, 50b, and 50c is shown without distinction, it may be referred to as the first variant 50, and each of the second variants 60a, 60b is individually shown. When it is shown without distinction, it may be described as the second variant 60.
  • the processing unit 40 shown in FIG. 1 reads the first deformation information and the second deformation information from the storage unit 30, and based on the read first deformation information and the second deformation information, each second is A first box is set for the first variant 50, and a second box is set for each second variant 60.
  • the first enclosure surrounds the first variant 50 and the second enclosure surrounds the second variant 60.
  • Each of the first surrounding line and the second surrounding line is a rectangular line, but it may be a line surrounding the deformation and may be a line other than the rectangular line.
  • FIG. 3 is a diagram showing an example of a first box line and a second box line according to the first embodiment.
  • the first surrounding lines 51a, 51b, 51c and the second surrounding lines 61a, 61b are shown.
  • Each of the first surrounding lines 51a, 51b, 51c is a rectangular line of the smallest size capable of surrounding the corresponding first deformation of the first deformations 50a, 50b, 50c.
  • each of the second surrounding lines 61a, 61b is a rectangular line of the smallest size that can surround the corresponding second deformation of the second deformations 60a, 60b.
  • each of the first surrounding lines 51a, 51b, 51c when each of the first surrounding lines 51a, 51b, 51c is shown without distinction, it may be described as the first surrounding line 51, and each of the second surrounding lines 61a, 61b is individually shown. When it is shown without distinction, it may be described as a second surrounding line 61.
  • each of the first surrounding line 51 and the second surrounding line 61 has two sides parallel to the X axis and facing each other in the Y axis direction, and parallel to the Y axis and in the X axis direction. It is formed from two sides facing each other.
  • the processing unit 40 shown in FIG. 1 has a first region including a region surrounded by each of the plurality of first surrounding lines 51 and a region surrounded by each of the plurality of second surrounding lines 61.
  • the degree of overlap with the second region including the above is determined.
  • the processing unit 40 includes a plurality of first variants 50a, 50b, 50c and at least one of the plurality of second variants 60a, 60b, respectively, based on the determined degree of overlap. Determine the mapping candidate.
  • the first area is an area surrounded by the first surrounding line 51 or an area larger than the area surrounded by the first surrounding line 51 by a preset length.
  • the second region is the same region as the region surrounded by the second surrounding line 61 or a region larger than the region surrounded by the second surrounding line 61 by a preset length.
  • the processing unit 40 has a region surrounded by the first surrounding line 51 as the first region, and is larger than the region surrounded by the second surrounding line 61 by a preset length. With the region as the second region, it is determined whether or not the first region is included in the second region.
  • the processing unit 40 determines a combination of the first variant 50 and the second variant 60 whose first region is included in the second region as a matching candidate.
  • the degree of overlap of the first region with respect to the second region is 100%.
  • the processing unit 40 includes the first deformation included in the first region and the second region.
  • the combination of 50 and the second variant 60 can also be determined as a matching candidate.
  • the processing unit 40 uses the region surrounded by the first surrounding line 51 as the first region and the region surrounded by the second surrounding line 61 as the second region. It is also possible to determine whether or not the proportion of the region included in the second region is greater than or equal to a preset threshold. In this case, the processing unit 40 associates the combination of the first variant 50 and the second variant 60 in which the ratio of the first region included in the second region is equal to or greater than a preset threshold value. To determine as.
  • the combination of the first variant 50a and the second variant 60a is determined as a matching candidate, and each of the first variants 50b and 50c and the second variant 60b The combination is determined as a matching candidate.
  • the second variant 60b is determined as a matching candidate in combination with each of the first variant 50b and the first variant 50c. Therefore, the processing unit 40 accurately associates the mapping candidates for associating the plurality of deformations included in the inner wall of the tunnel at different times even when a plurality of deformations are connected due to changes over time. be able to.
  • the processing unit 40 compares at least one first variant 50 and at least one second variant 60 by pattern matching processing for each of the plurality of matching candidates. Then, the processing unit 40 associates at least one first variant 50 with at least one second variant 60 based on the result of comparison.
  • the storage unit 30 has the first image information, which is the information of the first captured image, which is the image of the inner wall of the tunnel captured at the first time T1, and the inner wall of the tunnel, which is the information of the inner wall of the tunnel captured at the second time T2. It stores the information of the second captured image which is an image.
  • the first image information the coordinates of the XY axis coordinate system are associated with each pixel constituting the first captured image, and in the second image information, each pixel constituting the second captured image is associated. Is associated with the coordinates of the XY axis coordinate system.
  • the processing unit 40 extracts, for example, a first deformed image which is an image of a region surrounded by the first surrounding line 51 from the first captured image in the XY-axis coordinate system. Further, the processing unit 40 extracts, for example, a second deformed image which is an image of a region surrounded by the second surrounding line 61 from the second captured image in the XY-axis coordinate system.
  • FIG. 4 is a diagram for explaining the pattern matching process executed by the processing unit according to the first embodiment.
  • the processing unit 40 first uses the first modified images 52a, 52b, 52c, which are images of the region surrounded by the first surrounding lines 51a, 51b, 51c shown in FIG. Extract from the captured image. Further, the processing unit 40 extracts the second modified images 62a and 62b, which are images of the region surrounded by the second surrounding lines 61a and 61b shown in FIG. 3, from the second captured image.
  • each of the first deformed images 52a, 52b, and 52c is shown without distinction, it is described as the first deformed image 52, and each of the second deformed images 62a, 62b is individually shown. When it is shown without distinction, it may be described as a second modified image 62.
  • the processing unit 40 performs pattern matching processing between the first deformed image 52 and the second deformed image 62 for each of the plurality of matching candidates.
  • the processing unit 40 compares the size of the first deformed image 52 with the size of the second deformed image 62, and the image included in the larger deformed image and the smaller size are smaller.
  • a score indicating the degree of similarity with the deformed image of the one is calculated. For example, in the processing unit 40, the smaller deformed image of the first deformed image 52 and the second deformed image 62 has the highest degree of similarity to the image of any region of the larger deformed image. Is determined.
  • the processing unit 40 calculates the similarity of the region determined to have the highest similarity as a score.
  • the processing unit 40 determines, for example, the region having the highest degree of similarity with the first deformed image 52a of the second deformed image 62a, and the degree of similarity of the region determined to have the highest degree of similarity. Is calculated as a score. Similarly, the processing unit 40 determines the region having the highest similarity with the first deformed image 52b among the second deformed images 62b, and scores the similarity of the region determined to have the highest similarity. Calculate as. Further, the processing unit 40 determines a region having the highest degree of similarity with the first deformed image 52c among the second deformed images 62b, and uses the degree of similarity of the region determined to have the highest degree of similarity as a score. calculate.
  • the processing unit 40 When the processing unit 40 has a combination of the first deformed image 52 and the second deformed image 62 whose calculated score is equal to or higher than a preset threshold value, the processing unit 40 includes the first deformed image 52 and the second deformed image 62 included in the matching candidates of these combinations.
  • the associative information which is the information in which the first variant 50 and the second variant 60 are associated with each other, is generated.
  • the processing unit 40 stores the generated association information in the storage unit 30.
  • the processing unit 40 reads the association information stored in the storage unit 30 from the storage unit 30 and displays it on the display device 11, or reads the association information stored in the storage unit 30 from the storage unit 30 and displays it in the communication unit 20. You can send it from.
  • the pattern matching process by the processing unit 40 may be performed by using the first deformation information and the second deformation information without using the first captured image and the second captured image.
  • the processing unit 40 has one of the vectors of the first deformation 50 included in the first deformation information and the vector of the second deformation 60 included in the second deformation information.
  • the similarity of the part having the highest similarity with the other vector is calculated as a score.
  • One vector is the vector with the larger encircling line surrounding the variant, and the other vector is the vector with the smaller enclosing line surrounding the variant.
  • the processing unit 40 includes the first deformation included in the first deformation information. Similarity of the region having the highest degree of similarity to the deformed image of one of the deformed images of the shape 50 and the deformed image of the second deformed 60 included in the second deformed information and the other deformed image. The degree can also be calculated as a score. In this case, one deformed image is a deformed image having a larger surrounding line surrounding the deformed image, and the other deformed image is a deformed image having a smaller surrounding line surrounding the deformed shape.
  • the deformation management device 10 determines the combination of the first deformation 50 and the second deformation 60 to be associated with each other from the plurality of matching candidates by the pattern matching process. Therefore, the first deformation 50 and the second deformation 60 included in the inner wall of the tunnel can be accurately associated with each other at different times. Further, the deformation management device 10 determines the association candidates by a simple process using the surrounding line surrounding the deformation, so that the first deformation 50 and the second deformation to be the target of the pattern matching process are determined. Since the combination with 60 is narrowed down in advance, the processing load can be reduced.
  • FIG. 5 is a diagram showing an example of a specific configuration of the deformation management device according to the first embodiment.
  • the deformation management device 10 includes a communication unit 20, a storage unit 30, and a processing unit 40.
  • the communication unit 20 is connected to a communication network such as WAN (Wide Area Network) represented by the Internet or LAN (Local Area Network), and transmits / receives information to / from an external device via the communication network.
  • WAN Wide Area Network
  • LAN Local Area Network
  • the storage unit 30 stores the first deformation information 31a, the second deformation information 31b, the first image information 32, the second image information 33, and the association information 34.
  • the first deformation information 31a includes vector information indicating a vector of a plurality of first deformation 50 included in the inner wall of the tunnel at the first time T1.
  • the first deformation information 31a is, for example, handwritten by an operator using CAD (Computer-Aided Design) based on the captured image which is an image obtained by imaging the inner wall of the tunnel at the first time T1. Information generated by drawing.
  • the first deformation information 31a may be information indicating the vector of the first deformation 50 automatically detected from the captured image by the deformation detection device (not shown).
  • the second deformation information 31b includes vector information indicating a plurality of vectors of the second deformation 60 included in the inner wall of the tunnel at the second time T2.
  • the second deformation information 31b is, for example, information generated by handwriting drawing by an operator using CAD or the like based on an captured image which is an image obtained by imaging the inner wall of the tunnel at the second time T2. Is.
  • the second deformation information 31b may be information indicating the vector of the second deformation 60 automatically detected from the captured image by the deformation detection device (not shown).
  • the first deformation information 31a and the second deformation information 31b are shown individually without distinction, they may be referred to as deformation information 31.
  • FIG. 6 is a diagram showing an example of deformation information according to the first embodiment.
  • the deformation information 31 includes information about the line segments and nodes constituting the vector of each deformation.
  • the deformation information 31 includes "deformation ID”, “line segment ID”, “start point node number”, “end point node number”, “line segment length”, “start point node X coordinate”, and the like.
  • the "deformed end point flag” contains information associated with each other for each line segment.
  • Transformation ID is identification information unique to each transformation.
  • the “line segment ID” is identification information unique to each line segment constituting the deformed vector.
  • the "start point node number” is information indicating the number of the start point node which is the node at the start of the line segment.
  • the “end point node number” is information indicating the number of the end point node which is the end node of the line segment.
  • the “line segment length” is information indicating the length of the line segment constituting the deformed vector.
  • the “start point node X coordinate” is information indicating the coordinates on the X axis of the start point node.
  • the “start point node Y coordinate” is information indicating the coordinates on the Y axis of the start point node.
  • start point node branch point flag is information indicating whether or not the start point node is a node of two or more other line segments. When the “start point node branch point flag” is “1”, it indicates that the start point node is a node of two or more other line segments. Further, when the “start point node branch point flag” is "0”, it indicates that the start point node is not a node of two or more other line segments.
  • start point node deformation end point flag is information indicating whether or not the start point node is the end point of the deformation.
  • start point node deformation end point flag When the “start point node deformation end point flag” is “1”, it indicates that the start point node is the end point of the deformation. Further, when the “start point node deformation end point flag” is "0", it indicates that the start point node is not the end point of the deformation.
  • the "end point node X coordinate” is information indicating the coordinates of the end point node on the X axis.
  • the “end point node Y coordinate” is information indicating the coordinates of the end point node on the Y axis.
  • the "end point node branch point flag” is information indicating whether or not the end point node is a node of two or more other line segments. When the “end point node branch point flag” is "1", it indicates that the end point node is a node of two or more other line segments. Further, when the "end point node branch point flag” is "0", it indicates that the end point node is not a node of two or more other line segments.
  • End point node deformation end point flag is information indicating whether or not the end point node is the end point of the deformation. When the “end point node deformation end point flag” is “1”, it indicates that the end point node is the end point of the deformation. Further, when the “end point node deformation end point flag” is "0", it indicates that the end point node is not the end point of the deformation.
  • FIG. 7 is a diagram showing an example of a deformation represented by a vector according to the first embodiment.
  • a deformation vector in which the deformation ID is “1” is shown.
  • the deformation vector in which the deformation ID is "1” is represented by the line segments with line segment IDs "1" to "4" and the nodes with node numbers "1" to "5".
  • the deformation in which the deformation ID is "1” is shown by a broken line.
  • the first image information 32 shown in FIG. 5 includes information on the first captured image which is an image of the inner wall of the tunnel captured at the first time T1, and the second image information 33 includes the information of the second captured image. Includes information from a second captured image, which is an image of the inner wall of the tunnel captured at T2.
  • the first captured image and the second captured image are developed images when it is assumed that the inner wall of the tunnel is developed in a two-dimensional plane.
  • the first captured image and the second captured image are, for example, by pasting together a plurality of images captured by each of the plurality of cameras while a measuring vehicle equipped with the plurality of cameras is traveling in the tunnel. It is a developed image of the inner wall of the obtained tunnel.
  • the first captured image and the second captured image are described as being monochrome images represented by luminance, but may be color images.
  • FIG. 8 is a diagram showing an example of each of the first captured image and the second captured image according to the first embodiment.
  • the first captured image 80 shown in FIG. 8 includes the first variants 55a, 55b, 55c, 55d, 55e, 55f.
  • the first deformations 55a, 55b, 55c, 55d, 55e, 55f have deformation IDs of "A1", “A2", “A3", “A4", “A5", and "A6". It shall be in the form.
  • the second captured image 81 shown in FIG. 8 includes the second variants 65a, 65b, 65c, 65d, 65e, 65f, 65g, 65h.
  • the second variants 65a, 65b, 65c, 65d, 65e, 65f, 65g, 65h have variant IDs of "B1", “B2", “B3", “B4", “B5", " It is assumed that it is a variant of "B6", "B7", and "B8".
  • the processing unit 40 of the deformation management device 10 includes an acquisition unit 41, a setting unit 42, a determination unit 43, an association unit 44, and an output unit 45.
  • the acquisition unit 41 reads out the first deformation information 31a, the second deformation information 31b, the first image information 32, and the second image information 33 from the storage unit 30 and acquires them. Further, the acquisition unit 41 has the first deformation information 31a, the second deformation information 31b, the first image information 32, and the second deformation information 31a, which are transmitted from an external device (not shown) and received by the communication unit 20. The image information 33 is acquired, and the acquired information is stored in the storage unit 30.
  • the setting unit 42 has a first box line including the first deformation and a second deformation based on the first deformation information 31a and the second deformation information 31b acquired by the acquisition unit 41.
  • a second box surrounding the shape is set in the XY-axis coordinate system.
  • FIG. 9 is a diagram showing an example of a plurality of first deformation vectors and a plurality of second deformation vectors according to the first embodiment.
  • each of the first variants 55a, 55b, 55c, 55d, 55e, 55f is represented by a vector
  • the second variants 65a, 65b, 65c, 65d, 65e, 65f, 65g Each of 65h is represented by a vector.
  • FIG. 10 is a diagram showing an example of a plurality of first surrounding lines surrounding each of the vectors of the corresponding first deformation among the plurality of first deformations according to the first embodiment.
  • the setting unit 42 is based on the first deformation information 31a, and based on the first deformation information 31a, the setting unit 42 corresponds to the first deformation of the vectors of the first deformation 55a, 55b, 55c, 55d, 55e, 55f.
  • a plurality of first surrounding lines 56a, 56b, 56c, 56d, 56e, 56f surrounding each of the vectors of the above are set.
  • the first surrounding line 56 is a rectangular line, and is composed of two sides parallel to the X-axis and facing each other and two sides parallel to the Y-axis and facing each other.
  • the first box 56 is set so that the vector of the first variant 55 circumscribes.
  • the first surrounding line 56 is set so that the nodes including the vector of the first deformation 55 and forming the vector of the first deformation 55 are in contact with each other.
  • FIG. 11 is a diagram showing an example of a plurality of second surrounding lines surrounding each of the vectors of the corresponding second deformation among the plurality of second deformations according to the first embodiment.
  • the setting unit 42 has the corresponding third of the vectors of the second deformation 65a, 65b, 65c, 65d, 65e, 65f, 65g, 65h.
  • a plurality of second surrounding lines 66a, 66b, 66c, 66d, 66e, 66f, 66g, 66h surrounding each of the two deformation vectors are set.
  • the second variant 65 when each of the second variants 65a, 65b, 65c, 65d, 65e, 65f, 65g, and 65h is shown without distinction, it may be described as the second variant 65.
  • the second surrounding lines 66a, 66b, 66c, 66d, 66e, 66f, 66g, and 66h when each of the second surrounding lines 66a, 66b, 66c, 66d, 66e, 66f, 66g, and 66h is shown without distinction, it may be described as the second surrounding line 66.
  • the second surrounding line 66 is a rectangular line, and like the first surrounding line 56, is composed of two sides parallel to the X-axis and facing each other and two sides parallel to the Y-axis and facing each other. Will be done.
  • the second box 66 is set so that the vector of the second variant 65 circumscribes.
  • the second surrounding line 66 is set so that the nodes including the vector of the second deformation 65 and forming the vector
  • the first surrounding line 56 and the second surrounding line 66 are rectangular lines, but any line may be used as long as it is a line surrounding the deformation.
  • the first surrounding line 56 and the second surrounding line 66 may be polygonal lines other than rectangular lines, and may be circular or elliptical lines.
  • the first surrounding line 56 and the second surrounding line 66 are not limited to the size circumscribing the deformed vector, and may be larger than the size circumscribing the deformed vector.
  • the determination unit 43 shown in FIG. 5 includes each of a plurality of first regions including a region surrounded by the corresponding first enclosures among the plurality of first enclosures 56, and a plurality of second enclosures 66. Of these, the degree of overlap with each of the plurality of second regions including the region surrounded by the corresponding second surrounding line is determined. The determination unit 43 determines a plurality of association candidates including at least one of the plurality of first variants 55 and at least one of the plurality of second variants 65 based on the determined degree of overlap. ..
  • the first area is an area surrounded by the first surrounding line 56 or an area larger than the area surrounded by the first surrounding line 56 by a preset length.
  • the second region is the same region as the region surrounded by the second surrounding line 66 or a region larger than the region surrounded by the second surrounding line 66 by a preset length.
  • the determination unit 43 determines the region surrounded by the first surrounding line 56 as the first region, and is larger than the region surrounded by the second surrounding line 66 by a preset length.
  • the region is determined to be the second region, and it is determined whether or not the first region is included in the second region.
  • the determination unit 43 determines the combination of the first variant 55 and the second variant 65 whose first region is included in the second region as the first association candidate.
  • FIG. 12 is a diagram for explaining a method of determining a first association candidate by the determination unit according to the first embodiment.
  • the degree of overlap of the first region 57 with respect to the second region 67 is determined.
  • the second region 67 is an region including a region surrounded by a second enclosure 66 surrounding the second variant 65
  • the first region 57 is a first enclosure surrounding the first variant 55. It is an area including the area surrounded by the line 56.
  • the first region 57 is a region surrounded by the first surrounding line 56 surrounding the first variant 55, and has the coordinates Pso (Xso, Yso) of the first vertex and the coordinates Peo (Xeo) of the second vertex. , Yeo).
  • the first surrounding line 56 is defined by two coordinates at the same position as the coordinate Pso of the first vertex and the coordinate Peo of the second vertex in the first region 57.
  • the second surrounding line 66 surrounding the second variant 65 is defined by the coordinates Pn1 (Xsn, Ysn) of the first vertex and the coordinates Pn2 (Xen, Yen) of the second vertex.
  • the second region 67 is a region larger than the region surrounded by the second surrounding line 66 surrounding the second variant 65, and has the coordinates Psn (Xsn + ⁇ , Ysn + ⁇ ) of the first vertex and the second vertex. It is defined by the coordinates Pen (Xen + ⁇ , Yen + ⁇ ).
  • the second region 67 is a region in which the positive and negative directions of the X-axis and the positive and negative directions of the Y-axis are each larger by a margin ⁇ with respect to the region surrounded by the second surrounding line 66. ..
  • the second region 67 can also be said to be a region surrounded by a surrounding line obtained by adding a margin to the second surrounding line 66.
  • the entire first region 57 overlaps the second region 67, and the first region 57 is included in the second region 67.
  • the setting unit 42 has 100% overlap of the first region 57 with respect to the second region 67, and the combination of the first variant 55 and the second variant 65 is first associated with each other. Set as a candidate.
  • the determination unit 43 determines whether or not the first region 57 is included in the second region 67 for all combinations of the first variant 55 and the second variant 65 that are different from each other.
  • FIG. 13 is a diagram for explaining a first association candidate set by the setting unit according to the first embodiment.
  • the combination of the first variant 55a and the second variant 65a, the combination of the first variant 55b and the second variant 65b, the first variant 55c and the second variant is set as the first association candidate.
  • the determination unit 43 determines the degree of overlap of the first region 57 with respect to the second region 67 having the margin ⁇ . Therefore, the determination unit 43 determines as the first association candidate even if there is a difference in position or orientation between the vector of the first deformation 55 and the vector of the second deformation 65. be able to.
  • the misalignment or orientation between the vector of the first variant 55 and the vector of the second variant 65 may be caused by hand-drawn drawing by the operator, or may be caused by the first time T1 and the second time T2. It may occur due to different imaging conditions.
  • the determination unit 43 determines the first association candidate based on the degree of overlap of the first region 57 with respect to the second region 67. Therefore, the determination unit 43 can use each of the plurality of first variants 55 and one first variant even when the plurality of first variants 55 are connected to form one second variant 65. The combination with the modification 65 of 2 can be determined as the first association candidate.
  • the determination unit 43 determines in the XY-axis coordinate system a region larger than the region surrounded by the first surrounding line 56 by a preset length as the first region 57, and determines the second surrounding line 66.
  • the region surrounded by is determined as the second region 67, and it is determined whether or not the second region 67 is included in the first region 57.
  • the determination unit 43 determines the combination of the first variant 55 and the second variant 65 in which the second region 67 is included in the first region 57 as the second association candidate.
  • FIG. 14 is a diagram for explaining a method of determining a second association candidate by the determination unit according to the first embodiment.
  • the degree of overlap of the second region 67 with respect to the first region 57 is determined.
  • the first surrounding line 56 surrounding the first variant 55 is defined by the coordinates Po1 (Xso, Yso) of the first vertex and the coordinates Po2 (Xeo, Yeo) of the second vertex.
  • the first region 57 is a region larger than the region surrounded by the first surrounding line 56 surrounding the first deformation 55, and has the coordinates Pso (Xso + ⁇ , Yso + ⁇ ) of the first vertex and the second vertex. It is defined by the coordinates Peo (Xeo + ⁇ , Yeo + ⁇ ).
  • the first region 57 is a region in which the positive and negative directions of the X-axis and the positive and negative directions of the Y-axis are each larger by a margin ⁇ with respect to the region surrounded by the first surrounding line 56. .. It can be said that the first region 57 is a region surrounded by a surrounding line obtained by adding a margin to the first surrounding line 56.
  • the second region 67 is a region surrounded by a second surrounding line 66 surrounding the second variant 65, and has the coordinates Psn (Xsn, Ysn) of the first vertex and the coordinates Pen (Xen) of the second vertex. , Yen).
  • the second surrounding line 66 is defined by two coordinates at the same position as the coordinate Psn of the first vertex and the coordinate Pen of the second vertex in the second region 67.
  • the entire second region 67 overlaps with the first region 57, and the second region 67 is included in the first region 57.
  • the setting unit 42 has 100% overlap of the second region 67 with respect to the first region 57, and the combination of the first variant 55 and the second variant 65 is associated with the second. Set as a candidate.
  • the determination unit 43 determines whether or not the second region 67 is included in the first region 57 for all combinations of the first variant 55 and the second variant 65 that are different from each other.
  • FIG. 15 is a diagram for explaining a second association candidate set by the setting unit according to the first embodiment.
  • each of the combination of the second variant 65c and the first variant 55d and the combination of the second variant 65e and the first variant 55f is the second association candidate. Is set as. Further, the combination of the second variant 65f and the first variant 55f, the combination of the second variant 65g and the first variant 55f, and the second variant 65h and the first variant 55f.
  • Each of the combinations with and is set as the second association candidate.
  • the determination unit 43 determines the degree of overlap of the second region 67 with respect to the first region 57 having the margin ⁇ . Therefore, the determination unit 43 determines as the second association candidate even if there is a difference in position or orientation between the vector of the first deformation 55 and the vector of the second deformation 65. be able to. Further, the determination unit 43 determines the second association candidate based on the degree of overlap of the second region 67 with respect to the first region 57. Therefore, even if a part of one first variant 55 is repaired and divided into a plurality of second variants 65, the determination unit 43 may include one first variant 55 and a plurality. The combination with each of the second variants 65 of the above can be determined as the second association candidate.
  • the determination unit 43 performs an integration process of the plurality of first association candidates and the plurality of second association candidates. In the integration process, the determination unit 43 determines whether or not the first association candidate and the second association candidate have the same combination of the first variant 55 and the second variant 65. When the first mapping candidate and the second mapping candidate have the same combination of the first variant 55 and the second variant 65, the determination unit 43 determines the same first variant 55 and the same first variant 65. One of the first association candidate and the second association candidate in combination with the modification 65 of 2 is deleted.
  • the determination unit 43 determines a plurality of first association candidates shown in FIG. 13, and the determination unit 43 determines a plurality of second association candidates shown in FIG. In this case, since there is no duplication between the first association candidate and the second association candidate, neither the first association candidate nor the second association candidate is deleted.
  • the determination unit 43 deletes one of them, and then deletes one of the first association candidates and the plurality of second association candidates. Integrate with the mapping candidates of. In the following, each of the first association candidate and the second association candidate after integration will be described as association candidates.
  • FIG. 16 is a diagram showing an example of a plurality of association candidates after the integration process by the determination unit according to the first embodiment
  • FIG. 17 is a diagram showing a first modification of the plurality of association candidates shown in FIG. It is a figure which shows an example of the association candidate information including the combination of the transformation ID and the transformation ID of the second variant.
  • the deformation IDs of the first deformations 55a to 55f are "A1" to "A6”
  • the deformation IDs of the second deformations 65a to 65h are "B1" to "B1" to "A6". B8 ".
  • FIGS. 16 and 17 a candidate for associating a combination of the first variant 55a and the second variant 65a, a candidate for associating a combination of the first variant 55b and the second variant 65b, and Correspondence candidates for the combination of the first variant 55c and the second variant 65b are shown. Further, in FIGS. 16 and 17, a candidate for associating a combination of the first variant 55d and the second variant 65c, and a candidate for associating a combination of the first variant 55e and the second variant 65d. , And the matching candidates of the combination of the first variant 55f and the second variant 65e, 65f, 65g, 65h are shown.
  • the information of each matching candidate may be information in which the first variant 55 and the second variant 65 are combined on a one-to-one basis.
  • the determination unit 43 replaces the association candidate of the combination of the first variant 55f and the second variant 65e, 65f, 65g, 65h shown in FIG. 16 with the first variant 55f and the second variant. It is also possible to determine four association candidates for combinations with each of the variants 65e, 65f, 65g, and 65h.
  • the information of the plurality of matching candidates includes, for example, information on the combination of the deformation ID of the first deformation 55 and the deformation ID of the second deformation 65 as shown in FIG.
  • the matching candidates for the combination of the first variant 55f and the second variant 65e, 65f, 65g, 65h are the variant ID of the first variant 55f and the second variant as shown in FIG. It may be represented by a combination with each of the modified IDs of the modified 65e, 65f, 65g, and 65h.
  • the matching unit 44 of the processing unit 40 performs pattern matching processing on at least one first deformation 55 and at least one second deformation 65 for each of the plurality of matching candidates determined by the determination unit 43. Compare by.
  • the association unit 44 associates at least one first variant 55 with at least one second variant 65 based on the results of the comparison.
  • the association unit 44 includes an extraction unit 46, a comparison unit 47, and a generation unit 48.
  • the extraction unit 46 has a plurality of first deformed images and a plurality of second deformed images from the first image information 32 and the second image information 33 acquired by the acquisition unit 41 for the plurality of association candidates. Is extracted.
  • the extraction unit 46 surrounds the first variant 55 included in the association candidate among the plurality of first surrounding lines 56 from the first captured image 80 of the first image information 32.
  • the first deformed image which is an image of the area surrounded by the surrounding line 56, is extracted for each association candidate.
  • the extraction unit 46 is a second surrounding line surrounding the second variant 65 included in the association candidate among the plurality of second surrounding lines 66 from the second captured image 81 of the second image information 33.
  • a second deformed image which is an image of the area surrounded by 66, is extracted for each association candidate.
  • FIG. 18 is a diagram showing an example of a plurality of first deformed images and a plurality of second deformed images extracted by the extraction unit of the associating unit according to the first embodiment, and is a diagram showing an example of the plurality of deformed images shown in FIG. An example is shown in the case where the association candidate of is determined by the determination unit 43.
  • the extraction unit 46 extracts a plurality of first deformed images 58a, 58b, 58c, 58d, 58e, 58f from the first captured image 80 of the first image information 32.
  • Each of the plurality of first deformed images 58a, 58b, 58c, 58d, 58e, 58f is formed by the corresponding first surrounding line 56 of the first surrounding lines 56a, 56b, 56c, 56d, 56e, 56f. It is an image of the enclosed area.
  • each of the first deformed images 58a, 58b, 58c, 58d, 58e, and 58f is shown without distinction, it may be described as the first deformed image 58.
  • the extraction unit 46 has a plurality of second deformed images 68a, 68b, 68c, 68d, 68e, 68f, 68g from the second captured image 81 of the second image information 33. Extract 68h.
  • each of the second deformed images 68a, 68b, 68c, 68d, 68e, 68f, 68g, and 68h may be described as the second deformed image 68.
  • each of the first deformed image 58 and the second deformed image 68 may be described as a deformed image.
  • the comparison unit 47 performs pattern matching processing on the first deformed image 58 and the second deformed image 68 extracted by the extraction unit 46 for each association candidate based on the brightness of each pixel in the deformed image. compare.
  • FIG. 19 is a diagram showing an example of a method of comparing the first deformed image and the second deformed image by the comparison unit of the associating unit according to the first embodiment. As shown in FIG. 19, the comparison unit 47 is an image included in the second deformed image 68, which is the larger deformed image of the first deformed image 58 and the second deformed image 68. And the first modified image 58, which is the smaller modified image, are compared by pattern matching processing.
  • the comparison unit 47 calculates a score indicating the degree of similarity between the image included in the larger first deformed image 58 and the smaller second deformed image 68. For example, in the pattern matching process, the comparison unit 47 has an image of which region of the first deformed image 58, which is the smaller deformed image, is the second deformed image 68, which is the larger deformed image. And determine if the similarity is the highest. The comparison unit 47 calculates the similarity of the region determined to have the highest similarity as the score SC. In the example shown in FIG. 19, the comparison unit 47 determines the region having the highest degree of similarity with the first deformed image 58 among the second deformed images 68, and determines that the region has the highest degree of similarity. The similarity is calculated as the score SC.
  • FIG. 20 is a diagram showing an example of association candidate information including a score calculated by the comparison unit of the association unit according to the first embodiment.
  • the comparison unit 47 calculates the score SC for each of the plurality of association candidates.
  • the score SC is represented by the scores SC1 to SC9.
  • the extraction unit 46 allows the plurality of first modified images 58a, 58b, 58c, 58d, 58e, 58f and the plurality of second modified images 68a, 68b, 68c, 68d, 68e, 68f shown in FIG. , 68g, 68h are extracted.
  • the first deformed image 58a is smaller than the second deformed image 68a
  • the first deformed images 58b and 58c are smaller than the second deformed image 68b.
  • the modified image 58d of 1 is larger than the modified image 68c of the second.
  • the first deformed image 58e is smaller than the second deformed image 68d
  • the first deformed image 58f is larger than the second deformed images 68e, 68f, 68g, 68h.
  • the comparison unit 47 determines the region having the highest similarity with the first modified image 58a among the second modified images 68a, and scores the similarity of the region determined to have the highest similarity with the score SC1. Calculate as.
  • the comparison unit 47 determines the region having the highest similarity with the first deformed image 58b among the second deformed images 68b, and calculates the similarity of the region determined to have the highest similarity as the score SC2. do.
  • the comparison unit 47 determines the region having the highest similarity with the first deformed image 58c among the second deformed images 68b, and calculates the similarity of the region determined to have the highest similarity as the score SC3. do.
  • the comparison unit 47 determines the region having the highest similarity with the second deformed image 68c among the first deformed images 58d, and scores the similarity of the region determined to have the highest similarity with the score SC4. Calculate as.
  • the comparison unit 47 determines the region having the highest similarity with the first deformed image 58e among the second deformed images 68d, and calculates the similarity of the region determined to have the highest similarity as the score SC5.
  • the comparison unit 47 determines the region having the highest similarity with the second deformed image 68e among the first deformed images 58f, and calculates the similarity of the region determined to have the highest similarity as the score SC6. do.
  • the comparison unit 47 determines the region having the highest similarity with the second modified image 68f among the first modified images 58f, and scores the similarity of the region determined to have the highest similarity with the score SC7. Calculate as.
  • the comparison unit 47 determines the region having the highest similarity with the second deformed image 68g among the first deformed images 58f, and calculates the similarity of the region determined to have the highest similarity as the score SC8. do.
  • the comparison unit 47 determines the region having the highest similarity with the second deformed image 68h among the first deformed images 58f, and calculates the similarity of the region determined to have the highest similarity as the score SC9. do.
  • the generation unit 48 is included in the association candidate of the combination of the first deformed image 58 and the second deformed image 68 whose score SC calculated by the comparison unit 47 is equal to or higher than the preset threshold value Sth1.
  • Correspondence information 34 which is information in which the first variant 55 and the second variant 65 are associated with each other, is generated.
  • the association information 34 includes information in which the deformation ID of the first deformation 55 and the deformation ID of the second deformation 65 are associated with each other.
  • the generation unit 48 stores the generated association information 34 in the storage unit 30.
  • FIG. 21 is a diagram for explaining a method of generating association information by the generation unit of the association unit according to the first embodiment.
  • the scores SC1 to SC3 and SC5 to SC9 are equal to or higher than the threshold value Sth1, and the score SC4 is lower than the threshold value Sth1. Therefore, the generation unit 48 excludes the association candidate of the combination of the first variant 55d and the second variant 65c from the plurality of combination candidates, and generates the association information 34.
  • the association information 34 includes a combination of the variant ID "A1" and the variant ID "B1", a combination of the variant ID "A2" and the variant ID "B2", and the variant ID "A3".
  • the correspondence information 34 includes a combination of the transformation ID “A6” and the transformation ID "B5", a combination of the transformation ID “A6” and the transformation ID “B6”, and the transformation ID "A6". Information on each combination of the variant ID "B7” and the variant ID "A6” and the variant ID "B8" is included.
  • the associating unit 44 can accurately associate the first variant 55 with the second variant 65.
  • the comparison unit 47 can specify, for example, a deformed image included in the deformed image based on the brightness of each pixel in the deformed image, and perform pattern matching processing based on the specified deformed image. ..
  • the comparison unit 47 can specify an image composed of a plurality of pixels whose brightness in the deformed image satisfies a preset condition as the deformed image.
  • the comparison unit 47 is composed of a plurality of pixels whose brightness and color in the deformed image satisfy preset conditions.
  • the image can be specified as a deformed image.
  • the comparison unit 47 can also specify a deformed image by a trained model such as a convolutional neural network generated by machine learning, and perform pattern matching processing based on the identified deformity.
  • a trained model such as a convolutional neural network generated by machine learning
  • the output unit 45 can read the association information 34 stored in the storage unit 30 from the storage unit 30 and display it on the display device 11. Further, the output unit 45 can read the association information 34 stored in the storage unit 30 by wire or wirelessly to an external device connected to the network from the storage unit 30 and transmit it to the communication unit 20.
  • FIG. 22 is a flowchart showing an example of processing by the processing unit of the deformation management device according to the first embodiment.
  • the processing unit 40 stores information such as the first deformation information 31a, the second deformation information 31b, the first image information 32, and the second image information 33 from the storage unit 30.
  • the information acquisition process for reading and acquiring is performed (step S10).
  • the processing unit 40 performs the first surrounding line setting processing and the second surrounding line setting processing based on the first deformation information 31a and the second deformation information 31b acquired in step S10.
  • the surrounding line setting process including the above is performed (step S11).
  • the first surrounding line setting process is a process of setting a first surrounding line 56 surrounding the vector of the first deformation 55 for each of the first deformation 55.
  • the second enclosure line setting process is a process of setting a second enclosure line 66 surrounding the vector of the second variant 65 for each second variant 65.
  • step S12 the processing unit 40 performs a mapping candidate determination process for determining a plurality of mapping candidates (step S12).
  • the process of step S12 is the process of steps S20 to S27 shown in FIG. 23, which will be described in detail later.
  • the processing unit 40 performs an image extraction process including a first image extraction process and a second image extraction process based on the first image information 32 and the second image information 33 acquired in step S10. (Step S13).
  • the image of the region surrounded by the first surrounding line 56 surrounding the first deformation 55 included in each association candidate is extracted from the first captured image 80 of the first image information 32. This is the process of extracting.
  • the image of the region surrounded by the second surrounding line 66 surrounding the second deformation 65 included in each association candidate is extracted from the second captured image 81 of the second image information 33. This is the process of extracting.
  • step S14 the processing unit 40 performs the association determination process (step S14).
  • the process of step S14 is the process of steps S30 to S35 shown in FIG. 24, which will be described in detail later.
  • the processing unit 40 generates the association information 34 based on the result of the association determination process in step S14, and performs the association information generation process of storing the generated association information 34 in the storage unit 30 (step).
  • step S15 the process shown in FIG. 22 is terminated.
  • FIG. 23 is a flowchart showing an example of the association candidate determination process executed by the processing unit according to the first embodiment.
  • the processing unit 40 is the first surrounded by the first surrounding line 56 with respect to the second region 67 surrounded by the surrounding line in which the margin is added to the second surrounding line 66.
  • the degree of overlap of the regions 57 of the above is determined (step S20).
  • the processing unit 40 determines whether or not the first region 57 is included in the second region 67 based on the degree of overlap determined in step S20 (step S21). When the processing unit 40 determines that the first region 57 is included in the second region 67 (step S21: Yes), the first deformation 55 and the second region 67 included in the first region 57 The combination with the second variant 65 included in the above is determined as the first association candidate (step S22).
  • step S22 When the processing of step S22 is completed, or when the processing unit 40 determines that the first area 57 is not included in the second area 67 (step S21: No), whether or not there is an unexecuted combination. Is determined (step S23).
  • the unexecuted combination is a combination of the plurality of combinations of the first surrounding line 56 and the second surrounding line 66 in which the processes of steps S20 and S21 have not been performed.
  • step S23: Yes When the processing unit 40 determines that there is an unexecuted combination (step S23: Yes), the processing unit 40 shifts the processing to step S20. Further, when the processing unit 40 determines that there is no unexecuted combination (step S23: No), the processing unit 40 has a second with respect to the first region 57 surrounded by the first surrounding line 56 plus a margin. The degree of overlap of the second region 67 surrounded by the surrounding line 66 is determined (step S24).
  • the processing unit 40 determines whether or not the first region 57 includes the second region 67 based on the degree of overlap determined in step S24 (step S25). When the processing unit 40 determines that the first region 57 includes the second region 67 (step S25: Yes), the first modification 55 and the second region 67 included in the first region 57 The combination with the second variant 65 included in is determined as the second association candidate (step S26).
  • step S26 When the processing of step S26 is completed, or when the processing unit 40 determines that the second area 67 is not included in the first area 57 (step S25: No), whether or not there is an unexecuted combination. Is determined (step S27).
  • the unexecuted combination is a combination of the plurality of combinations of the first surrounding line 56 and the second surrounding line 66 in which the processes of steps S24 and S25 have not been performed.
  • step S27: Yes When the processing unit 40 determines that there is an unexecuted combination (step S27: Yes), the processing unit 40 shifts the processing to step S24. Further, when the processing unit 40 determines that there is no unexecuted combination (step S27: No), the processing unit 40 ends the processing shown in FIG. 23.
  • FIG. 24 is a flowchart showing an example of the association determination process executed by the processing unit according to the first embodiment.
  • the processing unit 40 starts with the first image information 32 and the second image information 33, and the first variant 55 and the second variant included in one association candidate.
  • An image of the area surrounded by the surrounding lines surrounding each of the 65 is extracted (step S30).
  • the processing unit 40 uses the image of the area surrounded by the first surrounding line 56 surrounding the first deformation 55 included in one association candidate as the first deformation image 58. It is extracted from the first captured image 80 of the image information 32 of 1. Further, the processing unit 40 uses the image of the area surrounded by the second surrounding line 66 surrounding the second deformation 65 included in one matching candidate as the second deformation image 68 as the second image information. It is extracted from the second captured image 81 of 33.
  • the processing unit 40 has a score SC indicating the degree of similarity between the image included in the larger deformed image of the first deformed image 58 and the second deformed image 68 and the smaller deformed image. Is calculated (step S31). Then, the processing unit 40 determines whether or not the score SC calculated in step S31 is equal to or higher than the threshold value Sth1 (step S32).
  • step S32: No When the processing unit 40 determines that the score SC is not the threshold Sth1 or higher (step S32: No), the processing unit 40 excludes the association candidates whose score SC is not the threshold Sth or higher 1 from the mapping (step S33).
  • step S33 When the processing of step S33 is completed, or when it is determined that the score SC is the threshold value Sth1 or more (step S32: Yes), the processing unit 40 determines whether or not there is an unexecuted association candidate (step). S34).
  • the unexecuted association candidate is an unexecuted association candidate for which the processes of steps S30 to S33 have not been performed among the plurality of association candidates determined in step S12 shown in FIG.
  • step S34: Yes When the processing unit 40 determines that there is an unexecuted association candidate (step S34: Yes), the processing unit 40 shifts the processing to step S30. Further, when the processing unit 40 determines that there is no unexecuted association candidate (step S34: No), the first modification 55 and the second modification included in the association candidate not excluded in step S33. The process shown in FIG. 24 is completed in association with the shape 65 (step S35).
  • FIG. 25 is a diagram showing an example of the hardware configuration of the processing unit of the deformation management device according to the first embodiment.
  • the processing unit 40 of the transformation management device 10 includes a computer including a processor 101, a memory 102, and an input / output interface 103.
  • the processor 101, the memory 102, and the input / output interface 103 can send and receive data to and from each other by, for example, the bus 104.
  • the processor 101 executes the functions of the acquisition unit 41, the setting unit 42, the determination unit 43, the association unit 44, and the output unit 45 by reading and executing the program stored in the memory 102.
  • the processor 101 is, for example, an example of a processing circuit, and includes one or more of a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a system LSI (Large Scale Integration).
  • the memory 102 is one or more of RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EEPROM (Erasable Programmable Read Only Memory), and EEPROM (registered trademark) (Electrically Erasable Programmable Read Only Memory). include.
  • the memory 102 also includes a recording medium on which a computer-readable program is recorded. Such recording media include one or more of non-volatile or volatile semiconductor memories, magnetic disks, flexible memories, optical disks, compact disks, and DVDs (Digital Versatile Discs).
  • the deformation management device 10 may include integrated circuits such as an ASIC (Application Specific Integrated Circuit) and an FPGA (Field Programmable Gate Array).
  • the deformation management device 10 includes an acquisition unit 41, a setting unit 42, and a determination unit 43.
  • the acquisition unit 41 includes information on the plurality of first deformations 55 included in the structure at the first time T1 and information on the plurality of second deformations 65 included in the structure at the second time T2. To get.
  • the setting unit 42 Based on the information of the plurality of first deformations 55 and the information of the plurality of second deformations 65, the setting unit 42 performs the corresponding first deformation of the plurality of first deformations 55, respectively.
  • a plurality of first surrounding lines 56 and a plurality of second surrounding lines 66 that surround each of the corresponding second variants among the plurality of second variants 65 are set.
  • the determination unit 43 corresponds to each of the plurality of first regions 57 including the regions surrounded by the corresponding first enclosures 56 among the plurality of first enclosures 56 and the plurality of second enclosures 66. At least one of a plurality of first variants 55 and a plurality of first variants based on the degree of overlap with each of the plurality of second regions 67 including each region surrounded by the second surrounding line. A plurality of association candidates including at least one second variant of the second variant 65 of the above are determined. As a result, the deformation management device 10 can accurately associate a plurality of deformations contained in the structure at different times from each other.
  • the deformation management device 10 determines the association candidates based on the degree of overlap between the first region 57 and the second region 67, a plurality of deformations included in the structure at different times from each other can be determined. It is possible to accurately determine the mapping candidate for mapping. Further, the deformation management device 10 determines the association candidates by a simple process using the surrounding line surrounding the deformation, so that the first deformation 55 and the second deformation to be the target of the pattern matching process are determined. Since the combination with 65 is narrowed down, the processing load can be reduced.
  • the determination unit 43 determines each of the plurality of first regions 57 as an region surrounded by the corresponding first enclosure line among the plurality of first enclosure lines 56. Further, the determination unit 43 determines each of the plurality of second regions 67 as a region larger than the region surrounded by the corresponding second surrounding line among the plurality of second surrounding lines 66. Then, when the determination unit 43 includes one first region among the plurality of first regions 57 in one second region among the plurality of second regions 67, the determination unit 43 performs a plurality of first changes. A combination containing a first variant contained in one first region 57 of shape 55 and a second variant contained in one second region 67 of a plurality of second variants 65. Determined as one of a plurality of matching candidates. As a result, the deformation management device 10 accurately determines the association candidate even when there is a deviation in the position or orientation between the first deformation 55 and the second deformation 65. Can be done.
  • the determination unit 43 determines each of the plurality of first regions 57 as a region larger than the region surrounded by the corresponding first enclosure 56 among the plurality of first enclosures 56.
  • the association unit 44 determines each of the plurality of second regions 67 as an region surrounded by the corresponding second surrounding line among the plurality of second surrounding lines 66.
  • the determination unit 43 determines the plurality of first variants 55.
  • the deformation management device 10 accurately determines the association candidate even when there is a deviation in the position or orientation between the first deformation 55 and the second deformation 65. Can be done.
  • the association unit 44 includes an extraction unit 46, a comparison unit 47, and a generation unit 48.
  • the extraction unit 46 extracts an image of a region surrounded by the corresponding first surrounding line from the image of the structure captured at the first time T1 from the plurality of first surrounding lines 56 as the first modified image 58. Is extracted for each association candidate. Further, the extraction unit 46 secondly modifies the image of the region surrounded by the corresponding second surrounding line 66 among the plurality of second surrounding lines 66 from the image of the structure captured at the second time T2. It is extracted as a state image 68 for each association candidate.
  • the comparison unit 47 compares the image included in the larger deformed image of the first deformed image 58 and the second deformed image 68 with the smaller deformed image for each association candidate.
  • the generation unit 48 generates information in which at least one first deformed image 58 and at least one second deformed image 68 are associated with each other based on the result of comparison by the comparison unit 47. In this way, the deformation management device 10 associates the first deformation 55 with the second deformation 65 by comparing the first deformation image 58 and the second deformation image 68. Therefore, it is possible to accurately associate the first variant 55 with the second variant 65.
  • Embodiment 2 The deformation management device according to the second embodiment determines changes in the deformation occurring in the structure based on a plurality of types of scores calculated from the image of the first deformation and the image of the second deformation. In that it is determined, it is different from the deformation management device 10 according to the first embodiment.
  • FIG. 26 is a diagram showing an example of the configuration of the deformation management device according to the second embodiment.
  • the deformation management device 10A according to the second embodiment is different from the deformation management device 10 in that the processing unit 40A is provided instead of the processing unit 40.
  • the processing unit 40A is different from the processing unit 40 in that it includes a deformation change determination unit 49.
  • the deformation change determination unit 49 includes an extraction unit 90, a comparison unit 91, and a determination unit 92.
  • the extraction unit 90 has the size of the surrounding line used to extract the smaller of the first deformed image 58 and the second deformed image 68 extracted by the associating unit 44. Change the size to the same size as the box used to extract the larger deformed image.
  • the extraction unit 90 extracts an image of the region surrounded by the changed surrounding line as a range-changing image from the captured image.
  • FIG. 27 is a diagram for explaining a method of extracting a range change image by the extraction unit of the deformation change determination unit according to the second embodiment.
  • FIG. 27 shows an example in which the matching candidate for which the image is to be extracted is a combination of the first variant 55c and the second variant 65b, and surrounds the first variant 55c.
  • the region surrounded by the surrounding line 56c of 1 is smaller than the region surrounded by the second surrounding line 66b surrounding the second deformation 65b.
  • the extraction unit 90 changes the size of the first surrounding line 56c to the surrounding line 59c having the same size as the size of the second surrounding line 66b.
  • the position of the second surrounding line 66b and the position of the surrounding line 59c are the same.
  • the extraction unit 90 extracts an image of the region 71 surrounded by the surrounding line 59c from the first captured image 80 of the first image information 32 as a range-changing image.
  • the comparison unit 91 performs pattern matching processing based on the brightness of the larger deformed image and the range-changed image of the first deformed image 58 and the second deformed image 68, thereby performing the larger deformed image and the range.
  • the overall score EN_SC which is a score indicating the degree of similarity with the changed image, is calculated.
  • the comparison unit 91 adds the calculated overall score EN_SC to the association candidate information.
  • the score SC calculated by the association unit 44 is described as a partial score P_SC in order to distinguish it from the overall score EN_SC.
  • FIG. 28 is a diagram showing an example of association candidate information including a partial score calculated by the comparison unit of the association unit and the overall score calculated by the comparison unit of the deformation change determination unit according to the second embodiment. ..
  • the comparison unit 47 calculates a partial score P_SC for each of the plurality of association candidates, and adds the calculated partial score P_SC to the association candidate information.
  • the partial score P_SC of each association candidate is represented by the partial scores P_SC1 to P_SC9.
  • the overall score EN_SC is represented by the overall scores EN_SC1 to EN_SC9 in order to distinguish the overall score EN_SC of each association candidate.
  • the determination unit 92 determines the change in the deformation occurring on the inner wall of the tunnel based on the partial score P_SC calculated by the comparison unit 47 and the overall score EN_SC calculated by the comparison unit 91. For example, the determination unit 92 determines that the change in deformation is large when the partial score P_SC is equal to or higher than the threshold value Sth1 and the overall score EN_SC is less than the threshold value Sth2 for each of the plurality of association candidates. Further, the determination unit 92 determines that the change in deformation is small when the partial score P_SC is the threshold value Sth1 or more and the overall score EN_SC is the threshold value Sth3 or more for each of the plurality of association candidates.
  • the threshold value Sth2 is a value equal to or less than the threshold value Sth3.
  • the determination unit 92 can determine the change in the deformation that occurs on the inner wall of the tunnel based on the result of the association by the association unit 44. For example, the determination unit 92 can determine that the deformation has grown or that the deformation has been repaired, based on the result of the association by the association unit 44.
  • the determination unit 92 determines that the deformation is larger when the second deformation 65 of the associated first deformation 55 and the second deformation 65 is longer than the first deformation 55. Can be determined. In this case, the determination unit 92 determines the length of the first deformation 55 based on, for example, the first deformation information 31a, and the second deformation information 31b is based on the second deformation information 31b. Determine the length of 65.
  • the deformed length is, for example, a value obtained by adding the lengths of all the line segments constituting the deformed vector. Further, in the determination unit 92, when the first deformed image 58 is smaller than the second deformed image 68, or when the first surrounding line 56 is smaller than the second surrounding line 66, the deformation is large. It can also be determined that it is.
  • the determination unit 92 determines that the plurality of variants are connected. Further, the determination unit 92 determines that the second deformation 65, which is not associated with the first deformation 55 by the association unit 44, is a newly generated deformation. When the determination unit 92 determines that the deformation is large, or determines that a plurality of deformations are connected, it can determine that the deformation has grown.
  • the determination unit 92 said that when the first deformation 55 of the associated first deformation 55 and the second deformation 65 was longer than the second deformation 65, the deformation became smaller. judge. Further, the determination unit 92 determines that the deformation is small when the second deformed image 68 is smaller than the first deformed image 58, or when the second surrounding line 66 is smaller than the first surrounding line 56. It can also be determined that it is. When the determination unit 92 determines that the deformation has become smaller, it can determine that the deformation has been repaired.
  • the determination unit 92 determines that the deformation is divided when a plurality of second deformations 65 are associated with one first deformation 55 by the association unit 44. Further, the determination unit 92 determines that the deformation has disappeared when there is a first deformation 55 that is not associated with the second deformation 65 by the association unit 44. When the determination unit 92 determines that the deformation is small, determines that the deformation has been divided, or determines that the deformation has disappeared, it can determine that the deformation has been repaired. The determination unit 92 stores information indicating the determination result in the storage unit 30.
  • the output unit 45 reads information indicating the determination result by the deformation change determination unit 49 from the storage unit 30 and displays it on the display device 11, or reads information indicating the determination result by the deformation change determination unit 49 from the storage unit 30. Can be transmitted from the communication unit 20.
  • FIG. 29 is a flowchart showing an example of processing by the processing unit of the deformation management device according to the second embodiment.
  • the processing of steps S40 to S45 shown in FIG. 29 is the same as the processing of steps S10 to S15 shown in FIG. 22, and the description thereof will be omitted.
  • step S45 the processing unit 40A of the deformation management device 10A performs the deformation change determination processing (step S46), and ends the processing shown in FIG. 29.
  • the process of step S46 is the process of steps S50 to S53 shown in FIG.
  • FIG. 30 is a flowchart showing an example of the deformation change determination process according to the second embodiment.
  • the processing unit 40A corresponds the box corresponding to the smaller deformed image of the first deformed image 58 and the second deformed image 68 to the larger deformed image.
  • the size is changed to the same size as the surrounding line, and the image corresponding to the area surrounded by the changed surrounding line is extracted as the range changing image (step S50).
  • the processing unit 40A calculates an overall score EN_SC indicating the degree of similarity between the larger deformed image and the range-changed image of the first deformed image 58 and the second deformed image 68 (step S51). ). Then, the processing unit 40A determines whether or not there is an unexecuted association candidate (step S52).
  • the unexecuted mapping candidate is a mapping candidate in which the processes of steps S50 and S51 have not been performed among the plurality of mapping candidates.
  • step S52 Yes
  • the processing unit 40A shifts the processing to step S50. Further, when the processing unit 40A determines that there is no unexecuted association candidate (step S52: No), the association result between the first variant 55 and the second variant 65, the partial score P_SC, and Based on the overall score EN_SC, the change in the deformation is determined (step S53), and the process shown in FIG. 30 is completed.
  • the hardware configuration example of the processing unit 40A of the deformation management device 10A according to the second embodiment is the same as the hardware configuration of the processing unit 40 of the deformation management device 10 shown in FIG. 25.
  • the processor 101 reads and executes the program stored in the memory 102 to perform the functions of the acquisition unit 41, the setting unit 42, the determination unit 43, the association unit 44, the output unit 45, and the deformation change determination unit 49. Can be executed.
  • the deformation management device 10A includes the deformation change determination unit 49 that determines the change in the deformation that occurs in the structure based on the result of the association by the association unit 44. .. As a result, the deformation management device 10A can grasp the change in the deformation that occurs in the structure.
  • the comparison unit 47 of the associating unit 44 includes a part of the image included in the larger deformed image of the first deformed image 58 and the second deformed image 68 and the smaller deformed image.
  • the partial score P_SC indicating the degree of similarity of is calculated as the score SC.
  • the deformation change determination unit 49 includes an extraction unit 90, a comparison unit 91, and a determination unit 92.
  • the extraction unit 90 sets the size of the surrounding line used for extracting the smaller deformed image of the first deformed image 58 and the second deformed image 68, and sets the larger deformed image. Change to the same size as the box used for extraction.
  • the extraction unit 90 extracts an image of the area surrounded by the changed surrounding line as a range-changing image from the image of the structure.
  • the comparison unit 91 compares the larger deformed image and the range-changed image of the first deformed image 58 and the second deformed image 68 by pattern matching processing, and compares the larger deformed image and the range-changed image.
  • the overall score EN_SC which indicates the degree of similarity with the image, is calculated.
  • the determination unit 92 determines the change in the deformation occurring in the structure based on the partial score P_SC and the total score EN_SC. As a result, the deformation management device 10A can accurately determine the change in the deformation that occurs in the structure.
  • the deformation management devices 10 and 10A may be composed of a plurality of devices.
  • the deformation management devices 10 and 10A may be composed of a plurality of devices that transmit and receive information wirelessly or by wire, which are arranged at different positions from each other.
  • the configuration shown in the above embodiments is an example, and can be combined with another known technique, can be combined with each other, and does not deviate from the gist. It is also possible to omit or change a part of the configuration.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

変状管理装置（１０）は、設定部（４２）と、決定部（４３）と、対応付け部（４４）とを備える。設定部（４２）は、複数の第１の変状のうち対応する第１の変状を各々囲む複数の第１の囲み線と、複数の第２の変状のうち対応する第２の変状を各々囲む複数の第２の囲み線とを設定する。決定部（４３）は、複数の第１の囲み線のうち対応する第１の囲み線で囲まれる領域を各々含む複数の第１の領域の各々と複数の第２の囲み線のうち対応する第２の囲み線で囲まれる領域を各々含む複数の第２の領域の各々との重なり度合いに基づいて、少なくとも１つの第１の変状と少なくとも１つの第２の変状とを各々含む複数の対応付け候補を決定する。対応付け部（４４）は、複数の対応付け候補の各々について、パターンマッチング処理によって比較した結果に基づいて、少なくとも１つの第１の変状と少なくとも１つの第２の変状との対応付けを行う。

Description

変状管理装置、変状管理方法、および変状管理プログラム
　本開示は、異なる時刻において構造物に含まれる変状を対応付ける変状管理装置、変状管理方法、および変状管理プログラムに関する。
　従来、トンネルまたは橋梁などの構造物の表面に生じるひび割れなどの変状は、経時的な変化などが監視され、かかる変化の状態に基づいて、必要に応じた対策が講じられている。変状の変化は、例えば、トンネルまたは橋梁などの構造物の表面を異なる時刻に撮影して得られる画像を解析することによって行うことができる。
　例えば、特許文献１には、第１の時刻および第２の時刻に各々撮像された画像から検出されるひび割れに対応する部分を含む輪郭線を抽出し、輪郭線により構成される図形の重心を特徴点として検出し、特徴点の数および特徴点間の距離を特徴量として抽出する技術が開示されている。特許文献１に記載の技術は、第１の時刻に撮像された画像の上述した特徴量と第２の時刻に撮像された画像の上述した特徴量とが近似している場合、特徴点を比較することで、ひび割れの変化を解析する。
特開２０１９－２０２２０号公報
　しかしながら、上記特許文献１に記載の技術では、経時的な変化によって複数のひび割れが連結することなどによってひび割れの大きさが大きく変わると、輪郭線により構成される囲み線の重心位置が大きく変化する場合がある。この場合、上記特許文献１に記載の技術では、第１の時刻に撮像された画像から得られるひび割れと第２の時刻に撮像された画像から得られるひび割れとを対応付けることが難しい。このことは、ひび割れ以外の変状についても同様である。
　本開示は、上記に鑑みてなされたものであって、互いに異なる時刻において構造物に含まれる複数の変状を精度よく対応付けることができる変状管理装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本開示の変状管理装置は、取得部と、設定部と、決定部と、対応付け部と、を備える。取得部は、第１の時刻における構造物に含まれる複数の第１の変状の情報と、第１の時刻とは異なる第２の時刻における構造物に含まれる複数の第２の変状の情報とを取得する。設定部は、複数の第１の変状の情報と複数の第２の変状の情報とに基づいて、複数の第１の変状のうち対応する第１の変状を各々囲む複数の第１の囲み線と、複数の第２の変状のうち対応する第２の変状を各々囲む複数の第２の囲み線とを設定する。決定部は、複数の第１の囲み線のうち対応する第１の囲み線で囲まれる領域を各々含む複数の第１の領域の各々と複数の第２の囲み線のうち対応する第２の囲み線で囲まれる領域を各々含む複数の第２の領域の各々との重なり度合いに基づいて、複数の第１の変状のうち少なくとも１つの第１の変状と複数の第２の変状のうち少なくとも１つの第２の変状とを各々含む複数の対応付け候補を決定する。対応付け部は、複数の対応付け候補の各々について、少なくとも１つの第１の変状と少なくとも１つの第２の変状とをパターンマッチング処理によって比較し、比較した結果に基づいて、少なくとも１つの第１の変状と少なくとも１つの第２の変状との対応付けを行う。
　本開示によれば、互いに異なる時刻において構造物に含まれる複数の変状を精度よく対応付けることができる、という効果を奏する。
実施の形態１にかかる構造物管理システムの構成の一例を示す図 実施の形態１にかかる第１の時刻においてトンネルの内壁に含まれる第１の変状と第２の時刻においてトンネルの内壁に含まれる第２の変状の一例を示す図 実施の形態１にかかる第１の囲み線および第２の囲み線の一例を示す図 実施の形態１にかかる処理部によって実行されるパターンマッチング処理を説明するための図 実施の形態１にかかる変状管理装置の具体的構成の一例を示す図 実施の形態１にかかる変状情報の一例を示す図 実施の形態１にかかるベクトルで表される変状の一例を示す図 実施の形態１にかかる第１の撮像画像および第２の撮像画像の各々の一例を示す図 実施の形態１にかかる複数の第１の変状のベクトルおよび複数の第２の変状のベクトルの一例を示す図 実施の形態１にかかる複数の第１の変状のうち対応する第１の変状のベクトルを各々囲む複数の第１の囲み線の一例を示す図 実施の形態１にかかる複数の第２の変状のうち対応する第２の変状のベクトルを各々囲む複数の第２の囲み線の一例を示す図 実施の形態１にかかる決定部による第１の対応付け候補の決定方法を説明するための図 実施の形態１にかかる設定部によって設定される第１の対応付け候補を説明するための図 実施の形態１にかかる決定部による第２の対応付け候補の決定方法を説明するための図 実施の形態１にかかる設定部によって設定される第２の対応付け候補を説明するための図 実施の形態１にかかる決定部による統合処理後の複数の対応付け候補の一例を示す図 図１６に示す複数の対応付け候補における第１の変状の変状ＩＤと第２の変状の変状ＩＤとの組み合わせを含む対応付け候補情報の一例を示す図 実施の形態１にかかる対応付け部の抽出部によって抽出される複数の第１の変状画像および複数の第２の変状画像の一例を示す図 実施の形態１にかかる対応付け部の比較部による第１の変状画像と第２の変状画像との比較方法の一例を示す図 実施の形態１にかかる対応付け部の比較部によって算出されるスコアを含む対応付け候補情報の一例を示す図 実施の形態１にかかる対応付け部の生成部による対応付け情報の生成方法を説明するための図 実施の形態１にかかる変状管理装置の処理部による処理の一例を示すフローチャート 実施の形態１にかかる処理部によって実行される対応付け候補決定処理の一例を示すフローチャート 実施の形態１にかかる処理部によって実行される対応付け決定処理の一例を示すフローチャート 実施の形態１にかかる変状管理装置の処理部のハードウェア構成の一例を示す図 実施の形態２にかかる変状管理装置の構成の一例を示す図 実施の形態２にかかる変状変化判定部の抽出部による範囲変更画像の抽出方法を説明するための図 実施の形態２にかかる対応付け部の比較部によって算出される部分スコアと変状変化判定部の比較部によって算出される全体スコアを含む対応付け候補情報の一例を示す図 実施の形態２にかかる変状管理装置の処理部による処理の一例を示すフローチャート 実施の形態２にかかる変状変化判定処理の一例を示すフローチャート
　以下に、実施の形態にかかる変状管理装置、変状管理方法、および変状管理プログラムを図面に基づいて詳細に説明する。なお、この実施の形態によりこの開示が限定されるものではない。
実施の形態１．
　図１は、実施の形態１にかかる構造物管理システムの構成の一例を示す図である。図１に示すように、実施の形態１にかかる構造物管理システム１は、変状管理装置１０と表示装置１１とを備え、構造物を管理する。構造物管理システム１によって管理される構造物は、トンネルであるが、橋梁、道路、またはビルなどであってもよい。変状管理装置１０は、トンネルの内壁をＸＹ軸座標系に展開したと仮定して、トンネルの内壁に含まれる変状を管理する。ＸＹ軸座標系は、直交座標系の一例であり、互いに直交するＸ軸とＹ軸とで表される。
　変状管理装置１０は、通信部２０と、記憶部３０と、処理部４０とを備える。通信部２０は、無線または有線によって情報を外部装置へ送信したり、外部装置から送信される情報を無線または有線によって受信したりする。
　記憶部３０は、第１の時刻Ｔ１においてトンネルの内壁に含まれる複数の変状の情報と、第１の時刻Ｔ１よりも新しい時刻である第２の時刻Ｔ２においてトンネルの内壁に含まれる複数の変状の情報とを記憶している。第１の時刻Ｔ１と第２の時刻Ｔ２との時間間隔は、例えば、月単位の間隔または年単位の間隔である。
　以下において、第１の時刻Ｔ１におけるトンネルの内壁に含まれる変状を第１の変状と記載し、第２の時刻Ｔ２におけるトンネルの内壁に含まれる変状を第２の変状と記載する場合がある。また、複数の第１の変状の情報を第１の変状情報と記載し、複数の第２の変状の情報を第２の変状情報と記載する場合がある。また、第１の変状および第２の変状の各々を個別に区別せずに示す場合、変状と記載する場合がある。
　変状管理装置１０で管理される変状は、ひび割れ、漏水、または剥離などである。第１の変状情報は、例えば、各第１の変状のベクトルを示すベクトル情報を含む。同様に、第２の変状情報は、例えば、各第２の変状のベクトルを示すベクトル情報を含む。変状のベクトルは、１以上の線分と複数のノードとを用いて表され、各ノードの位置はＸＹ軸座標系の座標で示される。以下においては、変状はひび割れであるが、変状管理装置１０は、漏水または剥離に対する処理も、ひび割れに対する処理と同様に行うことができる。
　なお、第１の変状情報は、例えば、複数の画素で各第１の変状を示す画像情報であってもよい。同様に、第２の変状情報は、例えば、複数の画素で各第２の変状を示す画像情報であってもよい。これらの画像情報は、変状を表す複数の画素の情報を含み、変状を表す複数の画素の各々の位置はＸＹ軸座標系の座標で示される。
　図２は、実施の形態１にかかる第１の時刻においてトンネルの内壁に含まれる第１の変状と第２の時刻においてトンネルの内壁に含まれる第２の変状の一例を示す図である。図２に示す例では、第１の時刻Ｔ１において、トンネルの内壁には３つの第１の変状５０ａ，５０ｂ，５０ｃが生じており、第２の時刻Ｔ２において、トンネルの内壁には、２つの第２の変状６０ａ，６０ｂが生じている。第２の変状６０ｂは、経時的な変化によって２つの第１の変状５０ｂ，５０ｃが連結された変状である。
　以下において、第１の変状５０ａ，５０ｂ，５０ｃの各々を個別に区別せずに示す場合、第１の変状５０と記載する場合があり、第２の変状６０ａ，６０ｂの各々を個別に区別せずに示す場合、第２の変状６０と記載する場合がある。
　図１に示す処理部４０は、第１の変状情報および第２の変状情報を記憶部３０から読み出し、読み出した第１の変状情報および第２の変状情報に基づいて、各第１の変状５０に第１の囲み線を設定し、各第２の変状６０に第２の囲み線を設定する。第１の囲み線は、第１の変状５０を囲み、第２の囲み線は、第２の変状６０を囲む。第１の囲み線および第２の囲み線の各々は、矩形の線であるが、変状を囲む線であればよく、矩形以外の線でもよい。
　図３は、実施の形態１にかかる第１の囲み線および第２の囲み線の一例を示す図である。図３では、第１の囲み線５１ａ，５１ｂ，５１ｃと、第２の囲み線６１ａ，６１ｂとが示されている。第１の囲み線５１ａ，５１ｂ，５１ｃの各々は、第１の変状５０ａ，５０ｂ，５０ｃのうち対応する第１の変状を囲むことができる最小の大きさの矩形の線である。同様に、第２の囲み線６１ａ，６１ｂの各々は、第２の変状６０ａ，６０ｂのうち対応する第２の変状を囲むことができる最小の大きさの矩形の線である。
　以下において、第１の囲み線５１ａ，５１ｂ，５１ｃの各々を個別に区別せずに示す場合、第１の囲み線５１と記載する場合があり、第２の囲み線６１ａ，６１ｂの各々を個別に区別せずに示す場合、第２の囲み線６１と記載する場合がある。図３に示す例では、第１の囲み線５１および第２の囲み線６１の各々は、Ｘ軸に平行でＹ軸方向に互いに対向する２つの辺と、Ｙ軸に平行でＸ軸方向に互いに対向する２つの辺とから形成される。
　図１に示す処理部４０は、ＸＹ軸座標系において、複数の第１の囲み線５１の各々で囲まれる領域を含む第１の領域と複数の第２の囲み線６１の各々で囲まれる領域を含む第２の領域との重なり度合いを判定する。処理部４０は、判定した重なり度合いに基づいて、複数の第１の変状５０ａ，５０ｂ，５０ｃのうち少なくとも１つと複数の第２の変状６０ａ，６０ｂのうち少なくとも１つとを各々含む複数の対応付け候補を決定する。
　第１の領域は、第１の囲み線５１で囲まれる領域または第１の囲み線５１で囲まれる領域よりも予め設定された長さだけ大きな領域である。同様に、第２の領域は、第２の囲み線６１で囲まれる領域と同じ領域または第２の囲み線６１で囲まれる領域よりも予め設定された長さだけ大きな領域である。
　例えば、処理部４０は、ＸＹ軸座標系において、第１の囲み線５１で囲まれる領域を第１の領域とし、第２の囲み線６１で囲まれる領域よりも予め設定された長さだけ大きな領域を第２の領域として、第１の領域が第２の領域に含まれるか否かを判定する。処理部４０は、第１の領域が第２の領域に含まれる第１の変状５０と第２の変状６０との組み合わせを対応付け候補として決定する。第１の領域が第２の領域に含まれる場合、第２の領域に対する第１の領域の重なり度合いは１００％である。なお、処理部４０は、第２の領域に対する第１の領域の重なり度合いが１００％よりも小さい閾値以上である場合に、第１の領域と第２の領域とに含まれる第１の変状５０と第２の変状６０との組み合わせを対応付け候補として決定することもできる。
　なお、処理部４０は、ＸＹ軸座標系において、第１の囲み線５１で囲まれる領域を第１の領域とし、第２の囲み線６１で囲まれる領域を第２の領域として、第１の領域が第２の領域に含まれる割合が予め設定された閾値以上であるか否かを判定することもできる。この場合、処理部４０は、第１の領域が第２の領域に含まれる割合が予め設定された閾値以上である第１の変状５０と第２の変状６０との組み合わせを対応付け候補として決定する。
　図３に示す例では、第１の変状５０ａと第２の変状６０ａとの組み合わせが対応付け候補として決定され、第１の変状５０ｂ，５０ｃの各々と第２の変状６０ｂとの組み合わせが対応付け候補として決定される。このように、第２の変状６０ｂは、第１の変状５０ｂおよび第１の変状５０ｃの各々との組み合わせで対応付け候補として決定される。そのため、処理部４０は、経時的な変化によって複数の変状が連結した場合であっても、互いに異なる時刻においてトンネルの内壁に含まれる複数の変状を対応付けるための対応付け候補を精度よく対応付けることができる。
　次に、処理部４０は、複数の対応付け候補の各々について、少なくとも１つの第１の変状５０と少なくとも１つの第２の変状６０とをパターンマッチング処理によって比較する。そして、処理部４０は、比較した結果に基づいて、少なくとも１つの第１の変状５０と少なくとも１つの第２の変状６０との対応付けを行う。
　記憶部３０は、第１の時刻Ｔ１において撮像されたトンネルの内壁の画像である第１の撮像画像の情報である第１の画像情報と、第２の時刻Ｔ２において撮像されたトンネルの内壁の画像である第２の撮像画像の情報とを記憶している。第１の画像情報において、第１の撮像画像を構成する各画素には、ＸＹ軸座標系の座標が関連付けられており、第２の画像情報において、第２の撮像画像を構成する各画素には、ＸＹ軸座標系の座標が関連付けられている。
　処理部４０は、例えば、ＸＹ軸座標系において、第１の撮像画像から第１の囲み線５１で囲まれる領域の画像である第１の変状画像を抽出する。また、処理部４０は、例えば、ＸＹ軸座標系において、第２の撮像画像から第２の囲み線６１で囲まれる領域の画像である第２の変状画像を抽出する。
　図４は、実施の形態１にかかる処理部によって実行されるパターンマッチング処理を説明するための図である。図４に示すように、処理部４０は、図３で示される第１の囲み線５１ａ，５１ｂ，５１ｃで囲まれる領域の画像である第１の変状画像５２ａ，５２ｂ，５２ｃを第１の撮像画像から抽出する。また、処理部４０は、図３で示される第２の囲み線６１ａ，６１ｂで囲まれる領域の画像である第２の変状画像６２ａ，６２ｂを第２の撮像画像から抽出する。
　以下、第１の変状画像５２ａ，５２ｂ，５２ｃの各々を個別に区別せずに示す場合、第１の変状画像５２と記載し、第２の変状画像６２ａ，６２ｂの各々を個別に区別せずに示す場合、第２の変状画像６２と記載する場合がある。
　処理部４０は、複数の対応付け候補の各々について、第１の変状画像５２と第２の変状画像６２とのパターンマッチング処理を行う。処理部４０は、パターンマッチング処理において、第１の変状画像５２のサイズと第２の変状画像６２のサイズとを比較し、サイズが大きい方の変状画像に含まれる画像とサイズが小さい方の変状画像との類似度を示すスコアを算出する。例えば、処理部４０は、第１の変状画像５２および第２の変状画像６２のうち小さい方の変状画像が、大きい方の変状画像のうちどの領域の画像と類似度が最も高いかを判定する。処理部４０は、類似度が最も高いと判定した領域の類似度を、スコアとして算出する。
　図４に示す例では、第１の変状画像５２ａは、第２の変状画像６２ａよりも小さく、第１の変状画像５２ｂ，５２ｃは、第２の変状画像６２ｂよりも小さい。この場合、処理部４０は、例えば、第２の変状画像６２ａのうち第１の変状画像５２ａとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアとして算出する。同様に、処理部４０は、第２の変状画像６２ｂのうち第１の変状画像５２ｂとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアとして算出する。また、処理部４０は、第２の変状画像６２ｂのうち第１の変状画像５２ｃとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアとして算出する。
　処理部４０は、算出したスコアが予め設定された閾値以上になる第１の変状画像５２と第２の変状画像６２との組み合わせがある場合、これらの組み合わせの対応付け候補に含まれる第１の変状５０と第２の変状６０とを対応付けた情報である対応付け情報を生成する。処理部４０は、生成した対応付け情報を記憶部３０に記憶させる。処理部４０は、記憶部３０に記憶された対応付け情報を記憶部３０から読み出して表示装置１１に表示させたり、記憶部３０に記憶された対応付け情報を記憶部３０から読み出して通信部２０から送信させたりすることができる。
　なお、処理部４０によるパターンマッチング処理は、第１の撮像画像および第２の撮像画像を用いずに、第１の変状情報および第２の変状情報を用いて行ってもよい。この場合、処理部４０は、第１の変状情報に含まれる第１の変状５０のベクトルおよび第２の変状情報に含まれる第２の変状６０のベクトルのうち一方のベクトルのうち他方のベクトルとの類似度が最も高い部分の類似度をスコアとして算出する。一方のベクトルは、変状を囲む囲み線が大きい方のベクトルであり、他方のベクトルは、変状を囲む囲み線が小さい方のベクトルである。
　また、処理部４０は、第１の変状情報および第２の変状情報に変状を複数の画素で示す変状画像が含まれる場合、第１の変状情報に含まれる第１の変状５０の変状画像および第２の変状情報に含まれる第２の変状６０の変状画像のうち一方の変状画像のうち他方の変状画像との類似度が最も高い領域の類似度をスコアとして算出することもできる。この場合、一方の変状画像は、変状を囲む囲み線が大きい方の変状画像であり、他方の変状画像は、変状を囲む囲み線が小さい方の変状画像である。
　このように、変状管理装置１０は、パターンマッチング処理によって、複数の対応付け候補の中から、互いに対応付ける第１の変状５０と第２の変状６０との組み合わせを決定する。そのため、互いに異なる時刻でトンネルの内壁に含まれる第１の変状５０と第２の変状６０とを精度よく対応付けることができる。また、変状管理装置１０は、変状を囲む囲み線を用いた簡易な処理によって対応付け候補を決定することによって、パターンマッチング処理の対象となる第１の変状５０と第２の変状６０との組み合わせを事前に絞り込むことから、処理負荷を軽減することができる。
　以下、変状管理装置１０のさらに詳細な構成および処理の一例について説明する。図５は、実施の形態１にかかる変状管理装置の具体的構成の一例を示す図である。図５に示すように、変状管理装置１０は、通信部２０と、記憶部３０と、処理部４０とを備える。通信部２０は、例えば、インターネットに代表されるＷＡＮ(Wide　Area　Network)、またはＬＡＮ(Local　Area　Network)などの通信ネットワークに接続され、外部装置と通信ネットワークを介して情報の送受信を行う。
　記憶部３０は、第１の変状情報３１ａ、第２の変状情報３１ｂ、第１の画像情報３２、第２の画像情報３３、および対応付け情報３４を記憶する。第１の変状情報３１ａは、第１の時刻Ｔ１においてトンネルの内壁に含まれる複数の第１の変状５０のベクトルを示すベクトル情報を含む。第１の変状情報３１ａは、例えば、第１の時刻Ｔ１においてトンネルの内壁を撮像して得られる画像である撮像画像に基づいて作業者によるＣＡＤ（Computer-Aided　Design）などを用いた手書きの描画によって生成される情報である。なお、第１の変状情報３１ａは、不図示の変状検出装置によって撮像画像から自動で検出される第１の変状５０のベクトルを示す情報であってもよい。
　第２の変状情報３１ｂは、第２の時刻Ｔ２においてトンネルの内壁に含まれる複数の第２の変状６０のベクトルを示すベクトル情報を含む。第２の変状情報３１ｂは、例えば、第２の時刻Ｔ２においてトンネルの内壁を撮像して得られる画像である撮像画像に基づいて作業者によるＣＡＤなどを用いた手書きの描画によって生成される情報である。なお、第２の変状情報３１ｂは、不図示の変状検出装置によって撮像画像から自動で検出される第２の変状６０のベクトルを示す情報であってもよい。以下において、第１の変状情報３１ａおよび第２の変状情報３１ｂを各々個別に区別せずに示す場合、変状情報３１と記載する場合がある。
　図６は、実施の形態１にかかる変状情報の一例を示す図である。図６に示すように、変状情報３１は、各変状のベクトルを構成する線分とノードに関する情報を含む。具体的には、変状情報３１は、「変状ＩＤ」、「線分ＩＤ」、「始点ノード番号」、「終点ノード番号」、「線分の長さ」、「始点ノードＸ座標」、「始点ノードＹ座標」、「始点ノード分岐点フラグ」、「始点ノード変状終点フラグ」、「終点ノードＸ座標」、「終点ノードＹ座標」、「終点ノード分岐点フラグ」、および「終点ノード変状終点フラグ」が互いに線分毎に関連付けられた情報を含む。
　「変状ＩＤ」は、各変状に固有の識別情報である。「線分ＩＤ」は、変状のベクトルを構成する各線分に固有の識別情報である。「始点ノード番号」は、線分の始端のノードである始点ノードの番号を示す情報である。「終点ノード番号」は、線分の終端のノードである終点ノードの番号を示す情報である。「線分の長さ」は、変状のベクトルを構成する線分の長さを示す情報である。「始点ノードＸ座標」は、始点ノードのＸ軸上の座標を示す情報である。「始点ノードＹ座標」は、始点ノードのＹ軸上の座標を示す情報である。
　「始点ノード分岐点フラグ」は、始点ノードが２つ以上の他の線分のノードとなっているか否かを示す情報である。「始点ノード分岐点フラグ」が「１」である場合、始点ノードが２つ以上の他の線分のノードとなっていることを示す。また、「始点ノード分岐点フラグ」が「０」である場合、始点ノードが２つ以上の他の線分のノードとなっていないことを示す。
　「始点ノード変状終点フラグ」は、始点ノードが変状の終点となっているか否かを示す情報である。「始点ノード変状終点フラグ」が「１」である場合、始点ノードが変状の終点となっていることを示す。また、「始点ノード変状終点フラグ」が「０」である場合、始点ノードが変状の終点となっていないことを示す。
　「終点ノードＸ座標」は、終点ノードのＸ軸上の座標を示す情報である。「終点ノードＹ座標」は、終点ノードのＹ軸上の座標を示す情報である。「終点ノード分岐点フラグ」は、終点ノードが２つ以上の他の線分のノードとなっているか否かを示す情報である。「終点ノード分岐点フラグ」が「１」である場合、終点ノードが２つ以上の他の線分のノードとなっていることを示す。また、「終点ノード分岐点フラグ」が「０」である場合、終点ノードが２つ以上の他の線分のノードとなっていないことを示す。
　「終点ノード変状終点フラグ」は、終点ノードが変状の終点となっているか否かを示す情報である。「終点ノード変状終点フラグ」が「１」である場合、終点ノードが変状の終点となっていることを示す。また、「終点ノード変状終点フラグ」が「０」である場合、終点ノードが変状の終点となっていないことを示す。
　図７は、実施の形態１にかかるベクトルで表される変状の一例を示す図である。図７に示す例では、変状ＩＤが「１」である変状のベクトルが示されている。変状ＩＤが「１」である変状のベクトルは、線分ＩＤ「１」～「４」までの線分とノード番号「１」～「５」までのノードとによって表される。なお、図７においては、変状ＩＤが「１」である変状が破線で示されている。
　図５に示す第１の画像情報３２は、第１の時刻Ｔ１において撮像されたトンネルの内壁の画像である第１の撮像画像の情報を含み、第２の画像情報３３は、第２の時刻Ｔ２において撮像されたトンネルの内壁の画像である第２の撮像画像の情報を含む。第１の撮像画像および第２の撮像画像は、トンネルの内壁を２次元平面に展開したと仮定した場合における展開画像である。
　第１の撮像画像および第２の撮像画像は、例えば、複数のカメラを搭載する計測車両がトンネル内を走行している状態で複数のカメラの各々によって撮像された複数の画像を貼り合わせることで得られるトンネルの内壁の展開画像である。ここでは、第１の撮像画像および第２の撮像画像は、輝度で表されるモノクロ画像であるものとして説明するが、カラー画像であってもよい。
　図８は、実施の形態１にかかる第１の撮像画像および第２の撮像画像の各々の一例を示す図である。図８に示す第１の撮像画像８０には、第１の変状５５ａ，５５ｂ，５５ｃ，５５ｄ，５５ｅ，５５ｆが含まれている。以下において、第１の変状５５ａ，５５ｂ，５５ｃ，５５ｄ，５５ｅ，５５ｆは、変状ＩＤが「Ａ１」，「Ａ２」，「Ａ３」，「Ａ４」，「Ａ５」，「Ａ６」の変状であるものとする。
　図８に示す第２の撮像画像８１には、第２の変状６５ａ，６５ｂ，６５ｃ，６５ｄ，６５ｅ，６５ｆ，６５ｇ，６５ｈが含まれている。以下において、第２の変状６５ａ，６５ｂ，６５ｃ，６５ｄ，６５ｅ，６５ｆ，６５ｇ，６５ｈは、変状ＩＤが「Ｂ１」，「Ｂ２」，「Ｂ３」，「Ｂ４」，「Ｂ５」，「Ｂ６」，「Ｂ７」，「Ｂ８」の変状であるものとする。
　図５に戻って、変状管理装置１０の説明を続ける。図５に示すように、変状管理装置１０の処理部４０は、取得部４１と、設定部４２と、決定部４３と、対応付け部４４と、出力部４５とを備える。
　取得部４１は、第１の変状情報３１ａ、第２の変状情報３１ｂ、第１の画像情報３２、および第２の画像情報３３を記憶部３０から読み出して取得する。また、取得部４１は、不図示の外部装置から送信されて通信部２０によって受信された第１の変状情報３１ａ、第２の変状情報３１ｂ、第１の画像情報３２、および第２の画像情報３３を取得し、取得したこれらの情報を記憶部３０に記憶させる。
　設定部４２は、取得部４１によって取得された第１の変状情報３１ａと第２の変状情報３１ｂとに基づいて、第１の変状を含む第１の囲み線と、第２の変状を囲む第２の囲み線とをＸＹ軸座標系に設定する。
　図９は、実施の形態１にかかる複数の第１の変状のベクトルおよび複数の第２の変状のベクトルの一例を示す図である。図９に示す例では、第１の変状５５ａ，５５ｂ，５５ｃ，５５ｄ，５５ｅ，５５ｆの各々がベクトルで表され、第２の変状６５ａ，６５ｂ，６５ｃ，６５ｄ，６５ｅ，６５ｆ，６５ｇ，６５ｈの各々がベクトルで表されている。
　図１０は、実施の形態１にかかる複数の第１の変状のうち対応する第１の変状のベクトルを各々囲む複数の第１の囲み線の一例を示す図である。図１０に示すように、設定部４２は、第１の変状情報３１ａに基づいて、第１の変状５５ａ，５５ｂ，５５ｃ，５５ｄ，５５ｅ，５５ｆのベクトルのうち対応する第１の変状のベクトルを各々囲む複数の第１の囲み線５６ａ，５６ｂ，５６ｃ，５６ｄ，５６ｅ，５６ｆを設定する。
　以下、第１の変状５５ａ，５５ｂ，５５ｃ，５５ｄ，５５ｅ，５５ｆの各々を個別に区別せずに示す場合、第１の変状５５と記載する場合がある。また、第１の囲み線５６ａ，５６ｂ，５６ｃ，５６ｄ，５６ｅ，５６ｆの各々を個別に区別せずに示す場合、第１の囲み線５６と記載する場合がある。第１の囲み線５６は、矩形の線であり、Ｘ軸に平行で互いに対向する２つの辺とＹ軸に平行で互いに対向する２つの辺とで構成される。第１の囲み線５６は、第１の変状５５のベクトルが外接するように設定される。具体的には、第１の囲み線５６には、第１の変状５５のベクトルを含み且つ第１の変状５５のベクトルを構成するノードが接するように設定される。
　図１１は、実施の形態１にかかる複数の第２の変状のうち対応する第２の変状のベクトルを各々囲む複数の第２の囲み線の一例を示す図である。図１１に示すように、設定部４２は、第２の変状情報３１ｂに基づいて、第２の変状６５ａ，６５ｂ，６５ｃ，６５ｄ，６５ｅ，６５ｆ，６５ｇ，６５ｈのベクトルのうち対応する第２の変状のベクトルを各々囲む複数の第２の囲み線６６ａ，６６ｂ，６６ｃ，６６ｄ，６６ｅ，６６ｆ，６６ｇ，６６ｈを設定する。
　以下、第２の変状６５ａ，６５ｂ，６５ｃ，６５ｄ，６５ｅ，６５ｆ，６５ｇ，６５ｈの各々を個別に区別せずに示す場合、第２の変状６５と記載する場合がある。また、第２の囲み線６６ａ，６６ｂ，６６ｃ，６６ｄ，６６ｅ，６６ｆ，６６ｇ，６６ｈの各々を個別に区別せずに示す場合、第２の囲み線６６と記載する場合がある。第２の囲み線６６は、矩形の線であり、第１の囲み線５６と同様に、Ｘ軸に平行で互いに対向する２つの辺とＹ軸に平行で互いに対向する２つの辺とで構成される。第２の囲み線６６は、第２の変状６５のベクトルが外接するように設定される。具体的には、第２の囲み線６６には、第２の変状６５のベクトルを含み且つ第２の変状６５のベクトルを構成するノードが接するように設定される。
　図１０および図１１に示す例では、第１の囲み線５６および第２の囲み線６６は、矩形の線であるが、変状を囲む線であればよい。例えば、第１の囲み線５６および第２の囲み線６６は、矩形以外の多角形の線でもよく、円形または楕円形の線であってもよい。また、第１の囲み線５６および第２の囲み線６６は、変状のベクトルに外接する大きさに限定されず、変状のベクトルに外接する大きさよりも大きくてもよい。
　図５に示す決定部４３は、複数の第１の囲み線５６のうち対応する第１の囲み線で囲まれる領域を各々含む複数の第１の領域の各々と複数の第２の囲み線６６のうち対応する第２の囲み線で囲まれる領域を各々含む複数の第２の領域の各々との重なり度合いを判定する。決定部４３は、判定した重なり度合いに基づいて、複数の第１の変状５５のうち少なくとも１つと複数の第２の変状６５のうち少なくとも１つとを各々含む複数の対応付け候補を決定する。
　第１の領域は、第１の囲み線５６で囲まれる領域または第１の囲み線５６で囲まれる領域よりも予め設定された長さだけ大きな領域である。同様に、第２の領域は、第２の囲み線６６で囲まれる領域と同じ領域または第２の囲み線６６で囲まれる領域よりも予め設定された長さだけ大きな領域である。
　決定部４３は、ＸＹ軸座標系において、第１の囲み線５６で囲まれる領域を第１の領域に決定し、第２の囲み線６６で囲まれる領域よりも予め設定された長さだけ大きな領域を第２の領域に決定して、第１の領域が第２の領域に含まれるか否かを判定する。決定部４３は、第１の領域が第２の領域に含まれる第１の変状５５と第２の変状６５との組み合わせを第１の対応付け候補として決定する。
　図１２は、実施の形態１にかかる決定部による第１の対応付け候補の決定方法を説明するための図である。図１２に示す例では、第２の領域６７に対する第１の領域５７の重なり度合いが判定される。第２の領域６７は、第２の変状６５を囲む第２の囲み線６６で囲まれる領域を含む領域であり、第１の領域５７は、第１の変状５５を囲む第１の囲み線５６で囲まれる領域を含む領域である。
　第１の領域５７は、第１の変状５５を囲む第１の囲み線５６で囲まれる領域であり、第１の頂点の座標Ｐｓｏ（Ｘｓｏ，Ｙｓｏ）と第２の頂点の座標Ｐｅｏ（Ｘｅｏ，Ｙｅｏ）で規定される。なお、第１の囲み線５６は、第１の領域５７における第１の頂点の座標Ｐｓｏおよび第２の頂点の座標Ｐｅｏと同じ位置の２つの座標によって規定される。
　第２の変状６５を囲む第２の囲み線６６は、第１の頂点の座標Ｐｎ１（Ｘｓｎ，Ｙｓｎ）と第２の頂点の座標Ｐｎ２（Ｘｅｎ，Ｙｅｎ）で規定される。第２の領域６７は、第２の変状６５を囲む第２の囲み線６６で囲まれる領域よりも大きい領域であり、第１の頂点の座標Ｐｓｎ（Ｘｓｎ＋α，Ｙｓｎ＋α）と第２の頂点の座標Ｐｅｎ（Ｘｅｎ＋α，Ｙｅｎ＋α）で規定される。すなわち、第２の領域６７は、第２の囲み線６６で囲まれる領域に対し、Ｘ軸の正方向と負方向およびＹ軸の正方向と負方向の各々がマージンα分だけ大きな領域である。第２の領域６７は、第２の囲み線６６にマージンを加えた囲み線で囲まれる領域ともいえる。
　図１２に示す例では、第１の領域５７の全体が第２の領域６７に対して重なっている状態であり、第１の領域５７が第２の領域６７に含まれる。この場合、設定部４２は、第２の領域６７に対する第１の領域５７の重なり度合いが１００％であり、第１の変状５５と第２の変状６５との組み合わせを第１の対応付け候補として設定する。
　決定部４３は、互いに異なる第１の変状５５と第２の変状６５との組み合わせのすべてについて、第１の領域５７が第２の領域６７に含まれるか否かを判定する。図１３は、実施の形態１にかかる設定部によって設定される第１の対応付け候補を説明するための図である。図１３に示す例では、第１の変状５５ａと第２の変状６５ａとの組み合わせ、第１の変状５５ｂと第２の変状６５ｂとの組み合わせ、第１の変状５５ｃと第２の変状６５ｂとの組み合わせ、および第１の変状５５ｅと第２の変状６５ｄとの組み合わせの各々が第１の対応付け候補として設定される。
　このように、決定部４３は、マージンαを持たせた第２の領域６７に対する第１の領域５７の重なり度合いを判定する。そのため、決定部４３は、第１の変状５５のベクトルと第２の変状６５のベクトルとの間において位置または向きにずれがあった場合であっても第１の対応付け候補として決定することができる。第１の変状５５のベクトルと第２の変状６５のベクトルとの間における位置または向きのずれは、作業者による手書きの描画によって生じたり、第１の時刻Ｔ１と第２の時刻Ｔ２とで撮像条件が異なることになどによって生じたりする。
　また、決定部４３は、第２の領域６７に対する第１の領域５７の重なり度合いに基づいて、第１の対応付け候補を決定する。そのため、決定部４３は、複数の第１の変状５５が連結して１つの第２の変状６５になった場合であっても、複数の第１の変状５５の各々と１つの第２の変状６５との組み合わせを第１の対応付け候補として決定することができる。
　また、決定部４３は、ＸＹ軸座標系において、第１の囲み線５６で囲まれる領域よりも予め設定された長さだけ大きな領域を第１の領域５７に決定し、第２の囲み線６６で囲まれる領域を第２の領域６７に決定して、第２の領域６７が第１の領域５７に含まれるか否かを判定する。決定部４３は、第２の領域６７が第１の領域５７に含まれる第１の変状５５と第２の変状６５との組み合わせを第２の対応付け候補として決定する。
　図１４は、実施の形態１にかかる決定部による第２の対応付け候補の決定方法を説明するための図である。図１４に示す例では、第１の領域５７に対する第２の領域６７の重なり度合いが判定される。
　第１の変状５５を囲む第１の囲み線５６は、第１の頂点の座標Ｐｏ１（Ｘｓｏ，Ｙｓｏ）と第２の頂点の座標Ｐｏ２（Ｘｅｏ，Ｙｅｏ）で規定される。第１の領域５７は、第１の変状５５を囲む第１の囲み線５６で囲まれる領域よりも大きい領域であり、第１の頂点の座標Ｐｓｏ（Ｘｓｏ＋α，Ｙｓｏ＋α）と第２の頂点の座標Ｐｅｏ（Ｘｅｏ＋α，Ｙｅｏ＋α）で規定される。すなわち、第１の領域５７は、第１の囲み線５６で囲まれる領域に対し、Ｘ軸の正方向と負方向およびＹ軸の正方向と負方向の各々がマージンα分だけ大きな領域である。第１の領域５７は、第１の囲み線５６にマージンを加えた囲み線で囲まれる領域といえる。
　第２の領域６７は、第２の変状６５を囲む第２の囲み線６６で囲まれる領域であり、第１の頂点の座標Ｐｓｎ（Ｘｓｎ，Ｙｓｎ）と第２の頂点の座標Ｐｅｎ（Ｘｅｎ，Ｙｅｎ）で規定される。なお、第２の囲み線６６は、第２の領域６７における第１の頂点の座標Ｐｓｎおよび第２の頂点の座標Ｐｅｎと同じ位置の２つの座標によって規定される。
　図１４に示す例では、第２の領域６７の全体が第１の領域５７に対して重なっている状態であり、第２の領域６７が第１の領域５７に含まれる。この場合、設定部４２は、第１の領域５７に対する第２の領域６７の重なり度合いが１００％であり、第１の変状５５と第２の変状６５との組み合わせを第２の対応付け候補として設定する。
　決定部４３は、互いに異なる第１の変状５５と第２の変状６５との組み合わせのすべてについて、第２の領域６７が第１の領域５７に含まれるか否かを判定する。図１５は、実施の形態１にかかる設定部によって設定される第２の対応付け候補を説明するための図である。図１５に示す例では、第２の変状６５ｃと第１の変状５５ｄとの組み合わせ、および第２の変状６５ｅと第１の変状５５ｆとの組み合わせの各々が第２の対応付け候補として設定される。また、第２の変状６５ｆと第１の変状５５ｆとの組み合わせ、第２の変状６５ｇと第１の変状５５ｆとの組み合わせ、および第２の変状６５ｈと第１の変状５５ｆとの組み合わせの各々が第２の対応付け候補として設定される。
　このように、決定部４３は、マージンαを持たせた第１の領域５７に対する第２の領域６７の重なり度合いを判定する。そのため、決定部４３は、第１の変状５５のベクトルと第２の変状６５のベクトルとの間で位置または向きにずれがあった場合であっても第２の対応付け候補として決定することができる。また、決定部４３は、第１の領域５７に対する第２の領域６７の重なり度合いに基づいて、第２の対応付け候補を決定する。そのため、決定部４３は、１つの第１の変状５５の一部が補修されて複数の第２の変状６５に分割された場合であっても、１つの第１の変状５５と複数の第２の変状６５の各々との組み合わせを第２の対応付け候補として決定することができる。
　また、決定部４３は、複数の第１の対応付け候補と複数の第２の対応付け候補との統合処理を行う。決定部４３は、統合処理において、第１の対応付け候補と第２の対応付け候補とで同じ第１の変状５５と第２の変状６５との組み合わせがあるか否かを判定する。決定部４３は、第１の対応付け候補と第２の対応付け候補とで同じ第１の変状５５と第２の変状６５との組み合わせがある場合、同じ第１の変状５５と第２の変状６５との組み合わせの第１の対応付け候補および第２の対応付け候補の一方を削除する。
　例えば、決定部４３が図１３に示す複数の第１の対応付け候補を決定し、決定部４３が図１５に示す複数の第２の対応付け候補を決定したとする。この場合、第１の対応付け候補と第２の対応付け候補とで重複がないため、第１の対応付け候補および第２の対応付け候補のいずれも削除されない。
　決定部４３は、統合処理において、同じ組み合わせを有する第１の対応付け候補と第２の対応付け候補がある場合、その一方を削除した後、複数の第１の対応付け候補と複数の第２の対応付け候補とを統合する。以下において、統合後の第１の対応付け候補および第２の対応付け候補の各々を対応付け候補と記載する。
　図１６は、実施の形態１にかかる決定部による統合処理後の複数の対応付け候補の一例を示す図であり、図１７は、図１６に示す複数の対応付け候補における第１の変状の変状ＩＤと第２の変状の変状ＩＤとの組み合わせを含む対応付け候補情報の一例を示す図である。なお、上述したように、第１の変状５５ａ～５５ｆの変状ＩＤは、「Ａ１」～「Ａ６」であり、第２の変状６５ａ～６５ｈの変状ＩＤは、「Ｂ１」～「Ｂ８」である。
　図１６および図１７では、第１の変状５５ａと第２の変状６５ａとの組み合わせの対応付け候補、第１の変状５５ｂと第２の変状６５ｂとの組み合わせの対応付け候補、および第１の変状５５ｃと第２の変状６５ｂとの組み合わせの対応付け候補が示されている。また、図１６および図１７では、第１の変状５５ｄと第２の変状６５ｃとの組み合わせの対応付け候補、第１の変状５５ｅと第２の変状６５ｄとの組み合わせの対応付け候補、および第１の変状５５ｆと第２の変状６５ｅ，６５ｆ，６５ｇ，６５ｈの組み合わせの対応付け候補が示されている。
　なお、各対応付け候補の情報は、第１の変状５５と第２の変状６５とを１対１で組み合わせた情報であってもよい。例えば、決定部４３は、図１６に示す第１の変状５５ｆと第２の変状６５ｅ，６５ｆ，６５ｇ，６５ｈとの組み合わせの対応付け候補に代えて、第１の変状５５ｆと第２の変状６５ｅ，６５ｆ，６５ｇ，６５ｈの各々との組み合わせの４つの対応付け候補を決定することもできる。この場合、複数の対応付け候補の情報は、例えば、図１７に示すような第１の変状５５の変状ＩＤと第２の変状６５の変状ＩＤとの組み合わせの情報を含む。なお、第１の変状５５ｆと第２の変状６５ｅ，６５ｆ，６５ｇ，６５ｈとの組み合わせの対応付け候補は、図１７に示すような第１の変状５５ｆの変状ＩＤと第２の変状６５ｅ，６５ｆ，６５ｇ，６５ｈの各々の変状ＩＤとの組み合わせで表されてもよい。
　図５に戻って、変状管理装置１０の処理部４０の説明を続ける。処理部４０の対応付け部４４は、決定部４３によって決定された複数の対応付け候補の各々について、少なくとも１つの第１の変状５５と少なくとも１つの第２の変状６５とをパターンマッチング処理によって比較する。対応付け部４４は、比較した結果に基づいて、少なくとも１つの第１の変状５５と少なくとも１つの第２の変状６５との対応付けを行う。
　対応付け部４４は、抽出部４６と、比較部４７と、生成部４８とを備える。抽出部４６は、複数の対応付け候補について、取得部４１によって取得された第１の画像情報３２および第２の画像情報３３から複数の第１の変状画像および複数の第２の変状画像を抽出する。
　具体的には、抽出部４６は、第１の画像情報３２の第１の撮像画像８０から複数の第１の囲み線５６のうち対応付け候補に含まれる第１の変状５５を囲む第１の囲み線５６で囲まれる領域の画像である第１の変状画像を対応付け候補毎に抽出する。また、抽出部４６は、第２の画像情報３３の第２の撮像画像８１から複数の第２の囲み線６６のうち対応付け候補に含まれる第２の変状６５を囲む第２の囲み線６６で囲まれる領域の画像である第２の変状画像を対応付け候補毎に抽出する。
　図１８は、実施の形態１にかかる対応付け部の抽出部によって抽出される複数の第１の変状画像および複数の第２の変状画像の一例を示す図であり、図１６に示す複数の対応付け候補が決定部４３によって決定された場合の例を示している。
　図１８に示す例では、抽出部４６は、第１の画像情報３２の第１の撮像画像８０から複数の第１の変状画像５８ａ，５８ｂ，５８ｃ，５８ｄ，５８ｅ，５８ｆを抽出する。複数の第１の変状画像５８ａ，５８ｂ，５８ｃ，５８ｄ，５８ｅ，５８ｆの各々は、第１の囲み線５６ａ，５６ｂ，５６ｃ，５６ｄ，５６ｅ，５６ｆのうち対応する第１の囲み線５６で囲まれる領域の画像である。以下、第１の変状画像５８ａ，５８ｂ，５８ｃ，５８ｄ，５８ｅ，５８ｆの各々を個別に区別せずに示す場合、第１の変状画像５８と記載する場合がある。
　また、図１８に示す例では、抽出部４６は、第２の画像情報３３の第２の撮像画像８１から複数の第２の変状画像６８ａ，６８ｂ，６８ｃ，６８ｄ，６８ｅ，６８ｆ，６８ｇ，６８ｈを抽出する。複数の第２の変状画像６８ａ，６８ｂ，６８ｃ，６８ｄ，６８ｅ，６８ｆ，６８ｇ，６８ｈの各々は、複数の第２の囲み線６６ａ，６６ｂ，６６ｃ，６６ｄ，６６ｅ，６６ｆ，６６ｇ，６６ｈのうち対応する第２の囲み線６６で囲まれる領域の画像である。以下、第２の変状画像６８ａ，６８ｂ，６８ｃ，６８ｄ，６８ｅ，６８ｆ，６８ｇ，６８ｈの各々を個別に区別せずに示す場合、第２の変状画像６８と記載する場合がある。また、第１の変状画像５８および第２の変状画像６８の各々を変状画像と記載する場合がある。
　比較部４７は、対応付け候補毎に、抽出部４６で抽出された第１の変状画像５８と第２の変状画像６８とを、変状画像における各画素の輝度に基づくパターンマッチング処理によって比較する。図１９は、実施の形態１にかかる対応付け部の比較部による第１の変状画像と第２の変状画像との比較方法の一例を示す図である。図１９に示すように、比較部４７は、第１の変状画像５８および第２の変状画像６８のうちサイズが大きい方の変状画像である第２の変状画像６８に含まれる画像とサイズが小さい方の変状画像である第１の変状画像５８とをパターンマッチング処理によって比較する。
　比較部４７は、パターンマッチング処理において、大きい方の第１の変状画像５８に含まれる画像と小さい方の第２の変状画像６８との類似度を示すスコアを算出する。例えば、比較部４７は、パターンマッチング処理において、小さい方の変状画像である第１の変状画像５８が、大きい方の変状画像である第２の変状画像６８のうちどの領域の画像と類似度が最も高いかを判定する。比較部４７は、類似度が最も高いと判定した領域の類似度をスコアＳＣとして算出する。図１９に示す例では、比較部４７は、第２の変状画像６８のうち第１の変状画像５８との類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアＳＣとして算出する。
　図２０は、実施の形態１にかかる対応付け部の比較部によって算出されるスコアを含む対応付け候補情報の一例を示す図である。図２０に示すように、比較部４７は、複数の対応付け候補の各々について、スコアＳＣを算出する。図２０に示す例では、各対応付け候補のスコアＳＣを区別するために、スコアＳＣがスコアＳＣ１～ＳＣ９で表される。
　ここで、抽出部４６によって図１８に示す複数の第１の変状画像５８ａ，５８ｂ，５８ｃ，５８ｄ，５８ｅ，５８ｆおよび複数の第２の変状画像６８ａ，６８ｂ，６８ｃ，６８ｄ，６８ｅ，６８ｆ，６８ｇ，６８ｈが抽出されたとする。図１８に示す例では、第１の変状画像５８ａは、第２の変状画像６８ａよりも小さく、第１の変状画像５８ｂ，５８ｃは、第２の変状画像６８ｂよりも小さく、第１の変状画像５８ｄは、第２の変状画像６８ｃよりも大きい。また、第１の変状画像５８ｅは、第２の変状画像６８ｄよりも小さく、第１の変状画像５８ｆは、第２の変状画像６８ｅ，６８ｆ，６８ｇ，６８ｈよりも大きい。
　したがって、比較部４７は、第２の変状画像６８ａのうち第１の変状画像５８ａとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアＳＣ１として算出する。比較部４７は、第２の変状画像６８ｂのうち第１の変状画像５８ｂとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアＳＣ２として算出する。比較部４７は、第２の変状画像６８ｂのうち第１の変状画像５８ｃとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアＳＣ３として算出する。
　また、比較部４７は、第１の変状画像５８ｄのうち第２の変状画像６８ｃとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアＳＣ４として算出する。比較部４７は、第２の変状画像６８ｄのうち第１の変状画像５８ｅとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアＳＣ５として算出する。比較部４７は、第１の変状画像５８ｆのうち第２の変状画像６８ｅとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアＳＣ６として算出する。
　また、比較部４７は、第１の変状画像５８ｆのうち第２の変状画像６８ｆとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアＳＣ７として算出する。比較部４７は、第１の変状画像５８ｆのうち第２の変状画像６８ｇとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアＳＣ８として算出する。比較部４７は、第１の変状画像５８ｆのうち第２の変状画像６８ｈとの類似度が最も高い領域を判定し、類似度が最も高いと判定した領域の類似度をスコアＳＣ９として算出する。
　生成部４８は、比較部４７によって算出されるスコアＳＣが予め設定された閾値Ｓｔｈ１以上である第１の変状画像５８と第２の変状画像６８との組み合わせの対応付け候補に含まれる第１の変状５５と第２の変状６５とを対応付けた情報である対応付け情報３４を生成する。対応付け情報３４には第１の変状５５の変状ＩＤと第２の変状６５の変状ＩＤとが互いに関連付けられた情報が含まれる。生成部４８は、生成した対応付け情報３４を記憶部３０に記憶させる。
　図２１は、実施の形態１にかかる対応付け部の生成部による対応付け情報の生成方法を説明するための図である。図２１に示す例では、スコアＳＣ１～ＳＣ３，ＳＣ５～ＳＣ９が閾値Ｓｔｈ１以上であり、スコアＳＣ４が閾値Ｓｔｈ１未満である。そのため、生成部４８は、複数の組み合わせ候補から第１の変状５５ｄと第２の変状６５ｃとの組み合わせの対応付け候補を除外して、対応付け情報３４を生成する。この場合、対応付け情報３４には、変状ＩＤ「Ａ１」と変状ＩＤ「Ｂ１」との組み合わせ、変状ＩＤ「Ａ２」と変状ＩＤ「Ｂ２」との組み合わせ、変状ＩＤ「Ａ３」と変状ＩＤ「Ｂ２」との組み合わせ、および変状ＩＤ「Ａ５」と変状ＩＤ「Ｂ４」との組み合わせの各々の情報が含まれる。また、対応付け情報３４には、変状ＩＤ「Ａ６」と変状ＩＤ「Ｂ５」との組み合わせ、変状ＩＤ「Ａ６」と変状ＩＤ「Ｂ６」との組み合わせ、変状ＩＤ「Ａ６」と変状ＩＤ「Ｂ７」との組み合わせ、および変状ＩＤ「Ａ６」と変状ＩＤ「Ｂ８」との組み合わせの各々の情報が含まれる。
　なお、第１の変状画像５８と第２の変状画像６８との間の回転、位置ずれ、またはひずみの差などによって対応付け候補が誤って除外されないように閾値Ｓｔｈ１を調整することで、対応付け部４４によって第１の変状５５と第２の変状６５との対応付けを精度よく行うことができる。
　また、比較部４７は、例えば、変状画像における各画素の輝度に基づいて、変状画像に含まれる変状の画像を特定し、特定した変状に基づいてパターンマッチング処理を行うこともできる。例えば、比較部４７は、変状画像における輝度が予め設定された条件を満たす複数の画素で構成される画像を変状の画像として特定することができる。
　また、比較部４７は、第１の変状画像５８および第２の変状画像６８がカラー画像である場合、変状画像における輝度および色が予め設定された条件を満たす複数の画素で構成される画像を変状の画像として特定することもできる。
　また、比較部４７は、機械学習によって生成された畳み込みニューラルネットワークなどの学習済モデルによって変状の画像を特定し、特定した変状に基づいてパターンマッチング処理を行うこともできる。
　出力部４５は、記憶部３０に記憶された対応付け情報３４を記憶部３０から読み出して表示装置１１に表示させることができる。また、出力部４５は、ネットワークに接続された外部装置へ有線または無線によって記憶部３０に記憶された対応付け情報３４を記憶部３０から読み出して通信部２０に送信させたりすることができる。
　つづいて、フローチャートを用いて変状管理装置１０の処理部４０による処理を説明する。図２２は、実施の形態１にかかる変状管理装置の処理部による処理の一例を示すフローチャートである。
　図２２に示すように、処理部４０は、第１の変状情報３１ａ、第２の変状情報３１ｂ、第１の画像情報３２、および第２の画像情報３３などの情報を記憶部３０から読み出して取得する情報取得処理を行う（ステップＳ１０）。
　次に、処理部４０は、ステップＳ１０で取得された第１の変状情報３１ａと第２の変状情報３１ｂとに基づいて、第１の囲み線設定処理と第２の囲み線設定処理とを含む囲み線設定処理を行う（ステップＳ１１）。第１の囲み線設定処理は、第１の変状５５のベクトルを囲む第１の囲み線５６を第１の変状５５毎に設定する処理である。第２の囲み線設定処理は、第２の変状６５のベクトルを囲む第２の囲み線６６を第２の変状６５毎に設定する処理である。
　次に、処理部４０は、複数の対応付け候補を決定する対応付け候補決定処理を行う（ステップＳ１２）。ステップＳ１２の処理は、図２３に示すステップＳ２０～Ｓ２７の処理であり、後で詳述する。
　次に、処理部４０は、ステップＳ１０で取得した第１の画像情報３２と第２の画像情報３３とに基づいて、第１の画像抽出処理と第２の画像抽出処理を含む画像抽出処理を行う（ステップＳ１３）。第１の画像抽出処理は、各対応付け候補に含まれる第１の変状５５を囲む第１の囲み線５６で囲まれる領域の画像を第１の画像情報３２の第１の撮像画像８０から抽出する処理である。第２の画像抽出処理は、各対応付け候補に含まれる第２の変状６５を囲む第２の囲み線６６で囲まれる領域の画像を第２の画像情報３３の第２の撮像画像８１から抽出する処理である。
　次に、処理部４０は、対応付け決定処理を行う（ステップＳ１４）。ステップＳ１４の処理は、図２４に示すステップＳ３０～Ｓ３５の処理であり、後で詳述する。そして、処理部４０は、ステップＳ１４における対応付け決定処理の結果に基づいて、対応付け情報３４を生成し、生成した対応付け情報３４を記憶部３０に記憶する対応付け情報生成処理を行い（ステップＳ１５）、図２２に示す処理を終了する。
　図２３は、実施の形態１にかかる処理部によって実行される対応付け候補決定処理の一例を示すフローチャートである。図２３に示す対応付け候補決定処理において、処理部４０は、第２の囲み線６６にマージンを加えた囲み線で囲まれる第２の領域６７に対する、第１の囲み線５６で囲まれる第１の領域５７の重なり度合いを判定する（ステップＳ２０）。
　処理部４０は、ステップＳ２０で判定した重なり度合いに基づいて、第２の領域６７に第１の領域５７が含まれるか否かを判定する（ステップＳ２１）。処理部４０は、第２の領域６７に第１の領域５７が含まれると判定した場合（ステップＳ２１：Ｙｅｓ）、第１の領域５７に含まれる第１の変状５５と第２の領域６７に含まれる第２の変状６５との組み合わせを第１の対応付け候補に決定する（ステップＳ２２）。
　処理部４０は、ステップＳ２２の処理が終了した場合、または第２の領域６７に第１の領域５７が含まれないと判定した場合（ステップＳ２１：Ｎｏ）、未実行の組み合わせがあるか否かを判定する（ステップＳ２３）。未実行の組み合わせは、第１の囲み線５６と第２の囲み線６６との複数の組み合わせのうちステップＳ２０，Ｓ２１の処理が行われていない組み合わせである。
　処理部４０は、未実行の組み合わせがあると判定した場合（ステップＳ２３：Ｙｅｓ）、処理をステップＳ２０に移行する。また、処理部４０は、未実行の組み合わせがないと判定した場合（ステップＳ２３：Ｎｏ）、第１の囲み線５６にマージンを加えた囲み線で囲まれる第１の領域５７に対する、第２の囲み線６６で囲まれる第２の領域６７の重なり度合いを判定する（ステップＳ２４）。
　処理部４０は、ステップＳ２４で判定した重なり度合いに基づいて、第１の領域５７に第２の領域６７が含まれるか否かを判定する（ステップＳ２５）。処理部４０は、第１の領域５７に第２の領域６７が含まれると判定した場合（ステップＳ２５：Ｙｅｓ）、第１の領域５７に含まれる第１の変状５５と第２の領域６７に含まれる第２の変状６５との組み合わせを第２の対応付け候補に決定する（ステップＳ２６）。
　処理部４０は、ステップＳ２６の処理が終了した場合、または第１の領域５７に第２の領域６７が含まれないと判定した場合（ステップＳ２５：Ｎｏ）、未実行の組み合わせがあるか否かを判定する（ステップＳ２７）。未実行の組み合わせは、第１の囲み線５６と第２の囲み線６６との複数の組み合わせのうちステップＳ２４，Ｓ２５の処理が行われていない組み合わせである。
　処理部４０は、未実行の組み合わせがあると判定した場合（ステップＳ２７：Ｙｅｓ）、処理をステップＳ２４に移行する。また、処理部４０は、未実行の組み合わせがないと判定した場合（ステップＳ２７：Ｎｏ）、図２３に示す処理を終了する。
　図２４は、実施の形態１にかかる処理部によって実行される対応付け決定処理の一例を示すフローチャートである。図２４に示す対応付け決定処理において、処理部４０は、第１の画像情報３２および第２の画像情報３３から、１つの対応付け候補に含まれる第１の変状５５および第２の変状６５の各々を囲む囲み線で囲まれた領域の画像を抽出する（ステップＳ３０）。
　ステップＳ３０の処理において、処理部４０は、１つの対応付け候補に含まれる第１の変状５５を囲む第１の囲み線５６で囲まれた領域の画像を第１の変状画像５８として第１の画像情報３２の第１の撮像画像８０から抽出する。また、処理部４０は、１つの対応付け候補に含まれる第２の変状６５を囲む第２の囲み線６６で囲まれた領域の画像を第２の変状画像６８として第２の画像情報３３の第２の撮像画像８１から抽出する。
　次に、処理部４０は、第１の変状画像５８および第２の変状画像６８のうち大きい方の変状画像に含まれる画像と小さい方の変状画像との類似度を示すスコアＳＣを算出する（ステップＳ３１）。そして、処理部４０は、ステップＳ３１で算出したスコアＳＣが閾値Ｓｔｈ１以上であるか否かを判定する（ステップＳ３２）。
　処理部４０は、スコアＳＣが閾値Ｓｔｈ１以上ではないと判定した場合（ステップＳ３２：Ｎｏ）、スコアＳＣが閾値Ｓｔｈ以上１ではない対応付け候補を対応付けから除外する（ステップＳ３３）。処理部４０は、ステップＳ３３の処理が終了した場合、またはスコアＳＣが閾値Ｓｔｈ１以上であると判定した場合（ステップＳ３２：Ｙｅｓ）、未実行の対応付け候補があるか否かを判定する（ステップＳ３４）。未実行の対応付け候補は、図２２に示すステップＳ１２において決定された複数の対応付け候補のうちステップＳ３０～Ｓ３３の処理が行われていない未実行の対応付け候補である。
　処理部４０は、未実行の対応付け候補があると判定した場合（ステップＳ３４：Ｙｅｓ）、処理をステップＳ３０に移行する。また、処理部４０は、未実行の対応付け候補がないと判定した場合（ステップＳ３４：Ｎｏ）、ステップＳ３３で除外していない対応付け候補に含まれる第１の変状５５と第２の変状６５とを対応付けて（ステップＳ３５）、図２４に示す処理を終了する。
　図２５は、実施の形態１にかかる変状管理装置の処理部のハードウェア構成の一例を示す図である。図２５に示すように、変状管理装置１０の処理部４０は、プロセッサ１０１と、メモリ１０２と、入出力インタフェイス１０３とを備えるコンピュータを含む。
　プロセッサ１０１、メモリ１０２、および入出力インタフェイス１０３は、例えば、バス１０４によって互いにデータの送受信が可能である。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部４１、設定部４２、決定部４３、対応付け部４４、および出力部４５の機能を実行する。プロセッサ１０１は、例えば、処理回路の一例であり、ＣＰＵ（Central　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）、およびシステムＬＳＩ（Large　Scale　Integration）のうち一つ以上を含む。
　メモリ１０２は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable　Programmable　Read　Only　Memory）、およびＥＥＰＲＯＭ（登録商標）（Electrically　Erasable　Programmable　Read　Only　Memory）のうち一つ以上を含む。また、メモリ１０２は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびＤＶＤ（Digital　Versatile　Disc）のうち一つ以上を含む。なお、変状管理装置１０は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）およびＦＰＧＡ（Field　Programmable　Gate　Array）などの集積回路を含んでいてもよい。
　以上のように、変状管理装置１０は、取得部４１と、設定部４２と、決定部４３とを備える。取得部４１は、第１の時刻Ｔ１における構造物に含まれる複数の第１の変状５５の情報と、第２の時刻Ｔ２における構造物に含まれる複数の第２の変状６５の情報とを取得する。設定部４２は、複数の第１の変状５５の情報と複数の第２の変状６５の情報とに基づいて、複数の第１の変状５５のうち対応する第１の変状を各々囲む複数の第１の囲み線５６と、複数の第２の変状６５のうち対応する第２の変状を各々囲む複数の第２の囲み線６６とを設定する。決定部４３は、複数の第１の囲み線５６のうち対応する第１の囲み線で囲まれる領域を各々含む複数の第１の領域５７の各々と複数の第２の囲み線６６のうち対応する第２の囲み線で囲まれる領域を各々含む複数の第２の領域６７の各々との重なり度合いに基づいて、複数の第１の変状５５のうち少なくとも１つの第１の変状と複数の第２の変状６５のうち少なくとも１つの第２の変状とを各々含む複数の対応付け候補を決定する。これにより、変状管理装置１０は、互いに異なる時刻において構造物に含まれる複数の変状を精度よく対応付けることができる。例えば、変状管理装置１０は、第１の領域５７と第２の領域６７の重なり度合いに基づいて、対応付け候補を決定することから、互いに異なる時刻において構造物に含まれる複数の変状を対応付けるための対応付け候補を精度よく決定することができる。また、変状管理装置１０は、変状を囲む囲み線を用いた簡易な処理によって対応付け候補を決定することによって、パターンマッチング処理の対象となる第１の変状５５と第２の変状６５との組み合わせを絞り込むことから、処理負荷を軽減することができる。
　また、決定部４３は、複数の第１の領域５７の各々を、複数の第１の囲み線５６のうち対応する第１の囲み線で囲まれる領域に決定する。また、決定部４３は、複数の第２の領域６７の各々を、複数の第２の囲み線６６のうち対応する第２の囲み線で囲まれる領域よりも大きな領域に決定する。そして、決定部４３は、複数の第２の領域６７のうち１つの第２の領域に複数の第１の領域５７のうち１つの第１の領域が含まれる場合に、複数の第１の変状５５のうち１つの第１の領域５７に含まれる第１の変状と複数の第２の変状６５のうち１つの第２の領域６７に含まれる第２の変状とを含む組み合わせを複数の対応付け候補の１つに決定する。これにより、変状管理装置１０は、第１の変状５５と第２の変状６５との間に位置または向きなどにずれがある場合であっても、対応付け候補を精度よく決定することができる。
　また、決定部４３は、複数の第１の領域５７の各々を、複数の第１の囲み線５６のうち対応する第１の囲み線で囲まれる領域よりも大きな領域に決定する。対応付け部４４は、複数の第２の領域６７の各々を、複数の第２の囲み線６６のうち対応する第２の囲み線で囲まれる領域に決定する。決定部４３は、複数の第１の領域５７のうち１つの第１の領域に複数の第２の領域６７のうち１つの第２の領域が含まれる場合に、複数の第１の変状５５のうち１つの第１の領域５７に含まれる第１の変状と複数の第２の変状６５のうち１つの第２の領域６７に含まれる第２の変状とを含む組み合わせを複数の対応付け候補の１つに決定する。これにより、変状管理装置１０は、第１の変状５５と第２の変状６５との間に位置または向きなどにずれがある場合であっても、対応付け候補を精度よく決定することができる。
　また、対応付け部４４は、抽出部４６と、比較部４７と、生成部４８とを備える。抽出部４６は、第１の時刻Ｔ１において撮像された構造物の画像から複数の第１の囲み線５６のうち対応する第１の囲み線で囲まれる領域の画像を第１の変状画像５８として対応付け候補毎に抽出する。また、抽出部４６は、第２の時刻Ｔ２において撮像された構造物の画像から複数の第２の囲み線６６のうち対応する第２の囲み線６６で囲まれる領域の画像を第２の変状画像６８として対応付け候補毎に抽出する。比較部４７は、対応付け候補毎に、第１の変状画像５８と第２の変状画像６８とのうち大きい方の変状画像に含まれる画像と小さい方の変状画像とを比較する。生成部４８は、比較部４７による比較の結果に基づいて、少なくとも１つの第１の変状画像５８と少なくとも１つの第２の変状画像６８とを対応付けた情報を生成する。このように、変状管理装置１０は、第１の変状画像５８と第２の変状画像６８とを比較することによって、第１の変状５５と第２の変状６５とを対応付けることから、第１の変状５５と第２の変状６５との対応付けを精度よく行うことができる。
実施の形態２．
　実施の形態２にかかる変状管理装置は、第１の変状の画像と第２の変状の画像とから各々算出される複数種類のスコアに基づいて、構造物に生じる変状の変化を判定する点で、実施の形態１にかかる変状管理装置１０と異なる。
　図２６は、実施の形態２にかかる変状管理装置の構成の一例を示す図である。図２６に示すように、実施の形態２にかかる変状管理装置１０Ａは、処理部４０に代えて、処理部４０Ａを備える点で変状管理装置１０と異なる。処理部４０Ａは、変状変化判定部４９を備える点で、処理部４０と異なる。
　変状変化判定部４９は、抽出部９０と、比較部９１と、判定部９２とを備える。抽出部９０は、対応付け部４４によって抽出された第１の変状画像５８および第２の変状画像６８のうちサイズが小さい方の変状画像を抽出するために用いられた囲み線の大きさを、サイズが大きい方の変状画像を抽出するために用いられた囲み線と同じ大きさに変更する。抽出部９０は、変更した囲み線で囲まれる領域の画像を範囲変更画像として撮像画像から抽出する。
　図２７は、実施の形態２にかかる変状変化判定部の抽出部による範囲変更画像の抽出方法を説明するための図である。図２７では、画像の抽出対象となる対応付け候補が第１の変状５５ｃと第２の変状６５ｂとの組み合わせである場合の例が示されており、第１の変状５５ｃを囲む第１の囲み線５６ｃで囲まれる領域は、第２の変状６５ｂを囲む第２の囲み線６６ｂで囲まれる領域よりも小さい。
　抽出部９０は、第１の囲み線５６ｃの大きさを第２の囲み線６６ｂの大きさと同じ大きさの囲み線５９ｃに変更する。第２の囲み線６６ｂの位置と囲み線５９ｃの位置とは同じである。抽出部９０は、第１の画像情報３２の第１の撮像画像８０から囲み線５９ｃで囲まれる領域７１の画像を範囲変更画像として抽出する。
　比較部９１は、第１の変状画像５８および第２の変状画像６８のうち大きい方の変状画像と範囲変更画像との輝度に基づくパターンマッチング処理によって、大きい方の変状画像と範囲変更画像との類似度を示すスコアである全体スコアＥＮ＿ＳＣを算出する。比較部９１は、算出した全体スコアＥＮ＿ＳＣを対応付け候補情報に追加する。なお、実施の形態２において、対応付け部４４によって算出されるスコアＳＣは、全体スコアＥＮ＿ＳＣと区別するために、部分スコアＰ＿ＳＣと記載する。
　図２８は、実施の形態２にかかる対応付け部の比較部によって算出される部分スコアと変状変化判定部の比較部によって算出される全体スコアを含む対応付け候補情報の一例を示す図である。図２８に示すように、比較部４７は、複数の対応付け候補の各々について、部分スコアＰ＿ＳＣを算出し、算出した部分スコアＰ＿ＳＣを対応付け候補情報に追加する。図２８に示す例では、各対応付け候補の部分スコアＰ＿ＳＣが部分スコアＰ＿ＳＣ１～Ｐ＿ＳＣ９で表される。また、図２８に示す例では、各対応付け候補の全体スコアＥＮ＿ＳＣを区別するために、全体スコアＥＮ＿ＳＣが全体スコアＥＮ＿ＳＣ１～ＥＮ＿ＳＣ９で表される。
　判定部９２は、比較部４７によって算出された部分スコアＰ＿ＳＣと比較部９１によって算出された全体スコアＥＮ＿ＳＣとに基づいて、トンネルの内壁に生じる変状の変化を判定する。例えば、判定部９２は、複数の対応付け候補の各々について、部分スコアＰ＿ＳＣが閾値Ｓｔｈ１以上でかつ全体スコアＥＮ＿ＳＣが閾値Ｓｔｈ２未満である場合、変状の変化が大きいと判定する。また、判定部９２は、複数の対応付け候補の各々について、部分スコアＰ＿ＳＣが閾値Ｓｔｈ１以上でかつ全体スコアＥＮ＿ＳＣが閾値Ｓｔｈ３以上である場合、変状の変化が小さいと判定する。なお、閾値Ｓｔｈ２は、閾値Ｓｔｈ３以下の値である。
　また、判定部９２は、対応付け部４４による対応付けの結果に基づいて、トンネルの内壁に生じる変状の変化を判定することができる。例えば、判定部９２は、対応付け部４４による対応付けの結果に基づいて、変状が成長したと判定したり、変状が補修されたと判定したりすることができる。
　判定部９２は、対応付けされた第１の変状５５と第２の変状６５のうち第２の変状６５が第１の変状５５よりも長い場合、変状が大きくなっていると判定することができる。この場合、判定部９２は、例えば、第１の変状情報３１ａに基づいて、第１の変状５５の長さを判定し、第２の変状情報３１ｂに基づいて、第２の変状６５の長さを判定する。変状の長さは、例えば、変状のベクトルを構成する全ての線分の長さを足し合せた値である。また、判定部９２は、第１の変状画像５８が第２の変状画像６８よりも小さい場合、または第１の囲み線５６が第２の囲み線６６よりも小さい場合、変状が大きくなっていると判定することもできる。
　また、判定部９２は、対応付け部４４によって１つの第２の変状６５に対して複数の第１の変状５５が対応付けられた場合、複数の変状が連結されたと判定する。また、判定部９２は、対応付け部４４によって第１の変状５５に対応付けられなかった第２の変状６５を新規に発生した変状であると判定する。判定部９２は、変状が大きくなっていると判定した場合、または複数の変状が連結されたと判定した場合、変状が成長したと判定することができる。
　また、判定部９２は、対応付けされた第１の変状５５と第２の変状６５のうち第１の変状５５が第２の変状６５よりも長い場合、変状が小さくなったと判定する。また、判定部９２は、第２の変状画像６８が第１の変状画像５８よりも小さい場合、または第２の囲み線６６が第１の囲み線５６よりも小さい場合、変状が小さくなっていると判定することもできる。判定部９２は、変状が小さくなったと判定した場合、変状が補修されたと判定することができる。
　また、判定部９２は、対応付け部４４によって１つの第１の変状５５に対して複数の第２の変状６５が対応付けられた場合、変状が分割されたと判定する。また、判定部９２は、対応付け部４４によって第２の変状６５に対応付けられなかった第１の変状５５がある場合、変状が消滅したと判定する。判定部９２は、変状が小さくなっていると判定した場合、変状が分割されたと判定した場合、または変状が消滅したと判定した場合、変状が補修されたと判定することができる。判定部９２は、判定した結果を示す情報を記憶部３０に記憶する。
　出力部４５は、変状変化判定部４９による判定結果を示す情報を記憶部３０から読み出して表示装置１１に表示させたり、変状変化判定部４９による判定結果を示す情報を記憶部３０から読み出して通信部２０から送信させたりすることができる。
　つづいて、フローチャートを用いて変状管理装置１０Ａの処理部４０Ａによる処理を説明する。図２９は、実施の形態２にかかる変状管理装置の処理部による処理の一例を示すフローチャートである。なお、図２９に示すステップＳ４０～Ｓ４５の処理は、図２２に示すステップＳ１０～Ｓ１５の処理と同じであり、説明を省略する。
　変状管理装置１０Ａの処理部４０Ａは、ステップＳ４５の処理が終了した場合、変状変化判定処理を行い（ステップＳ４６）、図２９に示す処理を終了する。ステップＳ４６の処理は、図３０に示すステップＳ５０～Ｓ５３の処理である。
　図３０は、実施の形態２にかかる変状変化判定処理の一例を示すフローチャートである。図３０に示すように、処理部４０Ａは、第１の変状画像５８および第２の変状画像６８のうち小さい方の変状画像に対応する囲み線を、大きい方の変状画像に対応する囲み線と同じサイズに変更し、変更した囲み線で囲まれる領域に対応する画像を範囲変更画像として抽出する（ステップＳ５０）。
　次に、処理部４０Ａは、第１の変状画像５８および第２の変状画像６８のうち大きい方の変状画像と範囲変更画像との類似度を示す全体スコアＥＮ＿ＳＣを算出する（ステップＳ５１）。そして、処理部４０Ａは、未実行の対応付け候補があるか否かを判定する（ステップＳ５２）。未実行の対応付け候補は、複数の対応付け候補のうちステップＳ５０，Ｓ５１の処理が行われていない対応付け候補である。
　処理部４０Ａは、未実行の対応付け候補があると判定した場合（ステップＳ５２：Ｙｅｓ）、処理をステップＳ５０に移行する。また、処理部４０Ａは、未実行の対応付け候補がないと判定した場合（ステップＳ５２：Ｎｏ）、第１の変状５５と第２の変状６５との対応付け結果、部分スコアＰ＿ＳＣ、および全体スコアＥＮ＿ＳＣに基づいて、変状の変化を判定し（ステップＳ５３）、図３０に示す処理を終了する。
　実施の形態２にかかる変状管理装置１０Ａの処理部４０Ａのハードウェア構成例は、図２５に示す変状管理装置１０の処理部４０のハードウェア構成と同じである。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部４１、設定部４２、決定部４３、対応付け部４４、出力部４５、および変状変化判定部４９の機能を実行することができる。
　以上のように、実施の形態２にかかる変状管理装置１０Ａは、対応付け部４４による対応付けの結果に基づいて、構造物に生じる変状の変化を判定する変状変化判定部４９を備える。これにより、変状管理装置１０Ａは、構造物に生じる変状の変化を把握することができる。
　また、対応付け部４４の比較部４７は、第１の変状画像５８と第２の変状画像６８のうち大きい方の変状画像に含まれる一部の画像と小さい方の変状画像との類似度を示す部分スコアＰ＿ＳＣをスコアＳＣとして算出する。変状変化判定部４９は、抽出部９０と、比較部９１と、判定部９２とを備える。抽出部９０は、第１の変状画像５８と第２の変状画像６８のうち小さい方の変状画像を抽出するために用いられた囲み線の大きさを、大きい方の変状画像を抽出するために用いられた囲み線と同じ大きさに変更する。抽出部９０は、変更した囲み線で囲まれる領域の画像を範囲変更画像として構造物の画像から抽出する。比較部９１は、第１の変状画像５８と第２の変状画像６８のうち大きい方の変状画像と範囲変更画像とをパターンマッチング処理によって比較し、大きい方の変状画像と範囲変更画像との類似度を示す全体スコアＥＮ＿ＳＣを算出する。判定部９２は、部分スコアＰ＿ＳＣと全体スコアＥＮ＿ＳＣとに基づいて、構造物に生じる変状の変化を判定する。これにより、変状管理装置１０Ａは、構造物に生じる変状の変化を精度よく判定することができる。
　なお、変状管理装置１０，１０Ａは、複数の装置から構成されてもよい。例えば、変状管理装置１０，１０Ａは、互いに異なる位置に配置される無線または有線によって情報を送受信する複数の装置から構成されてもよい。
　以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１　構造物管理システム、１０，１０Ａ　変状管理装置、１１　表示装置、２０　通信部、３０　記憶部、３１　変状情報、３１ａ　第１の変状情報、３１ｂ　第２の変状情報、３２　第１の画像情報、３３　第２の画像情報、３４　対応付け情報、４０，４０Ａ　処理部、４１　取得部、４２　設定部、４３　決定部、４４　対応付け部、４５　出力部、４６，９０　抽出部、４７，９１　比較部、４８　生成部、４９　変状変化判定部、５０，５０ａ，５０ｂ，５０ｃ，５５，５５ａ，５５ｂ，５５ｃ，５５ｄ，５５ｅ，５５ｆ　第１の変状、５２，５２ａ，５２ｂ，５２ｃ，５８，５８ａ，５８ｂ，５８ｃ，５８ｄ，５８ｅ，５８ｆ　第１の変状画像、５７　第１の領域、６０，６０ａ，６０ｂ，６５，６５ａ，６５ｂ，６５ｃ，６５ｄ，６５ｅ，６５ｆ，６５ｇ，６５ｈ　第２の変状、６７　第２の領域、６２，６２ａ，６２ｂ，６８，６８ａ，６８ｂ，６８ｃ，６８ｄ，６８ｅ，６８ｆ，６８ｇ，６８ｈ　第２の変状画像、７１　領域、８０　第１の撮像画像、８１　第２の撮像画像、９２　判定部、Ｔ１　第１の時刻、Ｔ２　第２の時刻。

Claims (8)

  1. 　第１の時刻における構造物に含まれる複数の第１の変状の情報と、前記第１の時刻とは異なる第２の時刻における前記構造物に含まれる複数の第２の変状の情報とを取得する取得部と、
    　前記複数の第１の変状の情報と前記複数の第２の変状の情報とに基づいて、前記複数の第１の変状のうち対応する第１の変状を各々囲む複数の第１の囲み線と、前記複数の第２の変状のうち対応する第２の変状を各々囲む複数の第２の囲み線とを設定する設定部と、
    　前記複数の第１の囲み線のうち対応する第１の囲み線で囲まれる領域を各々含む複数の第１の領域の各々と前記複数の第２の囲み線のうち対応する第２の囲み線で囲まれる領域を各々含む複数の第２の領域の各々との重なり度合いに基づいて、前記複数の第１の変状のうち少なくとも１つの第１の変状と前記複数の第２の変状のうち少なくとも１つの第２の変状とを各々含む複数の対応付け候補を決定する決定部と、
    　前記複数の対応付け候補の各々について、前記少なくとも１つの第１の変状と前記少なくとも１つの第２の変状とをパターンマッチング処理によって比較し、比較した結果に基づいて、前記少なくとも１つの第１の変状と前記少なくとも１つの第２の変状との対応付けを行う対応付け部と、を備える
    　ことを特徴とする変状管理装置。
  2. 　前記決定部は、
    　前記複数の第１の領域の各々を、前記複数の第１の囲み線のうち対応する第１の囲み線で囲まれる領域に決定し、
    　前記複数の第２の領域の各々を、前記複数の第２の囲み線のうち対応する第２の囲み線で囲まれる領域よりも大きな領域に決定し、
    　前記複数の第２の領域のうち１つの第２の領域に前記複数の第１の領域のうち１つの第１の領域が含まれる場合に、前記複数の第１の変状のうち前記１つの第１の領域に含まれる第１の変状と前記複数の第２の変状のうち前記１つの第２の領域に含まれる第２の変状とを含む組み合わせを前記複数の対応付け候補の１つに決定する
    　ことを特徴とする請求項１に記載の変状管理装置。
  3. 　前記決定部は、
    　前記複数の第１の領域の各々を、前記複数の第１の囲み線のうち対応する第１の囲み線で囲まれる領域よりも大きな領域に決定し、
    　前記複数の第２の領域の各々を、前記複数の第２の囲み線のうち対応する第２の囲み線で囲まれる領域に決定し、
    　前記複数の第１の領域のうち１つの第１の領域に前記複数の第２の領域のうち１つの第２の領域が含まれる場合に、前記複数の第１の変状のうち前記１つの第１の領域に含まれる第１の変状と前記複数の第２の変状のうち前記１つの第２の領域に含まれる第２の変状とを含む組み合わせを前記複数の対応付け候補の１つに決定する
    　ことを特徴とする請求項１または２に記載の変状管理装置。
  4. 　前記対応付け部は、
    　前記第１の時刻において撮像された前記構造物の画像から前記複数の第１の囲み線のうち対応する第１の囲み線で囲まれる領域の画像を第１の変状画像として前記複数の対応付け候補の各々について抽出し、前記第２の時刻において撮像された前記構造物の画像から前記複数の第２の囲み線のうち対応する第２の囲み線で囲まれる領域の画像を第２の変状画像として前記複数の対応付け候補の各々について抽出する抽出部と、
    　前記複数の対応付け候補の各々について、前記第１の変状画像と前記第２の変状画像とのうち大きい方の変状画像に含まれる画像と小さい方の変状画像とを比較する比較部と、
    　前記比較部による比較の結果に基づいて、前記少なくとも１つの第１の変状と前記少なくとも１つの第２の変状とを対応付けた情報を生成する生成部と、を備える
    　ことを特徴とする請求項１から３のいずれか１つに記載の変状管理装置。
  5. 　前記対応付け部による前記対応付けの結果に基づいて、前記構造物に生じる変状の変化を判定する変状変化判定部を備える
    　ことを特徴とする請求項１から４のいずれか１つに記載の変状管理装置。
  6. 　前記構造物に生じる変状の変化を判定する変状変化判定部を備え、
    　前記比較部は、
    　前記大きい方の変状画像に含まれる画像と前記小さい方の変状画像との類似度を示す部分スコアを算出し、
    　前記変状変化判定部は、
    　前記小さい方の変状画像を抽出するために用いられた囲み線の大きさを、前記大きい方の変状画像を抽出するために用いられた囲み線と同じ大きさに変更し、変更した囲み線で囲まれる領域の画像を範囲変更画像として前記構造物の画像から抽出する抽出部と、
    　前記大きい方の変状画像と前記範囲変更画像とをパターンマッチング処理によって比較し、前記大きい方の変状画像と前記範囲変更画像との類似度を示す全体スコアを算出する比較部と、
    　前記部分スコアと前記全体スコアとに基づいて、前記構造物に生じる変状の変化を判定する判定部と、を備える
    　ことを特徴とする請求項４に記載の変状管理装置。
  7. 　コンピュータが実行する変状管理方法であって、
    　第１の時刻における構造物に含まれる複数の第１の変状の情報と、前記第１の時刻とは異なる第２の時刻における前記構造物に含まれる複数の第２の変状の情報とを取得する取得ステップと、
    　前記複数の第１の変状の情報と前記複数の第２の変状の情報とに基づいて、前記複数の第１の変状のうち対応する第１の変状を各々囲む複数の第１の囲み線と、前記複数の第２の変状のうち対応する第２の変状を各々囲む複数の第２の囲み線とを設定する設定ステップと、
    　前記複数の第１の囲み線のうち対応する第１の囲み線で囲まれる領域を各々含む複数の第１の領域の各々と前記複数の第２の囲み線のうち対応する第２の囲み線で囲まれる領域を各々含む複数の第２の領域の各々との重なり度合いに基づいて、前記複数の第１の変状のうち少なくとも１つの第１の変状と前記複数の第２の変状のうち少なくとも１つの第２の変状とを各々含む複数の対応付け候補を決定する決定ステップと、
    　前記複数の対応付け候補の各々について、前記少なくとも１つの第１の変状と前記少なくとも１つの第２の変状とをパターンマッチング処理によって比較し、比較した結果に基づいて、前記少なくとも１つの第１の変状と前記少なくとも１つの第２の変状との対応付けを行う対応付けステップと、を含む
    　ことを特徴とする変状管理方法。
  8. 　第１の時刻における構造物に含まれる複数の第１の変状の情報と、前記第１の時刻とは異なる第２の時刻における前記構造物に含まれる複数の第２の変状の情報とを取得する取得ステップと、
    　前記複数の第１の変状の情報と前記複数の第２の変状の情報とに基づいて、前記複数の第１の変状のうち対応する第１の変状を各々囲む複数の第１の囲み線と、前記複数の第２の変状のうち対応する第２の変状を各々囲む複数の第２の囲み線とを設定する設定ステップと、
    　前記複数の第１の囲み線のうち対応する第１の囲み線で囲まれる領域を各々含む複数の第１の領域の各々と前記複数の第２の囲み線のうち対応する第２の囲み線で囲まれる領域を各々含む複数の第２の領域の各々との重なり度合いに基づいて、前記複数の第１の変状のうち少なくとも１つの第１の変状と前記複数の第２の変状のうち少なくとも１つの第２の変状とを各々含む複数の対応付け候補を決定する決定ステップと、
    　前記複数の対応付け候補の各々について、前記少なくとも１つの第１の変状と前記少なくとも１つの第２の変状とをパターンマッチング処理によって比較し、比較した結果に基づいて、前記少なくとも１つの第１の変状と前記少なくとも１つの第２の変状との対応付けを行う対応付けステップと、をコンピュータに実行させる
    　ことを特徴とする変状管理プログラム。
PCT/JP2020/003809 2020-01-31 2020-01-31 変状管理装置、変状管理方法、および変状管理プログラム WO2021152855A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/003809 WO2021152855A1 (ja) 2020-01-31 2020-01-31 変状管理装置、変状管理方法、および変状管理プログラム
JP2020532061A JP6749528B1 (ja) 2020-01-31 2020-01-31 変状管理装置、変状管理方法、および変状管理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/003809 WO2021152855A1 (ja) 2020-01-31 2020-01-31 変状管理装置、変状管理方法、および変状管理プログラム

Publications (1)

Publication Number Publication Date
WO2021152855A1 true WO2021152855A1 (ja) 2021-08-05

Family

ID=72240843

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003809 WO2021152855A1 (ja) 2020-01-31 2020-01-31 変状管理装置、変状管理方法、および変状管理プログラム

Country Status (2)

Country Link
JP (1) JP6749528B1 (ja)
WO (1) WO2021152855A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4195147A3 (en) * 2021-12-03 2024-02-07 Canon Kabushiki Kaisha Information processing apparatus, information processing method, system, storage medium and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08103439A (ja) * 1994-10-04 1996-04-23 Konica Corp 画像の位置合わせ処理装置及び画像間処理装置
JP2015105905A (ja) * 2013-12-02 2015-06-08 公益財団法人鉄道総合技術研究所 変状の時系列管理に用いるトンネル覆工面画像の補正方法
WO2017216943A1 (ja) * 2016-06-17 2017-12-21 三菱電機株式会社 変状進展判定装置及び変状進展判定方法
CN108564579A (zh) * 2018-04-20 2018-09-21 石家庄铁道大学 一种基于时空相关的混凝土裂缝检测方法及检测装置
JP2018185146A (ja) * 2015-09-25 2018-11-22 富士フイルム株式会社 損傷図作成装置及び損傷図作成方法
JP2019020220A (ja) * 2017-07-14 2019-02-07 公益財団法人鉄道総合技術研究所 画像処理装置、及び画像処理方法、ならびにプログラム
JP2019211277A (ja) * 2018-06-01 2019-12-12 富士フイルム株式会社 ひび割れ変化判定装置および方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08103439A (ja) * 1994-10-04 1996-04-23 Konica Corp 画像の位置合わせ処理装置及び画像間処理装置
JP2015105905A (ja) * 2013-12-02 2015-06-08 公益財団法人鉄道総合技術研究所 変状の時系列管理に用いるトンネル覆工面画像の補正方法
JP2018185146A (ja) * 2015-09-25 2018-11-22 富士フイルム株式会社 損傷図作成装置及び損傷図作成方法
WO2017216943A1 (ja) * 2016-06-17 2017-12-21 三菱電機株式会社 変状進展判定装置及び変状進展判定方法
JP2019020220A (ja) * 2017-07-14 2019-02-07 公益財団法人鉄道総合技術研究所 画像処理装置、及び画像処理方法、ならびにプログラム
CN108564579A (zh) * 2018-04-20 2018-09-21 石家庄铁道大学 一种基于时空相关的混凝土裂缝检测方法及检测装置
JP2019211277A (ja) * 2018-06-01 2019-12-12 富士フイルム株式会社 ひび割れ変化判定装置および方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4195147A3 (en) * 2021-12-03 2024-02-07 Canon Kabushiki Kaisha Information processing apparatus, information processing method, system, storage medium and program

Also Published As

Publication number Publication date
JPWO2021152855A1 (ja) 2021-08-05
JP6749528B1 (ja) 2020-09-02

Similar Documents

Publication Publication Date Title
US11615552B2 (en) Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium
JP4926116B2 (ja) 画像検査装置
WO2014129018A1 (ja) 文字認識装置、文字認識方法及び記録媒体
WO2021152855A1 (ja) 変状管理装置、変状管理方法、および変状管理プログラム
JP2012242281A (ja) 検出対象物の中心位置を算出する方法、装置およびプログラム
JP7360092B2 (ja) 検査装置、検査方法、及び検査プログラム
JP5772675B2 (ja) 濃淡画像のエッジ抽出方法、エッジ抽出装置並びに濃淡画像のエッジ抽出プログラム
JP5566257B2 (ja) データ生成方法および画像検査方法
JP4041060B2 (ja) 画像処理装置、画像処理方法
JP2015200976A (ja) 移動量推定装置、移動量推定方法、およびプログラム
EP3352136B1 (en) Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium
US11733174B2 (en) Information processing apparatus, information processing method, and storage medium
JP4747293B2 (ja) 画像処理装置および画像処理方法並びにこれらに用いるプログラム
CN115082552A (zh) 标记孔的定位方法、装置、装配设备及存储介质
US11922659B2 (en) Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium
WO2021044629A1 (ja) 画像処理システムおよび画像処理方法
CN112150373B (zh) 图像处理方法、图像处理装置和可读存储介质
JP2013250104A (ja) 寸法測定装置、及びコンピュータープログラム
CN115690090B (zh) 缺陷样本图像生成方法、装置、设备及存储介质
CN117036364B (zh) 图像处理方法及装置、存储介质、计算设备
JP7471207B2 (ja) 検査装置、検査方法、及び、検査プログラム
WO2022102525A1 (ja) データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラム
JP2924860B2 (ja) 異物検査方法及び装置
CN117314824A (zh) 掩模板颗粒的检测方法、检测装置、电子设备及存储介质
JP2022168436A (ja) ひび割れ検出方法とひび割れ検出装置、及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020532061

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20916426

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20916426

Country of ref document: EP

Kind code of ref document: A1