WO2024042660A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2024042660A1
WO2024042660A1 PCT/JP2022/031948 JP2022031948W WO2024042660A1 WO 2024042660 A1 WO2024042660 A1 WO 2024042660A1 JP 2022031948 W JP2022031948 W JP 2022031948W WO 2024042660 A1 WO2024042660 A1 WO 2024042660A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
area
model
region
Prior art date
Application number
PCT/JP2022/031948
Other languages
English (en)
French (fr)
Inventor
史登 工藤
洋介 櫻田
淳 荒武
大輔 内堀
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/031948 priority Critical patent/WO2024042660A1/ja
Publication of WO2024042660A1 publication Critical patent/WO2024042660A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00Investigating strength properties of solid materials by application of mechanical stress

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Bridges, etc. which are part of social infrastructure, are evaluated for soundness and maintained through periodic inspections (see Non-Patent Document 1). Generally, the health of a bridge is evaluated based on the strength and state of deterioration of the structure.
  • the inspection is difficult to evaluate the condition (for example, strength) of a structure in a real environment, and the inspection is limited to evaluating the occurrence of deteriorated parts of the structure.
  • the deterioration evaluated during inspection may occur locally in the structure, and in this case, for example, the strength of the entire structure depends on the size of the deteriorated portion. For example, the smaller the deteriorated portion is, the less influence the deteriorated portion has on the overall strength of the structure. In this way, during inspections, it is not possible to grasp the effect of deteriorated parts on the entire structure by simply evaluating the presence of deteriorated parts in the structure, and it is not possible to grasp the effect that deteriorated parts have on the entire structure. is difficult. Therefore, it may not be possible to take appropriate measures for the structure based on the inspection results.
  • An object of the present disclosure is to provide an information processing device, an information processing method, and a program that can appropriately determine the state of a structure.
  • an information processing apparatus includes a structure area detection unit that detects a structure area showing an image of each structure to be inspected in an image;
  • a specific area detection unit that detects a specific area showing an image of a deteriorated part of the structure, specific area information regarding the specific area, and design information regarding the design of the structure, for analyzing the structure.
  • the apparatus includes an analytical modeling section that creates a model, and a structural analysis section that analyzes the structure using the model.
  • an information processing method includes a step of detecting a structure region in an image showing an image of each structure to be inspected, in an information processing method executed by an information processing device. , detecting a specific area representing an image of a deteriorated portion of the structure from each of the structure areas, and creating a model for analyzing the structure using specific area information regarding the specific area. and analyzing the structure using the model.
  • a program according to the present disclosure causes a computer to function as the above-mentioned information processing device.
  • the state of a structure can be appropriately determined.
  • FIG. 1 is a schematic diagram showing an example of a determination system according to the present embodiment.
  • FIG. 2 is a diagram showing an example of an image whose input is accepted by the image input unit shown in FIG. 1;
  • 2A is a diagram showing an example of a structure area in the image shown in FIG. 2A.
  • FIG. 2A is a diagram showing an example of a specific area in the image shown in FIG. 2A.
  • FIG. 2B is a diagram showing a boundary line detected from a structure region in the image shown in FIG. 2B.
  • FIG. FIG. 2 is a diagram for explaining a Hough transform executed by a boundary line detection unit shown in FIG. 1.
  • FIG. It is a schematic diagram showing another example of an image.
  • FIG. 4A is a graph showing the number of pixels in each structure region in the image shown in FIG. 4A. It is a perspective view showing an example of a conduit and a support member. 5A is a bottom view of the conduit shown in FIG. 5A viewed from the axial direction. FIG. 5A is a perspective view showing an example of meshing the conduit shown in FIG. 5A.
  • FIG. 2 is a flowchart showing the operation of the information processing apparatus shown in FIG. 1.
  • FIG. FIG. 2 is a hardware block diagram of an information processing device.
  • a determination system 100 includes an imaging device 1 and an information processing device 2.
  • the imaging device 1 may be configured by a camera including an optical element, an image sensor, and an output interface.
  • the output interface is an interface for outputting information.
  • the imaging device 1 generates an image of a subject including a structure extending in real space, as shown in FIG. 2A.
  • the structure can be, for example, a conduit.
  • the imaging device 1 outputs image information indicating the image to the information processing device 2.
  • the determination system 100 may further include a sensor 3.
  • the sensor 3 is attached to the imaging device 1.
  • the sensor 3 is attached so that its relative position to the imaging device 1 is fixed, and may be attached inside the imaging device 1, for example.
  • the sensor 3 can detect the imaging direction (optical axis direction) of the imaging device 1.
  • the sensor 3 can detect the imaging direction of the imaging device 1 with respect to the direction of gravity.
  • the sensor 3 is, for example, a gyro sensor. Further, the sensor 3 outputs imaging direction information indicating the imaging direction to the information processing device 2.
  • the information processing device 2 includes an image input section 21, a direction information input section 22, a design information input section 23, an area detection section 24, a boundary line processing section 25, a structure evaluation section 26, and a data storage section 27. Equipped with
  • the image input section 21, the direction information input section 22, and the design information input section 23 are configured by input interfaces.
  • the input interface can be an interface that accepts input of information output from other devices. Accordingly, the input interface may include a communication interface that receives information from other devices. For example, standards such as Ethernet (registered trademark), FDDI (Fiber Distributed Data Interface), and Wi-Fi (registered trademark) may be used for the communication interface.
  • the area detection section 24, the boundary line processing section 25, and the structure evaluation section 26 are configured by a controller.
  • the controller may be configured with dedicated hardware such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array), a processor, or a combination of both. good.
  • the data storage unit 27 is constituted by a memory.
  • the memory may be configured by a HDD (Hard Disk Drive), an SSD (Solid State Drive), an EEPROM (Electrically Erasable Programmable Read-Only Memory), a ROM (Read-Only Memory), a RAM (Random Access Memory), or the like.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • the image input unit 21 receives input of image information indicating an image generated by the imaging device 1.
  • the image may be of any type, for example, an RGB image represented by red (R), green (G), and blue (B).
  • an identifier for uniquely identifying the image information may be added to the image information.
  • the identifier can be, for example, a number. Further, the identifier can be a number in which the image information is incremented by a predetermined value in the order in which input is accepted by the image input unit 21.
  • the predetermined value may be 1, for example.
  • the direction information input unit 22 receives input of imaging direction information output by the sensor 3. Thereby, the analytical modeling unit 26B, which will be described in detail later, can determine the direction in the image that corresponds to the direction of gravity in real space.
  • the design information input unit 23 receives input of design information regarding the design of a structure whose image is included in the image indicated by the image information input by the image input unit 21.
  • the design information is information used for structural analysis of the structure, and includes, for example, structure information regarding the structure and support information regarding support of the structure by the support member SP.
  • the design information is expressed in any notation method including text, tables, drawings, etc.
  • the structure information can include the shape, load, and material of the structure, as well as the inspection results of the structure.
  • Structure loads can include dead loads (eg, weight of conduits, weight of cables, etc.), live loads.
  • the inspection results of the structure can include inspection results based on visual observation and hearing by an inspector, and inspection results using any inspection device.
  • the design information may include the positions where the structures are arranged, and may include, for example, the positional relationships of a plurality of structures (for example, pipes).
  • the support information is information for setting boundary conditions in structural analysis, and can include, for example, the method of supporting the structure by the support member SP, the form of support, the position of the fulcrum, the spacing between the fulcrums, etc. .
  • the area detection unit 24 detects an area in the image by analyzing the image input by the image input unit 21. Any method may be used to analyze the image, and for example, a method using deep learning may be used.
  • the regions include, in the image, a structure region ST that shows an image of a structure to be inspected (for example, a pipe) and a specific region that shows an image of a deteriorated part of the structure.
  • the region detection unit 24 can detect regions in an image using instance segmentation (for example, Mask-R-CNN ((Region-based Convolutional Neural Networks)). Therefore, by using instance segmentation, the region detection unit 24 can identify the relationship between the imaging device 1 and a part of the structure to be inspected in real space. Even if another object is placed between them, it is possible to detect a plurality of structure regions ST, each of which is a part of the same structure.
  • instance segmentation for example, Mask-R-CNN ((Region-based Convolutional Neural Networks)
  • the area detection unit 24 includes a structure area detection unit 24A and a specific area detection unit 24B.
  • the structure area detection unit 24A detects a structure area (area surrounded by a frame line in FIG. 2B) indicating an image of each structure to be inspected in the image.
  • the structure region detection unit 24A can detect a columnar structure region ST.
  • the specific area detection unit 24B detects a specific area (the area surrounded by the frame line in FIG. 2C) indicating an image of a deteriorated part of the structure from each of the structure areas ST detected by the structure area detection unit 24A.
  • the specific area may include a corroded area showing an image of a corroded part of the structure, a paint peeling area showing an image of a part of the structure where the paint has peeled off, and the like.
  • the boundary line processing unit 25 includes a boundary line detection unit 25A and a boundary line complementation unit 25B.
  • the boundary line detection unit 25A detects a boundary line (first boundary line) BD1 (see FIG. 2D) that defines each of the structure regions ST.
  • the boundary line detection unit 25A detects one or more line segments from the structure region ST.
  • the boundary line detection unit 25A can detect line segments using known methods such as stochastic Hough transform, Hough transform, and LSD (Line Segment Detector).
  • FIG. 3 is a diagram illustrating the Hough transform executed by the boundary line detection unit 25A.
  • Hough transform is an image transformation method that detects objects having elements such as line segments from an image. In the Hough transform, graphic elements are extracted by converting from image space to ⁇ - ⁇ parameter space.
  • the boundary detection unit 25A detects a line segment L that is a set of points (x 0 , y 0 ) that satisfy equation (1) in the range of x 0 ⁇ 0, y 0 ⁇ 0 in a two-dimensional orthogonal coordinate system.
  • the boundary line BD1 may be represented by .
  • is the length of a perpendicular line from the origin to the straight line passing through the coordinates (x, y), as shown in Figure 3, and ⁇ is the length of the line passing through the coordinates (x, y). This is the angle that a perpendicular line drawn from the origin makes with the x-axis with respect to a straight line passing through .
  • x 0 cos ⁇ +y 0 sin ⁇ ⁇ (1)
  • the boundary line detection unit 25A may detect a line segment having a length equal to or greater than a predetermined value from the structure region ST, or may detect line segments of all lengths and convert the detected line segment into a predetermined value. Line segments having longer lengths may be further detected.
  • the structure can be a conduit extending in one direction, and in this case, line segments with a length less than a predetermined value are excluded from the detection results, and line segments with a length longer than a predetermined value are excluded from the detection results.
  • the above predetermined value may be set as appropriate based on the length of the image of the pipe, which is a structure that is expected to be included in the image.
  • a plurality of pipes (structures) may be arranged adjacent to each other in a direction orthogonal to the extending direction, and in this case, at least At least a portion of another conduit may be located between the portion and the imaging device 1. In such a case, the image does not include an image of at least a portion of one duct.
  • FIG. 4A a plurality of pipes (structures) may be arranged adjacent to each other in a direction orthogonal to the extending direction, and in this case, at least At least a portion of another conduit may be located between the portion and the imaging device 1. In such a case, the image does not include an image of at least a portion of one duct.
  • part of the structure indicated by the structure region STa and the structure region STb is located between the part of the structure indicated by the structure region STd and the imaging device 1, and therefore,
  • the image generated by the imaging device 1 does not include an image of a part of the structure indicated by the structure region STd. Therefore, based on the positional relationship between the plurality of conduits and the positional relationship between each of the plurality of conduits and the imaging device 1, which are shown in the design information, the conduits that are expected to be included in the image are
  • the predetermined value may be set in consideration of the length of a part of the image.
  • the boundary line detection unit 25A detects a line segment corresponding to a line defining the structure region ST as a boundary line BD1 from one or more line segments detected by the boundary line detection unit 25A.
  • the boundary line complementing unit 25B detects boundaries that define each structure-equivalent region RST , which is an area in the image that corresponds to a structure area in real space, and that is not detected by the boundary line detection unit 25A.
  • the border line (second border line) BD2 is complemented.
  • the structure-equivalent region RST is a region where an image would have appeared on the image if the structure was not hidden in real space, and includes the structure region.
  • the boundary line complementing unit 25B determines whether the number of pixels forming each structure region ST is equal to or greater than a predetermined number of pixels pd1, as shown in FIG. 4B.
  • the predetermined number of pixels pd1 is an arbitrary number, and may be, for example, an average value of the number of pixels constituting the structure region ST detected by the structure region detection unit 24A.
  • the boundary line complementing unit 25B determines that the number of pixels in the structure region STd and the structure region STe is less than the predetermined number of pixels pd1, for example. Further, the boundary line complementing unit 25B determines, for example, that the number of pixels in the structure region STa, structure region STb, structure region STc, and structure region STf is greater than or equal to the predetermined number of pixels pd1.
  • the boundary line complementing unit 25B determines whether the number of boundary lines BD1 of the structure region ST is a predetermined number. do. For example, as shown in FIG. 4A, in a configuration in which a plurality of pipes (structures) are arranged adjacent to each other in a direction orthogonal to the extending direction, the predetermined number is two. In the example shown in FIG. 4A, the structure region STf whose number of pixels is determined to be equal to or greater than the predetermined number of pixels pd1 is a hatched region.
  • the boundary line complementing unit 25B determines that the number of boundary lines BD1 of each of the structure region STa, structure region STb, and structure region STc is two. Further, the boundary line complementing unit 25B determines that the number of boundary lines BD1 (indicated by "BDf1" in FIG. 4A) of the structure region STf is one, that is, less than two.
  • the boundary line complementing unit 25B extracts boundary lines BD2 that were not detected by the boundary line detection unit 25A, which define each of the structure-equivalent regions RST , which are regions in the image that correspond to structures in real space.
  • the structure region STf is a hatched portion
  • the structure equivalent region RST is a region including both a hatched portion and a halftone dotted portion.
  • the boundary line complementing unit 25B calculates the number of pixels in the structure equivalent region RST of the structure indicated by the structure region ST in which the number of boundary lines BD1 is less than a predetermined number (2 in the example shown in FIG. 4A), The number of boundary lines BD1 is set to a predetermined number (Fig.
  • the boundary line BD2 of the structure-equivalent region RST region which is less than 2), is complemented.
  • the boundary line BD2 (indicated by "BDf2" in FIG. 4A) is complemented so that the difference from the number of pixels in the object region STc is minimized (see FIG. 4B).
  • the structure evaluation section 26 includes a coordinate axis setting section 26A, an analysis modeling section 26B, and a structure analysis section 26C.
  • the coordinate axis setting unit 26A sets coordinate axes in the image based on the imaging direction information input by the direction information input unit 22.
  • the coordinate axes set by the coordinate axis setting unit 26A can be three axes in an orthogonal coordinate system (in the examples of FIGS. 5A to 5C, the x-axis, y-axis, and z-axis).
  • the coordinate axis setting unit 26A sets the direction corresponding to the gravitational direction in real space in the image to the first axis of the three axes (from FIG. 5A to In the example of FIG. 5C, it is set as y-axis).
  • the coordinate axis setting unit 26A sets the direction to an axis different from the first axis. 2 axes (FIG. 5A to FIG. 5C, x-axis). Further, the coordinate axis setting unit 26A can set an axis in a direction perpendicular to the first axis and the second axis as the third axis. Thereby, the coordinate axis setting unit 26A can set a direction in the image that corresponds to the direction of gravity in real space.
  • the analysis modeling unit 26B creates a model for analyzing the structure using specific area information regarding the specific area and design information regarding the design of the structure.
  • the analytical modeling unit 26B can create a model for analyzing the structure using any structural analysis method, for example, can create a model for calculating the stress distribution of the structure. .
  • the analytical modeling unit 26B calculates the model specific region (the halftone dots in FIGS. 5A and 5B) based on the shape of the structure and the boundary line BD that defines the structure-equivalent region RST in the image. area).
  • the model specific area is an area in the model that corresponds to a specific area in the image.
  • the shape of the structure is included in the design information.
  • the analytical modeling unit 26B may determine the model specific region based on the boundary line that defines the structure equivalent region RST .
  • the analytical modeling unit 26B determines each part of the structure and the structure based on the shape of the structure and the structure-equivalent region RST defined by at least one of the boundary lines BD1 and BD2.
  • Each portion of the corresponding region RST may be associated with each other.
  • the analytical modeling unit 26B calculates each part of the structure and each part of the structure equivalent region RST based on the boundary line BD1. can be mapped. Furthermore, if fewer than the predetermined number of boundary lines BD1 are detected and the boundary line BD2 is complemented, the analytical modeling unit 26B determines each part of the structure and the structure-equivalent region R ST based on the boundary lines BD1 and BD2. can be associated with each part of .
  • the analytical modeling section 26B may determine the model specific region based on the arrangement of the structure and the direction corresponding to the direction of gravity in the image, which is set by the coordinate axis setting section 26A. Specifically, the analytical modeling unit 26B associates each part of the structure with each part of the structure-equivalent region RST , and based on the association, as described above, A model specific region, which is a region in the corresponding model, can be determined.
  • the analytical modeling unit 26B sets the physical property values of the deteriorated part of the structure in the model specific area, and sets the physical property values of the deteriorated part of the structure (healthy part) in the model non-specific equivalent area, which is an area that is not the model specific area.
  • the structural analysis unit 26C analyzes the structure using the model created by the analysis modeling unit 26B.
  • the structural analysis unit 26C can analyze the structure using any structural analysis method (for example, finite element method (FEM)).
  • FEM finite element method
  • the structural analysis unit 26C meshes the model as shown in FIG. 5C. Then, the structure may be analyzed for each meshed area.
  • the structural analysis unit 26C may, for example, calculate the stress distribution of the structure, and calculate the stress in a specific region of the structure based on the stress distribution. Stress includes tensile stress and compressive stress. Further, the structural analysis unit 26C may determine the state of the structure based on the stress and the allowable stress that the structure can tolerate.
  • the allowable stress that can be tolerated by a structure is, for example, the maximum value of stress that can ensure the safety of the structure, and is the value obtained by dividing the reference stress determined at the time of design by a safety factor.
  • the allowable stress includes an allowable stress on the tension side and an allowable stress on the compression side.
  • the structural analysis unit 26C can determine the state of the structure based on the maximum value of the tensile stress and the allowable stress on the tensile side. Specifically, the structural analysis unit 26C can determine whether the maximum value of the tensile stress is larger than the allowable stress on the tensile side. In such a configuration, if the maximum stress on the tension side is determined to be larger than the allowable stress on the tension side, the structural analysis unit 26C determines that the state of the structure is poor, and calculates the stress on the tension side. If it is determined that the maximum value is less than or equal to the allowable stress on the tensile side, it is determined that the structure is in good condition.
  • the structural analysis unit 26C can evaluate the state of the structure based on the maximum value of compressive stress and the allowable stress on the compression side. Specifically, the structural analysis unit 26C can determine whether the maximum value of the compressive stress is smaller than the allowable stress. In such a configuration, when it is determined that the maximum value of stress on the compression side is larger than the allowable stress on the compression side, the structural analysis unit 26C determines that the state of the structure is poor, and calculates the stress on the compression side. If it is determined that the maximum value is less than or equal to the allowable stress on the compression side, it is determined that the structure is in good condition.
  • the structural analysis unit 26C outputs analysis information indicating the results of analyzing the structure.
  • the analysis information may include the stress distribution of the structure calculated by the structural analysis unit 26C, and may include at least one of the maximum value of tensile stress and the maximum value of compressive stress in a specific region of the structure. .
  • the analysis information may also include the state of the structure determined by the structure analysis section 26C.
  • the data storage unit 27 stores analysis information output by the structure analysis unit 26C.
  • FIG. 6 is a flowchart showing an example of the operation of the information processing device 2 according to the present embodiment.
  • the operation of the information processing device 2 described with reference to FIG. 6 includes an example of the information processing method of the information processing device 2 according to the present embodiment.
  • the images used for processing by the information processing device 2 are images of a plurality of pipes (structures) arranged adjacent to each other in a direction orthogonal to the extension direction. Therefore, the predetermined number regarding the boundary line BD1 is two.
  • step S11 the image input unit 21 receives input of image information indicating an image generated by the imaging device 1.
  • step S12 and step S13 the structure area detection unit 24A detects a structure area ST in the image that represents the image of the structure to be inspected.
  • step S12 the structure area detection unit 24A determines whether the image of the structure included in the image is a detection target.
  • step S13 the structure area detection unit 24A detects a structure area ST indicating an image of each structure. do.
  • step S12 If it is determined in step S12 that the image of the structure included in the image is not a detection target, the information processing device 2 ends the process.
  • step S14 the specific area detection unit 24B detects a specific area indicating an image of a deteriorated part of the structure from each structure area ST.
  • the boundary line detection unit 25A detects one or more line segments from the structure region ST.
  • the boundary line detection unit 25A may detect a line segment having a length equal to or greater than a predetermined value from the structure region ST, or may detect line segments of all lengths, and may detect a predetermined line segment from the detected line segment. A line segment whose length is longer than the value may be further detected.
  • step S16 the boundary line detection unit 25A detects a line segment corresponding to a line defining the structure region ST as a boundary line BD1 from the one or more line segments detected in step S15.
  • step S17 the boundary line interpolation unit 25B determines whether the number of pixels forming the structure region ST detected in step S12 is equal to or greater than the predetermined number of pixels pd1.
  • step S17 If it is determined in step S17 that the number of pixels constituting the structure region ST is less than the predetermined number of pixels pd1, the processing for the structure region ST by the information processing device 2 ends. Thereafter, the information processing device 2 may repeat the processing from step S12 onward for images of other structures included in the image indicated by the image information acquired in step S11.
  • step S18 the boundary line complementing unit 25B determines that the number of boundary lines BD1 of the structure region ST is 2. Determine whether or not.
  • step S19 the boundary line complementing unit 25B determines that the number of boundary lines BD1 is an area in the image that corresponds to a structure in real space. Boundary lines BD2 defining each of the structure-equivalent regions RST are complemented.
  • step S20 the coordinate axis setting unit 26A sets the coordinate axes in the image based on the imaging direction information.
  • the imaging direction information may be input by the direction information input unit 22 before the main operation is started, or may be input at any timing after the main operation is started and before step S20 is executed. Input may be accepted.
  • step S21 the analysis modeling unit 26B creates a model for analyzing the structure using specific area information regarding the specific area.
  • step S22 the structural analysis section 26C analyzes the structure using the model created by the analysis modeling section 26B.
  • step S23 the structural analysis unit 26C outputs analysis information indicating the results of analyzing the structure.
  • the information processing device 2 includes a structure region detection unit 24A that detects the structure region ST in the image that shows the image of each structure to be inspected, and a structure region ST that detects the structure region ST in the image.
  • a specific area detection unit 24B that detects a specific area representing an image of a deteriorated part in the structure, specific area information regarding the specific area, and design information regarding the design of the structure. It includes an analytical modeling section 26B that creates a model, and a structural analysis section 26C that analyzes a structure using the model.
  • the information processing device 2 not only determines the deteriorated parts of the structure, but also determines the state of the structure as a whole caused by the deteriorated parts of the structure, so the information processing device 2 appropriately determines the state of the structure. can do. Accordingly, for example, a structure manager or the like can appropriately take measures such as repairing or replacing the structure when it is determined that the structure is in poor condition.
  • the information processing device 2 includes a boundary line detection unit 25A that detects the boundary line BD1 that defines each of the structure regions ST, and a boundary line detection unit 25A that detects a boundary line BD1 that defines each structure region ST, and a A boundary line complementing section 25B is provided, which complements the boundary line BD2 that defines each of the object equivalent regions RST and is not detected by the boundary line detecting section 25A.
  • the structure-equivalent region R is a region in the image that corresponds to the structure in real space. ST can be determined.
  • the analysis modeling unit 26B can appropriately associate the structure model with the structure-corresponding region RST in the image, and accordingly, the structure model can correspond to the specific region in the image. It is possible to appropriately determine the model specific region, which is the region where the model is identified. Therefore, the analytical modeling unit 26B can appropriately analyze the structure by setting physical property values for each of the model specific region and the model non-specific region in the model.
  • the structural analysis unit 26C calculates the stress distribution of the structure, calculates the stress in the region of the structure corresponding to the specific region, and calculates the stress distribution and the stress distribution in the structure.
  • the state of the structure is determined based on the allowable stress that the object can tolerate.
  • the information processing device 2 can not only determine the deteriorated portion of the structure, but also appropriately determine whether the stress in the deteriorated portion of the structure is allowable. Accordingly, for example, a structure manager or the like can appropriately take measures such as repairing or replacing the structure.
  • the information processing device 2 may further include any one or more of an image storage section, a direction information storage section, and a design information storage section.
  • the image storage section, the direction information storage section, and the design information storage section are each constituted by a memory.
  • the image storage section stores image information input by the image input section 21 .
  • the area detection section 24 may perform processing based on image information stored in the image storage section.
  • the direction information storage section stores direction information whose input is accepted by the direction information input section 22.
  • the structure evaluation unit 26 may perform processing based on the direction information stored in the direction information storage unit.
  • the design information storage unit stores design information input by the design information input unit 23. In such a configuration, the structure evaluation unit 26 may execute processing based on design information stored in the design information storage unit.
  • FIG. 7 is a block diagram showing a schematic configuration of the computers 401 each functioning as the information processing device 2.
  • the computer 401 may be a general-purpose computer, a special-purpose computer, a workstation, a PC (Personal Computer), an electronic notepad, or the like.
  • Program instructions may be program code, code segments, etc. to perform necessary tasks.
  • the computer 401 includes a processor 410, a ROM (Read Only Memory) 420, a RAM (Random Access Memory) 430, a storage 440, an input section 450, an output section 460, and a communication interface ( I/F) 470.
  • Each configuration is communicatively connected to each other via a bus 480.
  • the processor 410 is a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc., and may be of the same or different type. It may be configured with a plurality of processors.
  • the processor 410 controls each component and executes various calculation processes. That is, processor 410 reads a program from ROM 420 or storage 440 and executes the program using RAM 430 as a work area. The processor 410 controls each of the above components and performs various arithmetic operations according to programs stored in the ROM 420 or the storage 440. In the embodiments described above, the program according to the present disclosure is stored in the ROM 420 or the storage 440.
  • the program may be stored in a storage medium readable by the computer 401. Using such a storage medium, it is possible to install a program on the computer 401.
  • the storage medium in which the program is stored may be a non-transitory storage medium.
  • the non-temporary storage medium is not particularly limited, and may be, for example, a CD-ROM, a DVD-ROM, a USB (Universal Serial Bus) memory, or the like. Further, this program may be downloaded from an external device via a network.
  • the ROM 420 stores various programs and various data.
  • RAM 430 temporarily stores programs or data as a work area.
  • the storage 440 is configured with an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • the input unit 450 includes one or more input interfaces that accept a user's input operation and obtain information based on the user's operation.
  • the input unit 450 is a pointing device, a keyboard, a mouse, etc., but is not limited to these.
  • the output unit 460 includes one or more output interfaces that output information.
  • the output unit 460 is a display that outputs information as a video or a speaker that outputs information as an audio, but is not limited to these.
  • the output unit 460 also functions as the input unit 450 if it is a touch panel display.
  • the communication interface (I/F) 470 is an interface for communicating with an external device.
  • a controller comprising: Detects structure areas in the image that represent images of each structure to be inspected, detecting a specific area showing an image of a deteriorated part in the structure from each of the structure areas; creating a model for analyzing the structure using specific area information regarding the specific area and design information regarding the design of the structure; An information processing device that analyzes the structure using the model.
  • the controller sets physical property values of the deteriorated portion of the structure in a model specific area that is an area in the model that corresponds to the specific area in the image, and sets physical property values of the deteriorated portion of the structure in a model non-specific area that is an area that is not the model specific area.
  • the information processing device according to supplementary note 1, wherein physical property values of non-degraded portions of the structure are set in the region.
  • the information processing device according to appendix 2, wherein the controller determines the model specific area based on the shape of the structure and a boundary line defining the structure area in the image.
  • the information processing device according to appendix 3, wherein the controller determines the model specific area based on the arrangement of the structure and a direction in the image that corresponds to a direction of gravity.
  • the controller includes: detecting boundaries defining each of the structure regions; A boundary line defining each structure-equivalent area that is an area in the image that corresponds to an area of the structure in real space, and complements the undetected boundary line; The information processing device according to any one of Supplementary Notes 1 to 4, wherein the model specific area is determined based on a boundary line that defines the structure-equivalent area.
  • the controller calculates a stress distribution of the structure, calculates stress in a specific region of the structure based on the stress distribution, and based on the stress and an allowable stress that the structure can tolerate, The information processing device according to any one of Supplementary Notes 1 to 5, which determines the state of the structure.
  • the controller includes: Detects structure areas in the image that represent images of each structure to be inspected, detecting a specific area showing an image of a deteriorated part in the structure from each of the structure areas; creating a model for analyzing the structure using specific area information regarding the specific area; analyzing the structure using the model; Information processing method.
  • a non-temporary storage medium storing a program executable by a computer, the non-temporary storage medium storing a program that causes the computer to function as the information processing device according to any one of Supplementary Notes 1 to 6.
  • Imaging device 2 Information processing device 3 Sensor 21 Image input unit 22 Direction information input unit 23 Design information input unit 24 Area detection unit 24A Structure area detection unit 24B Specific area detection unit 25 Boundary line processing unit 25A Boundary line detection unit 25B Boundary Line complementation section 26 Structure evaluation section 26A Coordinate axis setting section 26B Analysis modeling section 26C Structural analysis section 27 Data storage section 100 Judgment system 401 Computer 410 Processor 420 ROM 430 RAM 440 Storage 450 Input section 460 Output section 470 Communication interface 480 Bus

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る情報処理装置(2)は、画像における、点検対象の構造物それぞれの像を示す構造物領域を検出する構造物領域検出部(24A)と、構造物領域それぞれから、構造物における劣化部分の像を示す特定領域を検出する特定領域検出部(24B)と、特定領域に関する特定領域情報と、構造物の設計に関する設計情報とを用いて、構造物を解析するためのモデルを作成する解析モデル化部(26B)と、モデルを用いて、構造物を解析する構造解析部(26C)と、を備える。

Description

情報処理装置、情報処理方法、及びプログラム
 本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
 社会インフラの一部である橋梁等は、定期的な点検(非特許文献1参照)によって、健全性が評価され、維持管理されている。一般的に、橋梁の健全性は、構造物の強度及び劣化状態で評価されている。
「橋梁定期点検要領」、p.27-31、国土交通省 道路局 国道・技術課、平成31年3月
 しかしながら、点検において、実環境で構造物の状態(例えば、強度)を評価することは難しく、構造物の劣化部分の発生を評価するに留まっている。しかし、点検において評価される劣化は、構造物に局所的に発生するものがあり、この場合、例えば、構造物全体の強度は、劣化部分の大きさに依存する。例えば、劣化部分が小さいほど、該劣化部分が構造物全体の強度に与える影響は小さい。このように、点検において、構造物に劣化部分が発生していることを評価するだけでは、劣化部分が構造物全体に及ぼす影響を把握することができず、構造物全体の状態を評価することが困難である。したがって、点検結果に基づいて、構造物に対して適切な措置を取ることができないことがあった。
 かかる事情に鑑みてなされた本開示の目的は、構造物の状態を適切に判定することができる情報処理装置、情報処理方法、及びプログラムを提供することにある。
 上記課題を解決するため、本開示に係る情報処理装置は、画像における、点検対象の構造物それぞれの像を示す構造物領域を検出する構造物領域検出部と、前記構造物領域それぞれから、前記構造物における劣化部分の像を示す特定領域を検出する特定領域検出部と、前記特定領域に関する特定領域情報と、前記構造物の設計に関する設計情報とを用いて、前記構造物を解析するためのモデルを作成する解析モデル化部と、前記モデルを用いて、前記構造物を解析する構造解析部と、を備える。
 また、上記課題を解決するため、本開示に係る情報処理方法は、情報処理装置が実行する情報処理方法において、画像における、点検対象の構造物それぞれの像を示す構造物領域を検出するステップと、前記構造物領域それぞれから、前記構造物における劣化部分の像を示す特定領域を検出するステップと、前記特定領域に関する特定領域情報を用いて、前記構造物を解析するためのモデルを作成するステップと、前記モデルを用いて、前記構造物を解析するステップと、を含む。
 また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを上述した情報処理装置として機能させる。
 本開示に係る情報処理装置、情報処理方法、及びプログラムによれば、構造物の状態を適切に判定することができる。
本実施形態に係る判定システムの一例を示す概略図である。 図1に示す画像入力部によって入力が受け付けられた画像の一例を示す図である。 図2Aに示す画像における構造物領域の一例を示す図である。 図2Aに示す画像における特定領域の一例を示す図である。 図2Bに示す画像における構造物領域から検出された境界線を示す図である。 図1に示す境界線検出部が実行するハフ変換を説明するための図である。 画像の他の例を示す概略図である。 図4Aに示す画像における各構造物領域の画素数を示すグラフである。 管路及び支持部材の一例を示す斜視図である。 図5Aに示す管路を軸方向からみた底面図である。 図5Aに示す管路をメッシングした例を示す斜視図である。 図1に示す情報処理装置の動作を示すフローチャートである。 情報処理装置のハードウェアブロック図である。
 以下、本発明を実施するための形態が、図面を参照しながら詳細に説明される。本発明は、以下の実施形態に限定されるものではなく、その要旨の範囲内で種々変形して実施することができる。
 図1に示すように、本実施形態に係る判定システム100は、撮像装置1と、情報処理装置2とを備える。
 撮像装置1は、光学素子、撮像素子、及び出力インターフェースを備えるカメラによって構成されてもよい。出力インターフェースは、情報を出力するためのインターフェースである。
 撮像装置1は、図2Aに示すような、実空間において延在している構造物を含む被写体を撮像した画像を生成する。構造物は、例えば、管路とすることができる。
 また、撮像装置1は、画像を示す画像情報を情報処理装置2に出力する。
 図1に示すように、判定システム100は、センサ3をさらに備えていてもよい。センサ3は、撮像装置1に取り付けられている。センサ3は、撮像装置1との相対位置が固定されるように取り付けられており、例えば、撮像装置1の内部に取り付けられていてもよい。センサ3は、撮像装置1の撮像方向(光軸方向)を検出することができる。具体的には、センサ3は、撮像装置1の、重力方向に対する撮像方向を検出することができる。センサ3は、例えば、ジャイロセンサである。また、センサ3は、撮像方向を示す撮像方向情報を情報処理装置2に出力する。
 <情報処理装置の構成>
 情報処理装置2は、画像入力部21と、方向情報入力部22と、設計情報入力部23と、領域検出部24と、境界線処理部25と、構造評価部26と、データ記憶部27とを備える。
 画像入力部21、方向情報入力部22、及び設計情報入力部23は、入力インターフェースによって構成される。入力インターフェースは、他のデバイスから出力された情報の入力を受け付けるインターフェースとすることができる。これに伴い入力インターフェースは、他の装置から情報を受信する通信インターフェースを含んでもよい。通信インターフェースには、例えば、イーサネット(登録商標)、FDDI(Fiber Distributed Data Interface)、Wi-Fi(登録商標)等の規格が用いられてもよい。領域検出部24、境界線処理部25、及び構造評価部26は、コントローラによって構成される。コントローラは、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。データ記憶部27は、メモリによって構成される。メモリは、HDD(Hard Disk Drive)、SSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、ROM(Read-Only Memory)及びRAM(Random Access Memory)等によって構成されてもよい。
 画像入力部21は、撮像装置1によって生成された画像を示す画像情報の入力を受け付ける。画像は、任意の形式の画像であってよく、例えば、赤(R)、緑(G)、青(B)によって表されるRGB形式の画像とすることができる。また、画像情報には、該画像情報を一意に識別するための識別子が付与されてもよい。識別子は、例えば、番号とすることができる。また、識別子は、画像情報が画像入力部21によって入力が受け付けられた順に所定値ずつ加算された番号とすることができる.所定値は、例えば、1とすることができる。これによって、画像入力部21が、複数の画像情報の入力を受け付けた場合に、画像情報に基づいて実行される後述の処理の結果と、該画像情報と対応付けることができる。
 方向情報入力部22は、センサ3によって出力された撮像方向情報の入力を受け付ける。これにより、追って詳細に説明する解析モデル化部26Bは、画像における、実空間での重力方向に相当する方向を判定することができる。
 設計情報入力部23は、画像入力部21によって入力が受け付けられた画像情報が示す画像に像が含まれる構造物の設計に関する設計情報の入力を受け付ける。設計情報は、構造物の構造解析に用いられる情報であって、例えば、構造物に関する構造物情報と、構造物の、支持部材SPによる支持に関する支持情報を含む。設計情報は、文章、表、図面等を含む任意の表記方法によって示される。
 構造物情報は、構造物の形状、荷重、及び材料、並びに構造物の点検結果を含むことができる。構造物の荷重は、死荷重(例えば、管路の重量、ケーブルの重量等)、活荷重を含むことができる。構造物の点検結果は、点検者の目視及び打音の聞き取りによる点検結果、並びに任意の点検装置による点検結果を含むことができる。また、設計情報は、構造物が配設されている位置を含んでもよく、例えば、複数の構造物(例えば、管路)の位置関係を含んでもよい。また、支持情報は、構造解析において境界条件を設定するための情報であって、例えば、支持部材SPによる構造物の支持方法、支持形態、支点の位置、支点同士の間隔等を含むことができる。
 領域検出部24は、画像入力部21によって入力が受け付けられた画像を解析することによって、画像における領域を検出する。画像を解析する方法は、任意であってよく、例えば、深層学習を用いた方法とすることができる。領域には、画像における、点検対象の構造物(例えば、管路)の像を示す構造物領域STと、構造物における劣化部分の像を示す特定領域とが含まれる。
 領域検出部24は、インスタンス・セグメンテーション(例えば、Mask-R-CNN((Region-based Convolutional Neural Networks))を用いて、画像における領域をすることができる。インスタンス・セグメンテーションを用いることによって、同一クラスに分類される領域において個別に構造物を認識することができる。そのため、領域検出部24は、インスタンス・セグメンテーションを用いることによって、実空間において撮像装置1と点検対象の構造物の一部との間に他の物体が配置されていた場合においても、同一の構造物のそれぞれ一部である複数の構造物領域STを検出することができる。
 領域検出部24は、構造物領域検出部24Aと、特定領域検出部24Bとを有する。
 構造物領域検出部24Aは、画像における、点検対象の構造物それぞれの像を示す構造物領域(図2Bにおける枠線で囲まれる領域)を検出する。点検対象の構造物が、円筒の形状の管路である構成において、構造物領域検出部24Aは、円柱の形状の構造物領域STを検出することができる。
 特定領域検出部24Bは、構造物領域検出部24Aによって検出された構造物領域STそれぞれから、構造物における劣化部分の像を示す特定領域(図2Cにおける枠線で囲まれる領域)を検出する。特定領域には、構造物における腐食した部分の像を示す腐食領域、構造物における塗装が剥がれた部分の像を示す塗装剥がれ領域等が含まれてもよい。
 境界線処理部25は、境界線検出部25Aと、境界線補完部25Bとを有する。
 境界線検出部25Aは、構造物領域STそれぞれを画定する境界線(第1の境界線)BD1(図2D参照)を検出する。
 具体的には、まず、境界線検出部25Aは、構造物領域STから1以上の線分を検出する。境界線検出部25Aは、確率的ハフ変換、ハフ変換、LSD(Line Segment Detector)等の公知の手法により線分を検出することができる。図3は、境界線検出部25Aが実行するハフ変換を説明する図である。ハフ変換とは、画像の中から線分等の要素を持つオブジェクトを検出する画像変換手法である。ハフ変換では、画像空間からρ-θパラメータ空間への変換を行うことにより、図形要素を抽出する。例えば、境界線検出部25Aは、2次元の直交座標系において、x≧0、y≧0の範囲で式(1)を満たす点(x,y)の集合である線分Lにより境界線BD1を表してもよい。式(1)において、ρは、図3に示すような、座標(x,y)を通る直線に対し、原点から垂線を下ろしたときの長さであり、θは、座標(x,y)を通る直線に対し、原点から垂線を下ろしたときにx軸となす角度である。
 
 x0cosθ+y0sinθ=ρ  (1)
 
 なお、境界線検出部25Aは、構造物領域STから所定値以上の長さを有する線分を検出してもよいし、全ての長さの線分を検出し、検出された線分から所定値以上の長さの線分をさらに検出してもよい。本実施形態では、構造物は一方向に延在している管路とすることができ、この場合、所定値未満の長さの線分を検出結果から除外し、所定値以上の長さの線分を検出結果とすることによって、追って詳細に説明する境界線検出部25Aによる境界線BD1の検出の精度を高めることができる。
 上記所定値は、画像に含まれることが見込まれる構造物である管路の像の長さに基づいて、適宜設定されてよい。また、図4Aに示すように、複数の管路(構造物)は、延在方向の直交方向に互いに隣り合って配設されていることがあり、さらに、この場合、一の管路の少なくとも一部と撮像装置1との間に他の管路の少なくとも一部が位置することがある。このような場合、画像には、一の管路の少なくとも一部の像が含まれない。図4Aに示す例では、構造物領域STdが示す構造物の一部と撮像装置1との間に構造物領域STa及び構造物領域STbそれぞれが示す構造物の一部が位置し、このため、撮像装置1によって生成された画像には構造物領域STdが示す構造物の一部の像が含まれない。このため、設計情報に示されている、複数の管路の位置関係と、該複数の管路それぞれと撮像装置1との位置関係とに基づいて、画像に含まれることが見込まれる、管路の一部の像の長さを鑑みて、所定値が設定されてもよい。
 境界線検出部25Aは、境界線検出部25Aによって検出された1以上の線分から構造物領域STを画定する線に相当する線分を境界線BD1として検出する。
 境界線補完部25Bは、実空間での構造物の領域に相当する、画像での領域である構造物相当領域RSTそれぞれを画定する境界線であって、境界線検出部25Aによって検出されなかった境界線(第2の境界線)BD2を補完する。構造物相当領域RSTとは、実空間で構造物が隠れていなければ、画像上に像が表れていたはずの領域であり、構造物領域を含む。
 具体的には、まず、境界線補完部25Bは、図4Bに示すような、各構造物領域STを構成する画素数が所定画素数pd1以上であるか否かを判定する。所定画素数pd1は、任意数であるが、例えば、構造物領域検出部24Aによって検出された構造物領域STを構成する画素数の平均値とすることができる。図4Aに示す例では、境界線補完部25Bは、例えば、構造物領域STd及び構造物領域STeの画素数が所定画素数pd1未満であると判定する。また、境界線補完部25Bは、例えば、構造物領域STa、構造物領域STb、構造物領域STc、及び構造物領域STfの画素数が所定画素数pd1以上であると判定する。
 境界線補完部25Bは、構造物領域STを構成する画素数が所定画素数pd1以上であると判定されると、構造物領域STの境界線BD1の数が所定数であるか否かを判定する。例えば、図4Aに示すように、複数の管路(構造物)が、延在方向の直交方向に互いに隣り合って配設されている構成において、所定数は2である。なお、図4Aに示す例では、画素数が所定画素数pd1以上であると判定された構造物領域STfは、ハッチが付されている領域である。この例では、境界線補完部25Bは、構造物領域STa、構造物領域STb、構造物領域STcそれぞれの境界線BD1の数は2であると判定する。また、境界線補完部25Bは、構造物領域STfの境界線BD1(図4Aでは「BDf1」で示される)の数は1、すなわち2未満であると判定する。
 そして、境界線補完部25Bは、実空間での構造物に相当する、画像での領域である構造物相当領域RSTそれぞれを画定する、境界線検出部25Aによって検出されなかった境界線BD2を補完する。図4Aでは、構造物領域STfは、ハッチが付された部分であり、構造物相当領域RSTは、ハッチが付された部分と網点が付された部分との両方を含む領域である。このとき、境界線補完部25Bは、境界線BD1の数が所定数(図4Aに示す例では2)未満である構造物領域STが示す構造物の構造物相当領域RSTの画素数と、該構造物領域STに隣接している構造物領域STのうち、最も画素数の多い構造物領域STの画素数との差分が最小となるように、境界線BD1の数が所定数(図4Aに示す例では2)未満である構造物相当領域RST領域の境界線BD2を補完する。図4Aに示す例では、構造物領域STfが示す構造物の構造物相当領域RSTの画素数と、該構造物領域STfに隣接している構造物領域STのうち、最も画素数の多い構造物領域STcの画素数との差分が最小となるように(図4B参照)、境界線BD2(図4Aでは「BDf2」で示される)を補完する。
 構造評価部26は、座標軸設定部26Aと、解析モデル化部26Bと、構造解析部26Cとを有する。
 座標軸設定部26Aは、方向情報入力部22によって入力が受け付けられた撮像方向情報に基づいて、画像における座標軸を設定する。座標軸設定部26Aが設定する座標軸は、直交座標系における3軸(図5Aから図5Cの例では、x軸、y軸、及びz軸)とすることができる。例えば、座標軸設定部26Aは、撮像方向情報が示す重力方向に対する撮像方向に基づいて、画像における、実空間での重力方向に相当する方向を上記3軸のうちの第1の軸(図5Aから図5Cの例では、y軸)と設定する。また、座標軸設定部26Aは、構造物が延在する方向(構造物が管路である例では、管路の軸方向)が水平方向である場合、該方向を第1の軸とは異なる第2の軸(図5Aから図5C、x軸)と設定することができる。さらに、座標軸設定部26Aは、第1の軸及び第2の軸に直交する方向の軸を第3の軸と設定することができる。これにより、座標軸設定部26Aは、画像における、実空間における重力方向に相当する方向を設定することができる。
 解析モデル化部26Bは、特定領域に関する特定領域情報と、構造物の設計に関する設計情報とを用いて、構造物を解析するためのモデルを作成する。ここで、解析モデル化部26Bは、任意の構造解析手法によって構造物を解析するためのモデルを作成することができ、例えば、構造物の応力分布を算出するためのモデルを作成することができる。
 具体的には、解析モデル化部26Bは、構造物の形状と、画像における構造物相当領域RSTを画定する境界線BDとに基づいて、モデル特定領域(図5A及び図5Bの網点が付された領域)を判定する。なお、モデル特定領域は、画像での特定領域に相当する、モデルにおける領域である。また、上述したように、構造物の形状は、設計情報に含まれている。さらに、解析モデル化部26Bは、構造物相当領域RSTを画定する境界線に基づいて、モデル特定領域を判定してもよい。具体的には、解析モデル化部26Bは、構造物の形状と、境界線BD1及びBD2の少なくとも一方によって画定される構造物相当領域RSTとに基づいて、構造物の各部分と、構造物相当領域RSTの各部分とを対応付けてもよい。所定数の境界線BD1が検出され、境界線BD2が補完されなかった場合、解析モデル化部26Bは、境界線BD1に基づいて構造物の各部分と、構造物相当領域RSTの各部分とを対応付けることができる。また、所定数未満の境界線BD1が検出され、境界線BD2が補完された場合、解析モデル化部26Bは、境界線BD1及びBD2に基づいて構造物の各部分と、構造物相当領域RSTの各部分とを対応付けることができる。
 また、解析モデル化部26Bは、構造物の配置と、座標軸設定部26Aによって設定された、画像における重力方向に相当する方向とに基づいて、モデル特定領域を判定してもよい。具体的には、解析モデル化部26Bは、構造物の各部分と、構造物相当領域RSTの各部分とを対応付け、対応付けに基づいて、上述したように、画像での特定領域に対応するモデルでの領域であるモデル特定領域を判定することができる。
 そして、解析モデル化部26Bは、モデル特定領域に構造物の劣化部分の物性値を設定し、モデル特定領域ではない領域であるモデル非特定相当領域に構造物の非劣化部分(健全部)の物性値を設定する。物性値は、ヤング率、ポアソン比等であるが、これらに限定されない。
 構造解析部26Cは、解析モデル化部26Bによって作成されたモデルを用いて、構造物を解析する。構造解析部26Cは、任意の構造解析手法(例えば、有限要素法(Finite Element Method(FEM))により構造物を解析することができる。構造解析部26Cは、図5Cに示すようにモデルをメッシングして、メッシングした領域ごとに構造物を解析してもよい。
 構造解析部26Cは、構造解析において、例えば、構造物の応力分布を算出し、応力分布に基づいて、構造物の特定領域における応力を算出してもよい。応力には、引張応力と圧縮応力とが含まれる。さらに、構造解析部26Cは、応力と、構造物が許容しうる許容応力とに基づいて、構造物の状態を判定してもよい。構造物が許容しうる許容応力とは、例えば、構造物の安全を確保することが可能な応力の最大値であって、設計時に定められた基準応力を安全率で除した値である。許容応力には、引張側の許容応力と圧縮側の許容応力とが含まれる。
 一例として、構造解析部26Cは、引張応力の最大値と、引張側の許容応力とに基づいて、構造物の状態を判定することができる。具体的には、構造解析部26Cは、引張応力の最大値が引張側の許容応力より大きいか否かを判定することができる。このような構成において、構造解析部26Cは、引張側の応力の最大値が引張側の許容応力より大きいと判定された場合、構造物の状態が不良であると判定し、引張側の応力の最大値が引張側の許容応力以下であると判定された場合、構造物の状態が良好であると判定する。
 他の例として、構造解析部26Cは、圧縮応力の最大値と圧縮側の許容応力とに基づいて、構造物の状態を評価することができる。具体的には、構造解析部26Cは、圧縮応力の最大値が許容応力より小さいか否かを判定することができる。このような構成において、構造解析部26Cは、圧縮側の応力の最大値が圧縮側の許容応力より大きいと判定された場合、構造物の状態が不良であると判定し、圧縮側の応力の最大値が圧縮側の許容応力以下であると判定された場合、構造物の状態が良好であると判定する。
 構造解析部26Cは、構造物を解析した結果を示す解析情報を出力する。解析情報は、構造解析部26Cによって算出された、構造物の応力分布を含んでもよいし、構造物の特定領域における引張応力の最大値、及び圧縮応力の最大値の少なくとも1つを含んでもよい。また、解析情報は、構造解析部26Cによって判定された構造物の状態を含んでもよい。
 データ記憶部27は、構造解析部26Cによって出力された解析情報を記憶する。
 <情報処理装置の動作>
 ここで、本実施形態に係る情報処理装置2の動作について、図6を参照して説明する。図6は、本実施形態に係る情報処理装置2の動作の一例を示すフローチャートである。図6を参照して説明する情報処理装置2における動作は本実施形態に係る情報処理装置2の情報処理方法の一例を含む。なお、本例では、情報処理装置2の処理に用いられる画像は、延在方向の直交方向に互いに隣り合って配設されている複数の管路(構造物)を撮像した画像である。したがって、境界線BD1に関する所定数は2である。
 ステップS11において、画像入力部21が、撮像装置1によって生成された画像を示す画像情報の入力を受け付ける。
 ステップS12及びステップS13において、構造物領域検出部24Aが、画像における、点検対象の構造物の像を示す構造物領域STを検出する。
 具体的には、ステップS12において、構造物領域検出部24Aが、画像に含まれている構造物の像が検出対象であるか否かを判定する。
 ステップS12で、画像に含まれている構造物の像が検出対象であると判定されると、ステップS13において、構造物領域検出部24Aが、構造物それぞれの像を示す構造物領域STを検出する。
 ステップS12で、画像に含まれている構造物の像が検出対象でないと判定されると、情報処理装置2が、処理を終了する。
 ステップS14において、特定領域検出部24Bが、構造物領域STそれぞれから、構造物における劣化部分の像を示す特定領域を検出する。
 ステップS15において、境界線検出部25Aは、構造物領域STから1以上の線分を検出する。ここで、境界線検出部25Aは、構造物領域STから所定値以上の長さを有する線分を検出してもよいし、全ての長さの線分を検出し、検出された線分から所定値以上の長さの線分をさらに検出してもよい。
 ステップS16において、境界線検出部25Aは、ステップS15で検出された1以上の線分から構造物領域STを画定する線に相当する線分を境界線BD1として検出する。
 ステップS17において、境界線補完部25Bが、ステップS12で検出された構造物領域STを構成する画素数が所定画素数pd1以上であるか否かを判定する。
 ステップS17で構造物領域STを構成する画素数が所定画素数pd1未満であると判定されると、情報処理装置2による該構造物領域STに対する処理を終了する。以後、情報処理装置2は、ステップS11で取得された画像情報が示す画像に含まれる他の構造物の像に対して、ステップS12以降の処理を繰り返してもよい。
 ステップS17で構造物領域STを構成する画素数が所定画素数pd1以上であると判定されると、ステップS18において、境界線補完部25Bが、該構造物領域STの境界線BD1の数が2であるか否かを判定する。
 ステップS18で境界線BD1の数が2未満であると判定された場合、ステップS19において、ステップS19において、境界線補完部25Bが、実空間での構造物に相当する、画像での領域である構造物相当領域RSTそれぞれを画定する境界線BD2を補完する。
 ステップS20において、座標軸設定部26Aが、撮像方向情報に基づいて、画像における座標軸を設定する。撮像方向情報は、方向情報入力部22によって、本動作が開始される前に入力が受け付けられてもよいし、本動作が開始された以降、ステップS20が実行される前までの任意のタイミングで入力が受け付けられてもよい。
 ステップS21において、解析モデル化部26Bが、特定領域に関する特定領域情報を用いて、構造物を解析するためのモデルを作成する。
 ステップS22において、構造解析部26Cが、解析モデル化部26Bによって作成されたモデルを用いて、構造物を解析する。
 ステップS23において、構造解析部26Cが、構造物を解析した結果を示す解析情報を出力する。
 上述したように、本実施形態によれば、情報処理装置2は、画像における、点検対象の構造物それぞれの像を示す構造物領域STを検出する構造物領域検出部24Aと、構造物領域STそれぞれから、構造物における劣化部分の像を示す特定領域を検出する特定領域検出部24Bと、特定領域に関する特定領域情報と、構造物の設計に関する設計情報とを用いて、構造物を解析するためのモデルを作成する解析モデル化部26Bと、モデルを用いて、構造物を解析する構造解析部26Cと、を備える。これにより、情報処理装置2は、構造物の劣化部分を判定するだけでなく、構造物の劣化部分に起因する、該構造物全体としての状態を判定するため、構造物の状態を適切に判定することができる。これに伴い、例えば、構造物の管理者等は、構造物の状態が不良であると判定された場合に、構造物に対して修繕、交換等の対策を適切に講じることができる。
 また、本実施形態によれば、情報処理装置2は、構造物領域STそれぞれを画定する境界線BD1を検出する境界線検出部25Aと、実空間での構造物に相当する、画像での構造物相当領域RSTそれぞれを画定する境界線であって、境界線検出部25Aによって検出されなかった境界線BD2を補完する境界線補完部25Bと、を備える。これにより、例えば、実空間において、構造物と撮像装置1との間に他の物体が位置する場合においても、実空間での構造物に相当する、画像での領域である構造物相当領域RSTを判定することができる。このため、解析モデル化部26Bは、構造物のモデルと、画像における構造物相当領域RSTとを適切に対応付けることができ、これに伴い、構造物のモデルにおける、画像での特定領域に相当する領域であるモデル特定領域を適切に判定することができる。したがって、解析モデル化部26Bは、モデルにおけるモデル特定領域及びモデル非特定領域それぞれに物性値を設定することにより、構造物を適切に解析することができる。
 また、本実施形態によれば、情報処理装置2において、構造解析部26Cは、構造物の応力分布を算出し、特定領域に相当する、構造物の領域における応力を算出し、応力と、構造物が許容しうる許容応力とに基づいて、構造物の状態を判定する。これにより、情報処理装置2は、構造物の劣化部分を判定するだけでなく、構造物の劣化部分の応力が許容されるものであるか否かを適切に判定することができる。これに伴い、例えば、構造物の管理者等は、構造物に対して修繕、交換等の対策を適切に講じることができる。
 なお、上述した実施形態において、情報処理装置2は、画像記憶部と、方向情報記憶部と、設計情報記憶部とのいずれか1つ以上をさらに備えてもよい。画像記憶部、方向情報記憶部、及び設計情報記憶部それぞれは、メモリによって構成される。画像記憶部は、画像入力部21によって入力が受け付けられた画像情報を記憶する。このような構成において、領域検出部24は、画像記憶部に記憶されていた画像情報に基づいて処理を実行してもよい。また、方向情報記憶部は、方向情報入力部22によって入力が受け付けられた方向情報を記憶する。このような構成において、構造評価部26は、方向情報記憶部によって記憶されていた方向情報に基づいて処理を実行してもよい。また、設計情報記憶部は、設計情報入力部23によって入力が受け付けられた設計情報を記憶する。このような構成において、構造評価部26は、設計情報記憶部によって記憶されていた設計情報に基づいて処理を実行してもよい。
 <プログラム>
 上述した情報処理装置2は、コンピュータ401によって実現することができる。また、情報処理装置2として機能させるためのプログラムが提供されてもよい。また、該プログラムは、記憶媒体に記憶されてもよいし、ネットワークを通して提供されてもよい。図7は、情報処理装置2としてそれぞれ機能するコンピュータ401の概略構成を示すブロック図である。ここで、コンピュータ401は、汎用コンピュータ、専用コンピュータ、ワークステーション、PC(Personal Computer)、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
 図7に示すように、コンピュータ401は、プロセッサ410と、ROM(Read Only Memory)420と、RAM(Random Access Memory)430と、ストレージ440と、入力部450と、出力部460と、通信インターフェース(I/F)470とを備える。各構成は、バス480を介して相互に通信可能に接続されている。プロセッサ410は、具体的にはCPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、SoC(System on a Chip)などであり、同種又は異種の複数のプロセッサにより構成されてもよい。
 プロセッサ410は、各構成の制御、及び各種の演算処理を実行する。すなわち、プロセッサ410は、ROM420又はストレージ440からプログラムを読み出し、RAM430を作業領域としてプログラムを実行する。プロセッサ410は、ROM420又はストレージ440に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。上述した実施形態では、ROM420又はストレージ440に、本開示に係るプログラムが記憶されている。
 プログラムは、コンピュータ401が読み取り可能な記憶媒体に記憶されていてもよい。このような記憶媒体を用いれば、プログラムをコンピュータ401にインストールすることが可能である。ここで、プログラムが記憶された記憶媒体は、非一時的(non-transitory)記憶媒体であってもよい。非一時的記憶媒体は、特に限定されるものではないが、例えば、CD-ROM、DVD-ROM、USB(Universal Serial Bus)メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
 ROM420は、各種プログラム及び各種データを記憶する。RAM430は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ440は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム及び各種データを記憶する。
 入力部450は、ユーザの入力操作を受け付けて、ユーザの操作に基づく情報を取得する1つ以上の入力インターフェースを含む。例えば、入力部450は、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。
 出力部460は、情報を出力する1つ以上の出力インターフェースを含む。例えば、出力部460は、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカであるが、これらに限定されない。なお、出力部460は、タッチパネル方式のディスプレイである場合には、入力部450としても機能する。
 通信インターフェース(I/F)470は、外部の装置と通信するためのインターフェースである。
 以上の実施形態に関し、更に以下の付記を開示する。
 (付記項1)
 コントローラを備え、前記コントローラは、
 画像における、点検対象の構造物それぞれの像を示す構造物領域を検出し、
 前記構造物領域それぞれから、前記構造物における劣化部分の像を示す特定領域を検出し、
 前記特定領域に関する特定領域情報と、前記構造物の設計に関する設計情報とを用いて、前記構造物を解析するためのモデルを作成し、
 前記モデルを用いて、前記構造物を解析する
情報処理装置。
 (付記項2)
 前記コントローラは、前記画像での前記特定領域に相当する、前記モデルにおける領域であるモデル特定領域に前記構造物の劣化部分の物性値を設定し、前記モデル特定領域ではない領域であるモデル非特定領域に前記構造物の非劣化部分の物性値を設定する、付記項1に記載の情報処理装置。
 (付記項3)
 前記コントローラは、前記構造物の形状と、前記画像における前記構造物領域を画定する境界線とに基づいて、前記モデル特定領域を判定する、付記項2に記載の情報処理装置。
 (付記項4)
 前記コントローラは、前記構造物の配置と、前記画像における、重力方向に相当する方向とに基づいて、前記モデル特定領域を判定する、付記項3に記載の情報処理装置。
 (付記項5)
 前記コントローラは、
  前記構造物領域それぞれを画定する境界線を検出し、
  実空間での前記構造物の領域に相当する、前記画像での領域である構造物相当領域それぞれを画定する境界線であって、前記検出されなかった境界線を補完し、
  前記構造物相当領域を画定する境界線に基づいて、前記モデル特定領域を判定する、付記項1から4のいずれか一項に記載の情報処理装置。
 (付記項6)
 前記コントローラは、前記構造物の応力分布を算出し、前記応力分布に基づいて、構造物の特定領域における応力を算出し、前記応力と、前記構造物が許容しうる許容応力とに基づいて、前記構造物の状態を判定する付記項1から5のいずれか一項に記載の情報処理装置。
 (付記項7)
 コントローラを備える情報処理装置が実行する情報処理方法において、前記コントローラは、
 画像における、点検対象の構造物それぞれの像を示す構造物領域を検出し、
 前記構造物領域それぞれから、前記構造物における劣化部分の像を示す特定領域を検出し、
 前記特定領域に関する特定領域情報を用いて、前記構造物を解析するためのモデルを作成し、
 前記モデルを用いて、前記構造物を解析する、
情報処理方法。
 (付記項8)
 コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項1から6のいずれか一項に記載の情報処理装置として機能させるプログラムを記憶した非一時的記憶媒体。
 本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
 上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
1 撮像装置
2 情報処理装置
3 センサ
21 画像入力部
22 方向情報入力部
23 設計情報入力部
24 領域検出部
24A 構造物領域検出部
24B 特定領域検出部
25 境界線処理部
25A 境界線検出部
25B 境界線補完部
26 構造評価部
26A 座標軸設定部
26B 解析モデル化部
26C 構造解析部
27 データ格納部
100 判定システム
401 コンピュータ
410 プロセッサ
420 ROM
430 RAM
440 ストレージ
450 入力部
460 出力部
470 通信インターフェース
480 バス
 

Claims (8)

  1.  画像における、点検対象の構造物それぞれの像を示す構造物領域を検出する構造物領域検出部と、
     前記構造物領域それぞれから、前記構造物における劣化部分の像を示す特定領域を検出する特定領域検出部と、
     前記特定領域に関する特定領域情報と、前記構造物の設計に関する設計情報とを用いて、前記構造物を解析するためのモデルを作成する解析モデル化部と、
     前記モデルを用いて、前記構造物を解析する構造解析部と、
    を備える情報処理装置。
  2.  前記解析モデル化部は、前記画像での前記特定領域に相当する、前記モデルにおける領域であるモデル特定領域に前記構造物の劣化部分の物性値を設定し、前記モデル特定領域ではない領域であるモデル非特定領域に前記構造物の非劣化部分の物性値を設定する、請求項1に記載の情報処理装置。
  3.  前記解析モデル化部は、前記構造物の形状と、前記画像における前記構造物領域を画定する境界線とに基づいて、前記モデル特定領域を判定する、請求項2に記載の情報処理装置。
  4.  前記解析モデル化部は、前記構造物の配置と、前記画像における、重力方向に相当する方向とに基づいて、前記モデル特定領域を判定する、請求項3に記載の情報処理装置。
  5.  前記構造物領域それぞれを画定する境界線を検出する境界線検出部と、
     実空間での前記構造物の領域に相当する、前記画像での領域である構造物相当領域それぞれを画定する境界線であって、前記境界線検出部によって検出されなかった境界線を補完する境界線補完部と、をさらに備え
     前記解析モデル化部は、前記構造物相当領域を画定する境界線に基づいて、前記モデル特定領域を判定する、請求項1から4のいずれか一項に記載の情報処理装置。
  6.  前記構造解析部は、前記構造物の応力分布を算出し、前記応力分布に基づいて、構造物の特定領域における応力を算出し、前記応力と、前記構造物が許容しうる許容応力とに基づいて、前記構造物の状態を判定する請求項1から4のいずれか一項に記載の情報処理装置。
  7.  情報処理装置が実行する情報処理方法において、
     画像における、点検対象の構造物それぞれの像を示す構造物領域を検出するステップと、
     前記構造物領域それぞれから、前記構造物における劣化部分の像を示す特定領域を検出するステップと、
     前記特定領域に関する特定領域情報を用いて、前記構造物を解析するためのモデルを作成するステップと、
     前記モデルを用いて、前記構造物を解析するステップと、
    を含む情報処理方法。
  8.  コンピュータを、請求項1から4のいずれか一項に記載の情報処理装置として機能させるためのプログラム。
     
PCT/JP2022/031948 2022-08-24 2022-08-24 情報処理装置、情報処理方法、及びプログラム WO2024042660A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/031948 WO2024042660A1 (ja) 2022-08-24 2022-08-24 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/031948 WO2024042660A1 (ja) 2022-08-24 2022-08-24 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024042660A1 true WO2024042660A1 (ja) 2024-02-29

Family

ID=90012755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/031948 WO2024042660A1 (ja) 2022-08-24 2022-08-24 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024042660A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018105844A (ja) * 2016-10-31 2018-07-05 ザ・ボーイング・カンパニーThe Boeing Company 複合材料構造物のためのリンクル特性評価及び性能予測
JP2018146230A (ja) * 2017-03-01 2018-09-20 東日本旅客鉄道株式会社 構造物評価方法及び構造物評価システム
US20180276810A1 (en) * 2015-01-13 2018-09-27 Sikorsky Aircraft Corporation Structural health monitoring employing physics models
JP2019009919A (ja) * 2017-06-26 2019-01-17 株式会社東芝 巡視点検支援システム及び巡視点検支援制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276810A1 (en) * 2015-01-13 2018-09-27 Sikorsky Aircraft Corporation Structural health monitoring employing physics models
JP2018105844A (ja) * 2016-10-31 2018-07-05 ザ・ボーイング・カンパニーThe Boeing Company 複合材料構造物のためのリンクル特性評価及び性能予測
JP2018146230A (ja) * 2017-03-01 2018-09-20 東日本旅客鉄道株式会社 構造物評価方法及び構造物評価システム
JP2019009919A (ja) * 2017-06-26 2019-01-17 株式会社東芝 巡視点検支援システム及び巡視点検支援制御プログラム

Similar Documents

Publication Publication Date Title
Lin et al. Damage detection in the cable structures of a bridge using the virtual distortion method
JP6954368B2 (ja) 変位成分検出装置、変位成分検出方法、及びプログラム
US10295435B1 (en) Model-based damage detection technique for a structural system
JPWO2016152075A1 (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
JP7372536B2 (ja) 演算プログラム、演算装置及び演算方法
CN114596266B (zh) 一种基于ConcreteCrackSegNet模型的混凝土裂缝检测方法
JP2008102041A (ja) 構造物の剛性解析システムおよびそのプログラム
JP4851252B2 (ja) 構造物評価プログラム
Caliò et al. The influence of damage on the eigen-properties of Timoshenko spatial arches
WO2024042660A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5324820B2 (ja) 解析モデルの作成方法
US6281875B1 (en) Gradient-based pixel interpolation
JP2012221472A (ja) モデル作成装置、その方法及びそのプログラム
WO2021044628A1 (ja) 変状検出システムおよび変状検出方法
JP2005062041A (ja) 健全度評価方法、評価プログラム、及び評価装置
JP6857050B2 (ja) 構造物評価方法及び構造物評価システム
TW201923923A (zh) 判定圖樣的臨界尺寸變異
JP7154172B2 (ja) 付帯設備状態評価装置、付帯設備状態評価方法、および付帯設備状態評価プログラム
JP4837520B2 (ja) スペクトル波形パターンの領域分割方法およびプログラム
Huang et al. Automatic calculation of a new China glare index
JP6410459B2 (ja) 画像検査方法、および画像検査装置
Zhou et al. Data inspecting and denoising method for data-driven stochastic subspace identification
JP2021005364A (ja) 実在構造体の供用能力及び残存寿命の三次元スキャンデータを用いた判定
Cirello et al. Numerical simulations and experimental measurements of the stress intensity factor in perforated plates
JP2019196661A (ja) 切羽評価装置、切羽評価方法及びコンクリート材料吹付方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22956488

Country of ref document: EP

Kind code of ref document: A1