WO2019021719A1 - 損傷データ編集装置、損傷データ編集方法、およびプログラム - Google Patents

損傷データ編集装置、損傷データ編集方法、およびプログラム Download PDF

Info

Publication number
WO2019021719A1
WO2019021719A1 PCT/JP2018/024199 JP2018024199W WO2019021719A1 WO 2019021719 A1 WO2019021719 A1 WO 2019021719A1 JP 2018024199 W JP2018024199 W JP 2018024199W WO 2019021719 A1 WO2019021719 A1 WO 2019021719A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
unit
data
damage data
editing
Prior art date
Application number
PCT/JP2018/024199
Other languages
English (en)
French (fr)
Inventor
浩明 菊池
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019532452A priority Critical patent/JP6805351B2/ja
Publication of WO2019021719A1 publication Critical patent/WO2019021719A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a damage data editing apparatus, a damage data editing method, and a program, and more particularly to a technology for editing damage data generated from a photographed image of a building to be inspected.
  • Structures such as bridges and tunnels are more likely to suffer damage over time. Therefore, it is required to regularly check the occurrence of damage and the progress of damage.
  • the surveyor who inspects the structure needs to make a check report of a predetermined format as a form indicating the result of the inspection.
  • One of the inspection reports is a damage map that illustrates the damage status of the building. Even if it is an expert who is different from the surveyor actually checked, by looking at the damage map created in a prescribed format, grasp the occurrence and progress of damage to the structure, and plan the maintenance and management of the structure. It will be possible to formulate.
  • inspection of a building may be performed using a photographed image. That is, the researcher checks the damage of the building by acquiring a photographed image of the building to be inspected and detecting damage (for example, a crack) from the photographed image.
  • damage for example, a crack
  • Patent Document 1 describes a technique for creating an inspection drawing (corresponding to a damage drawing) using a photographed image of a building. Specifically, a technique is described in which damage objects of lines, faces and characters are created from the characteristics of damage in a photographed image of a building to be inspected, and placed on drawing data read by a scanner.
  • damage detection processing is performed before processing such as projective transformation is performed on the captured image, more accurate damage detection can be performed. That is, when processing such as projective transformation is added to the photographed image, the data of the photographed image is affected by the influence of the processing, and in some cases, accurate damage detection can not be performed.
  • Patent Document 1 does not mention that a damaged object is generated based on a photographed image before projective transformation.
  • the damage when detecting damage from the photographed image by image processing, the damage is not necessarily detected with high accuracy, and after the damage is detected by image processing, the user confirms it and detects the damage as necessary. It may be necessary to edit (modify and process) the results.
  • Patent Document 1 does not mention an editing function that combines damage of a captured image with object data when generating object data that is a detection result of damage. That is, the technology described in Patent Document 1 does not mention the function of the user confirming and editing whether the generated object data accurately represents the damage of the captured image.
  • the present invention has been made in view of the above circumstances, and an object thereof is a damage data editing apparatus, a damage data editing method, and a damage data editing apparatus capable of obtaining damage data in which damage captured in a captured image is accurately represented. It is to provide a program.
  • a damage data editing apparatus includes: an image acquisition unit that acquires a photographed image obtained by photographing a building to be inspected; and an image analysis of the photographed image.
  • a damage data generation unit for generating data, a display unit, a display control unit for displaying the photographed image on the display unit and overlaying the damage data on the photographed image, and an instruction for editing the damage data displayed on the display unit
  • the editing unit that receives damage data and edits damage data based on the editing command
  • the drawing data acquisition unit that acquires drawing data of the building to be inspected, and the captured image and drawing data acquisition unit displayed on the display unit.
  • a projection data receiving unit that receives an input of a projection relationship with the acquired drawing data, and a damage data generated by the damage data generation unit based on the projection relationship received by the projection relationship reception unit. It includes a projective transformation unit for projective transformation damaged data edited by the data or editing unit, an output unit for outputting a damaged data projective transformation by the projective transformation section.
  • damage data is generated by performing image analysis on the captured image in the damage data generation unit, and the generated damage data is projective-transformed based on the projection relationship between the captured image and the drawing data. . That is, the damage data of this aspect is generated based on the detection of damage in the captured image before projective transformation, and is then projective transformed. As a result, the present aspect can generate damage data that accurately reproduces the damage captured in the captured image without being affected by image quality deterioration due to projective transformation in the captured image for which damage detection is performed.
  • the display control unit causes the display unit to display the captured image and overlays the damage data on the captured image. Therefore, the user confirms the overlay display and generates the damaged data. Can be edited. That is, the user can check whether the generated damage data accurately represents the damage appearing in the captured image. For example, when there is a difference between the damage shown in the captured image and the damage data, the user can edit the damage data with reference to the damage shown in the captured image. In this way, this aspect can generate damage data that accurately represents the damage captured in the captured image.
  • the display control unit causes the display unit to display the drawing data
  • the projection relationship receiving unit indicates a projection relationship between the photographed image displayed on the display unit and the drawing data acquired by the drawing data acquisition unit.
  • four points of the photographed image and four points of the drawing data indicate the projection relation between the photographed image displayed on the display unit and the drawing data acquired by the drawing data acquiring unit by the projection relation receiving unit. It is accepted.
  • the projection relationship is properly received, and the projection transformation of the accurate damage data is performed.
  • the projective transformation unit calculates a projective transformation matrix which matches four points of the photographed image to four points of the drawing data, and edits the damage data generated by the damage data generation unit or the editing unit according to the calculated projective transformation matrix. Projective transform the damage data.
  • the projective transformation unit calculates a projective transformation matrix that matches four points of the captured image to four points of the drawing data, and the damage data generated by the damage data generation unit or the editing unit using the computed projective transformation matrix The edited damage data is projective transformed.
  • this aspect can perform projective transformation of damage data correctly.
  • the damage data editing device is received by the mirroring relation reception unit that receives an input of a mirroring relation between the captured image displayed on the display unit and the drawing data acquired by the drawing data acquisition unit, and the mirroring relation reception unit And a mirroring unit that mirrors the damage data based on the mirroring relationship, and the output unit outputs the mirrored and projective transformed damage data.
  • the mirroring relationship reception unit receives an input of the mirroring relationship between the photographed image displayed on the display unit and the drawing data acquired by the drawing data acquisition unit, and the mirroring unit receives the mirroring relationship reception unit. Damage data is mirrored based on the received mirroring relationship. In this way, this aspect can obtain mirrored damage data, and can obtain damage data illustrating damage status as viewed from the opposite side of the building from the shooting side.
  • the damage data editing device includes a photographed image synthesis unit that synthesizes a plurality of photographed images obtained by dividing and photographing a section of a building, and the damage data generation unit is configured for each of the plurality of photographed images, Generate damage data.
  • the synthesized photographed image can be acquired and synthesized. It is possible to display a photographed image. Further, according to this aspect, damage data is generated for each of the plurality of photographed images by the damage data generation unit. That is, in the present aspect, since damage data is generated in each photographed image before being synthesized, the damage data generation unit may generate the damage data with high accuracy without being affected by the synthesis of the photographed image. it can.
  • the captured image combining unit combines a plurality of captured images captured corresponding to one section represented in the drawing data for each section.
  • the photographed image synthesis unit synthesizes a plurality of photographed images photographed corresponding to one section represented in the drawing data for each section.
  • this aspect can obtain a composite image of each section, and can display a composite image of each section.
  • the damage data editing device includes a damage data combining unit that combines damage data based on combining information of a plurality of captured images combined by the captured image combining unit.
  • the damage data combining unit combines damage data based on combining information of a plurality of captured images combined by the captured image combining unit. This allows this aspect to obtain synthesized damage data.
  • the damage data synthesis unit performs synthesis for each section.
  • the damage data combining unit performs combining for each section.
  • this embodiment can obtain damage data synthesized for each section.
  • the damage data editing device includes a damage drawing data generation unit that generates damage drawing data in which the damage data project-transformed by the projection conversion unit and drawing data corresponding to the damage data are superimposed, and the output unit is Output damage drawing data.
  • the damage drawing data creation unit creates damage drawing data in which the damage data project-transformed by the projection conversion unit and the drawing data corresponding to the damage data are superimposed, and the output unit generates the damage drawing data Is output.
  • this aspect can obtain damage drawing data having damage data representing damage of a captured image with high accuracy.
  • the structure is a bridge or a tunnel.
  • a damage data editing method includes an image acquisition step of acquiring a photographed image in which a building to be inspected is photographed, and damage data generation of generating damage data by image analysis of the photographed image.
  • the step of displaying the photographed image on the display unit, the display control step of overlaying the damage data on the photographed image, and the instruction to edit the damage data displayed on the display unit are received based on the editing instruction.
  • Data editing step drawing data acquisition step for acquiring drawing data of a building to be inspected, and input of projection relationship between the photographed image displayed on the display unit and drawing data acquired in the drawing data acquisition step
  • the damage data generation step is performed based on the projection relationship accepting step for accepting the Including a projective conversion step of projective transformation damaged data edited by damaged data or editing step generated in-flop, and outputting the damaged data projective transformation in projective transformation step.
  • a program that causes a computer to execute a damage data editing process which is another aspect of the present invention, performs damage data by performing an image acquisition step of acquiring a photographed image in which a building to be inspected is photographed and analyzing the photographed image.
  • the damage data generation step of generating the image, the display control step of causing the display unit to display the photographed image and overlaying the damage data on the photographed image, and the edit command of the damage data displayed on the display unit are received and edited.
  • Step of editing damage data based on the command drawing data acquisition step of acquiring drawing data of a building to be inspected, and a photographed image displayed on the display unit and drawing data acquired in the drawing data acquisition step
  • Projection relationship accepting step for accepting the input of the projection relationship with the A projective transformation step of projective transforming the damage data generated in the damage data generation step or the damage data edited in the editing step based on the relationship; and an output step of outputting the projective transformed damage data in the projective transformation step Including.
  • damage data is generated based on detection of damage in a captured image before projective transformation and is then projective transformed, and therefore, is affected by image quality deterioration due to projective conversion in a captured image for which damage is detected. It is possible to generate damage data that accurately reproduces the damage captured in the captured image. Further, according to the present invention, it is possible to provide the user with a function of confirming whether or not the generated damage data accurately represents the damage appearing in the photographed image, and editing the photographed image. It is possible to generate damage data that accurately represents the damage that has occurred.
  • FIG. 1 is a perspective view showing the structure of a bridge which is an example of a building.
  • FIG. 2 is a block diagram showing a configuration example of the damage data editing device.
  • FIG. 3 is a view showing an example of a damaged figure stored in the storage unit.
  • FIG. 4 is a flowchart showing an operation flow of the damage data editing device.
  • FIG. 5 is a diagram for explaining a specific example of the projection relationship accepted by the projection relationship accepting unit.
  • FIG. 6 is a block diagram showing a configuration example of the damage data editing device.
  • FIG. 7 is a diagram for explaining mirroring.
  • FIG. 8 is a diagram for explaining mirroring.
  • FIG. 9 is a view showing an example of damage drawing data.
  • FIG. 10 is a view showing an example of reverse damage drawing data.
  • FIG. 11 is a flowchart showing an operation flow of the damage data editing device.
  • FIG. 12 is a view showing an example of a CAD drawing.
  • FIG. 13 is a diagram for explaining specific examples of inputs of the projection relationship and the mirroring relationship.
  • FIG. 14 is a diagram for explaining mirroring.
  • FIG. 15 is a diagram showing damage data obtained by mirroring.
  • FIG. 16 is a diagram for explaining creation of damage drawing data.
  • FIG. 17 is a view showing a display example of the editing screen regarding the floor space.
  • FIG. 18 is a view schematically showing an example of a progress model of cracks in the floor slab.
  • FIG. 19 is a view showing a photographed image in which the case has been photographed.
  • FIG. 20 is a view conceptually showing a robot apparatus provided with an imaging device.
  • FIG. 21 is an explanatory diagram for explaining a variation of mirroring.
  • FIG. 1 is a perspective view showing a structure of a bridge which is an example of a structure to which the present invention is applied, and is a perspective view of the bridge 1 as viewed from below.
  • the bridge 1 in this figure has a main girder 2, a transverse girder 3, an anti-inclined structure 4 and a transverse structure 5.
  • a floor plate 6 which is a concrete member is provided above the main girder 2, a floor plate 6 which is a concrete member is provided.
  • the main girder 2 is a member which is passed between the bridge piers 7 (or abutments) and supports the load on the floor plate 6.
  • the lateral girder 3 is a member that connects the main girder 2 in order to support the load with the plurality of main girder 2.
  • the anti-tilt structure 4 and the siding structure 5 are members that connect the main girder 2 in order to particularly resist a lateral load.
  • the bridge pier 7 is a pillar supporting the upper structure of the main girder 2, the transverse girder 3, the anti-tilting structure 4, the transverse structure 5 and the floor plate 6 of the bridge 1, and is a member corresponding to the leg of the bridge 1.
  • the bridge 1 shown in FIG. 1 is an example of a structure introduced to be used for explaining the present invention, and a structure in the present invention is not limited to such a bridge 1. If it is an object that can be detected and inspected by the photographed image, it corresponds to the structure of the present invention.
  • the structure in the present invention may be a tunnel.
  • FIG. 2 is a block diagram showing a configuration example of the damage data editing device 20 in the first embodiment.
  • the damage data editing device 20 acquires a photographed image of a building to be inspected which is photographed by the photographing device 10.
  • the photographing device 10 is configured by a photographing device that photographs a building to be inspected.
  • Examples of the photographing device include a digital camera, a camera incorporated in a smartphone, and a camera incorporated in a tablet terminal.
  • the photographed image acquired by the photographing device 10 is input to the damage data editing device 20.
  • the damage data editing device 20 of this embodiment is provided, for example, in a computer.
  • the damage data editing device 20 mainly includes an image acquisition unit 22, a drawing data acquisition unit 24, a display unit 26, an operation unit 28, a CPU 30, and a storage unit 50.
  • the image acquisition unit 22 acquires a photographed image in which a building to be inspected is photographed. Further, the image acquisition unit 22 may acquire a plurality of photographed images obtained by dividing and photographing one section of the building.
  • one section of a structure is, for example, a section of a structure that is separated for convenience when performing inspection, and may include a case in floor slab 6 (see FIGS. 1 and 19).
  • the drawing data acquisition unit 24 acquires drawing data of a building to be inspected.
  • the drawing data acquisition unit 24 acquires a computer aided design (CAD) drawing indicating a building to be inspected.
  • the drawing data acquisition unit 24 may also acquire drawing data read by a scanner or the like.
  • the image acquisition unit 22 and the drawing data acquisition unit 24 can be configured by an input device that inputs a digital signal.
  • an input device for example, a communication device that performs wireless communication or wired communication may be used.
  • An interface device with a storage medium such as a memory card may be used as the input device.
  • the display unit 26 is configured of a display device such as a liquid crystal display device.
  • the display unit 26 is configured by a monitor of a computer.
  • the operation unit 28 receives user's operation. It can be configured by keyboard and mouse. The operation unit 28 may be configured by an operation device other than these, for example, a touch panel provided on the display unit 26.
  • the CPU 30 is a CPU (central processing unit) 30 that executes a program, and is configured by one or more CPUs.
  • the storage unit 50 stores a program and information necessary to execute the program.
  • the storage unit 50 is configured of a memory device.
  • the CPU 30 includes a damage data generation unit 32, a projection relationship reception unit 34, a projection conversion unit 36, a display control unit 38, an editing unit 40, and an output unit 44.
  • the damage data generation unit 32 generates damage data by analyzing the captured image. That is, the damage data generation unit 32 performs an image analysis on the captured image acquired by the image acquisition unit 22 to detect damage, and generates damage data representing the damage.
  • the damage shown in the photographed image includes cracking, peeling, rebar exposure, free lime, and water leakage.
  • the damage data is data representing the damage shown in the photographed image on the display unit 26.
  • the damage data may be image data obtained by tracing the damage shown in the captured image, or a damage graphic (see FIG. 3) stored in advance in the storage unit 50 for each type of damage.
  • generates damage data are used well-known techniques.
  • FIG. 3 is a view showing an example of a damaged figure stored in the storage unit 50.
  • the storage unit 50 stores damage figures corresponding to the type of damage in the storage unit 50
  • the damage data generation unit 32 stores damage figures stored according to the detected damage. It may be used as damage data.
  • FIG. 3 exemplifies damage patterns of cracking, peeling, reinforcing bar exposure, free lime, and water leakage.
  • the projection relationship receiving unit 34 receives an input of a projection relationship between the photographed image displayed on the display unit 26 and the drawing data acquired by the drawing data acquisition unit 24.
  • the projection relationship accepted by the projection relationship accepting unit 34 can be accepted in various forms.
  • the projection relationship receiving unit 34 may receive the projection relationship by receiving the designation of four points corresponding to each of the photographed image and the drawing data.
  • the projection relationship receiving unit 34 detects a portion which should be a rectangle in the photographed image by a known image recognition technology, and designates a portion of the drawing data corresponding to the portion which should be a detected rectangle. May be accepted.
  • the projective transformation unit 36 projectively transforms the damage data detected by the damage data generation unit 32 or the damage data edited by the editing unit 40 based on the projection relationship received by the projection relationship reception unit 34.
  • the projective transformation unit 36 projectively transforms the damage data or the damage data edited by the editing unit 40 by a known technique. For example, the projective transformation unit 36 calculates a projective transformation matrix that matches four points of the captured image to four points of the drawing data, and the damage data generated by the damage data generation unit 32 or the editing unit 40 edits the projective transformation matrix. Projective transformation of the damaged data.
  • the display control unit 38 causes the display unit 26 to display the captured image, and overlays the damage data on the captured image. That is, the display control unit 38 causes the display unit 26 to display the captured image, and superimposes and displays the damage data so as to correspond to the damage in the captured image.
  • the display control unit 38 has a function of causing the display unit 26 to appropriately display the photographed image, the damage data, the drawing data, and the damage drawing data.
  • the editing unit 40 receives the editing command of the damage data displayed on the display unit 26, and edits the damage data based on the editing command. For example, when the user compares the photographed image displayed on the display unit 26 with the damage data automatically generated by the damage data generation unit 32 and the damage data can not accurately express the damage of the photographed image, Edit (process) damage data. In this case, the user uses a mouse (operation unit 28) attached to the computer to input a command related to editing of damage data. Then, the editing unit 40 edits the damage data based on the editing instruction. The editing unit 40 also receives various editing operations such as addition, deletion, and correction.
  • the output unit 44 outputs the damage data projectively transformed by the projective transformation unit 36.
  • the output form of the output unit 44 is not particularly limited as long as damage data or drawing data (FIGS. 9 and 10) can be effectively used.
  • the output unit 44 may output in the file format of DXF (Drawing Exchange Format), or may output in another image data format.
  • FIG. 4 is a flowchart showing an operation flow of the damage data editing device 20 according to the first embodiment.
  • the image acquiring unit 22 acquires a photographed image photographed by the photographing device 10 (step S10: image acquiring step). Then, the damage data generation unit 32 performs image analysis on the acquired captured image, detects the damage shown in the captured image, and generates damage data based on the detection result (step S11: generation of damage data) Step). Thereafter, the display control unit 38 overlay-displays the photographed image and the detected damage data on the display unit 26 (step S12: display control step).
  • the user inputs a command to edit the damage data displayed on the display unit 26 with a mouse connected to the personal computer while confirming the photographed image and the damage data displayed on the display unit 26, and the editing unit 40
  • the damage data is edited based on the input command (step S13: editing step).
  • the drawing data acquisition unit 24 acquires drawing data (step S14: drawing data acquisition step). Note that acquisition of drawing data may be performed in advance. For example, the drawing data acquisition unit 24 may acquire drawing data of the structure to be inspected before the inspection work, and the acquired drawing data may be stored in the storage unit 50.
  • the projection relation receiving unit 34 receives an input of a projection relation (step S15: projection relation receiving step).
  • FIG. 5 is a view for explaining a specific example of the projection relationship accepted by the projection relationship accepting unit 34. As shown in FIG. 5
  • the display control unit 38 displays the photographed image 100 of the bridge pier 7 to be inspected on the display unit 26 and also displays a CAD drawing 70 (drawing data) of the building. Specifically, the photographed image 100 and the CAD drawing 70 are displayed on the monitor of the computer.
  • the damage data DD1 and DD2 generated by the damage data generation unit 32 are overlay-displayed so as to correspond to the damage in the photographed image.
  • the user inputs points corresponding to four rectangular points by using a computer pointing device in the photographed image 100 displayed on the display unit 26 and the CAD drawing 70 of the bridge pier 7. That is, four points of A1, B1, C1 and D1 of the photographed image 100 are designated and inputted, and corresponding four points of A2, B2, C2 and D2 are designated and inputted in the CAD drawing 70. Then, the projection relationship receiving unit 34 receives four points (A1, B1, C1, and D1 of the captured image 100 and A2, B2, C2, and D2) input from the user as a projection relationship.
  • the projection conversion unit 36 performs projection conversion on the damage data DD1 and DD2 of the captured image 100 based on the projection relationship received by the projection relationship receiving unit 34 (step S16: projection conversion step). Specifically, the projective transformation unit 36 calculates a projective transformation matrix that matches the four points A1, B1, C1, and D1 of the captured image 100 to the four points A2, B2, C2, and D2 of the drawing data, The damage data detected by the damage data generation unit 32 or the damage data edited by the editing unit 40 is projectively converted by the calculated projective transformation matrix.
  • step S17 output step
  • the hardware-like structure of a processing unit (processing unit) that executes various processes is various processors as described below.
  • the various processors include a CPU that is a general-purpose processor that executes software (programs) to function as various processing units, and a programmable processor that can change the circuit configuration after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • the processor includes a dedicated electric circuit which is a processor having a circuit configuration specially designed to execute specific processing such as a logic device (programmable logic device: PLD) or an ASIC (application specific integrated circuit).
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be In addition, a plurality of processing units may be configured by one processor. As an example in which a plurality of processing units are configured by one processor, first, one processor is configured by a combination of one or more CPUs and software as represented by computers such as clients and servers. There is a form in which a processor functions as a plurality of processing units.
  • SoC system on chip
  • IC integrated circuit
  • circuitry circuitry
  • FIG. 6 is a block diagram showing a configuration example of the damage data editing device 20 in the second embodiment.
  • the damage data editing device 20 mainly includes an image acquisition unit 22, a drawing data acquisition unit 24, a display unit 26, an operation unit 28, a CPU 30, and a storage unit 50.
  • the CPU 30 includes a damage data generation unit 32, a photographed image synthesis unit 46, a damage data synthesis unit 48, a mirroring relationship reception unit 52, a projection relationship reception unit 34, a projection conversion unit 36, a mirroring unit 54, a display control unit 38, and an editing unit 40. , A damage drawing data creation unit 42, and an output unit 44.
  • the captured image combining unit 46 combines a plurality of captured images obtained by dividing and capturing one section of a building. That is, when a plurality of photographed images are input by the image acquisition unit 22, the photographed image synthesis unit 46 synthesizes the plurality of input photographed images.
  • the image synthesis of the photographed image synthesis unit 46 is performed using a known technique, and for example, the photographed images are synthesized by detecting the feature points of the respective photographed images.
  • the captured image combining unit 46 may combine a plurality of captured images captured corresponding to one section represented in the drawing data for each section. For example, when a plurality of photographed images for which a space has been adopted as one section is input, the photographed image combining unit 46 may combine the photographed images for each space.
  • the damage data generation unit 32 detects damage and generates damage data for each of the plurality of photographed images even when the plurality of photographed images are acquired by the image acquiring unit 22. That is, even when the image acquisition unit 22 acquires a plurality of images, the damage data generation unit 32 performs image processing on each captured image acquired before being synthesized to generate damage data. Do. As a result, it is possible to suppress a decrease in damage detection accuracy due to the influence of image synthesis.
  • the damage data combining unit 48 combines the damage data based on combining information of the plurality of captured images combined by the captured image combining unit 46. That is, the damage data combining unit 48 is generated in each captured image based on combining information (e.g., overlapping of each captured image at the time of combining, coordinates of feature points, etc.) when combining in the captured image combining unit 46. Combine the damage data. In addition, the damage data combining unit 48 may combine a plurality of captured images for each section. For example, if the case is adopted as one section, the damage data combining unit 48 combines the damage data for each case.
  • the mirroring relation reception unit 52 receives an input of a mirroring relation between the photographed image displayed on the display unit 26 and the drawing data acquired by the drawing data acquisition unit 24.
  • the input of the mirroring relationship is performed, for example, by the user designating each corresponding four points of the photographed image displayed on the display unit 26 and the drawing data by the pointing device.
  • the mirroring unit 54 mirrors the damage data based on the mirroring relationship received by the mirroring relationship receiving unit 52.
  • Mirroring is also referred to as mirror inversion.
  • the direction of the axis serving as the center of mirroring (hereinafter referred to as "mirroring axis") is not limited to the vertical direction of the image. That is, mirroring is not limited to so-called left-right inversion. Mirroring includes inversion (for example, upside down) other than left-right inversion.
  • the mirroring in the present invention can be said to be image processing that inverts damaged data centering on the mirroring axis.
  • the direction of the mirroring axis can be determined by image analysis of the input captured image by the mirroring unit 54. In the mirroring of the present invention, there are an aspect in which the direction of the mirroring axis is fixed and an aspect in which the direction of the mirroring axis is variable. In the present specification, the latter aspect of variable direction will be described in detail later.
  • FIG. 7 if the letter “F” drawn on the upper surface of the floor slab 6 is seen through from below the floor slab 6, the “F” is actually viewed as a vertically inverted shape. This is because "F” has a non-linearly symmetrical shape. Similarly, since a general damage (for example, a crack) has a non-linear symmetric shape, the shape of the damage in the image obtained by photographing the floor slab 6 from the lower side of the bridge 1 and the upper side of the bridge 1 It can be understood from the above that the shape of the damage when viewed through the floor slab 6 is in a mirroring relationship with each other. Therefore, as shown in FIG.
  • the captured image IMG1 obtained by capturing from the lower side of the bridge 1 is converted to a mirror image IMG2 corresponding to an image viewed from the upper side of the bridge 1 by mirroring.
  • the shape of the damage is the shape (F in FIG. 8) seen from the upper side of the bridge 1 from the shape as viewed from the lower side of the bridge 1 (in FIG. Converted to). It can be seen that the position of the damage in the image can also be converted from the position as viewed from the photographing side to the position as viewed from the opposite side to the photographing side by mirroring.
  • the direction of the coordinate axis Gx of the entire coordinate system with reference to the bridge 1 matches the horizontal direction (x direction) of the captured image IMG1.
  • the photographed image IMG1 is horizontally reversed as mirroring.
  • the damage drawing data creation unit 42 creates damage drawing data (damage drawing) in which the damage data project-transformed by the projective transformation unit 36 and drawing data corresponding to the damage data are superimposed.
  • the damaged drawing data creation unit 42 can add various types of information input by the operation unit 28 to the damaged drawing data.
  • the damage drawing data creation unit 42 adds the input inspection result information to the damage drawing data. For example, when the type of damage and the evaluation category of damage (also referred to as “rank information”) are input through the operation unit 28, the damage drawing data creation unit 42 adds the damage drawing data.
  • the “input” of the inspection result information may be “selection input” which is an input of a format to be selected from predetermined candidates.
  • the damage drawing data creation unit 42 has a feature amount measurement function of measuring a feature amount of damage based on the damage data or the photographed image.
  • the damage drawing data creation unit 42 adds information indicating the measured feature amount to the damage drawing data. For example, the width, length, and distance of the crack image in the damage data of the floor slab 6 of the bridge 1 are detected as the dimensions of the local coordinate system, and the dimensions of the local coordinate system are converted to the dimensions of the entire coordinate system.
  • the display control unit 38 causes the display unit 26 to display the measured feature amount of the damage and the mirror image.
  • the output unit 44 outputs the mirrored and projective transformed damage data. Further, when the damaged drawing data generation unit 42 generates the damaged drawing data, the output unit 44 outputs the damaged drawing data.
  • the damage drawing data output from the output unit 44 when the damage drawing data generation unit 42 generates damage drawing data will be described below.
  • the damage drawing data is data representing a damage drawing.
  • FIG. 9 is a view showing an example of damage drawing data.
  • the damage drawing data includes damage data indicating damage such as cracks, water leakage, free lime, etc., for each damage generated in the floor slab 6 of the bridge 1 to be inspected, and the name of the member (in this example, “floor Version), element number (Ds0101 to Ds0104, Ds0201 to Ds0204), type of damage (“crack”, “water leak”, “free lime”, etc.), evaluation category of damage (also referred to as “rank information”) And the characteristic quantities of damage (for example, width of crack, interval) are described.
  • evaluation categories are indicated as damage levels in five stages by alphabets “a” to “e”.
  • FIG. 10 is a view showing an example of inverted damage drawing data obtained by inverting the damage drawing data shown in FIG.
  • the reverse damage drawing data shown in FIG. 10 is composed of the damage data mirrored by the mirroring unit 54.
  • the drawing data is also mirrored by the mirroring unit 54.
  • non-text components such as CAD drawings and damage data are mirrored by the mirroring unit 54. Further, the position in the drawing is changed by the damage drawing data creation unit 42 without mirroring the text component such as the member name, element number, type of damage, rank information, and feature amount of damage.
  • FIG. 11 is a flow chart showing an operation flow of the damage data editing device 20 of the second embodiment.
  • the image acquisition unit 22 acquires a plurality of photographed images photographed by the photographing device 10 (step S20). Thereafter, the damage data generation unit 32 performs image processing on each captured image to detect the damage shown in the captured image, and generates damage data based on the detection (step S21).
  • the damage data combining unit 48 combines damage data based on the result of combining the captured image by the captured image combining unit 46 (step S23).
  • the display control unit 38 overlays and displays the photographed image and the detected damage data on the display unit 26 (step S24).
  • the user while confirming the photographed image and the damage data displayed on the display unit 26, inputs an instruction to edit the damage data displayed on the display unit 26 by using, for example, a mouse connected to the personal computer, and the editing unit 40 Edits the damage data based on the input editing command (step S25).
  • the drawing data acquisition unit 24 acquires drawing data (step S26).
  • a CAD drawing indicating the bridge 1 is input by the drawing data acquisition unit 24 as drawing data.
  • FIG. 12 is a view showing an example of a CAD drawing.
  • “DsXXXX” (Ds0101 to Ds0105 and Ds0201 to DS0205) in the figure is an element number for identifying the case which is an element of the floor slab 6 of the bridge 1.
  • “Ds” is a symbol representing “floor version”
  • XXXX is a grid-like array position between cases which is a range surrounded by the main girder 2 and the transverse girder 3 of the floor slab 6 Is a number indicating.
  • the floor slab 6 of this example is constituted by a plurality of cases in a lattice array, and element numbers are given to each case.
  • the CAD drawing 80 of this example includes rectangular frame information of the case.
  • the element number DsXXXX in the figure may omit the display on the display unit 26.
  • the projection relationship receiving unit 34 receives the input of the projection relationship
  • the mirroring relationship receiving unit 52 receives the input of the mirroring relationship (step S27).
  • FIG. 13 is a diagram for explaining a specific example of the input of the projection relationship and the mirroring relationship received by the projection relationship receiving unit 34 and the mirroring relationship receiving unit 52. In the case shown in FIG. 13, the projection relationship and the mirroring relationship are simultaneously input.
  • the display control unit 38 displays the photographed image 102 of the bridge pier 7 to be inspected on the display unit 26 and also displays a CAD drawing 80 of the building.
  • the photographed image 102 the case of the floor slab 6 is photographed, and the floor slab 6 is damaged (cracked).
  • the damage data generation unit 32 analyzes the image of the captured image 102 to detect cracks and display the generated damage data DD3 in a superimposed manner. That is, the damage data DD3 is overlay-displayed on the damage of the captured image 102.
  • the user inputs points corresponding to four rectangular points by using a computer pointing device. That is, four points of A1, B1, C1 and D1 of the photographed image 100 are designated and inputted, and corresponding four points of A2, B2, C2 and D2 are designated and inputted in the CAD drawing.
  • This input is a mirroring relationship input simultaneously with the projection relationship input.
  • the projection conversion unit 36 performs projection conversion and mirroring on the damage data DD3 of the photographed image 100 based on the projection relationship received by the projection relationship receiving unit 34 (step S28). For example, when damage data DD3 is projective transformed, it becomes like damage data DD4.
  • FIG. 14 is a diagram for explaining mirroring of each damaged data performed by the mirroring unit 54.
  • FIG. 14 shows inter-case damage data DD5 before being mirrored.
  • the damage data DD5 is an image showing the damage state as viewed from the lower side of the bridge 1, and is an image showing the damage state between one of the floor slabs 6.
  • FIG. 15 is a diagram showing damage data DD6 obtained by mirroring the damage data DD5 of FIG.
  • the damage data DD6 is inverted by mirroring the damage data DD5. Is acquired. That is, the direction of the mirroring axis MAx in this example is the left-right direction (x direction) of the damage data DD5.
  • damage drawing data composed of the damage data project-transformed by the output unit 44 is output (step S29).
  • FIG. 16 is a diagram for describing creation of damage drawing data performed by the damage drawing data creation unit 42.
  • the damage drawing data in which the damage data DD6 generated by the damage drawing data creation unit 42 is superimposed on the CAD drawing 80 and displayed is displayed on the display unit 26.
  • FIG. 16 shows an example in which the damage data DD6 shown in FIG. 15 is superimposed and displayed on the CAD drawing 80 shown in FIG.
  • the alignment between the CAD drawing 80 and the damage data DD6 is performed by a known technique. For example, based on the coordinate data which CAD drawing 80 has, and the coordinate data which damage data DD6 has, alignment with CAD drawing 80 and damage data DD6 is performed.
  • the damage drawing data creation unit 42 measures the feature amount of damage based on the damage data DD6. For example, the width and interval of the crack are measured as feature quantities.
  • FIG. 17 is a view showing a display example of the editing screen regarding the case where the element number Ds 0202 of the floor slab 6 is given.
  • the damage list 82 is displayed on the display unit 26 at the same time as the CAD drawing 80 and the damage data DD6 are displayed.
  • “crack” that is the “type” is a damage list by the damage drawing data creation unit 42 It will be filled in automatically.
  • the damage drawing data generation unit 42 since the width and interval of “crack” are measured by the damage drawing data generation unit 42 as the feature value of “crack” in the case of the element number Ds 0202, “the damage drawing data generation unit 42“ It will be automatically entered in the "dimension” field. Items that are not automatically filled in by the damaged drawing data creation unit 42 can be input by the user through the operation unit 28. For example, when water leakage and free lime can be visually recognized in the damage data DD6, the user can input the type “water leakage + free lime” through the operation unit.
  • the type and size of the crack can be input by the user via the operation unit 28.
  • a scale image for measuring the size of the crack can be displayed on the display unit 26, and the size of the undetected crack can be measured using the scale image. It is.
  • tracing operation can be performed by the operation unit 28 on the damage image in the damage data DD6.
  • the operation unit 28 is configured by a touch panel
  • the trace trace is added to the damage drawing data as the damage data.
  • the shape and position of the crack image in the damage data DD6 in the CAD drawing 80 correspond to the actual shape and position of the crack when the bridge 1 is viewed from the upper side (the opposite side to the imaging side). It can be input easily and accurately.
  • the “division” of the damage list 82 is a field for inputting an evaluation grade (also referred to as “rank information”) of the degree of damage.
  • FIG. 18 is a view schematically showing an example of a progress model of cracks in the floor slab 6.
  • the evaluation category RANK is expressed in five stages of "a" to "e”.
  • the correspondence between each evaluation category RANK and the crack state STATE is as follows.
  • a plurality of cracks are generated in parallel along the lateral direction (the short direction orthogonal to the passing direction of the vehicle). It is a stage where a plurality of cracks due to drying shrinkage become parallel beam-like.
  • C Cracks in the longitudinal direction (longitudinal direction parallel to the passing direction of the vehicle) and lateral cracks intersect each other.
  • a live load causes a plurality of cracks to form a lattice, and the crack density of the lattice-like region increases.
  • cracks penetrate in the vertical direction of the floor slab 6 (vertical direction perpendicular to the bottom of the floor slab).
  • the damage drawing data creation unit 42 edits the entire damage drawing data. Further, for example, the damage drawing data creation unit 42 may input the judgment classification of soundness regarding the whole floor slab 6 to the damage drawing data via the operation unit 28.
  • the output unit 44 outputs the damaged drawing data that has been edited by the damaged drawing data creation unit 42.
  • the damaged drawing data can be displayed on the display unit 26 by the display control unit 38, and can be printed out on a printer (not shown) via a network.
  • a printer not shown
  • damaged drawing data shown in FIG. 9 is printed out by the printer.
  • damaged drawing data can be uploaded to a database (not shown) via a network.
  • the mirroring unit 54 has a function of determining the direction of the mirroring axis based on various types of information.
  • the mirroring unit 54 performs mirroring around the mirroring axis in the determined direction.
  • FIG. 19 is a view showing a photographed image of which case has been photographed.
  • the photographed image IMG21 between the floor plates 6 shown in FIG. 19 is acquired.
  • the captured image IMG21 includes an image EG of the edge of the case (hereinafter referred to as "the edge image").
  • the shape of the edge of the case is a rectangle, and the two orthogonal sides forming the rectangle generally have different lengths. That is, the rectangle of the edge has long sides and short sides orthogonal to each other.
  • two rectangular sides of the edge orthogonal to each other are in the same direction as two coordinate axes Gx and Gy in the entire coordinate system based on the bridge 1.
  • the mirroring unit 54 detects an edge image from the captured image IMG21, and projectively transforms the edge image into a rectangle as necessary, and then one of the long side and the short side orthogonal to each other of the rectangle
  • the direction of the mirroring axis can be determined based on the direction of.
  • the shooting target (to be checked) of the present invention is not limited to the case of the floor plate 6, and the direction of the mirroring axis may be determined based on the geometric features of other shooting targets. Yes.
  • the coordinate axes of the entire coordinate system (which is the "first coordinate system") based on the building and the local coordinate system (the “second coordinate system”) based on the photographing device 10 that has captured the image
  • the direction of the mirroring axis is determined based on the angle formed by the coordinate axes of
  • an image obtained by photographing by the photographing device 10 mounted on the robot device 90 is input by the image acquisition unit 22, and photographing device control information according to the photographing device control of the robot device 90 Is input by the image acquisition unit 22.
  • photographing device control information as shown in FIG. 21, coordinate axes Gx, Gy, Gz of the entire coordinate system based on the bridge 1 and coordinate axes Lx, Ly, Lz of the local coordinate system based on the imaging device 10 It includes angle information indicating an angle formed by.
  • one coordinate axis Lz of the three coordinate axes Lx, Ly, Lz orthogonal to one another is the imaging direction (also referred to as the optical axis direction) of the imaging device 10 and the floor slab 6 of the bridge 1 It is orthogonal to (the surface to be photographed). That is, in the present example, the direction of one coordinate axis Gz of the entire coordinate system coincides with the direction of one coordinate axis Lz of the local coordinate system.
  • the robot apparatus 90 of this example is a suspension type robot suspended from the bridge 1, and FIG. 20 shows only the main part regarding the imaging.
  • the suspension type robot may be a type of robot that suspends to a traveling object (vehicle) on the bridge instead of suspending to the bridge 1.
  • the present invention is also applicable to the case of using an unmanned flight type robot such as a drone (unmanned air vehicle) instead of the suspension type robot.
  • the robot apparatus 90 includes an imaging device control mechanism 92 that controls movement and rotation of the imaging device 10.
  • the photographing device control mechanism 92 rotates the photographing device 10 in the pan direction P and the tilt direction T, and the XYZ movement mechanism capable of moving the photographing device 10 in the Gx direction, the Gy direction and the Gz direction orthogonal to each other. It also doubles as a possible pan-tilt mechanism.
  • the mirroring unit 54 can determine the direction of the mirroring axis based on angle information indicating an angle formed by the coordinate axis Gx (or Gy) of the entire coordinate system and the coordinate axis Lx (or Ly) of the local coordinate system. .
  • the mirroring unit 54 has coordinate axes of the entire coordinate system. Based on the azimuthal angle of the imaging device 10 with respect to Gx or Gy, it is possible to determine the direction of the mirroring axis.
  • the damage data editing device 20 may be configured by at least one of the client device and the server device.
  • the damage data editing device 20 of the present invention may be configured by one or more computer devices of a client server type system.
  • the present invention is not limited to an above-mentioned embodiment and modification, and various modification is possible in the range which does not deviate from the main point of the present invention.

Landscapes

  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Bridges Or Land Bridges (AREA)

Abstract

本発明は、撮影画像に写された損傷が精度良く表現された損傷データを得ることができる損傷データ編集装置、損傷データ編集方法、およびプログラムを提供することを目的とする。損傷データ編集装置（２０）は、画像取得部（２２）と、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成部（３２）と、表示部（２６）と、表示部（２６）に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御部（３８）と、表示部（２６）に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集部（４０）と、図面データ取得部（２４）と、射影関係受付部（３４）と、出力部（４４）と、を備える。

Description

損傷データ編集装置、損傷データ編集方法、およびプログラム
　本発明は、損傷データ編集装置、損傷データ編集方法、およびプログラムに関し、特に点検対象である建造物の撮影画像から生成される損傷データを編集する技術に関する。
　橋梁、トンネル等の建造物は、継時的に損傷の発生する可能性が高くなる。したがって、定期的に損傷の発生および損傷の進行状況の点検を行うことが求められている。
　建造物を点検する調査員は、点検の結果を示す帳票として所定形式の点検調書を作成する必要がある。その点検調書の一つとして建造物の損傷状態を図示する損傷図がある。実際に点検した調査員とは異なる専門家であっても、所定形式で作成された損傷図を見ることにより、建造物の損傷の発生および進行状況を把握し、その建造物の維持管理計画を策定することが可能になる。
　また近年において建造物の点検は、撮影画像を利用して行われる場合がある。すなわち、調査員は、点検対象である建造物の撮影画像を取得し、その撮影画像から損傷（例えばひび割れ）を検出することにより、建造物の損傷の点検を行う。
　特許文献１には、建造物の撮影画像を利用して検査図面（損傷図に相当）の作成を行う技術が記載されている。具体的には、点検対象の建造物の撮影画像における損傷の特徴から線や面や文字の損傷オブジェクトを作成し、スキャナで読み込んだ製図面データ上に配置する技術が記載されている。
特開２００４－３１８７９０号公報
　ここで、撮影画像から画像処理により損傷を検出する場合には、撮影画像に射影変換等の加工を加える前に損傷の検出処理を行うと、より精度の高い損傷の検出を行うことができる。すなわち、撮影画像に射影変換等の加工が加えられると、加工の影響により撮影画像のデータに影響が及ぼされて、精度の良い損傷の検出が行えない場合が発生する。
　しかしながら、特許文献１に記載された技術では、射影変換前の撮影画像に基づいて損傷オブジェクトが生成されることに関しては言及されていない。
　また、撮影画像から画像処理により損傷を検出する場合には、必ずしも精度良く損傷が検出されるとは限らず、画像処理により損傷を検出したのちにユーザが確認し、必要に応じて損傷の検出結果を編集（修正および加工）することが必要になる場合がある。
　しかしながら、特許文献１に記載された技術では、損傷の検出結果であるオブジェクトデータの生成の際に、撮影画像の損傷とオブジェクトデータとを合わせるような編集機能に関して言及されていない。すなわち、特許文献１に記載された技術では、生成されたオブジェクトデータが精度良く撮影画像の損傷を表現しているかユーザが確認し編集する機能に関しては言及されていない。
　本発明はこのような事情に鑑みてなされたもので、その目的は、撮影画像に写された損傷が精度良く表現された損傷データを得ることができる損傷データ編集装置、損傷データ編集方法、およびプログラムを提供することである。
　上記目的を達成するための本発明の一の態様である損傷データ編集装置は、点検対象の建造物が撮影された撮影画像を取得する画像取得部と、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成部と、表示部と、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御部と、表示部に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集部と、点検対象の建造物の図面データを取得する図面データ取得部と、表示部に表示された撮影画像と図面データ取得部で取得された図面データとの射影関係の入力を受け付ける射影関係受付部と、射影関係受付部で受け付けられた射影関係に基づいて、損傷データ生成部で生成した損傷データまたは編集部で編集された損傷データを射影変換する射影変換部と、射影変換部で射影変換された損傷データを出力する出力部と、を備える。
　本態様によれば、損傷データ生成部で撮影画像を画像解析されることにより損傷データが生成され、そして生成された損傷データは、撮影画像と図面データとの射影関係に基づいて射影変換される。すなわち、本態様の損傷データは、射影変換前の撮影画像における損傷の検出に基づいて生成され、その後射影変換される。これにより本態様は、損傷の検出を行う撮影画像において射影変換による画質劣化の影響を受けることがなく、撮影画像に写された損傷を精度良く再現した損傷データを生成することができる。
　また本態様によれば、表示制御部により、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示されるので、ユーザは、そのオーバレイ表示を確認して、生成された損傷データを編集することができる。すなわちユーザは、生成された損傷データが、撮影画像に写っている損傷を精度良く表現しているか否かを確認することができる。例えばユーザは、撮影画像に写っている損傷と損傷データとの間に差異がある場合には、撮影画像に写っている損傷を参照して損傷データを編集することができる。これにより、本態様は、撮影画像に写された損傷を精度良く表現した損傷データを生成することができる。
　好ましくは、表示制御部は、表示部に図面データを表示させ、射影関係受付部は、表示部に表示された撮影画像と図面データ取得部で取得された図面データとの射影関係を示す、撮影画像の４点および図面データの４点を受け付ける。
　本態様によれば、射影関係受付部により、表示部に表示された撮影画像と図面データ取得部で取得された図面データとの射影関係を示す、撮影画像の４点および図面データの４点が受け付けられる。これにより本態様は、適切に射影関係が受け付けられて、正確な損傷データの射影変換が行われる。
　好ましくは、射影変換部は、撮影画像の４点を図面データの４点に合わせる射影変換行列を算出し、算出した射影変換行列により損傷データ生成部で生成した損傷データまたは編集部で編集された損傷データを射影変換する。
　本態様によれば、射影変換部により、撮影画像の４点を図面データの４点に合わせる射影変換行列が算出され、算出した射影変換行列により損傷データ生成部で生成した損傷データまたは編集部で編集された損傷データが射影変換される。これにより、本態様は、正確に損傷データの射影変換を行うことができる。
　好ましくは、損傷データ編集装置は、表示部に表示された撮影画像と図面データ取得部で取得された図面データとのミラーリング関係の入力を受け付けるミラーリング関係受付部と、ミラーリング関係受付部で受け付けられたミラーリング関係に基づいて、損傷データをミラーリングするミラーリング部と、を備え、出力部は、ミラーリングおよび射影変換された損傷データを出力する。
　本態様によれば、ミラーリング関係受付部により、表示部に表示された撮影画像と図面データ取得部で取得された図面データとのミラーリング関係の入力が受け付けられ、ミラーリング部により、ミラーリング関係受付部で受け付けられたミラーリング関係に基づいて、損傷データがミラーリングされる。これにより本態様は、ミラーリングされた損傷データを得ることができ、建造物の撮影側とは反対側から見た損傷状態を図示する損傷データを得ることができる。
　好ましくは、損傷データ編集装置は、建造物の一区画を分割撮影することにより得られる複数の撮影画像を合成する撮影画像合成部を備え、損傷データ生成部は、複数の撮影画像の各々について、損傷データを生成する。
　本態様によれば、撮影画像合成部により、建造物の一区画を分割撮影することにより得られる複数の撮影画像が合成されるので、合成された撮影画像を取得することができ、合成された撮影画像の表示を行うことができる。また、本態様によれば、損傷データ生成部により複数の撮影画像の各々について、損傷データが生成される。すなわち、本態様では、合成される前の各撮影画像において損傷データが生成されるので、損傷データ生成部は、撮影画像の合成の影響を受けずに、精度良く損傷データの生成を行うことができる。
　好ましくは、撮影画像合成部は、図面データに表される一区画に対応して撮影された複数の撮影画像を、一区画毎に合成を行う。
　本態様によれば、撮影画像合成部により、図面データに表される一区画に対応して撮影された複数の撮影画像を、一区画毎に合成が行われる。これにより本態様は、一区画毎の合成画像を得ることができ、一区画毎の合成画像を表示することができる。
　好ましくは、損傷データ編集装置は、撮影画像合成部で合成された複数の撮影画像の合成情報に基づいて、損傷データを合成する損傷データ合成部を備える。
　本態様によれば、損傷データ合成部により、撮影画像合成部で合成された複数の撮影画像の合成情報に基づいて、損傷データを合成する。これにより本態様は、合成された損傷データを得ることができる。
　好ましくは、損傷データ合成部は、一区画毎に合成を行う。
　本態様によれば、損傷データ合成部により、一区画毎に合成が行われる。これにより、本態様は一区画毎に合成された損傷データを得ることができる。
　好ましくは、損傷データ編集装置は、射影変換部で射影変換された損傷データと損傷データに対応する図面データとが重畳された損傷図面データを作成する損傷図面データ作成部を備え、出力部は、損傷図面データを出力する。
　本態様によれば、損傷図面データ作成部により、射影変換部で射影変換された損傷データと損傷データに対応する図面データとが重畳された損傷図面データが作成され、出力部により、損傷図面データが出力される。これにより本態様は、精度良く撮影画像の損傷を表現した損傷データを有する損傷図面データを得ることができる。
　好ましくは、建造物は、橋梁またはトンネルである。
　本発明の他の態様である損傷データ編集方法は、点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御ステップと、表示部に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集ステップと、点検対象の建造物の図面データを取得する図面データ取得ステップと、表示部に表示された撮影画像と図面データ取得ステップで取得された図面データとの射影関係の入力を受け付ける射影関係受付ステップと、射影関係受付ステップで受け付けられた射影関係に基づいて、損傷データ生成ステップで生成した損傷データまたは編集ステップで編集された損傷データを射影変換する射影変換ステップと、射影変換ステップで射影変換された損傷データを出力する出力ステップと、を含む。
　本発明の他の態様である損傷データ編集工程をコンピュータに実行させるプログラムは、点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御ステップと、表示部に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集ステップと、点検対象の建造物の図面データを取得する図面データ取得ステップと、表示部に表示された撮影画像と図面データ取得ステップで取得された図面データとの射影関係の入力を受け付ける射影関係受付ステップと、射影関係受付ステップで受け付けられた射影関係に基づいて、損傷データ生成ステップで生成した損傷データまたは編集ステップで編集された損傷データを射影変換する射影変換ステップと、射影変換ステップで射影変換された損傷データを出力する出力ステップと、を含む。
　本発明によれば、損傷データが、射影変換前の撮影画像における損傷の検出に基づいて生成され、その後射影変換されるので、損傷の検出を行う撮影画像において射影変換による画質劣化の影響を受けることがなく、撮影画像に写された損傷を精度良く再現した損傷データを生成することができる。また本発明によれば、ユーザに、生成された損傷データが、撮影画像に写っている損傷を精度良く表現しているか否かを確認し編集する機能を提供することができ、撮影画像に写された損傷を精度良く表現した損傷データを生成することができる。
図１は建造物の一例である橋梁の構造を示す斜視図である。 図２は損傷データ編集装置の構成例を示すブロック図である。 図３は記憶部に記憶される損傷図形の例を示す図である。 図４は損傷データ編集装置の動作フローを示すフローチャートである。 図５は射影関係受付部で受け付けられる射影関係の具体例を説明する図である。 図６は損傷データ編集装置の構成例を示すブロック図である。 図７はミラーリングに関して説明する図である。 図８はミラーリングに関して説明する図である。 図９は損傷図面データの例を示す図である。 図１０は反転損傷図面データの例を示す図である。 図１１は損傷データ編集装置の動作フローを示すフローチャートである。 図１２はＣＡＤ図面の一例を示す図である。 図１３は射影関係およびミラーリング関係の入力の具体例を説明する図である。 図１４はミラーリングに関して説明する図である。 図１５はミラーリングして得られた損傷データを示す図である。 図１６は損傷図面データの作成に関して説明する図である。 図１７は床版の格間に関する編集画面の表示例を示す図である。 図１８は床版におけるひび割れの進行モデルの一例を模式的に示す図である。 図１９は格間が撮影された撮影画像を示す図である。 図２０は撮影装置を備えるロボット装置を概念的に示す図である。 図２１はミラーリングのバリエーションの説明のための説明図である。
　以下、添付図面にしたがって本発明にかかる損傷データ編集装置、損傷データ編集方法およびプログラムの好ましい実施の形態について説明する。
　図１は、本発明が適用される建造物の一例である橋梁の構造を示す斜視図であって、橋梁１を下側から見た場合の斜視図である。本図の橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有する。主桁２の上部には、コンクリート製の部材である床版６が設けられている。主桁２は、橋脚７（または橋台）の間に渡され、床版６上の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支えるため、主桁２を連結する部材である。対傾構４および横構５は、特に横荷重に抵抗するため、主桁２を連結する部材である。橋脚７は、橋梁１の主桁２、横桁３、対傾構４、横構５、および床版６の上部構造を支える柱であり、橋梁１の脚に相当する部材である。
　なお、図１に示した橋梁１は本発明の説明に用いるために紹介した建造物の一例であり、本発明における建造物は、このような橋梁１に限定されない。撮影画像により損傷の検出が行えて、点検が行える対象であれば、本発明の建造物に該当する。例えば本発明における建造物は、トンネルでもよい。
　＜第１の実施形態＞
　図２は、第１の実施形態における損傷データ編集装置２０の構成例を示すブロック図である。損傷データ編集装置２０は、撮影装置１０で撮影された点検対象の建造物の撮影画像を取得する。
　撮影装置１０は、点検対象の建造物を撮影する撮影デバイスによって構成される。撮影デバイスの例として、デジタルカメラ、スマートフォンに内蔵されたカメラ、タブレット端末に内蔵されたカメラが挙げられる。撮影装置１０で取得された撮影画像は、損傷データ編集装置２０に入力される。
　本形態の損傷データ編集装置２０は、例えばコンピュータに設けられる。損傷データ編集装置２０は、主に、画像取得部２２、図面データ取得部２４、表示部２６、操作部２８、ＣＰＵ３０、および記憶部５０を備える。
　画像取得部２２は、点検対象の建造物が撮影された撮影画像を取得する。また画像取得部２２は、建造物の一区画を分割撮影することにより得られる複数の撮影画像を取得してもよい。ここで建造物の一区画とは例えば、点検を行う際に便宜上区切りを付ける建造物の一区画であり、床版６における格間（図１および図１９を参照）が挙げられる。
　図面データ取得部２４は、点検対象の建造物の図面データを取得する。例えば図面データ取得部２４は、点検対象の建造物を示すＣＡＤ（computer aided design）図面を取得する。また、図面データ取得部２４は、スキャナ等で読み込ませた図面データを取得してもよい。
　画像取得部２２および図面データ取得部２４は、デジタル信号の入力を行う入力デバイスによって構成することができる。このような入力デバイスとして、例えば、無線通信または有線通信を行う通信デバイスを用いてもよい。メモリカード等の記憶媒体とのインタフェースデバイスを入力デバイスとして用いてもよい。
　表示部２６は、液晶表示デバイス等の表示デバイスによって構成される。例えば表示部２６は、コンピュータのモニタにより構成される。
　操作部２８は、ユーザの操作を受け付ける。キーボードおよびマウスによって構成することができる。これら以外の操作デバイス、例えば表示部２６に設けられるタッチパネルによって操作部２８を構成してもよい。
　ＣＰＵ３０は、プログラムを実行するＣＰＵ(central processing unit)３０であり、単数または複数のＣＰＵにより構成される。
　記憶部５０は、プログラムおよびそのプログラムの実行に必要な情報を記憶する。記憶部５０は、メモリデバイスによって構成される。
　ＣＰＵ３０は、損傷データ生成部３２、射影関係受付部３４、射影変換部３６、表示制御部３８、編集部４０、および出力部４４を備える。
　損傷データ生成部３２は、撮影画像を画像解析することにより、損傷データを生成する。すなわち、損傷データ生成部３２は、画像取得部２２で取得された撮影画像に対して画像解析を実行することにより損傷を検出し、その損傷を表現する損傷データを生成する。ここで、撮影画像に写る損傷としては、ひび割れ、剥離、鉄筋露出、遊離石灰、および漏水が挙げられる。また損傷データとは、撮影画像に写っている損傷を表示部２６において表現するデータである。例えば損傷データとしては、撮影画像に写っている損傷をトレースした画像データであったり、予め損傷の種別毎に記憶部５０に記憶された損傷図形（図３参照）であったりする。なお、損傷データ生成部３２が行う撮影画像における損傷画像を検出するための画像解析、および損傷データを生成する技術は公知の技術が用いられる。
　図３は、記憶部５０に記憶される損傷図形の例を示す図である。図３に示すように、記憶部５０には損傷の種類に応じた損傷図形を記憶部５０に記憶させておき、損傷データ生成部３２には検出した損傷に応じて記憶されている損傷図形を損傷データとして使用してもよい。図３には、ひび割れ、剥離、鉄筋露出、遊離石灰、漏水の損傷図形が例示されている。
　射影関係受付部３４は、表示部２６に表示された撮影画像と図面データ取得部２４で取得された図面データとの射影関係の入力を受け付ける。射影関係受付部３４で受け付けられる射影関係は、様々な形態で受け付けられる。例えば射影関係受付部３４は、撮影画像と図面データとでそれぞれ対応する４点の指定を受け付けることにより、射影関係を受け付けてもよい。また例えば射影関係受付部３４は、撮影画像における矩形であるべき箇所を公知の画像認識技術により検出し、検出された矩形であるべき箇所に対応する図面データの箇所を指定することにより、射影関係を受け付けてもよい。
　射影変換部３６は、射影関係受付部３４で受け付けられた射影関係に基づいて、損傷データ生成部３２で検出した損傷データまたは編集部４０で編集された損傷データを射影変換する。射影変換部３６は、公知の技術によって損傷データまたは編集部４０で編集された損傷データを射影変換する。例えば射影変換部３６は、撮影画像の４点を図面データの４点に合わせる射影変換行列を算出し、算出した射影変換行列により損傷データ生成部３２で生成した損傷データまたは編集部４０で編集された損傷データを射影変換する。
　表示制御部３８は、表示部２６に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる。すなわち表示制御部３８は、撮影画像を表示部２６に表示させ、且つ撮影画像における損傷に対応するように損傷データを重畳表示させる。なお、表示制御部３８は、撮影画像、損傷データ、図面データ、および損傷図面データを表示部２６に適宜表示させる機能を有する。
　編集部４０は、表示部２６に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する。例えばユーザは、表示部２６に表示された撮影画像と損傷データ生成部３２で自動的に生成された損傷データを見比べて、正確に損傷データが撮影画像の損傷を表現できていない場合には、損傷データを編集（加工）する。この場合、ユーザはコンピュータに取り付けられたマウス（操作部２８）を使用して、損傷データの編集に関する指令を入力する。そして、編集部４０は、その編集の指令に基づいて損傷データを編集する。編集部４０は、追加、削除、および修正といった各種の編集操作も受け付ける。
　出力部４４は、射影変換部３６で射影変換された損傷データを出力する。出力部４４の出力形態は特に限定されるものではなく、損傷データまたは損傷図面データ（図９および図１０）を有効に利用できるものであればよい。例えば出力部４４は、ＤＸＦ（Drawing Exchange Format）のファイル形式で出力してもよいし、他の画像データのフォーマットで出力してもよい。
　次に、損傷データ編集装置２０の動作フローに関して説明する。図４は、第１の実施形態の損傷データ編集装置２０の動作フローを示すフローチャートである。
　先ず、画像取得部２２は、撮影装置１０により撮影された撮影画像を取得する（ステップＳ１０：画像取得ステップ）。そして、損傷データ生成部３２は、取得された撮影画像について画像解析を行って、撮影画像に写っている損傷を検出し、その検出結果に基づいて損傷データを生成する（ステップＳ１１：損傷データ生成ステップ）。その後、表示制御部３８により、撮影画像と検出された損傷データとを表示部２６にオーバレイ表示する（ステップＳ１２：表示制御ステップ）。
　ユーザは、表示部２６に表示された撮影画像と損傷データとを確認しながら、表示部２６に表示された損傷データの編集の指令をパソコンに接続されているマウスにより入力し、編集部４０は入力された指令に基づいて損傷データを編集する（ステップＳ１３：編集ステップ）。
　次に、図面データ取得部２４により図面データが取得される（ステップＳ１４：図面データ取得ステップ）。なお、図面データの取得は、予め行われていてもよい。例えば、図面データ取得部２４は、点検作業前に点検対象の建造物の図面データを取得し、取得された図面データは記憶部５０に記憶されていてもよい。
　その後、射影関係受付部３４により、射影関係の入力が受け付けられる（ステップＳ１５：射影関係受付ステップ）。
　図５は、射影関係受付部３４で受け付けられる射影関係の具体例を説明する図である。
　表示制御部３８により、表示部２６に点検対象である橋脚７の撮影画像１００が表示され、また建造物のＣＡＤ図面７０（図面データ）が表示されている。具体的には、コンピュータのモニタに撮影画像１００およびＣＡＤ図面７０が表示されている。
　損傷データ生成部３２で生成された損傷データＤＤ１およびＤＤ２が、撮影画像における損傷に対応するようにオーバレイ表示されている。
　ユーザは、表示部２６に表示された撮影画像１００と橋脚７のＣＡＤ図面７０において、コンピュータのポインティングデバイスにより、矩形の４点に対応する点を入力する。すなわち、撮影画像１００のＡ１、Ｂ１、Ｃ１、およびＤ１の４点を指定して入力し、ＣＡＤ図面７０において対応するＡ２、Ｂ２、Ｃ２、およびＤ２の４点を指定して入力する。そして、射影関係受付部３４は、ユーザから入力された各４点（撮影画像１００のＡ１、Ｂ１、Ｃ１、およびＤ１と、Ａ２、Ｂ２、Ｃ２、およびＤ２）を射影関係として受け付ける。
　図４に戻って、射影変換部３６により、射影関係受付部３４で受け付けられた射影関係に基づいて、撮影画像１００の損傷データＤＤ１およびＤＤ２が射影変換される（ステップＳ１６：射影変換ステップ）。具体的には射影変換部３６は、撮影画像１００のＡ１、Ｂ１、Ｃ１、およびＤ１の４点を、図面データのＡ２、Ｂ２、Ｃ２、およびＤ２の４点に合わせる射影変換行列を算出し、算出した射影変換行列により損傷データ生成部３２で検出した損傷データまたは編集部４０で編集された損傷データを射影変換する。
　その後、出力部４４により射影変換された損傷データが出力される（ステップＳ１７：出力ステップ）。
　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上記の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上記の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　＜第２の実施形態＞
　次に、本発明の第２の実施形態に関して説明する。
　図６は、第２の実施形態における損傷データ編集装置２０の構成例を示すブロック図である。なお、図２において既に説明を行った箇所は同じ符号を付して説明は省略する。損傷データ編集装置２０は、主に、画像取得部２２、図面データ取得部２４、表示部２６、操作部２８、ＣＰＵ３０、および記憶部５０を備える。
　ＣＰＵ３０は、損傷データ生成部３２、撮影画像合成部４６、損傷データ合成部４８、ミラーリング関係受付部５２、射影関係受付部３４、射影変換部３６、ミラーリング部５４、表示制御部３８、編集部４０、損傷図面データ作成部４２、および出力部４４を備える。
　撮影画像合成部４６は、建造物の一区画を分割撮影することにより得られる複数の撮影画像を合成する。すなわち、撮影画像合成部４６は、画像取得部２２により複数の撮影画像が入力された場合に、入力された複数の撮影画像を合成する。撮影画像合成部４６の画像合成は公知の技術を使用することにより行われ、例えば各撮影画像の特徴点を検出することにより撮影画像の合成を行う。また、撮影画像合成部４６は、図面データに表される一区画に対応して撮影された複数の撮影画像を、一区画毎に合成を行ってもよい。例えば撮影画像合成部４６は、一区画として格間が採用された複数の撮影画像が入力された場合には、格間毎に、撮影画像を合成してもよい。
　損傷データ生成部３２は、画像取得部２２において複数の撮影画像が取得された場合においても、複数の撮影画像の各々について、損傷を検出し損傷データを生成する。すなわち、損傷データ生成部３２は、画像取得部２２により複数の画像が取得された場合であっても、合成される前の取得された各撮影画像に対して画像処理を行い、損傷データを生成する。これにより、画像合成の影響により、損傷の検出精度の低下を抑制することができる。
　損傷データ合成部４８は、撮影画像合成部４６で合成された複数の撮影画像の合成情報に基づいて、損傷データを合成する。すなわち、損傷データ合成部４８は、撮影画像合成部４６において合成される場合の合成情報（例えば合成する際の各撮影画像の重なり、特徴点の座標等）に基づいて、各撮影画像において生成された損傷データを合成する。また損傷データ合成部４８は、一区画毎に複数の撮影画像の合成を行ってもよい。例えば損傷データ合成部４８は、一区画として格間が採用されている場合には、格間毎に損傷データを合成する。
　ミラーリング関係受付部５２は、表示部２６に表示された撮影画像と図面データ取得部２４で取得された図面データとのミラーリング関係の入力を受け付ける。ミラーリング関係の入力は、例えばユーザにより、表示部２６に表示された撮影画像と図面データとの対応する各４点がポインティングデバイスにより指定されることにより行われる。
　ミラーリング部５４は、ミラーリング関係受付部５２で受け付けられたミラーリング関係に基づいて、損傷データをミラーリングする。なお、ミラーリングは、鏡映反転ともいう。ミラーリングの中心となる軸（以下「ミラーリング軸」という）の方向は、画像の上下方向には限定されない。つまりミラーリングは、いわゆる左右反転には限定されない。ミラーリングは、左右反転以外の反転（例えば上下反転）を含む。本発明におけるミラーリングは、ミラーリング軸を中心として損傷データを反転させる画像処理であるといえる。ミラーリング軸の方向は、ミラーリング部５４により、入力された撮影画像を画像解析して、決定することができる。また、本発明のミラーリングは、ミラーリング軸の方向を固定にした態様と、ミラーリング軸の方向を可変にした態様とがある。本明細書において、後者の方向可変の態様は後に詳説する。
　このようなミラーリングについて、図７および図８を用いて説明する。図７に示すように、仮に床版６の上面に描かれた「Ｆ」の文字を床版６の下側から透視したとすると、実際には「Ｆ」を上下反転した形状に見える。これは「Ｆ」が非線対称の形状を有するからである。同様に、一般的な損傷（例えばひび割れ）は、非線対称の形状を有するため、橋梁１の下側から床版６を撮影して得られた画像中の損傷の形状と、橋梁１の上側から床版６を透視して見た場合の損傷の形状とは、互いにミラーリングの関係になることが分かる。そこで、図８に示すように、橋梁１の下側から撮影して得られた撮影画像ＩＭＧ１を、ミラーリングにより、橋梁１の上側から見た画像に相当する鏡映画像ＩＭＧ２に変換する。そうすると、損傷の形状は、橋梁１の下側から見た場合の形状（図８では「Ｆ」を上下反転した形状）から、橋梁１の上側から見た形状（図８では「Ｆ」の形状）に変換される。画像中の損傷の位置も、ミラーリングにより、撮影側から見た場合の位置から、撮影側とは反対側から見た場合の位置に変換できることが分かる。
　図８に示した例では、橋梁１を基準とした全体座標系の座標軸Ｇｘの方向と撮影画像ＩＭＧ１の左右方向（ｘ方向）とがマッチングしているため、ミラーリングとして撮影画像ＩＭＧ１を上下反転したが、例えば全体座標系の座標軸Ｇｘの方向と撮影画像ＩＭＧ１の上下方向（ｙ方向）とがマッチングしている場合には、ミラーリングとして撮影画像ＩＭＧ１を左右反転させる。
　損傷図面データ作成部４２は、射影変換部３６で射影変換された損傷データと損傷データに対応する図面データとが重畳された損傷図面データ（損傷図）を作成する。また、損傷図面データ作成部４２は、操作部２８により入力された各種の情報を、損傷図面データに追加することができる。
　損傷図面データ作成部４２は、入力された点検結果情報を損傷図面データに追加する。例えば、損傷の種類、および損傷程度の評価区分（「ランク情報」ともいう）を、操作部２８を介して入力されると、損傷図面データ作成部４２は、損傷図面データに追加する。なお、点検結果情報の「入力」は、予め決められた候補から選択する形式の入力である「選択入力」でもよい。
　また、損傷図面データ作成部４２は、損傷データまたは撮影画像に基づいて損傷の特徴量を計測する特徴量計測機能を有する。損傷図面データ作成部４２は、計測した特徴量を示す情報を損傷図面データに追加する。例えば、橋梁１の床版６の損傷データ中におけるひび割れ画像の幅、長さ、および間隔を局所座標系の寸法として検出し、その局所座標系の寸法を全体座標系の寸法に換算する。表示制御部３８は、計測された損傷の特徴量と鏡映画像とを、表示部２６に表示させる。
　出力部４４は、ミラーリングおよび射影変換された損傷データを出力する。また、損傷図面データ作成部４２で損傷図面データが作成された場合には、出力部４４は損傷図面データを出力する。
　以下に、損傷図面データ作成部４２で損傷図面データが作成された場合の出力部４４で出力される損傷図面データに関して説明する。なお損傷図面データとは損傷図を表すデータのことである。
　図９は、損傷図面データの例を示す図である。この損傷図面データは、点検対象である橋梁１の床版６に生じた各損傷について、格間ごとに、ひび割れ、漏水、遊離石灰といった損傷を示す損傷データと、部材名（本例では「床版」）と、要素番号（Ｄｓ０１０１～Ｄｓ０１０４、Ｄｓ０２０１～Ｄｓ０２０４）と、損傷の種類（「ひび割れ」、「漏水」、「遊離石灰」等）と、損傷程度の評価区分（「ランク情報」ともいう）と、損傷の特徴量（例えばひび割れの幅、間隔）とが記載されたものである。本図では、損傷程度として評価区分を、アルファベットの「ａ」～「ｅ」により、五段階で表している。
　さらに、図１０は、図９に示した損傷図面データを反転した反転損傷図面データの例を示す図である。図１０に示した反転損傷図面データは、ミラーリング部５４によりミラーリングされた損傷データにより構成される。また、図面データもミラーリング部５４によりミラーリングされている。本発明では、撮影された側からの損傷図面データ（図９）と、撮影された側の反対側から見た反転損傷図面データ（図１０）を構成する損傷データへの編集（加工）が可能である。
　図１０に示した反転損傷図面データは、ＣＡＤ図面、損傷データといった非テキスト成分をミラーリング部５４によりミラーリングされている。また、部材名、要素番号、損傷の種類、ランク情報、損傷の特徴量といったテキスト成分をミラーリングせずに図中の位置を損傷図面データ作成部４２で変更している。
　図１１は、第２の実施形態の損傷データ編集装置２０の動作フローを示すフローチャートである。
　先ず、画像取得部２２は、撮影装置１０により撮影された複数の撮影画像を取得する（ステップＳ２０）。その後、損傷データ生成部３２は、各撮影画像に対して画像処理を行うことにより、撮影画像に写っている損傷を検出し、その検出に基づいて損傷データを生成する（ステップＳ２１）。
　次に、撮影画像合成部４６により取得された複数の各撮影画像が合成される（ステップＳ２２）。そして、撮影画像合成部４６により撮影画像が合成された結果に基づいて、損傷データ合成部４８により、損傷データが合成される（ステップＳ２３）。
　その後、表示制御部３８により、撮影画像と検出された損傷データとを表示部２６にオーバレイ表示する（ステップＳ２４）。
　ユーザは、表示部２６に表示された撮影画像と損傷データとを確認しながら、表示部２６に表示された損傷データの編集の指令を例えばパソコンに接続されているマウスにより入力し、編集部４０は入力された編集指令に基づいて損傷データを編集する（ステップＳ２５）。
　次に、図面データ取得部２４により図面データが取得される（ステップＳ２６）。例えば、図面データ取得部２４により、図面データとして橋梁１を示すＣＡＤ図面が入力される。図１２は、ＣＡＤ図面の一例を示す図である。図中の「ＤｓＸＸＸＸ」（Ｄｓ０１０１～Ｄｓ０１０５およびＤｓ０２０１～ＤＳ０２０５）は、橋梁１の床版６の要素である格間を識別する要素番号である。ここで「Ｄｓ」は、「床版」を表わす記号であり、「ＸＸＸＸ」は、床版６のうちの主桁２と横桁３とで囲まれた範囲である格間の格子状配列位置を示す番号である。言い換えると、本例の床版６は、格子状配列の複数の格間によって構成されており、格間毎に要素番号が付与されている。本例のＣＡＤ図面８０は、格間の矩形枠情報を含んでいる。図中の要素番号ＤｓＸＸＸＸは、表示部２６での表示を省略してもよい。
　図１１に戻って、射影関係受付部３４により、射影関係の入力が受け付けられて、ミラーリング関係受付部５２により、ミラーリング関係の入力が受け付けられる（ステップＳ２７）。
　図１３は、射影関係受付部３４およびミラーリング関係受付部５２で受け付けられる射影関係およびミラーリング関係の入力の具体例を説明する図である。なお、図１３に示す場合では、射影関係とミラーリング関係とが同時に入力される例である。
　表示制御部３８により、表示部２６に点検対象である橋脚７の撮影画像１０２が表示され、また建造物のＣＡＤ図面８０が表示されている。撮影画像１０２は、床版６の格間が撮影されており、床版６には損傷（ひび割れ）が発生している。また損傷データ生成部３２が撮影画像１０２を画像解析して、ひび割れを検出し生成した損傷データＤＤ３が重畳的に表示されている。すなわち、損傷データＤＤ３は、撮影画像１０２の損傷にオーバレイ表示されている。
　例えばユーザは、表示部２６に表示された撮影画像１００と橋脚７のＣＡＤ図面において、コンピュータのポインティングデバイスにより、矩形の４点に対応する点を入力する。すなわち、撮影画像１００のＡ１、Ｂ１、Ｃ１、およびＤ１の４点を指定して入力し、ＣＡＤ図面において対応するＡ２、Ｂ２、Ｃ２、およびＤ２の４点を指定して入力する。この入力は、射影関係の入力と同時にミラーリング関係の入力である。
　次に射影変換部３６により、射影関係受付部３４で受け付けられた射影関係に基づいて、撮影画像１００の損傷データＤＤ３が射影変換およびミラーリングされる（ステップＳ２８）。例えば、損傷データＤＤ３が射影変換されると損傷データＤＤ４のようになる。
　図１４は、ミラーリング部５４により行われる、各損傷データのミラーリングに関して説明する図である。図１４は、ミラーリングされる前の格間の損傷データＤＤ５を示す。この損傷データＤＤ５は、橋梁１の下側から見た損傷状態を示す画像であって、床版６のうちの一つの格間の損傷状態を示す画像である。図１５は、図１４の損傷データＤＤ５をミラーリングして得られた損傷データＤＤ６を示す図である。本例では、橋梁１を基準とした全体座標系の座標軸Ｇｘと損傷データＤＤ５の左右方向（ｘ方向）とがマッチングしているので、損傷データＤＤ５をミラーリングとして上下反転することにより、損傷データＤＤ６が取得される。つまり、本例でのミラーリング軸ＭＡｘの方向は、損傷データＤＤ５の左右方向（ｘ方向）である。
　図１１に戻って、その後、出力部４４により射影変換された損傷データで構成される損傷図面データを出力する（ステップＳ２９）。
　ここで、損傷図面データ作成部４２で行われる損傷図面データの作成に関して具体例を説明する。
　図１６は、損傷図面データ作成部４２で行われる損傷図面データの作成に関して説明する図である。損傷図面データ作成部４２により生成された損傷データＤＤ６をＣＡＤ図面８０に重ね合わせて表示させた損傷図面データが表示部２６に表示される。図１６は、図１２に示したＣＡＤ図面８０に、図１５に示した損傷データＤＤ６を重ね合わせて表示した例を示す。なおＣＡＤ図面８０と損傷データＤＤ６との位置合わせは、公知の技術により行われる。例えば、ＣＡＤ図面８０が有する座標データと損傷データＤＤ６が有する座標データに基づいて、ＣＡＤ図面８０と損傷データＤＤ６との位置合わせが行われる。
　次に、損傷図面データ作成部４２により、損傷データＤＤ６に基づいて、損傷の特徴量を計測する。例えば、ひび割れの幅および間隔が、特徴量として計測される。
　次に、損傷図面データ作成部４２により、損傷図面データの各要素に関する編集が行われる。図１７は、床版６の要素番号Ｄｓ０２０２が付与された格間に関する編集画面の表示例を示す図である。本例では、表示部２６に、ＣＡＤ図面８０および損傷データＤＤ６を表示させると同時に、損傷リスト８２を表示させている。本例では、要素番号Ｄｓ０２０２の格間に、損傷データＤＤ６に基づいてひび割れが検出されているので、その「種別」（損傷の種類）である「ひび割れ」が損傷図面データ作成部４２により損傷リスト８２に自動的に記入される。また、要素番号Ｄｓ０２０２の格間の「ひび割れ」の特徴量として、損傷図面データ作成部４２により「ひび割れ」の幅および間隔が計測されているので、損傷図面データ作成部４２により損傷リスト８２の「寸法」の欄に自動的に記入される。損傷図面データ作成部４２により自動的に記入されなかった項目は、操作部２８によりユーザが入力することができる。例えば、損傷データＤＤ６において漏水および遊離石灰を視認できる場合、その種別である「漏水＋遊離石灰」をユーザが操作部２８を介して入力することができる。
　また、自動的に未検出のひび割れが損傷データＤＤ６中に視認できる場合、そのひび割れの種別および寸法を操作部２８を介してユーザが入力することができる。なお、図１７では図示しなかったが、ひび割れの寸法を計測するためのスケール画像を表示部２６に表示させることができ、そのスケール画像を用いて未検出のひび割れの寸法を計測することが可能である。未検出のひび割れを損傷図面データに反映させるため、損傷データＤＤ６中の損傷画像に対して、操作部２８によりトレース操作を行うことができる。例えば、操作部２８がタッチパネルにより構成されている場合、損傷データＤＤ６中のひび割れ画像を指あるいはペンでトレースすると、そのトレースの軌跡が損傷データとして損傷図面データに追加される。ここで、ＣＡＤ図面８０における損傷データＤＤ６中のひび割れ画像の形状および位置は、橋梁１を上側（撮影側とは反対側である）から見た場合の実際のひび割れの形状および位置に相当するので、容易且つ正確に入力することができる。
　損傷リスト８２の「区分」は、損傷程度の評価区分（「ランク情報」ともいう）を入力するための欄である。図１８は、床版６におけるひび割れの進行モデルの一例を模式的に示す図である。この進行モデルでは、評価区分ＲＡＮＫが「ａ」～「ｅ」の五段階で表される。各評価区分ＲＡＮＫとひび割れ状態ＳＴＡＴＥとの対応関係は次の通りである。
　ａ：損傷なし。
　ｂ：横方向（車輌の通行方向に直交する短手方向）に沿って複数のひび割れが並列に発生した状態である。乾燥収縮による複数のひび割れが並列の梁状になる段階である。
　ｃ：縦方向（車輌の通行方向に平行な長手方向）のひび割れおよび横方向のひび割れが互いに交差した状態である。活荷重により複数のひび割れが格子状になり、その格子状の領域のひび割れ密度が増加する段階である。後半時期には、ひび割れが床版６の上下方向（床版下面に直交する垂直方向）で貫通する。
　ｄ：格子状の領域のひび割れ密度が規定値を超え、貫通した複数のひび割れの破面同士が平滑化された状態である。摺り磨き作用により床版６がせん断抵抗を失う段階である。
　ｅ：抜け落ちが生じた状態である。低下した押抜きせん断強度を超える輪荷重により抜け落ちが生じる。
　このように損傷図面データ作成部４２により、損傷図面データの全体に関する編集が行われる。また例えば、損傷図面データ作成部４２により、損傷図面データに床版６の全体に関する健全性の判定区分を操作部２８を介して入力されてもよい。
　次に、損傷図面データ作成部４２で編集が完了した損傷図面データを出力部４４が出力する。損傷図面データは、表示制御部３８により表示部２６に表示出力させることができるほか、ネットワークを介してプリンタ（図示を省略）に印刷出力させることができる。例えば、図９に示した損傷図面データがプリンタにより印刷出力される。また、損傷図面データは、ネットワークを介してデータベース（図示を省略）にアップロードすることができる。
　＜ミラーリングのバリエーション＞
　前述の第２の実施形態では、本発明の理解を容易にするため、ミラーリング軸の方向が固定である場合を例に説明したが、本発明はそのようなミラーリング軸の方向が固定である場合に限定されない。本発明は、ミラーリング軸の方向を可変にした構成でもよい。
　ミラーリング部５４は、各種の情報に基づいて、ミラーリング軸の方向を決定する機能を有する。ミラーリング部５４は、決定した方向のミラーリング軸を中心としてミラーリングを行う。
　第１に、画像取得部２２により入力された画像（ミラーリング前の画像である）を画像解析して、その画像解析の結果に基づいてミラーリング軸の方向を決定する態様がある。
　図１９は、格間が撮影された撮影画像を示す図である。例えば、図１９に示す、床版６の格間の撮影画像ＩＭＧ２１を取得したとする。この撮影画像ＩＭＧ２１は、格間の縁部の画像ＥＧ（以下「縁部画像」という）を含む。実空間において、格間の縁部の形状は矩形であり、その矩形を構成する互いに直交する二辺は一般に長さが異なる。つまり縁部の矩形は、互いに直交する長辺と短辺とを有する。また、実空間において、縁部の矩形の互いに直交する二辺は、橋梁１を基準とした全体座標系における二つの座標軸Ｇｘ、Ｇｙと方向が一致している。そこで、ミラーリング部５４は、撮影画像ＩＭＧ２１から縁部画像を検出し、その縁部画像を必要に応じて矩形に射影変換した後、その矩形の互いに直交する長辺および短辺のうちいずれか一辺の方向に基づいて、ミラーリング軸の方向を決定することができる。もっとも、本発明の撮影対象（点検対象である）は床版６の格間に限定されず、他の撮影対象の幾何学的特徴に基づいてミラーリング軸の方向を決定してよいことは、言うまでもない。
　第２に、建造物を基準にした全体座標系（「第１の座標系」である）の座標軸と、画像を撮影した撮影装置１０を基準にした局所座標系（「第２の座標系」である）の座標軸とがなす角度に基づいて、ミラーリング軸の方向を決定する態様がある。
　例えば、図２０に示すようにロボット装置９０に搭載された撮影装置１０により撮影して得られた画像が画像取得部２２により入力され、かつロボット装置９０の撮影装置制御に従った撮影装置制御情報が画像取得部２２により入力される。この撮影装置制御情報には、図２１に示すように、橋梁１を基準にした全体座標系の座標軸Ｇｘ、Ｇｙ、Ｇｚと、撮影装置１０を基準にした局所座標系の座標軸Ｌｘ、Ｌｙ、Ｌｚとがなす角度を示す角度情報が含まれる。本例の局所座標系において、互いに直交する三つの座標軸Ｌｘ、Ｌｙ、Ｌｚのうち一つの座標軸Ｌｚは、撮影装置１０の撮影方向（光軸方向ともいう）であり、かつ橋梁１の床版６（被撮影面である）と直交する。つまり、本例では、全体座標系の一つの座標軸Ｇｚの方向と局所座標系の一つの座標軸Ｌｚの方向とが一致している。
　本例のロボット装置９０は、橋梁１に懸垂した懸垂式ロボットであり、図２０ではその撮影に関する要部のみを示した。なお、懸垂式ロボットは、橋梁１に懸垂する代わりに、橋梁上の走行体（車輌）に懸垂する方式のロボットでもよい。また、懸垂式ロボットの代わりに、ドローン（無人飛行体）等の無人飛行式ロボットを用いる場合にも本発明を適用可能である。
　本例のロボット装置９０は、撮影装置１０の移動および回動の制御を行う撮影装置制御機構９２を備える。この撮影装置制御機構９２は、撮影装置１０を互いに直交するＧｘ方向、Ｇｙ方向およびＧｚ方向のそれぞれで移動可能なＸＹＺ移動機構と、撮影装置１０をパン方向Ｐおよびチルト方向Ｔのそれぞれで回動可能なパンチルト機構とを兼ねている。
　ミラーリング部５４は、全体座標系の座標軸Ｇｘ（またはＧｙ）と局所座標系の座標軸Ｌｘ（またはＬｙ）とでなす角度を示す角度情報に基づいて、ミラーリング軸の方向を決定することが可能である。
　また、撮影装置１０をパン方向Ｐに回動させる場合、つまり橋梁１を基準とした全体座標系に対して撮影装置１０の方位角度が可変である場合、ミラーリング部５４は、全体座標系の座標軸ＧｘまたはＧｙに対する撮影装置１０の方位角度に基づいて、ミラーリング軸の方向を決定することが可能である。
　なお、全体座標系の座標軸Ｇｘ、Ｇｙ、Ｇｚに対する局所座標系の座標軸Ｌｘ、Ｌｙ、Ｌｚの設定態様、および撮影装置１０のパンチルトの態様（角度制御態様）には、各種あるため、その局所座標系の座標軸の設定態様および撮影装置１０の角度制御態様に応じた角度情報を取得して、その角度情報に基づいてミラーリング軸の方向を決定すればよい。
　＜クライアントサーバ型＞
　クライアントサーバ型のシステムでは、クライアント装置およびサーバ装置の少なくともいずれかにより損傷データ編集装置２０を構成してもよい。言い換えると、本発明の損傷データ編集装置２０は、クライアントサーバ型のシステムのうちの一つまたは複数のコンピュータ装置により構成してよい。
　以上、本発明を実施するための形態に関して説明してきたが、本発明は上記した実施形態および変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。
　１　　　　　　橋梁
　２　　　　　　主桁
　３　　　　　　横桁
　４　　　　　　対傾構
　５　　　　　　横構
　６　　　　　　床版
　７　　　　　　橋脚
　１０　　　　　撮影装置
　２０　　　　　損傷データ編集装置
　２２　　　　　画像取得部
　２４　　　　　図面データ取得部
　２６　　　　　表示部
　２８　　　　　操作部
　３０　　　　　ＣＰＵ
　３２　　　　　損傷データ生成部
　３４　　　　　射影関係受付部
　３６　　　　　射影変換部
　３８　　　　　表示制御部
　４０　　　　　編集部
　４２　　　　　損傷図面データ作成部
　４４　　　　　出力部
　４６　　　　　撮影画像合成部
　４８　　　　　損傷データ合成部
　５０　　　　　記憶部
　５２　　　　　ミラーリング関係受付部
　５４　　　　　ミラーリング部
　８２　　　　　損傷リスト
　９０　　　　　ロボット装置
　９２　　　　　撮影装置制御機構
　ステップＳ１０－ステップＳ１７　第１の実施形態の損傷データ編集工程
　ステップＳ２０－ステップＳ２９　第２の実施形態の損傷データ編集工程

Claims (13)

  1. 　点検対象の建造物が撮影された撮影画像を取得する画像取得部と、
    　前記撮影画像を画像解析することにより、損傷データを生成する損傷データ生成部と、
    　表示部と、
    　前記表示部に前記撮影画像を表示させるとともに、前記損傷データを前記撮影画像にオーバレイ表示させる表示制御部と、
    　前記表示部に表示された前記損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記損傷データを編集する編集部と、
    　前記点検対象の建造物の図面データを取得する図面データ取得部と、
    　前記表示部に表示された前記撮影画像と前記図面データ取得部で取得された前記図面データとの射影関係の入力を受け付ける射影関係受付部と、
    　前記射影関係受付部で受け付けられた前記射影関係に基づいて、前記損傷データ生成部で生成した前記損傷データまたは前記編集部で編集された前記損傷データを射影変換する射影変換部と、
    　前記射影変換部で射影変換された前記損傷データを出力する出力部と、
    　を備える損傷データ編集装置。
  2. 　前記表示制御部は、前記表示部に前記図面データを表示させ、
    　前記射影関係受付部は、前記表示部に表示された前記撮影画像と前記図面データ取得部で取得された前記図面データとの前記射影関係を示す、前記撮影画像の４点および前記図面データの４点を受け付ける請求項１に記載の損傷データ編集装置。
  3. 　前記射影変換部は、前記撮影画像の４点を前記図面データの４点に合わせる射影変換行列を算出し、前記算出した射影変換行列により前記損傷データ生成部で生成した前記損傷データまたは前記編集部で編集された前記損傷データを射影変換する請求項１または２に記載の損傷データ編集装置。
  4. 　前記表示部に表示された前記撮影画像と前記図面データ取得部で取得された前記図面データとのミラーリング関係の入力を受け付けるミラーリング関係受付部と、
    　前記ミラーリング関係受付部で受け付けられた前記ミラーリング関係に基づいて、前記損傷データをミラーリングするミラーリング部と、を備え、
    　前記出力部は、ミラーリングおよび射影変換された前記損傷データを出力する請求項１から３のいずれか１項に記載の損傷データ編集装置。
  5. 　前記建造物の一区画を分割撮影することにより得られる複数の撮影画像を合成する撮影画像合成部を備え、
    　前記損傷データ生成部は、前記複数の撮影画像の各々について、前記損傷データを生成する請求項１から４のいずれか１項に記載の損傷データ編集装置。
  6. 　前記撮影画像合成部は、前記図面データに表される一区画に対応して撮影された前記複数の撮影画像を、前記一区画毎に合成を行う請求項５に記載の損傷データ編集装置。
  7. 　前記撮影画像合成部で合成された前記複数の撮影画像の合成情報に基づいて、前記損傷データを合成する損傷データ合成部を備える請求項６に記載の損傷データ編集装置。
  8. 　前記損傷データ合成部は、前記一区画毎に合成を行う請求項７に記載の損傷データ編集装置。
  9. 　前記射影変換部で射影変換された前記損傷データと前記損傷データに対応する前記図面データとが重畳された損傷図面データを作成する損傷図面データ作成部を備え、
    　前記出力部は、前記損傷図面データを出力する請求項１から８のいずれか１項に記載の損傷データ編集装置。
  10. 　前記建造物は、橋梁またはトンネルである請求項１から９のいずれか１項に記載の損傷データ編集装置。
  11. 　点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、
    　前記撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、
    　表示部に前記撮影画像を表示させるとともに、前記損傷データを前記撮影画像にオーバレイ表示させる表示制御ステップと、
    　前記表示部に表示された前記損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記損傷データを編集する編集ステップと、
    　前記点検対象の建造物の図面データを取得する図面データ取得ステップと、
    　前記表示部に表示された前記撮影画像と前記図面データ取得ステップで取得された前記図面データとの射影関係の入力を受け付ける射影関係受付ステップと、
    　前記射影関係受付ステップで受け付けられた前記射影関係に基づいて、前記損傷データ生成ステップで生成した前記損傷データまたは前記編集ステップで編集された前記損傷データを射影変換する射影変換ステップと、
    　前記射影変換ステップで射影変換された前記損傷データを出力する出力ステップと、
    　を含む損傷データ編集方法。
  12. 　点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、
    　前記撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、
    　表示部に前記撮影画像を表示させるとともに、前記損傷データを前記撮影画像にオーバレイ表示させる表示制御ステップと、
    　前記表示部に表示された前記損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記損傷データを編集する編集ステップと、
    　前記点検対象の建造物の図面データを取得する図面データ取得ステップと、
    　前記表示部に表示された前記撮影画像と前記図面データ取得ステップで取得された前記図面データとの射影関係の入力を受け付ける射影関係受付ステップと、
    　前記射影関係受付ステップで受け付けられた前記射影関係に基づいて、前記損傷データ生成ステップで生成した前記損傷データまたは前記編集ステップで編集された前記損傷データを射影変換する射影変換ステップと、
    　前記射影変換ステップで射影変換された前記損傷データを出力する出力ステップと、
    　を含む損傷データ編集工程をコンピュータに実行させるプログラム。
  13. 　請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2018/024199 2017-07-27 2018-06-26 損傷データ編集装置、損傷データ編集方法、およびプログラム WO2019021719A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019532452A JP6805351B2 (ja) 2017-07-27 2018-06-26 損傷データ編集装置、損傷データ編集方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017145567 2017-07-27
JP2017-145567 2017-07-27

Publications (1)

Publication Number Publication Date
WO2019021719A1 true WO2019021719A1 (ja) 2019-01-31

Family

ID=65041050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024199 WO2019021719A1 (ja) 2017-07-27 2018-06-26 損傷データ編集装置、損傷データ編集方法、およびプログラム

Country Status (2)

Country Link
JP (2) JP6805351B2 (ja)
WO (1) WO2019021719A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154466A (ja) * 2019-03-18 2020-09-24 デンカ株式会社 コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム
JP2020154465A (ja) * 2019-03-18 2020-09-24 デンカ株式会社 コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム
JP2021018642A (ja) * 2019-07-22 2021-02-15 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
EP4296956A1 (en) * 2022-06-20 2023-12-27 Canon Kabushiki Kaisha Defect detection in partial images capturing an entire inspected infrastructure

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102378411B1 (ko) * 2021-12-14 2022-03-24 (주) 다음기술단 휴대용 전자장치를 이용한 외관조사망도 작성 및 시각화 방법
KR102387717B1 (ko) * 2021-12-14 2022-04-18 (주) 다음기술단 드론 촬영 및 사진첩 기법을 이용한 시설물 손상 진단 및 점검방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318790A (ja) * 2003-04-16 2004-11-11 Im Soft Kk 構造物用検査装置及び検査方法、並びに記録媒体
JP2005310044A (ja) * 2004-04-26 2005-11-04 Constec Engi Co データ処理装置、データ処理方法、及びデータ処理プログラム
JP2006132973A (ja) * 2004-11-02 2006-05-25 Fujimitsu Komuten:Kk コンクリート構造物のクラック検査装置及びクラック検査方法
JP2013167494A (ja) * 2012-02-14 2013-08-29 Fujitsu Ltd 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2016099235A (ja) * 2014-11-21 2016-05-30 株式会社ソーシャル・キャピタル・デザイン 正置画像処理システムおよび構造物維持管理業務システム
JP2016126769A (ja) * 2014-12-26 2016-07-11 古河機械金属株式会社 検査結果出力装置、検査結果出力方法、及び、プログラム
WO2017103982A1 (ja) * 2015-12-14 2017-06-22 株式会社 ニコン・トリンブル 欠陥検出装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099784A (ja) * 1999-09-29 2001-04-13 Keisoku Kensa Kk 既設橋梁における床板のひび割れ検出方法及びその表示方法
JP2002310920A (ja) * 2001-04-19 2002-10-23 Keisoku Kensa Kk コンクリート壁のひび割れ検出方法およびその装置
JP2002328096A (ja) * 2001-04-27 2002-11-15 Tokyo Electric Power Co Inc:The 構造物に形成されたひび割れ欠陥検出プログラム、ひび割れ欠陥検出方法及びひび割れ欠陥検出システム
JP2018185146A (ja) * 2015-09-25 2018-11-22 富士フイルム株式会社 損傷図作成装置及び損傷図作成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318790A (ja) * 2003-04-16 2004-11-11 Im Soft Kk 構造物用検査装置及び検査方法、並びに記録媒体
JP2005310044A (ja) * 2004-04-26 2005-11-04 Constec Engi Co データ処理装置、データ処理方法、及びデータ処理プログラム
JP2006132973A (ja) * 2004-11-02 2006-05-25 Fujimitsu Komuten:Kk コンクリート構造物のクラック検査装置及びクラック検査方法
JP2013167494A (ja) * 2012-02-14 2013-08-29 Fujitsu Ltd 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2016099235A (ja) * 2014-11-21 2016-05-30 株式会社ソーシャル・キャピタル・デザイン 正置画像処理システムおよび構造物維持管理業務システム
JP2016126769A (ja) * 2014-12-26 2016-07-11 古河機械金属株式会社 検査結果出力装置、検査結果出力方法、及び、プログラム
WO2017103982A1 (ja) * 2015-12-14 2017-06-22 株式会社 ニコン・トリンブル 欠陥検出装置及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154466A (ja) * 2019-03-18 2020-09-24 デンカ株式会社 コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム
JP2020154465A (ja) * 2019-03-18 2020-09-24 デンカ株式会社 コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム
JP7312581B2 (ja) 2019-03-18 2023-07-21 デンカ株式会社 コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム
JP7356242B2 (ja) 2019-03-18 2023-10-04 デンカ株式会社 コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム
JP2021018642A (ja) * 2019-07-22 2021-02-15 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
JP7427381B2 (ja) 2019-07-22 2024-02-05 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
EP4296956A1 (en) * 2022-06-20 2023-12-27 Canon Kabushiki Kaisha Defect detection in partial images capturing an entire inspected infrastructure

Also Published As

Publication number Publication date
JP2021047197A (ja) 2021-03-25
JP6805351B2 (ja) 2020-12-23
JPWO2019021719A1 (ja) 2020-04-16
JP7170023B2 (ja) 2022-11-11

Similar Documents

Publication Publication Date Title
WO2019021719A1 (ja) 損傷データ編集装置、損傷データ編集方法、およびプログラム
JP6874096B2 (ja) 損傷図編集装置及びプログラム
Duque et al. Bridge deterioration quantification protocol using UAV
Valença et al. Assessment of cracks on concrete bridges using image processing supported by laser scanning survey
Prasanna et al. Automated crack detection on concrete bridges
Lattanzi et al. 3D scene reconstruction for robotic bridge inspection
US11189009B2 (en) Image processing apparatus and image processing method
Riveiro et al. An innovative method for remote measurement of minimum vertical underclearance in routine bridge inspection
CN100428782C (zh) 信息处理方法和设备
JP6775054B2 (ja) 検査支援装置
Zhuge et al. Noncontact deflection measurement for bridge through a multi‐UAVs system
CN111684234B (zh) 修补长度的确定方法及修补长度的确定装置
EP2476999A1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
Lee et al. Vision-based inspection of prefabricated components using camera poses: Addressing inherent limitations of image-based 3D reconstruction
Thériault et al. Simplified approach for quantitative inspections of concrete structures using digital image correlation
WO2017221965A1 (ja) 状態判定装置、状態判定方法、及びプログラムを記憶する記憶媒体
Trias et al. Supporting quantitative structural assessment of highway bridges through the use of LiDAR scanning
Lahamy et al. Measurement of deflection in concrete beams during fatigue loading test using the Microsoft Kinect 2.0
US11959862B2 (en) Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system
JP2017228208A (ja) 図面作成装置及び図面作成方法
JP7433623B2 (ja) 構造物画像管理システム
Rajaei et al. Vision-based large-field measurements of bridge deformations
WO2020116279A1 (ja) 構造物の点検支援装置及び方法
Zhao et al. In-situ observation and calibration for structure safety diagnosis through finite element analysis and mixed reality
Ngeljaratan Structural Health Monitoring and Seismic Response Assessment of Civil Infrastructure Using Target-Tracking Digital Image Correlation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18838362

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019532452

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18838362

Country of ref document: EP

Kind code of ref document: A1