WO2017221706A1 - 損傷図編集装置及び損傷図編集方法 - Google Patents
損傷図編集装置及び損傷図編集方法 Download PDFInfo
- Publication number
- WO2017221706A1 WO2017221706A1 PCT/JP2017/021110 JP2017021110W WO2017221706A1 WO 2017221706 A1 WO2017221706 A1 WO 2017221706A1 JP 2017021110 W JP2017021110 W JP 2017021110W WO 2017221706 A1 WO2017221706 A1 WO 2017221706A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- damage
- unit
- mirror
- damage diagram
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
Definitions
- the present invention relates to a damage diagram editing apparatus and a damage diagram editing method for editing a damage diagram illustrating a damage state of a structure, and more particularly to a damage diagram illustrating a damage state viewed from the side opposite to an imaging side of a structure.
- the present invention relates to a damage diagram editing apparatus and a damage diagram editing method that enable accurate and easy editing.
- Patent Document 1 discloses a CAD (computer ⁇ aided design) drawing showing a building and a building's outer wall surface when creating a figure (corresponding to the above “damage figure”) showing a crack on the outer wall surface of the building.
- the captured image is displayed in a different display area of the computer device, and when a crack image in the displayed captured image is traced by the operation device, a trace diagram corresponding to the trace operation is mapped on the CAD drawing. It is described.
- Patent Document 2 when creating a development showing the uneven shape of the inner wall surface of the tunnel, an uneven shape figure is generated based on measurement data obtained by measuring the inner wall surface of the tunnel with a laser scanner, It is described that an image pattern is drawn on a concavo-convex figure.
- This development view can be created as a diagram showing the uneven shape when the inner wall surface is seen through the tunnel from above.
- a damage diagram illustrating the damage state as seen from the side opposite to the viewing side of the structure as a predetermined type of damage diagram.
- an investigator who visually inspects a floor deck of a bridge actually sketches the damaged state of the floor slab from the lower side of the bridge as a damaged state viewed from the upper side of the bridge. It is necessary to create a form of damage diagram.
- the imaging side (the lower side of the bridge) and It is necessary to create a predetermined form of damage diagram to illustrate the state of damage as seen from the opposite side (above the bridge).
- the load to create a damage diagram that accurately reflects the damage state It takes.
- a damage diagram illustrating the state of cracks it is necessary not only to enter numerical values such as the width of cracks and the distance between cracks into the damage diagram, but also to accurately enter the shape and position of the cracks in the damage diagram. It is done.
- the actual crack state is not accurately reflected in the damage diagram, it is difficult to accurately grasp the progress of damage to the structure, and it is also difficult to formulate an appropriate maintenance management plan.
- the investigator performs a trace operation on a crack image in a captured image displayed on a computer device, thereby mapping a trace diagram corresponding to the crack image on a CAD drawing.
- the damage state viewed from the opposite side to the imaging side of the structure cannot be mapped on the CAD drawing.
- the object to be inspected is the outer wall surface of the building in the embodiment of Patent Document 1, it is considered sufficient to be able to create a cracked view as viewed from the imaging side (outside the building).
- Patent Document 2 it is possible to create a developed view showing the uneven shape when the inner wall surface is seen through the tunnel from above the tunnel, but the uneven shape of the inner wall surface of the tunnel is measured with a laser scanner. If it is necessary and a laser scanner is not used, it is not possible to create a developed view showing the uneven shape of the inner wall surface when viewed from above the tunnel.
- An object of the present invention is to provide a damage diagram editing apparatus and a damage diagram editing method capable of accurately and easily editing a damage diagram illustrating a damage state viewed from the side opposite to the imaging side of a structure.
- a damage diagram editing apparatus includes an image input unit for inputting an image of a structure to be inspected, and a mirror movie by mirroring the input image.
- Mirror reversal unit for acquiring an image, display unit, display control unit for displaying a mirror image on the display unit, operation unit for accepting user operation, and operation with the mirror image displayed on the display unit
- An editing unit that edits a damage diagram corresponding to a mirror image, which is a damage diagram indicating a damage state of the structure, in accordance with an operation received by the unit.
- the input image is mirror-inverted to obtain a mirror image, and the structure is damaged in accordance with an operation received by the operation unit while the mirror image is displayed on the display unit. Since the damage diagram corresponding to the mirror image is edited, the user can acquire the damage diagram corresponding to the mirror image by performing an editing operation while viewing the mirror image. it can. That is, it is possible to accurately and easily edit a damage diagram illustrating a damage state viewed from the side opposite to the imaging side of the structure.
- the damage diagram editing apparatus includes an image composition unit that performs image composition, the image input unit inputs a plurality of divided images of the structure as an image, and the reflection inversion unit includes a plurality of reflection inversion units.
- Each of the divided images is mirror-inverted, and the image synthesis unit synthesizes a plurality of the mirror-inverted divided images. According to this aspect, even in the case of divided imaging, it is possible to accurately and easily edit the damage diagram illustrating the damage state viewed from the side opposite to the imaging side of the structure.
- the damage diagram editing apparatus includes an image composition unit that performs image composition, the image input unit inputs a plurality of divided images of a structure as an image, and the reflection inversion unit includes an image The composite image obtained by combining the plurality of divided images by the combining unit is mirror-inverted. According to this aspect, even in the case of divided imaging, it is possible to accurately and easily edit the damage diagram illustrating the damage state viewed from the side opposite to the imaging side of the structure.
- the image composition unit performs at least one of image processing among enlargement / reduction, tilt correction, and rotation on each of the plurality of divided images, thereby Correction is performed regarding a mismatch in distance or angle between the imaging surface of the structure over the divided images and the imaging device that captured the image. According to this aspect, it is possible to generate a highly accurate damage diagram even when there is an influence of a mismatch in the distance or angle between the imaging surface of the structure and the imaging device over a plurality of divided images.
- the damage diagram editing apparatus includes a drawing input unit for inputting a drawing showing a structure, and the display control unit displays a mirror image on the drawing and displays it on the display unit. According to this aspect, the damage diagram can be edited while viewing the drawings and the mirrored images displayed in a superimposed manner, so that an accurate damage diagram can be easily created.
- the operation unit receives a trace operation on the damaged image in the mirror image in a state where the mirror image is displayed on the display unit, and the display control unit The damaged figure corresponding to the operation is superimposed on the damaged image in the mirror image and displayed on the display unit, and the editing unit adds the damaged figure corresponding to the trace operation to the damage diagram.
- the operation unit receives a trace operation on the damaged image in the mirror image in a state where the mirror image is displayed on the display unit, and the display control unit The damaged figure corresponding to the operation is superimposed on the damaged image in the mirror image and displayed on the display unit, and the editing unit adds the damaged figure corresponding to the trace operation to the damage diagram.
- the damage diagram editing apparatus includes a damage detection unit that detects a damage image from a mirror image or an image before mirror reversal, and the display control unit corresponds to the detected damage image.
- the damaged figure is superimposed on the damaged image in the mirror image and displayed on the display unit, and the editing unit adds the damaged figure to the damage diagram.
- the damage figure corresponding to the damage image is automatically generated and automatically added to the damage figure, the damage figure in which the damage state is accurately reflected without performing complicated operations by the user. It becomes possible to get.
- the operation unit accepts input of inspection result information for damage in a state where the mirror image is displayed on the display unit, and the display control unit receives the input inspection. Result information and a mirror image are displayed on a display part, and an edit part adds the input inspection result information to a damage figure.
- the editing unit measures a feature amount of damage based on a mirror image or an image before mirror reversal, and displays information indicating the measured feature amount in the damage diagram.
- the damage diagram editing apparatus includes a damage diagram input unit that inputs a damage diagram indicating a state of damage as viewed from the side opposite to the imaging side of the structure.
- the damage diagram and the mirror image are displayed on the display unit.
- a damage diagram input unit for inputting a damage diagram showing a state of damage viewed from the side opposite to the imaging side of the structure, and the inputted damage diagram are structured.
- a damage diagram reversing unit for converting into a reverse damage diagram showing a damage state viewed from the imaging side of the object, and the display control unit displays the reverse damage diagram and the image on the display unit.
- the damage diagram showing the state of damage viewed from the side opposite to the imaging side of the structure is inverted, and the state of damage viewed from the image capturing side of the structure is inverted.
- a damage diagram reversing unit for converting to a damage diagram is provided. Switches the state displayed on the display unit.
- the mirror reversing unit analyzes the input image and determines the direction of the mirror reversal axis.
- the mirror reversing unit includes the second coordinate system based on the coordinate axis of the first coordinate system based on the structure and the imaging device capturing the image.
- the direction of the mirror reversal axis is determined based on the angle formed by the coordinate axis.
- the mirror reversing unit determines the direction of the mirror reversal axis based on the azimuth angle of the image capturing apparatus that captured an image with the structure as a reference.
- a step of inputting an image of a structure to be inspected, a step of mirroring the input image to obtain a mirror image, and a display device A step of displaying a mirror image and a damage diagram showing the state of damage to the structure according to the operation received by the operation device while the mirror image is displayed on the display device. Editing a damage diagram to be included.
- FIG. 1 is a perspective view showing a structure of a bridge as an example of a structure.
- FIG. 2 is a block diagram illustrating a configuration example of the damage diagram editing apparatus according to the first embodiment.
- FIG. 3 is a first explanatory diagram used for explaining the mirror inversion.
- FIG. 4 is a second explanatory diagram used for explanation of mirror reversal.
- FIG. 5 is an explanatory diagram showing an example of a damaged figure.
- FIG. 6 is an explanatory diagram showing an example of a damage diagram.
- FIG. 7 is an explanatory diagram illustrating an example of a reverse damage diagram.
- FIG. 8 is a flowchart showing the flow of the first damage diagram editing process example in the first embodiment.
- FIG. 9 is a diagram illustrating an example of a CAD drawing.
- FIG. 9 is a diagram illustrating an example of a CAD drawing.
- FIG. 10 is a diagram illustrating an example of the displayed image.
- FIG. 11 is a diagram illustrating an example of the displayed mirror image.
- FIG. 12 is a diagram illustrating an example in which a mirror image is displayed superimposed on a CAD drawing.
- FIG. 13 is a diagram illustrating a display example of an editing screen related to a floor slab space.
- FIG. 14 is a diagram schematically illustrating an example of a crack progression model in a floor slab.
- FIG. 15 is a flowchart illustrating a flow of a second damage diagram editing process example according to the first embodiment.
- FIG. 16 is a flowchart illustrating a flow of a third damage diagram editing process example according to the first embodiment.
- FIG. 17 is a block diagram illustrating a configuration example of a damage diagram editing apparatus according to the second embodiment.
- FIG. 18 is an explanatory diagram for explaining the mirror inversion variation, and is a diagram illustrating an example of an image for each floor slab.
- FIG. 19 is an explanatory diagram illustrating an example of an imaging device mounted on a suspended robot device.
- FIG. 20 is an explanatory diagram for explaining a mirror inversion variation.
- FIG. 1 is a perspective view showing a structure of a bridge as an example of a structure to which the present invention is applied, and is a perspective view when the bridge is viewed from below.
- the bridge 1 in this figure has a main girder 2, a cross girder 3, an inclined frame 4, and a horizontal frame 5.
- a floor slab 6 which is a concrete member is provided.
- the main girder 2 is a member that is passed between the abutment or the pier and supports the load on the floor slab 6.
- the cross beam 3 is a member for connecting the main beams 2 in order to support the load by the plurality of main beams 2.
- the anti-tilting structure 4 and the horizontal structure 5 are members that connect the main beam 2 in order to particularly resist lateral loads.
- the bridge 1 shown in FIG. 1 is an example of a structure introduced for use in the description of the present invention, and the “structure” in the present invention is not limited to such a bridge.
- the structure in the present invention may be a tunnel, for example.
- FIG. 2 is a block diagram illustrating a configuration example of the damage diagram editing apparatus according to the first embodiment.
- the imaging device 10 is configured by an imaging device that images a structure to be inspected.
- Examples of the imaging device include a digital camera and a smartphone. An imaging device other than these may be used.
- the damage diagram editing apparatus 20 includes a display unit 22 that can display an image, an operation unit 24 that receives a user's operation, and an image input unit 26 that inputs an image obtained by imaging the structure to be inspected by the imaging device 10. And a drawing input unit 28 for inputting a CAD (computer aided design) drawing indicating a structure to be inspected, a CPU (central processing unit) 30 for executing the program, and a program and information necessary for executing the program are stored. Storage unit 50.
- CAD computer aided design
- the display unit 22 is configured by a display device such as a liquid crystal display device.
- the operation unit 24 can be configured with a keyboard and a mouse.
- the operation unit 24 may be configured by an operation device other than these, for example, a touch panel.
- the image input unit 26 and the drawing input unit 28 can be configured by an input device that inputs a digital signal.
- an input device for example, a communication device that performs wireless communication or wired communication may be used.
- An interface device with a storage medium such as a memory card may be used as an input device.
- the CPU 30 may be composed of a plurality of CPUs.
- the storage unit 50 is configured by a memory device.
- the CPU 30 includes a display control unit 32 that controls the display unit 22, an image correction unit 34 that performs image correction, a mirror inversion unit 36 that mirrors and inverts an image to obtain a mirror image, and an image that performs image composition.
- the display control unit 32 causes the display unit 22 to display a mirror image superimposed on the CAD drawing. Further, the display control unit 32 causes the display unit 22 to display a mirror image and a damage diagram.
- the image correction unit 34 performs necessary image processing among enlargement / reduction, tilt correction, and rotation on the image. That is, the correction regarding the mismatch of the distance or the angle between the imaging target surface of the structure and the imaging device 10 over a plurality of divided images is performed.
- “Enlargement / reduction” in this example is a scale correction related to a mismatch in distance between the imaging apparatus 10 and the floor slab 6 (which is the imaging target surface) over a plurality of divided images.
- the image correction unit 34 in this example performs image processing for matching the scales of a plurality of images by enlarging or reducing the images.
- the “tilt correction” in this example is a correction related to the mismatch of the inclination angle of the floor slab 6 (which is the imaging surface) with respect to the imaging direction of the imaging apparatus 10 over a plurality of divided images.
- the image correction unit 34 in this example performs image processing for reducing or matching image distortion according to the inclination angle of the floor slab 6 with respect to the imaging direction.
- the “rotation” in this example is a correction related to a mismatch in the azimuth angle of the imaging apparatus 10 with respect to the floor slab 6 (which is the imaging target surface) over a plurality of divided images.
- the image correcting unit 34 in this example performs image processing for matching the angles of the floor slab 6 in the image between the plurality of images. Each correction parameter can be input from the operation unit 24.
- the operation unit 24 receives inputs such as distance information, tilt angle information, and azimuth angle information.
- Correction parameters may be acquired from the imaging device 10.
- the image correction unit 34 acquires coordinate values in the local coordinate system based on the imaging device 10, converts the coordinate values in the global coordinate system based on the bridge 1, and based on the coordinate values in the global coordinate system. Determine correction parameters.
- image correction may be performed using the correction parameters added to the image.
- Correction parameters may be derived based on the image. For example, it is possible to detect the edge of the case from the image, further calculate the shape, size, and angle of the edge region in the image based on the image, and derive the correction parameter based on the calculation result.
- the above-described “enlargement / reduction”, “tilting correction”, and “rotation” are combined, it can be performed as a single image processing.
- a known projective transformation can be used.
- the mirror reversing unit 36 performs mirror reversal, which is image processing for converting the image input by the image input unit 26 into a mirror image.
- a “mirror image” is also referred to as a “mirror image”.
- “Mirror reversal” is also called “mirroring”.
- the direction of the axis serving as the center of mirror reversal (hereinafter referred to as “mirror reversal axis”) is not limited to the vertical direction of the image. That is, mirror reversal is not limited to so-called left-right reversal.
- the mirror inversion includes inversions other than left-right inversion (for example, upside-down inversion).
- the mirror reversal in the present invention can be said to be image processing for reversing an image around the mirror reversal axis.
- the direction of the mirror reversal axis can be determined, for example, by analyzing the input image.
- the mirror inversion of the present invention includes an aspect in which the direction of the mirror inversion axis is fixed and an aspect in which the direction of the mirror inversion axis is variable. In the present specification, the latter variable direction mode will be described in detail later.
- an image IMG1 obtained by imaging from the lower side of the bridge 1 is converted into a mirrored image IMG2 corresponding to an image viewed from the upper side of the bridge 1 by mirror inversion.
- the shape of the damage is from the shape when viewed from the lower side of the bridge 1 (the shape in which “F” is turned upside down in FIG. 4) to the shape viewed from the upper side of the bridge 1 (the shape of “F” in FIG. 4).
- the position of damage in the image can also be converted from the position seen from the imaging side to the position seen from the side opposite to the imaging side by mirror inversion.
- the case where divided imaging is performed a plurality of times will be described in detail later.
- the image IMG1 since the direction of the coordinate axis Gx of the global coordinate system with respect to the bridge 1 matches the left-right direction (x direction) of the image IMG1, the image IMG1 is inverted upside down as a mirror inversion. However, for example, when the direction of the coordinate axis Gx of the global coordinate system matches the vertical direction (y direction) of the image IMG1, the image IMG1 is reversed left and right as mirror reversal.
- the image composition unit 38 displays these divided images as one sheet.
- Such an image composition mode includes a first image composition mode for synthesizing a plurality of mirror-inverted divided images (which are mirror images), and a plurality of segmented images (non-mirror movie) before mirror inversion.
- a second image composition mode for synthesizing the image. Details of each synthesis mode will be described later.
- the mirror inversion unit 36 mirrors and inverts each of the plurality of divided images. Further, in the first image composition mode, the display control unit 32 superimposes each of the mirror-inverted divided images on a region to be imaged in a CAD drawing showing a structure viewed from the side opposite to the imaging side. be able to.
- the mirror reversing unit 36 mirror-inverts the composite image obtained by combining the plurality of divided images by the image composition unit 38. Further, in the second image composition mode, the display control unit 32 can superimpose each divided image before mirror reversal on an imaged area in a CAD drawing showing a structure viewed from the imaging side.
- the damage detection unit 40 detects a damaged image from a mirror image (or an image before mirror reversal). For example, an image of damage (damage image) such as cracks, peeling, rebar exposure, free lime, and water leakage is detected from the mirror image of the floor slab 6 of the bridge 1, and the detected damage image is extracted from the mirror image.
- damage image an image of damage (damage image) such as cracks, peeling, rebar exposure, free lime, and water leakage is detected from the mirror image of the floor slab 6 of the bridge 1, and the detected damage image is extracted from the mirror image.
- the editing unit 42 has a damaged graphic generation function for generating a damaged graphic corresponding to the damaged image detected by the damage detection unit 40.
- the display control unit 32 causes the display unit 22 to display a damaged graphic corresponding to the detected damaged image on the damaged image in the mirror image.
- damage figures such as cracks, peeling, reinforcing bar exposure, free lime, and water leakage shown in FIG. 5 are generated.
- the shape of each damaged figure corresponds to the shape of the damaged image in the mirror image.
- the editing unit 42 adds the generated damaged graphic to the damage diagram.
- the editing unit 42 can generate a damaged graphic corresponding to the trace operation in the operation unit 24.
- the operation unit 24 receives a trace operation for a damaged image in the mirror image while the mirror image is displayed on the display unit 22.
- the display control unit 32 causes the display unit 22 to display the damaged figure corresponding to the trace operation on the damaged image in the mirror image.
- the editing unit 42 adds a damaged figure corresponding to the trace operation to the damage diagram. In addition to addition, it is preferable to accept various editing operations such as “deletion” and “correction”.
- the editing unit 42 adds various types of information input by the operation unit 24 to the damage diagram.
- the operation unit 24 receives input of inspection result information for damage in a state where a mirror image is displayed on the display unit 22.
- the display control unit 32 causes the display unit 22 to display the input inspection result information and the mirror image.
- the editing unit 42 adds the input inspection result information to the damage diagram. For example, when the type of damage and the evaluation category (also referred to as “rank information”) of the damage level are input from the operation unit 24, the damage is added to the damage diagram.
- the “input” of the inspection result information may be “selection input” that is an input in a format for selecting from predetermined candidates.
- the editing unit 42 has a feature amount measurement function for measuring a feature amount of damage based on a mirror image (or an image before mirror reversal).
- the editing unit 42 adds information indicating the measured feature amount to the damage diagram. For example, the width, length, and interval of the crack image in the mirror image of the floor slab 6 of the bridge 1 are detected as the dimensions of the local coordinate system, and the dimensions of the local coordinate system are converted into the dimensions of the global coordinate system.
- the display control unit 32 causes the display unit 22 to display the measured feature amount of damage and the mirror image.
- FIG. 6 is a diagram showing an example of a damage diagram.
- This damage diagram shows the damage figure that shows damage such as cracks, water leakage, and free lime for each damage, and the name of the member (in this example, “floor slab”) for each damage that occurred on the floor slab 6 of the bridge 1 to be inspected. ”), Element numbers (Ds0101 to Ds0104, Ds0201 to Ds0204), damage type (“ crack ”,“ water leakage ”,“ free lime ”, etc.), and evaluation category of damage level (also referred to as“ rank information ”) And the characteristic amount of damage (for example, the width and interval of cracks).
- the evaluation classification is represented by five levels of alphabets “a” to “e” as the degree of damage.
- the CPU 30 includes a damage diagram reversing unit 44 that reverses the damage diagram.
- FIG. 7 shows an example of an inversion damage diagram obtained by inverting the damage diagram shown in FIG.
- the damage diagram inversion unit 44 of the present example shows the damage diagram of FIG. 6 showing the state of damage viewed from the side opposite to the imaging side of the structure, as viewed from the imaging side of the structure. This is converted into the reverse damage diagram of FIG.
- the damage diagram inversion unit 44 of this example mirrors and inverts non-text components such as CAD drawings and damaged figures by the mirror inversion unit 36, while the member name, element number, damage type, rank information, and damage feature amount. This is preferable in that the position in the figure is changed without mirror-inverting the text component.
- the present invention includes a case where the text component is mirror-inverted similarly to the non-text component. By reversing the CAD drawing and damaged figure of the non-text component, it becomes easy to visually recognize at least whether the shape and position of the damaged figure are correct. For example, it becomes possible to compare with a sketch of a damaged state when the bridge 1 is viewed from below.
- the operation unit 24 receives a reversal operation related to the damage diagram.
- the display control unit 32 switches between the state where the damage diagram shown in FIG. 6 is displayed on the display unit 22 and the state where the reverse damage diagram shown in FIG. .
- FIG. 8 is a flowchart showing a flow of a first damage diagram editing process example in the first embodiment. This process is executed by the CPU 30 according to a program stored in the storage unit 50.
- a CAD drawing showing the bridge 1 is input by the drawing input unit 28 (step S2).
- the input CAD drawing is displayed on the display unit 22 by the display control unit 32 (step S4).
- FIG. 9 shows an example of a CAD drawing.
- “DsXXXX” (Ds0101 to Ds0104 and Ds0201 to DS0204) in the figure is an element number for identifying a space that is an element of the floor slab 6 of the bridge 1.
- “Ds” is a symbol representing “floor slab”
- XXXX is a grid-like array position of a space that is a range surrounded by the main beam 2 and the horizontal beam 3 of the floor slab 6. It is a number which shows.
- the floor slab 6 of this example is composed of a plurality of spaces in a lattice arrangement, and an element number is assigned to each space.
- the CAD drawing 80 of this example includes rectangular frame information of a case.
- the element number DsXXXX in the drawing may be omitted from the display unit 22.
- the coordinate axes Gx, Gy, and Gz of the global coordinate system with the bridge 1 as a reference are described in the drawing for later explanation, and the display on the display unit 22 may be omitted.
- the image of the floor slab 6 is input by the image input unit 26 (step S6). That is, an image obtained by imaging the floor slab 6 to be inspected by the imaging device 10 for each space of the grid arrangement is input. In this example, an image is input for each case, but a plurality of images may be input collectively.
- the image correction unit 34 performs necessary image correction among the enlargement / reduction (scale correction), the tilt correction, and the rotation (step S8). That is, the correction regarding the mismatch in the distance or angle between the floor slab 6 and the imaging device 10 across a plurality of spaces is performed. Note that this step can be omitted when there is no mismatch in distance and angle across a plurality of cases.
- FIG. 10 shows an image IMG11 between the elements having the element number Ds0101.
- This image IMG11 is an image showing a damaged state viewed from the lower side of the bridge 1, and is an image showing a damaged state of one of the floor slabs 6.
- FIG. 11 shows a mirror image IMG12 obtained by mirror-inverting the image IMG11 of FIG.
- the mirror image is inverted by using the image IMG11 as mirror inversion.
- IMG 12 is acquired. That is, the direction of the mirror reversal axis MAx in this example is the left-right direction (x direction) of the image IMG11.
- the mirror image IMG12 is superimposed on the CAD drawing 80 and displayed on the display unit 22 by the display control unit 32 (step S12).
- 12 shows an example in which the mirror image IMG12 shown in FIG. 11 is superimposed and displayed on the CAD drawing 80 shown in FIG. In the mirror image IMG12, unnecessary portions are trimmed. In this example, the edge of the case in the mirror image IMG 12 is aligned with the edge of the case in the CAD drawing 80.
- the damage detection unit 40 analyzes the mirror image IMG12 and detects a damage image from the mirror image IMG12 (step S14). For example, a cracked image is detected from the mirror image IMG12.
- the feature amount of damage is measured by the editing unit 42 based on the mirror image IMG12 (step S16). For example, the width and interval of cracks are measured as feature quantities.
- FIG. 13 shows a display example of an editing screen related to a case to which the element number Ds0101 of the floor slab 6 is assigned.
- the CAD drawing 80 and the mirror image IMG12 are displayed on the display unit 22, and at the same time, the damage list 82 is displayed.
- the “type” (type of damage) “crack” is automatically added to the damage list 82 by the editing unit 42. Will be filled in.
- the editing unit 42 puts them in the “dimension” column of the damage list 82. Completed automatically. Items that are not automatically entered by the editing unit 42 can be input by the operation unit 24. For example, when water leakage and free lime can be visually recognized in the mirror image IMG 12, the type “water leakage + free lime” can be input by the operation unit 24.
- the type and size of the crack can be input via the operation unit 24.
- a scale image for measuring the size of a crack can be displayed on the display unit 22, and the size of an undetected crack can be measured using the scale image. It is.
- the operation unit 24 can perform a tracing operation on the damaged image in the mirror image IMG12. For example, when the operation unit 24 is configured by a touch panel, if a cracked image in the mirror image IMG12 is traced with a finger or a pen, the trace of the trace is added to the damage diagram as a damaged figure.
- the shape and position of the crack image in the mirror image IMG12 in the CAD drawing 80 correspond to the shape and position of the actual crack when the bridge 1 is viewed from the upper side (the side opposite to the imaging side). Therefore, it is possible to input easily and accurately.
- the “category” in the damage list 82 is a column for inputting an evaluation category (also referred to as “rank information”) of the degree of damage.
- FIG. 14 is a diagram schematically illustrating an example of a crack progression model in the floor slab 6. In this progress model, the evaluation category RANK is expressed in five stages “a” to “e”. The correspondence relationship between each evaluation category RANK and the crack state STATE is as follows.
- C A state in which a crack in the vertical direction (longitudinal direction parallel to the direction of travel of the vehicle) and a crack in the horizontal direction intersect each other. This is a stage in which a plurality of cracks are formed in a lattice shape due to a live load, and the crack density in the lattice-shaped region increases. In the second half, cracks penetrate in the vertical direction of the floor slab (vertical direction perpendicular to the floor slab lower surface).
- D A state in which the crack density in the lattice-like region exceeds a specified value, and the fracture surfaces of a plurality of cracks that have penetrated are smoothed. This is the stage where the slab loses shear resistance due to the polishing action.
- step S20 it is determined whether or not editing for all elements has been completed.
- it is determined whether or not editing has been completed for all the spaces constituting the floor slab 6 in this example, element numbers Ds0101 to Ds0104 and Ds0201 to Ds0204).
- step S20 If there is an unedited element (NO in step S20), the process returns to step S6.
- editing for all elements has been completed YES in step S20
- editing for the entire damage diagram is performed (step S22). In this step, for example, a soundness determination category related to the entire floor slab 6 is input by the operation unit 24.
- a damage diagram that has been edited is output (step S24).
- the damage diagram can be displayed on the display unit 22 by the display control unit 32, and can be printed out on a printer (not shown) via the network.
- a printer for example, the damage diagram shown in FIG. 6 is printed out by a printer.
- the damage diagram can be uploaded to a database (not shown) via a network.
- the damage diagram shown in FIG. 6 does not include a mirror image, but the present invention is not limited to such a case.
- a mirror image may be included in the damage diagram.
- a mirror image may be embedded in the damage diagram instead of entering the damaged graphic. That is, the editing content of the damage diagram by the editing unit 42 may be changed as appropriate according to the format of the required or allowed damage diagram.
- FIG. 15 is a flowchart showing a flow of a second damage diagram editing process example in the first embodiment. This process is executed by the CPU 30 according to a program stored in the storage unit 50. The same steps as those in the first damage diagram editing process example shown in FIG. 8 are denoted by the same reference numerals, and the description thereof will be omitted below.
- the image input unit 26 inputs a plurality of divided images of the floor slab 6 of the bridge 1 (step S102).
- the image correction unit 34 performs necessary image correction on each divided image (step S104).
- the mirror reversing unit 36 mirrors each divided image (step S106).
- the plurality of mirror-inverted divided images are displayed on the display unit 22 so as to be superimposed on the CAD drawing showing the bridge 1 viewed from the side opposite to the imaging side (step S108).
- the image synthesizing unit 38 synthesizes a plurality of mirrored inverted images (step S110).
- FIG. 16 is a flowchart showing a flow of a third damage diagram editing process example in the first embodiment. This process is executed by the CPU 30 according to a program stored in the storage unit 50. The same steps as those in the first damage diagram editing process example shown in FIG. 8 are denoted by the same reference numerals, and the description thereof will be omitted below.
- the image input unit 26 inputs a plurality of divided images of the floor slab 6 of the bridge 1 (step S202).
- the image correction unit 34 performs necessary image correction on each divided image (step S204).
- a plurality of divided images are displayed on the display unit 22 so as to be superimposed on the CAD drawing showing the bridge 1 viewed from the imaging side (step S206).
- the image composition unit 38 composes a plurality of divided images (step S208).
- the composite image is mirror-inverted by the mirror inversion unit 36 (step S210).
- the CAD drawing can be mirror-inverted with the composite image.
- FIG. 17 is a block diagram illustrating a configuration example of the damage diagram editing apparatus 200 according to the second embodiment.
- symbol is attached
- the damage diagram editing apparatus 200 includes a damage diagram input unit 60 that inputs a damage diagram indicating a state of damage viewed from the side opposite to the imaging side of the structure.
- the damage diagram inversion unit 44 of this example converts the damage diagram input by the damage diagram input unit 60 into an inversion damage diagram showing the state of damage viewed from the imaging side of the structure.
- the display control unit 32 of the present example displays the first existing damage diagram display function for simultaneously displaying the input damage diagram and the mirror image on the display unit 22, and the reverse damage diagram and the non-mirror image. And a second existing damage diagram display function to display simultaneously.
- the progress of damage is compared with the past damage state viewed from the side opposite to the imaging side of the structure (for example, the upper side of the bridge 1) and the current mirror image. You can check the situation.
- the progress of damage is confirmed by comparing the past damage state viewed from the imaging side of the structure (for example, the lower side of the bridge 1) with the current image. Can do.
- the mirror reversing unit 36 has a function of determining the direction of the mirror reversal axis based on various information.
- the mirror reversing unit 36 performs mirror reversal around the mirror reversal axis in the determined direction.
- the image IMG21 includes an image EG (hereinafter referred to as an “edge image”) of the edge of the case.
- the shape of the edge of the case is a rectangle, and the two sides that form a rectangle are generally different in length. That is, the edge rectangle has a long side and a short side orthogonal to each other. Further, in the real space, the two sides of the edge rectangle that are orthogonal to each other have the same direction as the two coordinate axes Gx and Gy in the overall coordinate system with the bridge 1 as a reference.
- the mirror reversing unit 36 detects the edge image from the image before the mirror reversal (a composite image may be used in the case of divided imaging), and after projecting the edge image into a rectangle as necessary.
- the direction of the mirror reversal axis can be determined based on the direction of any one of the long side and the short side of the rectangle orthogonal to each other.
- the imaging object of the present invention (which is the inspection object) is not limited to the floor slab, and the direction of the mirror inversion axis may be determined based on the geometric characteristics of other imaging objects. Needless to say.
- the coordinate axes of the overall coordinate system (which is the “first coordinate system”) based on the structure and the local coordinate system (the “second coordinate system”) based on the imaging device 10 that captured the image.
- the direction of the mirror reversal axis is determined based on the angle formed by the coordinate axis.
- an image obtained by imaging by the imaging device 10 mounted on the robot device 70 is input by the image input unit 26, and imaging device control information according to the imaging device control of the robot device 70 is obtained. Is input by the image input unit 26.
- the imaging apparatus control information includes coordinate axes Gx, Gy, Gz of the global coordinate system with the bridge 1 as a reference, and coordinate axes Lx, Ly, Lz of a local coordinate system with the imaging apparatus 10 as a reference.
- one coordinate axis Lz among the three coordinate axes Lx, Ly, and Lz orthogonal to each other is an imaging direction (also referred to as an optical axis direction) of the imaging device 10 and the floor slab 6 of the bridge 1. Orthogonal to (the surface to be imaged). In other words, in this example, the direction of one coordinate axis Gz in the overall coordinate system and the direction of one coordinate axis Lz in the local coordinate system coincide.
- the robot apparatus 70 of this example is a suspended robot suspended from a bridge, and FIG. 19 shows only the main part related to the imaging.
- the suspended robot may be a robot that hangs on a traveling body (vehicle) on the bridge instead of hanging on the bridge.
- the present invention can also be applied to a case where an unmanned flying robot such as a drone (unmanned flying vehicle) is used instead of the suspended robot.
- the robot apparatus 70 of this example includes an imaging apparatus control mechanism 72 that controls the movement and rotation of the imaging apparatus 10.
- the imaging device control mechanism 72 rotates the imaging device 10 in the pan direction P and the tilt direction T, respectively, and an XYZ movement mechanism that can move the imaging device 10 in the Gx direction, the Gy direction, and the Gz direction orthogonal to each other. It also serves as a possible pan / tilt mechanism.
- the mirror reversing unit 36 determines the direction of the mirror reversal axis based on angle information indicating an angle formed by the coordinate axis Gx (or Gy) of the global coordinate system and the coordinate axis Lx (or Ly) of the local coordinate system. Is possible.
- the mirror reversing unit 36 uses the overall coordinate system.
- the direction of the mirror reversal axis can be determined based on the azimuth angle of the imaging device 10 with respect to the coordinate axis Gx or Gy.
- the angle information corresponding to the setting mode of the coordinate axes of the system and the angle control mode of the imaging apparatus 10 may be acquired, and the direction of the mirror reversal axis may be determined based on the angle information.
- the damage diagram editing device may be configured by at least one of the client device and the server device.
- the damage diagram editing apparatus of the present invention may be configured by one or a plurality of computer apparatuses of a client server type system.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Bridges Or Land Bridges (AREA)
Abstract
構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することを可能にする損傷図編集装置及び損傷図編集方法を提供する。点検対象の構造物の画像を鏡映反転する鏡映反転部(36)と、表示部(22)に鏡映画像を表示させる表示制御部(32)と、鏡映画像が表示部(22)に表示された状態で操作部(24)により受け付けられた操作に応じて、構造物の損傷の状態を示す損傷図であって鏡映画像に対応する損傷図を編集する編集部(42)と、を備える。
Description
本発明は、構造物の損傷状態を図示する損傷図を編集する損傷図編集装置及び損傷図編集方法に関し、特に、構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することを可能にする損傷図編集装置及び損傷図編集方法に関する。
社会的なインフラストラクチャーとして、橋梁、トンネル等の構造物が存在する。これらの構造物には損傷が発生し、その損傷は進行する性質を持つため、定期的に点検を行うことが求められる。
構造物を点検した調査員は点検の結果を示す帳票として所定形式の点検調書を作成する必要があり、その点検調書の一つとして構造物の損傷状態を図示する損傷図がある。所定形式で作成された損傷図を見ることにより、実際に点検した調査員とは異なる専門家であっても、構造物の損傷の進行状況を把握し、その構造物の維持管理計画を策定することが可能になる。
特許文献1には、建築物の外壁面のひび割れを示す図(上記の「損傷図」に相当)を作成する際に、建築物を示すCAD(computer aided design)図面と建築物の外壁面の撮像画像とを、コンピュータ装置の異なる表示領域に表示し、表示された撮像画像中のひび割れ画像が操作デバイスによりトレース操作されると、そのトレース操作に対応したトレース線図をCAD図面上に写像することが、記載されている。
特許文献2には、トンネルの内壁面の凹凸形状を示す展開図を作成する際に、トンネルの内壁面をレーザスキャナで計測して得られた計測データに基づいて凹凸形状図形を生成し、その凹凸形状図形に画像のパターンを描画することが、記載されている。この展開図は、トンネル上方からトンネルを透過して内壁面を見た場合の凹凸形状を示す図として作成できる。
所定形式の損傷図として、構造物の目視側とは反対側から見た損傷状態を図示する損傷図を作成することが求められる場合がある。例えば、橋梁の床版を目視点検する調査員は、実際には橋梁の下側から床版の損傷状態を目視しても、野帳には橋梁の上側から見た損傷状態としてスケッチし、所定形式の損傷図を作成する必要がある。
また、目視の代わりにデジタルカメラ等の撮像装置で床版を撮像する場合には、橋梁の下側から撮像して得られた床版の画像に従って、撮像側(橋梁の下側である)とは反対側(橋梁の上側である)から見た損傷状態を図示するように、所定形式の損傷図を作成する必要がある。
しかしながら、橋梁の下側から見た場合とその反対側である橋梁の上側から見た場合とでは、損傷の形状及び位置が異なって見えるため、損傷状態を正確に反映した損傷図を作成する負荷がかかる。例えばひび割れ状態を図示する損傷図を作成する場合、ひび割れの幅、ひび割れ同士の間隔といった数値を損傷図に記入するだけではなくて、ひび割れの形状及び位置を正確に損傷図に記入することが求められる。ここで、現実のひび割れ状態が損傷図に正確に反映されなかった場合、構造物の損傷の進行状況を的確に把握することが難しくなるので、適切な維持管理計画を策定することも難しくなる。
特許文献1に記載の技術によれば、調査員はコンピュータ装置に表示された撮像画像中のひび割れ画像をトレース操作することにより、そのひび割れ画像に対応するトレース線図をCAD図面上に写像させることができるが、構造物の撮像側とは反対側から見た損傷状態をCAD図面上に写像させることはできない。そもそも特許文献1の実施形態では点検対象が建築物の外壁面なので、撮像側(建築物の外側である)から見たひび割れ状態の図を作成することができれば十分であったと考えられる。
特許文献2に記載の技術によれば、トンネル上方からトンネルを透過して内壁面を見た場合の凹凸形状を示す展開図を作成できるが、レーザスキャナでトンネルの内壁面の凹凸形状を計測する必要があり、レーザスキャナを用いない場合には、トンネル上方から見た場合の内壁面の凹凸形状を示す展開図を作成することができない。
本発明は、構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することを可能にする損傷図編集装置及び損傷図編集方法を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る損傷図編集装置は、点検対象の構造物の画像を入力する画像入力部と、入力された画像を鏡映反転して鏡映画像を取得する鏡映反転部と、表示部と、表示部に鏡映画像を表示させる表示制御部と、ユーザの操作を受け付ける操作部と、鏡映画像が表示部に表示された状態で操作部により受け付けられた操作に応じて、構造物の損傷の状態を示す損傷図であって鏡映画像に対応する損傷図を編集する編集部と、を備える。
本態様によれば、入力された画像を鏡映反転して鏡映画像が取得され、鏡映画像が表示部に表示された状態で操作部により受け付けられた操作に応じて、構造物の損傷の状態を示す損傷図であって鏡映画像に対応する損傷図が編集されるので、ユーザは鏡映画像を見ながら編集操作を行うことにより鏡映画像に対応する損傷図を取得することができる。つまり、構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することが可能になる。
本発明の第2の態様に係る損傷図編集装置は、画像合成を行う画像合成部を備え、画像入力部は、構造物の複数の分割画像を画像として入力し、鏡映反転部は、複数の分割画像のそれぞれを鏡映反転し、画像合成部は、鏡映反転された複数の分割画像を合成する。本態様によれば、分割撮像の場合でも、構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することが可能になる。
本発明の第3の態様に係る損傷図編集装置は、画像合成を行う画像合成部を備え、画像入力部は、構造物の複数の分割画像を画像として入力し、鏡映反転部は、画像合成部により複数の分割画像を合成して得られた合成画像を鏡映反転する。本態様によれば、分割撮像の場合でも、構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することが可能になる。
本発明の第4の態様に係る損傷図編集装置では、画像合成部は、複数の分割画像のそれぞれに対して、拡縮、あおり補正及び回転のうち少なくとも一つの画像処理を行うことにより、複数の分割画像にわたる構造物の被撮像面と画像を撮像した撮像装置との距離又は角度の不一致に関する補正を行う。本態様によれば、複数の分割画像にわたり構造物の被撮像面と撮像装置との距離又は角度の不一致の影響が存在する場合でも精度の高い損傷図を生成することが可能になる。
本発明の第5の態様に係る損傷図編集装置では、構造物を示す図面を入力する図面入力部を備え、表示制御部は、図面に鏡映画像を重ね合わせて表示部に表示させる。本態様によれば、重ね合わせて表示された図面及び鏡映画像を見ながら損傷図の編集操作を行うことができるので、正確な損傷図を容易に作成することが可能になる。
本発明の第6の態様に係る損傷図編集装置では、操作部は、表示部に鏡映画像が表示された状態で鏡映画像中の損傷画像に対するトレース操作を受け付け、表示制御部は、トレース操作に対応する損傷図形を鏡映画像中の損傷画像に重ね合わせて表示部に表示させ、編集部は、トレース操作に対応する損傷図形を損傷図に追加する。本態様によれば、鏡映画像中の損傷画像をトレース操作することにより、正確な損傷図を容易に作成することが可能になる。
本発明の第7の態様に係る損傷図編集装置では、鏡映画像又は鏡映反転前の画像から損傷画像を検出する損傷検出部を備え、表示制御部は、検出された損傷画像に対応する損傷図形を鏡映画像中の損傷画像に重ね合わせて表示部に表示させ、編集部は、損傷図形を損傷図に追加する。本態様によれば、損傷画像に対応する損傷図形が自動的に生成されて損傷図に自動的に追加されるので、ユーザは煩雑な操作を行うことなく損傷状態が正確に反映された損傷図を取得することが可能になる。
本発明の第8の態様に係る損傷図編集装置では、操作部は、表示部に鏡映画像が表示された状態で損傷に対する点検結果情報の入力を受け付け、表示制御部は、入力された点検結果情報と鏡映画像とを表示部に表示させ、編集部は、入力された点検結果情報を損傷図に追加する。
本発明の第9の態様に係る損傷図編集装置では、編集部は、鏡映画像又は鏡映反転前の画像に基づいて損傷の特徴量を計測し、計測した特徴量を示す情報を損傷図に追加する。
本発明の第10の態様に係る損傷図編集装置では、構造物の撮像側とは反対側から見た損傷の状態を示す損傷図を入力する損傷図入力部を備え、表示制御部は、入力された損傷図と鏡映画像とを表示部に表示させる。
本発明の第11の態様に係る損傷図編集装置では、構造物の撮像側とは反対側から見た損傷の状態を示す損傷図を入力する損傷図入力部と、入力された損傷図を構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する損傷図反転部と、を備え、表示制御部は、反転損傷図と画像とを表示部に表示させる。
本発明の第12の態様に係る損傷図編集装置では、構造物の撮像側とは反対側から見た損傷の状態を示す損傷図を、構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する損傷図反転部を備え、操作部は、損傷図に関する反転操作を受け付け、表示制御部は、反転操作に応じて、損傷図が表示部に表示された状態と反転損傷図が表示部に表示された状態とを切替える。
本発明の第13の態様に係る損傷図編集装置では、鏡映反転部は、入力された画像を画像解析して、鏡映反転軸の方向を決定する。
本発明の第14の態様に係る損傷図編集装置では、鏡映反転部は、構造物を基準とした第1の座標系の座標軸と画像を撮像した撮像装置を基準とした第2の座標系の座標軸とがなす角度に基づいて、鏡映反転軸の方向を決定する。
本発明の第15の態様に係る損傷図編集装置では、鏡映反転部は、構造物を基準として、画像を撮像した撮像装置の方位角度に基づいて、鏡映反転軸の方向を決定する。
本発明の第16の態様に係る損傷図編集方法では、点検対象の構造物の画像を入力するステップと、入力された画像を鏡映反転して鏡映画像を取得するステップと、表示デバイスに鏡映画像を表示させるステップと、鏡映画像が表示デバイスに表示された状態で操作デバイスにより受け付けられた操作に応じて、構造物の損傷の状態を示す損傷図であって鏡映画像に対応する損傷図を編集するステップと、を備える。
構造物の撮像側とは反対側から見た損傷状態を図示する損傷図を正確且つ容易に編集することが可能になる。
以下、添付図面に従って、本発明に係る損傷図編集装置及び損傷図編集方法を実施するための形態について説明する。
[構造物例]
図1は、本発明が適用される構造物の一例である橋梁の構造を示す斜視図であって、橋梁を下側から見た場合の斜視図である。本図の橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有する。主桁2の上部には、コンクリート製の部材である床版6が設けられている。主桁2は、橋台又は橋脚の間に渡され、床版6上の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支えるため、主桁2を連結する部材である。対傾構4及び横構5は、特に横荷重に抵抗するため、主桁2を連結する部材である。
図1は、本発明が適用される構造物の一例である橋梁の構造を示す斜視図であって、橋梁を下側から見た場合の斜視図である。本図の橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有する。主桁2の上部には、コンクリート製の部材である床版6が設けられている。主桁2は、橋台又は橋脚の間に渡され、床版6上の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支えるため、主桁2を連結する部材である。対傾構4及び横構5は、特に横荷重に抵抗するため、主桁2を連結する部材である。
尚、図1に示した橋梁1は本発明の説明に用いるために紹介した構造物の一例であり、本発明における「構造物」はこのような橋梁に限定されない。本発明における構造物は、例えばトンネルでもよい。
[第1の実施形態]
図2は、第1の実施形態における損傷図編集装置の構成例を示すブロック図である。
図2は、第1の実施形態における損傷図編集装置の構成例を示すブロック図である。
撮像装置10は、点検対象の構造物を撮像する撮像デバイスによって構成される。撮像デバイスの例として、デジタルカメラ、スマートフォンが挙げられる。これら以外の撮像デバイスを用いてもよい。
損傷図編集装置20は、画像表示可能な表示部22と、ユーザの操作を受け付ける操作部24と、点検対象の構造物を撮像装置10により撮像して得られた画像を入力する画像入力部26と、点検対象の構造物を示すCAD(computer aided design)図面を入力する図面入力部28と、プログラムを実行するCPU(central processing unit)30と、プログラム及びそのプログラムの実行に必要な情報を記憶する記憶部50とを備える。
表示部22は、液晶表示デバイス等の表示デバイスによって構成される。操作部24は、キーボード及びマウスによって構成することができる。これら以外の操作デバイス、例えばタッチパネルによって操作部24を構成してもよい。画像入力部26及び図面入力部28は、デジタル信号の入力を行う入力デバイスによって構成することができる。このような入力デバイスとして、例えば、無線通信又は有線通信を行う通信デバイスを用いてもよい。メモリカード等の記憶媒体とのインタフェースデバイスを入力デバイスとして用いてもよい。CPU30は、複数のCPUにより構成してもよい。記憶部50は、メモリデバイスによって構成される。
CPU30は、表示部22を制御する表示制御部32と、画像補正を行う画像補正部34と、画像を鏡映反転して鏡映画像を取得する鏡映反転部36と、画像合成を行う画像合成部38と、鏡映画像(又は鏡映反転前の画像)から損傷画像を検出する損傷検出部40と、構造物の損傷の状態を示す損傷図であって鏡映画像に対応する損傷図を編集する編集部42とを含んで構成される。
表示制御部32は、CAD図面に鏡映画像を重ね合わせて表示部22に表示させる。また、表示制御部32は、鏡映画像及び損傷図を表示部22に表示させる。
画像補正部34は、画像に対して、拡縮、あおり補正及び回転のうち必要な画像処理を行う。つまり、複数の分割画像にわたる構造物の被撮像面と撮像装置10との距離又は角度の不一致に関する補正を行う。本例での「拡縮」は、複数の分割画像にわたる、撮像装置10と床版6(被撮像面である)との距離の不一致に関する縮尺補正である。本例の画像補正部34は、画像の拡大又は縮小により複数の画像間で縮尺を一致させる画像処理を行う。本例での「あおり補正」は、複数の分割画像にわたる、撮像装置10の撮像方向に対する床版6(被撮像面である)の傾き角度の不一致に関する補正である。本例の画像補正部34は、撮像方向に対する床版6の傾き角度に応じた画像の歪みを削減又は一致させる画像処理を行う。本例での「回転」は、複数の分割画像にわたる、床版6(被撮像面である)に対する撮像装置10の方位角度の不一致に関する補正である。本例の画像補正部34は、画像中の床版6の角度を複数の画像間で一致させる画像処理を行う。各補正のパラメータは、操作部24から入力することができる。例えば、距離情報、傾き角度情報、方位角度情報等の入力を操作部24により受け付ける。撮像装置10から補正パラメータを取得してもよい。例えば、画像補正部34は、撮像装置10に基づいた局所座標系における座標値を取得して、橋梁1に基づいた全体座標系における座標値に変換し、その全体座標系の座標値に基づいて補正パラメータを決定する。画像に補正パラメータが付加されている場合には、その画像に付加された補正パラメータを用いて画像補正を行えばよい。画像に基づいて補正パラメータを導き出してもよい。例えば、画像から格間の縁部を検出し、更に画像に基づいて画像中の縁部領域の形状、サイズ及び角度を算出し、その算出結果に基づいて補正パラメータを導き出すことができる。尚、上述の「拡縮」、「あおり補正」及び「回転」を組み合わせる場合、一回の画像処理として行うことができる。その画像処理として公知の射影変換を用いることができる。
鏡映反転部36は、画像入力部26により入力された画像を鏡映画像に変換する画像処理である、鏡映反転を行う。「鏡映画像」は、「ミラー画像」ともいう。「鏡映反転」は「ミラーリング」ともいう。鏡映反転の中心となる軸(以下「鏡映反転軸」という)の方向は、画像の上下方向には限定されない。つまり鏡映反転は、いわゆる左右反転には限定されない。鏡映反転は、左右反転以外の反転(例えば上下反転)を含む。本発明における鏡映反転は、鏡映反転軸を中心として画像を反転させる画像処理であるといえる。鏡映反転軸の方向は、例えば、入力された画像を画像解析して、決定することができる。また、本発明の鏡映反転は、鏡映反転軸の方向を固定にした態様と、鏡映反転軸の方向を可変にした態様とがある。本明細書において、後者の方向可変の態様は後に詳説する。
このような鏡映反転について、図3及び図4を用いて説明する。図3に示すように、仮に床版6の上面に描かれた「F」の文字を床版6の下側から透視したとすると、実際には「F」を上下反転した形状に見える。これは「F」が非線対称の形状を有するからである。同様に、一般的な損傷(例えばひび割れ)は、非線対称の形状を有するため、橋梁1の下側から床版6を撮像して得られた画像中の損傷の形状と、橋梁1の上側から床版6を透視して見た場合の損傷の形状とは、互いに鏡映反転の関係になることが分かる。そこで、図4に示すように、橋梁1の下側から撮像して得られた画像IMG1を、鏡映反転により、橋梁1の上側から見た画像に相当する鏡映画像IMG2に変換する。そうすると、損傷の形状は、橋梁1の下側から見た場合の形状(図4では「F」を上下反転した形状)から、橋梁1の上側から見た形状(図4では「F」の形状)に変換される。画像中の損傷の位置も、鏡映反転により、撮像側から見た場合の位置から、撮像側とは反対側から見た場合の位置に変換できることが分かる。尚、複数回に分割撮像した場合については、後に詳説する。
図4に示した例では、橋梁1を基準とした全体座標系の座標軸Gxの方向と画像IMG1の左右方向(x方向)とがマッチングしているため、鏡映反転として画像IMG1を上下反転したが、例えば全体座標系の座標軸Gxの方向と画像IMG1の上下方向(y方向)とがマッチングしている場合には、鏡映反転として画像IMG1を左右反転させる。
画像合成部38は、構造物を複数回に分割撮像して得られた複数の画像(以下「分割画像」という)が画像入力部26に入力された場合、これらの複数の分割画像を一枚の画像に合成する。このような画像合成の態様には、鏡映反転された複数の分割画像(鏡映画像である)を合成する第1の画像合成態様と、鏡映反転前の複数の分割画像(非鏡映画像である)を合成する第2の画像合成態様とがある。各合成態様の詳細は後述する。
第1の画像合成態様では、鏡映反転部36は、複数の分割画像のそれぞれを鏡映反転する。また、第1の画像合成態様では、表示制御部32は、鏡映反転された各分割画像を、撮像側とは反対側から見た構造物を示すCAD図面のうちの被撮像領域に重ね合わせることができる。第2の画像合成態様では、鏡映反転部36は、画像合成部38により複数の分割画像を合成して得られた合成画像を鏡映反転する。また、第2の画像合成態様では、表示制御部32は、鏡映反転前の各分割画像を、撮像側から見た構造物を示すCAD図面のうちの被撮像領域に重ね合わせることができる。
損傷検出部40は、鏡映画像(又は鏡映反転前の画像)から損傷画像を検出する。例えば、橋梁1の床版6の鏡映画像から、ひび割れ、剥離、鉄筋露出、遊離石灰、漏水といった損傷の画像(損傷画像)を検出し、その検出した損傷画像を鏡映画像から抽出する。
編集部42は、損傷検出部40によって検出された損傷画像に対応する損傷図形を生成する損傷図形生成機能を有する。表示制御部32は、検出された損傷画像に対応する損傷図形を、鏡映画像中の損傷画像に重ね合わせて表示部22に表示させる。例えば、図5に示す、ひび割れ、剥離、鉄筋露出、遊離石灰、漏水などの損傷図形が生成される。各損傷図形の形状は、鏡映画像中の損傷画像の形状に相当する。編集部42は、生成した損傷図形を、損傷図に追加する。
また、編集部42は、操作部24でのトレース操作に対応する損傷図形を生成することができる。操作部24は、表示部22に鏡映画像が表示された状態で鏡映画像中の損傷画像に対するトレース操作を受け付ける。表示制御部32は、トレース操作に対応する損傷図形を鏡映画像中の損傷画像に重ね合わせて表示部22に表示させる。編集部42は、トレース操作に対応する損傷図形を損傷図に追加する。また、追加だけでなく、「削除」、「修正」といった各種の編集操作も受け付けることが、好ましい。
また、編集部42は、操作部24により入力された各種の情報を、損傷図に追加する。操作部24は、表示部22に鏡映画像が表示された状態で損傷に対する点検結果情報の入力を受け付ける。表示制御部32は、入力された点検結果情報と鏡映画像とを表示部22に表示させる。編集部42は、入力された点検結果情報を損傷図に追加する。例えば、損傷の種類、及び損傷程度の評価区分(「ランク情報」ともいう)を、操作部24から入力すると、損傷図に追加される。尚、点検結果情報の「入力」は、予め決められた候補から選択する形式の入力である「選択入力」でもよい。
また、編集部42は、鏡映画像(又は鏡映反転前の画像)に基づいて損傷の特徴量を計測する特徴量計測機能を有する。編集部42は、計測した特徴量を示す情報を損傷図に追加する。例えば、橋梁1の床版6の鏡映画像中におけるひび割れ画像の幅、長さ、及び間隔を局所座標系の寸法として検出し、その局所座標系の寸法を全体座標系の寸法に換算する。表示制御部32は、計測された損傷の特徴量と鏡映画像とを、表示部22に表示させる。
図6は、損傷図の例を示す図である。この損傷図は、点検対象である橋梁1の床版6に生じた各損傷について、格間ごとに、ひび割れ、漏水、遊離石灰といった損傷を示す損傷図形と、部材名(本例では「床版」)と、要素番号(Ds0101~Ds0104、Ds0201~Ds0204)と、損傷の種類(「ひび割れ」、「漏水」、「遊離石灰」等)と、損傷程度の評価区分(「ランク情報」ともいう)と、損傷の特徴量(例えばひび割れの幅、間隔)とが記載されたものである。本図では、損傷程度として評価区分を、アルファベットの「a」~「e」により、五段階で表している。
更に、CPU30は、損傷図を反転する損傷図反転部44を備える。図7は、図6に示した損傷図を反転した反転損傷図の例を示す。図7に示すように、本例の損傷図反転部44は、構造物の撮像側とは反対側から見た損傷の状態を示す図6の損傷図を、構造物の撮像側から見た損傷の状態を示す図7の反転損傷図に、変換する。
本例の損傷図反転部44は、CAD図面、損傷図形といった非テキスト成分を鏡映反転部36により鏡映反転する一方で、部材名、要素番号、損傷の種類、ランク情報、損傷の特徴量といったテキスト成分を鏡映反転せずに図中の位置を変更している点で、好ましい。ただし、テキスト成分を非テキスト成分と同様に鏡映反転する場合も本発明に含まれる。非テキスト成分のCAD図面及び損傷図形が鏡映反転されることにより、少なくとも損傷図形の形状及び位置が正しいか否かを視認し易くなる。例えば、橋梁1を下側から見た場合の損傷状態のスケッチと比較可能になる。
操作部24は、損傷図に関する反転操作を受け付ける。表示制御部32は、反転操作に応じて、図6に示した損傷図が表示部22に表示された状態と、図7に示した反転損傷図が表示部22に表示された状態とを切替える。
次に、本発明の損傷図編集方法を適用した損傷図編集処理例について説明する。
図8は、第1の実施形態における第1の損傷図編集処理例の流れを示すフローチャートである。本処理は、記憶部50に記憶されたプログラムに従って、CPU30により実行される。
まず、図面入力部28により、橋梁1を示すCAD図面を入力する(ステップS2)。入力されたCAD図面を、表示制御部32により表示部22に表示させる(ステップS4)。図9は、CAD図面の一例を示す。図中の「DsXXXX」(Ds0101~Ds0104及びDs0201~DS0204)は、橋梁1の床版6の要素である格間を識別する要素番号である。ここで「Ds」は、「床版」を表わす記号であり、「XXXX」は、床版6のうちの主桁2と横桁3とで囲まれた範囲である格間の格子状配列位置を示す番号である。言い換えると、本例の床版6は、格子状配列の複数の格間によって構成されており、格間毎に要素番号が付与されている。本例のCAD図面80は、格間の矩形枠情報を含んでいる。図中の要素番号DsXXXXは、表示部22での表示を省略してもよい。橋梁1を基準とした全体座標系の座標軸Gx、Gy、Gzは、後の説明のために図中に記載したものであり、表示部22での表示を省略してよい。
次に、画像入力部26により、床版6の格間の画像を入力する(ステップS6)。つまり、撮像装置10により点検対象の床版6を格子状配列の格間ごとに撮像して得られた画像を入力する。本例では格間ごとに画像を入力するが、複数の画像を一括入力してもよい。
次に、画像補正部34により、格間の画像に対して、拡縮(縮尺補正)、あおり補正、及び回転のうち、必要な画像補正が行われる(ステップS8)。つまり、複数の格間にわたる床版6と撮像装置10との距離又は角度の不一致に関する補正が行われる。尚、複数の格間にわたり距離及び角度の不一致が無い場合には、本ステップを省略できる。
次に、鏡映反転部36により、格間の画像を鏡映反転する(ステップS10)。図10は、要素番号Ds0101の格間の画像IMG11を示す。この画像IMG11は、橋梁1の下側から見た損傷状態を示す画像であって、床版6のうちの一つの格間の損傷状態を示す画像である。図11は、図10の画像IMG11を鏡映反転して得られた鏡映画像IMG12を示す。本例では、橋梁1を基準とした全体座標系の座標軸Gxと画像IMG11の左右方向(x方向)とがマッチングしているので、画像IMG11を鏡映反転として上下反転することにより、鏡映画像IMG12が取得される。つまり、本例での鏡映反転軸MAxの方向は、画像IMG11の左右方向(x方向)である。
次に、表示制御部32により、鏡映画像IMG12をCAD図面80に重ね合わせて表示部22に表示させる(ステップS12)。図12は、図9に示したCAD図面80に、図11に示した鏡映画像IMG12を重ね合わせて表示した例を示す。尚、鏡映画像IMG12は、不要部分をトリミングしてある。本例では、鏡映画像IMG12中の格間の縁部を、CAD図面80中の格間の縁部に対して位置合わせしてある。
次に、損傷検出部40により、鏡映画像IMG12を画像解析して、鏡映画像IMG12から損傷画像を検出する(ステップS14)。例えば、ひび割れの画像が、鏡映画像IMG12から検出される。
次に、編集部42により、鏡映画像IMG12に基づいて、損傷の特徴量を計測する(ステップS16)。例えば、ひび割れの幅及び間隔が、特徴量として計測される。
次に、編集部42により、損傷図の各要素に関する編集を行う(ステップS18)。図13は、床版6の要素番号Ds0101が付与された格間に関する編集画面の表示例を示す。本例では、表示部22に、CAD図面80及び鏡映画像IMG12を表示させると同時に、損傷リスト82を表示させている。本例では、要素番号Ds0101の格間に、前述のステップS14でひび割れが検出されているので、その「種別」(損傷の種類)である「ひび割れ」が編集部42により損傷リスト82に自動的に記入される。また、要素番号Ds0101の格間の「ひび割れ」の特徴量として、前述のステップS16で「ひび割れ」の幅及び間隔が計測されているので、編集部42により損傷リスト82の「寸法」の欄に自動的に記入される。編集部42により自動的に記入されなかった項目は、操作部24により入力することができる。例えば、鏡映画像IMG12中に漏水及び遊離石灰を視認できる場合、その種別である「漏水+遊離石灰」を操作部24により入力することができる。
また、自動的に未検出のひび割れが鏡映画像IMG12中に視認できる場合、そのひび割れの種別及び寸法を操作部24により入力することができる。尚、図13では図示しなかったが、ひび割れの寸法を計測するためのスケール画像を表示部22に表示させることができ、そのスケール画像を用いて未検出のひび割れの寸法を計測することが可能である。未検出のひび割れを損傷図に反映させるため、鏡映画像IMG12中の損傷画像に対して、操作部24によりトレース操作を行うことができる。例えば、操作部24がタッチパネルにより構成されている場合、鏡映画像IMG12中のひび割れ画像を指あるいはペンでトレースすると、そのトレースの軌跡が損傷図形として損傷図に追加される。ここで、CAD図面80における鏡映画像IMG12中のひび割れ画像の形状及び位置は、橋梁1を上側(撮像側とは反対側である)から見た場合の実際のひび割れの形状及び位置に相当するので、容易且つ正確に入力することができる。
損傷リスト82の「区分」は、損傷程度の評価区分(「ランク情報」ともいう)を入力するための欄である。図14は、床版6におけるひび割れの進行モデルの一例を模式的に示す図である。この進行モデルでは、評価区分RANKが「a」~「e」の五段階で表される。各評価区分RANKとひび割れ状態STATEとの対応関係は次の通りである。
a:損傷なし。
b:横方向(車輌の通行方向に直交する短手方向)に沿って複数のひび割れが並列に発生した状態である。乾燥収縮による複数のひび割れが並列の梁状になる段階である。
c:縦方向(車輌の通行方向に平行な長手方向)のひび割れ及び横方向のひび割れが互いに交差した状態である。活荷重により複数のひび割れが格子状になり、その格子状の領域のひび割れ密度が増加する段階である。後半時期には、ひび割れが床版の上下方向(床版下面に直交する垂直方向)で貫通する。
d:格子状の領域のひび割れ密度が規定値を超え、貫通した複数のひび割れの破面同士が平滑化された状態である。摺り磨き作用により床版がせん断抵抗を失う段階である。
e:抜け落ちが生じた状態である。低下した押抜きせん断強度を超える輪荷重により抜け落ちが生じる。
次に、全要素に関する編集が終了したか否かを判定する(ステップS20)。本例では、床版6を構成する全ての格間(本例では要素番号Ds0101~Ds0104及びDs0201~Ds0204)について編集が終了したか否かを判定する。
未編集の要素がある場合(ステップS20でNOの場合)、ステップS6に戻る。全ての要素に関する編集が終了した場合(ステップS20でYESの場合)、損傷図の全体に関する編集を行う(ステップS22)。本ステップでは、例えば、床版6の全体に関する健全性の判定区分を操作部24により入力する。
次に、編集が完了した損傷図を出力する(ステップS24)。損傷図は、表示制御部32により表示部22に表示出力させることができるほか、ネットワークを介してプリンタ(図示を省略)に印刷出力させることができる。例えば、図6に示した損傷図がプリンタにより印刷出力される。また、損傷図は、ネットワークを介してデータベース(図示を省略)にアップロードすることができる。
尚、図6に示した損傷図には、鏡映画像が含まれないが、このような場合に本発明は限定されない。損傷図に鏡映画像を含めてもよい。また、損傷図に対して、損傷図形を記入する代わりに鏡映画像を埋め込むようにしてもよい。即ち、要求又は許容される損傷図の形式に応じて、編集部42による損傷図の編集内容を適宜変更してよい。
以上、床版6の格間ごとの画像を入力した場合の処理例を説明したが、格間を複数回に分割して撮像した複数の分割画像を入力した場合には、複数の分割画像を格間ごとに一枚の合成画像に合成することが、好ましい。以下では、複数の分割画像を鏡映反転後に合成する場合と、複数の分割画像を合成後に鏡映反転する場合とに分けて、損傷図編集処理例を紹介する。
図15は、第1の実施形態における第2の損傷図編集処理例の流れを示すフローチャートである。本処理は、記憶部50に記憶されたプログラムに従って、CPU30により実行される。尚、図8に示した第1の損傷図編集処理例と同様のステップには同じ符号を付してあり、説明済みの内容を以下では省略する。
本例では、画像入力部26により、橋梁1の床版6の複数の分割画像を入力する(ステップS102)。次に、画像補正部34により、各分割画像に対して必要な画像補正を行う(ステップS104)。次に、鏡映反転部36により、各分割画像を鏡映反転する(ステップS106)。次に、鏡映反転された複数の分割画像(鏡映画像である)を、撮像側とは反対側から見た橋梁1を示すCAD図面に重ね合わせて表示部22に表示させる(ステップS108)。次に、画像合成部38により、鏡映反転された複数の分割画像を合成する(ステップS110)。
図16は、第1の実施形態における第3の損傷図編集処理例の流れを示すフローチャートである。本処理は、記憶部50に記憶されたプログラムに従って、CPU30により実行される。尚、図8に示した第1の損傷図編集処理例と同様のステップには同じ符号を付してあり、説明済みの内容を以下では省略する。
本例では、画像入力部26により、橋梁1の床版6の複数の分割画像を入力する(ステップS202)。次に、画像補正部34により、各分割画像に対して必要な画像補正を行う(ステップS204)。次に、複数の分割画像(非鏡映画像である)を、撮像側から見た橋梁1を示すCAD図面に重ね合わせて表示部22に表示させる(ステップS206)。次に、画像合成部38により、複数の分割画像を合成する(ステップS208)。次に、鏡映反転部36により、合成画像を鏡映反転する(ステップS210)。CAD図面を合成画像と共に鏡映反転することができる。
[第2の実施形態]
図17は、第2の実施形態における損傷図編集装置200の構成例を示すブロック図である。尚、図2に示した第1の実施形態における損傷図編集装置20と同じ構成要素には同じ符号を付してあり、既に説明した内容を省略する。
図17は、第2の実施形態における損傷図編集装置200の構成例を示すブロック図である。尚、図2に示した第1の実施形態における損傷図編集装置20と同じ構成要素には同じ符号を付してあり、既に説明した内容を省略する。
第2の実施形態の損傷図編集装置200は、構造物の撮像側とは反対側から見た損傷の状態を示す損傷図を入力する損傷図入力部60を備える。
本例の損傷図反転部44は、損傷図入力部60により入力された損傷図を、構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する。
本例の表示制御部32は、入力された損傷図と鏡映画像とを表示部22に同時に表示させる第1の既存損傷図表示機能と、反転損傷図と非鏡映画像とを表示部22に同時に表示させる第2の既存損傷図表示機能とを有する。
第1の既存損傷図表示機能によれば、構造物の撮像側とは反対側(例えば橋梁1の上側)から見た過去の損傷状態と、現在の鏡映画像とを見比べて、損傷の進行状況を確認することができる。
第2の既存損傷図表示機能によれば、構造物の撮像側(例えば橋梁1の下側)から見た過去の損傷状態と、現在の画像とを見比べて、損傷の進行状況を確認することができる。
[鏡映反転のバリエーション]
前述の第1の実施形態及び第2の実施形態では、本発明の理解を容易にするため、鏡映反転軸の方向が固定である場合を例に説明したが、本発明はそのような鏡映反転軸の方向が固定である場合に限定されない。本発明は、鏡映反転軸の方向を可変にした構成でもよい。
前述の第1の実施形態及び第2の実施形態では、本発明の理解を容易にするため、鏡映反転軸の方向が固定である場合を例に説明したが、本発明はそのような鏡映反転軸の方向が固定である場合に限定されない。本発明は、鏡映反転軸の方向を可変にした構成でもよい。
鏡映反転部36は、各種の情報に基づいて、鏡映反転軸の方向を決定する機能を有する。鏡映反転部36は、決定した方向の鏡映反転軸を中心として鏡映反転を行う。
第1に、画像入力部26により入力された画像(鏡映反転前の画像である)を画像解析して、その画像解析の結果に基づいて鏡映反転軸の方向を決定する態様がある。
例えば、図18に示す、床版6の格間ごとの画像IMG21を取得したとする。この画像IMG21は、格間の縁部の画像EG(以下「縁部画像」という)を含む。実空間において、格間の縁部の形状は矩形であり、その矩形を構成する互いに直交する二辺は一般に長さが異なる。つまり縁部の矩形は、互いに直交する長辺と短辺とを有する。また、実空間において、縁部の矩形の互いに直交する二辺は、橋梁1を基準とした全体座標系における二つの座標軸Gx、Gyと方向が一致している。そこで、鏡映反転部36は、鏡映反転前の画像(分割撮像の場合には合成画像でよい)から縁部画像を検出し、その縁部画像を必要に応じて矩形に射影変換した後、その矩形の互いに直交する長辺及び短辺のうちいずれか一辺の方向に基づいて、鏡映反転軸の方向を決定することができる。もっとも、本発明の撮像対象(点検対象である)は床版の格間に限定されず、他の撮像対象の幾何学的特徴に基づいて鏡映反転軸の方向を決定してよいことは、言うまでもない。
第2に、構造物を基準にした全体座標系(「第1の座標系」である)の座標軸と、画像を撮像した撮像装置10を基準にした局所座標系(「第2の座標系」である)の座標軸とがなす角度に基づいて、鏡映反転軸の方向を決定する態様がある。
例えば、図19に示すようにロボット装置70に搭載された撮像装置10により撮像して得られた画像が画像入力部26により入力され、かつロボット装置70の撮像装置制御に従った撮像装置制御情報が画像入力部26により入力される。この撮像装置制御情報には、図20に示すように、橋梁1を基準にした全体座標系の座標軸Gx、Gy、Gzと、撮像装置10を基準にした局所座標系の座標軸Lx、Ly、Lzとがなす角度を示す角度情報が含まれる。本例の局所座標系において、互いに直交する三つの座標軸Lx、Ly、Lzのうち一つの座標軸Lzは、撮像装置10の撮像方向(光軸方向ともいう)であり、かつ橋梁1の床版6(被撮像面である)と直交する。つまり、本例では、全体座標系の一つの座標軸Gzの方向と局所座標系の一つの座標軸Lzの方向とが一致している。
本例のロボット装置70は、橋梁に懸垂した懸垂式ロボットであり、図19ではその撮像に関する要部のみを示した。尚、懸垂式ロボットは、橋梁に懸垂する代わりに、橋梁上の走行体(車輌)に懸垂する方式のロボットでもよい。また、懸垂式ロボットの代わりに、ドローン(無人飛行体)等の無人飛行式ロボットを用いる場合にも本発明を適用可能である。
本例のロボット装置70は、撮像装置10の移動及び回動の制御を行う撮像装置制御機構72を備える。この撮像装置制御機構72は、撮像装置10を互いに直交するGx方向、Gy方向及びGz方向のそれぞれで移動可能なXYZ移動機構と、撮像装置10をパン方向P及びチルト方向Tのそれぞれで回動可能なパンチルト機構とを兼ねている。
鏡映反転部36は、全体座標系の座標軸Gx(又はGy)と局所座標系の座標軸Lx(又はLy)とでなす角度を示す角度情報に基づいて、鏡映反転軸の方向を決定することが可能である。
また、撮像装置10をパン方向Pに回動させる場合、つまり橋梁1を基準とした全体座標系に対して撮像装置10の方位角度が可変である場合、鏡映反転部36は、全体座標系の座標軸Gx又はGyに対する撮像装置10の方位角度に基づいて、鏡映反転軸の方向を決定することが可能である。
尚、全体座標系の座標軸Gx、Gy、Gzに対する局所座標系の座標軸Lx、Ly、Lzの設定態様、及び撮像装置10のパンチルトの態様(角度制御態様)には、各種あるため、その局所座標系の座標軸の設定態様及び撮像装置10の角度制御態様に応じた角度情報を取得して、その角度情報に基づいて鏡映反転軸の方向を決定すればよい。
[クライアントサーバ型]
クライアントサーバ型のシステムでは、クライアント装置及びサーバ装置の少なくともいずれかにより損傷図編集装置を構成してもよい。言い換えると、本発明の損傷図編集装置は、クライアントサーバ型のシステムのうちの一つ又は複数のコンピュータ装置により構成してよい。
クライアントサーバ型のシステムでは、クライアント装置及びサーバ装置の少なくともいずれかにより損傷図編集装置を構成してもよい。言い換えると、本発明の損傷図編集装置は、クライアントサーバ型のシステムのうちの一つ又は複数のコンピュータ装置により構成してよい。
以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。
1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
10 撮像装置
20 損傷図編集装置
22 表示部
24 操作部
26 画像入力部
28 図面入力部
30 CPU
32 表示制御部
34 画像補正部
36 鏡映反転部
38 画像合成部
40 損傷検出部
42 編集部
44 損傷図反転部
50 記憶部
60 損傷図入力部
70 ロボット装置
72 撮像装置制御機構
80 CAD図面
82 損傷リスト
200 損傷図編集装置
Ds0101~Ds0104、Ds0201~Ds0204 要素番号
EG 縁部画像
Gx、Gy、Gz 全体座標系の座標軸
IMG1、IMG11、IMG21 画像
IMG2、IMG12 鏡映画像
Lx、Ly、Lz 局所座標系の座標軸
MAx 鏡映反転軸
P パン方向
RANK 評価区分
STATE 状態
T チルト方向
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
10 撮像装置
20 損傷図編集装置
22 表示部
24 操作部
26 画像入力部
28 図面入力部
30 CPU
32 表示制御部
34 画像補正部
36 鏡映反転部
38 画像合成部
40 損傷検出部
42 編集部
44 損傷図反転部
50 記憶部
60 損傷図入力部
70 ロボット装置
72 撮像装置制御機構
80 CAD図面
82 損傷リスト
200 損傷図編集装置
Ds0101~Ds0104、Ds0201~Ds0204 要素番号
EG 縁部画像
Gx、Gy、Gz 全体座標系の座標軸
IMG1、IMG11、IMG21 画像
IMG2、IMG12 鏡映画像
Lx、Ly、Lz 局所座標系の座標軸
MAx 鏡映反転軸
P パン方向
RANK 評価区分
STATE 状態
T チルト方向
Claims (16)
- 点検対象の構造物の画像を入力する画像入力部と、
前記入力された画像を鏡映反転して鏡映画像を取得する鏡映反転部と、
表示部と、
前記表示部に前記鏡映画像を表示させる表示制御部と、
ユーザの操作を受け付ける操作部と、
前記鏡映画像が前記表示部に表示された状態で前記操作部により受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集する編集部と、
を備える損傷図編集装置。 - 画像合成を行う画像合成部を備え、
前記画像入力部は、前記構造物の複数の分割画像を前記画像として入力し、
前記鏡映反転部は、前記複数の分割画像のそれぞれを鏡映反転し、
前記画像合成部は、前記鏡映反転された複数の分割画像を合成する、
請求項1に記載の損傷図編集装置。 - 画像合成を行う画像合成部を備え、
前記画像入力部は、前記構造物の複数の分割画像を前記画像として入力し、
前記鏡映反転部は、前記画像合成部により前記複数の分割画像を合成して得られた合成画像を鏡映反転する、
請求項1に記載の損傷図編集装置。 - 前記画像合成部は、前記複数の分割画像のそれぞれに対して、拡縮、あおり補正及び回転のうち少なくとも一つの画像処理を行うことにより、前記複数の分割画像にわたる前記構造物の被撮像面と前記画像を撮像した撮像装置との距離又は角度の不一致に関する補正を行う、
請求項2または3に記載の損傷図編集装置。 - 前記構造物を示す図面を入力する図面入力部を備え、
前記表示制御部は、前記図面に前記鏡映画像を重ね合わせて前記表示部に表示させる、
請求項1から4のうちいずれか一項に記載の損傷図編集装置。 - 前記操作部は、前記表示部に前記鏡映画像が表示された状態で前記鏡映画像中の損傷画像に対するトレース操作を受け付け、
前記表示制御部は、前記トレース操作に対応する損傷図形を前記鏡映画像中の前記損傷画像に重ね合わせて前記表示部に表示させ、
前記編集部は、前記トレース操作に対応する前記損傷図形を前記損傷図に追加する、
請求項1から5のうちいずれか一項に記載の損傷図編集装置。 - 前記鏡映画像又は鏡映反転前の前記画像から損傷画像を検出する損傷検出部を備え、
前記表示制御部は、前記検出された損傷画像に対応する損傷図形を前記鏡映画像中の損傷画像に重ね合わせて前記表示部に表示させ、
前記編集部は、前記損傷図形を前記損傷図に追加する、
請求項1から6のうちいずれか一項に記載の損傷図編集装置。 - 前記操作部は、前記表示部に前記鏡映画像が表示された状態で前記損傷に対する点検結果情報の入力を受け付け、
前記表示制御部は、前記入力された点検結果情報と前記鏡映画像とを前記表示部に表示させ、
前記編集部は、前記入力された点検結果情報を前記損傷図に追加する、
請求項1から7のうちいずれか一項に記載の損傷図編集装置。 - 前記編集部は、前記鏡映画像又は鏡映反転前の前記画像に基づいて前記損傷の特徴量を計測し、前記計測した特徴量を示す情報を前記損傷図に追加する、
請求項1から8のうちいずれか一項に記載の損傷図編集装置。 - 前記構造物の撮像側とは反対側から見た損傷の状態を示す前記損傷図を入力する損傷図入力部を備え、
前記表示制御部は、前記入力された損傷図と前記鏡映画像とを前記表示部に表示させる、
請求項1から9のうちいずれか一項に記載の損傷図編集装置。 - 前記構造物の撮像側とは反対側から見た損傷の状態を示す前記損傷図を入力する損傷図入力部と、
前記入力された損傷図を前記構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する損傷図反転部と、
を備え、
前記表示制御部は、前記反転損傷図と前記画像とを前記表示部に表示させる、
請求項1から9のうちいずれか一項に記載の損傷図編集装置。 - 前記構造物の撮像側とは反対側から見た損傷の状態を示す前記損傷図を、前記構造物の撮像側から見た損傷の状態を示す反転損傷図に変換する損傷図反転部を備え、
前記操作部は、前記損傷図に関する反転操作を受け付け、
前記表示制御部は、前記反転操作に応じて、前記損傷図が前記表示部に表示された状態と前記反転損傷図が前記表示部に表示された状態とを切替える、
請求項1から11のうちいずれか一項に記載の損傷図編集装置。 - 前記鏡映反転部は、前記入力された画像を画像解析して、鏡映反転軸の方向を決定する、
請求項1から12のうちいずれか一項に記載の損傷図編集装置。 - 前記鏡映反転部は、前記構造物を基準とした第1の座標系の座標軸と前記画像を撮像した撮像装置を基準とした第2の座標系の座標軸とがなす角度に基づいて、鏡映反転軸の方向を決定する、
請求項1から12のうちいずれか一項に記載の損傷図編集装置。 - 前記鏡映反転部は、前記構造物を基準として、前記画像を撮像した撮像装置の方位角度に基づいて、鏡映反転軸の方向を決定する、
請求項1から12のうちいずれか一項に記載の損傷図編集装置。 - 点検対象の構造物の画像を入力するステップと、
前記入力された画像を鏡映反転して鏡映画像を取得するステップと、
表示デバイスに前記鏡映画像を表示させるステップと、
前記鏡映画像が前記表示デバイスに表示された状態で操作デバイスにより受け付けられた操作に応じて、前記構造物の損傷の状態を示す損傷図であって前記鏡映画像に対応する損傷図を編集するステップと、
を備える損傷図編集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018523686A JP6619516B2 (ja) | 2016-06-24 | 2017-06-07 | 損傷図編集装置及び損傷図編集方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016125535 | 2016-06-24 | ||
JP2016-125535 | 2016-06-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017221706A1 true WO2017221706A1 (ja) | 2017-12-28 |
Family
ID=60784217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/021110 WO2017221706A1 (ja) | 2016-06-24 | 2017-06-07 | 損傷図編集装置及び損傷図編集方法 |
Country Status (2)
Country | Link |
---|---|
JP (3) | JP6619516B2 (ja) |
WO (1) | WO2017221706A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019150872A1 (ja) * | 2018-02-02 | 2019-08-08 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
JP2019164778A (ja) * | 2018-03-14 | 2019-09-26 | 株式会社リコー | 診断管理サーバ、診断システム、診断管理方法、及びプログラム |
WO2019198562A1 (ja) * | 2018-04-11 | 2019-10-17 | 富士フイルム株式会社 | 構造物管理装置、構造物管理方法、及び構造物管理プログラム |
WO2020121917A1 (ja) * | 2018-12-13 | 2020-06-18 | 富士フイルム株式会社 | 損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム |
WO2020129209A1 (ja) * | 2018-12-20 | 2020-06-25 | 株式会社島津製作所 | 欠陥検査装置および欠陥検査方法 |
JP2020161107A (ja) * | 2019-09-03 | 2020-10-01 | 三菱電機株式会社 | 画像生成装置、画像生成方法、および画像生成プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02263273A (ja) * | 1988-07-11 | 1990-10-26 | Mitsui Eng & Shipbuild Co Ltd | 鉄筋コンクリート床版の点検システム |
JP2011246908A (ja) * | 2010-05-25 | 2011-12-08 | Takeda Design And Manufacturing Co Ltd | 橋梁点検装置 |
JP2013167494A (ja) * | 2012-02-14 | 2013-08-29 | Fujitsu Ltd | 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011082726A (ja) * | 2009-10-06 | 2011-04-21 | Sanyo Electric Co Ltd | 画像再生装置及び撮像装置 |
-
2017
- 2017-06-07 WO PCT/JP2017/021110 patent/WO2017221706A1/ja active Application Filing
- 2017-06-07 JP JP2018523686A patent/JP6619516B2/ja active Active
-
2019
- 2019-11-14 JP JP2019206269A patent/JP6874096B2/ja active Active
-
2021
- 2021-04-21 JP JP2021071755A patent/JP7146013B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02263273A (ja) * | 1988-07-11 | 1990-10-26 | Mitsui Eng & Shipbuild Co Ltd | 鉄筋コンクリート床版の点検システム |
JP2011246908A (ja) * | 2010-05-25 | 2011-12-08 | Takeda Design And Manufacturing Co Ltd | 橋梁点検装置 |
JP2013167494A (ja) * | 2012-02-14 | 2013-08-29 | Fujitsu Ltd | 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2019150872A1 (ja) * | 2018-02-02 | 2021-01-28 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
JP7050824B2 (ja) | 2018-02-02 | 2022-04-08 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
WO2019150872A1 (ja) * | 2018-02-02 | 2019-08-08 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
CN111684267A (zh) * | 2018-02-02 | 2020-09-18 | 富士胶片株式会社 | 图像处理装置及图像处理方法 |
US11972550B2 (en) | 2018-02-02 | 2024-04-30 | Fujifilm Corporation | Image processing apparatus and image processing method |
JP2019164778A (ja) * | 2018-03-14 | 2019-09-26 | 株式会社リコー | 診断管理サーバ、診断システム、診断管理方法、及びプログラム |
JP7272015B2 (ja) | 2018-03-14 | 2023-05-12 | 株式会社リコー | 診断管理サーバ、診断システム、診断管理方法、及びプログラム |
JPWO2019198562A1 (ja) * | 2018-04-11 | 2021-04-30 | 富士フイルム株式会社 | 構造物管理装置、構造物管理方法、及び構造物管理プログラム |
US20210018447A1 (en) * | 2018-04-11 | 2021-01-21 | Fujifilm Corporation | Structure management device, structure management method, and structure management program |
US11915411B2 (en) | 2018-04-11 | 2024-02-27 | Fujifilm Corporation | Structure management device, structure management method, and structure management program |
WO2019198562A1 (ja) * | 2018-04-11 | 2019-10-17 | 富士フイルム株式会社 | 構造物管理装置、構造物管理方法、及び構造物管理プログラム |
JP7429648B2 (ja) | 2018-12-13 | 2024-02-08 | 富士フイルム株式会社 | 損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム |
US11959862B2 (en) | 2018-12-13 | 2024-04-16 | Fujifilm Corporation | Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system |
WO2020121917A1 (ja) * | 2018-12-13 | 2020-06-18 | 富士フイルム株式会社 | 損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム |
WO2020129209A1 (ja) * | 2018-12-20 | 2020-06-25 | 株式会社島津製作所 | 欠陥検査装置および欠陥検査方法 |
US11815493B2 (en) | 2018-12-20 | 2023-11-14 | Shimadzu Corporation | Defect inspection apparatus and defect inspection method |
JP7099545B2 (ja) | 2018-12-20 | 2022-07-12 | 株式会社島津製作所 | 欠陥検査装置および欠陥検査方法 |
JPWO2020129209A1 (ja) * | 2018-12-20 | 2021-09-27 | 株式会社島津製作所 | 欠陥検査装置および欠陥検査方法 |
JP2020161107A (ja) * | 2019-09-03 | 2020-10-01 | 三菱電機株式会社 | 画像生成装置、画像生成方法、および画像生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7146013B2 (ja) | 2022-10-03 |
JP6619516B2 (ja) | 2019-12-11 |
JP6874096B2 (ja) | 2021-05-19 |
JPWO2017221706A1 (ja) | 2019-02-28 |
JP2020030855A (ja) | 2020-02-27 |
JP2021114320A (ja) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6619516B2 (ja) | 損傷図編集装置及び損傷図編集方法 | |
JP7170023B2 (ja) | 損傷データ編集装置、損傷データ編集方法、プログラム、およびシステム | |
Duque et al. | Bridge deterioration quantification protocol using UAV | |
Omer et al. | Use of gaming technology to bring bridge inspection to the office | |
Valença et al. | Assessment of cracks on concrete bridges using image processing supported by laser scanning survey | |
Lattanzi et al. | 3D scene reconstruction for robotic bridge inspection | |
Xu et al. | TLS-based composite structure deformation analysis validated with laser tracker | |
US11948291B2 (en) | Damage diagram creation method, damage diagram creation device, damage diagram creation system, and recording medium | |
Armesto et al. | FEM modeling of structures based on close range digital photogrammetry | |
WO2019150799A1 (ja) | 補修長の決定方法及び補修長の決定装置 | |
Lee et al. | Vision-based inspection of prefabricated components using camera poses: Addressing inherent limitations of image-based 3D reconstruction | |
EP4131157A1 (en) | Inspection support device, method, and program | |
Trias et al. | Supporting quantitative structural assessment of highway bridges through the use of LiDAR scanning | |
Bhadrakom et al. | As-built 3D modeling based on structure from motion for deformation assessment of historical buildings | |
Nagarajan et al. | Imaging and laser scanning–based noncontact deflection monitoring technique for timber railroad bridges | |
Kim et al. | Automated two-dimensional geometric model reconstruction from point cloud data for construction quality inspection and maintenance | |
Shinozaki et al. | Detection of deterioration of furnace walls using large-scale point-clouds | |
JP7329951B2 (ja) | 画像処理装置およびその制御方法 | |
Janowski et al. | The method of measuring the membrane cover geometry using laser scanning and synchronous photogrammetry | |
Turkan et al. | Towards automated progress tracking of erection of concrete structures | |
WO2022070734A1 (ja) | 構造物の点検支援装置、構造物の点検支援方法、及びプログラム | |
JP6564738B2 (ja) | 図面作成装置及び図面作成方法 | |
Russo et al. | Geometric analysis of a space grid structure by an integrated 3D survey approach | |
Covian et al. | Application of HDS techniques to bridge inspection | |
Shi et al. | Automated change diagnosis of single-column-pier bridges based on 3d imagery data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018523686 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17815175 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17815175 Country of ref document: EP Kind code of ref document: A1 |