WO2017051633A1 - 損傷図作成装置及び損傷図作成方法 - Google Patents

損傷図作成装置及び損傷図作成方法 Download PDF

Info

Publication number
WO2017051633A1
WO2017051633A1 PCT/JP2016/073767 JP2016073767W WO2017051633A1 WO 2017051633 A1 WO2017051633 A1 WO 2017051633A1 JP 2016073767 W JP2016073767 W JP 2016073767W WO 2017051633 A1 WO2017051633 A1 WO 2017051633A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
coordinate system
image
unit
extracted
Prior art date
Application number
PCT/JP2016/073767
Other languages
English (en)
French (fr)
Inventor
浩明 菊池
窪田　聡
根来　雅之
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2017051633A1 publication Critical patent/WO2017051633A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Definitions

  • the present invention relates to an apparatus and method for inspecting damage to a structure such as a bridge, and more particularly to a technique for extracting damage from an image of the structure.
  • Patent Document 1 describes that the size is detected for cracking and peeling. In such damage inspection, it is important to grasp the temporal change of damage, and for example, as in Patent Document 2, an image is displayed in a different manner depending on the progress of damage (cracking). ing.
  • Patent Document 2 describes that deterioration of the entire structure can be recorded by stitching together a plurality of pieces of image data that have been taken as a single image.
  • Patent Document 1 Although it is described in Patent Document 1 that various types of damage are detected, since it is a technique related to calculation of repair costs in accordance with the degree of damage at the time of detection, comparison with past damage is considered. Absent.
  • Patent Document 2 describes the joining of a plurality of images based on position information. However, since the shooting range of each image greatly depends on the position and orientation of the camera, there is a gap between past shooting and current shooting. As a result, it is difficult to accurately compare the damage data between the past and the present.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a damage diagram creating apparatus and a damage diagram creating method capable of accurately and easily grasping a change in damage over time.
  • a damage diagram creating apparatus includes an image input unit that inputs an image of a structure and a coordinate system that serves as a reference when connecting a plurality of images.
  • a coordinate system setting unit for setting the image, an image composition unit for generating a composite image of a plurality of images with reference to the coordinate system, a damage extraction unit for extracting damage for each damage classification from the composite image, and a time for the plurality of images
  • a recording unit that records information, a composite image, extracted damage, and a coordinate system in association with each other, and compares the extracted damage and past damage recorded in the recording unit to show temporal changes in damage.
  • a coordinate system is set, and images are connected based on the set coordinate system, so that a composite image in which a plurality of images are accurately connected can be obtained.
  • a composite image with a coordinate system set for example, a past composite image is recorded in the recording unit
  • a new coordinate system is set based on the already set coordinate system. It is possible to match the comparison criteria for damage between current and present. Since the damage is compared and the damage diagram is created and displayed after matching the comparison criteria, the time change of the damage can be grasped accurately and easily.
  • a coordinate system based on the structure of the structure that is the subject may be set. Whether or not there is a composite image in which a coordinate system is set (whether it has already been recorded) is determined by whether or not the shooting range is common (overlapping) between the past composite image and the new image. You may make it perform based on.
  • “setting the coordinate system” means setting the origin of the coordinate system and the direction of the coordinate axis.
  • a plurality of images may be input in a lump, or one or a plurality of images are input with a time interval (for example, when the shooting date and time are different, the images are input every time shooting is performed). Or the like).
  • the coordinate system setting unit is configured to generate a coordinate system-set composite image based on matching between the past composite image recorded in the recording unit and the input image. Determine if it exists.
  • matching can be performed based on feature points extracted from an image of a structure, for example.
  • the coordinate system setting unit sets the coordinate system based on the feature points extracted from the input image.
  • the third mode prescribes an example of the reference for setting the coordinate system.
  • the feature point is a feature point extracted for a linear member included in the structure.
  • the coordinate system can be set accurately and easily based on the feature points extracted for the linear member, and as a result, the damage can be extracted accurately and easily.
  • the recording apparatus for creating a damage diagram records the extracted damage in layers for each classification of damage.
  • the time change of damage can be grasped
  • the damage diagram creation device is any one of the first to fifth aspects, wherein the damage diagram creation unit creates a damage diagram by superimposing the extracted damage on the recorded damage. According to the sixth aspect, comparison with past damage (recorded damage) can be performed quickly and easily.
  • the damage diagram creating device is configured to superimpose the extracted damage and the recorded damage on the diagram showing the structure of the structure. To create a damage diagram.
  • the relationship between the structure of a structure and damage can be grasped
  • the damage diagram creating device creates a damage diagram that represents the extracted damage and the recorded damage in different modes.
  • the time change of damage can be grasped
  • the damage diagram creation device is any one of the first to eighth aspects, wherein the damage diagram creation unit is different from the recorded damage in a difference between the extracted damage and the recorded damage. Create a damage diagram represented by. Thereby, it is possible to easily grasp the time change of damage.
  • the damage diagram creation apparatus includes an image acquisition unit that captures an image of a structure and acquires the image, and the image acquisition unit acquires the image input unit. Enter the selected image.
  • the image acquisition unit devices such as a smartphone with a camera and a tablet terminal can be used in addition to a normal digital camera.
  • the image acquisition unit may be used by being installed on a moving body such as a vehicle.
  • the image acquisition unit may acquire a stereo image of the structure.
  • a damage diagram creating method includes an image input process for inputting an image obtained by photographing a structure, and a coordinate system that serves as a reference when connecting a plurality of images.
  • a coordinate system setting step for setting the image an image composition step for generating a composite image of a plurality of images based on the coordinate system, a damage extraction step for extracting damage for each damage classification from the composite image, and a time for the plurality of images
  • a recording process that correlates and records information, a composite image, extracted damage, and a coordinate system, and compares the extracted damage with the already recorded damage, and shows a damage diagram that shows the temporal change in damage.
  • a damage diagram creation step to be created, and the coordinate system setting step includes a judgment step for judging whether or not a coordinate system set composite image in which the coordinate system is set exists, and the coordinate system has been set as a result of the judgment. There is a composite image If sets the coordinate system for a plurality of images based on the coordinate system set for the coordinate system configured composite image. According to the eleventh aspect, damage change over time can be accurately and easily grasped in the same manner as in the first aspect.
  • the damage diagram creation device and the damage diagram creation method of the present invention it is possible to accurately and easily grasp the time change of damage.
  • FIG. 1 is a diagram illustrating a bridge to which a damage diagram creating apparatus and a damage diagram creating method according to an embodiment of the present invention are applied.
  • FIG. 2 is a block diagram showing a configuration of a damage diagram creating apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flowchart showing a damage diagram creation method according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a plurality of images obtained by photographing a bridge.
  • FIG. 5 is a diagram showing how images are matched.
  • FIG. 6 is a diagram illustrating a state in which a coordinate system is set for a captured image.
  • FIG. 7 is a diagram illustrating a state in which images are connected with a set coordinate system as a reference.
  • FIG. 8 is a diagram showing the stitched images.
  • FIG. 9 is a diagram showing a state in which damage is layered and recorded.
  • FIG. 10 is a diagram illustrating an example of damage data corresponding to a layer.
  • FIG. 11 is a diagram showing a display example of damage.
  • FIG. 12 is another diagram showing a display example of damage.
  • FIG. 13 is still another view showing a display example of damage.
  • FIG. 14 is still another view showing a display example of damage.
  • FIG. 1 is a perspective view showing a structure of a bridge 1 which is an example of a structure to which a damage diagram creating apparatus and a damage diagram creating method according to the present invention are applied.
  • the bridge 1 shown in FIG. 1 has a main girder 3, and the main girder 3 is joined by a joint 3A.
  • the main girder 3 is a member that is passed between the abutment and the pier and supports the load of the vehicle on the floor slab 2.
  • a floor slab 2 for driving a vehicle or the like is placed on the upper portion of the main girder 3.
  • the floor slab 2 is generally made of reinforced concrete.
  • the bridge 1 has members such as a cross girder, a tilted frame, and a horizontal frame (not shown). In FIG. Only the main digit 3 is shown.
  • a damage map of the bridge 1 which is an example of a structure.
  • the object of damage map creation is not limited to a bridge, but other structures such as buildings and roads. It may be.
  • the inspector uses the camera 102 (see FIG. 2), which is a digital camera, to photograph the bridge 1 from below (direction C in FIG. 1), and to obtain a plurality of images for the inspection range. Obtain (see FIG. 4). The photographing is performed while appropriately moving in the extending direction of the bridge 1 (A direction in FIG. 1) and the orthogonal direction (B direction in FIG. 1). If it is difficult for the inspector to move due to the surrounding conditions of the bridge 1, a camera may be installed on a vehicle or robot that can move along the bridge 1 to perform photographing. Such a vehicle or robot may be provided with a camera lifting mechanism or a pan / tilt mechanism.
  • FIG. 2 is a block diagram showing a schematic configuration of a damage diagram creation device 100 (damage diagram creation device) according to the present embodiment.
  • the damage diagram creating apparatus 100 includes various arithmetic units including a CPU (Central Processing Unit), a processing unit, a recording unit, and the like.
  • the bridge 1 is photographed using the camera 102 (image acquisition unit), and the photographed image is input to the image input unit 104 (image input unit) by wireless communication to set the coordinate system or damage. Processing such as extraction and creation of damage diagrams is performed. Details of these processes will be described later.
  • the damage diagram creation apparatus 100 includes a coordinate system setting unit 106 (coordinate system setting unit), an image composition unit 108 (image composition unit), a damage extraction unit 110 (damage extraction unit), A damage diagram creating unit 112 (damage diagram creating unit), a recording unit 114 (recording unit), a display unit 116 (display unit), and an operation unit (not shown) are provided.
  • a damage drawing creation apparatus 100 for example, a personal computer or the like is preferably used.
  • FIG. 3 is a flowchart showing the process of the damage diagram creating method according to the present embodiment.
  • the image of the bridge 1 taken by the camera 102 as described above is input to the image input unit 104 by wireless communication (step S100; image input process).
  • a plurality of images of the bridge 1 are input according to the inspection range, and information on the shooting date and time (an example of time information of the image) is added to the input image by the camera 102.
  • the shooting date and time of the input image does not necessarily have to be the same for all images, and may be for a plurality of days.
  • a plurality of images may be input at a time, or one image may be input at a time. Further, instead of newly inputting, an image recorded in the recording unit 114 may be read and used.
  • the image of the bridge 1 may be input via a recording medium such as various memory cards instead of wireless communication, or data of an already recorded image may be input via a network.
  • FIG. 4 is a diagram showing an example of an input image.
  • 4A to 4H show images I1 to I8, respectively.
  • the floor slab 2 and the main beam 3 (including the joint 3A) are shown in the images I1 to I8.
  • the images I3, I6, and I7 are dark (the luminance is low), and the images I4 and I8 are taken from an oblique direction, so that the image is distorted. It is preferable to appropriately perform image processing such as luminance correction and tilt correction on the image.
  • Step S102 determination step, coordinate system setting step). Whether such a composite image exists can be determined based on matching between an input image and a past composite image, as will be described below.
  • step S102 if there is a past composite image for which a coordinate system has already been set (Yes in step S102), the process proceeds to step S104, and the coordinate system set for the past composite image is set to the coordinate for the input image. If the composite image does not exist (No in step S102), the process proceeds to step S106, and a new coordinate system is set for the input image (coordinate system setting step).
  • step S102 the coordinate system setting unit 106 refers to the recording unit 114 and performs matching between the input image I9 and the past composite image IP2 for which the coordinate system has been set.
  • image matching can be performed based on extraction of feature points and matching between the extracted feature points.
  • FIG. 5 shows a case where the image I9 matches (common) with the region IX in the composite image IP2 as a result of matching.
  • the determination in step S102 is affirmed (the determination result is Yes), and the process proceeds to step S104.
  • the coordinate system O 0 , X 0 , Y 0
  • the coordinate system (O 0 , X 0 , Y 0 ) is set (coordinate system setting step).
  • step S102 when there is no matching (common) area as shown in FIG. 5 in step S102, the determination is negative (the determination result is No), and the process proceeds to step S106, and a new coordinate system is set as described below. .
  • step S106 coordinate system setting step
  • a coordinate system is set based on the feature points extracted from the input image.
  • the coordinate system setting unit 106 extracts feature points from the image I1.
  • the feature points can be calculated based on various features such as the structure of the bridge 1 and the brightness of the image.
  • the feature points are calculated for the main girder 3 which is a linear member provided in the bridge 1. And thus, by calculating the feature points for the linear member, the direction of the coordinate axes can be set accurately. Specifically, it is assumed that feature points P1 to P8 are extracted as shown in FIG.
  • step S106 coordinate system setting step.
  • the feature point P1 extracted for the corner portion of the joint 3A is set as the origin O 0 of the coordinate system, and the direction from the feature point P1 to the feature point P2 is defined as X.
  • the direction is (X 0 ).
  • a direction from the feature point P3 to the feature point P1 (a direction orthogonal to the X direction) is defined as a Y direction (Y 0 ).
  • the characteristic points P1, P2, P5, and P6 originally exist on the same straight line.
  • the two characteristic points P1 and P2 are straight lines.
  • the feature points P1, P2, P5, and P6 may not exist on the same straight line in the image I1 due to shooting errors and image processing errors.
  • the direction set in consideration of the shift between these feature points P1, P2, P5, and P6 may be set as the X direction.
  • the coordinate system is set based on the feature points extracted for the main girder 3.
  • the coordinate system is based on other linear members such as the horizontal girder, the inclined frame, and the horizontal frame that the bridge 1 has.
  • a system may be set.
  • the coordinate system (O 1 , X 1 , Y 1 ) is set based on the feature points extracted for the main digit 3 (see FIG. 6B). .
  • Step S108 Image composition step
  • the process of joining the images I1 and I2 will be described. However, the joining of other images can be similarly performed.
  • the image composition unit 108 rotates and moves the images I1 and I2 with reference to the coordinate systems (O 0 , X 0 , Y 0 ) and (O 1 , X 1 , Y 1 ) set for the images I1 and I2.
  • the image I2 is rotated in the R direction and moved in the V direction and the H direction, and the main girder 3 between the images I1 and I2 (a common member between the images I1 and I2). , That is, the direction of the X axis is matched.
  • the image I2 is moved in the X direction so that common (same) members and feature points overlap in the images I1 and I2 (state (b) in FIG. 7).
  • the order of rotation and movement may be different from the above example.
  • the image when the image is rotated or moved, the image may be appropriately enlarged or reduced.
  • rotation, movement, and enlargement / reduction have been described as examples, but projective conversion may be performed when the image is not directly facing the subject.
  • the other images I3 to I8 are rotated and moved with reference to the coordinate system set for each image, and the images are superimposed. Then, for example, a composite image such as a composite image IP shown in FIG. 8 is obtained.
  • the damage extraction unit 110 extracts damage for each damage classification from the composite image IP so that the damage can be identified in the composite image IP (step S110; damage extraction process).
  • the damage classification include peeling, water leakage, cracking, rust, and the like.
  • the type of damage to be extracted may be set according to conditions such as the type and characteristics of the structure and the purpose of inspection.
  • the items to be extracted include the position, size, direction, range, shape, etc. in the coordinate system set in steps S102 to S106.
  • the extracted items also depend on the damage classification, the type of structure, You may set according to conditions, such as a characteristic and the objective of inspection.
  • Damage extraction can be performed by various methods according to the classification.
  • a crack detection method described in Japanese Patent No. 4006007 can be used. This method calculates wavelet coefficients corresponding to the two concentrations to be compared, calculates each wavelet coefficient when the two concentrations are changed, creates a wavelet coefficient table, and detects the crack detection target.
  • a wavelet image is generated by wavelet transforming an input image obtained by photographing a concrete surface, and a wavelet coefficient corresponding to an average density of neighboring pixels in a local area and a density of a target pixel is set as a threshold in the wavelet coefficient table.
  • a step of determining a cracked area and a non-cracked area by comparing the wavelet coefficient of the pixel of interest with the threshold value.
  • rust and peeling for example, the processing method of the steel bridge coating film inspection system described in JP-T 2010-538258 can be used.
  • rust and peeling are detected by using color information, image processing, water shed, and parthen window from the image file of the steel bridge paint film taken.
  • step S110 the damage diagram creation unit 112 compares the extracted damage with the past damage extraction result recorded in the recording unit 114 to create a damage diagram (step S112: damage diagram). Creation process), and the created damage diagram is displayed (step S114: display process).
  • the display mode can be selected by an operation unit (not shown) of the damage diagram creating apparatus 100.
  • the damage diagram created in step S112 is layered for each damage classification as shown in the example of FIG.
  • Each layer is composed of damage time-series data, and these layers are associated with CAD (Computer Aided Design) data indicating the structure of the bridge 1.
  • CAD data layers are L0
  • cracks, water leakage, and separation layers are LA, LB, and LC, respectively.
  • the cracked layer LA is further composed of layers LA1 and LA2 corresponding to different shooting dates.
  • Each of these layers corresponds to data as shown in FIG.
  • FIG. 10 shows an example of data for the crack layer LA1, and shows the shooting date, the start and end points of the crack, and the length of the input image for the cracks C1-1 to C1-4.
  • FIG. 11 is a diagram showing an aspect of display of a damage diagram for cracks.
  • FIG. 11 shows an example of switching and displaying the past crack layer LA1 (see FIG. 9) recorded in the recording unit 114 and the newly extracted crack layer LA2 (see FIG. 9).
  • the layer LA1 is displayed on the front
  • FIG. 11B the layer LA2 is displayed on the front.
  • cracks C1-1 to C1-4 have been extracted
  • the newly extracted layer LA2 cracks have progressed to C2-1 to C2-4, respectively.
  • 12 and 13 are diagrams showing other modes of display of damage diagrams.
  • the layers LA1 and LA2 are superimposed and displayed with a slight shift, and the cracks in the layer LA1 (past cracks) are indicated by dotted lines, and the cracks in the layer LA2 (newly extracted cracks) are indicated by solid lines. it's shown.
  • the layers LA1 and LA2 are superimposed, and the cracks C2-1 to C2-4 in the layer LA2 are thickened, and the color is changed from that of the cracks C1-1 to C1-4 in the layer LA1.
  • FIG. 14 is a diagram showing still another aspect of the display of the damage diagram.
  • layers LA1 and LA2 are superposed, cracks C1-1 to C1 to C4 extracted in the past are indicated by dotted lines, and differences ⁇ 1 to ⁇ 4 from newly extracted cracks C2-1 to C2-4 ( The portion where the crack has progressed) is indicated by a solid line (an aspect different from cracks C1-1 to C1-4).
  • FIGS. 11 to 14 illustrate the case where a damage diagram for a crack is displayed, but instead of displaying only one type of damage such as a crack, a plurality of types of damage may be displayed in a superimposed manner. Further, a diagram showing the structure of the bridge 1 created from data such as CAD may be superimposed on the extracted damage (see FIG. 9).
  • the damage diagram is displayed and layered for each damage classification and recorded in the recording unit 114 (step S116: recording process).
  • time information (shooting date, shooting time, etc.) of each image constituting the composite image, the composite image, the coordinate system set for the composite image, and the extracted damage are associated with each other.
  • the input images I1 to I8 may also be recorded in the recording unit 114.
  • the damage diagram creating apparatus 100 and the damage diagram creating method according to the present embodiment the damage diagram showing the time change of the damage is created and displayed, and the damage extraction result is the damage classification. Since each layer is layered, it is possible to accurately and easily grasp the time change of damage. Further, since the data is recorded in association with the CAD data indicating the structure of the bridge 1 which is a structure, the relationship between the damage and the structure of the bridge 1 can be grasped accurately and easily.

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Bridges Or Land Bridges (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

損傷の時間変化を正確かつ容易に把握できる損傷図作成装置及び損傷図作成方法を提供することを目的とする。本発明の一の態様に係る損傷図作成装置及び損傷図作成方法では、入力した画像に対して座標系を設定し、この設定した座標系を基準として画像をつなぎ合わせるので、複数の画像を正確につなぎ合わせた合成画像を得ることができ、これにより損傷を正確に抽出することができる。また座標系設定済みの合成画像が存在する（記録されている）ときは、当該合成画像について設定されている座標系に基づいて入力画像に対する座標系を設定するので、過去と現在とで損傷の比較基準を一致させることができる。また比較基準を一致させた上で、抽出した損傷と過去の損傷とを比較して損傷図を作成して表示するので、損傷の時間変化を正確かつ容易に把握することができる。

Description

損傷図作成装置及び損傷図作成方法
　本発明は橋梁などの構造物の損傷を検査するための装置及び方法に関し、特に構造物を撮影した画像から損傷を抽出する技術に関するものである。
　橋梁や建築物などの構造物は時間と共に劣化するため、定期的に検査をして劣化の状況を把握する必要がある。そのような検査では、従来作業員が目視や手作業により検査を行ってきたが、近年は構造物を撮影して画像を取得し、その取得した画像を画像処理して損傷を抽出することが行われている。例えば特許文献１には、ひび割れ及び剥離について大きさを検出することが記載されている。このような損傷の検査では、損傷の時間変化を把握することが重要であり、例えば特許文献２のように、損傷（ひび割れ）の進行度合いに応じて異なる態様で画像を表示することが行われている。
　このように構造物を撮影した画像から損傷を抽出する場合、検査範囲全体を一度に撮影するのは困難なことが多いため、検査範囲を複数の画像に分けて撮影し、つなぎ合わせることが行われている。例えば上記特許文献２には、分割して撮影された複数の画像データを１つの画像としてつなぎ合わせすることで、構造物全体の劣化を記録できるようにすることが記載されている。
特許第４６０４３５７号公報 特開平１１－１３２９６１号公報
　例えば上記特許文献１では各種の損傷を検出することが記載されているものの、検出時点での損傷の度合いに応じた補修コストの計算に関する技術であるため、過去の損傷との比較は考慮されていない。また上記特許文献２には位置情報に基づく複数画像のつなぎ合わせについて記載されているが、各画像の撮影範囲はカメラの位置や姿勢に大きく依存するため、過去の撮影と現在の撮影との間で撮影位置や範囲の誤差が発生しやすく、その結果、過去と現在とで損傷データを精度良く比較することは困難である。
　このように、従来の技術では損傷の時間変化を把握するのが困難であった。
　本発明はこのような事情に鑑みてなされたもので、損傷の時間変化を正確かつ容易に把握できる損傷図作成装置及び損傷図作成方法を提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る損傷図作成装置は、構造物を撮影した画像を入力する画像入力部と、複数の画像をつなぎ合わせる際の基準となる座標系を設定する座標系設定部と、座標系を基準として複数の画像の合成画像を生成する画像合成部と、合成画像から損傷の分類ごとに損傷を抽出する損傷抽出部と、複数の画像の時間情報と、合成画像と、抽出した損傷と、座標系と、を関連づけて記録する記録部と、抽出した損傷と記録部に記録された過去の損傷とを比較して、損傷の時間変化を示す損傷図を作成する損傷図作成部と、作成した損傷図を表示する表示部と、を備え、座標系設定部は、座標系が設定されている座標系設定済み合成画像が存在するときは、座標系設定済み合成画像について設定されている座標系に基づいて、複数の画像に対して座標系を設定する。
　第１の態様に係る損傷図作成装置では、座標系を設定し、この設定した座標系を基準として画像をつなぎ合わせるので、複数の画像を正確につなぎ合わせた合成画像を得ることができ、これにより損傷の抽出を正確に行うことができる。また座標系設定済みの合成画像が存在する（例えば、過去の合成画像が記録部に記録されている）ときは、既に設定されている座標系に基づいて新たな座標系を設定するので、過去と現在とで損傷の比較基準を一致させることができる。そして比較基準を一致させた上で損傷を比較して損傷図を作成して表示するので、損傷の時間変化を正確かつ容易に把握することができる。
　なお第１の態様では、被写体である構造物の構造に基づく座標系を設定するようにしてもよい。また座標系が設定されている合成画像が存在するか否か（既に記録されているか否か）の判断は、過去の合成画像と新たな画像とで撮影範囲が共通（重複）するか否かに基づいて行うようにしてもよい。
　なお第１の態様において「座標系を設定する」とは、座標系の原点及び座標軸の方向を設定することをいうものとする。また第一の態様において、複数の画像を一括して入力してもよいし、一または複数の画像を時間間隔をあけて入力する（例えば撮影日時が異なる場合に、撮影するごとに画像を入力する等）ようにしてもよい。
　第２の態様に係る損傷図作成装置は第１の態様において、座標系設定部は、記録部に記録された過去の合成画像と入力した画像とのマッチングに基づいて座標系設定済み合成画像が存在するか否か判断する。第２の態様において、マッチングは例えば構造物の画像から抽出した特徴点に基づいて行うことができる。
　第３の態様に係る損傷図作成装置は第１または第２の態様において、座標系設定部は、入力した画像から抽出した特徴点に基づいて座標系を設定する。第３の態様は座標系設定の基準の一例を規定するものである。
　第４の態様に係る損傷図作成装置は第３の態様において、特徴点は構造物が備える直線状の部材について抽出された特徴点である。第３の態様によれば、直線状の部材について抽出した特徴点に基づいて座標系の設定を正確かつ容易に行うことができ、その結果損傷の抽出を正確かつ容易に行うことができる。
　第５の態様に係る損傷図作成装置は第１から第４の態様のいずれか１つにおいて、記録部は抽出した損傷を損傷の分類ごとにレイヤー化して記録する。第５の態様によれば、損傷の時間変化を分類ごとに容易に把握することができる。
　第６の態様に係る損傷図作成装置は第１から第５の態様のいずれか１つにおいて、損傷図作成部は、抽出した損傷を記録された損傷に重畳して損傷図を作成する。第６の態様によれば、過去の損傷（記録されている損傷）との比較を迅速かつ容易に行うことができる。
　第７の態様に係る損傷図作成装置は第１から第６の態様のいずれか１つにおいて、損傷図作成部は、抽出した損傷及び記録された損傷を構造物の構造を示す図に重畳して損傷図を作成する。第７の態様によれば、構造物の構造と損傷との関係を容易に把握することができる。
　第８の態様に係る損傷図作成装置は第１から第７の態様のいずれか１つにおいて、損傷図作成部は、抽出した損傷と記録された損傷とを異なる態様で表す損傷図を作成する。第７の態様によれば、損傷の時間変化を容易に把握することができる。
　第９の態様に係る損傷図作成装置は第１から第８の態様のいずれか１つにおいて、損傷図作成部は、抽出した損傷と記録された損傷との差分を記録された損傷と異なる態様で表す損傷図を作成する。これにより損傷の時間変化を容易に把握することができる。
　第１０の態様に係る損傷図作成装置は第１から第９の態様のいずれか１つにおいて、構造物を撮影して画像を取得する画像取得部を備え、画像入力部は画像取得部が取得した画像を入力する。画像取得部としては、通常のデジタルカメラの他、カメラ付きのスマートフォンやタブレット端末等の装置を用いることができる。また画像取得部を車輌等の移動体に設置して用いるようにしてもよい。なお第１０の態様において、画像取得部が構造物のステレオ画像を取得するようにしてもよい。
　上述した目的を達成するため、本発明の第１１の態様に係る損傷図作成方法は、構造物を撮影した画像を入力する画像入力工程と、複数の画像をつなぎ合わせる際の基準となる座標系を設定する座標系設定工程と、座標系を基準として複数の画像の合成画像を生成する画像合成工程と、合成画像から損傷の分類ごとに損傷を抽出する損傷抽出工程と、複数の画像の時間情報と、合成画像と、抽出した損傷と、座標系と、を関連づけて記録する記録工程と、抽出した損傷と既に記録されている損傷とを比較して、損傷の時間変化を示す損傷図を作成する損傷図作成工程と、を備え、座標系設定工程は、座標系が設定されている座標系設定済み合成画像が存在するか否か判断する判断工程を備え、判断の結果座標系設定済み合成画像が存在する場合は、座標系設定済み合成画像について設定されている座標系に基づいて複数の画像に対する座標系を設定する。第１１の態様によれば、第１の態様と同様にして、損傷の時間変化を正確かつ容易に把握することができる。
　なお第１１の態様において、上記第１～第１０の態様に対応する特徴を備えるようにしてもよい。また、作成した損傷図を表示する表示工程を備えるようにしてもよい。
　本発明の損傷図作成装置及び損傷図作成方法によれば、損傷の時間変化を正確かつ容易に把握することができる。
図１は、本発明の一実施形態に係る損傷図作成装置及び損傷図作成方法が適用される橋梁を示す図である。 図２は、本発明の一実施形態に係る損傷図作成装置の構成を示すブロック図である。 図３は、本発明の一実施形態に係る損傷図作成方法を示すフローチャートである。 図４は、橋梁を撮影した複数の画像を示す図である。 図５は、画像のマッチングの様子を示す図である。 図６は、撮影した画像に座標系を設定する様子を示す図である。 図７は、設定した座標系を基準として画像をつなぎ合わせる様子を示す図である。 図８は、つなぎ合わせた画像を示す図である。 図９は、損傷をレイヤー化して記録した様子を示す図である。 図１０は、レイヤーに対応する損傷のデータの例を示す図である。 図１１は、損傷の表示例を示す図である。 図１２は、損傷の表示例を示す他の図である。 図１３は、損傷の表示例を示すさらに他の図である。 図１４は、損傷の表示例を示すさらに他の図である。
　以下、添付図面に従って本発明に係る損傷図作成装置及び損傷図作成方法の実施形態について説明する。
　［橋梁の構造］
　図１は、本発明に係る損傷図作成装置及び損傷図作成方法が適用される構造物の例である橋梁１の構造を示す斜視図である。図１に示す橋梁１は主桁３を有し、主桁３は接合部３Ａで接合されている。主桁３は橋台や橋脚の間に渡され、床版２上の車輌等の荷重を支える部材である。また主桁３の上部には、車輌等が走行するための床版２が打設されている。床版２は鉄筋コンクリート製のものが一般的である。なお橋梁１は床版２及び主桁３の他に図示せぬ横桁、対傾構、横構等の部材を有するが、損傷図作成の説明を分かりやすくするため、図１では床版２及び主桁３のみを示している。
　なお本実施形態では構造物の一例である橋梁１の損傷図作成について説明するが、本発明において損傷図作成の対象は橋梁に限らず、ビル等の建造物や道路等、他の構造物であってよい。
　［画像の取得］
　橋梁１の損傷を検査する場合、検査員はデジタルカメラであるカメラ１０２（図２参照）を用いて、橋梁１を下方から撮影して（図１のＣ方向）、検査範囲について複数の画像を取得する（図４参照）。撮影は、橋梁１の延伸方向（図１のＡ方向）及びその直交方向（図１のＢ方向）に適宜移動しながら行う。なお橋梁１の周辺状況により検査員の移動が困難な場合は、橋梁１に沿って移動可能な車輌やロボットにカメラを設置して撮影を行ってもよい。このような車輌やロボットには、カメラの昇降機構やパン・チルト機構を設けてもよい。
　［損傷図作成装置の構成］
　図２は、本実施形態に係る損傷図作成装置１００（損傷図作成装置）の概略構成を示すブロック図である。図２に示すように、損傷図作成装置１００は、ＣＰＵ(Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ)を含む各種の演算部、処理部及び記録部等により構成されるものである。本実施形態では上述のようにカメラ１０２（画像取得部）を用いて橋梁１を撮影し、撮影した画像は無線通信により画像入力部１０４（画像入力部）に入力されて、座標系設定や損傷抽出、損傷図作成等の処理が行われる。これら処理の詳細は後述する。損傷図作成装置１００は、カメラ１０２及び画像入力部１０４の他に、座標系設定部１０６（座標系設定部）、画像合成部１０８（画像合成部）、損傷抽出部１１０（損傷抽出部）、損傷図作成部１１２（損傷図作成部）、記録部１１４（記録部）、表示部１１６（表示部）、及び図示せぬ操作部を備える。このような損傷図作成装置１００としては、例えばパーソナルコンピュータなどが好適に用いられる。
　［損傷図作成手順］
　次に、上記構成の損傷図作成装置１００を用いた損傷図作成方法について説明する。図３は本実施形態に係る損傷図作成方法の処理を示すフローチャートである。
　まず、上述のようにカメラ１０２で撮影した橋梁１の画像を、無線通信により画像入力部１０４に入力する（ステップＳ１００；画像入力工程）。橋梁１の画像は検査範囲に応じて複数入力され、また入力する画像には、カメラ１０２により撮影日時の情報（画像の時間情報の例）が付加されている。なお入力画像の撮影日時は必ずしも全ての画像において同一である必要はなく、複数日に亘っていてもよい。画像は複数の画像を一括して入力してもよいし、一度に１つの画像を入力するようにしてもよい。また、新たに入力するのではなく、記録部１１４に記録されている画像を読み出して用いるようにしてもよい。
　また、橋梁１の画像は無線通信でなく各種メモリカード等の記録媒体を介して入力するようにしてもよいし、既に記録されている画像のデータをネットワーク経由で入力してもよい。
　図４は、入力した画像の例を示す図である。図４の（ａ）～（ｈ）は、それぞれ画像Ｉ１～Ｉ８を示しており、画像Ｉ１～Ｉ８には床版２及び主桁３（接合部３Ａを含む）が写っている。なお図４では、画像Ｉ３，Ｉ６，Ｉ７が暗く（輝度が低く）なっており、画像Ｉ４，Ｉ８は斜め方向から撮影しているため画像が歪んでいる場合を示しているが、このような画像に対しては、適宜輝度補正やあおり補正等の画像処理を行うことが好ましい。
　［座標系の設定］
　次に、入力した画像に対する座標系の設定について説明する。まず、入力画像（図４の例では画像Ｉ１～Ｉ８）と重複（共通）する撮影範囲について、既に座標系が設定されている過去の合成画像が存在するか否か（記録部１１４に記録されているか否か）を判断する（ステップＳ１０２：判断工程、座標系設定工程）。このような合成画像が存在するか否かの判断は、以下に説明するように、入力画像と過去の合成画像とのマッチングに基づいて行うことができる。判断の結果、既に座標系が設定されている過去の合成画像が存在する場合（ステップＳ１０２でＹｅｓ）は、ステップＳ１０４に進んで当該過去の合成画像について設定されている座標系を入力画像に対する座標系として設定し（座標系設定工程）、当該合成画像が存在しない場合（ステップＳ１０２でＮｏ）はステップＳ１０６へ進んで、入力画像に対し新たな座標系を設定する（座標系設定工程）。
　［マッチングに基づく判断］
　ここで、ステップＳ１０２における判断について説明する。ステップＳ１０２では、図５の例に示すように、座標系設定部１０６が記録部１１４を参照し、入力した画像Ｉ９と座標系設定済みの過去の合成画像ＩＰ２とのマッチングを行う。ここで画像のマッチングは、特徴点の抽出及び抽出した特徴点間のマッチングに基づいて行うことができる。図５では、マッチングの結果、画像Ｉ９が合成画像ＩＰ２中の領域ＩＸと一致（共通）している場合について示している。このような場合はステップＳ１０２の判断が肯定されて（判断結果がＹｅｓ）ステップＳ１０４へ進み、入力画像である画像Ｉ９についても、合成画像ＩＰ２について設定されている座標系（Ｏ０，Ｘ０，Ｙ０）を設定する（座標系設定工程）。
　このように入力画像に対する座標系を過去の合成画像とのマッチングに基づいて設定することで、過去の画像との位置合わせを正確かつ容易に行うことができ、その結果、後述するように損傷の時間変化を正確かつ容易に把握することができる。
　一方、ステップＳ１０２において図５のように一致（共通）する領域がないときは、判断が否定されて（判断結果がＮｏ）ステップＳ１０６へ進み、以下に説明するように新たな座標系を設定する。
　［新たな座標系の設定］
　ここで、入力画像に対し新たな座標系を設定する場合（ステップＳ１０６：座標系設定工程）について説明する。ステップＳ１０６では、入力画像から抽出した特徴点に基づいて座標系を設定する。
　まず座標系設定部１０６が、画像Ｉ１から特徴点を抽出する。特徴点は橋梁１の構造や画像の輝度など様々な特徴に基づいて算出することができるが、本実施形態では、橋梁１が備える直線状の部材である主桁３について特徴点を算出するものとする。このように直線状の部材について特徴点を算出することで、座標軸の方向を正確に設定することができる。具体的には、図４の（ａ）に示すように特徴点Ｐ１～Ｐ８が抽出されたものとする。
　次に、抽出した特徴点Ｐ１～Ｐ８に基づいて、座標系設定部１０６が画像合成（つなぎ合わせ）の基準となる座標系を設定する（ステップＳ１０６：座標系設定工程）。本実施形態では、図６の（ａ）に示すように、接合部３Ａのコーナー部について抽出された特徴点Ｐ１を座標系の原点Ｏ０とし、特徴点Ｐ１から特徴点Ｐ２へ向かう方向をＸ方向（Ｘ０）とする。そして特徴点Ｐ３から特徴点Ｐ１へ向かう方向（Ｘ方向と直交する方向）をＹ方向（Ｙ０）とする。なお、本実施形態において主桁３及び接合部３Ａは直線状の部材であるから特徴点Ｐ１，Ｐ２，Ｐ５，Ｐ６は本来同一直線上に存在し、この場合２つの特徴点Ｐ１，Ｐ２で直線が定まるが、撮影誤差や画像処理誤差により画像Ｉ１において特徴点Ｐ１，Ｐ２，Ｐ５，Ｐ６が同一直線上に存在しない場合がある。このような場合は、これら特徴点Ｐ１，Ｐ２，Ｐ５，Ｐ６間のずれを考慮して（例えば最小自乗近似による）設定した方向をＸ方向としてもよい。
　なお本実施形態では主桁３について抽出された特徴点に基づいて座標系を設定しているが、橋梁１が備える横桁、対傾構、横構等の他の直線状の部材に基づいて座標系を設定してもよい。
　画像Ｉ１の場合と同様にして、画像Ｉ２についても、主桁３について抽出された特徴点に基づいて座標系（Ｏ１，Ｘ１，Ｙ１）を設定する（図６の（ｂ）参照）。
　このように本実施形態では、入力画像に対し主桁３という直線状の部材により、橋梁１の構造に基づく座標系を設定することで、後述するように、画像の合成や抽出した損傷の時系列的な比較を正確かつ容易に行うことができる。
　［画像の合成］
　次に、画像Ｉ１～Ｉ８をつなぎ合わせて合成画像を生成する処理（ステップＳ１０８：画像合成工程）について説明する。なお以下では画像Ｉ１，Ｉ２をつなぎ合わせる処理について説明するが、他の画像のつなぎ合わせについても同様に行うことができる。
　まず画像合成部１０８が、画像Ｉ１，Ｉ２について設定された座標系（Ｏ０，Ｘ０，Ｙ０）及び（Ｏ１，Ｘ１，Ｙ１）を基準として、画像Ｉ１，Ｉ２を回転及び移動する。例えば図７の（ａ）に示すように、画像Ｉ２をＲ方向に回転しＶ方向及びＨ方向に移動して、画像Ｉ１，Ｉ２間で主桁３（画像Ｉ１，Ｉ２間で共通の部材）の方向、即ちＸ軸の方向を一致させる。そしてこの状態で画像Ｉ２をＸ方向に移動して、画像Ｉ１，Ｉ２において共通（同一）の部材や特徴点が重なるようにする（図７の（ｂ）の状態）。なお回転や移動の順番は、上記の例と異なっていてもよい。また画像の回転や移動に際し、画像を適宜拡大または縮小するようにしてよい。なおここでは、回転や移動、拡大縮小を例に説明したが、画像が被写体に対して正対していない場合には射影変換してもよい。
　画像Ｉ１，Ｉ２と同様にして、他の画像Ｉ３～Ｉ８についても各画像について設定された座標系を基準として回転や移動を行い、画像を重ね合わせる。すると、例えば図８に示す合成画像ＩＰのような合成画像が得られる。
　このように本実施形態では、橋梁１の構造に基づいて各画像に設定された座標系を基準として画像を重ね合わせることで、複数の画像を正確につなぎ合わせた合成画像を得ることができ、これにより以下に述べるように損傷の抽出を正確に行うことができる。
　［損傷の抽出］
　合成画像ＩＰが得られたら、損傷抽出部１１０が合成画像ＩＰから損傷の分類ごとに損傷を抽出し、合成画像ＩＰにおいて損傷を識別できるようにする（ステップＳ１１０；損傷抽出工程）。損傷の分類としては剥離、漏水、ひび割れ、錆などを挙げることができるが、具体的に抽出する損傷の種類は構造物の種類や特徴、検査の目的等の条件に応じて設定してよい。また、抽出する項目としては上記ステップＳ１０２～Ｓ１０６で設定した座標系における位置、大きさ、方向、範囲、形状等があるが、抽出項目についても損傷の分類に応じて、また構造物の種類や特徴、検査の目的等の条件に応じて設定してよい。
　損傷の抽出は分類に応じて種々の手法により行うことができるが、ひび割れについては、例えば特許４００６００７号公報に記載されたひび割れ検出方法を用いることができる。この方法は、対比される２つの濃度に対応したウェーブレット係数を算定するとともに、該２つの濃度をそれぞれ変化させた場合のそれぞれのウェーブレット係数を算定してウェーブレット係数テーブルを作成し、ひび割れ検出対象であるコンクリート表面を撮影した入力画像をウェーブレット変換することによってウェーブレット画像を作成する工程と、前記ウェーブレット係数テーブル内において、局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数を閾値として、注目画素のウェーブレット係数と該閾値とを比較することによりひび割れ領域とひび割れでない領域を判定する工程とからなるひび割れ検出方法である。
　また錆及び剥離を検出する方法としては、例えば特表２０１０－５３８２５８号に記載された鋼橋の塗膜検査システムの処理方法を用いることができる。この処理方法では、撮影された鋼橋塗膜の画像ファイルからの色情報、映像処理、ウォーターシェッド、パルツェン窓を用いて錆と剥離を検出している。
　［損傷図の作成及び表示］
　ステップＳ１１０までで損傷が抽出されたら、損傷図作成部１１２は、抽出した損傷と、記録部１１４に記録された過去の損傷抽出結果とを比較して損傷図を作成し（ステップＳ１１２：損傷図作成工程）、作成した損傷図を表示する（ステップＳ１１４：表示工程）。表示の態様は損傷図作成装置１００の図示せぬ操作部により選択することができる。
　ステップＳ１１２で作成した損傷図は、図９の例に示すように損傷の分類ごとにレイヤー化されている。各レイヤーは損傷の時系列データから構成され、またそれらレイヤーが橋梁１の構造を示すＣＡＤ（Computer Aided Design）データと関連づけされている。図９中、ＣＡＤデータのレイヤーがＬ０、ひび割れ、漏水、剥離のレイヤーがそれぞれＬＡ，ＬＢ，ＬＣである。また、ひび割れのレイヤーＬＡはさらに、異なる撮影日に対応するレイヤーＬＡ１，ＬＡ２から構成されている。これらのレイヤーはそれぞれ、図１０に示すようなデータに対応している。なお、図１０はひび割れのレイヤーＬＡ１についてのデータの例であり、ひび割れＣ１－１～Ｃ１－４についての入力画像の撮影日、ひび割れの始点及び終点、長さを示している。
　なお一日のうちでの損傷の変化が問題にならない場合は、図１０のように画像の時間情報として撮影日のみを考慮すればよい。また、このようなデータの項目は損傷の分類に応じて異なっていてよい。
　図１１は、ひび割れについての損傷図の表示の一態様を示す図である。図１１は、記録部１１４に記録された過去のひび割れのレイヤーＬＡ１（図９参照）と新たに抽出したひび割れのレイヤーＬＡ２（図９参照）とを切替表示する場合の例である。図１１の（ａ）ではレイヤーＬＡ１を前面に表示しており、図１１の（ｂ）はレイヤーＬＡ２を前面に表示している。過去のレイヤーＬＡ１ではひび割れＣ１－１～Ｃ１－４が抽出されており、新たに抽出したレイヤーＬＡ２ではひび割れが進行してそれぞれＣ２－１～Ｃ２－４となっている。
　次に、抽出した損傷と過去の損傷とを異なる態様で示す例について説明する。図１２，１３は損傷図の表示の他の態様を示す図である。図１２はレイヤーＬＡ１，ＬＡ２を重畳して少しずらして表示しており、さらにレイヤーＬＡ１におけるひび割れ（過去のひび割れ）を点線で表示して、レイヤーＬＡ２におけるひび割れ（新たに抽出したひび割れ）を実線で表示している。また図１３ではレイヤーＬＡ１，ＬＡ２を重畳し、レイヤーＬＡ２におけるひび割れＣ２－１～Ｃ２－４を太くして、レイヤーＬＡ１におけるひび割れＣ１－１～Ｃ１－４と色を変えて表示している。
　図１４は損傷図の表示のさらに他の態様を示す図である。図１４ではレイヤーＬＡ１，ＬＡ２を重畳しており、過去に抽出したひび割れＣ１－１～Ｃ１～４を点線で表示し、新たに抽出したひび割れＣ２－１～Ｃ２－４との差分Δ１～Δ４（ひび割れが進行した部分）を実線（ひび割れＣ１－１～Ｃ１～４と異なる態様）で表示している。
　なお図１１～１４ではひび割れについての損傷図を表示する場合について説明しているが、ひび割れその他一種類の損傷のみを表示するのではなく、複数種類の損傷を重畳して表示してもよい。また抽出した損傷には、ＣＡＤ等のデータから作成した橋梁１の構造を示す図を重畳してもよい（図９参照）。
　損傷図は、表示するとともに、損傷の分類ごとにレイヤー化して記録部１１４に記録する（ステップＳ１１６：記録工程）。このレイヤーには合成画像を構成する各画像の時間情報（撮影日、撮影時刻、等）と、合成画像と、合成画像に対し設定された座標系と、抽出した損傷と、が関連づけられている。なお入力した画像Ｉ１～Ｉ８についても記録部１１４に記録するようにしてもよい。
　このように、本実施形態に係る損傷図作成装置１００及び損傷図作成方法によれば、損傷の時間変化を比較して示す損傷図を作成して表示し、また損傷の抽出結果が損傷の分類ごとにレイヤー化されているので、損傷の時間変化を正確かつ容易に把握することができる。また、構造物である橋梁１の構造を示すＣＡＤデータと関連づけて記録するので、損傷と橋梁１の構造との関係を正確かつ容易に把握することができる。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
　１…橋梁、２…床版、３…主桁、３Ａ…接合部、１００…損傷図作成装置、１０２…カメラ、１０４…画像入力部、１０６…座標系設定部、１０８…画像合成部、１１０…損傷抽出部、１１２…損傷図作成部、１１４…記録部、１１６…表示部

Claims (11)

  1. 　構造物を撮影した画像を入力する画像入力部と、
    　複数の画像をつなぎ合わせる際の基準となる座標系を設定する座標系設定部と、
    　前記座標系を基準として前記複数の画像の合成画像を生成する画像合成部と、
    　前記合成画像から損傷の分類ごとに損傷を抽出する損傷抽出部と、
    　前記複数の画像の時間情報と、前記合成画像と、前記抽出した損傷と、前記座標系と、を関連づけて記録する記録部と、
    　前記抽出した損傷と前記記録部に記録された過去の損傷とを比較して、損傷の時間変化を示す損傷図を作成する損傷図作成部と、
    　前記作成した損傷図を表示する表示部と、
    　を備え、
    　前記座標系設定部は、前記座標系が設定されている座標系設定済み合成画像が存在するときは、前記座標系設定済み合成画像について設定されている前記座標系に基づいて、前記複数の画像に対して前記座標系を設定する、
    　損傷図作成装置。
  2. 　前記座標系設定部は、前記記録部に記録された過去の合成画像と前記入力した画像とのマッチングに基づいて前記座標系設定済み合成画像が存在するか否か判断する、請求項１に記載の損傷図作成装置。
  3. 　前記座標系設定部は、前記入力した画像から抽出した特徴点に基づいて前記座標系を設定する請求項１または２に記載の損傷図作成装置。
  4. 　前記特徴点は前記構造物が備える直線状の部材について抽出された特徴点である、請求項３に記載の損傷図作成装置。
  5. 　前記記録部は前記抽出した損傷を前記損傷の分類ごとにレイヤー化して記録する、請求項１から４のいずれか１項に記載の損傷図作成装置。
  6. 　前記損傷図作成部は、前記抽出した損傷を前記記録された損傷に重畳して前記損傷図を作成する請求項１から５のいずれか１項に記載の損傷図作成装置。
  7. 　前記損傷図作成部は、前記抽出した損傷及び前記記録された損傷を前記構造物の構造を示す図に重畳して前記損傷図を作成する、請求項１から６のいずれか１項に記載の損傷図作成装置。
  8. 　前記損傷図作成部は、前記抽出した損傷と前記記録された損傷とを異なる態様で表す損傷図を作成する、請求項１から７のいずれか１項に記載の損傷図作成装置。
  9. 　前記損傷図作成部は、前記抽出した損傷と前記記録された損傷との差分を前記記録された損傷と異なる態様で表す損傷図を作成する、請求項１から８のいずれか１項に記載の損傷図作成装置。
  10. 　前記構造物を撮影して画像を取得する画像取得部を備え、前記画像入力部は前記画像取得部が取得した画像を入力する請求項１から９のいずれか１項に記載の損傷図作成装置。
  11. 　構造物を撮影した画像を入力する画像入力工程と、
    　複数の画像をつなぎ合わせる際の基準となる座標系を設定する座標系設定工程と、
    　前記座標系を基準として前記複数の画像の合成画像を生成する画像合成工程と、
    　前記合成画像から損傷の分類ごとに損傷を抽出する損傷抽出工程と、
    　前記複数の画像の時間情報と、前記合成画像と、前記抽出した損傷と、前記座標系と、を関連づけて記録する記録工程と、
    　前記抽出した損傷と前記記録された損傷とを比較して、損傷の時間変化を示す損傷図を作成する損傷図作成工程と、
    　を備え、
    　前記座標系設定工程は、前記座標系が設定されている座標系設定済み合成画像が存在するか否か判断する判断工程を備え、前記判断の結果前記座標系設定済み合成画像が存在する場合は、前記座標系設定済み合成画像について設定されている前記座標系に基づいて前記複数の画像に対する前記座標系を設定する、
    　損傷図作成方法。
PCT/JP2016/073767 2015-09-25 2016-08-12 損傷図作成装置及び損傷図作成方法 WO2017051633A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015188537A JP2018185146A (ja) 2015-09-25 2015-09-25 損傷図作成装置及び損傷図作成方法
JP2015-188537 2015-09-25

Publications (1)

Publication Number Publication Date
WO2017051633A1 true WO2017051633A1 (ja) 2017-03-30

Family

ID=58385961

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/073767 WO2017051633A1 (ja) 2015-09-25 2016-08-12 損傷図作成装置及び損傷図作成方法

Country Status (2)

Country Link
JP (1) JP2018185146A (ja)
WO (1) WO2017051633A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019021729A1 (ja) * 2017-07-25 2019-01-31 富士フイルム株式会社 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
JP2019211410A (ja) * 2018-06-08 2019-12-12 株式会社リコー 描画装置、診断システム、描画方法、及びプログラム
JP2021047197A (ja) * 2017-07-27 2021-03-25 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、およびプログラム
CN113196041A (zh) * 2018-12-13 2021-07-30 富士胶片株式会社 损伤图制作辅助装置、损伤图制作辅助方法、损伤图制作辅助程序及损伤图制作辅助系统
WO2022071085A1 (ja) * 2020-09-29 2022-04-07 富士フイルム株式会社 損傷情報処理装置、損傷情報処理方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116279A1 (ja) * 2018-12-05 2020-06-11 富士フイルム株式会社 構造物の点検支援装置及び方法
JP7193728B2 (ja) * 2019-03-15 2022-12-21 富士通株式会社 情報処理装置および蓄積画像選択方法
JP2020154467A (ja) * 2019-03-18 2020-09-24 デンカ株式会社 コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム
JP7302291B2 (ja) * 2019-05-27 2023-07-04 中国電力株式会社 物品管理システム
WO2021152855A1 (ja) * 2020-01-31 2021-08-05 三菱電機株式会社 変状管理装置、変状管理方法、および変状管理プログラム
JP7401478B2 (ja) 2021-03-12 2023-12-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7407787B2 (ja) * 2021-12-03 2024-01-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20230177667A1 (en) * 2021-12-03 2023-06-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132961A (ja) * 1997-10-29 1999-05-21 Nikon Corp 構造物用検査装置
JPH11259656A (ja) * 1998-03-10 1999-09-24 Teito Rapid Transit Authority トンネル壁面判定装置
JP2005030961A (ja) * 2003-07-08 2005-02-03 Takenaka Doboku Co Ltd コンクリート点検システムのハイビジョン画像処理方法
JP2007026255A (ja) * 2005-07-20 2007-02-01 East Japan Railway Co 画像中の変状点の進展状況を抽出する方法
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2015105905A (ja) * 2013-12-02 2015-06-08 公益財団法人鉄道総合技術研究所 変状の時系列管理に用いるトンネル覆工面画像の補正方法
JP2015119372A (ja) * 2013-12-19 2015-06-25 株式会社日立製作所 マルチカメラ撮影システムおよびマルチカメラ撮影画像の合成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132961A (ja) * 1997-10-29 1999-05-21 Nikon Corp 構造物用検査装置
JPH11259656A (ja) * 1998-03-10 1999-09-24 Teito Rapid Transit Authority トンネル壁面判定装置
JP2005030961A (ja) * 2003-07-08 2005-02-03 Takenaka Doboku Co Ltd コンクリート点検システムのハイビジョン画像処理方法
JP2007026255A (ja) * 2005-07-20 2007-02-01 East Japan Railway Co 画像中の変状点の進展状況を抽出する方法
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2015105905A (ja) * 2013-12-02 2015-06-08 公益財団法人鉄道総合技術研究所 変状の時系列管理に用いるトンネル覆工面画像の補正方法
JP2015119372A (ja) * 2013-12-19 2015-06-25 株式会社日立製作所 マルチカメラ撮影システムおよびマルチカメラ撮影画像の合成方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11523013B2 (en) 2017-07-25 2022-12-06 Fujifilm Corporation Damage diagram creation method, damage diagram creation device, damage diagram creation system, and recording medium
CN110998655B (zh) * 2017-07-25 2023-10-20 富士胶片株式会社 损伤图创建方法、损伤图创建装置、损伤图创建系统及记录介质
CN110998655A (zh) * 2017-07-25 2020-04-10 富士胶片株式会社 损伤图创建方法、损伤图创建装置、损伤图创建系统及记录介质
JPWO2019021729A1 (ja) * 2017-07-25 2020-09-24 富士フイルム株式会社 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
US11948291B2 (en) 2017-07-25 2024-04-02 Fujifilm Corporation Damage diagram creation method, damage diagram creation device, damage diagram creation system, and recording medium
WO2019021729A1 (ja) * 2017-07-25 2019-01-31 富士フイルム株式会社 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
JP7170023B2 (ja) 2017-07-27 2022-11-11 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、プログラム、およびシステム
JP2021047197A (ja) * 2017-07-27 2021-03-25 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、およびプログラム
JP2019211410A (ja) * 2018-06-08 2019-12-12 株式会社リコー 描画装置、診断システム、描画方法、及びプログラム
JP7095418B2 (ja) 2018-06-08 2022-07-05 株式会社リコー 描画装置、診断システム、描画方法、及びプログラム
CN113196041A (zh) * 2018-12-13 2021-07-30 富士胶片株式会社 损伤图制作辅助装置、损伤图制作辅助方法、损伤图制作辅助程序及损伤图制作辅助系统
US11959862B2 (en) 2018-12-13 2024-04-16 Fujifilm Corporation Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system
CN113196041B (zh) * 2018-12-13 2024-06-11 富士胶片株式会社 损伤图制作辅助装置、损伤图制作辅助方法、损伤图制作辅助程序及损伤图制作辅助系统
WO2022071085A1 (ja) * 2020-09-29 2022-04-07 富士フイルム株式会社 損傷情報処理装置、損傷情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2018185146A (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
WO2017051633A1 (ja) 損傷図作成装置及び損傷図作成方法
Prasanna et al. Automated crack detection on concrete bridges
Xie et al. Automatic multi-image stitching for concrete bridge inspection by combining point and line features
JP6682561B2 (ja) ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム
US10740892B2 (en) Measurement support apparatus and measurement support method
CN110462678B (zh) 图像处理装置及图像处理方法
JP6573986B2 (ja) 損傷情報処理装置及び損傷情報処理方法
JP6576473B2 (ja) ひび割れ情報編集装置、ひび割れ情報編集方法およびひび割れ情報編集プログラム
US11948291B2 (en) Damage diagram creation method, damage diagram creation device, damage diagram creation system, and recording medium
JP2001124522A (ja) 画像処理を用いたひび割れ評価装置
JP6333307B2 (ja) 劣化部位検知装置、劣化部位検知方法およびプログラム
WO2020110560A1 (ja) コンクリート構造物の点検支援装置、点検支援方法及び点検支援プログラム
WO2007004517A1 (ja) 表面検査装置
JP2005016991A (ja) 赤外線構造物診断システム
JPWO2019150799A1 (ja) 補修長の決定方法及び補修長の決定装置
US11423511B2 (en) Image composition method, image composition device, and recording medium
JP2005016995A (ja) 赤外線構造物診断方法
JP2006170921A (ja) 外観検査方法およびその装置
Mojidra et al. Vision-based fatigue crack detection using global motion compensation and video feature tracking
JP2004318790A (ja) 構造物用検査装置及び検査方法、並びに記録媒体
WO2020054584A1 (ja) 合成処理システム、合成処理装置、及び合成処理方法
JP2005337797A (ja) 表示素子の画素位置取得方法および表示用パネルの検査方法
US11959862B2 (en) Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system
Paterson et al. Building inspection: can computer vision help?
Adhikari et al. Automated bridge condition assessment with hybrid sensing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848421

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16848421

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP