WO2019130391A1 - 画像処理プログラム、画像処理方法、および画像処理装置 - Google Patents

画像処理プログラム、画像処理方法、および画像処理装置 Download PDF

Info

Publication number
WO2019130391A1
WO2019130391A1 PCT/JP2017/046432 JP2017046432W WO2019130391A1 WO 2019130391 A1 WO2019130391 A1 WO 2019130391A1 JP 2017046432 W JP2017046432 W JP 2017046432W WO 2019130391 A1 WO2019130391 A1 WO 2019130391A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
image data
data
image processing
image
Prior art date
Application number
PCT/JP2017/046432
Other languages
English (en)
French (fr)
Inventor
祐輔 中西
菊地　英幸
博 山上
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN201780097929.2A priority Critical patent/CN111566696A/zh
Priority to JP2019561403A priority patent/JP6901008B2/ja
Priority to PCT/JP2017/046432 priority patent/WO2019130391A1/ja
Priority to EP17936252.0A priority patent/EP3734547B1/en
Publication of WO2019130391A1 publication Critical patent/WO2019130391A1/ja
Priority to US16/897,971 priority patent/US11474047B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Definitions

  • the present invention relates to an image processing program, an image processing method, and an image processing apparatus.
  • infrastructures such as structures (hereinafter sometimes referred to as infrastructures) are inspected, and when an abnormality is detected, maintenance and management of the infrastructure are performed by performing operations such as repair.
  • problems such as staff shortage and cost shortage. Therefore, various attempts have been made to make maintenance and management efficient, for example, using ICT (Information and Communication Technology) technology.
  • ICT Information and Communication Technology
  • an apparatus utilizing ICT technology there is a technology for capturing an image of a structure using an imaging device, a drone, a robot or the like and improving inspection efficiency and accuracy using the captured image (captured image) .
  • a technology for capturing an image of a structure using an imaging device, a drone, a robot or the like and improving inspection efficiency and accuracy using the captured image (captured image) .
  • image data captured by a measurement vehicle or a sensor in a database and analyzing the image data stored in the database, it is possible to predict abnormality detection and aging and streamline inspection work of a structure, etc. It has been done.
  • the data amount of the image data may be large and the storage area may be compressed.
  • the present invention aims to efficiently store image data.
  • An image processing apparatus analyzes a captured image of a structure and identifies a damaged portion by a specific unit; and a design data corresponding to the identified damaged portion in the captured image and the structure And a prediction unit that predicts the extent to which the damage expands based on the
  • Image data can be stored efficiently.
  • FIG. 7 is another diagram illustrating an exemplary image compression process.
  • FIG. 6 illustrates an example of damage spreading to the area of compressed cells in the image data. It is a figure which illustrates the block configuration of the image processing device concerning an embodiment. It is a figure explaining the progress of an example damage. It is a figure which illustrates the line segment showing the damage concerning an embodiment. It is a figure which illustrates the three-dimensional model of a structure. It is a figure explaining the relation of the distance of a line segment and a member. It is a figure explaining the angle of a line segment and the central line of a member.
  • FIG. 5 illustrates the prediction of cells that may have their damage spread.
  • FIG. 1 is a diagram for explaining an exemplary image compression process.
  • the image data 10 (for example, the image data 10a to the image data 10f) may be generated by photographing a structure to be inspected with an imaging device such as a camera.
  • the image data 10 may be raster image data in one example.
  • the image data 10 may be captured in the order of the image data 10a, 10b, 10c, 10d, 10e, 10f, for example.
  • the structure to be inspected may be, for example, a pavement surface of a road, a bridge, a tunnel, etc., a structure to be subjected to repair or the like by monitoring abnormality or aged deterioration and the like.
  • the related data 11a to 11f are data corresponding to the image data 10a to 10f, respectively.
  • the related data 11 may be, for example, vector image data indicating the shape of a damage included in a structure such as a crack or a crack detected from the corresponding image data 10.
  • the image data 10a to 10f may be images obtained by photographing the same part at different times. For example, the image data 10a of a certain place may be photographed at a certain time, the related data 11a may be generated from the image data 10a, and several years later, the image data 10b of the same place is photographed. Related data 11 b may be generated.
  • the image processing apparatus may detect the shape of damage included in a structure such as a crack or a crack by generating and analyzing image data 10a to 10f, for example, and may generate related data 11a to 11f.
  • the image processing apparatus may generate, as a vector image, position information of a damaged part acquired by an apparatus such as a physical quantity sensor. If the damage is a crack, the crack line may be a vector image.
  • the photographing time of the image data 10a and T 1 the photographing time of the image data 10d and T 2.
  • the photographing time T 1 is a past time than taking the time T 2.
  • the image processing apparatus divides the image data 10a into a plurality of areas, and generates a plurality of cells 20a to 20f ((1) in FIG. 1).
  • the image processing apparatus compares the image data 10a captured at time T 1, and the related data 11d which is generated from the captured image data 10d at time T 2, to identify the cell 20 containing the damage (Fig. 1 (2)).
  • the cell 20 containing damage is, for example, a cell 20 containing a damaged portion whose shape is defined in the related data 11 d.
  • the image processing apparatus identifies the cell 20 which does not include the damaged portion from among the cells 20a to 20f, and compresses the identified cell 20 ((3) in FIG. 1). For example, the image processing apparatus compresses the cells 20c, 20d, and 20f.
  • the image processing apparatus generates compressed image data 30 corresponding to the original image data 10a by combining the compressed cells 20c, 20d, and 20f with the non-compressed cells 20a, 20b, and 20e (see FIG. 1 (4)).
  • the image processing apparatus stores the compressed image data 30 in a database instead of the image data 10a before compression. Therefore, while suppressing the deterioration of the data area containing the damage at the point of time T 2, the image data, it is possible to reduce the data amount of image data.
  • FIG. 2 further illustrates the exemplary image compression process described above.
  • Upper illustrates the process of identifying a compressed portion using a related data 11 obtained from image data captured at the time T 2. Further, the lower illustrates the compression processing of the image data 10 imaged at time T 1. Note that in one embodiment, time T 2, may be after time T 1. 2, the image processing apparatus, for example, in the case of the image data 10 at time T 1 and compressed to obtain the relevant data 11 of time T 2, which was taken after the that time. Then, the image processing apparatus divides the acquired related data 11 into a plurality of cells 20 ((1) in FIG. 2).
  • the image processing apparatus may divide the related data 11 into a predetermined number of cells 20 such as m ⁇ n, and may add address information indicating the arrangement in the related data to each of the divided cells 20. Further, as shown in the lower part of FIG. 2, the image processing apparatus acquires the image data 10 to be compressed at time T 1 and divides the acquired image data 10 into a plurality of cells 20 ((2) in FIG. 2). ). For example, the image processing apparatus may divide the image data 10 into a predetermined number of cells 20 such as m ⁇ n, and add address information indicating the arrangement in the image data to each of the divided cells 20.
  • the image processing apparatus 400 identifies the cell 20 is arranged in the region including the damage indicated by the associated data 11 at time T 1. Then, the image processing apparatus 400 sets “False” indicating that the cell 20 containing the damage is not to be compressed, and “True” indicating that the cell 20 not containing the damage is to be compressed. Is set ((3) in FIG. 2). Then, the image processing apparatus 400, among a plurality of cells 20 obtained by dividing the image data 10 imaged at time T 1, a compressed "True” is placed in the position set cells 20 data are compressed ((4) in FIG. 2).
  • the image processing apparatus 400 combines the uncompressed cell 20 at the position set to “False” and the compressed cell 20 at the position set to “True”, to obtain the original image.
  • the compressed image data 30 corresponding to the data 10 is generated ((5) in FIG. 2). Therefore, for example, in the area of the cell 20 in which the damage is included at the time T 2 , an image obtained by compressing the data of the area of the other cell 20 while having an image of sufficient quality as an image used for inspection or the like. Data 30 can be generated. Therefore, it is possible to reduce the data volume of the image data while suppressing the decrease in the detection accuracy of the abnormality of the structure. However, damage such as cracking may spread over the compressed image area.
  • FIG. 3 is a diagram describing an example in which the damage spreads to the area of the compressed cell 20 in the image data 10.
  • FIG. 3A is a diagram illustrating compressed image data 30 obtained by compressing image data 10 captured at a certain time.
  • the damage is within the uncompressed area 301 and the damage is not included in the compressed area 302. However, damage may extend beyond the uncompressed area 301.
  • FIG. 3 (b) is a view showing a state in which the damage spreads at a time after the time when the image data of FIG. 3 (a) is captured
  • FIG. 3 (c) is a diagram showing FIG. It is a figure which shows superposition with FIG.3 (b).
  • the damage is also included in the area 302 of the compressed cell. Since damage is included in the area degraded by compression, problems may occur when abnormality detection or secular change detection is performed using these images.
  • the image processing device predicts a region where damage is likely to spread. Therefore, according to the embodiment, it is possible to leave an area where damage is likely to spread without being compressed, and while suppressing deterioration of data in the area where damage of image data is likely to spread, the data amount of image data Image data can be saved efficiently.
  • embodiments will be described.
  • FIG. 4 is a diagram illustrating a block configuration of the image processing apparatus 400 according to the embodiment.
  • the image processing apparatus 400 includes, for example, a control unit 401 and a storage unit 402.
  • the control unit 401 includes, for example, a specifying unit 411, a prediction unit 412, and the like.
  • the storage unit 402 of the image processing apparatus 400 stores, for example, information such as image data information 1200, design data information 1300, damaged part data 1500, and prediction information 1600 described later. Details of these units and details of the information stored in the storage unit 402 will be described later.
  • control unit 401 of the image processing apparatus 400 predicts an area where the damaged portion may spread.
  • the prediction of the area in which the damaged portion may spread is described.
  • damage such as concrete or cracks or cracks in inspection target members subject to age-related changes
  • a structure that is subject to age-related deterioration such as road pavements, bridges, tunnels, etc., and repair or the like
  • damage occurs.
  • rainwater etc. may intrude into the inside of a structure from damage.
  • the damage is, for example, along the member
  • the water that has invaded the interior of the structure from the damage contacts the member, causing the member to corrode or deteriorate with water, changing its shape, and the damage to the member It may progress in the direction along.
  • the member may be made of, for example, a material such as a reinforcing bar or a steel frame, which is easily deteriorated or corroded when exposed to water or wind and rain, and whose shape may change due to the corrosion.
  • FIG. 5 is a diagram for explaining an example of progression of damage.
  • FIG. 5A is a diagram illustrating a three-dimensional model obtained from design data of a structure, and shows the structure of a member 501 such as a reinforcing bar or a steel frame.
  • damage 503 has occurred in the inspection target member in the area shown in the frame 502, and the related data 11 indicating the damage is shown in FIG. 5 (b).
  • FIG. 5C shows the extent of the overlap with the damage 503 shown by the related data 11 and the member 501 inside, and the extending direction also corresponds.
  • the damage 503 is likely to progress in the direction along the member, as indicated by the dotted line indicated by the arrow 504. Therefore, as shown in FIG. 5C, the image processing apparatus 400 can predict that the damage proceeds in the direction along the structure of the member by referring to the design data of the structure. On the other hand, since the damage 503 shown by the arrow 505 has a low degree of overlapping with the member 501 and the extending direction does not coincide with the extending direction of the member 501, it may be estimated that the progress of the damage 503 is not affected by the member .
  • control unit 401 may represent a line segment of damage indicated by the related data 11 by a line segment of a predetermined length.
  • FIG. 6 is a diagram showing an example in which the damage according to the embodiment is represented by line segments of a predetermined length.
  • the control unit 401 of the image processing apparatus 400 divides the damage of the related data 11 into line segments of a predetermined length: c (cm), and gives predetermined two-dimensional orthogonal coordinates to the start point and the end point of each.
  • the predetermined length c (cm) may be, for example, in the range of 5 cm to 10 cm.
  • the control unit 401 may specify a point on the line segment of the damage located at a predetermined distance from the start point as the end point. The specified end point may be used as the start point of the next line segment.
  • FIG. 6 (b) is a diagram illustrating line segments divided as described above, and damage can be represented by line segments of a predetermined length. If the distance to the end point of damage is less than c (cm) at the time of division, the control unit 401 sets the coordinates at c '(cm) shorter than c (cm) at the end point of the line segment of the damage. You may give it.
  • control unit 401 acquires a three-dimensional model of a member that forms the structure from design data that is a design drawing of the structure, and determines the degree of overlap between the member 501 and the damaged portion.
  • FIG. 7 is a diagram illustrating a three-dimensional model of a structure.
  • FIG. 7A is a cross-sectional view of the member 701 and the inspection target member in which concrete 702 is shown as an example of the inspection target member to be inspected for damage or the like.
  • FIG. 7A it is assumed that the concrete 702 on the side of the lower part of the drawing is damaged.
  • FIG. 7B is a perspective view of the side concrete 702 including the damage from within the predetermined distance d (cm) from the surface of the concrete 702 when viewed from the imaging direction of the image data 10 from which the vector image of the damage is derived. It is a figure which piled up and showed the member which sees the depth on a vector picture.
  • the control unit 401 sets a combination of a line segment and a member whose distance between the line segment and the member is less than a predetermined distance: e (cm) among the line segments representing the damaged portion on the plane of the vector image. Extract.
  • e (cm) the distance between the line segment and the member
  • the distance between the start point and the end point of the line segment and the center line in the longitudinal direction of the member may be used.
  • the shortest distance between the line segment and the longitudinal center line of the member may be used as the distance between the line segment and the member.
  • the predetermined distance: e (cm) is set to, for example, a distance estimated from the average width of the members included in the design data information 1300 that water which has invaded from damage may affect the deterioration of the members. May be done.
  • FIG. 8 is a diagram illustrating the distance between a line segment and a member.
  • the control unit 401 since the line segments P2-P3 and P3-P4 satisfy the condition for the reinforcing bar 2, the control unit 401 causes the line segment P2-P3 and the line segment P3-P4 for the reinforcing bar 2. May be extracted.
  • control unit 401 determines whether or not the direction in which the damaged portion extends and the direction in which the member extends match in a predetermined angular range. For example, the control unit 401 may determine whether or not the acute angle formed by the line segment extracted on the plane of the vector image and the center line of the member is equal to or less than a predetermined angle: f (degree).
  • FIG. 9 is a diagram illustrating the determination of the angle between the extracted line segment and the center line of the member.
  • the extending direction of the extracted line segment and the center line of the member coincide to some extent, and the acute angle formed by the extracted line segment and the center line of the member is f (degree It is an example of the following cases.
  • the extracted line segment and the center line of the member extend in largely different directions, and the acute angle formed by the extracted line segment and the center line of the member is f ( Degree) is an example.
  • the predetermined angle may be, for example, a number less than 90 degrees, and may be 45 degrees, for example.
  • the predetermined angle may be set to, for example, an angle at which it is estimated that the damage spreads along the member if the direction in which the damage extends below the angle coincides with the direction in which the member extends. Then, it is possible to predict that the line segment extracted as described above may cause damage to progress along the direction in which the member extends.
  • control unit 401 may divide the image data to be compressed into m ⁇ n cell areas, and assign address information to each cell 20. Then, the control unit 401 has a high degree of overlap with the line segment, and a cell 20 including the reinforcing bar 2 whose extension direction is also matched within a predetermined angle range is a cell that may be further damaged. Identify.
  • the control unit 401 may register the address information of the identified cell in prediction information 1600 described later, and may store the information in the storage unit 402.
  • FIG. 10 is a diagram that illustrates the prediction of cells 20 that may have their damage spread.
  • a cell 20 enclosed by a dotted frame 1001 in FIG. 10 is a cell 20 including the reinforcing bar 2 and is a cell 20 predicted to have a possibility that the damage may spread.
  • one image data may be matched with one floor slab of concrete in an example. This is because, for example, when damage such as a crack occurs in part of the floor slab, the damage may extend to the edge of the floor slab.
  • damage prediction may be performed, for example, on a floor level basis. For example, if there is a member under the injury and the injury is predicted to extend along the member, the control unit 401 damages the cell 20 including the member up to the end of the image data corresponding to the end of the floor plate May be identified as a cell 20 that may expand.
  • the damage may be spread to another floor plate due to the influence of the member corrosion or deterioration. There is. Therefore, in another embodiment, for example, from the degree of progress of damage from time T 1 to time T 2, to predict the progression of damage until after a predetermined number of years in another image, it is possible that damage spreads
  • the cell 20 predicted to be Note that the image data according to the embodiment may not necessarily be in the floor unit, and in another embodiment, it may be part of the floor or may span some floors.
  • the control unit 401 predicts the range in which the damage is expanded, based on the degree of overlap between the damaged portion and the members constituting the structure included in the design data. Further, in the embodiment, the control unit 401 predicts the range in which the damage is expanded based on the direction in which the damaged portion and the members constituting the structure included in the design data extend. Thereby, the control unit 401 can identify the cell 20 in which the damage may be spread. Therefore, the control unit 401 can appropriately compress the image data while avoiding the area of the cell 20 in which the damage may spread. Therefore, according to the embodiment, the control unit 401 can reduce the data capacity of the image data while suppressing the decrease in the detection accuracy of the abnormality of the structure.
  • FIG. 11 is a diagram showing an example of the image compression process according to the embodiment described above. 11, the upper part shows the processing for the relevant data associated with the captured image data at time T 2. Further, the lower part shows the compression processing on the image data at time T 1. Note that time T 2, is after time T 1.
  • Control unit 401 for example, in the case of an image at time T 1 and compressed, it acquires the related data 11 of time T 2, which was taken after the that time. Then, the control unit 401 divides the acquired related data 11 into a plurality of cells 20 ((1) in FIG. 11).
  • control unit 401 may divide the related data 11 into a predetermined number of cells 20 such as m ⁇ n cells, and add address information indicating the arrangement in the related data to each of the divided cells 20.
  • the control unit 401 obtains the compressed image data 10 of the target at time T 1, divides the image data 10 acquired in a plurality of cells 20 (in FIG. 11 (2)).
  • the control unit 401 may divide the image data 10 into a predetermined number of cells 20 such as m ⁇ n cells, and add address information indicating the arrangement in the image data 10 to each of the divided cells 20.
  • the control unit 401 among the cells 20 divided to identify cells 20 containing the damage shown in the relevant data at time T 2 (1101 in FIG. 11), compressed in the specified cell 20 Set “False” to indicate not to The control unit 401, among the cells 20 divided, the damage shown in the relevant data at time T 2, from the stored design data in the storage unit 402, a cell 20 that could damage spreads ( Identify 1102) of FIG. Then, the control unit 401 sets “False” indicating that the identified cell 20 is not to be compressed. In addition, the control unit 401 sets “True” indicating that compression is to be performed on other cells ((3) in FIG. 11).
  • control unit 401 of the cell 20 obtained by dividing the image data 10 imaged at time T 1, the cell is compressed identified from the associated data 11 in time T 2, "True” is set 20 Image data is compressed ((4) in FIG. 11).
  • control unit 401 combines the uncompressed cell 20 at the position set to “False” and the compressed cell 20 at the position set to “True”, and the original image data And the corresponding compressed image data 30 is generated ((5) in FIG. 11). Therefore, for example, with respect to the cell 20 containing the damage at time T 1 and the area where the damage predicted from the design data may spread, maintain sufficient quality as an image used for inspection work etc. it can.
  • image data 30 in which the data amount of the image data is reduced can be generated by compressing the data of the other area. Therefore, it is possible to reduce the data capacity of the image data while suppressing the decrease in the accuracy of detection or monitoring of abnormality of the structure or the like.
  • FIG. 12 is a diagram showing an example of the image data information 1200 according to the embodiment.
  • the image data information 1200 for example, an entry related to an image obtained by copying an inspection area to be monitored and detected for an abnormality such as damage in a structure to be inspected may be registered.
  • the image may be, for example, an image obtained by imaging an inspection area of a structure by attaching an imaging device to a drone, or an image obtained by imaging the inspection area using a high resolution telephoto camera. It may be
  • the entry of the image data information 1200 may include an identification number, position information, time information, and image data, and the information is associated.
  • the identification number is information that uniquely identifies the image data.
  • Position information is information which shows the position of the inspection field reflected to image data.
  • the time information is information indicating the time when the image data was captured.
  • the image data is image data 10 obtained by imaging the inspection area at the position indicated by the position information of the entry with the imaging device at the time of the time information.
  • the image data may be associated with one floor slab of concrete in one example, as described above. Also, in another example, the image data may be part of a floor slab or an image across several floor planks.
  • image data information 1200 may be stored in the storage unit 402 of the image processing apparatus 400.
  • FIG. 13 is a diagram illustrating design data information 1300.
  • the design data information 1300 for example, data regarding a design drawing of a structure to be inspected such as a pavement surface of a road, a bridge, or a tunnel is registered.
  • entries including member identification information and structure information are registered.
  • the member identification information is, for example, identification information for identifying a member such as a reinforcing bar, a steel frame or concrete used for the structure.
  • the structure information is information indicating the position or arrangement of the member in the structure of the member identified by the member identification information of the entry, and in one example, the position coordinate of each vertex of the member in three-dimensional space, information of the side, etc. It may be information indicating an outline.
  • position coordinates of an end of a center line of the member and information of a radius from the center line may be registered in the structure information.
  • the design data information 1300 as described above may be stored in the storage unit 402 of the image processing apparatus 400.
  • FIG. 14 is a diagram illustrating an operation flow of damage progress prediction processing 9001 according to the embodiment.
  • the control unit 401 may execute the operation flow of FIG. 14.
  • the control unit 401 reads image data from the image data information 1200.
  • Control unit 401 may read the image data captured in time T 2, which is designated as the image data used for prediction of the extent of damage from the user.
  • the control unit 401 analyzes the read image data, and determines whether damage is included in the area of the structure reflected in the read image data. If the image data includes damage (Yes in S1402), the flow proceeds to S1403.
  • control unit 401 analyzes the image data including the damage to specify the damaged portion, generates vector data representing the shape of the damaged portion, and stores the vector data in the storage unit 402 in association with the image data. .
  • control unit 401 may add vector data to an entry in which the corresponding image data of the image data information 1200 is included, and may generate the damaged portion data 1500.
  • FIG. 15 is a diagram illustrating damaged part data 1500 according to the embodiment.
  • the damaged part data 1500 vector data representing the shape of the damage is added to the entry in which the damage is detected among the entries of the image data information 1200.
  • an entry including an identification number, position information, time information, image data, and vector data to be associated with the image data is registered.
  • the identification number, the position information, the time information, and the image data may be the same data as described in FIG.
  • the vector data corresponding to the image data may be vector data of damage detected from the data of the image captured by the imaging device at the time indicated by the time information at the position indicated by the position information of the entry.
  • the control unit 401 represents the damage represented by the vector data as a line segment of a predetermined length. For example, as described in FIG. 6 described above, the control unit 401 divides damage data by a line segment from an arbitrary point on the damage data to a point on the damage data located at a predetermined length position, The damage may be represented by a line segment.
  • step S1405 the control unit 401 reads design data of a structure from the design data information 1300. Then, the control unit 401 three-dimensionally models the structure defined by the design data information 1300, and aligns the image data with the structure. For example, the control unit 401 may align the three-dimensional structural model of the structure with a predetermined point on the image data, and apply an image to the three-dimensional structural model using a technique of texture mapping.
  • step S1406 when transmitting the pasted image data, the control unit 401 identifies a member within a predetermined distance from the inspection target member having damage such as concrete on the image data. For example, as described in FIG. 7 described above, the control unit 401 may specify a member that can be seen at a depth within a predetermined distance d (cm) from the surface of the inspection target member.
  • the control unit 401 identifies line segments that overlap the identified members at an overlap degree that satisfies a predetermined condition.
  • the control unit 401 may specify a specified member and a line segment within a predetermined distance.
  • the control unit 401 determines that the distance between the start point and the end point of the line segment and the center line of the member is less than a predetermined distance: e (cm) on the vector data plane.
  • e (cm) is set to the distance estimated that water may deteriorate a member, for example, when water etc. invade from the damage which exists in the distance from the member by the distance. Good.
  • the control unit 401 specifies, for example, an angle formed by a combination of the extracted line segment and member.
  • the control unit 401 may specify an acute angle among angles formed by a line segment and a center line of a member on a plane of vector data.
  • the control unit 401 determines whether the specified angle is equal to or less than a predetermined angle.
  • the predetermined angle may be, for example, a number less than 90 degrees, and may be 45 degrees, for example.
  • the predetermined angle may be set to, for example, an angle at which it is estimated that the damage spreads along the member if the direction in which the damage extends below the angle coincides with the direction in which the member extends. Note that using an acute angle is an example, and the embodiment is not limited to this, and in another embodiment, the determination may be performed with another threshold value using an obtuse angle.
  • the control unit 401 identifies a member determined to have the overlap degree satisfying the predetermined condition of S1407 and extend in the same direction as the line segment at the angle equal to or less than the predetermined angle of S1409.
  • the control unit 401 divides the vector data into cells of a predetermined size. For example, the control unit 401 divides vector data of a predetermined size into m cells on the horizontal axis, distinguishes them by the value of m, divides them into n cells on the vertical axis, and distinguishes them by the value of n, Address information may be added to identify each cell by (m, n).
  • the control unit 401 specifies the cell 20 including the member specified in S1410 when the vector data is viewed through, among the plurality of cells 20 obtained by dividing the vector data.
  • this cell 20 is, for example, a cell predicted to have a possibility that the damage may spread due to the deterioration of the structure due to the damage.
  • control unit 401 sets “False” indicating that the cell identified in S1412 may be damaged and does not compress. In addition, the control unit 401 may set “False” also to the cell including the damage. The control unit 401 sets “True”, which indicates that compression is to be performed, to the other cells with a low possibility of the spread of damage. Then, the prediction information 1600 in which the setting of “True” or “False” for each cell is registered is output, and this operation flow ends.
  • FIG. 16 is a diagram exemplifying prediction information 1600 for image data identified by certain identification information according to the embodiment.
  • the prediction information 1600 there is registered an entry in which address information indicating the arrangement of the cell 20 in association with image data and compression information indicating whether or not it is a compression target corresponding to damage and damage prediction are associated.
  • the control unit 401 may output the above prediction information 1600 in S1413. Therefore, the control unit 401 can output information indicating the range of cells predicted that the damage may be spread.
  • the same value “False” is set in both the cell including the damage and the cell in which the damage may spread, but in another embodiment, the control unit 401 Different values may be set.
  • the control unit 401 may output prediction information 1600 that can identify a cell in which damage is predicted.
  • the flow proceeds to S1413, the control unit 401 outputs the prediction information 1600, and the operation flow ends.
  • the damage predictions of the entries of the prediction information 1600 may all be set to “True”.
  • the output prediction information 1600 may be stored in the storage unit 402, for example.
  • the control unit 401 can predict a range in which damage is expanded based on design data. Then, the control unit 401 can output the predicted range. Therefore, the control unit 401 can appropriately compress the image data by avoiding the cell in which the damage may spread, using the information of the range in which the predicted damage spreads. Therefore, according to the embodiment, the control unit 401 can reduce the data capacity of the image data while suppressing the decrease in the detection accuracy of the abnormality of the structure.
  • control unit 401 since the control unit 401 predicts the range in which the damage is expanded in accordance with the degree of overlap between the damaged portion and the members included in the design data, prediction of the range in which the damage is expanded Accuracy can be improved. Similarly, in the operation flow of FIG. 14, since the control unit 401 predicts the range in which the damage is expanded in accordance with the extending direction of the damaged portion and the members included in the design data, the range in which the damage is expanded is It is possible to improve the prediction accuracy.
  • FIG. 17 is a diagram illustrating an operation flow of image compression processing according to the embodiment.
  • the control unit 401 may start the operation flow of FIG.
  • step S1701 the control unit 401 reads out the image data to be compressed from the image data information 1200.
  • the control unit 401 may read the image data captured at the time T 1 that is designated as the image data to be compressed by the user.
  • step S ⁇ b> 1702 the control unit 401 divides the read image data into m ⁇ n cell regions and stores the divided image data, and provides address information to each cell.
  • the control unit 401 divides the m cells along the horizontal axis and distinguishes them by the value of m, divides the n cells along the vertical axis and distinguishes them by the value of n, and (m, Address information may be added as identified in n).
  • the address information provided to the cell 20 in S1702 may correspond to the address information provided to the cell of vector data in S1411 of FIG. In other words, the image data may be divided in the same manner as the corresponding vector data.
  • step S1703 the control unit 401 selects one unprocessed cell among a plurality of cells obtained by dividing the image data.
  • step S1704 the control unit 401 determines whether the compressed information associated with the address information of the selected cell and the prediction information 1600 is “False” that includes damage or that damage may be spread. If the cell compression information is set to “False” that includes damage or that damage may be spread (Yes at S1704), the flow proceeds to S1706. On the other hand, if the compression information is set to “True” in which the damage is included or the damage may not be spread (S1704: No), the flow proceeds to S1705.
  • the control unit 401 compresses the image of the selected cell. For example, the control unit 401 may reduce the amount of data by changing the resolution of the image of the cell whose compression information is set to “True” to a lower value. However, in another embodiment, other cells set to “True” are higher than cells set to “False” that contain damage or are predicted to have a possibility of spreading. A compression rate may be applied. Also in this case, it is possible to save the image data efficiently by reducing the data amount of the image data while suppressing the deterioration of the data in the area where the damage of the image data is likely to spread.
  • step S1706 the control unit 401 determines whether processing has been performed on all cells in the image data. If there is an unprocessed cell, the flow returns to S1703 to select an unprocessed cell and repeat the processing. On the other hand, if all cells have been processed, the flow proceeds to S1707.
  • step S1707 the control unit 401 combines the plurality of processed cells in accordance with the address information, thereby generating compressed image data corresponding to the original image data, and the operation flow ends.
  • the control unit 401 predicts an area in which the damage may spread from the damage occurring in the structure and the design data of the structure. Then, the control unit 401 outputs an area in which the damage may spread. Therefore, the control unit 401 can reduce the data size of the image data by, for example, identifying an area in the image data in which the possibility of damage is low and compressing data in the area. Therefore, according to the embodiment, it is possible to save image data efficiently by reducing the data amount of the image data while suppressing deterioration of data in a region where damage of the image data is likely to be spread.
  • control unit 401 operates as, for example, the specifying unit 411 in the process of S1402 in FIG. Further, in the process of S1412 of FIG. 14, the control unit 401 operates as, for example, the prediction unit 412.
  • the embodiment has been illustrated above, the embodiment is not limited to this.
  • the above-mentioned operation flow is an illustration, and an embodiment is not limited to this. If possible, the operation flow may be executed by changing the order of processing, may include additional additional processing, or some of the processing may be omitted.
  • the process of S1411 of FIG. 14 may be performed at a stage prior to S1411, such as before the process of S1403.
  • FIG. 18 is a diagram illustrating a hardware configuration of an image processing apparatus 400 for realizing the image processing apparatus 400 according to the embodiment.
  • the hardware configuration for realizing the image processing apparatus 400 in FIG. 18 includes, for example, a processor 1801, a memory 1802, a storage device 1803, a reading device 1804, a communication interface 1806, and an input / output interface 1807.
  • the processor 1801, the memory 1802, the storage device 1803, the reading device 1804, the communication interface 1806, and the input / output interface 1807 are connected to one another via, for example, a bus 1808.
  • the processor 1801 may be, for example, a single processor, a multiprocessor, or a multicore.
  • the processor 1801 executes, for example, a program describing the procedure of the above-described operation flow using the memory 1802, for example, functions of part or all of the above-described control unit 401 such as the specification unit 411 and the prediction unit 412. I will provide a.
  • the memory 1802 is, for example, a semiconductor memory, and may include a RAM area and a ROM area.
  • the storage device 1803 is, for example, a hard disk, a semiconductor memory such as a flash memory, or an external storage device. Note that RAM is an abbreviation for Random Access Memory. Also, ROM is an abbreviation of Read Only Memory.
  • the reader 1804 accesses the removable storage medium 1805 according to the instruction of the processor 1801.
  • the removable storage medium 1805 is, for example, a semiconductor device (USB memory or the like), a medium (for example, a magnetic disk) to which information is input / output by magnetic action, a medium (CD-ROM) to / from which information is input / output by optical action. It is realized by a DVD etc.).
  • USB is an abbreviation of Universal Serial Bus.
  • CD is an abbreviation of Compact Disc.
  • DVD is an abbreviation of Digital Versatile Disk.
  • the storage unit 402 includes, for example, a memory 1802, a storage device 1803, and a removable storage medium 1805.
  • image data information 1200, design data information 1300, damaged part data 1500, and prediction information 1600 are stored.
  • the communication interface 1806 transmits and receives data via the network, for example, in accordance with an instruction from the processor 1801.
  • the input / output interface 1807 may be, for example, an interface between an input device and an output device.
  • the input device is, for example, a device such as a keyboard or a mouse that receives an instruction from a user.
  • the output device is, for example, a display device such as a display and an audio device such as a speaker.
  • Each program according to the embodiment is provided to the image processing apparatus 400, for example, in the following form. (1) It is installed in advance in the storage device 1803. (2) Provided by the removable storage medium 1805. (3) Provided from a server such as a program server.
  • the hardware configuration for realizing the image processing apparatus 400 described with reference to FIG. 18 is an example, and the embodiment is not limited to this.
  • some or all of the functions described above may be implemented as hardware such as FPGA and SoC.
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • SoC is an abbreviation of System-on-a-chip.
  • control unit 402 storage unit 411: identification unit 412: prediction unit 1800: computer 1801: processor 1802: memory 1803: storage device 1804: reading device 1805: removable storage medium 1806: communication interface 1807: Input / output interface 1808: Bus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Bridges Or Land Bridges (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

一実施形態に係る画像処理装置は、構造物の撮像画像を解析して損傷部分を特定する特定部と、撮像画像のうち、特定した損傷部分と、構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する予測部と、を含む。

Description

画像処理プログラム、画像処理方法、および画像処理装置
　本発明は、画像処理プログラム、画像処理方法、および画像処理装置に関する。
　構造物等のインフラストラクチャー（以下、インフラと呼ぶことがある）を点検し、異常を検出した場合には修理等の作業を行うことでインフラを維持及び管理することが行われている。こうした、インフラの維持管理分野では人員不足や費用不足といった問題が起きている。そのため、例えば、ＩＣＴ（Information　and　Communication　Technology）技術を利用して、維持管理の効率化するための種々の試みが行われている。
　ＩＣＴ技術を利用するものとして、例えば、撮像装置、ドローン、ロボット等を用いて構造物の画像を撮影し、撮影した画像（撮像画像）を用いて点検の効率化や精度を向上させる技術がある。例えば、測定車両やセンサによって撮影した画像データをデータベースに格納し、データベースに格納した画像データを解析することにより、異常検知や経年変化を予測し、構造物の点検作業等を効率化することが行われている。なお、画像データを用いて、構造物の異常を精度よく検知するためには、高解像度の画像データを用いることが好ましい。
特開２００３－３２９５９４号公報 特開２０１２－２２５８１１号公報 特開昭６２－２８１５８２号公報
　しかしながら、点検のために画像データを撮りためて行った場合に、画像データのデータ量が多くなり記憶領域を圧迫することがある。
　１つの側面では、本発明は、画像データを効率良く保存することを目的とする。
　本発明の一つの態様の画像処理装置は、構造物の撮像画像を解析して損傷部分を特定する特定部と、撮像画像のうち、特定した損傷部分と、構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する予測部と、を含む
　画像データを効率良く保存することができる。
例示的な画像圧縮処理を説明する図である。 例示的な画像圧縮処理を説明する別の図である。 損傷が画像データ内の圧縮されたセルの領域に拡がる例を述べる図である。 実施形態に係る画像処理装置のブロック構成を例示する図である。 例示的な損傷の進行について説明する図である。 実施形態に係る損傷を表す線分を例示する図である。 構造物の３次元モデルを例示する図である。 線分と部材との距離の関係を説明する図である。 線分と部材の中心線との角度について説明する図である。 損傷が拡がる可能性があるセルの予測を例示する図である。 実施形態に係る画像圧縮処理の一例を示す図である。 実施形態に係る画像データ情報の一例を示す図である。 実施形態に係る設計データ情報の一例を示す図である。 実施形態に係る損傷進行の予測処理の動作フローを例示する図である。 実施形態に係る損傷部分データを例示する図である。 実施形態に係る或る識別情報で識別される画像データに対する予測情報を例示する図である。 実施形態に係る画像圧縮処理の動作フローを例示する図である。 実施形態に係る画像処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。
　以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。
　図１は、例示的な画像圧縮処理を説明する図である。例えば、カメラなどの撮像装置で、点検対象の構造物を撮影することで、画像データ１０（例えば、画像データ１０ａ～画像データ１０ｆ）は生成されてよい。画像データ１０は、一例ではラスタ画像のデータであってよい。画像データ１０は、例えば、画像データ１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆの順に撮影されていてよい。なお、点検対象の構造物は、例えば、道路の舗装面、橋梁、トンネルなど、異常や経年劣化などを監視して、補修などを行う対象となる構造物であってよい。
　また、関連データ１１ａ～１１ｆは、それぞれ、画像データ１０ａ～１０ｆに対応するデータである。関連データ１１は、例えば、対応する画像データ１０から検出されたひび割れや亀裂などの構造物に含まれる損傷の形状を示すベクター画像のデータであってよい。
　画像データ１０ａ～１０ｆは、異なる時期に同一箇所を撮影した画像であってよい。例えば、或る時期に、或る箇所の画像データ１０ａが撮影され、その画像データ１０ａから関連データ１１ａが生成されてよく、数年後に、同一箇所の画像データ１０ｂが撮影され、画像データ１０ｂから関連データ１１ｂが生成されてよい。
　画像処理装置は、例えば、画像データ１０ａ～１０ｆを複製および画像解析することで、ひび割れや亀裂などの構造物に含まれる損傷の形状を検出し、関連データ１１ａ～１１ｆを生成してよい。例えば、画像処理装置は、物理量センサ等の装置によって取得した損傷箇所の位置情報を、ベクター画像として生成してもよい。損傷がひび割れであれば、ひび割れの線がベクター画像となってよい。
　続いて、例示的な画像データ１０のデータ量削減処理について説明する。例えば、画像データ１０ａの撮影時刻をＴ１とし、画像データ１０ｄの撮影時刻をＴ２とする。ここで、撮影時刻Ｔ１は、撮影時刻Ｔ２よりも過去の時刻である。
　まず、画像処理装置は、画像データ１０ａを複数の領域に区切り、複数のセル２０ａ～セル２０ｆを生成する（図１の（１））。
　画像処理装置は、時刻Ｔ１に撮像された画像データ１０ａと、時刻Ｔ２に撮像された画像データ１０ｄから生成された関連データ１１ｄとを比較して、損傷を含むセル２０を特定する（図１の（２））。損傷を含むセル２０は、例えば、関連データ１１ｄで形状が定義されている損傷部分を含むセル２０である。続いて、画像処理装置は、損傷部分を含まないセル２０をセル２０ａ～２０ｆのうちから特定し、特定したセル２０を圧縮する（図１の（３））。例えば、画像処理装置は、セル２０ｃ，２０ｄ，２０ｆを圧縮する。
　画像処理装置は、圧縮したセル２０ｃ，２０ｄ，２０ｆと、圧縮していないセル２０ａ，２０ｂ，２０ｅを結合することで、元の画像データ１０ａと対応する圧縮された画像データ３０を生成する（図１の（４））。画像処理装置は、圧縮した画像データ３０を、圧縮前の画像データ１０ａの代わりに、データベースで保存する。そのため、画像データにおいて時刻Ｔ２の時点で損傷が含まれる領域のデータの劣化を抑えつつ、画像データのデータ量を削減することができる。
　図２は、以上で述べた、例示的な画像圧縮処理を更に説明する図である。上段は、時刻Ｔ２に撮像された画像データから得られた関連データ１１を用いて圧縮箇所を特定する処理を例示している。また、下段は、時刻Ｔ１に撮像された画像データ１０の圧縮処理を例示している。なお、一実施形態において、時刻Ｔ２は、時刻Ｔ１よりも後の時刻であってよい。図２に示すように、画像処理装置は、例えば、時刻Ｔ１の画像データ１０を圧縮対象とする場合に、その時刻よりも後に撮影された時刻Ｔ２の関連データ１１を取得する。そして、画像処理装置は、取得した関連データ１１を複数のセル２０に分割する（図２の（１））。例えば、画像処理装置は、関連データ１１を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に関連データ内での配置を示すアドレス情報を付与してよい。また、図２の下段に示すように、画像処理装置は、時刻Ｔ１の圧縮対象の画像データ１０を取得し、取得した画像データ１０を複数のセル２０に分割する（図２の（２））。例えば、画像処理装置は、画像データ１０を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に画像データ内での配置を示すアドレス情報を付与してよい。
　画像処理装置４００は、分割した各セル２０のうちで、時刻Ｔ１の関連データ１１で示される損傷が含まれる領域に配置されているセル２０を特定する。そして、画像処理装置４００は、損傷が含まれるセル２０に圧縮対象としないことを示す「Ｆａｌｓｅ」を設定し、損傷が含まれていないセル２０には、圧縮対象とすることを示す「Ｔｒｕｅ」を設定する（図２の（３））。そして、画像処理装置４００は、時刻Ｔ１で撮像された画像データ１０を分割して得られた複数のセル２０のうち、圧縮対象である「Ｔｒｕｅ」が設定されている位置に配置されたセル２０のデータを圧縮する（図２の（４））。
　続いて、画像処理装置４００は、「Ｆａｌｓｅ」に設定された位置にある未圧縮のセル２０と、「Ｔｒｕｅ」に設定された位置にある圧縮されたセル２０とを結合し、もとの画像データ１０と対応する圧縮された画像データ３０を生成する（図２の（５））。そのため、例えば、時刻Ｔ２の時点で損傷が含まれるセル２０の領域については、点検などに用いる画像として十分な品質を有する画像でありつつ、その他のセル２０の領域のデータが圧縮された画像データ３０を生成することができる。従って、構造物の異常の検知精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。しかしながら、圧縮した画像領域にひび割れ等の損傷が拡がってしまうことがある。
　図３は、損傷が画像データ１０内の圧縮されたセル２０の領域に拡がる例を述べる図である。例えば、図３（ａ）は、或る時刻で撮像された画像データ１０を圧縮して得た圧縮画像データ３０を例示する図である。この時点では、損傷は未圧縮の領域３０１内に収まっており、損傷は、圧縮された領域３０２には含まれていない。しかしながら、損傷が未圧縮の領域３０１を越えて拡がることがある。図３（ｂ）は、図３（ａ）の画像データが撮像された時刻から後の時刻に損傷が拡がった状態を示す図であり、図３（ｃ）は、図３（ａ）と、図３（ｂ）との重ね合わせを示す図である。図３（ｃ）に示す様に、損傷は圧縮されたセルの領域３０２にも含まれている。圧縮により劣化した領域に損傷が含まれているため、これらの画像を用いて異常検知や経年変化の検出を行った場合に、支障がでることがある。
　そこで、以下で述べる実施形態では、画像処理装置は、損傷が拡がる可能性の高い領域を予測する。そのため、実施形態によれば、損傷が拡がる可能性の高い領域を圧縮せずに残すことができ、画像データの損傷が拡がる可能性の高い領域のデータの劣化を抑えつつ、画像データのデータ量を削減して、画像データを効率良く保存することができる。以下、実施形態を説明する。
　図４は、実施形態に係る画像処理装置４００のブロック構成を例示する図である。画像処理装置４００は、例えば、制御部４０１及び記憶部４０２を含んでいる。制御部４０１は、例えば特定部４１１、及び予測部４１２などを含む。画像処理装置４００の記憶部４０２は、例えば、後述する画像データ情報１２００、設計データ情報１３００、損傷部分データ１５００、予測情報１６００などの情報を記憶している。これらの各部の詳細及び記憶部４０２に格納されている情報の詳細については後述する。 
　上述のように、実施形態においては、画像処理装置４００の制御部４０１は、損傷部分が拡がる可能性のある領域を予測する。以下、損傷部分が拡がる可能性のある領域の予測について説明する。
　例えば、道路の舗装面、橋梁、トンネルなど、経年劣化などを監視し、補修などを行う対象となる構造物においてコンクリートなどの損傷や経年変化の点検対象となる点検対象部材にひび割れや亀裂などの損傷が発生したとする。この場合、損傷から構造物の内部に雨水などが侵入することがある。そして、損傷が、例えば、部材に沿っていると、損傷から構造物内部に侵入した水が部材に接触してしまい、部材が水で腐食や劣化を起こして形状が変化し、損傷が部材に沿った方向に進行してしまうことがある。なお、部材は、例えば、鉄筋や鉄骨など、水や風雨に晒されると劣化や腐食を起こしやすく、腐食により形状が変化し得る材質でできていてよい。
　図５は、例示的な損傷の進行について説明する図である。図５（ａ）は、構造物の設計データから得られた３次元モデルを例示する図であり、鉄筋、鉄骨などの部材５０１の構造が示されている。ここで、枠５０２に示す領域にある点検対象部材に損傷５０３が起きており、その損傷を示す関連データ１１が図５（ｂ）である。この場合に、図５（ｂ）の関連データ１１上に部材５０１の構造を重ね合わせて表示すると、図５（ｃ）となる。そして、図５（ｃ）において、関連データ１１で示される損傷５０３と、内部の部材５０１との重なりの度合いが大きく、延びる方向も一致している。この場合、損傷５０３は、矢印５０４で示す点線のように、部材に沿った方向に進行する可能性が高い。そのため、画像処理装置４００は、構造物の設計データを参照することで、図５（ｃ）に示す様に、部材の構造に沿った方向に損傷が進むと予測することができる。一方、矢印５０５で示す損傷５０３は、部材５０１との重なり度合いが低く、延びる方向も部材５０１の延びる方向と一致していないため、損傷５０３の進行は部材の影響を受けないと推定されてよい。
　以下、損傷の進行の予測について更に詳細に説明する。まず、制御部４０１は、関連データ１１で示される損傷の線分を、所定の長さの線分で表して良い。
　図６は、実施形態に係る損傷を所定の長さの線分で表す例を示す図である。画像処理装置４００の制御部４０１は、例えば、関連データ１１の損傷を所定の長さ：ｃ（ｃｍ）毎の線分に区切り、それぞれの始点と終点に所定の２次元直交座標を付与する。なお、所定の長さ：ｃ（ｃｍ）は、例えば、５ｃｍ～１０ｃｍの範囲の長さであってよい。制御部４０１は、始点から所定の距離にある損傷の線分上の点を終点として特定してよい。また、特定した終点は、次の線分の始点として用いられてよい。そして、制御部４０１は、それぞれの線分の始点にＰ１からＰｎまで識別情報を付与してよい。また、例えば、１つめの始点の位置は任意に選択されてよい。図６（ｂ）は、以上のように区切った線分を例示する図であり、損傷を所定の長さの線分で表現することができる。なお、区切った際に損傷の終点までの距離がｃ（ｃｍ）未満となれば、制御部４０１は、その損傷の線分の終点にｃ（ｃｍ）よりも短いｃ’（ｃｍ）で座標を付与してよい。
　続いて、制御部４０１は、構造物の設計図である設計データから構造物を形作る部材の３次元モデルを取得し、部材５０１と損傷部分との重なりの度合いを判定する。
　図７は、構造物の３次元モデルを例示する図である。図７（ａ）には、部材７０１と、損傷等を点検する対象の点検対象部材の例としてコンクリート７０２が示された点検対象部材の断面図である。なお、図７（ａ）では、図面下部の側面にあるコンクリート７０２に損傷があるものとする。図７（ｂ）は、損傷を含む側面のコンクリート７０２を、損傷のベクター画像の元となった画像データ１０の撮像方向から透視した際、コンクリート７０２の表面から所定の距離ｄ（ｃｍ）以内の深さ見える部材をベクター画像上に重ね合わせて表示した図である。この様に重ね合わせて表示することで、図７（ｂ）に示すように、損傷部分と、部材との重なり度合いを評価することが可能である。以下では、損傷部分と、部材との重なり度合いを距離で評価する例を述べる。
　例えば、制御部４０１は、ベクター画像の平面上で損傷部分を表す線分のうち、線分と部材との距離がそれぞれ所定の距離：ｅ（ｃｍ）未満である線分と部材との組みを抽出する。なお、一例では、線分と部材との距離には、線分の始点および終点と、部材の長手方向の中心線との距離が用いられてよい。また、別の例では、線分と部材との距離には、線分と部材の長手方向の中心線との最短距離が用いられてよい。所定の距離：ｅ（ｃｍ）は、例えば、設計データ情報１３００に含まれる部材の平均的な幅等から、損傷から侵入した水が部材の劣化に影響を与え得ることが推定される距離に設定されてよい。
　図８は、線分と部材との距離を例示する図である。図８に示す例では、鉄筋２に対して線分Ｐ２－Ｐ３と線分Ｐ３－Ｐ４が条件を満たすため、制御部４０１は、鉄筋２に対して線分Ｐ２－Ｐ３と線分Ｐ３－Ｐ４を抽出してよい。
　続いて、制御部４０１は、損傷部分の延びる方向と、部材の延びる方向とが所定の角度範囲内で一致しているか否かを判定する。例えば、制御部４０１は、ベクター画像の平面において抽出した線分と、部材の中心線とが成す鋭角の角度が所定の角度：ｆ（度）以下であるか否かを判定してよい。
　図９は、抽出した線分と、部材の中心線との角度の判定を例示する図である。図９（ａ）は、例えば、抽出した線分と、部材の中心線との延びる向きがある程度一致しており、抽出した線分と、部材の中心線とが成す鋭角の角度がｆ（度）以下の場合の例である。一方、図９（ｂ）は、例えば、抽出した線分と、部材の中心線とが大きく異なる方向に延びており、抽出した線分と、部材の中心線とが成す鋭角の角度がｆ（度）よりも大きい場合の例である。上述のように、発生した損傷から内部に侵入した水など部材に接触し、部材を腐食させたり劣化させたりして形状が変化すると、その形状変化に伴い損傷が部材に沿った方向に進行してしまうことがある。これは、例えば、部材の延びる方向と損傷の延びる方向とが近しい方向である場合、より起こりやすい。そのため、例えば、図９（ａ）に示すように、部材の延びる方向と、損傷の延びる方向とが成す鋭角の角度がｆ度以下であり、部材と損傷とが近しい方向に延びている場合、その損傷は、部材が延びる方向に進行すると予測することができる。一方、例えば、図９（ｂ）に示すように、部材の方向と、損傷の方向とが成す鋭角の角度がｆ度より大きい場合、損傷の拡大に部材があまり影響しないと推定できるため、損傷の進行は部材の影響を受けないと推定されてよい。なお、所定の角度は、例えば、９０度未満の数字であってよく、例えば、４５°であってよい。所定の角度は、例えば、その角度以下で損傷が延びる方向が、部材の延びる方向と一致していれば、部材に沿って損傷が拡がると推定される角度に設定されていてよい。そして、以上のようにして抽出した線分は、今後、部材が延びる方向に沿って損傷が進行する可能性があると予測することができる。
　続いて、制御部４０１は、例えば、圧縮対象の画像データをｍ×ｎ個のセル領域に分割し、各セル２０にアドレス情報を付与してよい。そして、制御部４０１は、線分との重なり度合いが高く、また、延びる方向も所定の角度範囲内で一致していた鉄筋２を含むセル２０を、今後、損傷が拡がる可能性があるセルとして特定する。制御部４０１は、特定したセルのアドレス情報を後述する予測情報１６００に登録し、記憶部４０２に記憶してよい。
　図１０は、損傷が拡がる可能性があるセル２０の予測を例示する図である。図１０において点線の枠１００１で囲われているセル２０が、鉄筋２を含むセル２０であり、損傷が拡がる可能性があると予測されたセル２０である。
　なお、１枚の画像データは、一例では、コンクリートの１つの床版と対応づけられていてよい。これは、例えば、床版の一部に亀裂等の損傷が発生した場合、その損傷は床版の端まで拡がる可能性があるためである。そのため、損傷の予測は、例えば、床版単位で行われてよい。例えば、損傷の下に部材があり、損傷が部材に沿って延びることが予測された場合に、制御部４０１は、床板の端と対応する画像データの端まで、その部材を含むセル２０を損傷が拡がる可能性があるセル２０として特定してよい。また、別の実施形態では、例えば、腐食や劣化が進行する部材が、別の床版の下にも延びている場合、別の床版にも部材の腐食や劣化の影響で損傷が拡がることがある。そのため、別の実施形態では、例えば、時刻Ｔ１から時刻Ｔ２にかけての損傷の進行度合いから、別の画像において所定の年数後までの損傷の進行を予測して、損傷が拡がる可能性があると予測されるセル２０を特定してもよい。なお、実施形態に係る画像データは必ずしも床版単位でなくてもよく、別の実施形態では、床版の一部や、いくつか床版をまたがっていてもよい。
　以上のように、実施形態では制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる構造物を構成する部材との重なり度合いに基づいて予測する。また、実施形態では制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる構造物を構成する部材とが延びる方向に基づいて予測する。それにより、制御部４０１は、損傷が拡がる可能性のあるセル２０を特定することができる。そのため、制御部４０１は、損傷が拡がる可能性のあるセル２０の領域を避けて画像データを適切に圧縮することができる。従って、実施形態によれば制御部４０１は、構造物の異常の検知精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。
　図１１は、以上で述べた、実施形態に係る画像圧縮処理の一例を示す図である。図１１において、上段は、時刻Ｔ２において撮像された画像データと対応付けられている関連データに対する処理を示す。また、下段は、時刻Ｔ１における画像データに対する圧縮処理を示す。なお、時刻Ｔ２は、時刻Ｔ１よりも後の時刻である。制御部４０１は、例えば、時刻Ｔ１の画像を圧縮対象とする場合に、その時刻よりも後に撮影された時刻Ｔ２の関連データ１１を取得してよい。そして、制御部４０１は、取得した関連データ１１を複数のセル２０に分割する（図１１の（１））。例えば、制御部４０１は、関連データ１１を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に関連データ内での配置を示すアドレス情報を付与してよい。また、制御部４０１は、時刻Ｔ１の圧縮対象の画像データ１０を取得し、取得した画像データ１０を複数のセル２０に分割する（図１１の（２））。例えば、制御部４０１は、画像データ１０を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に画像データ１０内での配置を示すアドレス情報を付与してよい。
　続いて、制御部４０１は、分割した各セル２０のうちで、時刻Ｔ２の関連データに示される損傷が含まれるセル２０（図１１の１１０１）を特定し、特定したセル２０には圧縮対象としないことを示す「Ｆａｌｓｅ」を設定する。また、制御部４０１は、分割した各セル２０のうちで、時刻Ｔ２の関連データに示される損傷と、記憶部４０２に記憶された設計データとから、損傷が拡がる可能性のあるセル２０（図１１の１１０２）を特定する。そして、制御部４０１は、特定したセル２０には圧縮対象としないことを示す「Ｆａｌｓｅ」を設定する。また、制御部４０１は、その他のセルには、圧縮対象とすることを示す「Ｔｒｕｅ」を設定する（図１１の（３））。
　そして、制御部４０１は、時刻Ｔ１に撮像された画像データ１０を分割したセル２０のうち、時刻Ｔ２の関連データ１１から特定された圧縮対象である「Ｔｒｕｅ」が設定されているセル２０の画像データを圧縮する（図１１の（４））。
　続いて、制御部４０１は、「Ｆａｌｓｅ」に設定された位置にある未圧縮のセル２０と、「Ｔｒｕｅ」に設定された位置にある圧縮されたセル２０とを結合し、もとの画像データと対応する圧縮された画像データ３０を生成する（図１１の（５））。そのため、例えば、時刻Ｔ１の時点で損傷が含まれるセル２０と、設計データとから予測された損傷が拡がる可能性のある領域については、点検作業などに用いる画像として十分な品質を保つことができる。一方で、その他の領域のデータが圧縮することで、画像データのデータ量が削減された画像データ３０を生成することができる。従って、構造物の異常等の検出や監視の精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。
　以上で述べた、実施形態に係る画像圧縮処理について更なる詳細を以下に説明する。
　図１２は、実施形態に係る画像データ情報１２００の一例を示す図である。画像データ情報１２００には、例えば、点検対象となっている構造物において損傷等の異常を監視及び検出する対象の点検領域を写した画像に関するエントリが登録されていてよい。画像は、例えば、ドローンに撮像装置を取り付けて構造物の点検領域を撮像して得られた画像であってもよいし、高解像度望遠カメラを使用して点検領域を撮像して得られた画像であってもよい。画像データ情報１２００のエントリは、識別番号と、位置情報と、時刻情報と、画像データとを含んでいてよく、これらの情報は対応づけられている。識別番号は、画像データを一意に識別する情報である。位置情報は、画像データに写る点検領域の位置を示す情報である。時刻情報は、画像データを撮影した時刻を示す情報である。画像データは、エントリの位置情報で示される位置の点検領域を、時刻情報の時刻に撮像装置で撮像した画像データ１０である。画像データは、上述のように、一例では、コンクリートの１つの床版と対応づけられていてよい。また、別の例では画像データは、床版の一部や、いくつか床版をまたがった画像であってもよい。画像処理装置４００の記憶部４０２には、例えば、画像データ情報１２００が記憶されていてよい。
　図１３は、設計データ情報１３００を例示する図である。設計データ情報１３００は、例えば、道路の舗装面、橋梁、トンネルなどの点検対象の構造物の設計図に関するデータが登録されている。設計データ情報１３００には、例えば、部材識別情報、及び構造情報を含むエントリが登録されている。部材識別情報は、例えば、構造物に使用されている鉄筋、鉄骨、コンクリートなどの部材を識別するための識別情報である。構造情報は、エントリの部材識別情報で識別される部材の構造物における位置や配置を示す情報であり、一例では、３次元空間上での部材の各頂点の位置座標や辺の情報など部材の輪郭を示す情報であってよい。例えば、部材が円柱状の鉄筋である場合には、部材の中心線の端部の位置座標と、中心線からの半径の情報が構造情報に登録されていてよい。画像処理装置４００の記憶部４０２には、例えば、以上のような設計データ情報１３００が記憶されていてよい。
　図１４は、実施形態に係る損傷進行予測処理９００１の動作フローを例示する図である。制御部４０１は、例えば、損傷進行予測処理９００１の実行指示が入力されると、図１４の動作フローを実行してよい。
　ステップ１４０１（なお、以降、ステップを“Ｓ”と記載し、例えば、Ｓ１４０１と表記する）において制御部４０１は、画像データ情報１２００から画像データを読み出す。制御部４０１は、例えば、ユーザから損傷の拡がりの予測に用いる画像データとして指定されている時刻Ｔ２に撮像された画像データを読み出してよい。Ｓ１４０２において制御部４０１は、読み出した画像データを解析し、読み出した画像データに写る構造物の領域に損傷が含まれているか否かを判定する。画像データに損傷が含まれている場合（Ｓ１４０２がＹｅｓ）、フローはＳ１４０３に進む。
　Ｓ１４０３において制御部４０１は、損傷が含まれている画像データを解析して損傷部分を特定し、損傷部分の形状を表すベクターデータを生成して、画像データと対応付けて記憶部４０２に記憶する。例えば、制御部４０１は、画像データ情報１２００の対応する画像データが含まれるエントリに、ベクターデータを追加し、損傷部分データ１５００を生成してよい。
　図１５は、実施形態に係る損傷部分データ１５００を例示する図である。損傷部分データ１５００では、画像データ情報１２００の各エントリのうち損傷が検出されたエントリには、その損傷の形状を表すベクターデータが追加されている。損傷部分データ１５００には、例えば、識別番号と、位置情報と、時刻情報と、画像データと、その画像データと対応づけられるベクターデータとを含むエントリが登録されている。識別番号、位置情報、時刻情報、及び画像データについては、図１２で述べたのと同様のデータであってよい。画像データと対応するベクターデータは、エントリの位置情報に示される位置で、時刻情報に示される時刻に撮像装置で撮像された画像のデータから検出された損傷のベクターデータであってよい。
　また、Ｓ１４０４において制御部４０１は、ベクターデータで表される損傷を所定の長さの線分で表す。制御部４０１は、例えば、上述の図６で述べた様に、損傷データ上の任意の点から、所定の長さの位置にある損傷データ上の点までの線分で損傷のデータを区切り、損傷を線分で表してよい。
　Ｓ１４０５において制御部４０１は、設計データ情報１３００から構造物の設計データを読み出す。そして、制御部４０１は、設計データ情報１３００で規定された構造物を３次元にモデリングし、その構造物に画像データを位置合わせする。例えば、制御部４０１は、構造物の３次元構造モデルと、画像データ上の所定の点とを位置合わせし、テクスチャマッピングの技術を用いて、３次元構造モデルに画像を張り付けてよい。
　Ｓ１４０６において制御部４０１は、張り付けた画像データを透過させた際に、画像データ上のコンクリートなどの損傷を有する点検対象部材から所定の距離以内にある部材を特定する。制御部４０１は、例えば、上述の図７で述べた様に、点検対象部材の表面から所定の距離ｄ（ｃｍ）以内の深さ見える部材を特定してよい。
　Ｓ１４０７において制御部４０１は、特定した部材と、所定の条件を満たす重なり度合いで重なる線分を特定する。例えば、制御部４０１は、特定した部材と、所定の距離以内にある線分を特定してよい。制御部４０１は、例えば、図８を参照して述べた様に、ベクターデータの平面上で線分の始点および終点と部材の中心線との距離がそれぞれ所定の距離：ｅ（ｃｍ）未満である線分と部材の組みを抽出してよい。なお、所定の距離：ｅ（ｃｍ）は、例えば、その距離で部材から離れた位置にある損傷から水などが侵入した場合に、水が部材を劣化させ得ると推定される距離に設定されてよい。
　Ｓ１４０８において制御部４０１は、例えば、抽出した線分と部材の組みが成す角度を特定する。例えば、制御部４０１は、線分と、部材の中心線とがベクターデータの平面上でなす角度のうち鋭角を特定してよい。そして、Ｓ１４０９において制御部４０１は、特定した角度が所定の角度以下か否かを判定する。なお、所定の角度は、例えば、９０度未満の数字であってよく、例えば、４５°であってよい。所定の角度は、例えば、その角度以下で損傷が延びる方向が、部材の延びる方向と一致していれば、部材に沿って損傷が拡がると推定される角度に設定されていてよい。なお、鋭角を用いるのは例示であり、実施形態はこれに限定されるものではく、別の実施形態では、鈍角を用いて別な閾値で判定が行われてもよい。
　Ｓ１４０９において特定した角度が所定の角度よりも大きい場合（Ｓ１４０９がＮｏ）、その線分に対する処理は終了する。一方、Ｓ１４０９において特定した角度が所定の角度以下である場合（Ｓ１４０９がＹｅｓ）、フローはＳ１４１０に進む。
　Ｓ１４１０において制御部４０１は、重なり度合いがＳ１４０７の所定の条件を満たす重なり度合いであり、角度がＳ１４０９の所定の角度以下で線分と同じ方向に延びると判定された部材を特定する。Ｓ１４１１において制御部４０１は、ベクターデータを所定サイズのセルに分割する。例えば、制御部４０１は、所定サイズのベクターデータを、横軸でｍ個のセルに分割してｍの値で区別し、縦軸でｎ個のセルに分割してｎの値で区別し、各セルを（ｍ，ｎ）で識別するようにアドレス情報を付与してよい。
　Ｓ１４１２において制御部４０１は、ベクターデータを分割して得た複数のセル２０のうちで、ベクターデータを透過して見た場合に、Ｓ１４１０で特定した部材を含むセル２０を特定する。なお、このセル２０は、例えば、損傷に起因する構造物の劣化で損傷が拡がる可能性のあると予測されたセルである。
　Ｓ１４１３において制御部４０１は、Ｓ１４１２で特定したセルには損傷が拡がる可能性があり、圧縮しないことを示す「Ｆａｌｓｅ」を設定する。また、制御部４０１は、損傷を含むセルにも「Ｆａｌｓｅ」を設定してよい。制御部４０１は、その他のセルには、損傷が拡がる可能性が少なく、圧縮することを示す「Ｔｒｕｅ」を設定する。そして、各セルに対する「Ｔｒｕｅ」又は「Ｆａｌｓｅ」の設定が登録された予測情報１６００を出力し、本動作フローは終了する。
　図１６は、実施形態に係る或る識別情報で識別される画像データに対する予測情報１６００を例示する図である。予測情報１６００には、画像データと対応付けてセル２０の配置を示すアドレス情報と、損傷及び損傷の予測と対応している圧縮対象か否かを示す圧縮情報を対応付けたエントリが登録されている。例えば、制御部４０１は、Ｓ１４１３で、以上の予測情報１６００を出力してよい。従って、制御部４０１は、損傷が拡がる可能性があると予測されたセルの範囲を示す情報を出力することができる。なお、上述の実施形態では、損傷を含むセルと、損傷が拡がる可能性のあるセルとの両方に、同じ値「Ｆａｌｓｅ」を設定しているが、別の実施形態では、制御部４０１は、異なる値を設定してもよい。例えば、制御部４０１は、損傷が予測されたセルを特定可能な予測情報１６００を出力してもよい。
　また、Ｓ１４０２において画像データに損傷が含まれていない場合（Ｓ１４０２がＮｏ）、フローはＳ１４１３に進み、制御部４０１は、予測情報１６００を出力して、本動作フローは終了する。この場合、予測情報１６００のエントリの損傷予測は、全て「Ｔｒｕｅ」に設定されてよい。出力された予測情報１６００は、例えば、記憶部４０２に記憶されてよい。
　以上で述べた様に、図１４の動作フローによれば、制御部４０１は、設計データに基づき損傷が拡大する範囲を予測することができる。そして、制御部４０１は、予測した範囲を出力することができる。そのため、制御部４０１は、予測された損傷が拡大する範囲の情報を用いて、損傷が拡がる可能性のあるセルを避けて画像データを適切に圧縮することができる。従って、実施形態によれば制御部４０１は、構造物の異常の検知精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。
　また、図１４の動作フローでは、制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる部材との重なり度合いに応じて予測しているため、損傷が拡大する範囲の予測精度を高めることができる。同様に、図１４の動作フローでは、制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる部材との延びる方向に応じて予測しているため、損傷が拡大する範囲の予測精度を高めることができる。
　続いて、実施形態に係る画像圧縮処理を説明する。図１７は、実施形態に係る画像圧縮処理の動作フローを例示する図である。制御部４０１は、例えば、画像圧縮処理の実行指示が入力されると、図１７の動作フローを開始してよい。
　Ｓ１７０１において制御部４０１は、圧縮対象の画像データを画像データ情報１２００から読み出す。例えば、制御部４０１は、ユーザから圧縮対象の画像データとして指定されている時刻Ｔ１に撮像された画像データを読み出してよい。Ｓ１７０２において制御部４０１は、読み出した画像データをｍ×ｎ個のセル領域に分割して保存し、各セルにアドレス情報を付与する。一例では、制御部４０１は、横軸にｍ個のセルを分割してｍの値で区別し、縦軸にｎ個のセルを分割してｎの値で区別し、各セルを（ｍ，ｎ）で識別するようにアドレス情報を付与してよい。なお、Ｓ１７０２でセル２０に付与されるアドレス情報は、図１４のＳ１４１１でベクターデータのセルに付与されるアドレス情報と対応していてよい。換言すると、画像データは、対応するベクターデータと同じように分割されてよい。
　Ｓ１７０３において制御部４０１は、画像データを分割して得られた複数のセルのうち、未処理のセルを１つ選択する。Ｓ１７０４において制御部４０１は、選択したセルのアドレス情報と予測情報１６００において対応づけられる圧縮情報が、損傷を含む又は損傷が拡がる可能性のある「Ｆａｌｓｅ」か否かを判定する。セルの圧縮情報が、損傷を含む又は損傷が拡がる可能性のある「Ｆａｌｓｅ」に設定されている場合（Ｓ１７０４がＹｅｓ）、フローはＳ１７０６に進む。一方、圧縮情報が、損傷を含む又は損傷が拡がる可能性のない「Ｔｒｕｅ」に、設定されている場合（Ｓ１７０４がＮｏ）、フローはＳ１７０５に進む。
　Ｓ１７０５において制御部４０１は、選択したセルの画像を圧縮する。例えば、制御部４０１は、圧縮情報が「Ｔｒｕｅ」に設定されたセルの画像の解像度をより低く変更することで、データ量を削減してよい。なお、別な実施形態では、損傷を含む、又は損傷が拡がる可能性のあると予測された「Ｆａｌｓｅ」に設定されているセルよりも、「Ｔｒｕｅ」に設定されたその他のセルに、より高い圧縮率を適用してもよい。この場合にも、画像データの損傷が拡がる可能性の高い領域のデータの劣化を抑えつつ、画像データのデータ量を削減して、画像データを効率良く保存することができる。
　Ｓ１７０６において制御部４０１は、画像データ内のすべてのセルに処理を実行したか否かを判定する。未処理のセルがある場合、フローはＳ１７０３に戻り、未処理のセルを選択して処理を繰り返す。一方、全てのセルの処理が完了している場合、フローはＳ１７０７に進む。
　Ｓ１７０７において制御部４０１は、処理後の複数のセルを、アドレス情報に従って結合し、それにより、元の画像データと対応する圧縮された画像データを生成し、本動作フローは終了する。
　以上で述べた様に、実施形態によれば、制御部４０１は、構造物に発生している損傷と、構造物の設計データとから、損傷が拡がる可能性のある領域を予測する。そして、制御部４０１は、損傷が拡がる可能性のある領域を出力する。そのため、制御部４０１は、例えば、画像データ内で損傷が拡がる可能性の低い領域を特定し、その領域のデータを圧縮するなどして画像データのデータサイズを低減することができる。従って、実施形態によれば、画像データの損傷が拡がる可能性の高い領域のデータの劣化を抑えつつ、画像データのデータ量を削減して、画像データを効率良く保存することができる。
　上述の実施形態において、図１４のＳ１４０２の処理で、制御部４０１は、例えば、特定部４１１として動作する。また、図１４のＳ１４１２の処理で、制御部４０１は、例えば、予測部４１２として動作する。
　以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、又は、一部の処理が省略されてもよい。例えば、図１４のＳ１４１１の処理はＳ１４０３の処理の前など、Ｓ１４１１よりも前の段階で実行されてもよい。
　図１８は、実施形態に係る画像処理装置４００を実現するための画像処理装置４００のハードウェア構成を例示する図である。図１８の画像処理装置４００を実現するためのハードウェア構成は、例えば、プロセッサ１８０１、メモリ１８０２、記憶装置１８０３、読取装置１８０４、通信インタフェース１８０６、及び入出力インタフェース１８０７を備える。なお、プロセッサ１８０１、メモリ１８０２、記憶装置１８０３、読取装置１８０４、通信インタフェース１８０６、入出力インタフェース１８０７は、例えば、バス１８０８を介して互いに接続されている。
　プロセッサ１８０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１８０１は、メモリ１８０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、例えば、特定部４１１及び予測部４１２など、上述した制御部４０１の一部または全部の機能を提供する。
　メモリ１８０２は、例えば半導体メモリであり、ＲＡＭ領域及びＲＯＭ領域を含んでいてよい。記憶装置１８０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、又は外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。
　読取装置１８０４は、プロセッサ１８０１の指示に従って着脱可能記憶媒体１８０５にアクセスする。着脱可能記憶媒体１８０５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ－ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Universal Serial Busの略称である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。
　記憶部４０２は、例えばメモリ１８０２、記憶装置１８０３、及び着脱可能記憶媒体１８０５を含んでいる。画像処理装置４００の記憶装置１８０３には、例えば、画像データ情報１２００、設計データ情報１３００、損傷部分データ１５００、予測情報１６００が格納されている。
　通信インタフェース１８０６は、例えば、プロセッサ１８０１の指示に従ってネットワークを介してデータを送受信する。入出力インタフェース１８０７は、例えば、入力装置及び出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボードやマウスなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、及びスピーカなどの音声装置である。
　実施形態に係る各プログラムは、例えば、下記の形態で画像処理装置４００に提供される。
（１）記憶装置１８０３に予めインストールされている。
（２）着脱可能記憶媒体１８０５により提供される。
（３）プログラムサーバなどのサーバから提供される。 
　なお、図１８を参照して述べた画像処理装置４００を実現するためのハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の一部または全部の機能がＦＰＧＡ及びＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。
　以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。
４００　　　：画像処理装置
４０１　　　：制御部
４０２　　　：記憶部
４１１　　　：特定部
４１２　　　：予測部
１８００　　：コンピュータ
１８０１　　：プロセッサ
１８０２　　：メモリ
１８０３　　：記憶装置
１８０４　　：読取装置
１８０５　　：着脱可能記憶媒体
１８０６　　：通信インタフェース
１８０７　　：入出力インタフェース
１８０８　　：バス

Claims (7)

  1. 　構造物の撮像画像を解析して損傷部分を特定し、
    　前記撮像画像のうち、特定した前記損傷部分と、前記構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する、
    　処理をコンピュータに実行させることを特徴とする画像処理プログラム。
  2. 　予測した前記範囲を出力する、
    　処理をコンピュータに実行させることを特徴とする請求項１記載の画像処理プログラム。
  3. 　異なる時点で撮像された前記構造物の撮像画像の一部又は全部について圧縮処理を施す際に、予測した前記範囲に含まれる画像部分よりも、予測した前記範囲に含まれない範囲について、より高い圧縮率を適用する、
    　ことを特徴とする請求項１記載の画像処理プログラム。
  4. 　前記損傷が拡大する範囲を、前記損傷部分と前記設計データに含まれる前記構造物を構成する部材との重なり度合いに応じて予測する、
    　処理をコンピュータに実行させる請求項１から３のいずれか１項に記載の画像処理プログラム。
  5. 　前記損傷が拡大する範囲を、前記損傷部分の延びる方向と前記設計データに含まれる前記構造物を構成する部材の延びる方向とに応じて予測する、
    　処理をコンピュータに実行させる請求項１から３のいずれか１項に記載の画像処理プログラム。
  6. 　コンピュータにより実行される画像処理方法であって、
    　構造物の撮像画像を解析して損傷部分を特定し、
    　前記撮像画像のうち、特定した前記損傷部分と、前記構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する、
    　ことを特徴とする画像処理方法。
  7. 　構造物の撮像画像を解析して損傷部分を特定する特定部と、
    　前記撮像画像のうち、特定した前記損傷部分と、前記構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する予測部と、
    　を含む、画像処理装置。
PCT/JP2017/046432 2017-12-25 2017-12-25 画像処理プログラム、画像処理方法、および画像処理装置 WO2019130391A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201780097929.2A CN111566696A (zh) 2017-12-25 2017-12-25 图像处理程序、图像处理方法以及图像处理装置
JP2019561403A JP6901008B2 (ja) 2017-12-25 2017-12-25 画像処理プログラム、画像処理方法、および画像処理装置
PCT/JP2017/046432 WO2019130391A1 (ja) 2017-12-25 2017-12-25 画像処理プログラム、画像処理方法、および画像処理装置
EP17936252.0A EP3734547B1 (en) 2017-12-25 2017-12-25 Image processing program, image processing method, and image processing device
US16/897,971 US11474047B2 (en) 2017-12-25 2020-06-10 Computer-readable recording medium recording image processing program, image processing method, and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/046432 WO2019130391A1 (ja) 2017-12-25 2017-12-25 画像処理プログラム、画像処理方法、および画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/897,971 Continuation US11474047B2 (en) 2017-12-25 2020-06-10 Computer-readable recording medium recording image processing program, image processing method, and image processing apparatus

Publications (1)

Publication Number Publication Date
WO2019130391A1 true WO2019130391A1 (ja) 2019-07-04

Family

ID=67066767

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/046432 WO2019130391A1 (ja) 2017-12-25 2017-12-25 画像処理プログラム、画像処理方法、および画像処理装置

Country Status (5)

Country Link
US (1) US11474047B2 (ja)
EP (1) EP3734547B1 (ja)
JP (1) JP6901008B2 (ja)
CN (1) CN111566696A (ja)
WO (1) WO2019130391A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567632B2 (en) * 2017-09-07 2020-02-18 Fujitsu Limited Non-transitory computer-readable storage medium, image processing method, and image processing apparatus
WO2020075756A1 (ja) * 2018-10-12 2020-04-16 パナソニックＩｐマネジメント株式会社 予測装置及び予測方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580800B2 (en) * 2018-11-08 2023-02-14 Verizon Patent And Licensing Inc. Computer vision based vehicle inspection report automation
CN116090838B (zh) * 2023-04-07 2023-06-09 协筑科技(厦门)有限公司 一种基于摄像头的工地自动巡检系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62281582A (ja) 1986-05-30 1987-12-07 Hitachi Ltd 画像デ−タ圧縮方式
JP2003329594A (ja) 2002-05-10 2003-11-19 Mitsubishi Chemicals Corp 建造物塗装面の劣化診断方法
JP2012225811A (ja) 2011-04-20 2012-11-15 Fukushima Univ 塗膜劣化予測方法、塗膜劣化予測装置及びコンピュータプログラム
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
WO2017051554A1 (ja) * 2015-09-25 2017-03-30 富士フイルム株式会社 メンテナンス計画立案支援システム、方法およびプログラム
WO2017217185A1 (ja) * 2016-06-14 2017-12-21 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3819263A (en) * 1972-03-27 1974-06-25 Xerox Corp Cleaning apparatus
US4947447A (en) 1986-04-24 1990-08-07 Hitachi, Ltd. Method for data coding
JP4153675B2 (ja) * 2001-04-10 2008-09-24 三菱重工業株式会社 材料寿命の評価システム、及び、その評価方法
JP3886865B2 (ja) * 2001-11-09 2007-02-28 三菱重工業株式会社 金属材料の損傷評価方法及び装置
WO2006126617A1 (ja) * 2005-05-24 2006-11-30 National University Corporation Hokkaido University 損傷評価装置および損傷評価方法
WO2008133092A1 (ja) * 2007-04-12 2008-11-06 Nippon Steel Corporation 破断予測方法、演算処理装置、プログラム及び記録媒体
KR20110094619A (ko) * 2010-02-17 2011-08-24 서울시립대학교 산학협력단 콘크리트 보의 처짐 추정 방법
US9488592B1 (en) * 2011-09-28 2016-11-08 Kurion, Inc. Automatic detection of defects in composite structures using NDT methods
US9977978B2 (en) * 2011-11-14 2018-05-22 San Diego State University Research Foundation Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery
JP5892254B2 (ja) * 2012-08-31 2016-03-23 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CA2885718A1 (en) * 2012-08-31 2014-03-06 The Chugoku Electric Power Co., Inc. Method of predicting crack growth and information processing device therefor
US9159132B1 (en) * 2012-12-07 2015-10-13 Ricky Carl Crowsey Process and system for identifying damage
US9285296B2 (en) * 2013-01-02 2016-03-15 The Boeing Company Systems and methods for stand-off inspection of aircraft structures
US8874454B2 (en) * 2013-03-15 2014-10-28 State Farm Mutual Automobile Insurance Company Systems and methods for assessing a roof
JP5688533B1 (ja) * 2014-01-23 2015-03-25 デ・ファクト・スタンダード合同会社 コンクリート構造物維持管理システム
US9892219B2 (en) * 2014-01-28 2018-02-13 Rolls-Royce Corporation Using fracture mechanism maps to predict time-dependent crack growth behavior under dwell conditions
JP5740509B1 (ja) * 2014-04-21 2015-06-24 ジオ・サーチ株式会社 鋼床版舗装の損傷を探査する方法
JP2016090548A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集方法及びひび割れ情報収集プログラム
JP2016090547A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集装置及びひび割れ情報を収集するためのサーバ装置
WO2016186135A1 (ja) * 2015-05-18 2016-11-24 新日鐵住金株式会社 破断予測方法、プログラム、記録媒体及び演算処理装置
CN108027948B (zh) * 2015-09-16 2021-09-28 富士胶片株式会社 健全度判定装置、健全度判定方法及健全度判定程序
JPWO2017077668A1 (ja) * 2015-11-05 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN108431585B (zh) 2015-12-25 2021-09-14 富士胶片株式会社 信息处理装置及信息处理方法
JP6550150B2 (ja) * 2016-01-15 2019-07-24 富士フイルム株式会社 計測支援装置及び計測支援方法
EP3450910B1 (en) * 2016-04-27 2023-11-22 FUJIFILM Corporation Index generation method, measurement method, and index generation device
CN106840877B (zh) * 2017-01-22 2019-02-12 北京工业大学 一种基于应力的多轴小裂纹全寿命预测方法
US9805261B1 (en) * 2017-02-27 2017-10-31 Loveland Innovations, LLC Systems and methods for surface and subsurface damage assessments, patch scans, and visualization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62281582A (ja) 1986-05-30 1987-12-07 Hitachi Ltd 画像デ−タ圧縮方式
JP2003329594A (ja) 2002-05-10 2003-11-19 Mitsubishi Chemicals Corp 建造物塗装面の劣化診断方法
JP2012225811A (ja) 2011-04-20 2012-11-15 Fukushima Univ 塗膜劣化予測方法、塗膜劣化予測装置及びコンピュータプログラム
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
WO2017051554A1 (ja) * 2015-09-25 2017-03-30 富士フイルム株式会社 メンテナンス計画立案支援システム、方法およびプログラム
WO2017217185A1 (ja) * 2016-06-14 2017-12-21 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3734547A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567632B2 (en) * 2017-09-07 2020-02-18 Fujitsu Limited Non-transitory computer-readable storage medium, image processing method, and image processing apparatus
WO2020075756A1 (ja) * 2018-10-12 2020-04-16 パナソニックＩｐマネジメント株式会社 予測装置及び予測方法

Also Published As

Publication number Publication date
EP3734547A1 (en) 2020-11-04
JP6901008B2 (ja) 2021-07-14
CN111566696A (zh) 2020-08-21
EP3734547B1 (en) 2022-01-05
EP3734547A4 (en) 2021-03-24
US20200300779A1 (en) 2020-09-24
JPWO2019130391A1 (ja) 2020-09-03
US11474047B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
US11474047B2 (en) Computer-readable recording medium recording image processing program, image processing method, and image processing apparatus
US20220189111A1 (en) Method for the automatic material classification and texture simulation for 3d models
Kim et al. Automated bridge component recognition from point clouds using deep learning
Erkal et al. Laser-based surface damage detection and quantification using predicted surface properties
Duque et al. Bridge deterioration quantification protocol using UAV
US20160133008A1 (en) Crack data collection method and crack data collection program
Zhang et al. Computer‐vision‐based differential remeshing for updating the geometry of finite element model
US10628802B2 (en) Systems and methods for assessing damage to infrastructure assets
US20160133007A1 (en) Crack data collection apparatus and server apparatus to collect crack data
WO2018155590A1 (ja) 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム
JP7351849B2 (ja) 構造物の損傷原因推定システム、損傷原因推定方法、及び損傷原因推定サーバ
Malek et al. Methodology to integrate augmented reality and pattern recognition for crack detection
US11587299B2 (en) Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
US11423611B2 (en) Techniques for creating, organizing, integrating, and using georeferenced data structures for civil infrastructure asset management
CN111539286B (zh) 衬砌线识别方法、装置及可读存储介质
JP6434834B2 (ja) 検査対象物抽出装置、及び検査対象物抽出方法
KR20160120955A (ko) 수변구조물 피해탐지를 위한 대용량 다차원 영상정보 가시화 모듈 개발
AU2015275308B2 (en) A method for automatic material classification and texture simulation for 3d models
WO2023047859A1 (ja) 情報処理装置、方法及びプログラム、並びに、画像データ構造
CN117315001B (zh) 一种基于激光扫描的房建面积快速检测方法及系统
WO2024111030A1 (ja) 構造解析システム、構造解析方法およびプログラム
WO2024111029A1 (ja) 構造解析システム、構造解析方法およびプログラム
Angan et al. Health Monitoring of Old Buildings in Bangladesh: Detection of Cracks and Dampness Using Image Processing
Yu et al. Multi-feature driven rapid inspection of earthquake-induced damage on building facades using UAV-derived point cloud
CN117764896A (zh) 建筑物完整性检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936252

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2019561403

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017936252

Country of ref document: EP

Effective date: 20200727